]> git.sondrewold.no Git - mitok.git/commitdiff
Remove double filter
authorSondre Wold <[email protected]>
Wed, 1 May 2024 18:03:50 +0000 (20:03 +0200)
committerSondre Wold <[email protected]>
Wed, 1 May 2024 18:03:50 +0000 (20:03 +0200)
mitok/src/lib.rs

index 324d1515410bc2f3cc08ac486a34bf99d9612b3c..da5e82b804a87c10579ed3879ff6867405af54d2 100644 (file)
@@ -29,8 +29,7 @@ pub fn tokenize(contents: &str) -> Vec<Vec<String>> {
     let mut tokens = Vec::new();
     let sentences: Vec<_> = contents
         .split(&['.', '!', '?'])
-        .filter(|c| !c.is_empty())
-        .filter(|c| c.len() > 1)
+        .filter(|c| !c.is_empty() && c.len() > 1)
         .collect();
     for sentence in sentences {
         let raw_tokens: Vec<&str> = sentence.split(" ").filter(|t| !t.is_empty()).collect();
@@ -54,7 +53,6 @@ mod tests {
     fn single_sentence() {
         let contents = "\
         dette er en banal test";
-
         let mut left_side = Vec::new();
         let c = vec!["dette", "er", "en", "banal", "test"];
         left_side.push(c);
@@ -66,7 +64,6 @@ mod tests {
     fn multiple_sentences() {
         let contents = "\
             Dette er den første setningen. Dette er den andre setningen.";
-
         let mut left_side = Vec::new();
         let c1 = vec!["Dette", "er", "den", "første", "setningen"];
         let c2 = vec!["Dette", "er", "den", "andre", "setningen"];