let mut tokens = Vec::new();
let sentences: Vec<_> = contents
.split(&['.', '!', '?'])
- .filter(|c| !c.is_empty())
- .filter(|c| c.len() > 1)
+ .filter(|c| !c.is_empty() && c.len() > 1)
.collect();
for sentence in sentences {
let raw_tokens: Vec<&str> = sentence.split(" ").filter(|t| !t.is_empty()).collect();
fn single_sentence() {
let contents = "\
dette er en banal test";
-
let mut left_side = Vec::new();
let c = vec!["dette", "er", "en", "banal", "test"];
left_side.push(c);
fn multiple_sentences() {
let contents = "\
Dette er den første setningen. Dette er den andre setningen.";
-
let mut left_side = Vec::new();
let c1 = vec!["Dette", "er", "den", "første", "setningen"];
let c2 = vec!["Dette", "er", "den", "andre", "setningen"];