tokenizer分词、tokenizer分词器

1、这些算法称为Tokenizer分词器，这些Token会被进一步处理，比如转成小写等，这些处理算法被称为TokenFilter词元处理器，被。2、本节课主要涉及词法分析，将一段话使用分词器tokenizer进行分词，关键是怎么分词分词的规则是啥一般我们会联想到正则文法进行匹配如