tokenizer函数有什么作用、tokenizertokenize

很简单，用工具类Scanner或者FileReader什么的，进行skip读取对应段落的字符串日志信息，然后返回到前台，前台可以根据js来进行数组的分页Array，也是对应的截取显示即可，然后再结合css样式，即可完成。代码如下说明转换密语可以用一个函数处理，输入是字符串，输出是字符串分词所得存放