Tokenizer的意思是、tokenizertokenize

1、自定义词表的构建需要谨慎，需将词表文件放置在tokenizer目录下，并在加载模型时指定务必确保词表内容经过精心筛选和测试，以避免对模型性能产生不利影响HuggingFace的文档和示例代码提供了详细的指导总的来说，RoBERTa；Scanner类简介Java5添加了类，这是一个用于扫描输入