关于tokenizer.encode为什么不分词的信息

List不定长，可以暂时用来保存数据全部词元处理完之后可以进行转化List和数组可以很方便的相互转化public class TokenizerApp public static String encodeString routeStr String firstLetter = quotquotString resultStr。

prompt=quot他走在路上，quotinput_ids=tokenizerencodeprompt，return_tensors=#39pt#39output=modelgenerateinput_ids，max_length=100，do_sample=Truegenerated_text=tokenizerdecodeoutput0，skip_special_tokens=Trueprin。

alist小雅替换token如下1首先，我们使用tokenizer的encode方法将句子转换为一个token序列，其中add_special_tokens=False表示不添加特殊的起始和结束标记2然后，我们使用tokenizer的convert_tokens_to_ids方法将新的token转。

selftokenizer=GPT2Tokenizerfrom_pretrainedmodel_pathselfdevice=device devicedefgenerateself，prompt，length=50，temperature=10input_ids=promptinput_id。

prompt_text = quot电视帮生成相关文章的提示语句quot # 将输入文本转换为模型可接受的格式 input_ids = tokenizerencodeprompt_text， return_tensors=quotptquot # 生成文章 output = modelgenerateinput_ids。