[網(wǎng)絡(luò)] 標記化 tokenize: [網(wǎng)絡(luò)] 符將一個字符串標記化；切分詞；令牌化 tokenization: [網(wǎng)絡(luò)] 標記化；斷詞；符號化 tokenizer: [網(wǎng)絡(luò)] 分詞器；標記器；分詞器部分 tokenizable: [網(wǎng)絡(luò)] 令人信服的 tokenizers: [網(wǎng)絡(luò)] 分詞 下載手機詞典可隨時隨地查詞查翻譯
