- [網(wǎng)絡(luò)] 符將一個(gè)字符串標(biāo)記化；切分詞；令牌化
下載手機(jī)詞典可隨時(shí)隨地查詞查翻譯
tokenize中文什么意思
例句與用法
- module to tokenize the schema, but gave up on using
模塊來(lái)標(biāo)記模式，但沒(méi)有使用 - specify the delimiters that the transformation uses to tokenize column values
指定轉(zhuǎn)換用來(lái)標(biāo)記列值的分隔符。 - the transformation provides a default set of delimiters used to tokenize the data, but you can add token delimiters to suit the needs of your data
該轉(zhuǎn)換提供了一組用于標(biāo)記化數(shù)據(jù)的默認(rèn)分隔符，但您可以添加適合自己數(shù)據(jù)需要的標(biāo)記分隔符。 - the transformation provides a default set of delimiters used to tokenize the data, but you can add new delimiters that improve the tokenization of your data
該轉(zhuǎn)換提供了一組用于標(biāo)記化數(shù)據(jù)的默認(rèn)分隔符，但您可以添加新的分隔符以改善您數(shù)據(jù)的標(biāo)記化。 - is similar to iterating over a text file, while the parse method to extract fields of text is similar to string manipulation methods used to tokenize delimited strings
分析文本文件與循環(huán)訪問(wèn)文本文件相似，而提取文本字段的分析方法則與將分隔字符串標(biāo)記化所使用的字符串操作方法相似。