tokens
セパレータを使用してテキストをチャンクに分割する
呼び出し手順
Chunks = tokens(text) Chunks = tokens(text, separators)
引数
- text
- 分割する単一のテキスト. 拡張UTF-8国際文字を含めることができます.
- separators
- 文字または文字のベクトル. トークンデリミタ. Default value =
[" ", ascii(9)]
, ascii(9) being the horizontal tab. - Chunks
- みつかったトークンの列ベクトル
説明
tokens(…)
は,
文字列text
の中に含まれるトークンを探します.
tokens(…)
は,テキストでセパレータを検索し,それをチャンクに分割します.
チャンクにはセパレータがありません. 連続する区切り文字がマージされます.
例
tokens("The given text") tokens("SCI/demos/scicos", "/")' tokens("Επιστήμη και καινοτομία", ["α"," "])' nbsp = ascii(160); // non-breakable space t = "the" + nbsp + "given text" tokens(t)
--> tokens('The given text') ans = "The" "given" "text" --> tokens('SCI/demos/scicos', '/')' ans = "SCI" "demos" "scicos" --> tokens("Επιστήμη και καινοτομία", ["α"," "])' ans = "Επιστήμη" "κ" "ι" "κ" "ινοτομί" --> nbsp = ascii(160); // non-breakable space --> t = "the" + nbsp + "given text" t = "the given text" --> tokens(t) ans = "the given" "text"
参照
Report an issue | ||
<< tokenpos | Strings | Sound file handling >> |