tokens

Аргументы

text

Единый текст для разделения. Он может включать в себя расширенные международные символы UTF-8.

separators

Вектор символов. По умолчанию значение равно [" ", ascii(9)], ascii(9) - это горизонтальная табуляция.

Chunks

Вектор-столбец: части разделённого текста.

Описание

tokens(…) ищет текст для указанных разделителей и делит его на части. Части свободны от разделителей. Последовательные разделители объединены.

Примеры

tokens("The given   text")

tokens("SCI/demos/scicos", "/")'

tokens("Επιστήμη και καινοτομία", ["α"," "])'

nbsp = ascii(160); // неразрывный пробел
t = "the" + nbsp + "given   text"
tokens(t)

--> tokens('The given   text')
 ans  =
  "The"
  "given"
  "text"


--> tokens('SCI/demos/scicos', '/')'
 ans  =
  "SCI"  "demos"  "scicos"


--> tokens("Επιστήμη και καινοτομία", ["α"," "])'
 ans  =
  "Επιστήμη"  "κ"  "ι"  "κ"  "ινοτομί"


--> nbsp = ascii(160); // неразрывный пробел
--> t = "the" + nbsp + "given   text"
 t  =
  "the given   text"

--> tokens(t)
 ans  =
  "the given"
  "text"

Смотрите также

• strsplit — разделение единой строки по заданным позициям или шаблонам
• regexp — в строке найдите (и распакуйте) подстроки, соответствующие регулярному выражению
• strindex — поиск положения символьной строки в другой строке
• tokenpos — возвращает положение лексем в символьной строке