Scilab Home page | Wiki | Bug tracker | Forge | Mailing list archives | ATOMS | File exchange
Please login or create an account
Change language to: English - Français - Português - 日本語 -
Справка Scilab >> Строки > tokens

tokens

Делит текст, используя разделители и выдаёт его части.

Синтаксис

Chunks = tokens(text)
Chunks = tokens(text, separators)

Аргументы

text
Единый текст для разделения. Он может включать в себя расширенные международные символы UTF-8.

separators
Вектор символов. По умолчанию значение равно [" ", ascii(9)], ascii(9) - это горизонтальная табуляция.

Chunks
Вектор-столбец: части разделённого текста.

Описание

tokens(…) ищет текст для указанных разделителей и делит его на части. Части свободны от разделителей. Последовательные разделители объединены.

Примеры

tokens("The given   text")

tokens("SCI/demos/scicos", "/")'

tokens("Επιστήμη και καινοτομία", ["α"," "])'

nbsp = ascii(160); // неразрывный пробел
t = "the" + nbsp + "given   text"
tokens(t)
--> tokens('The given   text')
 ans  =
  "The"
  "given"
  "text"


--> tokens('SCI/demos/scicos', '/')'
 ans  =
  "SCI"  "demos"  "scicos"


--> tokens("Επιστήμη και καινοτομία", ["α"," "])'
 ans  =
  "Επιστήμη"  "κ"  "ι"  "κ"  "ινοτομί"


--> nbsp = ascii(160); // неразрывный пробел
--> t = "the" + nbsp + "given   text"
 t  =
  "the given   text"

--> tokens(t)
 ans  =
  "the given"
  "text"

Смотрите также

  • strsplit — разделение единой строки по заданным позициям или шаблонам
  • regexp — поиск подстроки, соответствующей строке регулярного выражения
  • strindex — поиск положения символьной строки в другой строке
  • tokenpos — возвращает положение лексем в символьной строке
Scilab Enterprises
Copyright (c) 2011-2017 (Scilab Enterprises)
Copyright (c) 1989-2012 (INRIA)
Copyright (c) 1989-2007 (ENPC)
with contributors
Last updated:
Mon Jan 03 14:39:58 CET 2022