Функции для работы со строками

empty

Проверяет, является ли входная строка пустой.

Синтаксис

Строка считается непустой, если содержит хотя бы один байт, пусть даже это пробел или нулевой байт.

Функция также поддерживает работу с типами Array и UUID.

Параметры

• x — Входная строка. String.

Возвращаемое значение

• Возвращает 1 для пустой строки и 0 — для непустой строки.

Тип: UInt8.

Пример

Запрос:

Результат:

notEmpty

Проверяет, является ли входная строка непустой.

Синтаксис

Строка считается непустой, если содержит хотя бы один байт, пусть даже это пробел или нулевой байт.

Функция также поддерживает работу с типами Array и UUID.

Параметры

• x — Входная строка. String.

Возвращаемое значение

• Возвращает 1 для непустой строки и 0 — для пустой строки.

Тип: UInt8.

Пример

Запрос:

Результат:

length

Возвращает длину строки в байтах (не символах, не кодовых точках). Тип результата — UInt64. Функция также работает для массивов.

lengthUTF8

Возвращает длину строки в кодовых точках Unicode (не символах), при допущении, что строка содержит набор байтов, являющийся текстом в кодировке UTF-8. Если допущение не выполнено, то возвращает какой-нибудь результат (не кидает исключение). Тип результата — UInt64.

char_length, CHAR_LENGTH

Возвращает длину строки в кодовых точках Unicode (не символах), при допущении, что строка содержит набор байтов, являющийся текстом в кодировке UTF-8. Если допущение не выполнено, возвращает какой-нибудь результат (не кидает исключение). Тип результата — UInt64.

character_length, CHARACTER_LENGTH

Возвращает длину строки в кодовых точках Unicode (не символах), при допущении, что строка содержит набор байтов, являющийся текстом в кодировке UTF-8. Если допущение не выполнено, возвращает какой-нибудь результат (не кидает исключение). Тип результата — UInt64.

leftPad

Дополняет текущую строку слева пробелами или указанной строкой (несколько раз, если необходимо), пока результирующая строка не достигнет заданной длины. Соответствует MySQL функции LPAD.

Синтаксис

Параметры

• string — входная строка, которую необходимо дополнить. String.
• length — длина результирующей строки. UInt. Если указанное значение меньше, чем длина входной строки, то входная строка возвращается как есть.
• pad_string — строка, используемая для дополнения входной строки. String. Необязательный параметр. Если не указано, то входная строка дополняется пробелами.

Возвращаемое значение

• Результирующая строка заданной длины.

Type: String.

Пример

Запрос:

Результат:

leftPadUTF8

Дополняет текущую строку слева пробелами или указанной строкой (несколько раз, если необходимо), пока результирующая строка не достигнет заданной длины. Соответствует MySQL функции LPAD. В отличие от функции leftPad, измеряет длину строки не в байтах, а в кодовых точках Unicode.

Синтаксис

Параметры

• string — входная строка, которую необходимо дополнить. String.
• length — длина результирующей строки. UInt. Если указанное значение меньше, чем длина входной строки, то входная строка возвращается как есть.
• pad_string — строка, используемая для дополнения входной строки. String. Необязательный параметр. Если не указано, то входная строка дополняется пробелами.

Возвращаемое значение

• Результирующая строка заданной длины.

Type: String.

Пример

Запрос:

Результат:

rightPad

Дополняет текущую строку справа пробелами или указанной строкой (несколько раз, если необходимо), пока результирующая строка не достигнет заданной длины. Соответствует MySQL функции RPAD.

Синтаксис

Параметры

• string — входная строка, которую необходимо дополнить. String.
• length — длина результирующей строки. UInt. Если указанное значение меньше, чем длина входной строки, то входная строка возвращается как есть.
• pad_string — строка, используемая для дополнения входной строки. String. Необязательный параметр. Если не указано, то входная строка дополняется пробелами.

Возвращаемое значение

• Результирующая строка заданной длины.

Type: String.

Пример

Запрос:

Результат:

rightPadUTF8

Дополняет текущую строку слева пробелами или указанной строкой (несколько раз, если необходимо), пока результирующая строка не достигнет заданной длины. Соответствует MySQL функции RPAD. В отличие от функции rightPad, измеряет длину строки не в байтах, а в кодовых точках Unicode.

Синтаксис

Параметры

• string — входная строка, которую необходимо дополнить. String.
• length — длина результирующей строки. UInt. Если указанное значение меньше, чем длина входной строки, то входная строка возвращается как есть.
• pad_string — строка, используемая для дополнения входной строки. String. Необязательный параметр. Если не указано, то входная строка дополняется пробелами.

Возвращаемое значение

• Результирующая строка заданной длины.

Type: String.

Пример

Запрос:

Результат:

lower, lcase

Переводит ASCII-символы латиницы в строке в нижний регистр.

upper, ucase

Переводит ASCII-символы латиницы в строке в верхний регистр.

lowerUTF8

Переводит строку в нижний регистр, при допущении, что строка содержит набор байтов, представляющий текст в кодировке UTF-8. Не учитывает язык. То есть, для турецкого языка, результат может быть не совсем верным. Если длина UTF-8 последовательности байтов различна для верхнего и нижнего регистра кодовой точки, то для этой кодовой точки результат работы может быть некорректным. Если строка содержит набор байтов, не являющийся UTF-8, то поведение не определено.

upperUTF8

Переводит строку в верхний регистр, при допущении, что строка содержит набор байтов, представляющий текст в кодировке UTF-8. Не учитывает язык. То есть, для турецкого языка, результат может быть не совсем верным. Если длина UTF-8 последовательности байтов различна для верхнего и нижнего регистра кодовой точки, то для этой кодовой точки, результат работы может быть некорректным. Если строка содержит набор байтов, не являющийся UTF-8, то поведение не определено.

isValidUTF8

Возвращает 1, если набор байтов является корректным в кодировке UTF-8, 0 иначе.

toValidUTF8

Заменяет некорректные символы UTF-8 на символ � (U+FFFD). Все идущие подряд некорректные символы схлопываются в один заменяющий символ.

Аргументы

• input_string — произвольный набор байтов, представленный как объект типа String.

Возвращаемое значение: Корректная строка UTF-8.

Пример

repeat

Повторяет строку определенное количество раз и объединяет повторяемые значения в одну строку.

Синоним: REPEAT.

Синтаксис

Аргументы

• s — строка для повторения. String.
• n — количество повторов. UInt.

Возвращаемое значение

Строка, состоящая из повторений n раз исходной строки s. Если n < 1, то функция вернет пустую строку.

Тип: String.

Пример

Запрос:

Результат:

reverse

Разворачивает строку (как последовательность байтов).

reverseUTF8

Разворачивает последовательность кодовых точек Unicode, при допущении, что строка содержит набор байтов, представляющий текст в кодировке UTF-8. Иначе — что-то делает (не кидает исключение).

format(pattern, s0, s1, ...)

Форматирует константный шаблон со строками, перечисленными в аргументах. pattern — упрощенная версия шаблона в языке Python. Шаблон содержит «заменяющие поля», которые окружены фигурными скобками {}. Всё, что не содержится в скобках, интерпретируется как обычный текст и просто копируется. Если нужно использовать символ фигурной скобки, можно экранировать двойной скобкой {{ '{{' }} или {{ '}}' }}. Имя полей могут быть числами (нумерация с нуля) или пустыми (тогда они интерпретируются как последовательные числа).

concat

Склеивает строки, переданные в аргументы, в одну строку без разделителей.

Cинтаксис

Аргументы

Значения типа String или FixedString.

Возвращаемое значение

Возвращает строку, полученную в результате склейки аргументов.

Если любой из аргументов имеет значение NULL, concat возвращает значение NULL.

Пример

Запрос:

Результат:

concatAssumeInjective

Аналогична concat. Разница заключается в том, что вам нужно убедиться, что concat(s1, s2, ...) → sn является инъективным, так как это предположение будет использоваться для оптимизации GROUP BY.

Функция называется «инъективной», если она возвращает разные значения для разных аргументов. Или, иными словами, функция никогда не выдаёт одно и то же значение, если аргументы разные.

Синтаксис

Аргументы

Значения типа String или FixedString.

Возвращаемые значения

Возвращает строку, полученную в результате объединения аргументов.

Если любой из аргументов имеет значение NULL, concatAssumeInjective возвращает значение NULL.

Пример

Вводная таблица:

Запрос:

Результат:

substring(s, offset, length), mid(s, offset, length), substr(s, offset, length)

Возвращает подстроку, начиная с байта по индексу offset, длины length байт. Индексация символов — начиная с единицы (как в стандартном SQL). Аргументы offset и length должны быть константами.

substringUTF8(s, offset, length)

Так же, как substring, но для кодовых точек Unicode. Работает при допущении, что строка содержит набор байтов, представляющий текст в кодировке UTF-8. Если допущение не выполнено, то возвращает какой-нибудь результат (не кидает исключение).

appendTrailingCharIfAbsent(s, c)

Если строка s непустая и не содержит символ c на конце, то добавляет символ c в конец.

convertCharset(s, from, to)

Возвращает сконвертированную из кодировки from в кодировку to строку s.

base58Encode(plaintext), base58Decode(encoded_text)

Принимает на вход строку или колонку строк и кодирует/раскодирует их с помощью схемы кодирования Base58 с использованием стандартного алфавита Bitcoin.

Синтаксис

Аргументы

• decoded — Колонка или строка типа String.
• encoded — Колонка или строка типа String. Если входная строка не является корректным кодом для какой-либо другой строки, возникнет исключение.

Возвращаемое значение

• Строка, содержащая раскодированный/закодированный первый аргумент.

Тип: String.

Пример:

Запрос:

Результат:

base64Encode(s)

Производит кодирование строки s в base64-представление.

Синоним: TO_BASE64.

base64URLEncode(s)

Производит кодирование URL (String или FixedString) в base64-представление в соответствии с RFC 4648.

base64Decode(s)

Декодирует base64-представление s в исходную строку. При невозможности декодирования выбрасывает исключение

Синоним: FROM_BASE64.

base64URLDecode(s)

Декодирует base64-представление URL в исходную строку в соответствии с RFC 4648. При невозможности декодирования выбрасывает исключение

tryBase64Decode(s)

Функционал аналогичен base64Decode, но при невозможности декодирования возвращает пустую строку.

tryBase64URLDecode(s)

Функционал аналогичен base64URLDecode, но при невозможности декодирования возвращает пустую строку.

endsWith(s, suffix)

Возвращает 1, если строка завершается указанным суффиксом, и 0 в противном случае.

startsWith(str, prefix)

Возвращает 1, если строка начинается указанным префиксом, в противном случае 0.

Возвращаемые значения

• 1, если строка начинается указанным префиксом.
• 0, если строка не начинается указанным префиксом.

Пример

Запрос:

Результат:

trim

Удаляет все указанные символы с начала или окончания строки. По умолчанию удаляет все последовательные вхождения обычных пробелов (32 символ ASCII) с обоих концов строки.

Синтаксис

Аргументы

• trim_character — один или несколько символов, подлежащие удалению. String.
• input_string — строка для обрезки. String.

Возвращаемое значение

Исходную строку после обрезки с левого и (или) правого концов строки.

Тип: String.

Пример

Запрос:

Результат:

trimLeft

Удаляет все последовательные вхождения обычных пробелов (32 символ ASCII) с левого конца строки. Не удаляет другие виды пробелов (табуляция, пробел без разрыва и т. д.).

Синтаксис

Алиас: ltrim(input_string).

Аргументы

• input_string — строка для обрезки. String.

Возвращаемое значение

Исходную строку без общих пробельных символов слева.

Тип: String.

Пример

Запрос:

Результат:

trimRight

Удаляет все последовательные вхождения обычных пробелов (32 символ ASCII) с правого конца строки. Не удаляет другие виды пробелов (табуляция, пробел без разрыва и т. д.).

Синтаксис

Алиас: rtrim(input_string).

Аргументы

• input_string — строка для обрезки. String.

Возвращаемое значение

Исходную строку без общих пробельных символов справа.

Тип: String.

Пример

Запрос:

Результат:

trimBoth

Удаляет все последовательные вхождения обычных пробелов (32 символ ASCII) с обоих концов строки. Не удаляет другие виды пробелов (табуляция, пробел без разрыва и т. д.).

Синтаксис

Алиас: trim(input_string).

Аргументы

• input_string — строка для обрезки. String.

Возвращаемое значение

Исходную строку без общих пробельных символов с обоих концов строки.

Тип: String.

Пример

Запрос:

Результат:

CRC32(s)

Возвращает чексумму CRC32 данной строки, используется CRC-32-IEEE 802.3 многочлен и начальным значением 0xffffffff (т.к. используется реализация из zlib).

Тип результата — UInt32.

CRC32IEEE(s)

Возвращает чексумму CRC32 данной строки, используется CRC-32-IEEE 802.3 многочлен.

Тип результата — UInt32.

CRC64(s)

Возвращает чексумму CRC64 данной строки, используется CRC-64-ECMA многочлен.

Тип результата — UInt64.

normalizeQuery

Заменяет литералы, последовательности литералов и сложные псевдонимы заполнителями.

Синтаксис

Аргументы

• x — последовательность символов. String.

Возвращаемое значение

• Последовательность символов с заполнителями.

Тип: String.

Пример

Запрос:

Результат:

normalizedQueryHash

Возвращает идентичные 64-битные хэш - суммы без значений литералов для аналогичных запросов. Это помогает анализировать журнал запросов.

Синтаксис

Аргументы

• x — последовательность символов. String.

Возвращаемое значение

• Хэш-сумма.

Тип: UInt64.

Пример

Запрос:

Результат:

normalizeUTF8NFC

Преобразует строку в нормализованную форму NFC, предполагая, что строка содержит набор байтов, составляющих текст в кодировке UTF-8.

Синтаксис

Аргументы

• words — входная строка, которая содержит набор байтов, составляющих текст в кодировке UTF-8. String.

Возвращаемое значение

• Строка, преобразованная в нормализированную форму NFC.

Тип: String.

Пример

Запрос:

Результат:

normalizeUTF8NFD

Преобразует строку в нормализованную форму NFD, предполагая, что строка содержит набор байтов, составляющих текст в кодировке UTF-8.

Синтаксис

Аргументы

• words — входная строка, которая содержит набор байтов, составляющих текст в кодировке UTF-8. String.

Возвращаемое значение

• Строка, преобразованная в нормализированную форму NFD.

Тип: String.

Пример

Запрос:

Результат:

normalizeUTF8NFKC

Преобразует строку в нормализованную форму NFKC, предполагая, что строка содержит набор байтов, составляющих текст в кодировке UTF-8.

Синтаксис

Аргументы

• words — входная строка, которая содержит набор байтов, составляющих текст в кодировке UTF-8. String.

Возвращаемое значение

• Строка, преобразованная в нормализированную форму NFKC.

Тип: String.

Пример

Запрос:

Результат:

normalizeUTF8NFKD

Преобразует строку в нормализованную форму NFKD, предполагая, что строка содержит набор байтов, составляющих текст в кодировке UTF-8.

Синтаксис

Аргументы

• words — входная строка, которая содержит набор байтов, составляющих текст в кодировке UTF-8. String.

Возвращаемое значение

• Строка, преобразованная в нормализированную форму NFKD.

Тип: String.

Пример

Запрос:

Результат:

encodeXMLComponent

Экранирует символы для размещения строки в текстовом узле или атрибуте XML.

Экранируются символы, которые в формате XML являются зарезервированными (служебными): <, &, >, ", '.

Синтаксис

Аргументы

• x — последовательность символов. String.

Возвращаемое значение

• Строка, в которой зарезервированные символы экранированы.

Тип: String.

Пример

Запрос:

Результат:

decodeXMLComponent

Заменяет символами предопределенные мнемоники XML: " & ' > < Также эта функция заменяет числовые ссылки соответствующими символами юникод. Поддерживаются десятичная (например, ✓) и шестнадцатеричная (✓) формы.

Синтаксис

Аргументы

• x — последовательность символов. String.

Возвращаемое значение

• Строка с произведенными заменами.

Тип: String.

Пример

Запрос:

Результат:

Смотрите также

• Мнемоники в HTML

extractTextFromHTML

Функция для извлечения текста из HTML или XHTML. Она не соответствует всем HTML, XML или XHTML стандартам на 100%, но ее реализация достаточно точная и быстрая. Правила обработки следующие:

1. Комментарии удаляются. Пример: <!-- test -->. Комментарий должен оканчиваться символами -->. Вложенные комментарии недопустимы. Примечание: конструкции наподобие <!--> и <!---> не являются допустимыми комментариями в HTML, но они будут удалены согласно другим правилам.
2. Содержимое CDATA вставляется дословно. Примечание: формат CDATA специфичен для XML/XHTML. Но он обрабатывается всегда по принципу "наилучшего возможного результата".
3. Элементы script и style удаляются вместе со всем содержимым. Примечание: предполагается, что закрывающий тег не может появиться внутри содержимого. Например, в JS строковый литерал должен быть экранирован как "<\/script>". Примечание: комментарии и CDATA возможны внутри script или style - тогда закрывающие теги не ищутся внутри CDATA. Пример: <script><![CDATA[</script>]]></script>. Но они ищутся внутри комментариев. Иногда возникают сложные случаи: <script>var x = "<!--"; </script> var y = "-->"; alert(x + y);</script> Примечание: script и style могут быть названиями пространств имен XML - тогда они не обрабатываются как обычные элементы script или style. Пример: <script:a>Hello</script:a>. Примечание: пробелы возможны после имени закрывающего тега: </script >, но не перед ним: < / script>.
4. Другие теги или элементы, подобные тегам, удаляются, а их внутреннее содержимое остается. Пример: <a>.</a> Примечание: ожидается, что такой HTML является недопустимым: <a test=">"></a> Примечание: функция также удаляет подобные тегам элементы: <>, <!>, и т. д. Примечание: если встречается тег без завершающего символа >, то удаляется этот тег и весь следующий за ним текст: <hello
5. Мнемоники HTML и XML не декодируются. Они должны быть обработаны отдельной функцией.
6. Пробелы в тексте удаляются и добавляются по следующим правилам:

• Пробелы в начале и в конце извлеченного текста удаляются.
• Несколько пробелов подряд заменяются одним пробелом.
• Если текст разделен другими удаляемыми элементами и в этом месте нет пробела, он добавляется.
• Это может привести к появлению неестественного написания, например: Hello<b>world</b>, Hello<!-- -->world — в HTML нет пробелов, но функция вставляет их. Также следует учитывать такие варианты написания: Hello<p>world</p>, Hello<br>world. Подобные результаты выполнения функции могут использоваться для анализа данных, например, для преобразования HTML-текста в набор используемых слов.

7. Также обратите внимание, что правильная обработка пробелов требует поддержки <pre></pre> и свойств CSS display и white-space.

Синтаксис

Аргументы

• x — текст для обработки. String.

Возвращаемое значение

• Извлеченный текст.

Тип: String.

Пример

Первый пример содержит несколько тегов и комментарий. На этом примере также видно, как обрабатываются пробелы. Второй пример показывает обработку CDATA и тега script. В третьем примере текст выделяется из полного HTML ответа, полученного с помощью функции url.

Запрос:

Результат:

initcap

Переводит первую букву каждого слова в строке в верхний регистр, а остальные — в нижний. Словами считаются последовательности алфавитно-цифровых символов, разделённые любыми другими символами.

initcapUTF8

Как initcap, предполагая, что строка содержит набор байтов, представляющий текст в кодировке UTF-8. Не учитывает язык. То есть, для турецкого языка, результат может быть не совсем верным. Если длина UTF-8 последовательности байтов различна для верхнего и нижнего регистра кодовой точки, то для этой кодовой точки результат работы может быть некорректным. Если строка содержит набор байтов, не являющийся UTF-8, то поведение не определено.

firstLine

Возвращает первую строку в многострочном тексте.

Синтаксис

Аргументы

• val - текст для обработки. String

Returned value

• Первая строка текста или весь текст, если переносы строк отсутствуют.

Тип: String

Пример

Запрос:

Результат: