КОНФЕРЕНЦІЇ ВНТУ електронні наукові видання, 
Молодь в науці: дослідження, проблеми, перспективи (МН-2025)

Розмір шрифта: 
АЛГОРИТМИ ТОКЕНІЗАЦІЇ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ
Олексій Андрійович Довгань, Костянтин Вячеславович Овчинников

Остання редакція: 2024-12-03

Анотація


Дана робота присвячена огляду алгоритмів текстової токенізації сучасних великих мовних моделей.

Ключові слова


токенізація, алгоритм, велика мовна модель

Повний текст: PDF