Остання редакція: 2026-06-19
Анотація
Запропоновано підхід до підвищення ефективності інформаційної технології аналізу та розпізнавання тональності текстових коментарів на основі комбінованого застосування методів векторних представлень слів, тонкого налаштування трансформерних моделей та каскадної маршрутизації за рівнем упевненості. Наведено особливості побудови методу автоматичного розширення тонального словника української мови за принципом семантичної подібності векторних представлень слів для охоплення сленгової лексики та неологізмів, відсутніх у базовому словнику, та визначено підходи до формування каскадної моделі класифікації на основі тонкого налаштування трансформерних моделей для точного розпізнавання тональності коментарів, які на лексичному рівень класифікує як неоднозначні. Обґрунтовано доцільність використання механізму каскадної маршрутизації на основі порогу впевненості лексичної оцінки для адаптивного підвищення обчислювальної ефективності технології аналізу тональності.
FEATURES OF THE APPLICATION OF INFORMATION TECHNOLOGIES FOR THE ANALYSIS AND RECOGNITION OF THE TONE OF TEXTUAL COMMENTS
Abstract:
An approach is proposed to improve the effectiveness of information technology for analysing and recognising the tone of text comments, based on the combined application of methods involving vector representations of words, fine-tuning of transformer models, and cascaded routing based on confidence levels. The paper outlines the features of a method for automatically expanding the Ukrainian tone dictionary based on the principle of semantic similarity of word vector representations to cover slang and neologisms which are absent from the base dictionary, and approaches are defined for forming a cascaded classification model based on fine-tuning Transformer models for the accurate recognition of the tone of comments that are classified as ambiguous at the lexical level. The feasibility of using a cascade routing mechanism based on a confidence threshold for lexical assessment to adaptively improve the computational efficiency of tone analysis technology has been substantiated.
Ключові слова
Посилання
Liu B. Sentiment Analysis: Mining Opinions, Sentiments, and Emotions. – 2nd ed. – Cambridge University Press, 2020. – 449 p. DOI: https://doi.org/10.1017/9781108639286
Minaee S., Kalchbrenner N., Cambria E., Nikzad N., Chenaghlu M., Gao J. Deep Learning–Based Text Classification: A Comprehensive Review // ACM Computing Surveys. – 2021. – Vol. 54, No. 3. – P. 1–40. DOI: https://doi.org/10.1145/3439726
Pang B., Lee L., Vaithyanathan S. Thumbs up? Sentiment Classification Using Machine Learning Techniques // Proceedings of EMNLP 2002. – 2002. – P. 79–86. DOI: https://doi.org/10.3115/1118693.1118704
Sebastiani F. Machine Learning in Automated Text Categorization // ACM Computing Surveys. – 2002. – Vol. 34, No. 1. – P. 1–47. DOI: https://doi.org/10.1145/505282.505283
Hochreiter S., Schmidhuber J. Long Short-Term Memory // Neural Computation. – 1997. – Vol. 9, No. 8. – P. 1735–1780. DOI: https://doi.org/10.1162/neco.1997.9.8.1735
Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding // Proceedings of NAACL-HLT 2019. – 2019. – P. 4171–4186. DOI: https://doi.org/10.18653/v1/N19-1423
Conneau A., Khandelwal K., Goyal N., Chaudhary V., Wenzek G., Guzmán F., Grave E., Ott M., Zettlemoyer L., Stoyanov V. Unsupervised Cross-lingual Representation Learning at Scale // Proceedings of ACL 2020. – 2020. – P. 8440–8451. DOI: https://doi.org/10.18653/v1/2020.acl-main.747
Коник М. І. Порівняльний аналіз підходів та методів визначення тональності тексту в контексті опрацювання відгуків мешканців міста // Вісник Херсонського національного технічного університету. – 2025. – Т. 2, № 2(93). – С. 186–192. DOI: https://doi.org/10.35546/kntu2078-4481.2025.2.2.23
Оленич І. Я., Притула М. М., Сінькевич О. В., Хамар О. О. Система автоматичного визначення тональності тексту // Електроніка та інформаційні технології. – 2021. – Вип. 15. – С. 16–23. DOI: https://doi.org/10.30970/eli.15.2
Hamilton W. L., Clark K., Leskovec J., Jurafsky D. Inducing Domain-Specific Sentiment Lexicons from Unlabeled Corpora // Proceedings of EMNLP 2016. – 2016. – P. 595–605. DOI: https://doi.org/10.18653/v1/D16-1057
Bojanowski P., Grave E., Joulin A., Mikolov T. Enriching Word Vectors with Subword Information // Transactions of the Association for Computational Linguistics. – 2017. – Vol. 5. – P. 135–146. DOI: https://doi.org/10.1162/tacl_a_00051
Sanh V., Debut L., Chaumond J., Wolf T. DistilBERT, a Distilled Version of BERT: Smaller, Faster, Cheaper and Lighter // arXiv preprint. – 2019. URL: https://arxiv.org/abs/1910.01108