sibsutisВестник СибГУТИThe Herald of the Siberian State University of Telecommunications and Information Science1998-6920СибГУТИ10.55648/1998-6920-2025-19-4-3-16sibsutis-997Research ArticleСтатьиАнализ тональности узбекских текстов с использованием NER: сравнительное исследование моделей SVM, LSTM и BERTSentiment analysis of Uzbek texts using NER: a comparative study of SVM, LSTM, and BERT modelshttps://orcid.org/0009-0000-5540-2013СаидовБобур РашидовичSaidovBobur Rashidovich

аспирант, Новосибирский государственный университет

PhD student of Department of Mathematical modeling, numerical methods and software packages

b.saidov@g.nsu.ruhttps://orcid.org/0000-0003-3299-0507БарахнинВладимир БорисовичBarakhninVladimir Borisovich

доктор технических наук, доцент, Новосибирский государственный университет

Doctor of Technical Sciences, Associate Professor, Novosibirsk State University Novosibirsk, Russia. Federal Research Center for Information and Computational Technologies Novosibirsk, Russia

v.barakhnin@g.nsu.ruНовосибирский национальный исследовательский государственный университетУзбекистанNovosibirsk State UniversityUzbekistanНовосибирский национальный исследовательский государственный университет; Федеральный исследовательский центр информационных и вычислительных технологийРоссияNovosibirsk State University; Federal Research Center for Information and Computational TechnologiesRussian Federation202522122025194Вестник СибГУТИ317Copyright © Саидов Б.Р., Барахнин В.Б., 20252025Саидов Б.Р., Барахнин В.Б.Saidov B.R., Barakhnin V.B.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.sibsutis.ru/jour/article/view/997

В данной статье проводится сравнительный анализ методов машинного обучения (SVM), глубокого обучения (LSTM) и трансформерных моделей (BERT) для классификации тональности узбекских текстов с использованием распознавания именованных сущностей (NER). Исследование направлено на решение проблемы точного определения эмоциональной окраски в морфологически сложных языках с ограниченными ресурсами, на примере узбекского – тюркского языка с агглютинативной структурой. Для экспериментов использован датасет из 10 000 пользовательских комментариев из социальных сетей, аннотированных вручную (тональность: положительная, отрицательная,нейтральная) и автоматически (NER через CRF-модель для идентификации брендов, локаций и публичных лиц). Интеграция NER позволила устранить контекстуальные неоднозначности, например, разграничение предложений: «Обожаю историю Самарканда» (положительный оттенок) и «Пробки в Самарканде невыносимы» (отрицательный). Результаты показали, что BERT, дообученный на узбекских текстах, достиг наивысшей точности (90.2%) благодаря контекстуализированным эмбеддингам, связывающим сущности с тональностью. LSTM продемонстрировал конкурентоспособную точность (85.1%) в анализе последовательностей, но требовал больших объёмов данных. SVM, несмотря на вычислительную эффективность, показал скромные результаты (78.3%) из-за неспособности учитывать лингвистические нюансы. Исследование подчеркивает важность NER для низкоресурсных языков в устранении неоднозначности и предлагает рекомендации по внедрению BERT в прикладные задачи (например, анализ отзывов). Обсуждаются ограничения, включая недостаток данных и высокие вычислительные затраты, что определяет направления будущих исследований для оптимизации моделей под узбекский язык.

This paper presents a comparative analysis of machine learning (SVM), deep learning (LSTM), and transformer-based (BERT) models for sentiment classification in Uzbek texts, enhanced by Named Entity Recognition (NER). The study addresses the challenge of accurately detecting sentiment in morphologically complex languages with limited resources, focusing on Uzbek–a Turkic language with rich agglutinative structures. A dataset of 10,000 user-generated comments from social platforms was annotated using a hybrid approach: manual labeling for sentiment (positive, negative, neutral) and a CRF-based NER system to identify entities (e.g., brands, locations, public figures). The integration of NER features aimed to resolve contextual ambiguities, such as distinguishing between "I love Samarkand’s history" (positive) and "Samarkand’s traffic is unbearable" (negative). Experimental results demonstrate that BERT, fine-tuned on Uzbek text, achieved the highest accuracy (90.2%) by leveraging contextualized embeddings to align entities with sentiment. LSTM showed competitive performance (85.1%) in sequential pattern learning but required extensive training data. SVM, while computationally efficient, lagged at 78.3% accuracy due to its inability to capture nuanced linguistic dependencies. The findings emphasize the critical role of NER in low-resource languages for disambiguating sentiment triggers and propose practical guidelines for deploying BERT in real-world applications, such as customer feedback analysis. Limitations, including data scarcity and computational costs, are discussed to inform future research on optimizing lightweight models for Uzbek NLP tasks.

анализ тональностираспознавание именованных сущностей (NER)узбекский языкBERTнизкоресурсная обработка естественного языкаSentiment AnalysisNamed Entity RecognitionUzbek LanguageBERTLow- Resource NLPИсследование выполнено в рамках государственного задания Министерства науки и высшего образования Российской Федерации для Федерального научно-исследовательского центра информационных и вычислительных технологий.The research was carried out within the state assignment of Ministry of Science and Higher Education of the Russian Federation for Federal Research Center for Information and Computational Technologies.ReferencesLample G., Ballesteros M., Subramanian S., Kawakami K., Dyer C. Neural Architectures for Named Entity Recognition. NAACL-HLT, 2016, p. 260–270. DOI: 10.18653/v1/N161030Lample G., Ballesteros M., Subramanian S., Kawakami K., Dyer C. Neural Architectures for Named Entity Recognition // Proceedings of NAACL-HLT. – 2016. – P. 260–270. DOI: 10.18653/v1/N16-1030Bojanowski P., Grave E., Joulin A., Mikolov T. Enriching Word Vectors with Subword Information. arXiv preprint arXiv:1607.04606, 2016, 12 p. URL: https://arxiv.org/abs/1607.04606Bojanowski P., Grave E., Joulin A., Mikolov T. Enriching Word Vectors with Subword Information // arXiv preprint arXiv:1607.04606. – 2016. – 12 p. URL: https://arxiv.org/abs/1607.04606Liu Y., Ott M., Goyal N., Du J., Joshi M. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692, 2019, 13 p.Liu Y., Ott M., Goyal N., Du J., Joshi M. RoBERTa: A Robustly Optimized BERT Pretraining Approach // arXiv preprint arXiv:1907.11692. – 2019. – 13 p.Xolmirzayev A., Yusupov S. Rule-Based Sentiment Analysis for Uzbek Texts, International Conference on Information Science and Communications Technologies (ICISCT), 2021, p. 1–4.Xolmirzayev A., Yusupov S. Rule-Based Sentiment Analysis for Uzbek Texts // Proceedings of the International Conference on Information Science and Communications Technologies (ICISCT). – 2021. – P. 1–4.Hochreiter S., Schmidhuber J. Long Short-Term Memory. Neural Computation, 1997, Vol. 9(8), p. 1735–1780. DOI: 10.1162/neco.1997.9.8.1735Hochreiter S., Schmidhuber J. Long Short-Term Memory // Neural Computation. – 1997. – Vol. 9(8). – P. 1735–1780. DOI: 10.1162/neco.1997.9.8.1735Lample G., Ballesteros M., Subramanian S., Kawakami K., Dyer C. Neural Architectures for Named Entity Recognition. NAACL-HLT, 2016, p. 260–270.Lample G., Ballesteros M., Subramanian S., Kawakami K., Dyer C. Neural Architectures for Named Entity Recognition // Proceedings of NAACL-HLT. – 2016. – P. 260–270.Kuriyozov Z., Muhamediev R. Uzbek Language Processing: Challenges and Opportunities. International Journal of Advanced Computer Science and Applications, 2020, vol. 11(6), p. 123–130. DOI: 10.14569/IJACSA.2020.0110616Kuriyozov Z., Muhamediev R. Uzbek Language Processing: Challenges and Opportunities // International Journal of Advanced Computer Science and Applications. – 2020. – Vol. 11(6). – P. 123–130. DOI: 10.14569/IJACSA.2020.0110616Zero-shot sentiment analysis: e.g., Yin et al. (2020)Tjong Kim Sang E., De Meulder F. Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition // Proceedings of CoNLL-2003. – 2003. – P. 142–147. URL: https://aclanthology.org/W03-0419Transfer learning for low-resource languages: e.g., Conneau et al. (2020)Hochreiter S., Schmidhuber J. Long Short-Term Memory // Neural Computation. – 1997. – Vol. 9(8). – P. 1735–1780.Lightweight BERT models: Jiao et al. (2019), Sanh et al. (2019)Mikolov T., Chen K., Corrado G., Dean J. Efficient Estimation of Word Representations in Vector Space // arXiv preprint arXiv:1301.3781. – 2013. – 12 p. URL: https://arxiv.org/abs/1301.3781Devlin J., Chang M., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805, 2018, 16 p. URL: https://arxiv.org/abs/1810.04805Devlin J., Chang M., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding // arXiv preprint arXiv:1810.04805. – 2018. – 16 p. URL: https://arxiv.org/abs/1810.04805Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L. Attention Is All You Need. Advances in Neural Information Processing Systems (NIPS), 2017, p. 5998–6008. URL: https://proceedings.neurips.cc/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.htmlVaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L. Attention Is All You Need // Advances in Neural Information Processing Systems (NIPS). – 2017. – P. 5998–6008. URL:Saidov B. R., Barakhnin V. B., Sharipov E. J., Maksetbaev A. B., Ruzimov J. O., Abdullayev R. M. Development and Realization of Software Application for Syntax Checking of Karakalpak Language Text. IEEE 3rd International Conference on Problems of Informatics, Electronics and Radio Engineering (PIERE), 2024. https://ieeexplore.ieee.org/document/10804984https://proceedings.neurips.cc/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aaAbstract.htmlYusupov F., Abdullaev S. Named Entity Recognition for Uzbek Using Conditional Random Fields. AINL-ISMW, 2019, p. 45–52. URL: https://ceur-ws.org/Vol-2499/paper11.pdfPang B., Lee L. Opinion Mining and Sentiment Analysis // Foundations and Trends in Information Retrieval. – 2008. – Vol. 2. – P. 1–135.Abidov A., Mirzaev T. UzBERT: A Pretrained Language Model for Uzbek. Technical Report, Tashkent University of Information Technologies, 2022, 25 p. URL: https://archive.org/details/uzbert-reportYusupov F., Abdullaev S. Named Entity Recognition for Uzbek Using Conditional Random Fields // Proceedings of AINL-ISMW. – 2019. – P. 45–52. URL: https://ceurws.org/Vol-2499/paper11.pdfSutton C., McCallum A. An Introduction to Conditional Random Fields. Foundations and Trends in Machine Learning, 2012, vol. 4(4), p. 267–373. DOI: 10.1561/2200000013Abidov A., Mirzaev T. UzBERT: A Pretrained Language Model for Uzbek // Technical Report, Tashkent University of Information Technologies. – 2022. – 25 p. URL: https://archive.org/details/uzbert-reportJiao X., Yin Y., Shang L., Jiang X., Chen X., Li L., Wang F., Liu Q. TinyBERT: Distilling BERT for Natural Language Understanding, arXiv preprint arXiv:1909.10351, 2019, URL: https://arxiv.org/abs/1909.10351Sutton C., McCallum A. An Introduction to Conditional Random Fields // Foundations and Trends in Machine Learning. – 2012. – Vol. 4(4). – P. 267–373. DOI: 10.1561/2200000013Sanh V., Debut L., Chaumond J., Wolf T. DistilBERT, a Distilled Version of BERT: Smaller, Faster, Cheaper and Lighter, arXiv preprint arXiv:1910.01108, 2019, URL: https://arxiv.org/abs/1910.01108Jiao X., Yin Y., Shang L., Jiang X., Chen X., Li L., Wang F., Liu Q. TinyBERT: Distilling BERT for Natural Language Understanding arXiv preprint arXiv:1909.10351. 2019. URL: https://arxiv.org/abs/1909.10351Rakhimov S., Khamidov J. Development of a Morphological Analyzer for Uzbek. Journal of Natural Language Engineering, 2021, vol. 27(3), p. 311–328. DOI: 10.1017/S1351324921000047Sanh V., Debut L., Chaumond J., Wolf T. DistilBERT, a Distilled Version of BERT: Smaller, Faster, Cheaper and Lighter arXiv preprint arXiv:1910.01108. 2019. URL: https://arxiv.org/abs/1910.01108Rasulov A., Karimov J. Building a Corpus for Low-Resource Languages: A Case Study on Uzbek. LREC, 2022, p. 112–119. URL: https://aclanthology.org/2022.lrec-1.12Rakhimov S., Khamidov J. Development of a Morphological Analyzer for Uzbek // Journal of Natural Language Engineering. – 2021. – Vol. 27(3). – P. 311–328. DOI: 10.1017/S1351324921000047Rasulov A., Karimov J. Building a Corpus for Low-Resource Languages: A Case Study on Uzbek // Proceedings of LREC. – 2022. – P. 112–119. URL: https://aclanthology.org/2022.lrec-1.12Rasulov A., Karimov J. Building a Corpus for Low-Resource Languages: A Case Study on Uzbek // Proceedings of LREC. – 2022. – P. 112–119. URL: https://aclanthology.org/2022.lrec-1.12

The authors declare that there are no conflicts of interest present.