sibsutisВестник СибГУТИThe Herald of the Siberian State University of Telecommunications and Information Science1998-6920СибГУТИsibsutis-274Research ArticleСтатьиЗначения некоторых биграммных характеристик русскоязычных текстовImportance of some bigram characteristics for Russian language textsКотовЮ. А.KotovYu. ..kotov@corp.nstu.ruСанинаО. В.SaninaO. ..lyalysa@gmail.comНовосибирский государственный технический университетRussian Federation201724102022042434Copyright © Котов Ю.А., Санина О.В., 20222022Котов Ю.А., Санина О.В.Kotov Y..., Sanina O...Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.sibsutis.ru/jour/article/view/274

Для решения ряда задач анализа текстов, особенно криптографических, необходимы известные значения некоторых частотных характеристик текстов на естественном языке. В статье приведены результаты измерений в зависимости от объемов для русскоязычных текстов количества используемых в них буквенных биграмм и диграмм, а также связанных характеристик, названных индексами отклонения и сопряжения. Измерения проведены на двух представительных выборках для научно-популярных и художественных текстов и текстов учебных пособий для вузов. Показано, что буквенные биграммы и диграммы образуют различные, но математически строго связанные, элементы текстов. На основе такой связи введены индексы отклонения и сопряжения, которые позволяют отличить тексты на естественном языке от случайных текстов, определять искажения в текстах или размер кодировки букв. Биграммные частотные характеристики представляются сбалансированными по стабильности, информативности и вычислительной эффективности характеристиками текстов.

To solve a number of text analysis problems, especially cryptographic, the known values of some frequency characteristics of natural language texts are required. The paper provides measuring results, depending on Russian language texts sizes: the number of alphabetic bigrams and digrams used in texts, as well as connected characteristics named as scatter index and conjunction index. Measurements were taken for two samples: the first sample includes nonfiction and fiction, the second one consists of university study guides. This paper represents alphabetic bigrams and digrams to form different but mathematically strictly related texts elements. Based on this relationship, the scatter index and the conjunction index are introduced enabling to distinguish texts in natural language from random texts, to determine misrepresentations in texts and the size of letter encoding. Bigrams frequency characteristics are submitted to be the most balanced characteristics according to stability, informativity, and computing efficiency.

выборкатекстыбуквычастота встречаемостибиграммадиграммаиндекс отклоненияиндекс сопряженияsampletextslettersfrequencybigramdigramscatter indexconjunction indexReferencesСоснина Е. П. Введение в прикладную лингвистику. Ульяновск: Изд-во:УлГТУ, 2012.Соснина Е. П. Введение в прикладную лингвистику. Ульяновск: Изд-во:УлГТУ, 2012.Grigori Sidorov. Syntactic Dependency Based N-grams in Rule Based Automatic English as Second Language Grammar Correction // International Journal of Computational Linguistics and Applications. 2013. V. 4, № 2. Р. 169-188.Grigori Sidorov. Syntactic Dependency Based N-grams in Rule Based Automatic English as Second Language Grammar Correction // International Journal of Computational Linguistics and Applications. 2013. V. 4, № 2. Р. 169-188.Grigori Sidorov, Francisco Velasquez, Efstathios Stamatatos, Alexander Gelbukh, and Liliana Chanona-Hernandez. Syntactic N-grams as Machine Learning Features for Natural Language Processing // Expert Systems with Applications. 2013. V. 41, № 3. Р. 853-860.Grigori Sidorov, Francisco Velasquez, Efstathios Stamatatos, Alexander Gelbukh, and Liliana Chanona-Hernandez. Syntactic N-grams as Machine Learning Features for Natural Language Processing // Expert Systems with Applications. 2013. V. 41, № 3. Р. 853-860.Нокель М. А. Метод учета структуры биграмм в тематических моделях // Вестник ВГУ, серия: Системный анализ и информационные технологии. 2014. № 4. С. 89-97.Нокель М. А. Метод учета структуры биграмм в тематических моделях // Вестник ВГУ, серия: Системный анализ и информационные технологии. 2014. № 4. С. 89-97.Васильев Е. М., Жданова Д. В. Диахроническое исследование энтропии графем русского письма // Вестник Воронежского государственного технического университета. 2010. № 4. С. 1-3.Васильев Е. М., Жданова Д. В. Диахроническое исследование энтропии графем русского письма // Вестник Воронежского государственного технического университета. 2010. № 4. С. 1-3.Васильев Е. М., Гусев К. Ю. Анализ избыточности русскоязычного текста // Вестник Воронежского государственного технического университета. 2010. № 8. С. 1-4.Васильев Е. М., Гусев К. Ю. Анализ избыточности русскоязычного текста // Вестник Воронежского государственного технического университета. 2010. № 8. С. 1-4.Губарев В. В. Введение в теоретическую информатику. Новосибирск: Изд-во НГТУ. 2014. 420 с.Губарев В. В. Введение в теоретическую информатику. Новосибирск: Изд-во НГТУ. 2014. 420 с.Ляшевская О. Н., Шаров С. А. Частотный словарь современного русского языка (на материале Национального корпуса русского языка). М.: Азбуковник, 2009. 923 с.Ляшевская О. Н., Шаров С. А. Частотный словарь современного русского языка (на материале Национального корпуса русского языка). М.: Азбуковник, 2009. 923 с.Жданов О. Н., Куденкова И. А. Криптоанализ классических шифров. Красноярск: Изд-во Сиб. гос. аэрокосм. ун-та им. акад. М. Ф. Решетнева, 2008. 107 с.Жданов О. Н., Куденкова И. А. Криптоанализ классических шифров. Красноярск: Изд-во Сиб. гос. аэрокосм. ун-та им. акад. М. Ф. Решетнева, 2008. 107 с.Котов Ю. А. Детерминированная идентификация буквенных биграмм в русскоязычных текстах // Труды СПИИРАН. 2016. № 1. С. 181-197.Котов Ю. А. Детерминированная идентификация буквенных биграмм в русскоязычных текстах // Труды СПИИРАН. 2016. № 1. С. 181-197.Котов Ю. А. Аппроксимация распределений частот буквенных биграмм текста для идентификации букв // Труды СПИИРАН. 2017. № 1. С. 190-208.Котов Ю. А. Аппроксимация распределений частот буквенных биграмм текста для идентификации букв // Труды СПИИРАН. 2017. № 1. С. 190-208.Бабенко Л. К., Ищукова Е. А., Маро Е. А., Сидоров И. Д., Кравченко П. П. Развитие криптографических методов и средств защиты информации // Известия ЮФУ. Технические науки. 2012. № 4. С. 40-50.Бабенко Л. К., Ищукова Е. А., Маро Е. А., Сидоров И. Д., Кравченко П. П. Развитие криптографических методов и средств защиты информации // Известия ЮФУ. Технические науки. 2012. № 4. С. 40-50.Бабенко Л. К., Ищукова Е. А. Анализ симметричных криптосистем // Известия ЮФУ. Технические науки. 2012. № 12. С. 136-147.Бабенко Л. К., Ищукова Е. А. Анализ симметричных криптосистем // Известия ЮФУ. Технические науки. 2012. № 12. С. 136-147.Глухов М. М., Круглов И. А., Пичкур А. Б., Черёмушкин А. В. Введение в теоретико-числовые методы криптографии. СПб.: Лань, 2011. 400 с.Глухов М. М., Круглов И. А., Пичкур А. Б., Черёмушкин А. В. Введение в теоретико-числовые методы криптографии. СПб.: Лань, 2011. 400 с.Минеев М. П., Чубариков В. Н. Лекции по арифметическим вопросам криптографии. М.: Изд-во «Попечительский совет Механико-математического факультета МГУ им. М. В. Ломоносова», 2010. 186 с.Минеев М. П., Чубариков В. Н. Лекции по арифметическим вопросам криптографии. М.: Изд-во «Попечительский совет Механико-математического факультета МГУ им. М. В. Ломоносова», 2010. 186 с.Sambasiva Rao Baragada, P. Satyanarayana Reddy. A Survey of Cryptanalytic Works Based on Genetic Algorithms // International Journal of Emerging Trends & Technology in Computer Science (IJETTCS). 2013. V. 2, № 5. Р. 18-22.Sambasiva Rao Baragada, P. Satyanarayana Reddy. A Survey of Cryptanalytic Works Based on Genetic Algorithms // International Journal of Emerging Trends & Technology in Computer Science (IJETTCS). 2013. V. 2, № 5. Р. 18-22.Amrit Pal Singh, Dr. S K. Pal and Dr. M P S Bhatia. The Firefly Algorithm and Application in Cryptanalysis of Monoalphabetic Substitution Ciphers // American Journal of Computer Science and Engineering Survey. 2013. V. 1, № 1. Р. 33-52.Amrit Pal Singh, Dr. S K. Pal and Dr. M P S Bhatia. The Firefly Algorithm and Application in Cryptanalysis of Monoalphabetic Substitution Ciphers // American Journal of Computer Science and Engineering Survey. 2013. V. 1, № 1. Р. 33-52.Морозенко В. В., Плешкова И. Ю. О применении генетического алгоритма для криптоанализа шифра Тритемия-Белазо-Виженера // Современные проблемы науки и образования: электронный научный журнал. 2014. № 2. С. 1-11.Морозенко В. В., Плешкова И. Ю. О применении генетического алгоритма для криптоанализа шифра Тритемия-Белазо-Виженера // Современные проблемы науки и образования: электронный научный журнал. 2014. № 2. С. 1-11.Aditi Bhateja, Shailender Kumar, Ashok К. Bhateja. Cryptanalysis of Vigenere Cipher using Particle Swarm Optimization with Markov chain random walk // International Journal on Computer Science and Engineering (IJCSE). 2013. V. 5, № 5. Р. 422-429.Aditi Bhateja, Shailender Kumar, Ashok К. Bhateja. Cryptanalysis of Vigenere Cipher using Particle Swarm Optimization with Markov chain random walk // International Journal on Computer Science and Engineering (IJCSE). 2013. V. 5, № 5. Р. 422-429.Maya Mohan, M. К. Kavitha Devi, V. Jeevan Prakash. Security Analysis and Modification of Classical Encryption Scheme // Indian Journal of Science and Technology. 2015. V. 8, № 8. Р.542-548.Maya Mohan, M. К. Kavitha Devi, V. Jeevan Prakash. Security Analysis and Modification of Classical Encryption Scheme // Indian Journal of Science and Technology. 2015. V. 8, № 8. Р.542-548.

The authors declare that there are no conflicts of interest present.