sibsutisВестник СибГУТИThe Herald of the Siberian State University of Telecommunications and Information Science1998-6920СибГУТИsibsutis-320Research ArticleСтатьиИдентификация пробела при неизвестной знаковой кодировке в русскоязычных текстахSpace character identification in Russian language texts with unknown encodingКотовЮ. А.KotovYu. ..kotov@corp.nstu.ruСанинаО. В.SaninaO. ..lyalysa@gmail.comНГТУRussian Federation201824102022044860Copyright © Котов Ю.А., Санина О.В., 20222022Котов Ю.А., Санина О.В.Kotov Y..., Sanina O...Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.sibsutis.ru/jour/article/view/320

В работе рассматриваются два критерия идентификации пробела в русскоязычных текстах, представленных в неизвестной знаковой кодировке, и их совместное применение. Оба критерия основаны на сравнении распределения словника текста по длине слов с распределением Пуассона. В первом случае такое сравнение осуществляется на основе разности математического ожидания и дисперсии выборочного распределения, во втором - на основе отношения двух площадей распределения, называемого в работе индексом длины слов. Определена статистика этих критериев для текстов различного объёма и граничные условия для их применения. Проведено экспериментальное исследование погрешности использования данных критериев с найденными граничными условиями для решения задачи идентификации пробела и получена статистика для ошибок первого и второго рода. На основе полученных данных для текстов различного объёма определены условия совместного использования данных критериев с учётом возможной миграции знака пробела в частотном упорядочивании знаков текста. Проведено экспериментальное исследование погрешности совместного использования данных критериев и получена статистика для ошибок первого и второго рода.

The paper considers two criteria and their joint use for identifying spaces in Russian language texts with unknown encoding. The criteria are based on comparing the word length distribution in a text glossary with the Poisson distribution. The first criterion estimates the difference between the expected value and variance of samples' distribution. The second criterion calculates the relation between two distribution squares called words length index. The measurements were made to estimate criteria statistics for texts varied in size and determine their critical values as well as terms of use. The accuracy of using the criteria with the determined critical values to solve the problem of space identification were calculated, and the statistics of type I and type II errors was obtained. Based on the obtained statistics for texts of various sizes, the terms for sharing these criteria are determined with regard to possible change in space’s place in the frequencies ordering of text characters. The accuracy of the criteria sharing was calculated, and the statistics of type I and type II errors was obtained.

знак пробелаидентификацияраспределение Пуассонаиндекс длины словчастота встречаемостиspace characteridentificationPoisson distributionwords’ length indexfrequencyReferencesThelwall M., Buckley K., Paltoglou G., Cai D., Kappas A. Sentiment in short strength detection informal text // Journal of the American Society for Information Science and Technology. 2010. V. 61, № 12. P. 2544-2558.Thelwall M., Buckley K., Paltoglou G., Cai D., Kappas A. Sentiment in short strength detection informal text // Journal of the American Society for Information Science and Technology. 2010. V. 61, № 12. P. 2544-2558.Bowker L. Computer-aided Translation Technology: A Practical Introduction Front Cover. University of Ottawa Press, 2002. 185 p.Bowker L. Computer-aided Translation Technology: A Practical Introduction Front Cover. University of Ottawa Press, 2002. 185 p.Ferrer-i-Cancho R., Elvevag B. Random texts do not exhibit the real Zipfs law-like rank distribution // PLoS One. 2010. V. 5, № 3. P. 1-10.Ferrer-i-Cancho R., Elvevag B. Random texts do not exhibit the real Zipfs law-like rank distribution // PLoS One. 2010. V. 5, № 3. P. 1-10.Котов Ю. А. Детерминированная идентификация буквенных биграмм в русскоязычных текстах // Труды СПИИРАН. 2016. № 1. С. 181-197.Котов Ю. А. Детерминированная идентификация буквенных биграмм в русскоязычных текстах // Труды СПИИРАН. 2016. № 1. С. 181-197.Котов Ю. А. Аппроксимация распределений частот буквенных биграмм текста для идентификации букв // Труды СПИИРАН. 2017. № 1 (50). С. 190-208.Котов Ю. А. Аппроксимация распределений частот буквенных биграмм текста для идентификации букв // Труды СПИИРАН. 2017. № 1 (50). С. 190-208.Shannon C. Communication theory of secrecy systems // Bell System Technical Journal. 1949. V. 28, № 4. P. 656-715.Shannon C. Communication theory of secrecy systems // Bell System Technical Journal. 1949. V. 28, № 4. P. 656-715.Жданов О. Н., Куденкова И. А. Криптоанализ классических шифров. Красноярск: Изд-во Сиб. гос. аэрокосм. ун-та им. акад. М. Ф. Решетнева. 2008. 107 с.Жданов О. Н., Куденкова И. А. Криптоанализ классических шифров. Красноярск: Изд-во Сиб. гос. аэрокосм. ун-та им. акад. М. Ф. Решетнева. 2008. 107 с.Абденов А. Ж., Котов Ю. А., Санина О. В. Значения некоторых униграммных характеристик русскоязычных текстов // Научный вестник НГТУ. 2017. № 2 (67). С. 146-162.Абденов А. Ж., Котов Ю. А., Санина О. В. Значения некоторых униграммных характеристик русскоязычных текстов // Научный вестник НГТУ. 2017. № 2 (67). С. 146-162.Воевудский Д. С., Тушавин В. А. Статистическая обработка лингвистических данных нидерландско-русских словарей // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. 2013. № 1. С. 169-176.Воевудский Д. С., Тушавин В. А. Статистическая обработка лингвистических данных нидерландско-русских словарей // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. 2013. № 1. С. 169-176.Smith R. D. Distinct word length frequencies: distributions and symbol entropies // Glottometrics. 2012. V. 23. P. 7-22.Smith R. D. Distinct word length frequencies: distributions and symbol entropies // Glottometrics. 2012. V. 23. P. 7-22.Ляшевская О. Н., Шаров С. А. Частотный словарь современного русского языка (на материале Национального корпуса русского языка). М.: Азбуковник, 2009. 923 с.Ляшевская О. Н., Шаров С. А. Частотный словарь современного русского языка (на материале Национального корпуса русского языка). М.: Азбуковник, 2009. 923 с.Котов Ю. А., Санина О. В. Значения некоторых биграммных характеристик русскоязычных текстов // Вестник СибГУТИ. 2017. № 4 (40). С. 24-34.Котов Ю. А., Санина О. В. Значения некоторых биграммных характеристик русскоязычных текстов // Вестник СибГУТИ. 2017. № 4 (40). С. 24-34.Попов В. А. Теория вероятностей. Часть 2. Случайные величины. Казань: Казанский университет, 2013. 45 с.Попов В. А. Теория вероятностей. Часть 2. Случайные величины. Казань: Казанский университет, 2013. 45 с.

The authors declare that there are no conflicts of interest present.