В статье рассматриваются три критерия идентификации пробела в англоязычных текстах с неизвестной знаковой кодировкой. Два критерия основаны на оценке отклонения распределения по длине словоформ словника текста от распределения Пуассона, ещё один - на частоте встречаемости в текстах пробела. Приведена статистика критериев для англоязычных текстов различного объёма. Определены граничные значения предложенных критериев и проведена экспериментальная оценка ошибок первого и второго рода. На основе полученных в работе данных определены условия совместного использования рассмотренных критериев. Погрешность идентификации пробела в англоязычных текстах с использованием предложенных критериев проверена на контрольной выборке.
The paper considers three criteria to identify a space character in English-language texts with unknown character encoding. Two criteria are based on estimating the deviation of the word length distribution from the Poisson distribution, and the third considers the frequency of spaces in a text. The paper provides the criteria’s statistics for English-language texts varied in size. The critical values of the suggested criteria are determined, and the number of type I and type II errors is obtained experimentally. Based on the findings, the terms of the considered criteria sharing are determined. The accuracy of the space character identification in English-language texts employing the suggested criteria is proved on the validation sample.
The authors declare that there are no conflicts of interest present.