sibsutisВестник СибГУТИThe Herald of the Siberian State University of Telecommunications and Information Science1998-6920СибГУТИ10.55648/1998-6920-2024-18-2-43-56sibsutis-859Research ArticleСтатьиПодход к оценке защищенности речевой акустической информации с применением нейронных сетейAn Approach to Assessing the Security of Speech Acoustic Information Using Neural Networkshttps://orcid.org/0000-0002-0644-6332ВолковН. А.VolkovN. A.

Волков Никита Андреевич, аспирант кафедры «Электронные системы и информационная безопасность»

443011, Самара, ул. Молодогвардейская, д. 244

Nikita A. Volkov, Postgraduate student of the Department of Electronic Systems and Information Security

443011, Samara, Molodogvordeyskaya St. 244, phone: +7 846 337-31-96

volkovnikandr@gmail.comhttps://orcid.org/0000-0003-2002-8572ИвановА. В.IvanovA. V.

Иванов Андрей Валерьевич, к.т.н., доцент кафедры «Электронные системы и информационная безопасность»

443011, Самара, ул. Молодогвардейская, д. 244

Andrey V. Ivanov, Cand. of Sci. (Engineering), Associate Professor of the Department of Electronic Systems and Information Security

443011, Samara, Molodogvordeyskaya St. 244, phone: +7 846 337-31-96

andrej.ivanov@corp.nstu.ruСамарский государственный технический университет (СамГТУ)РоссияSamara State Technical University (SamSTU)Russian Federation2024220120241824356Copyright © Волков Н.А., Иванов А.В., 20242024Волков Н.А., Иванов А.В.Volkov N.A., Ivanov A.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.sibsutis.ru/jour/article/view/859

В работе рассматривается методика оценки защищенности речевой акустической информации при подготовке помещений для проведения закрытых переговоров. Авторами предложена структурная схема этапов создания интеллектуальной системы, в которой с учетом недостатков существующих подходов используются методы распознавания, основанные на сверточных нейронных сетях. Описывается процесс формирования обучающего набора данных в формате аудиозаписей с наложенными шумами с различными отношениями сигнал/шум. Рассматриваются возможности аудиоредактора Adobe Audition и библиотек Python для формирования наборов данных. Предлагается классифицировать спектрограммы либо мел-частотные кепстральные коэффициенты аудиозаписей с помощью нейронной сети по процентам разборчивости речи с целью автоматизации процесса оценки защищенности речевой акустической информации. Для достижения требуемого результата планируется обучить нейронную сеть на различных данных, провести сравнительный анализ с существующим подходом, оценить производительность системы и провести валидацию результатов. Предложенный подход и его практическое применение позволят значительно повысить качество и расширить условия применения оценки защищенности речевой акустической информации.

The paper is devoted to the consideration of the methodology for assessing the security of speech acoustic information in the preparation of premises for private negotiations. Taking into account the disadvantages of existing approaches it is proposed to apply recognition methods based on convolutional neural networks. The paper proposes a block diagram of the stages for creating an intelligent system. The process of creating a training dataset in audio recording format with superimposed noises with different signal-to-noise ratios is described. The possibilities of the Adobe Audition audio editor and Python libraries for generating datasets are considered. It is proposed to classify spectrograms or mel-frequency cepstral coefficients of audio recordings using a neural network by the percentage of speech intelligibility in order to automate the process of assessing the security of speech acoustic information. To achieve the desired result, it is planned to train a neural network on various data, conduct a comparative analysis with the existing approach, evaluate the performance of the system and validate the results. The proposed approach and its practical application will significantly improve the quality and expand the conditions for the application of the security assessment of speech acoustic information.

глубокие нейронные сетисверточные нейронные сетиотношение сигнал/шумзашумленность аудиозаписираспознавание речиспектрограммымел-частотные кепстральные коэффициентыоценка защищенности речевой акустической информацииdeep neural networksconvolutional neural networkssignal-to-noise ratioaudio recording noisespeech recognitionspectrogramsmel-frequency cepstral coefficientsassessment of the security of speech acoustic informationReferencesСагдеев К. М., Петренко В. И. Методика оценки технической защищенности речевой информации в выделенных помещениях // Известия ЮФУ. Технические науки. 2012. № 12 (137). С. 121–129.Sagdeev K. M., Petrenko V. I. Metodika otsenki tekhnicheskoi zashchishchennosti rechevoi informatsii v vydelennykh pomeshcheniyakh [Methodology for assessing the technical security of speech information in dedicated rooms]. Izvestiya YuFU. Tekhnicheskie nauki, 2012, no. 12 (137), pp. 121-129.Железняк В. К., Макаров Ю. К., Хорев А. А. Некоторые методические подходы к оценке эффективности защиты речевой информации // Специальная техника. 2000. № 4. C. 39–45.Zheleznyak V. K., Makarov Yu.K., Khorev A. A. Nekotorye metodicheskie podkhody k otsenke effektivnosti zashchity rechevoi informatsii [Some methodological approaches to evaluating the effectiveness of speech information protection]. Spetsial'naya tekhnika, 2000, no. 4, pp. 39-45.Покровский Н. Б. Расчет и измерение разборчивости речи. М.: Связьиздат, 1962. 392 с.Pokrovskii N. B. Raschet i izmerenie razborchivosti rechi [Calculation and measurement of speech intelligibility]. Moscow, Svyaz'izdat, 1962. 392 p.Трушин В. А., Рева И. Л., Иванов А. В. Экспериментальная оценка разборчивости речи в задачах защиты информации на основе модифицированных артикуляционных измерений // Материалы X-й Междунар. конф. «Актуальные проблемы электронного приборостроения», НГТУ, Новосибирск, 2010. Т. 3. C. 133–136.Trushin V. A., Reva I. L., Ivanov A. V. Eksperimental'naya otsenka razborchivosti rechi v zadachakh zashchity informatsii na osnove modifitsirovannykh artikulyatsionnykh izmerenii [Experimental assessment of speech intelligibility in information security tasks based on modified articulation measurements]. Aktual'nye problemy elektronnogo priborostroeniya: materialy X Mezhdunar. konf. (APEP 2010), Novosibirsk: NGTU, 2010, vol. 3, pp. 133–136.Иванов А. В., Рева И. Л., Трушин В. А., Тудэвдагва У. Корректировка методики оценки защищенности речевой информации от утечки по техническим каналам в условиях форсирования речи // Научный вестник Новосибирского государственного технического университета. 2014. № 2 (55). С. 183–189.Ivanov A. V., Reva I. L., Trushin V. A., Tudevdagva U. Korrektirovka metodiki otsenki zashchishchennosti rechevoi informatsii ot utechki po tekhnicheskim kanalam v usloviyakh forsirovaniya rechi [Correction of the methodology for assessing the security of speech information from leakage through technical channels in conditions of speech forcing]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta, 2014, no. 2(55), pp. 183-189.Макаров Ю. К., Хорев А. А. К оценке эффективности защиты акустической (речевой) информации // Специальная техника. 2000. № 5. С. 46–56.Makarov Yu. K., Khorev A. A. K otsenke effektivnosti zashchity akusticheskoi (rechevoi) informatsii [To assess the effectiveness of the protection of acoustic (speech) information]. Spetsial'naya tekhnika, 2000, no. 5, pp. 46–56.Иванов А. В., Салимов Ш. Р. О возможности применения технологий распознавания речи в задачах оценки защищенности акустической информации от утечки по техническим каналам // Динамика систем, механизмов и машин. 2020. Т. 8, № 2. С. 109–114.Ivanov A. V., Salimov Sh. R. O vozmozhnosti primeneniya tekhnologii raspoznavaniya rechi v zadachakh otsenki zashchishchennosti akusticheskoi informatsii ot utechki po tekhnicheskim kanalam [On the possibility of using speech recognition technology in the tasks of assessing the security of acoustic information from leakage through technical channels]. Dinamika sistem, mekhanizmov i mashin, 2020, vol. 8, no 2, pp. 109–114.Жабыко Е. И., Рублевская Н. И. Акустическое проектирование залов многоцелевого назначения: учебное пособие. Владивосток: Издательство ДВГТУ, 2008. 89 с.Zhabyko E. I., Rublevskaya N. I. Akusticheskoe proektirovanie zalov mnogotselevogo naznacheniya [Acoustic design of multi-purpose halls]. Vladivostok, Izdatel'stvo DVGTU, 2008, 89 p.Хорев А. А., Порев И. С. Методика вероятностной оценки разборчивости // Защита информации. Инсайд. 2020. № 2 (92). С. 44–52.Khorev A. A., Porev I. S. Metodika veroyatnostnoi otsenki razborchivosti [The method of probabilistic assessment of intelligibility]. Zashchita informatsii. Insaid, 2020, no. 2(92), pp. 44-52.Трушин В. А., Заводовская А. И., Овешников И. А., Топорищев Э. В. Исследование воздействия речеподобной помехи на психоэмоциональное состояние человека // Динамика систем, механизмов и машин. 2020. Т. 8, № 2. С. 138–144.Trushin V. A., Zavodovskaya A. I., Oveshnikov I. A., Toporishchev E. V. Issledovanie vozdeistviya rechepodobnoi pomekhi na psikhoemotsional'noe sostoyanie cheloveka [Investigation of the impact of speech-like interference on the psychoemotional state of a person]. Dinamika sistem, mekhanizmov i mashin, 2020, vol. 8, no. 2, pp. 138-144.Иванов А. В., Рева И. Л., Шемшетдинова Э. Э. Исследование влияния различий в спектрах речи на результат оценки разборчивости // Динамика систем, механизмов и машин. 2017. Т. 5, № 4. С. 65–70.Ivanov A. V., Reva I. L., Shemshetdinova E. E. Issledovanie vliyaniya razlichii v spektrakh rechi na rezul'tat otsenki razborchivosti [Investigation of the effect of differences in speech spectra on the result of the intelligibility assessment]. Dinamika sistem, mekhanizmov i mashin, 2017, vol. 5, no. 4, pp. 65–70.Adobe Audition. Профессиональная студия звукозаписи [Электронный ресурс]. URL: https://www.adobe.com/ru/products/audition.html (дата обращения: 10.09.2023).Adobe Audition. Professional'naya studiya zvukozapisi [Adobe Audition. Professional recording studio], available at: https://www.adobe.com/ru/products/audition.html (accessed: 10.09.2023).PyAudio 0.2.13 – Python Package Index [Электронный ресурс]. URL: https://pypi.org/project/PyAudio/ (дата обращения: 10.09.2023).PyAudio 0.2.13 – Python Package Index, available at: https://pypi.org/project/PyAudio/ (accessed: 10.09.2023).Librosa 0.10 – Librosa - audio and music processing in Python [Электронный ресурс]. URL: https://librosa.org/doc/latest/index.html (дата обращения: 10.09.2023).Librosa 0.10 – Librosa – audio and music processing in Python, available at: https://librosa.org/doc/latest/index.html (accessed: 10.09.2023).Giannakopoulos T. PyAudioAnalysis: An open-source python library for audio signal analysis // PLoS ONE. 2015. № 10 (12). P. 1–17.Giannakopoulos T. PyAudioAnalysis: An open-source python library for audio signal analysis. PLoS ONE, 2015, no. 10(12), pp. 1-17.Bélanger O. Pyo, the python DSP toolbox // Proc. ACM Multimedia Conference, 2016. P. 1214–1217.Bélanger O. Pyo, the python DSP toolbox. MM 2016 - Proceedings of the 2016 ACM Multimedia Conference, 2016, pp. 1214-1217.Умняшкин С. В. Основы теории цифровой обработки сигналов: учебное пособие. М.: Техносфера, 2016. 528 с.Umnyashkin S. V. Osnovy teorii tsifrovoi obrabotki signalov [Fundamentals of the theory of digital signal processing]. Moscow, Tekhnosfera, 2016. 528 p.Tyagi V., Wellekens C. On desensitizing the Mel-cepstrum to spurious spectral components for robust speech recognition // Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing, 2005. P. 1–21.Tyagi V., Wellekens C. On desensitizing the Mel-cepstrum to spurious spectral components for robust speech recognition. Proceedings (ICASSP '05). IEEE International Conference on Acoustics, Speech, and Signal Processing, 2005, pp. 1-21.Герасимов С. М., Жаринов О. О. Исследование методов анализа речевых сигналов // Сборник докладов 73-й Международной студенческой научной конференции ГУАП, 2020. Ч. 3. С. 36–41.Gerasimov S. M., Zharinov O. O. Issledovanie metodov analiza rechevykh signalov [Research of methods of speech signal analysis]. Sbornik dokladov sem'desyat tret'ei mezhdunarodnoi studencheskoi nauchnoi konferentsii GUAP, 2020, vol. 3, pp. 36-41.NumPy documentation [Электронный ресурс]. URL: https://numpy.org/doc/stable/ (дата обращения: 10.09.2023).NumPy documentation, available at: https://numpy.org/doc/stable/ (accessed: 10.09.2023).Matplotlib 3.7.2 documentation [Электронный ресурс]. URL: https://matplotlib.org/stable/tutorials/index.html (дата обращения: 10.09.2023).Matplotlib 3.7.2 documentation, available at: https://matplotlib.org/stable/tutorials/index.html (accessed: 10.09.2023).Li J., Deng L., Haeb-Umbach R., Gong Y. Robust automatic speech recognition. A bridge to practical applications, 2016. 286 p.Li J., Deng L., Haeb-Umbach R., Gong Y. Robust automatic speech recognition. A bridge to practical applications, 2016, 286 p.Fang Z., Yin B., Du Z. et al. Fast environmental sound classification based on resource adaptive convolutional neural network // Scientific Reports. 2022. № 12. P. 1–18.Fang Z., Yin B., Du Z. et al. Fast environmental sound classification based on resource adaptive convolutional neural network. Scientific Reports, 2022, no. 12, pp. 1-18.Madhu A., Kumaraswamy S. EnvGAN: a GAN-based augmentation to improve environmental sound classification // Artificial Intelligence Review. 2022. № 55. P. 6301–6320.Madhu A., Kumaraswamy S. EnvGAN: a GAN-based augmentation to improve environmental sound classification. Artificial Intelligence Review, 2022, no. 55, pp. 6301-6320.Kim B., Kim J., Ye J. C. Task-Agnostic Vision Transformer for Distributed Learning of Image Processing // Transactions on Image Processing. 2023. № 32. P. 203–218.Kim B., Kim J., Ye J. C. Task-Agnostic Vision Transformer for Distributed Learning of Image Processing. Transactions on Image Processing, 2023, no. 32, pp. 203-218.Ullah R., Asif M., Shah W. A., Anjam F., Ullah I., Khurshaid T., Wuttisittikulkij L., Shah S., Ali S. M., Alibakhshikenari M. Speech Emotion Recognition Using Convolution Neural Networks and Multi-Head Convolutional Transformer // Sensors. 2023. № 13. P. 1–20.Ullah R., Asif M., Shah W. A., Anjam F., Ullah I., Khurshaid T., Wuttisittikulkij L., Shah S., Ali S. M., Alibakhshikenari M. Speech Emotion Recognition Using Convolution Neural Networks and Multi-Head Convolutional Transformer. Sensors 23, 2023, no. 13, pp. 1-20.Porkodi S. P., Sarada V., Maik V. et al. Generic image application using GANs (Generative Adversarial Networks): A Review // Evolving Systems. 2023. № 14. P. 903–917.Porkodi S. P., Sarada V., Maik V. et al. Generic image application using GANs (Generative Adversarial Networks): A Review. Evolving Systems 14, 2023, pp. 903-917.Song Q., Sun B., Li S. Multimodal Sparse Transformer Network for Audio-Visual Speech Recognition // IEEE Transactions on Neural Networks and Learning Systems. 2023. V. 34, № 12. P. 10028–10038.Song Q., Sun B., Li S. Multimodal Sparse Transformer Network for Audio-Visual Speech Recognition. IEEE Transactions on Neural Networks and Learning Systems, 2023, vol. 34, no. 12, pp. 10028-10038.Vision Transformer: What It Is & How It Works (2023 Guide) [Электронный ресурс]. URL: https://www.v7labs.com/blog/vision-transformer-guide/ (дата обращения: 13.12.2023).Vision Transformer: What It Is & How It Works (2023 Guide), available at: https://www.v7labs.com/blog/vision-transformer-guide/ (accessed: 13.12.2023).Tay Y., Dehghani M., Gupta J., Bahri D., Aribandi V., Qin Z., Metzler D. Are Pre-trained Convolutions Better than Pre-trained Transformers? 2022. arXiv: 2105.03322 [cs.CL].Tay Y., Dehghani M., Gupta J., Bahri D., Aribandi V., Qin Z., Metzler D. Are Pre-trained Convolutions Better than Pre-trained Transformers? 2022, arXiv: 2105.03322 [cs.CL].Sanford C., Hsu D., Telgarsky M. Representational Strengths and Limitations of Transformers. 2023. arXiv:2306.02896 [cs.LG].Sanford C., Hsu D., Telgarsky M. Representational Strengths and Limitations of Transformers. 2023, arXiv:2306.02896 [cs.LG].Abdel-Hamid O., Mohamed A.-R., Jiang H., Penn G. Applying convolutional neural networks concepts to hybrid NN-HMM model for speech recognition // Proc. IEEE Int. Conf. Acoust., Speech Signal Process. (ICASSP), 2012. P. 4277–4280.Abdel-Hamid O., Mohamed A.-R., Jiang H., Penn G. Applying convolutional neural networks concepts to hybrid NN-HMM model for speech recognition. Proc. IEEE Int. Conf. Acoust., Speech Signal Process. (ICASSP), 2012, pp. 4277-4280.Сикорский О. С. Обзор свёрточных нейронных сетей для задачи классификации изображений // Новые информационные технологии в автоматизированных системах. 2017. № 20. С. 1–8.Sikorskii O. S. Obzor svertochnykh neironnykh setei dlya zadachi klassifikatsii izobra-zhenii [Overview of convolutional neural networks for image classification problem], Novye informatsionnye tekhnologii v avtomatizirovannykh sistemakh, 2017, no. 20, pp. 1-8.Ciretan D. C., Giusti A., Gambardella L. M., Schmidhuber J. Deep neural networks segment neuronal membranes in electron microscopy images // Proc. NIPS. 2012. P. 1–9.Ciretan D. C., Giusti A., Gambardella L. M., Schmidhuber J. Deep neural networks segment neuronal membranes in electron microscopy images. Proc. NIPS, 2012, pp. 1-9.Ciretan D. C., Meier U., Gambardella L. M., Schmidhuber J. Deep, Big, Simple Neural Nets for Handwritten Digit Recognition // MIT Press. 2010. V. 22, № 12. P. 3207–3220.Ciretan D. C., Meier U., Gambardella L. M., Schmidhuber J. Deep, Big, Simple Neural Nets for Handwritten Digit Recognition, MIT Press, 2010, vol. 22, no. 12, pp. 3207-3220.Что такое свёрточная нейронная сеть – Хабр [Электронный ресурс]. URL: https://habr.com/ru/articles/309508/ (дата обращения: 10.09.2023).Chto takoe svertochnaya neironnaya set' – Khabr [What is a convolutional neural network – Habr], available at: https://habr.com/ru/articles/309508/ (accessed: 10.09.2023).Трушин В. А. Информационно-измерительная модель формантного метода определения разборчивости речи // Труды Научно-исследовательского института радио. 2017. № 4. С. 2–9.Trushin V. A. Informatsionno-izmeritel'naya model' formantnogo metoda opredeleniya razborchivosti rechi [Information and measurement model of the formant method for determining speech intelligibility]. Trudy Nauchno-issledovatel'skogo instituta radio, 2017, no. 4, pp. 2-9.

The authors declare that there are no conflicts of interest present.