Подход к оценке защищенности речевой акустической информации с применением нейронных сетей

В работе рассматривается методика оценки защищенности речевой акустической информации при подготовке помещений для проведения закрытых переговоров. Авторами предложена структурная схема этапов создания интеллектуальной системы, в которой с учетом недостатков существующих подходов используются методы распознавания, основанные на сверточных нейронных сетях. Описывается процесс формирования обучающего набора данных в формате аудиозаписей с наложенными шумами с различными отношениями сигнал/шум. Рассматриваются возможности аудиоредактора Adobe Audition и библиотек Python для формирования наборов данных. Предлагается классифицировать спектрограммы либо мел-частотные кепстральные коэффициенты аудиозаписей с помощью нейронной сети по процентам разборчивости речи с целью автоматизации процесса оценки защищенности речевой акустической информации. Для достижения требуемого результата планируется обучить нейронную сеть на различных данных, провести сравнительный анализ с существующим подходом, оценить производительность системы и провести валидацию результатов. Предложенный подход и его практическое применение позволят значительно повысить качество и расширить условия применения оценки защищенности речевой акустической информации.

1. Сагдеев К. М., Петренко В. И. Методика оценки технической защищенности речевой информации в выделенных помещениях // Известия ЮФУ. Технические науки. 2012. № 12 (137). С. 121–129.

2. Железняк В. К., Макаров Ю. К., Хорев А. А. Некоторые методические подходы к оценке эффективности защиты речевой информации // Специальная техника. 2000. № 4. C. 39–45.

3. Покровский Н. Б. Расчет и измерение разборчивости речи. М.: Связьиздат, 1962. 392 с.

4. Трушин В. А., Рева И. Л., Иванов А. В. Экспериментальная оценка разборчивости речи в задачах защиты информации на основе модифицированных артикуляционных измерений // Материалы X-й Междунар. конф. «Актуальные проблемы электронного приборостроения», НГТУ, Новосибирск, 2010. Т. 3. C. 133–136.

5. Иванов А. В., Рева И. Л., Трушин В. А., Тудэвдагва У. Корректировка методики оценки защищенности речевой информации от утечки по техническим каналам в условиях форсирования речи // Научный вестник Новосибирского государственного технического университета. 2014. № 2 (55). С. 183–189.

6. Макаров Ю. К., Хорев А. А. К оценке эффективности защиты акустической (речевой) информации // Специальная техника. 2000. № 5. С. 46–56.

7. Иванов А. В., Салимов Ш. Р. О возможности применения технологий распознавания речи в задачах оценки защищенности акустической информации от утечки по техническим каналам // Динамика систем, механизмов и машин. 2020. Т. 8, № 2. С. 109–114.

8. Жабыко Е. И., Рублевская Н. И. Акустическое проектирование залов многоцелевого назначения: учебное пособие. Владивосток: Издательство ДВГТУ, 2008. 89 с.

9. Хорев А. А., Порев И. С. Методика вероятностной оценки разборчивости // Защита информации. Инсайд. 2020. № 2 (92). С. 44–52.

10. Трушин В. А., Заводовская А. И., Овешников И. А., Топорищев Э. В. Исследование воздействия речеподобной помехи на психоэмоциональное состояние человека // Динамика систем, механизмов и машин. 2020. Т. 8, № 2. С. 138–144.

11. Иванов А. В., Рева И. Л., Шемшетдинова Э. Э. Исследование влияния различий в спектрах речи на результат оценки разборчивости // Динамика систем, механизмов и машин. 2017. Т. 5, № 4. С. 65–70.

12. Adobe Audition. Профессиональная студия звукозаписи [Электронный ресурс]. URL: https://www.adobe.com/ru/products/audition.html (дата обращения: 10.09.2023).

13. PyAudio 0.2.13 – Python Package Index [Электронный ресурс]. URL: https://pypi.org/project/PyAudio/ (дата обращения: 10.09.2023).

14. Librosa 0.10 – Librosa - audio and music processing in Python [Электронный ресурс]. URL: https://librosa.org/doc/latest/index.html (дата обращения: 10.09.2023).

15. Giannakopoulos T. PyAudioAnalysis: An open-source python library for audio signal analysis // PLoS ONE. 2015. № 10 (12). P. 1–17.

16. Bélanger O. Pyo, the python DSP toolbox // Proc. ACM Multimedia Conference, 2016. P. 1214–1217.

17. Умняшкин С. В. Основы теории цифровой обработки сигналов: учебное пособие. М.: Техносфера, 2016. 528 с.

18. Tyagi V., Wellekens C. On desensitizing the Mel-cepstrum to spurious spectral components for robust speech recognition // Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing, 2005. P. 1–21.

19. Герасимов С. М., Жаринов О. О. Исследование методов анализа речевых сигналов // Сборник докладов 73-й Международной студенческой научной конференции ГУАП, 2020. Ч. 3. С. 36–41.

20. NumPy documentation [Электронный ресурс]. URL: https://numpy.org/doc/stable/ (дата обращения: 10.09.2023).

21. Matplotlib 3.7.2 documentation [Электронный ресурс]. URL: https://matplotlib.org/stable/tutorials/index.html (дата обращения: 10.09.2023).

22. Li J., Deng L., Haeb-Umbach R., Gong Y. Robust automatic speech recognition. A bridge to practical applications, 2016. 286 p.

23. Fang Z., Yin B., Du Z. et al. Fast environmental sound classification based on resource adaptive convolutional neural network // Scientific Reports. 2022. № 12. P. 1–18.

24. Madhu A., Kumaraswamy S. EnvGAN: a GAN-based augmentation to improve environmental sound classification // Artificial Intelligence Review. 2022. № 55. P. 6301–6320.

25. Kim B., Kim J., Ye J. C. Task-Agnostic Vision Transformer for Distributed Learning of Image Processing // Transactions on Image Processing. 2023. № 32. P. 203–218.

26. Ullah R., Asif M., Shah W. A., Anjam F., Ullah I., Khurshaid T., Wuttisittikulkij L., Shah S., Ali S. M., Alibakhshikenari M. Speech Emotion Recognition Using Convolution Neural Networks and Multi-Head Convolutional Transformer // Sensors. 2023. № 13. P. 1–20.

27. Porkodi S. P., Sarada V., Maik V. et al. Generic image application using GANs (Generative Adversarial Networks): A Review // Evolving Systems. 2023. № 14. P. 903–917.

28. Song Q., Sun B., Li S. Multimodal Sparse Transformer Network for Audio-Visual Speech Recognition // IEEE Transactions on Neural Networks and Learning Systems. 2023. V. 34, № 12. P. 10028–10038.

29. Vision Transformer: What It Is & How It Works (2023 Guide) [Электронный ресурс]. URL: https://www.v7labs.com/blog/vision-transformer-guide/ (дата обращения: 13.12.2023).

30. Tay Y., Dehghani M., Gupta J., Bahri D., Aribandi V., Qin Z., Metzler D. Are Pre-trained Convolutions Better than Pre-trained Transformers? 2022. arXiv: 2105.03322 [cs.CL].

31. Sanford C., Hsu D., Telgarsky M. Representational Strengths and Limitations of Transformers. 2023. arXiv:2306.02896 [cs.LG].

32. Abdel-Hamid O., Mohamed A.-R., Jiang H., Penn G. Applying convolutional neural networks concepts to hybrid NN-HMM model for speech recognition // Proc. IEEE Int. Conf. Acoust., Speech Signal Process. (ICASSP), 2012. P. 4277–4280.

33. Сикорский О. С. Обзор свёрточных нейронных сетей для задачи классификации изображений // Новые информационные технологии в автоматизированных системах. 2017. № 20. С. 1–8.

34. Ciretan D. C., Giusti A., Gambardella L. M., Schmidhuber J. Deep neural networks segment neuronal membranes in electron microscopy images // Proc. NIPS. 2012. P. 1–9.

35. Ciretan D. C., Meier U., Gambardella L. M., Schmidhuber J. Deep, Big, Simple Neural Nets for Handwritten Digit Recognition // MIT Press. 2010. V. 22, № 12. P. 3207–3220.

36. Что такое свёрточная нейронная сеть – Хабр [Электронный ресурс]. URL: https://habr.com/ru/articles/309508/ (дата обращения: 10.09.2023).

37. Трушин В. А. Информационно-измерительная модель формантного метода определения разборчивости речи // Труды Научно-исследовательского института радио. 2017. № 4. С. 2–9.