sibsutisВестник СибГУТИThe Herald of the Siberian State University of Telecommunications and Information Science1998-6920СибГУТИ10.55648/1998-6920-2024-18-2-69-78sibsutis-886Research ArticleСтатьиРазработка метода оценки покрытия кода при фаззинг‑тестировании программного обеспечения методом черного ящика с использованием аппаратной виртуализации для оценки тестового покрытияDevelopment of the Method for Assessing Code Coverage During Black-Box Fuzz-Testing of Software Using Hardware Virtualization to Evaluate Test Coveragehttps://orcid.org/0009-0007-4911-8471СамаринН. Н.SamarinN. N.

Самарин Николай Николаевич, к.т.н.

AuthorID: 1100538 

125438, Москва, 4-й Лихачёвский переулок, 15 

Nikolay N. Samarin, Cand. of Sci. (Engineering)

AuthorID: 1100538 

25438, Moscow, 4th Likhachevsky per. 15 

samarin_nik@mail.ruФГУП «Научно-исследовательский институт «Квант»»РоссияScientific Research Institute "Kvant"Russian Federation2024130220241826978Copyright © Самарин Н.Н., 20242024Самарин Н.Н.Samarin N.N.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.sibsutis.ru/jour/article/view/886

В настоящей статье представлен разработанный метод оценки покрытия при проведении фаззинг-тестирования программного обеспечения, использующий технологии аппаратной виртуализации. Тестируемое программное обеспечение рассматривается как черный ящик. Особенностью предлагаемого метода является возможность выполнения контроля состояния виртуальной машины, в которой осуществляется фаззинг-тестирование, в том числе осуществление мониторинга состояния процессора и входных данных в режиме реального времени. Проведенные эксперименты показали, что разработанный метод позволяет получить оценку тестового покрытия кода с высокой точностью, сопоставимой с методом оценки на основе статической инструментации, который, однако, применим только при проведении фаззинг-тестирования методом белого ящика.

This article presents a developed method for assessing code coverage during fuzztesting of software using hardware virtualization. The tested software is considered as a black box. The proposed method's feature is the ability to monitor the state of the virtual machine in which the fuzz testing is carried out, including monitoring the processor's state and input data in real-time. The experiments conducted showed that the developed method allows us to obtain an accurate assessment of code test coverage comparable to the static instrumentation-based method, which is only applicable when conducting white-box fuzz testing.

информационная безопасностьтестированиеаппаратная виртуализацияоценка покрытияфаззинг черного ящикаinformation securitytestinghardware virtualizationcoverage assessmentblackbox fuzzingReferencesЕрышов В. Г. Фаззинг-тестирование. Классификация современных средств фаззинга // Сборник избранных статей по материалам научных конференций ГНИИ «Нацразвитие»: Международные научные конференции, Санкт-Петербург, 26–31 августа 2021 года. С. 287–289. DOI 10.37539/AUG298.2021.94.77.007.Yeryshov V. G. Fazzing testirovaniye. Klassifikatsiya sovremennykh sredstv fazzinga. Sbornik izbrannykh statey po materialam nauchnykh konferentsiy GNII "Natsrazvitiye»: Mezhdunarodnyye nauchnyye konferentsii, Sankt-Peterburg, 26-31 August, 2021, pp 287-289. DOI 10.37539/AUG298.2021.94.77.007.Zhang C., Chen J. Fuzzing Methods Recommendation Based on Feature Vectors // Proc. 36th IEEE/ACM International Conference on Automated Software Engineering, 2021. P. 1079–1081. DOI 10.1109/ASE51524.2021.9678630.Zhang C., Chen J. Fuzzing Methods Recommendation Based on Feature Vectors. Proceedings - 2021 36th IEEE/ACM International Conference on Automated Software Engineering, 15-19 November, 2021 pp. 1079-1081. DOI 10.1109/ASE51524.2021.9678630. EDN BXHZDT.Eisele M., Maugeri M., Shriwas R. et al. Embedded fuzzing: a review of challenges, tools, and solutions // Cybersecurity. 2022. V. 5, № 1. P. 1–18. DOI 10.1186/s42400-022-00123-y.Eisele M., Maugeri M., Shriwas R., et al. Embedded fuzzing: a review of challenges, tools, and solutions. Cybersecurity, 2022. vol. 5, no. 1, pp 1-18. DOI 10.1186/s42400-022-00123-y. EDN JCXYPZ.Kim S., Cho Ja., Lee Ch., Shon T. Smart seed selection-based effective black box fuzzing for IIoT protocol // The Journal of Supercomputing. 2020. V. 76, № 12. P. 10140–10154. DOI 10.1007/s11227-020-03245-7.Kim S., Cho Ja., Lee Ch., Shon T. Smart seed selection-based effective black box fuzzing for IIoT protocol. The Journal of Supercomputing, 2020, vol. 76, no. 12, pp. 10140-10154. DOI 10.1007/s11227-020-03245-7. EDN KYWZAP.Silakov D. V. The use of hardware virtualization in the context of information security // Programming and Computer Software. 2012. V. 38, № 5. P. 276–280. DOI 10.1134/S0361768812050064.Silakov D. V. The use of hardware virtualization in the context of information security. Programming and Computer Software, 2012, vol. 38, no. 5, pp. 276-280. DOI 10.1134/S0361768812050064. EDN RGNETF.Epishkina A. V., Kanner A. M., Kanner T. M. Comprehensive Testing of Software and Hardware Data Security Tools Using Virtualization // Mechanisms and Machine Science (book series). 2020. V. 80. P. 79–87. DOI 10.1007/978-3-030-33491-8_9.Epishkina A. V., Kanner A. M., Kanner T. M. Comprehensive Testing of Software and Hardware Data Security Tools Using Virtualization. Mechanisms and Machine Science (book series), 2020, vol. 80, pp. 79-87. DOI 10.1007/978-3-030-33491-8_9. EDN EIFAXP.Куликов С. С., Клименков Е. И. Миграция и виртуализация как технологии обеспечения совместимости аппаратных и программных средств в образовательном процессе // Информатизация образования. 2010. № 1 (58). С. 82–94.Kulikov S. S., Klimenkov Ye. I. Migratsiya i virtualizatsiya kak tekhnologii obespecheniya sovmestimosti apparatnykh i programmnykh sredstv v obrazovatel'nom protsesse [Migration and virtualization as technologies for ensuring compatibility of hardware and software in the educational process]. Informatizatsiya obrazovaniya, 2010, no. 1(58), pp. 82-94. EDN XMRDYT.Борисенко Б. Б., Килюшева Е. Д. Обнаружение гипервизора, использующего технологию аппаратной виртуализации // Проблемы информационной безопасности. Компьютерные системы. 2014. № 4. С. 76–84.Borisenko B. B., Kilyusheva Ye. D. Obnaruzheniye gipervizora, ispol'zuyushchego tekhnologiyu apparatnoy virtualizatsii [Detecting a hypervisor that uses hardware virtualization technology Problemy informatsionnoy bezopasnosti. Komp'yuternyye sistemy, 2014, no. 4, pp. 76-84. EDN TJZKKV.Егоров В. Ю., Карпов И. В., Матвеев Е. А. Методика управления оперативной памятью в технологиях аппаратной виртуализации VT и SVM // Наукоемкие технологии. 2010. Т. 11, № 4. С. 35–45.Yegorov V. YU., Karpov I. V., Matveyev Ye. A. Metodika upravleniya operativnoy pamyat'yu v tekhnologiyakh apparatnoy virtualizatsii VT i SVM [Methodology for managing RAM in VT and SVMhardware virtualization technologies]. Naukoyemkiye tekhnologii, 2010, vol. 11, no. 4, pp. 035-045. EDN QCTKPH.Du J., Zwaenepoel W., Sehrawat N. Performance profiling in a virtualized environment // Proc. 2nd USENIX Workshop on Hot Topics in Cloud Computing, 2010, Boston, MA.Du J., Zwaenepoel W., Sehrawat N. Performance profiling in a virtualized environment []. 2nd USENIX Workshop on Hot Topics in Cloud Computing, HotCloud 2010: 2, Boston, MA, 22 June, 2010. EDN NZEKCW.Юлюгин Е. А. Корректное и быстрое исполнение отдельных инструкций архитектуры Intel® 64 в виртуальном окружении // Информационные технологии. 2019. Т. 25, № 3. С. 157–164. DOI 10.17587/it.25.157-164.Yulyugin Ye. A. Korrektnoye i bystroye ispolneniye otdel'nykh instruktsiy arkhitektury Intel® 64 v virtual'nom okruzhenii / Ye. A. Yulyugin [Correct and fast execution of individual Intel® 64 architecture instructions in a virtual environment]. Informatsionnyye tekhnologii, 2019, vol. 25, no. 3, pp. 157-164. DOI 10.17587/it.25.157-164. EDN VWTPFI.Intel software development manual [Электронный ресурс]. URL: https://www.intel.com/content/www/us/en/developer/articles/technical/intel-sdm.html (дата обращения: 01.12.2023).Intel software development manual, available at: https://www.intel.com/content/www/us/en/developer/articles/technical/intel-sdm.html (accessed 01.12.2023).AMD documentation hub [Электронный ресурс]. URL: https://www.amd.com/en/search/documentation/hub.html (дата обращения: 01.12.2023).AMD documentation hub, available at: https://www.amd.com/en/search/documentation/hub.html (accessed 01.12.2023).Радаев В. А. Методика тестирования приложений на основе анализа покрытия исходного кода и фаззинга // Материалы Межвузовской научно-технической конференции студентов, аспирантов и молодых специалистов им. Е. В. Арменского, Москва, 25 февраля – 04 марта 2020 года. С. 165.Radayev V. A. Metodika testirovaniya prilozheniy na osnove analiza pokrytiya iskhodnogo koda i fazzinga [Methodology for testing applications based on source code coverage analysis and fuzzing]. Mezhvuzovskaya nauchno-tekhnicheskaya konferentsiya studentov, aspirantov i molodykh spetsialistov im. Ye.V. Armenskogo, Moscow, 25 Febrary, 2020, p. 165. EDN ZQSZQP.Воронина Е. Н. Сравнительный анализ подходов к поиску уязвимостей программного обеспечения методом фаззинг-тестирования //Сборник трудов Десятой международной научно-технической конференции «Безопасные информационные технологии», Москва, 03–04 декабря 2019 года. С. 75–80.Voronina Ye. N. Sravnitel'nyy analiz podkhodov k poisku uyazvimostey programmnogo obespecheniya metodom fazzing-testirovaniya [Comparative analysis of approaches to searching for software vulnerabilities using fuzzing testing]. Bezopasnyye informatsionnyye tekhnologii: Sbornik trudov Desyatoy mezhdunarodnoy nauchno-tekhnicheskoy konferentsii, Moscow, 03–04 December, 2019. pp. 75-80. EDN DXEHYH.Вишняков А. В. Поиск ошибок в бинарном коде методами динамической символьной интерпретации: специальность 23.50.00: диссертация на соискание ученой степени кандидата физико-математических наук, 2022. 131 с.Vishnyakov A. V. Poisk oshibok v binarnom kode metodami dinamicheskoy simvol'noy interpretatsii: spetsial'nost' [Comparative analysis of approaches to searching for software vulnerabilities using fuzzing testing]. Abstract of Ph. D. thesis., 2022, p.131. EDN MRBRIF.Созин М. В. Фаззинг на основании состояния исполнения программы // Материалы VIII Всероссийской молодежной школы-семинара по проблемам информационной безопасности «Перспектива», Таганрог, 10–13 октября 2019 года. С. 12–17.Sozin M. V. Fazzing na osnovanii sostoyaniya ispolneniya programmy [Fuzzing based on program execution state]. Perspektiva-2019: Materialy VIII Vserossiyskoy molodezhnoy shkoly-seminara po problemam informatsionnoy bezopasnosti, Taganrog, 10-13 October, 2019, pp. 12-17. EDN HVJPAW.Валеев Д. Р., Котенко И. В. Анализ подходов к автоматической обработке результатов фаззинг-тестирования // Сборник научных статей XII Международной научно-технической и научно-методической конференции «Актуальные проблемы инфотелекоммуникаций в науке и образовании» (АПИНО). Санкт-Петербург, 28 февраля – 01 марта 2023 года. Т. 1. С. 219–224.Valeyev D. R., Kotenko I. V. Analiz podkhodov k avtomaticheskoy obrabotke rezul'tatov fazzingtestirovaniya [Analysis of approaches to automatic processing of fuzzing testing results]. Aktual'nyye problemy infotelekommunikatsiy v nauke i obrazovanii (APINO 2023): Sbornik nauchnykh statey. XII Mezhdunarodnaya nauchno-tekhnicheskaya i nauchno-metodicheskaya konferentsiya, Sankt-Peterburg, 28 Fevrary, 2023, vol. 1. pp. 219-224. EDN HOECIC.Попов В. И., Тюрин М. Е., Семибратов А. С. Анализ современных инструментальных средств, реализующих фаззинг-тестирование // Сборник трудов II Всероссийской научно-технической конференции «Состояние и перспективы развития современной науки по направлению «ИТ-технологии»», Анапа, 23–24 марта 2023 года. Т. 2. С. 83–94.Popov V. I., Tyurin M. Ye., Semibratov A. S. Analiz sovremennykh instrumental'nykh sredstv, realizuyushchikh fazzing-testirovaniye [Analysis of modern tools that implement fuzzing testing]. Sostoyaniye i perspektivy razvitiya sovremennoy nauki po napravleniyu IT-tekhnologii: Sbornik trudov II Vserossiyskoy nauchno-tekhnicheskoy konferentsii, Anapa, 23-24 March, 2023, vol. 2. pp. 83-94. EDN DZVUMH.

The authors declare that there are no conflicts of interest present.