sibsutisВестник СибГУТИThe Herald of the Siberian State University of Telecommunications and Information Science1998-6920СибГУТИ10.55648/1998-6920-2023-17-1-92-106sibsutis-158Research ArticleСОДЕРЖАНИЕСОДЕРЖАНИЕОбзор методов верификации и оценки качества программного обеспеченияReview of Software Quality Verification and Evaluation Methodshttps://orcid.org/0000-0001-6847-5588МерзляковаЕ. Ю.MerzlyakovaE. Y.

Мерзлякова Екатерина Юрьевна, к.т.н., доцент кафедры прикладной математики и кибернетики

630102, Новосибирск, ул. Кирова, д. 86

тел. +7 383 2698 272

Ekaterina Y.Merzlyakova, PhD (Engineering), Docent of the Department of Applied Mathematics and Cybernetics

630102, Novosibirsk, Kirova str., 86

tel. +7 383 2698 272

katerina.artist@yandex.ruhttps://orcid.org/0009-0004-4851-9837ЯнченкоЕ. В.YanchenkoE. V.

Янченко Елена Викторовна, к.т.н., доцент кафедры прикладной математики и кибернетики

630102, Новосибирск, ул. Кирова, 86

тел.+7 383 2698 272

Elena V.Yanchenko, PhD (Engineering), Docent of the Department of Applied Mathematics and Cybernetics

630102, Novosibirsk, Kirova str., 86

tel. +7 383 2698 272

eku06@mail.ruСибирский гос. унив. телекоммуникаций и информатики (СибГУТИ)РоссияSiberian State University of Telecommunications and Information Science (SibSUTIS)Russian Federation20232302202317192106Copyright © Мерзлякова Е.Ю., Янченко Е.В., 20232023Мерзлякова Е.Ю., Янченко Е.В.Merzlyakova E.Y., Yanchenko E.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.sibsutis.ru/jour/article/view/158

Определены основные понятия в области тестирования и оценки качества программного обеспечения (ПО). В частности, рассмотрены понятия верификации, валидации и жизненного цикла программного обеспечения и их роль в процессе тестирования. Рассмотрено понятие артефакта в жизненном цикле ПО. Взяты во внимание российские и международные стандарты в области оценки качества ПО. Рассмотрены существующие методы верификации ПО: экспертиза, статический анализ, формальные методы, динамические и синтетические методы. Сделан обзор методов оценки качества ПО, используемых в циклах разработки и тестирования программ. Также рассмотрены функциональные и административные факторы, влияющие на качество ПО. В статье перечислены современные средства автоматизации тестирования, которые могут использоваться на сегодняшний день. Обзорный материал статьи будет полезен для разработчиков ПО, начинающих тестировщиков и смежных специалистов.

The basic concepts in the field of software quality testing and evaluation are defined. In particular, the concepts of verification, validation and software lifecycle and their role in the testing process are considered. The concept of an artifact in the software lifecycle is considered. The Russian and international standards in the field of software quality assessment are taken into account. The existing methods of software verification are regarded: expertise, static analysis, formal methods, dynamic and synthetic methods.

An overview of software quality assessment methods used in software development and testing cycles is presented. Functional and administrative factors affecting software quality are also considered. The article lists modern testing automation tools that can be used today. The review material of the article will be useful for software developers, novice testers and related specialists.

тестирование ПОверификациявалидацияанализ программжизненный цикл ПОавтоматизация тестированияоценка качестваметоды верификации ПОразработка программкачество программных средствsoftware testingverificationvalidationprogram analysissoftware lifecycletesting automationquality assessmentsoftware verification methodssoftware developmentsoftware qualityReferencesКулямин В. В. Методы верификации программного обеспечения. М.: Институт системного программирования, 2008. 111 с.Kulyamin V. V. Metody verifikatsii programmnogo obespecheniya [Software verification methods]. Moscow, Institut sistemnogo programmirovaniya, 2008, 111 p.Семахин А. М. Методы верификации оценки качества программного обеспечения: учебное пособие. Курган: Курганский государственный университет, 2018. 150 с.Semakhin A. M. Metody verifikatsii otsenki kachestva programmnogo obespecheniya [Software quality assessment verification methods]. Kurganskii gosudarstvennyi universitet, Kurgan, 2018. 150 p.IEEE 1012-2004 Standard for Software Verification and Validation. IEEE, 2005.IEEE 1012-2004 Standard for Software Verification and Validation. IEEE, 2005.ГОСТ 28806-90 «Качество программных средств. Термины и определения» / Межгосударственный стандарт / Государственный комитет СССР по вычислительной технике и информатике, 1992.GOST 28806-90 Kachestvo programmnykh sredstv. Terminy i opredeleniya [Quality of software. Terms and Definitions]. Gosudarstvennyy komitet SSSR po vychislitel'noy tekhnike i informatike, 1992.ISO/IEC JTC 1/ SC7 Systems and software engineering – Systems and software Quality Rquirements and Evaluation (SQuaRE) – Guide to SQuaRE – Part 2: Software and systems engineering Geneva, Switzerland: ISO, 2014.ISO/IEC JTC 1/ SC7 Systems and software engineering - Systems and software Quality Rquirements and Evaluation (SQuaRE) - Guide to SQuaRE - Part 2: Software and systems engineering Geneva, Switzerland: ISO, 2014.Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Требования к качеству готового к использованию программного продукта (RUSP) и инструкции по тестированию. Стандартинформ, 2019.Informatsionnyye tekhnologii. Sistemnaya i programmnaya inzheneriya. Trebovaniya i otsenka kachestva sistem i programmnogo obespecheniya (SQuaRE). Trebovaniya k kachestvu gotovogo k ispol'zovaniyu programmnogo produkta (RUSP) i instruktsii po testirovaniyu [Information technology. System and software engineering. Requirements and quality assessment of systems and software (SQuaRE). Quality requirements for a ready-to-use software product (RUSP) and testing instructions]. Federal'noye agentstvo po tekhnicheskomu regulirovaniyu i metrologii, Standartinform, 2019.Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов. Стандартинформ, 2015.Informatsionnyye tekhnologii. Sistemnaya i programmnaya inzheneriya. Trebovaniya i otsenka kachestva sistem i programmnogo obespecheniya (SQuaRE). Modeli kachestva sistem i programmnykh produktov [Information technology. System and software engineering. Requirements and quality assessment of systems and software (SQuaRE). Quality models of systems and software products]. Federal'noye agentstvo po tekhnicheskomu regulirovaniyu i metrologii, Standartinform, 2019.IEEE 1028 Standard for Software Reviews. New York: IEEE, 1998.IEEE 1028 Standard for Software Reviews. New York: IEEE, 1998.Fagan M. E. Design and Code Inspections to Reduce Errors in Program Development // IBM Systems Journal. 1976. V. 15, № 3. P. 182–211.Fagan M. E. Design and Code Inspections to Reduce Errors in Program Development. IBM Systems Journal, 1976, vol. 15, no. 3, pp. 182-211.Kazman R., Bass L., Abowd G., Webb M. SAAM: A Method for Analyzing the Properties of Software Architectures // Proc. 16th International Conference on Software Engineering, 1994. P. 81–90.Kazman R., Bass L., Abowd G., Webb M. SAAM: A Method for Analyzing the Properties of Software Architectures. Proc. of 16-th International Conference on Software Engineering, 1994, pp. 81-90.Plum Hall Inc [Электронный ресурс]. URL: http://www.plumhall.com/ (дата обращения: 31.01.2023).Plum Hall Inc, available at: http://www.plumhall.com/ (accessed 31.01.2023).LDRA [Электронный ресурс]. URL: https://ldra.com/ (дата обращения: 03.02.2023).LDRA, available at: https://ldra.com/ (accessed 3.02.2023).Jtest [Электронный ресурс]. URL: https://www.parasoft.com/ (дата обращения: 3.02.2023).Jtest, available at: https://www.parasoft.com/ (accessed 3.02.2023).Шлее М. Qt 5.10. Профессиональное программирование на C++. БХВ-Петербург, 2018.Shleye M. Qt 5.10. Professional'noye programmirovaniye na C++ [Qt 5.10. Professional programming in C++]. BKHV-Peterburg, 2018.PVS-Studio – статический анализатор на страже качества, защищённости (SAST) и безопасности кода [Электронный ресурс]. URL: https://pvs-studio.com/ru/pvsstudio/ (дата обращения: 10.05.2022).PVS Studio – staticheskiy analizator na strazhe kachestva, zashchishchonnosti (SAST) i bezopasnosti koda [PVS Studio - a static analyzer guarding the quality, security (SAST) and security of the code], available at: https://pvs-studio.com/ru/pvs-studio/ (accessed 10.05.2022).Камкин А. С. Введение в формальные методы верификации программ: учебное пособие. М.: МГУ им. М.В. Ломоносов, 2018.Kamkin A. S. Vvedeniye v formal'nyye metody verifikatsii programm [Introduction to formal methods of program verification]. Moskva, MGU imeni M.V. Lomonosov, 2018.AVISPA – Automated Validation of Internet Security Protocols and Applications [Электронный ресурс]. URL: https://www.avispa-project.org/ (дата обращения: 03.02.2023).AVISPA - Automated Validation of Internet Security Protocols and Applications, available at: https://www.avispa-project.org/ (accessed 3.02.2023).Бланше Б. Моделирование и проверка протоколов безопасности с помощью прикладного исчисления Pi и проверки // Основы и тенденции в области конфиденциальности и безопасности. Октябрь 2016. № 1 (1–2). С. 1–135.Blanshe B. Modelirovaniye i proverka protokolov bezopasnosti s pomoshch'yu prikladnogo ischisleniya Pi i proverki [Modeling and verification of security protocols using applied calculus Pi and verification] Osnovy i tendentsii v oblasti konfidentsial'nosti i bez-opasnosti. Oktyabr' 2016, no.1(1-2). pp.1-135.Перевышина Е. А., Бабенко Л. К. Анализ стойкости к атакам криптографических протоколов с использованием формального верификатора SPIN // Известия ЮФУ. Технические науки. 2019. № 5 (207). С. 58–68.Perevyshina, Ye. A., Babenko L. K. Analiz stoykosti k atakam kriptograficheskikh protokolov s ispol'zovaniyem formal'nogo verifikatora SPIN [Analysis of resistance to attacks of cryptographic protocols using the formal verifier SPIN]. Izvestiya YUFU. Tekhnicheskiye nauki. 2019, no. 5(207). pp. 58-68.Гурин Р. Е., Рудаков И. В., Ребриков А. В. Методы верификации программного обеспечения // Сетевое научное издание. Наука и образование. 2015. № 10. С. 235–251.Gurin R.Ye., Rudakov I.V., Rebrikov A.V. Metody verifikatsii programmnogo obespecheniya [Software verification methods]. Setevoye nauchnoye izdaniye. Nauka i obrazovaniye. MGTU im. N.E. Baumena. Elektronnyy zhurnal no. 10, 2015. pp.235-251.Пероцкая В. Н., Градусов Д. А. Основы тестирования программного обеспечения: учебное пособие. Владимир: Издательство ВЛГУ, 2017.Perotskaya V. N., Gradusov D. A. Osnovy testirovaniya programmnogo obespecheniya [Fundamentals of software testing]. Vladimir, Izdatel'stvo VLGU, 2017.Топ 10 бесплатных инструментов для автоматизированного тестирования [Электронный ресурс]. URL: https://medium.com/nuances-of-programming/топ-10бесплатных-автоматизированных-инструментов-для-тестирования32e461a78298 (дата обращения: 03.02.2023).Top 10 besplatnykh instrumentov dlya avtomatizirovannogo testirovaniya [Top 10 Free Automated Testing Tools], available at: https://medium.com/nuances-of-programming/топ-10-бесплатных-автоматизированных-инструментов-для-тестирования-32e461a78298 (accessed 3.02.2023).Utting M., Pretschner A., Legeard B. A Taxonomy of Model-Based Testing. Technical Report, Department of Computer Science, The University of Waikato, New Zealand, 2006.Utting M., Pretschner A., Legeard B. A Taxonomy of Model-Based Testing. Technical Report, Department of Computer Science, The University of Waikato, New Zealand, 2006.Delgado N., Gates A. Q., Roach S. A Taxonomy and Catalog of Runtime Software-Fault Monitoring Tools // IEEE Transactions on Software Engineering. December 2004. V. 30, № 12. P. 859–872.Delgado N., Gates A. Q., Roach S. A Taxonomy and Catalog of Runtime Software-Fault Monitoring Tools. IEEE Transactions on Software Engineering, 2004, vol. 30, no. 12, pp. 859-872.Broy M., Jonsson B., Katoen J.-P., Leucker M., Pretschner A. Model Based Testing of Reactive Systems. LNCS 3472, Springer, 2005.Broy M., Jonsson B., Katoen J.-P., Leucker M., Pretschner A. (eds.). Model Based Testing of Reactive Systems. LNCS 3472, Springer, 2005.Utting M., Legeard B. Practical Model-Based Testing: A Tools Approach. Morgan-Kaufmann, 2007.Utting M., Legeard B. Practical Model-Based Testing: A Tools Approach. Morgan-Kaufmann, 2007.Ambert F., Bouquet F., Chemin S., Guenaud S., Legeard B., Peureux F., Vacelet N., Utting M. BZ-TT: A tool-set for test generation from Z and B using constraint logic programming // Proc. FATES’2002, August 2002. P. 105–119.Ambert F., Bouquet F., Chemin S., Guenaud S., Legeard B., Peureux F., Vacelet N., Utting M. BZ-TT: A tool-set for test generation from Z and B using constraint logic programming. Proc. of FATES’2002, 2002, pp. 105-119.Ammann P., Black P. E. Abstracting formal specifications to generate software tests via model checking // Proc. 18th IEEE Digital Avionics Systems Conference, October 1999.Ammann P., Black P. E. Abstracting formal specifications to generate software tests via model checking. Proc. of 18-th Digital Avionics Systems Conference, 1999, vol. 2, p. 10.Engel C., Hahnle R. Generating unit tests from formal proofs // Proc. TAP 2007. LNCS 4454, Springer-Verlag, 2007. P. 169–188.Engel C., Hahnle R. Generating unit tests from formal proofs. Y. Gurevich, B. Meyer, eds. Proc. of TAP 2007. LNCS 4454, Springer-Verlag, 2007. pp. 169–188.Sen K., Agha G. CUTE and jCUTE: Concolic unit testing and explicit path model-checking tools // Proc. Computer Aided Verification, August 2006. P. 419–423.Sen K., Agha G. CUTE and jCUTE: Concolic unit testing and explicit path model-checking tools. Proc. of Computer Aided Verification, 2006, pp.419-423.Lee I., Kannan S., Kim M., Sokolsky O., Viswanathan M. Runtime Assurance Based On Formal Specifications // Proc. International Conference on Parallel and Distributed Processing Techniques and Applications (PDPTA), 1999. P. 279–287.Lee I., Kannan S., Kim M., Sokolsky O., Viswanathan M. Runtime Assurance Based On Formal Specifications. Proc. of International Conference on Parallel and Distributed Processing Techniques and Applications PDPTA’1999, 1999, pp. 279-287.Havelund K., Rosu G. Monitoring Java Programs with Java PathExplorer // Electronic Notes in Theoretical Computer Science. January 2004. V. 55, № 2. P. 1–18.Havelund K., Rosu G. Monitoring Java Programs with Java PathExplorer. Electronic Notes in Theoretical Computer Science, 2004, vol. 55, no. 2, pp. 1-18.Cavalli A., Gervy C., Prokopenko S. New approaches for passive testing using an Extended Finite State Machine specification // Information and Software Technology. Elsevier. September 2003. V. 45, № 12. P. 837–852.Cavalli A., Gervy C., Prokopenko S. New approaches for passive testing using an Extended Finite State Machine specification. Information and Software Technology, 2003, vol. 45, no. 12, pp. 837-852.Chen D., Wu J. Chi H. Passive testing on TCP // Proc. International Conference on Communication Technology (ICCT), April 2003. V. 1. P. 182–186.Chen D., Wu J. Chi H. Passive testing on TCP. Proc. of International Conference on Communication Technology ICCT 2003, 2003, vol. 1, pp. 182-186.Cheon Y., Leavens G. T. A runtime assertion checker for the Java Modeling Language (JML) // Proc. International Conference on Software Engineering Research and Practice (SERP’02), CSREA Press, June 2002. P. 322–328.Cheon Y., Leavens G. T. A runtime assertion checker for the Java Modeling Language (JML). Proc. of International Conference on Software Engineering Research and Practice (SERP’02), 2002, pp. 322-328.Schoeller B. Strengthening Eiffel Contracts using Models // Proc. Workshop on Formal Aspects of Component Software (FACS), September 2003. P. 143–158.Schoeller B. Strengthening Eiffel Contracts using Models. Proc. of Workshop on Formal Aspects of Component Software FACS’03, 2003, pp. 143-158.Barnett M., Schulte W. Runtime verification of .NET contracts // Journal of Systems and Software. March 2003. V. 65, № 3. P. 199–208.Barnett M., Schulte W. Runtime verification of .NET contracts. Journal of Systems and Software, 2003, vol. 65, no. 3, pp. 199-208.Кларк Э. М., Гамбург О., Пелед Д. Верификация моделей программ: Model Checking: пер. с англ. / под ред. Р. Смелянского. М.: МЦНМО, 2002. 416 с.Clark E.M., Humburg O., Peled D. Verifikatsiya modelei programm: Model Checking [Verification of program models: Model Checking]. Moscow center for continuous mathematical education, Moscow, 2002. 416 p.Рудаков И. В. Разработка и исследование синтетического метода верификации программы с помощью SMT-решателей // Вестник Московского государственного технического университета им. Н. Э. Баумана. Серия Приборостроение. 2016. № 4 (109). С. 49–64.Rudakov I.V. Razrabotka i issledovanie sinteticheskogo metoda verifikatsii programmy s pomoshch'yu SMT-reshatelei [Development and research of a synthetic method for program verification using SMT solvers], Vestnik MGTU im. N.E. Baumana, Seriya Priborostroyeniye, 2016, no. 4(109), pp. 49-64.Черников Б. В. Управление качеством программного обеспечения: учебник. М.: Форум, 2012. 240 с.Chernikov B.V. Upravlenie kachestvom programmnogo obespecheniya [Software quality management]. Moscow, Forum, 2012. 240 p.Черников Б. В., Поклонов Б. Е. Оценка качества программного обеспечения: Практикум: учебное пособие. М.: ФОРУМ: ИНФРА-М, 2012. 400 с.Chernikov B.V., Poklonov B.E. Otsenka kachestva programmnogo obespecheniya [Software quality assessment]. Moscow, Forum:Infra-M, 2012. 400 p.Сандлер К., Баджет Т., Майерс Г. Искусство тестирования программ. М.: Вильямс, 2015. 272 с.Sandler K., Budget T., Mayers G. Iskusstvo testirovaniya program [The art of software testing]. Moscow, Williams, 2015. 272 p.

The authors declare that there are no conflicts of interest present.