sibsutisВестник СибГУТИThe Herald of the Siberian State University of Telecommunications and Information Science1998-6920СибГУТИ10.55648/1998-6920-2025-19-3-139-164sibsutis-981Research ArticleСтатьиИсследование границ интенсивности видеопотока при FPV-управлении БПЛА в режиме предсказания кадров. Часть II: адаптивный контроль интенсивности видеопотокаResearch of Video Stream Intensity Limits in UAV FPV Control in Frame Prediction Mode. Part II: adaptive system of video stream latency and intensity controlhttps://orcid.org/0000-0002-1748-8642БерезкинАлександр АлександровичBerezkinAlexander Alexandrovich

доцент кафедры программной инженерии и вычислительной техники (ПИиВТ), СПбГУТ, директор Центра перспективных проектов и разработок.SPIN-код: 5730-6084

PhD, associate professor of the Software Engineering and Computer Science Department

berezkin.aa@sut.ruhttps://orcid.org/0009-0005-0832-8590ЧенскийАлександр АлександровичChenskiyAlexander Alexandrovich

магистрант кафедры ПИиВТ, инженер Центра перспективных проектов и разработок, СПбГУТ.

Master grade student of the Program Engineering and Computer Science Department, engineer of Center ofAdvanced Projects and Developments

    

chenskii.aa@sut.ruhttps://orcid.org/0000-0002-8781-6840КиричекРуслан ВалентиновичKirichekRuslan Valentinovich

д.т.н., профессор, Ректор

Doctor of technical science, professor, rector of SPbSUT

kirichek@sut.ruСанкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-БруевичаРоссияBonch-Bruevich State university of telecommunicationsRussian Federation202530092025193Вестник СибГУТИ139164Copyright © Березкин А.А., Ченский А.А., Киричек Р.В., 20252025Березкин А.А., Ченский А.А., Киричек Р.В.Berezkin A.A., Chenskiy A.A., Kirichek R.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.sibsutis.ru/jour/article/view/981

В настоящее время беспилотные системы активно используются во многих сферах народного хозяйства, в том числе в режиме управления от первого лица. Для обеспечения управления от первого лица необходима передача видеопотока от беспилотной системы к станции внешнего пилота. Тем не менее, при передаче видеопотока через гибридные орбитально-наземные сети связи возникает большая задержка и возможна потеря кадров видеопотока. Это приводит к снижению интенсивности видеопотока и увеличению задержки отображения видеопотока на терминале оператора. В предыдущей части исследования рассматривался метод повышения интенсивности видеопотока, были построены его математические модели. В связанных работах исследовалась возможность уменьшения времени рассинхронизации управления от первого лица, а также представлена структура системы информационного обмена для управления беспилотными системами. Во второй части настоящего исследования обобщаются полученные в ранних работах авторов результаты и рассматривается система адаптивного контроля интенсивности видеопотока, которая работает в двух режимах: повышения интенсивности и уменьшения задержки припередаче видеопотока через космический сегмент гибридной сети связи.

In recent years, unmanned aircraft have been receiving active use. In a number of applications, first-person control of unmanned aircraft is used. First-person control requires the transmission of a video stream from an unmanned aircraft to an external pilot station. However, during network transmission, delay and frame loss of the video stream occurs. This results inlower intensity and higher latency of the video stream on the monitor of the external pilot station. In the previous part of the research, the method of increasing the intensity of video stream was presented, its mathematical models were built. In related works: the possibility of reducing the time of first-person control desynchronization was researched; the structure of unmanned systems first person control information exchange system was presented. The second part of the present research summarizes the results obtained in earlier works and presents an adaptive system of video stream latency and intensity control. The system consists from three blocks: neural codec mode controller, information exchange links control unit and video intensity control unit in two modes: intensity enhancement and delay reduction.

нейронная сетьвариационный автокодировщикуправление от первого лицаFPVбеспилотная авиационная системапредсказание видеопотокаDMVFNинтенсивность видеопотокаneural networkvariational autoencoderfirst person view controlFPVunmanned aerial systemunmanned aerial vehiclevideo streampredictionprediction modelvideo stream predictionDMVFNapplication latencyvideo stream latencyadaptive control systemReferencesБерезкин А. А., Ченский А. А., Киричек Р. В. Уменьшение задержки передачи FPV-видеопотока через спутниковые каналы связи методом предсказания будущих кадров // Электросвязь. 2025. № 4.Berezkin A. A., Chenskiy A. A., Kirichek R.V. Reduction of FPV video stream latency with future video stream frame prediction [Umen’shenie zaderzhki peredachi FPV-videopotoka cherez sputnikovye kanaly sv’azi metodom predskazanija budushhih kadrov]. Elektrosvjaz’. 2025. No. 4 (In Russ.)Березкин А. А., Ченский А. А., Киричек Р. В. Исследование границ интенсивности видеопотока при FPV-управлении БПЛА в режиме предсказания кадров. Часть I: модели и методы // Вестник СибГУТИ. 2024. Т. 18. №. 3. С. 115-139.Berezkin A. A., Chenskiy A. A., Kirichek R. V. Research of video stream intensity limits in UAV FPV control in frame prediction mode. Part I: models and methods [Issledovanie granic intensivnosti videopotoka pri FPV-upravlenii BPLA v rezhime predskazanija kadrov. Chast’ I: modeli i metody]. Vestnik SibGUTI, 2024, No. 18(3), pp. 115-139.Hu X., Huang Z., Huang A., Xu J., Zhou S. A dynamic multi-scale voxel flow network for video prediction // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. С. 6121–6131.Hu X., Huang Z., Huang A., Xu J., Zhou S. A dynamic multi-scale voxel flow network for video prediction. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 6121-6131.Choquette J., Gandhi W. Nvidia A100 GPU: Performance & innovation for GPU computing // 2020 IEEE Hot Chips 32 Symposium (HCS). IEEE Computer Society, 2020. С. 1-43.Choquette J., Gandhi W. Nvidia A100 GPU: Performance & innovation for GPU computing. 2020 IEEE Hot Chips 32 Symposium (HCS), IEEE Computer Society, 2020, pp. 1-43.Choquette J., Gandhi W., Giroux O., Stam N., Krashinsky R. Nvidia A100 tensor core GPU: Performance and innovation // IEEE Micro. 2021. Т. 41. №. 2. С. 29-35.Choquette J., Gandhi W., Giroux O., Stam N., Krashinsky R. Nvidia A100 tensor core GPU: Performance and innovation. IEEE Micro, 2021, No. 41(2), pp. 29-35.Giambene G., Kota S., Pillai P. Satellite-5G integration: A network perspective // IEEE Network. 2018. Т. 32. №. 5. С. 25-31.Giambene G., Kota S., Pillai P. Satellite-5G integration: A network perspective. IEEE Network, 2018, No. 32(5), pp. 25-31.Березкин А. А., Паршин А. А., Лазарев А. А. Адаптивный контроль интенсивности видеопотока при передаче FPV-трафика беспилотных систем // Материалы 79-й научно-технической конференции СПб НТО РЭС им. А. С. Попова, посвященной Дню радио, Санкт-Петербург, 22–26 апреля 2024. С. 162–165.Berezkin A. A., Parshin A. A., Lazarev A. A. Adaptivnyj kontrol’ intensivnosti videopotoka pri peredache FPV-trafika bespilotnyh sistem [Adaptive control of video stream intensity in FPV traffic transmission of unmanned systems]. 79-ja nauchno-tehnicheskaja konferencija SPb NTO RES im. A.S. Popova, posvjashhennaja Dnju radio: sbornik dokladov regional’noj konferencii, Saint Petersburg, 22-26 April, 2024, pp. 162-165.Стратегия развития отрасли связи Российской Федерации на период до 2035 года. // Правительство России. URL: http://government.ru/news/50304/ (дата обращения: 02.01.2025).Strategy for the development of the telecommunications industry of the Russian Federation for the period until 2035 [Strategija razvitija otrasli svjazi Rossijskoj Federacii na period do 2035 goda]. Government of Russia. URL: texttthttp://government.ru/news/50304/ (accessed: 02.01.2025).Березкин А. А., Ченский А. А., Киричек Р. В., Захаров А. А. Исследование конфигураций нейросетевых кодеков для адаптивной системы сжатия кадров FPV-видеопотока при управлении беспилотными системами. Часть I. Методика // Электросвязь. Санкт-Петербург, 2024. № 9. С. 42-51.Berezkin A. A., Chenskiy A. A., Kirichek R. V., Zaharov A. A. Research of neural codecs configurations for adaptive unmanned systems FPV-control video stream frame compression system. Part I. Methodics [Issledovanie konfiguracij nejrosetevyh kodekov dlja adaptivnoj sistemy szhatija kadrov FPV-videopotoka pri upravlenii bespilotnymi sistemami. Chast’ I. Metodika]. Elektrosvjaz’, Sankt-Peterburg, 2024, No. 9, pp. 42-51.Березкин А. А., Ченский А. А., Киричек Р. В., Захаров А. А. Исследование конфигураций нейросетевых кодеков для адаптивной системы сжатия кадров FPV-видеопотока при управлении беспилотными системами. Часть II. Эксперимент // Электросвязь. Санкт-Петербург, 2024. № 10. С. 59-69.Berezkin A. A., Chenskiy A. A., Kirichek R. V., Zaharov A. A. Research of neural codecs configurations for adaptive unmanned systems FPV-control video stream frame compression system. Part II. Experiment [Issledovanie konfiguracij nejrosetevyh kodekov dlja adaptivnoj sistemy szhatija kadrov FPV-videopotoka pri upravlenii bespilotnymi sistemami. Chast’ II. Jeksperiment]. Elektrosvjaz’, Sankt-Peterburg, 2024, No. 10, pp. 59-69.Zhou D., Wang W., Yan H., Lv W., Zhu Y., Feng J. MagicVideo: Efficient video generation with latent diffusion models. // arXiv preprint arXiv:2211.11018. 2022.Zhou D., Wang W., Yan H., Lv W., Zhu Y., Feng J. MagicVideo: Efficient video generation with latent diffusion models. arXiv preprint arXiv:2211.11018, 2022.Saharia C., Ho J., Chan W., Salimans T., Fleet D. J., Norouzi M. Image super-resolution via iterative refinement // IEEE transactions on pattern analysis and machine intelligence. 2022. Т. 45. №. 4. С. 4713-4726.Saharia C., Ho J., Chan W., Salimans T., Fleet D. J., Norouzi M. Image super-resolution via iterative refinement. IEEE transactions on pattern analysis and machine intelligence, 2022, No. 45(4), pp. 4713-4726.Liu Z., Lin Y., Cao Y., Hu H., Wei Y., Zhang Z., Lin S., Guo B. SWIN transformer: Hierarchical vision transformer using shifted windows // Proceedings of the IEEE/CVF international conference on computer vision. 2021. С. 10012-10022.Liu Z., Lin Y., Cao Y., Hu H., Wei Y., Zhang Z., Lin S., Guo B. SWIN transformer: Hierarchical vision transformer using shifted windows. Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 10012-10022.Liang J., Cao J., Sun G., Zhang K., Van Gool L., Timofte R. SwinIR: Image restoration using swin transformer // Proceedings of the IEEE/CVF international conference on computer vision. 2021. С. 1833-1844.Liang J., Cao J., Sun G., Zhang K., Van Gool L., Timofte R. SwinIR: Image restoration using swin transformer. Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 1833-1844.Wang X., Yu K., Wu S., Gu J., Liu Y., Dong C., Qiao Y., Loy C. C. ESRGAN: Enhanced superresolution generative adversarial networks // Proceedings of the European conference on computer vision (ECCV) workshops. 2018.Wang X., Yu K., Wu S., Gu J., Liu Y., Dong C., Qiao Y., Loy C. C. ESRGAN: Enhanced super-resolution generative adversarial networks. Proceedings of the European conference on computer vision (ECCV) workshops, 2018.Козлова А. И., Облаков Н. А., Березкин А. А. Сравнительный анализ методов сверхразрешения в системе сжатия видеопотока при FPV управлении беспилотными системами // Материалы 79-й научно-технической конференции СПб НТО РЭС им. А. С. Попова, посвященной Дню радио, Санкт-Петербург, 22–26 апреля 2024. С. 166–169.Kozlova A. I., Oblakov N. A., Berezkin A. A. Comparative analysis of superresolution methods in UAV FPV-control video stream compression system [Sravnitel’nyj analiz metodov sverhrazreshenija v sisteme szhatija videopotoka pri FPV upravlenii bespilotnymi sistemami] // Materialy 79-j nauchno-tehnicheskoj konferencii SPb NTO RJeS im. A. S. Popova, posvjashhennoj Dnju radio, Saint Petersburg, 22–26 April 2024, pp. 166–169.Березкин А. А., Вивчарь Р. М., Слепнев А. В., Киричек Р. В., Захаров А. А. Метод сжатия видеопотока при управлении беспилотными системами в гибридных орбитально-наземных сетях связи // Электросвязь. 2023. №. 10. С. 48-56.Berezkin A. A., Vivchar’ R. M., Slepnev A. V., Kirichek R. V., Zaharov A. A. Video stream compression method for unmanned systems first person view controll in hybrid orbital-terrestrial networks [Metod szhatija videopotoka pri upravlenii bespilotnymi sistemami v gibridnyh orbital’no-nazemnyh setjah svjazi]. Jelektrosvjaz’, 2023, №. 10, pp. 48-56.Березкин А. А., Вивчарь Р. М., Киричек Р. В., Захаров А. А. Метод декомпрессии FPV-видеопотока от беспилотных систем на основе латентной диффузионной нейросетевой модели //Электросвязь. 2024. №. 1. С. 42-53.Berezkin A. A., Vivchar’ R. M., Kirichek R. V., Zaharov A. A. Method of FPV-video stream from unmanned systems decompression with diffusional neural model [Metod dekompressii FPV-videopotoka ot bespilotnyh sistem na osnove latentnoj diffuzionnoj nejrosetevoj modeli]. Elektrosvjaz’, 2024, №. 1, pp. 42-53.Березкин А. А., Ченский А. А., Киричек Р. В., Захаров А. А. Маскирование кодированного FPV видеопотока при управлении БПЛА. Часть I. Модели и методика // Электросвязь. 2024. №. 12-2. С. 52-65.Berezkin A. A., Chenskiy A. A., Kirichek R. V., Zaharov A. A. Masking of UAV FPV-control video stream. Part I: Models and methodics [Maskirovanie kodirovannogo FPV videopotoka pri upravlenii BPLA. Chast’ I. Modeli i metodika]. Elektrosvjaz’, 2024, No. 12-2, pp. 52-65.Березкин А. А., Ченский А. А., Киричек Р. В. Нивелирование артефактов кадров видеопотока при FPV-управлении беспилотными системами // Инфкоммуникационные технологии. 2024. Т. 22. № 1 (85). С. 7-17.Berezkin A. A., Chenskiy A. A., Kirichek R. V. Video stream frames artifacts suppression in unmanned systems FPV-control [Nivelirovanie artefaktov kadrov videopotoka pri FPV-upravlenii bespilotnymi sistemami]. Infkommunikacionnye tehnologii, 2024, № 22(85), pp. 7-17.Березкин А. А., Облаков Н. А., Ченский А. А., Киричек Р. В. Корреляционный анализ латентного видеопотока при управлении БАС от первого лица // Электросвязь. Санкт-Петербург, 2024. № 11. С. 25-31.Berezkin A. A., Oblakov N. A., Chenskiy A. A., Kirichek R. V. Latent video stream correlational analysis in UAV first person view control [Korreljacionnyj analiz latentnogo videopotoka pri upravlenii BAS otpervogo lica]. Elektrosvjaz’, 2024, № 11, pp. 25-31.Larzon L. A., Degermark M., Pink S. UDP lite for real time multimedia applications. // Hewlett-Packard Laboratories, 1999.Larzon L. A., Degermark M., Pink S. UDP lite for real time multimedia applications. Hewlett-Packard Laboratories, 1999.Allman M., Falk A. On the effective evaluation of TCP // ACM SIGCOMM Computer Communication Review. 1999. Т. 29. №. 5. С. 59-70.Allman M., Falk A. On the effective evaluation of TCP. ACM SIGCOMM Computer Communication Review, 1999, №. 29(5), pp. 59-70.Langley A., Riddoch A., Wilk A., Vicente A., Krasic C., Zhang D., Shi Z. The QUIC transport protocol: Design and internet-scale deployment // Proceedings of the conference of the ACM special interest group on data communication. 2017. С. 183-196.Langley A., Riddoch A., Wilk A., Vicente A., Krasic C., Zhang D., Shi Z. The QUIC transport protocol: Design and internet-scale deployment. Proceedings of the conference of the ACM special interest group onCui Y., Li T., Liu C., Wang X., Kühlewind M. Innovating transport with QUIC: Design approaches and research challenges // IEEE Internet Computing. 2017. Т. 21. №. 2. С. 72-76.data communication, 2017, pp. 183-196.Березкин А. А., Матвеев Д. В., Савелов Д. Ю. Оптимизация модели предсказания видео с помощью Tensorrt для уменьшения задержек при управлении БПЛА // Подготовка профессиональных кадров в магистратуре для цифровой экономики (ПКМ-2023) : Всероссийская научно-техническая и научно-методическая конференция магистрантов и их руководителей; Сборник лучших докладов: в 2 томах, Санкт-Петербург, 05–07 декабря 2023 года. Санкт-Петербург: Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича, 2023. С. 328-334.Cui Y., Li T., Liu C., Wang X., Kühlewind M. Innovating transport with QUIC: Design approaches and research challenges. IEEE Internet Computing, 2017, №. 21(2), pp. 72-76.Hore A., Ziou D. Image quality metrics: PSNR vs. SSIM // 2010 20th international conference on pattern recognition. IEEE, 2010. С. 2366-2369.Berezkin A. A., Matveev D. V., Savelov D. Ju. Video prediction model optimization with Tensorrt to decrease latency in UAV control [Optimizacija modeli predskazanija video s pomoshh’ju tensorrt dlja umen’shenija zaderzhek pri upravlenii BPLA]. Podgotovka professional’nyh kadrov v magistrature dlja cifrovoj jekonomiki (PKM-2023) : Vserossijskaja nauchno-tehnicheskaja i nauchno-metodicheskaja konferencija magistrantov i ih rukovoditelej; Sbornik luchshih dokladov: v 2 tomah, Saint Petersburg,Sara U., Akter M., Uddin M. S. Image quality assessment through FSIM, SSIM, MSE and PSNR—a comparative study // Journal of Computer and Communications. 2019. Т. 7. №. 3. С. 8-18.–07 december 2023, Saint Petersburg: Bonch-Bruevich State University of Telecommunications, 2023, pp. 328-334.Бардасов С. А. Эконометрика: учебное пособие. 2-е издание, переработанное и дополненное. // Тюмень: Издательство Тюменского государственного университета, 2010. 264 с.Hore A., Ziou D. Image quality metrics: PSNR vs. SSIM. 2010 20th international conference on pattern recognition, IEEE, 2010, pp. 2366-2369.Ченский А. А., Березкин А. А. Простые динамические модели предсказания времени работы вариационных автокодировщиков // Материалы 80-й научно-технической конференции СПб НТО РЭС им. А. С. Попова, посвященной Дню радио, Санкт-Петербург, 21–25 апреля 2025. С.Sara U., Akter M., Uddin M. S. Image quality assessment through FSIM, SSIM, MSE and PSNR - a comparative study. Journal of Computer and Communications, 2019, No. 7(3), pp. 8-18.Roerich // Github. URL: https://github.com/HSE-LAMBDA/roerich (дата обращения: 05.01.2025).Bardasov S. A. Econometrics: textbook. 2nd edition, revised and expanded [Jekonometrika: uchebnoe posobie. 2-e izdanie, pererabotannoe i dopolnennoe]. Tjumen’: Izdatel’stvo Tjumenskogo gosudarstvennogo universiteta, 2010, 264 P.Ikatser I. D., Kozitsin V. O. Skoltech anomaly benchmark (SKAB) // Kaggle. URL: https://www.kaggle.com/dsv/1693952 (дата обращения: 05.01.2025).Chenskiy A. A., Berezkin A. A. Simple dynamic models for variational autoencoders inference time prediction [Prostye dinamicheskie modeli predskazanija vremeni raboty variacionnyh avtokodirovshhikov] // Materialy 80-j nauchno-tehnicheskoj konferencii SPb NTO RJeS im. A. S. Popova, posvjashhennoj Dnju radio, Saint Petersburg, 21–25 April 2025, pp.Shewhart W. A. Economic Control of Manufactured Product. New York: D.Van Norsrand, Co, 1931. 501 с.Roerich. Github. URL: https://github.com/HSE-LAMBDA/roerich (accessed: 05.01.2025).Ikatser I. D., Kozitsin V. O. Skoltech anomaly benchmark (SKAB). Kaggle. URL: https://www.kaggle.com/dsv/1693952 (accessed: 05.01.2025).Ikatser I. D., Kozitsin V. O. Skoltech anomaly benchmark (SKAB). Kaggle. URL: https://www.kaggle.com/dsv/1693952 (accessed: 05.01.2025).Shewhart W. A. Economic Control of Manufactured Product. New York: D.Van Norsrand, Co, 1931, 501 P.Shewhart W. A. Economic Control of Manufactured Product. New York: D.Van Norsrand, Co, 1931, 501 P.

The authors declare that there are no conflicts of interest present.