Исследование границ интенсивности видеопотока при FPV-управлении БПЛА в режиме предсказания кадров. Часть II: адаптивный контроль интенсивности видеопотока

В настоящее время беспилотные системы активно используются во многих сферах народного хозяйства, в том числе в режиме управления от первого лица. Для обеспечения управления от первого лица необходима передача видеопотока от беспилотной системы к станции внешнего пилота. Тем не менее, при передаче видеопотока через гибридные орбитально-наземные сети связи возникает большая задержка и возможна потеря кадров видеопотока. Это приводит к снижению интенсивности видеопотока и увеличению задержки отображения видеопотока на терминале оператора. В предыдущей части исследования рассматривался метод повышения интенсивности видеопотока, были построены его математические модели. В связанных работах исследовалась возможность уменьшения времени рассинхронизации управления от первого лица, а также представлена структура системы информационного обмена для управления беспилотными системами. Во второй части настоящего исследования обобщаются полученные в ранних работах авторов результаты и рассматривается система адаптивного контроля интенсивности видеопотока, которая работает в двух режимах: повышения интенсивности и уменьшения задержки при
передаче видеопотока через космический сегмент гибридной сети связи.

1. Березкин А. А., Ченский А. А., Киричек Р. В. Уменьшение задержки передачи FPV-видеопотока через спутниковые каналы связи методом предсказания будущих кадров // Электросвязь. 2025. № 4.

2. Березкин А. А., Ченский А. А., Киричек Р. В. Исследование границ интенсивности видеопотока при FPV-управлении БПЛА в режиме предсказания кадров. Часть I: модели и методы // Вестник СибГУТИ. 2024. Т. 18. №. 3. С. 115-139.

3. Hu X., Huang Z., Huang A., Xu J., Zhou S. A dynamic multi-scale voxel flow network for video prediction // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. С. 6121–6131.

4. Choquette J., Gandhi W. Nvidia A100 GPU: Performance & innovation for GPU computing // 2020 IEEE Hot Chips 32 Symposium (HCS). IEEE Computer Society, 2020. С. 1-43.

5. Choquette J., Gandhi W., Giroux O., Stam N., Krashinsky R. Nvidia A100 tensor core GPU: Performance and innovation // IEEE Micro. 2021. Т. 41. №. 2. С. 29-35.

6. Giambene G., Kota S., Pillai P. Satellite-5G integration: A network perspective // IEEE Network. 2018. Т. 32. №. 5. С. 25-31.

7. Березкин А. А., Паршин А. А., Лазарев А. А. Адаптивный контроль интенсивности видеопотока при передаче FPV-трафика беспилотных систем // Материалы 79-й научно-технической конференции СПб НТО РЭС им. А. С. Попова, посвященной Дню радио, Санкт-Петербург, 22–26 апреля 2024. С. 162–165.

8. Стратегия развития отрасли связи Российской Федерации на период до 2035 года. // Правительство России. URL: http://government.ru/news/50304/ (дата обращения: 02.01.2025).

9. Березкин А. А., Ченский А. А., Киричек Р. В., Захаров А. А. Исследование конфигураций нейросетевых кодеков для адаптивной системы сжатия кадров FPV-видеопотока при управлении беспилотными системами. Часть I. Методика // Электросвязь. Санкт-Петербург, 2024. № 9. С. 42-51.

10. Березкин А. А., Ченский А. А., Киричек Р. В., Захаров А. А. Исследование конфигураций нейросетевых кодеков для адаптивной системы сжатия кадров FPV-видеопотока при управлении беспилотными системами. Часть II. Эксперимент // Электросвязь. Санкт-Петербург, 2024. № 10. С. 59-69.

11. Zhou D., Wang W., Yan H., Lv W., Zhu Y., Feng J. MagicVideo: Efficient video generation with latent diffusion models. // arXiv preprint arXiv:2211.11018. 2022.

12. Saharia C., Ho J., Chan W., Salimans T., Fleet D. J., Norouzi M. Image super-resolution via iterative refinement // IEEE transactions on pattern analysis and machine intelligence. 2022. Т. 45. №. 4. С. 4713-4726.

13. Liu Z., Lin Y., Cao Y., Hu H., Wei Y., Zhang Z., Lin S., Guo B. SWIN transformer: Hierarchical vision transformer using shifted windows // Proceedings of the IEEE/CVF international conference on computer vision. 2021. С. 10012-10022.

14. Liang J., Cao J., Sun G., Zhang K., Van Gool L., Timofte R. SwinIR: Image restoration using swin transformer // Proceedings of the IEEE/CVF international conference on computer vision. 2021. С. 1833-1844.

15. Wang X., Yu K., Wu S., Gu J., Liu Y., Dong C., Qiao Y., Loy C. C. ESRGAN: Enhanced superresolution generative adversarial networks // Proceedings of the European conference on computer vision (ECCV) workshops. 2018.

16. Козлова А. И., Облаков Н. А., Березкин А. А. Сравнительный анализ методов сверхразрешения в системе сжатия видеопотока при FPV управлении беспилотными системами // Материалы 79-й научно-технической конференции СПб НТО РЭС им. А. С. Попова, посвященной Дню радио, Санкт-Петербург, 22–26 апреля 2024. С. 166–169.

17. Березкин А. А., Вивчарь Р. М., Слепнев А. В., Киричек Р. В., Захаров А. А. Метод сжатия видеопотока при управлении беспилотными системами в гибридных орбитально-наземных сетях связи // Электросвязь. 2023. №. 10. С. 48-56.

18. Березкин А. А., Вивчарь Р. М., Киричек Р. В., Захаров А. А. Метод декомпрессии FPV-видеопотока от беспилотных систем на основе латентной диффузионной нейросетевой модели //Электросвязь. 2024. №. 1. С. 42-53.

19. Березкин А. А., Ченский А. А., Киричек Р. В., Захаров А. А. Маскирование кодированного FPV видеопотока при управлении БПЛА. Часть I. Модели и методика // Электросвязь. 2024. №. 12-2. С. 52-65.

20. Березкин А. А., Ченский А. А., Киричек Р. В. Нивелирование артефактов кадров видеопотока при FPV-управлении беспилотными системами // Инфкоммуникационные технологии. 2024. Т. 22. № 1 (85). С. 7-17.

21. Березкин А. А., Облаков Н. А., Ченский А. А., Киричек Р. В. Корреляционный анализ латентного видеопотока при управлении БАС от первого лица // Электросвязь. Санкт-Петербург, 2024. № 11. С. 25-31.

22. Larzon L. A., Degermark M., Pink S. UDP lite for real time multimedia applications. // Hewlett-Packard Laboratories, 1999.

23. Allman M., Falk A. On the effective evaluation of TCP // ACM SIGCOMM Computer Communication Review. 1999. Т. 29. №. 5. С. 59-70.

24. Langley A., Riddoch A., Wilk A., Vicente A., Krasic C., Zhang D., Shi Z. The QUIC transport protocol: Design and internet-scale deployment // Proceedings of the conference of the ACM special interest group on data communication. 2017. С. 183-196.

25. Cui Y., Li T., Liu C., Wang X., Kühlewind M. Innovating transport with QUIC: Design approaches and research challenges // IEEE Internet Computing. 2017. Т. 21. №. 2. С. 72-76.

26. Березкин А. А., Матвеев Д. В., Савелов Д. Ю. Оптимизация модели предсказания видео с помощью Tensorrt для уменьшения задержек при управлении БПЛА // Подготовка профессиональных кадров в магистратуре для цифровой экономики (ПКМ-2023) : Всероссийская научно-техническая и научно-методическая конференция магистрантов и их руководителей; Сборник лучших докладов: в 2 томах, Санкт-Петербург, 05–07 декабря 2023 года. Санкт-Петербург: Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича, 2023. С. 328-334.

27. Hore A., Ziou D. Image quality metrics: PSNR vs. SSIM // 2010 20th international conference on pattern recognition. IEEE, 2010. С. 2366-2369.

28. Sara U., Akter M., Uddin M. S. Image quality assessment through FSIM, SSIM, MSE and PSNR—a comparative study // Journal of Computer and Communications. 2019. Т. 7. №. 3. С. 8-18.

29. Бардасов С. А. Эконометрика: учебное пособие. 2-е издание, переработанное и дополненное. // Тюмень: Издательство Тюменского государственного университета, 2010. 264 с.

30. Ченский А. А., Березкин А. А. Простые динамические модели предсказания времени работы вариационных автокодировщиков // Материалы 80-й научно-технической конференции СПб НТО РЭС им. А. С. Попова, посвященной Дню радио, Санкт-Петербург, 21–25 апреля 2025. С.

31. Roerich // Github. URL: https://github.com/HSE-LAMBDA/roerich (дата обращения: 05.01.2025).

32. Ikatser I. D., Kozitsin V. O. Skoltech anomaly benchmark (SKAB) // Kaggle. URL: https://www.kaggle.com/dsv/1693952 (дата обращения: 05.01.2025).

33. Shewhart W. A. Economic Control of Manufactured Product. New York: D.Van Norsrand, Co, 1931. 501 с.