Исследование границ интенсивности видеопотока при FPV-управлении БПЛА в режиме предсказания кадров. Часть I: модели и методы

В настоящее время беспилотные летательные аппараты нашли широкое применение в различных сферах народного хозяйства. FPV-управление (управление от первого лица) относится к числу способов управления беспилотными летательными аппаратами, при котором видеопоток от беспилотного воздушного судна передается на станцию внешнего пилота в реальном масштабе времени. Из-за сбоев в работе сети связи пакеты с данными видеопотока могут потеряться или задержаться и быть доставленными с опозданием. Одним из способов, позволяющих компенсировать падение FPS в случае потери или задержки кадров на станции внешнего пилота, является прогнозирование промежуточных кадров видеопотока. В настоящей работе представлена схема предсказания промежуточных кадров видеопотока и приведены результаты экспериментов по установлению реально возможного увеличения FPS в нейросетевом кодеке, в котором для сжатия видео используются различные автокодировщики типа VQ-f16, а также алгоритм сжатия латентного пространства признаков без потерь DEFLATE, при этом для предсказания используется динамическая многомасштабная нейронная сеть воксельного потока DMVFN. Разработана регрессионная модель для прогнозирования времени предсказания. Формализована задача анализа FPS при различных конфигурациях нейросетевого декодера на стороне внешнего пилота.

1. Чмелев В. С., Калюка В. И., Дмитренко М. Е. Обзор систем управления беспилотных летательных аппаратов общего пользования // Сборник материалов научно-практической конференции «Технологии. Инновации. Связь», Санкт-Петербург, 19 апреля 2021 года. С. 279-286.

2. Стратегия развития отрасли связи Российской Федерации на период до 2035 года [Электронный ресурс] // Правительство России: официальный сайт. 2023. URL: http://government.ru/news/50304/ (дата обращения: 21.05.2024).

3. Юрий Борисов выступил на стратегической сессии, посвящённой серийному производству спутников [Электронный ресурс] // Роскосмос: официальный сайт. 2023. URL: https://www.roscosmos.ru/40096/ (дата обращения: 21.05.2024).

4. Число учтённых в России дронов выросло на треть [Электронный ресурс] // Федеральное агентство воздушного транспорта - Росавиация: официальный сайт, 2024. URL: https://favt.gov.ru/novosti-novosti/?id=10676 (дата обращения: 21.05.2024).

5. Березкин А. А., Паршин А. А., Лазарев А. А. Адаптивный контроль интенсивности видео-потока при передаче FPV-трафика беспилотных систем // Материалы 79-й научно-технической конференции СПб НТО РЭС им. А. С. Попова, посвященной Дню радио, Санкт-Петербург, 22-26 апреля 2024. С. 162-165.

6. Березкин А. А., Савелов Д. Ю., Суходоева А. В., Туманов И. А., Киричек Р. В. Исследование нейросетевых моделей предсказания видеопотока при управлении беспилотными системами от первого лица // Труды Научно-исследовательского института радио. 2023. № 3-4. С. 40-56.

7. Гончаров В. Г., Березкин А. А. Анализ моделей предсказания кадров FPV-видеопотока в каналах информационного обмена беспилотных систем // Материалы 79-й научно-технической конференции СПб НТО РЭС им. А. С. Попова, посвященной Дню радио, Санкт-Петербург, 22-26 апреля 2024. С. 194-197.

8. Березкин А. А., Вивчарь Р. М., Киричек Р. В., Захаров А. А. Метод декомпрессии FPV-видеопотока от беспилотных систем на основе латентной диффузионной нейросетевой модели // Электросвязь. 2024. № 1. С. 42-53.

9. Rombach R., Blattmann A., Lorenz D., Esser P., Ommer B. High-resolution image synthesis with latent diffusion models // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022. P. 10684-10695.

10. Hu X., Huang Z., Huang A., Xu J., Zhou S. A dynamic multi-scale voxel flow network for video prediction // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023. P. 6121-6131.

11. Березкин А. А., Вивчарь Р. М., Слепнев А. В., Киричек Р. В., Захаров А. А. Метод сжатия видеопотока при управлении беспилотными системами в гибридных орбитально-наземных сетях связи // Электросвязь. 2023. № 10. С. 48-56.

12. Бардасов С. А. Эконометрика: учебное пособие. 2-е издание, переработанное и дополненное. Тюмень: Издательство Тюменского государственного университета, 2010. 264 с.

13. Berezkin A. A., Phuc H. Do., Tran D. Le., Kirichek R. V. A comparative analysis of diffusion-based super-resolution techniques in a video stream compression system in FPV control of un-manned systems // Труды Научно-исследовательского института радио. 2023. № 3-4. P. 26-39.

14. Козлова А. И., Облаков Н. А., Березкин А. А. Анализ моделей предсказания кадров FPV-видеопотока в каналах информационного обмена беспилотных систем // Материалы 79-й научно-технической конференции СПб НТО РЭС им. А. С. Попова, посвященной Дню радио, Санкт-Петербург, 22-26 апреля 2024. С. 170-173.