Березкин Александр Александрович - к.т.н., доцент кафедры программной инженерии и вычислительной техники (ПИиВТ), СПбГУТ, директор Центра перспективных проектов и разработок.
193232, Санкт-Петербург, пр. Большевиков, д. 22, к. 1
Alexander A. Berezkin - PhD, associate professor of the Program Engineering and Computer Science Department, Bonch-Bruevich State university of telecommunications SPbSUT, director of the Center of Perspective Projects and Developments.
193232, Saint-Petersburg, Bolshevikov Avenue, 22-1
Ченский Александр Александрович - магистрант кафедры ПИиВТ, инженер Центра перспективных проектов и разработок, СПбГУТ.
193232, Санкт-Петербург, пр. Большевиков, д. 22, к. 1
Alexander A. Chenskiy - Master's student of the Program Engineering and Computer Science Department, engineer of Center of Perspective Projects and Developments, SPbSUT.
193232, Saint-Petersburg, Bolshevikov Avenue, 22-1
Киричек Руслан Валентинович - д.т.н., ректор, профессор кафедры ПИиВТ, СПбГУТ.
193232, Санкт-Петербург, пр. Большевиков, д. 22, к. 1
Тел. +7 812 3051 200
Ruslan V. Kirichek - Doctor of technical science, rector, professor of the Program Engineering and Computer Science Department, SPbSUT.
193232, Saint-Petersburg, Bolshevikov Avenue, 22-1
Phone. +7 812 3051 200
В настоящее время беспилотные летательные аппараты нашли широкое применение в различных сферах народного хозяйства. FPV-управление (управление от первого лица) относится к числу способов управления беспилотными летательными аппаратами, при котором видеопоток от беспилотного воздушного судна передается на станцию внешнего пилота в реальном масштабе времени. Из-за сбоев в работе сети связи пакеты с данными видеопотока могут потеряться или задержаться и быть доставленными с опозданием. Одним из способов, позволяющих компенсировать падение FPS в случае потери или задержки кадров на станции внешнего пилота, является прогнозирование промежуточных кадров видеопотока. В настоящей работе представлена схема предсказания промежуточных кадров видеопотока и приведены результаты экспериментов по установлению реально возможного увеличения FPS в нейросетевом кодеке, в котором для сжатия видео используются различные автокодировщики типа VQ-f16, а также алгоритм сжатия латентного пространства признаков без потерь DEFLATE, при этом для предсказания используется динамическая многомасштабная нейронная сеть воксельного потока DMVFN. Разработана регрессионная модель для прогнозирования времени предсказания. Формализована задача анализа FPS при различных конфигурациях нейросетевого декодера на стороне внешнего пилота.
Currently, unmanned aerial vehicles have found wide application in various spheres of the national economy. FPV control refers to a method of controlling unmanned aerial vehicles in which the video stream from the unmanned aircraft is transmitted to the remote pilot station in real time. Due to failures in the communication network, packets with video stream data may be lost or delayed and be delivered late. One of the ways to compensate for the drop in FPS in case of frame loss or delay at the remote pilot station is to predict intermediate frames of the video stream. This paper presents a scheme for predicting intermediate frames of a video stream and presents the results of experiments to establish a realistically possible increase in FPS in a neural network codec, in which various autoencoders such as VQ-f16 are used for video compression as well as the lossless latent feature space compression algorithm DEFLATE, while the dynamic multiscale voxel flow neural network DMVFN is used for prediction. A regression model was developed to predict the prediction time. The task of analyzing FPS for various configurations of the neural network decoder on the side of the external pilot is formalized.
The authors declare that there are no conflicts of interest present.