广角视频帧

温馨提示：

本文最后更新于 2024-5-14，已超过半年没有更新，若内容或图片失效，请留言反馈。

Self-supervised video distortion correction algorithm based on iterative optimization

算法介绍

广角视频帧通常包含更多信息，但它们也会出现失真，从而降低视觉质量，尤其是在边缘。为了消除视频中的这种失真，本文提出了一种自监督迭代优化方法。具体来说，我们利用两个连续的扭曲帧构建了一个运动参数估计模型，其中运动参数包括仿射变换和畸变参数。我们应用高斯-牛顿算法来最小化帧和更新参数之间的平方和误差。将帧间运动视为非扭曲-仿射-扭曲变换，通过不断调整变换参数来实现帧对齐。最终，使用收敛参数对帧进行校正。我们的贡献包括：(1) 提出了一种新的帧间参数优化框架，基于除法模型，使用共享参数化对失真和不失真进行联合建模。（2）基于所提出的帧间成对近似模型，将图像序列的畸变校正表述为图像对齐问题。因此，连续图像可以建模为三个连续变换，即不失真、仿射变换和失真。与基于语义的方法相比，这减少了应用程序的约束。（3）采用基于Gauss-Newton算法的自监督迭代优化方法，充分利用了失真视频连续帧之间的空间相关性。

图1为算法的流程图. 失真视频中两个连续帧的对齐算法。将$t$时刻的输入帧在参数$k$下变换为无畸变图像，然后在参数$\mathbf{p}$下得到仿射变换图像。经过畸变变换后，得到畸变图像，然后与$t+1$时刻的模板图像进行差分。误差图像允许更新参数，同时也用作图像对齐的度量。红框中是两帧中通过几何变换可以得到的场景。

光流分析

对于变换过程中，我们用光流描述了各像素点的运动。光流是反映图像间像素运动的二维矢量场，可以通过基于图像对齐的方法进行计算。为了更直观地说明各变换的效果，本节从光流的角度对所提算法进行了分析。光流示意图如图2所示。

使用五角星和运动路径直观地描绘两帧之间的光流。具体来说，橙色五角星表示当前帧中特征点的位置。黄色五角星标记了前一帧中相同特征点的位置。它们之间的位移矢量就是光流。运动路径用黄色虚线绘制，其中扭曲和不扭曲变换方向始终是径向的。可以看出，经过正确的变换后，得到的图像将与模板图像对齐，如图2(a)所示。因此，变换后的特征点的坐标也将与模板图像中对应特征点的坐标一致。相反，错误变换后的图像和特征点无法与模板对齐，如图2(b)所示。