本文共 1353 字，大约阅读时间需要 4 分钟。

手机超分辨率算法：谷歌原理与复现之探索

近年来，手机超分辨率算法在图像处理领域引起了广泛关注。特别是谷歌提出的基于多帧合成的超分技术，曾ONCE在线上引发热议。以下将深入剖析这一技术的原理及其复现过程。

1.技术原理概述

谷歌超分辨率算法的核心思想来自于分析手机拍摄过程中的“手抖”特征。手机拍摄时，手部轻微震颤，导致多张连续照片的位置微偏移。这些小偏移量实际上为超分辨率算法提供了重要数据——通过对比相邻帧，可以恢复高分辨率图像中的亚像素信息。

具体流程如下：

• Step 1：多帧采集

  采集连续多张RAW图像，选择其中一张作为基准帧。剩余图像通过局部对齐处理，并计算每帧的局部贡献度。

• Step 2：核回归

  使用核回归方法，估计每张帧对最终图像的局部贡献。核的大小为5×5，采用梯度平滑处理，避免高频噪声干扰。

• Step 3：贡献叠加

  将各帧的贡献按权重叠加，形成高分辨率图像。每个颜色通道独立处理，使用归一化级。

• Step 4：去马赛克

  传统超分算法通常采用马赛克填充，期望复现者曾尝试替代方案。谷歌算法更倾向多帧融合，效果显著。

然而，复现过程面临诸多挑战。

2.复现挑战与解决方案

尽管论文效果令人震撼，实际复现并非易事。

2.1 论文与复现的差异

• 帧数与核尺寸

  论文提到针对每张帧计算协方差矩阵，但复现者发现这是无意义操作。最终改为使用5×5核，仍未恢复原理论略上的不足。

• 高通滤波器

  选择使用高通滤波器消除低频噪声，但论文未提及，复现者需自行补充。

• Wiener shrinkage

  论文提到Wiener缩放，但术语未出现在参考文献中。复现者只能依据猜测进行。

2.2 实际修正方案

复现者对以上问题做了适当修改：

• 局部对齐优化

  采用谷歌相机的单反模式拍摄，手抖对比分析。通过全局预对齐弥补偏移。

• 高通滤波器引入

  在图像预处理阶段加入高通滤波器，减少长时间曝光带来的低频噪声影响。

• 核回归优化

  使用5×5核，采用梯度平滑，计算每像素的结构张量。核心算法改进依然未完全接近论文描述。

2.3 最终实现效果

虽然复现效果未完全达到论文水平，但仍具有一定的改进空间：

• 低频干扰减少

  高通滤波器有效消除背景噪声，图像清晰度提升。

• 细节恢复

  角落模糊文字、窗框细节等均有所增强。

• 整体效果

  相比传统方法，效果更优。尤其在动态景观拍摄中，手抖带来的偏移得到有效弥补。

3.实用体验与展望

作者进行了大量实验验证，效果令人满意。将该算法直接应用于手机拍摄可无缝度使用，尤其适合风景、城市夜景等高品质需求场景。

未来的研究方向可能包括：

• 更大核尺寸

  解决核尺寸受限问题。

• 实时化改进

  优化计算复杂度，提升运行效率。

• 多模态融合

  结合其他图像处理技术，进一步提升效果。

项目地址： github.com/kunzmi/ImageStackAlignator

参考文献： dl.acm.org/doi/10.1145/3306346.3323024

相关资源下载

• CVPR2020：开源论文合集
• ECCV2020：开源代码与论文
• YOLOv4：最新版本及源码
• Transformer综述：两份最新综述PDF，必读！

加入CVer细分垂直交流群（目标检测、图像分割等多方向），现在添加热门方向评价分享，助力学术交流~

转载地址：http://uvwsz.baihongyu.com/