本文共 1353 字，大约阅读时间需要 4 分钟。
手机超分辨率算法：谷歌原理与复现之探索
近年来，手机超分辨率算法在图像处理领域引起了广泛关注。特别是谷歌提出的基于多帧合成的超分技术，曾ONCE在线上引发热议。以下将深入剖析这一技术的原理及其复现过程。
谷歌超分辨率算法的核心思想来自于分析手机拍摄过程中的“手抖”特征。手机拍摄时，手部轻微震颤，导致多张连续照片的位置微偏移。这些小偏移量实际上为超分辨率算法提供了重要数据——通过对比相邻帧，可以恢复高分辨率图像中的亚像素信息。
具体流程如下：
Step 1：多帧采集
采集连续多张RAW图像，选择其中一张作为基准帧。剩余图像通过局部对齐处理，并计算每帧的局部贡献度。Step 2：核回归
使用核回归方法，估计每张帧对最终图像的局部贡献。核的大小为5×5，采用梯度平滑处理，避免高频噪声干扰。Step 3：贡献叠加
将各帧的贡献按权重叠加，形成高分辨率图像。每个颜色通道独立处理，使用归一化级。Step 4：去马赛克
传统超分算法通常采用马赛克填充，期望复现者曾尝试替代方案。谷歌算法更倾向多帧融合，效果显著。然而，复现过程面临诸多挑战。
尽管论文效果令人震撼，实际复现并非易事。
帧数与核尺寸
论文提到针对每张帧计算协方差矩阵，但复现者发现这是无意义操作。最终改为使用5×5核，仍未恢复原理论略上的不足。高通滤波器
选择使用高通滤波器消除低频噪声，但论文未提及，复现者需自行补充。Wiener shrinkage
论文提到Wiener缩放，但术语未出现在参考文献中。复现者只能依据猜测进行。复现者对以上问题做了适当修改：
局部对齐优化
采用谷歌相机的单反模式拍摄，手抖对比分析。通过全局预对齐弥补偏移。高通滤波器引入
在图像预处理阶段加入高通滤波器，减少长时间曝光带来的低频噪声影响。核回归优化
使用5×5核，采用梯度平滑，计算每像素的结构张量。核心算法改进依然未完全接近论文描述。虽然复现效果未完全达到论文水平，但仍具有一定的改进空间：
低频干扰减少
高通滤波器有效消除背景噪声，图像清晰度提升。细节恢复
角落模糊文字、窗框细节等均有所增强。整体效果
相比传统方法，效果更优。尤其在动态景观拍摄中，手抖带来的偏移得到有效弥补。作者进行了大量实验验证，效果令人满意。将该算法直接应用于手机拍摄可无缝度使用，尤其适合风景、城市夜景等高品质需求场景。
未来的研究方向可能包括：
更大核尺寸
解决核尺寸受限问题。实时化改进
优化计算复杂度，提升运行效率。多模态融合
结合其他图像处理技术，进一步提升效果。项目地址： github.com/kunzmi/ImageStackAlignator
参考文献： dl.acm.org/doi/10.1145/3306346.3323024
相关资源下载
加入CVer细分垂直交流群（目标检测、图像分割等多方向），现在添加热门方向评价分享，助力学术交流~
转载地址：http://uvwsz.baihongyu.com/