面向YOLO的图像上采样技术文献综述

 2022-08-12 10:58:42

一、文献综述

(一)国内外研究现状

在缩小图像尺度的同时保持视觉外观,这在计算机视觉领域是一个严峻的挑战。在许多领域,包括媒体存储、检索和传输,尤其是面对基于互联网的应用程序和移动设备,对更有效和更高效的算法的需求正在迅速增长。

图像降尺度是一个传统的研究问题,旨在在低分辨率图像中保留高分辨率图像的外观。虽然很多传统方法在实践中被广泛使用,例如Bicubic和lanczos,最近仍然有不少关于提高低分辨率图像质量的研究。有的研究提出了内容自适应的方法,过滤内核系数根据图像来进行调整;有的将图像降尺度问题描述为一个优化问题,使得低分辨率图像和高分辨率图像之间的SSIM最小化;有的使用卷积滤波器为缩小的图像保留重要的视觉细节;有的提出了一种L0正则化的图像降尺度优化框架,该框架能够保持图像最显著的边缘。先前的工作依赖于手工的特性和优化,这会降低它们的性能。

也有研究试图通过学习一个超分辨率最佳的图像降尺度模型来填补图像降尺度和超分辨率之间的空白。作为任务感知图像降尺度模型,它们可以生成低分辨率图像,从而提高超分辨率模型的性能。然而,它们的模型更关注于超分辨率任务而不是降尺度本身。具体来说,它们采用卷积上采样模型去模拟超分辨率过程或者使训练网络模型与一个现有的超分辨率模型在端对端的表现连接起来。虽然它们的低分辨率生成同时受到通过传统的降尺度内核的限制,但是它们生成的低分辨率图像可能并不是最佳的观看体验。作为超分辨率任务感知降尺度的主要关注点,降尺度后的结果的视觉质量和超分辨率过程的兼容能力是矛盾的,这在之前的研究中提到过。一个降尺度图像在没有任何限制的情况下去生成最佳的超分辨率结果, 同时提升降尺度图像的视觉效果,通常会将固有的超分辨率模式限制为可恢复性。之前的研究证明了在忽略降尺度图像的视觉效果时,不可避免地会出现超分辨率性能上的偏差。

(二)研究主要成果

最近的研究致力于平衡低分辨率图像的人眼视觉友好性和可恢复性,较看重基于人眼注意力模型的体验。研究最中提出了一种基于人眼注意力的图像降尺度模型,FastDownscaler,可以有效地制作低分辨率图像,使得它不仅保留了原始高分辨率图像的视觉质量,而且对于现有的超分辨率模型也有很高的可恢复性。

首先,研究证明了可感知的和可恢复的降尺度低分辨率图像可以通过基于注意力的模型经过两个简单的上采样损失来实现,例如:双线性插值和双三次插值损失。这个实验结果意味着小型模型可以有效地达到目的。不幸的是,两个损失导致模型在制作的低分辨率图像的视觉质量和可恢复性方面产生了反效果。

为了取得令人满意的这两方面的协调结果,研究进一步提出了一个二阶段的基于蒸馏的优化去学习一个平衡的图像降尺度模型。网络由以下三个模块组成:

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。