重温更多《阿凡达》?华为云视频云让老电影“焕发新生”
时隔12年,《阿凡达》在国内的重映依然火爆,经典就是经典!观众对经典影片的热情不减,期盼更多老影片能够在“高清修复”后焕发新生。
基于华为云视频云,华为视频APP上线了“高清修复”栏目,让观众可以重温更多经典影片。接下来就为你揭开电影修复背后的“黑科技”。
电影修复要做什么
电影AI修复高成本多人力投入类似《泰坦尼克号》的修复不在此范畴,这就包括视频修复和视频增强。其中视频修复就是要解决视频因拍摄、压缩、传输、存储等产生的视频画质问题,如:划痕、压缩失真、噪点等;而视频增强则是通过分辨率提升、帧率提高、动态范围扩大、色域变广让视频质量得到进一步提升。
电影修复的三大挑战
目前电影AI修复面临着三大挑战:数据、算法、评价。
1.数据挑战:盲修复任务的泛化能力提升
电影的失真往往包含了上述多个问题,也就是混合失真,盲修复,就是在修复之前,并不清楚视频中有哪些问题,用的是泛化的算法,面临难题是:如何提升泛化算法的自适应性来应对多种修复场景。
混合失真
强度不一失真
2.算法挑战:如何同时让图像各个方面质量得到提升
视频增强就是让视频的图像像素更高、光线更 清晰 、色彩更饱满、颜色过度更顺滑、运动画面显示更流畅。 这就要求多任务之间的优化需要联合增强。
3.评价挑战:针对生成图像的质量评价
如下图,图1经过一定处理以后,通过传统评价算法如PSNR,SSIM,VMAF等得出的结论是原始图片是图2,主观却认为是图3。说明传统评价算法与主观评价算法不一致。
华为云视频云如何修复电影
华为云视频云对《黄飞鸿》修复前后对比
1.混合失真修复
华为云视频云对可能存在的失真问题,先预判,然后输入AI算法中,再构建多任务混合失真修复模型,最后进行修复,详细说来有三方面:
● 空域增强:视频超分
超分就是指通过媒体处理技术将分辨率低的图片变为分辨率更高的图片。
对大部分电影、电视剧,受众往往更关注人脸及字幕,这两者是重要的增强区域。华为云视频云基于语义的自适应超分算法,兼顾了网络轻量化、稳定性、综合效果。
● 增强:插帧FRC
时域增强让影片画面与画面之间的衔接更顺滑与流畅。华为云视频云通过改进网络,结合传统方法,如参考时空域上相邻的运动向量对光流进行修正。
● 对比度与饱和度增强
现有基于深度学习的对比度和饱和度增强算法,由于数据的不足,难以达到好的效果。华为云视频云通过寻找图像在亮度和色彩空间的统计规律,作为网络先验输入,能明显提升画面的对比度与饱和度。