快5G的慢动作！展锐5G芯片捕捉每一毫秒的精彩

淡然是一种

日常生活中，手机早已成为大家形影不离的伙伴，手机的拍照和录像功能为大家记录了生活中点点滴滴，让美好的记忆成为永恒。特别是视频录制功能，忠实地留存了身边的精彩时刻。普通视频对于普通视频，手机中camera系统按照30fps采集图像，即一秒内均匀采集30张图像，经过camera系统的处理，最终也按照30fps的帧率，编码成为视频文件。播放视频时，视频播放器同样按照30fps的帧率解码视频并显示。用户看到的是真实世界的原本回放，一切都如现实生活一样。为了增强视频录制功能，如今各大旗舰手机中，不约而同地设计了慢动作视频录制功能。什么是慢动作视频录制功能呢？慢动作视频所谓慢动作视频录制功能，它会将视频中拍摄对象的运动变慢、变缓，用户可以仔细地欣赏每一个动作的缓慢变化。目前，大家看到的慢动作视频录制一般为120fps和240fps帧率。以240fps慢动作视频录制为例，当用户启动拍摄240fps慢动作视频时，手机中camera系统按照240fps帧率采集图像，即一秒采集240张图像，平均4毫秒采集一张，它更加精细地从现实中获取了图像数据。Camera系统对240帧图像逐一处理，最后编码成视频文件。视频播放时，播放器依然按照30fps帧率播放。大家录制时候的1秒240张图像，播放时需要8秒显示，视频画面被放慢了8倍，各种动作和变化全部变缓。这种视频特别适合拍摄各种运动，或者转瞬即逝的时刻。用户看到了比普通视频精细8倍的运动变化，欣赏了更多的变化细节。高帧率慢动作瞬间视频既然已经拥有了240fps这样的慢动作视频，为什么还要更高帧率慢动作瞬间视频，如960fps视频？大家对技术的追求是无止境的，用户对精彩的需求也是无限的。960fps慢动作瞬间视频可以让用户体会到每一毫秒的画面变化，欣赏到每一毫秒的精彩画面。录制这种960fps高帧率慢动作视频，不像240fps慢动作视频那么简单。Camera系统采集数据的sensor因硬件性能局限，普通camera  sensor很难达到960fps这样高的采集帧率。目前市面上的旗舰手机主流是采用240fps帧率的camera sensor。为了产生960fps视频，camera系统必须采用FRC(Frame Rate Conversion)技术，将按240fps帧率采集的图像数据离线转换为960fps帧率，之后完成视频编码。这样用户就能欣赏到每一秒的精彩瞬间。由于FRC技术性能和所需资源限制，camera系统一般只采集时长为三秒左右的图像进行处理，最终视频播放时长可达10秒左右。该功能只有少数高端旗舰机具有，提升了这些手机的竞争力。紫光展锐第六代影像引擎Vivimagic展锐唐古拉5G芯片T770，搭载了第六代影像引擎Vivimagic解决方案，首次采用四核ISP实现了三摄/四摄场景无缝变焦，支撑长焦、广角、超广角、微距镜头，可实现3倍光学变焦，6倍混合变焦，30倍数字变焦。四核ISP处理速度高达每秒16亿像素，最高可支撑拍摄1.08亿像素照片，单摄零延迟拍照可达6400万像素。对于慢动作视频录制功能，最高支撑480fps不限时高清慢动作视频拍摄，用户可以充分利用五亿像素级处理速度来拍摄慢动作视频；采用FRC技术，用户可抓拍高帧率高清慢动作瞬间视频，捕捉毫秒级精彩细节。FRC技术先容FRC(Frame Rate Conversion)技术用于提升视频帧率，一般通过前后帧信息产生新的帧，增加单位时间内采集到的图像数据量，让用户获得更多图像信息。其中运动估计和运动补偿算法至关重要。

运动估计和运动补偿（Motion Estimation and Motion Compensation，简称MEMC），就是通过对图像中物体的运动轨迹的估计和检测运动矢量，然后利用原始帧和运动矢量信息，通过运动补偿插值的方式构建新的图像帧（称之为补偿帧），最后在原始帧中间插入补偿帧来提升画面的流畅性。以24fps插帧到60fps来举例说明，因为60不是24的整数倍，所以必须采用3:2 pull up pull down的方式进行帧重复，也就是当前帧重复3次，下一帧重复2次，依次类推，这样就把24fps视频的各帧图像“相对均匀”的分配到60fps的时间节拍上。因为每一帧的重复次数不相同，所以产生了抖动（Judder）现象。MEMC技术，根据物体运动信息来动态的生成补偿帧，可以非常有效的改善Judder现象。但由于所有新增的图像帧都是运动预测计算出来的，因此预测的不准确可能会带来副作用，比如光环“Halo”效应。通过对物体运动轨迹的精确计算，可以减小副作用。另外一个可能的现象是小物体运动所对应的小物体丢失，例如足球比赛中的足球，在一些补偿帧中消失了。原因在于大部分的MEMC算法，基于运算复杂度和实现成本考虑，采用块匹配方式来计算相邻帧之间的物体的运动相关性，而不是采用像素级的预测，导致小物体的运动矢量估计不准确，进而导致小物体的丢失或出现重叠等现象。优秀的MEMC算法，除了解决去除Judder等基本问题之外，还需对随之产生的光环Halo、小物体消失或重影等artifact有好的解决方案。紫光展锐视频编码专家组基于MEMC算法研究出了高清视频图像四倍插帧算法，完美地实现了视频序列的四倍插帧，为了高帧率慢动作瞬间视频功能实现奠定了基础。高帧率慢动作瞬间视频展锐唐古拉5G芯片T770的camera系统具备强大处理能力，支撑240fps 1080P和480fps 720P慢动作视频录制。基于240fps 720P图像数据，采用FRC技术，借助多核CPU，可以实现960fps 720P高清慢动作瞬间视频录制。对于更高帧率，如果camera sensor支撑480fps 720P图像采集，camera系统也可以实现1920fps的瞬间视频编码，这对手机性能有了更高要求。1920fps瞬间视频，平均0.5毫秒一张图像，将现实世界的运动放慢了64倍，用户可以欣赏到更加细腻的精彩瞬间，给用户带来前所未有的视觉体验。随着视频技术的不断发展，手机上camera系统会有越来越多的新颖功能出现，为用户带来不同凡响的视觉体验。高帧率慢动作瞬间视频无疑是其中一抹靓丽风景，展锐唐古拉5G芯片T770在影像方面拥有更优秀的表现。 日常生活中，手机早已成为大家形影不离的伙伴，手机的拍照和录像功能为大家记录了生活中点点滴滴，让美好的记忆成为永恒。特别是视频录制功能，忠实地留存了身边的精彩时刻。普通视频对于普通视频，手机中camera系统按照30fps采集图像，即一秒内均匀采集30张图像，经过camera系统的处理，最终也按照30fps的帧率，编码成为视频文件。播放视频时，视频播放器同样按照30fps的帧率解码视频并显示。用户看到的是真实世界的原本回放，一切都如现实生活一样。为了增强视频录制功能，如今各大旗舰手机中，不约而同地设计了慢动作视频录制功能。什么是慢动作视频录制功能呢？慢动作视频所谓慢动作视频录制功能，它会将视频中拍摄对象的运动变慢、变缓，用户可以仔细地欣赏每一个动作的缓慢变化。目前，大家看到的慢动作视频录制一般为120fps和240fps帧率。以240fps慢动作视频录制为例，当用户启动拍摄240fps慢动作视频时，手机中camera系统按照240fps帧率采集图像，即一秒采集240张图像，平均4毫秒采集一张，它更加精细地从现实中获取了图像数据。Camera系统对240帧图像逐一处理，最后编码成视频文件。视频播放时，播放器依然按照30fps帧率播放。大家录制时候的1秒240张图像，播放时需要8秒显示，视频画面被放慢了8倍，各种动作和变化全部变缓。这种视频特别适合拍摄各种运动，或者转瞬即逝的时刻。用户看到了比普通视频精细8倍的运动变化，欣赏了更多的变化细节。高帧率慢动作瞬间视频既然已经拥有了240fps这样的慢动作视频，为什么还要更高帧率慢动作瞬间视频，如960fps视频？大家对技术的追求是无止境的，用户对精彩的需求也是无限的。960fps慢动作瞬间视频可以让用户体会到每一毫秒的画面变化，欣赏到每一毫秒的精彩画面。录制这种960fps高帧率慢动作视频，不像240fps慢动作视频那么简单。Camera系统采集数据的sensor因硬件性能局限，普通camera  sensor很难达到960fps这样高的采集帧率。目前市面上的旗舰手机主流是采用240fps帧率的camera sensor。为了产生960fps视频，camera系统必须采用FRC(Frame Rate Conversion)技术，将按240fps帧率采集的图像数据离线转换为960fps帧率，之后完成视频编码。这样用户就能欣赏到每一秒的精彩瞬间。由于FRC技术性能和所需资源限制，camera系统一般只采集时长为三秒左右的图像进行处理，最终视频播放时长可达10秒左右。该功能只有少数高端旗舰机具有，提升了这些手机的竞争力。紫光展锐第六代影像引擎Vivimagic展锐唐古拉5G芯片T770，搭载了第六代影像引擎Vivimagic解决方案，首次采用四核ISP实现了三摄/四摄场景无缝变焦，支撑长焦、广角、超广角、微距镜头，可实现3倍光学变焦，6倍混合变焦，30倍数字变焦。四核ISP处理速度高达每秒16亿像素，最高可支撑拍摄1.08亿像素照片，单摄零延迟拍照可达6400万像素。对于慢动作视频录制功能，最高支撑480fps不限时高清慢动作视频拍摄，用户可以充分利用五亿像素级处理速度来拍摄慢动作视频；采用FRC技术，用户可抓拍高帧率高清慢动作瞬间视频，捕捉毫秒级精彩细节。FRC技术先容FRC(Frame Rate Conversion)技术用于提升视频帧率，一般通过前后帧信息产生新的帧，增加单位时间内采集到的图像数据量，让用户获得更多图像信息。其中运动估计和运动补偿算法至关重要。 运动估计和运动补偿（Motion Estimation and Motion Compensation，简称MEMC），就是通过对图像中物体的运动轨迹的估计和检测运动矢量，然后利用原始帧和运动矢量信息，通过运动补偿插值的方式构建新的图像帧（称之为补偿帧），最后在原始帧中间插入补偿帧来提升画面的流畅性。以24fps插帧到60fps来举例说明，因为60不是24的整数倍，所以必须采用3:2 pull up pull down的方式进行帧重复，也就是当前帧重复3次，下一帧重复2次，依次类推，这样就把24fps视频的各帧图像“相对均匀”的分配到60fps的时间节拍上。因为每一帧的重复次数不相同，所以产生了抖动（Judder）现象。MEMC技术，根据物体运动信息来动态的生成补偿帧，可以非常有效的改善Judder现象。但由于所有新增的图像帧都是运动预测计算出来的，因此预测的不准确可能会带来副作用，比如光环“Halo”效应。通过对物体运动轨迹的精确计算，可以减小副作用。另外一个可能的现象是小物体运动所对应的小物体丢失，例如足球比赛中的足球，在一些补偿帧中消失了。原因在于大部分的MEMC算法，基于运算复杂度和实现成本考虑，采用块匹配方式来计算相邻帧之间的物体的运动相关性，而不是采用像素级的预测，导致小物体的运动矢量估计不准确，进而导致小物体的丢失或出现重叠等现象。优秀的MEMC算法，除了解决去除Judder等基本问题之外，还需对随之产生的光环Halo、小物体消失或重影等artifact有好的解决方案。紫光展锐视频编码专家组基于MEMC算法研究出了高清视频图像四倍插帧算法，完美地实现了视频序列的四倍插帧，为了高帧率慢动作瞬间视频功能实现奠定了基础。高帧率慢动作瞬间视频展锐唐古拉5G芯片T770的camera系统具备强大处理能力，支撑240fps 1080P和480fps 720P慢动作视频录制。基于240fps 720P图像数据，采用FRC技术，借助多核CPU，可以实现960fps 720P高清慢动作瞬间视频录制。对于更高帧率，如果camera sensor支撑480fps 720P图像采集，camera系统也可以实现1920fps的瞬间视频编码，这对手机性能有了更高要求。1920fps瞬间视频，平均0.5毫秒一张图像，将现实世界的运动放慢了64倍，用户可以欣赏到更加细腻的精彩瞬间，给用户带来前所未有的视觉体验。随着视频技术的不断发展，手机上camera系统会有越来越多的新颖功能出现，为用户带来不同凡响的视觉体验。高帧率慢动作瞬间视频无疑是其中一抹靓丽风景，展锐唐古拉5G芯片T770在影像方面拥有更优秀的表现。