H.264的技术优势及其在H.323系统中的应用

hualong0923

（2005-3-9）

  

　　摘 要：本文主要先容了H.323系统对新的视频编解码技术提出的要求，分析了H.264编码标准的技术优势，并先容了H.264在H.323系统中的实现方法。

　　关键词：H.264 H.323 预测 宏块 帧

　　一、引言

　　近年来，随着我国通信网络基础设施的快速建设，视讯业务由于可以为处于多点的与会者提供音视频等多种信息，节省大量费用，提高工作效率，因而发展迅速，并有望成为NGN的主要业务。视讯会议系统从产生至今，发展了多种适于各类通信网络的系统，目前传输多媒体信息的主要有H.323、H.324和H.320等系统。IP技术的开放性特点使得它非常适合承载多种业务，随着IP的安全和QoS等问题的逐步解决，以IP作为承载网的优势将更加明显，下一代网络也将采用IP技术作为承载网技术。因此，本文以适用于在IP网上提供多媒体业务的H.323系统为主进行阐述。H.264是由JVT为实现视频的更高压缩比，更好的图像质量和良好的网络适应性而提出的新的视频编解码标准。事实证明，H.264编码更加节省码流，它内在的抗丢包、抗误码能力和良好网络适应性使它非常适于IP传输，H.264有望成为H.323系统中首选的视频标准。

　　H.323系统对视频编解码标准提出了以下三个主要要求：

　　（1）一些IP网络接入方式如xDSL可提供的带宽有限，除去音频、数据占用的带宽，传输视频的可用带宽就更少，这就要求视频编解码压缩率高，这样就可以在一定的比特率下具有更好的图像质量。

　　（2）抗丢包性能和抗误码性能好，适应各种网络环境，包括丢包和误码严重的无线网络。

　　（3）网络适应性好，便于视频流在网络中传输。

　　二、H.264适于H.323系统的三个技术优势

　　H.264在制定时充分考虑了多媒体通信对视频编解码的各种要求，并借鉴了以往视频标准的研究成果，因而具有明显的优势。以下将结合H.323系统对视频编解码技术的要求，阐述H.264的三个优势。

　　1. 压缩率和图像质量方面

　　对传统的帧内预测、帧间预测、变换编码和熵编码等算法的改进，使H.264的编码效率和图像质量在以往标准的基础上进一步提高。

　　（1）可变块大小：帧间预测时可以灵活选择块的大小。在宏块（MB）划分上H.264采用了16×16，16×8，8×16，8×8四种模式；当划分为8×8模式时，又可进一步采用8×4、4×8、4×4三种子宏块划分模式进一步划分，这样可以使运动物体的划分更加精确，减小预测误差，提高编码效率。帧内预测一般采取两种亮度预测模式：Intra_4×4和Intra_16×16。Intra_4×4适合图像中细节丰富的区域，而Intra_16×16模式更适合粗糙的图像区域。

　　（2）高精度运动估值：在H.264中亮度信号运动补偿预测的精度是1/4像素。如果运动矢量指向参考图像的整像素位置，预测值就是该位置上参考图像像素的值；否则使用6阶FIR滤波器的线性内插获得1/2像素位置的预测值，通过取整数和1/2像素位置像素值均值的方式获得1/4像素位置的值。显然采用高精度运动估计会进一步减小帧间预测误差。

　　（3）多参考帧运动估值：每一个M×N亮度块都要经过运动补偿预测得到运动矢量和参考图像索引，子宏块中的每个子宏块划分都会有不同的运动矢量。选择参考图像过程是在子宏块层次上进行的，因而一个子宏块中的多个子宏块划分在预测时使用相同的参考图像，而同一个slice的多个子宏块之间选择的参考图像可以不同，这就是多参考帧运动估值。

　　（4）参考图像的选取更加灵活：参考图像甚至可以是采用双向预测编码方式的图像，这就允许选取与当前图像更加匹配的图像为参考图像进行预测，从而可以减小预测误差。

　　（5）加权预测：允许编码器以一定的系数对运动补偿预测值进行加权，从而在一定的场景下可以提高图像质量。

　　（6）运动补偿循环内的消除块效应滤波器：为消除在预测和变换过程中引入的块效应，H.264也采用了消除块效应滤波器，但不同的是H.264的消除块效应滤波器位于运动估计循环内部，因而可以利用消除块效应以后的图像去预测其他图像的运动，从而进一步提高预测精度。

　　2. 抗丢包和抗误码方面

　　参数集、片的使用、FMO、冗余片等关键技术的使用可以提高系统的抗丢包和抗误码性能。

　　（1）参数集：参数集及其灵活的传送方式会降低因关键的头信息丢失而造成错误发生的可能。为保证参数集可靠地到达解码器端，可以采用重发的方式多次发送同一参数集，或传送多个参数集。

　　（2）片（slice）的使用：图像可以划分成一个或几个片。将图像划分为多个片，当某一片不能正常解码时的空间视觉影响就会降低，而且片还提供了重同步点。

　　（3）PAFF和MBAFF：当对隔行扫描图像进行编码时，由于两个场之间存在较大的扫描间隔，这样，对运动图像来说帧中相邻两行的空间相关性相对于逐行扫描时就会减小，这时对两个场分别进行编码会更节省码流。对帧来说，存在三种可选的编码方式，将两场合并作为一帧进行编码或将两场分别编码或将两场合并起来作为一帧，但不同的是将帧中垂直相邻的两个宏块合并为宏块对进行编码。前两种称为PAFF编码，对运动区域进行编码时场方式有效，非运动区域由于相邻两行有较大的相关性，因而帧方式会更有效。当图像同时存在运动区域和非运动区域时，在MB层次上，对运动区域采取场方式，对非运动区域采取帧方式会更加有效，这种方式就称为MBAFF。

　　（4）FMO：通过FMO可以进一步提高片的差错恢复能力。通过片组（slice group）的使用，FMO改变了图像划分为片和宏块的方式。宏块到片组的映射定义了宏块属于哪一个片组。利用FMO技术，H.264定义了七种宏块扫描模式。

　　（1）帧内预测：H.264借鉴了以往视频编解码标准在帧内预测上的经验，值得注意的是，在H.264中，IDR图像可以使参考图像缓存无效，之后的图像在解码时不再参考IDR图像之前的图像，因而IDR图像具有很好的重同步作用。在一些丢包和误码严重的信道中，可以采取不定期传送IDR图像的方式进一步提高H.264的抗误码和抗丢包性能。

　　（2）冗余图像：为提高H.264的解码器在发生数据丢失时的顽健性，可以采用传送冗余图像的方式。当基本图像丢失时，可以通过冗余图像重构原图像。

　　（3）数据划分：由于运动矢量和宏块类型等信息相对于其他信息具有更高的重要性，因而在H.264中引入了数据划分的概念，将片中语义彼此相关的语法元素放在同一个划分中。在H.264中有三类不同的数据划分，三类数据划分分开传送，若第二类或第三类划分的信息丢失，使用差错恢复工具仍然可以通过第一类划分中的信息对丢失信息进行适当恢复。

　　（4）多参考帧运动估值：多参考帧运动估值不但可以提高编码器的编码效率，还可以提高差错恢复能力。在H.323系统中，通过使用RTCP，当编码器得知有参考图像丢失时，可以选择解码器已经正确接收的图像作为参考图像。

　　（5）为阻止错误在空间上的蔓延，解码器端可以指定当P片或B片中的宏块在做帧内预测时不使用相邻的非帧内编码宏块作为参考。