冗余分片允许编码器把在同一个码流中添加同一MB的一个或更多冗余表示。需要注意的是这些冗余片的编码参数与非冗余片的编码参数不同，例如主片可用低QP（高质量）来编码，而冗余信息中能用一个高QP（低质量）的方式来编码，这样质量粗糙一些但码率更低。解码器在重构时，首先使用主片，如果它可用就抛弃冗余片；而如主片丢失（比如因为包的丢失）冗余片也能被用于重构。冗余片主要用于支持高误码的移动环境。
5. 帧内编码
H.264中帧内编码大体上类似于以往的视频编码标准，但也进行了重要的改进，主要体现在：
（1）H.264中帧内预测宏块的参考宏块可以是帧间编码宏块，帧内预测宏块并不像H.263中的帧内编码一样，而采用预测的帧内编码比非预测的帧内编码有更好的编码效率，但降低了帧内编码的重同步性能，可以通过设置限制帧内预测标记来恢复这一性能。
（2）只包含帧内宏块的片有两种，一种是帧内片（I SlICe），一种是立即刷新片（IDR Slice）。立即刷新片需存在于立即刷新图像（IDR Picture）中。与短期参考图像相比，立 即刷新图像有更强壮的重同步性能。
为了更适用无线IP网络环境中的应用，H.264通过采用率失真优化编码和设置帧内预测标志，来提高帧内图像的重同步性能。
四、H.264的网络提取层的错误恢复
NAL支持众多基于包的有线/无线通信网络，诸如H.320、MPEG-2和RTP/IP等。但目前，绝大部分的视频应用所采用的网络协议层次是RTP/UDP/IP，因此在下面的描述中主要基于这个传输框架。下面首先分析NAL层的基本处理单元NALU以及它的网络封装、分割和合并的方法。
1. NAL单元
每个NAL单元是一个一定语法元素的可变长字节字符串，包括包含一个字节的头信息（用来表示数据类型），以及若干整数字节的负荷数据。一个NAL单元可以携带一个编码片、A/B/C型数据分割或一个序列或图像参数集。
NAL单元按RTP序列号按序传送。其中，T为负荷数据类型，占5bit；R为重要性指示位，占2个bit；最后的F为禁止位，占1bit。具体如下：
（1）NALU类型位
可以表示NALU的32种不同类型特征，类型1～12是H.264定义的，类型24～31是用于H.264以外的，RTP负荷规范使用这其中的一些值来定义包聚合和分裂，其他值为H.264保留。
（2）重要性指示位
用于在重构过程中标记一个NAL单元的重要性，值越大，越重要。值为0表示这个NAL单元没有用于预测，因此可被解码器抛弃而不会有错误扩散；值高于0表示此NAL单元要用于无漂移重构，且值越高，对此NAL单元丢失的影响越大。
（3）禁止位
编码中默认值为0，当网络识别此单元中存在比特错误时，可将其设为1，以便接收方丢掉该单元，主要用于适应不同种类的网络环境（比如有线无线相结合的环境）。例如对于从无线到有线的网关，一边是无线的非IP环境，一边是有线网络的无比特错误的环境。假设一个NAL单元到达无线那边时，校验和检测失败，网关可以选择从NAL流中去掉这个NAL单元，也可以把已知被破坏的NAL单元前传给接收端。在这种情况下，智能的解码器将尝试重构这个NAL单元（已知它可能包含比特错误）。而非智能的解码器将简单地抛弃这个NAL单元。NAL单元结构规定了用于面向分组或用于流的传输子系统的通用格式。在H.320和MPEG-2系统中，NAL单元的流应该在NAL单元边界内，每个NAL单元前加一个3字节的起始前缀码。在分组传输系统中，NAL单元由系统的传输规程确定帧界，因此不需要上述的起始前缀码。一组NAL单元被称为一个接入单元，定界后加上定时信息（SEI），形成基本编码图像。该基本编码图像（PCP）由一组已编码的NAL单元组成，其后是冗余编码图像（RCP），它是PCP同一视频图像的冗余表示，用于解码中PCP丢失情况下恢复信息。如果该编码视频图像是编码视频序列的最后一幅图像，应出现序列NAL单元的end，表示该序列结束。一个图像序列只有一个序列参数组，并被独立解码。如果该编码图像是整个NAL单元流的最后一幅图像，则应出现流的end。
H.264采用上述严格的接入单元，不仅使H.264可自适应于多种网络，而且进一步提高其 抗误码 能力。序列号的设置可发现丢的是哪一个VCL单元，冗余编码图像使得即使基本编码图像丢失，仍可得到较“粗糙”的图像。
2. H.264中的RTP
上面阐述了NAL单元的结构和实现，这里要详细讨论RTP的载荷规范和抗误码性能。RTP可通过发送冗余信息来减少接收端的丢包率，会增加时延，与冗余片不同的是它增加的冗余信息是个别重点信息的备份，适合于非平等保护机制。相应的多媒体传输规范有：
www.55dianzi.com
（1）分组复制多次重发，发送端对最重要的比特信息分组进行复制重发，使得保证接收端能至少正确接收到一次，同时接收端要丢弃已经正确接收的分组的多余备份。
（2）基于分组的前向纠错，对被保护的分组进行异或运算，将运算结果作为冗余信息发送到接收方。由于时延，不用于对话型应用，可用于流媒体。
（3）音频冗余编码，可保护包括视频在内的任何数据流。每个分组由头标、载荷以及前一分组的载荷组成，H.264中可与数据分割一起使用。
RTP的封装规范总结如下：
（1）额外开销要少，使MTU尺寸在100～64千字节范围都可以；
（2）易于区分分组的重要性，而不必对分组内的数据解码；
（3）载荷规范应当保证不用解码就可识别由于其他比特丢失而造成的分组不可解码；
（4）支持将NALU分割成多个RTP分组；
（5）支持将多个NALU汇集在一个RTP分组中。
H.264采用了简单打包的方案，即一个RTP分组里放入一个NALU，将NALU（包括同时作为 载荷头标的NALU头）放入RTP的载荷中，设置RTP头标值。理想情况下，VCL不会产生超过MTU尺寸的NAL单元，来避免IP层的分拆。在接收端，通过RTP序列信息识别复制包并丢弃，取出有效RTP包里的NAL单元。基本档次和扩展档次允许片的无序解码，这样在抖动缓存中就不必对包重新排序。在使用主档次时（不允许片的乱序），要通过RTP序列信息来对包重新排序，解码顺序号（DON）的概念现正在IETF的讨论中。
存在如下情况，例如当使用内容预编码时，编码器不了解底层网络的MTU大小，将产生许多大于MTU尺寸的NALU。这就需要涉及NALU的分割和合并。
（1）NALU的分割
虽然IP层的分割可以使数据块小于64千字节，但无法在应用层实现保护，从而降低了非平等保护方案的效果。由于UDP数据包小于64千字节，而且一个片的长度对某些应用场合来说太小，所以应用层打包是RTP打包方案的一部分。目前的拆分方案正在IETF的讨论之中，大致具有以下特点：①NALU的分块以按RTP次序号升序传输；②能够标记第一个和最后一个NALU分块；③可以检测丢失的分块。
（2）NALU的合并
一些NALU如SEI、参数集等非常小，将它们合并在一起有利于减少头标开销。现有的两种集合分组：①单一时间集合分组（STAP），按时间戳进行组合，一般用于低时延环境；②多时间集合分组（MTAP），不同时间戳也可以组合，一般用于高时延环境，比如流应用。
五、结束语
本文针对最新推出的视频编解码标准H.264的 抗误码 性能进行了分析，可以看到H.264/AVC标准除了拥有高效编码的特性，还引入了一些新工具用于提高错误恢复能力。特别是，参数集、NAL上的NALU的概念、灵活的宏块排序FMO、数据分割以及帧内编码等都极大地提高了复杂网络环境下的抗误码能力。同时，详细介绍了与视频比特流传输密切相关的RTP封装规范，与H.264的NAL紧密结合，提供了对数据封装的指导。通过附加了一些传输层的低开销机制来用于NALU包的高效拆分和聚合。当联合使用这些工具时，可以达到更高的性能，在因特网和恶劣的无线网络上进行高质量的视频压缩也将最终成为现实[5]。
参考文献
[1] Wiegand T，Sullivan G J，Bjфntegaard G，Luthra A．Overview of the H.264/AVC Video Coding Standard．IEEE Trans，Circuits Syst，Video Technol.，2003，13（7）：560～576
[2] 冯秀波，谢剑英．无线视频传输容错算法研究新进展．通信学报，2003（11）
[3] Wang Y，Zhu Q．Error control and concealment for video communICation：a review．Proceedings of the IEEE，1998，86（5）：974～997
[4] 毕厚杰．H.264/AVC视频编码标准的技术特点和评价．世界电信，2004（7）
[5] Stockhammer T，Hannuksela M，Wiegand T．H.264/AVC in wireless environments．IEEE Trans，Circuits Syst，Video Technol，2003，13（7）：657～673
本文关键字：暂无联系方式综合-其它，单片机-工控设备 - 综合-其它
