环视系统是停车辅助系统的重要组成部份，未来将会成为汽车的一项标准配备。随着人们对于驾乘体验以及方案可扩展性等要求越来越高，一开始由亚洲汽车制造商推动而兴起的利基型环视系统，如今已经成为主流汽车厂商提供的选配功能。

汽车环视系统

环视系统的作用在于实时显示汽车周围环境的全貌。这种以2D视角从空中360度成像的方式可提供鸟瞰图或俯视图。通过多支相机的影像校正，可将采集影像无缝地衔接在一起。同时通过对不同相机的亮度和色彩进行调整，使合成的环景影像看上去更加协调。

不过，在停车的过程中，光是显示这样的影像并不足以协助驾驶人。为了更有效地进行控制，可在显2D视图或车后方视图为驾驶人显示更多的信息。另一种辅助策略是显示汽车周遭环境的3D视图来加强驾驶人对距离的理解。目标是利用安装在汽车四周的2D相机来产生当时汽车周边的3D环景影像和3D的汽车影像，为驾驶人提供参考。影像必须真实反映出汽车与附近物体(行人、车辆和建筑)的距离。3D球面视图应随着汽车的运动动态地变化。汽车模型必须融合在周围景象中，完整反映出汽车模型上的光照或反射光线。

这一类应用推动了汽车嵌入式平台中3D绘图和计算机视觉的性能提升。例如瑞萨(Renesas)支持环景显示的R-Car SoC系列即针对此类应用开发。其第二代R-Car并支持多种应用，如外部装置连接、娱乐扩展和先进驾驶辅助(ADAS)，具备卓越的性能和优化功耗，以及可降低客户开发工作量的通用API。

实现身临其境的3D体验

像R-Car H2这一类的环景显示SoC专为整合驾驶舱解决方案与3D环景应用而设计。在该应用中，首先需要考虑3D绘图引擎的性能要求，特别着重在两个方面：2D相机影像纹理在3D球面视图的映像以及汽车3D成像。成像场景中的多边形数量取决于3D球面视图的变换和汽车模型的渲染效果。绘图引擎必须能在短时间内处理大量的多边形运算，从而使渲染效果更佳。

此外，由于该应用可针对同一场景使用不同的着色器程序，因此绘图引擎必须具有功能强大的着色器引擎。这些性能要求较高GPU频率，以实现高速数据处理。这些应用方面的性能要求推动瑞萨将高性能的3D绘图引擎整合在R-Car H2中。事实上，该产品的3D绘图引擎提供了与iPad Air 中3D绘图引擎相当的性能。

迈向增强实景之路

以3D感知场景有助于更易于了解内容，可通过两种技术来实现：一是人类立体视觉，不过它的缺点是使相机成本和整合工作量增加一倍。另一种是创造汽车的‘运动恢复结构’(SfM)，从而提供一段时间内的立体视觉。例如瑞萨R-Car系列等环视系统采用了视觉专用硬件加速器，可支持四支相机的实时作业算法，同时满足对高性能和低功耗的要求。
SfM算法可产生显示汽车和周围物体运动的流程向量列表。下一步关键任务在于从流程向量中计算本体运动与进行匹配，从而计算出汽车的自主运动。从基础矩阵中，可根据环境中的动态和静态物体为流程向量进行分类。静态物体流程向量可直接提供物体的距离(与移动距离成反比)。

图1：SfM算法在R-Car H2中的建置。SfM算法执行于采用R-Car H2的相机 (上图)。基于SfM处理结果的环境3D模型(下图)。

图 1(上)显示执行于R-Car H2的实例。圆圈代表静态特征点，是结构计算的结果。每一个颜色对应一串物体，这些物体随后反馈至模型变换。这些数据可用于实时调整如图1(下)所示的环境3D模型。最后，利用绘图引擎产生的3D球面与3D模型映像，创造出逼真的汽车环境影像。

基于以太网络的弹性化策略

另一种途径则利用以太网络(Ethernet)实现视频传输，如R-Car V2H即提供了一种从相机视频采集到显示接口的独特视频路径。这种途径不仅释放系统其余部分(如整体延迟、内存带宽和CPU干预)的要求，而且为系统制造商大幅降低软件开发的复杂度。图2显示R-Car V2H的特殊视频路径。从四支相机分解多任务至几何视频变换，均无需存取外部内存，而且每一支相机都有专用的硬件加速器。

图2：基于以太网络的环景视频传输路径

系统成本的降低有助于环视系统的广泛普及，而布线成本是其中不可忽视的一个部分。近年来出现2种降低成本的方法，可减少目前基于LVDS的环视系统成本。其一是利用未屏蔽双绞线的以太网络传输，另一种在环景显示的视频传输(包括压缩和解压缩)以及处理链中，精心设计延迟。事实上，从相机采集影像到显示影像的总延迟应低于100ms，才能使驾驶人员能够实时感知环境。

目前，相机每秒30帧的传输速率。在使用全局快门时，传感器电池在曝光时同时进行充电，然后成像器开始逐一输出画素。因此，影像采集后大约一帧 (33ms)左右的时间传输最后一个像素。这是第一帧影像的延迟，无法缩短。另一个无法压缩的延迟是影像显示，所有像素都必须在显示影像之前完成传输，其延迟时间同样是33ms左右。最后剩下的33ms则用于执行图3所描述的其他任务。

图3：视频传输与影像几何变换的延迟

该信号链的第一步是数据传输。以太网络协议并未提供专用机制来确保低延迟传输和相机同步。这也是瑞萨R-Car系列导入带先进AVB硬件支持的Gb以太网路MAC的原因。该架构为降低CPU负载和优化整个压缩视频接收提供了必要的硬件支持。有些专用机制用于实现智能封包解封包和相机视频滤波。AVnu 联盟AVB汽车规范中针对相机视频定义快速启动、低延迟(最大延迟为2ms)等多视图相机应用的关键技术考虑：

首款基于以太网络的多相机系统采用了低延迟的动态JPEG(MJPEG)压缩技术。该技术基于众所周知的JPEG标准，并已被广泛应用于消费型数字相机。然而，该技术对于视频质量的影响可能会限制后续视觉处理性能。

因此，瑞萨认为H264压缩技术是最佳的视频传输解决方案。这项技术提供了更好的压缩比，有助于改进视觉处理性能。目前，H264技术已经广泛应用在各种娱乐终端设备，可通过供货商的汽车娱乐连接方案连接到汽车上。例如瑞萨在R-Car V2H在首款支持HD多通道、符合H.264标准且具有低延迟视频译码器的汽车SoC。

降低延迟的最后一步是缩短处理数据的延迟。事实上，传统基于DSP的系统必须为视频采集采用双缓冲途径。R-Car V2H具有IMR的专用引擎，可实时处理影像几何转换。这种功能支持从最多5个低延迟视频译码器的直接串流影像。由于R-Car V2H具有视频直通路径，以太网络传输网络中的总体延迟已较传统的LVDS大幅降低了，如图3所示。

成像与检测

IMR 还可以采用查表(LUT)实时进行视角转换成2D或3D环景成像。相机视角可针对每个输入帧进行更改，从而实现用户视角间的动画转换。此外，该技术支持双线性滤波，以提供出色的影像质量。R-Car V2H通过该方法使其只需极小的内存即可支持3D环景影像。R-Car V2H 具有与R-Car H2相同的影像辨识硬件，因而也可同时实现SfM计算以及行人探测。它能够采用梯度直方图和支持向量机分类，对四个相机的数据同时进行行人探测，如图 4。

 图4：基于 R-Car V2H 的3D环景影像系统展示行人检测功能。

结语

本文针对汽车多相机应用的趋势进行讨论，尤其是停车辅助系统中的3D环景显示功能，以及介绍具有丰富可扩展性的汽车SoC，如R-Car系列。诸如R- Car H2等车用SoC能够实现汽车周围环境的实时3D全方位成像，使停车操作更加方便。有些方案甚至导入独特的以太网络视频直通方法、以太网络AVB MAC以及多信道H264低延迟译码器，从而实现超低延迟视频处理，以及减少内存带宽，如R-Car V2H。并导入功能安全所需的关键特性，使采用该产品的系统在功能安全上能达到ASIL B级别。