登录| 注册 退出
驭捷智能

360环视系统打造汽车实景体验

2021-04-14       浏览:  
分享到:

360环视系统打造汽车实景体验(图1)

环视系统是停车辅助系统的重要组成部份,未来将会成为汽车的一项标准配备。随着人们对于驾乘体验以及方案可扩展性等要求越来越高,一开始由亚洲汽车制造商推动而兴起的利基型环视系统,如今已经成为主流汽车厂商提供的选配功能。

汽车环视系统

环视系统的作用在于实时显示汽车周围环境的全貌。这种以2D视角从空中360度成像的方式可提供鸟瞰图或俯视图。通过多支相机的影像校正,可将采集影像无缝地衔接在一起。同时通过对不同相机的亮度和色彩进行调整,使合成的环景影像看上去更加协调。

不过,在停车的过程中,光是显示这样的影像并不足以协助驾驶人。为了更有效地进行控制,可在显2D视图或车后方视图为驾驶人显示更多的信息。另一种辅助策略是显示汽车周遭环境的3D视图来加强驾驶人对距离的理解。目标是利用安装在汽车四周的2D相机来产生当时汽车周边的3D环景影像和3D的汽车影像,为驾驶人提供参考。影像必须真实反映出汽车与附近物体(行人、车辆和建筑)的距离。3D球面视图应随着汽车的运动动态地变化。汽车模型必须融合在周围景象中,完整反映出汽车模型上的光照或反射光线。

这一类应用推动了汽车嵌入式平台中3D绘图和计算机视觉的性能提升。例如瑞萨(Renesas)支持环景显示的R-Car SoC系列即针对此类应用开发。其第二代R-Car并支持多种应用,如外部装置连接、娱乐扩展和先进驾驶辅助(ADAS),具备卓越的性能和优化功耗,以及可降低客户开发工作量的通用API。

实现身临其境的3D体验

像R-Car H2这一类的环景显示SoC专为整合驾驶舱解决方案与3D环景应用而设计。在该应用中,首先需要考虑3D绘图引擎的性能要求,特别着重在两个方面:2D相机影像纹理在3D球面视图的映像以及汽车3D成像。成像场景中的多边形数量取决于3D球面视图的变换和汽车模型的渲染效果。绘图引擎必须能在短时间内处理大量的多边形运算,从而使渲染效果更佳。

此外,由于该应用可针对同一场景使用不同的着色器程序,因此绘图引擎必须具有功能强大的着色器引擎。这些性能要求较高GPU频率,以实现高速数据处理。这些应用方面的性能要求推动瑞萨将高性能的3D绘图引擎整合在R-Car H2中。事实上,该产品的3D绘图引擎提供了与iPad Air 中3D绘图引擎相当的性能。

迈向增强实景之路

以3D感知场景有助于更易于了解内容,可通过两种技术来实现:一是人类立体视觉,不过它的缺点是使相机成本和整合工作量增加一倍。另一种是创造汽车的‘运动恢复结构’(SfM),从而提供一段时间内的立体视觉。例如瑞萨R-Car系列等环视系统采用了视觉专用硬件加速器,可支持四支相机的实时作业算法,同时满足对高性能和低功耗的要求。
SfM算法可产生显示汽车和周围物体运动的流程向量列表。下一步关键任务在于从流程向量中计算本体运动与进行匹配,从而计算出汽车的自主运动。从基础矩阵中,可根据环境中的动态和静态物体为流程向量进行分类。静态物体流程向量可直接提供物体的距离(与移动距离成反比)。

360环视系统打造汽车实景体验(图2)
图1:SfM算法在R-Car H2中的建置。SfM算法执行于采用R-Car H2的相机 (上图)。基于SfM处理结果的环境3D模型(下图)。

图 1(上)显示执行于R-Car H2的实例。圆圈代表静态特征点,是结构计算的结果。每一个颜色对应一串物体,这些物体随后反馈至模型变换。这些数据可用于实时调整如图1(下)所示的环境3D模型。最后,利用绘图引擎产生的3D球面与3D模型映像,创造出逼真的汽车环境影像。

基于以太网络的弹性化策略

另一种途径则利用以太网络(Ethernet)实现视频传输,如R-Car V2H即提供了一种从相机视频采集到显示接口的独特视频路径。这种途径不仅释放系统其余部分(如整体延迟、内存带宽和CPU干预)的要求,而且为系统制造商大幅降低软件开发的复杂度。图2显示R-Car V2H的特殊视频路径。从四支相机分解多任务至几何视频变换,均无需存取外部内存,而且每一支相机都有专用的硬件加速器。

360环视系统打造汽车实景体验(图3)
图2:基于以太网络的环景视频传输路径

系统成本的降低有助于环视系统的广泛普及,而布线成本是其中不可忽视的一个部分。近年来出现2种降低成本的方法,可减少目前基于LVDS的环视系统成本。其一是利用未屏蔽双绞线的以太网络传输,另一种在环景显示的视频传输(包括压缩和解压缩)以及处理链中,精心设计延迟。事实上,从相机采集影像到显示影像的总延迟应低于100ms,才能使驾驶人员能够实时感知环境。

目前,相机每秒30帧的传输速率。在使用全局快门时,传感器电池在曝光时同时进行充电,然后成像器开始逐一输出画素。因此,影像采集后大约一帧 (33ms)左右的时间传输最后一个像素。这是第一帧影像的延迟,无法缩短。另一个无法压缩的延迟是影像显示,所有像素都必须在显示影像之前完成传输,其延迟时间同样是33ms左右。最后剩下的33ms则用于执行图3所描述的其他任务。

360环视系统打造汽车实景体验(图4)
图3:视频传输与影像几何变换的延迟

该信号链的第一步是数据传输。以太网络协议并未提供专用机制来确保低延迟传输和相机同步。这也是瑞萨R-Car系列导入带先进AVB硬件支持的Gb以太网路MAC的原因。该架构为降低CPU负载和优化整个压缩视频接收提供了必要的硬件支持。有些专用机制用于实现智能封包解封包和相机视频滤波。AVnu 联盟AVB汽车规范中针对相机视频定义快速启动、低延迟(最大延迟为2ms)等多视图相机应用的关键技术考虑:

首款基于以太网络的多相机系统采用了低延迟的动态JPEG(MJPEG)压缩技术。该技术基于众所周知的JPEG标准,并已被广泛应用于消费型数字相机。然而,该技术对于视频质量的影响可能会限制后续视觉处理性能。

因此,瑞萨认为H264压缩技术是最佳的视频传输解决方案。这项技术提供了更好的压缩比,有助于改进视觉处理性能。目前,H264技术已经广泛应用在各种娱乐终端设备,可通过供货商的汽车娱乐连接方案连接到汽车上。例如瑞萨在R-Car V2H在首款支持HD多通道、符合H.264标准且具有低延迟视频译码器的汽车SoC。

降低延迟的最后一步是缩短处理数据的延迟。事实上,传统基于DSP的系统必须为视频采集采用双缓冲途径。R-Car V2H具有IMR的专用引擎,可实时处理影像几何转换。这种功能支持从最多5个低延迟视频译码器的直接串流影像。由于R-Car V2H具有视频直通路径,以太网络传输网络中的总体延迟已较传统的LVDS大幅降低了,如图3所示。

成像与检测

IMR 还可以采用查表(LUT)实时进行视角转换成2D或3D环景成像。相机视角可针对每个输入帧进行更改,从而实现用户视角间的动画转换。此外,该技术支持双线性滤波,以提供出色的影像质量。R-Car V2H通过该方法使其只需极小的内存即可支持3D环景影像。R-Car V2H 具有与R-Car H2相同的影像辨识硬件,因而也可同时实现SfM计算以及行人探测。它能够采用梯度直方图和支持向量机分类,对四个相机的数据同时进行行人探测,如图 4。

360环视系统打造汽车实景体验(图5)
 图4:基于 R-Car V2H 的3D环景影像系统展示行人检测功能。

结语

本文针对汽车多相机应用的趋势进行讨论,尤其是停车辅助系统中的3D环景显示功能,以及介绍具有丰富可扩展性的汽车SoC,如R-Car系列。诸如R- Car H2等车用SoC能够实现汽车周围环境的实时3D全方位成像,使停车操作更加方便。有些方案甚至导入独特的以太网络视频直通方法、以太网络AVB MAC以及多信道H264低延迟译码器,从而实现超低延迟视频处理,以及减少内存带宽,如R-Car V2H。并导入功能安全所需的关键特性,使采用该产品的系统在功能安全上能达到ASIL B级别。


在线
客服

在线客服 - 驭捷智能周一至周日 10:00-24:00(欢迎呼叫)

选择下列服务马上在线沟通:

客服
热线

18917451722
6*12小时客服服务热线