自动驾驶、功能安全、人工智能、V2X、网络安全

来源：工研院；编译：牛喀网-钱伟

近来各国与各大厂商皆致力于无人驾驶车之开发与研究，目前仍有许多技术待克服。

近年来，智能机器人与人工智能蓬勃发展，带来许多产业效益，结合智能机器人与人工智能最令人瞩目之领域为无人载具技术。无人载具指的是无搭载人员的载具，通常使用遥控、导引或自动驾驶来控制其载具位置及方向。无人载具主要可分为五大类，包含无人地面载具（UnmannedGround Vehicle, UGV）、无人飞行载具（Unmanned Aerial Vehicle, UAV）、无人海面载具（UnmannedSurface Vehicle, USV）、无人水下载具（Unmanned Undersea Vehicle, UUV）及无人太空载具（UnmannedSpacecraft），而本期内容主要聚焦于无人地面载具，以近来相当火红的议题─无人驾驶车作为技术探讨之主题，介绍无人驾驶车之演进、平台与规范、信息安全性、无人驾驶车上之感测设备、融合感测设备、自动驾驶对象辨识之深度学习模型、及车联网V2X技术等方向，期望透过本期内容让读者更了解其技术内容。

美国国家公路交通安全管理局（National Highway Traffic SafetyAdministration, NHTSA）于2016年提出无人驾驶车之不同等级分类，此定义根据国际自动机工程师学会（Society of Automotive Engineers,SAE）依照自动化的程度不同编修而成，其定义如下：

• 等级0：此等级非常基本，驾驶者完全控制车辆：方向盘、煞车、油门、动力系统。

• 等级1：驾驶辅助等级；代表大部分的功能仍然由驾驶者操控，但特定的功能（例如方向盘控制及防死锁煞车系统）可以由汽车自动完成。

• 等级2：在等级2含有多项驾驶辅助系统，驾驶人主要控制车辆，但可以减少操作车辆负担，例如主动式巡航定速（Adaptive Cruise Control, ACC）结合自动跟车和车道偏离警示（Lane Departure Warning, LDW），而自动紧急煞停系统（Autonomous Emergency Braking, AEB）透过盲点侦测（Blind Spot Detection, BSD）和前方防撞系统（Forward     Collision Warning, FCW）的部分技术结合。

• 等级3：等级3为无人驾驶阶段的开始，驾驶者仍是必要的，在特定条件下司机     可以不须操作车辆进行自动驾驶，但当汽车侦测到需要驾驶人控制时，会立即回复让驾驶人接管其后续控制，因此驾驶者需要随时准备好接管车辆驾驶。

• 等级4：在条件许可下让车辆完整自驾，驾驶人不须介入操控，此车可以依照设定知道路规则行驶，但是无人驾驶技术可能仅限于高速或者车辆较少的路面上使用。

• 等级5：任何情况下皆可以自动驾驶，不受环境所限定。等级5为完全的自动化驾驶，可执行所有与安全有关之重要功能，包括没有人在车上时的情形，完全不须受驾驶意志所控，可以自行决策，此等级车子内部需要有方向盘、煞车和油门。

诚如上述，不同等级皆有对应之功能特色,无人驾驶能快速发展，大部分是仰赖先进驾驶辅助系统（Advanced Driver Assistance Systems, ADAS）之研发成果，由于各大车厂及相关企业早已投入大量资源发展智慧车辆技术，因此透过先进驾驶辅助系统不但能减少车祸发生，亦能促成无人驾驶产业快 速发展。

影像侦测辨识技术是目前最为广泛的应用范畴，近年来亦被广泛使用在车用安全的应用上，除了一般的车辆与行人等动态对象的侦测辨识外，影像里的颜色 信息和对象结构的细节，其在道路和交通号志的侦测应用上，相较于其它传感器所能提供的信息及分析结果相对准确和重要，目前影像传感器在对象辨识上的表现明 显优于其它主动式的传感器，所以对于对象的追踪也将优于一般的传感器，即使是像车子进入弯道或是在道路上移动的追踪，也都可以利用影像视讯来判断。 

但是，计算机视觉所需之计算量高，过去单一模块大部分只提供单一功能，并透过硬件设计或软硬件共同设计的方法实现系统，随着车用系统芯片规格不断大 步往前迈进，如车用规格多核心系统芯片Cortex A15或Cortex A57，由于计算处理器技术上的纯熟，以及相关组件与信息取得相对容易，这不仅让高运算需求的计算机视觉得以纯软件实现，并且大大提升高度整合先进驾驶辅助 系统软件解决方案的可行性，将有机会克服效能问题，相较于硬件解决方案，可以有低成本、高产品组合性、场域高适应性等优势，因此多功能先进驾驶辅助系统将 是未来趋势之一。 

就行车环境感知的功能面来看先进驾驶辅助系统的发展，其从驾驶者监控应用如全周影像行车辅助系统，延伸至主动侦测警告或提示驾驶者相关讯息如车道 偏移警示系统、前方碰撞警示系统、盲点侦测系统与停车辅助系统，除了一般的行车条件外，亦会逐步考虑不同的天候与道路型态条件，并且回授于车辆控制系统， 如夜视系统与主动式定速巡航系统等。 

全周影像行车辅助系统是针对两个以上的视讯来源，各自侦测首张画面中的特征点，利用特征点配对所得之来源坐目标对应关系进行画面之坐标转换，依序 接合各个画面，并针对接合的视讯进行动态接缝计算、画面接合与修补，即使于来源视讯有不同的曝光与白平衡等条件，接合的影像也不会有明显的接缝瑕疵，提升 全景接合视讯的画质，产生一个具有广视角之视讯影像，有效消除车辆行驶周围死角，让驾驶人能够充分掌握车辆行驶周围路况。 

车道偏移警示系统之主要功能，是经由图像处理算法确认车辆是否正确行驶于道路上，当驾驶者不经意偏离车道时，能适时给予警讯，以利驾驶者适时修 正车辆行驶方向，降低车祸发生的机率；前方碰撞警示系统之主要功能，是当与前方之车距小于安全范围内时，即发出警示讯号提醒驾驶者煞车减速，避免与前方车 辆发生碰撞，以提升行车的安全性；盲点侦测系统之主要功能，是协助驾驶者侦测在车辆两侧之驾驶者无法看见之死角，是否有过于靠近或是即将撞上之车辆，在侦 测范围中如车辆过于靠近，即发出警示讯号提醒驾驶者侧方有危险来车，以避免事故的发生；停车辅助系统将侦测地面与四周对象状态，并提供驾驶者相关信息与协 助，应用方式有提供影像与碰撞警示的引导辅助系统；夜视系统将透过影像辨识技术，侦测夜间行车路径中之障碍物，而回传的数据将经由动态计算后，若对行车可 能造成危险性，则会对驾驶者提出警告；主动式定速巡航系统是透过前方车辆距离的侦测结果，依据车距数据控制煞车与油门调整车速，以利与前车保持适当的距 离，防止追撞的情况发生。 

先进驾驶辅助系统将不再是高阶车款的专利，过往例如Audi、Volvo、BMW等车款，其要价须上百万元新台币才可包含以上配备，然而目前 Ford Kuga售价最低的车型1.6 Ecoboost，其约88～110万元新台币就具备先进驾驶辅助系统的功能，由此可显示市场已逐步从高阶车款跨入中低阶车款，从「Global Automotive ADAS MarketForecast 2014~2024 」市场分析报告指出，2014～2024年先进驾驶辅助系统之复合年均成长率达12.8%，然而身为自驾车先导的先进驾驶辅助系统，仍有许多待克服的困难 点，如何完全适应于不同的天候与道路型态，深度学习与异质传感器融合技术将是后续研究开发的重点。

ISO 26262 Roadvehicles - Functional Safety[1]发表于2011年11月，是目前最新进（state-of-the-art）的车用电子功能安全性规范，ISO26262是基于IEC 61508的母法上，针对车辆电子及电气系统应用的安全性来订立，第一版的标准涵盖3.5顿以下之一般汽车，2018年第二版预计将摩托车涵盖在内，并且 针对半导体应用有更深入的规范。此标准特色如下：

• 提供一个车辆安全生命周期（设计、生产、运转、维修、退役），并根据电子／电气系统的发展类别（新开发、衍生、修改、再使用）在各生命周期阶段内支持必要的活动

• 提供汽车的具体风险基础评估，以确定风险等级（车辆安全完整性等级，ASIL）

• 利用车辆安全完整性等级（ASIL）规范具体项目的必要安全设计要求，以达到可接受的安全等级

• 提供所需的确认措施，以确保能够达成足够和可以接受的安全程度

图1：ISO26262 V-model架构

ISO 26262的内容共包含10个部分，可用上图的V-model来表示:

Part 1：专有名词定义（Vocabulary）：提供ISO 26262标准内所使用之专有名词定义

Part 2：功能安全管理（Management of functional safety）：包含全公司的安全性管理制度，例如：安全文化、人员能力管理、质量管理、与安全性生命周期管理；计划管理中的安全性计划、人员配置、计划调整、与安全性案例

Part 3：概念阶段（Concept phase）：此阶段定义系统的初始架构（项目定义，Item definition），接着透过风险与危害分析（Hazard analysis and riskassessment），求得系统的车辆安全完整性等级（automotive safety integritylevel, ASIL），进而推导出车用安全的需求，也就是功能安全性概念（functional safety concept）

Part 4：产品开发：系统层级（Product development: system level）：承接Part 3概念阶段的分析结果，探讨如何使用软硬件技术，满足与达成概念阶段所推导出的安全性需求，包含技术安全性需求（technical safety requirement）、系统设计、系统整合与测试、功能安全稽查等

Part 5：产品开发：硬件层级（Product development: hardwarelevel）：实现Part 4系统设计时，分配（allocate）给硬件的安全性设计，包含硬件设计、硬件架构量化分析、硬件整合与测试

Part 6：产品开发：软件层级（Product development: hardwarelevel）：实现Part 4系统设计时，分配（allocate）给软件的安全性设计，包含软件设计、软件测试涵盖率分析、软件信心度判别、软件整合测试与验证

Part 7：量产与制造（Production and operation）：规范安全性相关组件／项目之制造流程，包含量产安全性计划、安全手册、与安全相关的除役程序

Part 8：支持程序（Supporting processes）：包含供货商管理、建构式管理、变更管理、文件管理、验证计划、软件认证等

Part 9：安全等级与安全性导向分析（ASIL-oriented and safety-orientedanalyses）：包含各种安全性分析，如相依性分析、故障树分析（FTA）、失效模式与影响分析（FMEA）等
Part 10：ISO 26262使用指南（Guideline on ISO 26262）：提供ISO 26262之开发案例分析

ISO 26262将主要的安全性活动（safety activities）划分为三个主要阶段，包含概念阶段、产品开发阶段、与生产运作阶段，如下图所示：

图2：ISO 26262生命安全周期

I. 概念阶段：此阶段以Part 3为主，包含项目定义（Item definition）、安全生命周期初始化（Initiation of the safetylifecycle）、危害分析与风险评估（Hazard analysis & riskassessment）和功能安全概念（Functional safety concept）。藉由初步的系统架构，定义出基本系统功能，进而分析系统功能失效时，对于人员所造成的可能伤害，分析的过程使用三个参数：严重性 （severity）、发生机率（Exposure）、与可控性（controllability）做评估，得到系统的车辆安全完整性等级（ASIL）与 安全目标（safety goal），藉此定义出安全机制与功能安全的概念，达成安全目标。

II. 产品开发阶段：由Part 4系统层级（System level）、Part 5硬件层级（Hardware level）、与Part 6软件层级（Software level）三个部分构成，透过上阶段之架构分析及安全机制定义之后，藉由系统、硬件、软件的规格定义、实作、与验证，进行完整的V-model流程。

III. 生产运作阶段：以Part 7量产与制造（Production and operation）为主，规范产品量产、制造之规划，生产前确认相关功能安全需求皆被设计与实行，组装与制造之需求发展与执行与产品销售后续服务的流程。

为了实现自驾车高可靠度／安全性的运算平台，势必要在系统的设计中加入安全机制（Safety mechanism）来避免系统失效时造成危害。ISO 26262透过一套有系统的分析方法来验证安全机制的有效性，统称为安全性分析（Safety analysis）。当系统的ASIL要求在等级B以上时，就必须透过安全性分析来验证是否能够达成预期的ASIL要求。在ISO 26262规范中建议的系统／硬件安全分析方法主要有FMEA（Failure Mode and Effect Analysis）、FTA（Fault Tree Analysis）以及FMEDA（Failure Mode Effect and Diagnostic Analysis）三种。三种分析方法都有其不同的目的，FMEA主要是由下而上（Buttom-up）的方式，有系统的找出各部组件发生错误时，对上面 的系统会有何影响；而FTA则是由上而下（Top-down）的方式，先列出导致系统失效的原因，再去探究是由哪个组件失效所导致；而FMEDA主要是用 来分析不同的安全机制对于各种不同的组件失效模式的有效性做量化分析。FMEDA在ISO 26262的硬件验证中尤其重要，它的验算包含单点错误评估（Single Point Faults Metric；SPFM）、潜在错误评估（Latent Faults Metric；LFM）、与随机硬件错误机率评估（Probabilistic Metric for RandomHardware Failure；PMHF），这三个量化指标，是用来判定硬件安全设计是否能达到ASIL要求的主要依据之一。

ISO-26262标准对软件的设计与测试验证，包含从Model Based Software验证到源代码的静态分析（Static Analysis）以及动态分析（Dynamic Analysis）来验证软件设计的安全性。静态分析常用MISRA C/C++，用以检验程序代码风格是否违背安全设计法则，动态分析包括白箱测试（White box testing）以及Back-to-Back测试，测试的度量标准要求须符合单元测试涵盖（Coverage）如语句（Statement）、分支 （Branch）、MC／DC（Modified Condition／Decision Coverage以及整合测试（Integration test），如功能涵盖率（Function coverage）、呼叫功能涵盖率（Call coverage）。

自驾车对安全性要求极高，软硬件必须达到高复杂度的功能整合，这也使得产品的设计、制造、与验证的工作更加艰难。为了让整个开发生命周期更可靠，因此得遵循最先进的车用安全性规范-ISO 26262来开发，为自驾车的安全性把关。

2018年3、4月，牛喀学城将推出：自动驾驶安全技术，系统功能安全、软件功能安全、硬件功能安全技术培训，详情咨询catherine.liu@i-newcar.com

曾经与智慧行动终端市场失之交臂的BlackBerry此次并未忽视车载技术的热潮，于2016年底建置自驾车研究中心并大量投入研究资 源，BlackBerry 所拥有的 QNX 平台目前在车用市场中拥有47% 的市占率，且将于2018年推出自驾车用的资安服务平台[3]，该平台预期将可远程扫描检测车用软件是否感染病毒或遭受入侵，并且若在行驶当中发现车载平 台异常可能危及行车安全时警告驾驶停车，而QNX更是目前少数符合汽车电子系统安全国际标准（ISO-26262）的操作系统，QNX 在信息安全方面的领先也将成为 BlackBerry 未来重返舞台的关键优势，也同时彰显了资安防御技术于车载平台上的重要性。 

鉴于目前恶意攻击的盛行，可想而知拥有庞大未来市场以及配备高运算资源的自驾车辆必然是下一个攻击目标，车辆上运行的所有电子系统都有可能成为资 安攻击（如图3所示）的目标或是攻击媒介，试想近年掀起轩然大波的勒索软件 （Ransomware）发作于车载平台的画面，原先大幅肆虐于网络上的攻击转移至道路上时只会造成更加严峻的灾情。 

分析诸多车载资安相关之解决方案（如图4所示），有71%厂商在产品或是技术发想上采用白名单（Whitelisting）类型的技术，采用方式 可分为三大类:（1）在ECU上利用原厂设定建置白名单，不符合原厂设定之程序无法于ECU上执行，（2）建置control-flow白名单，程控 流程异常时则中止操作，（3）透过机器学习认知驾驶习惯，当操作与驾驶习惯差异太大时则产生警示。6%产品强调利用Hypervisor机制隔离车辆中的 重要执行区块，避免恶意程序透过特权提升取得管理者权限。59%厂商在产品上采用软件解决方案，41%厂商采用硬件方案，装置额外硬件需透过与车厂的技术 整合，技术成本较高。使用软件安装方式较为便捷，但若是直接嵌入于ECU上时，容易因为占用ECU资源而造成ECU执行效能受影响的状况。41%厂商在产 品上自行建置或是透过其他资安厂商的云端服务，任何通讯或是档案的下载都会在云端系统先经过检测，当档案安全时才会再从云端下载至车辆，并且云端系统会不 断更新目前新发现的恶意档案或是攻击行为特征，此方式可保持防御机制永远处于最新更新的状态。 

29%厂商在产品或是技术发想上采用机器学习或是人工智能技术，采用方式多利用机器学习方式分析新型攻击或是恶意软件特征，进而产生侦测规则置入 防御侦测系统中。24%厂商在产品或是技术发想上采用密钥技术，透过公钥签章与身分验证确认通讯的对象是可信赖的装置，各端点间传输也可透过密钥加 密，确保机敏数据不会外泄以及传输的完整性。其中多数公司为以色列新创公司，以色列政府因为军政地理关系对于资安产业非常重视，持续以国防需求带动资安产 能，近年车载资安厂商的兴起可观察出其政府对于此领域的重视，因此对于政治与环境关系相对类似的台湾而言，发展车用资安防护技术以确保系统运行的安全性将 是一个近期需加速发展的议题。

图3：车载资通讯平台恶意攻击类型

图4：车载资安厂商解决方案类型统计图

A. 技术预期效益

目前发展中的新世代产品皆强调高智能与连网能力，但这些条件也等同于为恶意软件布建了执行环境与攻击缺口，如果被攻击的产品为一般智能家电，可能只 是导致电力耗损或是使用数据泄漏，但是当受攻击对象为自驾车辆时，将会引起严重的交通事故。另一方面，目前现行车载平台多为车用信息娱乐系统，无法进行 V2V （Vehicle-to-Vehicle）通讯，但未来将进入车联网V2X第三代技术，将进入包含V2V、V2P（Vehicle-to- Pedestrian）、V2I（Vehicle-to-Infrastructure）与V2R（Vehicle-to-Roadside） 等关键技术的时代，自驾车辆将在不久的将来完全进入物联网的范畴中，只要挂载的车载平台缺乏足够防御能量，在「万物联网，万物皆可骇」的概念下，一个指令 就可以胁持车辆的煞车与引擎[4]，自驾车将成为攻击者手中最具威胁性的筹码。

为解决此严重的安全隐忧，我们提出一资安强化车载执行平 台，透过轻量化布建，在不影响原先车载系统运行效能的前提下，针对未经纪录之可疑程序予以拒绝执行，避免恶意软件控制车辆。基于上述特点，所提出之资安强 化车载执行平台预期将可达到：（一）发展国内车载信息安全核心技术（二）连结自驾上下游厂商发展产业合作（三）抢先布局国内外车规等级资安专利技术。本技 术预期将大幅提升产业界在车载系统信息安全的技术层次与防护能量，发展符合ISO-26262、SAE-J3061与SAE-J2735等车规标准之车载 安全执行平台，避免自驾车辆上之重要信息被窃取甚至系统遭到渗透、入侵或瘫痪，并且将可配合产业界的实际需求，提供多载体的轻量化设计，在资安防护的同时 维持原先系统的运算效能。产业合作方面由于政府将资安产业纳入国防产业发展的一环，支持产业研发能量投入，且国内车辆相关厂商拥有车载硬件模块生产经验， 将从上游芯片平台导入并扩散至下游系统厂，合作布局车用等级软硬件技术市场，提供国内厂商未来更宽阔的发展空间。

B. 资安强化车载执行平台：基于白名单过滤之轻量化资安防护系统

此技术将开发一可运行于自驾车之资安防护系统，该系统为达到安全、高效能等特点将植基于两大主要技术的实现：（一）轻量虚拟化（二）应用程序白名 单，利用虚拟化技术来检查虚拟机内执行的程序是否在白名单当中，而一般认为在虚拟化环境下执行会有一定的效能负担，因此需要轻量虚拟化的帮助在轻量化虚拟 机部分，透过轻量化虚拟机层级之I／O效能提升，在使用虚拟化技术时也提供高效的硬件使用率，目前在ARM环境下已与国内数家厂商讨论合作，并在开发平台 上进行系统核心与虚拟机层级的实作研究。另外，于应用程序白名单的部分，如图5所示，主要透过内存为基础的白名单技术进行更严格的程序管控，每个内存 页面（memory page）要执行的时候都检查此页面是否在白名单当中，避免保护名单外的可疑程序在平台内执行，相关技术研究在国际上已有20余年的历史，但综观相关产 品，目前大多无法有效针对所有可执行程序类型进行有效阻挡，而且更需符合车规标准。

图5：应用程序白名单程序控管

C. 未来发展

具备资安防御能力之车载平台是实现自驾技术完全自动化（SAE Level-5）中最为关键的防御核心技术，所提出之车规资安技术在未来自驾车市场逐渐成熟后将可解决自驾车遭受机敏资料窃取、恶意软件入侵等攻击，也可 进一步协助处理车辆失窃等议题。目前全球科技大厂仍处于百家争鸣、各自研发的阶段，于此时投入发展将可与各家车厂站在相同的起跑点上，我国将有机会于未来 车载平台资安研究领域位于领先地位。而市场上现阶段对于平台的需求多以软件运算层面为主，目前车用软件与其运算平台尚处于开发初期，安全方面也相对较重视 车辆的行驶安全，对于软件验证与平台资安的防护尚未成熟，因此预期将针对车载平台其轻量化、程序验证、资安防护等算法与防御技术提出专利申请，在车规资 安防护部分尚未受到普遍重视前，着手研发及布局关键专利，未来并将积极与国内车载平台以及Tier-1/2车厂供应链厂商共同制定规格，将可于全球车载业 界中建置一完整的专利保护网。国内车厂技术质量达国际水平，皆通过欧美地区售服零组件等相关认证，并且拥有完整国际营销通路，但关键技术仍仰赖国外，若透 过车载平台专利布局掌握自驾车关键技术，将可协助国内车厂在未来居于发展自驾车辆的领先地位。

A. 传感器的重要性

传感器为发展自动驾驶技术领域中最为重要的回授单元，进年来随着ADAS系统普遍应用于高端车辆上，并且对于安全、舒适、方便与节能有所改善，使得 安装多个传感器已逐渐成为趋势，同时成为发展自动驾驶等级SAE Level 5的基础，透过这些先进的传感器与机器学习软件算法的处理，可以让车辆电控单元完整仿真甚至超越人类在驾驶车辆时所使用的各种感官能力 （perception），实现同步实时的全方位环周感测能力，并针对感测结果进行控制决策的判断，因此传感器的稳定性研究成为目前自动驾驶技术的关键任 务之一，其中在抗环境干扰能力与辨识精准度上为目前发展的两个重要指标。

B. 先进传感器之介绍

自动驾驶技术所使用的传感器分为本体感知（proprioceptive）与外部感知（exteroceptive）两大类，本体感知主要侦测与自 车有关之信息，常见的有轮速传感器（wheel encoder）、惯性传感器（inertial measurement unit, IMU）、定位传感器（Global Positioning System, GPS）；外部感知主要侦测与车外环境有关之信息，依据不同侦测范围需求而使用，用于收集车辆周围的信息，常见的有LiDAR、Radar、 Camera、Ultrasound，如图6所示，以下将针对外部感知分别介绍。       

图 6　各种传感器之应用定位

I. LiDAR（light detection and ranging）

是一种主动式光学传感器，透过雷射光 束撞击至待测点后反射回传感器之光束飞行时间，可计算获得与待测物之相对距离，并依照连续多个距离数据的多寡可换算为2D或3D之物理坐标，雷束光束常见 的有紫外光、可见光以及红外光，其中以波长600-1000nm最为普遍应用，目前市面上较常见的有2D与3D传感器产品，其中3D又依激光束的数量普 遍分为8、16、32、64 Beam，并同时进行环周360度高频扫描，为目前自动驾驶常使用的解决方案，如LeddarTech的固态LiDAR、Quanergy与 Velodyne的360度扫描Lidar、Bosch的部分空间扫描3D Lidar..等，这些产品目前在感测信息安全上还需完整的防骇验证，以避免遭到恶意性的伪造光学攻击。

II. Radar（radio detection and ranging）

是 一种主动式电磁波传感器，透过电磁波撞击至待测点后反射回传感器之电磁波飞行时间，可计算获得与待测物之相对距离，并视连续多个距离数据的多寡可换算为 2D或3D之物理坐标，优势在于穿透性与抗干扰力强，能在全天候使用，缺点则是检测分辨率低，常见的车用Radar工作频率在24GHz、77GH、 79GHz三种频率附近。

III. Camera

原理跟构造与人眼非常相似，是一种被动式光源传感器，主要由四种组件所组成：透 镜、光圈、滤镜、影像传感器，透镜控制焦距与视角，滤镜控制通过的光源种类，光圈控制光线进入的程度，影像传感器则负责最后的感光成像，依照不同等级之产 品，四种组件会有不同的控制能力，然而成本上也随响应时间而有所提升，其优点在于具有高分辨率，缺点则是受光影与环境影响大。

IV. Ultrasound

是一种主动式声波传感器，透过声波撞击至待测点后反射回传感器之声波飞行时间，可计算获得与待测物之相对距离，然而因音波扩散的物理特性导致取样点较大，分辨率较低，常应用于停车辅助系统的三角测量。

针对不同感测需求，如传感器与待测物的距离远近、相对移动关系，以及待测物种类的分类程度、移动速度、未来轨迹、语意分析（semantic analysis），加上感测时的环境，如雨滴、雾霾、尘埃，需善用不同传感器之优势来达到自动驾驶的基本需求，若需执行全盘考虑的侦测，也可进行多种感 测信息的融合（sensor fusion），达到各种传感器相辅相成之功效，四种传感器在各种侦测需求条件下的优劣比较如表2所示。

表2：各种传感器之优缺点比较

C. 传感器之应用案例

I. 自动驾驶车应用

基于各种传感器之优缺点考虑，现有常见的自驾车技术[6]会使用Camera与Lidar进行搭配，Camera的高分辨率在对象辨识上有很好的辨识度，而在天候环境不佳时则会使用Lidar来进行辅助，如图7所示。

图7：基于Camera与Lidar之fusion感测应用于自动驾驶技术

II. 路口流量侦测应用

一般常见的市区交通流量传感器使用Radar或是Camera，然而针对高密集度的量测案 例，如机车瀑布的数量侦测，因Rada之取样分辨率不足，以算法进行处理时，容易将密集度高的群体辨识为一体，而Camera虽然可以透过机器学习来达 到高准确度的分辨能力，但在恶劣环境下如雨天及光影变化，容易辨识错误，而近年来随着3D Lidar量测技术的成熟，精准度与抗环境干扰已逐渐提升，因此可创新结合路侧端设备，解决现有车流侦测产品无法辨识的问题，并传送辨识结果如交通流量资 讯给相关需求者。

自驾车的技术发展关键在于整合各类型传感器之优势，以达到高可靠度的智能机器全方位视觉。

图8：基于Lidar感测技术应用于车流侦测

行车环境感知技术可应用于先进驾驶辅助系统与自动驾驶车等应用，然而如 何适应于各种天候与道路型态，如大雨、大雪 、霾害、大雾、路面结冰、逆光、低照度、复杂阴影、人车混流、市区复杂场域与其它相关的移动对象，都考验着系统设计上的困难度。Google无人车行驶了 200万英里，遭遇了17起不同的事故，而特斯拉Model S在自动驾驶模式下撞上重型卡车，造成不幸损伤，再再显示行车环境感知技术尚有许多努力的地方，然而近年来异质传感器融合技术，是其中最被关注的解决方法 之一，藉由感测融合的结果，对象侦测辨识的感测空间范围、感测精确度以及感测速度都将会获得相对提升。

各种传感器皆有其优缺点，声纳可以提供足够的空间分辨率，但是方向性差，极易受到温度、湿度与风速影响，使得距离产生误差，而毫米波雷达虽然不易 受到气候影响，且适用于长距离对象侦测，可是对于对象辨识不易。光达传感器具备量测距离长且精准度达公厘等级的特性，但是天候差时，雷射光穿透力变差，进 而影响侦测辨识结果，而影像传感器虽然拥有高密度影像画素信息，提供最完整的路况信息，但是图像处理技术需完全仿真人类视觉，极易受到天候与光影等因素影 响影像质量，造成侦测辨识的误判。由此可知采用单一感测组件容易受到自身技术的限制以及外在环境干扰进而影响其侦测辨识能力，因而采用多传感器的复合式系 统架构，藉以提高系统正确率与可靠度，将成为未来的趋势。 

举例来说，目前各车厂之前方碰撞警示系统，如Toyota、Lexus、Ford、Skoda与Volkswagen等，皆已开始采用毫米波雷达 与影像传感器或者光达与影像传感器融合系统的解决方案，而Delphi RACam为全球第一个结合24GHz和77GHz毫米波雷达传感器并融合Mobileye影像感测技术的先进驾驶辅助系统，另外，Delphi与 Mobile 2019版的「Centralized Sensing Localization and Planning」系统，其感知模块亦会整合Eye Q4/5视觉处理芯片和Delphi的雷达、光达软件以及双方合作开发的融合软件，由此趋势分析，可预期未来将会整合更多异质传感器如V2X、IMU与 GPS等，强化自驾车应用所需之行车环境感知技术。 

异质传感器间相辅相成，异质传感器的感测区域不同，透过异质传感器的侦测辨识区域不重迭，如一个向前看的雷达与一个向后看的雷达，各自负责的区域 不同，可增加整体感测区域，此为互补式融合技术。另外，各种感测信息将有助于了解对象的识别以及对象的位置等完整面貌，于系统面还需考虑车辆周遭的路况、 当下天候条件、驾驶行为模式与车子动态特性等，藉由两种以上的传感器重迭辨识范围，善用各个传感器的特性，将可强化对象侦测辨识结果及对象侦测的完整性， 而竞争式融合技术即表示异质传感器的侦测辨识范围是相同的，透过两种以上的传感器增加整体系统侦测辨识的准确率与可靠度，或是异质传感器对于感测对象能够 提供相同或不同的物理量描述，如对象距离与类别等，可增加感测对象物理量描述的精确度与完整性。 

除互补式融合与竞争式融合技术外，合作式融合技术是目前研究发展重点之一，其代表异质传感器的侦测辨识范围重迭，且异质传感器对于感测对象能够提 供相同或不同的物理量描述，但是单一传感器若要完成侦测辨识的功能，除了靠自我能够提供信息外，尚须参考另一传感器所提供的信息才能达成，举例来说毫米波 雷达提供感兴趣区域予图像处理单元，使得图像处理可以动态设定判定树，提供更准确的侦测辨识，亦可透过感兴趣区域来减少待处理的像素量，进而提升侦测辨识 速度，除此之外，若在影像原始数据层级即进行深度融合，即早采用深度信息，提早移除不必要之噪声，将可以有效提升后续计算的精确度与速度。 

于安全法规严格要求的自动驾驶应用中，是需要车辆自动介入操控的，如自动煞车等，因此自驾车之行车环境感知技术需要适应于全天候与全路况，并且保 有高准确率与低误判率，提升系统整体可靠度是势在必行的，若想要克服使用单一种类传感器所造成的限制，如侦测的范围、对象重迭与各种行车条件下的精确度， 异质感测融合将比使用单一传感器系统更具有优势与竞争力。

A. 自动驾驶之挑战

参考国际深度学习架构界面（如：Tensor Flow、Caffe）设计影像辨识算法，并辅以影像深度信息，在不同天气情况及光影变化下进行道路对象辨识，期以透过深度学习技术进行各式道路对象影 像辨识，以提升辨识准确度及辨识速度。辨识模型需要实际道路数据库，以提升道路对象辨识研究开发成果水平。因此需要收集道路对象及事件训练数据库，包含晴 天、雨天、起雾及不同光影环境下之道路对象数据。提供影像感知技术开发及国内道路对象感知产业链厂商研发使用，期以促进国内影像感知次系统产业厂商研发能 量及产品质量升级。

B. 目前深度学习的发展

在此分项中将介绍自动驾驶车对象辨识所需之技术，包含深度学习、卷积类神经网络（Convolution Neural Network）及深度学习之对象辨识（Object Detection）三部分介绍。

I. 深度学习

深度学习为机器学习的其中一项分支，深度学习比传统类神经网络深度较深，需要仰赖大量数据训练类神经里每个参数。其基本的三个步骤如下：

定义一组适合的模型，包含类神经网络结构、权重以及激发函数（Activation Function）算法。

计算目前定义模型的结果，例如与训练目标比较其优略度（Goodness）程度。

调整网络参数与权重，直到找出最好的一组模型

最后将训练好的模型与网络参数用在实际推论的场域，即可得出深度学习后的成效。

以手写数字为例，整个过程在深度学习中是持续学习，也就是定义错误含式（Loss Function），透过逆向传导（Back-Propagation）调整网络参数，找出最小错误的一组结果，即为最终可作为推论用的深度学习模型。

• Input Layer:手写在256x256维度的数字，其中若有墨水，则x值为1；反之为0

• Hidden Layer:很多层次的类神经网络会根据有无墨水的数值，透过激发函数计算出一个数值

• Output Layer:根据前面计算的数值结果分出10个数字的辨识机率，最后取其最高者即是输出结果

图9 深度学习模型流程图.

II. 卷积类神经网络

卷积类神经网络（Convolution Neural Network,CNN）为深度学习在影像辨识的应用上，常利用卷积类神经网络作为深度学习的基本模型，而卷积类神经网络与一般全连接网络（FullyConnection）之差异，在于经过运算后之每个信息是否影响到下一层的每个位置，若是影响到部分区域，则为卷积类神经网络；若影响到下一层的每个位置，则为一般全连接网络，如下图所示。

图10：上方为卷积类神经网络网络；下方为全连接网络

全连接网络在图像处理上是将每一个输入都对应到后续的每一个神经元，所以每个神经元可参考到前一层的所有计算结果；卷积类神经网络表示会透过一些过滤器（Filter），如图中的3x3有色方形，过滤出一些只想要找到的特征，藉此算出一些特色图（featuremaps）如图中的4x4有色方形。

显而易见的是，透过卷积的过滤可大幅减少深度学习的运算量；而藉由全连接网络可得到全部的信息。这两种连接方式各有其特色，而通常文献当中也都会搭配使用，例如先透过卷积类神经网络撷取影像特征，最后几层再利用全连接网络进行整合与推论结果。
III. 深度学习之对象辨识

深度学习之对象辨识（ObjectDetection）主要可分为图像与影像两大派系，前者的技术看似已发展得很成熟，后者则是近一两年来的火热话题。目前图像基础的对象辨识方法，主要佼佼者有FasterR-CNN以及YOLO，YOLO在2016年的CVPR发表会上直接拿出效能比较图，如下

图11：对象辨识算法比较

由上图可看出YOLO很适合实时性的应用场景，但准确率仍有待提升，而这也正是目前面临的一个取舍，这张图比较的只是YOLO第一 代，YOLO第二代已经推出，宣称速度与准确率都提升了。YOLO具有快速实时性、高准确率，适合用在自动驾驶应用中之对象影像辨识，因此期盼自动驾驶物 件辨识透过YOLO为基底之对象辨识算法之精进。

C. 深度学习模型应用于自动驾驶可能之方法

对象之实时视讯分析引 擎，透过发展一深度神经网络模型，整合YOLOv2等深度学习影像辨识技术建立深度学习模型，开发之系统应于不同天气环境下侦测对象，且须透过场域实际验 证其正确性，能提供辨识结果予自动驾驶车之决策应用。为了提升系统效能及提升辨识率深度神经网络模型，将发展对象切割与对象追踪技术，对象切割技术为条件 导向及基础图像处理技术，能快速切割可能含有侦测物体之大范围影像，以增加效能。

I. T-CNN

T- CNN（Tubelets Convolution Neural Network）[7]为对象辨识中采取后处理（post-processing）的技术，如下图的T-CNN，其概念主要是在传统图像基础方法做完后， 在经过一些后处理的技巧进行优化。而T-CNN的优化技巧主要有二：其一是基于时间（Temporal）信息减少动态模糊影像（Motion Blur）的潜在问题；其二是基于情境信息（Contexture）传递已知的内容，减少误判的情况发生。

图12：T-CNN架构图

透过T-CNN的架构可将YOLO作为静态图像辨识（Still-imageDetection）区块之算法，对于实时性应用有较好的侦测速度，但其准确度仍有待提升。透过此T-CNN之架构概念能进一步改良YOLO机制，期盼能同时兼顾速度与准确度之算法架构。

一般来说，对象辨识主要可分为图像与影像两大派系，传统作法大多采用图像基础概念来达到对象侦测的目的，然而在影像基础之辨识上会面临到一些挑战，如下图所示。

图13：影像基础之辨识遭遇之问题

其一是因为不同时间轴上所侦测到的信心程度（Temporal Fluctuation）会有所不同，如图片上方代表不同时间影格（Time Frame）的信心程度高低指数。这种情况可能也会发生在模糊图像（Motion Blur）的时候，因为影像中的每张影格不见得都很清晰；其二是对象误判（False Positive）的情况，如图片下方代表前几张影格有侦测到一只乌龟，然后到后面几张影格则不认为那是乌龟，因此造成误判的情况。

因此，倘若能根据前后影格的信息，一定区间内的影像影格即可能提升对象侦测的信心程度，甚至节省不必要的重复运算，藉此提升侦测速度与辨识度。

II. YOLO

YOLO（You Look Only Once）[8, 9]为端到端（end to end）之影像辨识算法，将图片输入至模型中即可算出对象的位置及类别。YOLO拥有良好的指令周期及辨识率，透过深度学习之回归方法预测出影像中对象 之位置及目标类别，是目前学术界相当受人瞩目之模型。

图14 YOLO之辨识流程图

上图为YOLO针对图像辨识之流程图：

• 给模型一个图像当作输入，并将图像画分成7x7的网格（cell）。

• 对于每个网格，类神经系统会预测两个边框（Bounding box），每个边框包含目标的信心度及各种类别的机率。

• 根据预测出的7x7x2个边框，根据不同的阀值（Threshold）去除可能性较低的目标边框，最后以NMS （Non Maximum     Suppression）方法去除重复的边框。

YOLO之运算步骤相当容易，不需要产生中介之边框，即可完成辨识对象的位置及其类别。

图15 YOLO的模型网络架构图

上图为YOLO的模型网络架构图，前面网络架构与GoogLeNet的模型比较类似，主要是后面两层的结构不同，卷积层之后接了4096维的全连接层，再透过一个7x7x30维的张量。所区分之7x7的网格中预测两个不同的目标对象位置之信心度及类别，代表每个网格预测两个目标，每个目标的信息有四个讯息（对象之中心点坐标、对象之长度、对象之宽度），一个是目标的信心度，还有类别数目20类。总共为（4 +1） x 2 + 20 = 30维度的向量。这样可以利用前一层4096维的全图特征直接在每个网格上回归产生出目标之位置及其类别。
YOLO的错误函数（lossfunction）计算公式如下，主要分为三部分：目标坐标、有无对象、类别种类。               

图16 YOLO之错误函数公式

其中藉由λ给予不同的权重值，但如何给权重就是一个问题，目前可看出此错误函数希望多训练一些对象的精确位置；此外，第一版的非对象 设为0.5，主要是避免大多数的非对象影响整体的错误加总值；然而第二版却变为1，这使得对象与非对象相等；总的来说，从计算方式来看，若将类别拆分出去 计算，或许就会有另类的训练模型方式，甚至推论出更快的解法。

D. 未来深度类神经网络模型应用于自动驾驶

未来深度类神经网络模型，能透过T-CNN架构及YOLOv2影像辨识技术建立深度学习模型，初期能使用开放数据集训练模型以辨识基础对象。透过条件导向及基础图像处理技术建立对象切割技术，能快速切割可能含有侦测物体之大范围影像，以增加效能。于整体架构图中，进行多传感器结合深度信息协同实时视讯分析之车道线辨识以提升可行走区域、车道线之辨识率；提供自驾车路径规划所需可行走区域及车道维持驾 驶之必要信息；并协助立即寻址图资提升区域路段定位速度之提升，以产出如上之特定区域侦测项目，且于透过第一阶段、第二阶段与第三阶段之对象辨识，提供卷 积类神经网络必要之对象分群位置信息，透过此二技术整合进一步增强对象之实时视讯分析效率，期盼透过深度学习网络模型能让自动驾驶的对象辨识更为准确，且 拥有好的效能以利决策部分有充足的时间控制车辆。