课程概要

无人驾驶可以减少交通事故，改善交通环境，帮助老人和其他弱势群体。无人驾驶汽车的主要构成单元包括感知系统、定位系统、任务和路径规划系统、控制和执行系统。过去的几年里，企业和学术界在无人驾驶上取得了很大的进步。其中感知系统，特别是图像感知系统是最重要的，因为其不仅是最复杂的部分，也是改进安全性和成本的关键。

在本次课程中，您将有机会深入学习无人驾驶汽车的图像系统，并亲身参与图像系统的设计和测试。具体的项目包括车道线检测、交通标识识别、车辆检测和跟踪。课程覆盖了基础理论、技术和实践。课程共分为三个部分，第一天主要介绍相机和他的特性，第二天介绍图像特征的跟踪、光流、目标分类和识别。第三天介绍传感器融合、分割、行人检测、车辆检测和跟踪。

培训目标

区分不同类型的相机，标定技术，以及基本的图像处理技术；

完成主要的图像处理任务，包括特征检测，识别以及目标识别和跟踪；

熟悉和使用openCV来完成特定的任务；

学习和使用各种传感器融合、目标识别和跟踪算法；

评估文献中的各种计算机视觉技术；

完成多个计算机视觉项目。

培训讲师

国际顶级自动驾驶专家 博士,教授

本次培训讲师邀请的是美国密歇根州肯特大学的计算机教授，他是物联网、工业互联网、安全关键系统和工业计算机网络领域的专家，特别在与实时协议，安全关键协议，可靠的汽车嵌入式分布式系统以及分布式工业和嵌入式系统方面有很深的造诣。他是工业通讯和实时可靠系统领域公认的国际专家，并撰写了三本有关网络、多媒体系统和安全关键系统的书籍。

他曾参与西门子、罗克韦尔，施耐德电气，ABB和GE Fanuc等公司的产品制造和过程控制的项目。他的成就包括完成了与西门子共同开发的Profibus应用层软件，以及基于CAN网络安全关键架构的FlexCAN开发。

在过去几年里，他一直参与无人驾驶和自动驾驶车辆的各种项目，包括设计、仿真、测试、功能安全开发和在线培训等。他的最近一个项目是将2012年款电动福特福克斯车辆改造成无人驾驶车辆。此外他还是多个自动驾驶汽车领域创业公司的创办者。

第一天

摄像头系统特性和环境感知任务

1. 课程介绍

2. 摄像头在无人驾驶汽车中的角色

3. 相机的类型和标定技术

4. 图像的表示、采样和量化

5. 各种颜色系统(RGB, YCrCb,    HLS, HSV, etc)

6. 像素和滤波方法基础

7. 感知任务介绍:

   7.1 车道线识别

   7.2 交通标志识别

   7.3 目标和行人检测

8. 车道线识别算法

   8.1 Canny   边缘检测算法

   8.2 Hough变换

   8.3 车道线中心线识别

9. 计算机视觉数据集: KITTI, ImageNet, others

10.开发工具和语言:OpenCV, C++, Python, Matlab

   10.1   Python 图像处理函数库: skimage

   10.2   Python 机械学习函数库: sklearn

11. 课堂练习 1:

   使用Canny边缘检测算法检测典型的车道线

   要求:

    ► 将图像转换到不同的颜色空间

    ► 区分黄色和白色车道线

    ► 转换到灰度

    ► 使用Gaussian Blur等过去噪点

12. 课堂练习 2:

   使用Hough变换检测典型路面上的车道线

   要求：学员须定义Hough变换的如下参数:

    ► 精度参数ρ和θ

    ► 检测到线的最小阈值

    ► 最小的线长度

    ► 最大线间距

13. 实例操作:

    ► 配置一个检测车道线的视觉系统.

    ► 检测车道线的中心线.

第二天

计算机视觉处理和任务

 1. 特征生成：边缘检测方法、目标区域

 2. 交通信号分类和识别

 3. 交通信号识别的阶段

    3.1 分割：颜色空间、阈值、分类器

    3.2 特征选择：基于颜色、基于形状

    3.3 检测：Hough变换，径向对称、SVM

    3.4 评估： 精度, 回调

4. 交通标志识别和检测方法

    4.1 使用颜色空间检测红色图案

    4.2 使用合适特征检测停车标识

    4.3 计算停车标识的距离

5. 特征跟踪和光流

6. OpenCV: 功能，案例

7. 神经网络深度学习 (DL)

8. Convolutional Neural Networks (CNN)

    8.1 卷基层

    8.2 采样

    8.3 完全链接的多层感知

9. 深度学习框架

   9.1   Tensorflow,Keras,Caffe

10. 使用LeNet 和 Tensorflow识别交通标志

11. 课堂练习 1:

    使用合适的颜色空间在场景中定位停车标识及其边缘

12. 课堂练习 2:

    使用合适的特征验证停车标识的检测结果

    计算交通标识的距离

13. 实例操作:

    ► 假设白色停车线和停车标识对齐

    ► 计算车辆到停车线的距离

    注: 这在停车标识超出相机的FOV的时候很有用

第三天

传感器融合、目标检测和跟踪

1. 车辆检测和跟踪框架

   1.1 车载传感器

   1.2 车辆检测

   1.3 车辆跟踪

   1.4 车辆行为

2. 车辆检测

   2.1 基于外观：颜色、对称性、边缘、HOG特征，SVM，AdaBoost等.

   2.2 基于运动：光流

3. 车辆跟踪

   3.1 测量不确定性

   3.2 数据关联

   3.3 数据融合(图像和激光，图像和毫米波)

4. 车辆行为：背景、运动、轨迹、行为分类

5. 场景理解

   5.1 语义分割

   5.2 场景分类

6. 行人检测

7. 车辆检测和跟踪方法

   7.1 HOG 特征提取

   7.2 训练线性SVM分类器

   7.3 使用滑动窗口搜索和检测车辆

   7.4 估算车辆的框线

   7.5 在视频视频流中跟踪车辆

8. 案例和展示

9. 课堂练习 1:

   在打标签的图像上提取HOG特征，训练线性SVM分类器来检测车辆

10.课堂练习 2:

   ► 使用滑动窗口搜索和检测车辆

   ► 估算车辆的框线

11. 实例操作:

   配置一个跟踪车辆的视觉系统