基于FPGA+DSP的智能车全景视觉系统

基于FPGA+DSP的智能车全景视觉系统

基于FPGA+DSP的智能车全景视觉系统

基于单相机的全景视觉系统是利用凸面镜反射四周图像进行定位，在计算资源有限时
是一种较好的选择，且视觉导航等方向的应用也成为一种最实用的方法[1-
2]，这种方案虽然视野开阔，但获取的信息有限，真实的系统中很难应用。随着芯片计
算能力的不断提高，基于多通道的全景视觉系统已逐渐成为可能。本文介绍的智能车多
通道全景视觉是指以观测点为中心，多个相机可同时观测车辆的前中、前左、前右、后
左、后右和顶上6个方向的景物。该系统中的6台数字相机中5台分布在车辆的侧面，1台
在顶部，可以得到车辆周围全景360°的图像。该系统每个相机的分辨率为百万像素，即
1 280×1 024，帧率为30 f/s，即便图像为8 bit单色，系统的总数据率也高达200
MB/s以上。同时，6个相机图像需要预处理，投影到同一坐标系，或者拼接成单幅完整图
像才能满足智能车导航系统的要求，这些涉及到大量复杂计算。针对这些要求，该系统
的硬件处理部分利用了DSP和FPGA芯片各自的特长，选用高速DSP+FPGA[3-
6]的方案,而DSP方案也是海量图像处理中普遍应用的[7]。高性能通用C6416
DSP芯片，配合FPGA进行高度并行数据处理，可实现高速实时的视觉图像处理。这种方案
的优点在于，不仅可以利用DSP的高速处理能力，同时利用FPGA的控制能力和在高度并行
化数据处理方面的优势，相比其他方案更容易满足全景视觉系统所需要的高度实时处理
。

1 系统总体方案设计

为适合高速图像采集，本系统选用CMOS传感器，CMOS的一个优点是数据读取速度快。系
统由高速CMOS相机、基于CamLink技术的图像读取、FPGA+DSP的图像处理三部分构成，如
图1所示。从图1可以看出，该系统有两片FPGA，图像读取模块中的FPGA1负责从CMOS相机
抓图和