LATTICE FPGA为汽车 ADAS 系统实现协处理和桥接解决方案
2019-06-28
为汽车 ADAS 系统实现协处理和桥接解决方案。汽车市场对视觉处理和互连解决方案的需求正在大幅增长。市场研究公司 ICInsights 的分析师预计，随着在新一代汽车设计中要求使用后置摄像头的新规定施行以及在汽车设计中引入摄像头以取代两侧后视镜、实现盲点检测和车道跟踪功能的发展趋势，CMOS 图像传感器将在 2015 年至 2020 年间随着汽车领域中全新应用的兴起将以 55％的复合年增长率实现增长。
在这个快速成长的市场中，汽车设计工程师所需的解决方案不仅要能够实现预处理和后处理功能，还要能够为高级驾驶辅助系统（ADAS）和信息娱乐应用构建优化的互连解决方案。随着汽车制造商开发的 ADAS 系统日趋复杂，设计工程师面临着两大挑战。第一个挑战是如何解决摄像头数量不断增长带来的接口问题？大多数现代处理器仅具备两个摄像头接口，而很多 ADAS 系统需要多达 8 个摄像头才能满足不断发展的自动驾驶技术要求。第二个挑战是设计工程师要如何基于来自上述摄像头的大量数据进行图像处理？
为了应对这些挑战，设计工程师需要一种能够提供协处理资源的解决方案，可将来自多个摄像头的多路视频流拼接在一起，或对来自多个摄像头的输入进行图像处理（如白平衡、鱼眼校正、除雾），然后将这些数据通过单个数据流传输到应用处理器。汽车设计工程师还需要能够灵活地操作仪表板、仪表盘以及后座信息娱乐系统的的多个显示屏，以及在传统接口和新的 MIPI 接口之间实现桥接。FPGA 可在汽车设计中扮演的另一个重要角色是构建传统接口与越来越流行的 MIPI摄像头和显示屏之间的低成本桥接解决方案。
莱迪思汽车级 ECP5 FPGA（AEC-Q100）可为这些应用提供用于加速图像处理流水线所需的并行处理能力，而大量的 I/O 则可用于连接到更大的摄像头阵列。能够反映这种趋势的一个实例就是现在越来越多的汽车都具备鸟瞰功能。一般来说，鸟瞰功能是指从汽车上方 20 英尺处向下看的实时视频图像。ADAS 系统通过将来自 4 个或更多摄像头的数据拼接在一起实现宽视野（FoV）来实现上述功能。
一直以来，设计工程师都是使用单个处理器来处理来自单个摄像头的图像数据。现在，设计工程师可以使用单个 ECP5 FPGA 替代多个处理器，聚合来自多个摄像头的数据，并进行图像拼接、鱼眼去除、白平衡、HDR 调整等操作以尽可能提高图像质量，然后将高质量图像发送到处理器进行下一个步骤。使用这种方法的设计工程师可以在获得更高性能的同时降低成本和功耗。
莱迪思客户如何构建上文中提到的解决方案。该鸟瞰系统从安装在汽车四周的摄像头（前方、后方和两侧）捕获视频图像。ECP5 FPGA 用于对视频数据继续进行处理和拼接以提供 360 度视野。在这种情况下，一片 FPGA 即可替代多个ARM 处理器。该系统最终呈现的是清晰的 1080p 60 fps 视频。除 ECP5 FPGA 之外，该方案仅使用了一个低端 ARM 处理器用于初始校准和视频编码/记录功能。
ECP5 FPGA 位于应用处理器或 SoC 与一个或多个汽车显示屏之间，用于预处理和后处理功能，并实现 DSI 或 FPD-Link 接口应用处理器与Open LDI、LVDS、FPD-Link 或 eDP 接口显示屏之间的桥接。FPGA 还可用于多种其他信息娱乐应用，包括分别将单个视频输出到双后座显示屏，对图像进行裁剪和格式化以获得特定的视频分辨率。
ECP5 的丰富处理资源也为实现各种传感器桥接、聚合和协处理解决方案奠定了基础。如图 9 所示，ECP5 FPGA 用于控制和聚合来自多种传感器数据的智能中心。
另一个桥接、聚合和协处理解决方案实例则使用莱迪思汽车级 FPGA 的 3.2 Gbps SERDES 功能聚合来自多个雷达或摄像头的数据，并通过 BroadR-Reach 或以太网等汽车内部网络传输。来自多个传感器的数据通过 LVDS 接口传输到ECP5 FPGA，然后 ECP5 FPGA 对数据进行聚合和打包，通过基于 SERDES 的 SGMII 接口传输到汽车内部网络。
在这个快速成长的市场中，汽车设计工程师所需的解决方案不仅要能够实现预处理和后处理功能，还要能够为高级驾驶辅助系统（ADAS）和信息娱乐应用构建优化的互连解决方案。随着汽车制造商开发的 ADAS 系统日趋复杂，设计工程师面临着两大挑战。第一个挑战是如何解决摄像头数量不断增长带来的接口问题？大多数现代处理器仅具备两个摄像头接口，而很多 ADAS 系统需要多达 8 个摄像头才能满足不断发展的自动驾驶技术要求。第二个挑战是设计工程师要如何基于来自上述摄像头的大量数据进行图像处理？
为了应对这些挑战，设计工程师需要一种能够提供协处理资源的解决方案，可将来自多个摄像头的多路视频流拼接在一起，或对来自多个摄像头的输入进行图像处理（如白平衡、鱼眼校正、除雾），然后将这些数据通过单个数据流传输到应用处理器。汽车设计工程师还需要能够灵活地操作仪表板、仪表盘以及后座信息娱乐系统的的多个显示屏，以及在传统接口和新的 MIPI 接口之间实现桥接。FPGA 可在汽车设计中扮演的另一个重要角色是构建传统接口与越来越流行的 MIPI摄像头和显示屏之间的低成本桥接解决方案。
莱迪思汽车级 ECP5 FPGA（AEC-Q100）可为这些应用提供用于加速图像处理流水线所需的并行处理能力，而大量的 I/O 则可用于连接到更大的摄像头阵列。能够反映这种趋势的一个实例就是现在越来越多的汽车都具备鸟瞰功能。一般来说，鸟瞰功能是指从汽车上方 20 英尺处向下看的实时视频图像。ADAS 系统通过将来自 4 个或更多摄像头的数据拼接在一起实现宽视野（FoV）来实现上述功能。
一直以来，设计工程师都是使用单个处理器来处理来自单个摄像头的图像数据。现在，设计工程师可以使用单个 ECP5 FPGA 替代多个处理器，聚合来自多个摄像头的数据，并进行图像拼接、鱼眼去除、白平衡、HDR 调整等操作以尽可能提高图像质量，然后将高质量图像发送到处理器进行下一个步骤。使用这种方法的设计工程师可以在获得更高性能的同时降低成本和功耗。
莱迪思客户如何构建上文中提到的解决方案。该鸟瞰系统从安装在汽车四周的摄像头（前方、后方和两侧）捕获视频图像。ECP5 FPGA 用于对视频数据继续进行处理和拼接以提供 360 度视野。在这种情况下，一片 FPGA 即可替代多个ARM 处理器。该系统最终呈现的是清晰的 1080p 60 fps 视频。除 ECP5 FPGA 之外，该方案仅使用了一个低端 ARM 处理器用于初始校准和视频编码/记录功能。
ECP5 FPGA 位于应用处理器或 SoC 与一个或多个汽车显示屏之间，用于预处理和后处理功能，并实现 DSI 或 FPD-Link 接口应用处理器与Open LDI、LVDS、FPD-Link 或 eDP 接口显示屏之间的桥接。FPGA 还可用于多种其他信息娱乐应用，包括分别将单个视频输出到双后座显示屏，对图像进行裁剪和格式化以获得特定的视频分辨率。
ECP5 的丰富处理资源也为实现各种传感器桥接、聚合和协处理解决方案奠定了基础。如图 9 所示，ECP5 FPGA 用于控制和聚合来自多种传感器数据的智能中心。
另一个桥接、聚合和协处理解决方案实例则使用莱迪思汽车级 FPGA 的 3.2 Gbps SERDES 功能聚合来自多个雷达或摄像头的数据，并通过 BroadR-Reach 或以太网等汽车内部网络传输。来自多个传感器的数据通过 LVDS 接口传输到ECP5 FPGA，然后 ECP5 FPGA 对数据进行聚合和打包，通过基于 SERDES 的 SGMII 接口传输到汽车内部网络。