LATTICE FPGA為汽車 ADAS 系統實現協處理和橋接解決方案
2019-06-28
為汽車 ADAS 系統實現協處理和橋接解決方案。汽車市場對視覺處理和互連解決方案的需求正在大幅增長。市場研究公司 ICInsights 的分析師預計，隨著在新一代汽車設計中要求使用後置攝像頭的新規定施行以及在汽車設計中引入攝像頭以取代兩側後視鏡、實現盲點檢測和車道跟蹤功能的發展趨勢，CMOS 圖像傳感器將在 2015 年至 2020 年間隨著汽車領域中全新應用的興起將以 55％的複合年增長率實現增長。
在這個快速成長的市場中，汽車設計工程師所需的解決方案不僅要能夠實現預處理和後處理功能，還要能夠為高級駕駛輔助系統（ADAS）和信息娛樂應用構建優化的互連解決方案。隨著汽車製造商開發的 ADAS 系統日趨複雜，設計工程師面臨著兩大挑戰。第一個挑戰是如何解決攝像頭數量不斷增長帶來的接口問題？大多數現代處理器僅具備兩個攝像頭接口，而很多 ADAS 系統需要多達 8 個攝像頭才能滿足不斷發展的自動駕駛技術要求。第二個挑戰是設計工程師要如何基於來自上述攝像頭的大量數據進行圖像處理？
為了應對這些挑戰，設計工程師需要一種能夠提供協處理資源的解決方案，可將來自多個攝像頭的多路視頻流拼接在一起，或對來自多個攝像頭的輸入進行圖像處理（如白平衡、魚眼校正、除霧），然後將這些數據通過單個數據流傳輸到應用處理器。汽車設計工程師還需要能夠靈活地操作儀錶板、儀錶盤以及后座信息娛樂系統的的多個顯示屏，以及在傳統接口和新的 MIPI 接口之間實現橋接。FPGA 可在汽車設計中扮演的另一個重要角色是構建傳統接口與越來越流行的 MIPI攝像頭和顯示屏之間的低成本橋接解決方案。
萊迪思汽車級 ECP5 FPGA（AEC-Q100）可為這些應用提供用於加速圖像處理流水線所需的並行處理能力，而大量的 I/O 則可用於連接到更大的攝像頭陣列。能夠反映這種趨勢的一個實例就是現在越來越多的汽車都具備鳥瞰功能。一般來說，鳥瞰功能是指從汽車上方 20 英尺處向下看的實時視頻圖像。ADAS 系統通過將來自 4 個或更多攝像頭的數據拼接在一起實現寬視野（FoV）來實現上述功能。
一直以來，設計工程師都是使用單個處理器來處理來自單個攝像頭的圖像數據。現在，設計工程師可以使用單個 ECP5 FPGA 替代多個處理器，聚合來自多個攝像頭的數據，並進行圖像拼接、魚眼去除、白平衡、HDR 調整等操作以儘可能提高圖像質量，然後將高質量圖像發送到處理器進行下一個步驟。使用這種方法的設計工程師可以在獲得更高性能的同時降低成本和功耗。
萊迪思客戶如何構建上文中提到的解決方案。該鳥瞰系統從安裝在汽車四周的攝像頭（前方、後方和兩側）捕獲視頻圖像。ECP5 FPGA 用於對視頻數據繼續進行處理和拼接以提供 360 度視野。在這種情況下，一片 FPGA 即可替代多個ARM 處理器。該系統最終呈現的是清晰的 1080p 60 fps 視頻。除 ECP5 FPGA 之外，該方案僅使用了一個低端 ARM 處理器用於初始校準和視頻編碼/記錄功能。
ECP5 FPGA 位於應用處理器或 SoC 與一個或多個汽車顯示屏之間，用於預處理和後處理功能，並實現 DSI 或 FPD-Link 接口應用處理器與Open LDI、LVDS、FPD-Link 或 eDP 接口顯示屏之間的橋接。FPGA 還可用於多種其他信息娛樂應用，包括分別將單個視頻輸出到雙后座顯示屏，對圖像進行裁剪和格式化以獲得特定的視頻解析度。
ECP5 的豐富處理資源也為實現各種傳感器橋接、聚合和協處理解決方案奠定了基礎。如圖 9 所示，ECP5 FPGA 用於控制和聚合來自多種傳感器數據的智能中心。
另一個橋接、聚合和協處理解決方案實例則使用萊迪思汽車級 FPGA 的 3.2 Gbps SERDES 功能聚合來自多個雷達或攝像頭的數據，並通過 BroadR-Reach 或以太網等汽車內部網絡傳輸。來自多個傳感器的數據通過 LVDS 接口傳輸到ECP5 FPGA，然後 ECP5 FPGA 對數據進行聚合和打包，通過基於 SERDES 的 SGMII 接口傳輸到汽車內部網絡。
在這個快速成長的市場中，汽車設計工程師所需的解決方案不僅要能夠實現預處理和後處理功能，還要能夠為高級駕駛輔助系統（ADAS）和信息娛樂應用構建優化的互連解決方案。隨著汽車製造商開發的 ADAS 系統日趨複雜，設計工程師面臨著兩大挑戰。第一個挑戰是如何解決攝像頭數量不斷增長帶來的接口問題？大多數現代處理器僅具備兩個攝像頭接口，而很多 ADAS 系統需要多達 8 個攝像頭才能滿足不斷發展的自動駕駛技術要求。第二個挑戰是設計工程師要如何基於來自上述攝像頭的大量數據進行圖像處理？
為了應對這些挑戰，設計工程師需要一種能夠提供協處理資源的解決方案，可將來自多個攝像頭的多路視頻流拼接在一起，或對來自多個攝像頭的輸入進行圖像處理（如白平衡、魚眼校正、除霧），然後將這些數據通過單個數據流傳輸到應用處理器。汽車設計工程師還需要能夠靈活地操作儀錶板、儀錶盤以及后座信息娛樂系統的的多個顯示屏，以及在傳統接口和新的 MIPI 接口之間實現橋接。FPGA 可在汽車設計中扮演的另一個重要角色是構建傳統接口與越來越流行的 MIPI攝像頭和顯示屏之間的低成本橋接解決方案。
萊迪思汽車級 ECP5 FPGA（AEC-Q100）可為這些應用提供用於加速圖像處理流水線所需的並行處理能力，而大量的 I/O 則可用於連接到更大的攝像頭陣列。能夠反映這種趨勢的一個實例就是現在越來越多的汽車都具備鳥瞰功能。一般來說，鳥瞰功能是指從汽車上方 20 英尺處向下看的實時視頻圖像。ADAS 系統通過將來自 4 個或更多攝像頭的數據拼接在一起實現寬視野（FoV）來實現上述功能。
一直以來，設計工程師都是使用單個處理器來處理來自單個攝像頭的圖像數據。現在，設計工程師可以使用單個 ECP5 FPGA 替代多個處理器，聚合來自多個攝像頭的數據，並進行圖像拼接、魚眼去除、白平衡、HDR 調整等操作以儘可能提高圖像質量，然後將高質量圖像發送到處理器進行下一個步驟。使用這種方法的設計工程師可以在獲得更高性能的同時降低成本和功耗。
萊迪思客戶如何構建上文中提到的解決方案。該鳥瞰系統從安裝在汽車四周的攝像頭（前方、後方和兩側）捕獲視頻圖像。ECP5 FPGA 用於對視頻數據繼續進行處理和拼接以提供 360 度視野。在這種情況下，一片 FPGA 即可替代多個ARM 處理器。該系統最終呈現的是清晰的 1080p 60 fps 視頻。除 ECP5 FPGA 之外，該方案僅使用了一個低端 ARM 處理器用於初始校準和視頻編碼/記錄功能。
ECP5 FPGA 位於應用處理器或 SoC 與一個或多個汽車顯示屏之間，用於預處理和後處理功能，並實現 DSI 或 FPD-Link 接口應用處理器與Open LDI、LVDS、FPD-Link 或 eDP 接口顯示屏之間的橋接。FPGA 還可用於多種其他信息娛樂應用，包括分別將單個視頻輸出到雙后座顯示屏，對圖像進行裁剪和格式化以獲得特定的視頻解析度。
ECP5 的豐富處理資源也為實現各種傳感器橋接、聚合和協處理解決方案奠定了基礎。如圖 9 所示，ECP5 FPGA 用於控制和聚合來自多種傳感器數據的智能中心。
另一個橋接、聚合和協處理解決方案實例則使用萊迪思汽車級 FPGA 的 3.2 Gbps SERDES 功能聚合來自多個雷達或攝像頭的數據，並通過 BroadR-Reach 或以太網等汽車內部網絡傳輸。來自多個傳感器的數據通過 LVDS 接口傳輸到ECP5 FPGA，然後 ECP5 FPGA 對數據進行聚合和打包，通過基於 SERDES 的 SGMII 接口傳輸到汽車內部網絡。