一文了解自動駕駛的視覺密碼

“ 這是一場隱秘的戰事?！?br/>
1999年，以色列希伯來大學計算機系教授Amnon Shashua決定開始創業，項目聽起來很直接：用一顆攝像頭來完成車輛周邊的障礙物檢測。從工作原理來看，這項技術可以簡單理解成為汽車裝上眼睛，因此Shashua將其稱為“EyeQ”。

誰也沒想到，20年之后的現在，Shashua和他的Mobileye將“EyeQ”一詞成功由醫學領域泛化至汽車領域。人們發現，這個原本用于衡量人眼+大腦視知覺能力、形象記憶能力以及閱讀能力的名詞，幾乎可以與攝像頭+計算芯片疊加而來的視覺感知能力無縫鏈接。

有Mobileye在前方開路，視覺感知作為自動駕駛的底層技術能力，近年來也被推到了史無前例的高度，部分豪華車產品的整車攝像頭數量已經達到甚至超過8顆。

而無論是車載攝像頭硬件本身，還是與硬件匹配的算法算力，發展規模均呈現出幾何級增長態勢。HIS數據顯示，作為手機產品之外的第二大應用場景，車載攝像頭全球出貨量預計會在2020年突破8000萬顆，相比2016年的4000萬顆再翻一倍。與此同時，車載攝像頭的搭載形態也正向多元化轉變，在主流的單目攝像頭之外，雙目量產數量增加，特斯拉Model 3也首次實現了三目落地。與之對應的，視覺芯片的圖像數據計算能力也正以每年十幾甚至幾十倍的速度快速迭代。

在當下主流的多傳感器融合路線中，視覺感知技術本身玩法固然稱不上激進顛覆，卻始終被認為是自動駕駛落地整體方案的基石。

某種層面上，只有理解了視覺，才能更好地認知自動駕駛。

一文了解自動駕駛的視覺密碼

1、初登舞臺

如今看來極其主流的視覺系ADAS方案，最初受到了極大的挑戰。

挑戰之一，來源于視覺傳感器本身。

想要進入車載市場，首先需要跨過的就是車規級的超高門檻。與大眾熟悉的手機、相機鏡頭不同，ADAS傳感器鏡頭格外強調產品在各類嚴酷環境下的穩定性，擁有持續穩定的聚焦特性和熱補償特性，日本車廠甚至要求其零公里故障率為0 PPM（PPM即“百萬分之”）。

除了穩定性之外，OEM對于攝像頭的尺寸也有要求。為了盡可能將尺寸減小，圖像傳感芯片就要在保證更高集成度的同時降低尺寸限制。

鏡頭硬件廠商同樣面臨著車規級的挑戰。在建立符合車規和標準的生產線、并通過TS16949的質量體系等認證之后，他們必須要依照車規級圖像傳感器來匹配ADAS系統。在功能性安全方面，產品還要符合汽車安全完整性等級(ASIL)和ISO 26262，兼顧網絡安全的圖像傳感器。

由于ADAS鏡頭對鏡片等性能要求更高，一些視覺類能用塑料鏡片解決的問題，到ADAS鏡頭中卻會面臨由溫度等因素影響造成的變異，但玻璃鏡片的高昂成本卻又無法被大眾市場接受。

除了車規級的挑戰外，攝像頭本身的高通光性、成像效果的清晰度、對于雜光強光的抗干擾性，均是硬性指標，考驗著各大供應商的技術能力。

挑戰之二，則在于多傳感器的匹配。

在業內普遍的認知中，ADAS系統必須通過幾項配置協調作用，利用安裝在車上各式各樣的傳感器，讓汽車在行駛過程中隨時感應周圍的環境，收集數據，進行靜態、動態物體的辨識、偵測與追蹤，并結合導航儀地圖數據，進行系統的運算與分析，從而預先讓駕駛者察覺到可能發生的危險，有效增加汽車駕駛的舒適性和安全性。

因此，為了實現上述一系列功能，傳統方案利用各種傳感器予以支持，包括視覺傳感器、雷達、紅外傳感器等等。在這當中，不同分辨率的攝像頭常常被車廠用來解決細分產品線的各種問題，也需要和其他傳感器進行有機融合。

一文了解自動駕駛的視覺密碼

攝像頭的學名即是“視覺傳感器”，作為一個相對廣義的概念，其中包括內視攝像頭、后視攝像頭、前視攝像頭、側視攝像頭、環視攝像頭等等。

從功能分工來看，內視攝像頭主要應用于駕駛員監測系統，后視攝像頭用于倒車影像，環視攝像頭則用以實現“360°全景顯示”功能。其中，前視攝像頭作為ADAS （Advanced Driver Assistance Systems，意為高級駕駛輔助系統）的核心，用于感知車道線、障礙物、交通標志牌和地面標志、可通行空間、交通信號燈等要素，并衍生出整車FCW（前方碰撞預警系統）、LDW（車道偏離預警）以及AEB（自動緊急制動）等功能。

從結構上看，攝像頭主要由鏡頭和后方傳感器組成。單就鏡頭而言，有定制需求的客戶需要提供傳感器芯片以匹配鏡頭解像力（圖像清晰度）水平，以及傳感器所需的視場角度，來決定最終裝載位置。

而在特定功能安全標準統一的前提下，部分車企需要通過附加的高分辨率攝像機來提供更加先進安全的選裝功能。這就意味著在更高級別的智能駕駛部分，汽車制造商和一級供應商必須要面臨較長的設計周期以及較高的工程成本。

真正的轉折點出現在2014年。

那一年春天，歐盟開始實施新車碰撞測試（EURO-NCAP）新規。自此，ADAS被業界公認為能夠提高汽車行駛安全的技術，并將逐漸成為智能汽車的標配，而攝像頭作為成本最低、技術最為成熟的感知硬件，無疑成為了車企爭相搭載的香餑餑。

這一方案的原理簡單來說，就是通過拍一張或多張連續圖片序列的方式，向汽車計算機下達任務指令，包括識別車輛、追蹤物體、場景分割等等。在未來V2X技術逐步成熟之后，視覺傳感器通過與行人、自行車等其他交通參與者溝通，充分理解當前場景，可以同時避免系統誤判的情況。

這種給車輛“插眼”的思路，高度模仿了“人類基于視覺可見創建世界”的原理，因此攝像頭產生的視覺圖像天然包含了豐富的語義，也就情理之中地扛起了為無人車提供各種環境信息感知的任務。

更重要的是，這種攝像頭基于CMOS技術運作，具備三點突出優勢：低功耗、小尺寸、低成本。Mobileye埋頭苦干8年的故事證明，這樣一套名為“平臺化圖像傳感器系列的產品”，能夠在車載攝像頭本居不高的價格基礎上一再壓低成本，進而加速自動駕駛技術的普及。 換句話說，即通過單一攝像機芯片將多個路況探測應用進行捆綁，可以把無人駕駛的技術成本由數十萬美元直接縮減到幾百塊美金，同時也能節省傳感器的占用空間。

2、路徑爭奪

從頭到尾梳理清楚自動駕駛車輛視覺感知的工作原理之后可以發現，在相同技術水平下，攝像頭的成本遠遠低于激光雷達，更何況其可見范圍也超過激光雷達及毫米波雷達。作為被動傳感器，攝像頭也可以避免雷達光波相互干擾的問題，并且同一個攝像頭能通過調整算法融合多種不同功能。

視覺感知的優勢如此顯著，使得該領域呈現異軍突起的局勢。

這項技術有多熱，Mobileye被圍攻的就有多慘烈。這位孵化于以色列的視覺系ADAS巨頭，一方面借著東風在近幾年幾乎包攬了各大主流車企的相關訂單，同時也遭受著來自整條產業鏈上下游的全方位壓迫。

從Mobileye的商業模式來說，該公司是將定制化的視覺解決方案裝進了基于ASIC架構的EyeQ系列芯片產品中，這本身就動了芯片廠商的蛋糕。最典型的就是人工智能大牛企業英偉達，雙方甚至直接在2019 CES現場對飚起來。后者從相對通用的GPU架構入手，頗具針對性地推出了DRIVE PX，向車企開放整套技術體系，包括芯片、驅動、軟件開發包、應用工具等。

與此同時，博世、日本電裝、德州儀器、飛思卡爾等傳統供應商們也動了凡心。有意思的是，目前飛思卡爾已被NXP收購，而近期坊間又瘋狂傳言稱高通意圖收購NXP。按照這個趨勢，高通也將大概率成為Mobileye的競爭對手。更值得注意的是，車企意識到自動駕駛技術的重要性，開始自主研發相關技術，其中就包括視覺感知。

爭奪蛋糕的過程中，核心技術成為各家比拼的關鍵。

Mobileye的拳頭產品便是單目視覺傳感方案。所謂單目，即車輛只裝配一顆前置攝像頭，將識別目標物與背后的數據庫進行匹配，再進行障礙物判斷與距離估算。得益于Mobileye“吃土”研發換來的先發優勢，單目攝像頭的算法成熟度目前相對更高。

這種攝像機模組由一個攝像機和一個鏡頭組成，也就意味著其測距的范圍和距離完全取決于鏡頭，焦距越短視野越廣，覆蓋范圍局限性較大。據悉，目前ADAS系統所要求的視距范圍是40米-120米，未來將會達到200米及以上。Mobileye的產品在EyeQ5一代才剛剛趕上。此外，對于單目攝像頭而言，物體越遠測距精度還會降低。

關于單目攝像頭方案的技術爭論，集中體現在特斯拉與Mobileye經歷的一場嚴重自動駕駛事故上。

2016年5月7日，一位特斯拉Model S車主駕車自西向東行駛，同時一輛白色貨車從另一邊拐下高速公路。二者相遇的時候，特斯拉汽車正處于自動駕駛狀態，系統對于橫向行駛的貨車并沒有做出任何反饋，車輛甚至從貨車下面直接穿過去后仍繼續行駛，連續撞擊后無法運行才最終停下。對此業內人士均認為，事故很大一部分原因歸結為車輛圖像識別系統未能把貨車的白色車廂與背后的藍天白云區分開來。

從傳感器裝配角度來看，這輛特斯拉汽車的主傳感器選擇了Mobileye的視覺感知處理器，對前車尾部兩個車燈和后車輪進行識別，選取明顯特征點對車輛進行檢測。也就是說，當前方車輛橫向行駛時，Mobileye當時的芯片確實無法成功檢測。單目視覺檢測方案對于ADAS或者低階自動駕駛而言完全夠用，只是更加復雜的無人駕駛對場景語義分割要求較高，需要對每個像素進行類別判斷，比如地面、建筑、天空，對不同車輛、物體有不同顏色的分類，來幫助行駛車輛理解場景和路徑規劃。

那次嚴重事故之后，特斯拉全然看清了眼前的局面：Mobileye單目攝像頭的路線雖然當下占據行業領先優勢，但總有一天將無法支撐其實現完全自動駕駛的目標。身為特斯拉掌門人，馬斯克決定自己研發視覺感知方案。

一文了解自動駕駛的視覺密碼

于是我們看到，三年之后，這家毫無歷史包袱的新創車企選擇采用三目攝像頭路線，并在特斯拉Model 3車型上首次搭載。

作為全球首個采用三目視覺感知的車型，特斯拉將三目攝像頭具體分為前視窄視野攝像頭（最遠感知250米）、前視主視野攝像頭（最遠感知150米）及前視寬視野攝像頭（最遠感知60米，探測寬度達120度的魚眼鏡頭），在視野和距離間進行了很好的平衡。在主要分工方面，寬視野攝像頭負責近處測距，包括交通燈、道路障礙等近距離目標，主視野攝像頭負責中距離的測距，窄視野攝像頭則主管更遠距離的測距。

根據各自焦距不同，每臺傳感器感知的范圍也由遠及近進行區分。三個攝像頭聽起來各司其職，似乎克服了單目及雙目在視野局限性、測距精度、安裝位置等方面的硬傷，甚至進而能夠對車輛前方200米的道路環境進行精準測量。綜合來看，三目可以說是當下最受歡迎的攝像頭組合形式。其最大程度上模擬了人類雙眼快速變焦、同時覆蓋長短距范圍的特性。

然而，核心問題是，攝像頭數量越多，其精度誤差率也就越大。這大大提升了軟件和工程部門的工作難度。

一方面，三目攝像頭擺脫了單目對龐大數據庫的依賴，不需要對其進行更新和維護。另一方面，三目采取實時計算視差估測距離的方式，需要同時運算包括機動車、非機動車、摩托/自行車、行人、動物、道路標識、道路本身、交通燈、車道線等超過90%的環境信息。

三路數據的同步傳輸要求傳感器具備更強的圖像識別、融合算法及算力。除此之外，如果不同攝像頭對同一個場景采集到的數據不同，系統后臺算法卻并沒有一定的運算邏輯去進行審核，計算結果進入“黑匣子”，輸出駕駛決策的準確性最終將無法預估。

特斯拉的勇敢在于，其身前并沒有前輩把三目攝像頭這條路蹚平。對于三目攝像頭整個安裝工程而言，前擋風玻璃的空間捉襟見肘，還要考慮鏡頭間由氣溫變化引起的測距誤差。車規級制造工藝、成本、可靠性、精確性……量產車應用的問題撲面而來。

3、平衡方案

Mobileye和特斯拉兩個年輕人“撕”得風生水起，老牌巨頭卻在旁邊為自己的“先見之明”偷笑。

從技術的局限性來看，雙目攝像頭有可能成為單目和三目之間，更接近平衡的路線選擇。

早在2016年，奔馳在S級車型中試驗了雙目攝像頭。在智能配置方面，該產品共使用6個毫米波雷達，分別為：58和59左右前保險杠短距雷達，前向雙模毫米波雷達66，60和61左右后保險杠短距雷達，62后向中遠距毫米波雷達。

有意思的是，S級產品早期前向毫米波雷達使用的是博世LRR3，后更換為德國大陸汽車的ARS310。據報道，全新一代奔馳S級的毫米波雷達有可能將全部使用大陸的產品。不談大陸在毫米波雷達領域的龍頭地位，奔馳對于該硬件供應商的選擇也就意味著其攝像頭系統將大概率選擇同一家廠商的產品。

一文了解自動駕駛的視覺密碼

后來的戴姆勒完全沒有辜負我們的期待，實力驗證了這一猜想。在2017年奔馳銷量最廣的E級車標配雙目之后，這家傳統車廠果不其然在大部分車型中裝配了大陸的雙目攝像頭，一少部分則通過韓國LG代工。

同樣青睞大陸的還有同一隊列中的寶馬。2015年，寶馬在全新的CLAR后驅平臺上發布代號為G11/G12的第六代7系車型，配置了大陸ARS4-A 77GHz毫米波雷達、超聲波探頭以及大陸的前視雙目攝像頭來支持整套ADAS系統。

后來，作為寶馬在華銷售主力軍的3系和5系，同步貫徹了以攝像頭為主的戰略。在2017年4月上海車展上亮相的全新一代5系，搭載了與7系相同的前視雙目攝像頭系統。

有別于友商，寶馬在ADAS系統配置的選擇上卻好像沒那么堅定。寶馬3系與5系在面臨換代改款的壓力下，最終采取了降價保量的銷售策略。為此，車輛的智能化配置需要做出讓步，完成中期改款的2016款3系標配了單目攝像頭。

隨后，寶馬在中國投產并發售了一款非典型的全新UKL前驅平臺，主打經濟低價，產品主要為寶馬X1與寶馬2系旅行車。該平臺產品明顯舍棄了相當一部分智能配置，其中半自動泊車輔助系統采用10超聲波探頭替換掉12雷達，X1配備前視單目攝像頭來完成FCW、LDW、PD、TSR等輔助駕駛功能。

縱使為了讓渡部分成本，車廠降低了ADAS系統的配置等級，但諸如奔馳寶馬等一線廠商始終愿意將雙目攝像頭留給自家的拳頭產品。一定程度上，雙目攝像頭甚至稱得上是奔馳S級和寶馬7系的ADAS系統強大的根本原因。

一文了解自動駕駛的視覺密碼

當然，從核心技術層看，雙目攝像頭也是憑實力博得巨頭們垂青的。

針對單目攝像頭存在的缺陷，人們仿照人類雙眼視差的三角測距原理又發明出了雙目攝像頭。兩個攝像頭同時拍攝物體，通過成像平面的像素偏移量、相機焦距和器材的實際距離進行障礙物識別。在這種模式下，傳感器能夠采集到精度較高的數據結果，并得到圖像的深度幾何信息，有助于進行圖像分割及障礙物分類，也就從理論上避免了特斯拉慘劇。

可是，要想同時伺候好兩個鏡頭并不容易。雙目攝像頭與人眼高度近似，鏡頭單體均會產生一定誤差?，F階段實際應用的單目攝像頭誤差能夠控制在3%以內，而雙目要想與這一使用標準持平，后期調校算法的成本就會大幅增加。

另外，兩個鏡頭的布置方式也有講究，要求保持在10-20cm之間。其安裝位置和距離甚至會因熱脹冷縮問題產生微小的偏差，進而影響雙目測距的準確性。專業人士直言，使用雙目攝像頭的場景相對有限，基本做不到主動巡航等功能。

雙目攝像頭的限制因素顯而易見，在成本、制造工藝、精準度等因素的高標準嚴要求下，似乎很難在市場上推廣。

這恰恰戳中了豪華品牌的興奮點。相比雙目能夠取得的優秀效果，他們好像不太在意其中的成本差距。

路虎甚至直接把雷達從前視傳感器中去掉，完全依靠雙目攝像頭實現ADAS功能。憑借這種激進的魄力，該公司也在NCAP中拿到了滿分，獲得了當年英國最佳安全車型獎。

至于雙目系統的硬件，路虎選擇由博世供應。此外，博世的雙目系統還應用于捷豹的XFL及XE上。這家一級供應商公司包攬了毫米波雷達、單目和雙目攝像頭、超聲波傳感器、環視系統的全套生產工作，同時也在積極向車廠提供最新一代傳感器。

總體而言，市面上活躍的雙目系統廠商僅有大陸、博世、韓國LG、日本日立和日本電裝這幾家，聲量相對較弱。他們進入這一細分市場的節奏，恰恰是鉆了Mobileye供應鏈的空子。

憑借單一視覺解決方案入圍的Mobileye方案并不完整，無法直接賣給相對封閉的OEM，最多扮演Tier 2的角色，其系統裝機需要經過集成商的“倒手”。這時，大量Tier 1動了心思：既然本身就有能力開發自動駕駛解決方案，為什么不連視覺感知一起承包，而要采購外部方案呢？

一文了解自動駕駛的視覺密碼

事實上，早在1999年斯巴魯就有過相同的想法，并且已在量產車中實現落地。

這家日本車廠也是最早將雙目攝像頭應用在汽車領域的玩家。從1999年推出第一代產品開始，至2013年，斯巴魯將其更新至第三代“EyeSight駕駛輔助系統”，由CCD圖像傳感器改變為彩色CMOS圖像傳感器，通過立體攝像頭進行單體控制，構建防碰撞制動系統（PCB）。

相比第二代產品，其最遠探測距離從第二代的70米提高到100米，水平視角由25度擴展到35度，攝像頭及處理IC等硬件由日立提供。直到2013年，其立體化攝像頭實現遠距，廣角攝像頭化以及彩色成像識別的能力之后，成功于第二年拿到世界第一ADAS系統的成績。

這套20歲的系統基本可以說是目前公認最好的雙目系統，卻于2016年才正式進入中國市場，應用于全新傲虎與力獅上。具體而言，斯巴魯EyeSight駕駛輔助系統將立體攝像頭與3D圖像處理器、發動機與變速箱、VDC及制動系統進行協作。攝像頭主要負責采集信息，3D圖像處理器則用以對數據進行實時分析后發出決策信號，對車輛的油門與制動進行主動干預。

EyeSight的實力印證了斯巴魯技術宅的身份。如今其決定高調一把，將EyeSight裝載在務實的中配車型中。相比其他廠商選擇頂配車型以提升品牌形象，這位不茍言笑的日本車企反而更注用戶對其技術成果的認知度。

4、未來戰場

技術競合時代，商業模式為王。

大家心里都無比清楚，當下視覺感知技術發展的主要趨勢，便是將AI算法和AI芯片直接植入攝像頭硬件前端，用以研發具有目標檢測、分割與識別能力，甚至同時具有參數估計和行為意圖預測功能的人工智能攝像頭，來獲得更加安全和更精準的感知性能，同時減少傳統攝像頭對傳輸帶寬和傳輸可靠性的要求。

遵循這一要義，國內技術公司一部分轉為智能網聯或自動駕駛綜合解決方案供應商（Tier 1），通過收購兼并等手段擴充產線，另一部分則選擇從出行服務下手，聚焦自主泊車等單點服務，希望將技術方案打造成一條服務生態。

最多的還是延續自己的老本行。從某項核心技術產品突破，包括與英特爾一脈相承的嵌入式人工智能公司地平線，或是直接與Mobileye對標，通過計算機視覺等技術完成一套可量產的自動駕駛解決方案。

在自動駕駛新秀與產業鏈上下游的圍追堵截之下，Mobileye同樣也在謀劃自己的拓寬路徑，將視覺感知獲取的數據用于定位。作為自動駕駛供應商，該公司計劃以攝像頭數據為基礎，通過具備深度學習能力的圖像識別體系，構建能夠優化自動駕駛決策的高精度地圖。

換句話說，就是讓攝像頭無限熟悉車輛行駛路徑，把無人車變成一位老司機。即便車道被遮擋，ADAS系統也可以根據這張“習慣地圖”操控車輛正常行駛。

與通過路測車隊不斷跑里程攢數據的方式相比，這種“輕地圖”的模式顯然更加務實。其更大的優勢在于，傳感器只要按照標準的接口協議提供數據即可，而高精地圖圖商未來大概率還要面臨接口協議的問題。

回到國內市場，不少初創企業同樣看到了這一契機。以國內自動駕駛廠商Maxieye智駕科技為例，其芯片產品IFVS-400支持矢量化高精地圖創建，其中包括車道線地圖、交通標志地圖、停止線地圖、斑馬線地圖等。為強化這部分業務，Maxieye還在嘉興設立了一家子公司作為數據工廠，為其提供數據支撐。整體數據分為兩部分：一部分用于深度學習訓練，另一部分則為道路數據。

區別于在云端進行大數據匯總的地圖廠商，視覺感知企業更多強調的是對通過攝像頭采集的地圖數據在終端生成技術的質量和精度，以保證高精地圖的實時更新。對于客戶而言，他們的地圖數據可以說是智能駕駛產品的附加價值。這樣一個地圖計算引擎，成本是其最大的優勢。

如今各大車企不再滿足于L3級之前的輔助駕駛，咆哮著展現自己無人駕駛的肌肉，迫不及待地駕駛著自家L4-L5級自動駕駛汽車“上路”。本就錯過移動浪潮的英特爾自然不會再由著Mobileye的性子，開始逐步放開自家技術體系，甚至考慮采用激光雷達作為安全冗余。

一文了解自動駕駛的視覺密碼

英特爾的邏輯其實十分具有代表性。

雖然視覺傳感器的發展已經一路將其推上“感知能力最強元器件”的高度，但在大多數業內人士看來，擁有足夠冗余的多傳感器融合才是實現自動駕駛落地的終極方案。

幾家典型企業的布局也力證了這一趨勢?！皵z像頭鼻祖”Mobileye通過與英特爾體系的整合，于2018年調整了自家的視覺感知方案，在感知環節增強了冗余設計，并為激光雷達與毫米波雷達留了接口。就連叫囂著“視覺為王”的特斯拉，也在Autopilot 8.0系統的更新中開始妥協，削弱了圖像信息的權重，此前的主攝像頭和圖像處理系統轉而向雷達探測傾斜，原先作為輔助傳感器的雷達成功上位，變為主控制傳感器，用來識別深度信息、進行語義分割等等。多重算法跑通后，才能形成一個合理可靠的決策。

同樣來自硅谷的技術大牛Waymo則更加激進，當意識到視覺系統獲取的數據相對粗糙之后，他們決定親手打造一套自動駕駛方案，要有攝像頭，也要有激光雷達，后者價格昂貴，但能夠獲取更精確的駕駛數據來和其它傳感器抗衡。激光雷達老兵Velodyne去年表示，在擴大產能后，產品價格有望降至50美元以下。屆時，激光雷達探測周圍環境的精度優勢無疑就能更好的發揮出來，對當下的視覺感知系統無疑將形成一股強勁的沖擊波。

總體而言，縱使攝像頭表現再優秀，也無法取代其他傳感器的工作。其本身對于光線要求高、只能獲得2D平面數據、數據處理延遲、地面異形識別障礙、工作易受外部條件干擾等等缺陷，均需要毫米波雷達、激光雷達等硬件補足。

自動駕駛終局或折或遠，視覺感知技術也僅僅是破局的頭一道密碼。