2021年10月25日，特斯拉市值站上萬億美金，成為美股第五家市值破萬億的企業，幾乎超過美股全部主要車企市值的總和。特斯拉在資本市場的成功，刺激著投資者的神經，也促使市場再一次將視野聚焦在自動駕駛領域，進一步思考自動駕駛技術路線的發展方向。
從技術角度客觀分析和回答以下問題：自動駕駛等級提升需要解決什么關鍵問題？怎樣的自動駕駛方案更加具有實現大規模無人駕駛的可能性？自動駕駛作為現實世界的AI問題，難點在哪里？以上問題促使我們理性客觀地思考該如何去實現自動駕駛——這一承載了太多期望、不斷挑撥大眾神經的技術生產力變革，從而推動行業冷靜且務實地向前發展。
01
自動駕駛的眼睛：
基于高質量圖像成像的視覺雷達
隨著自動駕駛等級的不斷提高，控制權和責任主體逐漸從駕駛員轉換為車輛，智駕系統的定位也將由擴增人的感知能力到接管車輛自主駕駛。由此對智駕系統之于物理世界環境理解的要求完全不同，將由對物理世界部分信息的提取提升到事無巨細的全面感知與理解。而這種變化，首要就是對2D圖像成像與3D建模的越來越高的要求：1）更高分辨率和環境適應度的2D圖像成像；2）對物理世界準確且稠密的實時3D建模。
amera是自動駕駛感知物理世界最重要的傳感器，其分辨率的提升將極大的提升圖像的信息承載量，使得自動駕駛系統能夠感知更加細節和更遠距離的行車環境。當前主流自動駕駛前視攝像頭的分辨率已經到800萬像素以上，而更高的分辨率也是未來必然發生的事情。自動駕駛汽車面臨的是一個開放性的外部環境，除了分辨率的提升，還需要提升自動駕駛在各種行車路況下的圖像成像質量，比如不同的光線環境，傍晚、夜晚等，不同的氣候環境，雨雪霧天等。相對于傳統汽車應用的車載成像，自動駕駛對于車載成像質量的要求將極大提升，如何通過成像計算獲取更高質量的圖像就成為一個要解決的關鍵性問題。
自動駕駛汽車在三維物理世界中運行，必然要求對物理世界進行更加深刻的三維理解。當前的高級別輔助駕駛在道路上不斷出現各種各樣的事故，這些事故的發生很大程度上是由于沒有識別到未被樣本庫所覆蓋的異形、非標等物體，比如一輛拉著一棵樹的貨車等，而這些corner case是無法被窮盡的。對于行車環境的實時稠密3D建模不僅可以識別異形和非標等物體，還能判斷路面坑洼與起伏，這無疑將大大提升自動駕駛的安全級別。當前自動駕駛的3D環境感知，主要依賴激光雷達等主動投射測量裝置，但其在分辨率上遠低于Camera，也不具備顏色信息。隨著深度學習的發展，單目深度估計、雙目立體視覺、SFM、MVS等問題已經可以被深度神經網絡所建模，從而可以基于多目視覺通過AI的方法實時生成3D點云，其視覺點云天然與圖像對齊，并且其分辨率也能達到圖像分辨率的級別。因此，如何通過多目視覺實現高分辨率的實時稠密3D建模，即視覺雷達，是另外一個要解決的關鍵性問題。
視覺傳感器的信息承載量極高，目前遠未被充分挖掘，但無論2D圖像成像還是實時稠密3D建模都需要強有力的算法和算力進行支撐，這需要算法和算力進行協同設計。視覺傳感器+算力+算法的傳感器計算模式，將更加本質的推動解決自動駕駛當前面臨的關鍵問題，即從2D和3D層面對物理世界進行事無巨細的感知與理解。
鑒智機器人核心團隊擁有超過十年的圖像處理、AI算法和算力設計的行業經驗，將以視覺傳感器為核心，通過解決車載ISP、視覺雷達等視覺傳感器2D、3D成像的核心問題，打造更加強大的自動駕駛之眼，從而推動自動駕駛安全等級的提升。
1.1 從手機ISP到車載ISP
ISP（Image Signal Processor）是指通過一系列數字圖像處理算法完成對數字圖像的成像處理。在攝像機成像的整個環節中，ISP負責接收感光元件的原始信號數據，可以理解為整個攝像機圖像輸出的第一步處理流程。ISP在提高圖像質量、增強數據的一致性等方面有著極其關鍵的作用。
得益于智能手機的發展和手機攝像頭像素越來越高，手機ISP在過去幾年得到了快速的發展和進步，手機拍照和錄像的質量也越來越高，甚至到了驚艷的地步。比如在夜晚等場景，可以拍到比人眼看到的更清晰、光照更充足、色彩更豐富的照片；比如在進出隧道等光照變化劇烈的場景，也可以錄制出比人眼表現更穩定、更清晰的視頻。這些效果除了源于手機攝像頭硬件上的升級，專門的AI ISP處理算法和處理芯片也起到了至關重要的作用。
隨著自動駕駛對車載成像質量的階躍式提升需求，車載ISP，特別是針對駕駛場景優化的AI ISP處理算法和處理芯片，將迎來爆發式的發展。AI在車載ISP整個流程中將變得越來越重要，特別是在降噪、去模糊、HDR等問題上，可以在夜晚、陽光直射、進出隧道等暗光、強光、高動態場景得到遠超人眼的成像效果，同時最大程度上解決由Sensor引起的噪點、模糊等問題。將AI計算前置在ISP計算Pipeline中，通過流式計算，使得ISP的計算Pipeline不被打斷，也將大大提升AI ISP的性能功耗比。
鑒智機器人擁有全鏈路的芯片級ISP IP的設計能力，將解決ISP特別是AI ISP在車載場景的核心問題，讓車載攝像頭成像更清晰，從而進一步提高視覺雷達點云生成和圖像語義感知等后續任務的準確性。
1.2 從2D感知到視覺雷達
面對大規模自動駕駛，對3D點云的信息稠密程度、場景泛化性、性能可擴展性方面提出了更高的要求。基于視覺雷達，通過雙目或者多目立體視覺計算，產生實時稠密的3D點云是更優的方式。
雙目立體視覺是機器視覺的一種重要形式，與人眼類似，它是基于視差原理，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法，和基于TOF、結構光原理的深度相機不同，它不對外主動投射光源，完全依靠拍攝的兩張圖片（彩色RGB或者灰度圖）來計算深度。
傳統的雙目立體匹配算法針對弱紋理、反光等區域效果比較差，同時對于物體語義信息利用比較少，算法適用范圍具有局限性，點云效果上限比較明顯。隨著深度學習技術的發展，基于CNN、Cost Volume、Transformer的立體匹配算法展現出來了極強的算法效果和潛力。目前知名自動駕駛數據集KITTI上的立體匹配任務排名靠前的基本都是基于深度學習的算法。基于深度學習的雙目立體匹配算法對于計算芯片的AI算力提出了比較高的要求，對于研發模式也提出了新的要求，需要從傳統的雙目相機研發模式變成以AI為核心、軟硬結合、數據驅動的研發模式。
從雙目立體視覺更進一步，充分利用相機的運動信息和多個相機間的幾何約束，通過相機姿態估計、深度估計、光流估計、MVS等算法，以及任務之間互相監督的一系列自監督算法，可以得到360度的點云數據，也就是視覺雷達，從而形成與圖像分辨率相匹配的稠密點云。同時，以攝像頭+算力+算法為核心的視覺雷達，還具有產業鏈成熟可控、成本可控、器件穩定性有保證、滿足車規等優勢，更容易實現大規模前裝量產上車使用。
02
純視覺與激光雷達之爭
根據集微咨詢預計到2030年，L3級別以上自動駕駛滲透率有望達到30%以上。隨著自動駕駛級別的提升，必然對汽車的感知、決策、執行相關的技術進行變革，其中感知側的變革尤為明顯。
2025年全球車用CIS市場規模預計達到32.7億美元，年復合增長率達14%；激光雷達的銷售額將達到61.9億美元，年復合增長率達36%，無論是車載攝像頭還是激光雷達其增速都非常快。自從馬斯克跑轟激光雷達走純視覺方案后，業內對于這兩種方案的探討從未停止，其歸根結底在于該不該增用激光雷達作為在自動駕駛感知層面的一種手段。
英博超算創始人、總經理 田鋒表示，純視覺路線主要挑戰在于攝像頭分辨率與算法提升，而激光雷達在于可靠性、成本及可嵌入性。激光雷達的加入對控制系統的可靠性提供了更多的信息，例如車輛在行進過程中的抖動對視覺測距跟蹤尤其是遠距離會產生一些跳變，這些影響需要后期通過算法糾正，而激光雷達完全不存在這個問題。總體而言，視覺是未來自動駕駛感知技術的一條主線，會不斷增強，但激光雷達的使用短期來看收益明顯，長期來看取決于各個廠商對其的認知，或是消費者對于激光雷達的隱蔽性喜好程度如何。
北醒光子CEO 李遠表示，無論是激光雷達也好毫米波雷達也罷，或是走純視覺攝像頭路徑，其本質是挑戰人類視覺極限。如今，產業所追求的視覺技術是逐步趨近于人眼，但這樣一種2D的傳感器本身就有邊界。激光雷達的加入就是在彌補這樣一種缺陷，它能夠超出生物傳感的特點包括直接探測反射率，可以全天候運行同時還能保證1%的精度等。如果以長遠的目光去看待現階段感知技術的發展，未來必會接觸到激光雷達所帶來的意義。當前激光雷達存在供應鏈不成熟及成本高等問題需要時間進行沉淀，如同汽車替代馬車時的汽車那樣，總有這么一個過程。
包括IEEE的專家在內，對于視覺路徑成為自動駕駛技術的一條主線是基本的判斷，誠如上文所說的那樣，2D傳感器有其天然的缺陷，而對于汽車這種對安全性和可靠性要求嚴苛的終端而言，能夠讓視覺技術支撐起自動駕駛的落地，必然是對其背后的軟件算法提出了更高的要求。在此情況下，純視覺的技術路徑會對軟硬件提出怎樣的要求？它的落地難度與挑戰又是如何？
福田汽車智能控制副總工程師 錢國平指出，從技術角度看，現階段的純視覺方案不太可能成功。一方面，攝像頭需要解決“雨霧污”（雨天、大霧天、污垢）的問題。惡劣的環境會使攝像頭拍到的圖像變形，會導致測速測距的精度下降。另一方面，目前自動駕駛積累的數據不足以覆蓋所有場景，所有路況，無法解決不斷出現的新情況。攝像頭的分辨率不斷提升，對算力的要求也在不斷提升，市場上可供選擇的大算力芯片廠商寥寥無幾。除了算力芯片外，負責圖像處理的ISP等其他芯片性能需求也在不斷上漲。短期內，視覺、毫米波雷達、激光雷達融合的方案能夠各自發揮其優勢，提高可靠性。
田鋒表示，純視覺路線并不靠譜。以人類駕駛員為例，其開車過程中并不僅依靠視覺信息，交規、前后車喇叭、路況信息積累等都是保障汽車平穩運行的信息來源。如果要讓純視覺技術成為可能，這背后也必須有V2X、高精度地圖等技術的加持。如果在成本可接受的情況下，要盡可能綜合使用這些傳感器來為自動駕駛技術落地帶來正向的促進作用，反之，也可利用傳感器性能差異來滿足不同級別自動駕駛技術路線，打造差異化。
03
自動駕駛的大腦：
全流程數據驅動的強單車智能
自動駕駛的大腦負責從感知到決策的駕駛全流程，也是自動駕駛最復雜、最核心和難度最高的部分。傳統的以規則為核心的軟件1.0工程化系統，在可維護性、擴展性和進化性上都具有一定的局限性。以AI和軟件2.0為核心，全流程數據驅動的感知、預測、規控算法和強單車智能的解決方案，無疑是實現大規模無人駕駛更可行的方案。
鑒智機器人核心團隊在AI算法和應用、軟件2.0的基礎設施、數據驅動的大規模實踐上擁有豐富的經驗，將通過全流程數據驅動的自動駕駛大腦，建立強單車智能，從而降低對外部基礎設施的依賴，更加利于自動駕駛的復制與推廣。
2.1 深度學習帶來的2D感知技術突破
感知是自動駕駛獲取信息的第一步, 所謂感知是指通過攝像頭或其他傳感器識別所看到的物體并理解該物體是什么，這對自動駕駛是至關重要的環節。自動駕駛車輛首先是要識別車道線，然后還要識別紅綠燈、標志牌，除此之外就是識別障礙物比如前后左右有沒有車輛，有沒有行人，才能夠進一步規劃行駛路線。
過去十年是人工智能技術的黃金十年，深度學習改變了計算機視覺整個領域，也帶來了2D感知各個方向技術的突破。2D感知主要有圖像分類、圖像（物體）識別、細粒度識別（人臉識別）等方向，所采用的技術也從最早的模板匹配、線性分類到現在所廣泛使用的深層卷積神經網絡，再到最近刷新各大視覺任務榜單的Transformer。隨著硬件計算能力的不斷提升、算法范式的不斷改進、可利用數據資源的不斷增長，基于攝像頭的2D感知已經成為了乘用車智能駕駛的主流方案，同時也成為了很多解決方案的核心差異點。
鑒智機器人核心團隊在國內最早基于深度學習在2D視覺感知各個方向開展系統性研究和大規模落地應用，在眾多全球最具影響力的2D感知AI比賽和評測中獲得冠軍，發表頂級會議和期刊論文幾十余篇，在多個業務領域實現了人工智能2D感知技術的大規模應用落地。
2.2 從2D感知到4D感知
如果說2D感知還是在平面上檢測、識別、分割物體，那么加入深度信息后，基礎的2D感知即轉化為3D感知。如果進一步在3D的基礎上加入時間這一維度，進化得到的則是4D感知。在自動駕駛領域，4D感知可以完整且連續的探測車輛周圍的物體。
基于深度學習和三維視覺技術不斷發展，隨著Cost Volume、Optical Flow、differentiable Homography、Transformer等技術的成熟，以及多傳感器融合、眾包重建、稠密重建、自動標注等方向不斷發展，可以高效率的提供高質量、大規模的4D場景數據，端到端的4D感知正在成為技術趨勢。相比于傳統的2D感知+后融合的方案，端到端的4D感知擁有很多優勢，可以解決測距抖動較大、多攝像頭拼接不準確、時序結果不穩定、迭代效率較低等一系列問題。
更進一步，基于端到端的4D感知，可以進行更好的4D預測，一方面可對于交通參與者進行更優的運動軌跡預測，從而實現性能更加優異的規劃控制；另一方面可對于道路行駛區域預測更加精細的3D結構化信息，在線生成局部實時3D地圖，降低對高精地圖等基礎設施的依賴。
04
單車智能和車路協同
單車智能和車路協同的本質是技術和成本在車側和路側的分配。
雖然L4-L5級的自動駕駛最理想模式是實現“車端-路端-云端”的高度協同，智能的車配合聰明的路，車端智能和路側智能協同呼應，但車端智能和路端智能的發展不完全是同步的關系，自動駕駛路線的選擇面臨感知能力、決策能力（算力）等不同能力在車側和路側分配的問題，所對應的自動駕駛成本也不同。由于單車智能的成本高昂，若用路側設備代替部分技術，讓路“變聰明”，可降低不少車載成本，這樣一來，就衍生出了自動駕駛的兩大方向：單車智能和車路協同。
以車載傳感器為例，激光雷達價格昂貴，尤其是用于遠距離、大范圍探測的L4/L5級別自動駕駛主雷達。例如Velodyne銷售的64線激光雷達售價高達7.5萬美元，曾是Waymo和百度等自動駕駛公司測試車的標配3，后來Waymo開始自研激光雷達，并于2017年宣布將激光雷達成本降低90%，達到7,500美元，2019年3月Waymo開始對外出售自主研發的激光雷達Honeycomb4，以攤薄成本。我國國產的激光雷達因高性價比日益受到市場的認可，價格有所下探但仍比較昂貴，例如禾賽科技在2020 CES上發布的64線超廣角激光雷達PandarQT零售價為4,999美元5。
如果在路側安裝攝像頭、毫米波雷達和激光雷達等感知設備，例如路燈桿進化為多合一路燈桿，安裝各類傳感器，探測周圍環境的三維坐標，進行信息融合，由于安裝高度高，擁有“上帝視野”，不容易被遮擋，視距條件更好，可最大化減少盲區，提高數據獲取的準確性，并實時發送到ITS中心（智能交通系統）以及車端，那么車側的部分激光雷達成本可以被節省下來，從而大幅降低車載成本。
同理，在路側安裝計算設備，通過邊緣計算單元為車輛提供決策依據甚至指令，與車載計算平臺協同處理數據，可以降低車載計算平臺對算力的要求，對功耗和散熱性能的要求也會隨之下降，從而降低自動駕駛汽車對高性能車載芯片的依賴。
可見，路側安裝設備的方案擁有更低的單車成本和邊際成本，路側智能是車側智能的有益補充。例如，奇瑞雄獅已實現固定區域的30Km/h以下的L4級“一鍵召還車”功能，如果只依靠車側智能，車載傳感器成本高達10萬元/車，而借助5G和V2X技術，室內外的定位精度偏差小于15厘米，單車成本低于萬元。這僅是車路協同在停車場等低速限定場景的應用，大規模L4級的量產還需要覆蓋更多場景，例如半封閉的高速公路和一級公路，以及路況更為復雜的城市開放道路。在5G基站和V2X設備尚未鋪設的路段，單車智能仍是重要的自動駕駛實現方式。
車路協同的前提是公路的智能化改造和基礎設施投資。目前交通部已重點在北京、河北、廣東三省進行公路的智能化改造試點，根據天風證券和中銀國際證券的測算，高速公路的單公里智能化改造成本是100萬左右，包含了RSU (RoadSideUnit)、邊緣計算、攝像頭等設備，考慮到中國的高速公路里程14.96萬公里，一級公路11.17萬公里，高速公路和一級公路的智能化改造市場規模約為2,613億元。而對于二級公路和更低等級的公路，由于其路況更為復雜，更多機動車與非機動車和行人的混行情況，場景更為開放，需在十字路口、匝道口、事故易發路段等關鍵場景鋪設更多路側設備，不同路況的單公里智能化改造投資差異較大，難以進行估算。
對于高速公路和一級公路的智能化改造，更多通行車次、更為繁忙的路段可更早實現盈虧平衡，考慮到中國的人口和經濟活動主要集中在東部地區，且東部地區地勢相對平坦，急彎和陡坡較少，路況更簡單，在東部鋪設路側設備具有更高的經濟效益，尤其是物流密集的點對點固定運輸路線，貨運的空駛率更低，無人運輸車隊的優勢明顯，車隊管理者付費意愿更強。自動駕駛不僅可節省司機成本，還可降低油耗，以卡車的編隊行駛為例，由于跟車距離縮短（車距10m），前車可以為后車“擋風”，減少空氣阻力，降低10-15%的燃油消耗10。假設貨車百公里油耗35升，6元/升，編隊行駛可節省10%油耗，則單公里可節省油耗0.21元，另外，假設一輛貨車每年運營里程17.5萬公里，司機年收入7.8萬11，則單公里司機成本約0.45元，匯總后每公里可為車隊節省0.66元，如果車路協同收取服務費0.4元/公里，考慮到初始投資100萬/公里的改造費用，則使用車路協同服務的單公里通行車次達到250萬輛車時，可實現盈虧平衡。如果10%的通行車輛使用車路協同服務，則總通行車次達到2,500萬輛時盈虧平衡，也就意味著部分繁忙路段最短可在1年內收回成本。
車側智能和路側智能的分配和發展受到諸多因素的影響，例如政府對公路智能化改造的支持力度、不同區域的路況、交通參與者特征、地圖與定位的精度、高性能激光雷達的價格變化、車隊用戶和個人消費者付費意愿與轉換成本等因素。這些因素共同決定了不同方案初始投資的高低、投資回報期的長短，以及投資的經濟性，從而影響了技術和成本在車側和路側的分配方案與演進路線。
05
未來自動駕駛技術的發展
毋庸置疑，增加傳感器種類可以提高對環境感知的精確度及信息豐富度，但目前激光雷達等存在成本過高，供應鏈不成熟等問題，這也或許成為了廠商對自動駕駛技術發展路徑再三斟酌的原由，但多傳感器融合的路徑是目前主要采取的方案，而未來自動駕駛的發展又如何？
李遠表示，美國與日本占據全球無人駕駛視覺相關專利70%以上，而中國僅占7%左右，由此可看出在視覺技術上與全球領先國家能有十倍的差距。而激光雷達在中國發展的速度很快，放眼全球差距比視覺技術要小很多。
發展激光雷達對于中國而言，就如同大力發展電動汽車一樣，都在尋找下一代技術來彎道超車。激光雷達比起攝像頭成本高、工藝復雜、良率低并且都是些新公司，不如攝像頭供應鏈成熟，但從沒有人否認過激光雷達本身具有的優勢，它絕對是高階無人駕駛技術必備的傳感器。短期內，行業還是會以多傳感器融合為基礎，同時也會推進成本控制，良率提升等問題，作為新一代傳感器，激光雷達的上升空間相當廣闊。
錢國平表示，無論是攝像頭還是激光雷達，甚至毫米波雷達都在不斷的發展，也有各自相對應的挑戰與痛點。一個自動駕駛解決方案也必然不可能僅靠感知層面，背后也有單車智能化、V2X的邊緣計算等去協同感知側的發展。只要能達到自動駕駛的目的，任何解決方案都是最優、最有效的，也就成為了未來的趨勢。
最后
自動駕駛被認為是目前最重要的硬科技創新之一。在汽車行業百年未有之大變革的歷史性時刻，中國由于在電動汽車領域的提前布局、全面開花，以及完整產業鏈的巨大優勢，國內企業在自動駕駛方向擁有非常好的機會和產業優勢，有機會通過電動化和智能化實現百年汽車工業這一最重要的支柱產業的超車和領先。但自動駕駛的發展速度仍然低于大眾和市場的預期，這里存在若干影響自動駕駛等級提升的關鍵性問題亟待解決，鑒智機器人基于自身在AI算法、AI算力層面的積累，致力于解決自動駕駛成像計算和下一代自動駕駛方案的關鍵性問題，從而推動自動駕駛的創新發展。
