全球微頭條丨BEV 為什么真香，會(huì)如何改變智駕行業(yè)？

文 | HiEV 大蒜粒車研所，講述 | 郭繼舜，編輯 | HiEV

BEV 全稱是 Bird"s Eye View（鳥(niǎo)瞰視角），實(shí)現(xiàn)方法是把原本攝像頭 2D 的視角通過(guò)算法校正和改變，形成基于上帝視角的俯視圖。

從本質(zhì)上來(lái)說(shuō)，BEV 算法就是 將傳感器輸入轉(zhuǎn)換到統(tǒng)一的俯視角度下進(jìn)行處理。

(資料圖)

這里的傳感器不只有攝像頭，還有 4D 毫米波雷達(dá)、激光雷達(dá)等，算法把它們的信號(hào)融合，最終形成一個(gè)上帝視角。在計(jì)算機(jī)里面處理這部分信息時(shí)，也會(huì)基于上帝視角去進(jìn)行規(guī)劃決策和控制。

01 BEV 為什么興起？

首先是城市 NOA 的落地。

高速場(chǎng)景下 L2++ 場(chǎng)景相對(duì)單一，感知任務(wù)不重，但控制方面很難，因?yàn)楦咚俟芬话闼俣仍?80-120 公里 / 小時(shí)，所以在高速場(chǎng)景下，如何把規(guī)劃決策和控制做好，保證它不會(huì)在邊界狀態(tài)下失穩(wěn)就顯得尤為重要。

但是在城市道路上，它的 難點(diǎn)就在于感知，因?yàn)橛蟹浅６嗟慕煌▍⑴c者或者非常復(fù)雜的路況。

目前主要的城市 NOA 玩家：

原來(lái)做 L4 的科技公司：從 Robotaxi 上遷移感知，調(diào)整傳感器；

傳統(tǒng) Tier1 或者 OEM：把感知做好，處理好復(fù)雜場(chǎng)景。

在實(shí)現(xiàn) L2++ 功能時(shí)，大多希望 360 度范圍內(nèi)能夠做到精確感知，需要做到傳感器融合，難度加大，復(fù)雜度增強(qiáng)，因此 BEV 愈發(fā)重要。

安信證券報(bào)告顯示，蔚小理等車廠通過(guò) OTA 升級(jí)釋放城市 NGP 或者 NOA 功能的時(shí)間節(jié)點(diǎn)都在 2022 年到 2023 年之間。

所以這就是為什么國(guó)內(nèi)高速 NOA 對(duì) BEV 的使用并不多，但隨著 2021 年特斯拉提出 BEV 算法，以及與 transformer 結(jié)合后，國(guó)內(nèi)也開(kāi)始在城市道路上去使用 BEV 算法解決復(fù)雜和不確定的城市道路場(chǎng)景。

02 BEV 做特征級(jí)前融合的優(yōu)勢(shì)

現(xiàn)階段量產(chǎn)里廣泛使用的后融合：

不同傳感器各自算各的，把感知和分類的結(jié)果做投票，這個(gè)投票是根據(jù)場(chǎng)景的不同計(jì)算權(quán)重的；

算法由不同供應(yīng)商提供，不需要域上的大算力，但每個(gè)傳感器都可能丟失重要信息，比如高速公路上的破碎輪胎；

在行泊一體之前，大多數(shù)的行車、泊車是兩套完全不同的傳感器。

但是不同的后融合方案存在各種缺點(diǎn)，因此大家開(kāi)始想辦法就開(kāi)始去做 前融合：

前融合的就是嘗試把攝像頭上的像素，激光雷達(dá)的點(diǎn)云，毫米波雷達(dá)擬合過(guò)的一些特征信息（現(xiàn)在如果用 4D 毫米就是 4D 毫米波的點(diǎn)云，它已經(jīng)能夠成像了），把這些信息去做原始數(shù)據(jù)的時(shí)空同步，然后再結(jié)合其他的信息，最后得到了一個(gè)多維度的 Raw Data，再去做分類識(shí)別跟蹤等等。

但是這個(gè)過(guò)程中像素級(jí)的前融合非常難做，原因在于：

這么多點(diǎn)云與像素去做匹配的時(shí)候，時(shí)空同步難度很大；

算力消耗非常大；

不同的傳感器硬件系統(tǒng)時(shí)間是不一樣的，很難知道激光雷達(dá)的某一幀到底實(shí)際嚴(yán)格意義上對(duì)應(yīng)了攝像頭或者毫米波雷達(dá)的哪一幀，而且存在運(yùn)動(dòng)補(bǔ)償?shù)恼`差。

即使做了非常詳細(xì)的標(biāo)定，一旦換硬件或者換車型很多流程又要重新來(lái)一遍，所以我們?cè)?BEV 里面開(kāi)始去嘗試把這個(gè)問(wèn)題得到系統(tǒng)性的解決，那到底是怎么解決的呢？

首先在 BEV 算法里面是用特征級(jí)的融合，然后再把它映射到統(tǒng)一的坐標(biāo)下，即 BEV 的坐標(biāo)體系里面。

然后去做融合，融合之后再進(jìn)行訓(xùn)練學(xué)習(xí)分類，最終后融合的特征可以保留，那么同時(shí)它又不像是前融合階段要求高精度和高算力，所以它是一個(gè)相對(duì)折中的一種方法。

這個(gè)方法我們叫 特征級(jí)的前融合，或者把它叫做 中融合也可以。

特斯拉 AI Day 曾展示一張圖：不同的攝像頭都對(duì)于這個(gè)特征做識(shí)別，后融合方面就是先把它做分割之后再去融合，最終得到的結(jié)果是基于 BEV 做特征級(jí)融合的效果，遠(yuǎn)遠(yuǎn)好于在 BEV 空間里面做的后融合，所以說(shuō)特征級(jí)的融合能更好地解決后融合信息丟失過(guò)多而造成的誤差，同時(shí)也避免了像素級(jí)的融合，算力的災(zāi)難和復(fù)雜度的災(zāi)難。03 BEV 加 transformer 組合帶來(lái)的變化

BEV 不是一個(gè)新的概念，深度學(xué)習(xí)賦予它活力，使用深度學(xué)習(xí)算法實(shí)現(xiàn)了從 2D 到 BEV 視角的轉(zhuǎn)換。

BEV 除了加了深度學(xué)習(xí)之外，在 2021 年的時(shí)候，特斯拉還提出了大模型 transformer 再加 BEV 的模型。

transformer 作用是什么？就是給這些按照時(shí)間序列進(jìn)入的特征和信息賦予權(quán)重。transformer 最大的功勞就是，對(duì)于 特征給予或異構(gòu)的特征，比如說(shuō)同構(gòu)的特征給予了注意力的新參數(shù)。

基于 transformer 的 BEV 算法優(yōu)勢(shì)：

增加了系統(tǒng)的跟蹤和推斷的能力；

加了異構(gòu)傳感器的融合和算法泛化能力；

實(shí)現(xiàn)了不同視角下在 BEV 中進(jìn)行統(tǒng)一的表達(dá)；

對(duì)于端到端的優(yōu)化，模塊更簡(jiǎn)潔了，任務(wù)的可擴(kuò)展性也更強(qiáng)了。

擁有構(gòu)建語(yǔ)義地圖的能力，即是方案可以擺脫高精地圖。

在 2021 年特斯拉在提出 BEV 之前，我曾經(jīng)是高精地圖堅(jiān)定的支持者，但最后發(fā)現(xiàn)高精地圖的更新成本等因素導(dǎo)致它的局限性，尤其是如果要做自動(dòng)駕駛方案出海，還要涉及不同國(guó)家的高精地圖。

之后，各大車廠陸續(xù)開(kāi)始通過(guò) BEV 算法和得到的信息構(gòu)建語(yǔ)義地圖，非常典型的應(yīng)用就是有些車廠提出來(lái)的 高頻路線的城市道路 NOA。

特斯拉通過(guò) BEV 算法加 transformer 去構(gòu)建一個(gè)城市道路下高級(jí)別智能駕駛所需的語(yǔ)義地圖，但是這個(gè)過(guò)程的實(shí)現(xiàn)需要結(jié)構(gòu)化訓(xùn)練數(shù)據(jù)來(lái)源，要基于 BEV 的模型去做數(shù)據(jù)的標(biāo)注、分割、分類等等。

那么要標(biāo)多少數(shù)據(jù)？

毫末智行 CEO 顧維灝預(yù)測(cè)，BEV 的模型 大概要標(biāo)注 1 億公里的數(shù)據(jù)，所以這個(gè)量是非常大的。因此特斯拉就推出了自動(dòng)標(biāo)注，怎么做自動(dòng)標(biāo)注？

在影子模式的過(guò)程中得到了非常多的數(shù)據(jù)，數(shù)據(jù)能夠自動(dòng)地進(jìn)行相對(duì)準(zhǔn)確的標(biāo)注；

然后用人工進(jìn)行抽檢的方式，能夠現(xiàn)在越來(lái)越好地為深度學(xué)習(xí) /transformer 的模型等提供更多輸入數(shù)據(jù)。

這樣一方面是有影子模式去收集場(chǎng)景數(shù)據(jù)。另一方面又通過(guò)自動(dòng)標(biāo)注把這些數(shù)據(jù)變得結(jié)構(gòu)化。通過(guò)這樣的方式打通，就使得特斯拉成為了全世界到現(xiàn)在為止獲取相對(duì)準(zhǔn)確的結(jié)構(gòu)化信息數(shù)據(jù)的最快也最廉價(jià)的一個(gè)車企。

除此之外，特斯拉在 AI Day 透露，另外一個(gè)數(shù)據(jù)來(lái)源就是 虛擬仿真。

除了對(duì)數(shù)據(jù)要求比較多，BEV 算法對(duì)算力的要求也比極高。那 BEV 算法如何才能降低算計(jì)的消耗呢？

用相對(duì)輕量化的模型；

用多任務(wù)模型就統(tǒng)一一個(gè)模型，但輸出多個(gè)任務(wù)可能是靜態(tài)可能動(dòng)態(tài)的，反正就是用一個(gè)模型輸出多個(gè)；

對(duì)算子做一些優(yōu)化。

04 BEV 后的技術(shù)迭代——占用網(wǎng)絡(luò)

占用網(wǎng)絡(luò)依然是一個(gè)類似于 " 上帝視角 " 的視角，還把多個(gè)傳感器做了融合。

下方圖像是特斯拉的結(jié)果，他們把空間做了網(wǎng)格化的分區(qū)，分割之后，每一個(gè)小方塊叫做體素，類似于像素。

只要在這個(gè)空間的體素下被占用了，都會(huì)被系統(tǒng)認(rèn)為是 1，賦值 1，否則賦值為 0。只要知道物體在空間里面占據(jù)了一定的體素，系統(tǒng)就會(huì)把它顯示出來(lái)，并判定它是一個(gè)障礙物。

特斯拉的想法是，應(yīng)用好占用網(wǎng)絡(luò)，再加上 4D 雷達(dá)點(diǎn)云信息去做融合，解決了部分特殊場(chǎng)景問(wèn)題后，最終就能取代激光雷達(dá)。

在 2020、2021 年前后， 元戎啟行的 CEO 周光也曾向我展示過(guò)類似于體素的概念，這可以說(shuō)明我們國(guó)內(nèi)的科技公司對(duì)這部分技術(shù)掌握得很不錯(cuò)。

占有網(wǎng)絡(luò)解決了不識(shí)別就不能作為障礙物的問(wèn)題，后續(xù)我們還需要對(duì)相關(guān)算法繼續(xù)做更多的優(yōu)化，去減少算力的消耗，同時(shí)增加它的實(shí)時(shí)性，才能保證獲取有更好的效果。

05 問(wèn)答環(huán)節(jié)

Q：如果高精地圖后續(xù)大規(guī)模開(kāi)放，各家會(huì)繼續(xù)走輕地圖重感知的路線還是重新去用高精地圖？

A：高精地圖的更新成本巨大，且更新頻率低，而隨著感知算法效率的提升，系統(tǒng)對(duì)高精地圖的依賴性將逐步降低。

Q：大概在兩三個(gè)月以前，李想表示要轉(zhuǎn)向 BEV 加 transformer 的方案，理想汽車要在 2030 年成為一家 AI 公司。從這么一個(gè)角度來(lái)看， BEV 加 transformer 的方案它到底是有學(xué)術(shù)意義上的貢獻(xiàn)，還是說(shuō)它其實(shí)解決了一些工程上問(wèn)題？

A：transformer 本身是一個(gè)創(chuàng)新性、顛覆性的東西，但是 transformer 和 BEV 的結(jié)合，或者說(shuō)比如深度學(xué)習(xí)和 BEV 的結(jié)合，這是由工程驅(qū)動(dòng)的解決問(wèn)題的方式所得到的創(chuàng)新。

Q：BEV 加 transformer 的方案對(duì)整個(gè)軟件或者算法層面的架構(gòu)，從整個(gè)硬件的計(jì)算架構(gòu)來(lái)說(shuō)，它會(huì)產(chǎn)生怎樣的一些影響？

A：在軟件層面，剛開(kāi)始大家會(huì)基于 BEV 整理一套架構(gòu)。比如說(shuō)，很多的科技公司開(kāi)始去提出基于 BEV 去做各種傳感器的訓(xùn)練，然后得到了一個(gè) BEV 平臺(tái)，之后可以在上面去適配更多不同像素的攝像頭、不同角度的攝像頭，不同原理的激光雷達(dá)或者是 3D、4D 毫米波雷達(dá)，所以大家開(kāi)始基于 BEV 去形成一個(gè)范式。

BEV 加 transformer 的方案最厲害的點(diǎn)就在于給智能感知一個(gè)新范式，大家可以基于這個(gè)范式去積累更多的數(shù)據(jù)和模型。在硬件層面，可能更多給硬件一些幫助，當(dāng)軟件的適配平臺(tái)化能力得到提升的時(shí)候，那么硬件的改變它給軟件帶來(lái)的障礙就沒(méi)有那么大了。

Q：BEV 是不是跟著大模型訓(xùn)練，BEV 構(gòu)造出來(lái)的數(shù)據(jù)場(chǎng)景是不是大模型訓(xùn)練實(shí)現(xiàn)的基礎(chǔ)，或者說(shuō)更方便大模型來(lái)訓(xùn)練出一些輔助駕駛的模型？

A：可以把 BEV 梳理為三個(gè)階段：

用傳統(tǒng)的只知道攝像頭的內(nèi)參幾何變換的方式得到的，但因?yàn)橥獠康缆翻h(huán)境、車本身俯仰角的變化，使得模型很容易失效；

開(kāi)始去嘗試引入到車的位置信息，道路信息，然后開(kāi)始去用深度學(xué)習(xí)去做 BEV；

2021 年開(kāi)始，特斯拉把 transformer 和 BEV 做了結(jié)合之后，增加了多傳感器，國(guó)內(nèi)車廠開(kāi)始跟隨此方案，第三個(gè)階段確實(shí)和大模型有非常大的關(guān)系。

Q：按目前的法律規(guī)定來(lái)說(shuō)，未來(lái) BEV 構(gòu)圖的語(yǔ)義地圖可以用到其他車上嗎？

A：這取決于一個(gè)點(diǎn)， BEV 模型所生成的語(yǔ)義地圖能不能夠非常精確地重構(gòu)關(guān)鍵的地理信息。如果能這個(gè)本身一定是需要被監(jiān)管，如果它的程度不足以對(duì)國(guó)家造成安全傷害，但是卻又能夠幫助車輛進(jìn)行城市道路下或者高速公路的 NOA 功能，這就是可以被保留。但是我們不太了解這個(gè)在哪里。

現(xiàn)階段重構(gòu)出來(lái)的如果是個(gè)局部地圖還好，但如果是把很多的車輛都放在一起，去形成一個(gè)全局地圖可能會(huì)有問(wèn)題。

Q：transformer 和 BEV 方案對(duì)最低算力要求是多少？

A：基本上是基于 200Tops 以上算力，保證有很好的效果，BEV 模型現(xiàn)階段還是在比較依賴大算力的。

Q：在 BEV 的技術(shù)下如何兼顧遠(yuǎn)距離，特別是大于 100 米的感知精度？

A：BEV 里面本身已經(jīng)有了 transformer，已經(jīng)做了很多優(yōu)化了，但現(xiàn)在的體量模型的復(fù)雜度都還是很高的，不可能看得非常的遠(yuǎn)。

那索性在 BEV 超視距的范圍內(nèi)，增加一個(gè)原本傳統(tǒng)的算法，用 2D 算法去跟蹤更加遠(yuǎn)的物體，但是當(dāng)它進(jìn)入到了 BEV 體系之后，我們可以在幾何上做變換，認(rèn)為它是同一個(gè)物體。

Q：BEV 方案落地后，未來(lái)對(duì)地圖的需求是不是會(huì)大幅度減少，BEV 對(duì)整個(gè)技術(shù)棧有怎樣的影響？

A：如果是做地圖的同學(xué)考慮轉(zhuǎn)換專業(yè)，比如原來(lái)做定位、slam 這些做定位的可能會(huì)相對(duì)容易轉(zhuǎn)過(guò)去，它的底層有很多比較像的地方。當(dāng)然如果原來(lái)做規(guī)劃決策，那還是可以的。

至少?gòu)默F(xiàn)在的技術(shù)趨勢(shì)來(lái)看，以后可能用的也許就是一個(gè)導(dǎo)航地圖或者 ADAS 地圖，或者是由眾包構(gòu)建出來(lái)的語(yǔ)義地圖。趨勢(shì)是相對(duì)明確的，就是要輕地圖重感知。

Q：自研 BEV 的難度和研發(fā)周期必備的前置條件，剛才提到有大數(shù)據(jù)，那么基礎(chǔ)設(shè)施有哪些？

A：首先就是數(shù)據(jù)，其次是要盡快形成數(shù)據(jù)閉環(huán)，獲取數(shù)據(jù)的方式要改變，能夠通過(guò)眾包和實(shí)際生產(chǎn)環(huán)境里面的量產(chǎn)車去得到數(shù)據(jù)。

再有就是虛擬仿真，其實(shí)是因?yàn)橛行﹫?chǎng)景，比如說(shuō)極端場(chǎng)景，比如車禍場(chǎng)景等等這種，是沒(méi)有辦法去采集的，那么也許就需要虛擬仿真。

還要有數(shù)據(jù)中心，現(xiàn)在模型的復(fù)雜度在提升，多幀之間的處理，數(shù)據(jù)的量也在爆發(fā)，所以可能大的車廠后續(xù)需要有自己的數(shù)據(jù)中心進(jìn)行持續(xù)的數(shù)據(jù)訓(xùn)練和迭代，對(duì)數(shù)據(jù)要自動(dòng)標(biāo)注，數(shù)據(jù)標(biāo)完之后自動(dòng)結(jié)構(gòu)化之后還要自動(dòng)的長(zhǎng)期可持續(xù)地迭代和訓(xùn)練，才能使得基于數(shù)據(jù)驅(qū)動(dòng)的這些算法越來(lái)越好。

Q：目前國(guó)外和國(guó)內(nèi)關(guān)于 BEV 的差距大概是一個(gè)什么樣的情況？

A：在學(xué)術(shù)層面來(lái)說(shuō)，非常顯性的趨勢(shì)是，一個(gè)創(chuàng)新性、顛覆性的技術(shù)可能不是中國(guó)人提出來(lái)的，但是我們有能力很快就 follow 它，把它變得更好。

但是在工程化層面，我們應(yīng)該把特斯拉和其他的海外的的 OEM 分開(kāi)，那么然后再把咱們中國(guó)的 OEM 放進(jìn)來(lái)，在很多層面，特斯拉是顯性領(lǐng)先的。

整體來(lái)說(shuō)， 全球化的 OEM 開(kāi)始去要開(kāi)始反思自己為什么這么慢，然后為什么在人工智能方面持續(xù)的投入不夠多等等，那么所以特斯拉是領(lǐng)先的，接下來(lái)可能是咱們的一些相對(duì)來(lái)說(shuō)比較重投入的的 OEM。

Q：怎么看待純視覺(jué)和激光雷達(dá)的路線？

A：某種意義上，激光雷達(dá)是對(duì)我們的訓(xùn)練數(shù)據(jù)不足的一個(gè)補(bǔ)充。如果假設(shè)有無(wú)限的、準(zhǔn)確的結(jié)構(gòu)化數(shù)據(jù)，確實(shí)是不需要激光雷達(dá)，可以快速的訓(xùn)練出來(lái)一個(gè)模型，這個(gè)模型因?yàn)閿?shù)據(jù)量很大，可以無(wú)限接近激光雷達(dá)的精度，但因?yàn)楝F(xiàn)在我們的所得到的數(shù)據(jù)量有限，我們就想又想要得到一個(gè)不錯(cuò)效果的車，那么激光雷達(dá)放進(jìn)來(lái)，它就是一個(gè)好又快、顯性度高的補(bǔ)充。

Q：?jiǎn)文繑z像頭本身有它的缺陷，然后目前也有一些公司去堅(jiān)持要走就是雙目視覺(jué)的路線，比方說(shuō)大疆，怎么看目前堅(jiān)持走雙目方案的供應(yīng)商？

A：我曾跟大疆的沈劭劼討論過(guò)這個(gè)話題。大疆之所以選擇雙目，是因?yàn)橐ソ鉀Q物體障礙物分類的問(wèn)題，如果是用現(xiàn)在的 BEV 本質(zhì)上無(wú)法解決這個(gè)問(wèn)題，雙目確實(shí)也還是很好的補(bǔ)充。

另外，還可以選擇雙目加上毫米波雷達(dá)，但如果成本有限，那么可以選擇雙目或者是單目加毫米波雷達(dá)，那么在傳統(tǒng)系統(tǒng)設(shè)計(jì)里還傾向于異構(gòu)，即一個(gè)單目加一個(gè)毫米波雷達(dá)，因?yàn)樗钱悩?gòu)融合傳感器。

Q：隨著 BEV 發(fā)展，對(duì)于數(shù)據(jù)量的需求是一個(gè)量級(jí)的提升，那么有大量的標(biāo)定數(shù)據(jù)，在不同的車型和不同的攝像頭配置方案的背景下，它能夠做到通用嗎？

A：這個(gè)問(wèn)題其實(shí)是針對(duì)的是提供數(shù)據(jù)服務(wù)的提供商，然后他們?cè)趺慈ジ玫娜シ?wù)好這些 OEM。

成本會(huì)增加，難度是在變，大成本是在增加。自動(dòng)標(biāo)注的算法能不能夠盡量多的去取代人工，比如人工只做抽樣檢測(cè)或者做檢測(cè)，但不用再標(biāo)了。也許這是一個(gè)未來(lái)的好方向，但一定需要大量的、準(zhǔn)確的結(jié)構(gòu)化信息，而且 2D 數(shù)據(jù)復(fù)用不了。

Q：車廠、Tier 1 解決方案商和芯片公司哪一方有可能會(huì)在 BEV 方面做得更好？

A：大概在兩年前，判斷哪一家車廠能夠做得更好的時(shí)候，我當(dāng)時(shí)總結(jié)說(shuō)，哪一家車廠能夠在短時(shí)間里面得到大量的、準(zhǔn)確的、低成本的結(jié)構(gòu)化信息，誰(shuí)就會(huì)做得更好。

那么在現(xiàn)階段來(lái)說(shuō)，如果說(shuō)針對(duì) BEV 這個(gè)模型來(lái)說(shuō)，我覺(jué)得重要點(diǎn)在于它要持續(xù)的有數(shù)據(jù)灌入且能持續(xù)的迭代。

那么在持續(xù)性這個(gè)層面，傳統(tǒng)車廠要去克服體制的原因，這個(gè)情況就是說(shuō)，我們需要有會(huì)做決定的人，他知道要持續(xù)的、不斷為這個(gè)事情，為訓(xùn)練數(shù)據(jù)收集數(shù)據(jù)形成數(shù)據(jù)閉環(huán)，去不斷的優(yōu)化算法，這個(gè)事情要持續(xù)的迭代和升級(jí)。

首先，BEV 作為算法的 Tier1 或 Tier 2 安身立命的東西，他們是有大概率做好的。第二個(gè)是以新技術(shù)作為賣點(diǎn)的的新造車。