隨著AI大模型從深度學(xué)習(xí)算法中脫穎而出，正在成為當(dāng)前AI領(lǐng)域最為炙手可熱的新技術(shù)范式。自動(dòng)駕駛技術(shù)也因?yàn)榇竽Ｐ图夹g(shù)的引入，具備了從模塊化階段向端到端自動(dòng)駕駛進(jìn)化的可能。AI大模型正在重塑自動(dòng)駕駛技術(shù)路線。

9月27日，毫末智行聯(lián)合清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）聯(lián)合舉辦的自動(dòng)駕駛精品公開課圓滿結(jié)束。本場(chǎng)公開課聚焦自動(dòng)駕駛當(dāng)前最領(lǐng)先的AI算法，并結(jié)合毫末的具體實(shí)踐，給自動(dòng)駕駛從業(yè)者、行業(yè)伙伴和媒體朋友們帶來了一場(chǎng)端到端自動(dòng)駕駛的技術(shù)盛宴。

本期課程是自動(dòng)駕駛系列公開課程的第三期，此前第一期和第二期課程分別從宏觀行業(yè)和技術(shù)原理上對(duì)自動(dòng)駕駛知識(shí)體系進(jìn)行基本介紹。而第三期，清華AIR助理研究員/助理教授詹仙園博士從決策優(yōu)化視角下解釋了端到端自動(dòng)駕駛AI算法的特點(diǎn)和當(dāng)前進(jìn)展，而毫末智行技術(shù)總監(jiān)潘興博士從數(shù)據(jù)閉環(huán)系統(tǒng)上完整解釋了AI大模型算法是如何在海量數(shù)據(jù)中學(xué)習(xí)和優(yōu)化，并在實(shí)踐中如何呈現(xiàn)它驚人的能力。

在題為《決策優(yōu)化視角下的端到端自動(dòng)駕駛》的分享中，詹仙園博士從端到端的概念入手，結(jié)合自動(dòng)駕駛行業(yè)30年的發(fā)展歷程，為大家講述了端到端自動(dòng)駕駛中的策略學(xué)習(xí)方法，并結(jié)合清華AIR和毫末的科研合作實(shí)踐，透過Al算法，洞悉行業(yè)發(fā)展脈絡(luò)，對(duì)行業(yè)發(fā)展做出總結(jié)和趨勢(shì)判斷。

詹仙園博士指出，端到端，簡(jiǎn)單來說就是把所有架構(gòu)、不同模塊融成一個(gè)完整的整體，直接從輸入到輸出做訓(xùn)練，學(xué)習(xí)信號(hào)從決策處向前傳遞。原有的模塊化，其好處在于每個(gè)模塊拆解地非常干凈，每個(gè)模塊建模目標(biāo)非常明確，可解釋性非常好。但模塊化架構(gòu)下，每個(gè)模塊的設(shè)計(jì)和優(yōu)化都有自己的一套體系，把多個(gè)模塊組合到一塊勢(shì)必會(huì)出現(xiàn)誤差累積。而端到端的優(yōu)點(diǎn)在于以下三點(diǎn)。首先，可以把整個(gè)端到端模型看成單一的超大模型，所以結(jié)構(gòu)非常簡(jiǎn)單，所有的目標(biāo)都是圍繞著決策的最終目的做優(yōu)化和學(xué)習(xí)，在優(yōu)化層面上目標(biāo)是統(tǒng)一的。其次，從輸入到最終決策輸出是端到端的學(xué)習(xí)，可以很方便地實(shí)現(xiàn)依賴海量數(shù)據(jù)的純數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)。第三，因?yàn)槎说蕉耸呛芏嗄Ｐ驮谕粋€(gè)體系下訓(xùn)練，所以可以共享不同模塊模型的主干，從而可以降低計(jì)算上的開銷。

詹仙園博士介紹，所有端到端的駕駛模型可以看成一個(gè)很大的決策模型，把這樣的模型訓(xùn)出來需要用到?jīng)Q策優(yōu)化的算法。這就涉及模仿學(xué)習(xí)和強(qiáng)化學(xué)習(xí)，模仿學(xué)習(xí)即用監(jiān)督學(xué)習(xí)的方法直接從數(shù)據(jù)里訓(xùn)出來的映射；強(qiáng)化學(xué)習(xí)則不是簡(jiǎn)單的模仿數(shù)據(jù)，它提供了超越數(shù)據(jù)本身的可能，可以通過不斷學(xué)習(xí)優(yōu)化去找到一個(gè)比現(xiàn)有數(shù)據(jù)更好的決策模式。

在詹仙園博士看來，早期的端到端自動(dòng)駕駛都是一些很小的決策模型，但到了今天，產(chǎn)業(yè)落地的端到端系統(tǒng)都是巨大無比的模型，端到端自動(dòng)駕駛從早期的在線交互范式，慢慢已經(jīng)延伸到完全離線的學(xué)習(xí)。隨著模型變得越來越強(qiáng)、越來越好，安全性也變得越來越好，而且泛化性層面也慢慢有一些改進(jìn)和過渡。此外，詹仙園博士還就清華AIR和毫末在模仿學(xué)習(xí)和離線強(qiáng)化學(xué)習(xí)上的合作進(jìn)行了詳細(xì)的介紹，并表示這些算法會(huì)逐步應(yīng)用到毫末的自動(dòng)駕駛場(chǎng)景實(shí)踐當(dāng)中。

詹仙園博士分享結(jié)束后，潘興博士以《毫末的自動(dòng)駕駛AI之路》為主題，通過毫末的具體實(shí)踐，從工業(yè)角度闡述了AI算法的重要性。潘興博士表示，作為一家致力于自動(dòng)駕駛的人工智能技術(shù)公司，毫末用戶輔助駕駛行駛里程已經(jīng)超過8000萬公里，城市NOH也在泛化迭代過程中，預(yù)計(jì)明年將實(shí)現(xiàn)搭載量產(chǎn)。

潘興表示，隨著數(shù)據(jù)規(guī)模的增加、算法能力提升，在大模型、大數(shù)據(jù)、大算力趨勢(shì)下，應(yīng)用，當(dāng)前行業(yè)即將進(jìn)入以數(shù)據(jù)驅(qū)動(dòng)為主的自動(dòng)駕駛3.0時(shí)代。隨著自動(dòng)駕駛產(chǎn)品正在從高速場(chǎng)景走進(jìn)城市場(chǎng)景，自動(dòng)駕駛數(shù)據(jù)智能體系的建設(shè)最核心的基礎(chǔ)設(shè)施。為了實(shí)現(xiàn)數(shù)據(jù)閉環(huán)，諸如特斯拉、毫末和國內(nèi)很多友商，也都在搭建自己的云端AI能力和超算中心，通過更大的算力，更大規(guī)模的數(shù)據(jù)處理能力，來實(shí)現(xiàn)更好的自動(dòng)駕駛能力。

目前，毫末構(gòu)建了自己的數(shù)據(jù)智能體系MANA，并在今年年初搭建起中國自動(dòng)駕駛行業(yè)最大智算中心——MANA OASIS雪湖?綠洲?；贛ANA OASIS，毫末在今年四月發(fā)布了業(yè)內(nèi)首個(gè)自動(dòng)駕駛生成式大模型DriveGPT雪湖·海若。“作為一個(gè)基礎(chǔ)大模型，毫末使用DriveGPT構(gòu)建了進(jìn)一步的AI能力，包括數(shù)據(jù)管理檢索、自動(dòng)標(biāo)注、AIGC仿真數(shù)據(jù)合成等等，基于這些數(shù)據(jù)能力和服務(wù)，我們進(jìn)一步來提升車端各個(gè)模塊和算法的能力，最終實(shí)現(xiàn)一個(gè)更優(yōu)秀的自動(dòng)駕駛產(chǎn)品。”

潘興博士指出，數(shù)據(jù)智能是整個(gè)自動(dòng)駕駛迭代的核心，這個(gè)過程中要積累海量的數(shù)據(jù)資產(chǎn)，通過AI大模型，可以更好地去管理這些數(shù)據(jù)資產(chǎn)。同時(shí)，有了數(shù)據(jù)之后不可避免地需要算力，智算中心的穩(wěn)定持續(xù)運(yùn)行，也為大模型的迭代和自動(dòng)駕駛的提升提供了源源不斷的動(dòng)力。

潘興博士介紹，“有了數(shù)據(jù)和算力之后，目前車云聯(lián)動(dòng)、共同訓(xùn)練的方法可以通過大模型有效地提高車端算法的效果?！北热?，通過使用DriveGPT，在工具鏈里面可以非常有效地降低整個(gè)標(biāo)注的成本，提高標(biāo)注的效率。同時(shí)，DriveGPT還可以使用大模型直接支持車端小模型能力的提升，把云端的大模型能力更好地傳遞到車端的模型上。

潘興博士還表示，“如何高效獲得更真實(shí)的仿真數(shù)據(jù)，其大模型可以發(fā)揮非常重要的作用?！蓖ㄟ^大模型的使用，可以非常有效地學(xué)習(xí)紋理、深度、語義等信息。通過大模型的有效表征，可以使數(shù)據(jù)具備可被編輯能力，比如，在原始的視頻上沒有的車輛障礙物，通過DriveGPT可以將對(duì)它們進(jìn)行粘貼、剪輯、隨意旋轉(zhuǎn)，放進(jìn)視頻當(dāng)中，從而獲得新的仿真合成數(shù)據(jù)。除了感知領(lǐng)域的應(yīng)用，在智能駕駛決策和規(guī)劃上，大模型在應(yīng)用中也發(fā)揮了很大的價(jià)值和作用，DriveGPT使用人駕的用戶數(shù)據(jù)，持續(xù)地迭代和學(xué)習(xí)，更好的駕駛行為和決策。

與此同時(shí)，毫末DriveGPT不僅可以幫助完成軌跡預(yù)測(cè)、圖片合成，還具備智能決策的能力?！癉riveGPT具備輸入一段視頻可以去預(yù)測(cè)未來軌跡以及回答駕駛決策過程中問題的能力，可以給出可解釋性的決策?！边@些能力讓毫末認(rèn)為隨著端到端自動(dòng)駕駛的來臨，將宏觀決策和微觀行為，通過模型一起進(jìn)行學(xué)習(xí)和理解會(huì)成為比較有效的手段。潘興博士透露，接下來，毫末會(huì)更深度地將感知和認(rèn)知兩個(gè)模型進(jìn)行端到端的打通，讓它們能夠合二為一。

毫末智行聯(lián)合清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）舉辦的自動(dòng)駕駛精品公開課共分4期，本期課程是第三期。在此前舉辦的兩期課程里，來自清華AIR和毫末智行的講師已經(jīng)為近百名業(yè)內(nèi)媒體人介紹了單車智能自動(dòng)駕駛、車路協(xié)同自動(dòng)駕駛和高等級(jí)智能道路建設(shè)等自動(dòng)駕駛技術(shù)發(fā)展，并向大家講解了自動(dòng)駕駛AI技術(shù)基礎(chǔ)原理，以及當(dāng)前大模型在自動(dòng)駕駛的應(yīng)用趨勢(shì)。本期自動(dòng)駕駛精品公開課，毫末與清華AIR一同向自動(dòng)駕駛行業(yè)觀察者們分享了更為深入的AI算法和自動(dòng)駕駛AI系統(tǒng)的原理，并得到線上線下嘉賓的積極提問和交流。

面向自動(dòng)駕駛星辰大海，唯有行動(dòng)才會(huì)真正抵達(dá)未來的目標(biāo)。通過自動(dòng)駕駛精品公開課，毫末與清華AIR攜手業(yè)內(nèi)資深媒體人一起收獲關(guān)于自動(dòng)駕駛A算法的最新研究成果和實(shí)踐經(jīng)驗(yàn)，攜手跨越山海，共同分享AI知識(shí)的智慧火花，為自動(dòng)駕駛行業(yè)貢獻(xiàn)一份珍貴的技術(shù)共識(shí)和知識(shí)沉淀。

返回第一電動(dòng)網(wǎng)首頁 >