近日，上海人工智能實驗室（上海AI實驗室）聯(lián)合香港科技大學(xué)、德國圖賓根大學(xué)、香港大學(xué)推出首個大規(guī)模自動駕駛視頻生成模型GenAD，通過預(yù)測和模擬真實世界場景，為自動駕駛技術(shù)的研究和應(yīng)用提供支撐。

自動駕駛是汽車行業(yè)“下半場”競爭的核心，隨著科技的飛速發(fā)展，智能駕駛技術(shù)已經(jīng)成為汽車行業(yè)的熱門話題。從最初的輔助駕駛系統(tǒng)到如今的自動駕駛技術(shù)，智能駕駛正在逐步改變我們的出行方式。但自動駕駛是一個高度復(fù)雜的技術(shù)體系，不僅需要多個學(xué)科領(lǐng)域的知識和技能，包括傳感器硬件、機器學(xué)習(xí)、多模態(tài)融合等內(nèi)容，還需要適應(yīng)不同國家與地區(qū)的道路規(guī)則和交通文化，與車輛及行人進(jìn)行良好的交互，以實現(xiàn)高度的可靠性和安全性。

近年來，上海AI實驗室自動駕駛團(tuán)隊不斷突破創(chuàng)新，挑戰(zhàn)各項自動駕駛研究任務(wù)，在多模態(tài)、時空融合、端到端、多任務(wù)等方面提出了新思路、新模式。

先是在通用智能大模型“書生”（INTERN）的支持下，研究人員首次將感知、預(yù)測和規(guī)劃等三大類主任務(wù)、六小類子任務(wù)（目標(biāo)檢測、目標(biāo)跟蹤、場景建圖、軌跡預(yù)測、柵格預(yù)測和路徑規(guī)劃）整合到統(tǒng)一的基于Transformer的端到端網(wǎng)絡(luò)框架下，實現(xiàn)了全棧關(guān)鍵任務(wù)駕駛通用模型。在nuScenes真實場景數(shù)據(jù)集下，UniAD的所有任務(wù)均達(dá)到領(lǐng)域最佳性能（State-of-the-art），尤其是預(yù)測和規(guī)劃效果遠(yuǎn)超之前的最佳方案。其中，多目標(biāo)跟蹤準(zhǔn)確率超越SOTA20%，車道線預(yù)測準(zhǔn)確率提升30%，預(yù)測運動位移和規(guī)劃的誤差則分別降低了38%和28%，打造出了業(yè)界首個感知決策一體化的自動駕駛大模型UniAD。

隨后為應(yīng)對“語言+自動駕駛”具體研究方向數(shù)據(jù)短缺的現(xiàn)狀，聯(lián)合團(tuán)隊構(gòu)建了首個含圖結(jié)構(gòu)的“語言+自動駕駛”全棧開源數(shù)據(jù)集DriveLM，以覆蓋自動駕駛系統(tǒng)中的感知（Perception）、預(yù)測（Prediction）、規(guī)劃（Planning）等模塊。

經(jīng)由人工進(jìn)行復(fù)雜標(biāo)注和嚴(yán)格的質(zhì)量檢查，DriveLM包含了高質(zhì)量標(biāo)準(zhǔn)、信息量豐富、邏輯關(guān)聯(lián)充分的駕駛相關(guān)文本數(shù)據(jù)，將助力自動駕駛系統(tǒng)在復(fù)雜多變的交通環(huán)境中使用語言模態(tài)應(yīng)對復(fù)雜任務(wù)。

此次聯(lián)合團(tuán)隊將開源模型（SDXL）置于駕駛視頻數(shù)據(jù)集OpenDV-2K進(jìn)行訓(xùn)練，使之獲得了第一人稱駕駛視角圖像的生成能力。隨后，設(shè)計并引入了因果時序模塊，包括為駕駛視頻生成特別設(shè)計的解耦空間注意力、因果時序注意力和長時序交互機制，并在OpenDV-2K上進(jìn)行視頻預(yù)測訓(xùn)練，以此構(gòu)建起GenAD模型。

自動駕駛是一個高度復(fù)雜的技術(shù)體系，不僅需要多個學(xué)科領(lǐng)域的知識和技能，包括傳感器硬件、機器學(xué)習(xí)、多模態(tài)融合等內(nèi)容，還需要適應(yīng)不同國家與地區(qū)的道路規(guī)則和交通文化，與車輛及行人進(jìn)行良好的交互，以實現(xiàn)高度的可靠性和安全性。

上海AI實驗室表示，聯(lián)合團(tuán)隊構(gòu)建了駕駛視頻數(shù)據(jù)集OpenDV-2K。經(jīng)過視覺語言模型（VLM）篩選、人工質(zhì)檢等工序，數(shù)據(jù)集收錄了2059小時第一人稱視角駕駛視頻，覆蓋超過244個城市場景，規(guī)模為當(dāng)前之最。目前該數(shù)據(jù)集已用于GenAD預(yù)訓(xùn)練，同時向全社會開源。

同時上海AI實驗室也認(rèn)為，“世界模型”被視為通向通用人工智能（AGI）的重要路徑，其可在不實際執(zhí)行的情況下對未來結(jié)果進(jìn)行預(yù)測，從而使模型作出更有效的決策。在自動駕駛領(lǐng)域，特斯拉、Wayve等機構(gòu)紛紛嘗試通過世界模型的研究提升自動駕駛的安全性。

得益于其強大的預(yù)測和可泛化能力，涵蓋大規(guī)模駕駛場景的GenAD為自動駕駛大模型向世界模型邁進(jìn)提供了重要技術(shù)潛力。未來，聯(lián)合團(tuán)隊將進(jìn)一步擴展駕駛視頻數(shù)據(jù)集的規(guī)模，并持續(xù)研究以預(yù)測未來能力為核心的基礎(chǔ)模型，推動理解復(fù)雜世界、三維空間和抽象概念性能提升。

近年來上海在自動駕駛領(lǐng)域持續(xù)發(fā)力，并取得了較好的成績。2018年以來，上海分階段、分批次開放自動駕駛測試道路，打造了嘉定、臨港、奉賢、金橋四個各具特色的示范區(qū)。2023年3月22日，《上海市浦東新區(qū)促進(jìn)無駕駛?cè)酥悄芫W(wǎng)聯(lián)汽車創(chuàng)新應(yīng)用規(guī)定實施細(xì)則》（以下簡稱《實施細(xì)則》）正式發(fā)布，該規(guī)定是我國首部針對無駕駛?cè)酥悄芫W(wǎng)聯(lián)汽車創(chuàng)新應(yīng)用的地方性法規(guī)。獲得牌照的企業(yè)可以在浦東新區(qū)行政區(qū)域內(nèi)劃定的路段、區(qū)域開展車內(nèi)全無人的智能網(wǎng)聯(lián)汽車道路測試。

就在3月19日，浦東新區(qū)第二批自動駕駛開放測試道路新增了金橋經(jīng)濟技術(shù)開發(fā)區(qū)全域及浦東申江路、滬南公路、兩港公路等“南北科創(chuàng)走廊通道”道路開放為自動駕駛測試道路。本次開放測試道路共205公里，這是繼2022年開放首批12條、29.3公里自動駕駛測試道路后，浦東新區(qū)開放的第二批自動駕駛測試道路。至此，上海已累計開放測試道路達(dá)1003條，總里程突破2000公里。

截至目前，已有32家企業(yè)、794輛車獲得道路測試、示范應(yīng)用、示范運營牌照，累計測試?yán)锍碳s2290萬公里，測試總時長約122萬小時，企業(yè)參與度、測試道路里程數(shù)和場景豐富度位居全國前列。