人與環(huán)境：汽車智能駕駛的關(guān)鍵挑戰(zhàn)

          12月20日，由中國人工智能學(xué)會(huì)主辦，CAAI智能駕駛專委會(huì)、上海交通大學(xué)、上海人工智能研究院有限公司、江蘇南京生態(tài)科技島經(jīng)濟(jì)開發(fā)區(qū)管理委員會(huì)、中新南京生態(tài)科技島開發(fā)有限公司承辦的“2020智能網(wǎng)聯(lián)汽車高峰論壇”在江蘇南京中新生態(tài)科技島舉辦。主旨報(bào)告環(huán)節(jié)，CAAI智能駕駛專委會(huì)主任鄧偉文教授帶來了題為《人與環(huán)境：汽車智能駕駛的關(guān)鍵挑戰(zhàn)》的精彩演講。

          以下是鄧偉文教授的演講實(shí)錄：人工智能技術(shù)有很多應(yīng)用，智能駕駛是其中的一個(gè)重要領(lǐng)域。

          首先來看傳統(tǒng)的汽車駕駛。傳統(tǒng)汽車是一個(gè)典型的機(jī)電一體化控制系統(tǒng)，雖然也很復(fù)雜，但總體上是一個(gè)確定性系統(tǒng)，包括車輛、傳感器、控制器。汽車的運(yùn)動(dòng)控制，包括軌跡跟隨、緊急避撞、自動(dòng)泊車等都是通過對(duì)力的控制實(shí)現(xiàn)，而力的來源主要是汽車輪胎。

          車輛動(dòng)力學(xué)的核心是輪胎動(dòng)力學(xué)，涉及縱橫向和垂向動(dòng)力學(xué)的耦合，這也是車輛動(dòng)力學(xué)的關(guān)鍵和精髓。

          汽車控制包括對(duì)車體的控制，比如汽車的操控穩(wěn)定、平順性等，以及對(duì)車輪的控制，如ABS、TCS等，防止車輪鎖死或打滑等失穩(wěn)現(xiàn)象。此外汽車控制還包括對(duì)執(zhí)行機(jī)構(gòu)的控制，如汽車動(dòng)力傳動(dòng)、制動(dòng)和轉(zhuǎn)向控制等。

          這是傳統(tǒng)汽車的功能架構(gòu)。汽車的環(huán)境干擾主要來源于空氣動(dòng)力學(xué)，如側(cè)風(fēng)或陣風(fēng)等，還有道路路面干擾等。我們通過電控線控執(zhí)行機(jī)構(gòu)實(shí)現(xiàn)對(duì)汽車受力和運(yùn)動(dòng)的控制。傳統(tǒng)汽車既有人的駕駛，也有機(jī)器駕駛，這就是人機(jī)共駕，但機(jī)器聽人指揮，環(huán)境由人負(fù)責(zé)；人是發(fā)號(hào)施令者，這樣人是完美的，而環(huán)境與車基本無關(guān)。我們把這類人機(jī)共駕稱為人主機(jī)從，即人指揮機(jī)器。

          汽車電控出現(xiàn)在上世紀(jì)的8、90年代，之后隨著環(huán)境傳感器的出現(xiàn)，就出現(xiàn)了汽車輔助駕駛系統(tǒng)、汽車主動(dòng)安全系統(tǒng)，這些統(tǒng)稱為ADAS系統(tǒng)。隨著技術(shù)的不斷發(fā)展演進(jìn)，將會(huì)實(shí)現(xiàn)汽車的自主駕駛。這是一個(gè)汽車電子化和智能化不斷發(fā)展的過程，使傳統(tǒng)汽車走向了智能汽車。

          隨著智能網(wǎng)聯(lián)化技術(shù)的不斷發(fā)展，傳統(tǒng)汽車實(shí)現(xiàn)了從機(jī)械結(jié)構(gòu)體向信息體的轉(zhuǎn)變，向具有環(huán)境感認(rèn)知的智能體轉(zhuǎn)變，并實(shí)現(xiàn)從過去單一交通運(yùn)載工具向移動(dòng)通信的網(wǎng)聯(lián)體轉(zhuǎn)變過程。這些構(gòu)成了汽車顛覆性的革命技術(shù)。

          汽車智能化技術(shù)的挑戰(zhàn)，很重要的原因就是行駛環(huán)境成為了汽車的一部分。汽車行駛環(huán)境復(fù)雜多變、不可預(yù)測、不可窮舉，使得如何應(yīng)對(duì)復(fù)雜開放的行駛環(huán)境成為智能汽車的重要挑戰(zhàn)，不可在復(fù)雜環(huán)境下的感知認(rèn)知，以及作為量產(chǎn)產(chǎn)品的高效安全和可靠性測試驗(yàn)證。這是汽車智能駕駛面臨的兩個(gè)重大挑戰(zhàn)。

          汽車智能駕駛系統(tǒng)可以分為環(huán)境傳感感知、決策規(guī)劃、控制執(zhí)行等幾大部分，或類似人感官、肌肉和大腦。這是一個(gè)包含人機(jī)環(huán)境的復(fù)雜系統(tǒng)。

          機(jī)的概念相對(duì)簡單。汽車智能駕駛主要是軌跡跟隨，包括路徑跟隨和速度跟隨，如自適應(yīng)巡航系統(tǒng)，它是一個(gè)速度和距離跟隨的控制系統(tǒng)；無人駕駛本質(zhì)上都是軌跡跟隨。汽車自動(dòng)駕駛的軌跡跟隨控制更多的是在線性條件下的運(yùn)動(dòng)控制，因?yàn)闄C(jī)器駕駛可以避免人的過度或不當(dāng)操控，包括踏板、油門和轉(zhuǎn)向等，相對(duì)而言它是一個(gè)比較簡單的線性控制。

          也有例外，這種情況下既要通過軌跡跟隨實(shí)現(xiàn)避撞，同時(shí)還要考慮運(yùn)動(dòng)的穩(wěn)定性，如左圖所示是一個(gè)比較典型的多目標(biāo)控制系統(tǒng)；右邊顯示的是一個(gè)高速彎道、低附著路面下實(shí)現(xiàn)避撞和車輛穩(wěn)定性控制的示意圖。這種情況下前面講的線性小角度假設(shè)就不成立，系統(tǒng)之間的控制目標(biāo)有沖突，彼此耦合等?？偠灾?，機(jī)的問題相對(duì)變得沒有那么突出，但人的問題、環(huán)境問題是兩個(gè)比較重要的問題。

          在汽車智能駕駛領(lǐng)域，谷歌的Waymo是領(lǐng)先者，一開始就做L4級(jí)的自動(dòng)駕駛，甚至要把安全員從駕駛位去除。他們的CEO有一段講話，其核心就是兩點(diǎn)，一是自動(dòng)駕駛很遙遠(yuǎn)、非常難；二是人的作用永遠(yuǎn)存在，不管是無人駕駛也好，還是人機(jī)共駕，完全的自主駕駛不可能存在。

          汽車智能駕駛總的來講是機(jī)器輔助人、部分甚至完全替代人的駕駛系統(tǒng)。從汽車輔助駕駛開始，系統(tǒng)通過語音提示、警示、部分干預(yù)、到完全接管人的駕駛。根據(jù)美國SAE的自動(dòng)駕駛分級(jí)，或中國工信部出臺(tái)的標(biāo)準(zhǔn)，總體分為輔助駕駛、有條件自動(dòng)駕駛、高度自動(dòng)駕駛、完全自動(dòng)駕駛。人的作用在駕駛鏈里逐漸減少，機(jī)器的作用則在逐步增加。

          這個(gè)拐點(diǎn)就是我們通常講的L3級(jí)自動(dòng)駕駛，包括駕駛主體、責(zé)任和方式都有了突變。L1、L2是以人為主的輔助駕駛，L3是以機(jī)為主體的自動(dòng)駕駛。自動(dòng)駕駛包含兩個(gè)截然不同的控制系統(tǒng)，一個(gè)是生物體的人駕駛，一個(gè)是以計(jì)算機(jī)為主體的機(jī)器駕駛；上面是機(jī)器，下面是人，人通過感官，包括聽覺、觸感和體感等感知行駛環(huán)境，這是一個(gè)典型的人機(jī)共駕系統(tǒng)。

          人機(jī)共駕系統(tǒng)多多少少是智能駕駛道路上的無奈之舉，一個(gè)很重要的原因就是大規(guī)模產(chǎn)業(yè)化，低成本約束是汽車行業(yè)一個(gè)很鮮明的特點(diǎn)和約束。人機(jī)共駕希望機(jī)器幫助人，但因?yàn)榈统杀鞠聜鞲衅鞯牟蛔銓?dǎo)致對(duì)行駛環(huán)境感認(rèn)知的不足，系統(tǒng)還需要人參與駕駛。

          當(dāng)前的人機(jī)共駕主要還是人機(jī)交互問題，包括交互時(shí)機(jī)、交互方式、主動(dòng)或被動(dòng)交互等，其核心是駕駛權(quán)的分配問題，機(jī)器與人駕駛平穩(wěn)過渡的問題。人機(jī)共駕實(shí)現(xiàn)平穩(wěn)交互，做到人機(jī)協(xié)同共駕，駕駛權(quán)分配是關(guān)鍵；兩者可以是共享型或切換型，包括控制權(quán)的共享、駕駛行為協(xié)同等。

          就這個(gè)問題我們做了研究，一方面是理解人的駕駛特征，這是人機(jī)共駕的關(guān)鍵，包括駕駛意圖、駕駛狀態(tài)、駕駛習(xí)性等。首先要研究人的駕駛機(jī)理，人究竟怎樣駕駛，包括人和機(jī)駕駛在機(jī)理上的差異性。從人性化駕駛角度看，駕駛員所謂的個(gè)性特征研究，人在駕駛過程中怎么處理對(duì)于感知信息的協(xié)同問題，其核心點(diǎn)是對(duì)駕駛特征的理解，包括不同行駛環(huán)境下不同車輛駕駛?cè)说鸟{駛狀態(tài)、駕駛習(xí)性和駕駛技能，這是人機(jī)共駕的關(guān)鍵。這是重慶大學(xué)團(tuán)隊(duì)在模擬器上實(shí)現(xiàn)的人和機(jī)不同情況下的接管和交互實(shí)例，即如何實(shí)現(xiàn)駕駛權(quán)分配的問題。

          另一方面就是人機(jī)共駕的個(gè)性化問題。每個(gè)人的駕駛習(xí)性和風(fēng)格不一樣，一輛車兩個(gè)駕駛?cè)四懿荒苄纬珊椭C協(xié)同的駕駛，這是對(duì)人機(jī)共駕的共性理解。

          能不能建立類我的駕駛，即通過油門、踏板、方向盤等不同的駕駛操作體現(xiàn)出類我的駕駛習(xí)性。以縱向控制為例，速度跟隨和距離跟隨，包括最后的加減速度的方式是不同的。駕駛的個(gè)性化行為特征研究是其中一個(gè)關(guān)鍵。研究方法總體來講，是通過離線建模和在線辨識(shí)的方法。離線建?？筛鶕?jù)分辨率形成穩(wěn)健型、激進(jìn)型和正常型等不同類型。通過采集數(shù)據(jù)，建立離線駕駛習(xí)性模型，包括穩(wěn)健、正常和激進(jìn)型駕駛習(xí)性。

          通過在線辨識(shí)，判斷某個(gè)駕駛員究竟屬于什么類型，對(duì)于不同駕駛員在線判斷他的駕駛操控形成對(duì)駕駛員駕駛習(xí)性的在線辨識(shí)。

          我們通過和企業(yè)合作，將個(gè)性化駕駛特征應(yīng)用到了自適應(yīng)巡航系統(tǒng)，并做了實(shí)驗(yàn)驗(yàn)證?？梢钥吹讲煌母嚲嚯x、跟隨過程，速度跟隨、距離跟隨等可以體現(xiàn)出每個(gè)人的個(gè)性化駕駛特征。

          人機(jī)共駕里很重要的問題就是擬人化問題。類人駕駛能力，智能駕駛不僅要具備對(duì)運(yùn)動(dòng)的操控，很多時(shí)候要有推理判斷、決策能力，特別是復(fù)雜的突發(fā)事件處理能力。很多涉及到道德規(guī)范、倫理的問題，具備人的感性、悟性、靈性、理性，做機(jī)械做不到的方面。

          汽車智能駕駛，從人機(jī)交互向人機(jī)融合發(fā)展，人和機(jī)怎么實(shí)現(xiàn)平穩(wěn)協(xié)同交互，包括我們說的監(jiān)管，希望進(jìn)一步能夠形成以認(rèn)知為中心的人類智能和以計(jì)算為中心的人工智能，以提升我們?cè)跊Q策上的不足，特別是對(duì)于復(fù)雜場景，突發(fā)事件機(jī)器上決策的不足。這個(gè)過程就是以認(rèn)知為中心、以計(jì)算為中心，人工智能兩者之間的融合。

          融合很重要的方面是通過對(duì)人的狀態(tài)習(xí)性、駕駛技能的判斷，特別是人的駕駛意圖，來形成人的駕駛感知和人的駕駛意圖的識(shí)別，為人機(jī)融合智能駕駛奠定基礎(chǔ)。

          一方面有人的駕駛行為，比如人的關(guān)注方式、范圍、形式、強(qiáng)度等，這是人對(duì)世界的感知特點(diǎn)。我們有一系列的環(huán)境傳感器，比如相機(jī)、雷達(dá)等，這即是精準(zhǔn)感知，對(duì)道路識(shí)別、目標(biāo)識(shí)別的特點(diǎn)確定性的感知。人的感知具有不確定性，這就構(gòu)成了人機(jī)協(xié)同系統(tǒng)，提升了決策的可靠性，所謂混合決策，最后提升人機(jī)對(duì)于人駕駛的接受度和舒適度。

          我們走過了早期汽車電控系統(tǒng)，主要是人主機(jī)從，到人是正常且完美的，人是駕駛鏈的BUG，這個(gè)過程中主要是人機(jī)交互。

人是一個(gè)高度智慧體，怎么發(fā)揮人對(duì)于這個(gè)世界感知的優(yōu)勢，包括決策的優(yōu)勢，實(shí)現(xiàn)人機(jī)融合智能，這是未來汽車自主駕駛的發(fā)展方向。

           汽車的智能化總體來講是一個(gè)機(jī)器自動(dòng)化，向類人自動(dòng)化的演繹，目前主要停留在第一階段，是人在教機(jī)器，通過編程、預(yù)設(shè)行駛場景實(shí)現(xiàn)。隨著智能化的發(fā)展，機(jī)器學(xué)人駕駛，也就是類人駕駛，這里面用到的就是人工智能技術(shù)。

          人的問題是其中的一個(gè)挑戰(zhàn)，環(huán)境是另外一個(gè)挑戰(zhàn)，系統(tǒng)里包含大量的不確定性因素，這些不確定因素很大程度上是因?yàn)閭鞲衅鞯木?、分辨率、檢測范圍不足，這個(gè)不確定形成的誤差、噪聲、干擾等，會(huì)通過傳感感知系統(tǒng)傳導(dǎo)到我們的決策規(guī)劃，到最后的控制執(zhí)行，對(duì)汽車的安全行駛構(gòu)成威脅。

          據(jù)統(tǒng)計(jì)有多達(dá)43%的人認(rèn)為自動(dòng)駕駛汽車不安全，有多達(dá)75%的人寧愿自己開車也不愿乘坐自動(dòng)駕駛的車輛，只有當(dāng)自動(dòng)駕駛汽車比人駕駛安全4~5倍，人們才會(huì)信任自動(dòng)駕駛。

          安全可靠性的測試長期以來是汽車量產(chǎn)里一個(gè)很重要因素，功能安全是其中一方面，ISO26262因?yàn)楣收虾褪淼陌踩珕栴}，很多時(shí)候是因?yàn)閷?duì)于系統(tǒng)的這些問題，我們不足以來應(yīng)對(duì)它。

          現(xiàn)在行業(yè)也在探討所謂多主體的安全，它來自于周邊別的車輛和行人對(duì)你構(gòu)成的威脅，這些問題都是汽車智能駕駛在安全方面要做的規(guī)范和探討。

          安全事故往往是小概率事件，測試驗(yàn)證需要很大的樣本、很長的周期，美國的蘭德公司的報(bào)告告訴我們，這個(gè)問題就是究竟需要多少英里才能證明？行駛1億英里大約會(huì)造成1.16人死亡，只靠傳統(tǒng)的場地測試驗(yàn)證已經(jīng)做不到了。

          從安全的角度考慮，危險(xiǎn)機(jī)械的工況不太可能通過封閉園區(qū)、開放道路來測試，這個(gè)測試成本極高；另外就是效率，還有里程數(shù)沒有辦法。虛擬的數(shù)字實(shí)驗(yàn)場變成了一個(gè)非常重要的途徑。公共Waymo，到現(xiàn)在為止這個(gè)數(shù)據(jù)已經(jīng)達(dá)到150億英里，而道路測試總里程數(shù)才2 000萬公里。仿真測試在虛擬理解里，我們構(gòu)建道路結(jié)構(gòu)、交通、天氣光照的因素來實(shí)現(xiàn)系統(tǒng)的測試。如果這些是自動(dòng)駕駛，包括它的軟硬件等，核心問題是能不能構(gòu)建出這么一個(gè)世界或者場景來測試它。場景來源于我們對(duì)世界的抽象認(rèn)識(shí)，這個(gè)世界無限豐富，極其復(fù)雜，沒有邊界。

          通過建模構(gòu)建測試驗(yàn)證和評(píng)價(jià)體系，包括世界模型，以及道路模型、交通模型、氣象模型，相機(jī)模型包括單目相機(jī)、雙目相機(jī)等，來驅(qū)動(dòng)車輛。

         怎么構(gòu)成基于對(duì)世界的理解，就是我們中間講的場景。一部分是靜態(tài)的，比如道路、交通、設(shè)施等；還有一部分是動(dòng)態(tài)的，特別是動(dòng)態(tài)的，它既有實(shí)際特征又復(fù)雜，沒有邊界。怎么構(gòu)建這個(gè)場景？一方面我們提出行駛環(huán)境里三維組合的場景概念，比如高速公路、城鄉(xiāng)道路、封閉園區(qū)等，環(huán)境的影響；另一個(gè)方面就是駕駛場景，你的速度和駕駛模式是什么，這是場景的三維組合。

         四維的映射，從傳感器的角度，特別是自動(dòng)駕駛里的測試，比如雷達(dá)、相機(jī)等，我們來看它的幾何特征，形成一個(gè)對(duì)行駛環(huán)境四維的映射。

         場景是可以模擬的，比如封閉園區(qū)、數(shù)字虛擬場景、實(shí)驗(yàn)室場景，它的優(yōu)勢可以自動(dòng)生成，甚至可以大量生成，而且可以解決數(shù)據(jù)里的標(biāo)注問題。模擬場景的核心點(diǎn)是要構(gòu)建出復(fù)雜的道路，無序的交通、惡劣的天氣和突發(fā)事件，這些在日常行駛過程中很難構(gòu)建。

         場景構(gòu)建解決了另一個(gè)問題，就是數(shù)據(jù)的來源?，F(xiàn)在大量的數(shù)據(jù)，深度學(xué)習(xí)數(shù)據(jù)是一個(gè)重要的方面，構(gòu)建虛擬的數(shù)字實(shí)驗(yàn)場，形成人工場景數(shù)據(jù)。

仿真測試支撐產(chǎn)品開發(fā)的方方面面，通常我們講的V字型的模式，左邊是系統(tǒng)設(shè)計(jì)和分解的過程，這個(gè)過程可以通過大量的軟件模擬仿真來支撐它的開發(fā)。右邊是不斷的集成和驗(yàn)證的過程，這樣就有不少的硬件，包括執(zhí)行機(jī)構(gòu)、傳感器、車輛都可以構(gòu)成硬件在環(huán)仿真。最后可以引入人的環(huán)節(jié)，實(shí)現(xiàn)主客觀評(píng)價(jià)，駕駛模擬器，構(gòu)成了一個(gè)完整的對(duì)于汽車開發(fā)環(huán)境的支撐。

          最后簡單介紹一下我們開發(fā)的一個(gè)仿真平臺(tái)。這個(gè)平臺(tái)首先是車輛動(dòng)力學(xué)，不同的車輛（包括電動(dòng)汽車、汽油車、客車等）構(gòu)成了車輛動(dòng)力學(xué)的模型，在數(shù)字虛擬環(huán)境下構(gòu)建了行駛環(huán)境的模擬，比如道路、高度結(jié)構(gòu)、道路紋理，對(duì)車道線檢測，包括車輛的檢測非常重要，三維場景的行駛模擬。

          這是我們給戴姆勒做的實(shí)例，從地圖導(dǎo)入，自動(dòng)生成場景——德國的城市，構(gòu)建的一個(gè)場景。

          世界模擬的核心是交通，特別是交通里的邊界條件，極端的異常交通工況怎么進(jìn)行模擬？這是我們構(gòu)建的Traffic Builder。

          剛才我們提到的行駛環(huán)境或場景都是給傳感器看的，主要的車載傳感器包括毫米波雷達(dá)、相機(jī)，還有激光雷達(dá)、超聲波、無線通信、定位等，傳感器建模就顯得非常重要。

          有了這個(gè)系統(tǒng)后，可以在一個(gè)軟件環(huán)境下打造一個(gè)基于虛擬平臺(tái)的仿真測試平臺(tái)，構(gòu)建由環(huán)境模型、道路交通、天氣光照，支撐我們開發(fā)處理算法、控制算法等。進(jìn)一步可以引入軟件在環(huán)模型等，實(shí)現(xiàn)了實(shí)時(shí)仿真測試，進(jìn)一步可以支撐打造分布式的機(jī)群，來支撐多傳感模擬仿真，包括N路相機(jī)、雷達(dá)；支撐處理器的開發(fā)，把模擬數(shù)據(jù)傳過去，在實(shí)驗(yàn)室的環(huán)境下生成大量的測試算法。

          汽車自動(dòng)駕駛離不開測試，沒有充分的測試就沒有足夠的安全，沒有足夠的安全就不可能有自動(dòng)駕駛的量產(chǎn)。仿真測試將是汽車自動(dòng)駕駛最為重要且最具挑戰(zhàn)性的測試技術(shù)。