NVIDIA 英偉達(dá)DRIVE AGX自動(dòng)駕駛開(kāi)發(fā)平臺(tái)

經(jīng)銷商-富瑞博國(guó)際

關(guān)鍵詞： NVIDIA DRIVE AGX自動(dòng)駕駛嵌入式超級(jí)計(jì)算平臺(tái), NVIDIA英偉達(dá)自動(dòng)駕駛DRIVE開(kāi)發(fā)平臺(tái)， NVIDIA英偉達(dá)DRIVE AGX 自動(dòng)駕駛套件, 英偉達(dá)自動(dòng)駕駛芯片，NVIDIA 自動(dòng)駕駛AI開(kāi)發(fā)平臺(tái), NVIDIA英偉達(dá)自動(dòng)駕駛AGX芯片

NVIDIA DRIVE-自主汽車(chē)開(kāi)發(fā)平臺(tái)，NVIDIA英偉達(dá)自動(dòng)駕駛芯片方案AGX

NVIDIA DRIVE ™是NVIDIA旗下一個(gè)自動(dòng)駕駛行業(yè)的端到端平臺(tái)，平臺(tái)包括車(chē)載計(jì)算機(jī)（DRIVE AGX）和完整的參考架構(gòu)（DRIVE Hyperion™)以及數(shù)據(jù)中心托管仿真（DRIVE Constellation™) 以及深度神經(jīng)網(wǎng)絡(luò)（DNN）訓(xùn)練平臺(tái)（DGX™). 這些平臺(tái)還包括豐富的軟件開(kāi)發(fā)工具包（sdk），以加速自動(dòng)駕駛汽車(chē)（AV）的開(kāi)發(fā)。

NVIDIA DRIVE AGX自動(dòng)駕駛嵌入式超級(jí)計(jì)算平臺(tái)

The NVIDIA DRIVE™ AGX Developer Kit提供了開(kāi)發(fā)生產(chǎn)級(jí)自主車(chē)輛（AV）所需的硬件、軟件和示例應(yīng)用程序。NVIDIA DRIVE AGX系統(tǒng)建立在生產(chǎn)汽車(chē)級(jí)硅上，具有開(kāi)放的軟件框架，并擁有大量汽車(chē)合作伙伴（包括汽車(chē)級(jí)傳感器供應(yīng)商、汽車(chē)1級(jí)供應(yīng)商）可供選擇。

細(xì)節(jié)

驅(qū)動(dòng)器AGX硬件選項(xiàng)

驅(qū)動(dòng)AGX Xavier™開(kāi)發(fā)工具包（SKU 2000）：包括兩個(gè)Xavier系統(tǒng)芯片（SOC），用于開(kāi)發(fā)SAE 2/3級(jí)自動(dòng)駕駛應(yīng)用程序

駕駛AGX Pegasus™開(kāi)發(fā)工具包（SKU 2200）：包括兩個(gè)Xavier SOC和兩個(gè)NVIDIA Turing™用于開(kāi)發(fā)robotaxi應(yīng)用程序的GPU

NVIDIA DRIVE AGX XAVIER，NVIDIA英偉達(dá)自動(dòng)駕駛芯片方案AGX

NVIDIA DRIVE AGX Xavier為L2+級(jí)高級(jí)駕駛員輔助系統(tǒng)和L3級(jí)自動(dòng)駕駛而設(shè)計(jì)。其核心是Xavier系統(tǒng)級(jí)芯片(SoC),它是一款用于自動(dòng)駕駛的芯片,也是有史以來(lái)最復(fù)雜的系統(tǒng)級(jí)芯片。它包含六種不同類型的處理器,可高效運(yùn)行多種冗余性深度學(xué)習(xí)算法。

DRIVE AGX Xavier™開(kāi)發(fā)工具包（SKU 2000）：

組件描述詳細(xì)信息

基于armv8isa的兩個(gè)Xavier soc 8核“Carmel"cpu

深度學(xué)習(xí)加速器（DLA）5個(gè)TOP（FP16）| 10個(gè)TOP（INT8）

英偉達(dá)伏特™-類集成GPU 20 TOPS（INT8）| 1.3 TFLOPS（FP32）

可編程視覺(jué)加速器（PVA）1.6 TOPS

圖像信號(hào)處理器（ISP）1.5千兆像素/秒

視頻編碼器高達(dá)1.2 GPix/s

視頻

內(nèi)存帶寬（256位LPDDR4）136 GB/s

通過(guò)16x GMSL（R）端口驅(qū)動(dòng)AGX系統(tǒng)I/O攝像頭90 Gb/s

通過(guò)以太網(wǎng)傳輸?shù)募す饫走_(dá)/雷達(dá)~50 Gb/s

車(chē)輛IO 6 CAN接口

包括配件攝像頭200萬(wàn)像素RCCB攝像頭，60度視野

車(chē)輛線束連接到車(chē)輛IO端口

其他電纜將驅(qū)動(dòng)器AGX系統(tǒng)連接到主機(jī)開(kāi)發(fā)計(jì)算機(jī)

驅(qū)動(dòng)軟件驅(qū)動(dòng)操作系統(tǒng)

預(yù)裝Linux Ubuntu操作系統(tǒng)

QNX選項(xiàng)還提供NVIDIA CUDA®庫(kù)，包括TensorRT®（用于訪問(wèn)深度學(xué)習(xí)硬件加速器）；NVMEDIA（用于訪問(wèn)用于圖像處理和計(jì)算機(jī)視覺(jué)的硬件加速器）；compute和NVIDIA CUDA工具。

NVIDIA DriveWorks SDK提供了參考應(yīng)用程序、工具和一個(gè)全面的模塊庫(kù)，這些模塊利用了DRIVE AGX平臺(tái)的計(jì)算能力。

DRIVE AV提供了可利用DriveWorks SDK進(jìn)行感知、映射和規(guī)劃的模塊。

DRIVE IX算法用于可視化車(chē)輛周?chē)h(huán)境、基于AI的駕駛員監(jiān)控和車(chē)內(nèi)輔助。

NVIDIA DRIVE AGX PEGASUS，NVIDIA英偉達(dá)自動(dòng)駕駛芯片方案AGX

NVIDIA DRIVE AGX Pegasus能在AI感知、定位以及路徑規(guī)劃方面提供強(qiáng)大的處理性能,專為L4級(jí)高級(jí)自動(dòng)駕駛、L5級(jí)全自動(dòng)駕駛以及自動(dòng)駕駛出租車(chē)設(shè)計(jì)。   該系統(tǒng)由兩個(gè)NVIDIA Xavier處理器以及兩個(gè)NVIDIA Turing GPU組成,可運(yùn)行各種冗余的深度神經(jīng)網(wǎng)絡(luò)以確保安全操作。

NVIDIA DRIVE AGX Pegasus™工具包（SKU 2200）：同上，但增加了：

組件描述詳細(xì)信息

兩個(gè)“圖靈"離散GPU（驅(qū)動(dòng)AGX Pegasus）圖靈離散GPU（TU104 SXM2）130個(gè)TOP（INT8）| 8.1 TFLOP（FP32）通過(guò)NVIDIA®NVLink連接到Xavier SoC™（20 GB/s）

離散GPU內(nèi)存帶寬384 GB/s

概述

NVIDIA DRIVE AGX開(kāi)發(fā)工具包是一個(gè)開(kāi)放的人工智能汽車(chē)計(jì)算平臺(tái)，它使汽車(chē)制造商、一級(jí)汽車(chē)供應(yīng)商和其他開(kāi)發(fā)人員能夠加快自動(dòng)化和自主汽車(chē)的生產(chǎn)。

該套件附帶NVIDIA DRIVE AGX系統(tǒng)（以下簡(jiǎn)稱“系統(tǒng)"），采用兩個(gè)NVIDIA®Xavier設(shè)計(jì)™主板上的SoC處理器。本文檔提供了基于NVIDIA®Xavier的開(kāi)發(fā)系統(tǒng)的硬件功能和規(guī)格的詳細(xì)信息™建筑。

NVIDIA DRIVE Hyperion Developer Kit

NVIDIA DRIVE Hyperion開(kāi)發(fā)工具包

NVIDIA DRIVE Hyperion™是NVIDIA L2+自動(dòng)駕駛解決方案的參考架構(gòu),包括完整的傳感器套件和AI計(jì)算平臺(tái),以及用于自動(dòng)駕駛、駕駛員監(jiān)控和可視化的完整軟件堆棧。DRIVE Hyperion套件可以集成到測(cè)試車(chē)輛中,使AV開(kāi)發(fā)人員能夠開(kāi)發(fā)、評(píng)估和驗(yàn)證AV技術(shù)。借助NVIDIA DRIVE Hyperion,軟件配置用于數(shù)據(jù)采集(各種傳感器),數(shù)據(jù)記錄(使用存儲(chǔ)設(shè)備),可視化(使用車(chē)內(nèi)顯示),車(chē)輛界面(使用線控驅(qū)動(dòng)器接口)和軟件更新(使用調(diào)制解調(diào)器)。這讓開(kāi)發(fā)人員可以使用NVIDIADRIVE應(yīng)用程序和DRIVE軟件進(jìn)行體驗(yàn)、評(píng)估和開(kāi)發(fā)。

英偉達(dá)驅(qū)動(dòng)Hyperion™是NVIDIA 2+級(jí)自主解決方案的參考架構(gòu)，包括完整的傳感器套件和AI計(jì)算平臺(tái)，以及用于自動(dòng)駕駛、駕駛員監(jiān)控和可視化的完整軟件堆棧。DRIVE-Hyperion開(kāi)發(fā)工具包可以集成到測(cè)試車(chē)輛中，使AV開(kāi)發(fā)人員能夠開(kāi)發(fā)、評(píng)估和驗(yàn)證AV技術(shù)。軟件更新為使用NVIDIA DRIVE OTA“空中傳送"更新基礎(chǔ)設(shè)施和服務(wù)來(lái)驅(qū)動(dòng)Hyperion。

DRIVE Hyperion設(shè)計(jì)用于：

-自主汽車(chē)（AV）開(kāi)發(fā)商專注于2+級(jí)以上的自主性。NVIDIA英偉達(dá)自動(dòng)駕駛芯片方案AGX

它適用于以下目標(biāo)：

-DRIVE AV評(píng)估

-DRIVE IX評(píng)估

-AV自動(dòng)駕駛汽車(chē)感知神經(jīng)網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)采集

-地圖數(shù)據(jù)采集

-道路測(cè)試

這一切是如何結(jié)合在一起的

通過(guò)DRIVE Hyperion，軟件配置用于數(shù)據(jù)采集（各種傳感器）、數(shù)據(jù)記錄（使用存儲(chǔ)設(shè)備）、可視化（使用車(chē)內(nèi)顯示）、車(chē)輛界面（使用線控接口）和軟件更新（使用調(diào)制解調(diào)器）。這使得開(kāi)發(fā)人員可以體驗(yàn)、評(píng)估和使用NVIDIA驅(qū)動(dòng)器應(yīng)用程序和驅(qū)動(dòng)器軟件進(jìn)行開(kāi)發(fā)。

傳感器布局

DRIVE-Hyperion開(kāi)發(fā)工具包具有特定類型和配置的傳感器，以支持2+級(jí)自治和更高級(jí)別的應(yīng)用程序開(kāi)發(fā)。

7x外部攝像頭（Sekonix/On Semi AR0231）

-2x前置攝像頭（120 FOV和60 FOV），用于歐洲NCAP安全和基本L2功能

-3x側(cè)面（120 FOV）和后置攝像頭（60 FOV），用于高級(jí)公路L2+功能

-2x用于城市發(fā)展的交叉交通（120 FOV）攝像頭

1x用于駕駛員監(jiān)控功能的車(chē)內(nèi)（55 FOV）攝像頭（在Semi AR0144上）

8x雷達(dá)（大陸ARS430）

-1x前置中心雷達(dá)，用于基本L2功能

-4x轉(zhuǎn)角雷達(dá)，用于高級(jí)公路L2+功能

-1x后雷達(dá)，用于高速自動(dòng)換道

-2x城市發(fā)展交叉交通雷達(dá)

1x用于慣性測(cè)量裝置的自動(dòng)校準(zhǔn)

NVIDIA DRIVE Constellation

NVIDIA DRIVE Constellation

DRIVE Constellation是一款由兩個(gè)并排服務(wù)器組成的自動(dòng)駕駛車(chē)輛仿真平臺(tái)。其中一臺(tái)服務(wù)器DRIVE Constellation Simulator使用NVIDIAGPU運(yùn)行 DRIVE Sim軟件,用以生成在虛擬世界中車(chē)輛行駛的傳感器結(jié)果。另外一臺(tái)服務(wù)器DRIVE Constellation Vehicle搭載了DRIVE AGX Pegasus AI汽車(chē)計(jì)算機(jī),用來(lái)處理仿真的傳感器數(shù)據(jù)。這款基于云端的平臺(tái)可使汽車(chē)在虛擬世界中駕駛數(shù)十億英里。

NVIDIA DRIVE Constellation™是一個(gè)基于云的虛擬現(xiàn)實(shí)仿真平臺(tái)，旨在支持自主汽車(chē)的開(kāi)發(fā)和驗(yàn)證。

該平臺(tái)是一個(gè)數(shù)據(jù)中心解決方案，由兩個(gè)并排的服務(wù)器組成：

臺(tái)服務(wù)器，NVIDIA DRIVE Constellation Simulator模擬器，使用NVIDIA GPUs運(yùn)行驅(qū)動(dòng)器模擬軟件模擬虛擬世界。模擬器產(chǎn)生傳感器輸出從虛擬世界中的虛擬汽車(chē)駕駛。

第二臺(tái)服務(wù)器，NVIDIA DRIVE Constellation Vehicle，包含驅(qū)動(dòng)AGX Pegasus AI汽車(chē)計(jì)算機(jī)運(yùn)行完整的AV軟件堆棧，以處理模擬傳感器數(shù)據(jù)。

DRIVE Constellation Vehicle的駕駛決策反饋到DRIVE Constellation Simulator中，實(shí)現(xiàn)位精度的硬件在環(huán)測(cè)試。

DRIVE Constellation優(yōu)勢(shì)，NVIDIA英偉達(dá)自動(dòng)駕駛芯片方案AGX

-可擴(kuò)展解決方案：DRIVE Constellatio是一個(gè)可擴(kuò)展的平臺(tái)。它被設(shè)計(jì)成可以在數(shù)據(jù)中心大規(guī)模部署。這一規(guī)模將允許數(shù)百萬(wàn)英里的測(cè)試和驗(yàn)證。在云中部署的Constellations vehicles越多，我們每年可以行駛的里程就越多

-保真度：DRIVE Constellation simulation platform駕駛星座仿真平臺(tái)是真實(shí)世界中確的自主汽車(chē)表現(xiàn)形式。它有點(diǎn)準(zhǔn)確，計(jì)時(shí)準(zhǔn)確

-模擬罕見(jiàn)和困難條件：有了控制交通和測(cè)試環(huán)境的能力，開(kāi)發(fā)人員可以在不危及實(shí)際車(chē)輛和車(chē)輛乘員的情況下，鉆研特別罕見(jiàn)和困難的條件。這些包括天氣，困難的照明，以及來(lái)自周?chē)?chē)輛的危險(xiǎn)操作

-基于場(chǎng)景的測(cè)試：駕駛星座使車(chē)輛能夠不斷地遇到學(xué)習(xí)時(shí)刻，并反復(fù)測(cè)試，而不是駕駛數(shù)千英里等待新的和重要的交通狀況

-模擬中的測(cè)試是可重復(fù)的，并且集中于在現(xiàn)實(shí)世界中很少出現(xiàn)且難以重現(xiàn)的關(guān)鍵案例。在模擬中駕駛一英里比在實(shí)際的高速公路上行駛幾百英里能產(chǎn)生更多的體驗(yàn)。

自動(dòng)駕駛汽車(chē)應(yīng)用開(kāi)發(fā)從DRIVE-AGX開(kāi)發(fā)平臺(tái)開(kāi)始，然后對(duì)DRIVE Constellation的軟件算法進(jìn)行驗(yàn)證。經(jīng)過(guò)充分的驗(yàn)證后，該軟件被部署用于使用DRIVE-Hyperion參考體系結(jié)構(gòu)的道路測(cè)試。此過(guò)程將重復(fù)多次以提高性能。

DRIVE Constellation 結(jié)構(gòu)

NVIDIA DRIVE Constellation組件：

DRIVE-Sim是一種仿真軟件，它為虛擬測(cè)試提供了豐富的三維環(huán)境。當(dāng)車(chē)輛在DRIVE-Sim中進(jìn)行測(cè)試時(shí)，將為攝像機(jī)、雷達(dá)、激光雷達(dá)等生成傳感器數(shù)據(jù)，并將其發(fā)送到被測(cè)的AV軟件堆棧中。然后，AV堆棧返回控制信號(hào)，在sim卡中操作虛擬車(chē)輛。DRIVE-Sim是一個(gè)開(kāi)放式平臺(tái)，它允許為車(chē)輛動(dòng)態(tài)、傳感器模型、場(chǎng)景等插入定制組件。

DRIVE Constellation模擬器是一個(gè)功能強(qiáng)大的GPU服務(wù)器，它能夠運(yùn)行DRIVE-Sim并為多個(gè)傳感器實(shí)時(shí)生成精確定時(shí)的數(shù)據(jù)。在駕駛星座模擬器上生成的數(shù)據(jù)被發(fā)送到在駕駛星座車(chē)的AV硬件上運(yùn)行的AV軟件。

DRIVE Constellation Vehicle是一個(gè)數(shù)據(jù)中心服務(wù)器，包含車(chē)內(nèi)AV硬件和AV軟件。它與驅(qū)動(dòng)器星座模擬器共享高速數(shù)據(jù)連接，以低延遲接收所有生成的數(shù)據(jù)。兩個(gè)系統(tǒng)之間的時(shí)間是嚴(yán)格控制的

幾十年前，英偉達(dá)發(fā)明了GPU，引發(fā)了一場(chǎng)計(jì)算機(jī)時(shí)代。這項(xiàng)核心技術(shù)誕生于游戲?qū)I(yè)可視化行業(yè)，現(xiàn)在已經(jīng)在高性能和加速以及人工智能（AI）領(lǐng)域?qū)崿F(xiàn)了飛躍。當(dāng)我們擴(kuò)展我們的系統(tǒng)和產(chǎn)品在機(jī)器人、醫(yī)療、醫(yī)療、航天和娛樂(lè)領(lǐng)域都面臨著新的挑戰(zhàn)。英偉達(dá)現(xiàn)在正在將我們未來(lái)的計(jì)算性能和能源效率應(yīng)用于運(yùn)輸行業(yè)，幫助世界各地的汽車(chē)制造商實(shí)現(xiàn)

安全可靠的自動(dòng)駕駛汽車(chē)。汽車(chē)正在改變運(yùn)輸業(yè)。它們通過(guò)大幅度減少與車(chē)輛相關(guān)的事故、降低交通能耗、提高生產(chǎn)率以及為無(wú)法駕駛的人提供機(jī)動(dòng)性，從而拯救了生命。英偉達(dá)與世界各地的汽車(chē)制造商、供應(yīng)商、傳感器測(cè)繪公司和初創(chuàng)企業(yè)合作，共同開(kāi)發(fā)的移動(dòng)新世界。我們提供的系統(tǒng)架構(gòu)，人工智能硬件和核心軟件，以建立所有類型的自動(dòng)汽車(chē)和卡車(chē)，自主的穿梭機(jī)和機(jī)器人。NVIDIA驅(qū)動(dòng)器™，我們的高度可擴(kuò)展平臺(tái)，可以實(shí)現(xiàn)汽車(chē)工程師協(xié)會(huì)（SAE）定義的所有級(jí)別的駕駛。這些高級(jí)駕駛員輔助系統(tǒng)功能（SAE 2級(jí)：駕駛員輔助）自動(dòng)駕駛出租車(chē)（SAE 5級(jí)：全自動(dòng)）。自主駕駛的計(jì)算要求比當(dāng)今生產(chǎn)中的車(chē)輛容易得多。與NVIDIA合作伙伴實(shí)現(xiàn)了安全性的提高，實(shí)時(shí)運(yùn)行各種冗余算法的復(fù)雜軟件。在開(kāi)發(fā)過(guò)程中，我們創(chuàng)建了一個(gè)單一的可擴(kuò)展體系結(jié)構(gòu)，在保留體系結(jié)構(gòu)的同時(shí)，通過(guò)附加的硬件和軟件提高了自治性。同樣的策略也適用于安全。我們的架構(gòu)豐富了系統(tǒng)的元素，以不斷提高安全性。

自動(dòng)駕駛汽車(chē)的好處

美國(guó)2016年收集的數(shù)據(jù)凸顯了自動(dòng)駕駛解決方案的迫切需要。道路死亡人數(shù)比前一年增加了5.6%，比過(guò)去50年的任何一年都要多。美國(guó)國(guó)家公路交通安全管理局估計(jì)94%的交通事故是由人為錯(cuò)誤引起的，包括分心駕駛、昏昏欲睡、超速行駛和酒精中毒。

幸運(yùn)的是，增加或替代駕駛員的技術(shù)可以減輕絕大多數(shù)此類事故。它還可以大大減少通勤者每年在交通中浪費(fèi)的小時(shí)數(shù)（目前平均為42小時(shí)），以及因交通擁堵而損失的1600億美元4。此外，自動(dòng)駕駛帶來(lái)了更高效的交通模式，因此可以減少運(yùn)輸業(yè)造成的空氣污染量，2016年估計(jì)占美國(guó)溫室氣體排放總量的28%。計(jì)算實(shí)現(xiàn)更高的安全性NVIDIA地提供了高性能計(jì)算所需的冗余傳感器，不同的算法，和額外的診斷，以支持更安全的操作。我們?yōu)槠?chē)配備了多種冗余傳感器，用于傳感器融合。然后，多個(gè)不同的人工智能深度神經(jīng)網(wǎng)絡(luò)和算法的感知，地圖定位，和路徑

規(guī)劃運(yùn)行在集成的GPU、CPU、深度學(xué)習(xí)加速器（DLA）和可編程視覺(jué)加速器（PVA）的組合上，以實(shí)現(xiàn)盡可能安全的駕駛。英偉達(dá)已經(jīng)創(chuàng)造了必要的技術(shù)，以建立健全的，端到端系統(tǒng)的研究，開(kāi)發(fā)和部署自動(dòng)駕駛車(chē)輛。我們提供一系列的硬件和軟件解決方案，從強(qiáng)大的GPU和服務(wù)器到完整的人工智能培訓(xùn)基礎(chǔ)設(shè)施和車(chē)載自動(dòng)駕駛超級(jí)計(jì)算機(jī)。我們還支持學(xué)術(shù)研究和早期開(kāi)發(fā)人員，與數(shù)十所大學(xué)合作，并在我們的深度學(xué)習(xí)學(xué)院教授人工智能開(kāi)發(fā)課程。當(dāng)我們發(fā)現(xiàn)挑戰(zhàn)時(shí)，我們將其轉(zhuǎn)化為機(jī)遇并制定解決方案。本報(bào)告概述了NVIDIA的自主車(chē)輛技術(shù)，以及我們?cè)诎踩軜?gòu)、共同設(shè)計(jì)的硬件和軟件、設(shè)計(jì)工具、方法和實(shí)踐方面的貢獻(xiàn)如何使可靠性和安全性達(dá)到。