特斯拉的Dojo 環(huán)境很早就集成到了自動駕駛軟件中，以找出軟件工作負載的規(guī)模限制。為了支持前所未有的功率和冷卻??密度，該團隊購買了一個完全定制設(shè)計的 CDU，其成本僅為購買現(xiàn)成和修改它的一小部分。今年年初，該團隊開始對電源和冷卻進行負載測試。根據(jù)特斯拉自動駕駛系統(tǒng)首席系統(tǒng)工程師 Bill Chang 的說法，他們能夠推動超過 2 兆瓦時的電力，然后才使城市的附屬電站跳閘。Hilesmc
以目前的編譯器性能，一個 Dojo tile 可以取代六個 GPU 盒子的機器學(xué)習(xí)計算量。Hilesmc
超級計算機的第一次大規(guī)模部署將針對需要高算術(shù)強度的自動標記，目前在 72 個 GPU 機架上占用 4,000 個 GPU。預(yù)計四個 Dojo 機柜將提供相同的吞吐量。Hilesmc
第一個 Exapod 由 10 個 Dojo 機柜組成，可產(chǎn)生 2.5 倍的自動標簽容量，將于 2023 年第一季度在帕洛阿爾托部署。此外，特斯拉計劃未來在帕洛阿爾托部署七臺 Exapod。Hilesmc
Hilesmc
特斯拉 Dojo 超級計算機 ExaPODHilesmc
特斯拉自動駕駛軟件主管 Ashok Elluswamy 表示，訓(xùn)練神經(jīng)網(wǎng)絡(luò)系統(tǒng)的方法包括自動標記、模擬和使用數(shù)據(jù)引擎，顯然這是一系列試驗和錯誤。訓(xùn)練過程要求特斯拉在一年內(nèi)將訓(xùn)練基礎(chǔ)設(shè)施擴大 40-50%，達到美國多個訓(xùn)練集群的約 14,000 個 GPU。現(xiàn)在，神經(jīng)網(wǎng)絡(luò)在同一臺自動駕駛計算機內(nèi)的兩個獨立的片上系統(tǒng) (SoC) 上執(zhí)行，具有嚴格控制的端到端延遲。該系統(tǒng)不僅在特斯拉汽車上運行，而且在特斯拉機器人擎天柱上也能運行。Hilesmc
語言建模
值得注意的是，該團隊已經(jīng)使用語言建模來改善計算機視覺。Elluswamy 指出，語言建模將成為未來計算機視覺的基礎(chǔ)，它可以為汽車運行自動駕駛，并預(yù)測機器人到達目的地的優(yōu)化路徑，例如在家中或工廠。Hilesmc
該系統(tǒng)的神經(jīng)網(wǎng)絡(luò)能夠用物理對象（即特斯拉術(shù)語中的占用率）構(gòu)建一個 3D 向量空間，并通過使用單詞和標記對其進行編碼來檢測車道和道路結(jié)構(gòu)。Hilesmc
負責(zé)特斯拉自動駕駛視覺團隊的 John Emmons 表示，早期的自動駕駛通過建模圖像空間實例分割來檢測車道。它可以有效地檢測高速公路等高度結(jié)構(gòu)化的道路，但會導(dǎo)致在執(zhí)行復(fù)雜操作時完全崩潰，例如在十字路口和其他具有更復(fù)雜道路拓撲的地方轉(zhuǎn)彎。Hilesmc
為了檢測車道連通性，該團隊為系統(tǒng)開發(fā)了一種車道語言，以預(yù)測車輛和其他車輛的路線。“通過將（車道檢測）建模為帶有單詞和標記的語言，我們可以利用最近的自回歸架構(gòu)，”Emmons 說。Hilesmc
分割車道的問題在于，一方面，有時輸入的道路圖像在各種天氣條件下不夠清晰。Hilesmc
通過預(yù)測所有物體未來軌跡的一組短時間范圍，可以預(yù)測和避免危險情況。這就是語義真正用于車道檢測的方式。Hilesmc
構(gòu)建用于 AI 訓(xùn)練的超級計算機
工程負責(zé)人怎么強調(diào)訓(xùn)練這些模型對改進的重要性都不為過，大量的訓(xùn)練將需要更大的計算能力和高效率。盡管容量適中，但工程團隊從 DRAM 退回到具有高帶寬和低延遲的 SRAM，這有助于實現(xiàn)算術(shù)單元的高利用率。Hilesmc
該團隊注意到今天大多數(shù)機器的另一個不同尋常的舉動是他們決定使用模型并行作為訓(xùn)練方法。Hilesmc
特斯拉自動駕駛硬件高級總監(jiān) Ganesh Venkataramanan 表示：“所有決定都是圍繞‘無極限’理念做出的。” “這就是我們垂直整合我們的數(shù)據(jù)中心以提高效率、優(yōu)化電力輸送、冷卻以及系統(tǒng)管理的原因。”Hilesmc
雖然特斯拉的全自動駕駛功能尚未克服一些技術(shù)障礙和監(jiān)管限制，但其人工智能團隊在特斯拉的 2022 年人工智能日上展示了令人印象深刻的工作。Hilesmc
10 月 1 日的年度活動更像是一場計算機科學(xué)講座。除了創(chuàng)始人埃隆馬斯克和人形機器人擎天柱之外，特斯拉的 20 多名工程團隊負責(zé)人上臺分享了他們過去一年的進展。整個活動持續(xù)了大約三個小時。Hilesmc
據(jù)特斯拉稱，超過 160,000 名客戶正在使用其 FSD Beta 軟件。去年這個數(shù)字是2,000。在過去的一年里，F(xiàn)SD 團隊總共訓(xùn)練了超過 75,000 款 AI 模型，并交付了 281 款真正提升自動駕駛性能的模型。Hilesmc
責(zé)編：Editordan
