在過去十年中，設(shè)計(jì)人員開發(fā)了各種硅技術(shù)，能夠以足夠快的速度運(yùn)行先進(jìn)的深度學(xué)習(xí)數(shù)學(xué)，以探索和實(shí)現(xiàn)人工智能（AI）應(yīng)用，如目標(biāo)識別、語音和面部識別等。機(jī)器視覺應(yīng)用目前通常比人類更精確，它是推動新的片上系統(tǒng)（SoC）投資以滿足日常應(yīng)用AI開發(fā)的關(guān)鍵功能之一。B8uesmc

在視覺應(yīng)用中使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和其它深度學(xué)習(xí)算法已經(jīng)產(chǎn)生了這樣的影響——即SoC內(nèi)的AI能力正變得普及。 Semico的《2018年人工智能報告》對此進(jìn)行了有效總結(jié)：“......某種程度的AI功能幾乎在各類硅片中都很強(qiáng)大、且發(fā)展勢頭強(qiáng)勁。”B8uesmc

除視覺應(yīng)用外，深度學(xué)習(xí)還用于解決復(fù)雜問題，例如蜂窩基礎(chǔ)設(shè)施的5G實(shí)施，以及通過稱為自組織網(wǎng)絡(luò)（SON）來配置、優(yōu)化和修復(fù)自身的能力來簡化5G操作任務(wù)。 5G網(wǎng)絡(luò)將增加新的復(fù)雜層，包括波束成形、毫米波（mmWave）中的附加頻譜、載波聚合和更高帶寬，所有這些都需要機(jī)器學(xué)習(xí)算法在分布式系統(tǒng)中適當(dāng)?shù)貎?yōu)化和處理數(shù)據(jù)。B8uesmc

行業(yè)巨頭和數(shù)百家初創(chuàng)公司都致力于將AI功能推廣到各行各業(yè)的大量新的SoC和芯片組——從云服務(wù)器農(nóng)場到每家廚房的家庭助理。 SoC設(shè)計(jì)師正在使用更多來自生物學(xué)的例子而不僅僅是他們旨在復(fù)制的神經(jīng)網(wǎng)絡(luò)；他們擁抱——利用設(shè)備的基本構(gòu)建模塊（本性或DNA），以及AI設(shè)計(jì)的培育（環(huán)境方面的設(shè)計(jì)工具、服務(wù)和專業(yè)知識等）——這兩種概念，以期超越競爭對手并不斷改進(jìn)產(chǎn)品。B8uesmc

培育AI SoC的功夫已在硅設(shè)計(jì)之外

在SoC中添加AI功能突顯了當(dāng)今用于AI的SoC架構(gòu)的弱點(diǎn)。在為非AI應(yīng)用構(gòu)建的SoC上實(shí)現(xiàn)視覺、語音識別和其它深度學(xué)習(xí)/機(jī)器學(xué)習(xí)算法時，SoC的資源會捉襟見肘。選擇和整合IP清楚地確定了AI SoC的基線效率，它構(gòu)成了AI SoC的“DNA”或本征特性。 （參見：《AI SoC的DNA》）。例如，引入自定義處理器或處理器陣列可以加速AI應(yīng)用中所需的大規(guī)模矩陣乘法運(yùn)算。B8uesmc

然而，培育設(shè)計(jì)這一元素會影響各部分在硬件中如何協(xié)同工作，或者如何優(yōu)化IP以實(shí)現(xiàn)更有效和優(yōu)化的AI SoC。優(yōu)化、測試和基準(zhǔn)測度（benchmark）SoC性能的設(shè)計(jì)流程需要工具、服務(wù)和/或?qū)I(yè)知識來優(yōu)化AI系統(tǒng)。通過定制和優(yōu)化在設(shè)計(jì)流程中培育設(shè)計(jì)可最終決定該SoC在市場中的成功。B8uesmc

隨著AI SoC的復(fù)雜性不斷增加，使用工具、服務(wù)和專業(yè)知識來降低功耗、提升性能和削減成本變得益發(fā)重要。設(shè)計(jì)師需要各種培育方法來加速其設(shè)計(jì)流程和芯片成功。B8uesmc

AI設(shè)計(jì)的三大挑戰(zhàn)

依靠傳統(tǒng)的設(shè)計(jì)流程不會產(chǎn)生每家公司都追求的高性能、市場領(lǐng)先的AI方案。設(shè)計(jì)師必須考慮各種半導(dǎo)體方案。 Semico的《2018年市場報告》指出，“用于培訓(xùn)和推理的架構(gòu)在不斷完善，以達(dá)到可提供恰當(dāng)性能水平的最佳配置。”B8uesmc

數(shù)據(jù)中心架構(gòu)包括GPU、FPGA、ASIC、CPU、加速器和高性能計(jì)算（HPC）方案，而移動市場則是各種片上處理方案的盛宴，如ISP、DSP、多核應(yīng)用處理器、音頻和傳感器處理子系統(tǒng)等。可通過專有SDK有效利用這些異構(gòu)方案，以包納AI和深度學(xué)習(xí)功能。此外，基于預(yù)期的自主駕駛能力，汽車市場訴求差異很大。例如，正如可預(yù)期的那樣，Level 5自主駕駛SoC所支持的帶寬和計(jì)算能力比Level 2+自主駕駛SoC所能支持的要高超得多。這些AI設(shè)計(jì)中的三個一致性挑戰(zhàn)包括：B8uesmc

• 添加專門的可高效地多地執(zhí)行必要的數(shù)學(xué)運(yùn)算（如矩陣乘法和點(diǎn)積）的處理功能
• 用于處理深度學(xué)習(xí)所需的諸如權(quán)重和激活等唯一系數(shù)的高效內(nèi)存訪問
• 用于芯片到芯片、芯片到云、傳感器數(shù)據(jù)和加速器到主機(jī)連接的可靠、經(jīng)過驗(yàn)證的實(shí)時接口

B8uesmc

機(jī)器學(xué)習(xí)算法面臨的最大障礙之一是傳統(tǒng)SoC架構(gòu)的內(nèi)存訪問和處理能力不盡如人意。例如，流行的馮·諾伊曼架構(gòu)就面臨著對AI不夠有效的詬病，導(dǎo)致大家競相搭建更好的機(jī)器（即SoC系統(tǒng)設(shè)計(jì)）。B8uesmc

那些有幸設(shè)計(jì)第二代和第三代面向AI的SoC的玩家已經(jīng)添加了更高效的AI硬件加速器和/或選擇為現(xiàn)有ISP和DSP添加功能以應(yīng)對神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)。B8uesmc

然而，簡單地添加有效的矩陣乘法加速器或高帶寬存儲器接口雖被證明有幫助，但尚不足以成為AI的市場領(lǐng)導(dǎo)者，這一局面強(qiáng)化了在系統(tǒng)設(shè)計(jì)期間專門針對AI進(jìn)行優(yōu)化的概念。B8uesmc

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)適用于各種各樣的應(yīng)用，因此設(shè)計(jì)師在定義特定硬件實(shí)現(xiàn)的目標(biāo)方面存在很大差異。此外，機(jī)器學(xué)習(xí)數(shù)學(xué)進(jìn)展迅速，使架構(gòu)靈活性成為一項(xiàng)強(qiáng)力訴求。對于垂直整合的公司，他們可能能夠?qū)⑵湓O(shè)計(jì)范圍縮小到特定用途、增加優(yōu)化，但也可以靈活地容納其它不斷發(fā)展的算法。B8uesmc

最后，正如發(fā)布在Linley旗下的《微處理器報告（Microprocessor Report）》 期刊的《AI基準(zhǔn)測試仍不成熟》一文所討論的那樣，人工智能算法和芯片的基準(zhǔn)測試仍處于起步階段：B8uesmc

“幾款流行的基準(zhǔn)測試程序可評估CPU和圖形性能，但即使AI工作負(fù)載變得越來越常見，比較AI性能仍是個挑戰(zhàn)。許多芯片供應(yīng)商僅引用每秒浮點(diǎn)運(yùn)算的峰值執(zhí)行率，或者僅針對整數(shù)設(shè)計(jì)的每秒運(yùn)算。但與CPU類似，由于軟件、內(nèi)存或設(shè)計(jì)其它部分的瓶頸，深度學(xué)習(xí)加速器（DLAs）的運(yùn)行速度通常遠(yuǎn)低于峰值理論性能。大家都同意應(yīng)在運(yùn)行實(shí)際應(yīng)用時測量性能，但在運(yùn)行哪些應(yīng)用以及如何運(yùn)行方面各執(zhí)己見。”（2019年1月）B8uesmc

有趣的新基準(zhǔn)開始面對特定市場。例如，MLPerf目前正在研究訓(xùn)練AI SoC的有效性，并計(jì)劃進(jìn)行拓展。雖然這是解決基準(zhǔn)測試挑戰(zhàn)的良好開端，但訓(xùn)練AI SoC僅是影響系統(tǒng)結(jié)果的眾多不同市場、算法、框架和壓縮技術(shù)的一小部分。B8uesmc

另一家組織AI-Benchmark專注于對手機(jī)中的AI功能進(jìn)行基準(zhǔn)測試。手機(jī)使用少量芯片組，其中一些是早期版本，除了傳統(tǒng)處理器之外不包括任何AI加速，采用的做法是針對AI的軟件開發(fā)套件（SDK）實(shí)現(xiàn)。這些基準(zhǔn)測試表明，利用現(xiàn)有的非AI優(yōu)化的處理方案無法提供所需的吞吐量。B8uesmc

所選擇的處理器或處理器陣列通常具有每秒操作的最大額定值或特定處理技術(shù)的特定最高頻率。處理器性能還取決于每條指令的能力。另一方面，接口IP（PCIe®、MIPI、DDR）和基礎(chǔ)IP（邏輯庫、內(nèi)存編譯器）具有最大的理論內(nèi)存帶寬和數(shù)據(jù)吞吐量水平；在接口IP的情況下，通常由標(biāo)準(zhǔn)組織定義。B8uesmc

但是，系統(tǒng)的真正性能不是這些部分的簡單總和；它取決于能夠?qū)⑻幚砥?、存儲器接口和?shù)據(jù)管道正確連接在一起的能力。整個系統(tǒng)的性能由每個集成部件的能力以及如何優(yōu)化這些部件來決定。B8uesmc

雖然設(shè)計(jì)師已經(jīng)在AI SoC的處理器、SDK、數(shù)學(xué)和其它相關(guān)設(shè)計(jì)方面取得了快速進(jìn)步，但這些變化使得進(jìn)行逐項(xiàng)對比變得困難。B8uesmc

壓縮在邊緣的作用

壓縮將是邊緣AI的關(guān)鍵組件，例如在進(jìn)行實(shí)時面部識別的相機(jī)中、執(zhí)行自主駕駛的汽車或運(yùn)行超級圖像分辨率的數(shù)字視頻等應(yīng)用。就使用壓縮來說，市場似乎還只是蜻蜓點(diǎn)水。理解算法的類型以及某種壓縮級別所賦能的準(zhǔn)確度水平是困難的，且還需要試錯迭代。B8uesmc

人工智能驅(qū)動協(xié)同設(shè)計(jì)

雖然多年來人們一直在討論硬件/軟件協(xié)同設(shè)計(jì)的功用，但人工智能可能會放大實(shí)際實(shí)現(xiàn)的重要性。共同設(shè)計(jì)AI芯片的概念不限于硬件和軟件。存儲器和處理器也需要專門為AI設(shè)計(jì)。B8uesmc

例如，在確定系統(tǒng)中每個英特爾至強(qiáng)主處理器內(nèi)有多少個Google TPU（谷歌專為機(jī)器學(xué)習(xí)定制的一款芯片）時，共同設(shè)計(jì)顯而易見，且在其單板計(jì)算機(jī)的配置和軟件程序手冊中對此進(jìn)行了概述。B8uesmc

對同一AI算法使用不同的AI框架是協(xié)同設(shè)計(jì)可以提高效率的另一個例子。每個框架的輸出可能需要不同的存儲容量。在硬件設(shè)計(jì)之前了解存儲容量使設(shè)計(jì)師能優(yōu)化芯片的功耗、大小和性能。B8uesmc

用于AI的存儲和處理方面的共同設(shè)計(jì)勢在必行。例如，深度學(xué)習(xí)算法需要存儲權(quán)重、激活（activation）和其它組件。有趣的是，每次都可以重新計(jì)算深度學(xué)習(xí)算法的激活，以減少內(nèi)存存儲。即使必須考慮額外的處理資源或額外的處理時間，內(nèi)存節(jié)省和降低功耗的好處也可能超過所付代價。類似地，存儲器內(nèi)計(jì)算技術(shù)可能在AI SoC中扮演未來的角色。B8uesmc

這些共同設(shè)計(jì)的例子是由人工智能的新投資拉動的，這種趨勢將繼續(xù)需要新的和額外的專業(yè)知識。B8uesmc

B8uesmc

AI實(shí)現(xiàn)專家可以優(yōu)化協(xié)同設(shè)計(jì)系統(tǒng)架構(gòu)所需的權(quán)衡。專家不僅事先了解在先前的設(shè)計(jì)中任務(wù)是如何完成的，而且他們也非常了解能更好地實(shí)現(xiàn)成功設(shè)計(jì)的適當(dāng)?shù)墓ぞ吆头?wù)。在AI設(shè)計(jì)流程中，設(shè)計(jì)師在采用模擬器、原型設(shè)計(jì)和架構(gòu)探索，以便能夠快速實(shí)施最佳設(shè)計(jì)實(shí)踐。B8uesmc

例如，讓我們以一個必須在非常有限的功率預(yù)算下執(zhí)行非常困難任務(wù)的芯片組為例。 SoC內(nèi)的管道帶寬必須足夠?qū)挘员阍诓焕么罅抠Y源的情況下將數(shù)據(jù)從處理器移動到存儲器或其它系統(tǒng)組件。管道越細(xì)，可以添加的處理器和內(nèi)存就越多。管道越粗，可用的處理和內(nèi)存越少，這直接影響AI性能。這些權(quán)衡可以在模擬器、原型設(shè)計(jì)環(huán)境和架構(gòu)探索工具中建模，從而為AI設(shè)計(jì)提供關(guān)鍵的市場優(yōu)勢。B8uesmc

培育AI SoC設(shè)計(jì)

SoC的開發(fā)流程不斷變化，但本質(zhì)上包括各標(biāo)準(zhǔn)階段，如：系統(tǒng)規(guī)范和架構(gòu)設(shè)計(jì)；邏輯和功能電路設(shè)計(jì)；物理設(shè)計(jì)、驗(yàn)證和分析；制造、封裝和測試；以及硅后（post silicon）驗(yàn)證。新的AI功能可在各階段增加復(fù)雜性。集成的IP明確規(guī)定了某些理論上的最大能力，但設(shè)計(jì)是如何培育的決定著實(shí)現(xiàn)能夠在多大程度上逼近理論最大值。B8uesmc

系統(tǒng)與架構(gòu)設(shè)計(jì)

由于已經(jīng)發(fā)現(xiàn)傳統(tǒng)架構(gòu)對于AI SoC來說效率低下，因此系統(tǒng)規(guī)范需要越來越多的架構(gòu)探索來優(yōu)化設(shè)計(jì)。因?yàn)檎J(rèn)為傳統(tǒng)架構(gòu)效率不高，架構(gòu)服務(wù)就更重要。B8uesmc

B8uesmc

此外，因利用經(jīng)驗(yàn)豐富的設(shè)計(jì)團(tuán)隊(duì)進(jìn)行優(yōu)化和定制，AI SoC與“代”俱進(jìn)，一代更比一代強(qiáng)。 深度學(xué)習(xí)算法包括許多存儲的權(quán)重，理想情況下它們存儲在片上SRAM中以降低功耗和減少處理工作量，借助定制來優(yōu)化SRAM編譯器的功率和密度是個明顯趨勢。B8uesmc

AI在安全漏洞方面提出了新的挑戰(zhàn)。 AI的數(shù)據(jù)往往是私有的，所開發(fā)的算法非常昂貴，并且就最終結(jié)果的準(zhǔn)確性而言，僅破壞一個比特的代價就可能是災(zāi)難性的。 實(shí)施完整的本征可信（ Root of Trust）子系統(tǒng)或安全區(qū)域可能很有價值，但會需要額外的溝通，以確?；赟oC流程早期開發(fā)的已定義威脅配置文件可保護(hù)特定的漏洞。B8uesmc

B8uesmc

電路設(shè)計(jì)

機(jī)器學(xué)習(xí)數(shù)學(xué)可要求標(biāo)量、向量和大規(guī)模矩陣乘法，以及可以設(shè)計(jì)用于優(yōu)化特定算法的專用處理器。定制處理器是新型AI SoC方案最受歡迎的IP成果之一。設(shè)計(jì)自定義處理器的工具對于確保——柵級優(yōu)化得到充分利用和重用以及跟上支持自定義處理器所需的生態(tài)系統(tǒng)的發(fā)展——這兩者，都變得具有內(nèi)在價值。例如，RISC-V已經(jīng)普及；但它只定義了一個指令集，該指令集多次需要額外的特殊指令來處理機(jī)器學(xué)習(xí)，以及必要的編譯器和用于優(yōu)化的特定設(shè)計(jì)實(shí)例。設(shè)計(jì)、支持和軟件實(shí)施的成本必須由內(nèi)部設(shè)計(jì)團(tuán)隊(duì)長期規(guī)劃和支持。擁有管理此要求的工具和支持可為成功實(shí)現(xiàn)帶來巨大利益。B8uesmc

開發(fā)AI SoC需要市場上一些最具創(chuàng)新性的IP。例子包括快速采用HBM2e、PCIe5、CCIX等新技術(shù)以及最新的MIPI技術(shù)。為培育這些標(biāo)準(zhǔn)技術(shù)的設(shè)計(jì)實(shí)現(xiàn)，設(shè)計(jì)師需要可支持早期軟件開發(fā)和性能驗(yàn)證的先進(jìn)的仿真和原型設(shè)計(jì)方案。還是由于設(shè)計(jì)的不成熟和復(fù)雜性，這些工具被頻繁地多地用于AI。B8uesmc

物理設(shè)計(jì)、驗(yàn)證和分析

預(yù)先構(gòu)建的AI SoC驗(yàn)證環(huán)境只能由具有AI SoC開發(fā)經(jīng)驗(yàn)的人員使用。因此，設(shè)計(jì)服務(wù)和設(shè)計(jì)第二代和后世代芯片組的公司在上市時間方面具有早于先行者的固有優(yōu)勢。設(shè)計(jì)師可以依靠服務(wù)作為有效的方式來利用AI SoC專業(yè)知識，加快產(chǎn)品上市速度，從而松綁內(nèi)部設(shè)計(jì)團(tuán)隊(duì)，使其專注于設(shè)計(jì)的差異化特征。B8uesmc

接口IP的硬化服務(wù)是另一種優(yōu)化工具，可支持更低功耗和更小體積的實(shí)現(xiàn)。硬化的IP為SoC騰出了空間，以容納更好的AI性能所需的寶貴的片上SRAM和處理器組件。B8uesmc

最后，通過專業(yè)知識和已建立的工具鏈，可輕松快速地對不同的AI圖進(jìn)行基準(zhǔn)測試。為基準(zhǔn)測試活動手工編寫這些圖表可能是項(xiàng)艱巨的任務(wù)，但為了解SoC設(shè)計(jì)是否能提供所需的價值所必須。依靠具有可有效快速地對這些圖表進(jìn)行基準(zhǔn)測試工具的處理器可加快系統(tǒng)設(shè)計(jì)，確保其滿足要求。B8uesmc

測試和封裝

AI SoC正在使用一些最先進(jìn)的FinFET工藝節(jié)點(diǎn)來提高性能、降低功耗、并增加片上存儲器和計(jì)算能力。但從可測試性的角度看，最新的工藝節(jié)點(diǎn)會增加測試模式的數(shù)量，并增加了出現(xiàn)軟缺陷的概率。測試集成、維修和診斷功能可幫助設(shè)計(jì)師克服可測試性障礙。 Synopsys的DesignWare STAR存儲系統(tǒng)（DesignWare STAR Memory System）和STAR層級系統(tǒng)（STAR Hierarchical System）等工具可有效滿足AI測試需求。B8uesmc

HBM2和未來HBM2e等新技術(shù)需要特殊的封裝專業(yè)知識和能力，因此需要特殊的凸點(diǎn)規(guī)劃（bump planning）和與AI SoC開發(fā)相關(guān)的其它封裝專業(yè)知識。B8uesmc

結(jié)論

隨著AI功能進(jìn)入新市場，所選的用于集成的IP提供了AI SoC的關(guān)鍵組件。但除了IP外，設(shè)計(jì)師在利用AI專業(yè)知識、服務(wù)和工具方面找到了顯著優(yōu)勢，以確保按時交付設(shè)計(jì)、為最終客戶提供高水平的質(zhì)量和價值，以滿足新的創(chuàng)新應(yīng)用需求。B8uesmc