大眾對AI硬體的關(guān)注

基于深度學(xué)習(xí)的AI在其轉(zhuǎn)折點(diǎn)之后，出現(xiàn)了對繪圖處理器(GPU)的強(qiáng)勁需求。由于具備很強(qiáng)的平行運(yùn)算能力，GPU對于深度學(xué)習(xí)演算法所采用的邏輯碰巧能展現(xiàn)驚人效率；GPU大廠Nvidia在市場競爭中脫穎而出，其股價從2013年到2018年上漲了20倍。SZNesmc

當(dāng)然，Nvidia競爭對手們正在努力追趕；高通(Qualcomm)、Arm和其他公司將注意力集中在AI晶片設(shè)計上，英特爾(Intel)則收購了AI晶片新創(chuàng)公司Nervana Systems。Google、Facebook、蘋果(Apple)和亞馬遜(Amazon)紛紛投入了為自家資料中心及其他計畫開發(fā)自有AI處理器，也有一些新創(chuàng)公司(例如Graphcore、Mythic、Wave Computing、Cerebras和SambaNova)看準(zhǔn)商機(jī)，試圖設(shè)計更好的圖靈機(jī)(Turing machine)系統(tǒng)。像D-wave Systems和IBM等其他一些公司也在積極探索后圖靈時代的架構(gòu)。大多數(shù)晶片開發(fā)的目標(biāo)是趕上或超過Nvidia。然而，據(jù)我們所知，大多數(shù)處理器都是針對今日的AI演算法進(jìn)行設(shè)計。SZNesmc

盡管需要龐大的前期開發(fā)成本，我們?nèi)詫⒔?jīng)歷各種AI晶片設(shè)計的「寒武紀(jì)大爆發(fā)」。AI前景如此誘人，讓產(chǎn)業(yè)玩家愿意投入巨資開發(fā)硬體，在以往是要讓硬體與基礎(chǔ)數(shù)學(xué)演算法匹配，但對于讓現(xiàn)有半導(dǎo)體晶片或正在開發(fā)的新運(yùn)算架構(gòu)能與未來的演算法契合，我們有多大的信心？SZNesmc

有鑒于演算法的演進(jìn)速度和幅度變化是如此之快，許多AI晶片設(shè)計可能還沒上市就過時了；我們推測明日的AI演算法可能會需要完全不同的運(yùn)算架構(gòu)、記憶體資源，以及資料傳輸能力等等條件。SZNesmc

盡管深度學(xué)習(xí)框架已經(jīng)出現(xiàn)很長一段時間，直到最近才真正被付諸實(shí)現(xiàn)，這要感謝摩爾定律所預(yù)測的硬體技術(shù)進(jìn)展。最初的數(shù)學(xué)不一定是為工程實(shí)踐而設(shè)計的，因?yàn)樵缙谘芯咳藛T無法想像今日花1,000美元就能獲得的運(yùn)算能力有多么大。現(xiàn)今許多AI實(shí)作都是使用原始的數(shù)學(xué)模型，朝著準(zhǔn)確、簡單且更深層的方向發(fā)展，或者添加更多資料；但這樣只會很快消耗GPU的運(yùn)算容量。只有一小部分研究人員專注于改善基礎(chǔ)數(shù)學(xué)和演算法框架的難題。SZNesmc

還是有很多機(jī)會認(rèn)識并利用這些新穎的數(shù)學(xué)進(jìn)展，我們所觀察到的方法包括精簡冗余數(shù)學(xué)運(yùn)算(redundant mathematical operations)而減少運(yùn)算時間，將卷積壓縮到較小的矩陣而減少記憶體需求，或者對加權(quán)矩陣進(jìn)行二值化(binarize)而簡化數(shù)學(xué)運(yùn)算。這些是演算法演進(jìn)的第一次嘗試，其發(fā)展之快已經(jīng)開始超越硬體進(jìn)展。SZNesmc

舉例來說，從美國加州大學(xué)柏克萊分校(UC Berkeley)研究專案獨(dú)立的DeepScale ，就是將應(yīng)用于ADAS和自動駕駛的AI，「塞進(jìn)」車用晶片(不是GPU)，與僅采用演算法的物體檢測模型相比較，他們的神經(jīng)網(wǎng)路模型的運(yùn)算速度要快30倍，同時在功耗和記憶體占用方面也有很大的提升，足以在這幾年問世的現(xiàn)有硬體上執(zhí)行。SZNesmc

另一個演算法大躍進(jìn)的案例來自美國的非營利研究機(jī)構(gòu)艾倫人工智慧研究所(Allen Institute of Artificial Intelligence)，該機(jī)??構(gòu)研究人員采用一種利用神經(jīng)網(wǎng)路二值化的創(chuàng)新數(shù)學(xué)方法，已經(jīng)證明可以大幅提高速度，同時降低功耗和記憶體要求；如此甚至能讓最先進(jìn)的深度學(xué)習(xí)模型布署于售價僅5美元的Raspberry Pi平臺上。研究人員最近將這種演算法和處理工具獨(dú)立為一家公司XNOR.ai，旨在于邊緣裝置布署AI，并進(jìn)一步推動AI演算法的進(jìn)步。SZNesmc

有趣的是，新的二值化框架從根本上改變了最佳處理邏輯的類型，它們不再需要解決神經(jīng)網(wǎng)路所需的32位元浮點(diǎn)卷積，而只需要進(jìn)行位元計數(shù)運(yùn)算( bit counting operations)——這將改變GPU領(lǐng)域的權(quán)力平衡。此外如果這些演算法與專門設(shè)計的晶片相匹配，則可以進(jìn)一步降低運(yùn)算資源需求。SZNesmc

演算法的進(jìn)步不會停止；有時需要數(shù)年甚至數(shù)十年才能發(fā)明(或者說是發(fā)現(xiàn))新的演算法。這些突破無法以與摩爾定律推動的運(yùn)算進(jìn)展相同之方式來預(yù)測。它們本質(zhì)上是非確定性的；但是當(dāng)它們發(fā)生時，整個局勢變化通常會讓現(xiàn)有的主導(dǎo)者變成脆弱的獵物。SZNesmc

黑天鵝效應(yīng)

暢銷書《黑天鵝效應(yīng)：如何及早發(fā)現(xiàn)最不可能發(fā)生但總是發(fā)生的事》(The Black Swan: The Impact of the Highly Improbable)的作者在書中闡明，最佳決策在很大程度上取決于分析過程是不可預(yù)測或不確定；換句話說，我們是在處理「已知的未知」(known unknowns)還是「未知的未知」(unknown unknowns)？演算法創(chuàng)新基本上是未知的未知，因?yàn)樗鼈兊陌l(fā)現(xiàn)時間不確定以及影響不可預(yù)測，押注于這類發(fā)展需要持續(xù)的關(guān)注。SZNesmc

然而，在應(yīng)用數(shù)學(xué)領(lǐng)域，尤其是AI應(yīng)用領(lǐng)域，在最近二十年內(nèi)出現(xiàn)了數(shù)次顛覆性的演算法發(fā)現(xiàn)，它們與GPU一起，將AI從一個不起眼的研究領(lǐng)域帶到了商業(yè)化最前線。SZNesmc

我們意識到這些運(yùn)算領(lǐng)域「黑天鵝」的潛力，它們將使現(xiàn)有晶片架構(gòu)成為過去，或者在一夜之間讓它們的市場地位重新洗牌。對我們來說，這些「黑天鵝」最后可能會實(shí)現(xiàn)更安全的自動駕駛車輛，以及許多其他未知的應(yīng)用案例。SZNesmc

本文同步刊登于EDN電子技術(shù)設(shè)計2018年10月平面雜志；責(zé)編：Judith ChengSZNesmc

(參考原文：Algorithms Outpace Moore's Law for AI，Alexei Andreev and Jeff Peters；本文作者為Autotech Ventures高層主管，該公司為專注與智慧交通相關(guān)技術(shù)的風(fēng)險投資業(yè)者)SZNesmc