11月7日-8日，在深圳與全球“連接”。OHXesmc

隨著摩爾定律的放緩，前沿技術不再是人們關注的唯一焦點，創(chuàng)新正朝著創(chuàng)造差異化的方向轉變，而“連接”，讓一切可能變得可控。OHXesmc

ASPENCORE 第二屆“全球CEO 峰會”仍選址在全球創(chuàng)新指數最強的深圳舉辦（點擊查看峰會介紹與報名 ），峰會將邀請世界各地行業(yè)領袖和創(chuàng)新巨擘匯集深圳，探討新一輪技術沖擊下最熱門的技術話題，搜羅差異化的創(chuàng)新點，準確定義下一代電子產品。OHXesmc

這是個絕佳的機會在宏觀上探索影響未來的電子技術，把脈機遇與趨勢，因為這次，我們請到的都是星-級-演-講-嘉-賓！OHXesmc

本文將為您介紹的是Nigel Toon。OHXesmc

半導體領域近些年的共識在于，芯片設計與制造的成本，隨工藝迭代正呈現出指數級躥升。尤其對于最新制造工藝而言，單是晶圓廠成本的增加，就已經可以抵消行業(yè)年復合增長率。所以風投前些年對半導體行業(yè)的投入就顯得尤為謹慎。行業(yè)唯有Intel、英偉達這樣具備深耕資歷，而且財力雄厚的企業(yè)才能持續(xù)。OHXesmc

近兩年徹底改變這一現狀的技術是AI——即便人工智能實際上惠及到了信息技術的整個垂直領域，半導體卻是最大的受惠方。前一陣我們在采訪Mentor IC EDA執(zhí)行副總裁Joseph Sawicki時，他就提到：“比如在移動領域，半導體行業(yè)可以拿下AI創(chuàng)造總體20%的價值。”機器學習、深度學習得以為半導體行業(yè)再度吸引資金。來自PitchBook的數據顯示，僅是2017年，風投資金往AI芯片初創(chuàng)企業(yè)砸下的錢就達到了1.13億美元，是2015年的3倍之數。OHXesmc

ImageNet項目在全球火熱以后，所有開發(fā)者都知道圖像識別的效率提升要靠AI。而硬件則理應依賴于GPU——這讓英偉達立時找到了新的業(yè)務增長點，所以英偉達成為AI行業(yè)的第一個真正受益對象。GPU具備高度并行的數據操作效率。不過在應對高維度、高復雜性的數據結構時，GPU的效率還是不夠的。OHXesmc

美國卡耐基梅隆大學（Carnegie Mellon University）曾經有一度要求園區(qū)內部的研究人員控制芯片用度，因為AI研究已經對學校的供電系統(tǒng)造成了影響。學校的一名教授Franz Franchetti當時就表示，學校正在尋找新的供電方案來緩解問題。這實則已經表明，AI對系統(tǒng)能效比的要求已經超越GPU所能達到的水平。OHXesmc

這也是谷歌TPU這類專用計算芯片問世的原因。而包括Graphcore、Mythic、Wave Computing、Cerebras、深鑒科技、寒武紀、地平線這些企業(yè)也開始大量涌現，專為AI應用場景量身定制芯片。OHXesmc

其中尤以2016年，Nigel Toon和Simon Knowles共同成立的英國公司Graphcore最為矚目。這是一家真正的獨角獸企業(yè)，去年12月份的公司估值達到了17億美元。這家公司在誕生初期，就吸引了一大批投資者，目前已經獲得超過3億美元的融資，投資方背景包括了BMW、微軟、三星、戴爾、紅杉資本。這也是Aspencore邀請Nigel Toon進行峰會演講、參與峰會討論的重要原因。OHXesmc

去年12月份，Graphcore獲得2億美元D輪融資，由風投公司Atomico和Sofina領投，這一輪融資的投資方列表中就出現了BMW和微軟，而包括Dell Technologies Capital、三星、C4 Ventures這類機構是從A輪就跟投到D輪的（2016年10月獲得A輪融資3200萬美元；2017年7月B輪融資3000萬美元——Atomico領投，這輪融資包含了OpenAI的一些個人投資者，以及DeepMind聯(lián)合創(chuàng)始人Demis Hassabis；2017年11月C輪融資5000萬美元——紅杉資本領投）。OHXesmc

我們無從了解Graphcore當前的運營狀況，不過Nigel Toon表示預期2019年公司能夠達到的營收是5000萬美元。OHXesmc

OHXesmc

Graphcore CEO Nigel Toon（右）與CTO Simon Knowles（左），圖片來源：EE TimesOHXesmc

含著金湯匙出生的Graphcore

按照Toon本人的說法，這些資金主要用于招募頂級工程師人才；就今年來看，是在北京開設辦公室。目前，Graphcore在倫敦、臺灣、北京、Palo Alto、Oslo等地均設有辦公室，與此同時，公司的員工人數要擴充到現在的3倍。很顯然，Graphcore是有全球化發(fā)展目標的，也是同類初創(chuàng)企業(yè)中最早邁出這一步的。不過Graphcore現如今的這些成就，并非Nigel Toon的一蹴而就：可以說Graphcore是真正含著金湯匙出生的企業(yè)。OHXesmc

Nigel Toon出生于Watford，他的父親曾在圣安德魯斯大學擔任講師；Toon畢業(yè)于英國的赫瑞瓦特大學（Heriot-Watt University），當時Toon就讀的是電子與電氣工程專業(yè)。大學期間他就很喜歡用空閑時間改造家用計算機，供室友玩游戲。OHXesmc

上世紀90年代Toon加入美國科技企業(yè)Altera，并在Altera擔任歐洲業(yè)務的副總裁與總經理。2002年，Toon和Knowles（現任Graphcore CTO）在英國Bristol共同創(chuàng)辦了Icera——這家公司致力于打造3G modem芯片，2011年英偉達以3.7億美元的價格收購了Icera。OHXesmc

實際上，Graphcore現有的大量技術人才都來自于Icera（以及前Arm、英偉達等名企的員工）。所以在技術儲備上，Graphcore具備半導體行業(yè)的經驗。Knowles表示：“在賣掉Icera之后不久，我和Nigel在一家酒吧里，就想：我們是不是應該再干一票？”OHXesmc

我們能夠挖掘到的有關Nigel Toon的花邊新聞并不多，不過他在半導體行業(yè)內的能力儲備依然可以從各類支離破碎的資訊中理出頭緒。OHXesmc

在2009年的時候，picoChip（提供無線飛基站，以及多核DSP技術半導體解決方案）曾聘用Toon擔任公司總裁和CEO職務。2012年，picoChip被Mindspeed公司收購（后續(xù)Mindspeed無線業(yè)務被Intel收購），雖然這樁交易在當時的飛基站市場并不算理想。OHXesmc

在Nigel Toon的履歷中，還有兩段比較知名的是，他曾在XMOS公司（提供視頻與音樂處理與控制IC）擔任董事會主席；并且在2016年，Imagination Technologies聘用Toon為董事會的非執(zhí)行董事；2017年，嵌入式監(jiān)控與傳感器制造商Moortec聘用Toon為董事會顧問。OHXesmc

OHXesmc

在“含著金湯匙出生”的資源儲備里，Graphcore的真正技術核心實際上是前文就提到的首席技術官Simon Knowles。Toon評論Knowles的“大腦大概有地球那么大”。Knowles于80年代畢業(yè)于劍橋，很早就開始在英國政府研究實驗室研究早期的神經網絡，隨后創(chuàng)辦的Element 14在2000年以6.4億美元的價格出售給了博通。OHXesmc

在接受彭博社采訪時，Knowles提到當年劍橋大學的信息工程教授Steve Young針對計算機對話系統(tǒng)（limits of computational dialogue systems）做了一次演講（Steve Young就是后來把語音識別服務賣給蘋果的教授，而該服務應用到了Siri中）。Knowles針對這個演講問了Steve Young很多問題，主要是相關數據精度的，因為精度對能效起到決定性作用。OHXesmc

幾天以后，Steve Young告訴Knowles，他正好有學生在研究這方面的問題，他們的研究每次運算采用64bit數據。Knowles認為，用更低的精度，8bit就能達成相同的功能；與此同時可針對更多數據做計算。這實際上是Graphcore誕生的契機，也是Knowles決定革新芯片計算架構的開始。Graphcore前期融資工作最早便從2013年開始，即便我們知道這家公司至少也已經是2016年以后的事情了。OHXesmc

不過實際前期找投資的過程也并不容易，當時絕大部分風投機構對于AI芯片的構想還是持懷疑態(tài)度的，或者說整個風投環(huán)境那會兒都不大看好半導體初創(chuàng)企業(yè)。有趣的是，讓這件事真正產生轉機的，是2016年谷歌推出了自家的AI芯片TPU，投資方突然就對這個領域產生了興趣。OHXesmc
Knowles表示：“一夜之間，他們說出的每一件事，都是我們前些年嘗試去告訴人們的。”他甚至還特地發(fā)了一封郵件給谷歌AI業(yè)務的負責人Jeff Dean，內容是：“同志，謝謝你?。═hanks, mate.）”這其實是一個時代的開始，也是到目前整個AI芯片市場甚至要成為紅海市場的開始。OHXesmc

Nigel Toon的英國情結

在Graphcore的早期天使投資人名單中，有一個相當顯眼的名字Hermann Hauser——此人是Amadeus Capital Partners 投資基金的創(chuàng)始人；他更有名的一個身份是Arm的聯(lián)合創(chuàng)始人，在行業(yè)內被稱作英國半導體之父。OHXesmc

Hauser給予Graphcore的評價有多高呢？“這在計算機歷史上只發(fā)生過三次。”Hauser說，第一次是70年代的CPU，第二次是90年代的GPU，“Graphcore是第三次。他們的芯片是這個世界偉大新架構的一種。”OHXesmc

2016年恰好也是日本SoftBank公司收購英國Arm的一年，這一年Graphcore正式誕生了，Nigel Toon 那會兒年滿52歲，Simon Knowles 54歲。Toon曾有一度在接受英國每日電訊報采訪時提過，Graphcore是以Arm為對手的。這個目標聽起來似乎有點兒大，不過這與Nigel Toon的英國情結有關。OHXesmc

雖然Graphcore的辦公室開始著力在全球各地生根，但公司總部始終設在英國的Bristol——也就是當年Toon創(chuàng)建Icera所在地（XMOS也是位處Bristol的公司）。Toon表示：“我有超過5年時間在美國硅谷工作，但我從來沒有真正生活在那兒（I have spent over five years of my working life in Silicon Valley without ever living there），很難想象我的生命有多長時間都浪費在了飛機上。”OHXesmc

“我很喜歡這里（Bristol）有時很涼的天氣，我們這兒的啤酒也是溫暖的。對年輕人來說，這是個相當宜居的地方。這兒不大，也不是很小。”OHXesmc

OHXesmc

甚至在英國脫歐問題上，他都在做準備，雖然他也在為將來可能無法獲得歐洲的科技人才擔憂：“我們需要在全球市場上競爭，獲得最好的人才；我們需要這樣一個環(huán)境：我們要吸引那些人，把他們帶到英國來。”OHXesmc

在Nigel Toon看來，英國相當缺乏半導體乃至科技企業(yè)的土壤，市場缺乏好的分析師；倫敦證券交易所也難見科技企業(yè)，就只有Sophos、Micro Focus和Sage這些規(guī)模還算大，過去這些年的表現也并不顯眼。“英國市場沒有投資者基礎，也沒有分析師基礎。你會期望有分析師能夠進行業(yè)務分析，提供一些好的比較信息，研究業(yè)務實際情況如何。這些在英國是相當缺乏的。投資者們無從挖掘信息，不知道投資是好還是不好。”OHXesmc

“我覺得Arm是有問題的。蘋果的銷量在提升，Arm的股價也隨之提升，但Arm卻完全沒有意識到他其實還有200多個客戶。”在Toon看來，Arm對市場理解上的缺失，導致2016年公司以240億歐元出售給了SoftBank。早在2011年，英偉達收購Icera的時候，他就曾抱怨過英國投資市場資源和信息的匱乏。所以，在恰當的時機他也需要考慮美國和高盛這樣的投資方。OHXesmc

英國市場缺乏高增長、暫時低營收的科技創(chuàng)投環(huán)境。在Toon看來，投資方也很少著力在10年跨度的方向上。Arm賣身之后，在硬件領域，英國缺乏真正的科技領導者。不過Toon卻認為在風投市場，英國也因此有著“相當的深度（good amount of depth）”。所以Toon堅持將Graphcore的核心放在英國Bristol，即便其目標是擴張全球。OHXesmc

就連Graphcore這一代IPU硬件產品代號都叫Colossus——這是全球首個電子可編程計算機的名字，是二戰(zhàn)期間英國政府為破解德軍加密信息而制的。在每次Graphcore獲得階段性勝利，比如說拿到融資的時候，公司內部就會開香檳以示慶祝——而香檳品牌還是當年丘吉爾最愛的Pol Roger（寶祿爵）。Toon說，這代表了他們的驕傲，將來他們可能會給英國構建第一個能夠和蘋果或者阿里巴巴媲美的大規(guī)模企業(yè)。OHXesmc

架構變革的IPU

在摩爾定律放緩的年代，除了Intel、臺積電這樣本身就著手先進制造工藝的企業(yè)，幾乎所有的半導體公司都在說架構變革。以往我們也從很多層面談過架構變革，當代公認的架構變革實際上就是AI、神經網絡、深度學習，甚至再往未來發(fā)展、具備算法自我演進能力的軟件定義芯片。OHXesmc

實際上，除了摩爾定律以外，登納德縮放比例定律（Dennard Scaling）也在失效。后面這個定律，講的是晶體管密度變大，功耗需求則會保持不變。但顯然這和既有事實已經不符了，晶體管越多，芯片變得越來越燙，能量要求越高。這個時候是要求某種針對效率的全新電路設計的。這其實也是我們不止一次撰文提到，專用計算芯片越來越占有一席之地的原因，因為針對某個應用場景的優(yōu)化帶來了比通用計算高得多的能效比。AI芯片即是其中一種。OHXesmc

我們很難直接下定論說，Graphcore就是帶來這種架構變革的第一人，但至少Graphcore也是第一批去著手這么做，而且卓有成效的企業(yè)。Toon與Knowles所處的時間節(jié)點恰好是這種變革的迭代期，他們期望構建一種全新類型的處理器，以不同的方式來構思計算機負載。Graphcore將他們對當代通用計算架構做變革的產品叫IPU（Intelligence Processing Units），在消耗能量低于GPU的情況下，就充分發(fā)揮處理能力。OHXesmc

OHXesmc

OHXesmc

或許對2019年的我們而言，這已經變得比較稀松平常了：CPU通過手機數據塊來處理問題，然后對針對這些信息來跑算法或者執(zhí)行邏輯操作，可并行的核心數量可能是4個。GPU的核心（或執(zhí)行單元）數目會更多，能夠同時執(zhí)行更多任務。就AI系統(tǒng)來說，計算機會從不同位置并行拉來大量數據，然后進行快速、更高并行數的處理——這種流程專注于nodes節(jié)點和networks網絡，而不是if-then這樣的指令。OHXesmc

這其中體現出的一部分架構“變革”，比如說對傳統(tǒng)芯片而言，存儲單獨于處理單元之外是種常規(guī)設計；這就導致數據的搬運工作產生了很高的能耗。Graphcore進一步整合了芯片邏輯和存儲部分，如上圖所示的片上分布SRAM， IPU自然達到100倍的吞吐，以及更低的功耗。OHXesmc

去年Graphcore推出的16nm ”Colossus” IPU，一片就包含240億個晶體管，超過1200個低精度浮點運算核心以及所有機器學習所需的控制操作和超越函數，125 teraFLOPS算力。每個核心可以跑至多6個線程，所以針對一個4U架子（8張C2 PCIe卡，每個C2卡包含兩個IPU），就能有10萬個獨立線程并行。Graphcore宣稱，其數據處理和處理架構，在效率方面至多可以達到現如今性能最強的GPU的100倍。OHXesmc

OHXesmc

OHXesmc

OHXesmc

OHXesmc

ResNet-50 ImageNet traning測試，每秒16000張圖片，8個C2加速卡，就能對戰(zhàn)54個英偉達Volta V100（Graphcore每個C2加速卡包含兩個Colossus IPU芯片）OHXesmc

IPU的幾個特點，第一是被稱作graphs型的計算（computation on graphs，包括了高度并行、稀疏化（sparse）、高維度模型、分布式片上存儲）；第二，低精度，寬動態(tài)范圍算法（混合精度，16.32，和更低）；第三，靜態(tài)圖形結構（編譯器可分解任務、分配存儲，調度messages，塊同步并行、無序化、address-less通訊）；最后是Entropy Generative（比如產生統(tǒng)一分布整數、Generation of vectors of approximately Gaussian distributed floats等）。OHXesmc

EETimes前不久曾就技術問題專門采訪過Nigel Toon（Graphcore CEO Touts 'Most Complex Processor' Ever），更多細節(jié)內容亦可從中了解。OHXesmc

OHXesmc

OHXesmc

OHXesmc

圖片來源：Graphcore.aiOHXesmc

Graphcore幾個月前曾經在NeurIPS展會上，展示過一個名為Rackscale IPU-Pod的參考設計，如上圖所示，這是個相對彈性的方案——可以支持大規(guī)模計算。一個單獨的42U機架IPU-Pod提供超過16 PetaFLOPS混合精度算力，如果一套32個IPU-Pods（至多4096個IPU處理器）則可以將算力彈性擴展到超過0.5 ExaFLOPS。這對同硬件的training和inferencing都是相當驚人的吞吐。OHXesmc

這次，Nigel Toon要在全球CEO峰會上帶來的議題為 Exascale Compute with IPUs，大約就與此相關。OHXesmc

這部分最后值得一提的是，Toon曾經多次提到，IPU是“通用機器智能處理器”，尤其為機器智能（machine intelligence）設計。“我們架構的一大優(yōu)勢在于，適用于現如今很多的機器學習方案，比如CNN（卷積神經網絡），同時針對包括強化學習（reinforcement learning）等不同機器學習方案特別提供了優(yōu)化。”“那些可能還沒有訓練過的算法也能跑在我們的架構上，就和舊算法一樣。其他芯片對新算法可能就沒有這么友好了。”OHXesmc

Toon認為，當代許多針對某些特定操作和負載優(yōu)化的ASIC不會成為AI的未來。這實際上代表了AI的一種流派：即這類芯片未來是否也會朝著“通用”的方向發(fā)展。這跟當年GPU的發(fā)展之路似乎有諸多相似之處，GPU最早經歷過10年的ASIC時代；但從2006年以后，卻邁入了GPGPU時代，CUDA編程現在也沒什么大不了。OHXesmc

實際上，以Graphcore、華為、Wave Computing為代表的AI芯片制造商，普遍已經有了弱編程特性；而谷歌TPU、Intel Nervana、地平線征途則屬于相對專用的加速器，主要加速的就是卷積神經網絡。我們無法斷言哪一種會成為未來，不過走“通用”之路的這些產品仍存在編程難度大，以及軟件生態(tài)還處在萌芽階段的問題——雖然我們可能更看好AI芯片的通用之路。OHXesmc

OHXesmc

OHXesmc

OHXesmc

OHXesmc

圖片來源：GraphcoreOHXesmc

Graphcore針對機器智能設計的軟件工具鏈叫Poplar。Toon表示：“Poplar建立在計算圖形抽象（computational graph abstraction）的基礎上。其graph comipler的IR（intermediate representation中間層）是個大型的定向圖。”Graph圖像共享作為內部的representation，整個知識模型的representation最后都會分解為高度并行的工作負載，然后在IPU處理器之間進行調度和執(zhí)行。“（這里 graph代表的是知識模型和應用，所有機器學習模型都用graph的形式來表達）OHXesmc

Poplar當前支持TensorFlow、PyTorch、OONX和Keras，未來還會提供更多支持。“從這些高層級的框架獲取輸出，喂進Poplar軟件層，產生高層級的graph，并將這些graph映射到跑在IPU處理器上的一張完整計算graph上。”OHXesmc

用通俗地話來說，作為軟件棧后端，Poplar采用多層級的優(yōu)化，在IPU核心之間部署任務，確保任務的執(zhí)行速度和效率。與此同時，針對新型的應用創(chuàng)新，Graphcore也為開發(fā)者提供C++層級的IPU編程，高層級支持也算是當前硬件編程的一個方向。OHXesmc
OHXesmc

去年11月，Nigel Toon確認IPU產品（前面提到的C2 PCIe加速卡）已經開始向Dell出貨，面向的是數據中心設備，每臺Dell-Graphcore IPU設備插8張C2卡，實現超過2 petaFLOPS算力。Toon在描述Graphcore的市場策略時提到，原本對企業(yè)市場就很感興趣，但企業(yè)客戶在垂直市場分布于不同的領域，對初創(chuàng)企業(yè)而言很難接觸到。所以第一步就是建立起與Dell的緊密關系，然后就能觸及到這一市場了，由此可以不同的形式接觸到Dell的客戶。OHXesmc

BMW的投資人設想Graphcore的芯片或許還能應用到汽車上。Hauser預計，每輛無人駕駛汽車都需要兩個IPU硬件。這些都會成為Graphcore的未來市場。OHXesmc

但實際上，如前文所述，AI芯片領域的廝殺正越來越激烈。不僅初創(chuàng)企業(yè)間在博弈，加入這一戰(zhàn)場的企業(yè)也越來越多；谷歌、特斯拉這類更下一個層級的系統(tǒng)設計廠商自己就愿意花錢為自己造AI芯片；另外，Intel和英偉達這些傳統(tǒng)巨頭現在也都在專用AI芯片領域發(fā)力。這會是一場近1-2年就能看出戰(zhàn)役結果的廝殺。OHXesmc

OHXesmc

OHXesmc

在11月7日的全球CEO峰會上，Nigel Toon將以Exascale Compute with IPUs為題探討AI芯片技術的成長和發(fā)展。針對這一話題，您也可即刻報名與Nigel Toon進行面對面探討。OHXesmc

OHXesmc