ABCD（即人工智能、區(qū)塊鏈應(yīng)用、云計(jì)算、大數(shù)據(jù)）是科技行業(yè)的發(fā)展趨勢和未來。麥肯錫2013年就預(yù)測過，到2025年移動(dòng)互聯(lián)網(wǎng)、自動(dòng)學(xué)習(xí)、物聯(lián)網(wǎng)、云計(jì)算、機(jī)器人和自動(dòng)駕駛這些新技術(shù)能夠創(chuàng)造的社會(huì)價(jià)值。但目前來看這個(gè)數(shù)據(jù)是被低估了，這幾年發(fā)展得太快。HXXesmc
HXXesmc
所有這些都是由AI推動(dòng)的新的領(lǐng)域與應(yīng)用場景。那人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)這三者到底是什么關(guān)系，又能實(shí)現(xiàn)哪些功能呢？HXXesmc
日前，在ASPENCORE旗下《電子工程專輯》、《EDN》和《國際電子商情》共同舉辦的“IoT技術(shù)與應(yīng)用論壇”上，恩智浦半導(dǎo)體大中華區(qū)客戶應(yīng)用方案與技術(shù)部門資深工程師李俊祥在其“恩智浦人工智能與物聯(lián)網(wǎng)解決方案 賦能智能物聯(lián)生態(tài)創(chuàng)新”議題上給我們做了詳細(xì)解讀。他的演講內(nèi)容涵蓋以下四個(gè)方面：第一，i.MX系列處理器在AI方面的能力；第二，關(guān)于語音、視覺和人臉的解決方案；第三，恩智浦產(chǎn)品線路圖；第四，幾個(gè)客戶典型應(yīng)用案例。HXXesmc
HXXesmc
人工智能 ⊃ 機(jī)器學(xué)習(xí) ⊃ 深度學(xué)習(xí)
他表示，實(shí)際上AI是一個(gè)非常大的范圍——機(jī)器學(xué)習(xí)是它的一個(gè)子集，深度學(xué)習(xí)又是機(jī)器學(xué)習(xí)更小的一個(gè)子集。深度學(xué)習(xí)能夠解決的問題如下圖所示。HXXesmc
HXXesmc
AI是個(gè)很大的范圍，在這整個(gè)框架中，首先是神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，這需要通過很大的計(jì)算量，才能訓(xùn)練出識(shí)別率比較高的模型。目前訓(xùn)練主流是采用GPU，另外谷歌也推出了自己的TPU。HXXesmc
HXXesmc
HXXesmc
然后是云端推理。像目前比較常見的人臉識(shí)別、語音識(shí)別都是做云端匹配的，比如人臉識(shí)別，它會(huì)把你的圖像送到云服務(wù)器上，做大量比對，然后得出最終結(jié)果，返回到你的識(shí)別端。HXXesmc
HXXesmc
最上面是更輕量級的設(shè)備端推理，包括手機(jī)和IoT的節(jié)點(diǎn)等。這些設(shè)備本身沒有很強(qiáng)的計(jì)算能力，但在很多時(shí)候也需要做一些簡單處理，比如指紋門禁，它不可能把所有指紋數(shù)據(jù)全部送到云端去做處理，而且有些設(shè)備是脫網(wǎng)的，只有在本地做計(jì)算，因此，像這樣的應(yīng)用場景都不會(huì)很復(fù)雜，比如指紋、簡單的人臉識(shí)別都可以在本地去做。HXXesmc
HXXesmc
輕智能技術(shù)涉及什么？
他表示，NXP因?yàn)槭亲龅那度胧教幚砥?，所以主要聚焦輕智能技術(shù)，而不像基于Nvidia GPU或Google TPU那樣很高端的智能技術(shù)。HXXesmc
輕智能的核心是GPU，對于NXP i.MX系列的處理器來說，都是帶有GPU的。i.MX系列都提供有安卓和Linux DSP。目前支持安卓的最新版本是Android 8.0，同時(shí)也支持OpenCL。HXXesmc
i.MX GPU處理器的發(fā)展線路圖，性能一直提升，并且性能提升翻倍，指標(biāo)如下。HXXesmc
HXXesmc
i.MX GPU的運(yùn)算能力，首先都集成有OpenCL的功能，可以直接用其標(biāo)準(zhǔn)接口，比如做深度學(xué)習(xí)時(shí)可以直接調(diào)用OpenCL驅(qū)動(dòng)。你的算法如果同時(shí)用到CPU和GPU，那用i.MX處理器會(huì)更好。另外，在自動(dòng)駕駛和機(jī)器人方面，i.MX目前已經(jīng)實(shí)現(xiàn)的一些功能如下。HXXesmc
HXXesmc
HXXesmc
另外，基于AI的一整套開發(fā)文檔、參考代碼以及訓(xùn)練模型，NXP在年底都會(huì)提供，可以在網(wǎng)上下載。HXXesmc
各種無線技術(shù)及網(wǎng)關(guān)
恩智浦目前提供的無線技術(shù)包括ZigBee、藍(lán)牙BLE、THREAD等。NXP目前基本都把這些無線功能和MCU整合在一起。HXXesmc
對于物聯(lián)網(wǎng)，最簡單最基本的設(shè)備，比如可穿戴設(shè)備，基本上用BLE實(shí)現(xiàn)就可以了。然后對于IoT邊緣節(jié)點(diǎn)、工業(yè)和家庭自動(dòng)化/樓宇自動(dòng)化等應(yīng)用，則會(huì)用到WiFi、THREAD、ZigBee等技術(shù)。HXXesmc
HXXesmc
IoT網(wǎng)關(guān)的基本架構(gòu)如下。智能家居、物聯(lián)網(wǎng)以及其他邊緣節(jié)點(diǎn)之間可能采用任意連接拓?fù)洌{(lán)牙、WiFi等各種無線都有，它們會(huì)連接到網(wǎng)關(guān)上去。另外，像可穿戴設(shè)備，醫(yī)療，手機(jī)也會(huì)連接到IoT網(wǎng)關(guān)上，然后如果需要，發(fā)送到云端，然后在其他地方則可以通過手機(jī)或PC客戶端去控制。HXXesmc
HXXesmc
智能音箱參考解決方案
語音很成熟，如智能音箱賣的很火，基本架構(gòu)都差不多，如下。HXXesmc
HXXesmc
各種計(jì)算機(jī)視覺應(yīng)用場景
計(jì)算機(jī)視覺有很多應(yīng)用場景，如下。HXXesmc
HXXesmc
入門級像門禁、考勤、游戲手柄等無法聯(lián)網(wǎng)，因此必須在本地計(jì)算。比如門禁/考勤，這些應(yīng)用對CPU要求都不是太高，用i.MX 6系列的單核或精簡的Cortex A7處理器就可以了。手勢識(shí)別和游戲手柄等對CPU的要求那就可能更簡單。目前傳統(tǒng)的人臉和手勢識(shí)別，很多公司主要用傳統(tǒng)算法來做，但NXP目前做出的很多Demo都是基于深度學(xué)習(xí)來做。中級，比如手機(jī)上多攝像頭室外應(yīng)用場景，比如廣場、汽車應(yīng)用，在廣場能同時(shí)抓拍多個(gè)人，能夠抓出/定位人臉并快速放大，抓出清晰的面部特征。然后對于汽車應(yīng)用，在開車過程中能夠隨時(shí)監(jiān)測到旁邊的路牌、前面車的車牌、路邊行人、車道偏移等動(dòng)作，這些應(yīng)用在機(jī)器視覺里算是難度比較高的了。更高級的應(yīng)用則有多攝像頭3D場景的應(yīng)用。HXXesmc
對于i.MX 8系列，i.MX 8M、8X年底都會(huì)發(fā)布，i.MX 7系列針對可穿戴和物聯(lián)網(wǎng)應(yīng)用，采用的是Arm 7內(nèi)核。NXP把無線和MCU集成在一起，藍(lán)牙BLE、ZigBee、THREAD全集成的系列都有。HXXesmc
5個(gè)客戶典型應(yīng)用案例
1.音頻處理的框架。上面用到i.MX 6ULL的處理器，工作頻率是528MHz，也有900MHz更高端的，最便宜的3美金左右。HXXesmc
HXXesmc
這種音頻解決方案是很簡單的，輸入是1到2個(gè)麥克風(fēng)，然后送到云端處理并返回本地。HXXesmc
2.更高級些的多麥克陣列智能音箱解決方案，前端麥克風(fēng)矩陣包括音頻dsp，主控則采用i.MX 7D/8M系統(tǒng)。HXXesmc
HXXesmc
3.智能貓眼應(yīng)用，相當(dāng)于智能門禁，是用i.MX7ULP來做的。它包括A7和M4核，M4核一直工作，檢測按鍵以及一些傳感器和簡單音頻處理，但需要做人臉識(shí)別或聯(lián)網(wǎng)操作時(shí)，M4核可以很快喚醒A7核，去做多媒體處理和網(wǎng)絡(luò)處理，處理完后則關(guān)掉。HXXesmc
HXXesmc
4.基于機(jī)器學(xué)習(xí)的新零售應(yīng)用方案。左邊是智能微波爐，讓微波爐自動(dòng)識(shí)別食材，而不用聯(lián)網(wǎng)。因?yàn)槭巢牟欢?，所以用MCU就可以存儲(chǔ)。右邊是智能冰箱，自動(dòng)售貨機(jī)的場景稍微復(fù)雜，因?yàn)椴恢揽蛻舻臇|西是什么，因此需要連云。HXXesmc
HXXesmc
5.物聯(lián)網(wǎng)網(wǎng)關(guān)，可以在NXP網(wǎng)站上找到整套資料。HXXesmc
HXXesmc
