將人工智能訓(xùn)練硬件的成本在其預(yù)計使用周期內(nèi)進(jìn)行攤銷的做法相對直接。鑒于人工智能訓(xùn)練對計算資源的高需求，高端GPU和加速器的購置成本可能高達(dá)數(shù)百萬美元。數(shù)據(jù)中心業(yè)主通過將這些高昂成本分?jǐn)傊翑?shù)年，試圖為這一巨額投資提供合理性，并確保高端訓(xùn)練設(shè)備在經(jīng)濟(jì)上具有可行性。Iqfesmc

這些昂貴的硬件在完成訓(xùn)練任務(wù)后并不會閑置，它們通常會在訓(xùn)練階段結(jié)束后轉(zhuǎn)而用于推理工作。這種做法的思路是，如果數(shù)據(jù)中心能夠利用同一套硬件既進(jìn)行訓(xùn)練又進(jìn)行推理，那么由此產(chǎn)生的總收入將有助于抵消最初的設(shè)備投資和持續(xù)的電力消耗。從理論上看，這一邏輯是成立的：將投資成本分?jǐn)偟蕉喾N運營活動中，可以減輕財務(wù)指標(biāo)的壓力，從而可能提升盈利水平。Iqfesmc

然而，現(xiàn)實情況遠(yuǎn)比理論復(fù)雜。依賴人工智能訓(xùn)練設(shè)備進(jìn)行推理的做法，給數(shù)據(jù)中心帶來了不容忽視的限制，如今這些問題已無法再被忽略。Iqfesmc

真正的運營成本元兇：電力消耗

盡管訓(xùn)練設(shè)備是一項關(guān)鍵的資本投入，但在數(shù)據(jù)中心中，電力消耗才是運營成本的主要組成部分，尤其是在訓(xùn)練和推理過程中。高性能GPU和加速器在運行時產(chǎn)生大量熱量，需要強大的冷卻系統(tǒng)來維持，這不僅導(dǎo)致電費激增，還給電力設(shè)施帶來壓力。即使采用了尖端的冷卻技術(shù)和節(jié)能措施，大規(guī)模運行人工智能的電力需求依舊難以有效控制。Iqfesmc

當(dāng)數(shù)據(jù)中心使用高功率訓(xùn)練設(shè)備執(zhí)行長時間的推理任務(wù)時，問題愈發(fā)明顯。與通常為突發(fā)性且可能間歇性進(jìn)行的訓(xùn)練不同，推理任務(wù)是持續(xù)性的，因為模型需要處理實時數(shù)據(jù)流。持續(xù)的工作負(fù)載意味著，這些高容量系統(tǒng)需要長時間接近滿負(fù)荷運行，從而導(dǎo)致運營成本遠(yuǎn)超預(yù)期。Iqfesmc

隱藏的運營成本元兇：延遲

在硬件處理領(lǐng)域，延遲是一個常被忽略卻具有重大影響的因素。延遲指的是從發(fā)起查詢到獲得響應(yīng)之間的時間間隔。在機(jī)器學(xué)習(xí)的訓(xùn)練階段，延遲一般是可以容忍的，但在推理階段，情況則完全不同。在這個環(huán)節(jié)中，即便是微小的延遲也可能引發(fā)連鎖反應(yīng)。如果響應(yīng)時間超過幾秒鐘，就可能導(dǎo)致用戶參與度下降，損害用戶體驗，并違背實時處理的目的。Iqfesmc

為了克服延遲問題，工程師可能會考慮增加處理器數(shù)量以實現(xiàn)并行處理，從而提升整體處理能力。乍看之下，這種方法似乎行之有效；畢竟，增加處理器能直接提升處理速度。但實際上，這個問題遠(yuǎn)比想象中復(fù)雜。增加處理器確實能夠提高性能，但這背后的代價也是巨大的：數(shù)據(jù)中心運營方的資本支出和運營支出將會急劇增加。擴(kuò)充硬件資源如同添柴加火，雖然可能暫時緩解延遲問題，但也可能引發(fā)成本急劇增加，以至于難以持續(xù)的程度。Iqfesmc

成本的增加不僅體現(xiàn)在初期的投資上，還會導(dǎo)致日常運營預(yù)算的上升，進(jìn)而增加電力消耗、維護(hù)成本和資源管理的需求。對于眾多企業(yè)而言，這種做法可能會變成一項沉重的運營負(fù)擔(dān)，其帶來的負(fù)面影響可能超過了減少延遲所帶來的收益。面對這一挑戰(zhàn)，企業(yè)需要采納更為高效和可持續(xù)的策略來解決延遲問題，比如通過專門的硬件優(yōu)化、更智能的數(shù)據(jù)處理架構(gòu)，或是利用那些能簡化實時響應(yīng)又不會超出預(yù)算的技術(shù)手段。Iqfesmc

設(shè)備折舊和壽命挑戰(zhàn)

當(dāng)前攤銷策略的一個主要問題在于，它預(yù)設(shè)了人工智能訓(xùn)練設(shè)備在轉(zhuǎn)為推理任務(wù)使用時，能夠持續(xù)足夠長的時間來完成全部折舊。盡管這些設(shè)備確實具備強大的處理能力，但長時間連續(xù)使用所造成的磨損和損耗可能會非常嚴(yán)重。Iqfesmc

訓(xùn)練階段被極限使用的人工智能硬件，在持續(xù)執(zhí)行推理任務(wù)時的耐用性可能不如預(yù)期。一個不容忽視的現(xiàn)實是，許多數(shù)據(jù)中心可能不得不在這些系統(tǒng)完成折舊之前就進(jìn)行更換，這不僅會導(dǎo)致資本提前注銷，還會帶來額外的財務(wù)負(fù)擔(dān)。Iqfesmc

尋求可持續(xù)解決方案

面對這些挑戰(zhàn)，行業(yè)必須探索可持續(xù)的解決之道，在資本支出與運營支出之間尋求平衡，確保對人工智能基礎(chǔ)設(shè)施的投資不僅在短期內(nèi)合理，長遠(yuǎn)來看也能保持耐用與高效。此時，那些著眼于長期穩(wěn)定性和能源效率的創(chuàng)新設(shè)計便顯得尤為重要。Iqfesmc

一種可能的解決方案源自一個看起來與數(shù)據(jù)中心并不相關(guān)的行業(yè)：汽車產(chǎn)業(yè)。汽車級技術(shù)長期以來致力于打造耐用、性能穩(wěn)定且高能源效率的產(chǎn)品。不同于傳統(tǒng)數(shù)據(jù)中心硬件，汽車級系統(tǒng)被設(shè)計成能夠抵御惡劣環(huán)境和長期連續(xù)運行的考驗，且其性能不會明顯衰退。這種堅韌特性意味著更長的使用壽命和降低的更換頻次，這在考慮設(shè)備攤銷時成為一個至關(guān)重要的優(yōu)勢。Iqfesmc

采用汽車級方法

一家最初服務(wù)于汽車行業(yè)的創(chuàng)新企業(yè)，開發(fā)了一項技術(shù)，可能會重塑數(shù)據(jù)中心在人工智能策略上的制定方式。該技術(shù)采用為汽車行業(yè)量身定制的嚴(yán)格質(zhì)量和耐用性標(biāo)準(zhǔn)，汽車級解決方案因此具備了與數(shù)據(jù)中心需求高度匹配的多個優(yōu)勢。Iqfesmc

首先，這些系統(tǒng)在設(shè)計上注重低功耗。與許多高功耗的高端GPU和人工智能加速器不同，這項技術(shù)在保持卓越性能的同時，優(yōu)先考慮了能源效率。這有效解決了在大量運行人工智能模型時電力消耗所帶來的主要運營成本問題，從而顯著降低了整體的運營成本。Iqfesmc

其次，這類解決方案相較于傳統(tǒng)人工智能訓(xùn)練硬件，擁有更長的使用壽命。采用汽車級耐用性的設(shè)備能夠抵御持續(xù)使用的嚴(yán)苛環(huán)境，不易像傳統(tǒng)數(shù)據(jù)中心硬件那樣出現(xiàn)早期磨損和損壞。這意味著更長的折舊周期和減少了對新硬件的資本投入，從而有效減輕了數(shù)據(jù)中心運營商的財務(wù)壓力。Iqfesmc

重新思考人工智能策略

人工智能的發(fā)展勢頭不減，支撐其成長的數(shù)據(jù)中心需求也在不斷上升。目前，將昂貴的訓(xùn)練設(shè)備轉(zhuǎn)用于推理任務(wù)以分?jǐn)偝杀镜牟呗裕找骘@露出其短視性，該策略未能充分考慮電力消耗和硬件壽命的實際影響。為避免財務(wù)和運營上的不可持續(xù)壓力，必須對戰(zhàn)略進(jìn)行調(diào)整。Iqfesmc

將汽車級技術(shù)解決方案融入人工智能基礎(chǔ)設(shè)施規(guī)劃之中，能夠帶來迫切需要的改善。雖然這些系統(tǒng)可能需要在初期重新調(diào)整預(yù)算以應(yīng)對較高的資本支出，但其長期好處——降低能耗、延長設(shè)備使用壽命，以及更為合理的攤銷安排——將遠(yuǎn)超初始的投資成本。Iqfesmc

最終思考

在數(shù)據(jù)中心不斷推動人工智能革命的過程中，行業(yè)領(lǐng)導(dǎo)者們必須重新審視策略，以應(yīng)對AI規(guī)?；瘞淼碾[性成本。目前，將訓(xùn)練設(shè)備成本通過在推理階段的共用進(jìn)行攤銷的做法，忽視了關(guān)鍵的運營成本挑戰(zhàn)和硬件使用壽命的實際問題。Iqfesmc

通過采納注重效率和持久性的解決方案，數(shù)據(jù)中心能夠為人工智能的未來構(gòu)建一個更加可持續(xù)、更具成本效益的基石。未來的發(fā)展路徑，不僅要求在AI模型上推陳出新，也要求在支撐AI運行的基礎(chǔ)設(shè)施上進(jìn)行創(chuàng)新。Iqfesmc

本文翻譯自國際電子商情姊妹平臺EETimes，原文標(biāo)題：Hidden Cost of AI: Why Data Center Strategies Need a RethinkIqfesmc