人工智慧(AI)勢不可擋，開始滲透到人類社會的各方面。ChatGPT和類似的生成式AI工具出現後已風靡全球。儘管許多人對這些生成式AI工具的功能讚不絕口，但這些模型的環境成本和影響卻常常被忽視，特別是這些系統的開發和使用極其耗能，而其實體基礎設施也需要大量能源。
部署AI對於以CPU為中心的傳統運算架構帶來了巨大的技術挑戰。在基於軟體的管理和資料控制基礎上，資料必須在網路、CPU和深度學習加速器(DLA)之間多次來回移動。這就造成了平行指令之間的多重衝突，從而限制了DLA的利用率，浪費了寶貴的硬體資源，並增加了成本和功耗。
如何在利用AI優勢的同時減少其碳足跡？NeuReality執行長兼聯合創辦人Moshe Tanach在接受歐洲版《EE Times》採訪時表示，減少AI碳排放的關鍵在於簡化運作和提高效率。他認為，從以CPU為中心的資源密集型模型過渡到NeuReality以AI為中心的模型和晶片伺服器(server-on-a-chip)解決方案，可以降低成本、減少能耗並提高傳輸速率。模擬一個複雜的系統級SoC FPGA (例如Versal ACAP)將會涉及哪些方面？Anne-Françoise Pelé：推論AI到底是什麼？它與ChatGPT等大語言模型(LLM)的生成式AI有什麼關係？
Moshe Tanach：讓我來詳細解釋為什麼推論AI和NeuReality的特定技術系統關係到生成式AI和ChatGPT以及其他類似LLM的經濟可行性。
首先，任何神經網路模型都始終遵循底層架構，例如卷積神經網路(CNN)、遞迴神經網路(RNN)、長短期記憶(LSTM)以及現在用於LLM和生成式AI的Transformer模型(編碼器/解碼器)。有了它，你就可以在未來生成語言、影像和其他可能的事物。你想讓它運作多久都行，只需要給它新的情境或新的輸入。這就是為什麼在ChatGPT時，你會看到「重新生成」(regenerate)功能。因此，生成式AI是神經網路模型或AI類別的又一個例子。
其次，不管是哪一種神經網路模型，都必須經過訓練才能執行預定的任務。開發人員為其模型饋入一個精選的資料集後，它就能「學習」關於待其分析的資料類型所需的各種知識。ChatGPT (生成式預訓練Transformer)擅長分析和生成類人文本，主要使用網際網路的所有資料進行訓練。
一旦它使用了所有網際網路資料，並找到了不同字母和單詞之間的所有關聯點，所有的資料就會在ChatGPT內部形成結構。
第三，一旦它被凍結並使用新的情境或輸入，你就可以進行推論，也即使用已訓練模型的過程。為了理解推論，可以想像如何教人從聲音辦識樂器。一開始，你先彈吉他、小提琴和烏克麗麗，並解釋這些樂器如何發出不同的聲音。之後，當你介紹斑鳩琴時，他就可以推斷出它所發出的獨特聲音，正與吉他、小提琴和烏克麗麗都很相似，因為它們都是絃樂器。
NeuReality專注於推論階段，而不是訓練複雜的AI模型。我們為資料中心以AI為中心的推論創建了底層架構和技術堆疊，從而以更低的成本和能耗實現最佳性能，並使其易於使用和部署，讓所有企業都能從中受益。
