在人工智能（AI）的第一階段，大型語言模型（LLM）訓練一直是主戰場，但推理（inference）最終被普遍預期會成為規模更大的市場。
LLM訓練對運算資源要求極高，技術難度亦更大；推理則較偏向記憶體密集，並須更具成本效益，因為推理是持續進行的流程。傳統上，圖像處理器（GPU）及其他AI加速器會配合高頻寬記憶體（HBM）封裝，以優化這方面表現。
不過，Nvidia（NVDA）透過最近對Groq的「收購」，以及Cerebras Systems（CBRS），正嘗試使用片上SRAM（static random-access memory）來加速推理AI工作負載。這是新路線，兩家公司對SRAM的使用方式亦截然不同。儘管SRAM可以大幅提升推理速度，但本身體積龐大，令晶片面積、記憶容量以及數據中心的供電及散熱需求之間出現取捨。
以下我們會比較兩家公司的做法，並看看哪一隻半導體股在爭奪推理市場領導地位上更具優勢。
Cerebras：愈大愈好？
為處理SRAM體積龐大的問題，Cerebras選擇打造晶圓級超大型晶片，把龐大運算能力及SRAM集中放在同一片晶圓上；但這種做法亦帶來額外挑戰。
首先，晶片製造流程本來就複雜，缺陷亦常見。台積電之所以幾乎在先進制程上形成壟斷，正因其能以高良率生產先進芯片；即便如此，它在最新技術上的良率目標也只是約80%。但當你面對的是成本極高的晶圓級超大晶片時，這種良率其實遠遠不夠。為解決這個問題，Cerebras會在晶片上預留額外核心，以便將來繞過任何缺陷部分。
其次，這種晶片對散熱及供電管理亦有特殊要求，因此公司不會單獨出售晶片，而是只會以完整端到端伺服器機櫃CS-3系統形式出售或出租。雖然公司聲稱其系統的推理效能可較GPU快15倍，但綜合所有因素，這仍是一個成本極高的高端方案。
Nvidia：生態優勢
透過以200億美元「收購」Groq，Nvidia取得該公司專為推理解決方案設計的語言處理單元（LPU）。儘管LPU同樣使用SRAM，但它們是常規尺寸晶片；相對之下，LPU在每顆晶片上的SRAM容量相對較小，需要以極大且複雜的集群方式，把大量LPU互相連接，才能支撐大型模型推理，這對效率有不利影響。
相比之下，Cerebras超大晶片在速度上約快六倍。不過，這類晶片的可塑性較低，基本只能用於推理用途。
Nvidia交易的一大優勢在於，它已將LPU整合進自家CUDA軟件平台，並設計出結合GPU及LPU、專為推理用途而打造的完整機櫃系統。配備HBM的GPU可處理理解用戶提示的「prefill」階段，而LPU則接手提供回應的「decode」階段；由於LPU採用SRAM作記憶體，可幾乎零延遲作出回應。
哪一隻股票更值得持有？
Cerebras的確有機會徹底改寫推理市場格局，並已獲OpenAI給予巨額訂單承諾，將成為其強勁增長動力；然而，該股上市伊始估值已極度高企——市銷率逾100倍，必須證明自己有能力成為超越利基市場的主要玩家。
相對而言，Nvidia早已是LLM訓練領域的絕對領頭羊；其對Groq的「收購」看來是極具遠見的一步，有助公司在推理市場同樣佔據重要位置。透過在同一伺服器系統中結合GPU及LPU，Nvidia成功把一件原本屬於利基市場的產品帶進主流。基於上述原因，筆者認為，在兩隻股票之中，Nvidia是更佳選擇。
作者： Geoffrey Seiler, The Fool
原文刊登於 HKMoneyClub
更多你或感興趣內容：
Cerebras上市首日暴升68%：在這場爆炸式IPO之後買入會否太遲？
睇完新聞，記得追蹤hkmoneyclub以下平台，接收更多分析評論！
YouTube：hkmoneyclub (https://www.youtube.com/@hkmoneyclub)
本文所提供的信息僅供一般參考之用，並不構成任何個人化的投資勸誘或建議。作者沒持有以上提及的股票。 HK MoneyClub (www.hkmoneyclub.com)