輝達GPU搭上這波AI浪潮稱霸全球，近期卻傳出輝達H100自2023年3月上市之後，已從原本的「供不應求」到目前的「供過於求」，引發各界關注。
綜合外媒報導，輝達H100伺服器的租賃價格從去年每小時8美元，降價至目前的2美元左右，顯示出市場價格波動劇烈。至於價格下跌是多方因素所導致，包括有些長期預訂H100的公司，在完成模型訓練之後，轉售閒置未使用的算力；此外，許多公司不再從頭訓練新模型，轉而微調開放模型，也讓算力需求大幅降低。
與此同時，專注構建大規模基礎模型的新創公司數量大幅減少，加上輝達競爭對手：超微(AMD)、英特爾的GPU產品陸續上市，多重因素導致H100的租賃價格漸進式下滑。
根據紅杉資本的最新報告指出，基礎模型訓練的資本支出被廣泛認為是 「歷史上貶值最快的資產」，在AI基礎設施層面，全球數十億美元的投資究竟是促進行業繁榮還是形成泡沫，成為市場熱議的話題。以生成式AI揚名的OpenAI為例，其訓練與推理支出已超過收入。
新創公司Featherless.Ai執行長Eugene Cheah深入研究H100 SXM GPU的投資回報率(ROI)並指出，由於預留計算資源的轉售、開放模型的微調以及基礎模型公司的減少，市場上的H100算力已經供過於求。分析進一步指出，H100租賃價格並非驟然暴跌，波動已有時日，從A100到H100、從H100到H200，再到最新的Blackwell，新品問世勢必帶來前代產品的沒落。輝達將在今年下半年推出新一代Blackwell系列晶片，目前已進入全面量產階段，預計貢獻第四季營收，規模達10億美元。
