初創企業經歷了超級困難的一年，但OpenAI估值半年翻了三倍，一時間人工智慧成為顯學，2024年期待邊緣AI應用先落地，2025年迎接AI終端硬體全面創新升級趨勢。
在高利率、地緣政治衝突加劇、供應鏈脫鉤的經濟環境以及矽谷銀行倒閉的背景下，2023年對科技初創企業來說是滅頂的一年，根據Carta平台統計，今年初創企業的風險投資資金減少了一半以上，已有543家初創企業倒閉，年度融資金額正逼近2015年以來的最低水準，幸好人工智慧和生物技術的融資仍然相對強勁。
OpenAI憑藉ChatGPT爆紅 輝達訂單滿手席捲AI晶片市場
2023年的人工智慧，可以說是OpenAI的天下，憑藉ChatGPT的爆紅，這家初創企業一躍成為最具價值的AI初創公司，最新估值達到860億美元，半年翻了三倍。
在AI晶片領域，輝達的H100+CUDA軟體幾乎壟斷了今年AI晶片市場，H100晶片市價四萬美元左右，使得輝達前三季營收翻兩倍到181億美元，而且訂單滿手中。
微軟率先發難自研AI晶片，以求降低成本的同時，發展更貼近自家企業所需的AI晶片，Meta、OpenAI和微軟在12/6舉行的AMD投資者大會上，表示將使用AMD最新的人工智慧晶片Instinct MI300X。可預見2024年是反輝達聯盟集結的一年，但輝達領先十多年建立的CUDA軟體可不是吃素的，CUDA軟體一直是AI開發者目前青睞輝達GPU的主要原因之一，到時候還有得瞧。
2024年各方勢力集結 對抗輝達AI晶片一家獨大
AMD的MI300X最大特點是擁有192GB的HBM3，這種記憶體傳輸資料的速度更快，可以容納更大的人工智慧模型。AMD將MI300X及其構建的系統與輝達的H100進行了比較，晚了半年問世的MI300X的浮點運算速度比H100高30%，記憶體頻寬比H100高60%，記憶體容量更是H100的兩倍以上。
但MI300X對輝達最新的旗艦H200的優勢就沒那麼明顯了，記憶體頻寬僅比後者多出個位數，容量比後者大近40%。光有強而有力的晶片並不足以扳倒輝達的領先地位，因為輝達配合ChatGPT-3、4模型運作的效果最好，如果沒有其他LLM大模型配合運作，證實AMD搭配新的大模型的效能足以取代H100+ChatGPT的話，買家不會輕易捨棄輝達、選擇AMD的。
相較於簡單將純文字、純視覺和純音訊模型拼接在一起的傳統模型，12/7谷歌至今最強大的大模型Gemini上線，Gemini在開發之初就在不同模態上進行了訓練，根據谷歌內部消息，Gemini有萬億參數，訓練所用的算力甚至達到GPT-4的五倍，從自然圖像、音訊、視頻理解到數學推理，Gemini Ultra在32個常用的學術基準的30個上，已經超越GPT-4！值得一提的是，Gemini並沒有依賴輝達晶片算力，是由Google自研TPU v4和TPU v5e訓練出來的大模型。
另外不讓谷歌專美於前，不同於谷歌的封閉式LLM大模型，Meta和IBM選擇走類似Android系統的開放式競爭路線，聯合成立了AI聯盟。Meta計畫把MI300X GPU用於人工智慧推理任務，微軟表示會把MI300X部署在雲端運算服務Azure中，甲骨文的雲端運算服務也會使用MI300X。OpenAI也會在一款叫做Triton的軟體產品中使用AMD GPU，可預見2024年將是各方勢力集結對抗輝達在AI晶片的一家獨大壟斷。
雲端AI基建使GPU大缺貨 邊緣AI算力攸關生成式AI擴展
雲端AI的基礎建設使得GPU大缺貨，但個人消費者並非所有的應用都要上傳到雲端AI去運算，AI的邊緣運算正在抬頭。未來AI推理的規模將遠高於AI訓練，推理成本將隨著日活使用者數量及使用頻率的增加而增加，而雲端推理的成本掌握在雲企業手中，這將導致規模化擴展難以持續，因此布局邊緣AI算力是生成式AI規模化擴展的重要一步。
通過壓縮AI大模型和終端軟硬體的配合，企圖做到在PC與手機上運行AI模型跟雲端GPU運算一樣快，但成本更低、回應速度更快、服務效率更高等目標。生成式AI與邊緣AI走在前面，倒逼PC與手機硬體性能大升級。蘋果的新一代M3系列晶片中，M3Max支援開發數十億參數AI模型。蘋果與Meta等在XR眼鏡中也有望逐步接入AI。
明年期待邊緣AI應用先落地 後年迎接AI終端硬體創新升級
谷歌大模型Gemini家族中專門為移動裝置訓練模型的Nano版本將配備在谷歌最新一代旗艦機Pixel 8 Pro，Gemini大模型最核心亮點在於對視頻多模態的理解能力。華為Mate60、小米14、vivoX100發布會中，都重點介紹了AI功能。三星2024年Galaxy S24手機發布會中，預期高斯AI模型將是主打功能。
聯想首款AI PC已面世，2024年CES展上，華碩將展示AI PC，考慮到AI算力由雲端向邊緣裝置端延伸，硬體升級趨勢可望推動換機潮加速，邊緣AI的大模型具備GPT3.5至GPT4水準能力，可望從PC與手機端開始滲透，然後逐步延伸到MR、穿戴式電子、汽車、智慧家庭、機器人等各類終端設備，2024年是個期待邊緣AI應用落地的一年，2025年或將迎來全面一輪的AI終端硬體創新升級趨勢。
