全球三千家AI新創公司採用的輝達CUDA平台，就像微軟的Windows或蘋果的iOS系統一樣。生成式AI開啟GPU新時代，AI晶片搶購熱潮只是開始，未來資料中心需求暴增，相關AI產業供應鏈商機可觀。
以前提到英特爾就直接聯想到PC，講到亞馬遜就代表互聯網的電商，蘋果就代表智慧型手機，現在輝達已經成為AI的代名詞了，如今全球約有三千家的AI新創公司都採用輝達的CUDA平台，就如同微軟的Windows、蘋果的iOS系統一樣，從底層軟體出發，讓平台長出一個龐大的軟體生態，讓競爭對手難以超越。
輝達2006年開發的CUDA是一套輝達提供軟體工程師的編程工具，運用CUDA省下大量撰寫低階語法的時間，能直接使用高階語法諸如C++或Java等來編寫應用於通用GPU上的演算法，解決平行運算中複雜的問題。
輝達將數十年所有創新 融合建立CUDA平台護城河
輝達將於8月23日公布財報，從股價表現來看，市場傾向樂觀，畢竟輝達將過去數十年的所有創新，比如人工智慧、虛擬世界、加速、類比、協作等等，一舉融合到一起所建立的護城河，短期難有對手得以突破。
輝達在2018年意識到光柵化(傳統3D場景渲染方法)已經達到極限，那年輝達做了重大決策，選擇以光線追蹤和智慧升級的形式實現人工智慧驅動的影像處理：分別是RTX和DLSS技術，重新開發硬體、軟體和演算法，利用AI重塑CG(Computer Graphics，電腦圖形學)，重塑GPU。
生成式AI時代等於GPU時代 而輝達就等於GPU
事實證明，GPU適合應用在機器學習，於是當LLM大語言模型成為人工智慧主流後，傳統資料中心並不能提供大型生成式AI模型訓練所需要的大量資料，但像輝達H100這樣從一開始就設計用於大規模執行必要操作的系統能夠做到，所以進入生成式AI時代就等於進入GPU時代，而輝達就等於GPU。
台北時間8月8日23點黃仁勳在美國洛杉磯舉辦的SIGGRAPH年中大會上宣布，新一代GH200超級晶片平台，將從2024年第二季開始供貨，結果輝達的股價在23:33的450.5美元盤中高點跌到23:50的440.89美元低點，利多出盡嗎？
最終輝達收在446.64美元，也算收在盤中相對高點，不是利多出盡，而是失望性賣壓湧出，不是對GH200的效能失望，而是原先五月底在台北電腦展首次發表GH200時，提到的供貨時間是今年底，結果短短71天，GH200的供貨時間推遲了半年，可以理解失望性賣壓的股民想法，在半導體持續去庫存的環境裡，還要多等半年才供貨，原因只有一個，就是CoWoS先進封裝的產能不足。
照理，CoWoS概念股應該大漲才對，結果8月9日的弘塑跌停板，辛耘跌-6.42%、萬潤跌-5.51%，原來輝達為了加速搶佔市場，新一代L40系列的L40S GPU的OVX伺服器採用NVIDIA Ada Lovelace架構，將不會採用HBM3，而是採用GDDR6記憶體，意思是將不必採用CoWoS先進封裝製程，市場受到驚嚇，在情緒的引導下，自然先賣先贏。
高算力GPU還是要依賴CoWoS 台積電急設廠擴增CoWoS產能
相信過陣子市場冷靜下來，就會發現，GPU的市場很大，高算力的GPU還是要依賴CoWoS，如果不是這樣，台積電怎麼會緊急在銅鑼設廠增加CoWoS產能。
L40S GPU是專為搭建資料中心而設計的，配備48GB的GDDR6顯存和846GB/s的頻寬，在第四代Tensor核心和FP8 Transformer引擎的加持下，可以提供超過1.45 petaflops的張量處理能力。為了支援如實時渲染、產品設計和3D內容創建等專業視覺處理工作，L40S還配備了142個第三代RT核心，可以提供212 teraflops的光線追蹤性能。
對於具有數十億參數和多種模態的生成式AI工作負載，L40S相較於A100可實現高達1.2倍的推理性能提升，以及高達1.7倍的訓練性能提升。這樣講對一般人來說可能沒有感覺，換個角度來比較，對於Stable Diffusion XL模型，L40S OVX伺服器可以每分鐘生成八十張的圖像；對於擁有8.6億token的GPT3-40B模型，L40S OVX伺服器只需七個小時就能完成微調。輝達針對資料中心市場推出最多可搭載八張L40S的OVX伺服器，業界推測輝達將會推出L40S的中國特規版，效能略低於A800晶片，以滿足中國雲計算企業的需求。
全球AI基礎設施資本支出 未來六年複合年成長率達44%
針對市場質疑的AI泡沫論，黃仁勳表示，未來LLM處於幾乎所有事物的前沿，現在的AI晶片搶購熱潮僅是開始，AI新模型不僅需要接受訓練，還需要由數百萬甚至數十億用戶定期即時運行。從ChatGPT 3升級到ChatGPT 4所需的GPU就增加了十倍，而GH200是由256個GPU組成，更是為了ChatGPT 5準備。
未來十二到二十四個月內可能會出現資料中心的容量出現短缺，研究公司Data Bridge Market Research資料顯示，到2029年，全球人工智慧基礎設施市場的資本支出預計將達到4225.5億美元，未來六年的複合年成長率將達到44%。
