和碩聯合科技(4938)是一家全球知名的設計和製造服務(DMS)公司,將於美國運算大會SC24 #403展位, 以 ”為 AI 而生,激發高效運算的想像力” 為主題,展出適合即時大型語言模型 (LLM) 運算與先進散熱基礎設施的解決方案。並透過發表多節點高密度運算效能設計的液冷 (DLC) 伺服器產品,引領資料中心向增進能源效率之路邁進。
呼應今年SC24的展覽主題 ”創造高效運算”,和碩展出的一系列與合作夥伴AMD,Intel,NVIDIA合作設計支援高效運算的伺服器與機架 (Rack) 級方案。此次展出主要特色產品包含:
1.支援大規模生成式人工智慧運算的機架 (RA4401-72N1),並搭配液冷Liquid-to-Air Sidecar 或是Liquid-to-Liquid CDU 散熱機櫃方案。運算節點採用NVIDIA GB200 NVL72高密度機架級 GPU 解決方案,為生成式人工智慧運算提供動力,實現30倍的即時大型語言模型 (LLM) 推論速度,降低25倍的總擁有成本(TCO),並減少25倍的能源消耗。
2.邊緣推論在AI應用上的重要性與日俱增,和碩展示利用NVIDIA MGXTM模組參考架構下,採用NVIDIA GH200,NVIDIA H200 NVL,NVIDIA L40S的2U (AS201-1N0, AS205-2T1)/4U(AS400-2A1)伺服器。其中NVIDIA H200 NVL 為主流企業伺服器解鎖了 AI 加速,增進大型語言模型(LLM)推理速度最高可達 1.7 倍,在高效能計算(HPC)應用相較 H100 NVL 效能則提高 1.3 倍。
3.資料中心持續追求提高運算密度與增加運算效能的方案,和碩結合先進 (Direct-to-Chip) 冷卻散熱解決方案,並搭載最新AMD EPYCTM 9005系列處理器,打造多節點高密度並符合ORv3規範的OCP伺服器 (MS303-4A1)。和碩也同時展出多台氣冷式多節點伺服器 (MS301-2T1,MS302-2T1),搭配Intel® Xeon® 6 處理器 E-cores和P-cores,能應付資料中心之彈性擴充與節能省電的要求。
和碩很榮幸於SC24美國運算大會展示最新的高速運算解決方案,誠摯邀您前來亞特蘭大會場403展位參觀! 和碩將成為您各式伺服器系統與架構的首選合作夥伴。