註:比較4張本地NVIDIA 6000 ADA GPU與8張雲端NVIDIA H100 GPU
aiDAPTIV+ 能夠實現 HBM、GDDR 記憶體與成本效益更高的快閃記憶體之間的動態資源調配,有效降低硬體支出,同時大幅減少模型訓練對昂貴且耗電GPU顯示卡的需求
無論在家、辦公室、學校教室或資料中心都能輕鬆部署。體積小巧,只需使用一般的電力與冷卻設備。
支援指令列操作與直覺化圖形介面,內建多種功能套件,讓您輕鬆進行模型導入、微調、驗證及推理。
讓您在防火牆內進行大語言模型(LLM)訓練,全面掌控私密資料,確保符合資料隱私規範,讓您使用更安心。
NVIDIA Jetson IoT 裝置搭載群聯aiDAPTIV+ 技術,不僅能進行LLM訓練,還能加速首次token召回的時間,提高推論效能,以及通過增加token長度,增強上下文讀辨,提供更長且更精確的回答。
搭載 GPU 及群聯 aiDAPTIV+ 技術的 AI 筆記型電腦,讓使用者可在家中、辦公室或教室即可學習如何訓練LLM。此外,您也能在本地運行訓練過的 LLM,並透過模型擴充其資料,使其提供更為量身定制的推論應答。使用 aiDAPTIV+ 技術還能提升提示召回時間,並提供更多的上下文空間,進而產生更長且更精確的回覆。
體驗無縫的PyTorch相容性,無需調整AI應用程式,輕鬆新增節點。系統供應商可享有AI100E SSD、Middleware函式庫授權及群聯全方位支援,助您順利整合系統
群聯aiDAPTIVCache及中介軟體可擴展 GPU 記憶體,為 PC 提供額外 320GB、工作站與伺服器上至8TB 的記憶體,支援低延遲的 LLM 訓練。此外,其更具備業界領先的 100 DWPD 極高耐久度,並於特殊設計中支援群聯的先進 NAND 糾錯演算法技術。
aiDAPTIV+ 能通過加速首次召回Token的時間來實現更快速的回應,提升推論使用體驗,並同時延長 Token 長度,提供更豐富的上下文,從而生成更長且更準確的回答。
aiDAPTIV+ 透過整合快閃記憶體與 DRAM,提供更大的記憶體資源,使模型規模不再受限於 GPU 顯示卡的 HBM 或 GDDR 記憶體容量
這讓您能夠訓練更大規模的模型,並以更實惠的方式運行過去只有大型企業和雲端服務供應商才能承擔的運算需求
「研華與群聯的合作將有助於降低企業進入生成式AI領域的門檻,促進地端 AI 訓練的普及。」
Miller Chang
President
Advantech Embedded-IoT Group
「為了為客戶提供最大的價值,華碩將群聯的 aiDAPTIV+ 整合進我們的數據中心解決方案,實現顯著的效能提升,且無需增加額外成本。」
Paul Ju
Corporate Vice President and CTO Data Center,
OP BG General Manager of Data Center Solution BU
ASUS
「除了 PC 市場外,技嘉於 AI 伺服器領域深耕多年。群聯創新的aiDAPTIV+解決方案位技嘉AI伺服器客戶提供全新的運算架構,協助AI模型微調。藉由將 SSD 整合進 AI 計算架構並擴展 GPU 記憶體,顯著降低 AI 計算成本,為全球希望導入 AI 應用的客戶帶來巨大優勢。」
Etay Lee
CEO
GIGABYTE
「MAINGEAR 的 Pro AI 系列工作站搭載群聯aiDAPTIV+,讓使用者能夠以較低成本進行大型語言模型 AI 訓練。我們致力於打造高效能且具成本效益的解決方案,確保中小型企業、大學及研究機構在這個過去需要數百萬美元投資的產業中擁有競爭優勢。」
Wallace Santos
Founder and CEO
MAINGEAR
「群聯的 aiDAPTIV+ 為我們的平台提供了強大的邊緣運算能力,並為我們的使用者與開發者開啟了新的可能性。」
Jason Yeh
Assistant General Manager AI and Data Engineering Division
MediaTek