NVIDIA 針對 AI 加速器和 RTX AI PC 優化 Google Gemma LLM

NVIDIA 最近透過其註入 AI 的 RTX GPU加速了優化行業標準 LLM 的開發，該公司現在增強了 Google 的尖端 Gemma 模型。

NVIDIA 增強 TensorRT-LLM 和多種軟體資源，利用其 AI 和 RTX GPU 提供經濟高效的效能

[新聞稿]：NVIDIA 與 Google 合作，今天推出了針對 Gemma 的所有 NVIDIA AI 平台的最佳化——Gemma 是 Google 最先進的新型輕量級 20 億和 70 億參數開放語言模型，可以在任何地方運行，降低成本並加快特定領域用例的創新工作。

兩家公司的團隊緊密合作，利用 NVIDIA TensorRT-LLM（一個在 NVIDIA 上運行時用於優化大型語言模型推理的開源庫）加速 Gemma 的性能（採用與創建 Gemini 模型相同的研究和技術而構建）數據中心、雲端和配備NVIDIA RTX GPU 的PC 中的GPU。

這使得開發人員能夠瞄準全球高效能 AI PC 中超過 1 億個 NVIDIA RTX GPU 的安裝基礎。

開發人員還可以在雲端中的NVIDIA GPU 上運行Gemma，包括基於H100 Tensor Core GPU 的Google Cloud A3 實例，以及即將推出的NVIDIA H200 Tensor Core GPU（具有141GB HBM3e 內存，每秒4.8 TB），Google 將部署該GPU年。

企業開發人員還可以利用 NVIDIA 豐富的工俱生態系統（包括具有 NeMo 框架和 TensorRT-LLM 的 NVIDIA AI Enterprise）來微調 Gemma 並在其生產應用程式中部署最佳化的模型。

Gemma 來與 RTX 聊天

Chat with RTX很快就會增加對 Gemma 的支持，這是一個 NVIDIA 技術演示，它使用檢索增強生成和 TensorRT-LLM 軟體，為用戶在本地、由 RTX 驅動的 Windows PC 上提供生成 AI 功能。 Chat with RTX 讓使用者可以輕鬆地將 PC 上的本機檔案連接到大型語言模型，從而利用其資料來個人化聊天機器人。

新聞來源：NVIDIA 博客