AMD Ryzen AI CPU 和 Radeon 7000 GPU 可以使用 LLM 運行本地化聊天機器人，就像 NVIDIA 的 RTX 聊天一樣

繼 NVIDIA 推出 Chat with RTX 之後，AMD 現在為用戶提供自己的本地化且基於 GPT 的 LLM 支援的 AI 聊天機器人，該機器人可以在 Ryzen AI CPU 和 Radeon 7000 GPU 上運行。

NVIDIA 與 RTX 的聊天有了競爭對手，AMD 推出了自己的本地化 LLM 驅動的聊天機器人，可以在 Ryzen AI CPU 和 Radeon 7000 GPU 上運行

上個月，NVIDIA 推出了「與 RTX 聊天」AI 聊天機器人，該機器人可在RTX 40 和RTX 30 GPU 上使用，並透過TensorRT-LLM 功能集進行加速，該功能集根據您提供的數據提供更快的GenAI 結果。 PC 或其他術語，本地化資料集。現在，AMD 正在提供自己的基於LLM 的GPT 聊天機器人，該機器人可以在各種硬體上運行，例如Ryzen AI PC，其中包括配備XDNA NPU 的Ryzen 7000 和Ryzen 8000 APU 以及配備AI 加速器核心的最新Radeon 7000 GPU 。

對於 AMD Ryzen AI CPU，您可以獲得適用於 Windows 的標準 LM Studio 副本，而 Radeon RX 7000 GPU 則可以獲得 ROCm 技術預覽版。完整指南分享如下：

1.下載正確版本的LM Studio：

適用於 AMD 銳龍處理器	適用於 AMD Radeon RX 7000 系列顯示卡
LM Studio – Windows	LM Studio – ROCm 技術預覽

2. 運行該檔案。

3. 在搜尋標籤中，根據您要執行的內容複製並貼上以下搜尋字詞：

A。如果您想執行 Mistral 7b，請搜尋：「TheBloke/OpenHermes-2.5-Mistral-7B-GGUF」並從左側結果中選擇它。它通常是第一個結果。在這個例子中我們將使用米斯特拉爾。

b.如果您想運行 LLAMA v2 7b，請搜尋：「TheBloke/Llama-2-7B-Chat-GGUF」並從左側結果中選擇它。它通常是第一個結果。

C。您也可以在這裡嘗試其他模型。

4. 在右側面板上，向下捲動直到看到Q4 KM模型檔。點擊下載。

A。對於 Ryzen AI 上的大多數型號，我們推薦Q4 KM 。等待它完成下載。

5. 轉到聊天標籤。從頂部中心的中央下拉式選單中選擇模型，然後等待其完成載入。

6. 如果您有AMD Ryzen AI PC，您就可以開始聊天了！

A。如果您有AMD Radeon 顯示卡，請：

我。檢查右側面板上的“GPU 卸載”。

二.將滑桿一直移動到“最大”。

三.確保 AMD ROCm 顯示為偵測到的 GPU 類型。

四.開始聊天！

如果設定得當，擁有由人工智慧驅動的在地化聊天機器人可以使生活和工作相對更輕鬆。您可以有效率地完成工作，並根據您的查詢和 LLM 所針對的資料路徑獲得正確的結果。 NVIDIA 和 AMD 正在加快消費級硬體的人工智慧功能的步伐，這只是一個開始，隨著人工智慧 PC 領域達到新的高度，預計未來會有更多創新。