你可以在私有主機設定本地 AI 模型,讓所有 AI 處理都在本地伺服器完成,不需連線至外部服務,從而提升資料安全性,並支援離線環境。
請於 ragic.properties 中設定以下參數:
1. LOCAL_AI_URL=
必填,請填入本地 AI 模型服務的 API 位址,需符合 OpenAI 相容格式,例如 http://localhost:11434/v1/。
2. LOCAL_AI_KEY=
選填,請填入 API 金鑰,用於需要驗證的 AI 服務;多數本地模型服務不需要設定
注意:設定 LOCAL_AI_URL 後,系統將一律使用本地 AI 模型,不會自動切換至雲端 AI 服務。
系統會依據模型 Prefix 自動辨識模型類型,並支援以下常見類型:
| Prefix | 範例 |
|---|---|
| local/ | local/custom-model |
| qwen* | qwen2.5:32b |
| llama* | llama3.3:70b |
| mistral* | mistral:22b |
| phi* | phi3:14b |
| deepseek* | deepseek-v2:16b |