重構為外網連接版本
主要變更: - 移除所有內網 IP (192.168.x.x) - 改用外網端點 (https://llama.theaken.com) - 新增 llama_external_api.py 專門處理外網連接 - 更新所有文檔為外網版本 - 加入備用端點自動切換機制 - 優化錯誤處理和超時設定
This commit is contained in:
20
操作指南.md
20
操作指南.md
@@ -9,20 +9,18 @@ paVrIT+XU1NhwCAOb0X4aYi75QKogK5YNMGvQF1dCyo=
|
||||
|
||||
### 可用端點
|
||||
|
||||
#### 內網端點(已測試成功)
|
||||
#### 主要外網端點
|
||||
| 端點名稱 | URL | 狀態 | 支援模型 |
|
||||
|---------|-----|------|---------|
|
||||
| 內網端點 1 | http://192.168.0.6:21180/v1 | ✅ 可用 | gpt-oss-120b, deepseek-r1-671b, qwen3-embedding-8b |
|
||||
| 內網端點 2 | http://192.168.0.6:21181/v1 | ✅ 可用 | gpt-oss-120b, deepseek-r1-671b, qwen3-embedding-8b |
|
||||
| 內網端點 3 | http://192.168.0.6:21182/v1 | ✅ 可用 | gpt-oss-120b, deepseek-r1-671b, qwen3-embedding-8b |
|
||||
| 內網端點 4 | http://192.168.0.6:21183/v1 | ❌ 錯誤 | 500 Internal Server Error |
|
||||
| 通用端點 | https://llama.theaken.com/v1 | 🌐 主要 | gpt-oss-120b, deepseek-r1-671b, qwen3-embedding-8b |
|
||||
| GPT-OSS 專用 | https://llama.theaken.com/v1/gpt-oss-120b | 🌐 主要 | gpt-oss-120b |
|
||||
| DeepSeek 專用 | https://llama.theaken.com/v1/deepseek-r1-671b | 🌐 主要 | deepseek-r1-671b |
|
||||
|
||||
#### 外網端點(待測試)
|
||||
#### 備用外網端點
|
||||
| 端點名稱 | URL | 狀態 | 支援模型 |
|
||||
|---------|-----|------|---------|
|
||||
| GPT-OSS 專用 | https://llama.theaken.com/v1/gpt-oss-120b | 待測試 | gpt-oss-120b |
|
||||
| DeepSeek 專用 | https://llama.theaken.com/v1/deepseek-r1-671b | 待測試 | deepseek-r1-671b |
|
||||
| 通用端點 | https://llama.theaken.com/v1 | 待測試 | 所有模型 |
|
||||
| 備用 API 1 | https://api.llama.theaken.com/v1 | 🔄 備用 | 所有模型 |
|
||||
| 備用 API 2 | https://llama-api.theaken.com/v1 | 🔄 備用 | 所有模型 |
|
||||
|
||||
## 二、快速開始
|
||||
|
||||
@@ -33,13 +31,13 @@ pip install openai
|
||||
|
||||
### 2. 測試連接(Python)
|
||||
|
||||
#### 內網連接範例
|
||||
#### 外網連接範例
|
||||
```python
|
||||
from openai import OpenAI
|
||||
|
||||
# 設定 API
|
||||
API_KEY = "paVrIT+XU1NhwCAOb0X4aYi75QKogK5YNMGvQF1dCyo="
|
||||
BASE_URL = "http://192.168.0.6:21180/v1" # 使用內網端點 1
|
||||
BASE_URL = "https://llama.theaken.com/v1" # 使用外網端點
|
||||
|
||||
# 創建客戶端
|
||||
client = OpenAI(
|
||||
|
Reference in New Issue
Block a user