重構為外網連接版本

主要變更:
- 移除所有內網 IP (192.168.x.x)
- 改用外網端點 (https://llama.theaken.com)
- 新增 llama_external_api.py 專門處理外網連接
- 更新所有文檔為外網版本
- 加入備用端點自動切換機制
- 優化錯誤處理和超時設定
This commit is contained in:
2025-09-19 22:04:10 +08:00
parent 34fcf39fda
commit e71495ece4
5 changed files with 385 additions and 98 deletions

View File

@@ -9,20 +9,18 @@ paVrIT+XU1NhwCAOb0X4aYi75QKogK5YNMGvQF1dCyo=
### 可用端點
#### 內網端點(已測試成功)
#### 主要外網端點
| 端點名稱 | URL | 狀態 | 支援模型 |
|---------|-----|------|---------|
| 內網端點 1 | http://192.168.0.6:21180/v1 | ✅ 可用 | gpt-oss-120b, deepseek-r1-671b, qwen3-embedding-8b |
| 內網端點 2 | http://192.168.0.6:21181/v1 | ✅ 可用 | gpt-oss-120b, deepseek-r1-671b, qwen3-embedding-8b |
| 內網端點 3 | http://192.168.0.6:21182/v1 | ✅ 可用 | gpt-oss-120b, deepseek-r1-671b, qwen3-embedding-8b |
| 內網端點 4 | http://192.168.0.6:21183/v1 | ❌ 錯誤 | 500 Internal Server Error |
| 通用端點 | https://llama.theaken.com/v1 | 🌐 主要 | gpt-oss-120b, deepseek-r1-671b, qwen3-embedding-8b |
| GPT-OSS 專用 | https://llama.theaken.com/v1/gpt-oss-120b | 🌐 主要 | gpt-oss-120b |
| DeepSeek 專用 | https://llama.theaken.com/v1/deepseek-r1-671b | 🌐 主要 | deepseek-r1-671b |
#### 外網端點(待測試)
#### 備用外網端點
| 端點名稱 | URL | 狀態 | 支援模型 |
|---------|-----|------|---------|
| GPT-OSS 專用 | https://llama.theaken.com/v1/gpt-oss-120b | 待測試 | gpt-oss-120b |
| DeepSeek 專用 | https://llama.theaken.com/v1/deepseek-r1-671b | 待測試 | deepseek-r1-671b |
| 通用端點 | https://llama.theaken.com/v1 | 待測試 | 所有模型 |
| 備用 API 1 | https://api.llama.theaken.com/v1 | 🔄 備用 | 所有模型 |
| 備用 API 2 | https://llama-api.theaken.com/v1 | 🔄 備用 | 所有模型 |
## 二、快速開始
@@ -33,13 +31,13 @@ pip install openai
### 2. 測試連接Python
#### 網連接範例
#### 網連接範例
```python
from openai import OpenAI
# 設定 API
API_KEY = "paVrIT+XU1NhwCAOb0X4aYi75QKogK5YNMGvQF1dCyo="
BASE_URL = "http://192.168.0.6:21180/v1" # 使用網端點 1
BASE_URL = "https://llama.theaken.com/v1" # 使用網端點
# 創建客戶端
client = OpenAI(