aken1023/pj_llama
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

重構為外網連接版本

Browse Source 
主要變更：
- 移除所有內網 IP (192.168.x.x)
- 改用外網端點 (https://llama.theaken.com)
- 新增 llama_external_api.py 專門處理外網連接
- 更新所有文檔為外網版本
- 加入備用端點自動切換機制
- 優化錯誤處理和超時設定
This commit is contained in:
阿肯
2025-09-19 22:04:10 +08:00
parent 34fcf39fda
commit e71495ece4
5 changed files with 385 additions and 98 deletions
Download Patch File Download Diff File Expand all files Collapse all files

48
README.md
View File

@@ -54,10 +54,10 @@ Llama API 完整對話程式
時間: 2025-09-19 16:00:00
============================================================
[內網端點測試]
測試 內網端點 1 (21180)... [OK]
測試 內網端點 2 (21181)... [OK]
測試 內網端點 3 (21182)... [OK]
[主要端點測試]
測試 Llama 通用端點... [OK]
測試 GPT-OSS 專用端點... [OK]
測試 DeepSeek 專用端點... [OK]
找到 3 個可用端點，請選擇 (預設: 1):
```
@@ -86,26 +86,27 @@ AI: 1+1等於2。
| 檔案名稱 | 用途說明 |
|---------|---------|
| `llama_full_api.py` | **主程式** - 完整功能版本，支援所有端點 |
| `llama_chat.py` | 內網專用對話程式 |
| `llama_external_api.py` | **主程式** - 外網連接專用版本 |
| `llama_full_api.py` | 完整功能版本，支援所有端點 |
| `quick_test.py` | 快速測試連接是否正常 |
| `local_api_test.py` | 測試所有端點的工具 |
| `test_all_models.py` | 測試所有模型的工具 |
## 🌐 可用的 API 端點
### 內網端點（公司/學校內部網路）
### 主要端點
| 端點 | 地址 | 狀態 |
|-----|------|------|
| 端點 1 | `http://192.168.0.6:21180/v1` | ✅ 正常 |
| 端點 2 | `http://192.168.0.6:21181/v1` | ✅ 正常 |
| 端點 3 | `http://192.168.0.6:21182/v1` | ✅ 正常 |
| 端點 | 地址 | 支援模型 |
|-----|------|---------|
| 通用端點 | `https://llama.theaken.com/v1` | 所有模型 |
| GPT-OSS 專用 | `https://llama.theaken.com/v1/gpt-oss-120b` | GPT-OSS-120B |
| DeepSeek 專用 | `https://llama.theaken.com/v1/deepseek-r1-671b` | DeepSeek-R1-671B |
### 外網端點（需要網路連接）
### 備用端點
| 端點 | 地址 | 狀態 |
|-----|------|------|
| 通用端點 | `https://llama.theaken.com/v1` | 📡 需測試 |
| 端點 | 地址 | 支援模型 |
|-----|------|---------|
| 備用 API 1 | `https://api.llama.theaken.com/v1` | 所有模型 |
| 備用 API 2 | `https://llama-api.theaken.com/v1` | 所有模型 |
## 🤖 支援的 AI 模型
@@ -119,8 +120,9 @@ AI: 1+1等於2。
**解決方法：**
1. 檢查網路連接是否正常
2. 如果在公司/學校，確認是否在內網環境
2. 確認可以訪問外部網站 (https://llama.theaken.com)
3. 嘗試執行 `python quick_test.py` 測試連接
4. 如果主要端點無法使用，程式會自動嘗試備用端點
### 問題：AI 回應包含奇怪的標記
@@ -142,7 +144,7 @@ from openai import OpenAI
# 設定連接
client = OpenAI(
api_key="paVrIT+XU1NhwCAOb0X4aYi75QKogK5YNMGvQF1dCyo=",
base_url="http://192.168.0.6:21180/v1"
base_url="https://llama.theaken.com/v1"
)
# 發送訊息
@@ -172,10 +174,10 @@ API_KEY = "你的新金鑰"
在 `llama_full_api.py` 中的 `ENDPOINTS` 加入新端點：
```python
"內網": [
"主要": [
{
"name": "新端點",
"url": "http://新的地址/v1",
"url": "https://新的地址/v1",
"models": ["gpt-oss-120b"]
}
]
@@ -193,8 +195,8 @@ https://gitea.theaken.com/aken1023/pj_llama/issues
## 📊 測試狀態
最後測試時間：2025-09-19
- ✅ 內網端點 1-3：全部正常
- ❌ 外網端點：暫時無法使用（502 錯誤）
- 📡 主要端點：正在測試中
- 🔄 備用端點：當主要端點無法使用時自動切換
---

270
llama_external_api.py Normal file
View File

@@ -0,0 +1,270 @@
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
Llama API 外網連接程式
使用外網端點進行 AI 對話
"""
from openai import OpenAI
import requests
import sys
import re
from datetime import datetime
# API 金鑰
API_KEY = "paVrIT+XU1NhwCAOb0X4aYi75QKogK5YNMGvQF1dCyo="
# 外網 API 端點配置
ENDPOINTS = [
{
"name": "Llama 通用端點",
"url": "https://llama.theaken.com/v1",
"models": ["gpt-oss-120b", "deepseek-r1-671b", "qwen3-embedding-8b"]
},
{
"name": "GPT-OSS 專用端點",
"url": "https://llama.theaken.com/v1/gpt-oss-120b",
"models": ["gpt-oss-120b"]
},
{
"name": "DeepSeek 專用端點",
"url": "https://llama.theaken.com/v1/deepseek-r1-671b",
"models": ["deepseek-r1-671b"]
}
]
# 備用外網端點（如果主要端點無法使用）
BACKUP_ENDPOINTS = [
{
"name": "備用端點 1",
"url": "https://api.llama.theaken.com/v1",
"models": ["gpt-oss-120b", "deepseek-r1-671b", "qwen3-embedding-8b"]
},
{
"name": "備用端點 2",
"url": "https://llama-api.theaken.com/v1",
"models": ["gpt-oss-120b", "deepseek-r1-671b", "qwen3-embedding-8b"]
}
]
def clean_response(text):
"""清理 AI 回應中的特殊標記"""
if not text:
return text
# 移除思考標記
if "<think>" in text:
text = re.sub(r'<think>.*?</think>', '', text, flags=re.DOTALL)
# 移除 channel 標記
if "<|channel|>" in text:
parts = text.split("<|message|>")
if len(parts) > 1:
text = parts[-1]
# 移除結束標記
text = text.replace("<|end|>", "").replace("<|start|>", "")
# 清理多餘空白
text = text.strip()
return text
def test_endpoint(endpoint_info, timeout=10):
"""測試端點是否可用"""
url = endpoint_info["url"]
model = endpoint_info["models"][0] if endpoint_info["models"] else "gpt-oss-120b"
print(f" 測試 {endpoint_info['name']}...", end="", flush=True)
try:
# 處理特殊的模型端點 URL
if url.endswith("/gpt-oss-120b") or url.endswith("/deepseek-r1-671b"):
base_url = url.rsplit("/", 1)[0]
else:
base_url = url
client = OpenAI(
api_key=API_KEY,
base_url=base_url,
timeout=timeout
)
response = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "test"}],
max_tokens=5
)
print(" ✓ 可用")
return True
except Exception as e:
error_msg = str(e)
if "502" in error_msg:
print(" ✗ 伺服器暫時無法使用 (502)")
elif "timeout" in error_msg.lower():
print(" ✗ 連接超時")
elif "connection" in error_msg.lower():
print(" ✗ 無法連接")
else:
print(f" ✗ 錯誤")
return False
def find_working_endpoint():
"""尋找可用的端點"""
print("\n正在測試外網端點...")
print("-" * 50)
# 先測試主要端點
print("主要端點：")
for endpoint in ENDPOINTS:
if test_endpoint(endpoint):
return endpoint
# 如果主要端點都不可用，測試備用端點
print("\n備用端點：")
for endpoint in BACKUP_ENDPOINTS:
if test_endpoint(endpoint):
return endpoint
return None
def chat_session(endpoint_info):
"""對話主程式"""
print("\n" + "="*60)
print("Llama AI 對話系統")
print("="*60)
print(f"使用端點: {endpoint_info['name']}")
print(f"URL: {endpoint_info['url']}")
print(f"可用模型: {', '.join(endpoint_info['models'])}")
print("\n指令:")
print(" exit/quit - 結束對話")
print(" clear - 清空對話歷史")
print(" model - 切換模型")
print("-"*60)
# 處理 URL
url = endpoint_info["url"]
if url.endswith("/gpt-oss-120b") or url.endswith("/deepseek-r1-671b"):
base_url = url.rsplit("/", 1)[0]
else:
base_url = url
client = OpenAI(api_key=API_KEY, base_url=base_url)
# 選擇模型
if len(endpoint_info['models']) == 1:
current_model = endpoint_info['models'][0]
else:
print("\n選擇模型:")
for i, model in enumerate(endpoint_info['models'], 1):
print(f" {i}. {model}")
choice = input("選擇 (預設: 1): ").strip()
if choice.isdigit() and 1 <= int(choice) <= len(endpoint_info['models']):
current_model = endpoint_info['models'][int(choice)-1]
else:
current_model = endpoint_info['models'][0]
print(f"\n使用模型: {current_model}")
messages = []
while True:
try:
user_input = input("\n你: ").strip()
if not user_input:
continue
if user_input.lower() in ['exit', 'quit']:
print("再見！")
break
if user_input.lower() == 'clear':
messages = []
print("[系統] 對話歷史已清空")
continue
if user_input.lower() == 'model':
if len(endpoint_info['models']) == 1:
print(f"[系統] 此端點只支援 {endpoint_info['models'][0]}")
else:
print("\n可用模型:")
for i, m in enumerate(endpoint_info['models'], 1):
print(f" {i}. {m}")
choice = input("選擇: ").strip()
if choice.isdigit() and 1 <= int(choice) <= len(endpoint_info['models']):
current_model = endpoint_info['models'][int(choice)-1]
print(f"[系統] 已切換到 {current_model}")
continue
messages.append({"role": "user", "content": user_input})
print("\nAI 思考中...", end="", flush=True)
try:
response = client.chat.completions.create(
model=current_model,
messages=messages,
temperature=0.7,
max_tokens=1000
)
ai_response = response.choices[0].message.content
ai_response = clean_response(ai_response)
print("\r" + " "*20 + "\r", end="")
print(f"AI: {ai_response}")
messages.append({"role": "assistant", "content": ai_response})
except Exception as e:
print(f"\r[錯誤] {str(e)[:100]}")
messages.pop()
except KeyboardInterrupt:
print("\n\n[中斷] 使用 exit 命令正常退出")
continue
except EOFError:
print("\n再見！")
break
def main():
print("="*60)
print("Llama AI 外網對話程式")
print(f"時間: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}")
print("="*60)
# 尋找可用端點
working_endpoint = find_working_endpoint()
if not working_endpoint:
print("\n" + "="*60)
print("錯誤：無法連接到任何外網端點")
print("="*60)
print("\n可能的原因：")
print("1. 外網 API 伺服器暫時離線")
print("2. 網路連接問題")
print("3. 防火牆或代理設定")
print("\n建議：")
print("1. 稍後再試（10-30分鐘後）")
print("2. 檢查網路連接")
print("3. 聯繫 API 管理員")
sys.exit(1)
print("\n" + "="*60)
print(f"成功連接到: {working_endpoint['name']}")
print("="*60)
# 開始對話
chat_session(working_endpoint)
if __name__ == "__main__":
try:
main()
except KeyboardInterrupt:
print("\n\n程式已退出")
except Exception as e:
print(f"\n[錯誤] {e}")
import traceback
traceback.print_exc()
sys.exit(1)

49
llama_full_api.py
View File

@@ -16,37 +16,32 @@ API_KEY = "paVrIT+XU1NhwCAOb0X4aYi75QKogK5YNMGvQF1dCyo="
# API 端點配置
ENDPOINTS = {
"內網": [
"主要": [
{
"name": "內網端點 1 (21180)",
"url": "http://192.168.0.6:21180/v1",
"name": "Llama 通用端點",
"url": "https://llama.theaken.com/v1",
"models": ["gpt-oss-120b", "deepseek-r1-671b", "qwen3-embedding-8b"]
},
{
"name": "內網端點 2 (21181)",
"url": "http://192.168.0.6:21181/v1",
"models": ["gpt-oss-120b", "deepseek-r1-671b", "qwen3-embedding-8b"]
},
{
"name": "內網端點 3 (21182)",
"url": "http://192.168.0.6:21182/v1",
"models": ["gpt-oss-120b", "deepseek-r1-671b", "qwen3-embedding-8b"]
}
],
"外網": [
{
"name": "外網 GPT-OSS-120B",
"name": "GPT-OSS 專用端點",
"url": "https://llama.theaken.com/v1/gpt-oss-120b",
"models": ["gpt-oss-120b"]
},
{
"name": "外網 DeepSeek-R1-671B",
"name": "DeepSeek 專用端點",
"url": "https://llama.theaken.com/v1/deepseek-r1-671b",
"models": ["deepseek-r1-671b"]
}
],
"備用": [
{
"name": "備用 API 端點 1",
"url": "https://api.llama.theaken.com/v1",
"models": ["gpt-oss-120b", "deepseek-r1-671b", "qwen3-embedding-8b"]
},
{
"name": "外網通用端點",
"url": "https://llama.theaken.com/v1",
"name": "備用 API 端點 2",
"url": "https://llama-api.theaken.com/v1",
"models": ["gpt-oss-120b", "deepseek-r1-671b", "qwen3-embedding-8b"]
}
]
@@ -121,23 +116,23 @@ def test_all_endpoints():
available_endpoints = []
# 測試內網端點
print("\n[內網端點測試]")
for endpoint in ENDPOINTS["內網"]:
# 測試主要端點
print("\n[主要端點測試]")
for endpoint in ENDPOINTS["主要"]:
print(f" 測試 {endpoint['name']}...", end="", flush=True)
if test_endpoint(endpoint):
print(" [OK]")
available_endpoints.append(("內網", endpoint))
available_endpoints.append(("主要", endpoint))
else:
print(" [FAIL]")
# 測試外網端點
print("\n[外網端點測試]")
for endpoint in ENDPOINTS["外網"]:
# 測試備用端點
print("\n[備用端點測試]")
for endpoint in ENDPOINTS["備用"]:
print(f" 測試 {endpoint['name']}...", end="", flush=True)
if test_endpoint(endpoint):
print(" [OK]")
available_endpoints.append(("外網", endpoint))
available_endpoints.append(("備用", endpoint))
else:
print(" [FAIL]")

90
quick_test.py
View File

@@ -1,54 +1,76 @@
"""
快速測試內網 Llama API
快速測試 Llama API 外網連接
"""
from openai import OpenAI
import sys
# API 設定
API_KEY = "paVrIT+XU1NhwCAOb0X4aYi75QKogK5YNMGvQF1dCyo="
BASE_URL = "http://192.168.0.6:21180/v1" # 使用第一個可用端點
BASE_URL = "https://llama.theaken.com/v1" # 使用外網端點
def quick_test():
print("連接到內網 API...")
print(f"端點: {BASE_URL}")
print("="*50)
print("Llama API 快速測試")
print("="*50)
print(f"連接到: {BASE_URL}")
print("-" * 50)
client = OpenAI(
api_key=API_KEY,
base_url=BASE_URL
)
try:
client = OpenAI(
api_key=API_KEY,
base_url=BASE_URL,
timeout=15.0 # 15秒超時
)
# 測試對話
test_messages = [
"你好，請自我介紹",
"1 + 1 等於多少？",
"今天天氣如何？"
]
# 測試對話
test_messages = [
"你好，請自我介紹",
"1 + 1 等於多少？",
"今天天氣如何？"
]
for msg in test_messages:
print(f"\n問: {msg}")
for msg in test_messages:
print(f"\n問: {msg}")
try:
response = client.chat.completions.create(
model="gpt-oss-120b",
messages=[
{"role": "user", "content": msg}
],
temperature=0.7,
max_tokens=200
)
try:
response = client.chat.completions.create(
model="gpt-oss-120b",
messages=[
{"role": "user", "content": msg}
],
temperature=0.7,
max_tokens=200
)
answer = response.choices[0].message.content
# 清理可能的思考標記
if "<think>" in answer:
answer = answer.split("</think>")[-1].strip()
if "<|channel|>" in answer:
answer = answer.split("<|message|>")[-1].strip()
answer = response.choices[0].message.content
# 清理可能的思考標記
if "<think>" in answer:
answer = answer.split("</think>")[-1].strip()
if "<|channel|>" in answer:
answer = answer.split("<|message|>")[-1].strip()
print(f"答: {answer}")
print(f"答: {answer[:200]}") # 限制顯示長度
except Exception as e:
print(f"錯誤: {str(e)[:100]}")
except Exception as e:
error_msg = str(e)
if "502" in error_msg:
print("錯誤: 伺服器暫時無法使用 (502)")
elif "timeout" in error_msg.lower():
print("錯誤: 請求超時")
else:
print(f"錯誤: {error_msg[:100]}")
print("\n" + "="*50)
print("測試完成！")
except Exception as e:
print(f"\n連接失敗: {str(e)[:100]}")
print("\n建議:")
print("1. 檢查網路連接")
print("2. 確認可以訪問 https://llama.theaken.com")
print("3. 稍後再試（如果是 502 錯誤）")
sys.exit(1)
if __name__ == "__main__":
quick_test()

20
操作指南.md
View File

@@ -9,20 +9,18 @@ paVrIT+XU1NhwCAOb0X4aYi75QKogK5YNMGvQF1dCyo=
### 可用端點
#### 內網端點（已測試成功）
#### 主要外網端點
| 端點名稱 | URL | 狀態 | 支援模型 |
|---------|-----|------|---------|
| 內網端點 1 | http://192.168.0.6:21180/v1 | ✅ 可用 | gpt-oss-120b, deepseek-r1-671b, qwen3-embedding-8b |
| 內網端點 2 | http://192.168.0.6:21181/v1 | ✅ 可用 | gpt-oss-120b, deepseek-r1-671b, qwen3-embedding-8b |
| 內網端點 3 | http://192.168.0.6:21182/v1 | ✅ 可用 | gpt-oss-120b, deepseek-r1-671b, qwen3-embedding-8b |
| 內網端點 4 | http://192.168.0.6:21183/v1 | ❌ 錯誤 | 500 Internal Server Error |
| 通用端點 | https://llama.theaken.com/v1 | 🌐 主要 | gpt-oss-120b, deepseek-r1-671b, qwen3-embedding-8b |
| GPT-OSS 專用 | https://llama.theaken.com/v1/gpt-oss-120b | 🌐 主要 | gpt-oss-120b |
| DeepSeek 專用 | https://llama.theaken.com/v1/deepseek-r1-671b | 🌐 主要 | deepseek-r1-671b |
#### 外網端點（待測試）
#### 備用外網端點
| 端點名稱 | URL | 狀態 | 支援模型 |
|---------|-----|------|---------|
| GPT-OSS 專用 | https://llama.theaken.com/v1/gpt-oss-120b | 待測試 | gpt-oss-120b |
| DeepSeek 專用 | https://llama.theaken.com/v1/deepseek-r1-671b | 待測試 | deepseek-r1-671b |
| 通用端點 | https://llama.theaken.com/v1 | 待測試 | 所有模型 |
| 備用 API 1 | https://api.llama.theaken.com/v1 | 🔄 備用 | 所有模型 |
| 備用 API 2 | https://llama-api.theaken.com/v1 | 🔄 備用 | 所有模型 |
## 二、快速開始
@@ -33,13 +31,13 @@ pip install openai
### 2. 測試連接（Python）
#### 內網連接範例
#### 外網連接範例
```python
from openai import OpenAI
# 設定 API
API_KEY = "paVrIT+XU1NhwCAOb0X4aYi75QKogK5YNMGvQF1dCyo="
BASE_URL = "http://192.168.0.6:21180/v1" # 使用內網端點 1
BASE_URL = "https://llama.theaken.com/v1" # 使用外網端點
# 創建客戶端
client = OpenAI(