donald
|
7719919dc7
|
Add advanced crawler module design to SDD v1.3
新增第 4.1.5 節：進階爬蟲模組設計
主要內容：
- Scrapy 框架整合規格（擴充新聞來源用）
- 通用爬蟲架構設計原則
- 多層級選擇器備用機制
- Pipeline 資料處理管線（CSV + Database）
- 資料庫表結構（articles, tags, article_tags）
- 錯誤處理與效能最佳化
- 執行測試與除錯技巧
- 新增新聞來源的標準步驟
技術規格：
- Scrapy >= 2.11.0
- PyMySQL >= 1.1.0
- python-dateutil >= 2.8.2
- 支援多來源整合（source 欄位）
- Context Manager 確保交易完整性
- 標籤快取機制提升效能
這個設計可作為擴充其他新聞來源的通用範本。
🤖 Generated with [Claude Code](https://claude.com/claude-code)
Co-Authored-By: Claude <noreply@anthropic.com>
|
2025-12-04 11:07:37 +08:00 |
|
donald
|
293aeca5f8
|
Update SDD to version 1.3
版本更新摘要：
- 文件版本升級至 1.3 (2024-12-04)
- 技術架構現代化更新
- 套件版本更新以支援 Python 3.13
- 新增詳細的版本更新記錄
主要變更：
- 前端：改為輕量化實作（HTML + Vanilla JS）
- 後端：支援 Python 3.13，SQLAlchemy 2.0+
- 爬蟲：httpx + BeautifulSoup4 取代 Scrapy
- 排程：APScheduler 取代 Celery
- 安全：更新認證與加密套件版本
- PDF：WeasyPrint 67.0+ 支援繁中字型
- 新增：Gitea 版本控制系統資訊
🤖 Generated with [Claude Code](https://claude.com/claude-code)
Co-Authored-By: Claude <noreply@anthropic.com>
|
2025-12-04 00:52:15 +08:00 |
|
donald
|
6e5c06b984
|
Cleanup and dependency fixes
- Removed redundant documentation files
- Fixed Python dependencies for .venv environment
- Upgraded packages for Python 3.13 compatibility
- Updated Claude Code settings
🤖 Generated with [Claude Code](https://claude.com/claude-code)
Co-Authored-By: Claude <noreply@anthropic.com>
|
2025-12-04 00:46:02 +08:00 |
|
donald
|
db0f0bbfe7
|
Initial commit: Daily News App
企業內部新聞彙整與分析系統
- 自動新聞抓取 (Digitimes, 經濟日報, 工商時報)
- AI 智慧摘要 (OpenAI/Claude/Ollama)
- 群組管理與訂閱通知
- 已清理 Python 快取檔案
🤖 Generated with [Claude Code](https://claude.com/claude-code)
Co-Authored-By: Claude <noreply@anthropic.com>
|
2025-12-03 23:53:24 +08:00 |
|