💡 技術架構深度剖析：如何打造生產級的 LLM 應用（以行銷文案生成器為例）

💡 技術架構深度剖析：如何打造生產級的 LLM 應用（以行銷文案生成器為例）

摘要

當大型語言模型（LLM）成為業務核心時，我們不能只將 Prompt 視為簡單的字串拼接。本文將深入探討一個「行銷內容生成 Prompt 模組化專案」的生產級 V2 架構，重點解析其如何透過 FastAPI 異步化、Pydantic 配置管理以及嚴謹的 Rubric 驗收機制，將一個簡單的原型升級為高吞吐量、高可維護性的企業級 LLM 服務。

• 您可以透過以下 GitHub 連結檢閱本專案的原始碼：https://github.com/BpsEason/prompt-generator.git

1. 專案核心挑戰與架構目標

許多 LLM 應用在原型階段僅使用同步 API 呼叫，缺乏錯誤處理，且配置硬編碼。這個 V2 專案骨架旨在解決以下痛點：

1. 高延遲問題：LLM 呼叫本質上是 I/O 密集型操作，同步處理會嚴重阻塞服務，降低 API 吞吐量。

2. 配置混亂問題：API Key、模型名稱等關鍵參數散佈各處，難以在 CI/CD 或多環境中切換。

3. 品質不可控問題：Prompt 組合的結果好壞取決於工程師的經驗，需要自動化的驗收機制。

我們的解決方案是建立一個 Prompt 模組化且完全異步化的微服務，實現「配置即程式碼」和「品質自動驗證」的目標。

2. 生產級工程實踐的關鍵優化

2.1 異步化 (Async I/O) 的徹底實踐

這是將專案提升到生產級的最關鍵一步。透過將 LLM API 呼叫從同步 def 轉換為異步 async def，我們確保了當服務等待 LLM 回應時，FastAPI 的 Event Loop 不會被阻塞，能夠繼續處理其他請求，極大地提高了 API 的吞吐量和響應速度。關鍵程式碼中，app/utils/llm_connector.py 的 call_llm_api 採用 async def 宣告，而在 app/main.py 和 app/rubric_checker.py 中則使用了 await 關鍵字來進行呼叫。

2.2 集中化配置管理（Pydantic Settings）

程式碼應與配置分離。我們引入了 pydantic-settings 庫，並創建了 app/config.py，用於優雅地管理 LLM_API_KEY、模型名稱以及專案資訊等關鍵參數。配置可以從 .env 文件或環境變數中自動載入，實現了配置的標準化和環境之間的隔離，極大地提升了專案的可擴展性。

2.3 嚴謹的錯誤處理與日誌記錄

系統的健壯性取決於它如何處理錯誤。在核心的 app/prompt_engine.py 中，載入 YAML 模組的邏輯加入了 try...except 區塊，能夠捕獲 FileNotFoundError 和 yaml.YAMLError 等特定錯誤，確保即使單個 YAML 文件損壞，也不會導致整個服務崩潰。LLM 輸出的結構化數據極易因格式錯誤而解析失敗，因此 app/rubric_checker.py 專門設計了 except json.JSONDecodeError 來捕獲並記錄原始輸出，這對於測試和除錯至關重要。此外，app/main.py 透過 try...except 捕獲所有未處理的錯誤，並拋出標準的 HTTPException (500)，確保 API 響應格式一致，並引入了標準的 logging 模組，方便在 Docker 環境中追蹤應用程式狀態和錯誤。

3. 專案架構與模組化設計回顧

該專案的架構清晰，符合微服務和模組化原則：

模組	檔案	核心職責	關鍵強化點
配置層	app/config.py	管理環境變數和模型名稱。	Pydantic-settings 集中管理。
I/O 層	app/utils/llm_connector.py	統一的 LLM API 呼叫。	異步 (Async/Await) 處理。
Prompt 層	app/prompt_engine.py	載入 YAML 模組庫並拼接 Prompt。	強化 YAML 載入錯誤處理。
驗收層	app/rubric_checker.py	執行 LLM 結構化評分（品質驗收）。	異步呼叫 LLM，捕獲 JSON 解析錯誤。
應用層	app/main.py	FastAPI 路由、請求處理、流程編排。	日誌記錄、統一 500 錯誤處理。

4. 總結與展望

這個「生產級 V2」專案骨架不僅是一個功能實現，更是一個高品質的軟體工程教學案例。它示範了如何在基於 Python/FastAPI 的 LLM 應用中，兼顧性能、可維護性、安全性（環境變數）和自動化品質控制（Rubric）。透過 Docker/Docker Compose 實現容器化，該專案已具備在任何現代雲平臺上快速部署和 CI/CD 測試的能力。這份架構為未來前端（如 Vue 3）的整合、數據庫的引入以及更複雜的 Prompt Flow 設計，奠定了堅實的基礎。

附註：快速啟動指令

只需執行以下兩步，即可啟動這個完整的生產級服務：

1. chmod +x setup_project_production.sh && ./setup_project_production.sh

2. docker-compose up --build -d

   （服務將運行於 http://localhost:8000/docs）