直接答案

Automation 多數唔係突然變蠢,而係外圍條件改咗但冇人知道。

最常見原因包括 Token 過期、欄位改名、API 限制、Vendor 更新、Model 或 Prompt 表現改變、公司流程改咗,同埋 Production 環境設定漏咗。

最低限度要監察成功、錯誤、延遲、積壓、用量同告警送達;同時保留重試限制、去重、人工後備、事故 Owner 同復原 Runbook。

先分清故障類型,先可以設計正確監察。

01

Credential 或 Token 過期

登入、API Key、OAuth 或服務帳戶失效,通常會出現 401、403 或寫入被拒。要有到期 Owner 同告警。

02

欄位或資料格式改動

表格、CSV、Invoice、Webhook Payload 或 CRM 欄位改名,會令資料缺失、錯位或無法驗證。

03

Rate Limit、Quota 或用量問題

短時間大量請求、月度上限、付款失敗或服務降速,可以造成延遲、積壓同部分完成。

04

Model 或 Prompt Drift

模型版本、輸入分布或 Prompt 改動令分類、擷取或文案質素下降,但系統仍然顯示成功。

05

Vendor 平台更新

API Version、Webhook、權限、畫面、政策或產品功能更改,會令原本正常嘅連接失效。

06

公司流程同規則改動

新產品、部門、審批人、價格規則或資料責任改咗,但 Automation 仍然跟舊做法。

07

部署及 Environment 設定

Staging 有嘅環境變數、Secret、Database、Domain、Webhook 或權限冇同步去 Production,會出現『本機正常,上線失效』。

每條重要流程至少要睇六個訊號。

01

成功執行量

唔只睇有冇 Error。平時每日有 30 次,突然變成 0 次,都可能係 Trigger 已經斷咗。

02

錯誤量同類型

分開權限、驗證、外部服務、資料、程式同未知錯誤,先可以交畀正確 Owner。

03

延遲同完成時間

流程未必完全失敗,但由一分鐘變一小時已經可能影響客戶回覆或營運。

04

Queue 同 Backlog

等待數量持續增加代表處理速度追唔上、下游被限速,或者某類資料不停失敗。

05

用量同成本

突然增加嘅 API、Token、訊息或執行次數,可能係重試循環、重複事件或濫用。

06

告警有冇送到

告警系統自己都會壞。要定期測試指定人員真係收到,而且知道下一步做乜。

無限制重試,可以將一個小故障變成重複落單同重複訊息。

每個事件要有唯一 ID,同一事件重試時保持相同 ID。寫入前檢查狀態,短暫錯誤用延遲同有限次重試;資料或權限錯誤就停止,放入人工 Queue。修復後再對帳,確認冇漏做、重複或只完成一半。

『系統回覆成功』唔代表完整業務流程成功。

例如表格 API 回覆 200,但 Database 冇寫入、通知冇送出或 Conversion Event 冇記錄,對客人仍然係失敗。

故障發生後嘅頭 30 分鐘,要先控制影響,再修復。

01

確認同分級

確認邊條流程、幾時開始、影響幾多紀錄、係完全停止定資料質素下降。

02

停止擴大同轉人工

暫停危險寫入或訊息,保留輸入,啟動人工後備,避免錯誤繼續擴散。

03

修復、驗證同恢復

先喺安全樣本驗證,再逐步恢復流量,監察成功、錯誤、延遲同重複。

04

對帳同預防再發

找出漏做、重複同錯資料,通知受影響 Owner,記錄根因、修正同預防措施。

網站或 Workflow 每次發佈,都要做一次端到端驗證。

01

真實提交關鍵表格

用 Production 頁面填一筆可識別測試資料,唔只係睇按鈕可唔可以撳。

02

確認 Server 同 Database

檢查 API Response、Server Log、Database 寫入、欄位內容、時間同去重狀態。

03

確認通知同客戶畫面

檢查 Email、WhatsApp 或內部通知,同時確認客戶見到清楚成功狀態,唔會重複提交。

04

確認 Conversion Tracking

成功提交後只觸發一次正確 Event,並喺 Analytics 或 Debug 工具確認收到。

05

記錄版本同 Rollback

保存發佈人、時間、Commit、測試結果、已知風險同可以回復嘅上一個版本。

維護合約要分清正常保養、事故處理同新需求。

01

正常保養

健康檢查、Credential、依賴更新、Log Review、用量、備份、抽樣質素同細微修正。

02

事故處理

告警分級、回應時間、控制影響、修復、對帳、溝通同事後記錄。承諾時間只應按真實合約列明。

03

Change Request

新增系統、欄位、商業規則、審批、報表、資料範圍或完整功能,應先重新評估 Scope、風險同測試。

系統可用唔等於 AI 結果仍然合格。

保留一組固定 Evaluation 樣本,記錄預期結果、重要欄位同不接受錯誤。每次改 Model、Prompt、資料處理或重要依賴,就比較新舊版本。正式運行期間按風險抽樣,將低信心、新格式同客訴納入下一輪測試。

每條流程要有業務 Owner、技術 Owner 同人工後備。

01

業務 Owner

負責規則、優先次序、成功標準、人工例外同批准重要改動。

02

技術 Owner

負責部署、Credential、監察、事故、文件、依賴同復原。可以係內部或合約供應商。

03

Runbook 同離場安排

記錄帳戶、流程圖、欄位、告警、常見故障、人工做法、Rollback、資料匯出同交接方法。

延伸閱讀

上線前先完成整合清單

確保資料、權限、測試同人工後備有清楚 Owner。

閱讀文章

將驗收同 Publish Gate 放入項目時間表

唔以部署完成當成項目成功。

閱讀文章

維護費同 Change Request 點分

比較持續監察、修復、平台更新同新功能成本。

閱讀文章

常見問題

AI Automation 應該幾耐檢查一次?

關鍵成功、錯誤同積壓應持續監察;Credential、平台、用量、抽樣質素同 Runbook 可按風險每星期或每月 Review。重大改動後要即時重新驗證。

冇 Error 係咪代表系統正常?

唔代表。Trigger 斷咗可以令成功同錯誤都變成零;Model 質素下降亦可能每次都回覆成功。要同時睇成功量、延遲、積壓、用量同抽樣結果。

每次改網站都要測 Form 嗎?

如果 Form 係主要 Conversion Path,應該每次 Production Publish 都做一筆端到端測試,確認 API、Database、通知、成功畫面同 Conversion Event。

維護係咪包所有新功能?

通常唔包括。維護應處理已同意流程嘅健康、錯誤、Credential、依賴同細微修正;新增系統、規則或功能要重新 Scope。

系統壞咗最重要先做咩?

先確認影響同停止錯誤擴大。暫停危險寫入或訊息、保留輸入、轉人工後備,再修復、逐步恢復同對帳。

EXPERT AUTOMATION CONSULTATION

想確認你公司應該由邊度開始?

用一條真實流程做診斷,先整理價值、風險、資料、系統同最小可行範圍,再決定值唔值得建立。