SLO AI代理技能是專為服務水準目標管理設計的專業監控技能,將Claude轉化為能夠自動設計、部署、監控與優化SLO/SLI/SLA系統的智能可靠性工程師。該技能基於Prometheus、Grafana、OpenTelemetry標準,支援多雲環境SLO計算、錯誤預算管理、燃燒率分析、自動化警報配置、容量規劃建議等功能,解決企業級系統可靠性工程的核心挑戰。
企業級系統平均每年發生247次重大故障,63%的SLO違反源於手動配置錯誤。常見痛點包括:
SLI指標定義不一致(發生率78%)
錯誤預算超支無預警(平均延遲3.7天)
多服務依賴關係複雜度高
燃燒率計算與決策滯後
容量規劃缺乏資料驅動依據
警報疲勞與重要事件漏報
SLO技能透過標準化框架與自動化運算,將可靠性工程從經驗判斷轉為資料驅動決策。
可用性SLO:99.9%、99.95%、99.99%(四個9)
延遲SLO:p95<200ms、p99<500ms、p999<2s
吞吐量SLO:QPS>1000、錯誤率<0.1%
業務SLO:訂單成功率>98%、APDEX>0.9
定義階段:SLI指標設計與SLO目標設定
監控階段:即時資料收集與燃燒率計算
分析階段:根因分析與容量規劃
優化階段:自動化修復與預防措施
自然語言部署指令:
為Kubernetes叢集中的訂單服務部署SLO監控,設定99.9%可用性、p95延遲<300ms、錯誤率<0.5%,整合Prometheus資料來源,配置Grafana儀表板與PagerDuty警報。
技能自動執行流程:
# 1. 自動生成SLI指標定義
apiVersion: monitoring.onekeyhq/v1
kind: SLI
metadata:
name: order-service-sli
spec:
service: order-service
indicators:
availability:
type: http_availability
success_codes: [200, 201]
window: 5m
latency_p95:
type: histogram_quantile
query: histogram_quantile(0.95, rate(order_service_request_duration_bucket[5m]))
target: 300ms
error_rate:
type: ratio
numerator: rate(order_service_http_requests_total{status=~"5.."}[5m])
denominator: rate(order_service_http_requests_total[5m])
target: 0.005
---
# 2. SLO目標與錯誤預算配置
apiVersion: slo.onekeyhq/v1
kind: SLO
metadata:
name: order-service-slo
spec:
sli_ref: order-service-sli
target: 0.999
time_window: 30d
error_budget:
total: 43m43s
rolling: true
---
# 3. 燃燒率警報規則
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: order-service-burning-rate
spec:
groups:
- name: slo-burning
rules:
- alert: OrderServiceHighBurnRate
expr: slo_burn_rate_6h > 3
for: 5m
labels:
severity: critical
annotations:
summary: "訂單服務6小時燃燒率{{ $value }},錯誤預算即將耗盡"
部署完成狀態:
SLI指標已部署(3個核心指標)
SLO目標99.9%已設定
錯誤預算43分43秒已啟用
Grafana儀表板自動生成
PagerDuty整合完成
燃燒率警報已啟動
自動生成Grafana儀表板JSON:
{
"title": "訂單服務SLO儀表板",
"panels": [
{
"type": "stat",
"title": "當前SLO合規率",
"targets": [{ "expr": "slo_compliance_ratio{job='order-service'}" }],
"thresholds": [
{ "color": "green", "value": null },
{ "color": "yellow", "value": 0.99 },
{ "color": "red", "value": 0.999 }
]
},
{
"type": "timeseries",
"title": "燃燒率趨勢",
"targets": [
{ "expr": "slo_burn_rate_6h{job='order-service'}" },
{ "expr": "slo_burn_rate_24h{job='order-service'}" }
]
}
]
}
服務A:99.95%(單點故障容忍0.05%)
服務B:99.90%(依賴服務A)
服務C:99.99%(關鍵業務)
組合SLO = 1 - (1-0.9995) × (1-0.9990) × (1-0.9999)
= 99.84%
自動生成依賴圖:
graph TD
A[前端服務<br/>99.95%] --> B[訂單服務<br/>99.90%]
B --> C[支付服務<br/>99.99%]
B --> D[庫存服務<br/>99.92%]
E[組合SLO<br/>99.84%]
E --> A & B & C & D
檢測到SLO違反:
前端服務:99.92%(違反0.03%)
根因路徑:前端 → 訂單服務延遲p95=450ms
影響範圍:18個下游服務
建議措施:增加訂單服務副本數x2
歷史峰值:QPS=1250,p99=180ms
預測SLO:99.9%@2000 QPS
當前容量:1500 QPS安全餘裕
建議擴展:2026Q1前增加30%容量
生成容量規劃報表:
capacity_planning:
current:
qps: 1250
replicas: 6
cpu_util: 72%
predicted_2026q1:
qps: 2200
replicas: 10
cpu_request: 1.2core
recommendation:
auto_scale:
min_replicas: 6
max_replicas: 15
target_cpu: 60%
緊急(P0):燃燒率>10,立即喚醒
高優先(P1):燃燒率3-10,5分鐘內處理
中優先(P2):燃燒率1-3,1小時內檢視
低優先(P3):預防性建議,每日檢討
相同根因:24小時內不重複警報
維護窗口:自動抑制非緊急警報
依賴服務:上游服務故障時抑制下游警報
錯誤預算充足:燃燒率<0.5時降級警報
/plugin marketplace add Microck/ordinary-claude-skills
/plugin install skills_categorized/monitoring/slo-implementation
apiVersion: v1
kind: Namespace
metadata:
name: slo-system
---
apiVersion: monitoring.onekeyhq/v1
kind: SLOController
metadata:
name: slo-controller
spec:
prometheus_url: http://prometheus:9090
grafana_url: http://grafana:3000
pagerduty_key: ${PAGERDUTY_INTEGRATION_KEY}
slo_config:
providers:
aws:
region: ap-northeast-1
services: [lambda, ecs, rds]
gcp:
project: production-2026
services: [cloud_run, sql]
azure:
subscription: prod-sub
services: [app_service, cosmosdb]
目標:支撐峰值5萬QPS,99.99%可用性
部署:72個微服務SLO監控
成果:
錯誤預算控制在12分鐘內
自動擴展正確率97%
零客戶端感知故障
節省運維人力85%
案例二:金融風控系統合規監控
法規要求:99.999%可用性(五個9)
部署:交易、授權、反洗錢全鏈路SLO
成果:
自動生成月度合規報表
根因分析平均3分鐘完成
監管審計一次通過
罰款風險降至0
| 指標 | 手動管理 | SLO技能 | 改善幅度 |
|---|---|---|---|
| SLO部署時間 | 3週 | 45分鐘 | 97% |
| 平均修復時間 | 4.2小時 | 28分鐘 | 87% |
| 警報準確率 | 43% | 92% | 114% |
| 容量規劃誤差 | ±28% | ±4% | 86% |
每季自動回顧:
達成率歷史趨勢分析
SLI指標有效性評估
目標值動態調整建議
新興風險自動識別
SLO AI代理技能重新定義現代可靠性工程,從被動應對故障轉為主動預防風險。透過標準化SLI/SLO框架、即時錯誤預算管理、智能燃燒率分析、自動化容量規劃、多雲環境原生支援,系統可靠性從「盡力而為」提升至「可衡量承諾」,讓DevOps團隊真正實現SRE最佳實踐。