Google SRE: ngân sách lỗi và văn hoá post-mortem không đổ lỗi, cách cân bằng tốc độ phát hành với độ tin cậy

Mâu thuẫn quen thuộc: đội phát triển muốn phát hành nhanh để có tính năng, đội vận hành muốn ít thay đổi để hệ thống ổn định. Sách Site Reliability Engineering của Google đề xuất một cách giải quyết có thể đo được:

Về quy trình phát hành, chương Release Engineering mô tả các nguyên tắc: tự phục vụ, phát hành thường xuyên (thay đổi nhỏ dễ kiểm thử và chẩn đoán), bản dựng kín (hermetic), kiểm soát chính sách và triển khai canary trên một vài tác vụ sản xuất; kỹ sư phát hành và SRE cùng thiết kế chiến lược canary, triển khai theo giai đoạn và kế hoạch hoàn tác.

Còn chương Postmortem Culture nêu rằng post-mortem là bản ghi bằng văn bản về sự cố, tác động, cách giảm thiểu, nguyên nhân gốc và hành động tiếp theo, tập trung vào nguyên nhân góp phần chứ không đổ lỗi cho cá nhân hay nhóm, với giả định ai cũng hành động thiện chí theo thông tin họ có. Tiêu chí viết post-mortem (ví dụ có thời gian ngừng dịch vụ vượt ngưỡng, mất dữ liệu, phải rollback) cần được xác định trước sự cố.