Khi chuyển lên đám mây, Netflix (2011) dựng công cụ ngẫu nhiên tắt máy trong môi trường sản xuất để buộc mọi nhóm thiết kế hệ thống chịu được hỏng hóc. Công cụ được mã nguồn mở năm 2012, rồi mở rộng thành Simian Army gồm Chaos Gorilla (mất cả vùng khả dụng) và Chaos Kong (mất cả vùng AWS). Một ví dụ thành công về cách kiểm thử chủ động thay thế niềm tin suông về khả năng chịu lỗi.
Từ một máy (Chaos Monkey) đến một vùng khả dụng (Chaos Gorilla), rồi cả một vùng (Chaos Kong): phạm vi tăng dần cho phép học và sửa ở mức thấp trước khi thử mức lớn.
Việc công khai mã nguồn và biến thử lỗi thành thực hành thường xuyên tạo văn hoá xem lỗi như dữ liệu học tập, phù hợp với tinh thần post-mortem không đổ lỗi.
Trước khi chạy thí nghiệm trong sản xuất, cần đủ ba điều kiện:
Xác định chỉ số bình thường (tỷ lệ thành công, độ trễ) và kỳ vọng nó không đổi khi tiêm lỗi.
Bắt đầu với một phần nhỏ lưu lượng hoặc một nhóm tình nguyện, tăng dần.
Tự động dừng thí nghiệm khi chỉ số vượt ngưỡng, và có người chịu trách nhiệm theo dõi.
Mỗi điểm yếu phát hiện được ghi vào sổ rủi ro/backlog có chủ sở hữu và hạn xử lý; lặp lại thí nghiệm để chứng minh đã sửa.
Giải thích với nhà tài trợ và vận hành rằng thí nghiệm có kiểm soát giảm rủi ro sự cố thật; thống nhất thời điểm, phạm vi và kênh liên lạc.
Khả năng chịu lỗi chỉ tồn tại khi đã được chứng minh bằng thí nghiệm. Hãy chọn cách chủ động tạo lỗi trong điều kiện kiểm soát thay vì chờ lỗi thật xuất hiện vào lúc bất tiện nhất.
Bạn chọn phương án nào?