Một hoạt động tự động mở rộng năng lực trên mạng chính của AWS kích hoạt hành vi bất thường ở rất nhiều client trong mạng nội bộ, gây tắc nghẽn thiết bị mạng nối hai mạng suốt nhiều giờ. Lỗi tiềm ẩn khiến client không lùi lại (back-off) như thiết kế; giám sát và trang trạng thái cũng bị ảnh hưởng. Bài học về rủi ro dây chuyền và phụ thuộc vòng.
Thông báo bị trễ và được đăng dưới dạng banner khó thấy. Khách hàng không thể kích hoạt kế hoạch dự phòng của họ khi không biết chuyện gì đang xảy ra.
Với mỗi tác vụ tự động (scale, failover, deploy), hỏi: nó tạo ra lưu lượng hay tải gì lên hệ thống khác? Điều gì xảy ra nếu hàng nghìn client phản ứng cùng lúc?
Diễn tập quá tải có kiểm soát để xác nhận back-off, giới hạn tốc độ và ngắt mạch thực sự hoạt động.
Trang trạng thái, kênh liên lạc và giám sát khẩn cấp đặt ở hạ tầng độc lập, được kiểm tra định kỳ khả năng chuyển vùng.
Tắt tác vụ gây sự cố cho đến khi biện pháp khắc phục xong — và ghi rõ tiêu chí để bật lại — như AWS đã làm.
Rủi ro lớn nhất của hệ thống phân tán thường nằm ở chỗ các thành phần tự động tương tác với nhau. Hãy kiểm chứng biện pháp phòng vệ trước khi cần đến nó, và đảm bảo công cụ ứng cứu không sập cùng hệ thống bạn đang cứu.
Bạn chọn phương án nào?