Toàn bộ backend của Roblox dựa trên một cụm Consul duy nhất. Một tính năng streaming mới bật hôm trước cùng một lỗi hiệu năng của BoltDB làm cụm này kiệt sức; vì giám sát cũng phụ thuộc Consul, đội kỹ thuật gần như làm việc trong bóng tối. Nền tảng có khoảng 50 triệu người dùng mỗi ngày ngừng 73 giờ. Bài học về rủi ro điểm hỏng đơn và phụ thuộc vòng.
Roblox cho biết việc chẩn đoán hai vấn đề gần như không liên quan là lý do chính khiến sự cố kéo dài. Phân tích rủi ro thường bỏ qua kịch bản lỗi chồng lỗi.
Mỗi thành phần mà trên 50% dịch vụ phụ thuộc phải có chủ sở hữu rủi ro, kế hoạch tách nhỏ và lộ trình dự phòng.
Thay đổi càng gần lõi càng nhiều kiểm soát:
Ảnh hưởng một dịch vụ: quy trình thường.
Ảnh hưởng nhiều dịch vụ: thử ở cụm phụ, bật từng phần, có đường lùi.
Mọi dịch vụ phụ thuộc: kiểm thử tải ở quy mô thực, có công tắc tắt và người trực theo dõi.
Hạ tầng quan sát (telemetry) phải còn hoạt động khi thành phần lõi hỏng; kiểm chứng điều này bằng diễn tập.
Tài liệu và công cụ để dựng lại bộ đệm, đưa người dùng trở lại từng phần được chuẩn bị trước, không phải nghĩ ra giữa sự cố.
Thành phần mà mọi thứ phụ thuộc vào cũng là nơi rủi ro tập trung lớn nhất. Hãy gọi tên điểm hỏng đơn, siết kiểm soát thay đổi quanh nó, và đảm bảo bạn vẫn "nhìn thấy" hệ thống khi chính thành phần đó sập.
Bạn chọn phương án nào?