Facebook ngoại tuyến 04/10/2021: một lệnh bảo trì, công cụ kiểm tra có lỗi và hệ thống khôi phục phụ thuộc chính mạng đã sập

Ngày 04/10/2021, các dịch vụ của Facebook, Instagram và WhatsApp đồng loạt không truy cập được. Bài giải thích do bộ phận kỹ thuật của Meta đăng ngày hôm sau cho biết diễn biến như sau:

Việc khôi phục chậm vì cả đường truy cập chính lẫn đường quản trị ngoài băng (out-of-band) đều đã sập, nhiều công cụ nội bộ dựa vào DNS cũng hỏng; kỹ sư phải tới trực tiếp các trung tâm dữ liệu, nơi các biện pháp an ninh vật lý và hệ thống vốn được thiết kế rất chặt cũng làm thao tác lâu hơn. Khi kết nối trở lại, đội ngũ bật dịch vụ từ từ vì tải điện của mỗi trung tâm dữ liệu đã giảm hàng chục megawatt và bật lại đột ngột có thể gây hỏng hệ thống điện và bộ nhớ đệm.

Meta cho biết các cuộc diễn tập "storm" trước đó (giả lập mất dịch vụ, trung tâm dữ liệu hoặc cả vùng) đã giúp khôi phục an toàn, nhưng họ chưa từng giả lập mất toàn bộ mạng xương sống, và cam kết bổ sung diễn tập kiểu đó.