Tình huống về #Khôi phục thảm hoạ

Số 151Quản lý Chất lượng

Atlassian tháng 4/2022: script xoá nhầm 883 site của 775 khách hàng và khoảng 14 ngày để khôi phục

Khi gỡ một ứng dụng cũ, đội Atlassian nhận danh sách ID site thay vì ID ứng dụng; API xoá chấp nhận cả hai loại mà không cảnh báo nên 883 site bị xoá. Dữ liệu sao lưu còn nhưng chưa có runbook hay tự động hoá khôi phục hàng trăm site cùng lúc, khiến một số khách hàng gián đoạn tới 14 ngày. Bài học về xoá mềm, kiểm thử với dữ liệu giống thật và diễn tập thảm hoạ ở quy mô lớn.

0 0 030/09/2026

Quản lý Rủi ro

OVHcloud Strasbourg (2021): đám cháy xoá sổ một trung tâm dữ liệu và những bản sao lưu nằm cùng một chỗ

Tháng 3/2021, đám cháy phá huỷ hoàn toàn trung tâm dữ liệu SBG2 của OVHcloud ở Strasbourg, làm ngừng nhiều dịch vụ; dữ liệu và bản sao lưu đặt trong SBG2 bị mất. OVH ước tính thiệt hại khoảng 105 triệu euro, và năm 2023 bị tuyên phải bồi thường cho hai khách hàng. Phân tích: trách nhiệm chia sẻ giữa nhà cung cấp và khách hàng, và vì sao "có sao lưu" chưa phải là "có khôi phục thảm hoạ".

0 0 028/09/2026

Quản lý Rủi ro

Kakao và đám cháy trung tâm dữ liệu Pangyo (10/2022): hệ thống dự phòng có sẵn nhưng quyền kích hoạt nằm ngay trong toà nhà bị cháy

Ngày 15/10/2022, đám cháy ở phòng pin của trung tâm dữ liệu SK C&C tại Pangyo (Hàn Quốc) làm các dịch vụ của Kakao gián đoạn 127 giờ 30 phút. Kết luận điều tra chính phủ: pin không được tách khỏi hệ thống nguồn dự phòng, hệ thống chữa cháy không phù hợp, và hệ thống dự phòng của Kakao không thể kích hoạt kịp vì cơ chế cấp quyền vẫn nằm ở trung tâm bị cháy. Bài học về khôi phục thảm hoạ và điểm lỗi đơn.

0 0 024/09/2026