Ngày 19/07/2024, một bản cập nhật nội dung của CrowdStrike Falcon khiến khoảng 8,5 triệu máy Windows gặp lỗi màn hình xanh. Bản cập nhật được phát hành tới toàn bộ khách hàng cùng lúc. Phân tích rủi ro thứ cấp của biện pháp bảo mật, rủi ro tập trung và cách thiết kế triển khai theo giai đoạn có ngưỡng dừng.
PMBOK 7 nhấn mạnh việc xem xét mức độ kết nối của rủi ro: một điểm lỗi duy nhất ở tầng nhân hệ điều hành lan sang hàng triệu hệ thống của các ngành khác nhau. Với bên mua (khách hàng), đây là rủi ro bên thứ ba ít được đưa vào risk register vì "nhà cung cấp bảo mật là để giảm rủi ro".
Không có cơ chế phát hành theo vòng với ngưỡng (threshold) dừng — ví dụ tỉ lệ máy mất kết nối sau cập nhật — nên dấu hiệu kích hoạt (trigger) chỉ được nhận ra khi thiệt hại đã lan rộng. Đây là thiếu sót trong Lập kế hoạch ứng phó (Plan Risk Responses).
Với mỗi biện pháp ứng phó, hỏi: "Biện pháp này có thể gây ra điều gì?". Ghi nhận rủi ro thứ cấp, gán chủ sở hữu và kế hoạch ứng phó riêng.
CrowdStrike cam kết chuyển sang phát hành theo giai đoạn, bắt đầu bằng canary và theo dõi chặt từng đợt. Một kế hoạch tương tự cần có trigger định lượng:
Phát hành cho máy nội bộ và nhóm nhỏ trước; chỉ mở rộng khi không có lỗi nghiêm trọng sau thời gian quan sát định trước.
Tỉ lệ máy mất tín hiệu sau cập nhật vượt mức nền đã thống nhất thì tự động dừng đợt kế tiếp và báo nhóm trực.
Vượt ngưỡng nghiêm trọng thì thu hồi ngay và kích hoạt kế hoạch dự phòng hỗ trợ khách hàng.
Bổ sung kiểm thử cho dữ liệu sai cấu trúc, kiểm tra giới hạn trong trình thông dịch, và đánh giá mã độc lập — những điểm CrowdStrike đã nêu trong cam kết khắc phục.
Cho khách hàng chọn thời điểm và nhóm máy nhận cập nhật. Với PM phía khách hàng, đây cũng là bài học: đưa nhà cung cấp quan trọng vào risk register và đàm phán điều khoản kiểm soát triển khai.
Kế hoạch dự phòng (contingency plan) cho sự cố diện rộng: quy trình khôi phục từng máy, khoá mã hoá ổ đĩa sẵn sàng, đội hỗ trợ tăng cường — để thời gian gián đoạn ngắn nhất có thể.
Biện pháp giảm rủi ro nào cũng có thể sinh ra rủi ro mới. Khi tác động tiềm tàng là thảm hoạ, hãy thiết kế để lỗi chỉ chạm tới một nhóm nhỏ trước — triển khai theo giai đoạn với ngưỡng dừng tự động rẻ hơn rất nhiều so với một lần sai trên diện rộng.
Bạn chọn phương án nào?