Số 377Quản lý Rủi ro

Datadog (08/03/2023): bản cập nhật bảo mật tự động của hệ điều hành làm hàng chục nghìn node mất mạng ở năm vùng cùng lúc

Một kênh cập nhật bảo mật cũ vẫn bật trong ảnh hệ điều hành gốc đã tự cài bản vá systemd lên máy ảo của Datadog trong cùng khung giờ ở mọi vùng. Khi systemd-networkd khởi động lại, nó xoá các route của plugin mạng Cilium, làm hàng chục nghìn node mất kết nối. Khôi phục hoàn toàn mất khoảng 48 giờ. Bài học về rủi ro thay đổi không được lên kế hoạch và tương quan giữa các vùng.

Nguyễn Thu Hà, PMP

14/10/2026

3 phút đọc 0

Bình luận0

Bối cảnh thực tế

Datadog cung cấp dịch vụ giám sát cho hàng nghìn doanh nghiệp, chạy trên nhiều vùng của nhiều nhà cung cấp đám mây. Các vùng được thiết kế độc lập, không kết nối trực tiếp với nhau.

Theo bài phân tích sự cố của Datadog:

06:00 UTC ngày 8/3/2023, một bản cập nhật bảo mật systemd được tự động áp dụng lên nhiều máy ảo chạy Ubuntu 22.04. Khi systemd-networkd khởi động lại, nó xoá các route do Cilium (plugin mạng container) quản lý; node mất mạng.
Bản cập nhật đến được nhiều vùng cùng lúc vì một kênh cập nhật bảo mật cũ vẫn bật trong ảnh hệ điều hành gốc, và khung giờ cập nhật mặc định (06:00–07:00 UTC) giống nhau ở mọi nơi.
Hàng chục nghìn node ở các vùng US1, EU1, US3, US4, US5 rời mạng trong một giờ. Node mới hoặc khởi động lại không gặp lỗi, khiến việc tái hiện khó khăn.
Khôi phục chậm vì mỗi nhà cung cấp đám mây xử lý node hỏng khác nhau; có nơi thay node hàng loạt, chạm giới hạn tốc độ của vùng. Mọi dịch vụ hoạt động lại sáng 9/3; dữ liệu được bổ sung đầy đủ ngày 10/3.
Khắc phục: tắt kênh cập nhật cũ ở mọi vùng, rà soát các kênh tương tự, cấu hình systemd-networkd không đụng vào bảng định tuyến khi khởi động lại.

Phân tích nguyên nhân theo chuẩn PMP

Thay đổi nằm ngoài mọi quy trình kiểm soát
Datadog có quy trình triển khai cẩn thận cho mã của mình, nhưng một kênh cập nhật tự động của hệ điều hành vẫn âm thầm thay đổi production. Rủi ro từ "thay đổi không ai lên kế hoạch" không có trong danh mục.
Tương quan ẩn phá vỡ giả định độc lập giữa các vùng
Các vùng độc lập về mạng nhưng dùng chung ảnh hệ điều hành và khung giờ cập nhật. Phân tích rủi ro cần tìm nguyên nhân chung (common cause) chứ không chỉ kết nối vật lý.
Tương tác giữa các thành phần của bên thứ ba
Lỗi chỉ xuất hiện khi systemd-networkd khởi động lại trên node đang chạy với route của Cilium — một kịch bản không có trong kiểm thử vì node mới khởi động theo thứ tự khác.

Datadog (08/03/2023): bản cập nhật bảo mật tự động của hệ điều hành làm hàng chục nghìn node mất mạng ở năm vùng cùng lúc

Bối cảnh thực tế

Phân tích nguyên nhân theo chuẩn PMP

Thay đổi nằm ngoài mọi quy trình kiểm soát

Tương quan ẩn phá vỡ giả định độc lập giữa các vùng

Tương tác giữa các thành phần của bên thứ ba

Kế hoạch khôi phục không tính đến khác biệt giữa nhà cung cấp

Lẽ ra PM nên làm gì

Bước 1: Kiểm kê mọi nguồn có thể thay đổi production

Bước 2: Tìm nguyên nhân chung giữa các vùng

Bước 3: Diễn tập vận hành ở chế độ suy giảm

PM Takeaway (Bài học rút ra)

Nguồn tham khảo

Trắc nghiệm tình huống PMP

Bạn quản lý cập nhật bảo mật hệ điều hành cho hạ tầng Kubernetes thế nào?

Tình huống này hữu ích với bạn?

Bình luận (0)