Số 372Quản lý Chất lượng

Windows Azure (29/02/2012): lỗi ngày nhuận trong tạo chứng chỉ và bản vá vội làm mất mạng thêm bảy cụm máy

Phần mềm Guest Agent trong máy ảo Azure tính ngày hết hạn chứng chỉ bằng cách cộng thêm một năm, nên vào ngày 29/2/2012 sinh ra ngày 29/2/2013 không tồn tại. Hệ thống coi đó là lỗi phần cứng và lan sự cố qua nhiều cụm. Trong lúc khắc phục, một gói cập nhật ghép sai phiên bản làm bảy cụm mất kết nối mạng. Bài học về kiểm thử lỗi thời gian và kiểm soát chất lượng bản vá khẩn.

Nguyễn Thu Hà, PMP

19/10/2026

3 phút đọc 0

Bình luận0

Bối cảnh thực tế

Mỗi máy ảo trên Windows Azure chạy một Guest Agent (GA); mỗi máy chủ vật lý chạy một Host Agent (HA). Khi khởi động, GA tạo một "chứng chỉ chuyển giao" có hiệu lực một năm.

Theo bản tóm tắt chính thức của Microsoft:

GA tính ngày hết hạn bằng cách lấy năm hiện tại cộng một. Lúc 16:00 PST ngày 28/2 (00:00 UTC ngày 29/2/2012), phép tính sinh ra ngày 29/2/2013 không hợp lệ, GA dừng.
HA chờ GA 25 phút, khởi động lại máy ảo; sau ba lần (75 phút) nó kết luận lỗi phần cứng và đưa máy chủ vào trạng thái chờ người kiểm tra. Cơ chế tự chữa lành chuyển máy ảo sang máy khác — nơi lỗi lặp lại, lan theo dây chuyền.
18:55, Microsoft lần đầu tiên tắt chức năng quản lý dịch vụ trên mọi cụm toàn cầu: ứng dụng đang chạy không bị ảnh hưởng nhưng khách hàng không thể triển khai hay mở rộng.
Lúc 2:47 ngày 29/2, bảy cụm đang giữa đợt nâng cấp nhận một gói "blast" ghép HA cũ với plugin mạng viết cho HA mới; mọi máy ảo ở đó mất kết nối mạng, một số máy chủ phải sửa thủ công.
Toàn bộ dịch vụ báo khoẻ lúc 2:15 ngày 1/3. Microsoft chủ động bồi hoàn 33% phí tháng cho các dịch vụ liên quan.

Phân tích nguyên nhân theo chuẩn PMP

Kế hoạch kiểm thử bỏ sót trường hợp biên về thời gian
Ngày nhuận là trường hợp biên đã biết từ lâu. Kế hoạch quản lý chất lượng không có danh mục kiểm thử bắt buộc cho logic ngày giờ (năm nhuận, múi giờ, đổi giờ).
Cơ chế tự phục hồi khuếch đại lỗi phần mềm
Hệ thống không phân biệt lỗi phần mềm với lỗi phần cứng, nên "chữa lành" bằng cách đưa lỗi sang máy khác. Thiết kế phát hiện lỗi chậm (75 phút) càng làm lan rộng.
Bản vá khẩn không qua kiểm tra tương thích phiên bản
Áp lực thời gian khiến gói cập nhật cho các cụm đang dở dang không được kiểm thử với đúng tổ hợp phiên bản. Bản vá gây sự cố thứ hai — mất mạng hoàn toàn.

Windows Azure (29/02/2012): lỗi ngày nhuận trong tạo chứng chỉ và bản vá vội làm mất mạng thêm bảy cụm máy

Bối cảnh thực tế

Phân tích nguyên nhân theo chuẩn PMP

Kế hoạch kiểm thử bỏ sót trường hợp biên về thời gian

Cơ chế tự phục hồi khuếch đại lỗi phần mềm

Bản vá khẩn không qua kiểm tra tương thích phiên bản

Truyền thông với khách hàng chưa theo kịp

Lẽ ra PM nên làm gì

Bước 1: Danh mục kiểm thử bắt buộc cho logic thời gian

Bước 2: Cổng chất lượng cho bản vá khẩn

Bước 3: Thất bại nhanh và phân loại lỗi đúng

PM Takeaway (Bài học rút ra)

Nguồn tham khảo

Trắc nghiệm tình huống PMP

Khi một lỗi phần mềm lan ra toàn hệ thống, bạn có tắt chức năng quản lý (deploy/scale) toàn cầu như Azure đã làm không?

Tình huống này hữu ích với bạn?

Bình luận (0)