Số 376Quản lý Tích hợp

Salesforce (11/05/2021): một thay đổi DNS đi qua quy trình sửa lỗi khẩn cấp, triển khai toàn cầu một lần và năm giờ khách hàng không đăng nhập ổn định

Một kỹ sư dùng quy trình sửa lỗi khẩn cấp (Emergency Break-Fix) — ít phê duyệt, không triển khai dần — để đẩy một thay đổi cấu hình DNS ra toàn cầu bằng một script bốn năm tuổi. Lỗi trong script làm dịch vụ DNS không khởi động lại được; công cụ khôi phục lại phụ thuộc DNS; trang trạng thái cũng sập. Bài học về kiểm soát thay đổi và việc quy trình "khẩn cấp" bị dùng sai mục đích.

Nguyễn Thu Hà, PMP

15/10/2026

3 phút đọc 0

Bình luận0

Bối cảnh thực tế

Salesforce thường triển khai thay đổi theo kiểu so le (staggered) để giới hạn phạm vi ảnh hưởng. Với thay đổi thủ công, người thực hiện phải tự triển khai chậm theo từng bước.

Theo The Register, dựa trên buổi trình bày phân tích nguyên nhân gốc của Salesforce:

Khoảng 21:00 UTC ngày 11/5/2021, một kỹ sư thay đổi cấu hình máy chủ DNS để kết nối môi trường Hyperforce mới ở Úc, dùng một script đã bốn năm tuổi.
Kỹ sư dùng quy trình Emergency Break-Fix (EBF), vốn dành cho tình huống khẩn cấp với ít phê duyệt hơn và không triển khai dần, rồi quyết định triển khai toàn cầu cùng lúc.
Lỗi trong script có thể gây timeout khi tải cao, khiến một số tác vụ không chạy khi máy chủ khởi động lại. Khách hàng không đăng nhập ổn định trong khoảng năm giờ.
Công cụ khôi phục phụ thuộc vòng vào chính DNS; trang trạng thái sập vì không bật tự động mở rộng, Salesforce phải dùng trang tài liệu để thông báo.
Lãnh đạo Salesforce nói "không đổ lỗi cho một nhân viên" nhưng cũng cho biết đã "xử lý" người đó — cách trình bày bị giới chuyên môn phê phán. Biện pháp: chặn triển khai thủ công toàn cầu, tự động hoá quy trình, tăng kiểm thử cho script, gỡ phụ thuộc DNS của công cụ khôi phục.

Phân tích nguyên nhân theo chuẩn PMP

Đường tắt khẩn cấp không có rào chắn
Quy trình EBF cho phép bỏ qua phê duyệt và triển khai dần — nhưng không kiểm tra thay đổi có thực sự khẩn cấp không. Một kênh ngoại lệ không được giám sát sẽ trở thành kênh chính.
Chính sách dựa vào ý thức cá nhân thay vì công cụ
Triển khai dần là chính sách, nhưng công cụ không ép buộc. Khi kiểm soát phụ thuộc vào trí nhớ và thiện chí của một người, sai sót chỉ là vấn đề thời gian.
Tài sản quy trình tổ chức lỗi thời
Script bốn năm tuổi không được kiểm thử với tải hiện tại. Tài sản quy trình (OPA) cần được bảo trì như mã sản phẩm.

Số 509Quản lý Tích hợp

Victoria rút khỏi Commonwealth Games 2026 (Úc): dự toán 2,6 tỷ AUD, con số 6,9 tỷ bị thổi phồng và 589 triệu AUD chi ra mà không có sự kiện

Tháng 4/2022, bang Victoria nhận đăng cai Commonwealth Games 2026 theo mô hình nhiều thành phố vùng, dự toán 2,6 tỷ AUD. Tháng 7/2023, chính quyền rút lui với lý do chi phí đã lên 6,9 tỷ AUD. Kiểm toán bang kết luận dự toán ban đầu thấp phi thực tế, con số 6,9 tỷ bị tính trùng dự phòng, các cơ quan không phối hợp đưa ra tư vấn đầy đủ và kịp thời — và việc đăng cai rồi rút lui đã tốn khoảng 589 triệu AUD. Bài học về chất lượng business case và kiểm soát tích hợp ở cấp chương trình.

0 0 029/10/2026

Số 499Quản lý Tích hợp

Sự cố mạng di động AT&T (22/2/2024): một phần tử mạng cấu hình sai, không qua bình duyệt, chặn hơn 92 triệu cuộc gọi

Rạng sáng 22/2/2024, một nhân viên AT&T Mobility đưa một phần tử mạng cấu hình sai vào hệ thống đang chạy trong khung bảo trì đêm. Ba phút sau, dịch vụ thoại và dữ liệu 5G bắt đầu rớt trên toàn nước Mỹ, kéo dài ít nhất 12 giờ, chặn hơn 92 triệu cuộc gọi và hơn 25.000 cuộc gọi tới 911. Báo cáo của FCC chỉ ra thay đổi đã không qua bình duyệt (peer review), không được kiểm thử đủ và không có cơ chế giới hạn tác động. Bài học về kiểm soát thay đổi tích hợp trong hệ thống hạ tầng trọng yếu.

0 0 027/10/2026

Số 489Quản lý Tích hợp

Operation Warp Speed (Mỹ, 2020–2021): chạy song song phát triển, thử nghiệm và sản xuất vắc-xin — rồi hụt hơi ở khâu tiêm cho người dân

Chương trình Operation Warp Speed của Mỹ cho phép các hãng vắc-xin chồng lấn các pha thử nghiệm và sản xuất quy mô lớn ngay khi chưa có kết quả, nhờ đó hai vắc-xin được cấp phép khẩn cấp vào tháng 12/2020. Nhưng mục tiêu 300 triệu liều chưa đạt, và đầu tháng 1/2021 mới có 5,3 triệu trong 17,3 triệu liều đã phân phối được tiêm. Bài học về quản lý tích hợp: tăng tốc từng luồng việc chưa đủ, các điểm bàn giao giữa chúng cũng phải được thiết kế.

0 0 026/10/2026

Salesforce (11/05/2021): một thay đổi DNS đi qua quy trình sửa lỗi khẩn cấp, triển khai toàn cầu một lần và năm giờ khách hàng không đăng nhập ổn định

Bối cảnh thực tế

Phân tích nguyên nhân theo chuẩn PMP

Đường tắt khẩn cấp không có rào chắn

Chính sách dựa vào ý thức cá nhân thay vì công cụ

Tài sản quy trình tổ chức lỗi thời

Đổ lỗi cá nhân che khuất lỗi hệ thống

Lẽ ra PM nên làm gì

Bước 1: Đặt tiêu chí rõ ràng cho thay đổi khẩn cấp

Bước 2: Để công cụ ép buộc triển khai dần

Bước 3: Rà soát định kỳ việc sử dụng kênh khẩn cấp

Bước 4: Postmortem không đổ lỗi

PM Takeaway (Bài học rút ra)

Nguồn tham khảo

Trắc nghiệm tình huống PMP

Sau một sự cố do một kỹ sư làm sai quy trình, bạn xử lý người đó thế nào?

Tình huống này hữu ích với bạn?

Bình luận (0)