Số 499Quản lý Tích hợp

Sự cố mạng di động AT&T (22/2/2024): một phần tử mạng cấu hình sai, không qua bình duyệt, chặn hơn 92 triệu cuộc gọi

Rạng sáng 22/2/2024, một nhân viên AT&T Mobility đưa một phần tử mạng cấu hình sai vào hệ thống đang chạy trong khung bảo trì đêm. Ba phút sau, dịch vụ thoại và dữ liệu 5G bắt đầu rớt trên toàn nước Mỹ, kéo dài ít nhất 12 giờ, chặn hơn 92 triệu cuộc gọi và hơn 25.000 cuộc gọi tới 911. Báo cáo của FCC chỉ ra thay đổi đã không qua bình duyệt (peer review), không được kiểm thử đủ và không có cơ chế giới hạn tác động. Bài học về kiểm soát thay đổi tích hợp trong hệ thống hạ tầng trọng yếu.

Nguyễn Thu Hà, PMP

27/10/2026

4 phút đọc 1

Bình luận0

Bối cảnh thực tế

AT&T Mobility là một trong ba nhà mạng di động lớn nhất nước Mỹ, đồng thời vận hành FirstNet — mạng dành riêng cho lực lượng ứng cứu khẩn cấp. Việc mở rộng dung lượng mạng lõi được làm thường xuyên trong các khung bảo trì ban đêm.

Theo báo cáo của Cục An toàn Công cộng và An ninh Nội địa thuộc Ủy ban Truyền thông Liên bang Mỹ (FCC), công bố tháng 7/2024:

Khoảng 2 giờ 42 sáng 22/2/2024 (giờ miền Trung), một nhân viên thêm một phần tử mạng mới nhằm mở rộng dung lượng; phần tử này bị cấu hình sai.
Lúc 2 giờ 45, cơ chế bảo vệ tự động của mạng ngắt kết nối để cô lập thiết bị lỗi, khiến phần xử lý thoại và dữ liệu 5G bị tách khỏi trạm phát và hệ thống chuyển mạch — thuê bao ở cả 50 bang, Washington D.C., Puerto Rico và Quần đảo Virgin thuộc Mỹ mất dịch vụ.
Sự cố kéo dài ít nhất 12 giờ, chặn hơn 92 triệu cuộc gọi, trong đó hơn 25.000 lần gọi tới 911 không kết nối được. FirstNet cũng bị ảnh hưởng.
Việc lắp đặt không tuân thủ quy trình nội bộ, vốn yêu cầu bình duyệt; không có kiểm thử đầy đủ sau khi lắp; kiểm thử trong phòng lab chưa đủ; thiếu kiểm soát với việc phê duyệt thay đổi mạng lõi.
Sau khi gỡ phần tử lỗi, việc khôi phục bị kéo dài vì lượng lớn thiết bị cùng đăng ký lại mạng gây nghẽn — tình huống chưa được chuẩn bị trước.
FirstNet được ưu tiên khôi phục lúc khoảng 5 giờ sáng; AT&T thông báo cho người dùng FirstNet lúc 5 giờ 53 và phát tuyên bố công khai đầu tiên lúc 7 giờ 05.
FCC kết luận sự cố không do tấn công mạng, chuyển hồ sơ sang Cục Thực thi để xem xét vi phạm. AT&T cho biết đã rà quét toàn mạng tìm các phần tử thiếu kiểm soát tương tự và bắt buộc xác nhận bình duyệt trước mọi công việc bảo trì.

Dòng thời gian sự cố AT&T ngày 22/2/2024: 2:42 thêm phần tử mạng cấu hình sai, 2:45 dịch vụ bắt đầu rớt, khoảng 5:00 FirstNet được khôi phục, 5:53 thông báo người dùng FirstNet, 7:05 tuyên bố công khai đầu tiên, sự cố kéo dài ít nhất 12 giờ, hơn 92 triệu cuộc gọi bị chặn

Phân tích nguyên nhân theo chuẩn PMP

Thay đổi "thường ngày" đi tắt quy trình kiểm soát

Số 509Quản lý Tích hợp

Victoria rút khỏi Commonwealth Games 2026 (Úc): dự toán 2,6 tỷ AUD, con số 6,9 tỷ bị thổi phồng và 589 triệu AUD chi ra mà không có sự kiện

Tháng 4/2022, bang Victoria nhận đăng cai Commonwealth Games 2026 theo mô hình nhiều thành phố vùng, dự toán 2,6 tỷ AUD. Tháng 7/2023, chính quyền rút lui với lý do chi phí đã lên 6,9 tỷ AUD. Kiểm toán bang kết luận dự toán ban đầu thấp phi thực tế, con số 6,9 tỷ bị tính trùng dự phòng, các cơ quan không phối hợp đưa ra tư vấn đầy đủ và kịp thời — và việc đăng cai rồi rút lui đã tốn khoảng 589 triệu AUD. Bài học về chất lượng business case và kiểm soát tích hợp ở cấp chương trình.

0 0 029/10/2026

Số 489Quản lý Tích hợp

Operation Warp Speed (Mỹ, 2020–2021): chạy song song phát triển, thử nghiệm và sản xuất vắc-xin — rồi hụt hơi ở khâu tiêm cho người dân

Chương trình Operation Warp Speed của Mỹ cho phép các hãng vắc-xin chồng lấn các pha thử nghiệm và sản xuất quy mô lớn ngay khi chưa có kết quả, nhờ đó hai vắc-xin được cấp phép khẩn cấp vào tháng 12/2020. Nhưng mục tiêu 300 triệu liều chưa đạt, và đầu tháng 1/2021 mới có 5,3 triệu trong 17,3 triệu liều đã phân phối được tiêm. Bài học về quản lý tích hợp: tăng tốc từng luồng việc chưa đủ, các điểm bàn giao giữa chúng cũng phải được thiết kế.

0 0 026/10/2026

Số 479Quản lý Tích hợp

Tàu ngầm S-80 của Tây Ban Nha (2013–2023): thừa hàng chục tấn, phải kéo dài thân tàu và bài học kiểm soát cấu hình tích hợp

Năm 2013, xưởng đóng tàu Navantia phát hiện thiết kế tàu ngầm S-80 nặng hơn tính toán hàng chục tới hơn 100 tấn — đủ để tàu có nguy cơ không nổi lên được từ độ sâu. Thiết kế phải làm lại, thân tàu dài thêm khoảng 10 m, chương trình bốn chiếc tăng lên khoảng 4,5 tỷ USD và chiếc đầu tiên trễ từ 2015 tới cuối 2023. Bài học về quản lý tích hợp: ngân sách trọng lượng là một đường cơ sở phải kiểm soát như tiến độ và chi phí.

0 0 026/10/2026

Sự cố mạng di động AT&T (22/2/2024): một phần tử mạng cấu hình sai, không qua bình duyệt, chặn hơn 92 triệu cuộc gọi

Bối cảnh thực tế

Phân tích nguyên nhân theo chuẩn PMP

Thay đổi "thường ngày" đi tắt quy trình kiểm soát

Đánh giá tác động chỉ nhìn phần tử, không nhìn hệ thống

Không có giới hạn phạm vi ảnh hưởng

Kế hoạch quay lui chưa tính đến hiệu ứng phụ

Lẽ ra PM nên làm gì

Bước 1: Biến bình duyệt thành chốt chặn kỹ thuật

Bước 2: Triển khai theo vòng, có tiêu chí dừng

Bước 3: Phân loại thay đổi theo mức ảnh hưởng tiềm năng

PM Takeaway (Bài học rút ra)

Nguồn tham khảo

Trắc nghiệm tình huống PMP

Nếu là trưởng nhóm vận hành mạng lõi sau sự cố, bạn ưu tiên khoản đầu tư nào trước?

Tình huống này hữu ích với bạn?

Bình luận (0)