Số 371Quản lý Tích hợp

AWS Kinesis (25/11/2020): thêm một ít máy chủ khiến cả đội máy front-end vượt giới hạn luồng và kéo theo Cognito, CloudWatch

Một đợt bổ sung nhỏ năng lực cho đội máy front-end của Kinesis làm mọi máy vượt giới hạn số luồng của hệ điều hành, khiến dịch vụ lỗi gần cả ngày. Cognito, CloudWatch, Lambda và nhiều dịch vụ khác phụ thuộc Kinesis cũng bị ảnh hưởng; ngay công cụ đăng tin trạng thái cũng phụ thuộc Cognito. Bài học về quản lý tích hợp và phụ thuộc giữa các thành phần.

Nguyễn Thu Hà, PMP

20/10/2026

3 phút đọc 1

Bình luận0

Bối cảnh thực tế

Amazon Kinesis là dịch vụ xử lý luồng dữ liệu thời gian thực mà nhiều dịch vụ AWS khác dùng làm nền. Đội máy front-end gồm nhiều nghìn máy, mỗi máy giữ kết nối tới mọi máy khác trong đội.

Theo bản tóm tắt sự cố của AWS:

Từ 2:44 đến 3:47 sáng (PST) ngày 25/11/2020, một lượng nhỏ năng lực được thêm vào đội front-end. Đây là tác nhân kích hoạt, chưa phải nguyên nhân gốc.
Việc thêm máy khiến mọi máy front-end vượt số luồng tối đa mà cấu hình hệ điều hành cho phép; bộ nhớ đệm định tuyến (shard-map) không dựng được, yêu cầu không tới được back-end. Lỗi bắt đầu lúc 5:15, nguyên nhân gốc được xác nhận lúc 9:39.
Khôi phục chậm vì chỉ có thể đưa máy trở lại vài trăm máy mỗi giờ; khởi động quá nhanh sẽ làm máy tranh tài nguyên và bị coi là không khoẻ.
Cognito dùng Kinesis với một lỗi tiềm ẩn trong bộ đệm khiến máy chủ web bị chặn; CloudWatch, Auto Scaling, Lambda cùng bị ảnh hưởng nhiều giờ.
Công cụ chính để đăng tin lên Service Health Dashboard phụ thuộc Cognito; công cụ dự phòng thì thủ công và nhân viên hỗ trợ chưa quen dùng.

Phân tích nguyên nhân theo chuẩn PMP

Thay đổi "nhỏ" không được đánh giá tác động tổng thể
Thêm máy được coi là thao tác vận hành thường ngày, nhưng nó tác động lên một giới hạn hệ thống mà không ai theo dõi. Kiểm soát thay đổi tích hợp (Perform Integrated Change Control) cần xét tác động lên các ràng buộc ẩn, không chỉ quy mô thay đổi.
Bản đồ phụ thuộc giữa các dịch vụ không đầy đủ
Cognito, CloudWatch và cả công cụ trạng thái phụ thuộc Kinesis — một điểm hỏng đơn lan sang nhiều sản phẩm. Quản lý tích hợp đòi hỏi biết rõ ai phụ thuộc ai.
Thiếu chỉ số cảnh báo sớm cho giới hạn tài nguyên
Không có cảnh báo chi tiết về mức tiêu thụ luồng nên giới hạn bị chạm mà không ai biết trước.

Số 509Quản lý Tích hợp

Victoria rút khỏi Commonwealth Games 2026 (Úc): dự toán 2,6 tỷ AUD, con số 6,9 tỷ bị thổi phồng và 589 triệu AUD chi ra mà không có sự kiện

Tháng 4/2022, bang Victoria nhận đăng cai Commonwealth Games 2026 theo mô hình nhiều thành phố vùng, dự toán 2,6 tỷ AUD. Tháng 7/2023, chính quyền rút lui với lý do chi phí đã lên 6,9 tỷ AUD. Kiểm toán bang kết luận dự toán ban đầu thấp phi thực tế, con số 6,9 tỷ bị tính trùng dự phòng, các cơ quan không phối hợp đưa ra tư vấn đầy đủ và kịp thời — và việc đăng cai rồi rút lui đã tốn khoảng 589 triệu AUD. Bài học về chất lượng business case và kiểm soát tích hợp ở cấp chương trình.

0 0 029/10/2026

Số 499Quản lý Tích hợp

Sự cố mạng di động AT&T (22/2/2024): một phần tử mạng cấu hình sai, không qua bình duyệt, chặn hơn 92 triệu cuộc gọi

Rạng sáng 22/2/2024, một nhân viên AT&T Mobility đưa một phần tử mạng cấu hình sai vào hệ thống đang chạy trong khung bảo trì đêm. Ba phút sau, dịch vụ thoại và dữ liệu 5G bắt đầu rớt trên toàn nước Mỹ, kéo dài ít nhất 12 giờ, chặn hơn 92 triệu cuộc gọi và hơn 25.000 cuộc gọi tới 911. Báo cáo của FCC chỉ ra thay đổi đã không qua bình duyệt (peer review), không được kiểm thử đủ và không có cơ chế giới hạn tác động. Bài học về kiểm soát thay đổi tích hợp trong hệ thống hạ tầng trọng yếu.

0 0 027/10/2026

Số 489Quản lý Tích hợp

Operation Warp Speed (Mỹ, 2020–2021): chạy song song phát triển, thử nghiệm và sản xuất vắc-xin — rồi hụt hơi ở khâu tiêm cho người dân

Chương trình Operation Warp Speed của Mỹ cho phép các hãng vắc-xin chồng lấn các pha thử nghiệm và sản xuất quy mô lớn ngay khi chưa có kết quả, nhờ đó hai vắc-xin được cấp phép khẩn cấp vào tháng 12/2020. Nhưng mục tiêu 300 triệu liều chưa đạt, và đầu tháng 1/2021 mới có 5,3 triệu trong 17,3 triệu liều đã phân phối được tiêm. Bài học về quản lý tích hợp: tăng tốc từng luồng việc chưa đủ, các điểm bàn giao giữa chúng cũng phải được thiết kế.

0 0 026/10/2026

AWS Kinesis (25/11/2020): thêm một ít máy chủ khiến cả đội máy front-end vượt giới hạn luồng và kéo theo Cognito, CloudWatch

Bối cảnh thực tế

Phân tích nguyên nhân theo chuẩn PMP

Thay đổi "nhỏ" không được đánh giá tác động tổng thể

Bản đồ phụ thuộc giữa các dịch vụ không đầy đủ

Thiếu chỉ số cảnh báo sớm cho giới hạn tài nguyên

Kế hoạch dự phòng có nhưng đội không thành thạo

Lẽ ra PM nên làm gì

Bước 1: Liệt kê giới hạn hệ thống như một phần của đường cơ sở

Bước 2: Đánh giá thay đổi năng lực theo mức tiến gần giới hạn

Bước 3: Giảm phụ thuộc cứng giữa dịch vụ

Bước 4: Diễn tập công cụ dự phòng

PM Takeaway (Bài học rút ra)

Nguồn tham khảo

Trắc nghiệm tình huống PMP

Bạn sẽ xử lý phụ thuộc của trang trạng thái vào dịch vụ nội bộ như thế nào?

Tình huống này hữu ích với bạn?

Bình luận (0)