RBS, NatWest và Ulster Bank (6/2012): nâng cấp phần mềm xử lý đêm, gỡ bỏ mà không kiểm thử hậu quả và hơn 6,5 triệu khách hàng bị ảnh hưởng

Ngày 17/6/2012, nhóm ngân hàng RBS cài bản nâng cấp phần mềm xử lý cập nhật tài khoản hằng đêm. Khi phát sinh sự cố, đội CNTT gỡ bản nâng cấp mà không kiểm thử trước hậu quả, và phần mềm cũ không tương thích. Hơn 6,5 triệu khách hàng bị ảnh hưởng nhiều ngày; năm 2014 FCA và PRA phạt tổng 56 triệu bảng. Phân tích quản lý thay đổi tích hợp, kế hoạch quay lui và rủi ro công nghệ.

Nguyễn Thu Hà, PMP

21/09/2026

3 phút đọc 0

Bình luận0

Bối cảnh thực tế

Nhóm ngân hàng Royal Bank of Scotland (gồm RBS, NatWest và Ulster Bank) vận hành hệ thống xử lý theo lô hằng đêm để cập nhật số dư và giao dịch cho hàng triệu tài khoản. Tối 17/6/2012, đội CNTT cài một bản nâng cấp phần mềm xử lý cập nhật này.

Theo tường thuật về quyết định xử phạt của các cơ quan quản lý (FCA và PRA, tháng 11/2014):

Khi phát hiện vấn đề với bản nâng cấp, đội CNTT gỡ bỏ bản nâng cấp; việc gỡ bỏ làm phát sinh lỗi vì bản nâng cấp không tương thích với phiên bản trước. FCA nêu rằng việc gỡ bỏ đã không được kiểm thử hậu quả trước.
Gián đoạn bắt đầu ngày 18/6 và kéo dài đến 26/6 với RBS và NatWest; khách hàng Ulster Bank chưa được khôi phục đến 10/7.
Hơn 6,5 triệu khách hàng không xem được số dư, không thanh toán được ở cây ATM hay trực tuyến, thanh toán tự động lỗi, có giao dịch mua nhà bị chậm, lãi suất bị tính sai.
FCA kết luận ngân hàng không có hệ thống CNTT đủ bền để chịu hoặc giảm thiểu rủi ro lỗi, các thiếu sót nằm "ở nhiều cấp" trong tập đoàn; PRA nêu hệ thống và kiểm soát chưa đầy đủ cùng việc quản lý rủi ro CNTT chưa tốt.
Tổng mức phạt 56 triệu bảng (FCA 42 triệu, PRA 14 triệu), đã tính giảm 30% vì thoả thuận sớm.

Cơ quan quản lý ghi nhận các ngân hàng đã có những bước đáng kể để khắc phục sau sự cố.

Phân tích nguyên nhân theo chuẩn PMP

Kế hoạch quay lui (rollback) không được kiểm thử (Perform Integrated Change Control)
Yêu cầu thay đổi nào cũng phải có kế hoạch triển khai và kế hoạch quay lui đã thử. Ở đây thao tác quay lui chính là nguyên nhân làm sự cố nghiêm trọng hơn: nó được coi là "đường an toàn" mà chưa ai kiểm chứng.
Đánh giá tác động thay đổi thiếu về tương thích (Change Impact, Configuration Management)
Việc không nhận ra phiên bản mới không tương thích phiên bản cũ là thiếu sót quản lý cấu hình: ma trận tương thích và các điều kiện tiên quyết phải được lập và kiểm tra trước khi cài.

RBS, NatWest và Ulster Bank (6/2012): nâng cấp phần mềm xử lý đêm, gỡ bỏ mà không kiểm thử hậu quả và hơn 6,5 triệu khách hàng bị ảnh hưởng

Bối cảnh thực tế

Phân tích nguyên nhân theo chuẩn PMP

Kế hoạch quay lui (rollback) không được kiểm thử (Perform Integrated Change Control)

Đánh giá tác động thay đổi thiếu về tương thích (Change Impact, Configuration Management)

Quản lý rủi ro công nghệ ở cấp tổ chức (Plan Risk Management)

Khả năng phục hồi và giao tiếp trong khủng hoảng (Manage Communications)

Lẽ ra PM nên làm gì

Bước 1: Coi kế hoạch quay lui là một sản phẩm bàn giao cần kiểm thử

Bước 2: Lập ma trận tương thích và điều kiện tiên quyết

Bước 3: Diễn tập khôi phục và có kênh thông tin khủng hoảng

PM Takeaway (Bài học rút ra)

Nguồn tham khảo

Trắc nghiệm tình huống PMP

Thay đổi trên hệ thống thanh toán lõi vào cuối tuần. Điều gì quan trọng nhất với bạn?

Tình huống này hữu ích với bạn?

Bình luận (0)