Ngày 1/8/2012, Knight Capital gửi hàng triệu lệnh giao dịch sai trong khoảng 45 phút và lỗ khoảng 440–460 triệu USD, vì mã mới không được cài lên một trong tám máy chủ khiến mã cũ "Power Peg" bị kích hoạt lại. Bài học về quy trình phát hành, kiểm soát cấu hình và kiểm thử.
SEC chỉ ra công ty thiếu cơ chế so sánh lệnh gửi ra với lệnh nhận vào và thiếu ngưỡng kiểm soát rủi ro tài chính ngăn lệnh vượt hạn mức. Đây là lớp kiểm soát chất lượng "chặn ở đầu ra" — nếu có, sự cố có thể dừng sau vài giây thay vì 45 phút.
Thiếu quy trình xử lý sự cố bằng văn bản khiến đội ngũ lúng túng, thậm chí các thao tác khắc phục ban đầu còn làm tình hình xấu hơn theo mô tả trong hồ sơ SEC. Kế hoạch ứng phó là một phần của chất lượng vận hành, không phải việc "làm khi cần".
Một kịch bản triển khai tự động và bước xác minh sau triển khai là chi phí phòng ngừa nhỏ. Chi phí thất bại bên ngoài ở đây gần như xoá sổ doanh nghiệp. Đây là minh chứng rõ nhất cho đường cong chi phí chất lượng.
Dùng quy trình triển khai tự động, có thể lặp lại, áp dụng đồng nhất cho mọi máy chủ; mọi bước thủ công còn lại phải có checklist và người kiểm tra thứ hai.
Bản phát hành chỉ được bật trên môi trường thật khi đạt:
Kiểm tra tự động xác nhận 100% máy chủ chạy đúng phiên bản và cấu hình trước khi bật tính năng.
Có giới hạn khối lượng/giá trị lệnh; vượt ngưỡng thì hệ thống tự ngắt và báo động.
Quy trình rollback và "công tắc khẩn" đã được thử trên môi trường giống thật.
Đưa việc gỡ mã không dùng vào backlog có kế hoạch; quy định mỗi cờ tính năng chỉ dùng cho một mục đích, có chủ sở hữu và ngày hết hạn.
Phân loại cảnh báo theo mức độ, quy định người nhận và thời gian phản hồi; cảnh báo bất thường trước giờ phát hành phải chặn việc bật tính năng.
Xác định ai có quyền dừng hệ thống, trong điều kiện nào, và diễn tập định kỳ; sau mỗi sự cố, tổ chức buổi rút kinh nghiệm không đổ lỗi để cập nhật quy trình.
Chất lượng của phần mềm không dừng ở mã nguồn — nó bao gồm cả cách phần mềm được đưa vào vận hành. Một quy trình phát hành tự động, có tiêu chí go/no-go và cơ chế dừng khẩn cấp là khoản đầu tư phòng ngừa rẻ nhất mà PM có thể đề xuất.
Bạn chọn phương án nào?