Một thay đổi về quyền truy cập cơ sở dữ liệu khiến truy vấn sinh tệp đặc trưng (feature file) cho Bot Management trả về dòng trùng lặp. Tệp vượt giới hạn 200 đặc trưng, làm proxy lõi bị panic và trả lỗi 5xx trên phần lớn mạng Cloudflare gần sáu giờ. Bài học về kiểm soát chất lượng cho cấu hình do chính hệ thống nội bộ sinh ra.
Khi gặp tệp vượt giới hạn, mã lựa chọn dừng hẳn thay vì giữ tệp tốt gần nhất. Tiêu chuẩn chất lượng của thiết kế (fail-safe) chưa được đặt ra như một yêu cầu.
Lỗi lặp theo chu kỳ cùng trang trạng thái sập khiến đội nghi ngờ tấn công, mất thời gian quý báu. Đây là rủi ro về nhận định trong ứng phó sự cố khi thiếu dữ liệu đo lường rõ ràng.
Kiểm tra số dòng, trùng lặp, kích thước và so sánh với phiên bản trước; tệp bất thường bị chặn trước khi phát tán.
Quy định rõ hệ thống làm gì theo mức bất thường:
Kích thước và số đặc trưng trong biên độ quen thuộc: phát tán theo lộ trình.
Lệch lớn so với phiên bản trước: giữ tệp cũ, cảnh báo đội sở hữu.
Vượt giới hạn cứng: chặn phát tán, proxy tiếp tục dùng tệp tốt gần nhất.
Thay đổi quyền hay lược đồ cơ sở dữ liệu phải liệt kê các truy vấn và dịch vụ hạ nguồn bị ảnh hưởng, có người sở hữu ký xác nhận.
Mỗi tính năng tiêu thụ cấu hình động cần một công tắc tắt toàn cục đã được diễn tập, để khôi phục trong vài phút thay vì vài giờ.
Dữ liệu do chính hệ thống của bạn sinh ra cũng có thể sai. Hãy kiểm soát chất lượng cấu hình như kiểm soát mã nguồn, thiết kế để giữ trạng thái tốt gần nhất khi gặp đầu vào bất thường, và luôn có đường tắt khẩn cấp đã được diễn tập.
Bạn chọn phương án nào?