Ngày 02/07/2019, một thay đổi nhỏ trong bộ quy tắc WAF của Cloudflare chứa biểu thức chính quy gây backtracking khủng khiếp, khiến CPU của mọi máy xử lý HTTP/HTTPS trên toàn cầu gần như 100% và khách hàng nhận lỗi 502 khoảng 27 phút. Bài học về kiểm thử hiệu năng trong CI, quy trình triển khai theo giai đoạn và việc "ngoại lệ khẩn cấp" trở thành đường tắt mặc định.
Việc đẩy toàn cầu không qua giai đoạn hợp lý khi đang có cuộc tấn công, nhưng SOP áp dụng nó cho cả những cập nhật thường nhật. Khi mọi thay đổi dùng chung một đường nhanh, rủi ro của tình huống hiếm (cần tốc độ) bị áp lên tình huống phổ biến (cập nhật thường).
Biện pháp chống dùng CPU quá mức bị gỡ trong một lần refactor mà không ai đánh giá tác động tới an toàn. Đây là thất bại của kiểm soát thay đổi tích hợp (Perform Integrated Change Control): thay đổi "dọn mã" cũng có thể xoá một lớp phòng thủ.
Cảnh báo ban đầu đến muộn, công cụ nội bộ cùng bị ảnh hưởng, còn quy trình rollback chuẩn đòi hỏi chạy toàn bộ bản dựng WAF hai lần. Kế hoạch ứng phó rủi ro chưa tính tới kịch bản "công cụ khôi phục phụ thuộc chính hệ thống đang hỏng".
Định nghĩa "xong" cho một thay đổi quy tắc phải gồm ngưỡng tài nguyên:
Mỗi quy tắc được chạy trên bộ lưu lượng mẫu và đo CPU/độ trễ; vượt ngưỡng thì CI đỏ.
Cảnh báo CPU toàn mạng và tỷ lệ lỗi 5xx được hiệu chỉnh để kêu trong vài phút đầu, không chờ khách báo.
Triển khai tự dừng và hoàn tác khi chỉ số vượt ngưỡng ở nhóm canary.
Mặc định mọi thay đổi đi theo giai đoạn (nội bộ → một ít điểm hiện diện → toàn cầu). Đường khẩn cấp vẫn tồn tại nhưng cần điều kiện kích hoạt rõ và có người phê duyệt, đúng hướng Cloudflare đã cam kết sau sự cố.
Các cơ chế bảo vệ (giới hạn CPU, bộ ngắt mạch) cần có kiểm thử riêng chứng minh chúng còn hoạt động; mọi thay đổi chạm vào chúng đi qua rà soát bắt buộc.
Chuẩn bị đường vào dự phòng cho công cụ vận hành và một nút "tắt thành phần toàn cầu" nhanh, rồi diễn tập định kỳ. Sau sự cố, viết post-mortem không đổ lỗi cá nhân, tập trung vào hệ thống như bài viết của Cloudflare.
Tốc độ và an toàn không đối nghịch khi đường nhanh có hàng rào riêng. Quản lý chất lượng không dừng ở "CI xanh": hãy hỏi CI có đo đúng thứ có thể làm sập sản xuất không, và đừng để ngoại lệ khẩn cấp trở thành quy trình mặc định.
Bạn chọn phương án nào?