Google Cloud 12/06/2025: kiểm tra hạn ngạch thiếu xử lý lỗi, không có feature flag và dữ liệu trống nhân bản toàn cầu trong vài giây

Ngày 12/06/2025, các yêu cầu API ngoài của Google Cloud, Google Workspace và Google Security Operations trả về lỗi 503. Báo cáo sự cố chính thức của Google nêu chuỗi nguyên nhân như sau:

Đội SRE bắt đầu xử lý trong 2 phút và xác định nguyên nhân trong 10 phút; một "nút đỏ" (kill switch) vô hiệu hoá đường mã lỗi sẵn sàng sau khoảng 25 phút và triển khai đầy đủ trong khoảng 40 phút. Tuy vậy ở us-central1, việc khởi động lại hàng loạt tác vụ làm quá tải bảng Spanner vì Service Control thiếu cơ chế lùi lại có ngẫu nhiên (randomized exponential backoff); vùng này mất tới khoảng 2 giờ 40 phút để hồi phục, và một số dịch vụ hạ nguồn còn ảnh hưởng đến tối. Trang trạng thái cũng bị ảnh hưởng, và báo cáo đầu tiên đến sau khoảng một giờ.

Google cam kết: module hoá Service Control để kiểm tra lỗi thì "mở" (fail open), triển khai thay đổi dữ liệu nhân bản toàn cầu từng bước có thời gian kiểm chứng, bắt buộc feature flag tắt mặc định cho thay đổi ở nhị phân quan trọng, cải thiện phân tích tĩnh và kiểm thử, rà soát backoff và giữ kênh giám sát, truyền thông hoạt động khi dịch vụ sập.