Một thay đổi về quyền truy cập cơ sở dữ liệu khiến truy vấn sinh tệp đặc trưng (feature file) cho Bot Management trả về dòng trùng lặp. Tệp vượt giới hạn 200 đặc trưng, làm proxy lõi bị panic và trả lỗi 5xx trên phần lớn mạng Cloudflare gần sáu giờ. Bài học về kiểm soát chất lượng cho cấu hình do chính hệ thống nội bộ sinh ra.
Một hoạt động tự động mở rộng năng lực trên mạng chính của AWS kích hoạt hành vi bất thường ở rất nhiều client trong mạng nội bộ, gây tắc nghẽn thiết bị mạng nối hai mạng suốt nhiều giờ. Lỗi tiềm ẩn khiến client không lùi lại (back-off) như thiết kế; giám sát và trang trạng thái cũng bị ảnh hưởng. Bài học về rủi ro dây chuyền và phụ thuộc vòng.
Một đợt bổ sung nhỏ năng lực cho đội máy front-end của Kinesis làm mọi máy vượt giới hạn số luồng của hệ điều hành, khiến dịch vụ lỗi gần cả ngày. Cognito, CloudWatch, Lambda và nhiều dịch vụ khác phụ thuộc Kinesis cũng bị ảnh hưởng; ngay công cụ đăng tin trạng thái cũng phụ thuộc Cognito. Bài học về quản lý tích hợp và phụ thuộc giữa các thành phần.
Phần mềm Guest Agent trong máy ảo Azure tính ngày hết hạn chứng chỉ bằng cách cộng thêm một năm, nên vào ngày 29/2/2012 sinh ra ngày 29/2/2013 không tồn tại. Hệ thống coi đó là lỗi phần cứng và lan sự cố qua nhiều cụm. Trong lúc khắc phục, một gói cập nhật ghép sai phiên bản làm bảy cụm mất kết nối mạng. Bài học về kiểm thử lỗi thời gian và kiểm soát chất lượng bản vá khẩn.
Một thay đổi giảm tải CPU cho Azure Table đã được thử trên một phần production nhiều tuần. Kỹ sư cho rằng rủi ro thấp nên bật toàn bộ, và công cụ cấu hình không ép triển khai từng phần; thay đổi còn bị bật nhầm cho Blob Storage, làm lộ lỗi vòng lặp vô hạn. Lưu trữ gián đoạn ở nhiều vùng, máy ảo bị ảnh hưởng dây chuyền. Bài học về để công cụ thực thi tiêu chuẩn chất lượng.
Google chuyển User ID Service sang hệ thống hạn ngạch mới, nhưng một phần hệ thống cũ vẫn báo mức sử dụng bằng 0. Khi thời gian ân hạn hết, hạn ngạch tự động bị cắt, cơ sở dữ liệu tài khoản không ghi được và gần như mọi lưu lượng có xác thực của Google lỗi khoảng 50 phút. Bài học về tích hợp khi di chuyển hệ thống chạy song song.
Toàn bộ backend của Roblox dựa trên một cụm Consul duy nhất. Một tính năng streaming mới bật hôm trước cùng một lỗi hiệu năng của BoltDB làm cụm này kiệt sức; vì giám sát cũng phụ thuộc Consul, đội kỹ thuật gần như làm việc trong bóng tối. Nền tảng có khoảng 50 triệu người dùng mỗi ngày ngừng 73 giờ. Bài học về rủi ro điểm hỏng đơn và phụ thuộc vòng.
Bảng lưu bài viết của người dùng Instapaper chạm giới hạn kích thước tệp 2 TB, áp dụng cho các phiên bản Amazon RDS tạo trước tháng 4/2014. Không có cảnh báo nào báo trước, và đội không có kế hoạch khôi phục cho kịch bản này. Dịch vụ ngừng hơn 31 giờ, mất gần một tuần để khôi phục toàn bộ kho lưu trữ. Bài học về rủi ro giới hạn kỹ thuật ẩn trong dịch vụ đám mây.
Một lỗi trong tự động hoá bảo trì cho phép gỡ (deschedule) nhiều cụm control plane mạng độc lập cùng lúc, kể cả ở các địa điểm khác nhau. Sau vài phút, các tuyến BGP bị rút, năng lực mạng giảm mạnh; công cụ gỡ lỗi phải tranh băng thông với lưu lượng đang tắc. Nhiều vùng gần như không dùng được hơn ba giờ. Bài học về tích hợp giữa hệ thống quản lý cụm, bảo trì và mạng.
Một kỹ sư dùng quy trình sửa lỗi khẩn cấp (Emergency Break-Fix) — ít phê duyệt, không triển khai dần — để đẩy một thay đổi cấu hình DNS ra toàn cầu bằng một script bốn năm tuổi. Lỗi trong script làm dịch vụ DNS không khởi động lại được; công cụ khôi phục lại phụ thuộc DNS; trang trạng thái cũng sập. Bài học về kiểm soát thay đổi và việc quy trình "khẩn cấp" bị dùng sai mục đích.
Một kênh cập nhật bảo mật cũ vẫn bật trong ảnh hệ điều hành gốc đã tự cài bản vá systemd lên máy ảo của Datadog trong cùng khung giờ ở mọi vùng. Khi systemd-networkd khởi động lại, nó xoá các route của plugin mạng Cilium, làm hàng chục nghìn node mất kết nối. Khôi phục hoàn toàn mất khoảng 48 giờ. Bài học về rủi ro thay đổi không được lên kế hoạch và tương quan giữa các vùng.