Ngày 02/07/2019, một thay đổi nhỏ trong bộ quy tắc WAF của Cloudflare chứa biểu thức chính quy gây backtracking khủng khiếp, khiến CPU của mọi máy xử lý HTTP/HTTPS trên toàn cầu gần như 100% và khách hàng nhận lỗi 502 khoảng 27 phút. Bài học về kiểm thử hiệu năng trong CI, quy trình triển khai theo giai đoạn và việc "ngoại lệ khẩn cấp" trở thành đường tắt mặc định.
Ngày 04/10/2021, một lệnh bảo trì định đánh giá dung lượng mạng xương sống đã ngắt toàn bộ kết nối giữa các trung tâm dữ liệu của Facebook; công cụ kiểm tra lệnh có lỗi nên không chặn được. DNS biến mất khỏi Internet, công cụ nội bộ hỏng theo và kỹ sư phải đến tận nơi. Phân tích dưới góc nhìn kiểm soát thay đổi, kiểm thử tình huống thảm hoạ và phụ thuộc vòng của công cụ khôi phục.
Trong lúc điều tra hệ thống tính phí S3 chạy chậm, một thành viên được ủy quyền chạy lệnh trong playbook nhưng nhập sai một tham số, gỡ ra nhiều máy chủ hơn dự định ở vùng US-EAST-1. AWS sau đó sửa công cụ để gỡ chậm hơn, chặn việc đưa hệ thống xuống dưới dung lượng tối thiểu và rà soát các công cụ khác. Bài học về thiết kế công cụ vận hành chống lỗi người.
Khi gỡ một ứng dụng cũ, đội Atlassian nhận danh sách ID site thay vì ID ứng dụng; API xoá chấp nhận cả hai loại mà không cảnh báo nên 883 site bị xoá. Dữ liệu sao lưu còn nhưng chưa có runbook hay tự động hoá khôi phục hàng trăm site cùng lúc, khiến một số khách hàng gián đoạn tới 14 ngày. Bài học về xoá mềm, kiểm thử với dữ liệu giống thật và diễn tập thảm hoạ ở quy mô lớn.
Một đoạn mã kiểm tra chính sách hạn ngạch thêm vào Service Control ngày 29/05/2025 thiếu xử lý lỗi và không được bảo vệ bởi feature flag. Ngày 12/06, một thay đổi chính sách chứa trường trống nhân bản toàn cầu, làm dịch vụ rơi vào vòng lặp sập ở mọi vùng và trả lỗi 503 cho nhiều sản phẩm. Phân tích về kiểm thử đường mã hiếm, cờ tính năng và triển khai dữ liệu theo giai đoạn.
Tàu Mars Climate Orbiter trị giá khoảng 327,6 triệu USD bị mất khi tiếp cận sao Hỏa vì một phần mềm mặt đất xuất dữ liệu theo đơn vị Anh (pound-force giây) trong khi bên nhận dùng hệ mét. Phân tích vì sao lỗi nhỏ lọt qua mọi lớp kiểm soát chất lượng và PM nên làm gì.
Nhà máy xử lý và cố định hoá chất thải hạt nhân Hanford (Waste Treatment and Immobilization Plant) của Bộ Năng lượng Mỹ (DOE) đã trễ hàng chục năm và chi phí tăng hơn gấp ba, lên gần 17 tỷ USD. Báo cáo GAO-18-241 (04/2018) chỉ ra lỗi đảm bảo chất lượng tái diễn và bộ phận QA không đủ độc lập với ban quản lý chịu áp lực chi phí – tiến độ. Phân tích dưới góc nhìn quản lý chất lượng theo PMP.
Phiên bản 1809 của Windows 10 phát hành ngày 02/10/2018 và bị Microsoft rút khỏi phân phối bốn ngày sau vì các báo cáo về việc quá trình cập nhật xoá tệp trong thư mục người dùng. Bản dựng được đưa trở lại nhóm Insider ngày 09/10 và triển khai rộng cho một phần nhỏ người dùng từ 13/11. Tình huống minh hoạ giá trị của quyết định rút phát hành nhanh và của việc phát hành theo đợt.
Một công tắc đánh lửa không đạt chính thông số mô-men xoắn của GM vẫn được duyệt đưa vào xe Chevrolet Cobalt. Chìa khoá có thể tự xoay sang vị trí phụ khi xe đang chạy, làm mất điện túi khí. Lỗi bị xếp vào nhóm "bất tiện cho khách hàng", thiết kế được sửa lặng lẽ không đổi mã linh kiện, và phải đến 2014 GM mới thu hồi gần 30 triệu xe. Bài học về kiểm soát chất lượng, quản lý cấu hình và văn hoá báo cáo lỗi.
Techcombank tranh thủ kỳ nghỉ lễ 30/4–03/5/2020 để chuyển hệ thống sang phiên bản mới. Ngày 04/5, khi giao dịch tăng khoảng 4 lần ngày thường, ngân hàng cho biết phiên bản mới hoạt động không ổn định, khiến khách không vào được ứng dụng và chuyển khoản gặp lỗi. Một ví dụ Việt Nam về kiểm thử tải, kế hoạch quay lui và truyền thông khi nâng cấp hệ thống lõi.
Sách SRE của Google cho rằng 100% hiếm khi là mục tiêu độ tin cậy đúng. Product và SRE cùng đặt SLO, phần chênh lệch là ngân sách lỗi dùng để quyết định phát hành: còn ngân sách thì phát hành, cạn thì chậm lại và đầu tư vào kiểm thử. Kết hợp với post-mortem không đổ lỗi, đây là khung quản lý chất lượng vận hành giúp đội ngũ vừa nhanh vừa an toàn.
Chuyến bay thử không người lái đầu tiên của Starliner phải bỏ kế hoạch cập bến ISS vì đồng hồ nhiệm vụ lệch khoảng 11 giờ; hơn nữa một lỗi thứ hai được phát hiện chỉ vài giờ trước khi hạ cánh. Nhóm xem xét độc lập đưa ra 61 khuyến nghị về kiểm thử phần mềm, trọng tâm là kiểm thử đầu cuối. Bài học về đảm bảo chất lượng, phạm vi kiểm thử và kiểm tra tích hợp trước khi bay.
Gương chính của Hubble được mài cực kỳ chính xác — nhưng theo một hình dạng sai, vì dụng cụ đo chuẩn (null corrector) lắp lệch 1,3 mm. Các phép thử khác đã báo lỗi nhưng bị bác bỏ. Bài học về kiểm định hệ thống đo, kiểm chứng độc lập và văn hoá chất lượng.
Khi chuyển lên đám mây, Netflix (2011) dựng công cụ ngẫu nhiên tắt máy trong môi trường sản xuất để buộc mọi nhóm thiết kế hệ thống chịu được hỏng hóc. Công cụ được mã nguồn mở năm 2012, rồi mở rộng thành Simian Army gồm Chaos Gorilla (mất cả vùng khả dụng) và Chaos Kong (mất cả vùng AWS). Một ví dụ thành công về cách kiểm thử chủ động thay thế niềm tin suông về khả năng chịu lỗi.
Tháng 07/2012, nhà thầu thiết kế Uranium Processing Facility tại tổ hợp Y-12 (Tennessee) kết luận thiết bị xử lý sẽ không lắp vừa toà nhà như đã thiết kế; khắc phục ước tính tốn thêm 540 triệu USD. GAO-15-126 tổng hợp nguyên nhân: giám sát mỏng, tích hợp thiết kế yếu, thông tin chậm và quy trình xử lý vấn đề kỹ thuật thiếu chính thức.