Atlassian tháng 4/2022: script xoá nhầm 883 site của 775 khách hàng và khoảng 14 ngày để khôi phục

Atlassian đang gỡ bỏ ứng dụng độc lập "Insight – Asset Management", vốn đã được tích hợp vào Jira Service Management từ năm 2021. Theo bản đánh giá sau sự cố do chính công ty công bố, sự cố không phải tấn công mạng và hơn 99,6% khách hàng không bị ảnh hưởng. Tuy vậy:

Khôi phục bắt đầu từ 08/04 và hoàn tất 18/04, có khách hàng gián đoạn tới 14 ngày. Atlassian nêu rõ nguyên nhân chậm: chưa có runbook hay tự động hoá cho việc khôi phục hàng loạt nhiều site và nhiều sản phẩm liên kết, dữ liệu nằm trong kho nhiều khách hàng dùng chung nên phải trích thủ công từ bản sao lưu, và quy trình quản lý sự cố không được thiết kế cho hàng trăm kỹ sư làm song song. Mục tiêu điểm khôi phục (RPO) 1 giờ đạt được, nhưng mục tiêu thời gian khôi phục (RTO) thì không.

Công ty cam kết: chặn xoá site hàng loạt, áp dụng xoá mềm có lộ trình triển khai và kế hoạch hoàn tác, tăng tốc chương trình khôi phục thảm hoạ tự động, soạn sổ tay cho sự cố lớn và cải thiện truyền thông.