Amazon S3 ngày 28/02/2017: một tham số nhập sai trong lệnh gỡ máy chủ làm gián đoạn dịch vụ lưu trữ khoảng 4 giờ 17 phút

Sáng 28/02/2017, đội S3 của Amazon điều tra vì sao hệ thống tính phí S3 xử lý chậm hơn kỳ vọng. Theo bản tóm tắt chính thức của AWS, lúc 9:37 (giờ Thái Bình Dương), một thành viên được ủy quyền làm theo playbook đã có và chạy lệnh nhằm gỡ một số ít máy chủ khỏi một hệ thống con phục vụ quá trình tính phí.

Một tham số đầu vào của lệnh bị nhập sai, nên số máy chủ bị gỡ lớn hơn dự định rất nhiều. Số máy chủ này nằm trong hai hệ thống con quan trọng của vùng US-EAST-1:

Cả hai hệ thống phải khởi động lại; chúng chưa được khởi động lại ở quy mô đó trong nhiều năm và việc kiểm tra an toàn mất thời gian. Chỉ mục khôi phục một phần lúc 12:26, đầy đủ lúc 13:18; hệ thống phân bổ hoàn tất lúc 13:54, tức gián đoạn kéo dài khoảng 4 giờ 17 phút. Các dịch vụ khác như EC2, EBS và Lambda cũng bị ảnh hưởng. Một chi tiết đáng chú ý: bảng điều khiển quản trị của Service Health Dashboard cũng phụ thuộc S3 nên AWS không cập nhật được trạng thái từng dịch vụ cho đến 11:37, và phải dùng Twitter làm kênh thông báo tạm.

AWS cam kết sửa công cụ để gỡ dung lượng chậm hơn, thêm cơ chế chặn mọi thao tác làm một hệ thống con xuống dưới dung lượng tối thiểu, rà soát các công cụ khác, đẩy nhanh việc chia chỉ mục thành các "cell" nhỏ hơn và chuyển bảng điều khiển trạng thái sang chạy đa vùng.