App giao đồ ăn phát hành bản mới lúc 18 giờ thứ Sáu: 4% đơn bị trừ tiền hai lần đúng giờ cao điểm
Bản phát hành có cơ chế thử lại thanh toán mới vừa lên production. Hai mươi phút sau, tổng đài báo khách bị trừ tiền hai lần, quán nhận đơn trùng. Trưởng nhóm backend muốn vá nóng tại chỗ, giám đốc vận hành muốn tắt app. Bạn điều phối sự cố thế nào?
Bối cảnh
Bạn là PM sản phẩm của một ứng dụng giao đồ ăn (giả định minh hoạ) với khoảng 40.000 đơn mỗi tối cuối tuần. Lúc 18 giờ thứ Sáu, đội phát hành phiên bản có cơ chế tự thử lại khi cổng thanh toán phản hồi chậm — tính năng được đưa gấp vào sprint để giảm tỷ lệ đơn thất bại. Đến 18 giờ 20, bảng giám sát cho thấy khoảng 4% đơn bị tạo hai lần và khách bị trừ tiền hai lần; nhà hàng đối tác bắt đầu gọi lên vì nhận đơn trùng. Bản phát hành trước vẫn còn trong kho triển khai nhưng có một thay đổi cơ sở dữ liệu đi kèm bản mới. Công ty chưa có quy trình chỉ huy sự cố chính thức; mọi người đang cùng nhắn trong một nhóm chat 60 thành viên.