Hệ thống gợi ý sản phẩm bằng AI của sàn thời trang đạt mọi chỉ số mô hình, nhưng A/B test cho thấy doanh thu không tăng
Dự án gợi ý sản phẩm cá nhân hoá đã tiêu 70% ngân sách, mô hình đạt độ chính xác cao trên dữ liệu kiểm thử. Bốn tuần A/B test cho thấy tỷ lệ nhấp tăng nhưng doanh thu trên mỗi phiên gần như không đổi. Sponsor muốn công bố thành công. Bạn báo cáo và quyết định thế nào?
Bối cảnh
Bạn là PM dự án hệ thống gợi ý sản phẩm bằng AI cho một sàn thương mại điện tử thời trang (giả định minh hoạ). Business case hứa tăng doanh thu trên mỗi phiên truy cập 8%. Đội khoa học dữ liệu đã xây mô hình đạt các chỉ số đánh giá ngoại tuyến rất tốt. Sau 4 tuần A/B test trên 20% người dùng: tỷ lệ nhấp vào khối gợi ý tăng 35%, nhưng doanh thu trên mỗi phiên chỉ tăng khoảng 0,5% — nằm trong biên sai số. Phân tích sơ bộ cho thấy mô hình hay gợi ý những món khách vừa xem hoặc đã mua. Dự án đã tiêu 70% ngân sách. Giám đốc thương mại (sponsor) muốn công bố “tỷ lệ nhấp tăng 35%” tại hội nghị nội bộ tuần sau.