Ngày 23/3/2016 Microsoft ra mắt Tay, chatbot dành cho giới trẻ Mỹ trên Twitter. Chỉ trong vòng 16 giờ tài khoản bị tạm dừng sau khi một nhóm người dùng khai thác lỗ hổng khiến bot đăng nội dung xúc phạm; Microsoft xin lỗi và nhận trách nhiệm. Bài học rủi ro về hệ thống AI/ML: mô hình học trực tiếp từ dữ liệu công khai, kiểm thử thiếu kịch bản đối kháng và thiếu công tắc dừng.
Tính chất tăng tốc của mạng xã hội khiến nội dung xấu lan rộng trong vài giờ. Kế hoạch ứng phó rủi ro cần có công tắc dừng (kill switch), tiêu chí kích hoạt và người có quyền ra lệnh, thay vì chờ phân tích thủ công.
Với một thương hiệu lớn, hậu quả của phát ngôn xúc phạm vượt xa giá trị của một thử nghiệm nghiên cứu. Phân tích rủi ro cần cân nhắc tác động phi tài chính và đưa vào tiêu chí quyết định ra mắt (go/no-go).
Mở cho nhóm nhỏ trước, với bộ lọc mạnh và học ở chế độ "bóng" (shadow learning): bot chưa đưa kiến thức mới vào phản hồi công khai cho tới khi được rà soát.
Tổ chức đợt tấn công thử với đội ngũ nội bộ và bên ngoài trước khi công bố, theo các tiêu chí rõ ràng:
Đội red team thử dạy bot nội dung độc hại, cơ chế "lặp lại theo yêu cầu" và các cách vượt bộ lọc; không còn lỗ hổng nghiêm trọng mở.
Có bảng theo dõi tỉ lệ nội dung bị gắn cờ và cảnh báo khi vượt ngưỡng trong cửa sổ vài phút.
Vượt ngưỡng nội dung vi phạm thì tạm dừng đăng bài tự động, chuyển cho con người xét duyệt trước khi tiếp tục.
Xác định người có quyền tắt sản phẩm, mẫu lời xin lỗi và kênh truyền thông, để phản ứng trong vài giờ chứ không phải sau một ngày.
Quản lý tri thức dự án: ghi lại các kiểu tấn công đã gặp, đưa vào danh mục kiểm tra cho mọi sản phẩm AI tiếp theo.
Với sản phẩm AI học từ đầu vào công khai, hãy giả định có người cố tình phá. Kiểm thử đối kháng, phát hành từng bước và công tắc dừng có tiêu chí rõ ràng là các biện pháp rẻ hơn rất nhiều so với việc xin lỗi sau khi sản phẩm bị biến thành công cụ phát tán nội dung xấu.
Bạn chọn phương án nào?