Đội QA chỉ báo cáo các bộ test đã qua để đạt KPI "tỷ lệ pass 95%": có phải là gian lận?

Đổi trạng thái test case chỉ để đạt ngưỡng là chọn lọc dữ liệu (cherry picking) — tạo ấn tượng sai về chất lượng với bên nghiệm thu. Có thể không có test case nào bị "xoá", nhưng mục đích và kết quả đều là gây hiểu lầm. Đây là ví dụ kinh điển của định luật Goodhart: khi một thước đo trở thành mục tiêu, nó không còn là thước đo tốt.

Khi nào loại test case là hợp lệ: khi phạm vi thực sự thay đổi qua quy trình kiểm soát thay đổi, hoặc test case sai so với yêu cầu đã thống nhất — và việc loại được ghi lại, có người phê duyệt, khách hàng biết.

PM nên làm

1. Khôi phục trạng thái gốc, báo cáo con số thực (ví dụ 91%).
2. Trình bày kèm phân loại lỗi theo mức độ nghiêm trọng: nếu các lỗi còn lại thực sự nhỏ, khách hàng có thể chấp nhận nghiệm thu có điều kiện với danh sách lỗi và thời hạn khắc phục. Đó là quyết định của khách hàng, dựa trên thông tin đúng.
3. Nói chuyện với trưởng QA về áp lực khiến họ làm vậy — thường là PM hoặc sếp đã truyền áp lực "phải đạt 95%" mà không nói rõ "đạt một cách trung thực".

Thiết kế chỉ số khó bị làm đẹp

• Dùng bộ chỉ số thay vì một con số: tỷ lệ pass, số lỗi mở theo mức độ, lỗi phát hiện sau phát hành.
• Mọi thay đổi trạng thái test case có nhật ký và lý do.
• Tiêu chí nghiệm thu gắn với mức độ nghiêm trọng: "không còn lỗi nghiêm trọng/cao".

Nguồn:

• Wikipedia — Goodhart's law
• Wikipedia — Cherry picking
• PMI — Code of Ethics and Professional Conduct (PDF)