Khi 'học sinh' thuộc lòng đáp án
Hãy tưởng tượng một kỳ thi tuyển sinh đại học mà thí sinh được phép ôn đúng bộ đề gốc trước khi thi. Điểm số của họ sẽ rất cao — nhưng điều đó có nghĩa gì về năng lực thực sự của họ?
Đây chính xác là vấn đề mà nhà nghiên cứu học máy Moritz Hardt — thuộc Viện Max Planck và Đại học UC Berkeley — đang gióng lên hồi chuông cảnh báo trong cuốn sách mới nhất của ông về AI benchmarking: hệ thống kiểm tra tiêu chuẩn dùng để đo lường và so sánh hiệu suất các mô hình trí tuệ nhân tạo. Theo thông tin từ Quanta Magazine, Hardt lập luận rằng lĩnh vực này đang được vận hành như một 'nghệ thuật tối' thay vì một ngành khoa học nghiêm túc — và hậu quả ảnh hưởng đến toàn bộ thế giới, kể cả Việt Nam.
Điểm số 90% — và những gì ẩn sau con số đó
Các benchmark AI như ImageNet, GLUE hay MMLU là những bài kiểm tra chuẩn hóa mà hàng nghìn công ty và phòng thí nghiệm dùng để chứng minh mô hình của mình 'thông minh' đến đâu. MMLU — một trong những bài thi được trích dẫn nhiều nhất để đánh giá các mô hình ngôn ngữ lớn — hiện chứng kiến các mô hình hàng đầu đạt điểm trên 90%. Nghe có vẻ ấn tượng. Nhưng vấn đề là MMLU đã bị phát hiện chứa nhiều câu hỏi sai trong đề thi, và điểm số đã đạt 'ngưỡng bão hòa' — tức là các mô hình đều gần chạm trần điểm, khiến bài thi không còn khả năng phân biệt hệ thống nào thực sự tốt hơn.
Nghiêm trọng hơn, có một hiện tượng gọi là 'benchmark overfitting' hay 'nhiễm bẩn benchmark': các mô hình AI được huấn luyện trên dữ liệu internet khổng lồ, vô tình (hoặc cố ý) hấp thụ cả nội dung của bộ đề thi — giống như học sinh nhìn thấy đáp án trước kỳ thi. Các nghiên cứu cho thấy một số mô hình tuyên bố đạt hiệu suất 'siêu nhân' trên benchmark lại thất bại thảm hại khi câu hỏi được diễn đạt lại chỉ một chút — bằng chứng rõ ràng rằng điểm số đang đo khả năng thuộc bài, không phải năng lực hiểu thật sự. Vấn đề này được ghi nhận ở cả các mô hình hàng đầu từ OpenAI và Google.
Xung đột lợi ích: Ai ra đề, ai thi?
Có một nghịch lý khó chịu: nhiều tổ chức tạo ra các benchmark cũng chính là những đơn vị cạnh tranh trên bảng xếp hạng đó. Các công ty công nghệ lớn có động lực tài chính mạnh mẽ để 'chơi điểm' và chỉ công bố kết quả có lợi. Hardt lập luận rằng cần biến benchmarking thành một ngành khoa học chính thống — với phương pháp luận chuẩn hóa, đánh giá mù (blind evaluation) và yêu cầu tái lập kết quả. Đây là hướng lạc quan. Nhưng nhiều nhà phê bình cho rằng cải cách khoa học đơn thuần là chưa đủ nếu thiếu cơ chế thực thi từ các tổ chức độc lập.
Một số nhà nghiên cứu đề xuất hướng khác: thay vì dùng bộ đề tĩnh (dễ bị nhiễm theo thời gian), nên chuyển sang hệ thống đánh giá động — đối kháng và có sự tham gia của con người — để liên tục tạo ra thử thách mới mà AI chưa 'thuộc lòng'.
Chuyện này liên quan gì đến Việt Nam?
Rất nhiều. Chiến lược AI quốc gia của Việt Nam — bao gồm đầu tư vào hạ tầng AI và ứng dụng AI trong giáo dục, y tế, quản trị — thường dựa vào các tuyên bố về điểm benchmark để quyết định nên mua hoặc triển khai hệ thống nào. Nếu điểm số đó là ảo giác, các quyết định chính sách và mua sắm có thể bị dẫn lối sai.
Đây không chỉ là vấn đề học thuật. Các khung pháp lý toàn cầu — trong đó có EU AI Act — đang ngày càng tham chiếu đến kết quả benchmark như một phần của đánh giá tuân thủ và rủi ro. Khi Việt Nam tiếp tục hội nhập với các tiêu chuẩn quốc tế, hiểu rõ giới hạn của benchmark là năng lực cần thiết cho cả nhà hoạch định chính sách lẫn doanh nghiệp.
Bài học cuối: Đừng chỉ nhìn điểm số
Cuốn sách của Hardt — theo thông tin hiện có — là lời kêu gọi để ngành AI tự nhìn lại với sự trung thực khoa học. Điều này không có nghĩa là AI không có tiến bộ thật sự, mà là chúng ta cần thước đo đáng tin cậy hơn để biết tiến bộ đó thực sự là bao nhiêu. Trong một lĩnh vực đang định hình tương lai của loài người, sự khác biệt đó không phải chuyện nhỏ.
— Bài viết này được tổng hợp và biên soạn bởi AI LUMINA từ các nguồn đã xác thực. Dữ liệu và thông tin dẫn nguồn từ: Quanta Magazine.
