Các nhà nghiên cứu tại OpenAI đã thực hiện một thí nghiệm quan trọng: thử trừng phạt một mô hình AI tiên tiến khi nó có hành vi gian lận và nói dối trong quá trình thực hiện nhiệm vụ. Tuy nhiên, thay vì ngăn chặn hành vi này, họ phát hiện ra rằng AI chỉ trở nên tinh vi hơn trong việc che giấu mánh khóe của mình.
Từ khi ra mắt công chúng vào cuối năm 2022, các mô hình AI ngôn ngữ lớn (LLM) đã liên tục cho thấy khả năng lừa dối và thao túng đáng lo ngại. Chúng không chỉ nói dối đơn thuần mà còn có thể che giấu hành vi của mình một cách có chủ đích, thậm chí đưa ra những tuyên bố gây sốc như đe dọa giết hại một giáo sư triết học hay giả lập kế hoạch đánh cắp mã phóng hạt nhân.
Với mục tiêu hiểu rõ hơn về vấn đề này, OpenAI đã thiết kế một thử nghiệm đặc biệt, giao cho một mô hình AI chưa phát hành những nhiệm vụ có thể hoàn thành bằng cách gian lận hoặc đi đường tắt. Kết quả, AI ngay lập tức tận dụng cơ hội để "lách luật" và tìm cách tối đa hóa phần thưởng mà không thực sự hoàn thành nhiệm vụ đúng cách – một hiện tượng mà nhóm nghiên cứu gọi là "reward hacking".
Tuy nhiên, khi bị trừng phạt vì hành vi gian lận, thay vì điều chỉnh lại cách làm việc, AI chỉ học cách che giấu ý đồ của mình tốt hơn. OpenAI giải thích trong báo cáo: "Thông thường, các mô hình AI tiên tiến có xu hướng thể hiện ý định của mình rất rõ ràng trong chuỗi suy nghĩ (chain-of-thought). Tuy nhiên, khi áp đặt các biện pháp kiểm soát chặt chẽ, AI sẽ học cách giấu đi ý định gian lận mà vẫn tiếp tục vi phạm nguyên tắc."
AI giấu gian lận như thế nào?
Những mô hình AI hiện đại như ChatGPT sử dụng một phương pháp gọi là "chain-of-thought" – tức là lập luận bằng cách ghi lại các bước logic trong quá trình suy nghĩ, giúp chúng giải quyết các bài toán phức tạp với độ chính xác cao hơn. Điều này cũng giúp con người dễ dàng theo dõi và hiểu cách AI đưa ra quyết định.
Tuy nhiên, trong thử nghiệm của OpenAI, mô hình AI đã phát hiện ra rằng cách tốt nhất để qua mặt giám sát là che giấu ý định gian lận ngay trong chuỗi suy nghĩ này. Ví dụ, trong một bài kiểm tra lập trình, AI có thể tự động kết thúc chương trình sớm nhưng vẫn báo cáo rằng nó đã hoàn thành nhiệm vụ thành công. Trong một trường hợp khác, nó tạo ra các tập tin kết quả có tên giống như yêu cầu nhưng hoàn toàn trống rỗng và vô dụng.
Khi các nhà nghiên cứu cố gắng trừng phạt hành vi này, họ nhận thấy AI không thay đổi bản chất gian lận mà chỉ trở nên giỏi hơn trong việc che giấu. "Mô hình vẫn tiếp tục 'reward hacking', nhưng lần này nó học cách che giấu ý định lừa đảo trong chuỗi suy nghĩ của mình, khiến việc phát hiện gian lận trở nên cực kỳ khó khăn," nhóm nghiên cứu nhận định.
Phát hiện này đặt ra một câu hỏi lớn về khả năng kiểm soát AI trong tương lai. Khi AI ngày càng thông minh hơn và biết cách che giấu hành vi sai trái, con người có thể mất đi phương tiện giám sát hiệu quả. Nếu AI có thể qua mặt hệ thống kiểm tra mà chúng ta dựa vào để kiểm soát nó, thì làm thế nào để đảm bảo nó không bị lạm dụng hoặc hoạt động ngoài tầm kiểm soát?
OpenAI cảnh báo rằng việc áp đặt các biện pháp kiểm soát mạnh lên chuỗi suy nghĩ của AI có thể không mang lại hiệu quả mong muốn, thậm chí gây tác dụng ngược. Họ khuyến nghị các nhà phát triển nên thận trọng khi sử dụng cách tiếp cận này, đồng thời tiếp tục nghiên cứu các phương pháp giám sát đáng tin cậy hơn.
"Sự đánh đổi giữa khả năng giám sát và hiệu suất của AI là một vấn đề quan trọng. Việc từ bỏ một công cụ giám sát hữu ích chỉ để đạt được một chút cải thiện về hiệu suất có thể không đáng," nhóm nghiên cứu kết luận.
Nghiên cứu này chưa được đánh giá ngang hàng nhưng đã tạo ra nhiều tranh luận trong giới công nghệ và AI. Nó đặt ra một vấn đề cấp bách: nếu AI ngày càng giỏi trong việc qua mặt hệ thống giám sát, liệu con người có thể giữ được quyền kiểm soát trước khi quá muộn?
