Các mô hình AI vẫn tụt hậu so với con người trong việc hiểu văn bản đơn giản

(VLO) Một nhóm nghiên cứu quốc tế do URV đứng đầu đã phân tích khả năng của 7 mô hình trí tuệ nhân tạo (AI) trong việc hiểu ngôn ngữ và so sánh chúng với khả năng của con người.

Kết quả được công bố trên tạp chí Scientific Reports cho thấy, mặc dù thành công trong một số nhiệm vụ cụ thể, các mô hình AI vẫn không đạt được trình độ tương đương với con người trong các bài kiểm tra hiểu văn bản đơn giản.

“Khả năng thực hiện các nhiệm vụ phức tạp của mô hình không đảm bảo rằng chúng có đủ năng lực thực hiện các nhiệm vụ đơn giản”, các nhà nghiên cứu cảnh báo.

Để so sánh hiệu suất của con người và LLM trong việc hiểu văn bản, các nhà nghiên cứu đã đưa ra 40 câu hỏi cho 7 mô hình AI (Bard, ChatGPT-3.5, ChatGPT-4, Falcon, Gemini, Llama2 và Mixtral), sử dụng các cấu trúc ngữ pháp đơn giản và động từ thường dùng.

Đồng thời, một nhóm 400 người, tất cả đều là người bản ngữ nói tiếng Anh, được hỏi những câu hỏi giống nhau và độ chính xác của câu trả lời của họ được so sánh với câu trả lời của LLM.

Mỗi câu hỏi được lặp lại 3 lần để đánh giá tính nhất quán của câu trả lời. Độ chính xác trung bình của con người là 89%, cao hơn nhiều so với mô hình AI, trong đó mô hình tốt nhất (ChatGPT-4) cung cấp 83% câu trả lời đúng.

Dentella giải thích: “Mặc dù LLM có thể tạo ra các văn bản đúng ngữ pháp và mạch lạc, nhưng kết quả của nghiên cứu này cho thấy rằng, cuối cùng, chúng không hiểu được ý nghĩa của ngôn ngữ theo cách con người hiểu”.

HẢI HUỲNH (nguồn: TechXplore)