علم و فناوری. امید بانوان؛ یورونیوز نوشت؛ محققان هوش مصنوعی دانشگاه پلی‌تکنیک والنسیا در اسپانیا جدیدترین نسخه‌های هوش مصنوعی BLOOM متعلق به شرکت بیگ ساینس، Llama متا و جی پی‌تی شرکت اوپن ای آی را برای دقت آزمایش کردند. آنها از مدل هزاران سؤال درباره ریاضی، علوم و زمین‌شناسی پرسیدند.

   در مرحله بعد پژوهشگران کیفیت پاسخ‌های هر مدل را مقایسه و به دسته‌های «صحیح»، «اشتباه» یا «اجتناب شده» تقسیم کردند.

   این تحقیق که در نشریه نیچر منتشر شده نشان داد دقت در مسائل چالش‌برانگیزتر در هر مدل جدید بهبود می‌یابد. اما این مدل‌ها در مورد اینکه آیا می‌توانند به یک سؤال به‌درستی پاسخ دهند یا خیر، شفافیت کمتری داشتند.

   مدل‌های زبانی بزرگ‌تر اولیه در صورت ندانستن پاسخ اعلام می‌کردند نمی‌توانند جوابی بیابند یا به اطلاعات بیشتری نیاز دارند. اما مدل‌های هوش مصنوعی جدید احتمال بیشتری دارد حتی در پاسخ به سؤالات ساده‌تر پاسخ‌های نادرست بدهند.

  هرچند مدل‌های هوش مصنوعی جدید می‌توانند مشکلات پیچیده‌تر را بادقت بیشتری حل کنند، مدل‌های زبانی بزرگ به‌کاررفته در این تحقیق هنگام پاسخ‌دادن به سؤالات ساده اشتباهات بیشتری داشتند.