أظهرت دراسة حديثة أجرتها شركة جوجل أن دقة روبوتات الدردشة القائمة على الذكاء الاصطناعي لا تزال محدودة، حيث لم تتجاوز 70% في العديد من الحالات. وكشفت الدراسة المكثفة عن نقاط ضعف في هذه النماذج اللغوية، مما يثير تساؤلات حول الاعتماد الكامل عليها في مختلف التطبيقات. هذا التقييم يأتي في وقت يشهد فيه هذا المجال تطورات سريعة وزيادة في الاستخدام.
نشرت جوجل نتائج هذه الدراسة في تقرير مفصل مكون من 18 صفحة، يوضح منهجية الاختبار والعوامل التي أدت إلى هذه التقييمات المنخفضة. التقرير يهدف إلى فهم أفضل لقدرات وقيود نماذج الذكاء الاصطناعي الحالية، وتحديد المجالات التي تحتاج إلى تحسين. تأتي هذه الخطوة في سياق جهود الشركة لضمان تطوير تقنيات ذكاء اصطناعي موثوقة وآمنة.
آلية اختبار مكثفة لتقييم دقة الذكاء الاصطناعي
اعتمدت مختبرات “ديب مايند” التابعة لجوجل على أربعة معايير رئيسية لتقييم أداء النماذج. شملت هذه المعايير القدرة على استرجاع المعرفة الداخلية، وإجراء البحوث على الإنترنت، وفهم المحتوى متعدد الوسائط (مثل الصور)، والالتزام بالسياق المحدد في الأسئلة. تهدف هذه المعايير المتنوعة إلى تقديم تقييم شامل لقدرات النماذج في سيناريوهات مختلفة.
أظهرت النتائج أن النماذج اللغوية للذكاء الاصطناعي ترتكب أخطاء في حوالي ثلث الأسئلة المطروحة عليها، حتى عندما تبدو الإجابات منطقية للوهلة الأولى. هذا يشير إلى أن هذه النماذج لا تزال تعاني من صعوبة في فهم الفروق الدقيقة في اللغة والتفكير المنطقي.
حقق نموذج “جيميناي 3 برو” أفضل أداء في الاختبارات، محققًا نسبة تجاوزت 69%. تبعه “جيميناي 2.5 برو” بنسبة 62%، ثم “جي بي تي 5” بنسبة 61.8%. في المقابل، حقق نموذجا “كلود أوبس 4.5″ و”غروك” نسبًا أقل، بلغت 51% و53% على التوالي. هذا التباين في الأداء يسلط الضوء على الاختلافات الكبيرة في قدرات النماذج المختلفة.
نتائج متباينة عبر القطاعات المختلفة
تطرقت الدراسة أيضًا إلى أداء نماذج الذكاء الاصطناعي في مجالات متخصصة مثل الموسيقى والتكنولوجيا والتاريخ والعلوم والرياضة والسياسة والترفيه. كشفت النتائج عن تباين كبير في الدقة حسب المجال، مما يدل على أن بعض النماذج تتفوق في مجالات معينة بينما تعاني في مجالات أخرى.
أظهرت النتائج أن نموذج “شات جي بي تي 5” كان الأفضل في معيار الأساس ومعيار البحث، بينما كان المعيار متعدد الوسائط هو الأكثر تحديًا لجميع النماذج. بشكل عام، أظهر نموذج “غروك 4 فاست” أضعف أداء، حيث بلغت نسبته الإجمالية 36%، وانخفضت إلى 17% في المعيار متعدد الوسائط و15% في المعيار البارامتري.
تؤكد الدراسة على أهمية الحذر عند استخدام الذكاء الاصطناعي في المجالات الحساسة مثل الرعاية الصحية والتمويل، حيث يمكن أن يكون للخطأ البسيط عواقب وخيمة. بالإضافة إلى ذلك، تشير إلى الحاجة إلى تطوير معايير اختبار أكثر صرامة وشمولية لتقييم أداء هذه النماذج بشكل دقيق.
مستقبل تطوير الذكاء الاصطناعي
تأتي هذه الدراسة في وقت يشهد فيه مجال التعلم الآلي اهتمامًا متزايدًا من الشركات والمؤسسات البحثية. من المتوقع أن تستمر جوجل في تطوير نماذجها اللغوية وتحسين دقتها، مع التركيز على معالجة نقاط الضعف التي كشفتها الدراسة.
من المرجح أن تشهد الأشهر القادمة المزيد من الأبحاث والدراسات حول أداء الذكاء الاصطناعي، مما سيساهم في فهم أفضل لقدراته وقيوده. من المهم متابعة هذه التطورات وتقييم تأثيرها على مختلف جوانب حياتنا.
تعتبر هذه النتائج بمثابة نقطة انطلاق لمزيد من التحسينات في مجال الذكاء الاصطناعي التوليدي، وستساعد المطورين على بناء أنظمة أكثر موثوقية وفعالية. من المتوقع أن يتم نشر تحديثات للنماذج الحالية بحلول الربع الأول من عام 2026، مع التركيز على تحسين الأداء في المعايير التي أظهرت فيها النماذج ضعفًا.