دراسة معمّقة لموثوقيّة تشات جي بي تي وجيميني في الإجابة على الأسئلة الكيميائيّة المعقّدة في التحليل الآلي
محتوى المقالة الرئيسي
الشريط الجانبي للمقالة
الملخص
تعتبر أنظمة الذكاء الاصطناعي المتقدمة مثل تشات جي بي تي (لا سيما الإصدارات الأخيرة GPT-4 و (GPT-4o وجيمينيGemini أدوات قيمة في العملية التعليمية. يفحص هذا البحث أداء ChatGPT وGemini في فهم وحل مسائل في موضوع الكيمياء، مع التركيز على الكيمياء التحليلية والتحليل الآلي لمواد ضمن مساق لطلاب الصيدلة في مرحلة البكالوريوس. تهدف الدراسة إلى تقييم قدرات حل المسائل بواسطة كلتا الأداتين (تشات جي بي تي وجيميني) باستخدام مجموعة من 120 سؤالاً متعدد الخيارات (MCQs) تم اختيارها عشوائيًا من أسئلة الامتحانات المقدمة للطلاب الجامعيين في السنوات الأخيرة. شملت هذه الأسئلة تقنيات مختلفة: 49 سؤالًا (40.8%) عن الكروماتوغرافيا، و57 سؤالًا (47.5%) عن الطيفية، و14 سؤالًا (11.7%) عن الأنظمة المقترنة. تم تقييم استجابات كل أداة من أدوات الذكاء الاصطناعي مقابل مفتاح إجابة تم اعداده من قبل متخصصين في المجال، بحيث تم منح الإجابات الصحيحة درجة 1 والخاطئة 0.
سجلت الدراسة حالات عدم الاتساق حيث قدم تشات جي بي تي، عند سؤاله نفس الأسئلة مرتين، إجابات متناقضة، بعضها صحيح وبعضها خاطئ. حقق Gemini درجة إجمالية قدرها 87.5% (105 من أصل 120 سؤال) عبر جميع الأسئلة، بينما سجل GPT-4 نسبة 84.2% (101 من أصل 120) وسجل GPT-4o نسبة 85.3% (103 من أصل 120). لوحظ عدم الاتساق لـ GPT-4o بمعدل 7.5% (9 من أصل 120 سؤال)، بينما عرض GPT-4 معدل عدم اتساق أقل يبلغ 2.5% (3 من أصل 120 سؤال).
عند تصنيف الأسئلة حسب النوع (أسئلة حسابات وأسئلة مفاهيمية)، كان لدينا 17.5% (21 من أصل 120 سؤال) أسئلة حسابات، والباقي (99 سؤالًا) كانت أسئلة مفاهيمية. عند تحليل النتائج حسب النوع، انخفضت نسبة الإجابات الصحيحة بشكل ملحوظ للأسئلة التي تعتمد على الحسابات عبر جميع أدوات الذكاء الاصطناعي، حيث حقق كل من GPT-4 و GPT-4o نفس الدرجة وهي 57.1% (12 من أصل 21 سؤال)، مقارنة بـ 52.4% (10 من أصل 21 سؤال) لـGemini . بشكل عام، قدم GPT-4 و GPT-4o أداءً مماثلًا من حيث إجمالي الإجابات الصحيحة، مع فائدة إضافية تتمثل في تقديم تفسيرات منطقية خطوة بخطوة لحلولهم. تعتبر هذه القدرة مفيدة بشكل خاص لطلاب الصيدلة؛ وتساعد الطلاب على فهم المواضيع والمصطلحات بشكل أفضل، وتعالج بعض التحديات المرتبطة في تعليم موضوع الكيمياء التحليلية والتحليل الآلي.
في مساق التحليل الآلي في تعليم الكيمياء التحليلية وتحاليل الأدوية لطلاب قسم الصيدلة، يمكن للذكاء الاصطناعي مساعدة الطلاب وتعزيز فهمهم للمفاهيم والمصطلحات. نوصي بمعالجة قضايا محددة، مثل عدم الاتساق في الاستجابات والحاجة إلى تنقيح محدد للمجال، لتحسين أداء هذه الأنظمة بشكل أكبر وتعزيز إمكانيات استخدامها في العملية التعليمية.