دراسة حكومية تسلط الضوء على دور الإشراف البشري في الذكاء التوليدي

منذ إطلاق "شات جي بي تي" في تشرين الثاني (نوفمبر) 2022، شهد استخدام الذكاء الاصطناعي التوليدي زيادة هائلة في شعبيته. ومع ذلك، أظهرت نتائج تجربة حكومية حديثة تساؤلات حول كفاءة هذه التكنولوجيا، مشيرة إلى أنها قد تخلق عملاً إضافياً للمستخدمين.

بينما تسعى الشركات عالمياً إلى دمج الذكاء التوليدي للحفاظ على ميزة تنافسية، أصبحت التكنولوجيا محوراً رئيسياً في القطاع المؤسسي. تتراوح المخاوف من احتمال استبدال الوظائف بالذكاء الاصطناعي إلى اعتماده الواسع، كما يتضح من وصول "شات جي بي تي" إلى 200 مليون مستخدم أسبوعياً. هدفت التجربة إلى تقييم أداء الذكاء التوليدي في بيئة العمل، مع التركيز على المهام المتعلقة بالأعمال.

المنهجية

في وقت سابق من هذا العام، أجرت "أمازون" وهيئة الأوراق المالية والاستثمارات الأسترالية ASIC تجربة، وتم تقديم نتائجها لاحقاً في اجتماع لجنة مختارة. استخدمت التجربة نموذج الذكاء الاصطناعي التوليدي المفتوح المصدر من "ميتا"، Llama2-70B، لتلخيص المساهمات مع التركيز على الإشارات إلى ASIC، والتوصيات، والمراجع التنظيمية. تم توجيه الذكاء التوليدي لتضمين السياق والمراجع الصفحية. في الوقت نفسه، تم تكليف عشرة موظفين من ASIC بالمهمة نفسها مع توجيهات مماثلة.

التقييم

تمت مراجعة المخرجات من كل من الذكاء التوليدي والمشاركين البشريين بشكل أعمى من قبل لجنة، حيث تم تقييم التماسك، الطول، الإشارات إلى ASIC، المراجع التنظيمية، والتوصيات. لم يكن المراجعون على علم بمشاركة الذكاء التوليدي أثناء التقييم.

النتائج

تفوّقت الملخصات التي أنشأها البشر على تلك التي أنشأها الذكاء التوليدي في جميع المعايير، حيث حصلت على درجة 81% مقارنة بـ47% للذكاء التوليدي. واجه الذكاء التوليدي صعوبة خاصة في تحديد الإشارات إلى ASIC داخل الوثائق. وأشار تقرير التجربة إلى أن العثور على الإشارات في الوثائق الكبيرة هو مهمة صعبة، خاصة لنماذج اللغة الكبيرة بسبب قيود نافذة السياق واستراتيجيات التضمين لتحسين الدقة، تم تقسيم الوثائق إلى صفحات ومعالجتها كقطع مع بيانات وصفية مرتبطة.

غموض وطول الردود

تم انتقاد بعض ردود الذكاء التوليدي لكونها "مبهمة" و"مطولة"، وتفتقر إلى التنسيق المناسب، وعدم اتباع التوجيهات بما يكفي. اضطر المراجعون إلى الرجوع إلى المواد المصدرية للتحقق من تفاصيل ملخصات الذكاء الاصطناعي، ما أدى إلى توافق عام على أن مخرجات الذكاء التوليدي، في حالتها الحالية، قد تخلق عملاً إضافياً بسبب الحاجة إلى التحقق من الحقائق وتقديم المعلومات بشكل أفضل في المواد المصدرية.

تُظهر التجربة التحدّيات الراهنة التي يواجهها الذكاء التوليدي عند معالجة المهام المعقدة التي تتطلب دقة في الإشارة وفهم السياق. ومع استمرار تطور هذه التكنولوجيا، تؤكد النتائج ضرورة الإشراف البشري والحاجة إلى تحقيق تحسينات إضافية لتعزيز فعالية الذكاء التوليدي في البيئات المهنية.