تمثل الهلوسة -الأكاذيب التي تحكيها نماذج الذكاء الاصطناعي التوليدية- مشكلة كبيرة للشركات التي تتطلع إلى دمج التكنولوجيا في عملياتها.
لأن النماذج ليس لديها ذكاء حقيقي وهي كذلك ما عليك سوى التنبؤ بالكلمات والصور والكلام والموسيقى والبيانات الأخرى وفقًا لمخطط خاص، فهم مخطئون في بعض الأحيان. سيئة للغاية. في مقال نشرته صحيفة وول ستريت جورنال مؤخرًا، أ مصدر يروي حالة حيث اخترع الذكاء الاصطناعي التوليدي من Microsoft مشاركين في الاجتماع وأشار ضمنيًا إلى أن المكالمات الجماعية كانت حول موضوعات لم تتم مناقشتها فعليًا أثناء المكالمة.
كما كتبت منذ فترة الهلوسة قد تكون مشكلة مستعصية على الحل مع بنيات النماذج الحالية القائمة على المحولات. لكن عددًا من بائعي الذكاء الاصطناعي الإبداعي يقترحون ذلك يمكن يمكن إزالتها، بشكل أو بآخر، من خلال نهج تقني يسمى توليد الاسترداد المعزز، أو RAG.
وإليك كيف يقوم البائع، سكويرو، يرميها:
في قلب العرض يوجد مفهوم الاسترجاع المعزز LLM أو جيل الاسترجاع المعزز (RAG) المدمج في الحل… (الذكاء الاصطناعي التوليدي لدينا) فريد من نوعه في وعده بعدم الهلوسة مطلقًا. ويمكن إرجاع كل جزء من المعلومات التي تنتجها إلى مصدرها، مما يضمن مصداقيتها.
هنا أ لا تتشابه من سيفثب:
باستخدام تقنية RAG ونماذج اللغة الكبيرة التي تم ضبطها بدقة من خلال التدريب المعرفي الخاص بالصناعة، يمكّن SiftHub الشركات من إنشاء استجابات مخصصة دون هلوسة. وهذا يضمن زيادة الشفافية وتقليل المخاطر ويلهم الثقة المطلقة في استخدام الذكاء الاصطناعي لتلبية جميع احتياجاتهم.
تم إطلاق RAG بواسطة عالم البيانات باتريك لويس، الباحث في Meta and University College London والمؤلف الرئيسي لدراسة عام 2020. ورق الذي صاغ المصطلح. عند تطبيق RAG على النموذج، فإنه يسترد المستندات التي يحتمل أن تكون ذات صلة بسؤال (على سبيل المثال، صفحة ويكيبيديا حول Super Bowl) باستخدام ما هو في الأساس بحث عن الكلمات الرئيسية، ثم يطلب من النموذج إنشاء إجابات في ضوء هذا السياق الإضافي.
“عندما تتفاعل مع نموذج الذكاء الاصطناعي التوليدي مثل ChatGPT أو لاما وتطرح سؤالاً، افتراضيًا، يستجيب النموذج من “ذاكرته البارامترية”، أي من المعرفة المخزنة في بارامتراته بعد التدريب على البيانات الضخمة من الويب”، ديفيد وادن، الباحث العلمي. وأوضح قسم الأبحاث الذي يركز على الذكاء الاصطناعي في معهد ألين غير الربحي في AI2. “ولكن، مثلما من المحتمل أن تعطي إجابات أكثر دقة إذا كان لديك مرجع (مثل كتاب أو ملف) أمامك، فإن الأمر نفسه ينطبق على بعض الحالات بالنسبة للعارضات”.
إن RAG مفيد بلا شك: فهو يسمح بنسب العناصر التي تم إنشاؤها بواسطة النموذج إلى المستندات المستردة من أجل التحقق من صحتها (وكميزة إضافية، لتجنب الانتهاك المحتمل لحقوق الطبع والنشر). ارتجاع). تسمح RAG أيضًا للشركات التي لا ترغب في استخدام وثائقها لتدريب نموذج (على سبيل المثال، الشركات في الصناعات شديدة التنظيم مثل الرعاية الصحية والقانون) بالسماح للنماذج بالاعتماد على هذه المستندات بطريقة أكثر أمانًا ومؤقتة.
لكن RAG بالتأكيد لا يمكن منع النموذج من الهلوسة. ولها قيود يتجاهلها العديد من مقدمي الخدمة.
يقول وادن إن RAG أكثر فعالية في السيناريوهات “المكثفة المعرفة” التي يريد فيها المستخدم استخدام نموذج لتلبية “حاجة إلى المعلومات” – على سبيل المثال، لمعرفة من فاز بلقب Super Bowl في ذلك العام الماضي. في هذه السيناريوهات، من المحتمل أن يحتوي المستند الذي يجيب على السؤال على العديد من الكلمات الرئيسية نفسها التي يحتوي عليها السؤال (على سبيل المثال، “Super Bowl” و”العام الماضي”)، مما يسهل نسبيًا العثور عليه من خلال البحث عن الكلمات الرئيسية.
تصبح الأمور أكثر تعقيدًا مع المهام “التي تتطلب تفكيرًا مكثفًا” مثل البرمجة والرياضيات، حيث يصعب تحديد المفاهيم اللازمة للإجابة على استعلام ما في استعلام بحث قائم على الكلمات الرئيسية – ناهيك عن تحديد المستندات التي قد تكون ذات صلة.
حتى مع الأسئلة البسيطة، يمكن “تشتيت انتباه” النماذج بمحتوى مستند غير ذي صلة، خاصة في المستندات الطويلة حيث لا تكون الإجابة واضحة. أو، لأسباب لا تزال مجهولة، قد يتجاهلون ببساطة محتويات المستندات المستردة، ويختارون بدلاً من ذلك الاعتماد على ذاكرتهم المعلمية.
يعد RAG أيضًا مكلفًا من حيث المواد اللازمة لتطبيقه على نطاق واسع.
وذلك لأن المستندات المستردة، سواء جاءت من الويب أو قاعدة بيانات داخلية أو من أي مكان آخر، يجب تخزينها في الذاكرة – على الأقل مؤقتًا – حتى يتمكن النموذج من الرجوع إليها. هناك حساب آخر وهو حساب السياق المتزايد الذي يجب على النموذج معالجته قبل إنشاء استجابته. بالنسبة لتكنولوجيا معروفة بالفعل بكمية الحوسبة والكهرباء التي تحتاجها، حتى بالنسبة للعمليات الأساسية، فإن هذا يعد اعتبارًا جديًا.
هذا لا يعني أنه لا يمكن تحسين RAG. وأشار Wadden إلى العديد من الجهود الجارية لتدريب النماذج على استخدام المستندات التي تم استردادها بواسطة RAG بشكل أفضل.
تتضمن بعض هذه الجهود نماذج يمكنها “أن تقرر” متى تستخدم المستندات، أو نماذج يمكنها اختيار عدم إجراء الاسترجاع في المقام الأول إذا رأت أن ذلك غير ضروري. ويركز آخرون على طرق فهرسة مجموعات البيانات الضخمة من المستندات بشكل أكثر كفاءة وعلى تحسين البحث من خلال تمثيل أفضل للمستندات – تمثيلات تتجاوز الكلمات الرئيسية.
قال وادن: “نحن جيدون جدًا في استرجاع المستندات بناءً على الكلمات الرئيسية، ولكننا لسنا جيدين في استرجاع المستندات بناءً على مفاهيم أكثر تجريدًا، مثل تقنية الإثبات اللازمة لحل مسألة رياضية”. “هناك حاجة إلى البحث لإنشاء تمثيلات للمستندات وتقنيات بحث قادرة على تحديد المستندات ذات الصلة لمهام إنشاء أكثر تجريدًا. أعتقد أنه في الغالب سؤال مفتوح في هذه المرحلة.
وبالتالي، يمكن أن يساعد RAG في تقليل هلوسة النموذج، ولكنه ليس الحل لجميع مشاكل هلوسة الذكاء الاصطناعي. كن حذرًا من أي مزود يحاول المطالبة بخلاف ذلك.
Source link
