يمكن لنموذج الذكاء الاصطناعي الجديد الخاص بـ AI21 Labs التعامل مع سياق أكثر من معظم النماذج الأخرى

تتجه صناعة الذكاء الاصطناعي على نحو متزايد نحو نماذج الذكاء الاصطناعي التوليدية ذات السياقات الأطول. لكن النماذج ذات النوافذ المنبثقة الكبيرة تميل إلى أن تكون مكثفة من الناحية الحسابية. أوري غوشين، الرئيس التنفيذي لشركة ناشئة تعمل في مجال الذكاء الاصطناعي مختبرات AI21يقول إن هذا ليس هو الحال بالضرورة – وتنشر شركته نموذجًا توليديًا لإثبات ذلك.

تشير السياقات أو النوافذ المنبثقة إلى بيانات الإدخال (مثل النص) التي يأخذها النموذج في الاعتبار قبل إنشاء المخرجات (المزيد من النص). تميل النماذج ذات النوافذ المنبثقة الصغيرة إلى نسيان محتوى المحادثات الحديثة جدًا، في حين تتجنب النماذج ذات السياقات الأكبر هذا المأزق، وكميزة إضافية، فهم أفضل لتدفق البيانات التي تستوعبها.

يمكن لـ Jamba من AI21 Labs، وهو نموذج جديد لإنشاء النصوص وتحليلها، أداء العديد من نفس المهام مثل نماذج مثل OpenAI. ChatGPT وتلك الخاصة بجوجل تَوأَم يمكن. بعد تدريبه على مزيج من البيانات العامة والخاصة، يستطيع جامبا الكتابة باللغات الإنجليزية والفرنسية والإسبانية والبرتغالية.

يمكن لـ Jamba التعامل مع ما يصل إلى 140.000 رمز أثناء التشغيل على وحدة معالجة رسومات واحدة بذاكرة لا تقل عن 80 جيجابايت (مثل Nvidia A100 المتطور). وهذا يصل إلى حوالي 105.000 كلمة، أو 210 صفحة، أو رواية جيدة الحجم.

التعريف اللاما 2، على سبيل المقارنة، يحتوي على نافذة منبثقة تحتوي على 32000 رمزًا – وهي أصغر وفقًا لمعايير اليوم – ولكنها تتطلب فقط وحدة معالجة رسومات (GPU) بذاكرة تبلغ سعتها حوالي 12 جيجابايت لتشغيلها. (يتم قياس النوافذ المنبثقة عادةً بالرموز المميزة، وهي عبارة عن أجزاء من نص عادي وبيانات أخرى.)

للوهلة الأولى، يبدو جامبا عاديًا. هناك العديد من نماذج الذكاء الاصطناعي التوليدية المتاحة مجانًا ويمكن تنزيلها من تم إصدار DBRX مؤخرًا بواسطة Databricks إلى لاما المذكورة 2.

ولكن ما يجعل جامبا فريدة من نوعها هو ما يوجد تحت الغطاء. يستخدم مزيجًا من بنيتين نموذجيتين: المحولات ونماذج مساحة الحالة (SSM).

المحولات هي الهندسة المعمارية المفضلة لمهام التفكير المعقدة، ونماذج الطاقة مثل جي بي تي-4 وجوجل الجوزاء، على سبيل المثال. لديهم العديد من الخصائص الفريدة، ولكن السمة المميزة للمحولات هي “آلية الانتباه” الخاصة بهم. لكل عنصر من عناصر البيانات المدخلة (مثل الجملة)، المحولات لوزن أهمية جميع المدخلات الأخرى (الجمل الأخرى) والاستفادة منها لتوليد المخرجات (جملة جديدة).

من ناحية أخرى، تجمع وحدات الخدمة الذاتية (SSMs) بين عدة صفات للأنواع القديمة من نماذج الذكاء الاصطناعي، مثل الشبكات العصبية المتكررة والشبكات العصبية التلافيفية، لإنشاء بنية أكثر كفاءة من الناحية الحسابية قادرة على التعامل مع تسلسلات البيانات الطويلة.

ومع ذلك، فإن أجهزة SSM لها حدودها. لكن بعض التجسيدات المبكرة، بما في ذلك نموذج مفتوح المصدر من الباحثين في جامعة برينستون وكارنيجي ميلون يسمى مامبا، يمكنه التعامل مع مدخلات أكبر من نظيراتها القائمة على المحولات بينما تتفوق عليها في مهام توليد اللغة.

يستخدم Jamba في الواقع Mamba كنموذج أساسي له – ويدعي Goshen أنه يوفر ثلاثة أضعاف الإنتاجية عبر سياقات طويلة مقارنة بالنماذج القائمة على محولات ذات حجم مماثل.

وقال جوشين في مقابلة مع موقع TechCrunch: “على الرغم من وجود بعض الأمثلة الأكاديمية المبكرة لنماذج SSM، إلا أن هذا هو أول نموذج تجاري على نطاق الإنتاج”. “هذه البنية، بالإضافة إلى كونها مبتكرة ومثيرة للاهتمام للبحث المستمر للمجتمع، تفتح إمكانيات كبيرة للكفاءة والإنتاجية.”

اليوم، بينما تم إصدار Jamba بموجب ترخيص Apache 2.0، وهو ترخيص مفتوح المصدر مع قيود استخدام قليلة نسبيًا، يؤكد Goshen على أنه إصدار بحثي غير مخصص للاستخدام التجاري. لا يحتوي النموذج على ضمانات لمنعه من إنشاء نص سام أو عمليات تخفيف لمعالجة التحيز المحتمل؛ وستكون النسخة المنقحة، التي تبدو أكثر “آمنة”، متاحة في الأسابيع المقبلة.

لكن غوشين يقول إن جامبا يُظهر الوعد بهندسة SSM حتى في هذه المرحلة المبكرة.

وقال: “القيمة المضافة لهذا النموذج، سواء من حيث حجمه أو هندسته المبتكرة، هي أنه يمكن تثبيته بسهولة على وحدة معالجة رسومات واحدة”. “نعتقد أن الأداء سيتحسن بشكل أكبر مع استفادة مامبا من التعديلات الإضافية.”