كانت نماذج الذكاء الاصطناعي التوليدية المتنوعة والقابلة للتعميم بدرجة كبيرة هي اسم اللعبة في يوم من الأيام، ويمكن القول إنها لا تزال كذلك. ولكن على نحو متزايد، مع انضمام مقدمي الخدمات السحابية الكبيرة والصغيرة إلى معركة الذكاء الاصطناعي التوليدي، فإننا نشهد جيلًا جديدًا من النماذج التي تركز على أغنى العملاء المحتملين: المؤسسة.
مثال على ذلك: كشفت شركة Snowflake، شركة الحوسبة السحابية، اليوم عن Arctic LLM، وهو نموذج ذكاء اصطناعي توليدي يوصف بأنه “من فئة المؤسسات”. متوفر بموجب ترخيص Apache 2.0، تم تحسين Arctic LLM “لأعباء عمل المؤسسات”، بما في ذلك إنشاء كود قاعدة البيانات، كما يقول Snowflake، وهو مجاني للبحث والاستخدام التجاري.
وقال الرئيس التنفيذي سريدار راماسوامي خلال مؤتمر صحفي: “أعتقد أن هذا سيكون الأساس الذي يسمح لنا في Snowflake ولعملائنا ببناء منتجات مؤسسية والبدء حقًا في تحقيق وعد وقيمة الذكاء الاصطناعي”. “يجب أن تعتبر هذه الخطوة الأولى والكبيرة في عالم الذكاء الاصطناعي التوليدي، وهناك المزيد في المستقبل.
نموذج عمل
كتب زميلي ديفين كولديوي مؤخرًا كيف أن هجمة نماذج الذكاء الاصطناعي التوليدية لا تلوح في الأفق. أوصيك اقرأ مقالتهولكن خلاصة القول هي أن: القوالب هي طريقة سهلة للبائعين لإثارة الإثارة للبحث والتطوير، كما أنها بمثابة مسار تحويل إلى الأنظمة البيئية لمنتجاتهم (على سبيل المثال، استضافة القوالب، والضبط الدقيق، وما إلى ذلك).
القطب الشمالي LLM لا يختلف. النموذج الرئيسي لـ Snowflake في أ عائلة من نماذج الذكاء الاصطناعي التوليدية تسمى القطب الشماليArctic LLM – التي استغرق تشكيلها حوالي ثلاثة أشهر و1000 وحدة معالجة رسوميات و2 مليون دولار – تأتي في أعقاب Databricks. دي بي آر إكسيتم أيضًا تسويق نموذج الذكاء الاصطناعي التوليدي على أنه مُحسّن لمساحة المؤسسة.
تعقد Snowflake مقارنة مباشرة بين Arctic LLM وDBRX في موادها الصحفية، مدعية أن Arctic LLM تتفوق على DBRX في كل من مهمتي البرمجة (لم تحدد Snowflake لغات البرمجة) و SQL جيل. وقالت الشركة إن Arctic LLM أفضل أيضًا في هذه المهام من Meta’s Llama 2 70B (ولكن ليس الأحدث). لاما 3 70 ب) وMistral-8x7B من ميسترال.
تدعي Snowflake أيضًا أن Arctic LLM حققت “الأداء الرائد” في اختبار الفهم العام للغة الشعبية، MMLU. ومع ذلك، سأشير إلى أنه حتى لو كان MMLU تدعي بتقييم قدرة النماذج التوليدية على التفكير من خلال المشكلات المنطقية، فهي تتضمن اختبارات يمكن حلها حلها عن طريق الحفظ عن ظهر قلبلذا خذ هذه الشريحة مع حبة الملح.
قال Baris Gultekin، رئيس الذكاء الاصطناعي في Snowflake، في مقابلة مع TechCrunch: “تعالج Arctic LLM احتياجات محددة داخل قطاع المؤسسات، وتبتعد عن تطبيقات الذكاء الاصطناعي العامة مثل تأليف الشعر للتركيز على التحديات الموجهة نحو الأعمال، مثل تطوير المهارات العالية”. – برامج مساعدة SQL وروبوتات محادثة عالية الجودة.
يعد Arctic LLM، مثل DBRX والنموذج التوليدي الأفضل أداءً حاليًا من Google، Gemini 1.5 Pro، مزيجًا من هندسة الخبراء (MoE). تعمل هياكل وزارة التربية والتعليم بشكل أساسي على تقسيم مهام معالجة البيانات إلى مهام فرعية ومن ثم تفويضها إلى نماذج “خبراء” أصغر حجمًا ومتخصصة. لذلك، في حين أن Arctic LLM يحتوي على 480 مليار معلمة، فإنه ينشط 17 مليارًا فقط في المرة الواحدة، وهو ما يكفي لتشغيل 128 نموذجًا متخصصًا متميزًا. (تحدد المعلمات بشكل أساسي مدى كفاءة نموذج الذكاء الاصطناعي في حل مشكلة ما، مثل تحليل النص وإنشاءه.)
تدعي Snowflake أن هذا التصميم الفعال سمح لها بتدريب Arctic LLM على مجموعات بيانات الويب العامة المفتوحة (بما في ذلك الويب المكرر, ج4, بيجامة حمراء و التشفير النجمي) بـ “حوالي ثمن تكلفة النماذج المماثلة”.
تشغيل في كل مكان
يوفر Snowflake موارد مثل قوالب الترميز وقائمة مصادر التدريب جنبًا إلى جنب مع Arctic LLM لتوجيه المستخدمين خلال عملية إعداد القالب وتشغيله وتعديله لحالات معينة. ولكن، مع إدراك أن هذه المهام من المحتمل أن تكون باهظة الثمن ومعقدة بالنسبة لمعظم المطورين (يتطلب الضبط الدقيق أو تشغيل Arctic LLM حوالي ثمانية وحدات معالجة رسومات)، فإن Snowflake ملتزمة أيضًا بإتاحة Arctic LLM على مجموعة من المضيفات بما في ذلك Hugging Face وMicrosoft Azure. . وخدمة استضافة نماذج Together AI، ومنصة الذكاء الاصطناعي التوليدية لمؤسسة Lamini.
ولكن هذا هو الأمر: سيكون Arctic LLM متاحًا أولاً على Cortex، منصة Snowflake لبناء التطبيقات والخدمات القائمة على الذكاء الاصطناعي والتعلم الآلي. ومن غير المستغرب أن تقدم الشركة هذه الطريقة على أنها الطريقة المفضلة لإدارة Arctic LLM من خلال “الأمان” و”الحوكمة” وقابلية التوسع.
“وقال راماسوامي: “حلمنا هو أن يكون لدينا، في غضون عام، واجهة برمجة التطبيقات (API) التي يمكن لعملائنا استخدامها حتى يتمكن مستخدمو الأعمال من التواصل مباشرة مع البيانات”. “هذا من شأنه أن يحدث كان من السهل علينا أن نقول، “أوه، سننتظر نموذجًا مفتوح المصدر وسنستخدمه.” وبدلاً من ذلك، فإننا نقوم باستثمار أساسي لأننا نعتقد أنه سيولد قيمة أكبر لعملائنا.
لذلك أتساءل: من هي شركة Arctic LLM حقًا، بخلاف عملاء Snowflake؟
في مشهد مليءيفتح“النماذج التوليدية التي يمكن تعديلها لأي هدف تقريبًا، لا تبرز Arctic LLM بأي طريقة واضحة. يمكن لبنيتها أن تحقق مكاسب في الكفاءة مقارنة ببعض الخيارات الأخرى المتاحة. لكنني لست مقتنعًا بأنها ستكون دراماتيكية بما يكفي لإبعاد الشركات عن عدد لا يحصى من النماذج التوليدية الصديقة للأعمال المعروفة والمدعومة (على سبيل المثال. جي بي تي-4).
هناك أيضًا نقطة واحدة ضد Arctic LLM يجب مراعاتها: سياقها الصغير نسبيًا.
في الذكاء الاصطناعي التوليدي، تشير النافذة المنبثقة إلى بيانات الإدخال (مثل النص) التي يأخذها النموذج في الاعتبار قبل إنشاء مخرجات (على سبيل المثال، المزيد من النص). تميل النماذج ذات النوافذ المنبثقة الصغيرة إلى نسيان محتوى المحادثات الحديثة جدًا، بينما تتجنب النماذج ذات السياقات الأكبر عمومًا هذا المأزق.
يتراوح سياق Arctic LLM بين ~8000 و~24000 كلمة، اعتمادًا على طريقة الضبط الدقيق – وهو أقل بكثير من النماذج مثل Anthropic’s Claude 3 Opus وGoogle’s Gemini 1.5 Pro.
لم تذكر Snowflake ذلك في التسويق، ولكن من المؤكد تقريبًا أن Arctic LLM تعاني من نفس القيود والعيوب التي تعاني منها نماذج الذكاء الاصطناعي التوليدية الأخرى، وهي: الهلوسة (أي الاستجابة بشكل غير صحيح للطلبات بثقة). وذلك لأن Arctic LLM، مثل أي نموذج آخر للذكاء الاصطناعي التوليدي الموجود، عبارة عن آلة احتمالية إحصائية – وهي آلة تحتوي مرة أخرى على نافذة منبثقة صغيرة. إنه يخمن، بناءً على عدد كبير من الأمثلة، ما هي البيانات التي لها أكبر “معنى” ومكان وضعها (على سبيل المثال، كلمة “go” قبل “السوق” في الجملة “أنا ذاهب إلى السوق ” ). وسوف يكون مخطئاً حتماً – وهذه “هلوسة”.
كما كتب ديفين في مقالته، حتى الاختراق التقني الرئيسي التالي، لا يمكننا إلا أن نتوقع تحسينات تدريجية في مجال الذكاء الاصطناعي التوليدي. لن يمنع ذلك البائعين مثل Snowflake من الترويج لها باعتبارها إنجازات عظيمة، وتسويقها بكل ما تستحقه.
Source link
