وأصبح تطوير ما يسمى بنماذج الذكاء الاصطناعي المنطقي أسهل ــ وأقل تكلفة ــ على نحو متزايد.
في يوم الجمعة، أصدر NovaSky، وهو فريق من الباحثين في مختبر Sky Computing Lab التابع لجامعة كاليفورنيا في بيركلي، Sky-T1-32B-Preview، وهو نموذج استدلال تنافسي مع الإصدار الأقدم من OpenAI o1 على عدد من المعايير الرئيسية. يبدو أن Sky-T1 هو أول نموذج تفكير مفتوح المصدر حقًا، بمعنى أنه يمكن أن يكون كذلك مكررة من الصفر; أصدر الفريق مجموعة البيانات التي استخدموها لتدريبه بالإضافة إلى كود التدريب اللازم.
وكتب الفريق في بيان: “من اللافت للنظر أنه تم تشكيل Sky-T1-32B-Preview بأقل من 450 دولارًا”. مشاركة مدونة“إظهار أنه من الممكن إعادة إنتاج مهارات التفكير عالية المستوى بطريقة فعالة وبأسعار معقولة.”
على عكس معظم أنظمة الذكاء الاصطناعي، فإن نماذج الاستدلال تتحقق من الحقائق بنفسها، وهو الأمر الذي يساعدهم على تجنب بعض المزالق التي عادة ما تتعثر النماذج. تستغرق نماذج الاستدلال وقتًا أطول قليلاً (عادةً من ثوانٍ إلى دقائق) للوصول إلى الحلول مقارنةً بالنموذج التقليدي دون الاستدلال. الجانب الإيجابي هو أنها تميل إلى أن تكون أكثر موثوقية في مجالات مثل الفيزياء والعلوم والرياضيات.
يقول فريق NovaSky أنهم استخدموا نموذجًا منطقيًا آخر، نظرة عامة على QwQ-32B على بابالإنشاء بيانات التدريب الأولية لـ Sky-T1، ثم “تنظيم” مزيج البيانات والاستفادة من قدرات OpenAI. جي بي تي-4o-ميني لإعادة هيكلة البيانات إلى تنسيق أكثر قابلية للاستخدام. استغرق تدريب Sky-T1، باستخدام 32 مليار معلمة، حوالي 19 ساعة باستخدام مجموعة من 8 وحدات معالجة رسوميات Nvidia H100. (تتوافق الإعدادات تقريبًا مع مهارات حل المشكلات الخاصة بالنموذج.)
وفقًا لفريق NovaSky، فإن أداء Sky-T1 أفضل من الإصدار المبكر من o1 في MATH500، وهي مجموعة من التحديات الرياضية “على مستوى المنافسة”. يتفوق النموذج أيضًا على معاينة o1 في مشكلة صعبة تم تعيينها من LiveCodeBench، وهو تقييم للترميز.
ومع ذلك، فإن Sky-T1 لا يرقى إلى مستوى النظرة العامة o1 على GPQA-Diamond، والتي تحتوي على أسئلة تتعلق بالفيزياء والأحياء والكيمياء التي من المتوقع أن يعرفها حامل الدكتوراه.
من المهم أيضًا ملاحظة أن OpenAI الناتج GA من o1 هو نموذج أقوى من الإصدار الأولي لـ o1، ويجب على OpenAI أن تطلق نموذجًا منطقيًا أكثر قوة، o3في الأسابيع المقبلة.
لكن فريق NovaSky يقول إن Sky-T1 يمثل مجرد بداية رحلته لتطوير نماذج مفتوحة المصدر ذات قدرات تفكير متقدمة.
كتب الفريق في الرسالة: “في المستقبل، سنركز على تطوير نماذج أكثر كفاءة تحافظ على أداء منطقي قوي واستكشاف التقنيات المتقدمة التي تعمل على تحسين كفاءة النموذج ودقته في وقت الاختبار”. “تابعونا ونحن نمضي قدمًا في هذه المبادرات المثيرة. »
Source link
