لا يتطلب الأمر الكثير من GenAI لكشف الأكاذيب والأكاذيب.
قدمنا في الأسبوع الماضي مثالاً على برامج الدردشة الآلية من Microsoft وGoogle. أعلن عن سوبر بول الفائز حتى قبل أن تبدأ المباراة. لكن المشاكل الحقيقية تبدأ عندما يقوم GenAI الهلوسة تصبح ضارة – تأييد – موافقة يعذب، لتعزيز الصور النمطية العرقية والعنصرية و اكتب بشكل مقنع على نظريات المؤامرة.
وهناك عدد متزايد من الموردين، من المشغلين الحاليين مثل نفيديا و قوة البيع للشركات الناشئة مثل كاليبسوAI، يقدمون منتجات يزعمون أنها يمكن أن تخفف من المحتوى غير المرغوب فيه والسام لـ GenAI. لكن هذه صناديق سوداء. ما لم تختبر كل منتج على حدة، فمن المستحيل معرفة كيفية المقارنة بين هذه المنتجات المضادة للهلوسة، وما إذا كانت تفي بوعودها بالفعل.
رأت شريا راجبال أن هذه مشكلة كبيرة وأسست شركة، الدرابزين AIلمحاولة حلها.
“La plupart des organisations… sont confrontées au même ensemble de problèmes concernant le déploiement responsable d’applications d’IA et ont du mal à déterminer quelle est la solution la meilleure et la plus efficace”, a déclaré Rajpal à TechCrunch dans une interview par بريد إلكتروني. “غالبًا ما ينتهي بهم الأمر إلى إعادة اختراع العجلة فيما يتعلق بإدارة جميع المخاطر التي يهتمون بها. »
وفقاً لراجبال، تشير الدراسات الاستقصائية إلى أن التعقيد – وبالتالي المخاطر – هو أحد العوائق الرئيسية التي تمنع المؤسسات من اعتماد GenAI.
حديثا إستفتاء الرآي العام وجدت شركة Cnvrg.io التابعة لشركة Intel أن الامتثال والخصوصية والموثوقية والتكلفة العالية للتنفيذ ونقص المهارات التقنية كانت مخاوف مشتركة بين حوالي ربع الشركات التي تنفذ تطبيقات GenAI. في منفصلة تحقيق من شركة Riskonnect، وهي شركة تقدم برامج إدارة المخاطر، قال أكثر من نصف المديرين التنفيذيين إنهم يشعرون بالقلق إزاء اتخاذ الموظفين قرارات بناءً على معلومات غير دقيقة من أدوات GenAI.
راجبال، الذي عمل سابقًا في شركة ناشئة ذاتية القيادة Drive.ai وبعد أبل اكتساب من Drive.ai، ضمن مجموعة المشاريع الخاصة التابعة لشركة Apple، شارك في تأسيس شركة Guardrails مع دييغو أوبنهايمر، وسفير محي الدين، وزيد سيمجي. كان أوبنهايمر يقود سابقًا Algorithmia، وهي منصة عمليات التعلم الآلي، بينما كان محيي الدين وسيمجي يشغلان مناصب قيادية في مجال التكنولوجيا والهندسة في AWS.
في بعض النواحي، ما تقدمه Guardrails لا يختلف كثيرًا عما هو موجود بالفعل في السوق. تعمل منصة الشركة الناشئة بمثابة غلاف حول نماذج GenAI، وخاصة نماذج إنشاء النصوص مفتوحة المصدر والملكية (مثل OpenAI’s GPT-4)، لجعل هذه النماذج تبدو أكثر جدارة بالثقة وموثوقية وأمانًا.
اعتمادات الصورة: الدرابزين AI
ولكن ما يختلف عنه Guardrails هو نموذج الأعمال مفتوح المصدر – قاعدة التعليمات البرمجية الخاصة بالمنصة متاحة على GitHub مجانًا – ونهجها التشاركي.
من خلال سوق يسمى Guardrails Hub، يسمح Guardrails للمطورين بإرسال مكونات معيارية تسمى “المدققين” التي تستكشف نماذج GenAI فيما يتعلق ببعض السلوكيات والامتثال ومقاييس الأداء. يمكن نشر أدوات التحقق وإعادة استخدامها وإعادة استخدامها من قبل مطوري وعملاء Guardrails الآخرين، لتكون بمثابة الأساس لحلول الإشراف على نماذج GenAI المخصصة.
وقال راجبال: “من خلال المركز، هدفنا هو إنشاء منتدى مفتوح لمشاركة المعرفة وإيجاد الطريقة الأكثر فعالية (لمتابعة) اعتماد الذكاء الاصطناعي – ولكن أيضًا لإنشاء مجموعة من حواجز الحماية القابلة لإعادة الاستخدام والتي يمكن لأي منظمة أن تتبناها”.
تتراوح أدوات التحقق من Guardrails Hub من عمليات التحقق البسيطة المستندة إلى القواعد إلى الخوارزميات لاكتشاف المشكلات في النماذج والتخفيف من آثارها. يوجد حاليًا حوالي 50 برنامجًا، بدءًا من أجهزة كشف الهلوسة وانتهاكات السياسات وحتى مرشحات معلومات الملكية والرموز غير الآمنة.
وقال راجبال: “معظم الشركات لديها فحوصات عامة وموحدة للألفاظ النابية، ومعلومات التعريف الشخصية، وما إلى ذلك”. “ومع ذلك، لا يوجد تعريف عالمي واحد لما يشكل استخدامًا مقبولاً لمنظمة وفريق معين. هناك مخاطر خاصة بالمنظمة تحتاج إلى مراقبة: على سبيل المثال، تختلف سياسات الاتصال من منظمة إلى أخرى. من خلال Hub، نقوم بتمكين المستخدمين من استخدام الحلول التي نقدمها خارج الصندوق، أو استخدامها للحصول على حل مبدئي قوي يمكنهم تخصيصه بشكل أكبر ليناسب احتياجاتهم الخاصة.
يعد إنشاء مركز لتصميمات الدرابزين فكرة مثيرة للاهتمام. لكن المتشكك بداخلي يتساءل ما إذا كان المطورون سيهتمون بالمساهمة في منصة ــ ومنصة ناشئة ــ دون الوعد بأي شكل من أشكال التعويض.
ويشعر راجبال بالتفاؤل بأنهم سيفعلون ذلك، ولو من أجل الاعتراف بذلك فقط – ومن خلال مساعدة الصناعة بشكل نكران الذات على بناء GenAI “أكثر أمانًا”.
وأضافت: “يسمح المركز للمطورين بمعرفة أنواع المخاطر التي تواجهها الشركات الأخرى والضمانات التي تطبقها لمعالجة تلك المخاطر والتخفيف منها”. “إن أدوات التحقق هي تطبيق مفتوح المصدر لهذه الحواجز التي يمكن للمؤسسات تطبيقها على حالات الاستخدام الخاصة بها.”
قامت شركة Guardrails AI، التي لا تتقاضى رسومًا بعد مقابل أي خدمات أو برامج، مؤخرًا بجمع 7.5 مليون دولار في جولة تمويلية بقيادة Zetta Venture Partners بمشاركة Factory وPear VC وBloomberg Beta وGitHub Fund وزوايا من بينهم خبير مشهور في الذكاء الاصطناعي. إيان جودفيلو. يقول راجبال إن الأرباح سيتم تخصيصها لتوسيع فريق Guardrails المكون من ستة أشخاص ومشاريع أخرى مفتوحة المصدر.
وتابعت: “نحن نتحدث إلى العديد من الأشخاص – الشركات والشركات الصغيرة الناشئة والمطورين الأفراد – الذين يفشلون في إطلاق تطبيقات GenAI بسبب نقص التأمين اللازم وتخفيف المخاطر”. “هذه مشكلة جديدة لم تكن موجودة على هذا النطاق، وذلك بسبب ظهور ChatGPT ونماذج الأساس في جميع أنحاء العالم. نريد أن نكون هم الذين يحلون هذه المشكلة.
Source link
