وضع الشبكات العصبية تحت المجهر
يضع الباحثون من معهد ماساتشوستس للتكنولوجيا ومعهد قطر لأبحاث الحوسبة (QCRI) أنظمة التعلم الآلي المعروفة باسم الشبكات العصبية تحت المجهر.
في دراسة ألقت الضوء على كيفية إدارة هذه الأنظمة لترجمة النص من لغة إلى أخرى ، طور الباحثون طريقة تحدد النقاط الفردية أو "العصبونات" في الشبكات التي تلتقط خصائص لغوية محددة.
تتعلم الشبكات العصبية أداء المهام الحسابية من خلال معالجة مجموعات ضخمة من بيانات التدريب. في الترجمة الآلية ، تقوم الشبكة بتجميع بيانات لغوية تشرح من قبل البشر ، ويفترض أنها "تتعلم" السمات اللغوية ، مثل شكل الكلمات ، بنية الجملة ، ومعنى الكلمة. وبالنظر إلى النص الجديد ، تتطابق هذه الشبكات مع هذه الميزات المكتسبة من لغة إلى أخرى ، وتنتج ترجمة.
ولكن في التدريب ، تعمل هذه الشبكات بشكل أساسي على ضبط الإعدادات والقيم الداخلية بطرق لا يستطيع منشئو المحتوى تفسيرها. بالنسبة للترجمة الآلية ، هذا يعني أن المنشئين لا يعرفون بالضرورة الخصائص اللغوية التي تلتقطها الشبكة.
في ورقة تم تقديمها في مؤتمر جمعية تحسين الذكاء الاصطناعي هذا الأسبوع ، وصف الباحثون طريقة تعرف أي الخلايا العصبية الأكثر نشاطًا عند تصنيف سمات لغوية محددة. كما قاموا بتصميم مجموعة أدوات للمستخدمين لتحليل ومعالجة كيفية ترجمة شبكاتهم للنص لأغراض متعددة ، مثل التعويض عن أي تحيزات تصنيفية في بيانات التدريب.
في بحثهم ، يحدد الباحثون الخلايا العصبية التي تستخدم لتصنيف ، على سبيل المثال ، الكلمات الجنسانية ، الأزمنة الماضية والحالية ، والأرقام في بداية أو وسط الجمل ، والكلمات الجمع والفرد. كما أنها تبين كيف أن بعض هذه المهام تتطلب العديد من الخلايا العصبية ، في حين أن البعض الآخر يتطلب واحد أو اثنين فقط.
"يهدف بحثنا إلى النظر في الشبكات العصبية للغة ومعرفة المعلومات التي يتعلمونها" ، كما يقول المؤلف المشارك يوناتان بيلينكوف ، وهو دكتوراه في مختبر علوم الكمبيوتر والذكاء الاصطناعي (CSAIL). "هذا العمل يتعلق باكتساب فهم أكثر دقة للشبكات العصبية ولتحكم أفضل في كيفية تصرف هذه النماذج."
المؤلفون المشاركون على الورقة هم: الباحث العلمي الكبير جيمس جلاس والطلاب الجامعيين أنتوني باو ، من CSAIL ؛ وحسن سجاد ، نادر دوراني ، وفهيم دالفي ، من QCRI.
وضع المجهر على الخلايا العصبية
يتم تنظيم الشبكات العصبية في طبقات ، حيث تتكون كل طبقة من العديد من نهايات المعالجة ، كل منها متصل بعقد في طبقات أعلى وأسفل. تتم معالجة البيانات أولاً في الطبقة الدنيا ، التي تمرر مخرجات إلى الطبقة أعلاه ، وهكذا. لكل ناتج "وزن" مختلف لتحديد مقداره في حساب الطبقة التالية.خلال التدريب ، يتم تعديل هذه الأوزان باستمرار.
الشبكات العصبية المستخدمة لتدريب الترجمة الآلية على بيانات اللغة المشروحة. في التدريب ، تتعلم كل طبقة "كلمة emb embings" مختلفة لكلمة واحدة. تجمعات الكلمات هي في الأساس جداول تتألف من عدة مئات من الأرقام مجتمعة بطريقة تتوافق مع كلمة واحدة ووظيفة تلك الكلمة في الجملة. يتم احتساب كل رقم في التضمين بواسطة خلية عصبية واحدة.
في عملهم السابق ، قام الباحثون بتدريب نموذج لتحليل المخرجات المرجحة لكل طبقة لتحديد كيفية تصنيف الطبقات لأي دمج. ووجد الباحثون أن الطبقات السفلى تصنف سمات لغوية أبسط نسبيا - مثل بنية كلمة معينة - وتساعد المستويات الأعلى في تصنيف سمات أكثر تعقيدا ، مثل كيفية دمج الكلمات لتشكيل المعنى.
في عملهم الجديد ، يستخدم الباحثون هذا النهج لتحديد كيفية جعل التضمينات المكتوبة في الكلمات تصنيفًا لغويًا. ولكنهم قاموا أيضًا بتطبيق تقنية جديدة تسمى "تحليل الارتباط اللغوي" ، والتي تدرب نموذجًا للمنزل على الخلايا العصبية الفردية في كل كلمة تم دمجها والتي كانت الأكثر أهمية في التصنيف.
يجمع الأسلوب الجديد بين كل التضمينات الملتقطة من طبقات مختلفة - والتي تحتوي كل منها على معلومات حول التصنيف النهائي للكلمة - في دمج واحد. وبينما تصنف الشبكة كلمة معينة ، يتعلم النموذج الأوزان لكل عصبون تم تنشيطه أثناء كل عملية تصنيف. يوفر هذا وزناً لكل خلية عصبية في كل كلمة تضمّنها والتي تم فصلها عن جزء معين من التصنيف.
يقول بيلينكوف: "الفكرة هي ، إذا كان هذا العصبون مهمًا ، فيجب أن يكون هناك وزن كبير تم تعلمه". "إن الخلايا العصبية ذات الأوزان العالية هي الأكثر أهمية للتنبؤ بملكية لغوية معينة. يمكنك التفكير في الخلايا العصبية على أنها الكثير من المقابض التي تحتاجها للتحول للحصول على التركيبة الصحيحة من الأرقام في التضمين. بعض المقابض هي أكثر أهمية من الآخرين ، لذلك الأسلوب هو وسيلة لتعيين أهمية لتلك المقابض. "
العصبية الاجتثاث ، والتلاعب بالنموذج
نظرًا لأن كل خلية عصبية مرجحة ، يمكن تصنيفها حسب الأهمية. ولتحقيق هذه الغاية ، صمم الباحثون مجموعة أدوات تدعى NeuroX ، تقوم تلقائيًا بتصنيف جميع الخلايا العصبية للشبكة العصبية وفقًا لأهميتها وتصورها في واجهة ويب.
يقوم المستخدمون بتحميل شبكة قاموا بتدريبهم بالفعل ، بالإضافة إلى نص جديد. يعرض التطبيق النص ، بجانبه ، قائمة من الخلايا العصبية المحددة ، مع كل رقم تعريف. عندما ينقر مستخدم على عصبون ، سيتم تمييز النص اعتمادًا على الكلمات والعبارات التي ينشطها العصبون. من هناك ، يمكن للمستخدمين أن يقرعوا - أو "يذوبون" - الخلايا العصبية ، أو يغيروا مدى تفعيلها ، للتحكم في كيفية ترجمة الشبكة.
تم استخدام مهمة الاجتثاث لتحديد ما إذا كانت طريقة الباحثين قد حددت بدقة الخلايا العصبية الصحيحة عالية المستوى. في بحثهم ، استخدم الباحثون هذه الأداة لإظهار أنه من خلال إلغاء الخلايا العصبية عالية المستوى في الشبكة ، انخفض أداءها في تصنيف السمات اللغوية المرتبطة بشكل ملحوظ. بدلا من ذلك ، عندما تمتص الخلايا العصبية الأقل مرتبة ، عانى الأداء ، ولكن ليس بشكل كبير.
يقول بيلينكوف: "بعد حصولك على كل هذه التصنيفات ، فأنت تريد أن ترى ما يحدث عندما تقتل هذه العصبونات وترى مدى تأثيرها السيء على الأداء". "هذه نتيجة مهمة تثبت أن الخلايا العصبية التي نجدها هي ، في الواقع ، مهمة لعملية التصنيف."
أحد التطبيقات المثيرة للاهتمام لمجموعة الأدوات هو المساعدة في الحد من التحيز في بيانات اللغة. قد تتدرب نماذج الترجمة الآلية ، مثل الترجمة من Google ، على البيانات التي تتضمن تحيزًا جنسانيًا ، والتي يمكن أن تسبب مشكلات للغات التي تتضمن كلمات جنسانية. بعض المهن ، على سبيل المثال ، قد يشار إليها في كثير من الأحيان بالذكور ، والبعض الآخر كأنثى. عندما تترجم الشبكة نصًا جديدًا ، فإنها قد تُنتج الجنس المعرف فقط لهذه الكلمات. في العديد من الترجمات الإنجليزية - الإسبانية على سبيل المثال ، غالباً ما يترجم "الطبيب" إلى نسخته المذكرية ، بينما تترجم "الممرضة" إلى نسختها الأنثوية.
يقول بيلينكوف: "لكننا نجد أنه بإمكاننا تتبع عصبونات فردية مسؤولة عن الخواص اللغوية مثل النوع". "إذا كنت قادرًا على تتبعها ، فربما يمكنك التدخل بطريقة ما والتأثير في الترجمة لترجمة هذه الكلمات أكثر إلى الجنس الآخر ... لإزالة أو تخفيف التحيز".
في التجارب الأولية ، قام الباحثون بتعديل الخلايا العصبية في شبكة لتغيير النص المترجم من الماضي إلى الحاضر بدقة 67٪. أنها مبالغة لتبديل جنس الكلمات بدقة 21 في المائة. يقول بيلينكوف: "ما زال العمل جارًا". ويضيف أن الخطوة التالية هي ضبط تطبيق الويب من أجل تحقيق الاستئصال والتلاعب بشكل أكثر دقة.
No comments: