المصدر:انتهت شركة جوجل في نهاية العام الماضي تعاونها مع باحثة مرموقة في مجال أخلاقيات الذكاء الاصطناعي بعدما عبرت عن استيائها من سحب الشركة لبحثها، على الرغم من أنها درست مخاطر استخدام الذكاء الاصطناعي في معالجة اللغة، مثل النوع الذي تستخدمه جوجل ومنتجاتها الأخرى لتحليل النصوص.
إحدى المخاطر التي تم الإشارة إليها هي زيادة بصمة الكربون الكبيرة التي ترتبط بتطوير هذا النوع من تقنيات الذكاء الاصطناعي. وفقًا للتقديرات، يتطلب تدريب نموذج ذكاء اصطناعي إصدار كمية من انبعاثات الكربون تعادل صنع خمس سيارات وقيادتها طوال فترة حياتها.
أشارت الباحثة إلى أنها تدرس نماذج الذكاء الاصطناعي وتقدمها، وهي على دراية بالزيادة الملحوظة في استهلاك الطاقة والتكاليف المالية التي ترتبط بالبحوث في مجال الذكاء الاصطناعي. ومع ذلك، تساءلت عن السبب الذي جعل نماذج الذكاء الاصطناعي تكونبهذه الطاقة الهائلة وكيف تختلف عن عمليات مراكز البيانات التقليدية.
تدريبات غير فعالة
تتضمن وظائف معالجة البيانات التقليدية مثل تلك الموجودة في مراكز البيانات مشاركة الفيديو، والبريد الإلكتروني، ووسائل التواصل الاجتماعي. أما الذكاء الاصطناعي، فهو أكثر تعقيدًا من الناحية الحوسبية، حيث يحتاج إلى معالجة كمية كبيرة من البيانات ليتعلم كيفية فهمها ويتلقى التدريب بفعالية.
التدريب الحالي غير فعال بالمقارنة مع طرق تعلم البشر. يستخدم الذكاء الاصطناعي الحديث شبكات عصبية اصطناعية، وهي حسابات رياضية تحاكي خلايا العصب في الدماغ البشري، ومقياس قوة اتصال كل خلية عصبية بجارتها يسمى “الوزن” للشبكة. للتعرف على كيفية فهم اللغة، تبدأ الشبكة بأوزان عشوائية وتعمل على ضبطها حتى تتطابق النتائج مع الإجابة الصحيحة.
ويعتبر إحدى السبل الشائعة لتدريب شبكة لغوية هو تزويدها بالكثير من النصوص من مواقع الويب مثل ويكيبيديا ومنصات الأخبار، مع إخفاء بعض الكلمات وتسألها لتخمين الكلمات المخفية. على سبيل المثال، عند إخفاء الكلمة “لطيف” في عبارة “كلبي لطيف”، ستقوم النموذج في البداية بتخمينها بشكل خاطئ تماماً، ولكن بعد العديد من التعديلات والتعديلات المتكررة، تبدأ وزن الاتصالات في التغير والتقاط أنماط البيانات ليصبح الشبكة دقيقة في اختيار الاقتراح النهائي.
تم استخدام أحد نماذج الذكاء الاصطناعي الحديثة التي تعرف باسم بيرت 3.3 مليار لتشفير التمثيلات ثنائية الاتجاه من المحولات. تم جمع 40 مرة مجموعة البيانات المكونة من 3.3 مليار كلمة من الكتب الإنجليزية والمقالات وويكيبيديا، وتم تدريب بيرت بهذه المجموعة. بالمقارنة، يتعلم الأطفال العاديون الذين يتعلمون التحدث في سن الخامسة حوالي 45 مليون كلمة، أي بنسبة 3000 مرة أقل من بيرت.
التوصل للبناء اللغوي الصحيح
تتزايد تكلفة تشغيل هذه النماذج اللغوية بسبب عملية التدريب المتكررة خلال مسار التطوير. يسعى الباحثون إلى ايجاد الهيكل الأمثل للشبكة، بحساب عدد الخلايا العصبية المطلوبة وعدد الروابط المتصلة بينها وقياس معدل تغير المعلمات أثناء التعلم وما إلى ذلك. وكلما زاد عدد مجموعات البيانات التي يتم اختبارها، زادت فرصة تحقيق دقة عالية في الشبكة. وعلى النقيض من ذلك، لا يحتاج العقل البشري إلى صياغة هيكل لغوي مثالي، فهو يتمتع بنية مسبقة تتم تحسينها من خلال عملية التعلم.
تتبارى الشركات والأكاديميون في مجال الذكاء الاصطناعي لتحسين الإتقان. فإن تحقيق تحسن بنسبة 1% فقط في الدقة في المهام الصعبة مثل الترجمة الآلية يعد أمرًا بارزًا، وتستقطب اهتمامًا أعمق وتحقق منتجات أفضل. ولكن لتحقيق تحسّن بنسبة 1%، يضطر الباحث الواحد إلى تدريب النموذج ألف مرة، وفي كل مرة بنية مختلفة، حتى يجد أفضل نموذج للبنية اللغوية.
وتمكن الباحثون في جامعة ماساتشوستس أمهيرست من تقدير تكلفة الطاقة المرتبطة بتطوير نماذج لغة الذكاء الاصطناعي من خلال قياس استهلاك الأجهزة أثناء التدريب. ووجدوا أن كل جلسة تدريب لبيرت تنتج كمية من الانبعاثات الكربونية تعادل ما ينتجه مسافر يقوم برحلة طيران ذهابًا وإيابًا بين نيويورك وسان فرانسيسكو. وبتغيير الهياكل أو تكرار التدريب على مجموعات بيانات صغيرة مع تعديل المعلمات والمقاييس الأخرى، تبلغ التكلفة 315 راكبًا أو طائرة كاملة.
أكبر وأكثر استهلاكًا للطاقة
وحجوم أنماط الذكاء الاصطناعي تزداد بنسبة أكبر مما ينبغي ويتزايدون كل عام. وهناك نموذج تعلم لغوي جديد مشابه لـبيرت، يسمى GPT-2، ويتضمن 1.5 مليار وحدة في شبكته. وأثار ضجة كبيرة في العام الماضي بسبب دقته العالية، حيث يتضمن 175 مليار وحدة.
وتوصل الباحثون إلى أن امتلاك شبكات أكبر ينتج عنه دقة أفضل، حتى إذا كان الاستفادة من هذه الشبكة قليلة. يحدث ذلك بشكل مشابه في أدمغة الأطفال، حيث يتم إضافة الاتصالات العصبية أولاً ثم تقلل، ولكن الدماغ البيولوجي يستخدم الطاقة بكفاءة أكبر مقارنة بأجهزة الكمبيوتر.
تتدرب نماذج الذكاء الاصطناعي على أجهزة مُخصّصة مثل وحدات معالجات الرسومات، وهي تستهلك طاقة أعلى من وحدات المعالجة المركزية التقليدية. إذا كان لديك حاسوب للألعاب، فمن الممكن أن يتم تجهيزه بوحدات معالجة الرسومات تلك، وذلك لإنتاج رسومات عالية المستوى للعبة “ماين كرافت” على سبيل المثال. كما قد تلاحظ أيضًا أنه يُنتج حرارة أكثر بكثير من أجهزة الكمبيوتر المحمولة العادية.
تعني هذه العبارة أن تطوير نماذج متقدمة للذكاء الاصطناعي يسبب إصدار كمية كبيرة من الانبعاثات الكربونية. إذا لم ننتقل إلى مصادر طاقة متجددة بشكل كامل، سيتعارض تقدم الذكاء الاصطناعي مع أهداف خفض الانبعاثات الكربونية وجهود تباطؤ تغير المناخ. ومع ذلك، أصبحت التكلفة المالية للتطوير أيضًا مرتفعة جدًا، مما يجعل قلة العدد من المختبرات قادرة فقط على ذلك، وهو ما يجعلها المسيطرة على أنماط نماذج الذكاء الاصطناعي التي ستتطور في المستقبل.
القليل يأتي بالمزيد
ما هو مستقبل أبحاث الذكاء الاصطناعي بناءً على تلك المعلومات؟
الصورة ليست مظلمة كما يعتقد في البداية، فقد يقل تكلفة تدريب النماذج بعد تطوير وسائل أكثر كفاءة. على سبيل المثال، كان من المتوقع أن يزيد استهلاك مراكز البيانات للطاقة في السنوات الأخيرة، ولكن لم يحدث ذلك بفضل تحسين كفاءتها وتجهيزاتها وعمليات التبريد.
وتؤثر تكلفة تدريب نماذج الذكاء الاصطناعي على تكلفة استخدامها بالإضافة إلى ذلك، عندما يتم إنفاق طاقة أكبر في عملية التدريب للوصول إلى نموذج أصغر منخفض في تكلفة التشغيل، سيكون هناك انخفاض كبير في الطاقة الكلية المطلوبة لاستخدامه عدة مرات خلال فترة استخدامه المفترضة.
تحتوي دراستي على اختبار طرق لتقليل حجم نماذج الذكاء الاصطناعي من خلال مشاركة الأوزان أو استخدام الأوزان نفسها في أجزاء مختلفة من الشبكة. ونسمي هذه الشبكات “متحورة الشكل” لأنها تمكن إعادة تشكيل مجموعة صغيرة من الأوزان في شبكة أكبر بأشكال أو هياكل متنوعة. وكشف باحثون آخرون أن تقاسم الوزن يؤدي إلى أداء أفضل عند استخدام نفس الوقت في التدريب.
في المستقبل، يجب على مجتمع الذكاء الاصطناعي زيادة استثماره في تطوير خطط تدريب ذات كفاءة في استهلاك الطاقة. وإلا فإن هناك خطر أن يصبح الذكاء الاصطناعي تحت سيطرة أقلية من الجهات المستطيعة تحمل تكاليف التطوير المستقبلية وتحدد أنماطه وأنواع البيانات المستخدمة في تدريبه والأغراض التي يتم استخدامها فيها.
لا تعليق