السبت، 24 أكتوبر 2026 بتوقيت السودان
عاجل
اكتب رأيك رأيك ذو قيمة في موقع لقطة AI

حين يتحول مساعد الذكاء الاصطناعي إلى خطر داخلي في الشركات !!

f تابع لقطة AI على فيسبوك

تابع آخر الأخبار والتحليلات والتقارير فور نشرها.

حين يتحول مساعد الذكاء الاصطناعي إلى خطر داخلي في الشركات !!
💬 تعليق 0

محررو لقطة 3
24 أكتوبر 2026

أطلقت شركة مايكروسوفت تحذيرًا لافتًا من منح نماذج الذكاء الاصطناعي المتقدمة ووكلائها صلاحيات واسعة داخل الشركات، مؤكدة أن هذه الأنظمة لا يمكن التعامل معها بوصفها جهات موثوقة قادرة على مراقبة نفسها وضبط تصرفاتها.

ولا يعني التحذير أن نماذج الذكاء الاصطناعي شريرة بطبيعتها، أو أنها تسعى عمدًا إلى مهاجمة مستخدميها. المشكلة، وفق مايكروسوفت، تكمن في أن هذه النماذج صُممت لتحقيق أهداف وتنفيذ مهام، وقد تختار أحيانًا وسائل غير متوقعة للوصول إلى النتيجة المطلوبة، من دون أن تفهم قواعد المؤسسة أو تقديراتها الأخلاقية والأمنية بالطريقة التي يفهمها الإنسان.

وقالت نائبة الرئيس التنفيذي لأمن مايكروسوفت، هاييتي غالوت، إن النماذج المتقدمة، بصرف النظر عن الجهة التي طورتها، لا يمكن الوثوق بها بصورة كاملة. وأضافت أن وكلاء الذكاء الاصطناعي قد يتكيفون مع تغير الظروف، ويتصرفون على نحو لم يقصده مصمموهم، بل قد يتعاون بعضهم مع بعض لتحقيق أهدافهم حتى من دون تعرضهم للاختراق من جهة خارجية. 

ما الفرق بين النموذج والوكيل الذكي؟

نموذج الذكاء الاصطناعي يستطيع تحليل المعلومات وكتابة النصوص والإجابة عن الأسئلة. أما الوكيل الذكي فيضيف إلى هذه القدرات إمكانية تنفيذ أفعال فعلية، مثل فتح الملفات، والوصول إلى البريد الإلكتروني، واستخدام التطبيقات، وإرسال الطلبات، وتعديل البيانات أو تشغيل أدوات أخرى.

وتكمن الخطورة في الصلاحيات التي تُمنح لهذا الوكيل. فإذا تمكن من الوصول إلى حسابات الموظفين وقواعد البيانات والأنظمة المالية والخدمات السحابية، فإن خطأً واحدًا في تفسير التعليمات قد يتحول من إجابة غير دقيقة إلى تصرف يسبب خسارة مالية أو تسريبًا للمعلومات أو تعطيلًا للخدمات.

وقد يتعرض الوكيل أيضًا للتلاعب بواسطة تعليمات خفية داخل رسالة بريد إلكتروني أو ملف أو صفحة إلكترونية. فعندما يقرأ النظام هذا المحتوى، يمكن أن يتعامل مع التعليمات الضارة كما لو كانت جزءًا من مهمته، ثم يستخدم الصلاحيات الممنوحة له للوصول إلى بيانات لم يكن ينبغي الكشف عنها أو لتنفيذ عملية غير مصرح بها.

لهذا تصف مايكروسوفت الوكلاء العاملين داخل الشركات بأنهم «مطلعون آليون» أو Agentic Insiders، في استعارة لمفهوم التهديد الداخلي المعروف في الأمن السيبراني. فالموظف أو المتعاقد الذي يمتلك صلاحيات واسعة يمكن أن يتسبب في ضرر نتيجة خطأ أو إساءة استخدام، والوكيل الذكي قد يخلق خطرًا مشابهًا، لكنه يعمل بسرعة أكبر وعلى نطاق أوسع.

لماذا لا يستطيع الذكاء الاصطناعي مراقبة نفسه؟

المشكلة الأساسية أن النموذج الذي ينفذ المهمة قد يعاني نقاط الضعف نفسها عند تكليفه بتقييم أفعاله. ويمكن أن يبرر تصرفًا خاطئًا أو يفشل في اكتشاف تلاعب تعرض له، خصوصًا إذا كانت التعليمات متعارضة أو صيغت بطريقة تدفعه إلى تجاوز القيود.

كما أن النموذج قد يلجأ إلى ما يعرف بـ«اختراق المكافأة»، أي تحقيق الهدف المطلوب بطريقة تبدو ناجحة وفق معيار القياس، لكنها تخالف الغرض الحقيقي أو قواعد المؤسسة. فإذا طُلب منه إنجاز عملية بأسرع وقت، فقد يتجاوز خطوة تحقق ضرورية. وإذا كُلّف بتحسين نتيجة رقمية، فقد يجد طريقة لرفع الرقم من دون معالجة المشكلة الفعلية.

وترى مايكروسوفت أن مواجهة هذا الخطر تتطلب ضوابط خارجية واضحة لا يستطيع الوكيل تغييرها أو تجاوزها، مع مراقبة مستمرة لكل خطوة قبل تنفيذها. ويشمل ذلك تحديد هوية مستقلة لكل وكيل، وتقليص صلاحياته إلى الحد الضروري، ومراقبة البيانات التي يستخدمها، وتسجيل أفعاله، وتعليق نشاطه فور ارتفاع مستوى المخاطر.

«وكلاء حراس» لمراقبة بقية الوكلاء

طرحت الشركة ضمن مشروع Project Perception مفهوم «الوكلاء الحراس»، وهي أنظمة أمنية تراقب سلوك وكلاء الذكاء الاصطناعي وتقيّم المخاطر في الوقت الفعلي. ويغطي المشروع سبعة مجالات، تشمل الهوية والصلاحيات والبيانات والأجهزة والشبكات والخدمات السحابية وبيئة تشغيل الوكيل.

وتقوم الفكرة على جمع إشارات من هذه المجالات، ثم تقدير خطورة الفعل الذي يحاول الوكيل تنفيذه. ويمكن للنظام بعد ذلك تقليص صلاحيات الوكيل أو عزله أو إيقاف العملية قبل وقوع الضرر، مع الاحتفاظ بسجل يسمح للمختصين بفهم ما حدث.

لكن الاستعانة بوكلاء ذكاء اصطناعي لمراقبة وكلاء آخرين تطرح سؤالًا بديهيًا: من يراقب الحراس أنفسهم؟ تجيب مايكروسوفت بأن الرقابة الآلية يجب أن تعمل داخل حدود حتمية يضعها البشر، وأن السرعة التي توفرها الأنظمة لا تغني عن حكم المختصين ومسؤوليتهم. وبعبارة أخرى، لا ينبغي أن يتحول الحل الأمني نفسه إلى صاحب القرار النهائي بلا إشراف.

تحذير يحمل مفارقة واضحة

يأتي هذا التحذير من واحدة من أكبر الشركات المستثمرة في الذكاء الاصطناعي والمروجة لاستخدام الوكلاء داخل أماكن العمل. وهذه المفارقة تمنح الرسالة وزنًا إضافيًا؛ فالشركة لا تدعو إلى وقف التقنية، لكنها تعترف بأن الانتقال من روبوت محادثة يقدم اقتراحات إلى وكيل ينفذ قرارات يغيّر طبيعة الخطر جذريًا.

لقد اعتادت المؤسسات حماية أنظمتها من المهاجم الموجود خارج الشبكة. أما المرحلة الجديدة فتفرض عليها مراقبة أدوات أدخلتها بنفسها إلى بيئة العمل، ومنحتها مفاتيح رقمية وقدرة على التصرف بسرعة يصعب على البشر مجاراتها.

ولا يكفي أن يكون النموذج متقدمًا أو تابعًا لشركة مشهورة حتى يصبح جديرًا بثقة مطلقة. فكلما ازدادت قدرته على التخطيط والتنفيذ، وجب تقليص صلاحياته ومراجعة أفعاله وتوفير زر حقيقي لإيقافه.

تحذير مايكروسوفت لا يعلن فشل الذكاء الاصطناعي، لكنه يهدم تصورًا شائعًا بأن زيادة ذكاء النموذج تعني بالضرورة زيادة أمانه. فالقدرة والثقة ليستا شيئًا واحدًا، والنظام الأكثر براعة قد يصبح الأكثر خطورة عندما يُمنح وصولًا واسعًا من دون رقابة مستقلة ومحاسبة بشرية واضحة.

محررو لقطة 3
عين ترصد الحدث. وعقل يقرأ المشهد.

المصادر:

  • المدونة الرسمية لمايكروسوفت: «تأمين المطلع الآلي»، 19 أكتوبر 2026. 
  • تقرير مايكروسوفت للدفاع الرقمي لعام 2026. 
  • تغطية TechCrunch لإعلان مايكروسوفت وأدوات حماية المؤسسات. 

التعليقات

0 تعليقات

أضف تعليقاً