الذكاء الإصطناعي لم يضغط الزر.. من يتحمل مسؤولية القرارات القاتلة للآلة؟

كتب حاتم محمد

 الآلة ليست المتهم الوحيد

«الذكاء الاصطناعي لم يقتلهم.. الإنسان هو من ضغط الزر!»؛ عبارة تختصر واحدة من أكثر القضايا إثارة للجدل في عصر التكنولوجيا الحديثة، وتعيد طرح سؤال جوهري حول الحدود الفاصلة بين دور الآلة ومسؤولية الإنسان، خاصة عندما تتحول مخرجات الأنظمة الذكية إلى قرارات تمس الأرواح والمصائر.

وفي حديث تناول العلاقة بين الذكاء الاصطناعي والمسؤولية البشرية، شدد الدكتور محمد الجندي، خبير الأمن السيبراني، على أن قدرة الأنظمة الذكية على تحليل البيانات وتقديم التوصيات لا تعني امتلاكها وعياً أخلاقياً أو إدراكاً لمعنى الحياة والموت، مؤكداً أن المسؤولية عن القرارات المصيرية لا ينبغي أن تختفي خلف ستار التكنولوجيا.

وتكتسب هذه الرؤية أهمية متزايدة مع توسع استخدام الذكاء الاصطناعي في مجالات الدفاع والأمن والطب والقضاء، حيث لم تعد هذه التقنيات مجرد أدوات مساعدة في تنفيذ المهام اليومية، بل أصبحت قادرة على تحليل كميات ضخمة من المعلومات، وترتيب البدائل، وتقديم توصيات قد تؤثر بصورة مباشرة في حياة البشر.

 كيف تفكر الخوارزميات؟

تعتمد أنظمة الذكاء الاصطناعي على نماذج حسابية وخوارزميات تتعلم من البيانات وتستخلص منها أنماطاً تساعدها على التنبؤ أو التصنيف أو اقتراح القرارات. لكنها لا تعمل بالضرورة وفق منظومة أخلاقية مستقلة، ولا يعني إنتاجها إجابة تبدو واثقة أنها صحيحة أو عادلة أو مناسبة لكل الظروف.

وتتوقف جودة مخرجاتها على عوامل متعددة، من بينها جودة البيانات التي تدربت عليها، وطريقة تصميم النموذج، والهدف الذي جرى تطويره من أجله، والسياق الذي تُستخدم فيه، والضوابط المفروضة على تشغيله.

وقد تنتج الأنظمة الذكية توصيات غير دقيقة بسبب بيانات ناقصة أو متحيزة، أو لأنها تواجه ظروفاً تختلف عن تلك التي تدربت عليها. كما يمكن أن تمنح المستخدم انطباعاً مضللاً بالموضوعية، رغم أن نتائجها قد تتأثر باختيارات بشرية سابقة في جمع البيانات وتصميم النظام وتحديد معايير النجاح.

ومن هنا، لا يكمن التحدي في تطوير أنظمة أكثر سرعة ودقة فحسب، بل في التأكد من أن استخدامها يخضع للرقابة والمراجعة، وأن يظل الإنسان قادراً على فهم مخرجاتها وتقييمها والتدخل عند الضرورة.

 عندما تتحول التوصية إلى قرار بالقتل

تظهر خطورة تفويض القرارات للأنظمة الذكية بوضوح في المجال العسكري، خصوصاً مع تطور الأسلحة ذاتية التشغيل وأنظمة الاستهداف التي تستخدم المستشعرات والبرمجيات لتحديد الأهداف أو اختيارها والاشتباك معها.

وفي هذا السياق، تحذر اللجنة الدولية للصليب الأحمر من المخاطر الإنسانية والقانونية والأخلاقية المرتبطة بالأسلحة ذاتية التشغيل، ولا سيما عندما تتراجع قدرة الإنسان على التحكم في استخدام القوة أو يصبح من الصعب التنبؤ بآثار النظام ونتائجه.

وتشير اللجنة إلى أن بعض هذه الأنظمة يمكنها، بعد تفعيلها، اختيار أهداف والاشتباك معها من دون تدخل بشري إضافي في لحظة الهجوم، وهو ما يثير تساؤلات بالغة الحساسية بشأن حماية المدنيين، والتمييز بين الأهداف العسكرية والأشخاص المحميين، ومدى الالتزام بقواعد القانون الدولي الإنساني.

ولا تقتصر المشكلة على احتمال وقوع خطأ تقني، بل تمتد إلى تحديد الجهة المسؤولة عن القرار ونتائجه: هل تقع المسؤولية على مطور النظام، أم الجهة التي اختارته، أم القائد الذي أصدر الأمر باستخدامه، أم المشغل الذي فعّله، أم المؤسسة التي وضعت قواعد تشغيله؟

لا توجد إجابة قانونية واحدة تصلح تلقائياً لكل الحالات؛ إذ يتوقف تحديد المسؤولية على الوقائع، وطبيعة الدور الذي أداه كل طرف، والقواعد القانونية المنطبقة. لكن المبدأ الأساسي يظل أن استخدام التكنولوجيا لا يلغي الالتزامات القانونية الواقعة على البشر والجهات المسؤولة عن التخطيط للهجمات وتنفيذها.

 هل يمكن إلقاء اللوم على الخوارزمية؟

إن وصف الذكاء الاصطناعي بأنه المسؤول الوحيد عن نتيجة كارثية قد يحجب سلسلة القرارات البشرية التي سبقت وقوعها، بدءاً من تصميم النظام وتحديد صلاحياته، مروراً باختباره واختيار البيانات التي يعتمد عليها، وصولاً إلى قرار تشغيله في موقف حقيقي.

فعندما يقدم نظام ذكي توصية باستهداف موقع معين، لا يكفي التساؤل عما إذا كانت الخوارزمية قد أخطأت، بل يجب أيضاً فحص الأسس التي بنت عليها توصيتها، ومدى موثوقية المعلومات المتاحة، وما إذا كان المسؤول البشري قد راجع النتيجة، وهل امتلك الوقت والمعلومات والصلاحية الكافية للاعتراض عليها.

وتزداد المخاطر عندما يتعامل المستخدم مع توصيات النظام باعتبارها حقائق مؤكدة، فيتراجع عن ممارسة حكمه المهني أو الأخلاقي. ويُعرف هذا السلوك في أدبيات التفاعل بين الإنسان والآلة بمشكلة الانحياز للأتمتة؛ أي الميل إلى الثقة في مخرجات الأنظمة الآلية أو اتباعها حتى عندما توجد مؤشرات تدعو إلى مراجعتها.

ومن ثم، فإن وجود إنسان في نهاية سلسلة اتخاذ القرار لا يكفي وحده لضمان المساءلة. يجب أن تكون الرقابة البشرية حقيقية وفعالة، وأن يمتلك المسؤول القدرة على فهم القرار ورفضه وإيقاف تنفيذه، لا أن يقتصر دوره على اعتماد توصية جاهزة بصورة شكلية.

 الخطر لا يقتصر على ساحات الحروب

تمتد القضية إلى قطاعات أخرى قد تترتب على قراراتها آثار مباشرة في حياة الأفراد وحقوقهم.

في الطب: يمكن للأنظمة الذكية مساعدة الأطباء في تحليل الصور الطبية وتقدير احتمالات الإصابة بأمراض معينة، لكن نتائجها تظل بحاجة إلى تقييم سريري يأخذ في الاعتبار التاريخ المرضي والفحص والظروف الخاصة بكل مريض. ولا ينبغي تحويل التوقع الخوارزمي إلى حكم نهائي من دون مراجعة مناسبة.

في القضاء والعدالة: قد تُستخدم أدوات تحليل البيانات في تقييم المخاطر أو تنظيم الملفات أو دعم بعض الإجراءات، لكن الاعتماد غير النقدي على نماذج قد تكون متحيزة أو غير شفافة يمكن أن يؤثر في عدالة القرارات وحقوق الأفراد، وهو ما يجعل الشفافية وإمكانية الطعن والمراجعة من الضمانات المهمة.

في الأمن السيبراني: تستطيع أنظمة الذكاء الاصطناعي رصد الأنشطة غير المعتادة واكتشاف مؤشرات الهجمات الرقمية، لكنها قد تنتج إنذارات خاطئة أو تفشل في اكتشاف تهديدات جديدة. لذلك يتطلب استخدامها الفعال تحديد الصلاحيات، واختبار الأداء، ومراجعة القرارات الحساسة، ووضع آليات واضحة للاستجابة للحوادث.

في المؤسسات والشركات:  يمكن للأتمتة أن تسرّع عمليات التوظيف وتقييم الأداء وتخصيص الموارد، إلا أن البيانات المتحيزة أو المعايير غير العادلة قد تؤدي إلى استبعاد أشخاص أو الإضرار بمصالحهم. وهنا تبرز أهمية وجود آليات للمراجعة والتظلم، وتحديد الجهة المسؤولة عن تصحيح الأخطاء.

وتوضح هذه الأمثلة أن القضية لا تتعلق برفض التكنولوجيا، بل بتحديد المجالات التي يمكن فيها تفويض المهام بأمان، وتلك التي تتطلب إشرافاً بشرياً مشدداً بسبب خطورة آثارها.

 القانون الدولي يواجه تحدي الأسلحة المستقلة

تضع الأسلحة ذاتية التشغيل المجتمع الدولي أمام أسئلة تتجاوز قدرة التكنولوجيا على تنفيذ الأوامر، لتصل إلى مدى توافق استخدامها مع قواعد القانون الدولي الإنساني، التي تشمل حماية المدنيين، والتمييز بين الأهداف العسكرية والمدنية، والتناسب في الهجمات، واتخاذ الاحتياطات اللازمة لتقليل الأضرار.

وفي ورقة موقف منشورة في مارس 2026، تناولت اللجنة الدولية للصليب الأحمر قضايا مختارة تتعلق بالأسلحة ذاتية التشغيل والقانون الدولي الإنساني، في إطار الجهود الدولية الرامية إلى تطوير قواعد وضوابط للتعامل مع هذه الأنظمة.

وتدعو اللجنة إلى فرض قيود على الأنظمة التي يصعب توقع آثارها أو التحكم فيها، وإلى ضمان بقاء قدر فعلي من الرقابة البشرية على استخدام القوة. كما تؤكد أهمية وضع حدود واضحة لأنواع الأهداف والظروف والنطاق الزمني والجغرافي لتشغيل الأسلحة ذاتية التشغيل.

وتكشف هذه المناقشات عن تحدٍ قانوني أساسي: يجب ألا يصبح التعقيد التقني وسيلة لتشتيت المسؤولية أو جعل التحقيق في الانتهاكات مستحيلاً. فكلما زادت استقلالية النظام، ازدادت أهمية توثيق طريقة عمله، وتحديد صلاحيات الأطراف التي تشغله، والاحتفاظ بالمعلومات التي تسمح بمراجعة القرارات بعد وقوعها.

 من يتحمل المسؤولية فعلياً؟

تتطلب المساءلة عن القرارات المدعومة بالذكاء الاصطناعي التمييز بين عدة مستويات من المسؤولية، بدلاً من اختزال القضية في طرف واحد.

فالمطورون مسؤولون، بحسب أدوارهم والالتزامات القانونية المنطبقة، عن تصميم النظام واختباره ومعالجة أوجه القصور المعروفة. والجهات التي تشتريه أو تنشره مطالبة بتقييم مدى ملاءمته للمهمة وتحديد مخاطر استخدامه. أما المشغلون وصناع القرار، فتتوقف مسؤولياتهم على صلاحياتهم الفعلية والمعلومات المتاحة لهم وطبيعة القرار الذي اتخذوه.

ولا يعني ذلك أن كل خطأ تنتجه خوارزمية يشكل تلقائياً جريمة، أو أن المسؤولية تقع دائماً على المستخدم النهائي؛ فالمسؤولية القانونية تتطلب فحص الوقائع والأدلة والعلاقة السببية والقواعد المعمول بها. لكن الخطأ التقني لا ينبغي، في المقابل، أن يتحول إلى مبرر تلقائي للإعفاء من المساءلة.

ومن أجل ذلك، تبرز أهمية الاحتفاظ بسجلات التشغيل والقرارات، وتوثيق مصادر البيانات، وإجراء اختبارات مستقلة، وتحديد المسؤوليات مسبقاً، وتوفير وسائل فعالة للاعتراض والتحقيق والتعويض عند وقوع الضرر.

 إدارة المخاطر تبدأ قبل تشغيل النظام

يقدم المعهد الوطني الأمريكي للمعايير والتكنولوجيا (NIST) إطاراً لإدارة مخاطر الذكاء الاصطناعي، يهدف إلى مساعدة المؤسسات على تطوير الأنظمة واستخدامها وتقييمها بصورة أكثر موثوقية.

ويركز الإطار على مبادئ من بينها الموثوقية والسلامة والأمن والشفافية والمساءلة وقابلية التفسير والإنصاف، مع التأكيد على أن إدارة المخاطر عملية مستمرة تبدأ قبل نشر النظام وتستمر خلال تشغيله وتقييمه.

وتعني هذه المبادئ عملياً أن المؤسسات لا ينبغي أن تنتظر وقوع الضرر حتى تبدأ في تحديد المسؤوليات. بل عليها تقييم المخاطر مسبقاً، واختبار الأنظمة في ظروف واقعية، ومراقبة أدائها بعد التشغيل، وتدريب المستخدمين على اكتشاف الأخطاء والتحيزات، ووضع إجراءات واضحة لإيقاف النظام أو الرجوع إلى القرار البشري عند الضرورة.

كما يجب أن تتناسب درجة الرقابة مع حجم المخاطر؛ فالأداة التي تقترح صياغة رسالة بريد إلكتروني لا تتطلب مستوى الإشراف نفسه الذي تحتاج إليه منظومة تؤثر في استهداف عسكري أو تشخيص طبي أو قرار يمس الحقوق القانونية للأفراد.

 المسؤولية البشرية هي الاختبار الحقيقي للتقدم

في النهاية، لا تكمن القضية في إثبات أن الذكاء الاصطناعي خطر بطبيعته أو أنه قادر على إلحاق الضرر في جميع الظروف، بل في تحديد الطريقة التي يختار بها البشر استخدامه، والحدود التي يضعونها أمامه، والضمانات التي تمنع تحول الكفاءة التقنية إلى مصدر لقرارات غير خاضعة للمساءلة.

فالذكاء الاصطناعي قد يساعد على تحليل المعلومات بسرعة تفوق القدرات البشرية، لكنه لا يعفي صناع القرار من واجب التحقق والتقدير وتحمل تبعات اختياراتهم. كما أن وجود الإنسان في الحلقة لا يمثل ضمانة كافية إذا كان تدخله شكلياً أو كانت قدرته على الاعتراض محدودة.

وتبقى الرسالة الأساسية التي يطرحها الدكتور محمد الجندي جديرة بالنقاش العام: لا ينبغي أن تتحول الخوارزميات إلى شماعة تُعلّق عليها الأخطاء البشرية، ولا أن يصبح التقدم التقني مبرراً للتنازل عن الحكم الأخلاقي أو إضعاف المساءلة القانونية.

ففي القرارات التي تتعلق بالحياة والموت، لا يكفي أن نعرف ماذا أوصت به الآلة؛ بل يجب أن نعرف من صممها، ومن شغّلها، ومن راجع نتائجها، ومن امتلك سلطة إيقافها، ومن يتحمل المسؤولية عندما تكون النتيجة كارثية.