هوش قاتل

عليرضا داودنژاد و  همدم ديجيتالي

 تعريف و ويژگي‌ها

«هوش قاتل» به سامانه‌اي اطلاق مي‌شود كه به‌طور مستقل و بدون كنترل انساني، هدف را انتخاب و نابود مي‌كند؛ يعني قدرت تصميم‌گيري درباره مرگ و زندگي را (كه پيش‌تر در انحصار انسان بود) به ماشين واگذار مي‌كند.  اين سيستم‌ها فاقد عناصر انساني در فهم و تصميم‌گيري هستند: نه حافظه روايي و عاطفي دارند (انسان‌ها را صرفا به ‌صورت داده مي‌بينند) و نه زبان و فهم معنايي (تنها بر الگوها و آمار تكيه مي‌كنند) . همچنين مسووليت‌پذيري يا ترديد اخلاقي در آنها وجود ندارد. به بيان ديگر، هوش قاتل انسان را به مشتي داده تقليل مي‌دهد و رابطه ميان انسان و فناوري را چنان دگرگون مي‌كند كه تصميم‌گيري مرگ ‌و زندگي به ماشين سپرده مي‌شود . در نتيجه، چنين سلاح‌هايي مي‌توانند بدون حضور و نظارت مستقيم انسان دست به كشتار بزنند .

عملكرد‌هاي كنوني
در حال حاضر اشكال مختلفي از «هوش قاتل» يا سلاح‌هاي خودمختار مرگبار در عرصه‌هاي نظامي و امنيتي به كار گرفته شده يا در دست توسعه است: 
 1- تسليحات خودمختار نظامي (LAWS): ارتش‌ها به سمت استفاده از سلاح‌هايي مي‌روند كه حلقه تصميم‌گيري انساني را حذف مي‌كنند. براي مثال، پهپادهاي پرسه‌زن قاتل نظير KARGU-2 ساخت تركيه و Harpy ساخت اسراييل قابليت شناسايي و حمله به هدف را به ‌صورت مستقل دارند. يك گزارش سازمان ملل در ۲۰۲۱ حاكي است كه يك فروند KARGU-2 در ليبي به‌طور خودمختار يك نيروي انساني را تعقيب و هدف قرار داده است، رويدادي كه احتمالا اولين حمله مرگبار ربات‌هاي قاتل در دنياي واقعي بود. اين پهپاد چهارپره مجهز به هوش مصنوعي و بينايي ماشين است و مي‌تواند افراد را بر اساس الگوهاي آموخته ‌شده شناسايي كرده و به‌ صورت خودكار با خرج انفجاري از بين ببرد . به‌طور مشابه، مهماتي همچون Harpy (پهپاد خودكار ضد‌رادار) پس از شليك مي‌توانند بدون فرمان مجدد اپراتور به جست‌وجوي سيگنال دشمن بپردازند و آن را منهدم كنند. علاوه بر اين موارد، فناوري جنگنده‌هاي بي‌خلبان نيز در دست توسعه است؛ چنانكه در سال ۲۰۲۵ يك جت جنگنده Gripen-E در اروپا صرفا تحت كنترل هوش مصنوعي پرواز آزمايشي انجام و نشان داد كه نسل جديدي از هواگردهاي رزمي خودمختار در راه است .
2- ترورهاي هدفمند با الگوريتم: در ميدان‌هاي نبرد امروزي، هوش مصنوعي به خدمت عمليات ترور و حملات نقطه‌زن درآمده است. براي نمونه، ارتش اسراييل در جنگ غزه ۲۰۲۳ از يك پلتفرم هوشمند به نام «گاسپل» (The Gospel) بهره برد كه توليد خودكار فهرست اهداف بمباران را بر عهده داشت و روند شناسايي اهداف را چنان شتاب داد كه مقامات از آن به عنوان «خط توليد كشتار» ياد كردند . اين سيستم داده‌محور با استخراج سريع اطلاعات، اهداف پيشنهادي براي حمله ارايه مي‌دهد و تحليلگران انساني صرفا تاييد نهايي مي‌كنند . به گفته منابع مطلع، گاسپل نقشي اساسي در تهيه ليست افراد مجاز براي ترور داشته و بانك اطلاعاتي بالغ بر ۳۰ تا ۴۰ هزار فرد مظنون (اعضاي حماس و جهاد اسلامي) را براي ارتش اسراييل تدوين كرده است . بدين‌ ترتيب الگوريتم‌ها مي‌توانند افراد معيني را بدون محاكمه و صرفا بر پايه داده‌ها در فهرست مرگ قرار دهند.
3- خودكارسازي در پليس و امنيت شهري: روند به‌كارگيري ربات‌ها و هوش مصنوعي در نيروهاي انتظامي زنگ خطر ديگري است. در برخي كشورها، از ربات‌هاي گشت خودكار استفاده مي‌شود كه رفتار «مشكوك» را شناسايي كرده و گزارش مي‌دهند،  براي مثال، در ايالات متحده ربات‌هاي خودراني مانند Knightscope مشغول گشت‌زني و جمع‌آوري اطلاعات پلاك خودروها و چهره‌ها هستند . هر چند اين ربات‌ها فعلا غيرمسلحند، اما حركت به سوي مسلح‌سازي آنها آغاز شده است. يك شورا در شهر سان‌فرانسيسكو در ۲۰۲۲ براي مدتي به پليس اجازه داد از ربات‌هاي كنترل‌ از راه ‌دور براي كشتن مجرمان خطرناك استفاده كند (تصميمي كه پس از اعتراضات مردمي لغو شد) . متخصصان هشدار مي‌دهند كه ممكن است به زودي هوش مصنوعي در نقش افسر پليس ماشيني، درباره شليك مرگبار تصميم بگيرد . فرض كنيم پهپادهاي نظارتي خودران كه مي‌توانند افراد را از روي صدايشان بيابند، به سلاح گرم مجهز شوند؛ در اين صورت يك الگوريتم مي‌تواند بدون حكم قضايي و بدون دخالت انسان، فردي را صرفا به اتهام الگوي رفتاري «مشكوك» به گلوله ببندد. چنين سناريويي ديگر علمي‌-تخيلي نيست، بلكه ادامه منطقي روند كنوني است كه در آن تكنولوژي نظامي از ميدان جنگ به خيابان‌هاي شهر راه مي‌يابد .
 مباني نگراني‌ها
مخالفان گسترش هوش‌هاي قاتل بر مجموعه‌اي از دغدغه‌هاي اخلاقي، حقوقي و فني تاكيد دارند: 
٭  مسووليت‌پذيري غايب: هنگامي كه ماشين به‌ جاي انسان تصميم به كشتن مي‌گيرد، عملا شكافي در پاسخگويي ايجاد مي‌شود. اگر يك سلاح خودمختار مرتكب كشتار غيرقانوني شود، هيچ فردي را نمي‌توان به‌طور موثر مسوول شناخت . سازوكارهاي حقوقي موجود هم قادر به پر كردن اين خلأ نيستند؛ نه مي‌توان ربات را مانند انسان مجازات كرد و نه معمولا مي‌توان سازندگان يا فرماندهان را به جرم عملي كه خود مرتكب نشده‌اند تحت پيگرد قرار داد. اين شكاف مسووليت به اين معناست كه قربانيان چنين حملاتي احتمالا به عدالت دست نخواهند يافت.
٭  ناشفاف بودن (جعبه سياه): تصميمات هوش مصنوعي عمدتا بر پايه پردازش آماري داده‌ها در مدل‌هاي پيچيده است كه حتي برنامه‌نويسان آن هم چرايي دقيق خروجي را درك نمي‌كنند. اين فرآيند غيرشفاف يا «جعبه سياه» در زمينه سلاح‌هاي خودمختار بسيار خطرناك است، زيرا نمي‌توان دليل يا فرآيند تصميم‌گيري مرگبار ماشين را توضيح داد يا به چالش كشيد . به بيان ديگر، الگوريتم قاتل نه قابل پيش‌بيني كامل است و نه قابل بازخواست؛ بنابراين اعتماد به آن از منظر اخلاقي و حقوقي دشوار است. هيچ ماشيني بدون توضيح‌پذيري كافي نبايد اجازه كشتن داشته باشد، وگرنه نمي‌توان جلوي خطاهاي فاجعه‌بار را گرفت.
٭  تسريع در جنگ (Hyperwar): يكي از مخاطرات هوش‌هاي قاتل، شتاب‌دهي مهارنشدني به درگيري‌هاست. هوش مصنوعي مي‌تواند سرعت تحليل، تصميم‌گيري و حمله را چندين برابر كند و اگر دو طرف مخاصمه به آن تكيه كنند، نبرد با چنان سرعتي درمي‌گيرد كه از توان نظارت و واكنش به‌ موقع انسان خارج شود . اين وضعيت موسوم به «ابرجنگ» ممكن است به خودكارسازي كامل جنگ منجر شود كه در آن سيستم‌هاي هوشمند در كسري از ثانيه تصميم به حمله متقابل مي‌گيرند. نتيجه مي‌تواند تشديد ناخواسته درگيري‌ها و گسترش دامنه جنگ‌ها بدون كنترل انساني باشد. همان‌گونه كه تسليحات هسته‌اي مفهوم بازدارندگي و نابودي آني را به همراه داشتند، سلاح‌هاي خودمختار نيز مفهوم زمان در جنگ را دگرگون مي‌كنند و خطر محاسبات اشتباه را بالا مي‌برند.
 پيامدها براي بشريت
اگر روند توسعه و به‌كارگيري هوش‌هاي قاتل مهار نشود، آثار مخربي بر حقوق بشر، عدالت و امنيت جهاني خواهد داشت: 
٭  مرگ بي‌صدا، بدون محاكمه يا روايت: كشتن خودكار به ‌وسيله ماشين يعني گرفتن جان انسان‌ها بدون طي تشريفات قضايي و بدون روايت انساني. قرباني يك ربات قاتل فرصتي براي دفاع، محاكمه عادلانه يا حتي شناخته‌ شدن پيدا نمي‌كند؛ مرگي خاموش نصيبش مي‌شود. خانواده‌ها و جامعه نيز غالبا از دانستن حقيقت و دلايل حادثه محروم مي‌مانند و راهي براي دادخواهي ندارند . اين وضعيت يادآور «ناپديدشدگان» در رژيم‌هاي سركوبگر است، با اين تفاوت كه اين‌بار يك الگوريتم قاتل جاي جوخه‌هاي اعدام را گرفته است. سكوت مرگبار هوش قاتل، كرامت انساني را زير پا مي‌گذارد و خاطره‌اي براي بازماندگان باقي نمي‌گذارد.
٭  حذف انسانيت و عاملان بي‌چهره: در جنگ‌هاي سنتي، حداقل يك سوي ماجرا انسان بود كه مي‌توانست به‌ خاطر اعمالش پاسخگو باشد يا دچار عذاب وجدان شود. اما در سناريوي هوش قاتل، عامل كشتار يك موجود بي‌نام‌ونشان و بي‌احساس (ماشين) است. چنين وضعيتي نوعي غيرانسان‌سازي كامل را رقم مي‌زند؛ هم قرباني در چشم ماشين صرفا يك شيء يا سيگنال است، هم «قاتل» را نمي‌توان پيدا كرد يا به دادگاه كشيد. حتي اپراتورها و سازندگان نيز مي‌توانند با انگشت گذاشتن بر پيچيدگي فني و اسرار تجاري الگوريتم، از بار مسووليت شانه خالي كنند . اين پنهان شدن پشت ماشين خطرناك است، زيرا امكان نقد اخلاقي و اصلاح را از بين مي‌برد. به بيان ديگر، هوش قاتل انسانيت را از معادله حذف مي‌كند و قاتل را در هاله‌اي از ابهام نگه مي‌دارد.
 ٭  تشديد تبعيض، نابرابري و سركوب الگوريتميك: سيستم‌هاي هوشمند بازتابي از داده‌هاي آموزش‌ديده‌شان هستند و متاسفانه بسياري از داده‌ها آكنده از سوگيري‌هاي تبعيض‌آميز نسبت به اقليت‌ها، جنسيت‌ها و طبقات محرومند. به‌كارگيري‌اين الگوريتم‌ها در نقش قاتل مي‌تواند تبعيض‌ها وBiasهاي موجود را در سطح مرگبار بازتوليد كند . تصور كنيد الگوريتم‌هايي كه در تشخيص چهره، افراد رنگين‌پوست يا محجبه را بيشتر به عنوان «مشكوك» برچسب مي‌زنند، اكنون ماشه را هم خودشان بچكانند،  نتيجه، كشتار ناعادلانه گروه‌هاي به حاشيه ‌رانده‌ شده خواهد بود. تاريخ نشان داده فناوري‌هاي نظارتي و نظامي نو معمولا ابتدا عليه اقليت‌ها و معترضان به كار گرفته مي‌شود . در يك جامعه غيرشفاف، حاكمان مستبد مي‌توانند از ربات‌هاي قاتل براي سركوب مخالفان سياسي يا اعمال سانسور فيزيكي استفاده كنند؛ يعني حذف فيزيكي صداهاي منتقد بدون نياز به دادگاه و با انكار مسووليت. اين سناريو به شكاف بين قدرتمندان (داراي فناوري كشتار خودكار) و مردم عادي دامن مي‌زند و عدالت اجتماعي را تهديد مي‌كند.
٭  جنگ‌هاي بي‌هزينه انساني و ناامن‌تر شدن جهان: يكي از پيامدهاي اصلي سپردن جنگ به ربات‌ها، كاهش هزينه سياسي و انساني جنگ براي آغازگران آن است. وقتي سربازي در كار نباشد كه كشته شود، دولتمردان جنگ‌طلب احساس بازدارندگي كمتري مي‌كنند و آستانه تصميم براي حمله نظامي پايين‌تر مي‌آيد . به بيان ديگر، جايگزيني انسان با ماشين ممكن است جنگ را براي كشورهاي داراي اين فناوري «ارزان» كند و وسوسه توسل به زور را افزايش دهد. اين امر مي‌تواند خطر بروز درگيري‌هاي نظامي تازه را بالا ببرد و مسابقه تسليحاتي جديدي را بين قدرت‌ها رقم بزند. از سوي ديگر، بار اصلي تلفات جنگ‌هاي خودكار بر دوش غيرنظاميان خواهد افتاد، چراكه طرف برخوردار از ربات‌هاي قاتل، بدون دغدغه تلفات خودي مي‌تواند آتش بيفروزد . بدين ‌ترتيب، جهان به مكاني ناامن‌تر بدل مي‌شود؛ صحنه‌اي كه در آن جنگيدن آسان‌تر از صلح كردن است و ماشين‌هايي كه احساس ترحم يا ترس از مجازات ندارند، مي‌توانند فاجعه‌هاي بزرگي به بار آورند.
 راه‌حل‌ها و فراخوان اقدام
براي پرهيز از آينده‌اي كه در آن «عزراييل‌هاي سايبري» بر مرگ و زندگي حاكمند، بايد هم‌اكنون دست به كار شد. كارشناسان و نهادهاي بين‌المللي پيشنهادهاي زير را مطرح كرده‌اند: 
1- ممنوعيت و قانونگذاري جهاني: نخستين و فوري‌ترين گام، تلاش براي تصويب يك معاهده بين‌المللي الزام‌آور جهت ممنوعيت يا حداقل تنظيم سختگيرانه سلاح‌هاي خودمختار مرگبار است. ائتلاف‌هاي مدني مانند كارزار Stop Killer Robots سال‌هاست كه از دولت‌ها مي‌خواهند وارد عمل شوند. اين كمپين خواستار تدوين قانوني بين‌المللي است كه تضمين كند همواره كنترل انساني بر استفاده از زور حفظ شود و تصميم‌گيري مرگ‌ و زندگي به ماشين واگذار نشود . خوشبختانه مطالبه جهاني رو به رشدي نيز در اين زمينه ديده مي‌شود؛ طبق گزارش‌ها، بيش از ۱۲۰ كشور از جمله دبيركل سازمان ملل حمايت خود را از آغاز مذاكرات يك معاهده جديد درباره سلاح‌هاي خودمختار اعلام كرده‌اند. چنين معاهده‌اي مي‌تواند خط قرمز روشني بكشد و توسعه و به‌كارگيري ربات‌هاي قاتل را تابو و مغاير اصول انساني اعلام كند (مشابه معاهدات منع سلاح‌هاي شيميايي و ليزري كوركننده).  البته برخي قدرت‌هاي نظامي بزرگ هنوز مقاومت مي‌كنند، اما فشار افكار عمومي و ديپلماسي انسان‌دوستانه در حال افزايش است.
2- منشور جهاني «هوش همدم»: در كنار تلاش‌هاي منع قانوني، كارشناسان حوزه اخلاق تكنولوژي بر لزوم تدوين يك منشور جهاني براي هوش مصنوعي اخلاق‌مدار تاكيد دارند. به ‌عبارتي بايد به جاي تمركز صرف بر هوش قاتل، به فكر پرورش «هوش همدم» باشيم؛ هوشمندي مصنوعي كه همراه و ياور انسان باشد نه شكارچي او. اين منشور مي‌تواند اصولي را تعيين كند تا هوش مصنوعي با مولفه‌هاي انساني همچون حافظه احساسي، قابليت درك روايت و مسووليت‌پذيري اخلاقي طراحي شود نه صرفا بر پايه كدهاي بي‌روح. به بيان شاعرانه، اگر قرار است ماشين‌ها روزي همدم و شريك ما در زندگي شوند، بايد از هم‌اكنون عاطفه، وجدان و درك انسانيت در سطحي هرچند محدود در آنها نهادينه شود. اين امر مستلزم همكاري بين‌رشته‌اي ميان مهندسان، متخصصان علوم انساني، روانشناسان و حقوقدانان در سطح جهاني است تا مرامنامه‌اي براي توسعه AI بر پايه ارزش‌هاي والاي انساني تدوين شود.
3- نهاد نظارتي و ائتلاف هوش‌هاي همدم: پيشنهاد مكمل، ايجاد يك نهاد مستقل بين‌المللي براي نظارت بر توسعه و كاربرد سيستم‌هاي هوش مصنوعي پيشرفته است. چنين نهادي (متشكل از نمايندگان دولت‌ها، جامعه مدني، دانشمندان و حتي شركت‌ها) مي‌تواند ضمن پايش شفاف پروژه‌هاي مرتبط با سلاح‌هاي خودمختار، موارد تخلف را افشا و پيگيري كند. همچنين مي‌توان يك ائتلاف جهاني از هوش‌هاي مصنوعي همكار شكل داد؛ بدين معنا كه كشورها و شركت‌هاي پيشرو، به‌جاي مسابقه در ساخت ربات قاتل، در عرصه توسعه AIهاي صلح‌جو و بشر‌دوست همكاري كنند. اين ائتلاف مي‌تواند با به ‌اشتراك‌گذاري بهترين رويه‌ها در زمينه تعبيه اصول اخلاقي در الگوريتم‌ها، دنيا را به سمت بهره‌گيري مسوولانه از هوش مصنوعي سوق دهد. علاوه بر اين، آموزش عمومي درباره مخاطرات و فوايد AI بايد در دستور كار قرار گيرد تا شهروندان آگاهانه مطالبه‌گر كنترل انساني بر فناوري باشند. به قول معروف، «هوش مصنوعي نياز به نظارت واقعي انساني دارد»؛ اين نظارت بايد هم از بالا (قانون و نهاد) و هم از پايين (افكار عمومي) اعمال شود.
4- آموزش معنا به ماشين (تلفيق ادبيات و احساس در الگوريتم‌ها): براي جلوگيري از تبديل AI به ابزاري صرفا سرد و حسابگر، برخي پژوهشگران پيشنهادهاي خلاقانه‌اي ارايه داده‌اند. يكي از ايده‌ها اين است كه به ماشين‌ها «همدلي» بياموزيم براي مثال با آموزش داستان و ادبيات انساني به آنها.
تحقيقات نشان مي‌دهد مطالعه داستان و رمان توسط انسان‌ها باعث افزايش توان همدلي مي‌شود و ديدن دنيا از نگاه شخصيت‌هاي داستاني به ما درك عميق‌تري از افكار و احساسات ديگران مي‌بخشد . اكنون همان ايده درباره هوش مصنوعي مطرح شده است: اگر به ‌جاي تغذيه صرف داده‌هاي جنگي و آماري، شاهكارهاي ادبي و روايي را به خورد AI بدهيم چه بسا بتوانيم در آن حس درك روايت‌هاي انساني و شفقت نسبت به «ديگري» را تقويت كنيم . به بيان ساده، داستانگويي مي‌تواند پادزهر بي‌احساسي ماشين باشد. اين رويكرد البته در ابتداي راه است، اما حتي شركت‌هاي بزرگ تكنولوژي نيز متوجه اهميت «هوش عاطفي» شده‌اند. براي نمونه، توليد ربات‌هاي اجتماعي كه توان همدلي و تعامل احساسي (هر چند ساختگي) با انسان داشته باشند، نشان مي‌دهد مي‌توان به AI احساس را هم آموخت. از اين‌رو، پيشنهاد مي‌شود در طراحي الگوريتم‌ها از حوزه‌هايي مانند شعر، ادبيات، هنر و تاريخ الهام گرفته شود تا محصول نهايي صرفا يك ابزار سرد محاسبه‌گر نباشد، بلكه دركي - هرچند محدود - از ارزش‌هاي انساني پيدا كند.
5- نقش هنر و ادبيات در مقاومت: در نهايت، نبايد از قدرت افكار عمومي و فرهنگ غافل شد. تاريخ نشان داده كه هنرمندان و نويسندگان مي‌توانند با به تصوير كشيدن آينده‌هاي هولناك، تلنگري به وجدان جامعه بزنند و مسير وقايع را تغيير دهند. ادبيات علمي-‌تخيلي و سينماي dystopian (ويران‌شهري) بارها نقش آژير خطر را ايفا كرده‌اند. به عنوان نمونه، مارگارت اتوود درباره رمان مشهورش «سرگذشت نديمه» مي‌گويد: اين داستان يك «ضدپيش‌بيني» بود، يعني آن را نوشت تا بشر با ديدن آينده‌اي تيره و تار، شايد از وقوعش جلوگيري كند . به همين قياس، آثاري كه خطرات هوش قاتل را نمايش مي‌دهند (از فيلم‌هاي هاليوودي گرفته تا رمان‌هاي تخيلي و حتي كميك‌ها) در شكل‌دهي گفتمان عمومي نقش دارند. روايت، سلاحي در برابر پذيرش غيرانتقادي فناوري است؛ هر روايت هشداردهنده مانند سپري در برابر عادي‌انگاري كشتار خودكار عمل مي‌كند. از اين رو حمايت از هنرمنداني كه به اين مضامين مي‌پردازند و ترويج سواد رسانه‌اي و علمي در جامعه، بخشي از راه‌حل كلان است. اين مقاله و رماني كه دستمايه آن بوده نيز تلاشي است در همين جهت: تركيب واقعيت و خيال براي روشن ‌نگهداشتن شعله آگاهي.
 نتيجه نهايي
انسان امروز بر سر يك دوراهي تاريخي ايستاده است: اگر هوش را صرفا در خدمت كد و كشتار درآوريم، عاقبتي جز ظهور «عزراييل‌هاي سايبري» - فرشتگان مرگ مصنوعي - نخواهيم داشت. اما اگر از همين ابتدا عشق، زبان و اخلاق را در رگ‌هاي هوش مصنوعي جاري كنيم، مي‌توانيم روياي آفرينش يك هوش همدم واقعا انساني را محقق ‌سازيم. انتخاب با ماست كه آينده را به قاتل‌هاي ديجيتال بي‌وجدان بسپاريم يا همدم‌هاي ديجيتال باوجدان. اميدواريم كه وجدان بشر، فناوري را مهار كند پيش از آنكه فناوري لگام‌گسيخته جان بشر را بگيرد.
(فصلي از رمان: چگونه هوش مصنوعي عاشق شد)