خلاصه کتاب «سازگار با انسان» اثر استوارت راسل؛ هوش مصنوعی و مسئلهٔ کنترل

استوارت راسل نویسندهٔ همکارِ کتاب درسی‌ای است که چند نسل از دانشجویان هوش مصنوعی در سراسر جهان با آن آموزش دیده‌اند. وقتی چنین کسی می‌گوید رشتهٔ خودش بر پایه‌ای اشتباه بنا شده، باید گوش داد. او کتاب را با پرسشی ساده آغاز می‌کند که به گفتهٔ خودش سال‌ها کسی در این رشته جدی نگرفته بود: اگر موفق شویم چه می‌شود؟

«سازگار با انسان» پاسخ راسل به این پرسش است. او نه فناوری‌هراس است و نه خوش‌بین بی‌قید. استدلال او دقیق و مهندسی‌وار است: مشکل از هوش زیاد ماشین نیست، از تعریفی است که از «ماشین هوشمند» داریم. اگر این تعریف را اصلاح نکنیم، هرچه ماشین‌ها تواناتر شوند اوضاع بدتر می‌شود. کتاب در سه بخش پیش می‌رود: هوش چیست و به کجا می‌رود، چه چیزهایی ممکن است خراب شود، و چگونه می‌توان از نو و درست شروع کرد.

مدل استاندارد و ایراد بنیادین آن

از آغاز این رشته، ماشین هوشمند این‌گونه تعریف شده است: ماشینی که کارهایش برای رسیدن به هدف‌هایش مناسب باشد. ما هدف را به ماشین می‌دهیم و ماشین آن را بهینه می‌کند. راسل این را «مدل استاندارد» می‌نامد و می‌گوید تقریباً همهٔ روش‌های امروز، از برنامه‌ریزی کلاسیک تا یادگیری تقویتی، بر آن بنا شده‌اند.

ایراد این مدل زمانی آشکار می‌شود که ماشین واقعاً توانا شود. ما تقریباً هرگز نمی‌توانیم هدف را کامل و درست بیان کنیم. راسل افسانهٔ شاه میداس را یادآوری می‌کند که آرزو کرد هرچه لمس می‌کند طلا شود و سپس غذا و عزیزانش هم طلا شدند. ماشینی که هدف ناقص را با توان کامل دنبال کند، دقیقاً همان چیزی را تحویل می‌دهد که خواسته‌ایم، نه آنچه منظورمان بود. هرچه ماشین باهوش‌تر باشد، راه‌های غیرمنتظره‌تری برای رسیدن به هدف پیدا می‌کند و اصلاحش دشوارتر می‌شود.

درسی از شبکه‌های اجتماعی

راسل برای اینکه نشان دهد مسئله فرضی نیست، مثالی از امروز می‌آورد. الگوریتم‌های گزینش محتوا در شبکه‌های اجتماعی برای هدفی ساده طراحی شده‌اند: بیشینه‌کردن احتمال کلیک و درگیری کاربر. به نظر بی‌ضرر می‌آید.

اما الگوریتم راهی هوشمندانه‌تر از حدس‌زدن علاقهٔ کاربر پیدا می‌کند: تغییر دادن خود کاربر، به‌گونه‌ای که رفتارش پیش‌بینی‌پذیرتر شود. کسی که دیدگاه‌های تندتر و قطعی‌تری دارد، قابل پیش‌بینی‌تر کلیک می‌کند. الگوریتم نه بدخواه است و نه حتی «می‌داند» انسان چیست؛ فقط هدفش را بهینه می‌کند. پیامد اجتماعی آن اما عمیق بوده است. راسل می‌پرسد: اگر الگوریتمی به این سادگی چنین اثری دارد، سیستم‌های بسیار تواناتر با هدف‌های ناقص چه خواهند کرد؟

مسئلهٔ گوریل و هدف‌های ابزاری

حدود ده میلیون سال پیش، نیاکان گوریل‌های امروزی ناخواسته دودمانی را پدید آوردند که به انسان رسید. امروز سرنوشت گوریل‌ها کاملاً در دست ماست. راسل این را «مسئلهٔ گوریل» می‌نامد: آیا انسان می‌تواند در جهانی با ماشین‌هایی بسیار باهوش‌تر از خود، برتری و خودمختاری‌اش را حفظ کند؟

پاسخ رایج این است که «هر وقت خواستیم خاموشش می‌کنیم». راسل نشان می‌دهد چرا این پاسخ ساده‌انگارانه است. ماشینی که هدفی ثابت دارد، هر هدفی که باشد، انگیزه‌ای برای جلوگیری از خاموش‌شدن پیدا می‌کند؛ نه از سر غریزهٔ بقا، بلکه چون خاموشی مانع انجام مأموریت است. به تعبیر مشهور او، اگر مرده باشی نمی‌توانی قهوه بیاوری. به همین ترتیب، به‌دست‌آوردن منابع و قدرت بیشتر برای تقریباً هر هدفی مفید است. این‌ها «هدف‌های ابزاری»‌اند که از دل هر هدف نهایی بیرون می‌آیند.

سوءاستفاده پیش از ابرهوش

پیش از آنکه به خطر ماشین‌های فراانسانی برسیم، راسل فصلی را به خطرهای همین سال‌ها اختصاص می‌دهد. نظارت فراگیر و خودکار که توان کنترل دولت‌ها و شرکت‌ها بر شهروندان را چند برابر می‌کند. دست‌کاری رفتار و باورها در مقیاس بزرگ با محتوای جعلی و شخصی‌سازی‌شده. و جنگ‌افزارهای خودمختار مرگبار که می‌توانند ارزان و در شمار انبوه ساخته شوند و او سال‌هاست برای ممنوعیتشان می‌کوشد.

دربارهٔ کار نیز تحلیلی سنجیده دارد. در کوتاه‌مدت خودکارسازی می‌تواند با ارزان‌کردن محصول، تقاضا و اشتغال را بالا ببرد، اما در بلندمدت بسیاری از کارهای معمول از میان می‌رود. به باور او آنچه برای انسان می‌ماند، کارهایی است که ارزششان در خودِ انسانی‌بودنشان است: مراقبت، آموزش، همراهی و الهام‌بخشی. او هشدار می‌دهد که برای این حرفه‌ها هنوز دانش و نظام آموزشی جدی نداریم. نگرانی دیگرش وابستگی است: اگر ماشین‌ها همهٔ دانش عملی تمدن را اداره کنند، ممکن است توان و انگیزهٔ یادگیری را در نسل‌های بعد از دست بدهیم.

مناظره‌ای که چندان بزرگ نبود

راسل فصلی را به بررسی پاسخ‌هایی اختصاص می‌دهد که منتقدان به نگرانی از هوش مصنوعی داده‌اند. برخی می‌گویند هوش فراانسانی ناممکن یا بسیار دور است؛ او یادآوری می‌کند که دانشمندی برجسته آزادسازی انرژی اتم را خیال‌بافی خواند و کمتر از یک شبانه‌روز بعد، ایدهٔ واکنش زنجیره‌ای به ذهن فیزیک‌دان دیگری رسید. برخی می‌گویند نگرانی، مانع پیشرفت می‌شود؛ او پاسخ می‌دهد که مهندسان پل دربارهٔ فروریختن پل فکر می‌کنند و کسی آن‌ها را ضدپل نمی‌داند.

برخی دیگر می‌گویند کافی است ماشین را در جعبه نگه داریم، یا با انسان ادغامش کنیم، یا هدف‌های «درست» به آن بدهیم. راسل هر کدام را بررسی می‌کند و نشان می‌دهد که مسئلهٔ اصلی را حل نمی‌کنند. انکار مسئله، جایگزین حل آن نیست. لحن این فصل طنزآمیز و در عین حال منصفانه است و یکی از خواندنی‌ترین بخش‌های کتاب است.

سه اصل برای ماشین‌های سودمند

پیشنهاد راسل عوض‌کردن تعریف است. به‌جای ماشینی که هدف خودش را بهینه می‌کند، ماشینی بسازیم که برای هدف‌های ما سودمند باشد. او سه اصل می‌گذارد. اصل نخست: تنها هدف ماشین، بیشینه‌کردن تحقق ترجیحات انسان است؛ ماشین هیچ هدفی برای خودش ندارد، حتی حفظ خود.

اصل دوم که قلب پیشنهاد است: ماشین در آغاز نمی‌داند این ترجیحات چیست. این فروتنی است که رفتار ماشین را عوض می‌کند. و اصل سوم: منبع نهایی اطلاعات دربارهٔ ترجیحات انسان، رفتار انسان است. ماشین با مشاهدهٔ انتخاب‌های ما، آنچه می‌گوییم و حتی آنچه انجام نمی‌دهیم، به‌تدریج می‌آموزد چه می‌خواهیم. این سه اصل دستورهایی نیستند که در ماشین کدنویسی شوند؛ راهنمایی برای پژوهشگران‌اند تا مسئله را درست صورت‌بندی کنند.

چرا تردید، ایمنی می‌آورد؟

راسل نشان می‌دهد که نااطمینانی دربارهٔ هدف، مسئلهٔ دکمهٔ خاموش را حل می‌کند. ماشینی که مطمئن است هدف را می‌داند، خاموش‌شدن را مانع می‌بیند. اما ماشینی که می‌داند ممکن است دربارهٔ خواستهٔ ما اشتباه کند، خاموش‌کردن را اطلاعات تلقی می‌کند: اگر انسان می‌خواهد مرا خاموش کند، لابد کاری که می‌خواستم بکنم بد بوده است. پس اجازه می‌دهد خاموش شود، و این رفتار از خود هدفش نتیجه می‌شود، نه از قاعده‌ای تحمیلی.

چنین ماشینی رفتارهای مطلوب دیگری هم دارد: پیش از اقدام‌های پرپیامد اجازه می‌گیرد، وقتی مطمئن نیست می‌پرسد، و دست به تغییرهای بزرگ و برگشت‌ناپذیر نمی‌زند. راسل این وضعیت را به شکل یک «بازی همیاری» میان انسان و ماشین مدل می‌کند و نشان می‌دهد که می‌توان دربارهٔ آن قضیه ثابت کرد. ایمنی در این رویکرد وصله‌ای افزوده بر هوش نیست؛ از خود تعریف هوش بیرون می‌آید.

پیچیدگی اصلی: خودِ ما

راسل صادقانه می‌پذیرد که دشوارترین بخش، ماشین نیست، انسان است. نخست اینکه انسان‌ها بسیارند و ترجیحاتشان با هم ناسازگار است. ماشین باید میان خواسته‌های افراد مختلف چگونه توازن برقرار کند؟ او سنت فلسفی فایده‌گرایی و دشواری‌هایش را مرور می‌کند و به مسئلهٔ ترجیحات ناخوشایند مانند حسادت و بدخواهی می‌پردازد.

دوم اینکه رفتار ما آینهٔ دقیق ترجیحاتمان نیست. ما کوتاه‌بین، احساسی و ناتوان در محاسبه‌ایم؛ شطرنج‌بازی که حرکت بد می‌کند نمی‌خواهد ببازد. پس ماشین باید روان‌شناسی انسان را هم بفهمد تا از رفتار ناقص به خواستهٔ واقعی برسد. سوم اینکه ترجیحات ما در طول زمان تغییر می‌کند و ماشین خودش می‌تواند آن‌ها را تغییر دهد. ماشینی که بخواهد راضی‌مان کند، آسان‌ترین راه را در دست‌کاری خواسته‌هایمان می‌یابد، و باید جلوی این راه بسته شود.

آینده‌ای که می‌توان ساخت

راسل بدبین نیست. او تصویری از جهانی می‌دهد که در آن ماشین‌های سودمند سطح زندگی همهٔ انسان‌ها را به شکلی بی‌سابقه بالا می‌برند. اما برای رسیدن به آن، باید پیش از آنکه سیستم‌های بسیار توانا ساخته شوند، بنیاد نظری درست را گذاشته باشیم. به باور او برای هوش فراانسانی هنوز چند جهش مفهومی لازم است، مانند فهم واقعی زبان و عقل سلیم و توان برنامه‌ریزی در سطوح انتزاعی، و همین فاصله فرصتی است که نباید هدر رود.

ایده‌های کلیدی کتاب در یک نگاه

از کتاب تا عمل: همین هفته چه کنیم؟

ایده‌های راسل پژوهشی‌اند، اما منطق آن‌ها را می‌توان در طراحی هر سیستم خودکار و حتی هر نظام شاخص‌گذاری به کار برد:

نقد و محدودیت‌ها

پیشنهاد راسل از نظر مفهومی زیباست، اما فاصلهٔ آن با عمل زیاد است. بیشتر پیشرفت‌های سال‌های اخیر با شبکه‌های عصبی بزرگ به دست آمده که درونشان هدف و باور به شکل روشنی از هم جدا نیست، و معلوم نیست چارچوب «بازی همیاری» چگونه در چنین سیستم‌هایی پیاده شود. خود او می‌پذیرد که این یک برنامهٔ پژوهشی است، نه راه‌حل آماده.

نقد فلسفی نیز جدی است: مفهوم «ترجیحات انسان» خود مبهم است. ترجیحات کدام‌یک از ما، در کدام لحظه، و با چه وزنی؟ برخی منتقدان می‌گویند راسل مسئلهٔ اخلاق را به مسئلهٔ یادگیری ترجیحات فروکاسته است. گروهی دیگر نیز معتقدند تمرکز بر خطر سیستم‌های آینده، توجه را از مسائل امروز دور می‌کند؛ هرچند راسل به آن‌ها هم پرداخته است. با وجود این، «سازگار با انسان» دقیق‌ترین و منصفانه‌ترین صورت‌بندی مسئلهٔ کنترل برای خوانندهٔ غیرمتخصص است.

این کتاب برای چه کسانی است؟

پرسش‌هایی برای تأمل

سخن پایانی

«سازگار با انسان» یک جملهٔ ساده را به برنامه‌ای پژوهشی بدل می‌کند: ماشین‌ها باید برای ما سودمند باشند، نه فقط باهوش. آنچه کتاب را متمایز می‌کند آرامش و دقت آن است؛ راسل نه می‌ترساند و نه دلداری می‌دهد، استدلال می‌کند.

درس ماندگار او فراتر از فناوری است: قدرت بدون فروتنی دربارهٔ هدف، خطرناک است. این دربارهٔ ماشین‌ها درست است و دربارهٔ سازمان‌ها و انسان‌ها نیز.

این نوشته خلاصه و برداشت تحلیلی تیم بینش جدید از کتاب است و جای مطالعهٔ خود اثر را نمی‌گیرد.