خلاصه کتاب «سلاح‌های کشتار ریاضی» اثر کتی اونیل؛ روی تاریک الگوریتم‌ها و کلان‌داده

معلمی که شاگردان و والدین و همکارانش او را ستایش می‌کنند، یک روز نامهٔ اخراج می‌گیرد. دلیل؟ یک الگوریتم ارزیابی، امتیاز او را پایین محاسبه کرده است. وقتی می‌پرسد این امتیاز چگونه به دست آمده، کسی نمی‌تواند توضیح دهد؛ نه مدیر مدرسه و نه اداره. مدل، محرمانه و پیچیده است و حکمش قطعی. کتی اونیل کتابش را با همین داستان واقعی آغاز می‌کند تا نشان دهد وقتی ریاضیات بی‌نظارت دربارهٔ زندگی آدم‌ها حکم می‌کند چه رخ می‌دهد.

اونیل منتقدی بیرونی نیست. او دکترای ریاضی دارد، استاد دانشگاه بوده، در یک صندوق پوشش ریسک در وال‌استریت مدل ساخته و سپس در صنعت تبلیغات اینترنتی کار کرده است. بحران مالی را از درون دید و دریافت که مدل‌های ریاضی، که قرار بود ریسک را مهار کنند، آن را پنهان و بزرگ کرده بودند. «سلاح‌های کشتار ریاضی» حاصل این سرخوردگی است: کتابی کوتاه، خشمگین و پرمثال که یکی از نخستین هشدارهای جدی دربارهٔ اخلاق داده بود و هنوز برای هر کسی که مدل می‌سازد یا از مدل استفاده می‌کند ضروری است.

مدل چیست و چه زمانی سلاح می‌شود؟

اونیل از مدلی شروع می‌کند که همه در ذهن داریم: برنامهٔ غذایی خانواده. او می‌داند فرزندانش چه دوست دارند، چه چیزی سالم است و بودجه چقدر است، و بر این پایه تصمیم می‌گیرد. هر مدل ساده‌سازی واقعیت است و سازنده‌اش انتخاب می‌کند چه چیزی مهم است و موفقیت یعنی چه. این انتخاب‌ها ارزشی‌اند، نه ریاضی.

او مدل خوب را با آمارهای ورزشی مثال می‌زند: داده‌ها مستقیم به عملکرد مربوط‌اند، همه می‌توانند آن‌ها را ببینند و مدل مدام با نتیجهٔ واقعی سنجیده و اصلاح می‌شود. در برابر آن، «سلاح کشتار ریاضی» سه ویژگی دارد. ابهام: کسی که دربارهٔ او حکم می‌شود نمی‌داند چگونه و چرا. مقیاس: مدل دربارهٔ هزاران یا میلیون‌ها نفر به کار می‌رود. و آسیب: نتیجه‌اش زندگی آدم‌ها را خراب می‌کند. هر جا این سه با هم جمع شوند، باید نگران بود.

جانشین‌ها: وقتی آنچه را می‌توان شمرد به جای آنچه مهم است می‌نشانیم

بیشتر چیزهایی که واقعاً می‌خواهیم بدانیم مستقیماً قابل اندازه‌گیری نیستند: آیا این معلم خوب است؟ این متقاضی وام را پس می‌دهد؟ این کارمند قابل اعتماد است؟ پس مدل‌سازان به «جانشین» رو می‌آورند: دادهٔ در دسترسی که گمان می‌رود با ویژگی اصلی همبسته باشد. نمرهٔ آزمون دانش‌آموزان به جای کیفیت معلم؛ کد پستی به جای اعتبار مالی.

مشکل اینجاست که جانشین‌ها هم نادقیق‌اند و هم ناعادلانه. کد پستی در عمل نشانهٔ درآمد و اغلب قومیت است و مدل را به شکلی غیرمستقیم تبعیض‌آمیز می‌کند، حتی اگر متغیر قومیت در آن نباشد. همچنین وقتی آدم‌ها بدانند با چه عددی سنجیده می‌شوند، همان عدد را بهینه می‌کنند نه هدف واقعی را. معلمی که شغلش به نمرهٔ آزمون وابسته است، برای آزمون درس می‌دهد یا در بدترین حالت، نمره‌ها را دست‌کاری می‌کند.

حلقه‌های بازخورد زهرآگین

مهم‌ترین بینش کتاب این است که مدل‌های بد خودشان را تأیید می‌کنند. یک مدل پیش‌بینی جرم را در نظر بگیرید که بر پایهٔ دستگیری‌های گذشته، گشت‌های پلیس را به محله‌های مشخصی می‌فرستد. حضور بیشتر پلیس یعنی ثبت بیشتر تخلف‌های کوچک، که خود به دادهٔ تازه‌ای تبدیل می‌شود و مدل را قانع می‌کند که آن محله واقعاً پرجرم است. محله‌های مرفه، که همان تخلف‌ها در آن‌ها ثبت نمی‌شود، در داده «امن» می‌مانند.

همین سازوکار در مدل‌های پیش‌بینی تکرار جرم دیده می‌شود. پرسش‌نامه‌ها دربارهٔ محل زندگی، سابقهٔ اعضای خانواده و دوستان می‌پرسند؛ چیزهایی که در دادگاه اجازهٔ طرحشان نیست. کسی که امتیاز پرخطر می‌گیرد، حکم سنگین‌تری می‌گیرد، پس از آزادی دشوارتر کار پیدا می‌کند و احتمال بازگشتش به جرم بالا می‌رود. مدل پیش‌بینی نمی‌کند؛ پیش‌بینی خود را می‌سازد. و چون نتیجه با پیش‌بینی جور درمی‌آید، هیچ‌کس خطا را نمی‌بیند.

رتبه‌بندی دانشگاه‌ها: مدلی که یک صنعت را تغییر داد

اونیل نشان می‌دهد که یک مدل می‌تواند واقعیتی را که قرار بود بسنجد دگرگون کند. وقتی مجله‌ای رتبه‌بندی سالانهٔ دانشگاه‌ها را آغاز کرد، چون «کیفیت آموزش» قابل اندازه‌گیری نبود، از جانشین‌هایی مثل نمرهٔ آزمون ورودی، نرخ پذیرش، نسبت استاد به دانشجو و میزان کمک‌های مالی دانش‌آموختگان استفاده کرد.

دانشگاه‌ها به‌سرعت یاد گرفتند این عددها را بهبود دهند. برخی برای پایین آوردن نرخ پذیرش، متقاضیان بیشتری را به ثبت‌نام تشویق کردند تا ردشان کنند؛ برخی داده‌ها را دست‌کاری کردند؛ و بسیاری در امکانات پرزرق‌وبرق سرمایه‌گذاری سنگین کردند. نکتهٔ مهم این بود که هزینهٔ تحصیل در فرمول رتبه‌بندی جایی نداشت، پس هیچ انگیزه‌ای برای مهار آن نبود و شهریه‌ها جهش کرد. آنچه در مدل نیست، در رقابت قربانی می‌شود.

تبلیغات هدفمند و شکار آسیب‌پذیرها

اونیل که خود در صنعت تبلیغات اینترنتی کار کرده، نشان می‌دهد که هدف‌گیری دقیق همیشه به سود مخاطب نیست. برخی مؤسسه‌های آموزشی انتفاعی و شرکت‌های وام‌دهی با بهرهٔ سنگین، آگاهانه سراغ کسانی می‌روند که داده‌هایشان نشانهٔ ناامیدی و آسیب‌پذیری است: بیکاران، مادران تنها، کسانی که تازه بحرانی را از سر گذرانده‌اند.

مدل‌ها «نقطهٔ درد» هر فرد را پیدا می‌کنند و پیام را دقیقاً بر آن می‌نشانند. از نگاه شرکت، این بهینه‌سازی بازده تبلیغ است؛ از نگاه جامعه، ماشینی است که به‌طور نظام‌مند کسانی را هدف می‌گیرد که کمترین توان دفاع از خود را دارند. همین داده‌ها می‌توانست برای رساندن کمک به همان افراد به کار رود. تفاوت در ریاضیات نیست، در هدفی است که برای مدل تعریف شده است.

از استخدام تا برنامهٔ شیفت

بازار کار یکی از میدان‌های اصلی این سلاح‌هاست. بسیاری از کارفرمایان بزرگ برای غربال متقاضیان از آزمون‌های شخصیت خودکار استفاده می‌کنند. اونیل داستان جوانی را می‌آورد که به دلیل پاسخ‌هایش در چنین آزمونی، بی‌آنکه بداند چرا، از چندین فروشگاه زنجیره‌ای پاسخ رد گرفت. این آزمون‌ها اغلب اعتبار علمی اندکی برای پیش‌بینی عملکرد دارند، اما ارزان و سریع‌اند.

مشکل اینجاست که مدل هرگز نمی‌فهمد چه کسی را به اشتباه رد کرده است. تیم ورزشی اگر بازیکن خوبی را از دست بدهد و او در تیم رقیب بدرخشد، خطایش را می‌بیند. کارفرما هرگز از سرنوشت ردشده‌ها باخبر نمی‌شود، پس مدل بدون بازخورد منفی، برای همیشه به خودش نمرهٔ قبولی می‌دهد. پس از استخدام نیز نرم‌افزارهای زمان‌بندی، شیفت‌ها را لحظه‌به‌لحظه با تقاضا تنظیم می‌کنند و برنامهٔ زندگی کارگران را چنان بی‌ثبات می‌کنند که مراقبت از فرزند، تحصیل یا شغل دوم ناممکن می‌شود. کارایی برای شرکت، آشوب برای کارگر است.

اعتبار، بیمه و جهان امتیازها

اونیل از امتیاز اعتباری سنتی با احتیاط دفاع می‌کند: نسبتاً شفاف است، بر رفتار مالی خود فرد تکیه دارد و قانون به افراد حق دیدن و اصلاحش را داده است. اما در کنار آن، صدها «امتیاز الکترونیکی» بی‌نظارت ساخته شده که از تاریخچهٔ مرور اینترنت، الگوی خرید و محل زندگی، دربارهٔ افراد حدس می‌زنند و در تبلیغات، قیمت‌گذاری و حتی پاسخ‌گویی به تماس مشتری به کار می‌روند.

این امتیازها نه با آنچه شما کرده‌اید، بلکه با آنچه «آدم‌هایی شبیه شما» کرده‌اند دربارهٔ شما حکم می‌کنند. نمونهٔ روشن او بیمهٔ خودرو است: در برخی بازارها، رانندهٔ بی‌تخلف با سابقهٔ اعتباری ضعیف، حق بیمه‌ای بیشتر از رانندهٔ پرتخلف با اعتبار خوب می‌پردازد. فقر، خود به دلیلی برای پرداخت بیشتر تبدیل می‌شود و افراد را عمیق‌تر در همان وضعیت نگه می‌دارد.

شهروند هدف‌گیری‌شده

فصل پایانیِ مثال‌ها به سیاست می‌پردازد. کارزارهای انتخاباتی با همان ابزارهای بازاریابی، رأی‌دهندگان را به دسته‌های بسیار ریز تقسیم می‌کنند و به هر دسته پیامی متفاوت می‌فرستند. نتیجه این است که دیگر گفت‌وگوی عمومی مشترکی وجود ندارد؛ هر کس نسخهٔ خودش از نامزد را می‌بیند و نمی‌داند به همسایه‌اش چه گفته شده است.

اونیل همچنین به قدرت سکوهای بزرگ اشاره می‌کند که با تغییرهای کوچک در آنچه به کاربران نشان می‌دهند، می‌توانند بر مشارکت و حال‌وهوای میلیون‌ها نفر اثر بگذارند، بی‌آنکه کسی از بیرون بتواند آن را بسنجد. ابهام در مقیاس بزرگ، حتی بدون نیت بد، خطری برای مردم‌سالاری است.

راه برون‌رفت

اونیل ضدریاضی یا ضدداده نیست. او می‌خواهد مدل‌ها را مسئول کنیم. نخست از سازندگان آغاز می‌کند و چیزی شبیه سوگند پزشکان برای دانشمندان داده پیشنهاد می‌دهد: پذیرفتن اینکه مدل‌ها اثر واقعی بر آدم‌ها دارند و فرض‌هایشان باید آشکار باشد. سپس خواهان ممیزی مستقل الگوریتم‌هاست: سنجش خروجی مدل برای گروه‌های مختلف، حتی وقتی درون آن جعبهٔ سیاه است.

او همچنین می‌گوید باید هزینه‌های پنهان را در حساب آورد. گاهی باید آگاهانه از مقداری دقت و کارایی چشم پوشید تا انصاف حفظ شود؛ همان‌طور که نظام حقوقی برخی شواهد را، با اینکه شاید مفید باشند، نمی‌پذیرد. و سرانجام قانون‌گذاری: حق افراد برای دانستن اینکه چه داده‌ای دربارهٔ آن‌ها به کار رفته و حق اعتراض به حکم ماشین.

ایده‌های کلیدی کتاب در یک نگاه

از کتاب تا عمل: همین هفته چه کنیم؟

اگر مدل می‌سازید یا از خروجی مدل برای تصمیم دربارهٔ آدم‌ها استفاده می‌کنید، این پرسش‌ها را به فرایند کار اضافه کنید:

نقد و محدودیت‌ها

کتاب بیشتر بر روایت و مثال تکیه دارد تا تحلیل نظام‌مند، و تقریباً همهٔ نمونه‌ها از ایالات متحده‌اند. خواننده باید خودش معادل‌های بومی را پیدا کند. برخی منتقدان نیز می‌گویند اونیل موارد شکست را برجسته کرده و به نمونه‌هایی که الگوریتم‌ها از قضاوت سلیقه‌ای و تبعیض‌آمیز انسان‌ها منصفانه‌تر عمل کرده‌اند کمتر پرداخته است. پرسش درست همیشه این است: مدل در مقایسه با چه چیزی بد است؟

همچنین راه‌حل‌های کتاب در قیاس با قوت تشخیص مسئله، کلی است و به دشواری‌های فنی تعریف «انصاف» که بعدها ادبیات گسترده‌ای پیدا کرد نمی‌پردازد. کتاب پیش از گسترش مدل‌های یادگیری عمیق بزرگ و هوش مصنوعی مولد نوشته شده است. با این همه، چارچوب سه‌گانهٔ ابهام، مقیاس و آسیب هنوز ساده‌ترین و کاراترین ابزار برای ارزیابی اولیهٔ هر سیستم تصمیم‌گیر خودکار است.

این کتاب برای چه کسانی است؟

پرسش‌هایی برای تأمل

سخن پایانی

اونیل می‌گوید کلان‌داده گذشته را رمزگذاری می‌کند، آینده را اختراع نمی‌کند. ساختن آینده‌ای بهتر به خیال اخلاقی نیاز دارد و این کاری است که فقط از انسان برمی‌آید.

برای مجموعه‌ای که علم داده و هوش مصنوعی را آموزش می‌دهد، این کتاب مکمل ضروری مهارت فنی است: دانستن اینکه چگونه مدل بسازیم کافی نیست؛ باید بدانیم چه مدلی را نباید ساخت.

این نوشته خلاصه و برداشت تحلیلی تیم بینش جدید از کتاب است و جای مطالعهٔ خود اثر را نمی‌گیرد.