سوگیری در هوش مصنوعی دقیقاً چیست؟

سوگیری در هوش مصنوعی دقیقاً چیست؟

در ساده‌ترین تعریف، سوگیری زمانی رخ می‌دهد که یک سیستم هوش مصنوعی به‌طور نظام‌مند برای برخی افراد یا گروه‌ها نتیجه‌ای متفاوت و بالقوه زیان‌بار ایجاد کند.

به گزارش خبرگزاری پرشین آنلاین، البته هر تفاوتی میان خروجی‌های یک مدل الزاماً به معنای تبعیض نیست. گاهی تفاوت نتایج از تفاوت‌های واقعی در داده‌ها ناشی می‌شود؛ گاهی هم معیاری آماری ممکن است برای یک کاربرد مناسب باشد، اما برای کاربردی دیگر نه. ازاین‌رو، تشخیص سوگیری به بررسی دقیق داده‌ها، هدف سیستم، روش ارزیابی و پیامدهای واقعی تصمیم‌ها نیاز دارد.

یکی از برداشت‌های نادرست این است که چون یک مدل از فرمول‌های ریاضی استفاده می‌کند، نتیجه‌اش حتماً عینی و بی‌طرف است. ریاضیات می‌تواند تصمیم‌گیری را منظم‌تر کند، اما تضمین نمی‌کند مسئله‌ای که برای مدل تعریف شده یا داده‌ای که در اختیارش قرار گرفته، خود بی‌طرف باشد.

سوگیری از کجا وارد سیستم هوش مصنوعی می‌شود؟

سوگیری ممکن است در هر مرحله از چرخه عمر یک سیستم شکل بگیرد؛ از انتخاب مسئله و گردآوری داده تا آموزش مدل، ارزیابی آن و حتی نحوه استفاده انسان‌ها از خروجی.

۱. سوگیری در داده‌های آموزشی

مدل‌های یادگیری ماشین از الگوهای موجود در داده‌ها می‌آموزند. اگر داده‌ها نماینده مناسبی از جامعه یا محیط واقعی نباشند، عملکرد مدل نیز ممکن است میان گروه‌های مختلف نابرابر باشد.

برای مثال، اگر سامانه تشخیص تصویر با مجموعه‌ای آموزش ببیند که بعضی گروه‌های جمعیتی در آن کمتر حضور دارند، ممکن است برای شناسایی اعضای آن گروه‌ها عملکرد ضعیف‌تری داشته باشد.

مشکل فقط کمبود داده نیست. کیفیت پایین داده‌ها، برچسب‌گذاری نادرست، قدیمی‌بودن اطلاعات و حتی شیوه تعریف متغیرها نیز می‌تواند بر نتیجه اثر بگذارد.

۲. سوگیری در انتخاب نمونه

گاهی مسئله از اینجا آغاز می‌شود که چه کسانی اصلاً وارد مجموعه داده شده‌اند. اگر یک نظرسنجی آنلاین فقط پاسخ افرادی را ثبت کند که به اینترنت دسترسی مناسب دارند، نمی‌توان بدون بررسی بیشتر نتایج آن را نماینده کل جامعه دانست. در سامانه‌های هوش مصنوعی نیز داده‌ای که برخی گروه‌ها را کمتر یا بیشتر از واقعیت بازنمایی کند، می‌تواند تصویری ناقص از جامعه بسازد.

۳. سوگیری در طراحی هدف

حتی اگر داده‌ها مناسب باشند، انتخاب هدفی که مدل باید بهینه کند می‌تواند نتیجه را تغییر دهد.

فرض کنید شرکتی بخواهد سامانه‌ای برای گزینش نیروی کار بسازد و از مدل بخواهد افرادی را پیدا کند که «شبیه کارکنان موفق گذشته» هستند. اگر ساختار نیروی انسانی در گذشته متوازن نبوده باشد، چنین معیاری ممکن است مدل را به بازتولید همان الگوها سوق دهد.

در این حالت، مشکل لزوماً در یک خط کد مشخص نیست؛ ممکن است مسئله از تعریف «موفقیت» و تبدیل آن به معیاری محاسباتی آغاز شده باشد.

وقتی گذشته وارد الگوریتم می‌شود

یکی از نمونه‌های شناخته‌شده سوگیری در استخدام، به سامانه آزمایشی آمازون مربوط است. بر اساس گزارش رویترز در سال ۲۰۱۸، این شرکت ابزاری برای بررسی رزومه‌ها ساخته بود که با استفاده از داده‌های مربوط به متقاضیان سال‌های گذشته، نامزدها را رتبه‌بندی می‌کرد. در جریان آزمایش مشخص شد سامانه با رزومه‌هایی که نشانه‌هایی از زن‌بودن متقاضی داشتند، برخورد نامطلوبی می‌کند؛ مسئله‌ای که به الگوهای موجود در داده‌های تاریخی نسبت داده شد. آمازون در نهایت این پروژه را کنار گذاشت.

این نمونه نکته‌ای مهم را نشان می‌دهد: مدلی که از گذشته برای پیش‌بینی آینده استفاده می‌کند، ممکن است فقط الگوهای موفقیت را نیاموزد؛ بلکه بخشی از نابرابری‌های گذشته را هم بازتولید کند.

سوگیری در بانک‌ها و اعتبارسنجی

حوزه مالی یکی دیگر از عرصه‌هایی است که تصمیم‌های الگوریتمی در آن پیامدهای جدی دارند. سامانه‌های اعتبارسنجی ممکن است از اطلاعات گوناگون برای برآورد احتمال بازپرداخت وام استفاده کنند. اما اگر متغیرهای انتخاب‌شده یا داده‌های تاریخی با شرایط اجتماعی و اقتصادی خاصی درآمیخته باشند، امکان دارد تفاوت‌هایی ناموجه میان گروه‌های مختلف ایجاد شود.

به همین دلیل، بررسی «دقت کلی» مدل کافی نیست. باید پرسید این دقت برای چه گروه‌هایی به دست آمده و نرخ خطا برای هر گروه چگونه است.

وقتی الگوریتم وارد نظام قضایی می‌شود

از بحث‌برانگیزترین نمونه‌های سوگیری الگوریتمی، ابزارهای ارزیابی احتمال تکرار جرم هستند. در سال ۲۰۱۶، پژوهشی از سوی ProPublica درباره ابزار COMPAS در فلوریدا، با بررسی بیش از ۱۰ هزار پرونده، تفاوت‌هایی را در نوع خطاهای سامانه میان متهمان سیاه‌پوست و سفیدپوست گزارش کرد. برای نمونه، در داده‌های بررسی‌شده، متهمان سیاه‌پوستی که بعداً مرتکب جرم مجدد نشدند، تقریباً دو برابر بیشتر از متهمان سفیدپوست مشابه در گروه پرخطر طبقه‌بندی شده بودند. در مقابل، متهمان سفیدپوستی که بعداً مرتکب جرم مجدد شدند، بیشتر از متهمان سیاه‌پوست در گروه کم‌خطر قرار گرفته بودند.

این پرونده نشان داد که بحث «عدالت الگوریتمی» ساده نیست. یک سیستم ممکن است بر اساس یک معیار آماری، عملکردی مشابه برای دو گروه داشته باشد، اما از نظر معیاری دیگر تفاوت معناداری نشان دهد. بنابراین، توصیف یک الگوریتم به‌عنوان «دقیق» به‌تنهایی برای ارزیابی عدالت آن کافی نیست.

آیا سوگیری فقط به الگوریتم‌های قدیمی مربوط است؟

با گسترش مدل‌های زبانی بزرگ و هوش مصنوعی مولد، مسئله سوگیری شکل تازه‌ای پیدا کرده است. مدل‌های زبانی از حجم عظیمی از متن‌ها و داده‌های انسانی می‌آموزند و ممکن است کلیشه‌های موجود در این داده‌ها را بازتاب دهند.

گزارش شاخص هوش مصنوعی استنفورد در سال ۲۰۲۵ نیز به پژوهش‌هایی اشاره می‌کند که نشان می‌دهند حتی مدل‌هایی که برای کاهش سوگیری طراحی شده‌اند، ممکن است در برخی آزمون‌ها همچنان الگوهای سوگیرانه ضمنی نشان دهند؛ از جمله ارتباط‌های کلیشه‌ای میان جنسیت، شغل و بعضی گروه‌های اجتماعی.

این به معنای آن نیست که هر پاسخ یک مدل زبانی الزاماً سوگیرانه است؛ بلکه نشان می‌دهد ارزیابی و آزمون مداوم چنین سیستم‌هایی ضرورت دارد.

چگونه می‌توان سوگیری هوش مصنوعی را کاهش داد؟

راه‌حل جادویی و واحدی برای حذف کامل سوگیری وجود ندارد، اما می‌توان با اقداماتی خطر آن را کاهش داد.

داده‌ها را پیش از آموزش بررسی کنید

یکی از نخستین گام‌ها، بررسی کیفیت، نمایندگی و ساختار داده‌هاست. توسعه‌دهندگان باید بدانند داده از کجا آمده، چه گروه‌هایی را دربرمی‌گیرد، چه گروه‌هایی کمتر دیده می‌شوند و هنگام برچسب‌گذاری چه خطاهایی ممکن است رخ داده باشد.

عملکرد مدل را برای گروه‌های مختلف بسنجید

میانگین دقت مدل ممکن است تصویری ناقص ارائه دهد. در صورت ارتباط با کاربرد، باید شاخص‌هایی مانند نرخ مثبت کاذب و منفی کاذب و دیگر معیارهای عملکرد برای گروه‌های مختلف نیز بررسی شوند.

انسان را از فرایند حذف نکنید

در تصمیم‌های حساس، اتکا به خروجی الگوریتم به‌عنوان حقیقت نهایی می‌تواند خطرناک باشد. در بسیاری از کاربردهای پرریسک، خروجی هوش مصنوعی باید یکی از ورودی‌های تصمیم‌گیری انسانی باشد، نه جایگزین کامل قضاوت انسان.

البته «نظارت انسانی» به‌تنهایی کافی نیست. اگر تصمیم‌گیرنده بدون بررسی، هر خروجی الگوریتم را تأیید کند، حضور انسان عملاً مسئله را حل نمی‌کند.

مدل را پس از عرضه هم ارزیابی کنید

سوگیری فقط هنگام ساخت مدل اهمیت ندارد. داده‌های محیط واقعی تغییر می‌کنند، کاربران رفتارهای تازه‌ای نشان می‌دهند و شرایطی پیش می‌آید که هنگام آموزش مدل وجود نداشته است. چارچوب مدیریت ریسک هوش مصنوعی NIST نیز بر ارزیابی، پایش و مستندسازی مستمر تأکید دارد و توصیه می‌کند عملکرد و ریسک‌های سیستم پس از استقرار هم دنبال شوند.

سوگیری همیشه عمدی نیست

یکی از نکته‌های مهم درباره سوگیری هوش مصنوعی این است که برای ایجاد نتیجه‌ای تبعیض‌آمیز، لزوماً به برنامه‌نویسی متعصب یا الگوریتمی با «قصد» تبعیض نیاز نیست.

NIST سه دسته مهم از سوگیری را مطرح می‌کند: سوگیری سیستمی، سوگیری محاسباتی و آماری و سوگیری شناختی انسانی. این سوگیری‌ها ممکن است حتی بدون قصد تبعیض‌آمیز شکل بگیرند.

به بیان ساده، ممکن است هیچ‌کس تصمیم نگرفته باشد گروهی خاص نادیده گرفته شود؛ بااین‌حال، ترکیب داده‌های ناقص، هدف نامناسب، طراحی نادرست، محدودیت‌های فنی و شیوه استفاده از خروجی مدل می‌تواند در نهایت چنین نتیجه‌ای ایجاد کند.

آینده هوش مصنوعی؛ بی‌طرفی یا مسئولیت‌پذیری؟

شاید انتظار «بی‌طرفی مطلق» از هوش مصنوعی از ابتدا انتظار دقیقی نباشد. این فناوری در خلأ اجتماعی ساخته نمی‌شود و نمی‌تواند با یک خط کد همه پیش‌داوری‌های موجود در جهان را از میان ببرد. هدف واقع‌بینانه‌تر، ساخت سیستم‌هایی است که سوگیری‌های احتمالی‌شان شناسایی، اندازه‌گیری و مستند شود و تا حد امکان زیر کنترل قرار گیرد.

NIST هوش مصنوعی قابل اعتماد را مجموعه‌ای از ویژگی‌ها می‌داند که در کنار انصاف و مدیریت سوگیری، اعتبار، قابلیت اطمینان، امنیت، شفافیت، توضیح‌پذیری، حفظ حریم خصوصی و پاسخ‌گویی را نیز دربرمی‌گیرد.

در نهایت، پرسش اصلی فقط این نیست که «آیا هوش مصنوعی سوگیری دارد؟»؛ پرسش‌های مهم‌تر این‌اند: سوگیری از کجا آمده، چه کسانی را تحت تأثیر قرار می‌دهد، چگونه می‌توان آن را اندازه گرفت و چه سازوکاری برای اصلاحش وجود دارد؟

هوش مصنوعی می‌تواند تصمیم‌گیری را سریع‌تر، ارزان‌تر و در بسیاری موارد دقیق‌تر کند؛ اما سرعت و مقیاس بالا ممکن است خطا را نیز سریع‌تر و گسترده‌تر کند. هرچه الگوریتم‌ها نقش بیشتری در تصمیم‌های روزمره ما پیدا کنند، شناخت سازوکار سوگیری آن‌ها نیز اهمیت بیشتری خواهد یافت.

مسئولیت‌پذیری در هوش مصنوعی از پرسشی ساده آغاز می‌شود: اگر انسانی چنین تصمیمی می‌گرفت، از او می‌خواستیم توضیح دهد چرا آن را گرفته است؛ پس چرا از یک الگوریتم انتظار کمتری داشته باشیم؟

منابع مورد استفاده

۱. NIST AI Risk Management Framework (AI RMF) و مطالب رسمی مؤسسه ملی استاندارد و فناوری آمریکا درباره سوگیری، انصاف و ویژگی‌های هوش مصنوعی قابل اعتماد ۲. گزارش رویترز درباره ابزار آزمایشی استخدام مبتنی بر هوش مصنوعی آمازون و مسئله سوگیری جنسیتی، ۲۰۱۸ ۳. گزارش ProPublica درباره ابزار COMPAS و تفاوت الگوهای خطا در ارزیابی احتمال تکرار جرم، ۲۰۱۶ ۴. Stanford AI Index Report 2025، بخش هوش مصنوعی مسئولانه

57