یک روز در ماه نوامبر، استراتژیست محصولی که او را میشل (اسم واقعی‌اش نیست) صدا می‌زنیم، وارد حساب لینکدین خود شد و جنسیت خود را به مرد تغییر داد. او همچنین اسم خود را به مایکل تغییر داد، این را به تک‌کرانچ گفت.

او در آزمایشی به نام #WearthePants شرکت می‌کرد که در آن زنان این فرضیه را آزمایش کردند که الگوریتم جدید لینکدین علیه زنان سوگیری دارد.

برای ماه‌ها، برخی کاربران سرشناس لینکدین از افت تعامل و بازدید پست‌هایشان در این شبکه اجتماعی با تمرکز بر مشاغل شکایت داشتند. این اتفاق پس از آن رخ داد که معاون مهندسی شرکت، تیم یورکا، در ماه اوت گفت که این پلتفرم "اخیراً" از مدل‌های زبانی بزرگ (LLM) برای کمک به نمایش محتوای مفید برای کاربران استفاده کرده است.

میشل (که هویتش برای تک‌کرانچ مشخص است) به تغییرات مشکوک بود زیرا بیش از ۱۰ هزار دنبال‌کننده دارد و برای همسرش که حدود ۲ هزار دنبال‌کننده دارد، پست می‌نویسد. با این حال، او و همسرش با وجود دنبال‌کنندگان بیشتر او، تعداد بازدید پست‌های مشابهی دریافت می‌کردند.

او گفت: «تنها متغیر قابل توجه، جنسیت بود.»

مارلین جوینر، یکی از بنیان‌گذاران، نیز جنسیت پروفایل خود را تغییر داد. او به مدت دو سال به طور مداوم در لینکدین پست گذاشته و متوجه شده بود که در چند ماه گذشته، دیده شدن پست‌هایش کاهش یافته است. او به تک‌کرانچ گفت: «من جنسیتم را در پروفایلم از زن به مرد تغییر دادم و بازدیدهایم ظرف یک روز ۲۳۸ درصد افزایش یافت.»

مگان کورنیش نتایج مشابهی را گزارش کرد، همانطور که رزی تیلور، جسیکا دویل مک‌کِس، ابی نیدام، فلیسیتی منزیز، لوسی فرگوسن، و غیره نیز گزارش کردند.

لینکدین گفت که «الگوریتم و سیستم‌های هوش مصنوعی آن از اطلاعات جمعیتی مانند سن، نژاد یا جنسیت به عنوان سیگنالی برای تعیین دیده شدن محتوا، پروفایل یا پست‌ها در فید استفاده نمی‌کنند» و «یک نمای کلی از به‌روزرسانی‌های فید شما که کاملاً نماینده یا برابر در دسترسی نیستند، به طور خودکار به معنای رفتار ناعادلانه یا سوگیری» در فید نیست.

کارشناسان الگوریتم شبکه‌های اجتماعی موافقند که تبعیض جنسیتی آشکار ممکن است علت نبوده باشد، اگرچه سوگیری ضمنی ممکن است در کار باشد.

براندیس مارشال، مشاور اخلاق داده، به تک‌کرانچ گفت: «پلتفرم‌ها «سمفونی پیچیده‌ای از الگوریتم‌ها هستند که به طور همزمان و مداوم اهرم‌های ریاضی و اجتماعی خاصی را می‌کشند.»

او گفت: «تغییر عکس پروفایل و نام فرد تنها یکی از این اهرم‌هاست» و افزود که الگوریتم همچنین تحت تأثیر عواملی مانند نحوه تعامل کاربر با محتوای دیگر قرار می‌گیرد.

مارشال گفت: «آنچه ما نمی‌دانیم، تمام اهرم‌های دیگری است که این الگوریتم را وادار می‌کند محتوای یک نفر را بر محتوای دیگری اولویت دهد. این مسئله پیچیده‌تر از آن چیزی است که مردم تصور می‌کنند.»

کدنویسی مردانه

آزمایش #WearthePants با دو کارآفرین - سیندی گالوپ و جین ایوانز - آغاز شد.

آنها از دو مرد خواستند تا همان محتوا را مانند آنها بسازند و منتشر کنند، کنجکاو بودند بدانند آیا جنسیت دلیل این است که بسیاری از زنان افت تعامل را تجربه می‌کنند. گالوپ و ایوانز هر دو دنبال‌کنندگان قابل توجهی دارند - بیش از ۱۵۰ هزار نفر در مجموع در مقایسه با دو مرد که در آن زمان حدود ۹۴۰۰ نفر داشتند.

گالوپ گزارش داد که پست او تنها به ۸۰۱ نفر رسیده است، در حالی که مردی که دقیقاً همان محتوا را منتشر کرده بود، به ۱۰۴۰۸ نفر رسیده است، که بیش از ۱۰۰ درصد دنبال‌کنندگانش بود. سپس زنان دیگر شرکت کردند. برخی، مانند جوینر، که از لینکدین برای بازاریابی کسب و کار خود استفاده می‌کند، نگران شدند.

جوینر گفت: «من واقعاً دوست دارم ببینم لینکدین مسئولیت هرگونه سوگیری که ممکن است در الگوریتم آن وجود داشته باشد را بپذیرد.»

اما لینکدین، مانند سایر پلتفرم‌های جستجو و شبکه‌های اجتماعی وابسته به LLM، جزئیات کمی در مورد نحوه آموزش مدل‌های انتخاب محتوا ارائه می‌دهد.

مارشال گفت که بیشتر این پلتفرم‌ها «ذاتاً دیدگاه سفیدپوست، مردانه و غربی را در خود جای داده‌اند» به دلیل اینکه چه کسانی مدل‌ها را آموزش داده‌اند. محققان شواهدی از سوگیری‌های انسانی مانند تبعیض جنسیتی و نژادی را در مدل‌های محبوب LLM پیدا می‌کنند زیرا مدل‌ها بر روی محتوای تولید شده توسط انسان آموزش دیده‌اند و انسان‌ها اغلب مستقیماً در پس از آموزش یا یادگیری تقویتی دخیل هستند.

با این حال، نحوه پیاده‌سازی سیستم‌های هوش مصنوعی توسط هر شرکت منفرد در پرده راز «جعبه سیاه الگوریتمی» پنهان است.

لینکدین می‌گوید که آزمایش #WearthePants نتوانسته است سوگیری جنسیتی علیه زنان را نشان دهد. بیانیه اوت یورکا گفت - و ساکشی جین، رئیس هوش مصنوعی مسئول و حاکمیت لینکدین، در پست دیگری در نوامبر تکرار کرد - که سیستم‌های آن از اطلاعات جمعیتی به عنوان سیگنالی برای دیده شدن استفاده نمی‌کنند.

در عوض، لینکدین به تک‌کرانچ گفت که میلیون‌ها پست را آزمایش می‌کند تا کاربران را به فرصت‌ها متصل کند. این شرکت گفت که داده‌های جمعیتی تنها برای چنین آزمایش‌هایی استفاده می‌شود، مانند اینکه آیا پست‌های «خالقان مختلف به طور مساوی رقابت می‌کنند و تجربه اسکرول کردن، آنچه در فید می‌بینید، در بین مخاطبان ثابت است».

لینکدین برای تحقیق و تنظیم الگوریتم خود برای تلاش برای ارائه تجربه‌ای کمتر جانبدارانه برای کاربران شناخته شده است.

مارشال گفت که متغیرهای ناشناخته احتمالاً توضیح می‌دهند که چرا برخی از زنان پس از تغییر جنسیت پروفایل خود به مرد، افزایش بازدید را تجربه کردند. به عنوان مثال، شرکت در یک روند ویروسی می‌تواند منجر به افزایش تعامل شود؛ برخی حساب‌ها پس از مدت طولانی دوباره پست می‌گذاشتند و الگوریتم ممکن بود آنها را برای این کار پاداش دهد.

سبک لحن و نگارش نیز ممکن است نقش داشته باشد. میشل، به عنوان مثال، گفت که در هفته‌ای که به عنوان «مایکل» پست گذاشت، لحن خود را کمی تنظیم کرد و به سبکی ساده‌تر و مستقیم‌تر نوشت، همانطور که برای همسرش می‌نویسد. او گفت که در آن زمان بازدیدها ۲۰۰ درصد و تعاملات ۲۷ درصد افزایش یافت.

او نتیجه گرفت که سیستم «به صراحت جنسیت‌گرا» نبوده است، اما به نظر می‌رسد سبک‌های ارتباطی که معمولاً با زنان مرتبط هستند را «نماینده‌ای از ارزش کمتر» تلقی می‌کرده است.

سبک‌های نگارش مردانه کلیشه‌ای، مختصرتر تلقی می‌شوند، در حالی که کلیشه‌های سبک نگارش برای زنان نرم‌تر و احساسی‌تر تصور می‌شوند. اگر یک LLM برای تقویت نگارشی که با کلیشه‌های مردانه مطابقت دارد آموزش دیده باشد، این یک سوگیری ضمنی و ظریف است. و همانطور که قبلاً گزارش کردیم، محققان تشخیص داده‌اند که بیشتر LLM‌ها مملو از این سوگیری‌ها هستند.

سارا دین، استادیار علوم کامپیوتر در کرنل، گفت که پلتفرم‌هایی مانند لینکدین اغلب از کل پروفایل‌ها، علاوه بر رفتار کاربر، هنگام تعیین محتوای مورد ترویج استفاده می‌کنند. این شامل مشاغل در پروفایل کاربر و نوع محتوایی است که معمولاً با آن تعامل دارد.

دین گفت: «جمعیت‌شناسی فرد می‌تواند بر «هر دو طرف» الگوریتم تأثیر بگذارد - آنچه آنها می‌بینند و چه کسی آنچه را که پست می‌کنند می‌بیند.»

لینکدین به تک‌کرانچ گفت که سیستم‌های هوش مصنوعی آن صدها سیگنال را برای تعیین آنچه به کاربر ارائه می‌شود، از جمله بینش‌هایی از پروفایل، شبکه و فعالیت فرد، بررسی می‌کنند.

سخنگوی این شرکت گفت: «ما آزمایش‌های مداومی را برای درک اینکه چه چیزی به افراد کمک می‌کند تا مرتبط‌ترین و به‌روزترین محتوا را برای مشاغل خود پیدا کنند، انجام می‌دهیم.» «رفتار اعضا نیز فید را شکل می‌دهد، آنچه افراد کلیک می‌کنند، ذخیره می‌کنند و با آن تعامل دارند روز به روز تغییر می‌کند، و چه فرمت‌هایی را دوست دارند یا دوست ندارند. این رفتار همچنین به طور طبیعی آنچه را که در کنار به‌روزرسانی‌های ما در فیدها ظاهر می‌شود، شکل می‌دهد.»

چاد جانسون، یک کارشناس فروش فعال در لینکدین، این تغییرات را توصیف کرد که لایک‌ها، نظرات و بازنشرها را در اولویت پایین قرار می‌دهد. جانسون در پستی نوشت: «سیستم LLM دیگر به اینکه چقدر پست می‌گذارید یا چه ساعتی از روز اهمیتی نمی‌دهد. بلکه به این اهمیت می‌دهد که آیا نگارش شما درک، وضوح و ارزش را نشان می‌دهد.»

همه اینها تعیین علت واقعی هرگونه نتیجه #WearthePants را دشوار می‌کند.

مردم فقط الگوریتم را دوست ندارند

با این حال، به نظر می‌رسد بسیاری از مردم، در هر دو جنسیت، یا الگوریتم جدید لینکدین را دوست ندارند یا آن را درک نمی‌کنند - هرچه که باشد.

شایلی واکلو، مشاور علم داده، به تک‌کرانچ گفت که او به مدت پنج سال به طور متوسط حداقل یک پست در روز منتشر کرده و قبلاً هزاران بازدید می‌دیده است. اکنون او و همسرش خوش‌شانس هستند که چند صد بازدید می‌بینند. او گفت: «این برای تولیدکنندگان محتوا با دنبال‌کنندگان وفادار زیاد، دلسردکننده است.»

یک مرد به تک‌کرانچ گفت که در چند ماه گذشته حدود ۵۰ درصد افت تعامل داشته است. با این حال، مرد دیگری گفت که در بازه زمانی مشابه، بازدید و دسترسی پست‌هایش بیش از ۱۰۰ درصد افزایش یافته است. او به تک‌کرانچ گفت: «این عمدتاً به این دلیل است که من در مورد موضوعات خاص برای مخاطبان خاص می‌نویسم، که همان چیزی است که الگوریتم جدید پاداش می‌دهد.» و افزود که مشتریانش نیز افزایش مشابهی را تجربه می‌کنند.

اما در تجربه مارشال، او که سیاه‌پوست است، معتقد است پست‌های مربوط به تجربیاتش نسبت به پست‌های مربوط به نژادش عملکرد ضعیف‌تری دارند. او گفت: «اگر زنان سیاه‌پوست تنها زمانی تعامل دریافت کنند که در مورد زنان سیاه‌پوست صحبت می‌کنند، اما نه زمانی که در مورد تخصص خاص خود صحبت می‌کنند، آنگاه این یک سوگیری است.»

دین، محقق، معتقد است که الگوریتم ممکن است به سادگی «هر سیگنالی را که در حال حاضر وجود دارد» تقویت کند. ممکن است پست‌های خاصی را پاداش دهد، نه به دلیل جمعیت‌شناسی نویسنده، بلکه به دلیل سابقه بیشتری از پاسخ به آنها در سراسر پلتفرم. در حالی که مارشال ممکن است به حوزه دیگری از سوگیری ضمنی برخورد کرده باشد، شواهد حکایتی او برای تعیین قطعی آن کافی نیست.

لینکدین بینش‌هایی در مورد اینکه چه چیزی در حال حاضر خوب عمل می‌کند، ارائه داد. این شرکت گفت که پایگاه کاربران رشد کرده است و در نتیجه، پست‌گذاری ۱۵ درصد سال به سال و نظرات ۲۴ درصد سال به سال افزایش یافته است. این شرکت گفت: «این به معنای رقابت بیشتر در فید است.» پست‌های مربوط به بینش‌های حرفه‌ای و درس‌های شغلی، اخبار و تحلیل‌های صنعتی، و محتوای آموزشی یا آموزنده در مورد کار، تجارت و اقتصاد همگی عملکرد خوبی دارند.

اگر چیزی باشد، مردم فقط گیج شده‌اند. میشل گفت: «من شفافیت می‌خواهم.»

با این حال، از آنجایی که الگوریتم‌های انتخاب محتوا همیشه اسرار شرکت‌ها را به شدت حفظ کرده‌اند و شفافیت می‌تواند منجر به سوءاستفاده از آنها شود، این یک درخواست بزرگ است. درخواستی که بعید است هرگز برآورده شود.

این مقاله برای تصحیح املای نام واکلو به‌روزرسانی شد.

تنوع، شمول و برابری

باشه، قضیه الگوریتم لینکدین چیه؟