پس از مجموعه‌ای از حوادث نگران‌کننده سلامت روان که شامل چت‌بات‌های هوش مصنوعی بود، گروهی از دادستان‌های کل ایالتی نامه‌ای به شرکت‌های برتر صنعت هوش مصنوعی ارسال کرده‌اند و هشدار داده‌اند که خروجی‌های «توهم‌زا» را اصلاح کنند، در غیر این صورت با نقض قوانین ایالتی روبرو خواهند شد.

این نامه که توسط ده‌ها دادستان کل از ایالت‌ها و قلمروهای ایالات متحده با همکاری انجمن ملی دادستان‌های کل امضا شده است، از شرکت‌هایی از جمله مایکروسافت، OpenAI، گوگل و ۱۰ شرکت بزرگ دیگر هوش مصنوعی می‌خواهد تا اقدامات حفاظتی داخلی جدیدی را برای محافظت از کاربران خود اجرا کنند. Anthropic، Apple، Chai AI، Character Technologies، Luka، Meta، Nomi AI، Perplexity AI، Replika و xAI نیز در این نامه گنجانده شده‌اند.

این نامه در حالی منتشر می‌شود که نبردی بر سر مقررات هوش مصنوعی بین دولت‌های ایالتی و فدرال در جریان است.

این اقدامات حفاظتی شامل ممیزی‌های شفاف شخص ثالث از مدل‌های زبان بزرگ است که به دنبال نشانه‌هایی از ایده‌های توهم‌زا یا چاپلوسانه هستند، و همچنین رویه‌های جدید گزارش‌دهی حوادث که برای اطلاع‌رسانی به کاربران در هنگام تولید خروجی‌های مضر روانی توسط چت‌بات‌ها طراحی شده‌اند. این اشخاص ثالث، که می‌توانند شامل گروه‌های دانشگاهی و جامعه مدنی باشند، باید مجاز باشند تا «سیستم‌ها را قبل از انتشار بدون ترس از تلافی ارزیابی کنند و یافته‌های خود را بدون تأیید قبلی شرکت منتشر کنند»، این نامه بیان می‌کند.

این نامه می‌گوید: «هوش مصنوعی مولد (GenAI) پتانسیل تغییر مثبت نحوه کار جهان را دارد. اما همچنین باعث آسیب جدی شده است - و پتانسیل ایجاد آن را دارد - به ویژه برای جمعیت‌های آسیب‌پذیر»، با اشاره به تعدادی از حوادث پر سر و صدا در سال گذشته - از جمله خودکشی‌ها و قتل - که در آن خشونت به استفاده بیش از حد از هوش مصنوعی مرتبط بوده است. «در بسیاری از این حوادث، محصولات هوش مصنوعی مولد، خروجی‌های چاپلوسانه و توهم‌زا تولید کردند که یا توهمات کاربران را تشویق می‌کردند یا به کاربران اطمینان می‌دادند که توهم ندارند.»

دادستان‌های کل همچنین پیشنهاد می‌کنند که شرکت‌ها حوادث مربوط به سلامت روان را به همان روشی که شرکت‌های فناوری حوادث امنیت سایبری را مدیریت می‌کنند - با سیاست‌ها و رویه‌های گزارش‌دهی حوادث شفاف و روشن - برخورد کنند.

این نامه بیان می‌کند که شرکت‌ها باید «بازه زمانی تشخیص و پاسخگویی برای خروجی‌های چاپلوسانه و توهم‌زا» را توسعه داده و منتشر کنند. این نامه می‌گوید، مشابه نحوه مدیریت نقض داده‌ها در حال حاضر، شرکت‌ها همچنین باید «به سرعت، به وضوح و مستقیماً به کاربرانی که در معرض خروجی‌های بالقوه مضر چاپلوسانه یا توهم‌زا قرار گرفته‌اند، اطلاع دهند.»

درخواست دیگر این است که شرکت‌ها «آزمون‌های ایمنی منطقی و مناسب» را بر روی مدل‌های هوش مصنوعی مولد توسعه دهند تا «اطمینان حاصل شود که مدل‌ها خروجی‌های بالقوه مضر چاپلوسانه و توهم‌زا تولید نمی‌کنند.» این اضافه می‌کند که این آزمایش‌ها باید قبل از ارائه مدل‌ها به عموم انجام شوند.

TechCrunch قبل از انتشار نتوانست با گوگل، مایکروسافت یا OpenAI برای اظهار نظر تماس بگیرد. در صورت پاسخگویی شرکت‌ها، این مقاله به‌روزرسانی خواهد شد.

شرکت‌های فناوری که هوش مصنوعی را توسعه می‌دهند، در سطح فدرال با استقبال بسیار گرم‌تری روبرو شده‌اند.

دولت ترامپ اعلام کرده است که صراحتاً حامی هوش مصنوعی است و در طول سال گذشته، تلاش‌های متعددی برای تصویب تعلیق سراسری مقررات هوش مصنوعی در سطح ایالتی انجام شده است. تاکنون، این تلاش‌ها - تا حدی به دلیل فشار مقامات ایالتی - ناموفق بوده‌اند.

ترامپ که دلسرد نشده است، اعلام کرد دوشنبه قصد دارد هفته آینده فرمانی اجرایی را صادر کند که توانایی ایالت‌ها برای تنظیم هوش مصنوعی را محدود خواهد کرد. رئیس جمهور در پستی در Truth Social گفت که امیدوار است فرمان اجرایی او مانع از «نابود شدن هوش مصنوعی در ابتدای کار» شود.