سازمان غیرانتفاعی کريتيو کامنز که اوایل سال جاری چارچوبی را برای یک اکوسیستم باز هوش مصنوعی معرفی کرد، اکنون از فناوری «پرداخت در ازای خزش» (pay-to-crawl) حمایت کرده است. این سیستم به منظور خودکارسازی جبران خسارت محتوای وب‌سایت‌ها هنگام دسترسی ماشین‌ها، مانند خزنده‌های وب هوش مصنوعی، به آن‌ها طراحی شده است.

کريتيو کامنز (CC) بیشتر به خاطر پیشگامی در جنبش صدور مجوز شناخته شده است که به خالقان اجازه می‌دهد آثار خود را با حفظ حق چاپ به اشتراک بگذارند. در ماه جولای، این سازمان برنامه‌ای را برای ارائه یک چارچوب قانونی و فنی برای اشتراک‌گذاری مجموعه داده‌ها بین شرکت‌هایی که داده‌ها را کنترل می‌کنند و ارائه‌دهندگان هوش مصنوعی که می‌خواهند روی آن‌ها آموزش ببینند، اعلام کرد.

اکنون، این سازمان غیرانتفاعی به طور مشروط از سیستم‌های «پرداخت در ازای خزش» حمایت می‌کند و می‌گوید که «با احتیاط از آن حمایت می‌کند».

در یک پست وبلاگ آمده است: «اجرای مسئولانه «پرداخت در ازای خزش» می‌تواند راهی برای وب‌سایت‌ها باشد تا تولید و اشتراک‌گذاری محتوای خود را حفظ کنند و استفاده‌های جایگزین را مدیریت کنند و محتوا را در دسترس عموم نگه دارند، جایی که در غیر این صورت ممکن بود به اشتراک گذاشته نشود یا پشت دیوارهای پرداخت محدودتر ناپدید شود.»

ایده پشت «پرداخت در ازای خزش»، که توسط شرکت‌هایی مانند Cloudflare پیشگامی شده است، این است که هر بار که ربات‌های هوش مصنوعی برای جمع‌آوری محتوا جهت آموزش و به‌روزرسانی مدل‌ها، سایتی را خزش (scrape) می‌کنند، از آن‌ها هزینه دریافت شود.

در گذشته، وب‌سایت‌ها به خزنده‌های وب اجازه می‌دادند تا محتوای آن‌ها را برای فهرست شدن در موتورهای جستجو مانند گوگل، آزادانه ایندکس کنند. آن‌ها از این ترتیب سود می‌بردند زیرا سایت‌هایشان در نتایج جستجو نمایش داده می‌شد که بازدیدکننده و کلیک را جذب می‌کرد. با این حال، با فناوری هوش مصنوعی، این پویایی تغییر کرده است. پس از اینکه مصرف‌کننده پاسخ خود را از طریق یک چت‌بات هوش مصنوعی دریافت می‌کند، بعید است که روی منبع کلیک کند.

این تغییر برای ناشران ویرانگر بوده است و ترافیک جستجو را از بین برده است و هیچ نشانه‌ای از توقف آن دیده نمی‌شود.

از سوی دیگر، یک سیستم «پرداخت در ازای خزش» می‌تواند به ناشران کمک کند تا از ضربه‌ای که هوش مصنوعی به خط سود آن‌ها وارد کرده است، بهبود یابند. علاوه بر این، می‌تواند برای ناشران کوچک‌تر وب که قدرت مذاکره برای قراردادهای محتوای یک‌باره با ارائه‌دهندگان هوش مصنوعی را ندارند، بهتر عمل کند. قراردادهای بزرگی بین شرکت‌هایی مانند OpenAI و Condé Nast، Axel Springer و دیگران؛ و همچنین بین Perplexity و Gannett؛ Amazon و The New York Times؛ و Meta و ناشران مختلف رسانه‌ای، و غیره، و غیره منعقد شده است.

CC چندین شرط برای حمایت خود از «پرداخت در ازای خزش» ارائه کرد و خاطرنشان کرد که چنین سیستم‌هایی می‌توانند قدرت را در وب متمرکز کنند. همچنین می‌تواند به طور بالقوه دسترسی به محتوا را برای «محققان، سازمان‌های غیرانتفاعی، مؤسسات میراث فرهنگی، مربیان و سایر بازیگرانی که در جهت منافع عمومی کار می‌کنند» مسدود کند.

این سازمان مجموعه‌ای از اصول را برای «پرداخت در ازای خزش» مسئولانه پیشنهاد کرد، از جمله اینکه «پرداخت در ازای خزش» را به عنوان تنظیمات پیش‌فرض برای همه وب‌سایت‌ها قرار ندهند و از قوانین کلی برای وب اجتناب کنند. علاوه بر این، گفته شد که سیستم‌های «پرداخت در ازای خزش» باید امکان محدود کردن (throttling) و نه فقط مسدود کردن را فراهم کنند و دسترسی منافع عمومی را حفظ کنند. آن‌ها همچنین باید باز، قابل همکاری و با اجزای استاندارد ساخته شوند.

Cloudflare تنها شرکتی نیست که در فضای «پرداخت در ازای خزش» سرمایه‌گذاری می‌کند.

مایکروسافت نیز در حال ساخت یک بازار هوش مصنوعی برای ناشران است و استارتاپ‌های کوچک‌تر مانند ProRata.ai و TollBit نیز شروع به انجام این کار کرده‌اند. گروه دیگری به نام RSL Collective پروتکل جدیدی را برای صدور مجوز داده‌های هوش مصنوعی به نام Really Simple Licensing (RSL) معرفی کرد که مشخص می‌کند کدام بخش‌های یک وب‌سایت را خزنده‌ها می‌توانند دسترسی داشته باشند، اما از مسدود کردن واقعی خزنده‌ها خودداری می‌کند. Cloudflare، Akamai و Fastly از آن زمان RSL را پذیرفته‌اند که توسط Yahoo، Ziff Davis، O’Reilly Media و دیگران پشتیبانی می‌شود.

CC نیز در میان کسانی بود که حمایت خود را از RSL اعلام کرد، در کنار CC Signals، پروژه گسترده‌تر آن برای توسعه فناوری و ابزارها برای عصر هوش مصنوعی.