خطة إحدى الشركات الملتوية لإيقاف مكاشطات الويب من الذكاء الاصطناعي من سرقة المحتوى الخاص بك

الذكاء الاصطناعي سرقة المحتوى الخاص بك. نحن نعلم أن هذه هي الطريقة التي بنت بها شركات الذكاء الاصطناعى أعمالها ذات القيمة العالية-عن طريق كشط الويب واستخدام بياناتك لتدريب chatbots.

تجريف الويب ليس جديدًا. في الماضي ، يمكن أن تعتمد مواقع الويب على بروتوكولات بسيطة مثل robots.txt لتحديد ما يمكن أن تستخدمه ، ولا يمكن استخدامه ، من قبل زحفات الويب. تم احترام هذه الإرشادات من قبل الشركات التي تقوم بالتجزئة ، على سبيل المثال ، ببناء نتائج لمحركات البحث. شركات الذكاء الاصطناعى ، ومع ذلك ، لا تلتزم بهذا العقد الاجتماعي وتتجاهل تلك التعليمات.

ابتكرت CloudFlare ، وهي خدمة شبكات عالمية تساعد بعضًا من أكبر مواقع الويب في العالم على تقديم المحتوى للمستخدمين ، خطة جديدة للتعامل مع كاشطات الويب لشركات AI. والفكرة ملتوية بشكل إيجابي بقدر ما هي عبقرية.

في جديد منشور المدونة، شاركت Cloudflare كيف أصبحت الآن “محاصرة الروبوتات الخاطئة في متاهة منظمة العفو الدولية”. في الأساس ، سيتم إفساد الروبوتات التي لا تتبع القواعد الموضوعة لهم عبر بروتوكولات مثل Robots.txt ، وهو ملف نصي بسيط يضع ما يسمح به لزحفات الويب بالقيام به على الموقع ، من أجل إضاعة الوقت والموارد للشركة المسؤولة عن الروبوت.

وقالت Cloudflare في منشورها: “لقد انفجر المحتوى الذي تم إنشاؤه من الذكاء الاصطناعى … في الوقت نفسه ، شهدنا أيضًا انفجارًا للزحفات الجديدة التي تستخدمها شركات الذكاء الاصطناعى لتكشفي بيانات التدريب النموذجي”. “تقوم AI Crawlers بإنشاء أكثر من 50 مليار طلب لشبكة CloudFlare كل يوم ، أو أقل من 1 ٪ من جميع طلبات الويب التي نراها.”

يقول Cloudflare إنه من قبل فقط منعت AI Web Crawlers و Clugers. ومع ذلك ، فقد نبهت ذلك أولئك الذين يقفون وراء الروبوتات بحيث تم رفض وصولهم ، ونتيجة لذلك سوف يقومون بتغيير الاستراتيجيات من أجل مواصلة حملاتهم الكشط.

لذلك ، توصل CloudFlare إلى فكرة لبناء Honeypot: سلسلة من صفحات الويب المزيفة التي تم إنشاؤها بمحتوى تم إنشاؤه من الذكاء الاصطناعى.

حقيقة أن CloudFlare تستخدم المحتوى الذي تم إنشاؤه من الذكاء الاصطناعى لمحاربة كاشطات الويب من الذكاء الاصطناعي ليس فقط من أجل schadenfreude. عندما تتدرب الذكاء الاصطناعى على المحتوى الذي تم إنشاؤه من الذكاء الاصطناعى ، فإنه في الواقع تتحلل نموذج الذكاء الاصطناعي نفسه. الصناعة لديها حتى مصطلح لها: “انهيار النموذج”. تتأكد CloudFlare بشكل أساسي من أن الروبوتات التي تكسر القواعد تعاقب على القيام بذلك.

منشور CloudFlare يدخل في التفاصيل الفنية لبناء متاهة الذكاء الاصطناعي. ولكن ، جوهر ذلك هو أن Cloudflare ابتكر الأشياء بطريقة لا ينبغي أن يرى الزائر البشري صفحات مصيبة العسل الناتجة عن الذكاء الاصطناعى. بالإضافة إلى ذلك ، سوف يلاحظ البشر “هراء من الذكاء الاصطناعى” على هذه الصفحات. ومع ذلك ، فإن الروبوتات ستسقط في حفرة الأرنب ، مما يضيع الموارد الحسابية لأنها تمر أعمق وأعمق من خلال الصفحات المتعددة من المحتوى الذي تم إنشاؤه من الذكاء الاصطناعى.

يمكن لعملاء CloudFlare الاشتراك في استخدام متاهة الذكاء الاصطناعى الآن لحماية محتواهم من كاشطات الويب.