تمتلك الشركة الأم لـ TikTok أداة تقوم بمسح الويب بشكل أسرع 25 مرة من OpenAI

تقوم شركة ByteDance، الشركة الأم لـ TikTok، بتجميع كميات هائلة من بيانات الويب بشكل أسرع من برامج زحف الويب الرئيسية الأخرى

ربما تخطط ByteDance لإصدار LLM الخاصة بها، وتستخدم بقوة زاحف الويب الخاص بها، “Bytespider”، لجمع البيانات لتدريب نماذجها، حسبما ذكرت Fortune.

ظهرت Bytespider على الساحة في شهر أبريل، ومنذ ذلك الحين، فإن معدل استهلاكها يضع أدوات استخراج الويب من OpenAI وGoogle وMeta وAnthropic في حالة من الخجل.

صرح Sam Crowther، الرئيس التنفيذي لشركة Kasada، وهي شركة متخصصة في إدارة الروبوتات، للمنفذ أن معدل تجريف Bytespider يزيد 25 مرة عن GPTbot الخاص بـ OpenAI و3000 مرة عن معدل ClaudeBot، وهو زاحف الويب الخاص بـ Anthropic لصالح Claude LLM. وقال كروثر أيضًا إن بيانات كاسادا شهدت “ارتفاعًا كبيرًا في نشاط الكشط” من Bytespider في الأسابيع الستة الماضية.

نظرًا لأن Bytespider يستهلك الويب بشراهة، تحاول حكومة الولايات المتحدة منع الوصول المحتمل لبيانات المستخدم الأمريكي إلى الحكومة الصينية. في أبريل، وقع الرئيس بايدن على مشروع قانون يفرض حظر TikTok ما لم يتم بيعه بواسطة ByteDance خلال العام. نظرًا للساعة الموقوتة لشركة ByteDance لبيع TikTok، فإن الشعور بالإلحاح يتناسب مع المعدل الهائل لنشاط الزحف على الويب – سواء للحصول على LLM، أو خوارزمية أفضل، أو أي شيء آخر، لا نعرف.

ويبقى أن نرى ما تخطط ByteDance للقيام به بكل بياناتها المستخرجة حديثًا. لكن TikTok أطلقت العديد من الميزات التي تعمل بالذكاء الاصطناعي للمنصة. وفي شهر مايو، أعلنت عن مجموعة من الأدوات للمعلنين لإنشاء إعلانات تم إنشاؤها بواسطة الذكاء الاصطناعي، وصور رمزية تم إنشاؤها بواسطة الذكاء الاصطناعي للعلامات التجارية والمبدعين. ويشاع أيضًا أن TikTok يعمل على محرك بحث داخلي، مع نتائج مدعومة بالذكاء الاصطناعي – ربما باستخدام ChatGPT.