Firma-matka TikTok, ByteDance, ma narzędzie, które przegląda sieć 25 razy szybciej niż OpenAI

Firma-matka TikTok, ByteDance, gromadzi ogromne ilości danych internetowych znacznie szybciej niż inne główne roboty indeksujące

ByteDance może planować wypuszczenie własnego LLM i intensywnie wykorzystuje swojego robota sieciowego „Bytespider” do gromadzenia danych w celu uczenia swoich modeli, Fortuna zgłoszone.

Bytespider pojawił się na scenie w kwietniu i od tego czasu tempo jego wykorzystania zawstydza narzędzia do usuwania sieci z OpenAI, Google, Meta i Anthropic.

Sam Crowther, dyrektor generalny Kasada, firmy specjalizującej się w zarządzaniu botami, powiedział portalowi, że współczynnik skrobania Bytespider jest 25 razy większy niż GPTbot OpenAI i 3000 razy większy niż ClaudeBot, który jest robotem indeksującym Anthropic dla Claude LLM. Crowther powiedział również, że dane Kasady wykazały „ogromny wzrost aktywności scrapingu” z Bytespider w ciągu ostatnich sześciu tygodni.

Podczas gdy Bytespider żarłocznie konsumuje sieć, rząd USA stara się uniemożliwić rządowi chińskiemu potencjalny dostęp danych amerykańskich użytkowników. W kwietniu prezydent Biden podpisał ustawę wymuszającą zakaz TikToka, chyba że zostanie on sprzedany przez ByteDance w ciągu roku. Biorąc pod uwagę tykanie zegara ByteDance w zakresie sprzedaży TikTok, poczucie pilności pasuje do ogromnego tempa przeszukiwania sieci – nie wiemy, czy chodzi o LLM, lepszy algorytm, czy coś innego.

Nie wiadomo, co ByteDance planuje zrobić ze wszystkimi nowo wydobytymi danymi. Jednak TikTok uruchomił dla platformy kilka funkcji opartych na sztucznej inteligencji. W maju ogłosiła wprowadzenie pakietu narzędzi dla reklamodawców do tworzenia reklam generowanych przez sztuczną inteligencję oraz awatarów generowanych przez sztuczną inteligencję dla marek i twórców. Krążą także pogłoski, że TikTok pracuje nad wewnętrzną wyszukiwarką, której wyniki będą wspomagane przez sztuczną inteligencję – prawdopodobnie przy użyciu ChatGPT.