Cloudflare anklagar AI-sökmotorn Perplexity för att medvetet bryta mot webbens regler för datainsamling. I en rapport beskriver Cloudflare hur Perplexity använder avancerade tekniker för att kringgå webbplatsers försök att stoppa automatisk skrapning.
Företaget hävdar att Perplexity först använder sina egna, öppet deklarerade användaragenter, men när dessa blockeras byter systemet identitet och efterliknar vanliga webbläsare som Google Chrome på macOS. Samtidigt roterar man IP-adresser och nätverksleverantörer för att göra det svårare att spåra trafiken.
Cloudflare upptäckte metoden genom att sätta upp särskilda testdomäner där robotar uttryckligen förbjöds i robots.txt. När Perplexity kort därefter kunde ge detaljerade svar som byggde på innehållet på dessa sidor drog Cloudflare slutsatsen att företaget kringgår spärrarna. Enligt Cloudflare är detta en tydlig signal om att Perplexity inte bara samlar in data öppet, utan även i hemlighet trots aktiva blockeringar.
Dolt beteende
Som en direkt följd av upptäckten har Cloudflare tagit bort Perplexity från sin lista över verifierade bots – en lista som annars ger pålitliga aktörer fördelar som bättre tillgång till nätverk och lägre risk för felaktig blockering. Cloudflare har även infört nya skyddsmekanismer för att stoppa liknande dolt beteende från andra aktörer.
Perplexity avvisar dock kritiken. Företaget menar att deras system endast hämtar information när användare gör en sökning och att de inte använder traditionella metoder för att skapa index eller lagra data för framtida AI-träning. Enligt Perplexity rör det sig snarare om missförstånd eller ett PR-trick från Cloudflare.
Konflikt
Branschexperter ser situationen som en del av en större konflikt mellan AI-plattformar och innehållsägare på webben. Många publicister och företag försöker skydda sitt material från att användas gratis i AI-tjänster, samtidigt som AI-aktörerna hävdar att de måste kunna hämta information för att kunna erbjuda konkurrenskraftiga tjänster. Händelsen väcker frågor om hur framtida regleringar ska utformas och var gränsen går mellan legitim informationshämtning och otillåten dataskrapning.
Källa:
