A Cloudflare acusou a startup de IA Perplexity de raspar conteúdo de websites que explicitamente proibiram tal atividade através de arquivos robots.txt. Numa publicação no blog, a Cloudflare alega que a Perplexity contornou esses bloqueios disfarçando a sua identidade—modificando strings de user-agent e usando diferentes identificadores de rede—para evitar deteção.
A Cloudflare afirma que observou este comportamento em dezenas de milhares de domínios, envolvendo milhões de pedidos diariamente, e identificou a atividade utilizando aprendizagem automática e sinais de rede.
A Perplexity negou as alegações. O porta-voz Jesse Dwyer desconsiderou as descobertas como um "argumento de vendas", argumentando que os screenshots citados não mostravam acesso ao conteúdo e que o bot mencionado não era deles.
Esta não é a primeira vez que a Perplexity enfrenta escrutínio. Em 2024, a Wired e outros meios de comunicação acusaram-na de plágio de conteúdo. O CEO da Perplexity teve dificuldades em definir plágio quando questionado durante um evento do TechCrunch.
A Cloudflare, que intensificou as suas ferramentas anti-raspagem de IA, removeu a Perplexity da sua lista de bots verificados e introduziu novas medidas de bloqueio. A empresa também lançou recentemente um marketplace permitindo que os proprietários de sites cobrem crawlers de IA pelo acesso.
Related News