SitesSites hospedados na Vercel agora podem tratar de forma diferente robôs que rastreiam páginas para indexação ou treinamento e assistentes de IA que buscam uma página depois de uma pergunta do usuário. A função foi anunciada em 29 de outubro de 2026 e permite registrar ou bloquear cada grupo separadamente no Firewall. Para empresas, a decisão prática é revisar o tráfego primeiro e escolher o que permitir: bloquear todo acesso automatizado pode reduzir rastreamento indesejado, mas também impedir que um assistente consulte o site quando alguém pede informações sobre a empresa.
Dois tipos de acesso, duas decisões
Na atualização da Vercel, “AI crawlers” são robôs que coletam conteúdo para indexação e treinamento de modelos. “AI assistants” buscam páginas em resposta a uma ação do usuário ou a uma consulta. A separação permite, por exemplo, negar a primeira categoria e registrar ou permitir a segunda. A Vercel diz que atualiza as regras quando novos bots conhecidos são identificados.
Essa diferença importa porque “tráfego de IA” não é um único comportamento. Um rastreador que percorre páginas para formar um índice não faz a mesma coisa que um assistente que abre uma página para responder a uma pergunta. Sites podem ter motivos diferentes para cada acesso: controlar carga e coleta, manter páginas úteis a buscas e permitir que uma pessoa consulte a oferta por meio de um assistente.
O recurso acrescenta uma camada de controle no servidor de borda. Não promete que um site será citado por assistentes, que todo robô será reconhecido ou que bloquear rastreadores impede qualquer uso do conteúdo. Ele permite agir sobre as solicitações que a lista de bots gerenciada pela plataforma identifica.
A regra não começa ativa
O detalhe operacional mais importante está na documentação: o conjunto de regras de bots de IA vem inativo por padrão. Enquanto estiver inativo, a Vercel informa que as solicitações correspondentes não são avaliadas e seguem para a aplicação. A regra está disponível em todos os planos; um administrador precisa abrir Security > Firewall > Rules, ativar “AI Bots”, escolher uma ação para cada categoria e revisar e publicar a alteração.
As ações anunciadas são registrar ou negar. Registrar permite observar correspondências sem bloquear as solicitações. Para um site comercial em produção, começar pelo registro ajuda a entender quais páginas e fluxos podem ser atingidos antes de mudar a experiência de clientes. Só depois de revisar o resultado faz sentido escolher o bloqueio para uma categoria específica. A documentação de regras gerenciadas do Firewall descreve o fluxo de revisão e publicação.
O painel da Vercel mostra os bots conhecidos e a plataforma mantém essa lista atualizada. Isso ajuda a acompanhar agentes novos sem manter manualmente uma relação de nomes. Ainda assim, por se tratar de reconhecimento de bots conhecidos, é razoável tratar a cobertura como limitada ao que a plataforma consegue identificar; a regra não equivale a uma barreira universal contra toda automação. A documentação de Bot Management também confirma que o conjunto é inativo por padrão e distingue a ação de registrar da ação de negar.
Robots.txt e firewall resolvem problemas diferentes
O arquivo robots.txt continua útil para publicar instruções de acesso dirigidas a rastreadores que escolhem respeitá-las. Mas ele não bloqueia uma requisição. A especificação RFC 9309 do IETF explica que essas regras são pedidos aos crawlers e não funcionam como autorização de acesso. Para proteger conteúdo privado, use autenticação e controles de acesso da aplicação; não dependa de robots.txt nem de uma classificação de bots.
O firewall trabalha quando uma solicitação chega ao serviço e permite registrar ou negar tráfego identificado. Isso oferece uma resposta técnica mais forte para a categoria reconhecida, mas não substitui a revisão das páginas públicas nem resolve sozinho direitos de uso do conteúdo. Também não significa que todo bot que se identifica como assistente seja confiável: a classificação descreve o tipo de agente, não a intenção de cada acesso.
Quem acompanha acessos de sistemas de IA pode complementar essa decisão com o que já foi observado em tráfego de assistentes e crawlers no site. Para entender por que páginas claras e atualizadas ajudam buscas e visitantes, veja também o roteiro de SEO para empresas.
Um plano de revisão para empresas
Comece listando quais partes do site precisam permanecer acessíveis a clientes: páginas de produto, documentação, preços, suporte e formulários. Em seguida, habilite o registro para observar os bots conhecidos que alcançam o projeto. Compare o volume e as rotas acessadas com os registros de analytics e com o objetivo da empresa. Um pico em páginas estáticas não deve ser tratado automaticamente como ataque; o interesse é descobrir que tipo de acesso ocorre e se ele afeta custo, disponibilidade ou as metas de descoberta.
Depois, defina a política por categoria. Uma empresa pode negar crawlers conhecidos voltados a treinamento e ainda permitir ou apenas registrar assistentes que acessam uma página a pedido de alguém. Outra pode optar por negar ambos em áreas específicas, especialmente quando a informação depende de autenticação. Não há uma configuração universal: o valor comercial de ser encontrado por assistentes, a sensibilidade do conteúdo e os custos de tráfego variam por negócio.
Por fim, revise e publique a regra em uma janela controlada, teste as páginas principais e acompanhe os registros após a mudança. Se usuários ou integrações legítimas forem afetados, reverta ou ajuste a regra. Essa abordagem preserva a escolha editorial e comercial da empresa sem presumir que todo acesso automatizado é igual. A atualização da Vercel torna a escolha mais precisa; a qualidade da decisão ainda depende de saber quais páginas a empresa quer disponibilizar, para quem e em quais condições.
