State of Crawl 2027: estado de rastreamento de robôs e agentes no Brasil

Encontrar uma página e conseguir agir dentro dela são desafios diferentes. O primeiro depende dos fundamentos que tornaram o SEO uma disciplina madura. O segundo exige que sistemas automatizados também consigam ler o conteúdo, compreender regras e localizar caminhos de interação.

A base publicada do State of Crawl reúne 1.954 domínios de grande audiência no Brasil. Nela, 84,2% alcançam o patamar técnico do estudo, enquanto apenas 0,5% chegam ao mesmo patamar na dimensão agêntica. O contraste confirma a narrativa central: a lacuna entre os dois patamares é de 83,7 pontos percentuais.

Abrir gráfico em tamanho original

Para marketing, a consequência é clara. Visibilidade em busca e capacidade de participar de jornadas conduzidas por IA pertencem à mesma agenda de descoberta, mas não são o mesmo problema. O SEO continua sustentando acesso, indexação e desempenho; a navegação agêntica adiciona a necessidade de tornar conteúdo, regras e ações compreensíveis para sistemas que tentam ajudar o usuário.

Consideramos preparado o site que obtém score igual ou superior a 70 em cada dimensão. O corte é inclusivo e aparece aqui como uma régua comparável, não como garantia de que um buscador indexará todas as páginas ou de que qualquer agente concluirá qualquer tarefa. A análise descreve condições técnicas observadas na fotografia oficial do estudo.

A pesquisa abaixo traz dados que podem te contextualizar sobre o mercado a nível nacional e orientar em tomadas de decisões que podem ser estratégicas nos próximos anos. Leia com atenção e também com um olhar de oportunidade.

A importância da navegação agêntica

A navegação agêntica importa porque as interfaces de IA começam a ocupar um papel que vai além de recomendar links: elas podem tentar comparar opções, localizar informações, percorrer etapas e orientar uma decisão em nome do usuário. Para uma marca, aparecer como fonte continua relevante, mas a jornada só avança quando o agente também consegue interpretar o conteúdo, reconhecer limites e encontrar caminhos de ação sem se perder na interface.

Essas capacidades devem ser medidas separadamente. Ferramentas de diagnóstico de agentes e testes de desempenho ajudam a observar camadas complementares: um site rápido e rastreável não se torna automaticamente operável por agentes, assim como uma interface específica para IA não substitui uma base técnica saudável. A oportunidade está em conectar as duas frentes sem confundir seus papéis.

Três sinais resumem o estado da web analisada

1. 84,2% dos sites atingem o patamar técnico, mas apenas 0,5% alcançam o patamar para agentes.
2. Presença de título, ausência de noindex, idioma declarado e compressão já são quase universais; interfaces e orientações específicas para IA permanecem raras.
3. A diferença aparece nos 31 setores oficiais, mas os gargalos mudam: em alguns, desempenho e segurança ainda limitam a base; em outros, a dívida se concentra nos sinais agênticos.

O abismo entre ser otimizado para buscas e ser otimizado para agentes de IA chega a 83,7 pontos

Os dois níveis de preparação não avançaram no mesmo ritmo. A web de grande audiência já incorporou boa parte das práticas que ajudam buscadores a descobrir e interpretar páginas, enquanto oferece poucos sinais capazes de orientar um sistema que precisa compreender a interface e prosseguir em uma tarefa. É essa diferença de maturidade, e não apenas a ausência de uma tecnologia isolada, que organiza os resultados nacionais.

A mediana técnica é 81,8, e 1.645 dos 1.954 sites atingem pelo menos 70 pontos. Na dimensão agêntica, a mediana fica em 25,0 e somente 10 sites chegam ao mesmo patamar. Mesmo o terceiro quartil agêntico é 33,3, o que mostra que três quartos da base ainda estão abaixo de um terço da escala aproximada de preparação.

A diferença entre os grupos preparados é de 83,7 pontos percentuais: 84,2% para buscadores contra 0,5% para agentes. Isso não prova que 99,5% dos sites sejam invisíveis à IA. Mostra algo mais específico: eles não reúnem, simultaneamente, os sinais suficientes para alcançar a régua agêntica definida pelo estudo.

Esse contraste muda a pergunta de marketing. Não basta saber se uma página pode aparecer em resultados de busca. Também importa avaliar se seu conteúdo e seus caminhos de ação continuam compreensíveis quando a jornada começa em uma interface de IA.

O SEO técnico já virou rotina em grande parte da web

Os fundamentos mais disseminados são fáceis de reconhecer em linguagem comum. A ausência de um bloqueio explícito à indexação aparece em 99,0% dos casos mensurados, o título em 98,8%, o idioma declarado em 94,5% e a compressão em 93,9%. São sinais de que a web de grande audiência já trata boa parte da higiene técnica como infraestrutura cotidiana.

A média alta não significa uniformidade. HSTS aparece em 58,5%, a convergência das entradas do domínio para HTTPS em 72,6% e o LCP de campo até 2,5 segundos em 72,8%. Segurança de conexão, consistência de endereço e velocidade continuam sendo frentes relevantes mesmo em sites que, no conjunto, passam pela régua técnica.

Dicionário dos critérios técnicos deste estudo

Os critérios técnicos registram fundamentos de acesso, identificação, desempenho e descoberta observados pelo protocolo. Eles descrevem presença ou configuração na medição, não qualidade integral nem resultado de negócio.

• Entradas do domínio convergem para HTTPS: Verifica se as entradas do domínio consideradas na medição conduzem a uma versão segura em HTTPS. O sinal descreve o encaminhamento configurado, não a segurança integral do site.

• LCP até 2,5s: Verifica se o maior elemento de conteúdo observado no carregamento de campo fica até 2,5 segundos. O resultado descreve a medição disponível e não garante desempenho em todas as páginas ou usuários.

• HSTS: Verifica se o servidor declara uma política que orienta o navegador a priorizar HTTPS em acessos futuros. A presença dessa configuração não comprova, sozinha, que toda a navegação esteja protegida.

• Title: Verifica se a página apresenta um título que a identifica para navegadores e mecanismos de busca, na versão final exibida. O critério mede a presença, não a clareza, a relevância nem o potencial de clique.

• Meta description: Verifica se a página traz uma descrição do conteúdo para mecanismos de busca, na versão final exibida. Declarar a descrição e perdê-la durante o carregamento não atende, porque o buscador também não a encontra.

• Canonical: Verifica se a página indica uma URL preferencial, comunicando qual versão deve ser tratada como principal. A indicação não garante que sistemas externos a adotem.

• Sem noindex: Verifica se a página não apresenta uma diretiva explícita que solicite sua exclusão dos índices de busca. A ausência de noindex remove essa barreira declarada, mas não garante indexação.

• Idioma declarado: Verifica se o documento informa seu idioma de forma legível por máquinas. O critério não avalia a qualidade linguística nem a adequação do conteúdo ao público.

• Âncoras rastreáveis: Verifica se os links são apresentados como âncoras com destinos que robôs conseguem identificar e seguir. Isso não garante que cada destino esteja disponível, seja relevante ou leve à conclusão de uma tarefa.

• Compressão: Verifica se o servidor entrega o conteúdo com compressão na resposta observada. A configuração, isoladamente, não comprova velocidade, boa experiência ou desempenho geral.

• Sitemap XML: Verifica se o site oferece um mapa de URLs em XML, pelo arquivo em /sitemap.xml ou pela diretiva Sitemap: no robots.txt. A presença facilita a descoberta, mas não garante atualização, cobertura ou indexação.

Abrir gráfico em tamanho original

Para marketing, a camada técnica não é um projeto encerrado. Ela é a infraestrutura que sustenta campanhas, conteúdo e mensuração, e precisa continuar íntegra enquanto novas experiências de IA são adicionadas.

Os sinais para agentes atualmente aplicados ainda se concentram apenas no básico de leitura de páginas

Antes de executar uma ação, um agente precisa receber uma página que permaneça compreensível fora do caminho ideal de navegação. Por isso, conteúdo legível sem JavaScript e estabilidade visual funcionam como o primeiro degrau dessa preparação: reduzem a chance de que informações importantes desapareçam ou mudem de lugar durante a leitura automatizada.

Esse primeiro degrau já aparece com alguma frequência. A leitura sem JavaScript está presente em 69,9% dos casos mensurados e a estabilidade de layout em 65,4%. A adoção cai quando o sinal exige intenção explícita: acessibilidade aparece em 29,6%, política de IA em 18,8% e llms.txt em 12,1%.

Os mecanismos mais diretamente ligados à orientação ou interação permanecem experimentais. Negociação de Markdown aparece em 1,3%, ferramentas WebMCP em 0,8% e link headers em 0,6%. O conjunto sugere uma progressão: primeiro tornar conteúdo estável e legível; depois declarar regras; por fim, estruturar caminhos que agentes compatíveis possam reconhecer.

Dicionário dos critérios agênticos

Os critérios agênticos observam se o site oferece condições de leitura, orientações e recursos detectáveis por sistemas automatizados. Esses sinais indicam preparação na medição, não uso efetivo ou sucesso de uma ação.

• Acessibilidade: Observa a condição de acessibilidade prevista no protocolo, relacionada à possibilidade de interpretar o conteúdo e a interação. O resultado não equivale a uma auditoria completa nem a uma certificação de conformidade. O instrumento, as regras e o limiar de aprovação não estão identificados na fonte disponibilizada.

• Estabilidade de layout: Observa se os elementos permanecem visualmente estáveis durante o carregamento em usuários reais, na fronteira de 0,10 definida pelo Google. O critério não garante comportamento idêntico em todas as páginas ou dispositivos.

• Legível sem JavaScript: Verifica se ao menos 80% das palavras do texto final já aparecem no HTML entregue pelo servidor. O limiar é uma escolha deste estudo, e atender não significa que todas as funções continuem disponíveis.

• Política de IA declarada: Verifica se o site publica uma orientação explícita sobre o acesso ou o uso de seu conteúdo por sistemas de IA. A declaração não comprova cumprimento, interpretação uniforme ou eficácia operacional.

• llms.txt: Verifica se o site disponibiliza o arquivo llms.txt como referência para agentes. A presença do arquivo não garante completude, atualização, consulta ou obediência por sistemas externos.

• Link headers: Verifica se a resposta do servidor publica relações ou orientações por meio de cabeçalhos HTTP Link. A configuração não garante que agentes reconheçam ou utilizem essas indicações.

• Negociação Markdown: Verifica se o servidor pode entregar uma representação simplificada em Markdown quando esse formato é solicitado. A disponibilidade não comprova equivalência, qualidade editorial ou melhor execução de tarefas.

• Ferramentas WebMCP: Verifica se o site expõe, por meio de WebMCP, ferramentas estruturadas que agentes compatíveis podem identificar. A presença da interface não garante compatibilidade, uso, sucesso da ação ou conclusão da jornada.

Abrir gráfico em tamanho original

Nenhum critério isolado garante que um agente conclua uma tarefa. Em conjunto, porém, eles ajudam a distinguir uma página que apenas pode ser rastreada de uma experiência que também oferece conteúdo, regras e caminhos mais claros para automação.

Onde a web costuma acertar e onde ainda tropeça

A adoção não se distribui de forma uniforme. Os critérios mais difundidos se concentram em práticas antigas e amplamente incorporadas à operação; os menos comuns pedem segurança adicional ou uma decisão explícita sobre como sistemas automatizados devem receber conteúdo e interagir com ele.

Critérios em que os sites geralmente vão bem

Na dimensão técnica, os sinais mais consolidados são ausência de noindex (99,0%), Title (98,8%), idioma declarado (94,5%) e compressão (93,9%). Na dimensão agêntica, os melhores resultados ainda pertencem à camada básica de leitura: conteúdo legível sem JavaScript (69,9%) e estabilidade de layout (65,4%).

Critérios em que os sites geralmente vão mal

O principal ponto técnico de atenção é HSTS, presente em 58,5% dos casos mensurados. Convergência para HTTPS (72,6%) e LCP até 2,5 segundos (72,8%) também ficam bem abaixo dos fundamentos quase universais. Na dimensão agêntica, link headers (0,6%), ferramentas WebMCP (0,8%) e negociação Markdown (1,3%) mostram que a web ainda raramente oferece interfaces explícitas para agentes.

Recorte temporal e limite da medição. O recorte de grande audiência foi selecionado com estimativas de tráfego orgânico da Semrush de julho de 2026, com exclusão de sites de conteúdo adulto. O período de coleta dos critérios técnicos e agênticos não está identificado na fonte disponibilizada.

Conclusão

O State of Crawl reforça a importância de ampliar o diagnóstico técnico dos sites para acompanhar jornadas mediadas por inteligência artificial. A preparação começa com conteúdo acessível, legível e estável, avança para regras claras de acesso e pode incorporar interfaces que facilitem a interação de agentes. Esse trabalho exige colaboração entre as equipes de SEO, desenvolvimento e negócio.

O próximo passo é transformar o diagnóstico em prioridades: corrigir barreiras de leitura, melhorar a acessibilidade e testar tarefas relevantes para o público de cada site. A adoção de um recurso isolado não garante que um agente consiga concluir uma ação. Por isso, precisamos combinar a avaliação dos sinais técnicos com testes práticos e acompanhamento contínuo, verificando se as melhorias realmente ajudam o usuário a chegar ao resultado esperado.

Consulte a planilha pública do State of Crawl para explorar os dados, os critérios e seus denominadores.