Experimento com usuários do Google observa redução de cliques externos no AI Mode e pior avaliação da experiência; estudo divulgado em agosto voltou ao debate nesta semana
Um experimento com usuários do Google encontrou menos cliques em sites externos quando as buscas eram direcionadas ao AI Mode. O trabalho, divulgado em agosto e retomado nesta semana pela imprensa especializada, também registrou avaliações mais negativas da experiência de busca nesse grupo.
O preprint foi conduzido por pesquisadores ligados à Universidade da Pensilvânia e à Northeastern University. Ao todo, 1.100 participantes fizeram pelo menos uma busca durante os sete dias de observação. O desenho experimental comparou diferentes versões da experiência do Google.
A publicação é anterior ao recorte de fatos desta newsletter. Sua inclusão decorre da cobertura divulgada agora e deve ser lida como análise de um estudo já disponível, não como resultado anunciado nesta semana.
AI Mode foi comparado a outras experiências de busca
Os pesquisadores dividiram os participantes entre a busca atual do Google, uma versão com recursos de IA ocultos e uma condição que direcionava as consultas ao AI Mode. Uma extensão de navegador registrou as buscas e os cliques durante o período de observação.
Inicialmente, 1.444 pessoas se inscreveram no projeto e instalaram a extensão. O grupo de 1.100 corresponde aos participantes que fizeram ao menos uma busca nos sete dias seguintes. Entre eles, 956 também concluíram o questionário aplicado ao final.
Além disso, o estudo foi pré-registrado: os pesquisadores definiram hipóteses e partes do método antes de examinar os dados. Esse registro permite comparar os resultados obtidos com as perguntas formuladas previamente.
AI Mode reduziu taxa de cliques externos no teste
Em comparação com a busca atual, a designação para o AI Mode reduziu a taxa de cliques em sites externos em 18,8 pontos percentuais, segundo a estimativa principal dos autores. O intervalo de confiança de 95% ficou entre 15,3 e 22,2 pontos percentuais de redução.
O indicador mede a diferença observada nas condições do experimento. Ele não significa que todos os sites perderam 18,8% de tráfego nem que a mesma variação ocorrerá para cada tipo de consulta ou mercado. Os autores também testaram formas alternativas de contar as interações no AI Mode.
Em outra análise, cada conversa no AI Mode foi tratada como uma única busca, em vez de cada comando contar separadamente. A estimativa de redução permaneceu negativa: 14,9 pontos percentuais, conforme a tabela suplementar do trabalho.
Grupo sem IA apresentou mais cliques, com ressalva técnica
Na condição em que os recursos de IA deveriam ser removidos, os pesquisadores estimaram aumento de 8,8 pontos percentuais na taxa de cliques externos entre participantes para os quais a intervenção funcionou. Essa estimativa difere da comparação simples por designação ao grupo, que foi menor e não estatisticamente conclusiva.
Durante o experimento, uma mudança no código das páginas do Google prejudicou o funcionamento da extensão que escondia AI Overviews. No conjunto do período, aproximadamente metade das aparições desse recurso foi ocultada com sucesso, segundo os autores.
Por isso, a conclusão sobre retirar AI Overviews exige cautela adicional. Já o resultado do grupo direcionado ao AI Mode foi submetido a análises de robustez apresentadas no próprio artigo.
Participantes relataram confiança e satisfação menores
Além dos cliques, a pesquisa reuniu respostas sobre confiança nas informações encontradas e percepção da experiência. O grupo exposto ao AI Mode avaliou o Google de forma menos favorável em medidas como utilidade, satisfação e relevância pessoal.
Os autores também observaram menos sessões diárias de busca entre participantes direcionados ao AI Mode. Ao mesmo tempo, essas sessões tiveram duração maior, indicando que o tempo gasto dentro da interface não se traduziu necessariamente em mais visitas a páginas externas.
Por sua vez, o trabalho encontrou aumento na proporção de participantes que recorreram a outros mecanismos de busca nessa condição. Esses resultados dizem respeito ao teste conduzido com a amostra acompanhada, não a uma medição do comportamento de todos os usuários do Google.
Limites impedem generalização direta para o mercado
A amostra se concentrou em participantes mais jovens e com escolaridade elevada. Segundo o estudo, 75% tinham menos de 45 anos e 87% haviam cursado ao menos parte do ensino superior. Essa composição limita a extrapolação direta dos resultados para toda a população.
O recrutamento combinou participantes da plataforma Prolific com um grupo menor vinculado à Northeastern University. Os pesquisadores remuneraram a participação e trabalharam com os registros coletados pela extensão. Portanto, o levantamento observa pessoas que aceitaram participar de uma pesquisa acompanhada, e não uma amostra aleatória de todas as contas do Google.
Versão observada do AI Mode delimita os resultados
Além disso, o experimento observou uma versão do AI Mode disponível no período da coleta. Mudanças posteriores de interface, apresentação de links e funcionamento da busca podem produzir comportamentos diferentes. O estudo também não foi desenhado para estimar resultados específicos de todos os setores.
Os autores do preprint original assinalam que análises futuras podem examinar tarefas específicas, inclusive buscas relacionadas a saúde, direito e finanças. Nessas situações, a relação entre confiança, consulta a páginas externas e qualidade da resposta pode diferir da média medida ao longo das buscas observadas.
Para editores e profissionais de SEO, o dado diretamente sustentado é a diferença de cliques entre condições testadas. A avaliação da experiência acrescenta a perspectiva dos participantes, enquanto as limitações metodológicas definem o alcance das conclusões.
Escrito por Gabriel Cardozo