Pesquisa da SparkToro e Gumshoe.ai revela que ferramentas de IA retornam a mesma lista de marcas em menos de 1% das consultas
Pesquisa conduzida pela SparkToro em parceria com a Gumshoe.ai revelou grande volatilidade nas recomendações de marcas por ferramentas de IA. Segundo o estudo, há menos de 1% de chance de que uma ferramenta de IA retorne a mesma lista de marcas em duas consultas consecutivas para a mesma pergunta.
O dado mais expressivo indica que a probabilidade de obter a mesma lista na mesma ordem é ainda menor: cerca de 1 em 1.000 execuções. A pesquisa testou múltiplas ferramentas de IA generativa, incluindo ChatGPT, Claude e Google AI Overviews/AI Mode.
Rand Fishkin, co-fundador da SparkToro, comentou os resultados: “Se você perguntar a uma ferramenta de IA por recomendações de marcas ou produtos cem vezes, quase todas as respostas serão únicas”. O estudo destaca que a natureza probabilística dos modelos de linguagem cria instabilidade estrutural nas recomendações.
Metodologia e escopo da pesquisa
A SparkToro e Gumshoe.ai reuniram 600 voluntários que executaram 12 prompts diferentes através das três principais ferramentas de IA, totalizando 2.961 respostas coletadas ao longo de novembro e dezembro de 2025. Os pesquisadores documentaram quais marcas apareciam em cada resposta e compararam a consistência entre consultas repetidas no mesmo contexto.
O estudo focou em perguntas comerciais do tipo “qual é o melhor software para X” ou “quais empresas oferecem Y”. Essas consultas representam intenção de compra e são estratégicas para marcas que buscam visibilidade em ferramentas de IA generativa.
Os resultados demonstram que a natureza probabilística dos modelos de linguagem cria instabilidade estrutural nas recomendações. Uma marca pode aparecer em destaque em uma consulta e desaparecer completamente na próxima, mesmo sem qualquer mudança no contexto ou na pergunta.
A análise incluiu ChatGPT da OpenAI, Claude da Anthropic e Google AI Overviews/AI Mode. Os três modelos apresentaram comportamento similar de volatilidade, indicando que a característica é estrutural da tecnologia, não específico de um fornecedor.
Visibilidade percentual
Apesar da aleatoriedade nos rankings, a pesquisa identificou que a visibilidade percentual (ou seja, a frequência com que uma marca aparece em múltiplas execuções do mesmo prompt) apresenta maior consistência.
Em categorias com poucas opções, como provedores de cloud computing ou hospitais especializados, as marcas líderes apareceram em até 90% das respostas. Já em categorias amplas, como romances de ficção científica ou agências de design, a visibilidade das marcas mais citadas ficou entre 30% e 40%.
Isso sugere que medir a frequência de aparição pode ser mais útil do que tentar rastrear posições de ranking, que se mostraram estatisticamente irrelevantes.
Cenário de incerteza de visibilidade
A volatilidade em recomendações de IA cria ambiente de incerteza para marcas. Estratégias que funcionavam em buscas tradicionais podem não traduzir resultados em ambientes de IA generativa.
A pesquisa da SparkToro sugere que marcas precisam diversificar canais de aquisição em vez de depender de visibilidade em ferramentas de IA. A baixa consistência das recomendações indica que IA generativa pode não ser canal confiável para awareness isoladamente.
