Profound compara respostas de ChatGPT, Claude e Gemini e identifica diferenças nas marcas e fontes citadas quando o comando informa características do público pesquisado
A Profound divulgou uma pesquisa sobre a relação entre o perfil descrito em uma pergunta e as recomendações de inteligência artificial. O levantamento analisou 71.147 respostas de ChatGPT, Claude e Gemini sobre roupas, móveis e cartões de crédito.
Na comparação entre perfis diferentes, as respostas compartilharam aproximadamente uma em cada quatro menções a marcas e uma em cada cinco citações. A equipe modificou características informadas nos comandos, mantendo a pergunta de base utilizada em cada teste.
Com isso, a distinção metodológica delimita o resultado: o experimento observa a resposta ao contexto fornecido na consulta. O uso de informações de uma conta, de conversas anteriores ou de histórico pessoal pertence a outra camada de personalização dos assistentes.
Perfis foram inseridos nas perguntas
O teste ocorreu durante 14 dias e acrescentou informações de gênero, idade, renda ou ocupação aos comandos. “A visibilidade de marca é específica por persona”, escreveu Allison Huang, pesquisadora da Profound, em tradução livre do estudo.
Nesse desenho, uma persona representa uma característica declarada ao sistema. A metodologia permite comparar respostas sob condições diferentes, mas não equivale a entrevistar consumidores sobre compras realizadas. Tampouco transforma a quantidade de respostas geradas em número de pessoas pesquisadas.
Índice organiza presença das marcas por categoria
Para compor esse teste, as perguntas de base vieram do Profound Index. Na descrição desse índice, a empresa apresenta um acompanhamento público da frequência com que marcas aparecem em respostas de IA, organizado por setores e atualizado semanalmente com os resultados monitorados.
Além da frequência, o índice oferece análises de marcas mencionadas em conjunto, agrupamentos de temas e ordem de aparição. Esses recortes distinguem a presença de uma empresa, a companhia de concorrentes na resposta e a sequência das recomendações.
Quanto à seleção das perguntas, a página do Profound Index informa que a seleção utiliza sua ferramenta de pesquisa de comandos, com preferência por perguntas abertas. Segundo a empresa, a origem inclui conversas de painéis de consumidores participantes, tratadas de forma anonimizada.
Monitoramento pode separar públicos definidos pela empresa
A Profound também mantém um recurso chamado Personas, descrito em uma publicação anterior ao estudo. A ferramenta acrescenta segmentações às análises e permite observar a frequência de aparição de uma marca nas respostas destinadas a diferentes públicos configurados.
Nesse recurso, os grupos podem incorporar características demográficas, setor, tamanho de empresa, cargo, motivações e necessidades. A configuração é associada a temas e comandos específicos, conforme a descrição do produto, para organizar os resultados pela audiência escolhida.
Como exemplos dessa segmentação, a empresa apresenta públicos ligados a estratégia de busca, comunicação de marca e produção de conteúdo. Trata-se de uma funcionalidade comercial de mensuração da própria autora da pesquisa, e não de uma certificação emitida pelos desenvolvedores dos modelos.
Assistentes formulam suas próprias consultas à internet
Nesse contexto, a etapa de busca ajuda a contextualizar a diferença entre a pergunta recebida e as fontes recuperadas. A Anthropic explica que, quando a pesquisa na internet é pertinente, Claude pode gerar uma consulta, recuperar resultados e analisar as informações encontradas.
Além dessa consulta inicial, o assistente pode realizar buscas sucessivas, usando resultados anteriores para formular novas perguntas. A explicação da Anthropic sobre a busca na API descreve esse processo como parte da construção de respostas com referências às fontes.
Além das consultas, a documentação informa que aplicações podem controlar o uso da pesquisa e estabelecer listas de domínios permitidos ou bloqueados. Portanto, a composição de uma resposta envolve também a configuração da ferramenta usada para consultar a internet, além da redação da pergunta.
Histórico de conversas constitui outra forma de personalização
No aplicativo Gemini, o Google documenta uma personalização baseada em conversas anteriores. Quando a configuração correspondente está ativada, detalhes e preferências compartilhados pelo usuário podem ser retomados para contextualizar respostas, conforme o anúncio que apresentou essa funcionalidade.
Por outro lado, o mesmo anúncio descreve os chats temporários como conversas que não aparecem no histórico recente e não são usadas para personalização. O Google também apresenta controles para administrar e excluir conversas registradas na atividade do aplicativo.
Em conjunto, esses mecanismos foram descritos pelo Google em sua apresentação dos recursos de personalização. Eles fornecem contexto sobre o produto, mas não demonstram que o experimento da Profound utilizou memória, histórico de busca ou preferências previamente armazenadas nas contas.
Busca do Google combina respostas e páginas de apoio
Já na Busca, o Google explica que AI Overviews, os resumos gerados por IA, e AI Mode, o modo de pesquisa com IA, podem executar várias buscas relacionadas. Essa expansão percorre subtópicos e fontes para compor uma resposta.
Sobre essa variação, a documentação do Google sobre recursos de IA também registra que modelos e técnicas podem variar entre as experiências. Assim, as respostas e os conjuntos de links não precisam ser idênticos, mesmo dentro dos produtos de uma única empresa.
Para aparecer como página de apoio, o conteúdo precisa estar indexado e apto a ser exibido com um trecho de texto na Busca. O Google informa que não há marcação especial obrigatória para IA e que o cumprimento dos requisitos não garante exibição.
Menção, referência e visita medem ocorrências diferentes
Nessa leitura, uma marca mencionada é um nome presente no texto; uma referência aponta para o material usado como fonte. Já uma visita exige acesso à página. Essas ocorrências podem estar relacionadas, mas cada uma descreve uma etapa distinta da interação.
Por isso, os resultados do estudo da Profound dizem respeito às respostas observadas no experimento. A comparação não apresenta, por si só, uma medida de vendas, participação de mercado ou comportamento de compra de todos os usuários das plataformas.

Escrito por Gabriel Cardozo