Cuidado para não se apegar à voz do ChatGPT, alerta a OpenAI

A voz sintética do ChatGPT é tão convincente, que a OpenAI percebeu o risco de ela gerar apego emocional. Em artigo, a empresa revelou que a tecnologia acaba persuadindo o usuário a criar vínculos com ela.

As observações acerca do vínculo emocional foi descrito no tópico “Anthropomorphization and emotional reliance” (“Antropomorfização e Confiança Emocional”, em tradução livre) no artigo GPT-4o System Card.

No texto, é citado que usuários escolhidos em um estudo inicial usavam um tipo de linguagem que indicava a criação de conexões emocionais com o modelo. A pessoa costumava usar expressões mais íntimas, como “esse é o nosso último dia juntos”, durante as interações com o modelo.

A OpenAI observou que a voz sintética do ChatGPT aumenta a chance de o usuário criar vínculo emocional com o modelo.Fonte:  GettyImages 

A OpenAI acredita que essas ocorrências eram benignas e não necessariamente representam perigo, mas motivou a empresa a aprofundar a investigação acerca dos efeitos da ferramenta em tempos de uso mais longo.

Para a companhia de Sam Altman, a preocupação está no impacto nas relações humanas reais. “Usuários podem criar uma relação social com a inteligência artificial, reduzindo sua necessidade por interação humana. Essa consequência pode ser benéfica para indivíduos solitários, mas pode afetar relacionamentos saudáveis”, explicou a empresa.

“Interações extensas com o modelo podem influenciar normas sociais. Por exemplo, nossos modelos são respeitosos, permitindo que o usuário interrompa e ‘assuma o microfone’ a qualquer momento, o que é esperado para uma IA, mas isso não é natural em interações humanas”, explica a OpenAI.

Ao final da seção, a empresa afirma que aprofundará o estudo sobre o potencial para apego emocional dentro dos modelos e como a integração mais íntima dos sistemas pode modelar o comportamento humano.

Outros riscos da antropomorfização

Ao atribuir características humanas a um modelo de inteligência artificial, o usuário tende a depositar mais confiança nas respostas do chatbot — e isso é um problema considerando seu potencial para alucinações.

Ter uma voz extremamente convincente pode aumentar a tendência de usuários a acreditar que o modelo fala a verdade, tal como acontece em diálogos entre pessoas. Essa consequência pode aumentar a disseminação de informações falsas.

Outro risco atrelado à tecnologia é que suas travas sejam contornadas, assim apresentando respostas perigosas. Assim como acontece em textos, o modelo pode ser enganado e gerar uma interação indesejada, talvez até ofendendo o usuário ou propositalmente entregando dados falsos.