MentalHealthBench mede como chatbots lidam com conversas difíceis

A OpenAI lançou o MentalHealthBench, um benchmark aberto feito com mais de 80 psicólogos e psiquiatras licenciados de 22 países, para avaliar como modelos de IA respondem em conversas sobre saúde mental, do estresse do dia a dia a emergências. A correção é feita por um modelo da OpenAI, ponto que pesquisadores de fora vão querer conferir.

Por ·

MentalHealthBench mede como chatbots lidam com conversas difíceis

No dia 23 de setembro, a OpenAI lançou o MentalHealthBench, um benchmark aberto para medir como sistemas de IA respondem em conversas realistas sobre saúde mental. Benchmark é um conjunto fixo de casos de teste com um método de pontuação, para comparar modelos diferentes nas mesmas perguntas. A OpenAI diz que a maioria dos testes anteriores nessa área olhava só para emergências, e este quer cobrir tudo, do estresse do dia a dia ao sofrimento intenso e à crise.

A OpenAI dá o contexto sem rodeios: mais de um bilhão de pessoas usam o ChatGPT toda semana, e parte dessas conversas é sobre relações difíceis, estresse ou como ajudar alguém querido.

Como foi feito

A OpenAI diz que trabalhou com mais de 80 psicólogos e psiquiatras licenciados de 22 países, que falam 19 idiomas. As conversas são sintéticas, escritas para refletir padrões reais de uso sem usar conversas de usuários reais, e incluem adultos, adolescentes de 13 a 17 anos, cuidadores e profissionais de saúde.

Para cada conversa, pelo menos três especialistas escreveram critérios para avaliar a última resposta do modelo, como fazer a pergunta certa ou indicar ajuda no mundo real. Cada critério tem um peso de menos 10 a mais 10, então respostas que fazem mal perdem pontos. A OpenAI manteve só os critérios em que pelo menos dois especialistas concordaram e que nenhum terceiro contradisse.

Quem dá a nota

A correção é automática. A OpenAI usa um modelo dela, o GPT-5.6 Sol, para comparar cada resposta com os critérios dos especialistas. A OpenAI diz que os detalhes estão no artigo que acompanha o benchmark. Um teste criado por um laboratório e corrigido pelo modelo desse laboratório é um ponto de partida razoável, e também é a primeira coisa que pesquisadores de fora vão querer conferir rodando o benchmark aberto por conta própria.

A OpenAI também fez um estudo separado com 44 adultos que já usaram IA como apoio emocional. Eles deram mais valor a próximos passos práticos e ao tom do que os especialistas, que deram mais peso a entender o contexto primeiro. Esse estudo não mudou a pontuação.

O que dá e o que não dá para dizer ainda

Os resultados aparecem em gráficos na página da OpenAI, comparando modelos recentes de vários fornecedores. A OpenAI diz que as notas melhoraram com os modelos mais novos e que eles passaram a pedir mais contexto. A OpenAI também diz que o ChatGPT não substitui terapia nem atendimento profissional.

O que fazer com isso

Se a sua empresa tem um chatbot que conversa com o público, as pessoas às vezes vão levar problemas pessoais para ele, seja qual for o motivo para o qual ele foi feito. Como o benchmark é aberto, uma equipe pode rodar o próprio bot nas conversas do dia a dia e nas de emergência e ver como ele responde antes que um usuário real descubra. Junte isso a um encaminhamento claro para uma linha de crise nas regiões que você atende.

O que a gente pensa

Um teste aberto escrito por profissionais de saúde mental é mais útil que mais uma rodada de promessas sobre respostas seguras. A diferença entre o que usuários e especialistas valorizaram é a parte que mais chamou a atenção da gente, porque uma resposta pode seguir todas as regras clínicas e ainda soar fria para quem lê.

Fontes