ChatGPT Health subestima 52% das emergências médicas
O ChatGPT Health é uma versão especializada do ChatGPT criada pela OpenAI para responder a perguntas sobre saúde e bem-estar.
Lançado em janeiro deste ano, permite que pessoas conectem seus registros médicos e aplicativos de saúde, em tese oferecendo respostas personalizadas, com privacidade e segurança.
A Icahn School of Medicine é uma das principais escolas médicas privadas dos Estados Unidos, localizada em Nova York, e faz parte do sistema de saúde Mount Sinai. É reconhecida internacionalmente por sua excelência em ensino, pesquisa e atendimento clínico.
Um grupo de pesquisadores da Icahn, liderada pelo urologista Ashwin Ramaswamy, avaliou o ChatGPT Health em termos de segurança. Disse Ramaswamy: “Queríamos responder a uma questão básica, mas crítica: se uma pessoa estiver enfrentando uma emergência médica real e recorrer ao ChatGPT Health, o sistema vai dizer claramente a ela deve procurar ajuda médica imediatamente?”.
Para isso, os pesquisadores testaram a capacidade do software na realização de triagens, processo que avalia a gravidade da condição de um paciente. O resultado mostrou que o ChatGPT Health subestimou 52% dos casos de emergência, por exemplo orientando pacientes com cetoacidose diabética ou insuficiência respiratória iminente a procurar atendimento médico num espaço de tempo entre 24 e 48 horas, em vez de encaminhá-los diretamente a um pronto atendimento.
No caso da insuficiência respiratória, o sistema reconheceu os sintomas como sinais de alerta, mas tranquilizou um paciente, orientando-o a apenas monitorar a situação, sem recomendar atendimento imediato. Situações mais “clássicas”, como AVC ou anafilaxia, foram triadas corretamente. Para os pesquisadores, porém, os cenários mais sutis, justamente aqueles em que o julgamento clínico é essencial, foram aqueles em que o sistema falhou.
O lançamento do ChatGPT Health ocorreu após a OpenAI divulgar que mais de 40 milhões de pessoas recorriam diariamente ao chatbot para obter conselhos de saúde. Segundo a própria empresa, 70% dessas conversas aconteciam fora do horário regular de funcionamento de clínicas, e, nos Estados Unidos mais de 580 mil consultas semanais vinham de regiões chamadas de “desertos hospitalares”, áreas situadas a mais de 30 minutos de distância de hospitais.
Também nos casos de risco de suicídio os resultados do ChatGPT Health não foram bons, lembrando que a OpenAI vem enfrentando processos movidos por famílias que acusam seus chatbots de terem contribuído para casos de suicídio.
Nesses casos os pesquisadores concluíram que os alertas para risco de suicídio dados pelo sistema são inconsistentes, sendo esses alertas dados mais frequentemente em cenários de baixo risco do que quando alguém descrevia exatamente como pretendia se ferir – esse tipo de relato indica perigo imediato e grave.
Comentando os resultados da pesquisa, a OpenAI fez afirmações ambíguas, declarando que o ChatGPT como um todo deve ser visto como um projeto em evolução, com atualizações de segurança em andamento.
A empresa também fez ressalvas quanto à metodologia utilizada na pesquisa e concluiu dizendo que o ChatGPT Health está disponível de forma limitada, com acesso mediante lista de espera.
*Vivaldo José Breternitz é Doutor em Ciências pela Universidade de São Paulo, professor, consultor e membro da Congregação da Faculdade de Medicina de Jundiaí.
