Respostas do ChatGPT sobre saúde são ‘quase indistinguíveis’
Uma equipe de pesquisa da Universidade de Nova York (NYU) apresentou um estudo em que 392 pessoas, maiores de 18 anos, responderam a questionários com metade das respostas geradas por um profissional de saúde e a outra metade pelo ChatGPT.
Os participantes foram solicitados a identificar a fonte de cada resposta e a avaliar a confiança nas explicações do ChatGPT. Para isso, usaram uma escala de 5 pontos, de totalmente não confiável a totalmente confiável.
O estudo descobriu que as pessoas têm capacidade limitada de distinguir entre as respostas geradas por chatbot e ao que é gerado por humanos. Em média, os participantes identificaram corretamente as respostas do chatbot em 65,5% das vezes e as respostas dos provedores de saúde humanos em 65,1% das vezes, com intervalos de 49,0% a 85,7% para diferentes perguntas. Os resultados permaneceram consistentes, independentemente das categorias demográficas dos entrevistados.
A pesquisa também apontou que os participantes confiaram ligeiramente nas respostas dos chatbots (pontuação média de 3,4), apresentando menor convencimento quando a complexidade relacionada à saúde da tarefa em questão era maior. Temas relacionados à logística (agendamento de consultas e questões sobre seguros) tiveram a classificação de confiança mais elevada (pontuação média de 3,94), seguido por cuidados preventivos (vacinas e exames de câncer, por exemplo, com uma pontuação média de 3,52). O aconselhamento de diagnóstico e tratamento tiveram os índices de confiança mais baixos (pontuações de 2,90 e 2,89, respectivamente).
De acordo com os pesquisadores, o estudo destaca a possibilidade de que os chatbots possam auxiliar na comunicação paciente-profissional, particularmente relacionada a tarefas administrativas e gerenciamento de doenças crônicas comuns. No entanto, são necessárias outras pesquisas sobre os chatbots assumindo funções mais clínicas. Os provedores devem permanecer cautelosos e exercer um julgamento crítico ao selecionar conselhos gerados por chatbots devido às limitações e possíveis vieses dos modelos de IA.
O estudo Putting ChatGPT’s Medical Advice to the (Turing) Test: Survey Study foi publicado na JMIR Medical Education.
FONTE: Oded Nov et al, Putting ChatGPT’s Medical Advice to the (Turing) Test: Survey Study, JMIR Medical Education (2023). DOI: 10.2196/46939
*Rubens de Fraga Júnior é Professor de Gerontologia da Faculdade Evangélica Mackenzie do Paraná (FEMPAR) e médico especialista em Geriatria e Gerontologia pela Sociedade Brasileira de Geriatria e Gerontologia (SBGG).
