Quem é responsável pelo erro de uma IA dentro do hospital?

Por Roberto Cruz

A inteligência artificial já integra a rotina de hospitais, apoiando desde triagens até decisões clínicas mais complexas. O problema é que a adoção avança mais rápido do que a definição de responsabilidade. Hoje, ainda é difícil responder com clareza: quem responde por uma decisão ou erro influenciada por IA no ambiente hospitalar?

Casos internacionais ajudam a dimensionar esse risco. Um dos mais discutidos envolve o sistema Epic Sepsis Model, utilizado em hospitais nos Estados Unidos. Um estudo publicado no JAMA Internal Medicine apontou que o sistema não identificou uma parcela relevante de pacientes em risco. Em outro exemplo, também estadunidense, algoritmos usados por operadoras de saúde eram racialmente enviesados, priorizando pacientes brancos em detrimento de negros com condições equivalentes. Em comum, esses casos mostram que erros da IA podem gerar riscos à vida e à integridade dos hospitais.

No Brasil, o cenário ainda é marcado por indefinição. Quando algo dá errado, forma-se uma cadeia difusa de responsabilidade: o médico que utilizou a ferramenta, o hospital que a implementou e o fornecedor que a desenvolveu. O Conselho Federal de Medicina (CFM) deixou claro que o médico não pode transferir sua responsabilidade técnica para a IA, mas isso não resolve toda a complexidade. Falta uma delimitação mais objetiva entre os diferentes atores. A Agência Nacional de Vigilância Sanitária (Anvisa) avança na regulação de softwares médicos, mas ainda há distância entre o que a norma prevê e o que acontece na prática.

As consequências dessa lacuna aparecem em três níveis. O primeiro é clínico. Sistemas de IA operam com base em dados históricos e carregam vieses, o que pode comprometer a precisão em contextos diferentes daqueles em que foram treinados. O segundo é sistêmico. O chamado automation bias, tendência de confiar demais em sistemas automatizados, leva profissionais sobrecarregados a confiarem cegamente nos atalhos que a Inteligência Artificial proporciona. O terceiro é institucional. Quando há dependência excessiva de um sistema sem validação adequada, o hospital se expõe a riscos jurídicos e danos reputacionais.

Diante disso, não faz sentido concentrar a responsabilidade em um único ponto. O modelo mais consistente é o de responsabilidade compartilhada, com papéis bem definidos. O médico responde pela decisão clínica final e pelo uso crítico da ferramenta. O hospital é responsável pela escolha, validação e governança do sistema dentro do seu contexto. Já o fornecedor deve garantir transparência sobre funcionamento, limitações e desempenho do modelo.

Para que esse modelo funcione, a adoção da IA precisa ser estruturada. O primeiro passo é a governança, ter um comitê multidisciplinar para validar os sistemas antes da implementação, considerando o perfil dos pacientes e o contexto clínico da instituição. Em paralelo, é necessário estabelecer uma relação contínua com fornecedores, com monitoramento, transparência entre os limites das tecnologias e revisão de performance. Outro ponto é o treinamento, ter um letramento em IA aplicada, garantindo que equipes saibam interpretar probabilidades, reconhecer limitações e identificar situações fora do padrão esperado pelo sistema.

A tendência é de avanço regulatório, com diretrizes mais específicas para aplicações de alto risco a serem criadas pela Anvisa e CFM. Ainda assim, nenhuma norma resolve o problema de forma isolada. A IA não substitui o julgamento médico, mas influencia. E influência sem responsabilidade definida amplia riscos.

No ambiente hospitalar, onde o impacto é direto sobre a vida dos pacientes, a diretriz sobre os limites da IA se torna prioridade na operação. Porque, quando o erro acontece — e ele vai acontecer —, a ausência de clareza sobre quem responde por ele torna mais difícil lidar com suas consequências.

*Roberto Cruz é co-CEO da Pixeon.