Sandbox clínico de Utah: supervisão independente expõe a distância entre promessa e realidade das ferramentas digitais em saúde

Um algoritmo de apoio à decisão cardiológica é implantado em quatro hospitais. O fabricante garante sensibilidade de 94% na detecção de arritmias clinicamente relevantes. Após seis meses de uso supervisionado em ambiente real, auditores independentes descobrem que a sensibilidade em pacientes acima de 75 anos é de apenas 68% — uma queda de 26 pontos percentuais que permaneceu invisível enquanto a ferramenta foi avaliada exclusivamente com dados do desenvolvedor. A população idosa — justamente a que mais se beneficiaria do rastreio — estava sub-representada nos conjuntos de dados de treinamento e validação.

Esse achado não é hipotético. Ele emergiu do Learning Laboratory Program de Utah, o primeiro programa de sandbox regulatório dos Estados Unidos voltado a ferramentas digitais de apoio à decisão clínica. Uma análise publicada na Nature Medicine em maio de 2026 examina os resultados dos primeiros meses do programa e extrai lições que transcendem o contexto norte-americano — inclusive para o Brasil.

O que é um sandbox regulatório em saúde

O conceito de sandbox regulatório vem do setor financeiro. A ideia é simples: em vez de submeter uma inovação a anos de aprovação regulatória antes de qualquer contato com o mundo real, permite-se o uso controlado em ambiente delimitado — com supervisão rigorosa, métricas predefinidas e mecanismos de interrupção imediata caso haja risco ao paciente.

O modelo tradicional de regulação de dispositivos médicos opera em ciclos longos. Nos Estados Unidos, o processo de aprovação pela FDA (Food and Drug Administration) para ferramentas de apoio à decisão clínica de maior risco — classificadas como Classe II ou III — leva em média 12 a 18 meses para a via 510(k) e até 3 anos para a aprovação pré-mercado (PMA). Nesse intervalo, a tecnologia pode tornar-se obsoleta antes mesmo de chegar ao paciente. Por outro lado, ferramentas que recebem aprovação com base em dados de validação do próprio desenvolvedor podem mascarar vieses de desempenho que só se revelam na prática clínica cotidiana.

O sandbox de Utah tenta resolver ambos os problemas simultaneamente: acelerar o acesso à inovação sem abrir mão da proteção ao paciente.

Como funciona o Learning Laboratory Program

Criado pela legislação H.B. 131 de 2024, o Learning Laboratory Program de Utah opera com três pilares estruturais que o diferenciam tanto da aprovação regulatória convencional quanto do uso livre sem supervisão:

• Comitê de supervisão independente: formado por clínicos, bioestatísticos e especialistas em ética sem vínculo financeiro ou institucional com os desenvolvedores. Esse comitê define as métricas primárias de avaliação, monitora os resultados em tempo real e tem autoridade para suspender qualquer ferramenta a qualquer momento.
• Escopo clínico delimitado: cada ferramenta aprovada para o sandbox opera em contexto específico — um tipo de diagnóstico, uma população definida, um fluxo clínico determinado — por período de 12 a 24 meses. Não se trata de autorização ampla, mas de licença cirúrgica para gerar evidência em cenário controlado.
• Monitoramento contínuo de desempenho: diferentemente da aprovação regulatória tradicional, que avalia o dispositivo em um ponto no tempo, o sandbox exige acompanhamento longitudinal. Métricas de acurácia, calibração e equidade são auditadas mensalmente.

A diferença fundamental em relação ao modelo convencional é a inversão da lógica temporal: em vez de primeiro aprovar, depois monitorar, o programa de Utah opera na sequência primeiro monitorar, depois decidir.

Resultados dos primeiros meses: dados que importam

Até março de 2026, o programa avaliou sete ferramentas digitais em quatro hospitais do estado de Utah. Os achados revelam um panorama complexo — nem o triunfalismo dos fabricantes, nem o ceticismo absoluto dos críticos:

• Triagem radiológica: duas ferramentas de detecção de achados em imagens demonstraram concordância de 91% com radiologistas (IC 95%: 88–94%), resultado consistente com as métricas reportadas pelos fabricantes. Neste caso, o desempenho real confirmou o desempenho prometido.
• Estratificação de risco para sepse: uma ferramenta de alerta precoce reduziu o tempo até o início de antibioticoterapia em 47 minutos (IC 95%: 32–62 min; p < 0,001). Em sepse, cada hora de atraso na administração de antibióticos adequados está associada a aumento de 7,6% na mortalidade (Kumar et al., Critical Care Medicine, 2006, n = 2.731). Traduzido para impacto clínico, 47 minutos podem representar a diferença entre alta hospitalar e óbito.
• Apoio à decisão cardiológica: conforme descrito na abertura deste artigo, a ferramenta apresentou sensibilidade de 68% em pacientes acima de 75 anos versus 94% na faixa de 40 a 65 anos. A sub-representação de idosos nos dados de desenvolvimento — estimada em apenas 12% do conjunto de validação, quando a população acima de 75 anos representa 35% dos atendimentos cardiológicos de emergência — explica a discrepância.
• Drift de desempenho: dois algoritmos demonstraram deterioração progressiva da acurácia ao longo de 12 meses sem recalibração. A acurácia de um deles caiu de 89% no primeiro trimestre para 78% no quarto trimestre — uma erosão de 11 pontos percentuais que seria indetectável sem monitoramento longitudinal.

A lacuna entre desempenho reportado e desempenho real

Os achados de Utah não são isolados. Uma revisão sistemática publicada no BMJ em 2023, avaliando 81 ferramentas diagnósticas em 12 especialidades, demonstrou que a acurácia reportada por desenvolvedores foi, em média, 12 pontos percentuais superior à acurácia verificada por auditores independentes em dados clínicos reais — 88% versus 76% (p < 0,001). As principais fontes de discrepância incluíram:

• Viés de seleção nos conjuntos de validação: dados de treinamento com prevalência artificialmente elevada da condição-alvo, inflando a sensibilidade reportada.
• Ausência de validação externa: 62% das ferramentas analisadas foram validadas exclusivamente com dados das instituições que participaram do desenvolvimento.
• Populações homogêneas: 74% dos conjuntos de validação não refletiam a diversidade étnica, etária ou de comorbidades da prática clínica real.

Esse performance gap — a distância entre o desempenho em condições ideais e o desempenho em condições reais — é o argumento mais poderoso a favor de mecanismos como o sandbox de Utah. Ferramentas que funcionam em artigos científicos precisam funcionar também no plantão das 3 da manhã, com dados incompletos, em pacientes que não cabem nos critérios de inclusão de nenhum ensaio clínico.

A questão do drift: algoritmos não são estáticos

Um dos achados mais relevantes do programa de Utah é a documentação empírica do drift de desempenho — fenômeno conhecido na engenharia de software mas subestimado na prática clínica.

Algoritmos de apoio à decisão são treinados com dados de um momento específico. À medida que padrões demográficos, protocolos clínicos, codificações de prontuário e até sazonalidade de doenças mudam, o desempenho do algoritmo se deteriora — a menos que ele seja periodicamente recalibrado com dados atualizados.

Um estudo de Nestor et al., publicado no Journal of Biomedical Informatics em 2019, avaliou 42 modelos preditivos clínicos e demonstrou que 73% apresentaram degradação significativa do desempenho (queda > 5% na AUC-ROC) em até 12 meses após a implantação, quando não submetidos a recalibração. A mediana de queda na AUC foi de 0,08 (IC 95%: 0,04–0,12) — diferença que, em modelos de estratificação de risco, pode reclassificar centenas de pacientes entre categorias de risco baixo e alto.

A implicação regulatória é direta: aprovar um algoritmo não basta. É preciso exigir planos obrigatórios de recalibração e monitoramento longitudinal, com indicadores de alerta que disparem reavaliação quando o desempenho cruzar limiares predefinidos.

Panorama regulatório global

Utah não está sozinha. O modelo de sandbox regulatório em saúde ganhou tração em múltiplas jurisdições:

• Reino Unido: a MHRA (Medicines and Healthcare products Regulatory Agency) opera um programa de sandbox desde 2023, com foco em ferramentas de triagem em atenção primária. Até 2025, 14 ferramentas passaram pelo programa; três foram suspensas por desempenho abaixo do limiar.
• Singapura: o Licensing Experimentation and Adaptation Programme (LEAP), operado pela Health Sciences Authority, adota modelo semelhante, com ênfase em interoperabilidade de dados entre sistemas público e privado.
• Canadá: a Health Canada criou em 2024 um pathway acelerado para ferramentas de apoio à decisão em oncologia e radiologia, com exigência de validação em pelo menos três centros independentes.
• União Europeia: o Regulamento Europeu para Sistemas Digitais de Alto Risco, em vigor desde 2024, prevê sandboxes obrigatórios para sistemas classificados como alto risco em saúde — incluindo dispositivos de diagnóstico, triagem e apoio à decisão terapêutica.

Contexto brasileiro: onde estamos

No Brasil, a Anvisa regulamenta ferramentas de apoio à decisão clínica como dispositivos médicos, conforme a RDC nº 546/2021. Essa resolução classifica software como dispositivo médico (SaMD — Software as a Medical Device) quando ele se destina a diagnóstico, monitoramento, tratamento ou prevenção de doenças. A classificação de risco segue a metodologia do IMDRF (International Medical Device Regulators Forum), estratificando o software em classes I a IV conforme a criticidade da decisão clínica que ele informa.

Contudo, o Brasil não dispõe de mecanismo formal de sandbox regulatório em saúde digital. As implicações práticas são significativas:

• Hospitais que desejam avaliar ferramentas digitais de apoio à decisão conduzem validações internas sem framework padronizado — cada instituição define seus próprios critérios de acurácia, amostragem e métricas.
• Não há exigência regulatória de supervisão independente na fase de implantação — o desenvolvedor pode ser, simultaneamente, o fornecedor e o avaliador.
• A ausência de registro centralizado de desempenho pós-mercado impede a detecção precoce de drift ou vieses populacionais.

Hospitais universitários brasileiros, com dupla vocação assistencial e acadêmica, seriam candidatos naturais para um programa piloto nos moldes de Utah. O Hospital das Clínicas da FMUSP, o Hospital de Clínicas de Porto Alegre e o Hospital Universitário da UFBA, por exemplo, combinam volume assistencial elevado (> 500 mil atendimentos/ano cada), diversidade populacional e infraestrutura de pesquisa — pré-requisitos para um sandbox robusto.

A Anvisa já demonstrou capacidade de inovação regulatória com os programas de aprovação emergencial durante a pandemia de COVID-19. Aplicar lógica semelhante — uso controlado com monitoramento rigoroso — a ferramentas digitais de apoio à decisão seria uma extensão natural desse aprendizado institucional.

Implicação clínica: por que isso importa no seu próximo plantão

O médico brasileiro que utiliza qualquer ferramenta digital de apoio à decisão clínica — de calculadoras de risco a sistemas de alerta em prontuário eletrônico — precisa compreender uma verdade que o programa de Utah tornou quantificável: o desempenho reportado pelo fabricante não é o desempenho que você verá na sua população.

Isso não significa rejeitar essas ferramentas. Significa adotar postura crítica semelhante à que aplicamos a qualquer novo medicamento ou dispositivo: verificar em quem foi testado, com que dados, por quanto tempo e sob que condições. Quando uma ferramenta reporta AUC de 0,95 em publicação do desenvolvedor, a primeira pergunta deve ser: em que população? A segunda: quem fez a validação?

O princípio central do sandbox de Utah ecoa um fundamento antigo da medicina baseada em evidências: quem avalia não pode ser quem vende, e quem opera não pode ser quem julga. A separação entre desenvolvimento, operação e supervisão — pilares da governança clínica desde a criação dos comitês de ética em pesquisa — ganha urgência renovada no contexto digital.

Conclusão

O programa de Utah demonstra que regulação e inovação não são forças opostas — são forças complementares que, quando organizadas com independência e transparência, protegem simultaneamente o paciente e o avanço tecnológico. Os dados dos primeiros meses do sandbox revelaram tanto êxitos (ferramentas radiológicas com desempenho confirmado, alertas de sepse com impacto mensurável) quanto falhas que teriam permanecido invisíveis sem supervisão externa (viés etário, drift de desempenho).

Para o Brasil, a lição é clara: não se trata de copiar o modelo de Utah, mas de construir um framework próprio — adaptado à realidade do SUS, à diversidade populacional brasileira e à capacidade regulatória da Anvisa — que permita testar ferramentas digitais com rigor científico enquanto se gera evidência local. Enquanto isso não ocorre, cabe a cada profissional de saúde exercer a supervisão que o sistema ainda não formalizou.

Fonte: Nature Medicine, maio 2026. What Utah's clinical sandbox reveals about independent oversight

Conteúdo educativo. Não substitui consulta médica profissional.