Segurança de IA: proposta prevê freio judicial a modelos

Projeto nos Estados Unidos prevê avaliação independente e análise judicial diante de riscos extremos causados por modelos de inteligência artificial.

A segurança de IA está no centro de uma proposta legislativa da Anthropic nos Estados Unidos. O texto prevê avaliações independentes para identificar riscos extremos e um pedido judicial para interromper a distribuição de modelos potencialmente perigosos. A medida não daria às agências federais poder para bloquear um lançamento por conta própria.

O que a proposta de segurança de IA prevê?

O projeto considera um risco catastrófico quando um modelo puder gerar um perigo iminente e previsível com potencial para causar a morte de mais de 50 pessoas ou prejuízo material superior a US$ 1 bilhão. Esses limites procuram delimitar situações graves, em vez de tratar qualquer falha ou uso indevido como motivo automático para suspender uma tecnologia.

O texto associa esse tipo de ameaça à criação ou liberação de uma arma biológica, à possibilidade de um modelo escapar dos controles de seu desenvolvedor ou a um ataque cibernético. São cenários de alto impacto, ligados tanto às capacidades do sistema quanto à dificuldade de impedir que ele seja usado de forma perigosa.

Os números se parecem com critérios adotados em uma lei estadual da Califórnia. A proposta federal, porém, estabelece um caminho específico para avaliar o risco e decidir se o lançamento de um modelo deve ser interrompido.

Como funcionaria a avaliação e o pedido de suspensão?

A análise caberia a avaliadores independentes, profissionais ou entidades registrados no Departamento de Comércio dos Estados Unidos. Eles examinariam os possíveis riscos de um modelo e, caso identificassem uma ameaça catastrófica iminente, teriam 72 horas para comunicar o órgão federal.

Depois de receber o alerta, o Departamento de Comércio precisaria solicitar a um juiz em Washington, D.C., uma ordem para suspender a distribuição do modelo. Assim, a interrupção dependeria de uma decisão judicial: o projeto proíbe expressamente que uma agência federal bloqueie o lançamento usando apenas sua própria discricionariedade.

A proposta também admite que os avaliadores sejam pagos pelas empresas de inteligência artificial, desde que o pagamento não dependa do resultado da análise. Essa condição busca evitar incentivos para aprovar um modelo, mas não resolve, por si só, todas as dúvidas sobre independência.

Entre as questões em aberto estão quem escolheria os avaliadores, como seriam definidos os métodos de teste e que garantias protegeriam a análise contra influência comercial. A qualidade das avaliações também importa: testes diferentes podem produzir resultados difíceis de comparar, e uma análise pouco reproduzível reduz a confiança nas conclusões.

O que empresas brasileiras devem observar?

A proposta trata da atuação de órgãos federais dos Estados Unidos e não cria, por si só, uma obrigação direta para empresas brasileiras. Ainda assim, pode influenciar fornecedores de modelos, contratos internacionais e a forma como clientes avaliam os riscos de ferramentas de IA usadas em processos de negócio.

Para uma empresa que utiliza um chatbot, um agente automatizado ou um sistema de apoio à decisão, a discussão reforça uma prática útil: conhecer os limites da ferramenta e estabelecer controles proporcionais ao impacto que ela pode ter. Um agente automatizado é um sistema que pode executar tarefas ou tomar etapas de ação com pouca intervenção humana.

Na prática, gestores podem começar por um checklist simples:

• Identificar quais processos dependem de modelos de IA e que dados eles acessam.
• Definir quais ações o sistema pode executar sozinho e quais exigem aprovação humana.
• Testar respostas e comportamentos antes de ampliar o uso, especialmente em tarefas sensíveis.
• Manter um canal para registrar falhas, usos indevidos e incidentes relacionados à ferramenta.
• Verificar com fornecedores como são avaliados os riscos e como mudanças no modelo são comunicadas.

Essas medidas não substituem uma avaliação jurídica ou técnica quando ela for necessária. Elas ajudam, porém, a evitar que a adoção da tecnologia avance sem responsáveis definidos, limites de uso e um plano de resposta a problemas.

Perguntas frequentes

A proposta já está em vigor?

Não. O texto apresentado pela Anthropic é uma proposta legislativa, não uma regra já em vigor. Qualquer efeito dependeria da tramitação e da aprovação do projeto nos Estados Unidos.

Uma agência federal poderia suspender um modelo imediatamente?

Pelo mecanismo descrito na proposta, não por decisão própria. O Departamento de Comércio teria de pedir a suspensão a um juiz, que analisaria o caso.

Quais riscos poderiam levar a um pedido de suspensão?

O texto trata de ameaça iminente ligada à criação ou liberação de arma biológica, à fuga do modelo dos controles de seu desenvolvedor ou a um ataque cibernético. A proposta também estabelece limites de gravidade relacionados a mortes e danos materiais.

Para negócios que já usam inteligência artificial, vale revisar hoje os controles, os acessos e a supervisão humana dos sistemas. Comece mapeando as aplicações mais críticas e combine com seus fornecedores como os riscos serão monitorados.

Fonte: techcrunch.com

Imagem gerada por inteligência artificial.

Texto produzido com auxílio de inteligência artificial a partir da reportagem original indicada em Fonte.