InícioTecnologiaAnthropic coloca avaliadores externos...

Anthropic coloca avaliadores externos dentro da empresa para testar a segurança dos seus modelos de IA

A Anthropic escolheu a Accenture como sua primeira avaliadora externa incorporada (“embedded evaluator”), em medida concreta para começar a colocar em prática a proposta do CEO, Dario Amodei, de desacelerar o ritmo de desenvolvimento dos sistemas de inteligência artificial (IA) mais avançados.

Continua após a publicidade

A parceria permitirá que especialistas da Faculty, divisão de IA da Accenture, trabalhem dentro da Anthropic para avaliar os mecanismos de segurança da empresa. A iniciativa prevê testes de salvaguardas, exercícios de red team e análises para verificar se os modelos de IA estão se comportando de acordo com valores humanos.

Anthropic e Accenture concordaram em investir pelo menos US$ 1 bilhão (cerca de R$ 5,3 bilhões) na construção de capacidade nessa área ao longo dos próximos cinco anos. A Anthropic, porém, afirmou que, devido à importância e à urgência do trabalho, financiará diretamente as atividades da Accenture.

A empresa disse que, no longo prazo, a expectativa é que esse tipo de trabalho seja financiado por recursos compartilhados ou governamentais, conforme previsto no Advanced AI Framework apresentado pela Anthropic em junho. Como essas estruturas ainda não existem, a companhia pretende trabalhar com diferentes avaliadores e modelos de financiamento.

Avaliadores terão acesso interno à Anthropic

A proposta de Amodei prevê que avaliadores independentes recebam acesso em nível de funcionário às empresas de IA. O objetivo é permitir que esses especialistas verifiquem diretamente as práticas de segurança e comuniquem incidentes.

Ao anunciar sua proposta, Amodei afirmou que a Anthropic se comprometeria “unilateralmente” com essa primeira etapa e incentivou outras empresas do setor a fazerem o mesmo.

Leia mais:

Logo da Accenture em um smartphone
Anthropic e Accenture concordaram em investir pelo menos R$ 5,3 bilhões na construção de capacidade nessa área ao longo dos próximos cinco anos – Imagem: Mamun_Sheikh/Shutterstock


A parceria com a Accenture não será exclusiva. A Anthropic afirmou que também está conversando com a organização de pesquisa sem fins lucrativos METR e com outras entidades que poderão participar do processo.

A empresa ressaltou, porém, que continuará sendo responsável pela segurança de seus modelos. A presença de avaliadores externos dentro da companhia não reduzirá essa responsabilidade.

“Estamos compartilhando esses primeiros esforços agora para que as pessoas e outros desenvolvedores de IA possam ver nosso processo”, afirmou a Anthropic. A empresa acrescentou que espera aperfeiçoar a abordagem conforme o setor amadurecer e que divulgará novas informações à medida que o trabalho começar e outros avaliadores forem incorporados.

Proposta de Amodei gerou reação no setor

  • Amodei apresentou seu plano de três etapas para conter o ritmo de avanço dos sistemas mais sofisticados de IA em meio ao aumento das discussões sobre os riscos associados ao desenvolvimento acelerado da tecnologia;
  • A proposta recebeu apoio de alguns executivos do setor, incluindo o CEO da OpenAI, Sam Altman, e Elon Musk, CEO da Tesla e da SpaceX. Outros adotaram posição diferente. Jensen Huang, CEO da Nvidia, rejeitou as preocupações e argumentou que não haveria necessidade de novas regulamentações;
  • A iniciativa também levantou questionamentos sobre como a proposta poderia funcionar na prática, especialmente enquanto a Anthropic se prepara para uma possível abertura de capital.

Continua após a publicidade

Com a entrada da Accenture, a companhia dá o primeiro passo concreto para transformar uma das principais ideias do plano de Amodei em uma estrutura operacional: permitir que uma organização externa tenha acesso direto à empresa para avaliar seus sistemas de segurança e identificar possíveis problemas antes que eles se agravem.

Rodrigo Mozelli

Rodrigo Mozelli

Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.

Ver todos os artigos →






Fonte Olhar Digital

Popular

DEIXE UMA RESPOSTA

Por favor digite seu comentário!
Por favor, digite seu nome aqui

Leia mais

Após reeleição de Lula, brasileiros miram os EUA em busca de oportunidades profissionais

Advogada de imigração Anita Mignone explica os caminhos disponíveis para profissionais...

Angola avança na qualificação da gestão hospitalar com apoio da OMS

Iniciativa quer aprimorar gestão dos serviços de saúde e apoiar implementação...

Edits: app de edição de vídeo do Instagram chega ao desktop

Teste revela que contas novas no Instagram recebem pornografia no Reels...

Google, Meta e TikTok processam Califórnia para barrar lei de proteção a menores

Tudo sobre Google Tudo sobre TikTok Google, Meta e TikTok entraram com ações...