A OpenAI anunciou a formação de um novo comitê para supervisionar decisões críticas de segurança e proteção em seus projetos e operações. Este comitê, no entanto, gerou polêmica ao ser composto exclusivamente por membros internos, incluindo Sam Altman, CEO da empresa de IA. O novo comitê terá a tarefa de revisar os processos e medidas […]
A OpenAI anunciou a formação de um novo comitê para supervisionar decisões críticas de segurança e proteção em seus projetos e operações. Este comitê, no entanto, gerou polêmica ao ser composto exclusivamente por membros internos, incluindo Sam Altman, CEO da empresa de IA.
O novo comitê terá a tarefa de revisar os processos e medidas de segurança da OpenAI nos próximos 90 dias, segundo postagem do blog da empresa. Após essa avaliação, o comitê apresentará suas conclusões e recomendações ao Conselho de Administração da OpenAI para análise.
A empresa também se comprometeu a divulgar uma atualização sobre as sugestões que forem implementadas, garantindo que estejam alinhadas com os padrões de segurança.
Leia também: Anthropic contrata Jan Leike, ex-OpenAI, para liderar nova equipe de superalinhamento
Além de Altman, o comitê inclui os membros do conselho da OpenAI, Bret Taylor, Adam D’Angelo e Nicole Seligman, e ainda Jakub Pachocki, cientista-chefe, Aleksander Madry, líder da equipe de “preparação”, Lilian Weng, chefe dos sistemas de segurança, Matt Knight, chefe de segurança, e John Schulman, chefe da ciência de alinhamento.
A decisão de não incluir observadores externos, no entanto, foi alvo de críticas de especialistas em ética, que temem que a falta de imparcialidade comprometa a eficácia da supervisão.
A iniciativa vai ao encontro de críticas recorrentes de ex-funcionários da empresa. Nos últimos meses, a OpenAI viu a saída de vários funcionários importantes da área de segurança, como Daniel Kokotajlo, ex-membro da equipe de governança, Ilya Sutskever, ex-cientista-chefe, Jan Leike, ex-pesquisador de segurança, e Gretchen Krueger, ex-pesquisadora de políticas de IA.
Estes ex-funcionários expressaram preocupações sobre a prioridade dada à segurança na empresa. Kokotajlo e Leike, em particular, criticaram a OpenAI por não abordar adequadamente as questões de segurança em meio ao lançamento de produtos de IA cada vez mais sofisticados.
Helen Toner e Tasha McCauley, ex-membros do Conselho da OpenAI, também levantaram dúvidas sobre a capacidade da empresa de se autorregular sob a liderança de Altman. Em um artigo recente, elas afirmaram que a autogovernança é insuficiente diante das pressões de lucro.
Em maio, o site TechCrunch divulgou que a equipe de Superalinhamento da OpenAI, encarregada de desenvolver métodos para governar e direcionar sistemas de IA “superinteligentes”, inicialmente deveria receber 20% dos recursos de computação da empresa.
No entanto, na prática, essa promessa não se concretizou, e a equipe acabou recebendo apenas uma fração mínima desses recursos. Como resultado, a equipe foi dissolvida e muitas de suas responsabilidades foram transferidas para Schulman e um grupo consultivo de segurança estabelecido pela OpenAI em dezembro.
Para mitigar as críticas, a OpenAI prometeu incluir especialistas externos em segurança no apoio ao comitê, como Rob Joyce e John Carlin, embora detalhes sobre a composição e poder deste grupo ainda não tenham sido revelados. A empresa comprometeu-se a compartilhar as conclusões do comitê com seu Conselho de Administração e publicar atualizações sobre as sugestões adotadas.
Apesar das promessas de inclusão de vozes externas na governança, a implementação efetiva dessas medidas ainda é incerta. Anteriormente, Altman havia prometido um papel significativo para representantes externos na governança da OpenAI, conforme escreveu em um artigo, em 2016, para o New Yorker, uma promessa que até agora não se concretizou.
*Com informações do TechCrunch
Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!
