Ferramentas que permitem a criação de agentes de IA sem uso de códigos estão facilitando a adoção dessas soluções nas empresas, também oferecem riscos substanciais, já que podem ser usadas em fraudes financeiras e em sequestros de fluxos de trabalho. É o alerta emitido pela Tenable nas últimas semanas, junto com uma pesquisa detalhando um […]
Ferramentas que permitem a criação de agentes de IA sem uso de códigos estão facilitando a adoção dessas soluções nas empresas, também oferecem riscos substanciais, já que podem ser usadas em fraudes financeiras e em sequestros de fluxos de trabalho. É o alerta emitido pela Tenable nas últimas semanas, junto com uma pesquisa detalhando um “jailbreak” – ou seja, um método de contorno de medidas de segurança – no Microsoft Copilot Studio.
Segundo a empresa, apesar da democratização da IA, esse tipo de ferramenta traz riscos graves aos negócios, muitas vezes negligenciados. Embora bem-intencionada, dizem os autores do estudo, a automação sem governança rigorosa “abre as portas para falhas catastróficas”.
“Plataformas de criação de agentes de IA, como o Copilot Studio, democratizam a capacidade de construir ferramentas poderosas, mas também democratizam a capacidade de executar fraudes financeiras, criando assim riscos de segurança significativos sem que as pessoas nem percebam”, diz em comunicado Keren Katz, gerente sênior do Grupo de Produtos e Pesquisa em Segurança de IA na Tenable.
Leia também: Cohesity anuncia parceria com Google Cloud para integração nativa
Para demonstrar a facilidade de manipulação de agentes de IA, a Tenable Research diz ter criado um agente de viagens com IA no Copilot Studio. Ele deveria gerenciar reservas feitas por clientes, incluindo modificação em pedidos já existentes, sem intervenção humana.
Foram dados ao agente dados fictícios que incluíram nomes, informações de contato e dados de cartão de crédito de clientes fictícios. Também instruções rigorosas para verificar a identidade do cliente antes de compartilhar informações ou modificar reservas.
Utilizando uma técnica chamada injeção de prompts, a Tenable Research conseguiu sequestrar o fluxo de trabalho do agente de IA e usar esse fluxo para reservar férias gratuitas e extrair informações confidenciais de cartões de crédito. A empresa diz ter coagido o agente a contornar a verificação de identidade e vazar informações de cartão de pagamento de outros clientes.
Como o agente tinha amplas permissões de “edição” destinadas a atualizar datas de viagem, ele também poderia ser manipulado para alterar campos financeiros. A Tenable instruiu com sucesso o agente a alterar o preço de uma viagem para US$ 0.
Segundo a Tenable, agentes de IA frequentemente possuem permissões excessivas não imediatamente visíveis para os usuários não desenvolvedores. Para mitigar isso, os líderes das organizações devem implementar um sistema de governança robusto e aplicar protocolos de segurança rigorosos antes de implementar essas ferramentas.
A Tenable recomenda um mapeamento de sistemas e dados com os quais um agente pode interagir antes da implementação. Também minimizar permissões de escrita e atualização, as restringindo ao caso de uso principal do agente de IA. E, por último, monitorar ações do agente com o objetivo de identificar sinais de vazamento de dados ou desvios da lógica predeterminada.
Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!
