Sistemas de IA generativa precisam ser continuamente confrontados ou testados

Os sistemas de inteligência artificial generativa usados pelas empresas devem ser continuamente confrontados para verificar se estão em conformidade com a legislação e as políticas das organizações. “Há muita preocupação com o pré-desenvolvimento e o desenvolvimento em si, mas pouco olhar para o pós, que se trata dessa verificação permanente dos sistemas para analisar, por exemplo, se as respostas dadas ao cliente continuam adequadas”, disse Giuliane Paulista, Head de Cultura, Governança e Estratégia de Dados e IA do Banco do Brasil, que participou do painel da EY na Febraban Tech realizado no dia 11 de junho. 

Na avaliação dela, esse trabalho de conformidade não se encerra na criação da IA generativa, sendo imprescindível contestar essa tecnologia a todo momento, já que está na sua essência a possibilidade de inovar nas interações, o que pode resultar em alucinação (erro ou criatividade não desejada dos sistemas de IA). “A governança não pode prejudicar a implementação da IA generativa, devendo atuar como habilitadora de sua evolução. Há necessidade de uma governança adaptativa, que se adapte conforme a criticidade do seu uso. Uma IA que vai servir ao cliente é totalmente diferente daquela usada pelos colaboradores no dia a dia em suas funções”, completou.

Para fazer essa confrontação, são usados agentes de IA, sob supervisão humana, chamados de red teaming, que verificam possíveis vulnerabilidades do sistema. “Esses testes permitem que as organizações possam corrigir os problemas a fim de evitar exposição a qualquer risco que possa trazer prejuízos financeiros e reputacionais”, afirmou Telma Luchetta, sócia-líder da EY em Generative AI, Data e Analytics Latam, que também participou do painel. 

O red teaming provoca o modelo de IA generativa a dizer ou fazer coisas diferentes do que ele foi treinado, o que pode incluir respostas inadequadas trazendo discurso de ódio, pornografia, material protegido por direitos autorais ou envolvendo dados pessoais, como número de telefone e de documentos. “Depois que esses problemas são expostos pelo red teaming, novos comandos de instrução são criados para a IA generativa, realinhando assim o modelo”, finalizou Telma.

Esforços de governança

“Adotamos um framework de risco que nos ajuda na governança e na integração das áreas, com simulações de ataque para identificar essas vulnerabilidades da IA”, destacou Henrique Arutin, superintendente de Data & AI do Bradesco, também palestrante no painel promovido pela EY. O executivo contou que o banco começou sua jornada de IA dez anos atrás e tem como principal case a BIA, que nasceu para ajudar os colaboradores na agência e se expandiu depois para o atendimento aos clientes. “Funcionou muito bem para nós a criação de uma plataforma central que reúne todas as aplicações de IA que estão ou foram criadas pela organização. Isso facilita a governança e a integração dessas soluções”, disse.

Para Marco Aurélio Pereira, superintendente de Auditoria de Tecnologia e Cyber do banco BV, é fundamental já começar a implementar a IA generativa com políticas claras de governança, considerando principalmente os aspectos de segurança e éticos. “Ainda vemos no mercado muitas empresas usando a IA de forma não governada e não declarada, sem que todos da organização tenham ciência sobre isso”, disse. “Isso não pode acontecer, considerando que essa jornada deve envolver a organização como um todo, com a capacitação adequada de todo o time. No BV, conseguimos, dentro das ferramentas homologadas pelo banco, capacitar todos os auditores para usar essas soluções de IA, o que tem se mostrado acertado no ganho de produtividade com segurança no dia a dia”, finalizou.

Integração entre as áreas de negócio

Na visão de Guilherme Haraguchi, superintendente executivo de Inovação do Bradesco Seguros, é muito importante, na jornada de IA generativa e machine learning, que os colaboradores estejam unidos, o que traz visibilidade sobre o que está sendo feito. “Para isso, criamos uma comunidade de IA para trocar experiências entre os profissionais, incluindo cientistas de dados, engenheiros de machine learning e profissionais de negócio ligados com a operação. Para cada unidade de negócio, definimos o owner ou dono a fim de facilitar a comunicação e a inovação em cada uma das áreas”, comentou.

Estruturação dos dados e armazenamento com segurança

Por fim, Luiz Humberto Sucupira, superintendente de Tecnologia da Informação do Banco do Nordeste, que detém um dos maiores programas de microcrédito da América Latina, contribuindo assim para o sucesso da jornada de empreendedorismo, relembrou que, sem dados estruturados, não há como ter uma IA generativa robusta. 

“Estamos reforçando nossa área de governança de dados nesse movimento de viabilizar uma IA responsável, transparente e segura”, disse. Além disso, o executivo ressaltou que não dá para armazenar os dados em uma nuvem qualquer, já que são informações estratégicas para o banco, parte delas inclusive de caráter pessoal.

A inteligência artificial tem sido cada vez mais utilizada pelas empresas para inovar e tornar mais produtivo o dia a dia dos seus negócios. Há, no entanto, diversas dúvidas sobre como desenvolver e operacionalizar esses sistemas evitando os riscos que podem comprometer os resultados financeiros e a reputação das organizações. Nesse contexto, a EY lançou a série “IA aplicada aos negócios: Como utilizar essa tecnologia com segurança e governança para gerar inovação”, que, além desta reportagem, já publicou as seguintes:

IA generativa para fins tributários atende às obrigações fiscais e gera inteligência

Empresas adotam IA generativa na gestão do contencioso tributário

IA em 2024 requer fortalecimento da governança em assuntos como proteção de dados

Estudo da EY aponta cinco tendências globais para regulamentação de IA

Monitoramento por IA das emissões de metano já é realidade na indústria de gás e petróleo

Empresas precisam desde já adotar as melhores práticas de IA

Indústria de mineração encontra alternativas à abertura de minas por meio da IA

IA possibilita uso inteligente da rede de energia para aproveitar potencial das fontes renováveis

Educação é a base da governança em inteligência artificial

Engajamento dos C-Levels e diretores é característica em comum das empresas bem-sucedidas em IA

Conselheiros de administração no Brasil têm o desafio de inserir IA generativa na agenda de curto prazo

Uso da IA generativa pelas empresas começa com identificação do problema a ser resolvido

Cultura de dados aliada à IA melhora gestão de riscos corporativos

Erro ou criatividade da IA generativa, mesmo em nível baixo, traz riscos para as empresas

IA exige olhar para as transformações que serão viabilizadas pela tecnologia

Empresas consideram que IA generativa será complementar às iniciativas já existentes

IA generativa: 73% das empresas já estão investindo ou planejam investir dentro de um ano

Estruturação dos dados é desafio da área de gestão de riscos das organizações

IA registra mais de 90% de precisão na detecção de ameaças cibernéticas, diz estudo da EY

86% dos CIOs pretendem adquirir ou fechar parceria com plataforma de IA generativa

Uso da IA pelas varejistas traz ganhos em relação aos clientes, colaboradores e cadeia de suprimentos

Uso da IA na infraestrutura viabiliza projetos com monitoramento em tempo real

CEOs concordam que capacitação da força de trabalho vai definir liderança em IA

Geopolítica, tecnologia e ambiente regulatório desafiam departamentos jurídicos

85% dos departamentos jurídicos usam ou pretendem usar IA generativa para buscar jurisprudência

Uso da IA pelo agronegócio pode tornar Brasil ainda mais competitivo no cenário global