Como as avaliações de IA podem aumentar a confiança na IA

Entendendo o cenário de avaliação de IA

Em janeiro de 2025, os formuladores de políticas de quase 70 países introduziram mais de mil iniciativas de políticas públicas de IA, incluindo legislação, regulamentação, iniciativas voluntárias e acordos, de acordo com a Organização para Cooperação e Desenvolvimento Econômico (OCDE). Muitas dessas iniciativas incluem vários tipos de avaliações de IA.  Essas avaliações podem ser amplamente agrupadas em três categorias:
 

1. Avaliações de governança, que determinam se existem políticas, processos e pessoal de governança corporativa interna adequados para gerenciar um sistema de IA, incluindo os riscos, a adequação e a confiabilidade desse sistema.
   
   
2. Avaliações de conformidade, que determinam se o sistema de IA de uma organização está em conformidade com as leis, regulamentos, normas ou outros requisitos de política relevantes.
   
   
3. Avaliações de desempenho, que medem a qualidade do desempenho das principais funções de um sistema de IA, como precisão, não discriminação e confiabilidade. Eles geralmente usam métricas quantitativas para avaliar aspectos específicos do sistema de IA.
    

Mesmo com esses três tipos emergentes de avaliações, pode haver variações significativas na qualidade da avaliação. Para resolver essas deficiências, recomendamos que todas as avaliações de IA incluam as seguintes características:
 

• Especificidade sobre o que deve ser avaliado e por quê:  Uma estrutura eficaz de avaliação de IA terá um objetivo comercial ou político, um escopo e um assunto claramente especificados e articulados.
  
  
• Metodologia clara: As metodologias e os critérios adequados determinam como um assunto é avaliado, e é essencial que avaliações semelhantes de IA usem abordagens claramente definidas e consistentes. Algumas avaliações, por exemplo, podem incluir opiniões ou conclusões explícitas, enquanto outras podem fornecer apenas um resumo dos procedimentos realizados. A consistência, combinada com uma terminologia clara, permite que os usuários comparem os resultados da avaliação e entendam como eles foram alcançados.
  
  
• Qualificações adequadas para quem fornece a avaliação:  A escolha do fornecedor da avaliação é crucial e influencia diretamente a credibilidade, a confiabilidade e a integridade geral do processo. As principais considerações para a seleção de provedores de avaliação incluem competência e qualificações, objetividade e responsabilidade profissional.

Próximas etapas para líderes empresariais

• Considere o papel que as avaliações de IA podem desempenhar no aprimoramento da governança corporativa e do gerenciamento de riscos. As avaliações de IA podem ajudar os líderes empresariais a identificar e gerenciar os riscos em evolução associados aos seus sistemas de IA e ajudar a indicar se os sistemas de IA funcionam conforme o esperado.
  
  
• Avaliar se –  mesmo na ausência de obrigações regulatórias – é possível realizar avaliações voluntárias para criar confiança nos sistemas de IA entre funcionários, clientes e outros stakeholders importantes.  A dinâmica do mercado, a demanda dos investidores ou as considerações de governança interna podem tornar aconselhável uma avaliação voluntária da IA para criar confiança nos sistemas de IA de uma empresa. Além disso, se alguns sistemas de IA estiverem sujeitos a obrigações regulamentares, os  líderes empresariais  poderão optar por usar avaliações para ajudar a medir e monitorar a conformidade.
  
  
• Quando forem usadas avaliações voluntárias, determine a avaliação mais adequada.  Os líderes empresariais deverão determinar se devem realizar uma avaliação de governança, conformidade e desempenho, e se ela deve ser realizada internamente ou por terceiros.