Évaluer et atténuer l’iniquité des modèles de crédit

EY et Microsoft ont collaboré afin de déterminer comment la trousse d’outils Microsoft Fairlearn peut aider les institutions financières à intégrer l’équité au sein de leurs pratiques d’octroi de prêt.

L’importance de l’équité dans la modélisation financière

Les entreprises de services financiers jouent un rôle fondamental dans le bien‑être financier des individus, des communautés et des entreprises. Chaque jour, ces entreprises prennent des décisions qui influencent la vie des gens, notamment en approuvant des demandes de prêt, en saisissant des hypothèques ou en versant des indemnités d’assurance vie.

Au cours des dernières années, les entreprises de services financiers ont commencé à recourir à l’intelligence artificielle (IA) et à l’apprentissage automatique dans le cadre de leurs processus décisionnels. Étant en mesure de recueillir et d’analyser de grandes quantités de données, structurées ou non, les algorithmes d’IA ont le potentiel d’aider les entreprises de services financiers à mieux répondre aux besoins de leurs clients.

Alors que l’IA joue un rôle de plus en plus important dans le secteur des services financiers, les entreprises doivent l’utiliser de manière responsable en anticipant les conséquences inattendues. Le déploiement d’un système d’IA au sein d’une entreprise est susceptible de priver involontairement des personnes de services, de renforcer des préjugés touchant le genre ou la race ou d’enfreindre des lois telles que la Loi canadienne sur les droits de la personne.

Pour faire face à ce type de préoccupations, l’équité doit être une priorité absolue tout au long du cycle de développement et de déploiement de l’IA. La transparence et l’équité sont les aspects les plus importants d’un modèle IA/apprentissage automatique fiable et efficace.

Nous explorons ici la façon dont la boîte à outils Microsoft Fairlearn peut être utilisée pour évaluer et améliorer l’équité d’un modèle d’apprentissage machine pour l’adjudication de prêts.

Comment l’équité est‑elle définie?

Les mesures d’équité quantifient la mesure dans laquelle un modèle est conforme à une définition donnée de l’équité. Fairlearn inclut plusieurs définitions générales de l’équité pour la classification binaire, ainsi que des définitions convenant à la régression. Ces définitions requièrent soit la parité des performances du modèle (p. ex. taux d’exactitude, d’erreur, de précision, de rappel), soit la parité du taux de sélection (p. ex. taux d’approbation des prêts) entre différents groupes définis en fonction d’une caractéristique sensible telle que le genre ou l’âge. Il convient de souligner qu’il n’est pas nécessaire d’utiliser la caractéristique sensible comme donnée d’entrée du modèle; elle n’est requise que lors de l’évaluation des mesures d’équité.

Les trois définitions suivantes sont fréquemment utilisées dans les situations de classification où la classification « positive » se traduit par l’attribution d’une occasion ou d’une ressource (p. ex. un prêt) et où le fait d’avoir une mention positive dans un ensemble de données signifie que la personne concernée est « qualifiée » :

• Parité démographique (indépendance) : les individus de chaque groupe doivent être classés comme étant positifs à des taux égaux. De la même manière, les taux de sélection dans tous les groupes devraient être égaux.
• Égalité des chances (séparation) : les individus qualifiés au sein de chaque groupe doivent être classés comme étant positifs à des taux égaux. De la même manière, les taux de vrais positifs dans tous les groupes devraient être égaux.
• Égalisation des chances (suffisance) : les individus qualifiés au sein de chaque groupe doivent être classés comme étant positifs à des taux égaux; les individus non qualifiés au sein de chaque groupe doivent également être classés comme étant positifs à des taux égaux. De la même manière, les taux des vrais positifs dans tous les groupes devraient être égaux et les taux des faux positifs dans tous les groupes devraient être égaux.

Fairlearn

Fairlearn est une trousse d’outils logicielle libre en langage Python permettant d’évaluer et d’améliorer l’équité des systèmes d’IA. La conception de Fairlearn repose sur le principe qu’il n’existe pas qu’une seule définition de l’équité et que privilégier l’équité pour l’IA implique souvent de faire des compromis en fonction de priorités concurrentes. Fairlearn fournit aux scientifiques des données et aux développeurs la possibilité de sélectionner une définition adaptée de l’équité, de trouver des compromis entre l’équité et la performance du modèle, et de sélectionner un algorithme d’atténuation de l’iniquité qui répond à leurs besoins.

Fairlearn met l’accent sur les atteintes à l’équité qui nuisent à des groupes de personnes, tels que ceux définis en fonction du genre, de la race, de l’âge ou d’une invalidité. Fairlearn propose un large éventail de définitions de l’équité permettant de jauger les effets d’un modèle sur des groupes de personnes, tant pour les tâches de classification que pour celles de régression. Ces définitions d’équité peuvent être examinées au moyen d’un tableau de bord interactif de visualisation, lequel facilite également l’identification de compromis entre l’équité et la performance du modèle. Au‑delà de la composante évaluation, Fairlearn offre également une gamme d’algorithmes d’atténuation de l’iniquité adaptés à un large éventail de contextes.

Fairlearn dispose d’un tableau de bord interactif de visualisation permettant aux utilisateurs d’évaluer les groupes de personnes susceptibles d’être touchées négativement par un modèle et de comparer plusieurs modèles en termes d’équité et de performance.

Lors de la configuration du tableau de bord pour l’évaluation de l’équité, l’utilisateur peut sélectionner deux éléments :

• la caractéristique sensible (p. ex. le genre ou l’âge) qui sera utilisée pour évaluer l’équité d’un ou de plusieurs modèles;
• la mesure de performance (p. ex. le taux d’exactitude) qui sera utilisée pour évaluer la performance du modèle.

Ces sélections sont ensuite utilisées pour générer une visualisation de l’incidence d’un modèle sur les groupes définis en fonction de la caractéristique sensible (p. ex. le taux d’exactitude pour « femme » et « homme », défini en fonction de la caractéristique de genre). Le tableau de bord permet également à l’utilisateur de comparer l’équité et la performance entre plusieurs modèles, ce qui lui donne la possibilité de faire des compromis et de trouver un modèle qui réponde à ses besoins.

Algorithmes d’atténuation des iniquités

Conclusion

Bien que nous nous soyons concentrés sur l’utilisation de l’IA dans un scénario d’adjudication de prêt, le recours à l’IA est de plus en plus fréquent tout au long du cycle de vie du crédit. Après l’approbation d’un prêt à un candidat, les systèmes d’IA sont généralement utilisés pour déterminer le montant du prêt et le taux d’intérêt qui lui sont proposés. Jusqu’à la fin de la durée de vie d’un produit de crédit, une entreprise de services financiers peut également utiliser des systèmes d’IA pour la gestion des comptes en se basant sur le comportement du compte, les informations des agences d’évaluation du crédit et d’autres informations sur le client. Les systèmes d’IA sont à même de préapprouver les augmentations de limites des cartes de crédit ou de faciliter une stratégie de recouvrement lorsqu’un client éprouve des difficultés de remboursement.

Alors que les entreprises de services financiers utilisent de plus en plus les systèmes d’IA, prioriser l’équité dans l’IA est essentiel à leur réussite.

Bien que cette collaboration entre Microsoft et EY soit axée sur l’utilisation d’une trousse d’outils logicielle, nous insistons sur le fait que la question de l’équité dans l’IA représente un défi sociotechnique, si bien qu’aucune trousse d’outils logicielle ne « résoudra » cette question dans tous les systèmes d’IA. Cela ne signifie pas que les trousses d’outils logicielles ne peuvent pas jouer un rôle dans le développement de systèmes d’IA plus équitables, mais simplement qu’elles doivent être précises et ciblées, intégrées dans un cadre holistique de gestion des risques qui prend en compte un contexte sociétal élargi pour les systèmes d’IA, et accompagnées de ressources et de processus complémentaires.