Algorithmes publics : les droits humains ne doivent pas être une variable d’ajustement

A services publics, algorithmes publics. Si les débuts pour garantir la transparence des algorithmes dans le secteur public ont été laborieux, les choses semblent évoluer dans le bon sens tant au niveau belge qu’européen. Manque encore chez nous la mise en place d’un registre public de consignation des algorithmes et bien entendu la nomination d’une autorité de contrôle qui devrait logiquement être en étroite liaison avec l’Autorité de Protection des données. Petit tour d’horizon européen de ces fameux « algorithmes publics »

Profilage racial et précarisation des précaires

Aux Pays-Bas en 2013, le gouvernement néerlandais a mis en place un algorithme censé détecter une volonté frauduleuse dans la demande d’aide sociale des citoyennes et citoyens. La raison d’être de celui-ci est de fixer un score de probabilité d’une demande non valide. Le hic : personne ne connaît le fonctionnement de l’algorithme. Pourtant, les administrations vont suivre durant plusieurs années sans aucune forme d’analyse ni de recoupement ses interprétations. Elles vont demander des justificatifs supplémentaires aux personnes soupçonnées, souvent des personnes en précarité ou supposées d’origine étrangère (double nationalité et/ou nom à consonance étrangère).

Catastrophes humaines

Certaines d’entre elles vont être victimes de demandes indues de remboursements tout simplement parce qu’elles se sont trouvées dans l’impossibilité et/ou l’incapacité de fournir les informations exigées. Entre 2013 et 2019, 26.000 parents bénéficiaires vont être touchés. Ils se sont vus demander des remboursements pouvant atteindre plusieurs milliers d’euros qu’ils étaient en droit d’avoir perçu. Certains vont s’écrouler sous les dettes Les conséquences ont été dramatiques : suicides, expulsions, enfants placés, divorces… Le scandale de cette «affaire des algorithmes » a finalement provoqué la chute du gouvernement début 2021. Depuis,une autorité de contrôle des algorithmes a été mise en place. Voici deux ans que celle-ci s’assure que les applications algorithmiques respectent les droits humains. Un registre de consignation des algorithmes a été activé.

Discrimination des personnes précaires et des étrangers

L’organisme danois de protection sociale, UDK (Udbetaling Danmark), est alimenté par l’intelligence artificielle. Selon un rapport d’Amnesty International, le système d’aide sociale danois utilise 60 modèles algorithmiques visant à détecter les fraudes aux prestations sociales. Le problème : le système est discriminant pour les personnes précaires. Parmi les données utilisées : informations sur le statut de résidence, la citoyenneté, le lieu de naissance, les relations familiales. Mais pas que. L’« affiliation étrangère », pointe Amnesty, fait partie des critères. L’algorithme identifie des groupes de bénéficiaires considérés comme ayant des « liens moyens et forts » avec des pays non membres de l’Espace économique européen. Une fois détectées, ces personnes sont soumises en priorité à des enquêtes approfondies pour risque de fraude. 

Des millions de danois surveillés

En plus de dévoiler le volet discriminatoire du système de protection sociale danois, l’enquête d’Amnesty a permis de révéler l’étendue du système de surveillance déployé. Pour alimenter les algorithmes de détection de fraudes, les autorités danoises ont adopté des lois qui permettent de collecter et de fusionner des données personnelles à partir de bases de données publiques. Cela concerne donc des millions de résidents danois. L’ONG dénonce fermement ce qui s’apparente à un système de « notation sociale”.

Rendre les pauvres plus pauvres

En mars 2022, la Loi relative à la carte sociale entre en vigueur en Serbie. Elle automatise le processus d’attribution ou de refus d’une aide sociale. Cette loi repose sur le registre des cartes sociales, un système financé par la Banque mondiale, qui extrait des données telles que le revenu, l’âge, la composition du foyer, l’état de santé ou la situation professionnelle afin d’établir un profil socio-économique des personnes qui font une demande d’aide. Mais au lieu de rendre le système existant plus équitable, le registre des cartes sociales a eu l’effet inverse. Il a exclu des milliers de personnes dont c’est la seule source de revenus du programme de protection sociale et les a privés d’une assistance cruciale. Amnesty International encore elle constate dans une enquête que des groupes déjà marginalisés, en particulier les Roms et personnes en situation de handicap ont subi de plein fouet les conséquences de ce système automatisé.

Recours contre l’algorithme de notation de la CNAF en France

En France la Caisse nationale des allocations familiales (CNAF) utilise depuis 2010 un algorithme de notation qui attribue un score de risque aux allocataires permettant à l’organisme de cibler les contrôles. En 2023, La Quadrature du Net, Le Monde et Lighthouse Reports ont révélé la nature discriminatoire de cet algorithme. Les personnes les plus précaires se retrouvent sur-contrôlées par rapport au reste de la population. La Quadrature du Net détaille le fonctionnement de l’algorithme. « Pour identifier les personnes devant être contrôlées , la CNAF utilise un algorithme de notation de ses allocataires. Un « score de risque », allant de 0 à 1, est attribué à chacun. Le fonctionnement est simple : plus le score est proche de 1, plus la probabilité que les allocataires se fassent contrôler est élevé. Vous avez un faible revenu ? Votre « score de risque » augmente. Vous êtes au chômage ? Votre « score de risque » augmente. Vous avez une allocation adulte handicapé ? Votre « score de risque » augmente. Conséquence : les personnes déjà en difficulté se retrouvent sur contrôlées par rapport au reste de la population. »  Les critères de risque sont : disposer de faibles revenus, être au chômage, habiter dans un quartier défavorisé ou percevoir l’allocation adulte handicapé. 15 organisations, dont la Quadrature du Net et Amnesty ont introduit un recours contre l’algorithme de notation de la CNAF.

Opacité

En Belgique les algorithmes utilisés par l’État sont le plus souvent non contrôlés, non encadrés, tenus secrets. Elise Degrave, directrice de l’équipe de recherches en E-gouvernement au Namur Digital Institute (Nadi/Crids) et co-directrice de la Chaire E-gouvernement de l’Université de Namur. : « On ignore qui les a créés, selon quelles instructions, s’ils sont contrôlés ou pas. On ne peut donc exclure que ces algorithmes soient affectés de défauts qui pourraient entraîner des discriminations sur la base de la situation financière ou sur l’origine ethnique. »

Un algorithme hors la loi

Le logiciel OASIS collecte des données pour construire des profils de fraudeurs potentiels travaillant en noir. OASIS utilise les données de différentes administrations (ONSS, ONEM, SPF Sécurité Sociale) afin de détecter les comportements frauduleux des allocataires sociaux. Problème : « C’est l’administration elle-même qui a développé l’outil sans aucun encadrement juridique, lui permettant ainsi d’éviter un contrôle du parlement et de la justice. A cause de cette opacité, il était impossible de savoir si ce système est aussi discriminatoire que son homologue néerlandais. » Depuis, c’est la BDAP (Base de Données pour les Applications Patrimoniales) qui remplace Oasis. Le contrat de développement a été attribué à Deloitte pour un montant de 6,7 millions d’euros. Mis en production en 2020, il n’est plus actif depuis le début de cette année…

Analyse d’impact

Élise Degrave propose 3 pistes d’action concrètes : « Premièrement, pour garantir effectivement la protection de la vie privée de chaque citoyenne et citoyen, tout en luttant contre les discriminations provoquées par le numérique, chaque dispositif devrait faire l’objet d’une analyse d’impact avant sa mise en place, et avant le débat démocratique au Parlement permettant de mesurer notamment l’impact de ces dispositifs sur les droits humains et de nourrir le travail critique des députés qui auront à décider de recourir ou non à ces outils. Les Ministres devront en endosser la responsabilité. »

Suivi en continu

« Deuxièmement, pour obvier au risque d’erreurs en chaîne dans les décisions fondées sur des échanges de données, la transparence des traitements des données devrait être renforcée en mettant en place un « tracking » des données à l’image de ce qui se fait lorsque l’on commande un produit sur internet et que le parcours du produit est disponible en temps réel. Il y va du respect du droit à l’égalité et la non discrimination du droit à la vie privée et du droit à la transparence administratives »

Pour une AFSCA des algorithmes

« Troisièmement, puisque les biais algorithmiques mettent en péril le droit à l’égalité et à la non discrimination et peuvent provoquer des conséquences humaines désastreuses, ils devraient être contrôlés en mettant en place une «AFSCA » des algorithmes, autorité indépendante spécifiquement dédiée à cette mission. » En Belgique, la transparence administrative est un droit fondamental (article 32 de la Constitution). « Ce droit est en péril lorsque l’état refuse de donner la copie des algorithmes du secteur public, ou qu’il est particulièrement difficile voire impossible de comprendre la source d’une erreur dans nos données numériques. Davantage de transparence doit être organisée, notamment en imposant à l’État de publier une carte d’identité de ses algorithmes, leurs noms, le nom de leurs créateurs, l’objectif qu’ils poursuivent, les administrations dans lesquelles ils sont utilisés. »

Vote au Sénat belge et signature de l’IA Act européen

Le 10 février 2023, le Sénat a voté une proposition de résolution relative à la mise en place d’une autorité de contrôle des algorithmes. De son côté, le Parlement européen s’est mis d’accord sur la première législation encadrant l’intelligence artificielle. La convention-cadre du Conseil de l’Europe sur l’intelligence artificielle et les droits de l’homme, la démocratie et l’état de droit, l’IA Act, a été signée le 5 septembre 2024

Des obligations contraignantes

Le texte de la convention établit « des principes généraux et des obligations en matière de protection des droits de l’homme, de la démocratie et de l’état de droit qui sont pleinement cohérents et conformes aux objectifs du règlement sur l’IA et aux exigences détaillées applicables aux systèmes d’IA et aux obligations imposées aux fournisseurs et aux installateurs de ces systèmes. »

Principes fondamentaux

La Convention-cadre sur l’intelligence artificielle précise que « Les activités menées dans le cadre du cycle de vie des systèmes d’IA doivent se conformer aux principes fondamentaux suivants :

• dignité humaine et autonomie personnelle
• égalité et non-discrimination
• respect de la vie privée et protection des données à caractère personnel
• transparence et contrôle
• obligation de rendre des comptes et responsabilité
• fiabilité
• innovation sûreé

Deux grands champs d’obligation

Les obligations générales des Etats qui sont détaillées dans la Convention cadre touchent la protection des droits de l’homme (article 4 de la convention) et le respect de l’intégrité des processus démocratiques et de l’État de droit. »

Protection des droits de l’homme

Selon la Convention cadre, « En vertu du droit international, les Parties ont le devoir de veiller à ce que leur droit interne soit conforme à leurs obligations juridiques internationales, y compris les obligations découlant des traités internationaux qui les lient. Le droit international des droits de l’homme établit l’obligation pour chaque Partie de respecter, de protéger et de mettre en œuvre les droits de l’homme. »

Intégrité des processus démocratiques et respect de l’État de droit

La convention précise encore que « Les inquiétudes concernant l’utilisation de l’intelligence artificielle en politique existent depuis longtemps, mais celles spécifiquement associées aux démocraties et au processus électoral se sont intensifiées avec les récentes avancées technologiques. Les applications récemment introduites de cette technologie émergente pourraient constituer de nombreuses menaces pour la démocratie et les droits de l’homme, en servant d’outil puissant pour fragmenter la sphère publique et saper la participation civique et la confiance dans la démocratie. Ces outils pourraient permettre aux utilisateurs, y compris aux acteurs malveillants, de diffuser de la désinformation et des informations erronées susceptibles de porter atteinte à l’intégrité de l’information (notamment par l’utilisation de contenus générés par l’IA ou la manipulation de contenus authentiques par l’IA) et, le cas échéant, au droit d’accès à l’information ; de prendre des décisions préjudiciables concernant des personnes, ce qui pourrait donner lieu à des pratiques discriminatoires ; d’influencer des décisions de justice, ce qui pourrait avoir des répercussions sur l’intégrité du système judiciaire ; et de procéder à une surveillance illégale ou arbitraire, ce qui entraînerait des restrictions de la liberté de réunion ou de la liberté d’expression, ainsi que des atteintes à la vie privée. » Les « zones » à surveiller selon l’Union sont au nombre de 8

1. le principe de la séparation des pouvoirs (entre les pouvoirs exécutifs, législatifs et judiciaires) ;
2. un système efficace d’équilibre des pouvoirs entre les trois pouvoirs, y compris un contrôle efficace du pouvoir exécutif ;
3. le cas échéant, une répartition équilibrée des pouvoirs entre les différents niveaux de gouvernance (séparation verticale des pouvoirs) ;
4. le pluralisme politique (assuré en grande partie par la protection des droits de l’homme, dont le respect est essentiel pour une démocratie prospère, tels que la liberté d’expression, la liberté d’association et la liberté de réunion pacifique ; et l’existence de médias pluralistes et indépendants, ainsi que d’un éventail de partis politiques représentant des intérêts et des points de vue différents) ainsi que l’accès équitable et la participation au débat public ;
5. la participation aux processus démocratiques par le biais d’élections libres et équitables, et une pluralité de formes de participation civile et politique significatives ;
6. la règle de la majorité politique associée au respect des droits de la ou des minorité(s) politique(s) ;
7. le respect du principe de l’État de droit (englobant généralement les principes de légalité, de sécurité juridique et d’interdiction de l’arbitraire) et le principe de l’accès à la justice et de sa bonne administration ; et
8. le respect du principe de l’indépendance de la justice »

Pour une algo-gouvernance

Ces encadrements juridiques vont dans le (bon) sens d’une « algo-gouvernance » : le fait de rendre publics les algorithmes des services publics permettant à chacun de savoir s’ils sont de droite, de gauche, et d’agir dans cette dimension cruciale de la vie démocratique et du vivre ensemble