Depuis 2021, nous documentons via notre campagne France Contrôle les algorithmes de contrôle social utilisés au sein de nos administrations sociales. Dans ce cadre, nous avons en particulier analysé le recours aux algorithmes de notation. Après avoir révélé que l’algorithme utilisé par la CAF visait tout particulièrement les plus précaires, nous démontrons, via la publication de son code1, que l’Assurance Maladie utilise un algorithme similaire ciblant directement les femmes en situation de précarité.

Depuis 2018, un algorithme développé par l’Assurance Maladie (CNAM) attribue une note, ou score de suspicion, à chaque foyer bénéficiant de la Complémentaire Santé Solidaire gratuite (C2SG), soit 6 millions de personnes parmi les plus pauvres de France2. Cette note sert à sélectionner les foyers devant faire l’objet d’un contrôle. Plus elle est élevée, plus la probabilité qu’un foyer soit contrôlé est grande. Suite à une erreur de la CNAM, nous avons pu avoir accès au code source de cet algorithme que nous rendons public avec cet article. Le constat est accablant.

L’algorithme cible délibérément les mères précaires.

Stigmatiser les femmes précaires

« Première demande dont le demandeur est une femme de plus de 25 ans avec plus d’un majeur et au moins un mineur dans le foyer »5. Voici, mot pour mot, comment est décrit, au détour d’une slide PowerPoint, ce que les responsables de la CNAM appellent le « profil-type du fraudeur »6. C’est ce « profil-type » que l’algorithme est chargé d’aller détecter parmi les assuré·es. Plus une personne se rapproche de ce profil, plus son score de suspicion est élevé et sa probabilité d’être contrôlée est grande.

L’analyse du code de l’algorithme vient confirmer cette description. Parmi les variables utilisées par l’algorithme et augmentant le score de suspicion, on trouve notamment le fait d’être une femme, d’avoir des enfants mineurs ou d’être âgé·e de plus de 25 ans7.

Si cet algorithme ne fait pas directement apparaître de critères liés à la précarité économique, c’est tout simplement que ce critère est déjà présent de base dans la définition de la population analysée. Bénéficiaire de la C2SG, cette « femme de plus de 25 ans » fait partie des 6 millions de personnes les plus pauvres de France, dont la majorité est allocataire du RSA et/ou privée d’emploi.

Vers un ciblage des personnes malades ou en situation de handicap ? (...)

Une précision s’impose. Le fait que ce modèle expérimental n’ait pas été généralisé n’est en rien lié à un sursaut de décence de la part de la CNAM. Son « efficience » fut au contraire vantée dans des documents distribués lors de sa présentation en « Comité de direction Fraude » début 202010. Le seul problème, y expliquent les équipes de statisticien·nes de la CNAM, est que son utilisation n’est pas légale car ce nouveau modèle nécessiterait un « croisement de données non autorisé ». Pour pouvoir le mettre en place, les équipes cherchent à appâter les dirigeant⸱es de la CNAM afin de gagner leur appui pour obtenir le changement réglementaire nécessaire à la mise en place de ce croisement de données.

Opacité et indécence (...)

les dirigeant⸱es de la CNAM sont parfaitement au courant de la violence des outils qu’ils et elles ont validé. Nul besoin d’être expert·e en statistique pour comprendre les descriptions retranscrites ci-dessus relatives du « profil-type du fraudeur »12 que l’algorithme est chargé de cibler.

Mais plutôt que de s’y opposer, les responsables de la CNAM ont préféré utiliser l’opacité entourant son fonctionnement pour en tirer profit. Technique « à la pointe de la technologie », « intelligence artificielle » permettant une « détection proactive » de la fraude, outil prédictif « à la Minority Report » : voici comment, au gré de rapports officiels ou d’interventions publiques, ce type d’outil est vanté (...)

Au caractère indécent d’une telle présentation, ajoutons ici qu’elle est en plus mensongère. Car, contrairement à la manière dont il est présenté, l’algorithme n’est pas construit pour détecter les seules situations de fraudes. La documentation technique montre qu’il est entraîné pour prédire le fait qu’un dossier présente ce que l’Assurance Maladie appelle une « anomalie », c’est à dire le fait que les revenus d’un·e assuré·e dépasse le plafond de revenus de la C2S14. Or seule une partie de ces « anomalies » – lorsque l’écart entre les revenus et le plafond dépasse un certain montant – est classifiée comme fraude par l’Assurance-Maladie. Tout laisse à penser que la majorité des « anomalies » détectées par l’algorithme résulte avant tout d’erreurs involontaires, liées à la complexité des critères d’attribution de la C2SG qui inclut notamment l’ensemble des revenus dont le foyer dispose, et ce, jusqu’aux cadeaux et dons familiaux (...)

Technique et déshumanisation

Il est une dernière chose que mettent en lumière les documents que nous rendons public. Rédigés par les équipes de statisticien·nes de la CNAM, ils offrent un éclairage particulièrement cru sur l’absence flagrante de considération éthique par les équipes techniques qui développent les outils numériques de contrôle social. Dans ces documents, nulle part n’apparaît la moindre remarque quant aux conséquences humaines de leurs algorithmes. Leur construction est abordée selon des seules considérations techniques et les modèles uniquement comparés à l’aune du sacro-saint critère d’efficience.

On perçoit alors le risque que pose la numérisation des politiques de contrôle dans le poids qu’elle donne à des équipes de data-scientists coupées des réalités de terrain – ils et elles ne seront jamais confrontées à la réalité d’un contrôle et à leurs conséquences en termes d’accès aux soins – et nourries d’une vision purement mathématique du monde. (...)

Le problème n’est pas technique mais politique (...)

nous n’avons eu de cesse de répéter que, quelques soient les institutions sociales, ces algorithmes ne servent qu’un seul objectif : faciliter l’organisation de politiques de harcèlement et de répression des plus précaires, et ce grâce à l’opacité et au vernis scientifique qu’ils offrent aux responsables des administrations sociales. (...)

Nous espérons que cet article, associé à ceux publiés sur la CNAF, finira de démontrer qu’il n’est pas nécessaire d’accéder au code de l’ensemble de ces algorithmes pour connaître leurs conséquences sociales. Car le problème n’est pas technique mais politique.

Vendus au nom de la soi-disant « lutte contre la fraude sociale », ces algorithmes sont en réalité conçus pour détecter des trop-perçus, ou indus, dont toutes les études montrent qu’ils se concentrent sur les personnes précaires en très grande difficulté. (...)

Autrement dit, ces algorithmes ne peuvent pas être améliorés car ils ne sont que la traduction technique d’une politique visant à harceler et réprimer les plus précaires d’entre nous.
Lutter

L’hypocrisie et la violence de ces pratiques et des politiques qui les sous-tendent doivent être dénoncées et ces algorithmes abandonnés. Quant aux responsables qui les appellent de leurs vœux, les valident et les promeuvent, ils et elles doivent répondre de leur responsabilité. (...)