Alors que la contestation monte (...) concernant son algorithme de notation des allocataires à des fins de contrôle social, la CAF choisit de se réfugier dans l’opacité tout en adaptant, maladroitement, sa politique de communication. Suite à son refus de communiquer le code source de son algorithme, nous avons saisi la Commission d’Accès aux Documents Administratifs (CADA).

Comme nous l’expliquions ici, la CAF utilise depuis 2012 un algorithme de profilage attribuant à chaque allocataire une note ou « score de risque ». Construite à partir des centaines de données dont la CAF dispose sur chaque allocataire, cette note est ensuite utilisée pour sélectionner celles et ceux qui seront contrôlé·es.

Cet algorithme symbolise l’étendue des dérives de l’utilisation des outils numériques au service de politiques de contrôle social portées par des logiques policières de suspicion généralisée, de tri et d’évaluation continue de chacun de nos faits et gestes.

Ici, comme c’est généralement le cas par ailleurs, ce tri cible les plus précaires. Les rares informations disponibles à ce sujet laissent apparaître que parmi les critères dégradant la note d’un·e allocataire, et augmentant ses chances d’être contrôlé·e, on trouve pêle-mêle : le fait de disposer de faibles revenus, d’habiter dans un quartier défavorisé, d’être une mère célibataire ou encore d’être né·e hors de France.

Pour en avoir le coeur net, nous avons donc demandé à la CAF de nous communiquer le code source de son algorithme1. Et sa réponse est affligeante2.
Sortir de la précarité pour “tromper l’algorithme”

Si la CAF a bien accepté de nous communiquer le code de l’algorithme… ce n’est qu’après avoir masqué la quasi-totalité des noms des variables comme on peut le voir sur l’illustration de cet article, qui est une photo de ce que la CAF nous a répondu.

En d’autres termes, le fichier fourni nous permet simplement d’apprendre combien de critères sont utilisés pour le calcul de la note des allocataires. Rien de plus. Ce qui n’empêche pas la CAF de préciser dans son courrier qu’elle espère que sa communication nous « permettra de comprendre le modèle »3.

Les responsables de la CAF ont toutefois tenu à justifier le caviardage du fichier. Ces dernier·es précisent que le code source a été « expurgé des mentions qui, si elles étaient communiquées, pourraient donner des indications aux fraudeurs pour tromper l’algorithme »4. Et pour être tout à fait honnête, nous n’étions pas préparé·es à cette réponse.

La CAF croit-elle vraiment que les critères liés à la précarité (situation professionnelle instable, faibles revenus, logement situé dans un quartier défavorisé…) pourraient être modifiés par la seule volonté de l’allocataire ? Qu’afin d’augmenter leur note et de « flouer » l’algorithme, des millions d’allocataires pourraient décider, d’un coup, de sortir de la pauvreté ?

Ce raisonnement frise l’absurdité. A vrai dire, il est méprisant et insultant pour celles et ceux vivant des situations difficiles.

Pire, le secrétaire général de la CAF entretient publiquement la confusion entre fraudes et erreurs de déclarations involontaires, prenant ainsi le risque de stigmatiser les personnes ciblées par l’algorithme, et ce, dans le seul but de justifier l’opacité de son institution. (...)

De notre point de vue, cette réponse révèle l’ampleur de l’embarras des responsables de la CAF vis-à-vis de leur algorithme. Ils et elles ont peut-être en tête le scandale entourant un algorithme, en tout point similaire, de notation des allocataires ayant été utilisé aux Pays-Bas et dont les suites ont amené à la démission du gouvernement7 ?
Déni de justice

Pire, cette opacité est aussi appliquée, à l’échelle individuelle, aux allocataires ayant été séléctionné·es par l’algorithme pour être controlé·es et qui chercheraient à obtenir des informations sur la raison de ce contrôle. Et ce, alors même que la loi prévoit que tout individu ayant fait l’objet d’une décision prise sur le fondement d’un traitement algorithmique (ici le fait d’être contrôlé) a le droit de connaître les données utilisées ainsi que les paramètres de cet algorithme8. Ce qui signifie que les personnes ayant fait l’objet d’un contrôle9 sont censées avoir un droit d’accès plus étendu qu’une association comme la Quadrature.

Nous avons pu consulter la réponse à la demande d’informations réalisée par une personne ayant été contrôlée sur la base de sa note. Le courrier, signé par le délégué à la protection des données de la CNAF, se contente de renvoyer l’allocataire à la page “Internet et Libertés” de la CAF. (...)

Cette réponse est un déni de justice pour celles et ceux ayant fait l’objet d’un contrôle déclenché algorithmiquement, l’opacité entretenue par la CAF les empếchant de contester juridiquement le bien-fondé du contrôle dont ielles ont fait l’objet.
La discrimination : un savoir-faire à protéger

Nous avions aussi demandé la liste des variables utilisées pour l’entraînement du modèle, c’est à dire sa phase de création. Cette question est importante car elle permet de comprendre l’étendue des données utilisées par l’algorithme. Et donc le degré d’intrusion dans la vie privée des allocataires que la construction d’un tel modèle nécessite. (...)

Et la justification apportée par les responsables de la CAF est, là aussi, déconcertante. Ces dernier·es avancent que la communication de ces variables n’est pas possible car elles constituent un « savoir-faire »13. La CAF souhaiterait-elle monétiser son algorithme et le revendre à d’autres administrations ? (...)

Vingt ans de développement… et aucun compte-rendu de réunions

Quant à notre demande relative aux documents internes (notes, comptes-rendus, échanges…) concernant le développement de l’algorithme, la CAF nous a tout simplement répondu qu’en presque 20 ans de travail aucune réunion technique n’a fait l’objet de compte-rendu…

Pour être tout à fait honnête, c’est une première dans l’histoire de nos demandes CADA. (...)

A ceci s’ajoute, depuis le début de l’année, la mise en place de ce qui apparaît comme une véritable communication de crise par l’institution autour de son algorithme. En juin 2022, la CAF a notamment publié un communiqué intitulé « Contrôle et datamining » dans lequel elle tente de répondre aux critiques soulevées par son algorithme16.

A sa lecture, on prend toute la mesure du rôle d’alibi technique à une politique de contrôle discriminatoire que joue l’algorithme, ce que nous dénoncions déjà ici. (...)

Ce faisant, les responsables de la CAF cherchent à nier leur responsabilité (politique) dans la conduite, et la validation, d’une politique de contrôle discriminatoire. (...)

Communication mensongère

La deuxième partie du document est consacrée à un « Vrai/Faux » portant sur l’algorithme où transpire la malhonnêteté intellectuelle. (...)

Communication mensongère

La deuxième partie du document est consacrée à un « Vrai/Faux » portant sur l’algorithme où transpire la malhonnêteté intellectuelle. (...)

Fraude à enjeux et lutte contre le non-recours : des contre-feux médiatiques

A ceci s’ajoute diverses annonces de la CAF participant à nourrir une stratégie de diversion médiatique autour de son algorithme de notation.

Dans son dernier rapport annuel sur la « lutte contre la fraude », nulle référence n’est faite à l’algorithme alors que celui-ci était mis à l’honneur, en première page, l’année précédente. La CAF précisant au passage qu’il était loué par la Cour des Comptes et l’Assemblée Nationale.

A sa place, la CAF a préféré cette année mettre en avant son équipe de contrôleur.ses dédiée à la « lutte contre la fraude à enjeux »22, c’est à dire des fraudes organisées (usurpation d’identités, faux documents, fraude au RIB) à grande échelle. Soit 30 agentes et agents qui d’après les dires de la CAF sont, ni plus ni moins, chargé·es de « protéger le système de sécurité sociale français des risques de pillage » et qui font rentrer la CAF dans « une nouvelle dimension de la lutte contre la fraude »23.

A titre de comparaison, nous tenons à rappeler que ce sont pas moins de 700 contrôleuses et contrôleurs qui, guidé·es par son algorithme discriminatoire, sont chargé·es de traquer les moindre erreurs de déclaration faites par les plus précaires.

Deuxième angle d’attaque : la mise en avant de l’utilisation d’algorithmes de profilage à des fins de lutte contre le non-recours24. Comme si l’application des techniques de profilage à des fins « positives » pouvait justifier leur application à des fins répressives. Sur ce sujet, la CAF omet pourtant de dire le plus important : depuis maintenant plus de 10 ans, elle a systématiquement favorisé l’application de ces techniques à des fins de contrôle plutôt que de lutte contre le non-recours. (...)

En tout état de cause, l’histoire politique de l’utilisation par la CAF des techniques de profilage à des fins de lutte contre le non-recours ne semble pas très glorieuse. (...)