C’est en allant sur un site international d’observation des incidents liés aux algorithmes que j’ai découvert que la France et son système automatique de prévention des fraudes est montré du doigt. L’incident numéro 100 est intitulé « How French welfare services are creating ‘robo-debt’ » ou si vous préférez « comment le service d’aide sociale français créé de la dette avec son robot »

Lorsque les algorithmes automatisés de détection des fraudes trouve une incohérence administrative, les services de la CAF peuvent exiger à tort le remboursement des prestations. Au cours des cinq dernières années, plusieurs scandales ont montré l’ampleur du problème dans différents pays. En Australie, 400 000 personnes ont été placées en « dette automatisée », 40 000 dans le Michigan… . La journaliste Lucie Inland explique comment la CAF en France l’a automatiquement endettée et comment elle a fait face ce problème.

La Caisse d’Allocations Familiale propose des explications sur sa pratique sur son site internet. Sous le titre « Contrôles Caf : stop aux idées reçues », une page publiée en septembre 2020 dit que les contrôles profitent aux allocataires des minimas sociaux. Des « contrôles automatisés » ainsi qu’un « modèle statistique appelé « datamining » (sic), cible automatiquement les cas à risque ».

La page indique également que « vous pouvez éviter d’avoir une dette vis-à-vis de la Caf en déclarant systématiquement, et sans attendre, tout changement de situation (mariage, divorce, évolution de salaire…) ». Sauf que dans de nombreux cas, des allocataires ont une dette qui leur est notifiée précisément parce qu’ils ont indiqué un changement de situation même en respectant les délais.

La CAF utilise le data mining depuis 2012. Le système est responsable de trois contrôles sur quatre (...)

Le récit d’une allocataire de la CAF permet de mieux comprendre comment les demandes de remboursement automatisées arrivent, car dans les fait vous êtes considéré(e) comme coupable a priori. Il vous faut prouver votre bonne fois même en cas d’erreur.

La douloureuse expérience de Lucie Inland (...)

Présumée coupable de fraude par calcul automatisée

La dette de l’allocataire a été notifiée dès que l’algorithme a trouvé ce qu’il considère comme une erreur dans le dossier. La machine menace d’abord, les humains vérifient plus tard. Seul l’e-mail qu’a envoyé Lucie Inland a permis d’informer la CAF de cette erreur. Leurs outils automatisés l’ont mis dans une position difficile avant la moindre démarche.

Conséquence pour des milliers d’allocataires de la CAF, seule une démarche expliquant pourquoi on se trouve dans telle ou telle situation peut permettre de modifier une erreur. Mais aujourd’hui, même les agents CAF ne parviennent plus à vérifier si le droit est mal évalué. Eux aussi sont mis en difficulté alors qu’on leur attribue les erreurs. Mais ne pouvant faire autrement, tous se fient au calcul d’un algorithme, sans avoir la véritable capacité de le contrôler.

Voilà aussi comment et pourquoi les prestations sociales d’allocataires de la CAF peuvent être suspendues du jour au lendemain dans l’attente d’un contrôle « physique » c’est-à-dire avec la présence d’un professionnel assermenté qui vient à votre domicile. Mais ne croyez pas que cela soit si simple. Comme vous n’avez plus de ressources le temps de la décision du contrôleur, les aides sociales des Départements et des CCAS sont mises à contribution (surtout s’il y a des enfants). Mais en tout état de cause, si vous ne payez pas votre loyer vous risquez à terme de vivre avec un fort endettement, voire une menace d’expulsion.

C’est aussi pour cela que certains services sociaux sont empêtrés dans des situations administratives complexes ou mal calculées. (...)

Vous ne le savez peut-être pas, mais le citoyen que vous êtes est devenu aussi « un calculé ». C’est le terme qui est utilisé par les gestionnaires d’algorithmes dans leur langage courant pour définir toute situation de personne dont les caractéristiques sont calculées de la sorte. Je me prends à rêver un jour que les calculés que nous sommes se »révoltent » face à ce type de pratiques qui se généralisent dans tous les domaines de la vie (consommation, banques, santé, et aujourd’hui social)

Dans un autre article, je vous parlerai des travaux du sociologue Vincent Dubois. Il est professeur à Sciences Po Strasbourg et vient de publier un ouvrage intitulé « Contrôler les assistés, Genèses et usages d’un mot d’ordre« . Son travail est édifiant