Influencer les questions des citoyens pourrait être plus efficace que de contrôler leurs lectures.

« Pendant plus d’un siècle, les marchands d’attention ont régné en maîtres [voir notre recension du livre éponyme de Tim Wu – NDE], du sensationnalisme au clickbait, des radios à sensation aux réseaux sociaux. Mais cet empire s’effondre. Les grands éditeurs ont perdu 50 % de leur trafic lorsque Google a opté pour les classements basés sur l’IA. Le secteur de la publicité numérique, qui pèse 685 milliards de dollars, est confronté à une crise existentielle : les assistants vocaux IA cessent de cliquer sur les publicités. Le SEO, cet art obscur qui a façonné deux décennies de contenu web, a commencé à se fissurer dès l’instant où les moteurs de recherche ont cessé de diriger les internautes vers les sites web », explique Shuwei Fang, directrice associée des programmes de l’Open Society Foundations, dans une tribune pour le Shorenstein Center de Harvard.

Construire le « graphe de la curiosité »

Pour elle, l’IA vise à produire un « graphe de la curiosité » des utilisateurs, qui n’est plus le graphe social des premiers réseaux sociaux ni le graphe des centres d’intérêts (ces étiquettes collés à nos profils en fonction de nos actions, comme l’expliquait Tim Hwang) permettant de cibler la publicité de la seconde génération des réseaux sociaux, mais la cartographie de l’évolution de vos centres d’intérêts au fil du temps. Vos incertitudes émergentes seraient commercialisées sous forme de produits dérivés, votre assistant IA pouvant potentiellement parier sur votre prochaine question. Nous voici en train d’entrer dans ce que certains baptisent « l’économie de l’intention », où « les systèmes d’IA collectent, commercialisent et manipulent potentiellement l’intention des utilisateurs ». (...)

Mais ce constat déjà inquiétant n’est que la partie émergée de l’iceberg, estime Shuwei Fang. Nous assistons à une restructuration fondamentale de la circulation de l’information dans la société [voir également notre article sur le remplacement du web par l’IA]. Dans cette économie de l’intention qui émerge, les systèmes d’IA pourraient rivaliser pour anticiper et façonner les recherches des utilisateurs avant même qu’ils n’en aient conscience. L’infrastructure en cours de construction, largement invisible pour la plupart d’entre nous, ne déterminera pas seulement ce que nous voyons, elle déterminera ce que nous voulons voir avant même que nous le sachions.

Pour comprendre comment l’intention remplace l’attention, il faut examiner l’inversion fondamentale qui s’opère dans le flux d’informations. Lorsqu’on pose une question à une IA aujourd’hui, elle dispose généralement d’énormément d’éléments de contexte pour élaborer sa réponse. Cela représente un changement structurel dans la circulation de l’information au sein de la société (...)

Les contenus ne sont plus conçus pour seulement capter l’attention, mais doivent être également structurés pour être lisibles par les machines. « L’IA constitue à la fois un nouveau public et un nouvel intermédiaire » au risque que la « relation directe entre humains se réduise de manière drastique », notamment parce que « les contenus optimisés pour les humains deviennent relativement onéreux à créer et à diffuser ». Pour Fang, les humains dépendront d’interfaces de plus en plus complexes pour accéder à l’information pensée pour les machines et ceux qui produisent les contenus ne sont plus appelés à produire des histoires mais à saisir des données. (...)

Nous passons d’un pouvoir éditorial — celui de choisir quelles histoires raconter — à un pouvoir architectural : concevoir les structures par lesquelles l’information circule des machines vers les esprits humains ».

… ou y résister

Pour Fang, pour éviter cette capture, c’est-à-dire le fait d’être inféré, d’être nous-mêmes hallucinés, l’enjeu dès lors consiste à « construire des couches de traduction qui renforcent le pouvoir d’agir des humains, au lieu de le remplacer ». (...)

Ce qui est sûr, estime Fang, c’est que, contrairement à l’ère des plateformes, l’information est en passe de devenir la matière première des machines plus que des humains. (...)

Les systèmes d’IA ont un pouvoir d’action fonctionnel : ils transforment les sources d’information en des formes entièrement nouvelles. Cette information n’est plus statique ni permanente. Elle devient « liquide », constamment reformée en fonction de la personne qui pose la question et de la manière dont elle la pose. Ils ne se contentent pas de sélectionner des options ; ils génèrent de nouvelles réalités. (...)

« Cette intermédiation par les machines ne modifie pas seulement la physique des flux d’information ; elle réécrit fondamentalement l’économie de l’information », explique Fang. « Lorsque la synthèse devient la principale valeur ajoutée, la création de contenu se banalise tandis que le contrôle de l’interprétation prend de la valeur ». Dès lors qu’une ressource devient librement copiable ou génératrice, sa valeur ne disparaît pas ; elle migre vers ceux qui contrôlent sa distribution et sa synthèse. (...)

Dans ce nouveau paradigme économique, tout contenu numérisé devient inévitablement la matière première des infrastructures. La récente vague d’accords entre entreprises d’IA et éditeurs de presse illustre parfaitement cette dynamique. « Il ne s’agit pas simplement de licences de contenu ; ce sont, en fin de compte, des opérations d’infrastructure. Les entreprises d’IA n’achètent pas seulement du contenu ou des données d’entraînement ; elles acquièrent le droit de devenir les canaux légitimes par lesquels transite toute l’information ».

Cette infrastructure de l’intention est déjà en train de se réaliser, explique Fang (...)

Mais d’autres couches s’annoncent encore. « Lorsque la mémoire de l’IA deviendra persistante, elle permettra de stocker les préférences des utilisateurs à long terme, et votre « graphe de curiosité » pourrait devenir un actif à la fois malléable et échangeable. Aujourd’hui, les entreprises enchérissent sur les mots-clés que vous avez déjà recherchés. Dans un avenir proche, elles pourraient enchérir pour influencer vos prochaines recherches. (...)

Lorsque l’IA pourra prédire et influencer les désirs avant qu’ils ne se forment, la publicité elle-même pourrait passer de la persuasion à l’anticipation ».

Façonner le désir ? (...)

Reste que ce monde d’inférences risque surtout d’être assez indifférent à la vérité, ou de pousser les gens vers l’optimisation des prédictions des machines, orientant leurs propos pour vous amener vers les questions qu’elles ont intérêts à produire, par exemple pour maximiser les profits liés à certains mots clés publicitaires sur d’autres. C’est oublier que les systèmes conçus à des fins commerciales ne sont généralement pas destinés à remettre en question vos idées, seulement vous fidéliser.

Shuwei Fang a pourtant raison de s’inquiéter. « Dans ce monde, la vérité de fond, la recherche de la vérité et les mécanismes d’autocorrection de l’information sont plus importants que jamais ». Les journalistes qui conçoivent des systèmes de vérification de nouvelle génération, les spécialistes des technologies civiques qui créent des outils de transparence, les chercheurs qui développent des protocoles de vérification des faits basés sur l’IA, ont tout à fait raison dans leurs convictions. Ce travail est essentiel. Mais il ne suffit pas. L’infrastructure de l’intention façonnera ce qui, au final, parvient aux humains et la manière dont les récits sont synthétisés. « Nous devons commencer à réfléchir à la manière de façonner le prochain écosystème informationnel afin qu’il serve, plutôt qu’il ne compromette, la connaissance et la compréhension humaines ». Mais peut-il encore y avoir une démocratie dans l’économie de l’intention ? (...)

Dans ce monde, influencer les questions des citoyens pourrait être plus efficace que de contrôler leurs lectures. Les mêmes techniques utilisées par les annonceurs pour anticiper les intentions des consommateurs pourraient déterminer le débat démocratique, et le clore. Un peu comme si les sondages étaient le vote et que ces sondages étaient réalisés sur des profils synthétiques pour finalement se passer de nos opinions.

Reste, estime Fang, que l’infrastructure de curiosité est déjà en train d’être façonnée. Les systèmes capables d’orienter nos demandes sont en train d’être construits. Sans intervention, la technologie qui pourrait aider les citoyens à s’orienter dans la complexité ne fera que confirmer les préjugés. Et la chercheuse d’en appeler à construire des alternatives, avant que les infrastructures soient en place.

« Contrairement aux précédents bouleversements qui ont pris la démocratie au dépourvu (la consolidation des radios, la commercialisation de la télévision, la polarisation des réseaux sociaux), nous pourrions cette fois-ci être avertis ». Pas sûr que cette alerte suffise, hélas, pour éviter les dérives qui nous y conduisent.

Lire aussi :

– Manipuler la synthèse de document

Désormais, la personne la plus importante d’une réunion est devenue celle qui prend des notes, à savoir, bien souvent, l’IA. C’est elle qui attribue des actions et détermine l’importance des propos tenus. D’où l’enjeu à l’influencer , en s’exprimant davantage en fonction des critères de résumés et d’importance que l’IA va prendre en compte. D’où l’enjeu à adapter son langage afin qu’il soit plus susceptible d’être repris dans les résumés, par exemple en répétant les points clés ou en utilisant des formules passe partout. C’est ce que, pour CSO Online, Gadi Evron, le PDG de Knowstic.ai, et Bruce Schneier appellent « l’optimisation pour la synthèse automatique par IA » (AISO).

(...) Des mots comme « le principal facteur » ou « le résultat clé » ou « actions à entreprendre » fonctionnent comme attracteurs. Les générateurs de résumés proposent souvent des sections telles que « Points clés » ou « actions à entreprendre », ce qui augmente la probabilité d’inclure un propos reprenant ces intitulés. En pratique, des expressions bien choisies servent de marqueurs implicites qui guident l’IA dans son choix.

Les synthétiseurs ont également tendance à valoriser les déclarations au début ou à la fin des transcriptions, au détriment du milieu, expliquent les spécialistes en pointant vers plusieurs études soulignant ces problèmes. (...)

la compréhension stratégique des ces systèmes pourrait bien devenir une compétence essentielle pour prendre la main sur la synthèse automatique et, derrière elle, sur les actions entérinées par les réunions. (...)