Préambule : Ceci est une republication de l’article « La société automatisée au risque de l’opacité » rédigé par Hubert Guillaud pour Internet Actu (dont le présent article est extrait).
C’est quoi Internet Actu ?
Publié et édité par l’association association pour la Fondation d’un Internet Nouvelle Génération (Fing), InternetActu.net est un blog, un fil d’information et une lettre électronique de veille consacrée à l’innovation dans les techniques, les services et les usages des technologies de l’information et de la communication, et aux débats qui en découlent.
L’article est mis à disposition sous licence Creative Commons BY 3.0. Si la lecture de cet article vous a intéressé, abonnez-vous à leur flux RSS, ainsi qu’à leur fil Twitter (:
L’association européenne et militante Algorithm Watch (@algorithmwatch) vient de publier son rapport annuel sur la société automatisée. Son constat est sévère : les systèmes de prise de décision automatisés se généralisent dans la plus grande opacité.
Fabio Chiusi (@fabiochiusi) dans son introduction revient sur le fiasco de la notation automatisée des résultats du bac 2020 britannique… Il rappelle que le choix du gouvernement pour un système automatique de production de résultats était motivé par l’étrange souci d’éviter l’excès d’optimisme du jugement humain qui aurait conduit les professeurs à mettre des notes trop élevées aux lycéens ! Or, rappelle-t-il, les algorithmes non plus ne sont ni neutres ni objectifs : ils reproduisent les hypothèses et croyances de ceux qui décident de les déployer et de les programmer. Les étudiants britanniques ne s’y sont pas trompés en contestant jusque dans la rue, les notations qu’ils ont reçues du système. Ils ont bien compris que les systèmes de prise de décision automatisés sont une question de pouvoir, et ont dénoncé le biais de reproduction sociale du système. Dans un revirement spectaculaire, le gouvernement britannique a fini par mettre au rebut le système et a laissé les enseignants juger les élèves. Pour Chiusi, cet exemple montre comment des systèmes mal conçus, mal mis en œuvre, mal supervisés, qui reproduisent préjugés et discriminations, ne parviennent pas à exploiter la promesse des systèmes de prise de décision automatisés : une promesse d’équité et de comparabilité.
Chiusi tire un autre enseignement de cet exemple : l’automatisation de la société n’est plus une perspective qui est devant nous, elle est déjà là ! La première édition du rapport, en 2019, soulignait que les systèmes automatisés étaient encore largement expérimentaux, qu’ils tenaient plus de l’exception plus que de la norme. Cette situation a rapidement changé souligne l’association. Le déploiement des systèmes automatisé a considérablement augmenté comme le souligne le cœur du rapport qui tente de faire un état des lieux exhaustif de ces déploiements dans 16 pays européens. Les systèmes de prise de décision automatisés touchent désormais presque tous les types d’activités humaines et notamment la distribution de services à des millions de citoyens européens et l’accès à leurs droits. Reste que face à ce déploiement sans précédent, un problème s’intensifie : l’opacité ! « L’opacité tenace qui entoure l’utilisation croissante de ces systèmes remet profondément en question nos normes et règles sur la relation entre gouvernance démocratique et automatisation ». Et ce alors que la pandémie a accéléré l’adoption (souvent précipitée) d’une pléthore de systèmes, notamment dans les services publics.
En principe, ces systèmes peuvent être utiles. « Dans la pratique cependant, nous avons trouvé très peu de cas qui ont démontré de manière convaincante un impact positif ». La plupart des systèmes mettent les gens en danger plus qu’ils ne les protègent. Mais ces constats sont difficiles à établir, car l’opacité rend l’évaluation de ces systèmes compliquée. Nous avons besoin de plus de transparence sur les objectifs ainsi qu’un accès aux données et aux fonctionnements des systèmes, regrette l’association, qui appelle les décideurs politiques à être exemplaires sur la transparence.
Dans son introduction, Chiusi pointe qu’une technologie émerge plus que d’autres et s’impose partout : la reconnaissance faciale. C’est à la fois la technologie la plus récente, celle qui se déploie le plus rapidement et également la plus préoccupante. Elle est testée et déployée à un rythme alarmant dans l’ensemble de l’Europe… Elle est utilisée pour une grande diversité d’applications, sans grand contrôle, et souvent en dehors de tout cadre légal, via des expérimentations à large échelle. Pour l’association, il y a là un risque majeur pour nos sociétés démocratiques qui vise à légitimer une surveillance de masse omniprésente, constante et opaque.
Si les déploiements se sont accélérés, la transparence des systèmes, elle, n’a pas progressé regrette le rapport. Il n’y a pas assez de transparence ni dans le secteur public ni dans le secteur privé, explique Fabio Chiusi. Il est pourtant essentiel de pouvoir évaluer les fonctionnements et impacts des systèmes sur la base de connaissances précise et factuelle. Or, l’opacité entrave sérieusement la collecte de preuves. Contrôler et garantir la compatibilité des systèmes avec les droits fondamentaux, l’État de droit et la démocratie n’est pourtant pas une option. L’Union européenne elle-même donne plus la priorité à l’impératif commercial et géopolitique qu’à s’assurer que les produits de l’IA sont conformes aux garanties démocratiques. L’association dénonce le manque de courage politique de l’UE, qui a par exemple abandonné l’idée d’un moratoire sur les technos de reconnaissance faciale, alors que de nombreux États sont contestés et parfois défaits par les contestations juridiques à l’égard des déploiements de ces systèmes. Médias et militants de la société civile se sont imposé comme la force motrice de la responsabilisation des systèmes, en contraignant les autorités à la transparence ou en contestant victorieusement devant les tribunaux les effets de ces systèmes. Reste que ce niveau de contrôle n’est pas suffisant. « L’activisme est surtout une activité réactive ». Pour l’association, il est nécessaire de déployer des mesures proactives, avant que les pilotes et les déploiements n’aient lieu. Pourtant, même dans les pays où une législation protectrice est déjà en place – comme la loi pour une République numérique de 2016 en France qui impose la transparence algorithmique -, elle n’est souvent pas appliquée. Même en portant le cas devant les tribunaux, des exceptions peuvent être ajoutées pour protéger l’administration de toute responsabilité.
Cette situation se révèle d’autant plus troublante qu’elle s’ajoute au manque endémique de qualifications et de compétences autour de ces systèmes dans le secteur public. Un constat qui ne touche pas que les administrations d’ailleurs, mais également les collectifs citoyens, car il est souvent difficile pour eux de réclamer l’application de droits dont on ne sait pas qu’ils existent masqués dans des systèmes dont on ne connaît pas la portée. Si la prise de conscience des citoyens a progressé notamment du fait de scandales très médiatisés, elle n’en est encore qu’à ses débuts et demande de la part des médias et associations des compétences qui, elles aussi, sont difficiles à mobiliser. Pour Fabio Chiusii, les systèmes automatisés sont déployés sans aucun débat démocratique significatif et sans mécanismes de contrôles adaptés. Les mécanismes comme les objectifs de ces systèmes sont insuffisamment justifiés ou expliqués, et les avantages que les populations sont censées en retirer sont peu discutés. Trop souvent, au lieu de donner du pouvoir aux individus, ces systèmes limitent leurs options. Or, rappelle Fabio Chiusi, il est important de savoir ce qui est optimisé par ces systèmes : « Le service est-il maximisé, les coûts sont-ils minimisés ou le bien-être des citoyens est-ils amélioré ? Sur quels critères reposent les décisions et qui les choisit ? » Bien souvent, l’absence de réponses à ces questions montre toute la limite de la transparence et l’absence de participation des publics à leur définition. Le solutionnisme technologique sert encore trop souvent de justification à l’adoption sans critique des technologies automatisées dans la vie publique. Trop souvent présentées comme des solutions, elles relèvent surtout de la magie. La plupart des critiques sont reléguées comme tenant du pur rejet de l’innovation, du pur luddisme, plutôt que de la nécessité démocratique d’un meilleur contrôle. « Trop souvent, on demande aux gens de s’adapter aux systèmes plus qu’aux systèmes de s’adapter aux sociétés démocratiques ».
Pour Fabio Chiusi, nous ne devons pas nous abstenir de poser des questions fondamentales ou d’envisager l’interdiction de certains déploiements. Pour Algorithm Watch, l’enjeu consiste à changer les politiques pour permettre un examen approfondi des systèmes. « Ce n’est que par un débat démocratique informé, inclusif et fondé sur des preuves que nous pourrons trouver le bon équilibre entre les avantages que les systèmes de gestion des affaires publiques peuvent – et fournissent – en termes de rapidité, d’efficacité, d’équité, de meilleure prévention et d’accès aux services publics, et les défis qu’ils posent pour les droits de chacun d’entre nous »
Recommandations
Dans ses recommandations politiques, l’association pointe plusieurs interventions comme, bien sûr, d’accroitre la transparence des systèmes en établissant des registres publics pour les systèmes utilisés dans le secteur public précisant l’objectif du système, une explication de son modèle, des informations sur les personnes qui l’ont développé voir même la publication du code et des données ouvertes par défaut. L’association estime que cette obligation devrait aussi s’appliquer aux systèmes utilisés par des entités privées notamment lorsqu’ils ont un impact significatif sur les individus ou la société.
Algorithm Watch appelle également à introduire des cadres d’accès aux données et systèmes contraignants à destination de la recherche, des journalistes et des organisations de la société civile, afin qu’ils puissent analyser et tester en profondeur les systèmes. Ces cadres devraient comprendre des systèmes de sanctions, des contrepoids et des modalités d’examens réguliers, tout en veillant à ce que les données personnelles soient protégées.
L’association invite également à créer un cadre de responsabilité significatif allant plus loin que l’obligation de transparence, mais également par des processus de contrôles et d’audit selon des critères et processus multipartites, faisant participer les individus calculés à ces processus, et en mettant à leur disposition des ressources financières pour se faire. Elle appelle également à mettre en place des financements de projets de recherche permettant de vérifier et contrôler les systèmes. Algorithm Watch insiste également sur le nécessaire soutien aux organisations de la société civile, « gardiennes de la société de l’automatisation ».
Elle demande l’interdiction de toute urgence de la reconnaissance faciale, qui constitue une menace particulièrement grave pour les droits fondamentaux, notamment parce qu’elles ne peuvent recueillir le consentement des populations.
Algorithm Watch recommande enfin d’améliorer la culture algorithmique à tous les niveaux, notamment en renforçant les débats publics sur les systèmes de gestion de données et leurs impacts. Elle demande également la création de centres d’expertise indépendants, pour surveiller, évaluer, mener des recherches, produire rapports et conseils aux autorités et à l’industrie, afin de créer un système plus responsable et plus capable. Algorithm Watch recommande également de promouvoir un débat démocratique plus inclusif et diversifié autour de ces systèmes, pour faire progresser la culture du grand public et l’inclure dans les décisions de déploiement des systèmes, en insistant sur leurs conséquences sociales, éthiques et politiques.
On ne pourra que souscrire à l’intégralité de ces constats et inviter chacun à prendre le temps de lire en détail cet état des lieux de la transformation du monde.
Hubert Guillaud
