La police prédictive selon Psycho-pass

Pyscho-pass (サイコパス) est une série japonaise cyberpunk relativement connue des aficionados, dont le thème principal est la police prédictive. Contrairement à Minority Report, roman de Philip K. Dick adapté au cinéma par Steven Spielberg généralement cité dans les discussions sur ce thème, le manga écrit par Gen Urobuchi développe l’idée d’une lutte prédictive contre la criminalité basée sur les données plutôt que sur une prescience surnaturelle du futur. Rien, donc, qui ne soit inatteignable avec les moyens techniques dont nous disposons aujourd’hui un peu extrapolés.

Alors : prévoir les crimes avant qu’ils ne soient commis grâce au big data, une bonne idée ?

Police prédictive « data based »

L’idée de prévoir les crimes avant qu’ils n’adviennent est un classique de la science-fiction et un vieux fantasme des politiques sécuritaires réelles, qui pose de nombreuses questions éthiques, politiques, philosophiques et légales. L’œuvre la plus connue sur le sujet, Minority Report donc, aborde ces thèmes pour questionner la notion de destin et de prédétermination. Dans le roman de Dick, le service de police Précrime utilise les pouvoirs de mutants précognitifs (précogs) pour connaître le futur – qui arrive sous la forme de visions éparses et embrouillées, et qui demande à être compilé et traduit pour en tirer l’identité de futurs criminels. Cette technologie est donc appuyée sur des pouvoirs mutants, allégoriques.

Psycho-pass au contraire ne fait appel à aucun postulat surhumain. Le fonctionnement de la police prédictive y est très différent, tout en poursuivant à peu près le même objectif de réalisation d’une société 100% sécuritaire (« idyllique ») où aucun crime ne serait plus commis, les coupables étant arrêtés avant d’avoir fait quoi que ce soit. La police prédictive de Psycho-pass prend racine dans un environnement social et technologique entièrement organisé pour la rendre possible, et donc éminemment dystopique. La création de la société « parfaitement sûre » passe par la mise en coupe réglée de tout le Japon – avec des résultats plus que mitigés. Ou comment détruire ce que l’on souhaite protéger.

• Socialement, le japon futuriste de Psycho-pass est obsédé par les concepts de santé mentale et psychologique… qu’il monitore à l’extrême, dans tous les aspects de la vie… créant ainsi les problèmes de santé mentale qui l’obsèdent. On entrevoit dans les conseils de l’IA personnelle d’Akane (l’héroïne), que cette société là n’a rien à envier à celle des Furtifs ou de Shangri-La, et autres panoptiques sciences-fictionnels. Les individus sont pilotés, orientés et nudgés tout en conseils mielleux. Akane, l’héroïne, intériorise et développe l’idée que chacun.e a une place unique, et verse dans l’essentialisation à outrance et la confiance absolue envers un système d’orientation opaque, chiffré, aux algorithmes inconnus. D’ailleurs elle décidera d’entrer dans la police sur la foi de ses résultats scolaires plutôt que par volonté personnelle. Et ce n’est qu’un exemple parmi d’autres de la chape de contrôle social qui semble s’imposer aux individus.
• Technologiquement, tous les citoyens sont dotés d’une sorte de carte d’identité psychologique numérisée, basée sur une échelle de couleurs et lisible par au moins la police et leur employeur (what else ?). Ce « psycho-pass » qui donne son nom à la série est supposé synthétiser un résumé de la santé psychologique de son porteur à partir de divers critères. Celui qui nous intéresse le plus en ce qui concerne la police prédictive est le critère dit « facteur criminel » soit le pourcentage de risque criminel du sujet. Celui-ci découle du psycho-pass (le profil psychologique influe sur le risque de commettre des crimes) et semble l’alimenter en retour (le risque de commettre des crimes influe sur la psychologie).

Le psycho-pass forme donc une sorte de crédit social qui place « l’équilibre psychologique » des citoyens au cœur de son dispositif. Il est géré par une IA centralisée nommée Sybil, dont le nom dévoile sans équivoque ses prétentions divinatoires.

Ce « facteur criminel » est donc un indicateur personnel en constante évolution. Il est déterminé par le profil psychologique du sujet à un instant donné et sans doute d’autres données sociales, démographiques ou – on n’est plus à ça près – biologiques. Toujours est-il qu’il est calculé à partir de données extraites de la vie des individus. La surveillance qu’il permet n’est pas omnisciente à la Minority Report (« j’ai vu que tu tueras ») mais calculée selon des critères statistiques préétablis (« j’ai calculé que tu risques de tuer »). Et c’est ce facteur criminel et le psycho-pass des citoyen.e.s qui sert de base unique à l’action de la police.

La transmissibilité du facteur criminel est expliquée par dès l’épisode 1 : à trop fréquenter de gens stressés, vous deviendrez stressé.e vous mêmes… et risquez de dégrader votre note de facteur criminel. Plutôt que de rendre la société moins stressante (les policiers braquent les citoyens pour lire leur carte d’identité, les entreprises gardent un œil sur le profil psychologique des salariés, la compétition interpersonnelle est ahurissante, on serait stressé à moins) on catalogue, traque, « rééduque » ou exécute en pleine rue les personnes qui cèdent au stress et risquent statistiquement de devenir criminels. Malin !

Bien évidemment, tout pose problème.

Risques de l’approche statistique

Outre la négation totale du droit à la protection des données privées (on est dans un univers cyberpunk, ne pinaillons pas) car tout est extrait et diffusé sans consentement, cette approche pose de multiples problèmes pratiques avant même d’être des questions éthiques.

1. L’IA est faillible. Comme le démontre très bien la saison 1 de Psycho-pass, Sybil est un système faillible à tous les niveaux. Notamment : 1/ Elle est aveugle aux espaces déconnectés du réseau. 2/ Il existe des « faux négatifs » soit des personnes dangereuses dont le niveau de facteur criminel reste bas. C’est le cas de Shōgo Makishima, le méchant, qui est lui-même indétectable au système et qui créé des masques pour s’en rendre indétectable. Principe de base de la science-fiction cyberpunk : tout système complexe à vocation hégémonique ou omnisciente est contournable et donc contourné.
2. L’IA est discriminatoire. Rien n’étant plus complexe que de déterminer et noter la psychologie d’une personne dans son entièreté, Sybil à de fortes de chances de simplifier et réduire son spectre de perception à ses seules critères de jugement. Elle est déjà aveugle aux circonstances atténuantes ou aggravantes, elle a également de fortes de chances de reproduire des schémas déductifs erronés et volontiers sexistes, racistes, bref discriminatoires au sens large. C’est vrai parce qu’aucune IA aussi complexe ne pourrait se prétendre dénuée de biais (données sales, essentialisation statistique, etc.) mais aussi parce qu’en se basant sur des critères de « santé mentale » elle risque de renforcer mécaniquement les discriminations existantes. Par exemple celles qui visent les plus pauvres, plus fréquemment sujets aux maladies mentales du fait de leurs conditions de vie, des difficultés d’accès au soin etc. Loin de cibler les « criminels », Sybil cible les « désignés criminels » les plus fréquents soit : les pauvres, les racisés, les personnes atteintes de maladies mentales, business as usual. Bref, un tel dispositif est de facto psychophobe mais aussi raciste et antipauvres. Et s’attaquera d’autant plus violemment aux personnes qui cumulent ces « facteurs ».

Définir le crime

Enfin un tel système fait une corrélation binaire (pour ce que l’on en sait dans la série) entre un psycho-pass anormalement bas et le risque de « passer à l’acte ». Être en détresse psychique serait un facteur (voir le facteur unique) pour commettre des crimes, au sens le plus large qui soit, ce qui bien sûr n’a pas de sens en soi : la définition du crime étant un pur construit social. Pas sûr que les évadés fiscaux, les détourneurs de fonds, les abuseurs de biens sociaux et autres criminels en cols blancs soient en détresse psychologique ; et d’ailleurs ce n’est pas d’eux que traite la série mais d’individus généralement représentés en sueur, veine palpitante sur le front, cachés derrière un pot de fleur avec une arme à la main, prêts à commettre un mass shooting en pleine rue. Ce qui est répréhensible, on en conviendra.

La série valide donc plutôt l’approche du dispositif en représentant les criminels – discrets dans un premier temps – avec la bave aux lèvres et la veine palpitante sur le front, roulant des yeux exorbités en préparant un mauvais coup. Bref, une vision du crime toute particulière et surtout très réductrice, qui rappelle un peu la conception de la criminalité des histoires de superhéros dans lesquels seule la violence de rue est prise en compte. Le « héros » devenant mécaniquement et uniquement un garant de l’ordre social et du maintien de celui-ci, pas du tout un émissaire de la « justice », même s’ils n’ont que ce mot à la bouche.

En gros, le système Sybil est fait pour punir le pétage de câble d’individus qui, soumis à un stress anormal et rendus incapables d’y faire face, tomberaient dans une explosion de violence immédiate. On peut éventuellement supposer qu’un certain nombre de flash killers pourraient être concernés, mais le système est très loin de prédire quoi que ce soit, d’empêcher les individus de passer à l’acte, et ne mérite sans doute pas, au regard de cette efficacité contestable (même toutes considérations éthiques mises de côté) de mettre toute la société au pas pour lui permettre de fonctionner.

Pire, le système incite au passage à l’acte puisque :

• Une fois le facteur criminel en chute libre, les individus n’ont aucune chance de rémission et se retrouvent condamnés de facto. N’ayant plus rien à perdre, ils décident « d’en profiter » à la manière du violeur du premier épisode bien décidé à violer, tuer et voler avant d’être abattu en pleine rue ; puisqu’il n’a aucune chance de finir autrement. Et d’ailleurs, c’est ce qui arrive sans tarder.
• Une société aussi anxiogène, qui met en coupe réglée tous les individus, les espionne et fait peser sur eux la pression d’être abattus par la police pour être simplement en détresse psychique… a de très fortes chances de créer un mal-être compréhensible chez bon nombre de personnes. Et donc de provoquer de nombreux pétages de piles chez les citoyens opprimés… alimentant ainsi les statistiques de Sybil et de la police, et justifiant donc leur utilisation.

« Justice » expéditive

Parce que oui, être abattu en pleine rue est l’un des trois sorts qui pend au nez des criminels dans Psycho-pass. La « justice » y est rendue… sans l’intervention d’aucun organe judiciaire, sans avocat ni tribunal, sans juge, discussion ni interprétation de la loi. Cette loi est inscrite dans Sybil qui, en la croisant aux données personnelles des individus (psycho-pass, actes répréhensibles commis, etc.) détermine une seule chose : un seuil de criminalité qui fait d’eux des personnes respectables ou des criminels. Dans leur entièreté.

S’il n’arrive censément rien aux personnes « modèles » (et capables de gérer leur stress à grands coups d’anxiolytiques sans doute, il s’agirait de ne pas passer du mauvais côté), les criminels sont essentialisés comme tels et punis à vue par la police selon trois modalités :

1. La thérapie. Destinée à faire revenir le criminel dans le droit chemin, sans qu’il soit fait mention en détail de son contenu ou ses méthodes. On imagine sans peine le niveau de bienveillance et de volonté de soigner d’une thérapie décidée algorithmiquement et administrée à des personnes non-consentantes et menacées, s’ils la refusent, de mort.
2. L’arrestation à coups de flingues paralysants. Qui mènera ensuite à l’une ou à l’autre des peines encourues.
3. La fusillade sur place. Et pas avec le dos de la cuillère puisqu’un tir dans le bras à pour effet la désintégration totale de l’individu. La blessure par balle est donc systématiquement mortelle – et spectaculaire puisqu’elle retapisse les murs alentours. Un message envoyé au bon peuple, sans doute.

Petite variante : certains criminels impossibles à faire revenir dans « le droit chemin » peuvent intégrer l’équipe des limiers de la police pour chasser « leurs semblables ». Ils restent des « criminels dormants » (car la rémission n’est jamais envisagée) mais intègrent la police, en restant continuellement sous la menace des armes de leurs collègues. C’est sans doute moins pire que d’être tué sur place, mais je doute qu’il y ait énormément de postes d’ouverts chaque année. La « solution » reste donc marginale.

Truand un jour…

« Criminel » est donc le statut de paria par excellence, statut absolu, englobant la totalité de l’individu sans mention du type de crime qu’il est supposé capable de commettre ou avoir commis. D’ailleurs avoir commis ou être susceptible de commettre sont synonymes dans la société bienveillante et sécurisée de Psycho-pass. Un individu qui se contiendrait, essaierait de se soigner, pour éviter de « mal tourner » risque la peine de mort exactement comme s’il avait commis l’acte qu’il se retient justement de faire.

Ce statut présuppose que le respect de la loi serait une variable du profil psychologique des individus indépendamment de tout facteur extérieur. Selon ce principe les criminels sont totalement criminels, dans leur entièreté, qu’importent les conditions ou situations qui pourraient les avoir menés à commettre tel ou tel acte – ou à être susceptible de le commettre.

Même à supposer que Sybil soit une IA parfaite (non), sans aucun biais ni erreur, et que la loi soit écrite dans la même perfection (on sait à quel point les lois sont parfaites), ce système reste une échelle binaire basée sur deux critères :

• Le niveau de criminalité de l’individu (de « pas du tout » à « extrêmement »),
• La réversibilité du statut, ou la capacité pour un individu d’en revenir suite à la thérapie.

Face à une aussi parfaite machine à rendre la « justice », la seule et unique décision à prendre pour les policiers est de tirer ou pas, sur les criminels indifférenciés que sont les « suspects » (qui sont en fait des « déclarés coupables » par Sybil) et leurs propres partenaires dormants. Ces derniers ne peuvent pas se rebeller puisque leur statut est officiellement inférieur, et que leurs armes ne fonctionnent pas en sens inverse sur des collègues au-dessus de tout reproche eu égard à leur parfait équilibre psychologique. Lol. Ils sont donc condamnés à se faire tuer par ceux qu’ils cherchent à arraisonner, ou par leurs collègues réguliers, ou à passer éternellement entre les tirs de lasers.

Les dominateurs

Pour accomplir ce beau métier, les policiers utilisent les « yeux de Sybil », sous la forme des « dominateurs » (dont le nom est en soi tout un programme). Ces dominateurs sont des pistolets-laser verrouillés, qui peuvent lire en temps réel le psycho-pass des personnes qu’ils ciblent et donc leur facteur-criminel. Le pistolet prend la décision lui-même (en se connectant à Sybil) de 1/ rester verrouillé ou 2/ passer en mode paralytique ou 3/ passer en mode létal pour permettre à l’agent qui l’emploie de tirer. La seule chose qui est attendue de la part de l’agent, c’est donc d’appuyer sur la détente… ou pas. Là est l’entièreté de son rôle et du métier qu’il exerce.

Ce qui passe pour une sécurité (le dominateur ne peut pas tirer sur des « innocents » aux yeux du système) est aussi un moyen de choisir à la place des utilisateurs policiers en incitant et même en préconisant le traitement à infliger aux cibles. Avoir un facteur criminel élevé est, en soi, passible de peine de mort sans jugement et sur le terrain, à la libre décision de l’utilisateur de l’arme. La peine de mort sans procès est inscrite by design dans les outils des forces de l’ordre. Vous l’aurez bien cherché en n’étant pas stable psychologiquement.

Le fait que les policiers ne disposent pas de lecteur de psycho-pass qui ne soit pas contenu dans leurs armes les oblige à braquer tout un chacun pour « lire » le risque criminel sur la carte d’identité des citoyens. Pour « enquêter » donc, les flics braquent tout le monde et, scannant les individus au fil de l’eau, décident de tirer ou pas. L’ergonomie avant tout.

Police partout , justice nulle part

Au contraire de Minority Report qui punit des criminels pour des meurtres futurs – mais au moins certains si l’on croit sur parole les facultés des précogs – Psycho-pass est le règne de l’instantanéité. Les criminels ne sont punis ni pour leurs actions futures ni vraiment pour leurs actions passées, mais en fonction de leur profil à l’instant T. Il n’y à pas d’historique sur ce que vous étiez il y a un quart d’heure ou de probabilités de ce que vous serez demain.

C’est le contraire d’une justice juste : punir des personnes pour ce qu’elles sont et non pour ce qu’elles font. Ici l’acte n’est qu’une variable dans l’algo de Sybil, assortie d’un barème qui permet de modifier le psychopass. Une victime de viol devient aussi criminelle que son violeur, et risque les mêmes sanctions expéditives. Des plus faibles, des victimes ou des personnes en souffrance psychologique le système n’a cure. Il traite tout le monde de la même manière sans que quiconque ne soit jamais comptable de sa décision, ni au fait de son fonctionnement précis.

Avec ce concept ô combien foireux, mais passionnant, de profilage psychologique des citoyens en vue de rendre la « justice » et surtout de maintenir l’ordre sans dénombrer les cadavres qui s’empilent, Psycho-pass illustre très bien la dérive qui consiste à regarder uniquement des indicateurs plutôt que la réalité du terrain. Qu’importe que Sybil soit un système odieux et inique, d’une violence incontestable et à laquelle les humains se soumettent sans possibilité de rien y changer, car Sybil est la loi. Code is law.

Les dérives sont innombrables ; ou plutôt constituent les usages prévisibles qu’une telle technologie impliquerait nécessairement. Dans l’épisode 3 de la saison 1, le patron de l’usine ne voit aucun problème à laisser un salarié être maltraité par les autres. Tous, sauf la victime, ont un psycho-pass parfaitement vert. Lorsque le pauvre homme sombre du côté de la violence et cherche à se venger, il est abattu par les flics du fait de son facteur criminel devenu critique. Ni le patron, ni les tortionnaires, ni les officiers ne seront jamais inquiétés, et l’inhumanité de la situation n’effleure pas vraiment ses parties prenantes. Tout est bien optimisé, chacun joue sa partition. Le patron dira à propos de son salarié victime devenu bourreau : « Il est utile à sa manière. »

~ Antoine Daer

A lire : le site Technopolice qui recense les projets sécuritaires liberticides en France à l’initiative de La Quadrature du Net.

A voir : notre épisode de Planète B sur la surveillance