Les juges seront-ils des IA ?

En juin 2023, un avocat new-yorkais a été sanctionné par un tribunal fédéral. Son tort : avoir déposé un mémoire citant six décisions de justice qui n’existaient pas. Il les avait demandées à ChatGPT, qui les avait inventées.

Même si le modèle d’IA affirmait que les décisions de justice étaient vraies, le juge a statué que ces affirmations étaient complètement fausses. L’anecdote a fait le tour du monde et sert depuis de fin de non-recevoir : l’IA ne remplace pas les juristes.

Pourtant, trois ans plus tard, les modèles ont changé et l’utilisation de ces outils fait partie intégrante du monde juridique. La place de l’IA dans le monde juridique mérite donc d’être posée à nouveau sérieusement.

Le droit est déjà augmenté avec l’IA

Quelques années auparavant, on pensait que le droit serait trop complexe pour que les modèles d’IA aient leur place. Pourtant, on constate aujourd’hui que ces mêmes outils sont devenus indispensables.

On le voit surtout dans le droit anglo-saxon. En effet, le droit anglo-saxon repose largement sur la jurisprudence, où ce sont les décisions de justice qui façonnent le droit. Dans cet environnement, le travail consiste à chercher des décisions de justice antérieures en masse, afin de toutes les comparer et les distinguer.

Les LLM excellent sur ces tâches. Cela explique pourquoi l’utilisation de l’IA chez les anglophones est devenue omniprésente, et aussi pourquoi elle fait autant polémique aux États-Unis lorsque des décisions de justice inexistantes sont citées.

Le droit français, et le droit européen en général, reposent essentiellement sur le cadre réglementaire. On part du cadre, on qualifie les faits et on en tire la conséquence.

Cet environnement nécessite davantage de déduction et dépend beaucoup moins des données juridiques accumulées auparavant. Par conséquent, il est moins exposé à ce que l’IA générative fait de mieux.

Pour autant, même le droit français comporte une masse de tâches à fort volume et à faible enjeu, comme comparer trente versions d’un contrat-cadre pour repérer la clause qui a bougé, ou résumer huit cents pages de documents avant une audience.

Sur tout cela, un LLM bien outillé fait gagner un temps considérable. Il ne décide rien : il se contente d’exécuter des tâches rébarbatives, pour laisser plus de temps à la prise de décision.

Cette utilisation de l’IA ressemble beaucoup plus à une redistribution qu’à un remplacement. Nous sommes arrivés à un stade où un cabinet qui utilise ces outils sera forcément plus productif qu’un cabinet qui ne les utilise pas.

Les limites fondamentales de l’IA dans le droit

Même si l’utilisation de l’IA est devenue indispensable, trois problèmes fondamentaux subsistent. Ils sont présentés ici du moins grave au plus grave.

Première limite : l’hallucination des modèles

C’est le problème le plus connu, mais paradoxalement le moins grave des trois, car il est visible et facilement corrigeable. Des informations complètement inventées peuvent être identifiées et corrigées.

Le vrai danger n’est pas que l’IA fasse une erreur, mais le biais d’automatisation qui fait que nous croyons la machine par défaut. Pour l’empêcher, il faut vérifier consciencieusement les résultats : tout l’inverse d’un automatisme, qui est la réalisation d’une tâche sans conscience.

Deuxième limite : la confidentialité

À l’inverse de l’hallucination, la confidentialité est un problème moins connu mais plus grave. Verser les pièces d’un dossier dans un modèle d’IA utilisé via un serveur — ChatGPT, Claude, Gemini… —, c’est faire sortir des informations couvertes par le secret professionnel du périmètre où ce secret est opposable.

Lorsqu’on utilise des modèles d’IA via des serveurs, il faut partir du principe que toutes les données que l’on y entre seront intégrées par ces mêmes modèles : des données qui seraient confidentielles ne le seraient alors plus.

Cette mise en garde est réelle, puisqu’il est possible de faire halluciner ces LLM de telle manière qu’ils dévoilent des données d’autres utilisateurs, voire des données d’entreprise, quand bien même personne n’aurait donné l’autorisation que cela se produise.

Heureusement, des solutions pratiques existent, comme les modèles d’IA qui fonctionnent en local, sur une machine du cabinet. Les coûts pour ces solutions se situent entre quatre et cinq chiffres : un certain budget, mais toujours inférieur au coût d’un incident lié aux données.

Troisième limite : la délégation de la synthèse

C’est le risque le plus grave, car il s’attaque directement à la compétence fondatrice du juriste. Synthétiser un dossier est une compétence qui s’acquiert lentement, par répétition, et qui structure la façon de penser le droit.

Si l’IA est utilisée systématiquement pour synthétiser les dossiers, on économise du temps et de l’énergie, mais la compétence s’atrophie et l’on devient incapable de vérifier fondamentalement ces dossiers.

C’est globalement le même débat lorsqu’un nouvel outil arrive. Il y a une distinction entre les personnes qui utilisent ce nouvel outil — en l’occurrence les LLM — pour donner l’impression d’avoir des compétences, et celles qui l’utilisent en plus de leurs compétences.

Pour que les LLM soient utilisés de la façon la plus constructive possible, il faut des règles d’utilisation claires et un véritable travail d’éducation sur ces outils, sans quoi ils sont utilisés n’importe comment.

Les juges seront-ils des IA ?

L’impact de l’IA dans le droit est indéniable et, même si des limites fondamentales existent, il est de plus en plus difficile de faire le lien entre ce qui est produit et ce que l’on sait faire. On peut alors se poser la question : les juges seront-ils des IA à long terme ?

La réponse est non. Il est impossible d’arriver à ce stade, et les objections vont bien au-delà de la simple fiabilité des modèles lorsqu’il s’agit de juger.

L’impossibilité philosophique

Une IA s’entraîne sur ce qui a déjà été jugé : elle apprend selon les décisions telles qu’elles ont été rendues, avec leurs inerties et leurs travers.

Juger consiste certes à appliquer une norme, mais aussi parfois à aller contre la pratique établie, à faire évoluer une jurisprudence ou à opérer un revirement.

En d’autres termes, juger consiste parfois à aller à l’encontre de tout ce qui s’est fait dans le passé, alors que l’IA ne remet jamais le passé en question.

Ce sont les humains qui font que le droit est évolutif aujourd’hui. Confier le jugement à une IA revient à décider que le droit ne bougera plus, ce qui est impossible pour n’importe quel professionnel du droit.

L’impossibilité empirique

Nous avons déjà essayé de créer des IA dans le rôle de juger : cela s’appelle la police prédictive, un concept testé aux États-Unis.

Malheureusement, les résultats indiquent des biais reproduits et amplifiés, ainsi que des prophéties autoréalisatrices. Par exemple, envoyer plus d’agents là où le modèle annonce davantage de délits implique naturellement plus de constatations. Ces mécanismes rendaient les modèles invérifiables.

Au final, le juge animé par les algorithmes représente plutôt l’exemple à fuir. Le juge-IA n’est pas souhaitable, et les juges de profession doivent prouver qu’ils n’en sont pas.

Le véritable impact de l’IA

Auparavant, la tâche principale du travail juridique était liée au traitement de l’information. À l’ère de l’IA, c’est la vérification des informations qui est devenue la tâche principale.

Ce changement a provoqué deux effets concrets déjà visibles :

• Produire coûte beaucoup moins cher, mais contrôler les informations coûte beaucoup plus cher.
• Des avocats plus productifs produisent des écritures plus volumineuses, mais les juges ne peuvent pas en faire davantage de leur côté.

Le piège dans lequel on pourrait tomber serait que l’humain qui vérifie les informations, sous pression du volume d’informations qui augmente sans arrêt, finisse par les vérifier avec l’aide de l’IA. Si cela devait arriver, on obtiendrait une bureaucratie de conformité plus lourde que la tâche à réaliser.