A ma droite, 28 jeunes écrivains américains (dont un non binaire, précise l’étude) fâcheusement formés au creative writing, et déjà un minimum reconnus par le sérail.

On attribue à chacun trois écrivains célèbres choisis parmi ce pot-pourri :

Voici l’exercice qu’on soumet à ces cobayes : rédiger un extrait de 200-450 mots imitant le style et la voix (“emulating the style and voice”) des écrivains en question.

A cet effet, on leur fournit tout de même un peu de matériel :

• vingt extraits des œuvres concernées, choisis manuellement après inspection approfondie (“after closer inspection”),
• la spécification du contexte des extraits,
• une description textuelle du style et de la voix des auteurs.

A ma gauche, différents LLM à qui on donne exactement les mêmes instructions.

Appelons ça le tour 1.

Mais l’IA – plus précisément le modèle GPT-4o – bénéficie d’un second tour, pour lequel elle est plus spécifiquement entraînée sur un très grand nombre d’extraits des auteurs, à partir de leurs œuvres complètes saucissonnées à cette fin. Détail qui a son importance : tous les extraits sont indépendants du contexte narratif (“context-independent”), sans quoi le LLM serait trop dérouté par l’opacité implicite des textes.

La boucle d’apprentissage mérite qu’on s’y arrête. Elle suit la méthode dite de back translation : on fournit l’extrait au LLM → on lui demande d’en faire un résumé neutre → on lui donne son propre résumé à partir duquel il doit écrire un extrait dans le style de l’auteur → l’extrait original sert d’output attendu pour calibrer l’apprentissage.

Un jury est ensuite appelé à noter les textes ainsi produits, composé :

• des 28 cobayes eux-mêmes (qui n’auront évidemment pas à juger de leur propre prose) – appelons-les les experts.
• de 131 profanes diplômés de l’enseignement supérieur.

Résultat des courses ?

Qu’il s’agisse de qualité littéraire ou de fidélité au modèle, les experts jugent les textes humains supérieurs aux textes produits par l’IA au tour 1. Le verdict des profanes est beaucoup plus serré.

En revanche, la préférence va sans conteste, et sur les deux critères, aux textes produits par l’IA lors du second tour, aussi bien chez les experts que chez les profanes.

En découvrant, au cours d’entretiens menés à l’issue de l’expérimentation, qu’ils ont préféré la production de l’IA, les experts auraient traversé une sorte de crise d’identité, doutant alors de leur propre compétence (“identity crisis around expertise”).

Voilà pour la synthèse de l’étude qui, en réalité, nous en apprend moins sur les capacités littéraires de l’IA que sur un certain acharnement pseudo-scientifique à fonder la preuve de sa supériorité sur l’homme. N’est-il pas étrange d’évaluer la création à l’aune de l’imitation ? Et pour cause : c’est la condition même de possibilité de l’expérience. Il faut désormais plier l’humain aux règles qui ont cours chez la machine, soit la logique du deep learning, et non l’inverse.

Faites-moi ingurgiter autant de textes de Zadie Smith que vous voudrez (Dieu m’en garde !), et j’en resterai pourtant peut-être un piètre imitateur, ce qui ne ferait pas de moi un mauvais écrivain pour autant.

Et n’est-il pas injuste que l’homme n’ait pas eu droit lui aussi à son second tour ? On voit tout de suite le problème : c’est qu’il lui faudrait des mois, voire des années pour s’entraîner sur des œuvres complètes…

Autre fait révélateur : qu’il faille entraîner les machines sur des extraits “context-independent”. Mais dans la prose romanesque qui constitue l’essentiel du corpus étudié, n’est-ce pas le contexte narratif qui fait tout le sel littéraire ? Ouvrir un livre au pif pour en lire un paragraphe : en quoi cela pourrait-il être représentatif de l’émotion esthétique que suscite le livre dans son entier ?

Ce genre d’étude fonctionne au fond comme une prophétie auto-réalisatrice. Avec quelle délectation perverse on peut enfin voir ces pauvres cobayes admettre leur infériorité, et se soumettre à la machine. On vous l’avait bien dit, qu’elle était plus forte que vous !

Last modified: 18 avril 2026