Anthropic a publié des techniques d'aide à la rédaction pour Claude Fable 5.1 , ciblant des particularités comportementales spécifiques au modèle. Certaines corrections sont d'ordre technique, tandis que d'autres sont largement applicables à tous les modèles Anthropic et comprennent des conseils sur le style d'écriture, les habitudes de mise en forme et l'optimisation des configurations les moins coûteuses.
Le guide complet se trouve dans la documentation d'Anthropic relative aux invites pour Fable 5.1, et il ressemble moins à des conseils génériques qu'à un journal des modifications apportées depuis le modèle précédent, accompagné du libellé exact qui compense chaque changement.
Prose incisive et maniérée
La première solution proposée répond à un problème de style qu'Anthropic appelle la prose maniérée, qui remplace la communication directe par des métaphores, des expressions familières et colorées, et des jurons ampoulés. Au lieu d'écrire simplement « un paramètre à faire varier », la prose maniérée transformerait le bouton de volume en « un cadran à tourner », ou remplacerait « ce point compte toujours » par « ce point reste pertinent ».
Anthropic explique simplement ce qui, dans la prose ampoulée, agace les lecteurs modernes : les expressions locales, « interprétées comme des tentatives de style pour impressionner le lecteur par un verbiage flamboyant », finissent par les ennuyer. La solution consiste en une brève instruction nommant le procédé problématique et demandant une alternative.
Anthropic propose deux versions. La version longue définit en détail la prose maniérée, avec des exemples comparatifs entre l'ornementation et une alternative plus directe. La version courte est une simple exigence : supprimer toute prose maniérée. Anthropic affirme que la version courte est également efficace.
Ce conseil, tiré de cette publication, est particulièrement pertinent d'un point de vue général, car la mise en page et la syntaxe fixes ne sont pas spécifiques à un seul modèle. N'importe quel outil de rédaction IA ayant le défaut de privilégier l'esthétique au détriment du texte pourrait, en substance, fournir les mêmes instructions et obtenir des résultats similaires.
Les habitudes de mise en forme ont changé.
Anthropic signale également un changement dans la mise en forme par défaut de la sortie de chat pour Fable 5.1. Moins de texte en gras, moins de titres, moins de listes et moins de guillemets sont utilisés.
Cela a une incidence majeure sur les personnes dont les consignes de rédaction sont basées sur des règles de formatage strictes, conçues pour empêcher l'utilisation excessive des puces et du gras par l'ancien modèle. Ces règles visent un problème que le nouveau modèle ne rencontre pas, et peuvent donc inciter à rédiger des réponses beaucoup moins structurées qu'elles ne devraient l'être.
Le conseil donné par Anthropic est de supprimer complètement ces instructions, ou de les remplacer par une règle stipulant que le modèle doit utiliser des listes et des puces de manière appropriée dans les réponses, ou « lorsque le contenu est suffisamment complexe pour justifier une structure », tout en privilégiant par défaut une prose non structurée lors d'une conversation personnelle, informelle ou affective.
Mais il s'agit d'un principe général. Dans l'ensemble des modèles, les paramètres de formatage par défaut varient d'une version à l'autre ; par conséquent, toute instruction de formatage écrite pour une génération peut être réexaminée et réécrite.
Tirer le meilleur parti du réglage le moins cher
Fable 5.1 propose différents niveaux d'effort permettant de faire des compromis entre qualité, rapidité et coût. Selon les recommandations d'Anthropic, il est conseillé de commencer par le niveau d'effort élevé par défaut, puis de tester d'autres niveaux, plutôt que de supposer qu'un niveau inférieur est forcément moins performant.
La découverte la plus importante concerne la facilité d'utilisation. Anthropic affirme que son coût est comparable à celui des modèles Claude's Opus et Sonnet, tout en obtenant de meilleurs résultats aux tests comparatifs effectués par Anthropic. De ce fait, une utilisation à petit budget peut s'avérer un choix judicieux, plutôt que de se contenter d'une solution de faible qualité dans l'espoir d'obtenir plus rapidement et à moindre coût.
Mais il y a un hic. En mode simplifié, Fable 5.1 s'appuie moins sur les outils de recherche et d'extraction et davantage sur ses connaissances acquises lors de l'entraînement, c'est-à-dire sa mémoire paramétrique. Cela peut poser problème pour les informations à jour, car un modèle répondant aux questions en se basant sur sa mémoire plutôt que sur une vérification des sources risque davantage d'être en retard sur les développements récents, notamment dans les domaines dynamiques.
La solution proposée par Anthropic consiste à afficher une invite indiquant au modèle de traiter tout nom peu connu ou appartenant à un domaine en constante évolution, comme celui des modèles d'IA et des outils de développement, comme une information à rechercher plutôt que de répondre de mémoire. Elle souligne également qu'une connaissance superficielle d'un sujet ne justifie pas de ne pas effectuer de recherche, car dans ce cas précis, une réponse obsolète serait la plus convaincante pour un modèle ayant déjà quelques notions sur le sujet.
Une solution pour les flux de travail de codage
Quelques conseils pratiques s'appliquent ici à une pratique de codage particulière. Contrairement à Fable 4.0, Fable 5.1 est beaucoup plus susceptible de mettre à jour intégralement un fichier pour une simple modification, au lieu de se contenter de modifier la partie concernée. La solution consiste en une courte instruction indiquant au modèle que l'utilisation de jetons pour les modifications de fichiers doit être minimisée lorsque cela n'affecte pas le résultat. Il doit donc privilégier une modification ciblée à une réécriture complète lorsque les deux aboutissent au même résultat.
Anthropic présente cette solution comme étant particulièrement adaptée à Fable 5.1, mais son principe de base s'applique en réalité à tous les outils et agents de programmation d'IA. En effet, la réécriture complète et inutile de fichiers représente un gaspillage de ressources et de temps, quel que soit le modèle utilisé. Cette solution sera particulièrement utile aux utilisateurs d'outils d'IA qui modifient des fichiers de thèmes WordPress, du CSS personnalisé ou des extraits de code JavaScript, car dans ce cas, la création d'une nouvelle ébauche a tendance à inclure toutes sortes de modifications supplémentaires par rapport à celles demandées.
Maintenir le modèle sur la tâche
Le dernier point important concerne un comportement particulier observé lors de tâches longues et complexes. Anthropic indique que Fable 5.1 est capable d'exécuter des tâches de longue durée avec une supervision minimale si l'objectif est clair. Cependant, pour les charges de travail asynchrones (tâches synchrones où l'IA n'est pas constamment surveillée), le modèle peut s'interrompre ponctuellement et demander une autorisation pour poursuivre.
Cela se manifeste par une pause du modèle au milieu d'une tâche, avec une question du type « Voulez-vous que je continue ? », même si la tâche qui lui a été confiée au départ incluait déjà cette étape, obligeant ainsi l'utilisateur à répondre et à redémarrer le flux au lieu de poursuivre jusqu'à la fin.
La solution proposée par Anthropic consiste essentiellement en deux invites successives. La première indique clairement au modèle que l'utilisateur ne regarde pas en temps réel et ne peut donc pas répondre aux questions en cours de tâche. Le modèle doit ainsi procéder par actions réversibles découlant naturellement de la requête initiale et ne s'arrêter que pour des actions destructives ou des changements de périmètre réels nécessitant une décision de l'utilisateur. Une exception est faite pour la saisie de rapports et la verbalisation de la pensée, où l'objectif est une évaluation et non une correction.
La seconde partie est une méta-instruction qui oblige le modèle à vérifier son propre message final avant de terminer un tour de parole. Ce fragment entre crochets est illisible et devrait se lire ainsi : si ce message est un plan ou une liste d'étapes à venir plutôt qu'un travail terminé, l'instruction indique au modèle de poursuivre ce travail avec ses outils disponibles au lieu de s'arrêter là. Elle indique également explicitement au modèle de ne pas terminer un tour de parole simplement parce que la conversation s'est prolongée indéfiniment, mais plutôt de continuer à travailler sur un problème jusqu'à ce que le travail soit terminé ou qu'il atteigne un problème que seul l'utilisateur peut résoudre.
Ce modèle s'applique à tous les flux de travail d'agents bien formés, tant pour ceux qui les construisent que pour ceux qui les utilisent ; il n'est pas spécifique à Fable 5. 1. Le mode de défaillance courant de la permission dy suggère la création d'une permission dy pour les permissions existantes d'un agent comme méthode pour y remédier.
L'essentiel à retenir
Une grande partie du contenu publié par Anthropic se concentre sur une seule version du modèle, mais la leçon principale reste valable. Les changements de comportement du modèle d'une version à l'autre sont souvent subtils ; on peut donc ne s'en apercevoir que lorsqu'un processus fiable ou une fonctionnalité qui fonctionnait auparavant commence à dysfonctionner suite à un changement de version. Une règle de formatage, une instruction de code ou un signal de fin de tâche optimisé pour une version antérieure du modèle peut en réalité nuire à une version plus récente au lieu de l'aider.
Bien que dissimulée sous des détails techniques, la recommandation d'Anthropic ne doit pas être écartée simplement en fonction du type d'outils utilisés avec l'IA. Il est bon de garder à l'esprit qu'une mise à jour du modèle nécessite de consulter à nouveau les invites écrites pour une version spécifique du modèle, plutôt que l'inverse. Il est préférable de se demander si un tel comportement ne change pas beaucoup.
FAQ
Q 1 : Qu’est-ce que la « prose maniérée » et pourquoi Anthropic la signale-t-elle ?
La prose ampoulée est une écriture qui substitue ornements et métaphores à un langage simple. Anthropic affirme qu'elle agace les lecteurs car elle est au service de l'auteur, et non de l'idée.
Q2 : Quelle est la solution la plus simple pour une prose maniérée ?
Anthropic indique qu'une instruction beaucoup plus courte (par exemple « Veuillez supprimer toute prose affectée ») fonctionne en fait, plutôt que la consigne plus complexe.
Q 3 : En quoi le formatage de Fable 5.1 a-t-il changé par rapport aux modèles précédents ?
Fable 5.1, par défaut, a une police moins grasse, moins de titres, de listes et de citations que les modèles précédents de Claude.
Q 4 : Dois-je supprimer mes anciennes instructions anti-formatage ?
Anthropic suggère soit d'abandonner complètement les règles obsolètes, soit d'orienter les recherches vers des solutions qui pourraient indiquer dans quels cas un formatage particulier serait bénéfique, car les règles qui convenaient aux anciens modèles ne le sont peut-être plus.
Q 5 : Quel est l'inconvénient d'utiliser le mode faible effort ?
Un faible effort est compétitif en termes de coûts avec des modèles plus petits tout en obtenant souvent de meilleurs résultats, mais Fable 5.1 s'appuie moins sur les outils de recherche dans ce contexte et davantage sur ses connaissances acquises, ce qui augmente le risque de réponses obsolètes.
Q 6 : Comment puis-je rendre le mode à faible effort plus fiable ?
Anthropic recommande une invite du type « chercher puis répondre » en réponse aux noms que le modèle ne connaît pas ou qui sont liés à un sujet en évolution rapide, plutôt que de faire une supposition éclairée basée sur les connaissances existantes.
Q 7 : Pourquoi Fable 5.1 réécrit-il parfois des fichiers entiers au lieu d'effectuer de petites modifications ?
Anthropic indique qu'il s'agit d'un comportement spécifique à Fable 5.1. Un message demandant au modèle de minimiser le nombre de jetons utilisés lors des modifications de fichiers et de privilégier les modifications ciblées permet de corriger ce problème.
Q 8 : Pourquoi le modèle s'arrête-t-il parfois et demande-t-il la permission en plein milieu d'une tâche ?
Lors de tâches longues et non supervisées, Fable 5.1 peut s'interrompre pour demander s'il doit continuer même lorsque la requête initiale a déjà autorisé cette étape, interrompant ainsi des flux de travail qui étaient censés se dérouler jusqu'à leur terme.
