Jusqu'à présent, « raconter une histoire de longueur moyenne satisfaisante et bien écrite » s'est avéré beaucoup plus difficile pour les LLM que les preuves mathématiques, la génération musicale, les rapports de recherche, le code et de nombreuses autres formes de travail. Les raisons techniques sont assez claires, mais ils sont censés être des modèles linguistiques.

Une grande raison est qu'il est difficile de vérifier un très bon écrit, donc vous ne pouvez pas faire de bon RL dessus. Cependant, je soupçonne que le tweet ci-dessus sera cité cette année avec un exemple d'un très bon texte créé par un LLM de toutes pièces, donc nous verrons.