Déverrouiller les modèles de fondation à cellule unique avec 96 % de paramètres en moins Les modèles de langage à grande échelle pour cellules uniques (scLLMs) ont appris des connaissances biologiques remarquables à partir de millions de cellules. Mais ils ont une faiblesse critique : sortez-les de leur contexte d'entraînement—une nouvelle maladie, une espèce non vue, une population cellulaire non caractérisée—et leurs prédictions deviennent peu fiables. La solution standard est le fine-tuning. Mais le fine-tuning écrase les paramètres originaux du modèle, provoquant un "oubli catastrophique" des connaissances biologiques pré-apprises. Et c'est coûteux en calcul, nécessitant des ressources GPU substantielles que de nombreux chercheurs n'ont tout simplement pas. Fei He et ses co-auteurs proposent scPEFT—un cadre de fine-tuning efficace en paramètres qui fige l'architecture de base du scLLM original et entraîne uniquement de petits adaptateurs à faible dimension. Quatre types d'adaptateurs (adaptateur de jeton, adaptateur de préfixe, LoRA, adaptateur d'encodeur) s'insèrent dans différentes parties de l'architecture du modèle, apprenant des ajustements spécifiques à la tâche sans toucher aux poids pré-entraînés. Les gains d'efficacité sont frappants : scPEFT réduit les paramètres entraînables de plus de 96 % et réduit l'utilisation de la mémoire GPU de plus de la moitié. Mais voici ce qui compte : il performe en réalité mieux que le fine-tuning complet. Sur des ensembles de données spécifiques aux maladies (NSCLC, MS, COVID-19), scPEFT atteint des améliorations de précision de 39,7 à 81,7 % par rapport aux modèles natifs et de 4,3 à 15 % par rapport aux versions fine-tunées, précisément parce qu'il préserve plutôt qu'il n'écrase les connaissances pré-entraînées. Le cadre permet également le transfert inter-espèces à partir de modèles entraînés sur l'homme : 14 % d'amélioration sur les neurones de souris, 39 % sur les cellules germinales de macaque, et 144 % sur C. elegans—tout cela en utilisant des mappages de gènes orthologues. L'analyse d'attention identifie des gènes liés au COVID dans des états spécifiques des cellules T et découvre des sous-populations biologiquement pertinentes invisibles aux modèles fine-tunés. L'implication plus large : alors que les modèles de fondation prolifèrent dans la biologie, nous avons besoin de moyens efficaces pour les adapter sans détruire ce qu'ils ont appris. scPEFT montre que parfois, mettre à jour moins signifie apprendre plus. Article :