解鎖單細胞基礎模型，參數減少96% 單細胞大型語言模型（scLLMs）從數百萬個細胞中學習了驚人的生物知識。但它們有一個關鍵的弱點：將它們置於訓練上下文之外——新的疾病、未見過的物種、未特徵化的細胞群體——它們的預測變得不可靠。 標準的解決方案是微調。但微調會覆蓋原始模型參數，導致對預先學習的生物知識的“災難性遺忘”。而且這在計算上是昂貴的，需要大量的GPU資源，許多研究人員根本無法獲得。 Fei He及其合著者提出了scPEFT——一種參數高效的微調框架，凍結原始的scLLM主幹，只訓練小型、低維的適配器。四種適配器類型（Token適配器、Prefix適配器、LoRA、編碼器適配器）插入模型架構的不同部分，學習特定任務的調整，而不觸及預訓練的權重。 效率提升令人驚訝：scPEFT將可訓練參數減少超過96%，並將GPU內存使用量減少一半以上。但這裡重要的是——它的表現實際上比完全微調更好。在疾病特定數據集（NSCLC、MS、COVID-19）上，scPEFT在原生模型上實現了39.7%–81.7%的準確率提升，並在微調版本上實現了4.3%–15%的增益，正是因為它保留而不是覆蓋預訓練的知識。 該框架還使得從人類訓練模型進行跨物種轉移成為可能：在小鼠神經元上提高14%，在猕猴生殖細胞上提高39%，在秀麗隱杆線蟲上提高144%——所有這些都使用同源基因映射。注意力分析識別了特定T細胞狀態中的COVID相關基因，並揭示了對微調模型不可見的生物學相關亞群。 更廣泛的含義是：隨著基礎模型在生物學中普及，我們需要有效的方法來調整它們，而不破壞它們所學到的知識。scPEFT顯示，有時候，更新得少意味著學習得多。 論文：