パラメータ数を96%減らした単一セル基礎モデルのアンロック 単一セル大規模言語モデル(scLLM)は、数百万の細胞から驚くべき生物学的知識を学習してきました。しかし、彼らには致命的な弱点があります。それは、訓練の文脈から切り離すと――新しい病気、未確認の種、未解明の細胞集団――を外すと、予測が信頼できなくなります。 標準的な解決策は微調整です。しかし、ファインチューニングは元のモデルパラメータを上書きし、事前に学習された生物学的知識が「壊滅的な忘却」を引き起こします。しかも計算コストが高く、多くの研究者が持っていないGPUリソースも多大です。 Fei HeらはscPEFTを提案します。これは、元のscLLMのバックボーンを凍結し、小規模で低次元のアダプターのみを訓練するパラメータ効率の高いファインチューニングフレームワークです。4種類のアダプター(トークンアダプター、プレフィックスアダプター、LoRA、エンコーダーアダプター)がモデルアーキテクチャの異なる部分に差し込み、事前学習済みの重みに触れずにタスク固有の調整を学習します。 効率向上は顕著で、scPEFTは訓練可能なパラメータを96%以上削減し、GPUメモリ使用量を半分以上削減します。しかし重要なのは、フルファインチューニングよりも実際に性能が良いということです。疾患特異データセット(NSCLC、MS、COVID-19)において、scPEFTはネイティブモデルに比べて39.7〜81.7%の精度向上、ファインチューニング版より4.3〜15%の向上を達成しています。これは事前学習済み知識を上書きするのではなく保存しているためです。 このフレームワークはまた、ヒトトレーニングモデルからの種間移行も可能にしており、マウスニューロンで14%、マカクの生殖細胞で39%、C. elegansで144%の改善が見られ、いずれもオルソロギュー遺伝子マッピングを用いています。注意解析は特定のT細胞状態にあるCOVID関連遺伝子を特定し、精密なモデルでは見えない生物学的に関連性の高いサブ集団を明らかにします。 より広い意味は、基礎モデルが生物学全体に広がる中で、それらを効率的に適応させる方法を、学んだことを破壊しないようにする必要があるということです。scPEFTは、時には更新を減らすことがより多くを学ぶことを意味することを示しています。 論文: