Låser opp enkeltcellebaserte grunnlagsmodeller med 96 % færre parametere Enkeltcelle store språkmodeller (scLLM-er) har lært bemerkelsesverdig biologisk kunnskap fra millioner av celler. Men de har en kritisk svakhet: ta dem ut av treningskonteksten – en ny sykdom, en usett art, en ukarakterisert cellepopulasjon – og deres forutsigelser blir upålitelige. Standardløsningen er finjustering. Men finjustering overskriver de opprinnelige modellparametrene, noe som fører til «katastrofal glemsel» av forhåndslært biologisk kunnskap. Og det er beregningsmessig krevende, og krever betydelige GPU-ressurser som mange forskere rett og slett ikke har. Fei He og medforfattere foreslår scPEFT—et parameter-effektivt finjusteringsrammeverk som fryser den opprinnelige scLLM-ryggraden og kun trener små, lavdimensjonale adaptere. Fire adaptertyper (Token-adapter, Prefix-adapter, LoRA, Encoder-adapter) plasseres i ulike deler av modellarkitekturen, og lærer oppgavespesifikke justeringer uten å berøre de forhåndstrente vektene. Effektivitetsgevinstene er slående: scPEFT reduserer treningsbare parametere med over 96 % og reduserer GPU-minnebruket med mer enn halvparten. Men her er det som betyr noe—det fungerer faktisk bedre enn full finjustering. På sykdomsspesifikke datasett (NSCLC, MS, COVID-19) oppnår scPEFT 39,7–81,7 % nøyaktighetsforbedringer sammenlignet med native modeller og 4,3–15 % gevinst sammenlignet med finjusterte versjoner, nettopp fordi det bevarer snarere enn overskriver forhåndstrent kunnskap. Rammeverket muliggjør også overføring på tvers av arter fra mennesketrente modeller: 14 % forbedring på musenevroner, 39 % på makak-kimceller og 144 % på C. elegans—alle ved bruk av ortologe genkartlegginger. Oppmerksomhetsanalyse identifiserer COVID-relaterte gener i spesifikke T-celletilstander og avdekker biologisk relevante underpopulasjoner som er usynlige for finjusterte modeller. Den bredere implikasjonen: ettersom grunnlagsmodeller sprer seg i biologien, trenger vi effektive måter å tilpasse dem på uten å ødelegge det de har lært. scPEFT viser at noen ganger betyr mindre oppdatering å lære mer. Artikkel: