Temas en tendencia
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Desbloqueo de modelos de cimentación de celda única con un 96% menos de parámetros
Los modelos de lenguaje de gran tamaño de célula única (SCLLMs) han aprendido conocimientos biológicos notables de millones de células. Pero tienen una debilidad crítica: si las sacas de su contexto de entrenamiento—una nueva enfermedad, una especie invisible, una población celular no caracterizada—sus predicciones se vuelven poco fiables.
La solución estándar es el ajuste fino. Pero el ajuste fino sobrescribe los parámetros originales del modelo, causando un "olvido catastrófico" del conocimiento biológico preaprendido. Y es costoso computacionalmente, requiriendo recursos sustanciales de GPU que muchos investigadores simplemente no tienen.
Fei He y sus coautores proponen scPEFT—un marco de ajuste fino eficiente en parámetros que congela la columna vertebral original de scLLM y entrena solo adaptadores pequeños y de baja dimensión. Cuatro tipos de adaptadores (adaptador de token, adaptador de prefijo, LoRA, adaptador de codificador) encajan en diferentes partes de la arquitectura del modelo, aprendiendo ajustes específicos de la tarea sin tocar los pesos preentrenados.
Las mejoras de eficiencia son notables: scPEFT reduce los parámetros entreenables en más de un 96% y reduce el uso de memoria de la GPU a más de la mitad. Pero esto es lo que importa: en realidad funciona mejor que un ajuste fino completo. En conjuntos de datos específicos de enfermedades (NSCLC, MS, COVID-19), scPEFT logra mejoras en la precisión del 39,7–81,7% respecto a los modelos nativos y mejoras del 4,3–15% respecto a las versiones afinadas, precisamente porque preserva en lugar de sobrescribir conocimientos preentrenados.
El marco también permite la transferencia entre especies desde modelos entrenados por humanos: mejora del 14% en neuronas de ratón, 39% en células germinales de macacos y 144% en C. elegans, todo ello utilizando mapeos génicos ortologos. El análisis de atención identifica genes relacionados con la COVID en estados específicos de células T y revela subpoblaciones biológicamente relevantes invisibles para modelos finamente ajustados.
La implicación más amplia: a medida que los modelos de fundación proliferan en la biología, necesitamos formas eficientes de adaptarlos sin destruir lo que han aprendido. scPEFT muestra que a veces, actualizar menos significa aprender más.
Papel:

Populares
Ranking
Favoritas
