Zginanie przestrzeni, aby dopasować energię: jak geometria pozwala na przewidywanie struktury molekularnej z dokładnością chemiczną Przewidywanie struktury 3D cząsteczki—gdzie dokładnie znajduje się każdy atom w przestrzeni—jest fundamentalne dla chemii obliczeniowej. Jeśli popełnisz mały błąd, twoje obliczenia energii mogą być znacznie nietrafione. Złotym standardem jest teoria funkcji gęstości, ale DFT jest wolna i kosztowna. Uczenie maszynowe oferuje szybszą drogę: wytrenuj model, aby usunąć szum z surowego początkowego zgadnięcia, przekształcając je w dokładną strukturę. Problem polega na tym, że większość modeli usuwania szumów działa w zwykłej przestrzeni euklidesowej, gdzie wszystkie kierunki są traktowane równo. Ale cząsteczki nie działają w ten sposób. Rozciąganie wiązania kosztuje znacznie więcej energii niż obracanie wokół niego. Równe odległości w układzie kartezjańskim nie oznaczają równych zmian energii. Jeheon Woo i współautorzy bezpośrednio zajmują się tym niedopasowaniem. Konstruują rozmaitość Riemanna—krzywą przestrzeń z metryką zależną od pozycji—zaprojektowaną tak, aby odległość geodezyjna korelowała z różnicą energii. Metryka jest zbudowana z informowanych fizyką wewnętrznych współrzędnych, które ważą odległości międzyatomowe w zależności od tego, ile energii kosztuje ich zmiana: sztywne wiązania liczą się bardziej niż miękkie skręty. Kiedy porównują odległość geodezyjną z standardowym RMSD, korelacja z energią skacze z 0.37 do 0.90. Szkolenie modelu usuwania szumów w tej krzywej przestrzeni zmienia to, czego model się uczy. W przestrzeni euklidesowej dodanie izotropowego szumu może łamać wiązania lub tworzyć niemożliwe geometrie—struktury setki kcal/mol powyżej minimum. W rozmaitości Riemanna ta sama wielkość szumu utrzymuje cząsteczki chemicznie sensowne, pozostając w tym samym potencjalnym studni. Ścieżka usuwania szumów sama w sobie podąża za geodezyjkami, które śledzą minimalizację energii, a nie dowolne proste linie przez przestrzeń kartezjańską. Wyniki osiągają próg, który ma znaczenie: dokładność chemiczna, definiowana jako błąd energii poniżej 1 kcal/mol. Na benchmarku QM9 model Riemanna osiąga medianę błędu 0.177 kcal/mol—około 20× lepiej niż struktury początkowe z pola siłowego i znacznie lepiej niż wersja euklidesowa. Kiedy te przewidywania są używane jako punkty wyjścia do udoskonalenia DFT, koszty obliczeniowe spadają o więcej niż połowę. Głębszy punkt: w modelowaniu molekularnym geometria przestrzeni reprezentacji nie jest neutralna. Przestrzeń euklidesowa traktuje wszystkie przemieszczenia atomowe jako równoważne; przestrzeń Riemanna może kodować fizykę. Kiedy dostosowujesz odległość geometryczną do kosztu energetycznego, usuwanie szumów staje się optymalizacją, a model uczy się podążać za powierzchnią energii potencjalnej, a nie walczyć z nią. Artykuł:

Odblokowanie modeli podstawowych dla pojedynczych komórek z 96% mniejszą liczbą parametrów Modele językowe dla pojedynczych komórek (scLLMs) nauczyły się niezwykłej wiedzy biologicznej z milionów komórek. Ale mają krytyczną słabość: wyjęte z kontekstu ich treningu—nowa choroba, nieznany gatunek, niecharakteryzowana populacja komórek—ich prognozy stają się niewiarygodne. Standardowym rozwiązaniem jest dostosowanie. Ale dostosowanie nadpisuje oryginalne parametry modelu, powodując "katastrofalne zapomnienie" wcześniej nabytej wiedzy biologicznej. A to jest kosztowne obliczeniowo, wymagając znacznych zasobów GPU, których wielu badaczy po prostu nie ma. Fei He i współautorzy proponują scPEFT—ramy dostosowania oparte na efektywności parametrów, które zamrażają oryginalny szkielet scLLM i trenują tylko małe, niskowymiarowe adaptery. Cztery typy adapterów (adapter tokenów, adapter prefiksowy, LoRA, adapter kodera) wpasowują się w różne części architektury modelu, ucząc się specyficznych dla zadania dostosowań bez dotykania wstępnie wyuczonych wag. Zyski efektywności są uderzające: scPEFT redukuje liczbę trenowalnych parametrów o ponad 96% i zmniejsza zużycie pamięci GPU o więcej niż połowę. Ale oto, co jest ważne—w rzeczywistości działa lepiej niż pełne dostosowanie. Na zestawach danych specyficznych dla chorób (NSCLC, SM, COVID-19), scPEFT osiąga poprawę dokładności o 39,7–81,7% w porównaniu do modeli natywnych i 4,3–15% w porównaniu do wersji dostosowanych, dokładnie dlatego, że zachowuje, a nie nadpisuje wstępnie wyuczoną wiedzę. Ramy te umożliwiają również transfer międzygatunkowy z modeli wytrenowanych na ludziach: 14% poprawy w neuronach myszy, 39% w komórkach jajowych makaków i 144% w C. elegans—wszystko to przy użyciu ortologicznych map genowych. Analiza uwagi identyfikuje geny związane z COVID w specyficznych stanach komórek T i odkrywa biologicznie istotne subpopulacje niewidoczne dla modeli dostosowanych. Szersze implikacje: w miarę jak modele podstawowe proliferują w biologii, potrzebujemy efektywnych sposobów ich dostosowywania bez niszczenia tego, czego się nauczyły. scPEFT pokazuje, że czasami aktualizowanie mniejszej liczby oznacza uczenie się więcej. Artykuł:

Architektury inspirowane neurobiologią do budowy prawdziwie adaptacyjnej AI Nowoczesne systemy AI są potężne, ale kruche. Wytrenuj model, wdroż go, a następnie obserwuj, jak wydajność spada, gdy świat się zmienia. Ponownie trenuj na nowych danych, a model zapomina, co wiedział. Ten cykl produkuje systemy, które doskonale radzą sobie z statycznymi benchmarkami, ale mają trudności z ciągłą adaptacją — coś, co inteligencja biologiczna robi bez wysiłku. Mysz potrafi nauczyć się w kilku próbach znajdować wodę w nowym labiryncie w około dziesięciu próbach, co jest tempem uczenia się 1 000 razy szybszym niż tradycyjne zadania laboratoryjne. Jednak nasze najbardziej zaawansowane sieci neuronowe cierpią na katastrofalne zapominanie, gdy są proszone o uczenie się sekwencyjnie. Mózg oferuje inną architekturę. Działa nie jako jedna splątana sieć, ale jako inteligentnie połączone, wyspecjalizowane moduły — kora wzrokowa przetwarzająca krawędzie, kora ruchowa obliczająca w przestrzeni sił, obszary przedczołowe śledzące pamięć zorganizowaną według zadań. Każdy moduł buduje wewnętrzne modele aktualizowane przez błędy predykcji, gdy oczekiwane wyniki różnią się od rzeczywistości. Te sygnały nauczania zostały teraz odkryte w obwodach sensorycznych, motorycznych i nagradzających. Mackenzie Weygandt Mathis syntetyzuje te spostrzeżenia w propozycję dla adaptacyjnej agentnej AI. Zamiast dążyć do coraz większych monolitycznych modeli bazowych, argumentuje za systemami specyficznych dla dziedziny enkoderów, których wyjścia są wspólnie optymalizowane w dzielonej przestrzeni latentnej. Każdy enkoder jest monitorowany przez sygnały błędu predykcji — solidne enkodery pozostają "zablokowane", podczas gdy te, które wykazują obniżoną wydajność, są "odblokowywane" do ciągłego uczenia się za pomocą odtwarzania pamięci lub inteligencji synaptycznej, bez wyłączania całego systemu. Szersza zasada: poprzez strukturalizowanie AI wokół inspirowanej neurobiologią modularności i aktualizacji opartej na błędach predykcji, zamiast monolitycznej skali, staje się możliwe przejście od statycznych modeli do prawdziwie adaptacyjnej inteligencji — systemów, które ciągle udoskonalają swoje modele świata poprzez interakcję z nim. Artykuł: