Microsoft ha ucciso la mafia delle GPU 🤯 Hanno finalmente open-sourcato il loro framework di inferenza LLM a 1 bit chiamato bitnet.cpp. Ti consente di eseguire modelli da 100 miliardi di parametri sul tuo CPU locale senza GPU. - Inferenza 6,17 volte più veloce - 82,2% di energia in meno sui CPU 100% Open Source.