Microsoft tappoi GPU-mafian 🤯 He lopulta avasivat 1-bittisen LLM-päättelykehyksensä nimeltä bitnet.cpp. Sen avulla voit ajaa 100B parametrimalleja paikallisella suorittimella ilman näytönohjaimia. - 6.17x nopeampi päättely - 82,2 % vähemmän energiaa suorittimilla 100 % avoimen lähdekoodin.