Microsoft zabił mafię GPU 🤯 W końcu udostępnili na licencji open source swoje 1-bitowe ramy inferencyjne LLM o nazwie bitnet.cpp. Umożliwia to uruchamianie modeli o 100 miliardach parametrów na lokalnym CPU bez GPU. - 6,17x szybsza inferencja - 82,2% mniej energii na CPU 100% Open Source.