A Microsoft acabou com a máfia das GPUs 🤯 Eles finalmente tornaram open-source o seu framework de inferência LLM de 1-bit chamado bitnet.cpp. Ele permite que você execute modelos de 100B parâmetros no seu CPU local sem GPUs. - Inferência 6.17x mais rápida - 82.2% menos energia em CPUs 100% Open Source.