Microsoft a distrus mafia 🤯 GPU-urilor În cele din urmă, au făcut open source cadrul lor de inferență LLM pe 1 bit numit bitnet.cpp. Îți permite să rulezi modele cu parametri de 100B pe CPU-ul local, fără plăci video. - 6,17x inferență mai rapidă - 82,2% mai puțină energie pe procesoare 100% Open Source.