Microsoft a tué la mafia des GPU 🤯 Ils ont enfin rendu open source leur framework d'inférence LLM 1-bit appelé bitnet.cpp. Cela vous permet d'exécuter des modèles de 100 milliards de paramètres sur votre CPU local sans GPU. - Inférence 6,17x plus rapide - 82,2 % d'énergie en moins sur les CPU 100 % Open Source.

Tencent vient de tuer le fine-tuning et le RL avec un budget de 18 $ 🤯 Ils ont développé une méthode qui remplace entièrement l'apprentissage par renforcement (RL). Elle s'appelle Training-Free GRPO. Elle permet aux LLM d'apprendre à partir de 100 exemples en considérant la mémoire comme un optimiseur de politique.

Vous pouvez désormais indexer 60 millions de morceaux de texte sur un ordinateur portable standard en utilisant seulement 6 Go. LEANN est une nouvelle base de données vectorielle open-source qui compresse les index RAG de 97 %. Et elle fonctionne entièrement sur votre ordinateur portable en utilisant des calculs d'embedding à la demande. 100 % Open Source.