Microsoft đã tiêu diệt băng nhóm GPU 🤯 Họ cuối cùng đã mã nguồn mở framework suy diễn LLM 1-bit của họ có tên là bitnet.cpp. Nó cho phép bạn chạy các mô hình 100B tham số trên CPU cục bộ của bạn mà không cần GPU. - Suy diễn nhanh hơn 6.17 lần - Tiêu thụ năng lượng ít hơn 82.2% trên CPU 100% Mã nguồn mở.

Tencent vừa tiêu diệt việc tinh chỉnh và RL với ngân sách 18 đô la 🤯 Họ đã phát triển một phương pháp thay thế hoàn toàn cho Học Tăng Cường (RL) truyền thống. Nó được gọi là Training-Free GRPO. Nó cho phép LLM học từ 100 ví dụ bằng cách coi bộ nhớ như một bộ tối ưu hóa chính sách.

Bạn giờ có thể lập chỉ mục 60 triệu đoạn văn bản trên một chiếc laptop tiêu chuẩn chỉ với 6GB. LEANN là một cơ sở dữ liệu vector mã nguồn mở mới nén các chỉ mục RAG xuống 97%. Và nó hoàn toàn chạy trên laptop của bạn bằng cách sử dụng các phép tính nhúng theo yêu cầu. 100% Mã nguồn mở.