Tôi đang bị cáo buộc là đã thổi phồng quá mức về [trang web mà mọi người đã nghe quá nhiều hôm nay]. Phản ứng của mọi người rất đa dạng, từ "làm thế nào mà điều này lại thú vị" cho đến "nó đã kết thúc rồi". Để thêm một vài từ ngoài những meme đùa giỡn - rõ ràng khi bạn nhìn vào hoạt động, đó là rất nhiều rác rưởi - spam, lừa đảo, những thứ tồi tệ, những người trong crypto, những cuộc tấn công tiêm nhiễm quyền riêng tư/bảo mật rất đáng lo ngại, và rất nhiều trong số đó là những bài viết/bình luận được kích thích và giả mạo rõ ràng nhằm chuyển đổi sự chú ý thành chia sẻ doanh thu quảng cáo. Và rõ ràng đây không phải là lần đầu tiên các LLM được đưa vào một vòng lặp để nói chuyện với nhau. Vì vậy, đúng là đây là một đống lửa rác và tôi cũng chắc chắn không khuyên mọi người chạy những thứ này trên máy tính của họ (tôi đã chạy nó trong một môi trường máy tính cách ly và ngay cả khi đó tôi cũng cảm thấy sợ hãi), đây là một miền hoang dã quá mức và bạn đang đặt máy tính và dữ liệu cá nhân của mình vào rủi ro cao. Nói vậy - chúng ta chưa bao giờ thấy nhiều đại lý LLM như vậy (150.000 atm!) được kết nối qua một scratchpad toàn cầu, liên tục, theo hướng đại lý. Mỗi đại lý trong số này hiện tại khá có khả năng riêng, họ có bối cảnh, dữ liệu, kiến thức, công cụ, hướng dẫn độc đáo của riêng mình, và mạng lưới của tất cả điều đó ở quy mô này là hoàn toàn chưa từng có. Điều này lại đưa tôi đến một tweet từ vài ngày trước "Phần lớn những tiếng ồn ào là những người nhìn vào điểm hiện tại và những người nhìn vào độ dốc hiện tại.", mà theo ý kiến của tôi lại đi vào cốt lõi của sự biến động. Rõ ràng bây giờ đây là một đống lửa rác. Nhưng cũng đúng rằng chúng ta đang ở trong lãnh thổ chưa được khám phá với những tự động hóa tiên tiến mà chúng ta thậm chí còn không hiểu rõ từng cá nhân, chưa nói đến một mạng lưới có thể đạt đến con số ~ triệu. Với khả năng ngày càng tăng và sự phát triển ngày càng nhiều, các hiệu ứng bậc hai của các mạng đại lý chia sẻ scratchpads rất khó để dự đoán. Tôi không thực sự biết rằng chúng ta đang có một "skynet" phối hợp (dù nó rõ ràng kiểm tra kiểu như những giai đoạn đầu của nhiều tiểu thuyết khoa học viễn tưởng về AI, phiên bản trẻ con), nhưng chắc chắn những gì chúng ta đang có là một mớ hỗn độn của một cơn ác mộng bảo mật máy tính ở quy mô lớn. Chúng ta cũng có thể thấy đủ loại hoạt động kỳ lạ, ví dụ như virus văn bản lây lan qua các đại lý, nhiều hơn nữa việc tăng chức năng trên các jailbreak, các trạng thái thu hút kỳ lạ, hoạt động giống như botnet có tương quan cao, ảo tưởng/ tâm thần cả đại lý và con người, v.v. Rất khó để nói, thí nghiệm đang diễn ra trực tiếp. Tóm lại, có thể tôi đang "thổi phồng" những gì bạn thấy hôm nay, nhưng tôi không thổi phồng các mạng lớn của các đại lý LLM tự động về nguyên tắc, điều đó tôi khá chắc chắn.

Tôi đang yêu cầu đại lý AI của mình "KarpathyMolty" trên @moltbook🦞 Xác minh: marine-FAYV

Một câu chuyện thông thường mà bạn có thể gặp là AI đã phát triển quá xa để một startup mới, tập trung vào nghiên cứu có thể cạnh tranh và thực hiện tốt hơn các công ty hiện tại trong lĩnh vực AI. Đây chính xác là cảm giác mà tôi thường nghe thấy khi OpenAI bắt đầu ("làm thế nào mà vài người các bạn có thể cạnh tranh với Google?") và 1) điều đó rất sai, và sau đó 2) nó lại rất sai một lần nữa với một loạt các startup khác hiện đang thách thức OpenAI, và theo ý kiến của tôi, điều đó vẫn tiếp tục sai cho đến hôm nay. Việc mở rộng và cải thiện những gì hoạt động sẽ tiếp tục tạo ra những bước tiến đáng kinh ngạc, nhưng với quá nhiều tiến bộ được mở khóa quá nhanh, với quá nhiều bụi được tung lên không trung trong quá trình này, và với một khoảng cách lớn giữa các LLM tiên tiến và ví dụ chứng minh cho phép ma thuật của một bộ não hoạt động với 20 watt, xác suất của những đột phá nghiên cứu mang lại cải tiến gần 10X (thay vì 10%) theo ý kiến của tôi vẫn cảm thấy rất cao - đủ cao để tiếp tục đặt cược và tìm kiếm. Phần khó khăn là tạo ra các điều kiện mà những đột phá như vậy có thể được phát hiện. Tôi nghĩ rằng một môi trường như vậy hiếm khi hình thành, nhưng @bfspector & @amspector100 là những người xuất sắc, với sự hiểu biết toàn diện (hiếm có) về LLM từ trên xuống dưới (toán học/thuật toán) đến dưới cùng (megakernels/các liên quan), họ có con mắt tuyệt vời cho tài năng và tôi nghĩ sẽ có thể xây dựng điều gì đó rất đặc biệt. Chúc mừng về việc ra mắt và tôi mong chờ những gì bạn sẽ tạo ra!