當人們說他們在做 GRPO 時,他們並不是在做最初制定的 *字面上的* GRPO。更像是一種氛圍的東西。就像人們說他們在做 SGD,但他們實際上是做 AdamW。
所有改進的名稱都蠻愚蠢的,這一點也沒有幫助。"Dr. GRPO,這代表 GRPO [D]one [r]ight" 拜託,努力一點吧。
許多修正也來自於 DAPO 論文,但與論文中所稱的 DAPO 是不同的東西,所以我們從現在開始就稱它為 GRPO。這沒問題。我們指的是好的版本。
9.71K