Ada banyak diskusi di sini mengenai AI dan kreativitas - akankah AI dapat menciptakan pengetahuan atau seni yang benar-benar baru? Ada perbedaan antara dua jenis kreativitas: kreativitas tertutup (dengan tujuan tertentu) dan kreativitas terbuka "langit biru" (terbuka). Dalam salah satu makalah favorit saya: kreativitas tertutup menanggapi insentif; Kreativitas "langit biru" tidak—itu didasarkan pada motivasi intrinsik. Komponen kunci dari pelatihan sistem AI adalah RL, yang menghasilkan sinyal positif mengingat output model. Mungkin saja sistem ini mengoptimalkan kreativitas "tertutup", tetapi meleset dari kreativitas "langit biru". Memang, kumpulan penulis yang sama menunjukkan bahwa manusia terus mendominasi AI pada kreativitas "langit biru", tetapi berkinerja buruk dalam tugas-tugas yang melibatkan kreativitas tertutup. Jika kita ingin AI menciptakan pengetahuan yang benar-benar baru, ada baiknya memikirkan cara mengoptimalkan pelatihan untuk jenis kreativitas "langit biru" ini. Ini membuka banyak pertanyaan penting tentang bagaimana merancang fungsi penghargaan, bagaimana memberikan model dengan motivasi intrinsik (yang merupakan bidang penelitian aktif), dll.