BANGUN IDE – Laude Institute baru saja mengumumkan pemenang pertama dari K Prize, sebuah tantangan pengkodean AI yang digagas oleh pendiri Databricks dan Perplexity, Andy Konwinski. Eduardo Rocha de Andrade, seorang prompt engineer asal Brasil, keluar sebagai juara dan membawa pulang hadiah sebesar $50.000 meskipun hanya menjawab benar 7,5% dari soal yang diberikan.
K Prize dirancang untuk menguji kemampuan model AI dalam menyelesaikan masalah pemrograman dunia nyata.
Menggunakan isu-isu baru dari GitHub agar tidak bisa dilatih sebelumnya (contamination-free). Berbeda dari benchmark populer seperti SWE-Bench yang memiliki skor hingga 75%, hasil dari K Prize menunjukkan betapa sulitnya tantangan ini.
“Benchmark seharusnya sulit jika ingin bermakna,” ujar Konwinski, yang juga menjanjikan $1 juta bagi model open source pertama yang bisa mencapai skor di atas 90%.
Dengan pengujian yang dijalankan secara offline dan hanya menggunakan limited compute, K Prize secara eksplisit dirancang untuk memberi kesempatan bagi model-model kecil dan terbuka — bukan hanya model raksasa dari laboratorium AI besar.
Konwinski berharap kompetisi ini menjadi “reality check” terhadap narasi bahwa AI saat ini sudah siap menggantikan profesi teknis seperti dokter, pengacara, hingga insinyur perangkat lunak. “Kalau AI bahkan belum bisa mencapai 10% di benchmark seperti ini, itu sudah jadi jawaban,” pungkasnya.
K Prize membuktikan bahwa tantangan pengkodean AI yang benar-benar bebas dari pelatihan sebelumnya jauh lebih sulit dari perkiraan.
Meskipun pemenangnya hanya meraih skor 7,5%, hal ini menunjukkan pentingnya evaluasi realistis terhadap kemampuan AI saat ini dan perlunya tolok ukur yang lebih ketat untuk mengukur kemajuan sebenarnya. (ALF)***