Jadi, kemarin gue habis nonton video soal benchmarking.

Kalau elo familiar sama Arena AI atau Artificial Analysis Intelligence Index seperti di gambar di atas, maka gue simpulkan elo ngerti yang gue maksud.

Belakangan gue sering kepikiran, kenapa tiap ada model-model baru yang dirilis, naiknya cepat banget dan tiba-tiba aja hasil benchmark-nya selalu ngalahin model-model yang sebelumnya jadi pemimpin. Something feels off, tapi gue enggak tau apa. Lalu gue nonton video berdurasi 5 menit 38 detik yang kebetulan muncul di beranda YouTube gue itu.

Tiba-tiba muncul pertanyaan: sebenarnya AI benchmark ini beneran atau cuma tipu-tipu para pemain besar?

Karena dari video yang gue tonton di atas, ternyata kebanyakan proses benchmarking ini "mencontek" biar kelihatan pintar. 

Jadi dari situ akhirnya gue menyimpulkan bahwa sebaiknya kita enggak perlu terlalu percaya sama benchmark ini, karena sebagus apa pun hasilnya di situ, peluang halunya juga tetap besar. Jadi, mending cobain beberapa model lalu pilih satu atau dua yang menurut elo paling oke buat jadi daily driver. Udah, fokus di situ aja.

Kalau elo, percaya gak sama hasil benchmarking ini?