Meskipun ChatGPT adalah menjadi salah satu aplikasi dengan pertumbuhan tercepat sepanjang masa, ternyata biaya operasionalnya juga tak kalah luar biasa dalam menciptakan rekor.
Menurut sebuah laporan dari SemiAnalysis, OpenAI menghabiskan dana sekitar sebesar $694.444 atau sekitar 1 miliar rupiah setiap harinya untuk mengoperasikan ChatGPT, yang setara dengan sekitar $250 juta (sekitar 3,8 triliun rupiah) dalam pengeluaran tahunan.
Menurut para periset, biaya besar ini disebabkan oleh pengeluaran untuk chip yang konsumtif daya yang diperlukan untuk menjalankan model di balik ChatGPT. Laporan tersebut menyatakan bahwa ChatGPT memerlukan sekitar ~3.617 server HGX A100 (28.936 GPU) untuk beroperasi dan mematok biaya per permintaan sekitar 0,36 sen.
Laporan ini awalnya diterbitkan sebelum peluncuran GPT-4, sehingga biaya kemungkinan telah meningkat sekarang, demikian perkiraan salah satu penulis laporan tersebut.
GPU (Graphics Processing Unit) adalah sumber daya yang paling dicari dalam industri kecerdasan artifisial, di mana perusahaan dan negara-negara berupaya keras untuk mendapatkan chip ini. Microsoft selaku investor terbesar OpenAI mengatakan bahwa mereka sedang mengembangkan chip mereka sendiri untuk mengurangi biaya dan ketergantungan pada GPU Nvidia.
Meskipun tidak ada jaminan, perusahaan investasi ARK memprediksi bahwa biaya pelatihan dan operasional model kecerdasan buatan seperti yang digunakan dalam ChatGPT akan merosot menjadi sebagian kecil dari biaya sekarang menjelang akhir dekade ini, jika kita mengikuti Hukum Wright tentang penurunan biaya sebagai fungsi produksi kumulatif.
