Coinbase Mengurangi Pengeluaran AI Hampir Setengahnya, Jadikan Open-Weight Models sebagai Opsi Default

Menurut BlockBeats, CEO Coinbase Brian Armstrong menyatakan pada 27 Juni bahwa kunci untuk menjaga biaya AI tetap stabil sementara penggunaan token tumbuh secara eksponensial bukanlah dengan membatasi penggunaan, melainkan menggunakan model default yang lebih baik dan mekanisme caching. Coinbase menggunakan model bobot terbuka seperti GLM 5.2 dan Kimi 2.7 secara default melalui LLM gateway-nya, sambil tetap mendorong para insinyur untuk memilih model yang sesuai untuk tugas-tugas tertentu. Perusahaan mencatat bahwa 91% karyawan tidak pernah mencapai batas penggunaan, sehingga alih-alih menurunkan kuota, mereka beralih ke model default yang lebih murah.

Coinbase telah menerapkan penanganan permintaan yang sadar cache dan perutean model cerdas berdasarkan tingkat cache hit. Misalnya, setelah mengoptimalkan implementasi cache, tingkat cache hit LibreChat meningkat dari 5% menjadi 60%. Melalui praktik-praktik ini, Coinbase telah mengurangi pengeluaran AI hampir setengahnya sementara penggunaan token terus bertambah.