Biaya GPU Nvidia Blackwell Lipat Dua, Namun Biaya Inferensi Per-Token Turun 35x Dibanding Hopper

Menurut analisis blog terbaru Nvidia, GPU Blackwell hampir dua kali lebih mahal per jam dibanding generasi Hopper, namun menghasilkan biaya inferensi per token yang 35 kali lebih rendah. Dengan DeepSeek-R1 sebagai model uji, sewa Blackwell (GB300 NVL72) sebesar $2,65 per GPU per jam, sedangkan Hopper $1,41, tetapi throughput per GPU meningkat dari 90 menjadi 6.000 token per detik. Kenaikan throughput 65x ini menurunkan biaya per sejuta token dari $4,20 menjadi $0,12.

Angka $0,12 mengasumsikan optimasi perangkat lunak penuh termasuk inferensi low-precision FP4 dan multi-token prediction (MTP). Tanpa MTP diaktifkan, biaya per sejuta token mencapai sekitar $2,35, turun menjadi $0,11 dengan MTP aktif, yang menunjukkan dampak optimasi 21x hanya dari fitur tersebut.

Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke Penafian.

Artikel Terkait

Forefront Tech Menyelesaikan Penetapan Harga $100M IPO, untuk Listing di Nasdaq

Menurut ChainCatcher, Forefront Tech Holdings Acquisition Corp menyelesaikan penetapan harga IPO senilai 100 juta dolar AS pada 30 April, yang akan dicatatkan di Nasdaq dengan ticker FTHAU. Dana hasil penawaran akan digunakan untuk mengeksplorasi peluang merger dan akuisisi di blockchain, kecerdasan buatan, fintech, dan lainnya

GateNews35menit yang lalu

Mantan Eksekutif Meta Menggalang Dana untuk Startup AI Flourish dengan Penilaian $2,5 miliar

Menurut Bloomberg, Thomas Reardon, mantan eksekutif Meta yang memimpin kerja pada Meta's Neural Band, sedang mengumpulkan dana untuk Flourish, sebuah startup AI baru yang berfokus pada sistem AI berdaya rendah. Lux Capital dan Google Ventures telah sepakat menjadi investor utama, dengan para pendukung yang sudah berkomitmen 500 juta dolar pada valuasi 2,5

GateNews37menit yang lalu

OpenAI Melacak Masalah Goblin ke Sinyal Hadiah Kepribadian yang “Nerdy”, Sebutan Goblin Melonjak 175% di GPT-5.1

Menurut OpenAI, perusahaan tersebut mengidentifikasi akar masalah dari problem “goblin” yang melanda model GPT mulai dari GPT-5.1 dan seterusnya. Sinyal imbalan yang digunakan untuk memperkuat sifat kepribadian “Nerdy” mendorong keluaran yang memuat referensi makhluk fantasi, dengan 76,2% dari kumpulan data pelatihan yang menunjukkan

GateNews1jam yang lalu

Parallel Web Systems Menggalang Seri B sebanyak $100M pada Valuasi $2B , dipimpin oleh Sequoia

Menurut TechCrunch, Parallel Web Systems, sebuah startup AI yang didirikan oleh mantan CEO Twitter Parag Agrawal, mengumpulkan pendanaan 100 juta dolar AS pada putaran Seri B yang dipimpin oleh Sequoia dengan valuasi 2 miliar dolar AS. Putaran ini membawa total pendanaan perusahaan menjadi 230 juta dolar AS, lima bulan setelah putaran Seri A senilai 100 juta dolar AS. Parallel

GateNews1jam yang lalu

Jamuan malam perayaan 8 tahun BitMart: menghadirkan perdagangan otomatis berbasis AI dan layanan lokal untuk pengguna Taiwan

BitMart menggelar jamuan makan malam ulang tahun ke-8 di Taipei King’s Garden, dengan lebih dari 150 tamu hadir. Acara ini meninjau perkembangan selama delapan tahun sekaligus mengumumkan strategi lokalisasi dan perdagangan otomatis berbasis AI. BitMart Skill digabungkan dengan Blave, memungkinkan pengguna melakukan perdagangan otomatis dengan AI tanpa perlu pemrograman sekaligus memperoleh wawasan data real-time. Pengguna global telah menembus 13 juta, jumlah proyek yang diluncurkan lebih dari 4.800, dan volume perdagangan mencapai lebih dari 1 triliun dolar AS. Jamuan makan malam menghadirkan sosok Santa Claus versi manusia dan berbagai hadiah berlimpah, menunjukkan keseriusan BitMart mendalami Taiwan.

ChainNewsAbmedia2jam yang lalu

SoftBank berencana melantai di 2026 dengan Roze, target valuasi 100 miliar dolar AS

Berdasarkan laporan eksklusif Financial Times (FT) pada 30 April, SoftBank sedang merencanakan untuk memecah dan membentuk perusahaan independen baru di Amerika Serikat bernama Roze, dengan lini bisnis mencakup robot AI dan infrastruktur pusat data, yang menargetkan IPO paling cepat selesai pada 2026 dengan target valuasi sebesar 100 miliar dolar AS. Financial Times juga melaporkan bahwa terdapat keraguan di internal SoftBank mengenai target valuasi dan jadwal IPO tersebut.

MarketWhisper2jam yang lalu
Komentar
0/400
Tidak ada komentar