Kabar Gerbang, 24 April — Insinyur OpenAI Clive Chan telah mengajukan keberatan terperinci terhadap bab rekomendasi perangkat keras dalam laporan teknis V4, menyebutnya “mencengangkan: biasa saja dan rawan kesalahan” dibandingkan versi V3 yang terkenal. Panduan perangkat keras V3, yang mencakup sesi Tanya Jawab yang menjadi topik diskusi paling populer di konferensi akademik ISCA, menawarkan rekomendasi spesifik yang selaras dengan standar interkoneksi industri. V4, sebaliknya, jauh lebih kabur.

Chan secara sistematis menantang tiga rekomendasi utama. Terkait konsumsi daya, laporan tersebut menyarankan bahwa optimasi perangkat lunak memungkinkan chip menjalankan komputasi, penyimpanan, dan komunikasi pada kapasitas penuh secara bersamaan, serta merekomendasikan agar produsen chip menyisakan margin daya tambahan. Chan berpendapat ini kontraproduktif: total daya chip dibatasi oleh keterbatasan proses fisik, sehingga menyisakan lebih banyak margin daya hanya menurunkan frekuensi operasi, yang pada akhirnya mengurangi kinerja komputasi. Mengenai transfer data GPU-ke-GPU, laporan tersebut menganjurkan model pull—di mana GPU secara aktif mengambil data—dibandingkan model push, dengan alasan tingginya overhead notifikasi pada operasi push. Chan membantah hal itu, dengan mengatakan bahwa pull sebenarnya lebih lambat dan bahwa kemampuan adaptor jaringan yang ditingkatkan akan lebih disukai. Namun, keduanya mungkin membahas lapisan yang berbeda dari masalah ini: laporan membahas overhead mekanisme notifikasi, sedangkan Chan merujuk pada latensi transmisi itu sendiri.

Untuk fungsi aktivasi, laporan tersebut merekomendasikan mengganti SwiGLU dengan fungsi yang lebih sederhana untuk mengurangi beban komputasi. Chan tidak melihat manfaat apa pun dari hal tersebut, dengan mencatat bahwa Sonic MoE sudah menunjukkan kinerja optimal menggunakan SwiGLU. Chan menduga DeepSeek mungkin “secara sengaja melemahkan bagian ini.”

Lihat Sumber

Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke Penafian.