Pesan Gate News, 23 April — DeepSeek telah merilis TileKernels sebagai open source di bawah lisensi MIT, sebuah pustaka kernel GPU yang ditulis dalam TileLang untuk pelatihan dan inferensi model bahasa besar. TileLang adalah bahasa pemrograman khusus domain yang dikembangkan oleh tim tile-ai untuk mengekspresikan kernel GPU berperforma tinggi dalam Python. DeepSeek menyatakan bahwa sebagian besar kernel dalam pustaka tersebut telah mendekati batas performa perangkat keras pada kepadatan komputasi dan bandwidth memori, dengan sebagian yang sudah dideploy pada operasi pelatihan dan inferensi internal.

Pustaka ini terdiri dari enam kategori kernel: MoE (mixture of experts) gating dan routing, termasuk pemilihan expert Top-k, pemetaan token-ke-expert, dan expand/shrink terfusi dengan normalisasi bobot; kuantisasi yang mendukung format FP8, FP4, dan E5M6 dengan kuantisasi per-token, per-block, dan per-channel, termasuk operasi kuantisasi terfusi SwiGLU+; transpose batch; Engram gating dengan propagasi maju/mundur RMSNorm terfusi dan pengurangan gradien bobot; Manifold HyperConnection dengan normalisasi Sinkhorn dan split/terapkan campuran; serta antarmuka autograd tingkat tinggi yang membungkus kernel tingkat rendah menjadi lapisan yang dapat dilatih.

Engram dan Manifold HyperConnection adalah komponen proprietary dari arsitektur model DeepSeek, dengan detail implementasi yang untuk pertama kalinya diungkapkan secara publik. Pustaka ini memerlukan GPU arsitektur NVIDIA SM90 atau SM100 (H100/H200 atau seri Blackwell), CUDA Toolkit 13.1 atau lebih tinggi, serta PyTorch 2.10 atau lebih tinggi.

Lihat Sumber

Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke Penafian.