Mensaje de Noticias de Gate, 23 de abril — DeepSeek ha hecho de código abierto TileKernels bajo la licencia MIT, una biblioteca de kernels de GPU escrita en TileLang para el entrenamiento y la inferencia de modelos de lenguaje de gran tamaño. TileLang es un lenguaje específico de dominio desarrollado por el equipo tile-ai para expresar kernels de GPU de alto rendimiento en Python. DeepSeek afirmó que la mayoría de los kernels de la biblioteca ya han alcanzado límites de rendimiento del hardware en densidad de cómputo y ancho de banda de memoria, con partes ya desplegadas en operaciones internas de entrenamiento e inferencia.

La biblioteca consta de seis categorías de kernels: MoE (mezcla de expertos)gating y ruteo, que incluye selección de expertos Top-k, mapeo de token a experto y expandir/encoger fusionado con normalización de pesos; cuantización que admite formatos FP8, FP4 y E5M6 con cuantización por token, por bloque y por canal, incluyendo operaciones fusionadas de SwiGLU+cuantización; transposición de lotes; gating Engram con propagación fusionada hacia adelante/atrás de RMSNorm y reducción del gradiente de pesos; Manifold HyperConnection con normalización Sinkhorn y división/aplicación mixta; y interfaces de autograd de alto nivel que envuelven kernels de bajo nivel en capas entrenables.

Engram y Manifold HyperConnection son componentes propietarios de la arquitectura del modelo de DeepSeek, con detalles de implementación divulgados públicamente por primera vez. La biblioteca requiere GPUs de arquitectura NVIDIA SM90 o SM100 (H100/H200 o serie Blackwell), CUDA Toolkit 13.1 o superior, y PyTorch 2.10 o superior.

Ver fuente

Aviso legal: La información de esta página puede proceder de terceros y no representa los puntos de vista ni las opiniones de Gate. El contenido que aparece en esta página es solo para fines informativos y no constituye ningún tipo de asesoramiento financiero, de inversión o legal. Gate no garantiza la exactitud ni la integridad de la información y no se hace responsable de ninguna pérdida derivada del uso de esta información. Las inversiones en activos virtuales conllevan riesgos elevados y están sujetas a una volatilidad significativa de los precios. Podrías perder todo el capital invertido. Asegúrate de entender completamente los riesgos asociados y toma decisiones prudentes de acuerdo con tu situación financiera y tu tolerancia al riesgo. Para obtener más información, consulta el Aviso legal.