Gerade eben hat DeepSeek’s GitHub begann, regelmäßig Updates zu veröffentlichen. Es startete ein neues Repository und stellte es als Open Source zur Verfügung, Kachelkerne, und hat gleichzeitig die DeepEP Repository, wodurch DeepEP V2 online. Es ist noch keine Woche her, seit DeepSeek still und leise ein Update veröffentlicht hat Mega MoE und FP4-Indexer das letzte Mal.
DeepSeek-Kachelkerne
Link: https://github.com/deepseek-ai/TileKernels
Laut der Einleitung, Kachelkerne sind GPU-Kerne, die für LLM-Operationen optimiert sind und mit TileLang. TileLang ist eine domänenspezifische Sprache zur Darstellung leistungsstarker GPU-Kernel in Python, die sich durch einfache Portierbarkeit, agile Entwicklung und automatische Optimierung auszeichnet.
Die Leistung der Tile-Kernel ist außerordentlich hoch. Wie DeepSeek selbst schrieb: “Die meisten Kernel in diesem Projekt haben hinsichtlich Rechenintensität und Speicherbandbreite bereits fast die Leistungsgrenze der Hardware erreicht. Einige davon wurden intern bereits in Trainings- und Inferenzszenarien eingesetzt. Sie stellen jedoch noch keine Best Practices dar, und wir arbeiten weiterhin daran, die Codequalität und die Dokumentation zu verbessern.”
Das Repository enthält zwar nicht viele einführende Informationen, doch zwischen den Zeilen wird bereits der zugrunde liegende Weg der architektonischen Innovation der DeepSeek-Modelle der nächsten Generation “verraten”, was auf einen Sprung hindeutet, der mit dem jüngsten Vorabpräsentation von Hy3.
Funktionen der DeepSeek-Tile-Kernel
Hier sind einige spezifische Merkmale von Tile-Kerneln:
Gating-Mechanismus: Auswahl der Top-k-Experten und Bewertung für das MoE-Routing
MoE-Routing: Zuordnung von Tokens zu Experten, kombiniertes „Expand/Reduce“ und Gewichtsnormalisierung
Quantisierung: Unterstützt die FP8/FP4/E5M6-Konvertierung in den Modi „pro Token“, „pro Block“ und „pro Kanal“ und kombiniert SwiGLU- mit Quantisierungsoperationen
Transponieren: Transponierungsvorgänge im Batch-Modus
Engramm: Engramm-Gating-Kernel, Fusion von RMSNorm, Vorwärts-/Rückwärtsausbreitung und Gewichtsgradientenreduktion
Manifold HyperConnection: Hyper-Connection-Kernel, einschließlich Sinkhorn-Normalisierung und „Split/Apply“ für „Mix“
Modellierung: Auf hoher Ebene torch.autograd.Function Wrapper, die die zugrunde liegenden Kernel zu trainierbaren Schichten zusammenfassen (Engram Gate, mHC-Pipeline)
DeepSeek EPv2: Schnelleres EP mit Unterstützung für Engram, PP und CP
EPv2-Link: https://github.com/deepseek-ai/DeepEP/pull/605
Heute früh hat DeepSeek außerdem die neueste Version von EPv2, wodurch eine schnellere Lieferung gewährleistet wird Expertenparallellität (EP) sowie Unterstützung für Engramm / Pipeline-Parallelität (PP) / Kontext-Parallelität (CP).
Da sich Hardware, Netzwerke und Modellarchitekturen parallel zu raschen Branchenentwicklungen wie Qwen 3.6, Die frühere Version „DeepEP V1“ von DeepSeek hatte bereits zu viel Altlasten und zu viele Leistungsprobleme mit sich gebracht.
Dieses Update führt zu einer vollständigen Umstrukturierung Parallelismus für Experten. Im Vergleich zu V1 benötigt es nur einen Bruchteil der SM-Ressourcen, um eine extreme Leistung zu erzielen, und unterstützt gleichzeitig größere Skalierung (innerhalb eines einzelnen Rechners) und Scale-out (auf verschiedenen Rechnern).
Darüber hinaus führte DeepSeek eine experimentelle 0 SM Serien in diesem Update, darunter 0 SM-Engramm, 0 SM-Pipeline-Parallelität (PP), und 0 SM-Kontextparallelität (CP) All-Gather-Operatoren. Gleichzeitig wurde das Backend von NVSHMEM zum Feuerzeug NCCL Gin Backend.
Neue Funktionen in DeepSeek DeepEP V2
Hier sind einige der neuen Funktionen in DeepEP V2:
Vollständig JIT
NCCL-Gin-Backend:
Nur Header, extrem leicht
Möglichkeit zur Wiederverwendung bestehender NCCL-Kommunikatoren
EPv2:
Vereinheitlicht APIs mit hohem Durchsatz und geringer Latenz in einer einzigen Schnittstelle und nutzt ein völlig neues GEMM-Layout
Unterstützt größere Skalierungsbereiche, bis zu EP2048
Führt die analytische Berechnung der SM- und QP-Zahlen ein, sodass eine automatische Abstimmung nicht mehr erforderlich ist
Unterstützt weiterhin beides Hybrid Modus und Direkt Modus
Bei älteren, V3-ähnlichen Trainingsaufgaben sinkt die SM-Nutzung von 24 zu 4–6, bei gleichbleibender oder sogar besserer Leistung
0 SM-Engramm (mit RDMA)
0 SM PP (mit RDMA)
0 SM CP (mit Copy Engine)
Leistung von DeepSeek DeepEP V2
Nach der Konfiguration von DeepSeek-V3, wurden Tests unter der neuen Version mit folgenden Einstellungen durchgeführt: 8.000 Token pro Charge, 7168 verborgene Dimension, Die acht besten Experten, FP8-Meldung, und Mähdrescher BF16. Die Ergebnisse lauten wie folgt:
Hinweis: Die angezeigten Ergebnisse beziehen sich auf die logische Bandbreite. Beispielsweise im Fall von Folge 8, Folge 2, das 90 GB/s Die Bandbreite umfasst tatsächlich auch den Datenverkehr zwischen lokalen GPUs (lokalen Ranks).
Im Vergleich zu V1 erreicht V2 bis zu 1,3-fache Spitzenleistung, und dabei bis zu 4× SM-Ressourcenauslastung —eine entscheidende Optimierung, um in einem Umfeld, das von Schwergewichten wie Claude Opus 4.7.
Zum Schluss noch ein kleiner Tipp für DeepSeek: Beeilt euch und bringt die Version raus V4 Schon. Alle werden langsam ungeduldig.
