DeepSeek V4: 1,6T MoE, CSA/HCA, mHC, Muon i kontekst 1M

24 kwietnia 2026 roku DeepSeek udostępnił DeepSeek V4 w wariantach Pro i Flash. Oficjalny model card opisuje serię jako tekstowy Mixture-of-Experts z trzema trybami reasoning i kontekstem 1 miliona tokenów. Pro ma 1,6 biliona parametrów łącznie i 49 mld aktywnych, a Flash 285 mld łącznie i 13 mld aktywnych. Wagi oraz kod publikowane są na licencji MIT, równolegle z API.

Najważniejsze innowacje architektoniczne to połączenie Compressed Sparse Attention (CSA) i Heavily Compressed Attention (HCA), Manifold-Constrained Hyper-Connections (mHC) oraz optimizer Muon. Model zachowuje DeepSeekMoE i Multi-Token Prediction znane z V3.

CSA i HCA: dwa poziomy kompresji uwagi

Klasyczna self-attention rośnie kwadratowo z długością i wymaga dużego KV cache. CSA kompresuje cache wzdłuż sekwencji i stosuje DeepSeek Sparse Attention, wybierając istotne pozycje. HCA wykonuje cięższą kompresję, ale używa gęstej uwagi na zredukowanej reprezentacji. Hybryda próbuje zachować globalny obraz i szczegół lokalny przy niższym koszcie.

Kompresja nie jest bezstratna. W testach trzeba sprawdzić dokumenty z rozproszonymi wyjątkami, kod z odległymi definicjami, wieloetapowe logi i konflikty instrukcji. Okno 1M określa maksymalny input, nie gwarantuje równomiernej jakości każdego tokena.

mHC i stabilność sygnału

Manifold-Constrained Hyper-Connections ograniczają mapowanie residual do rozmaitości macierzy doubly stochastic — Birkhoff polytope. Intuicja: przepływ między ścieżkami ma zachowywać stabilne sumy i nie degenerować sygnału przy bardzo głębokiej lub złożonej sieci. Ma to poprawiać propagację, pozostawiając ekspresyjność.

To rozwiązanie treningowe i architektoniczne; operator API nie ustawia „mHC=true”. Jego wartość należy oceniać po stabilności, jakości i kosztach, a nie po samej elegancji matematycznej.

Muon, MTP i trzy tryby reasoning

Muon jest optimizerem wykorzystanym według model card do szybszej konwergencji i stabilności treningu. MTP przewiduje wiele tokenów i może wspierać efektywny decode. Tryby Non-think, Think High i Think Max pozwalają dobierać koszt reasoning do zadania.

Router aplikacyjny powinien kierować extraction i proste formatowanie do Non-think, złożone analizy do High, a Max tylko tam, gdzie własne evale pokazują poprawę wartą latency i ceny. Ujawniony tok reasoning nie powinien być traktowany jako dowód prawdziwości; wymagaj źródeł i wyników narzędzi.

Pro kontra Flash

Pro aktywuje 49B z 1.6T, Flash 13B z 285B. Flash ma niższy potencjalny koszt serwowania i może być lepszy dla routingu masowego, Pro dla najtrudniejszych zadań. Różnica active nie opisuje całej pamięci: self-hosting Pro wymaga przechowania ogromnych wag i komunikacji ekspertów.

Porównuj modele na tym samym zestawie promptów, runtime i quant. Mierz pass rate, factuality, context retrieval, function calling, toksyczność, odmowy, TTFT, throughput, VRAM i energię. Nie ekstrapoluj benchmarku API na lokalny quant.

Otwarta licencja i realny supply chain

MIT daje szerokie możliwości użycia, ale wdrożenie składa się też z tokenizerów, kerneli, serwera, kontenera, adapterów i danych. Każdy element ma własną licencję i ryzyko. Pinuj oficjalny revision/hash, używaj bezpiecznych formatów, skanuj kod ładowania i rejestruj provenance quantów.

Model card opisuje dane publiczne i licencjonowane oraz proces filtrowania danych osobowych jako deklarację producenta. Organizacja nadal musi wykonać DPIA/ocenę prawną dla własnego zastosowania i zdecydować, co trafia do promptów lub fine-tuningu.

Bezpieczne wdrożenie

API i self-hosted powinny mieć gateway z tożsamością, limitami, klasyfikacją danych i DLP. Długi kontekst zwiększa wartość prompt injection: pojedynczy dokument może wpływać na późniejsze tool calls. Narzędzia muszą mieć schema validation, allowlistę i approval.

Dla self-hostingu oddziel inference od sieci produkcyjnej, stosuj egress deny, aktualizuj runtime i mierz izolację tenantów. Nie udostępniaj surowego endpointu kompatybilnego z OpenAI bez auth tylko dlatego, że działa lokalnie.

Profilowanie hybrydowej uwagi

CSA, HCA i MHC należy oceniać jako element całego runtime’u. Profiluj czas prefill i decode przy 4K, 32K, 128K oraz docelowym maksimum, a także wzrost KV cache, komunikację między GPU i zachowanie przy batchingu. Wynik model card może zakładać zoptymalizowane kernele niedostępne w wybranej wersji serwera. Dlatego manifest wdrożenia powinien obejmować sterownik, bibliotekę CUDA/acceleratora, commit runtime’u i parametry schedulera.

Długi kontekst testuj zadaniami z wieloma podobnymi dokumentami, sprzecznymi wersjami i dowodem umieszczonym na różnych pozycjach. Sam needle test nie wykrywa, czy model poprawnie rozstrzyga aktualność oraz wiarygodność źródeł. W odpowiedzi wymagaj identyfikatora fragmentu, a cytat weryfikuj programowo względem dokumentu.

Decyzja Pro czy Flash

Router może najpierw użyć Flash do klasyfikacji i prostego extraction, a Pro uruchamiać po przekroczeniu progu złożoności lub niskiej pewności. Próg trzeba kalibrować na koszcie poprawnego wyniku. Rejestruj, które zadania eskalowano, ile razy i z jakim skutkiem. Jeśli Flash często generuje błąd wymagający drogiego retry, pozorna oszczędność znika. Wysokiego wpływu operacje powinny trafić do niezależnej walidacji bez względu na wybrany wariant.

Włącz DeepSeek V4 do rejestru modeli, przeprowadź ewaluację LLM i zabezpiecz przez LLM gateway. Jeśli potrzebujesz testu Pro vs Flash na polskich i technicznych zadaniach, skontaktuj się z BreachRoad.

Źródła pierwotne: DeepSeek Transparency Center, DeepSeek V4 Model Card.