De nieuwe Chatbot van Deepseek heeft een indrukwekkende introductie: "Hallo, ik ben gemaakt zodat je alles kunt vragen en een antwoord kunt krijgen dat je misschien zelfs zou verrassen." Deze AI, een product van de Chinese startup Deepseek, is snel een belangrijke marktspeler geworden en heeft zelfs bijgedragen aan een aanzienlijke daling van de aandelenkoers van Nvidia.

Het succes van Deepseek komt voort uit zijn innovatieve architectuur- en trainingsmethoden. Belangrijkste technologieën zijn onder meer:

• Multi-token voorspelling (MTP): in plaats van woorden afzonderlijk te voorspellen, voorspelt MTP meerdere woorden tegelijkertijd, waardoor de nauwkeurigheid en efficiëntie worden verhoogd.
• Mix van experts (MOE): deze architectuur maakt gebruik van meerdere neurale netwerken, versnellen van training en het verbeteren van de prestaties. Deepseek V3 gebruikt 256 netwerken en activeert acht voor elk token.
• Multi-head latente aandacht (MLA): MLA richt zich op cruciale zinsdelen, herhaaldelijk extraheren van belangrijke details om informatieverlies te minimaliseren en subtiele nuances vast te leggen.

Terwijl Deepseek aanvankelijk een opmerkelijk lage trainingskosten van $ 6 miljoen claimde voor Deepseek V3 met slechts 2048 GPU's, onthulde Semianalysis een veel substantiële infrastructuur: ongeveer 50.000 Nvidia Hopper GPU's (inclusief 10.000 H800, 10.000 H100 en aanvullende H20 GPU's) verspreidde zich over meerdere gegevenscentra. Dit vertaalt zich in een serverinvestering van ongeveer $ 1,6 miljard en operationele kosten van ongeveer $ 944 miljoen.

Deepseek, een dochteronderneming van het Chinese hedgefonds High Flyer, bezit zijn datacenters en biedt controle over optimalisatie en snellere innovatie-implementatie. Deze zelf gefinancierde aanpak verbetert de flexibiliteit en besluitvorming. Het bedrijf trekt ook toptalent aan, met sommige onderzoekers die jaarlijks meer dan $ 1,3 miljoen verdienen, voornamelijk van Chinese universiteiten.

De initiële claim van Deepseek's eerste $ 6 miljoen trainingskosten is misleidend; Het weerspiegelt alleen pre-training GPU-gebruik, exclusief onderzoek, verfijning, gegevensverwerking en infrastructuur. De totale investering van het bedrijf in AI -ontwikkeling is groter dan $ 500 miljoen. De magere structuur maakt echter een efficiënte innovatie -implementatie mogelijk in vergelijking met grotere, meer bureaucratische bedrijven.

Het succes van Deepseek toont het potentieel van een goed gefinancierd onafhankelijk AI-bedrijf om te concurreren met industriële reuzen. Hoewel de claims van de "revolutionaire budget" overdreven zijn, is het succes ervan onmiskenbaar gekoppeld aan substantiële investeringen, technische vooruitgang en een sterk team. Het contrast is grimmig bij het vergelijken van trainingskosten: Deepseek besteedde ongeveer $ 5 miljoen aan R1, terwijl CHATGPT-4 naar schatting $ 100 miljoen kostte. Zelfs gezien de substantiële investering, blijft Deepseek aanzienlijk goedkoper dan zijn concurrenten.