Nowy chatbot Deepseek ma imponujące wprowadzenie: „Cześć, zostałem stworzony, abyś mógł zapytać wszystko i uzyskać odpowiedź, która może cię nawet zaskoczyć”. Ta sztuczna inteligencja, produkt chińskiego startupu Deepseek, szybko stał się głównym graczem rynkowym, nawet przyczyniając się do znacznego spadku ceny akcji NVIDIA.

Sukces Deepseek wynika z innowacyjnej architektury i metod szkoleniowych. Kluczowe technologie obejmują:

• Prognozowanie wielu tokenów (MTP): Zamiast przewidywać słowa indywidualnie, MTP prognozuje wiele słów jednocześnie, zwiększając dokładność i wydajność.
• Mieszanka ekspertów (MOE): Architektura ta wykorzystuje wiele sieci neuronowych, przyspieszając szkolenia i poprawę wydajności. Deepseek V3 wykorzystuje 256 sieci, aktywując osiem dla każdego tokena.
• Utrzymująca uwaga wielowłócona (MLA): MLA koncentruje się na kluczowych częściach zdań, wielokrotnie wydobywając kluczowe szczegóły w celu zminimalizowania utraty informacji i przechwytywania subtelnych niuansów.

Podczas gdy Deepseek początkowo stwierdził, że za Deepseek V3 w wysokości 6 milionów dolarów w wysokości 6 milionów dolarów za pomocą tylko 2048 r., Semianaliza ujawniła znacznie bardziej znaczącą infrastrukturę: około 50 000 GPU Nvidia Hopper (w tym 10 000 H800, 10 000 H100 i dodatkowych H20 GPU) rozprzestrzeniania się w wielu centrach danych. Przekłada się to na inwestycję serwerową w wysokości około 1,6 miliarda USD i wydatki operacyjne w wysokości około 944 milionów USD.

Deepseek, spółka zależna chińskiego funduszu hedgingowego High-Flyer, jest właścicielem swoich centrów danych, zapewniając kontrolę nad optymalizacją i szybszą wdrażaniem innowacji. To samofinansowane podejście zwiększa elastyczność i podejmowanie decyzji. Firma przyciąga również najlepsze talenty, a niektórzy badacze zarabiają ponad 1,3 miliona dolarów rocznie, głównie z chińskich uniwersytetów.

Początkowe roszczenie o wartości 6 milionów dolarów w wysokości 6 milionów dolarów jest mylące; Odzwierciedla jedynie korzystanie z GPU przed treningiem, wykluczając badania, udoskonalanie, przetwarzanie danych i infrastrukturę. Całkowita inwestycja firmy w rozwój AI przekracza 500 milionów dolarów. Jednak jego szczupła struktura pozwala na skuteczne wdrożenie innowacji w porównaniu z większymi, bardziej biurokratycznymi firmami.

Sukces Deepseek pokazuje potencjał dobrze finansowanej niezależnej firmy AI do konkurowania z gigantami branżowymi. Chociaż jego „rewolucyjne budżet” roszczenia są wyolbrzymione, jego sukces jest niezaprzeczalnie powiązany ze znacznymi inwestycjami, postępami technicznymi i silnym zespołem. Kontrast jest wyraźny przy porównywaniu kosztów szkolenia: Deepseek wydał około 5 milionów dolarów na R1, podczas gdy Chatgpt-4 kosztuje około 100 milionów dolarów. Nawet biorąc pod uwagę znaczną inwestycję, Deepseek pozostaje znacznie tańszy niż jego konkurenci.