Le nouveau chatbot de Deepseek possède une introduction impressionnante: "Salut, j'ai été créé pour que vous puissiez demander n'importe quoi et obtenir une réponse qui pourrait même vous surprendre." Cette IA, un produit de la startup chinoise Deepseek, est rapidement devenue un acteur majeur du marché, contribuant même à une baisse significative du cours des actions de Nvidia.

Le succès de Deepseek provient de ses méthodes d'architecture et de formation innovantes. Les technologies clés comprennent:

• Prédiction multi-token (MTP): Au lieu de prédire les mots individuellement, MTP prévoit plusieurs mots simultanément, augmentant la précision et l'efficacité.
• Mélange d'experts (MOE): Cette architecture utilise plusieurs réseaux de neurones, accélérant la formation et améliorant les performances. Deepseek V3 utilise 256 réseaux, activant huit pour chaque jeton.
• Attention latente multi-tête (MLA): MLA se concentre sur les parties cruciales de la phrase, extrait à plusieurs reprises les détails clés pour minimiser la perte d'informations et capturer des nuances subtiles.

Alors que Deepseek a initialement réclamé un coût de formation remarquablement faible de 6 millions de dollars pour Deepseek V3 en utilisant seulement 2048 GPU, la semianalyse a révélé une infrastructure beaucoup plus substantielle: environ 50 000 GPU Nvidia Hopper (y compris 10 000 H800, 10 000 H100 et des GPU H20 supplémentaires) répartis sur plusieurs centres de données. Cela se traduit par un investissement de serveur d'environ 1,6 milliard de dollars et des dépenses opérationnelles d'environ 944 millions de dollars.

Deepseek, une filiale du High Flyer de fonds spéculatifs chinois, possède ses centres de données, fournissant un contrôle sur l'optimisation et la mise en œuvre plus rapide de l'innovation. Cette approche autofinancée améliore la flexibilité et la prise de décision. La société attire également les meilleurs talents, certains chercheurs gagnant plus de 1,3 million de dollars par an, principalement des universités chinoises.

La demande de coût de formation initiale de 6 millions de dollars de Deepseek est trompeuse; Il ne reflète que l'utilisation du GPU avant la formation, à l'exclusion de la recherche, du raffinement, du traitement des données et des infrastructures. L'investissement total de la société dans le développement de l'IA dépasse 500 millions de dollars. Cependant, sa structure Lean permet une mise en œuvre efficace de l'innovation par rapport aux entreprises plus grandes et plus bureaucratiques.

Le succès de Deepseek présente le potentiel d'une entreprise d'IA indépendante bien financée pour rivaliser avec les géants de l'industrie. Bien que ses revendications de «budget révolutionnaire» soient exagérées, son succès est indéniablement lié à des investissements substantiels, des progrès techniques et une équipe solide. Le contraste est frappant lors de la comparaison des coûts de formation: Deepseek a dépensé environ 5 millions de dollars pour R1, tandis que le chatppt-4 a coûté 100 millions de dollars estimé. Même compte tenu de son investissement substantiel, Deepseek reste beaucoup moins cher que ses concurrents.