El nuevo chatbot de Deepseek cuenta con una introducción impresionante: "Hola, fui creado para que puedas preguntar cualquier cosa y obtener una respuesta que incluso te sorprenda". Esta IA, un producto de la startup china Deepseek, se ha convertido rápidamente en un importante jugador del mercado, incluso contribuyendo a una caída significativa en el precio de las acciones de Nvidia.

El éxito de Deepseek proviene de sus innovadores métodos de arquitectura y capacitación. Las tecnologías clave incluyen:

• Predicción múltiple (MTP): en lugar de predecir palabras individualmente, MTP pronostica múltiples palabras simultáneamente, aumentando la precisión y la eficiencia.
• Mezcla de expertos (MOE): esta arquitectura utiliza múltiples redes neuronales, acelerando la capacitación y mejorando el rendimiento. Deepseek V3 utiliza 256 redes, activando ocho para cada token.
• Atención latente múltiple (MLA): MLA se centra en piezas de oraciones cruciales, extrayendo repetidamente detalles clave para minimizar la pérdida de información y capturar matices sutiles.

Si bien Deepseek inicialmente reclamó un costo de capacitación notablemente bajo de $ 6 millones para Deepseek V3 utilizando solo 2048 GPU, el semianálisis reveló una infraestructura mucho más sustancial: aproximadamente 50,000 GPU de tolva nvidia (incluidas 10,000 H800, 10,000 H100 y GPU H20 adicionales) se extendieron entre múltiples centros de datos. Esto se traduce en una inversión de servidor de aproximadamente $ 1.6 mil millones y gastos operativos de aproximadamente $ 944 millones.

Deepseek, una subsidiaria del Fondo de cobertura chino High-Flyer, posee sus centros de datos, proporcionando control sobre la optimización y la implementación de innovación más rápida. Este enfoque autofinanciado mejora la flexibilidad y la toma de decisiones. La compañía también atrae al máximo talento, con algunos investigadores ganando más de $ 1.3 millones anuales, principalmente de universidades chinas.

El reclamo inicial de capacitación de $ 6 millones de Deepseek es engañoso; Solo refleja el uso de GPU previo al entrenamiento, excluyendo la investigación, el refinamiento, el procesamiento de datos e infraestructura. La inversión total de la compañía en desarrollo de IA supera los $ 500 millones. Sin embargo, su estructura magra permite una implementación de innovación eficiente en comparación con empresas más grandes y burocráticas.

El éxito de Deepseek muestra el potencial de una compañía de IA independiente bien financiada para competir con los gigantes de la industria. Si bien sus reclamos de "presupuesto revolucionario" son exagerados, su éxito está indudablemente vinculado a una inversión sustancial, avances técnicos y un equipo fuerte. El contraste es marcado al comparar los costos de capacitación: Deepseek gastó aproximadamente $ 5 millones en R1, mientras que ChatGPT-4 cuesta aproximadamente $ 100 millones. Incluso considerando su inversión sustancial, Deepseek sigue siendo significativamente más barato que sus competidores.