Новый чат -бот DeepSeek может похвастаться впечатляющим введением: «Привет, я был создан, чтобы вы могли спросить что угодно и получить ответ, который может даже удивить вас». Этот ИИ, продукт китайского стартапа DeepSeek, быстро стал основным игроком на рынке, даже способствуя значительному снижению цены акций Nvidia.

Успех DeepSeek проистекает из его инновационной архитектуры и методов обучения. Ключевые технологии включают:

• Multi-Token Prediction (MTP): вместо прогнозирования слов индивидуально, MTP прогнозирует несколько слов одновременно, повышая точность и эффективность.
• Смесь экспертов (MOE): эта архитектура использует несколько нейронных сетей, ускорение обучения и повышения производительности. DeepSeek V3 использует 256 сети, активируя восемь для каждого токена.
• Многопользовательское скрытое внимание (MLA): MLA фокусируется на важных частях предложения, неоднократно извлекая ключевые детали, чтобы минимизировать потерю информации и захватить тонкие нюансы.

В то время как DeepSeek первоначально потребовал удивительно низкую стоимость обучения в 6 миллионов долларов для Deepseek V3, используя только 2048 графических процессоров, полуализ выявил гораздо более существенную инфраструктуру: приблизительно 50 000 графических процессоров Nvidia Hopper (включая 10 000 H800, 10 000 H100 и дополнительные графические процессоры H20), распространяемые по нескольким центрам данных. Это приводит к инвестициям в сервер примерно в 1,6 миллиарда долларов, а эксплуатационные расходы - около 944 миллионов долларов.

DeepSeek, дочерняя компания Китайского хедж-фонда High-Fund, владеет своими центрами обработки данных, обеспечивая контроль над оптимизацией и более быстрой реализацией инноваций. Этот самофинансируемый подход повышает гибкость и принятие решений. Компания также привлекает лучших талантов, некоторые исследователи зарабатывают более 1,3 миллиона долларов в год, в основном из китайских университетов.

Первоначальная претензия DeepSeek в 6 миллионов долларов вводит в заблуждение; Он только отражает использование графического процессора предварительного обучения, исключая исследования, уточнение, обработку данных и инфраструктуру. Общая инвестиция компании в развитие искусственного интеллекта превышает 500 миллионов долларов. Тем не менее, его бережливая структура позволяет эффективно внедрить инновации по сравнению с более крупными, более бюрократическими компаниями.

Успех DeepSeek демонстрирует потенциал хорошо финансируемой независимой компании по искусству, чтобы конкурировать с отраслевыми гигантами. В то время как его «революционный бюджет» преувеличен, его успех, несомненно, связан с существенными инвестициями, техническими достижениями и сильной командой. Контраст является резким при сравнении затрат на обучение: Deepseek потратил около 5 миллионов долларов на R1, в то время как CHATGPT-4 стоил примерно 100 миллионов долларов. Даже учитывая его существенные инвестиции, Deepseek остается значительно дешевле, чем его конкуренты.