Chatbot mới của Deepseek tự hào về phần giới thiệu ấn tượng: "Xin chào, tôi được tạo ra để bạn có thể hỏi bất cứ điều gì và nhận được câu trả lời thậm chí có thể làm bạn ngạc nhiên." AI này, một sản phẩm của công ty khởi nghiệp Trung Quốc Deepseek, đã nhanh chóng trở thành một người chơi thị trường lớn, thậm chí góp phần làm giảm đáng kể giá cổ phiếu của NVIDIA.

Thành công của Deepseek bắt nguồn từ kiến ​​trúc và phương pháp đào tạo sáng tạo. Công nghệ chính bao gồm:

• Dự đoán đa điểm (MTP): Thay vì dự đoán các từ riêng lẻ, MTP dự báo đồng thời nhiều từ, tăng độ chính xác và hiệu quả.
• Hỗn hợp các chuyên gia (MOE): Kiến trúc này sử dụng nhiều mạng lưới thần kinh, tăng tốc đào tạo và cải thiện hiệu suất. DeepSeek V3 sử dụng 256 mạng, kích hoạt tám mạng cho mỗi mã thông báo.
• Sự chú ý tiềm ẩn đa đầu (MLA): MLA tập trung vào các phần câu quan trọng, liên tục trích xuất các chi tiết chính để giảm thiểu mất thông tin và nắm bắt các sắc thái tinh tế.

Trong khi Deepseek ban đầu tuyên bố chi phí đào tạo thấp đáng kể là 6 triệu đô la cho DeepSeek V3 chỉ sử dụng 2048 GPU, Semianalysis cho thấy cơ sở hạ tầng đáng kể hơn nhiều: khoảng 50.000 GPU phễu NVIDIA (bao gồm 10.000 H800, 10.000 H100 và GPU H20 bổ sung) Điều này có nghĩa là đầu tư máy chủ khoảng 1,6 tỷ đô la và chi phí hoạt động khoảng 944 triệu đô la.

Deepseek, một công ty con của quỹ phòng hộ cao của Trung Quốc, sở hữu các trung tâm dữ liệu của mình, cung cấp quyền kiểm soát tối ưu hóa và triển khai đổi mới nhanh hơn. Cách tiếp cận tự tài trợ này giúp tăng cường tính linh hoạt và ra quyết định. Công ty cũng thu hút tài năng hàng đầu, với một số nhà nghiên cứu kiếm được hơn 1,3 triệu đô la hàng năm, chủ yếu từ các trường đại học Trung Quốc.

Yêu cầu chi phí đào tạo 6 triệu đô la ban đầu của Deepseek là sai lệch; Nó chỉ phản ánh việc sử dụng GPU trước khi đào tạo, không bao gồm nghiên cứu, tinh chỉnh, xử lý dữ liệu và cơ sở hạ tầng. Tổng đầu tư của công ty vào phát triển AI vượt quá 500 triệu đô la. Tuy nhiên, cấu trúc nạc của nó cho phép thực hiện đổi mới hiệu quả so với các công ty lớn hơn, quan liêu hơn.

Thành công của Deepseek thể hiện tiềm năng của một công ty AI độc lập được tài trợ tốt để cạnh tranh với những người khổng lồ trong ngành. Trong khi các tuyên bố "ngân sách cách mạng" của nó được phóng đại, thành công của nó không thể phủ nhận với đầu tư đáng kể, tiến bộ kỹ thuật và một nhóm mạnh. Sự tương phản là rõ ràng khi so sánh chi phí đào tạo: Deepseek đã chi khoảng 5 triệu đô la cho R1, trong khi TATGPT-4 có giá khoảng 100 triệu đô la. Ngay cả khi xem xét đầu tư đáng kể của mình, Deepseek vẫn rẻ hơn đáng kể so với các đối thủ cạnh tranh.