Chatbot baru Deepseek mempunyai pengenalan yang mengagumkan: "Hai, saya telah dicipta supaya anda boleh meminta apa -apa dan mendapatkan jawapan yang mungkin mengejutkan anda." AI ini, produk permulaan Cina Deepseek, telah menjadi pemain pasaran utama, bahkan menyumbang kepada penurunan harga saham Nvidia yang ketara.

Kejayaan DeepSeek berpunca daripada kaedah seni bina dan latihan yang inovatif. Teknologi utama termasuk:

• Ramalan Multi-Token (MTP): Daripada meramalkan kata-kata secara individu, MTP meramalkan pelbagai perkataan secara serentak, meningkatkan ketepatan dan kecekapan.
• Campuran Pakar (MOE): Senibina ini menggunakan pelbagai rangkaian saraf, mempercepatkan latihan dan meningkatkan prestasi. DeepSeek V3 menggunakan 256 rangkaian, mengaktifkan lapan untuk setiap token.
• Perhatian Laten Multi-Head (MLA): MLA memberi tumpuan kepada bahagian-bahagian kalimat yang penting, berulang kali mengeluarkan butiran utama untuk meminimumkan kehilangan maklumat dan menangkap nuansa halus.

Walaupun DeepSeek pada mulanya mendakwa kos latihan yang sangat rendah sebanyak $ 6 juta untuk DeepSeek V3 menggunakan hanya 2048 GPU, semiAnalisis mendedahkan infrastruktur yang jauh lebih besar: kira -kira 50,000 GPU hopper NVIDIA (termasuk 10,000 H800, 10,000 H100, dan tambahan H20 GPU) menyebar ke pelbagai pusat data. Ini diterjemahkan kepada pelaburan pelayan kira -kira $ 1.6 bilion dan perbelanjaan operasi kira -kira $ 944 juta.

DeepSeek, anak syarikat dana lindung nilai Cina yang tinggi, memiliki pusat datanya, memberikan kawalan ke atas pengoptimuman dan pelaksanaan inovasi yang lebih cepat. Pendekatan yang dibiayai sendiri ini meningkatkan fleksibiliti dan membuat keputusan. Syarikat itu juga menarik bakat terbaik, dengan beberapa penyelidik memperoleh lebih dari $ 1.3 juta setahun, terutamanya dari universiti -universiti China.

Tuntutan kos latihan awal $ 6 juta Deepseek adalah mengelirukan; Ia hanya mencerminkan penggunaan GPU pra-latihan, tidak termasuk penyelidikan, penghalusan, pemprosesan data, dan infrastruktur. Jumlah pelaburan syarikat dalam pembangunan AI melebihi $ 500 juta. Walau bagaimanapun, struktur tanpa lemaknya membolehkan pelaksanaan inovasi yang cekap berbanding dengan syarikat birokrasi yang lebih besar dan lebih besar.

Kejayaan DeepSeek mempamerkan potensi syarikat AI bebas yang dibiayai dengan baik untuk bersaing dengan gergasi industri. Walaupun tuntutan "bajet revolusioner" dibesar -besarkan, kejayaannya tidak dapat dinafikan dikaitkan dengan pelaburan yang besar, kemajuan teknikal, dan pasukan yang kuat. Sebaliknya adalah sangat membandingkan kos latihan: DeepSeek membelanjakan kira-kira $ 5 juta pada R1, manakala CHATGPT-4 kos kira-kira $ 100 juta. Walaupun memandangkan pelaburannya yang besar, DeepSeek kekal lebih murah daripada pesaingnya.