दीपसेक के नए चैटबोट में एक प्रभावशाली परिचय है: "हाय, मैं बनाया गया था ताकि आप कुछ भी पूछ सकें और एक जवाब प्राप्त कर सकें जो आपको आश्चर्यचकित भी कर सके।" यह एआई, चीनी स्टार्टअप दीपसेक का एक उत्पाद, तेजी से एक प्रमुख बाजार खिलाड़ी बन गया है, यहां तक ​​कि एनवीडिया के स्टॉक मूल्य में एक महत्वपूर्ण गिरावट में भी योगदान देता है।

दीपसेक की सफलता अपने अभिनव वास्तुकला और प्रशिक्षण विधियों से उपजी है। प्रमुख प्रौद्योगिकियों में शामिल हैं:

• मल्टी-टोकन भविष्यवाणी (एमटीपी): व्यक्तिगत रूप से शब्दों की भविष्यवाणी करने के बजाय, एमटीपी एक साथ कई शब्दों का अनुमान लगाता है, सटीकता और दक्षता को बढ़ाता है।
• विशेषज्ञों का मिश्रण (एमओई): यह वास्तुकला कई तंत्रिका नेटवर्क का उपयोग करता है, प्रशिक्षण में तेजी और प्रदर्शन में सुधार करता है। दीपसेक वी 3 256 नेटवर्क का उपयोग करता है, प्रत्येक टोकन के लिए आठ को सक्रिय करता है।
• मल्टी-हेड लेटेंट ध्यान (एमएलए): एमएलए महत्वपूर्ण वाक्य भागों पर ध्यान केंद्रित करता है, बार-बार सूचना हानि को कम करने और सूक्ष्म बारीकियों को पकड़ने के लिए महत्वपूर्ण विवरण निकालता है।

जबकि डीपसेक ने शुरू में केवल 2048 जीपीयू का उपयोग करते हुए डीपसेक वी 3 के लिए $ 6 मिलियन की उल्लेखनीय रूप से कम प्रशिक्षण लागत का दावा किया था, सेमियालिसिस ने एक अधिक पर्याप्त बुनियादी ढांचे का खुलासा किया: लगभग 50,000 एनवीडिया हॉपर जीपीयू (10,000 एच 800, 10,000 एच 100, और अतिरिक्त एच 20 जीपीयूएस सहित)। यह लगभग 1.6 बिलियन डॉलर के सर्वर निवेश और लगभग $ 944 मिलियन के परिचालन खर्च का अनुवाद करता है।

चाइनीज हेज फंड हाई-फ्लायर की सहायक कंपनी दीपसेक अपने डेटा सेंटरों का मालिक है, जो अनुकूलन और तेजी से नवाचार कार्यान्वयन पर नियंत्रण प्रदान करती है। यह स्व-वित्त पोषित दृष्टिकोण लचीलापन और निर्णय लेने को बढ़ाता है। कंपनी शीर्ष प्रतिभा को भी आकर्षित करती है, कुछ शोधकर्ताओं ने मुख्य रूप से चीनी विश्वविद्यालयों से सालाना 1.3 मिलियन डॉलर से अधिक की कमाई की।

दीपसेक का प्रारंभिक $ 6 मिलियन प्रशिक्षण लागत का दावा भ्रामक है; यह केवल पूर्व-प्रशिक्षण GPU उपयोग को दर्शाता है, अनुसंधान, शोधन, डेटा प्रसंस्करण और बुनियादी ढांचे को छोड़कर। एआई विकास में कंपनी का कुल निवेश $ 500 मिलियन से अधिक है। हालांकि, इसकी दुबला संरचना बड़ी, अधिक नौकरशाही कंपनियों की तुलना में कुशल नवाचार कार्यान्वयन के लिए अनुमति देती है।

दीपसेक की सफलता उद्योग के दिग्गजों के साथ प्रतिस्पर्धा करने के लिए एक अच्छी तरह से वित्त पोषित स्वतंत्र एआई कंपनी की क्षमता को प्रदर्शित करती है। जबकि इसके "क्रांतिकारी बजट" के दावे अतिरंजित हैं, इसकी सफलता निर्विवाद रूप से पर्याप्त निवेश, तकनीकी प्रगति और एक मजबूत टीम से जुड़ी हुई है। प्रशिक्षण लागतों की तुलना करते समय इसके विपरीत है: दीपसेक ने R1 पर लगभग $ 5 मिलियन खर्च किए, जबकि CHATGPT-4 में अनुमानित $ 100 मिलियन का खर्च आया। यहां तक ​​कि इसके पर्याप्त निवेश पर विचार करते हुए, डीपसेक अपने प्रतिद्वंद्वियों की तुलना में काफी सस्ता है।