इसके लिए मुझे क्षमा करें एक घिसी-पिटी बात से शुरू करते हुए, वित्त शब्दजाल का एक टुकड़ा जो हाल ही में तकनीकी शब्दावली में शामिल हो गया है, लेकिन मुझे डर है कि मुझे “खाई” के बारे में बात करनी चाहिए। किसी कंपनी के प्रतिस्पर्धी लाभ को संदर्भित करने के लिए वॉरेन बफेट द्वारा दशकों पहले लोकप्रिय किया गया, यह शब्द सिलिकॉन वैली पिच डेक में तब आया जब एक मेमो कथित तौर पर Google से लीक हुआ, जिसका शीर्षक था “वी हैव नो मोट, एंड नायर डू ओपनएआई”, इस बात से परेशान था कि ओपन-सोर्स एआई बिग टेक के महल को नष्ट कर देगा।
कुछ वर्षों बाद भी महल की दीवारें सुरक्षित रहीं। डीपसीक के पहली बार सामने आने पर थोड़ी घबराहट के अलावा, ओपन-सोर्स एआई मॉडल ने मालिकाना मॉडल से बेहतर प्रदर्शन नहीं किया है। फिर भी, किसी भी अग्रणी प्रयोगशाला- ओपनएआई, एंथ्रोपिक, गूगल- के पास बोलने के लिए कोई खाई नहीं है।
जिस कंपनी के पास खाई है वह एनवीडिया है। सीईओ जेन्सेन हुआंग ने इसे अपना सबसे कीमती “खजाना” कहा है। जैसा कि आप किसी चिप कंपनी के लिए मान सकते हैं, यह हार्डवेयर का एक टुकड़ा नहीं है। यह कुछ ऐसा है जिसे CUDA कहा जाता है। जो सुनने में एफडीए द्वारा प्रतिबंधित रासायनिक यौगिक जैसा लगता है, वह एआई में असली समस्या हो सकती है।
CUDA तकनीकी रूप से खड़ा है कंप्यूट यूनिफ़ाइड डिवाइस आर्किटेक्चर के लिए, लेकिन बहुत कुछ पसंद है लेज़र या एक प्रकार का वृक्षकोई भी परिवर्णी शब्द का विस्तार करने की जहमत नहीं उठाता; हम बस कहते हैं “कू-दुह।” तो यह अत्यंत महत्वपूर्ण ख़ज़ाना किसके लिए उपयोगी है? यदि एक शब्द में उत्तर देने के लिए मजबूर किया जाए: समानांतरीकरण।
यहाँ एक सरल उदाहरण है. मान लीजिए कि हम एक मशीन को 9×9 गुणन सारणी भरने का काम सौंपते हैं। सिंगल कोर वाले कंप्यूटर का उपयोग करके, सभी 81 ऑपरेशनों को एक-एक करके कर्तव्यपूर्वक निष्पादित किया जाता है। लेकिन नौ कोर वाला एक जीपीयू कार्य निर्दिष्ट कर सकता है ताकि प्रत्येक कोर एक अलग कॉलम ले – एक 1×1 से 1×9 तक, दूसरा 2×1 से 2×9 तक, और इसी तरह – नौ गुना गति लाभ के लिए। आधुनिक जीपीयू और भी अधिक चतुर हो सकते हैं। उदाहरण के लिए, यदि कम्यूटेटिविटी-7×9 = 9×7- को पहचानने के लिए प्रोग्राम किया जाए तो वे डुप्लिकेट कार्य से बच सकते हैं, 81 ऑपरेशन को घटाकर 45 कर सकते हैं, कार्यभार लगभग आधा कर सकते हैं। जब एक एकल प्रशिक्षण की लागत सौ मिलियन डॉलर होती है, तो प्रत्येक अनुकूलन मायने रखता है।
एनवीडिया के जीपीयू मूल रूप से वीडियो गेम के लिए ग्राफिक्स प्रस्तुत करने के लिए बनाए गए थे। 2000 के दशक की शुरुआत में, इयान बक नाम के एक स्टैनफोर्ड पीएचडी छात्र, जो पहली बार एक गेमर के रूप में जीपीयू में आए थे, ने महसूस किया कि उनके आर्किटेक्चर को सामान्य उच्च-प्रदर्शन कंप्यूटिंग के लिए पुन: उपयोग किया जा सकता है। उन्होंने ब्रुक नामक एक प्रोग्रामिंग भाषा बनाई, एनवीडिया द्वारा काम पर रखा गया और, जॉन निकोल्स के साथ, सीयूडीए के विकास का नेतृत्व किया। यदि एआई एक स्थायी सफेदपोश निम्न वर्ग और स्वायत्त हथियारों के युग की शुरुआत करता है, तो बस यह जान लें कि यह सब इसलिए होगा क्योंकि कोई कहीं न कहीं खेल रहा है कयामत सोचा कि एक राक्षस का अंडकोश 60 फ्रेम प्रति सेकंड की गति से हिलना चाहिए।
CUDA अपने आप में एक प्रोग्रामिंग भाषा नहीं बल्कि एक “प्लेटफ़ॉर्म” है। मैं उस बेकार शब्द का उपयोग करता हूं क्योंकि, न्यूयॉर्क टाइम्स एक अखबार है जो एक गेमिंग कंपनी भी है, इसके विपरीत, CUDA, पिछले कुछ वर्षों में, AI के लिए सॉफ्टवेयर लाइब्रेरी का एक नेस्टेड बंडल बन गया है। प्रत्येक फ़ंक्शन एकल गणितीय संचालन से नैनोसेकंड को हटा देता है – जोड़ा गया, वे जीपीयू बनाते हैं, उद्योग की भाषा में, चलते हैं आह.
एक आधुनिक ग्राफिक्स कार्ड सिर्फ चिप्स, मेमोरी और पंखों से भरा एक सर्किट बोर्ड नहीं है। यह कैश पदानुक्रम और “टेंसर कोर” और “स्ट्रीमिंग मल्टीप्रोसेसर” नामक विशेष इकाइयों का एक विस्तृत मिश्रण है। उस अर्थ में, चिप कंपनियां जो बेचती हैं वह एक पेशेवर रसोई की तरह है, और अधिक कोर अधिक ग्रिलिंग स्टेशनों के समान हैं। लेकिन 30 ग्रिलिंग स्टेशनों वाली रसोई भी एक सक्षम हेड शेफ के चतुराई से कार्य सौंपने के बिना तेजी से नहीं चलेगी – जैसा कि CUDA GPU कोर के लिए करता है।
रूपक का विस्तार करने के लिए, एक मैट्रिक्स ऑपरेशन के लिए अनुकूलित हाथ से तैयार की गई CUDA लाइब्रेरी एक ही काम के लिए डिज़ाइन किए गए रसोई उपकरणों के बराबर हैं और इससे ज्यादा कुछ नहीं – एक चेरी पिटर, एक झींगा डिवाइनर – जो घरेलू रसोइयों के लिए भोग हैं, लेकिन तब नहीं जब आपके पास बाहर निकालने के लिए 10,000 झींगा की हिम्मत हो। जो हमें डीपसीक पर वापस लाता है। इसके इंजीनियर सीधे पीटीएक्स में काम करने के लिए अमूर्तता की इस पहले से ही गहरी परत से नीचे चले गए, जो एनवीडिया जीपीयू के लिए एक प्रकार की असेंबली भाषा है। मान लीजिए कार्य लहसुन छीलने का है। एक गैर-अनुकूलित जीपीयू होगा: “अपने नाखूनों से त्वचा को छीलें।” CUDA निर्देश दे सकता है: “लौंग को चाकू की नोक से तोड़ें।” पीटीएक्स आपको प्रत्येक उप-निर्देश को निर्देशित करने देता है: “ब्लेड को कटिंग बोर्ड से 2.35 इंच ऊपर उठाएं, इसे लौंग के भूमध्य रेखा के समानांतर बनाएं, और 36.2 न्यूटन के बल पर अपनी हथेली से नीचे की ओर प्रहार करें।”