एप्पल और गूगल WIRED द्वारा देखी गई कंपनियों को भेजे गए संघर्ष विराम पत्रों के अनुसार, उन ऐप्स को हटाने का आदेश दिया गया है जो लोगों को “नग्न” या “नग्न” कर सकते हैं और कहा गया है कि उन्हें हानिकारक तकनीक से लाभ कमाना बंद करना होगा।
गुरुवार को, सैन फ्रांसिस्को शहर के वकील डेविड चिउ ने ऐप्पल और Google को कानूनी नोटिस भेजकर मांग की कि वे अपने ऐप स्टोर से 13 फेस-स्वैपिंग ऐप हटा दें, जो उपयोगकर्ताओं को एआई-जनरेटेड गैर-सहमति वाली नग्न छवियां बनाने की अनुमति देते हैं। पत्रों में कहा गया है कि सिलिकॉन वैली के दिग्गजों को स्पष्ट डीपफेक छवियों की बिक्री में “सहायता और बढ़ावा देना” बंद करना चाहिए और ऐप डेवलपर्स के साथ व्यावसायिक संबंधों को “विच्छेद” करना चाहिए।
चिउ ने WIRED को बताया, “बिना सहमति वाली अंतरंग तस्वीरें बनाना गैरकानूनी, हानिकारक और पूरी तरह से अस्वीकार्य है।” शहर के वकील, जिनके कार्यालय ने पहले 16 लोकप्रिय डीपफेक वेबसाइटों के खिलाफ कानूनी कार्रवाई की थी, का कहना है कि ऐप्पल और गूगल ने न्यूडिफिकेशन की पेशकश करने वाले ऐप्स से “लाखों डॉलर की फीस” कमाई है, और उन्हें अपने स्टोर में पहली बार प्रदर्शित होने से रोकने के लिए अपनी मॉडरेशन प्रक्रियाओं में सुधार करना चाहिए।
चिउ कहते हैं, “इन कंपनियों की यह सुनिश्चित करने की ज़िम्मेदारी है कि उनके प्लेटफ़ॉर्म पर मौजूद ऐप्स यौन शोषण की सुविधा न दें।” शहर के कानूनी पत्रों में कहा गया है कि कैलिफ़ोर्निया के कानून उन सहायक सेवाओं पर प्रतिबंध लगाते हैं जो डीपफेक पोर्नोग्राफ़ी बनाते हैं। पत्रों में कहा गया है कि ऐप इन-ऐप भुगतान का उपयोग करते हैं, जिसमें तकनीकी कंपनियां कटौती करती हैं। “तथ्य यह है कि दुनिया की कुछ सबसे बड़ी और सबसे स्थापित प्रौद्योगिकी कंपनियां इसे सुविधाजनक बना रही हैं, इसे रोकना होगा।”
शोधकर्ताओं ने बार-बार ऐप्पल के ऐप स्टोर और Google के प्ले स्टोर में ऐसे ऐप्स ढूंढे और रिपोर्ट किए हैं जो लोगों को एआई का उपयोग करके यौन छवियां उत्पन्न करने की अनुमति देते हैं – जिनमें कुछ ऐप्स को बच्चों द्वारा उपयोग के लिए उपयुक्त माना गया है। जबकि नए कानूनों और प्रतिबंधों का उद्देश्य स्पष्ट रूप से ऑनलाइन डीपफेक के संकट से निपटना है, प्रौद्योगिकी और सोशल मीडिया कंपनियां लगातार लाखों लोगों को हानिकारक तकनीक की ओर निर्देशित करती हैं।
Apple और Google दोनों की डेवलपर नीतियां हैं जो उनके प्लेटफ़ॉर्म पर अश्लीलता, दुर्व्यवहार और उत्पीड़न को प्रतिबंधित करती हैं। शोधकर्ताओं और पत्रकारों की रिपोर्ट के बाद, उन्होंने पहले दर्जनों न्यूडिफाई और डीपफेक ऐप्स हटा दिए हैं।
Google के प्रवक्ता डैन जैक्सन ने WIRED को बताया कि कंपनी ने उन तक पहुंच को प्रतिबंधित करने के अन्य कदमों के अलावा, नीति उल्लंघनों के लिए न्यूडफाइंग सुविधाओं वाले “सैकड़ों” ऐप्स को हटा दिया है, जिनमें चिउ के कार्यालय द्वारा चिह्नित पांच एंड्रॉइड ऐप्स भी शामिल हैं।
जैक्सन ने एक बयान में कहा, “Google Play यौन सामग्री वाले ऐप्स को अनुमति नहीं देता है और हम हानिकारक सामग्री वाले ऐप्स का पता लगाने और उन्हें हटाने के लिए लगातार सक्रिय कदम उठाते हैं।” “जब हमें उल्लंघनों की सूचना दी जाती है, तो हम जांच करते हैं और त्वरित कार्रवाई करते हैं, जिसमें इन ऐप्स के मामले में उल्लंघन करने वाले सैकड़ों ऐप्स को निलंबित करना और हमारे स्टोर पर ‘न्यूडिफाई’ जैसे संबंधित खोज शब्दों को प्रतिबंधित करना शामिल है।”
Apple ने प्रकाशन से पहले कोई टिप्पणी नहीं दी।
पिछले पांच वर्षों में, डीपफेक “न्यूडिफिकेशन” तकनीक का एक बेहद आकर्षक घोल ऑनलाइन सामने आया है – सबसे पारदर्शी रूप से, जनवरी में लाखों कामुक छवियां बनाने के लिए xAI के ग्रोक का उपयोग किया गया था। कई ऐप्स, वेबसाइट और बॉट लोगों (ज्यादातर पुरुषों) को लोगों (अधिकतर महिलाओं और लड़कियों) की तस्वीरें अपलोड करने और डिजिटल रूप से कपड़े “हटाने” या उन्हें ग्राफिक यौन परिदृश्यों में रखने की अनुमति देते हैं।
अक्सर यौन डीपफेक बनाने के लिए केवल एक संदर्भ फोटो और कुछ क्लिक की आवश्यकता होती है, जिसके कुछ परिणाम सेकंडों में उपलब्ध होते हैं। छवियां और वीडियो अधिक यथार्थवादी हो गए हैं क्योंकि अंतर्निहित जेनरेटिव एआई तकनीक में सुधार हुआ है, हानिकारक सामग्री बनाने के लिए सेवाएं मुफ्त में कुछ परिणाम प्रदान करती हैं या छोटी फीस लेती हैं। WIRED और इंडिकेटर मीडिया की पिछली रिपोर्टिंग में कम से कम 90 स्कूलों में ऐसी घटनाओं का खुलासा हुआ है जहां नाबालिगों के यौन शोषण की गहरी नकली तस्वीरें बनाई गई हैं।