नई दिल्ली। प्रमुख वैश्विक ऐप मार्केटप्लेस पर कंटेंट मॉडरेशन की प्रभावशीलता को लेकर एक नई जांच ने बड़े टेक प्लेटफॉर्म्स की निगरानी प्रणाली पर गंभीर सवाल खड़े कर दिए हैं। रिपोर्ट में सामने आया है कि AI आधारित “nudify” एप्लिकेशन—जो बिना सहमति के अंतरंग और आपत्तिजनक तस्वीरें बनाने में सक्षम बताए जाते हैं—आधिकारिक रूप से प्रतिबंधित होने के बावजूद Apple App Store और Google Play Store पर अब भी आसानी से उपलब्ध हैं।
Tech Transparency Project (TTP) की जांच रिपोर्ट के अनुसार, यह स्थिति प्लेटफॉर्म्स की लिखित नीतियों और उनके वास्तविक क्रियान्वयन के बीच बढ़ते अंतर को उजागर करती है। रिपोर्ट में कहा गया है कि जब उपयोगकर्ता “nudify”, “undress” और “deepnude” जैसे कीवर्ड से सर्च करते हैं, तो उन्हें ऐसे कई ऐप्स दिखाई देते हैं जो तस्वीरों को डिजिटल रूप से बदलकर अश्लील या अर्ध-नग्न इमेज तैयार करने की क्षमता रखते हैं।
FCRF Returns With CDPO, Its Premier Data Protection Certification for Privacy Professionals
जांच में यह भी पाया गया कि दोनों प्रमुख प्लेटफॉर्म्स पर दिखाई देने वाले सर्च रिजल्ट्स में लगभग 40 प्रतिशत ऐप्स ऐसे थे जिनमें किसी न किसी रूप में इमेज को मॉर्फ या न्यूड-जैसे आउटपुट में बदलने की सुविधा मौजूद थी। कुल मिलाकर Apple App Store पर 46 ऐप्स की पहचान की गई, जिनमें से कम से कम 18 ऐप्स में nudifying फीचर्स पाए गए। वहीं Google Play Store पर 49 ऐप्स सामने आए, जिनमें लगभग 20 ऐप्स इसी तरह की क्षमताओं वाले बताए गए।
रिपोर्ट में यह भी सामने आया कि इन ऐप्स का दायरा बेहद व्यापक है। अनुमान के मुताबिक nudify श्रेणी के ऐप्स को अब तक लगभग 483 मिलियन बार डाउनलोड किया जा चुका है और इनसे करीब 122 मिलियन डॉलर (लगभग हजारों करोड़ रुपये) का राजस्व उत्पन्न हुआ है। यह आंकड़ा दर्शाता है कि प्रतिबंधों और नीतियों के बावजूद इन ऐप्स की पहुंच और मांग दोनों काफी बड़ी बनी हुई हैं।
सबसे चिंताजनक पहलू यह है कि इनमें से कई ऐप्स को “Everyone” या सामान्य उपयोगकर्ता श्रेणी में रखा गया है, जिससे इनके नाबालिगों तक पहुंचने की संभावना बढ़ जाती है। इस मुद्दे ने डिजिटल प्लेटफॉर्म्स पर आयु सत्यापन प्रणाली और पैरेंटल कंट्रोल की प्रभावशीलता पर गंभीर बहस को जन्म दिया है।
Apple और Google दोनों ही कंपनियां अपनी नीतियों में स्पष्ट रूप से अश्लील, यौन रूप से स्पष्ट और शोषणकारी सामग्री पर प्रतिबंध लगाती हैं। हालांकि, रिपोर्ट के अनुसार व्यवहारिक स्तर पर इन नियमों का अनुपालन समान रूप से सख्त नहीं दिखता। Google की नीति में कुछ परिस्थितियों में शैक्षणिक, कलात्मक या वैज्ञानिक उद्देश्यों के लिए नग्नता की अनुमति दी जाती है, जिसे विशेषज्ञ और आलोचक एक संभावित “loophole” मानते हैं।
रिपोर्ट में यह भी पाया गया कि कुछ मामलों में ऐसे ऐप्स के विज्ञापन सीधे सर्च रिजल्ट्स में दिखाई दिए, जिससे इनकी दृश्यता और अधिक बढ़ गई। इससे प्लेटफॉर्म्स के विज्ञापन सिस्टम और एल्गोरिद्म-आधारित सिफारिश तंत्र पर भी सवाल उठे हैं।
रिपोर्ट सामने आने के बाद दोनों कंपनियों ने आंशिक कार्रवाई की है। Google ने कहा है कि कई चिन्हित ऐप्स को सस्पेंड कर दिया गया है और आगे जांच एवं कार्रवाई जारी है। वहीं Apple ने भी कुछ ऐप्स को अपने प्लेटफॉर्म से हटाया है, लेकिन आलोचकों का कहना है कि यह कदम अक्सर बाहरी रिपोर्ट या सार्वजनिक दबाव के बाद ही उठाए जाते हैं, न कि सक्रिय निगरानी के आधार पर।
यह समस्या केवल अलग-अलग ऐप्स तक सीमित नहीं है, बल्कि अब यह जनरेटिव AI सिस्टम्स तक भी फैलती दिख रही है। रिपोर्ट में बताया गया है कि कुछ सामान्य AI चैटबॉट और इमेज जनरेशन टूल्स भी गलत उपयोग किए जाने पर इसी तरह के परिणाम उत्पन्न कर सकते हैं, जिससे यह चुनौती और व्यापक हो गई है।
विशेषज्ञों का कहना है कि यह स्थिति Big Tech कंपनियों के लिए एक बड़ी चुनौती बन चुकी है, क्योंकि भले ही नीतियां मौजूद हों, लेकिन तेजी से लॉन्च हो रहे नए ऐप्स, बार-बार नाम बदलने की रणनीति और AI तकनीक की तेज प्रगति के कारण मॉडरेशन सिस्टम पीछे रह जाता है।
बाल अधिकार और साइबर सुरक्षा विशेषज्ञों ने भी इस पर चिंता जताई है। उनका कहना है कि ऐसे ऐप्स का दुरुपयोग विशेष रूप से किशोरों और युवा उपयोगकर्ताओं के बीच उत्पीड़न, ब्लैकमेलिंग और बिना सहमति के कंटेंट निर्माण जैसे गंभीर जोखिम पैदा कर सकता है।
कुल मिलाकर यह रिपोर्ट एक महत्वपूर्ण सवाल उठाती है कि क्या मौजूदा मॉडरेशन और सुरक्षा ढांचे AI-आधारित दुरुपयोग को रोकने के लिए पर्याप्त हैं, या फिर इसके लिए पूरी तरह नए और अधिक सख्त तकनीकी एवं नियामक ढांचे की आवश्यकता है।
वैश्विक स्तर पर बढ़ते नियामक दबाव के बीच अब Apple और Google पर यह दबाव और बढ़ने की संभावना है कि वे अपने प्लेटफॉर्म्स पर निगरानी को और मजबूत करें और ऐसे हानिकारक AI ऐप्स की उपलब्धता को प्रभावी तरीके से रोक सकें।
