बेबीडॉल आर्ची: बदला लेने के लिए एआई से बनाया असली महिला का एडल्ट कंटेंट, डीपफ़ेक वीडियो से कमाए लाखों रुपये

Babydoll Archi बेबीडॉल आर्ची के इंस्टाग्राम अकाउंट के 14 लाख फॉलोअर्स थे

बेबीडॉल आर्ची के इंस्टाग्राम फॉलोअर्स कुछ ही दिनों में बढ़कर 14 लाख तक पहुंच गए. हर दिन उनके बोल्ड फोटो और वीडियो देखने के लिए नए फ़ैन्स जुड़ते रहे.

उनका एक वीडियो भारत में खूब वायरल हुआ. उसमें वह लाल साड़ी पहनकर एक रोमानियाई गाने "डेम उन ग्रर" पर कामुक अंदाज़ में डांस करती दिखीं.

एक अन्य फोटो में वह अमेरिकी एडल्ट फिल्म स्टार केंड्रा लस्ट के साथ पोज़ देती नजर आईं.

इस वीडियो और फोटो ने उन्हें रातों-रात मशहूर कर दिया. उनका नाम गूगल सर्च पर ट्रेंड करने लगा. सोशल मीडिया पर मीम्स और फैन पेज बनने लगे.

ऐसी ख़बरें आने लगीं कि वो अमेरिका की पॉर्न इंडस्ट्री में शामिल होने जा रही हैं, जो कि असम से किसी के इसमें शामिल होने का पहला मामला होता.

मुख्यधारा के मीडिया ने भी इस उन्माद को कवर किया. बेबीडॉल आर्ची को "एक इन्फ्लुएंसर'' बताया गया और कई लोगों ने उनपर प्रोफ़ाइल लिखने की कोशिश की.

बदला लेने के लिए बनाई गई असली महिला की डीपफ़ेक तस्वीर Reuters आर्टिफिशियल इंटेलिजेंस के ज़रिये डीपफ़ेक तस्वीरें और वीडियो बनाने का चलन बढ़ा है

"बेबीडॉल आर्ची कौन है?" यह सर्च टर्म सुर्खियों में छा गया.

लेकिन इस वायरल सनसनी के पीछे कोई असली महिला नहीं थी.

ये फ़र्जी इंस्टाग्राम अकाउंट था लेकिन इसमें इस्तेमाल किया गया चेहरा एक असली महिला से काफी मिलता-जुलता था. ये असम के डिब्रूगढ़ शहर की एक गृहिणी थीं.

हम इन्हें सांची कहेंगे.

मामले का पर्दाफाश तब हुआ जब सांची के भाई ने पुलिस में शिकायत दर्ज करवाई.

सांची के पूर्व प्रेमी प्रतीम बोरा को गिरफ़्तार कर लिया गया.

जांच का नेतृत्व कर रहीं सीनियर पुलिस अफसर सिज़ल अग्रवाल ने बीबीसी को बताया कि सांची और बोरा के बीच झगड़ा हो गया था. इसके बाद बोरा ने "पूरी तरह से बदला लेने" के लिए एआई से उनके जैसा चेहरा बनाया.

सिज़ल अग्रवाल के मुताबिक़ मैकेनिकल इंजीनियर बोरा ने खुद ही आर्टिफिशियल इंटेलिजेंस सीख कर सांची की निजी तस्वीरों का इस्तेमाल कर एक फर्जी प्रोफाइल बनाई.

बोरा फिलहाल पुलिस हिरासत में हैं और उन्होंने अब तक कोई बयान नहीं दिया है.

बीबीसी ने उनके परिवार से संपर्क किया है. अगर उनका बयान आता है तो उसे इस रिपोर्ट में अपडेट किया जाएगा.

बेबीडॉल आर्ची अकाउंट को 2020 में बनाया गया था और पहली पोस्ट मई 2021 में डाली गई थी.

सिज़ल अग्रवाल ने बताया कि शुरुआती तस्वीरें सांची की असली तस्वीरें थीं जिन्हें मॉर्फ कर दिया गया था.

उन्होंने कहा, ''समय बीतने के साथ बोरा ने चैट जीपीटी और डिज़ाइन जैसे टूल्स का इस्तेमाल कर एआई वर्ज़न तैयार किया. फिर उन्होंंने उस इंस्टाग्राम हैंडल पर डीपफ़ेक फोटो और वीडियो डाल दिए.''

सिज़ल अग्रवाल ने बताया कि इस अकाउंट को पिछले साल से लाइक्स मिलने लगे थे लेकिन इस साल अप्रैल से यह तेज़ी से लोकप्रिय होने लगा.

11 जुलाई की रात सांची के परिवार ने पुलिस को दो छोटे पैराग्राफ़ में लिखित शिकायत दी. इसके साथ सबूत के तौर पर कुछ फोटो और वीडियो के प्रिंटआउट दिए गए थे.

सिज़ल अग्रवाल कहती हैं कि शिकायत में किसी का नाम नहीं था क्योंकि परिवार को यह अंदाजा नहीं था कि इसके पीछे कौन हो सकता है.

बेबीडॉल आर्ची पुलिस के लिए कोई अनजाना नाम नहीं था.

अग्रवाल के मुताबिक़ पुलिस ने भी मीडिया रिपोर्ट्स और टिप्पणियां देखी थीं, जिनमें अंदाज़ा लगाया गया था कि यह एक एआई से बनाई गई शख़्सियत है. लेकिन कभी यह नहीं कहा गया कि ये किसी असली शख़्स पर आधारित है.

जैसे ही पुलिस को शिकायत मिली उन्होंने इंस्टाग्राम को चिट्ठी लिखकर अकाउंट बनाने वाले जानकारी मांगी.

सिज़ल अग्रवाल ने कहा, "जैसे ही हमें इंस्टाग्राम से जानकारी मिली, हमने सांची से पूछा कि क्या वो प्रतीम बोरा को जानती हैं. जब उन्होंने हां कहा तो हमने पड़ोसी ज़िले तिनसुकिया में उन्हें खोज निकाला और 12 जुलाई की शाम को गिरफ़्तार कर लिया.''

उन्होंने कहा कि पुलिस ने "उनका लैपटॉप, मोबाइल फोन, हार्ड ड्राइव और बैंक दस्तावेज़ जब्त कर लिए हैं क्योंकि उन्होंने उस अकाउंट से कमाई की थी."

सिज़ल अग्रवाल ने बताया "उस अकाउंट के लिंकट्री पर तीन हजार सब्सक्रिप्शन थे और हमें लगता है कि उन्होंने इससे करीब दस लाख रुपये कमाए. सिर्फ गिरफ़्तारी से पहले के पांच दिनों में ही उन्होंने तीन लाख रुपये कमाए थे.''

सिज़ल अग्रवाल ने बताया कि सांची काफी टूट चुकी हैं. लेकिन अब उन्हें और उनके परिवार को काउंसलिंग दी जा रही है और धीरे-धीरे वे ठीक हो रहे हैं.

उन्होंने कहा, "ऐसी घटनाओं को पूरी तरह रोकना लगभग नामुमकिन है. लेकिन अगर हम पहले ही कार्रवाई करते, तो इस इंस्टाग्राम हैंडल को ज़्यादा लोकप्रियता हासिल करने से रोका जा सकता था."

सिज़ल अग्रवाल ने बताया, "सांची को तो इसका कोई अंदाज़ा ही नहीं था क्योंकि वह सोशल मीडिया पर नहीं हैं. उनके परिवार को भी इस अकाउंट से पूरी तरह ब्लॉक कर दिया गया था. उन्हें इसके बारे में तब ही पता चला जब यह अकाउंट वायरल हो गया.''

मेटा ने इस मामले में बीबीसी के सवालों का जवाब नहीं दिया है. लेकिन सामान्य तौर पर ये न्यूडिटी या यौन सामग्री वाले पोस्ट की अनुमति नहीं देता है.

पिछले महीने सीबीएस ने रिपोर्ट किया था कि मेटा ने कई ऐसे विज्ञापन हटाए जो एआई टूल्स को बढ़ावा दे रहे थे और जिनका इस्तेमाल कर असली लोगों की तस्वीरों से यौन उत्तेजना वाले डीपफ़ेक बनाए जा रहे थे.

• डीपफ़ेक कैसे बन सकता है लोगों के लिए ख़तरा?
• टीचर्स की अश्लील तस्वीरें बनाकर कहां शेयर कर रहे हैं छात्र?
• अश्लील फोटो विवाद में घिरे स्टार एंकर ह्यू एडवर्ड्स की कहानी

ऐसे मामलों को रोकना मुश्किल क्यों हो जाता है? Getty Images महिलाओं से बदला लेने के लिए अक्सर उनकी तस्वीरें और वीडियो सर्कुलेट किए जाते हैं (प्रतीकात्मक तस्वीर)

बेबीडॉल आर्ची के इंस्टाग्राम अकाउंट पर 282 पोस्ट थीं. ये अब सार्वजनिक तौर पर उपलब्ध नहीं है.

हालांकि सोशल मीडिया पर उनकी तस्वीरें और वीडियो अब भी भरे पड़े हैं और एक इंस्टाग्राम अकाउंट तो ऐसा भी है, जिसपर ये सारा कंटेंट है. बीबीसी ने मेटा से पूछा है कि वो इस पर क्या कदम उठाने वाली है.

एआई विशेषज्ञ और वकील मेघना बल कहती हैं कि जो सांची के साथ हुआ वह "भयावह है, लेकिन इसे रोकना लगभग नामुमकिन है."

उन्होंने कहा कि सांची अदालत जा सकती हैं और 'राइट टु फॉरगॉटन' की मांग सकती हैं. अदालत यह आदेश दे सकती है कि जिन प्रेस रिपोर्टों में उसका नाम लिया गया है उन्हें हटाया जाए. लेकिन इंटरनेट से हर निशान मिटा पाना बहुत मुश्किल होता है.

मेघना बल कहती हैं कि सांची के साथ जो हुआ, वह वही है जो हमेशा से महिलाओं के साथ होता आया है. अक्सर उनकी तस्वीरें और वीडियो बदले की भावना से सर्कुलेट किए जाते हैं.

वह कहती हैं, ''अब एआई की वजह से और भी आसान हो गया है. हालांकि ऐसी घटनाएं अब भी उतनी आम नहीं हैं जितना हम सोचते हैं. या फिर ये कम रिपोर्ट होती हैं क्योंकि इनमें बदनामी का डर होता है.या फिर जिस व्यक्ति को निशाना बनाया गया है, उसे खुद ही इस बारे में पता नहीं चलता, जैसा कि इस मामले में हुआ.''

उन्होंने कहा, ''जो लोग जो ये सब देख रहे थे, उन्हें इसे सोशल मीडिया प्लेटफॉर्म या साइबर क्राइम पोर्टल पर रिपोर्ट करने का कोई लाभ नहीं मिलने वाला था. इसलिए भी ऐसी चीजें रिपोर्ट नहीं हो पाती हैं.''

बोरा के ख़िलाफ़ दर्ज शिकायत में पुलिस ने जिन धाराओं का इस्तेमाल किया है वे यौन उत्पीड़न, अश्लील सामग्री के प्रसार, मानहानि, झूठे दस्तावेज़ बनाकर छवि खराब करने, पहचान छिपाकर धोखाधड़ी करने और साइबर अपराध से जुड़ी हैं.

अगर बोरा दोषी साबित होते हैं तो उन्हें अधिकतम 10 साल तक की सज़ा हो सकती है.

हाल के दिनों में इस मामले को लेकर सोशल मीडिया पर भारी आक्रोश देखने को मिला है और कुछ लोगों ने इस तरह के मामलों से निपटने के लिए सख़्त कानूनों की मांग की है.

मेघना बल का मानना है कि मौजूदा कानून ऐसे मामलों से निपटने के लिए पर्याप्त हैं. लेकिन जनरेटिव एआई कंपनियों से जुड़े मामलों के लिए नए कानूनों की ज़रूरत है या नहीं, इस पर विचार करना होगा.

हालांकि वह कहती हैं, "लेकिन हमें यह भी याद रखना होगा कि ज़रूरी नहीं डीपफ़ेक हमेशा गलत होते हैं. हमें कानून बनाते समय बहुत सतर्क रहना होगा क्योंकि इन्हें लोगों की अभिव्यक्ति की स्वतंत्रता को दबाने के लिए इस्तेमाल किया जा सकता है.''

बीबीसी के लिए कलेक्टिव न्यूज़रूम की ओर से प्रकाशित

• एआई इस्तेमाल करते समय ख़ुद से ये चार सवाल ज़रूर पूछिए
• ग्रोक, चैटजीपीटी और डीपसीक, राजनीति का अखाड़ा क्यों बन रहे हैं एआई टूल्स - द लेंस
• डीपसीक ही नहीं चीन का 10 साल पहले बनाया गया ये हाई टेक प्लान कर रहा है काम