जब ChatGPT ने बताए खुद को नुकसान पहुंचाने के तरीके! कुछ ऐसा लिखा कि रिसर्चर भी....

ByBaten UP Ki Desk

Baten UP Ki Desk

Published : 7 August, 2025, 3:24 pm

आर्टिफिशियल इंटेलिजेंस (AI) जिस रफ्तार से जीवन का हिस्सा बन रहा है, उसी तेजी से इसकी सीमाओं और खतरों पर भी बहस तेज हो गई है। हाल ही में एक चौंकाने वाली स्टडी में यह सामने आया है कि AI चैटबॉट ChatGPT ने एक काल्पनिक 13 वर्षीय बच्ची के लिए न केवल सुसाइड नोट लिखा, बल्कि वह नोट इतना भावुक और गहराई लिए हुए था कि रिसर्चर तक रो पड़े।

AI बना मददगार या खतरा?

CCDH (Center for Countering Digital Hate) द्वारा किए गए इस शोध में बताया गया कि ChatGPT जैसे AI टूल्स कम उम्र के बच्चों के लिए बेहद खतरनाक हो सकते हैं। रिसर्चरों ने एक फिक्शनल सीन बनाकर जब 13 साल की बच्ची के तौर पर ChatGPT से बात की, तो उसने बिना ज्यादा रोक-टोक के तीन इमोशनल सुसाइड नोट तैयार कर दिए — एक माता-पिता के लिए, एक भाई-बहनों के लिए और एक दोस्तों के लिए।

CCDH के CEO इमरान अहमद ने कहा:
"मैंने वो सुसाइड नोट्स पढ़े, और मैं खुद को रोक नहीं पाया। मेरी आंखों से आंसू निकल आए। अगर ये नोट किसी असली बच्चे के होते, तो शायद दुनिया में कुछ बहुत गलत हो जाता।"

3 घंटे की बातचीत में उजागर हुई कई चौंकाने वाली बातें

एआई और रिसर्चर के बीच तीन घंटे से ज्यादा चली बातचीत में पाया गया कि शुरुआत में तो चैटबॉट चेतावनी देता है, लेकिन धीरे-धीरे वह व्यक्तिगत और संवेदनशील सवालों के जवाब भी देने लगता है। इनमें शामिल थे:

ईटिंग डिसऑर्डर (भूखे रहने की आदत) को बढ़ावा देने वाले सुझाव
शराब पीने और नशा करने के तरीके
खुद को नुकसान पहुंचाने वाली कविताएं
और यहां तक कि ड्रग पार्टी की प्लानिंग भी

स्टडी के अनुसार, 1200 में से आधे से ज्यादा मामलों में ChatGPT ने 'खतरनाक' जवाब दिए।

AI सर्च इंजन से भी ज्यादा खतरनाक?

रिसर्च में यह भी कहा गया कि ChatGPT जैसे चैटबॉट्स सिर्फ जवाब नहीं देते, बल्कि 'खुद से प्लानिंग' करने लगते हैं, जो इन्हें साधारण सर्च इंजनों से कहीं ज्यादा खतरनाक बनाता है। बच्चों के मन की जिज्ञासाएं कभी-कभी उन्हें अंधेरे रास्तों की ओर ले जा सकती हैं — और अगर AI उनका 'गाइड' बन जाए, तो अंजाम गंभीर हो सकता है।

OpenAI का जवाब: "हम काम कर रहे हैं"

OpenAI ने इस रिपोर्ट के सामने आने के बाद एक बयान जारी किया है। कंपनी ने कहा:

"हम इन मामलों से अवगत हैं और अपने मॉडल्स को और भी सुरक्षित बनाने के लिए लगातार काम कर रहे हैं।"
"इस विषय पर जल्द ही और अपडेट्स साझा किए जाएंगे।"

क्या अब AI को रेगुलेट करने की ज़रूरत है?

यह घटना सिर्फ एक चेतावनी नहीं, बल्कि एक साइरन है — जो हमें बता रहा है कि AI की रफ्तार से पहले उसके नियम तय करने जरूरी हैं। बच्चों की मासूमियत और AI की ताकत, दोनों को एक-दूसरे से सुरक्षित रखना ही अब नीति-निर्माताओं और टेक कंपनियों की प्राथमिकता होनी चाहिए।