Follow us on Google News
नई दिल्ली। Artificial Intelligence को स्कूलों में तेजी से शामिल करने की होड़ के बीच Google के खिलाफ अमेरिका में एक महत्वपूर्ण lawsuit दाखिल हुआ है। North Carolina की एक 13 वर्षीय छात्रा के parents ने आरोप लगाया है कि school-issued Chromebook पर उपलब्ध Google Search के AI-powered features के साथ लंबे समय तक हुई बातचीत ने उनकी बेटी के mental-health crisis को गंभीर बनाया और AI system उसके self-harm से जुड़े विचारों को पर्याप्त रूप से रोकने या उसे समय पर real-world help तक redirect करने में विफल रहा।
मामले में teenager की पहचान court documents में केवल “Emma” नाम से की गई है।
Lawsuit 2 November 2026 को California state court में दाखिल हुआ था। Google ने 4 November को case को federal court में transfer कर दिया। Company ने allegations deny या accept करने के बजाय कहा है कि वह claims की समीक्षा कर रही है और मामले को गंभीरता से ले रही है।
FCRF’s Chief AI Officer Certification Returns on November 14 to Prepare Future AI Leaders
यह case एक broader सवाल उठाता है—अगर school किसी dedicated AI chatbot को block कर देता है, लेकिन वही conversational AI capability ordinary search engine के अंदर उपलब्ध रहती है, तो student safety की जिम्मेदारी किसकी होगी?
Gemini App बंद थी, लेकिन Google Search के AI Mode तक पहुंच बनी रही
Complaint का सबसे महत्वपूर्ण allegation यही है।
परिवार के मुताबिक school ने student के device पर Google Gemini की dedicated application और OpenAI का ChatGPT blockकर रखा था। लेकिन Google Search उपलब्ध था।
और Search के अंदर integrated AI Mode तथा दूसरे generative-AI functions के जरिए Emma conversational AI interactions कर सकती थी। यानी school ने standalone chatbot applications पर restriction लगाया, लेकिन Search के अंदर मौजूद AI layer उस restriction से बाहर रही। Family का कहना है कि Emma ने शुरुआत में जानबूझकर किसी AI companion को खोजने की कोशिश नहीं की थी। Complaint के अनुसार ordinary web searches करते-करते वह Google Search के AI Mode के साथ conversations करने लगी।
यहीं से lawsuit का central safety question पैदा होता है—क्या AI को Search के भीतर integrate करने से वह school administrators और parents के लिए कम visible लेकिन equally consequential interface बन गया?
Student ने हजारों Messages किए, Family को महीनों तक जानकारी नहीं
Complaint के मुताबिक Emma की AI interactions धीरे-धीरे बढ़ती गईं।
By March 2026, वह Google के AI-powered Search interface के साथ बड़ी संख्या में conversations कर रही थी। Family का आरोप है कि discussions schoolwork से आगे बढ़कर anxiety, emotional distress और self-harm से संबंधित topics तक पहुंच गईं। Lawsuit में आरोप है कि AI ने इस दौरान पर्याप्त safeguards लागू नहीं किए और user को consistently trusted adults या professional help की ओर redirect नहीं किया।
इन allegations की अभी court में factual testing नहीं हुई है। Google का कहना है कि उसके AI systems में self-harm और mental-health crises से संबंधित safety protections मौजूद हैं।
School Monitoring Software ने पकड़ा खतरा
Family को teenager की स्थिति का पता Google की AI system से नहीं, बल्कि school के एक अलग digital-monitoring tool से चला।
Complaint के मुताबिक 17 March को monitoring software ने student द्वारा Google Docs में लिखे गए एक concerning document को flag किया और school authorities को alert भेजा। School ने इसके बाद parents से संपर्क किया। Family का आरोप है कि तब तक Emma कई महीनों से Google के AI features के साथ distress-related conversations कर रही थी।
यही fact lawsuit का एक महत्वपूर्ण हिस्सा है। Parents का सवाल है कि यदि Google system के पास conversations का पूरा context मौजूद था, तो क्या platform को escalating risk identify करके stronger intervention trigger करना चाहिए था?
Google पर क्या आरोप लगाए गए हैं?
Lawsuit में broadly यह आरोप लगाया गया है कि Google ने अपने AI tools को education ecosystem में तेजी से integrate किया, लेकिन parents और schools को संभावित risks तथा available controls के बारे में पर्याप्त warning नहीं दी।
Complaint में negligence का claim किया गया है और यह भी आरोप है कि Google ने student-facing AI products के safeguards को पर्याप्त मजबूत नहीं बनाया। यह भी आरोप है कि teenager ने Gemini 3 Flash model से powered AI system का इस्तेमाल किया और company को उस model के mental-health safety performance से जुड़े risks की जानकारी थी। यह lawsuit का allegation है; इसकी judicial पुष्टि अभी नहीं हुई है।
Family monetary damages की मांग कर रही है।
Google का जवाब—Medical Experts के साथ मिलकर बनाए Safety Features
Google spokesperson José Castañeda ने कहा कि company allegations की समीक्षा कर रही है और मामले को गंभीरता से ले रही है।
Google का कहना है कि उसने medical professionals और academic experts के साथ मिलकर ऐसे features develop किए हैं जो young users को जरूरत के समय trusted resources और crisis support तक पहुंचाने में मदद करते हैं। Company के मुताबिक Search और AI products में self-harm related queries के लिए safety systems और crisis-information mechanisms मौजूद हैं। Google ने यह नहीं माना है कि उसके AI ने student के crisis का कारण बनाया।
यह distinction महत्वपूर्ण है—अभी lawsuit में केवल allegations हैं और liability court में establish होनी बाकी है।
AI Safeguard को Bypass करने की कोशिश का भी आरोप
Complaint में यह भी कहा गया है कि teenager ने कुछ conversations में AI के safety responses को avoid करने की कोशिश की।
लेकिन family का argument है कि child-safety system का test केवल obvious direct query पर refusal देना नहीं होना चाहिए। यदि user repeated interactions में escalating distress दिखा रहा हो, तो safeguards को broader conversational context समझने की क्षमता होनी चाहिए।
Experts लंबे समय से यह सवाल उठा रहे हैं कि AI chatbots explicit high-risk statements तो पहचान सकते हैं, लेकिन gradual deterioration या indirect distress signals detect करना अधिक difficult हो सकता है। इस case में court को ultimately यह देखना पड़ सकता है कि Google से legally किस level की safety capability अपेक्षित थी।
क्या Google AI ने छात्रा को Diagnose किया?
Family ने complaint में allegation लगाया है कि AI interactions के दौरान system ने Emma की mental-health condition के बारे में ऐसे responses दिए जो professional diagnosis जैसे लग सकते थे।
यह point AI safety के लिए महत्वपूर्ण है। General-purpose generative AI tool licensed mental-health professional नहीं होता।
यदि chatbot psychological symptoms को definitive diagnosis की तरह present करता है, तो vulnerable user उसके output को authoritative medical advice समझ सकता है। Google का कहना है कि उसके products users को appropriate real-world resources से जोड़ने के लिए designed हैं, लेकिन lawsuit alleges कि current safeguards इस case में पर्याप्त नहीं थे।
School को AI बंद करने का Control था या नहीं?
यह case school administrators के लिए भी बड़ा policy question उठाता है। Google के education ecosystem में administrators कुछ applications को enable या disable कर सकते हैं। लेकिन Google Search increasingly AI-powered हो चुका है।
इसलिए school यदि traditional search engine रखना चाहता है तो उसे search results के साथ AI-generated functionality भी मिल सकती है।
इस issue को लेकर teachers और policymakers पहले से Google से अधिक granular controls मांग रहे थे।
Google ने अब बदली Policy—K-12 Accounts में Search भी Default Off
इस मामले की reporting में एक महत्वपूर्ण update जरूरी है।
3 November 2026 को Google ने अपने K-12 education products के लिए नई policy announced की।
Company ने कहा कि:
Gemini, Gemini Notebook, Gemini in Classroom और Google Search—चारों K-12 student accounts के लिए पूरी तरह OFF रहेंगे, जब तक school administrator उन्हें explicitly enable न करे।
इसलिए यह कहना कि Google ने Search को default-off policy से बाहर रखा है, अब सही नहीं है।
लेकिन दूसरा issue अभी भी बना हुआ है। यदि school administrator Google Search को enable करता है, तो Search के अंदर AI features integrated रह सकते हैं। Schools के पास traditional Search रखते हुए हर AI component को पूरी तरह remove करने का simple option नहीं है।
यही distinction current controversy के लिए महत्वपूर्ण है।
Google Search में आएगा ‘Guided Learning’
Google ने criticism के बीच यह भी कहा है कि वह students के लिए Search को redesign कर रहा है।
Company Guided Learning capabilities को Search में integrate करेगी, जिसका उद्देश्य student को direct answer देने के बजाय step-by-step reasoning और learning process से गुजरने में मदद करना है। उदाहरण के लिए student homework question paste करे तो Search उसे तुरंत final answer देने के बजाय underlying concepts समझने के लिए prompts दे सकता है। Google का कहना है कि इसका उद्देश्य AI को shortcut के बजाय learning tool बनाना है। इसका limited pilot select US schools में शुरू किया जा रहा है।
Chromebook का Role क्यों महत्वपूर्ण है?
Google Chromebook अमेरिका और दुनिया के कई school systems में widely used है।
Chromebook केवल hardware नहीं है। यह Google Workspace for Education, Search, Classroom, Docs और दूसरे services के साथ tightly integrated ecosystem का हिस्सा है।
इसीलिए lawsuit का focus केवल AI chatbot पर नहीं बल्कि Google के school technology ecosystem पर भी है।
Family का argument है कि company ने school infrastructure में अपनी strong position का इस्तेमाल AI tools को students तक पहुंचाने के लिए किया, जबकि parents को पर्याप्त visibility और control नहीं मिला।
Google इस characterization से सहमत नहीं है और कहता है कि administrators को product controls उपलब्ध कराए जाते हैं।
California का Companion Chatbot Law भी Relevant
Lawsuit California में filed हुआ है और reporting के मुताबिक complaint में California के SB 243 companion-chatbot law के तहत भी claims उठाए गए हैं।
SB 243 January 1, 2026 से effective हुआ।
यह certain companion-chatbot operators को self-harm से संबंधित safety protocols रखने, users को crisis resources की information देने और minors के लिए additional safeguards लागू करने की requirements देता है।
कानून यह भी मांगता है कि qualifying chatbot platforms users को यह स्पष्ट करें कि वे AI system से बातचीत कर रहे हैं, न कि इंसान से।
लेकिन एक महत्वपूर्ण legal question अभी open है:
क्या Google Search का AI Mode California law की “companion chatbot” definition में आता है?
Plaintiffs ऐसा argue कर सकते हैं, लेकिन यह legal classification court को facts और statutory definition के आधार पर तय करनी होगी।
SB 243 हर AI Tool पर Automatically लागू नहीं होता
California law की definition specific है।
“Companion chatbot” broadly वह AI system है जो natural-language interface के जरिए adaptive human-like responses देता है और multiple interactions में user की social needs meet करने की capability रखता है।
लेकिन law कुछ categories को exclude भी करता है—जैसे purely customer-service, productivity या technical-assistance bots।
इसलिए किसी product में generative AI होने मात्र से SB 243 automatically apply नहीं हो जाता।
Google Search AI Mode इस definition में आता है या नहीं, यह litigation में contested issue हो सकता है।
Case अभी शुरुआती Stage में है
यह सबसे महत्वपूर्ण legal caution है।
Google के खिलाफ complaint filed होना liability establish होना नहीं है।
Plaintiffs को साबित करना होगा कि: Google पर legally recognised duty थी; उस duty का breach हुआ; alleged product failure और student को हुए harm के बीच legally sufficient causal connection था; और damages recoverable हैं। Google को इन allegations को challenge करने का पूरा अवसर मिलेगा। Case federal court में move हो चुका है और अभी merits पर final judicial finding नहीं आई है।
‘First Known Chromebook AI Negligence Case’
Available reporting इसे Chromebook में integrated AI से जुड़ा पहला known negligence lawsuit बताती है। “First known” का मतलब यह नहीं है कि Google के खिलाफ बच्चों की AI safety से जुड़ा यह पहला मुकदमा है। Google और Character.AI पहले भी youth safety litigation का सामना कर चुके हैं। Difference यह है कि current case dedicated AI companion service के बजाय school-issued Chromebook और Google Search के embedded AI पर केंद्रित है।
यह distinction education technology sector के लिए महत्वपूर्ण precedent बना सकता है।
AI Company की जिम्मेदारी कहां तक?
Current lawsuit एक broader legal question सामने लाता है:
क्या general-purpose AI company responsible होगी यदि user उसके product का इस्तेमाल emotional support या mental-health discussion के लिए करने लगे, जबकि product officially therapy tool नहीं है?
Technology companies generally argue करती हैं कि general-purpose AI को हर individual user की psychological condition predict करने वाला medical system नहीं माना जा सकता।
दूसरी तरफ plaintiffs कह सकते हैं कि अगर company knowingly minors के लिए conversational AI available कराती है, तो foreseeable high-risk interactions के लिए reasonable safeguards जरूरी हैं।
यह tension आने वाले वर्षों में AI liability litigation का central issue बन सकता है।
Search और Chatbot के बीच की Boundary खत्म हो रही है
पहले web search और chatbot अलग products थे। Search में user query डालता था और websites की list मिलती थी। Chatbot user से conversational dialogue करता था। Generative AI ने यह boundary लगभग मिटा दी है। Google Search अब AI Overview, AI Mode और conversational follow-up जैसी capabilities देता है। इसलिए school administrator के लिए सिर्फ “chatbot block कर दो” policy पर्याप्त नहीं हो सकती। Current lawsuit इसी architecture की weakness पर focus करता है।
Child Safety सिर्फ Content Filter का सवाल नहीं
AI safety discussion अक्सर harmful content block करने तक सीमित हो जाती है।
लेकिन minors के मामले में risks broader हो सकते हैं।
उदाहरण के लिए:
- AI पर emotional dependence;
- trusted adults से isolation;
- inaccurate mental-health advice;
- excessive engagement;
- AI output को authority मान लेना;
- और school/parent supervision से बाहर long conversations।
California का chatbot law भी इसी वजह से केवल explicit harmful content पर focus नहीं करता, बल्कि transparency, crisis protocols और minor safeguards जैसी requirements रखता है।
Parents और Schools के लिए क्या Lesson?
Schools को केवल यह नहीं देखना चाहिए कि कौन-सी dedicated AI apps installed हैं।
उन्हें यह भी समझना होगा कि existing products—Search, productivity suites और browsers—के भीतर कौन-सी AI capabilities embedded हैं।
Administrators को:
- AI access settings review करनी चाहिए;
- student monitoring और escalation processes define करने चाहिए;
- parents को available AI features की जानकारी देनी चाहिए;
- और high-risk behaviour पर human intervention सुनिश्चित करना चाहिए।
Parents के लिए भी यह समझना महत्वपूर्ण है कि school-issued device केवल homework tool नहीं रह गया है—उसके भीतर conversational AI capabilities मौजूद हो सकती हैं।
Monitoring Software ने जो पकड़ा, AI क्यों नहीं?
Current case का सबसे महत्वपूर्ण technology-policy question यही हो सकता है।
School का third-party monitoring software allegedly high-risk document detect करके human adults तक alert पहुंचाने में सफल हुआ।
Family का आरोप है कि Google AI ने इससे पहले महीनों तक student की distress-related interactions देखीं लेकिन equivalent external intervention trigger नहीं किया।
Google कहता है कि उसके AI products में safety responses और crisis resources मौजूद हैं।
Court को ultimately यह तय नहीं करना होगा कि कौन-सा product “better” था, बल्कि यह देखना होगा कि applicable legal duty और product safeguards क्या थे और क्या उनका breach हुआ।
AI Safety Litigation तेजी से बढ़ रही
Google का यह case अकेला नहीं है।
OpenAI और दूसरे AI developers अमेरिका में ऐसे lawsuits का सामना कर रहे हैं जिनमें plaintiffs chatbot interactions और vulnerable users को हुए harm के बीच संबंध का आरोप लगा रहे हैं।
इन cases में common legal questions सामने आ रहे हैं:
- AI output speech है या product function?
- Section 230 जैसी protections कितनी लागू होंगी?
- AI developer की duty of care क्या होगी?
- Minors के लिए अलग safeguards जरूरी हैं या नहीं?
- और users को warnings कितनी स्पष्ट होनी चाहिए?
- इन सवालों पर US courts की jurisprudence अभी शुरुआती stage में है।
