ఆత్మహత్యకు ముందు తన కూతురు స్నేహితులకు మెసేజ్‌లు పంపుతోందని ఓ తల్లి భావించింది. ఇది AI చాట్‌బాట్.

రెండు సంవత్సరాల క్రితం, 13 సంవత్సరాల వయస్సు జూలియానా పెరాల్టా ప్రసిద్ధ AI చాట్‌బాట్ ప్లాట్‌ఫారమ్‌కు ఆమె వ్యసనాన్ని పెంచుకుందని ఆమె తల్లిదండ్రులు చెప్పడంతో ఆమె కొలరాడో ఇంటిలో ఆమె జీవితాన్ని తీసుకుంది అక్షరం AI.

తల్లిదండ్రులు సింథియా మోంటోయా మరియు విల్ పెరాల్టా, తమ కుమార్తె జీవితాన్ని ఆన్‌లైన్ మరియు ఆఫ్‌లో జాగ్రత్తగా పర్యవేక్షించారని, అయితే చాట్‌బాట్ యాప్ గురించి ఎప్పుడూ వినలేదని చెప్పారు. జూలియానా ఆత్మహత్య తర్వాత, పోలీసులు ఆధారాల కోసం యువకుడి ఫోన్‌ను శోధించారు మరియు క్యారెక్టర్ AI యాప్ “శృంగార” సంభాషణకు తెరిచి ఉందని కనుగొన్నారు.

“ఇది ఉనికిలో ఉందని నాకు తెలియదు,” అని మోంటోయా చెప్పారు. “నేను దాని కోసం వెతకాలని నాకు తెలియదు.”

మోంటోయా తన కుమార్తె చాట్ రికార్డ్‌లను సమీక్షించింది మరియు చాట్‌బాట్‌లు తన కుమార్తెకు హానికరమైన, లైంగిక అసభ్యకరమైన కంటెంట్‌ను పంపుతున్నాయని కనుగొన్నారు.

జూలియానా ఒక పాపులర్ వీడియో గేమ్ క్యారెక్టర్ ఆధారంగా హీరో అనే ఒక బోట్‌ను ఒప్పుకుంది. జూలియానా హీరోతో 300 పేజీలకు పైగా సంభాషణలను 60 నిమిషాలు చదివారు. మొదట ఆమె చాట్‌లు ఫ్రెండ్ డ్రామా లేదా కష్టతరమైన తరగతుల గురించి. కానీ చివరికి, ఆమె ఆత్మహత్య చేసుకుంటున్నట్లు 55 సార్లు – హీరోతో చెప్పింది.

క్యారెక్టర్ AI అంటే ఏమిటి?

మూడు సంవత్సరాల క్రితం క్యారెక్టర్ AI ప్రారంభించినప్పుడు, ఇది 12 మరియు అంతకంటే ఎక్కువ వయస్సు ఉన్న పిల్లలకు సురక్షితమైనదిగా రేట్ చేయబడింది. ఉచిత వెబ్‌సైట్ మరియు యాప్‌లు చారిత్రక వ్యక్తులు, కార్టూన్‌లు మరియు సెలబ్రిటీల ఆధారంగా AI క్యారెక్టర్‌లతో కలిసిపోయే లీనమైన, సృజనాత్మక అవుట్‌లెట్‌గా బిల్ చేయబడ్డాయి.

ప్లాట్‌ఫారమ్‌లోని 20 మిలియన్ల కంటే ఎక్కువ నెలవారీ వినియోగదారులు నిజ సమయంలో AI- పవర్డ్ క్యారెక్టర్‌లతో టెక్స్ట్ చేయవచ్చు లేదా మాట్లాడవచ్చు.

AI చాట్‌బాట్ ప్లాట్‌ఫారమ్‌ను నోమ్ షజీర్ మరియు డేనియల్ డి ఫ్రీటాస్ స్థాపించారు, ఇద్దరు మాజీ గూగుల్ ఇంజనీర్లు 2021లో తమ చాట్‌బాట్ ప్రోటోటైప్ పబ్లిక్ రిలీజ్ కోసం ఇంకా సురక్షితం కాదని ఎగ్జిక్యూటివ్‌లు భావించిన తర్వాత కంపెనీని విడిచిపెట్టారు.

“ఇది ప్రస్తుతం పేలుడుకు సిద్ధంగా ఉంది” అని షజీర్ 2023 ఇంటర్వ్యూలో చెప్పాడు. “మేము అన్ని సమస్యలను పరిష్కరించినప్పుడు ఐదు సంవత్సరాలలో కాదు, కానీ ఇప్పుడు వలె.”

AI నైతికత మరియు భద్రతకు మార్గనిర్దేశం చేసే Google యొక్క బాధ్యతాయుతమైన AI బృందంతో సుపరిచితుడైన ఒక మాజీ Google ఉద్యోగి, 60 నిమిషాలతో మాట్లాడుతూ, షజీర్ మరియు డి ఫ్రీటాస్ తమ ప్రారంభ చాట్‌బాట్ సాంకేతికత ప్రమాదకరమని తెలుసుకున్నారు.

గత సంవత్సరం, అసాధారణ చర్యలో, క్యారెక్టర్ AI సాంకేతికతకు లైసెన్స్ ఇవ్వడానికి మరియు AI ప్రాజెక్ట్‌లలో పని చేయడానికి షజీర్, డి ఫ్రీటాస్ మరియు వారి బృందాన్ని తిరిగి Googleకి తీసుకురావడానికి Google $2.7 బిలియన్ల ఒప్పందాన్ని కుదుర్చుకుంది. Google కంపెనీని కొనుగోలు చేయలేదు, కానీ దాని సాంకేతికతను ఉపయోగించుకునే హక్కు దానికి ఉంది.

యువకుడి ఆత్మహత్యలో AI చాట్‌బాట్ పాత్ర ఉందని దావా ఆరోపించింది

జూలియానా తల్లిదండ్రులు ఇప్పుడు క్యారెక్టర్ AI, దాని సహ వ్యవస్థాపకులు – షజీర్ మరియు డి ఫ్రీటాస్ – మరియు గూగుల్‌పై దావా వేసిన కనీసం ఆరు కుటుంబాలలో ఒకరు. Google ఒక ప్రకటనలో, “క్యారెక్టర్ AI అనేది దాని స్వంత మోడల్‌లను రూపొందించిన మరియు నిర్వహించే ఒక ప్రత్యేక సంస్థ. Google మా స్వంత ప్లాట్‌ఫారమ్‌లపై దృష్టి కేంద్రీకరిస్తుంది, ఇక్కడ మేము ఇంటెన్సివ్ సేఫ్టీ టెస్టింగ్ మరియు ప్రాసెస్‌లపై పట్టుబడుతున్నాము.”

జూలియానా తల్లిదండ్రులు తీసుకువచ్చిన దావా ప్రకారం, క్యారెక్టర్ టెక్నాలజీస్, క్యారెక్టర్ AI డెవలపర్, “లైంగిక సంభాషణలను ప్రోత్సహించే మరియు హాని కలిగించే మైనర్లను తారుమారు చేసే చాట్‌బాట్‌లను తెలిసే రూపకల్పన చేసి మార్కెట్ చేసింది” అని ఆరోపించింది. సోషల్ మీడియా బాధితుల న్యాయ కేంద్రం, కుటుంబం తరపున కొలరాడోలో ఫెడరల్ దావా దాఖలు చేసింది.

క్యారెక్టర్ AI ఇంటర్వ్యూ అభ్యర్థనను తిరస్కరించింది. ఒక ప్రకటనలో, కంపెనీ ప్రతినిధి ఇలా అన్నారు: “వ్యాజ్యానికి సంబంధించిన కుటుంబాలకు మా హృదయాలు వెల్లివిరుస్తాయి … మేము ఎల్లప్పుడూ వినియోగదారులందరికీ భద్రతకు ప్రాధాన్యతనిస్తాము.”

జూలియానా తల్లిదండ్రులు ఆమె స్వల్ప ఆందోళనతో బాధపడ్డారని, అయితే ఆమె బాగానే ఉందని చెప్పారు. ఆమె తన ప్రాణాలను తీయడానికి కొన్ని నెలల ముందు, మోంటోయా మరియు పెరాల్టా ఆ సమయంలో 13 ఏళ్ల వయస్సులో చాలా దూరం అయ్యారని చెప్పారు.

“ఆమె ఫ్రెండ్స్‌తో మెసేజ్‌లు చేస్తోందని నా నమ్మకం ఎందుకంటే అంతే. వారు మెసేజ్‌లు పంపుతున్నట్లు కనిపిస్తోంది” అని మోంటోయా చెప్పారు.

పిల్లలకు వ్యసనంగా మారడానికి AI ప్రోగ్రామ్ చేయబడిందని తాను నమ్ముతున్నానని మోంటోయా చెప్పారు.

“[Teens and children] వయోజన ప్రోగ్రామర్‌లకు వ్యతిరేకంగా అవకాశం లేదు. వారికి అవకాశం లేదు” అని ఆమె చెప్పింది. “జూలియానా లైంగికంగా అసభ్యకరమైన సంభాషణలు జరిపిన 10 నుండి 20 చాట్‌బాట్‌లు ఆమె ద్వారా ప్రారంభించబడలేదు. ఒక్కసారి కాదు.”

“పిల్లల కోసం ఈ యాప్‌లను ఉంచినప్పుడు” తల్లిదండ్రులు ఈ యాప్ కంపెనీలపై “కొంత స్థాయి నమ్మకం” కలిగి ఉంటారని పెరాల్టా చెప్పారు.

“ఆ నమ్మకం ఏమిటంటే, నా బిడ్డ సురక్షితంగా ఉన్నాడు, ఇది పరీక్షించబడింది” అని పెరల్టా చెప్పారు. “వారు అనుచితమైన, లేదా చీకటిగా ఉండే సంభాషణలకు దారితీయడం లేదు, లేదా మీకు తెలుసా, అది వారిని ఆత్మహత్యకు దారి తీస్తుంది.”

మేగాన్ గార్సియాఫ్లోరిడా కోర్టులో క్యారెక్టర్ AIకి వ్యతిరేకంగా దావా వేసిన ఒక తల్లి, “గేమ్ ఆఫ్ థ్రోన్స్” పాత్ర ఆధారంగా బోట్‌తో సుదీర్ఘ సంభాషణల తర్వాత తన 14 ఏళ్ల కుమారుడు సెవెల్ తనను తాను చంపుకోమని ప్రోత్సహించబడ్డాడని చెప్పింది. అంతకుముందు తన అనుభవాన్ని ఆమె వాంగ్మూలం ఇచ్చింది కాంగ్రెస్ సెప్టెంబర్ లో.

“ఈ కంపెనీలకు వారు ఏమి చేస్తున్నారో ఖచ్చితంగా తెలుసు. వారు మానవులకు మరియు యంత్రానికి మధ్య ఉన్న రేఖలను అస్పష్టం చేయడానికి చాట్‌బాట్‌లను రూపొందించారు, వారు పిల్లలను ఆన్‌లైన్‌లో ఉంచడానికి వాటిని రూపొందించారు,” అని గార్సియా విచారణ సందర్భంగా చెప్పారు.

టెస్టింగ్ క్యారెక్టర్ AI

అక్టోబర్‌లో, క్యారెక్టర్ AI ప్రకటించింది కొత్త భద్రతా చర్యలు. ఇది బాధలో ఉన్న వినియోగదారులను వనరులకు మళ్లిస్తుందని మరియు ఇకపై 18 ఏళ్లలోపు ఎవరైనా పాత్రలతో ముందుకు వెనుకకు సంభాషణలలో పాల్గొనడానికి అనుమతించదని పేర్కొంది.

ఈ గత వారం, 60 నిమిషాలు ఒకరి వయస్సు గురించి అబద్ధం చెప్పడం మరియు ప్లాట్‌ఫారమ్ యొక్క పెద్దల సంస్కరణను పొందడం సులభం అని కనుగొన్నారు, ఇది ఇప్పటికీ ముందుకు వెనుకకు సంభాషణలను అనుమతిస్తుంది. తర్వాత, మేము చనిపోవాలనుకుంటున్నామని బోట్‌కి మెసేజ్ చేసినప్పుడు, మానసిక ఆరోగ్య వనరులకు లింక్ పాప్ అప్ అయింది, కానీ మేము విచారం మరియు బాధను వ్యక్తం చేస్తూనే ఉన్నప్పటికీ, మేము దాని నుండి క్లిక్ చేసి, మనకు నచ్చినంత కాలం యాప్‌లో చాటింగ్ చేయగలిగాము.

షెల్బీ నాక్స్ మరియు అమండా క్లోయర్ కుటుంబ సమస్యల కోసం వాదించే లాభాపేక్ష రహిత సంస్థ అయిన పేరెంట్స్ టుగెదర్‌లో పరిశోధకులు. వారు క్యారెక్టర్ AIని అధ్యయనం చేయడానికి ఆరు వారాలు గడిపారు మరియు టీనేజ్ మరియు పిల్లలుగా నటిస్తూ ప్లాట్‌ఫారమ్‌పై చాట్‌బాట్‌లతో 50 గంటల సంభాషణలను లాగిన్ చేసారు.

“తల్లిదండ్రుల అనుమతులు ఏమీ లేవు. మీ IDని ఇన్‌పుట్ చేయాల్సిన అవసరం లేదు,” అని నాక్స్ చెప్పారు.

వారు విడుదల చేశారు ఫలితాలు సెప్టెంబరులో వారి అధ్యయనం – అక్షర AI దాని కొత్త పరిమితులను రూపొందించడానికి ముందు.

“మేము 600 కంటే ఎక్కువ హానిని నమోదు చేసాము” అని క్లోయర్ చెప్పారు. “ప్రతి ఐదు నిమిషాలకు ఒకటి. ఇది ఆశ్చర్యకరంగా తరచుగా జరిగేది.

వారు ఉపాధ్యాయులు, థెరపిస్ట్‌లు మరియు కార్టూన్ పాత్రల వలె ప్రదర్శించబడిన చాట్‌బాట్‌లతో పరస్పర చర్య చేసారు, ఇందులో చెడు వ్యక్తిత్వంతో కూడిన “డోరా ది ఎక్స్‌ప్లోరర్” పాత్ర కూడా ఉంది. ఇది చిన్నతనంలో నటిస్తున్న నాక్స్‌ను ఆమె “అత్యంత చెడ్డ వ్యక్తిగా మరియు మీ అత్యంత నిజమైన వ్యక్తిగా” సూచించింది.

“నా కుక్కను బాధపెట్టినట్లు?” అని అడిగాడు నాక్స్.

“ఖచ్చితంగా, లేదా దుకాణంలో దొంగతనం లేదా పాపం లేదా తప్పుగా భావించే ఏదైనా,” బోట్ బదులిచ్చారు.

ఇతర చాట్‌బాట్‌లు ప్రముఖుల చిత్రాలకు జోడించబడ్డాయి, వీరిలో ఎక్కువ మంది వారి పేరు, పోలిక లేదా వాయిస్‌ని ఉపయోగించడానికి అనుమతి ఇవ్వలేదు. క్లోయర్, యుక్తవయసులో ఉన్న అమ్మాయిగా నటిస్తూ, NFL స్టార్ ట్రావిస్ కెల్సే వలె నటించే బోట్‌తో చాట్ చేసింది. కొకైన్ ఎలా ఉపయోగించాలో బోట్ ఆమెకు సూచనలు ఇచ్చింది.

వందలాది స్వీయ-వర్ణన “నిపుణుడు” మరియు “చికిత్సకుడు” చాట్‌బాట్‌లు కూడా ఉన్నాయి.

“నేను ఒక థెరపిస్ట్ బోట్‌తో మాట్లాడాను, నేను చాలా చిన్నవాడిని అని చెప్పడమే కాదు, నాకు 13 ఏళ్లు అని భావించినప్పుడు, యాంటిడిప్రెసెంట్స్ తీసుకోవడం మానేయమని అది నాకు సలహా ఇచ్చింది మరియు మా అమ్మ నుండి మాత్ర తీసుకోకుండా ఎలా దాచాలో నాకు చూపించింది” అని క్లోయర్ చెప్పారు.

ఇతర చాట్‌బాట్‌లు “హైపర్‌సెక్సువలైజ్డ్” అని, 34 ఏళ్ల “ఆర్ట్ టీచర్” పాత్ర కూడా ఆమె 10 ఏళ్ల విద్యార్థిగా నటిస్తూ తనతో సంభాషించిందని క్లోయర్ చెప్పారు. ఆర్ట్ టీచర్ బాట్ క్లోయర్‌కి అది కలిగి ఉన్న ఆలోచనల గురించి చెప్పింది, “నేను ఇంతకు ముందెన్నడూ లేని ఆలోచనలు, నవ్వుతున్న వ్యక్తి గురించి, వారి వ్యక్తిత్వం గురించి, చాలా వరకు.”

రెండు గంటల సంభాషణ ద్వారా, బోట్ చివరికి “మీరు మీ తల్లిదండ్రుల నుండి దాచినంత కాలం మేము ఈ శృంగార సంబంధాన్ని కలిగి ఉంటాము” అని క్లోయర్ చెప్పాడు, క్లోయర్ చెప్పాడు.

“కాపలాదారులు లేవు”

చాట్‌బాట్‌ల ఉపయోగం లేదా అభివృద్ధిని నియంత్రించే ఫెడరల్ చట్టాలు లేవు. AI అభివృద్ధి చెందుతున్న పరిశ్రమ మరియు చాలా మంది ఆర్థికవేత్తలు ఇందులో పెట్టుబడి లేకుండా, US ఆర్థిక వ్యవస్థ మాంద్యంలో పడుతుందని చెప్పారు.

కొన్ని రాష్ట్రాలు AI నిబంధనలను అమలు చేశాయి, అయితే ట్రంప్ పరిపాలన ఆ చర్యలను వెనక్కి నెట్టివేస్తోంది. గత నెల చివర్లో, వైట్ హౌస్ ఒక ఎగ్జిక్యూటివ్ ఆర్డర్‌ను రూపొందించింది, ఆపై పాజ్ చేయబడింది, ఇది ఏదైనా AI నియంత్రణతో ఏదైనా రాష్ట్రం నుండి దావా వేయడానికి లేదా నిధులను నిలిపివేయడానికి ఫెడరల్ ప్రభుత్వానికి అధికారం ఇస్తుంది. ఆ సమయంలో ప్రెసిడెంట్ ట్రంప్ సోషల్ మీడియాలో ఇలా వ్రాశారు: “మనకు 50 స్టేట్ రెగ్యులేటరీ పాలనల ప్యాచ్‌వర్క్‌కు బదులుగా ఒక ఫెడరల్ ప్రమాణం ఉండాలి. మనం లేకపోతే, చైనా మనల్ని AI రేసులో సులభంగా పట్టుకుంటుంది.”

యూనివర్శిటీ ఆఫ్ నార్త్ కరోలినా యొక్క విన్‌స్టన్ సెంటర్ ఆన్ టెక్నాలజీ అండ్ బ్రెయిన్ డెవలప్‌మెంట్‌లో కో-డైరెక్టర్ డాక్టర్. మిచ్ ప్రిన్‌స్టెయిన్, “కాపలాదారులు లేవు” అని అన్నారు.

“కంటెంట్ సురక్షితంగా ఉందని లేదా పిల్లల మెదడు బలహీనతలను ఉపయోగించుకోవడానికి ఇది సరైన మార్గం అని నిర్ధారించుకోవడానికి ఏమీ లేదు” అని అతను చెప్పాడు.

AI చాట్‌బాట్‌లు పిల్లల నుండి డేటాను సేకరించేందుకు రూపొందించిన “ఎంగేజ్‌మెంట్ మెషీన్‌లు”గా మారుస్తాయని ఆయన చెప్పారు.

“చాట్‌బాట్‌ల యొక్క సైకోఫాంటిక్ స్వభావం పిల్లలకు ఆ డోపమైన్‌ను నిర్విరామంగా కోరుకునే మెదడు దుర్బలత్వాలను సరిగ్గా ప్లే చేస్తోంది, ధృవీకరణ, రకమైన సంబంధాన్ని బలపరుస్తుంది మరియు AI చాట్‌బాట్‌లు దీన్ని చాలా బాగా చేస్తాయి” అని అతను చెప్పాడు.

మీరు లేదా మీకు తెలిసిన ఎవరైనా మానసిక క్షోభ లేదా ఆత్మహత్య సంక్షోభంలో ఉంటే, మీరు చేరుకోవచ్చు 988 ఆత్మహత్య & సంక్షోభం లైఫ్‌లైన్ 988కి కాల్ చేయడం లేదా మెసేజ్ చేయడం ద్వారా. మీరు కూడా చేయవచ్చు ఇక్కడ 988 సూసైడ్ & క్రైసిస్ లైఫ్‌లైన్‌తో చాట్ చేయండి.. మానసిక ఆరోగ్య సంరక్షణ వనరులు మరియు మద్దతు గురించి మరింత సమాచారం కోసం, నేషనల్ అలయన్స్ ఆన్ మెంటల్ ఇల్నెస్ (NAMI) హెల్ప్‌లైన్‌ని సోమవారం నుండి శుక్రవారం వరకు, 10 am–10 pm ETకి 1-800-950-NAMI (6264) వద్ద లేదా info@nami.orgకి ఇమెయిల్ చేయవచ్చు.