దుర్వినియోగ చిత్రాలను సృష్టించే AI సాధనాల సామర్థ్యాన్ని పరీక్షించడానికి టెక్ కంపెనీలు మరియు UK పిల్లల భద్రతా ఏజెన్సీలు | కృత్రిమ మేధస్సు (AI)

కృత్రిమ మేధస్సు సాధనాలు ఉత్పత్తి చేయగలవో లేదో పరీక్షించే అధికారం టెక్ కంపెనీలు మరియు పిల్లల రక్షణ ఏజెన్సీలకు ఇవ్వబడుతుంది పిల్లల దుర్వినియోగ చిత్రాలు కొత్త UK చట్టం ప్రకారం.

AI- ఉత్పత్తి చేయబడిన పిల్లల లైంగిక వేధింపుల మెటీరియల్ నివేదికలు అని సేఫ్టీ వాచ్‌డాగ్ వెల్లడించడంతో ఈ ప్రకటన చేయబడింది [CSAM] గత సంవత్సరంలో 2024లో 199 నుండి 2025లో 426కి రెండింతలు పెరిగాయి.

మార్పు ప్రకారం, ప్రభుత్వం నియమించబడిన AI కంపెనీలు మరియు పిల్లల భద్రతా సంస్థలకు AI నమూనాలను – ChatGPT వంటి చాట్‌బాట్‌ల కోసం అంతర్లీన సాంకేతికత మరియు Google యొక్క Veo 3 వంటి ఇమేజ్ జనరేటర్‌లను పరిశీలించడానికి అనుమతిని ఇస్తుంది మరియు వాటిని నిరోధించడానికి వారికి రక్షణలు ఉన్నాయని నిర్ధారించుకోండి. పిల్లల లైంగిక వేధింపుల చిత్రాలను సృష్టించడం.

AI మరియు ఆన్‌లైన్ భద్రత మంత్రి కనిష్క నారాయణ్, ఈ చర్య “అంతిమంగా దుర్వినియోగం జరగకముందే ఆపడం” అని అన్నారు, “నిపుణులు, కఠినమైన పరిస్థితులలో, ఇప్పుడు AI మోడల్‌లలో ప్రమాదాన్ని ముందుగానే గుర్తించగలరు.”

CSAMని సృష్టించడం మరియు కలిగి ఉండటం చట్టవిరుద్ధం కాబట్టి మార్పులు ప్రవేశపెట్టబడ్డాయి, అంటే AI డెవలపర్‌లు మరియు ఇతరులు పరీక్షా విధానంలో భాగంగా అలాంటి చిత్రాలను సృష్టించలేరు. ఇప్పటి వరకు, అధికారులు AI- రూపొందించిన CSAMని ఆన్‌లైన్‌లో అప్‌లోడ్ చేసే వరకు వేచి ఉండాల్సి వచ్చింది. ఈ చట్టం మూలం వద్ద ఆ చిత్రాలను సృష్టించడాన్ని నిరోధించడంలో సహాయం చేయడం ద్వారా ఆ సమస్యను అధిగమించడానికి ఉద్దేశించబడింది.

నేరం మరియు పోలీసింగ్ బిల్లుకు సవరణలుగా ప్రభుత్వం ఈ మార్పులను ప్రవేశపెడుతోంది, ఇది చట్టాన్ని కూడా ప్రవేశపెడుతోంది. AI మోడల్‌లను కలిగి ఉండటం, సృష్టించడం లేదా పంపిణీ చేయడంపై నిషేధం పిల్లల లైంగిక వేధింపుల మెటీరియల్‌ని రూపొందించడానికి రూపొందించబడింది.

ఈ వారం నారాయణ్ పిల్లల కోసం హెల్ప్‌లైన్ అయిన చైల్డ్‌లైన్ యొక్క లండన్ స్థావరాన్ని సందర్శించారు మరియు AI ఆధారిత దుర్వినియోగ నివేదికను కలిగి ఉన్న కౌన్సెలర్‌లకు చేసిన కాల్ యొక్క మాక్-అప్‌ను విన్నారు. కాల్ సహాయం కోరుతున్న యువకుడి పాత్రను చిత్రీకరించింది అతను బ్లాక్ మెయిల్ చేయబడ్డాడు AI ఉపయోగించి నిర్మించబడిన తన యొక్క లైంగిక డీప్‌ఫేక్ ద్వారా.

“పిల్లలు ఆన్‌లైన్‌లో బ్లాక్‌మెయిల్‌ను ఎదుర్కొంటున్నారని నేను విన్నప్పుడు, అది నాలో విపరీతమైన కోపం మరియు తల్లిదండ్రులలో సరైన కోపం కలిగిస్తుంది” అని అతను చెప్పాడు.

CSAMను ఆన్‌లైన్‌లో పర్యవేక్షిస్తున్న ఇంటర్నెట్ వాచ్ ఫౌండేషన్, AI- రూపొందించిన దుర్వినియోగ మెటీరియల్ నివేదికలు – బహుళ చిత్రాలను కలిగి ఉండే వెబ్‌పేజీ వంటివి – ఈ సంవత్సరం ఇప్పటివరకు రెట్టింపు కంటే ఎక్కువ పెరిగాయి. కేటగిరీ A మెటీరియల్ యొక్క సందర్భాలు – దుర్వినియోగం యొక్క అత్యంత తీవ్రమైన రూపం – 2,621 చిత్రాలు లేదా వీడియోల నుండి 3,086కి పెరిగింది.

2025లో 94% చట్టవిరుద్ధమైన AI చిత్రాలను కలిగి ఉన్న బాలికలు అత్యధికంగా లక్ష్యంగా చేసుకున్నారు, అయితే నవజాత శిశువుల నుండి రెండేళ్ల వయస్సు గల వారి వర్ణనలు 2024లో ఐదు నుండి 2025లో 92కి పెరిగాయి.

ఇంటర్నెట్ వాచ్ ఫౌండేషన్ యొక్క చీఫ్ ఎగ్జిక్యూటివ్ కెర్రీ స్మిత్, చట్ట మార్పు “AI ఉత్పత్తులు విడుదలయ్యే ముందు సురక్షితంగా ఉన్నాయని నిర్ధారించుకోవడానికి ఒక ముఖ్యమైన దశ” అని అన్నారు.

“AI సాధనాలు దీన్ని తయారు చేశాయి, కాబట్టి ప్రాణాలతో బయటపడినవారిని కొన్ని క్లిక్‌లతో మళ్లీ బాధితులుగా మార్చవచ్చు, నేరస్థులకు అపరిమిత మొత్తంలో అధునాతనమైన, ఫోటోరియలిస్టిక్ పిల్లల లైంగిక వేధింపుల మెటీరియల్‌ని తయారు చేయగల సామర్థ్యాన్ని ఇస్తుంది” అని ఆమె చెప్పారు. “బాధితుల బాధలను మరింతగా మార్చే పదార్థం, మరియు పిల్లలను, ముఖ్యంగా బాలికలను ఆన్‌లైన్‌లో మరియు ఆఫ్‌లైన్‌లో తక్కువ సురక్షితంగా చేస్తుంది.”

AI ప్రస్తావించబడిన కౌన్సెలింగ్ సెషన్‌ల వివరాలను కూడా చైల్డ్‌లైన్ విడుదల చేసింది. సంభాషణలలో పేర్కొన్న AI హానిలు: బరువు, శరీరం మరియు రూపాన్ని రేట్ చేయడానికి AIని ఉపయోగించడం; దుర్వినియోగం గురించి సురక్షితమైన పెద్దలతో మాట్లాడకుండా పిల్లలను నిరోధించే చాట్‌బాట్‌లు; AI- రూపొందించిన కంటెంట్‌తో ఆన్‌లైన్‌లో బెదిరింపులకు గురవుతున్నారు; మరియు AI-నకిలీ చిత్రాలను ఉపయోగించి ఆన్‌లైన్ బ్లాక్‌మెయిల్.

ఈ సంవత్సరం ఏప్రిల్ మరియు సెప్టెంబర్ మధ్య, చైల్డ్‌లైన్ 367 కౌన్సెలింగ్ సెషన్‌లను అందించింది, ఇక్కడ AI, చాట్‌బాట్‌లు మరియు సంబంధిత నిబంధనలు ప్రస్తావించబడ్డాయి, గత ఏడాది ఇదే కాలంలో నాలుగు రెట్లు ఎక్కువ. 2025 సెషన్‌లలో AI ప్రస్తావనలలో సగం మానసిక ఆరోగ్యం మరియు శ్రేయస్సుకు సంబంధించినవి, సపోర్ట్ మరియు AI థెరపీ యాప్‌ల కోసం చాట్‌బాట్‌లను ఉపయోగించడంతో సహా.