నిపుణులు AI భద్రత మరియు ప్రభావాన్ని తనిఖీ చేసే వందలాది పరీక్షలలో లోపాలను కనుగొన్నారు | కృత్రిమ మేధస్సు (AI)

ప్రపంచంలోకి విడుదల చేయబడుతున్న కొత్త కృత్రిమ మేధస్సు నమూనాల భద్రత మరియు ప్రభావాన్ని తనిఖీ చేయడానికి ఉపయోగించే వందలాది పరీక్షలలో నిపుణులు బలహీనతలను కనుగొన్నారు, కొన్ని తీవ్రమైనవి.

బ్రిటిష్ ప్రభుత్వానికి చెందిన కంప్యూటర్ శాస్త్రవేత్తలు AI సెక్యూరిటీ ఇన్స్టిట్యూట్మరియు స్టాన్‌ఫోర్డ్, బర్కిలీ మరియు ఆక్స్‌ఫర్డ్‌తో సహా విశ్వవిద్యాలయాలలో నిపుణులు ముఖ్యమైన భద్రతా వలయాన్ని అందించే 440 కంటే ఎక్కువ బెంచ్‌మార్క్‌లను పరిశీలించారు.

“ఫలితంగా వచ్చే క్లెయిమ్‌ల చెల్లుబాటును అణగదొక్కే” లోపాలను వారు కనుగొన్నారు, “దాదాపు అన్ని … కనీసం ఒక ప్రాంతంలో బలహీనతలను కలిగి ఉంటారు” మరియు ఫలితంగా స్కోర్‌లు “సంబంధం లేనివి లేదా తప్పుదారి పట్టించేవి” కావచ్చు.

పెద్ద టెక్నాలజీ కంపెనీలు విడుదల చేసిన తాజా AI మోడల్‌లను మూల్యాంకనం చేయడానికి చాలా బెంచ్‌మార్క్‌లు ఉపయోగించబడుతున్నాయని అధ్యయనం యొక్క ప్రధాన రచయిత, ఆక్స్‌ఫర్డ్ ఇంటర్నెట్ ఇన్‌స్టిట్యూట్ పరిశోధకుడు ఆండ్రూ బీన్ చెప్పారు.

UK మరియు USలో దేశవ్యాప్తంగా AI నియంత్రణ లేనప్పుడు, కొత్త AIలు సురక్షితంగా ఉన్నాయో లేదో తనిఖీ చేయడానికి బెంచ్‌మార్క్‌లు ఉపయోగించబడతాయి, మానవ ప్రయోజనాలకు అనుగుణంగా ఉంటాయి మరియు తార్కికం, గణితం మరియు కోడింగ్‌లో వారి క్లెయిమ్ సామర్థ్యాలను సాధించవచ్చు.

పోటీ సాంకేతిక సంస్థల ద్వారా అధిక వేగంతో విడుదల చేస్తున్న AIల భద్రత మరియు ప్రభావంపై పెరుగుతున్న ఆందోళనల మధ్య పరీక్షలపై పరిశోధన వచ్చింది. పాత్ర పరువు నష్టం నుండి ఆత్మహత్య వరకు హాని కలిగించడానికి దోహదపడిన తర్వాత కొందరు ఇటీవల AIలపై ఆంక్షలను ఉపసంహరించుకోవలసి వచ్చింది లేదా కఠినతరం చేయవలసి వచ్చింది.

“AIలో పురోగతి గురించి దాదాపు అన్ని క్లెయిమ్‌లను బెంచ్‌మార్క్‌లు బలపరుస్తాయి” అని బీన్ చెప్పారు. “కానీ భాగస్వామ్య నిర్వచనాలు మరియు ధ్వని కొలత లేకుండా, మోడల్‌లు నిజంగా మెరుగుపడుతున్నాయా లేదా కనిపిస్తున్నాయా అని తెలుసుకోవడం కష్టం.”

ఈ వారాంతంలో Google దాని తాజా AIలలో ఒకటైన గెమ్మను ఉపసంహరించుకుందిఇది వార్తా కథనాలకు నకిలీ లింక్‌లతో సహా స్టేట్ ట్రూపర్‌తో ఏకాభిప్రాయం లేని లైంగిక సంబంధం కలిగి ఉన్న US సెనేటర్ గురించి నిరాధారమైన ఆరోపణలు చేసిన తర్వాత.

“ఇలాంటి ఆరోపణలు ఎప్పుడూ లేవు, అలాంటి వ్యక్తి లేడు మరియు అలాంటి కొత్త కథనాలు లేవు” అని టెన్నెస్సీకి చెందిన రిపబ్లికన్ సెనేటర్ మార్షా బ్లాక్‌బర్న్ గూగుల్ చీఫ్ ఎగ్జిక్యూటివ్ సుందర్ పిచాయ్‌కి ఒక లేఖలో తెలిపారు.

“ఇది హానిచేయని భ్రాంతి కాదు. ఇది Google యాజమాన్యంలోని AI మోడల్ ద్వారా ఉత్పత్తి చేయబడిన మరియు పంపిణీ చేయబడిన పరువు నష్టం కలిగించే చర్య. సిట్టింగ్ US సెనేటర్‌పై తప్పుడు నేరారోపణలను కనిపెట్టే పబ్లిక్‌గా యాక్సెస్ చేయగల సాధనం పర్యవేక్షణ మరియు నైతిక బాధ్యత యొక్క విపత్కర వైఫల్యాన్ని సూచిస్తుంది.”

Google తన Gemma మోడల్‌లు AI డెవలపర్‌లు మరియు పరిశోధకుల కోసం రూపొందించబడ్డాయి, వాస్తవిక సహాయం కోసం లేదా వినియోగదారుల కోసం కాదు. “డెవలపర్లు కానివారు వాటిని ఉపయోగించడానికి ప్రయత్నిస్తున్నట్లు నివేదికలు”గా వర్ణించిన తర్వాత ఇది వాటిని తన AI స్టూడియో ప్లాట్‌ఫారమ్ నుండి ఉపసంహరించుకుంది.

“భ్రాంతులు – మోడల్‌లు అన్ని రకాల విషయాల గురించి విషయాలను రూపొందించే చోట – మరియు సైకోఫాన్సీ – ఇక్కడ మోడల్‌లు వినియోగదారులకు వారు వినాలనుకుంటున్న వాటిని తెలియజేస్తాయి – ఇవి AI పరిశ్రమలో సవాళ్లు, ముఖ్యంగా గెమ్మా వంటి చిన్న ఓపెన్ మోడల్‌లు” అని ఇది తెలిపింది. “భ్రాంతులను తగ్గించడానికి మరియు మా మోడల్‌లన్నింటినీ నిరంతరం మెరుగుపరచడానికి మేము కట్టుబడి ఉన్నాము.”

గత వారం, Character.ai, ప్రముఖ చాట్‌బాట్ స్టార్టప్, యువకులను నిషేధించారు దాని AI చాట్‌బాట్‌లతో ఓపెన్-ఎండ్ సంభాషణలలో పాల్గొనడం నుండి. ఇది సహా వరుస వివాదాలను అనుసరించింది 14 ఏళ్ల యువకుడు ఆత్మహత్య చేసుకున్నాడు ఫ్లోరిడాలో AI-శక్తితో పనిచేసే చాట్‌బాట్‌తో నిమగ్నమైన తర్వాత అతని తల్లి తన ప్రాణాలను తీసుకునేలా అతనిని తారుమారు చేసిందని పేర్కొంది, మరియు ఒక యువకుడి కుటుంబం నుండి US దావా చాట్‌బాట్ తనను స్వీయ-హాని కోసం మార్చిందని మరియు అతని తల్లిదండ్రులను హత్య చేయమని ప్రోత్సహించిందని అతను పేర్కొన్నాడు.

పరిశోధన విస్తృతంగా అందుబాటులో ఉన్న బెంచ్‌మార్క్‌లను పరిశీలించింది కానీ ప్రముఖ AI కంపెనీలు కూడా వాటి స్వంత అంతర్గత బెంచ్‌మార్క్‌లను కలిగి ఉన్నాయి, అవి పరిశీలించబడలేదు.

ఇది “భాగస్వామ్య ప్రమాణాలు మరియు ఉత్తమ అభ్యాసాల కోసం ఒత్తిడి అవసరం” అని నిర్ధారించింది.

బెంచ్‌మార్క్ ఎంతవరకు ఖచ్చితమైనదిగా ఉంటుందో చూపించడానికి బెంచ్‌మార్క్‌లలో ఒక చిన్న మైనారిటీ (16%) మాత్రమే అనిశ్చితి అంచనాలు లేదా గణాంక పరీక్షలను ఉపయోగించారని “షాకింగ్” అన్వేషణ అని బీన్ చెప్పారు. AI యొక్క లక్షణాలను మూల్యాంకనం చేయడానికి బెంచ్‌మార్క్‌లు ఏర్పాటు చేయబడిన ఇతర సందర్భాల్లో – ఉదాహరణకు దాని “హానికరం” – పరిశీలించబడుతున్న భావన యొక్క నిర్వచనం వివాదాస్పదమైనది లేదా తప్పుగా నిర్వచించబడింది, బెంచ్‌మార్క్ తక్కువ ఉపయోగకరంగా ఉంటుంది.