AI డూమ్సేయర్లు సాంకేతిక పరిజ్ఞానం యొక్క సంభావ్యత గురించి ఆందోళన చెందుతూనే ఉన్నారు సామాజిక పతనం. కానీ ప్రస్తుతానికి చాలావరకు దృష్టాంతంలో చిన్న-సమయ హ్యాకర్లు ఫీల్డ్ డేని కలిగి ఉంటారు.
హ్యాకర్లకు సాధారణంగా మూడు ప్రధాన లక్ష్యాలు ఉన్నాయి, సాఫ్ట్‌వేర్ సప్లై చైన్ కంపెనీ జెఫ్రోగ్‌లో మెషిన్ లెర్నింగ్ ఆపరేషన్స్ యొక్క చీఫ్ టెక్నాలజీ ఆఫీసర్ యువాల్ ఫెర్న్‌బాచ్ బిజినెస్ ఇన్‌సైడర్‌కు చెప్పారు. వారు విషయాలను మూసివేస్తారు, వారు సమాచారాన్ని దొంగిలించారు, లేదా వారు వెబ్‌సైట్ లేదా సాధనం యొక్క అవుట్పుట్ను మారుస్తారు.
స్కామర్స్ మరియు హ్యాకర్లుఉద్యోగుల మాదిరిగా ఏదైనా వ్యాపారం, ఇప్పటికే వారి ఉత్పాదకతను ప్రారంభించడానికి AI ని ఉపయోగిస్తోంది. అయినప్పటికీ, ఫెర్న్‌బాచ్ ప్రకారం, హానికరమైన కోడ్ ఓపెన్-సోర్స్ పెద్ద భాషా నమూనాల లోపల సులభంగా దాచబడినందున చెడ్డ నటులకు కంపెనీల లోపలికి రావడానికి కొత్త మార్గాన్ని అందించే AI మోడల్స్.
“మేము చాలా, చాలా దాడులను చూస్తున్నాము” అని అతను చెప్పాడు. ఒక మోడల్‌ను ఓవర్‌లోడ్ చేయడం వల్ల అది ఇకపై స్పందించదు, ముఖ్యంగా పెరుగుతున్నట్లు JFROG ప్రకారం.
“ఇకపై స్పందించని మోడల్ యొక్క ఆ ప్రదేశానికి చేరుకోవడం చాలా సులభం” అని ఫెర్న్‌బాచ్ చెప్పారు. హానికరమైన నమూనాలను తగ్గించడానికి పరిశ్రమ నాయకులు నిర్వహించడం ప్రారంభించారు. మోడళ్లను ఉత్పత్తిలోకి వెళ్ళే ముందు తనిఖీ చేయడానికి JFROG స్కానర్ ఉత్పత్తిని కలిగి ఉంది. కానీ కొంతవరకు ప్రతి సంస్థపై బాధ్యత ఎల్లప్పుడూ ఉంటుంది.
హానికరమైన నమూనాలు దాడి చేస్తాయి
వ్యాపారాలు AI ని ఉపయోగించడం ప్రారంభించాలనుకున్నప్పుడు, వారు ఓపెనాయ్, ఆంత్రోపిక్ లేదా మెటా వంటి సంస్థ నుండి ఒక మోడల్‌ను ఎంచుకోవాలి, ఎందుకంటే చాలా మంది మొదటి నుండి ఒక ఇంటిని నిర్మించటానికి అపారమైన వ్యయానికి వెళ్ళరు. మునుపటి రెండు సంస్థలు యాజమాన్య నమూనాలను అందిస్తున్నాయి కాబట్టి భద్రత కొంతవరకు భరోసా ఇస్తుంది. కానీ యాజమాన్య నమూనాలు ఉపయోగించడానికి ఎక్కువ ఖర్చు అవుతాయి మరియు చాలా కంపెనీలు తమ డేటాను పంచుకోవడంలో జాగ్రత్తగా ఉన్నాయి.
మెటా నుండి ఓపెన్-సోర్స్ మోడల్‌తో లేదా అందుబాటులో ఉన్న వేలాది మందిలో దేనినైనా ఎక్కువగా ప్రాచుర్యం పొందింది. కంపెనీలు API లను ఉపయోగించవచ్చు లేదా మోడళ్లను డౌన్‌లోడ్ చేసుకోవచ్చు మరియు వాటిని స్థానికంగా అమలు చేయవచ్చు. JFROG మరియు ఇన్ఫర్మేషన్ వీక్ ఇటీవల 1,400 వ్యాపారాల సర్వేలో సగం కంపెనీలు తమ సొంత సర్వర్లలో డౌన్‌లోడ్ చేసిన మోడళ్లను నడుపుతున్నాయి.
AI పరిపక్వం చెందుతున్నప్పుడు, కంపెనీలు వేర్వేరు నైపుణ్యాలు మరియు నైపుణ్యంతో బహుళ మోడళ్లను కలిపే అవకాశం ఉంది. ప్రతి నవీకరణ కోసం వాటిని పూర్తిగా తనిఖీ చేస్తోంది, కంపెనీల యొక్క వేగవంతమైన, ఫ్రీ-వీలింగ్ AI ప్రయోగ దశకు వ్యతిరేకంగా నడుస్తుంది, ఫెర్న్‌బాచ్ చెప్పారు.
ప్రతి కొత్త మోడల్, మరియు డేటా లేదా కార్యాచరణ యొక్క ఏదైనా నవీకరణలు, హానికరమైన కోడ్ లేదా మోడల్‌కు మార్పును కలిగి ఉంటాయి ఫలితాన్ని ప్రభావితం చేస్తుందిఫెర్న్‌బాచ్ అన్నారు.
ఆత్మసంతృప్తి యొక్క పరిణామాలు అర్ధవంతం కావచ్చు.
2024 లో, కెనడియన్ కోర్టు ఎయిర్ కెనడాను ఒక యాత్రికుడికి మరణం తగ్గింపు ఇవ్వాలని ఆదేశించింది, వారికి ప్రయోజనాన్ని ఎలా పొందాలో తప్పు సమాచారం ఇవ్వబడింది సంస్థ యొక్క చాట్‌బాట్విమానయాన సంస్థ యొక్క మానవ ప్రతినిధులు దీనిని ఖండించిన తరువాత కూడా. విమానయాన సంస్థ వందల డాలర్లను తిరిగి చెల్లించాలి మరియు చట్టపరమైన రుసుమును కవర్ చేయాల్సి వచ్చింది. స్థాయిలో, ఈ రకమైన తప్పు ఖరీదైనది కావచ్చు, ఫెర్న్‌బాచ్ చెప్పారు. ఉదాహరణకు, బ్యాంకులు ఇప్పటికే ఆందోళన చెందుతున్నాయి ఆ ఉత్పాదక AI వారు స్పందించగల దానికంటే వేగంగా అభివృద్ధి చెందుతోంది.
JFROG CTO YUVAL FERNBACH మార్చి 2025 లో న్యూయార్క్ నగరంలో జరిగిన ఒక కంపెనీ కార్యక్రమంలో మాట్లాడారు. Jfrog
సమస్య యొక్క స్థాయిని తెలుసుకోవడానికి, JFrog గత సంవత్సరం ముఖాన్ని కౌగిలించుకోవడం, AI మోడళ్ల కోసం ఆన్‌లైన్ రిపోజిటరీతో భాగస్వామ్యం కలిగి ఉంది. 1 మిలియన్ కంటే ఎక్కువ మోడళ్లలో నాలుగు వందలు హానికరమైన కోడ్ కలిగి ఉన్నాయి-1% కన్నా తక్కువ మరియు ఐదు-కార్డ్ చేతి పేకాటలో ఒక రకమైన నాలుగు ల్యాండింగ్ చేసే అవకాశం ఉంది.
అప్పటి నుండి, కొత్త మోడళ్ల సంఖ్య మూడు రెట్లు పెరిగినప్పటికీ, దాడులు ఏడు రెట్లు పెరిగాయని JFROG అంచనా వేసింది.
గాయానికి అవమానాన్ని జోడిస్తే, చాలా ప్రసిద్ధ మోడళ్లలో తరచుగా హానికరమైన మోసగాళ్ళు ఉంటాయి, దీని పేర్లు ప్రామాణికమైన నమూనాల స్వల్ప అక్షరాలు.
అదే సర్వేలో పోల్ చేసిన యాభై ఎనిమిది శాతం కంపెనీలకు ఓపెన్ సోర్స్ AI మోడళ్ల చుట్టూ కంపెనీ విధానం లేదు లేదా వాటికి ఒకటి ఉందో లేదో తెలియదు. మరియు ప్రతిస్పందించే సంస్థలలో 68% మంది మాన్యువల్ సమీక్ష కాకుండా డెవలపర్‌ల మోడల్ వాడకాన్ని సమీక్షించడానికి మార్గం లేదు.
ఏజెంట్ AI పెరుగుదలతో, నమూనాలు సమాచారం మరియు విశ్లేషణలను అందించడమే కాకుండా పనులను కూడా చేస్తాయి మరియు నష్టాలు పెరుగుతాయి.
