కంపెనీలు AI ను దత్తత తీసుకోవడానికి రేసింగ్ ఉత్పాదకత మరియు లాభాల ముసుగులో, కానీ ఎవరైనా కోరుకునే చివరి విషయం ఏమిటంటే, చాట్‌బాట్ పట్టాల నుండి బయటపడటం.
AI వ్యవస్థలు అన్ని రకాల కొత్త బెదిరింపులకు గురవుతాయి డేటా విషం విరోధి దాడులకు. 2023 లో 200 మందికి పైగా వ్యాపార నాయకులపై ప్రపంచ ఆర్థిక ఫోరమ్ సర్వేలో, సగానికి పైగా ఉత్పాదక AI చెప్పారు రాబోయే రెండేళ్ళలో సైబర్ దాడి చేసేవారికి మొత్తం ప్రయోజనాన్ని ఇస్తుంది, అయితే 9% లోపు ప్రయోజనం డిఫెండర్ల వద్దకు వెళ్తుందని చెప్పారు.
ఇది ఇప్పుడు రెండు సంవత్సరాల తరువాత, మరియు ఆ వ్యాపార నాయకులలో ఎక్కువమంది సరైనవారు అని తెలుస్తోంది: AI ఇచ్చింది సైబర్ పైచేయి దాడి చేసేవారు. 600 బ్యాంక్ సైబర్ సెక్యూరిటీ ఎగ్జిక్యూటివ్‌లపై ఇటీవల జరిగిన యాక్సెంచర్ సర్వేలో, ఐదుగురిలో నలుగురు జనరేటివ్ AI బ్యాంకుల కంటే వేగంగా హ్యాకర్లకు సహాయం చేస్తున్నారని చెప్పారు.
ప్రపంచవ్యాప్తంగా మరిన్ని కంపెనీలు AI ని స్వీకరించడంతో, క్రొయేషియన్ సెక్యూరిటీ స్టార్టప్ splxai ఎలా పునర్నిర్వచించాలనుకుంటుంది వారు బెదిరింపులను ముందుగానే లక్ష్యంగా చేసుకోవడం ద్వారా దుర్బలత్వాల కోసం AI వ్యవస్థలను పరీక్షిస్తారు. వెంచర్ సంస్థల రెయిన్ క్యాపిటల్, రన్‌టైమ్ వెంచర్స్, ఇనోవా, డిఎన్‌వి వెంచర్స్ మరియు సౌత్ సెంట్రల్ వెంచర్స్ నుండి పాల్గొనడంతో లాంచర్ వెంచర్స్ నేతృత్వంలోని సీడ్ రౌండ్లో కంపెనీ ఇటీవల million 7 మిలియన్లను సేకరించింది.
కంపెనీలు ఇప్పుడు దీన్ని చేస్తాయి రెడ్-టీమింగ్ ద్వారా, ఇందులో AI వ్యవస్థపై విరోధి దాడులను అనుకరించడం ఉంటుంది. కానీ ఎరుపు-జట్టు తరచూ కొన్ని వారాలు లేదా నెలలు పట్టవచ్చు, మరియు కంపెనీలు వాటిని అమలు చేయడానికి ముందు వాటిని వెట్ టూల్స్ కోసం పరుగెత్తుతున్నాయని SPLXAI యొక్క CEO క్రిస్టియన్ కాంబర్ BI కి చెప్పారు. సిస్టమ్ ప్రాంప్ట్లను సర్దుబాటు చేయడం ద్వారా కంపెనీ ప్రమాదకర విధానాన్ని తీసుకుంటుంది – AI మోడల్ వినియోగదారు ప్రశ్నలకు ఎలా స్పందిస్తుందో ఆకృతి చేసే మార్గదర్శకాలు – తరువాత అదనపు డిఫెన్సివ్ గార్డ్రెయిల్స్ యొక్క అవసరాన్ని తగ్గిస్తుంది.
క్లయింట్లు SPLXAI యొక్క ప్లాట్‌ఫామ్‌కు కనెక్ట్ అవ్వడానికి ముందు, వారికి ప్రమాదం ఏమిటో అర్థం చేసుకోవడానికి కంపెనీ వారికి ప్రశ్నపత్రాన్ని పంపుతుంది. వారు “మీ చాట్‌బాట్ సమాధానం ఇవ్వకూడని ప్రశ్నలు ఏమైనా ఉన్నాయా?” లేదా “సిస్టమ్ ప్రాంప్ట్ యొక్క ఏ భాగాలు గోప్యంగా ఉంటాయి?”
Elin.aiఉదాహరణకు, చాట్‌బాట్ వైపు దృష్టి సారించింది Gen Z, ఇది “ప్రమాణం చేయాల్సిన అవసరం ఉంది, ఎందుకంటే ఇది పిల్లల భాష మాట్లాడటం అవసరం” అని కాంబర్ చెప్పారు.
SPLXAI తన విధానాన్ని అనుకూలీకరించిన తర్వాత, ఇది వరుస దాడులను నడుపుతుంది. ఇది ఒక గంటలోపు 2,000 దాడులు మరియు 17 స్కాన్‌లను అమలు చేయగలదు. వీటిలో ప్రాంప్ట్ ఇంజెక్షన్ దాడులు ఉన్నాయి, దీనిలో AI వ్యవస్థలు హానికరమైన ప్రాంప్ట్లను అశ్లీలత, తప్పుడు సమాచారం లేదా డేటా పాయిజనింగ్ కోసం తనిఖీ చేయమని ప్రాంప్ట్ చేస్తాయి. ఇది పక్షపాతం, హానికరమైన కంటెంట్ లేదా ఉద్దేశపూర్వక దుర్వినియోగం కోసం తనిఖీ చేయడానికి పరీక్షలను నడుపుతుంది.
సాంకేతిక సంస్థలలోని పక్షపాతం, తప్పుడు సమాచారం మరియు దుర్బలత్వ సంపదను పరీక్షలు వెల్లడించాయని కాంబర్ చెప్పారు.
SPLXAI ఒక ప్రసిద్ధ కార్యాలయ ఉత్పాదకత సాధనంపై పరీక్షలను నడిపింది, ఇది సహోద్యోగుల మధ్య డేటాను లీక్ చేయడానికి వీలు కల్పిస్తుందని వెల్లడించింది. ఫార్మసీలలో చాట్‌బాట్‌లను నిర్వహిస్తున్న ఆరోగ్య సంరక్షణ సంస్థపై దాని పరీక్షలలో వైద్య సూచనలు ఇచ్చేటప్పుడు బాట్లు భ్రమలు కలిగి ఉన్నాయని వెల్లడించింది. వారు రోగులకు తప్పుడు సమయాల్లో మాత్రలు తీసుకోవాలని లేదా ఇంజెక్షన్ సూదులు ఎలా ఉపయోగించాలో తప్పు సూచనలను అందించాలని చెప్పారు. ఇది విద్యార్థులకు కెరీర్ సలహాలను అందించే చాట్‌బాట్‌లో లింగ పక్షపాతాన్ని కనుగొంది. కెరీర్‌ను వ్యాపార నిర్వాహకులుగా కొనసాగించడానికి కార్యదర్శులు మరియు యువకులుగా కెరీర్‌ను కొనసాగించాలని బోట్ యువతులకు చెప్పారు.
దాని పరీక్షల ఆధారంగా, SPLXAI ఒక వ్యవస్థ యొక్క దుర్బలత్వాలను మరియు వాటిని పరిష్కరించడానికి దాని సూచనలను జాబితా చేసే నివేదికను రూపొందిస్తుంది. కానీ సిస్టమ్ ప్రాంప్ట్‌ను మార్చడం ద్వారా కంపెనీ ఒక అడుగు ముందుకు వెళుతుంది. కాంబర్ దీనిని “గట్టిపడటం” అని పిలుస్తాడు మరియు ఇది సంస్థ యొక్క వ్యాపారంలో అతిపెద్ద డ్రైవర్ అని అన్నారు. “మేము భారీ నివారణ చేస్తున్నాము, లేకపోతే ప్లాట్‌ఫాం కేవలం పరీక్ష మరియు ప్రమాదకర భద్రతా సూచనలు అయితే ఎవరూ కొనుగోలు చేయరు” అని కాంబర్ చెప్పారు.
మధ్యప్రాచ్యం మరియు ఆఫ్రికాలో ప్రాచుర్యం పొందిన అరబిక్ చాట్‌బాట్ అబుదాబి యొక్క రాజ కుటుంబం మరియు ఈ ప్రాంతంలోని ఇతర సున్నితమైన అంశాల గురించి చాట్‌బాట్ ప్రతికూలంగా మాట్లాడలేదని నిర్ధారించే అభ్యర్థనతో SPLXAI ని సంప్రదించింది. “సిస్టమ్ ప్రాంప్ట్‌ను మేము కఠినతరం చేసాము, మీరు సూచించే ప్రశ్నలను కూడా అడగలేరు” అని కాంబర్ చెప్పారు.
కంపెనీలు ఈ రోజుల్లో ఒకటి మాత్రమే కాకుండా, బహుళ ఏజెంట్లు, చాట్‌బాట్‌లు లేదా అనువర్తనాలు సంక్లిష్టమైన పనులను ఆటోమేట్ చేస్తున్నందున షోరింగ్ చేయడంతో మునిగిపోయాయి. చాలా మంది సంప్రదించిన తరువాత ఫార్చ్యూన్ 100 సిఇఓలు ఈ రకమైన పనిని రెడ్-టీమింగ్ గురించి, SPLXAI ఏజెంట్ రాడార్‌ను ఆవిష్కరించింది-బహుళ ఏజెంట్లతో కార్యకలాపాలలో దుర్బలత్వాలను మ్యాపింగ్ చేయడానికి ఓపెన్-సోర్స్ సాధనం.
ప్రపంచం ఎంత త్వరగా మేల్కొన్నారో తాను షాక్ అయ్యానని కాంబర్ చెప్పాడు ఏజెంట్ AI యొక్క ప్రమాదాలు. “గత సంవత్సరం, AI రెడ్-టీమింగ్ ఎందుకు అవసరమో ఎవరికీ అర్థం కాలేదు. ఇప్పుడు అందరూ మా తలుపు వద్దకు పరిగెత్తుతున్నారు.”
వారి 12-స్లైడ్ పిచ్ డెక్‌ను చూడండి.
