AI మోడల్స్ “అధికంగా ఆలోచించడం” ఇరుక్కుపోతాయి. ఎన్విడియా మరియు గూగుల్ ఒక పరిష్కారాన్ని కలిగి ఉన్నాయి.
పెద్ద భాషా నమూనాలు – అవి మనలాగే ఉన్నాయి. లేదా కనీసం వారు మనలాగే స్పందించడానికి శిక్షణ పొందారు. ఇప్పుడు వారు తార్కిక సామర్థ్యాలు మరియు “అధికంగా ఆలోచించడం” తో పాటు వచ్చే కొన్ని అసౌకర్య లక్షణాలను కూడా ప్రదర్శిస్తున్నారు.
రీజనింగ్ మోడల్స్ ఓపెనాయ్ యొక్క O1 లేదా డీప్సీక్ యొక్క R1వారి తర్కాన్ని ప్రశ్నించడానికి మరియు వారి స్వంత సమాధానాలను తనిఖీ చేయడానికి శిక్షణ ఇవ్వబడింది. కానీ వారు ఎక్కువసేపు అలా చేస్తే, వారు సృష్టించిన ప్రతిస్పందనల నాణ్యత క్షీణించడం ప్రారంభిస్తుంది.
“ఎక్కువసేపు ఆలోచిస్తే, సమాధానం ఇరుక్కుపోతున్నందున సమాధానం తప్పుగా ఉండటానికి ఎక్కువ అవకాశం ఉంది” అని జారెడ్ క్విన్సీ డేవిస్, వ్యవస్థాపకుడు మరియు CEO ఫౌండ్రీబిజినెస్ ఇన్సైడర్‌కు చెప్పారు. సాపేక్షమైనది, లేదు?
“ఒక విద్యార్థి ఒక పరీక్ష తీసుకుంటుంటే మరియు వారు మొదటి ప్రశ్నపై మూడు గంటలు తీసుకుంటున్నట్లు అనిపిస్తుంది. ఇది అధికంగా ఆలోచిస్తోంది – ఇది లూప్‌లో చిక్కుకుంది” అని డేవిస్ కొనసాగించాడు.
డేవిస్, ఎన్విడియా, గూగుల్, ఐబిఎం, ఎంఐటి, స్టాన్ఫోర్డ్, డేటాబ్రిక్స్ మరియు మరెన్నో పరిశోధకులతో పాటు మంగళవారం ఓపెన్ సోర్స్ ఫ్రేమ్‌వర్క్‌ను ప్రారంభించారు. దీనిని ఎంబెర్ అని పిలుస్తారు మరియు ఇది తదుపరి దశ పెద్ద భాషా నమూనాలను సూచిస్తుంది.
అధికంగా ఆలోచించడం మరియు రాబడి తగ్గుతుంది
“అధికంగా ఆలోచించడం” అనే భావన మోడల్ మెరుగుదలలో మరొక పెద్ద విరామానికి విరుద్ధంగా అనిపించవచ్చు: అనుమితి-సమయ స్కేలింగ్. కొద్ది నెలల క్రితం, మరింత పరిగణించబడే ప్రతిస్పందనతో రావడానికి కొంచెం ఎక్కువ సమయం తీసుకున్న నమూనాలు AI లుమినరీలచే ప్రచారం చేయబడ్డాయి జెన్సన్ హువాంగ్ మోడల్ మెరుగుదల యొక్క భవిష్యత్తుగా.
రీజనింగ్ మోడల్స్ మరియు అనుమితి-సమయ స్కేలింగ్ ఇప్పటికీ చాలా పెద్ద దశ, డేవిస్ చెప్పారు, కాని భవిష్యత్ డెవలపర్లు వాటిని మరియు అన్ని మోడళ్లను భిన్నంగా ఉపయోగించడం గురించి ఆలోచిస్తారు.
డేవిస్ మరియు ఎంబర్ బృందం అతను మరియు ఇతర AI పరిశోధకులు నెలల తరబడి ఆడుతున్న ఒక భావన చుట్టూ ఒక నిర్మాణాన్ని లాంఛనప్రాయంగా చేస్తున్నారు.
తొమ్మిది నెలల క్రితం – యంత్ర అభ్యాస ప్రపంచంలో ఒక ఇయాన్ – డేవిస్ అతనిని వివరించాడు హాక్ అడగడం, “కాలింగ్” అని పిలుస్తారు, అదే ప్రశ్నను చాలాసార్లు చాట్‌గ్ట్ 4 మరియు ఉత్తమమైన ప్రతిస్పందనలను తీసుకోండి.
ఇప్పుడు, ఎంబర్ యొక్క పరిశోధకులు ఆ పద్ధతిని తీసుకుంటున్నారు మరియు దానిని సూపర్ఛార్జ్ చేస్తున్నారు, ప్రతి ప్రశ్న లేదా పని మోడల్స్ యొక్క ప్యాచ్ వర్క్ అని పిలిచే సమ్మేళనం వ్యవస్థలను vision హించడం, ప్రతి మోడల్‌కు మరియు ప్రతి ప్రశ్నకు సరైనది ఆధారంగా వేర్వేరు మొత్తంలో ఆలోచనా సమయానికి.
“మా సిస్టమ్ మీరు కోరుకున్న నెట్‌వర్క్‌ల నెట్‌వర్క్‌లను నిర్మించడానికి ఒక ఫ్రేమ్‌వర్క్, ఉదాహరణకు, చాలా, చాలా, చాలా కాల్‌లను దాని స్వంత లక్షణాలను కలిగి ఉన్న కొన్ని విస్తృత వ్యవస్థలోకి కంపోజ్ చేయండి. కాబట్టి ఇది కొత్త క్రమశిక్షణ లాంటిది, పరిశోధన నుండి చాలా త్వరగా ప్రాక్టీస్ చేయడానికి దూకిందని నేను భావిస్తున్నాను” అని డేవిస్ చెప్పారు.
భవిష్యత్తులో, మోడల్ మిమ్మల్ని ఎన్నుకుంటుంది
మానవులు అధికంగా ఉన్నప్పుడు, చికిత్సకులు సమస్యలను చిన్న ముక్కలుగా విభజించమని మరియు వాటిని ఒకేసారి పరిష్కరించమని చెప్పవచ్చు. ఎంబర్ ఆ సిద్ధాంతంలో కొన్నింటిని పంచుకుంటుంది, కాని సారూప్యత చాలా త్వరగా ముగుస్తుంది.
ప్రస్తుతం, మీరు కలవరపెట్టేటప్పుడు లేదా చాట్‌గ్‌పిటిలోకి లాగిన్ అయినప్పుడు, మీరు మీ మోడల్‌ను డ్రాప్‌డౌన్ మెనుతో ఎంచుకుంటారు లేదా స్విచ్‌ను టోగుల్ చేయండి. వేర్వేరు సంఖ్యలు మరియు కాల్స్ యొక్క పొడవులతో వేర్వేరు మోడళ్ల ద్వారా ప్రశ్నలను రౌటింగ్ చేసే ఈ మరింత క్లిష్టమైన వ్యూహాలతో AI కంపెనీలు మెరుగైన ఫలితాలను కోరుకుంటాయి కాబట్టి డేవిస్ చాలా కాలం పాటు ఉండదని భావిస్తాడు.
“మీరు can హించవచ్చు, మిలియన్ కాల్స్ కాకుండా, ఇది ట్రిలియన్ కాల్స్ లేదా క్వాడ్రిలియన్ కాల్స్ కావచ్చు. మీరు కాల్స్ క్రమబద్ధీకరించాలి” అని డేవిస్ చెప్పారు. “మీరు ప్రతిదానికి మోడళ్లను ఎంచుకోవాలి కాల్. ప్రతి కాల్ GPT 4 గా ఉండాలా? లేదా కొన్ని కాల్స్ GPT 3 గా ఉండాలా? కొన్ని కాల్స్ మానవ లేదా జెమినిగా ఉండాలా, మరికొందరు డీప్సెక్ అని పిలుస్తారు? ప్రతి కాల్‌కు ప్రాంప్ట్‌లు ఎలా ఉండాలి? “
ఇది మనకు తెలిసిన బైనరీ ప్రశ్న-మరియు జవాబు కంటే ఎక్కువ కొలతలలో ఆలోచిస్తోంది. మరియు మేము యుగంలోకి వెళ్ళేటప్పుడు ఇది చాలా ముఖ్యమైనది AI ఏజెంట్లు ఇక్కడ నమూనాలు మానవ జోక్యం లేకుండా పనులు చేస్తాయి.
డేవిస్ ఈ సమ్మేళనం AI వ్యవస్థలను కెమికల్ ఇంజనీరింగ్‌తో పోల్చాడు.
“ఇది కొత్త శాస్త్రం,” అతను అన్నాడు.
చిట్కా లేదా భాగస్వామ్యం చేయడానికి అంతర్దృష్టి ఉందా? వద్ద ఎమ్మాను సంప్రదించండి Ecosgrove@businessinsider.com లేదా సురక్షిత సందేశ అనువర్తన సిగ్నల్ ఉపయోగించండి: 443-333-9088
