సంవత్సరాలుగా AI పరిశ్రమ “స్కేలింగ్ చట్టాలు” అని పిలువబడే సూత్రాల సమితికి కట్టుబడి ఉంది. ఓపెనాయ్ పరిశోధకులు వాటిని “న్యూరల్ లాంగ్వేజ్ మోడల్స్ కోసం స్కేలింగ్ చట్టాలు” అనే సెమినల్ 2020 పేపర్‌లో వివరించారు.
“మోడల్ పనితీరు స్కేల్‌పై చాలా బలంగా ఆధారపడి ఉంటుంది, ఇది మూడు అంశాలను కలిగి ఉంటుంది: మోడల్ పారామితుల సంఖ్య n (ఎంబెడ్డింగ్స్ మినహా), డేటాసెట్ డి యొక్క పరిమాణం మరియు శిక్షణ కోసం ఉపయోగించే కంప్యూట్ సి మొత్తం” అని రచయితలు రాశారు.
సారాంశంలో, అత్యంత తెలివైన AI ని నిర్మించేటప్పుడు ఎక్కువ ఎక్కువ. ఈ ఆలోచన భారీగా ఆజ్యం పోసింది డేటా సెంటర్లలో పెట్టుబడులు ఇది AI మోడళ్లను ప్రాసెస్ చేయడానికి మరియు ఇప్పటికే ఉన్న పెద్ద మొత్తంలో ఉన్న సమాచారం నుండి నేర్చుకోవడానికి అనుమతిస్తుంది.
కానీ ఇటీవల, సిలికాన్ వ్యాలీ అంతటా AI నిపుణులు ఆ సిద్ధాంతాన్ని సవాలు చేయడం ప్రారంభించారు.
“చాలా ఆసక్తికరమైన సమస్యలు చాలా ఘోరంగా ఉంటాయి” అని మెటా యొక్క చీఫ్ AI శాస్త్రవేత్త, యాన్ లెకన్సింగపూర్ నేషనల్ యూనివర్శిటీలో ఆదివారం అన్నారు. “మీరు ఎక్కువ డేటా మరియు ఎక్కువ గణన అంటే తెలివిగా అని అనుకోలేరు.”
ఇంటర్నెట్ డేటా వంటి ప్రాథమిక విషయాలపై AI కి శిక్షణ ఇవ్వడం ఒక విధమైన సూపర్ ఇంటెలిజెన్స్‌కు దారితీయదు అనే ఆలోచనపై లెకన్ యొక్క పాయింట్ ఉంది. స్మార్ట్ AI వేరే జాతి.
“తప్పు ఏమిటంటే, చాలా సరళమైన వ్యవస్థలు, వారు సాధారణ సమస్యల కోసం పనిచేసేటప్పుడు, ప్రజలు సంక్లిష్ట సమస్యల కోసం పని చేస్తారని అనుకునేలా ప్రజలు వారిని ఎక్స్‌ట్రాపోలేట్ చేస్తారు” అని ఆయన చెప్పారు. “వారు కొన్ని అద్భుతమైన పనులు చేస్తారు, కానీ అది స్కేలింగ్ యొక్క మతాన్ని సృష్టిస్తుంది, మీరు వ్యవస్థలను మరింత స్కేల్ చేయాల్సిన అవసరం ఉంది మరియు అవి సహజంగానే మరింత తెలివిగా మారతాయి.”
ప్రస్తుతం, స్కేలింగ్ యొక్క ప్రభావం పెద్దది, ఎందుకంటే AI లోని చాలా తాజా పురోగతులు వాస్తవానికి “నిజంగా సులభం” అని లెకన్ చెప్పారు. అతిపెద్ద పెద్ద భాషా నమూనాలు ఈ రోజు నాలుగేళ్ల విజువల్ కార్టెక్స్‌లోని సమాచార మొత్తానికి శిక్షణ ఇస్తున్నట్లు ఆయన చెప్పారు.
“మీరు అస్పష్టత మరియు అనిశ్చితితో వాస్తవ ప్రపంచ సమస్యలతో వ్యవహరించినప్పుడు, ఇది ఇకపై స్కేలింగ్ గురించి మాత్రమే కాదు” అని ఆయన చెప్పారు.
AI పురోగతులు ఆలస్యంగా మందగించాయి. ఇది కొంతవరకు, ఉపయోగపడే పబ్లిక్ డేటా యొక్క క్షీణిస్తున్న కార్పస్‌కు కారణం.
స్కేలింగ్ యొక్క శక్తిని ప్రశ్నించిన ఏకైక ప్రముఖ పరిశోధకుడు లెకున్ కాదు. మీరు CEO అలెగ్జాండర్ వాంగ్ కలిగి ఉన్నారు గత సంవత్సరం సెరిబ్రల్ వ్యాలీ సమావేశంలో స్కేలింగ్ “పరిశ్రమలో అతిపెద్ద ప్రశ్న” అన్నారు. కోహెరే సీఈఓ ఐడాన్ గోమెజ్ దీనిని AI మోడళ్లను మెరుగుపరచడానికి “మూగ” మార్గం అని పిలిచారు.
ప్రపంచ ఆధారిత శిక్షణా విధానం కోసం లెకన్ వాదించారు.
“మాకు కొత్త పనులను త్వరగా నేర్చుకోగలిగే AI వ్యవస్థలు అవసరం. వారు భౌతిక ప్రపంచాన్ని అర్థం చేసుకోవాలి – వచనం మరియు భాష మాత్రమే కాదు, వాస్తవ ప్రపంచం – కొంత స్థాయి ఇంగితజ్ఞానం, మరియు కారణం మరియు ప్రణాళికలు, నిరంతర జ్ఞాపకశక్తిని కలిగి ఉంది – తెలివైన సంస్థల నుండి మనం ఆశించే అన్ని అంశాలు” అని ఆయన తన చర్చ సందర్భంగా చెప్పారు.
గత సంవత్సరం, యొక్క ఎపిసోడ్లో లెక్స్ ఫ్రిడ్మాన్ పోడ్కాస్ట్లెకన్ మాట్లాడుతూ, పెద్ద భాషా నమూనాలకు విరుద్ధంగా, నమూనాల ఆధారంగా వారి తదుపరి దశలను మాత్రమే can హించగలదు, ప్రపంచ నమూనాలు అధిక స్థాయి జ్ఞానాన్ని కలిగి ఉంటాయి. “ప్రపంచ నమూనా యొక్క అదనపు భాగం మీరు తీసుకోగల చర్య యొక్క పర్యవసానంగా ప్రపంచం ఎలా అభివృద్ధి చెందుతుందో can హించగల విషయం.”
