బిల్డింగ్ జిపిటి -4 చాలా మానవశక్తిని తీసుకుంది. ఇప్పుడు, ఓపెనాయ్ ఐదుగురు వ్యక్తులతో జిపిటి -4 ను పునర్నిర్మించగలదని, దాని తాజా మోడల్ జిపిటి -4.5 నుండి నేర్చుకున్నది కారణంగా.
శుక్రవారం ప్రచురించిన ఒక సంస్థ పోడ్కాస్ట్ ఎపిసోడ్లో, ఓపెనాయ్ యొక్క CEO, సామ్ ఆల్ట్మాన్, GPT-4.5 వెనుక ముగ్గురు ముఖ్య ఇంజనీర్లకు ఒక ప్రశ్న అడిగారు: ఈ రోజు మొదటి నుండి GPT-4 ను తిరిగి శిక్షణ పొందగల అతిచిన్న ఓపెనై బృందం ఏమిటి?
ఆల్ట్మాన్ జిపిటి -4 నిర్మించడం “వందలాది మందిని, దాదాపు అన్ని ఓపెనాయ్ ప్రయత్నం” తీసుకుంది-కాని మోడల్ సరిహద్దు వద్ద లేన తర్వాత విషయాలు చాలా సులభం అవుతాయి.
జిపిటి -4.5 కోసం ప్రీ-ట్రైనింగ్ మెషీన్ లెర్నింగ్‌కు నాయకత్వం వహించిన అలెక్స్ పెసోనో, జిపిటి -4 ను తిరిగి శిక్షణ ఇవ్వడం ఇప్పుడు కేవలం ఐదు నుండి 10 మందికి “బహుశా” పడుతుంది.
“మేము GPT-4O కి శిక్షణ ఇచ్చాము, ఇది GPT-4-క్యాలిబర్ మోడల్, ఇది GPT-4.5 పరిశోధన కార్యక్రమం నుండి వచ్చే అదే అంశాలను ఉపయోగించి మేము తిరిగి శిక్షణ పొందాము” అని పైనో చెప్పారు. “ఆ రన్ చేయడం వాస్తవానికి చాలా తక్కువ సంఖ్యలో వ్యక్తులను తీసుకుంది.”
డేటా ఎఫిషియెన్సీ మరియు అల్గోరిథంలపై పనిచేస్తున్న ఓపెనాయ్ పరిశోధకుడు డేనియల్ సెల్సమ్, జిపిటి -4 పునర్నిర్మాణం ఇప్పుడు చాలా సులభం అని అంగీకరించారు.
“వేరొకరిని తెలుసుకోవడం ఏదో చేసింది – ఇది చాలా సులభం అవుతుంది” అని అతను చెప్పాడు. “ఏదో సాధ్యమే అనే వాస్తవం భారీ మోసగాడు కోడ్ అని నేను భావిస్తున్నాను.”
ఫిబ్రవరిలో, ఓపెనాయ్ జిపిటి -4.5 ను విడుదల చేసింది, ఇది కంపెనీ అని చెప్పింది ఇప్పటి వరకు అతిపెద్ద మరియు అత్యంత శక్తివంతమైన మోడల్.
ఆల్ట్మాన్ X లోని ఒక పోస్ట్‌లో దీనిని “ఆలోచనాత్మక వ్యక్తితో మాట్లాడాలని భావించే మొదటి మోడల్” అని వర్ణించారు.
జిపిటి -4.5 జిపిటి -4 కన్నా “10 ఎక్స్ స్మార్ట్” గా రూపొందించబడింది, ఇది మార్చి 2023 లో విడుదలైంది.
“ఈ జిపిటి ప్రీ-ట్రైనింగ్ పరుగులతో మేము ఇంతకు ముందు చేసినదానికంటే 10x ను స్కేలింగ్ చేస్తున్నాము” అని పైనో చెప్పారు.
“ఇకపై గణన-నిర్బంధించబడదు”
ఓపెనాయ్ ఇకపై ఉత్పత్తి చేయగల ఉత్తమ మోడళ్లపై “గణన-నిర్బంధించబడలేదు” అని ఆల్ట్మాన్ చెప్పాడు-ప్రపంచం ఇంకా నిజంగా అర్థం కాలేదని అతను భావిస్తున్న మార్పు.
చాలా AI కంపెనీలకు, మెరుగైన మోడళ్లను నిర్మించటానికి అతిపెద్ద అడ్డంకి తగినంత కంప్యూటింగ్ శక్తిని కలిగి ఉంది.
“ఇది ఒక వెర్రి నవీకరణ,” ఆల్ట్మాన్ చెప్పారు. “చాలా కాలం నుండి, మేము గణన ఎల్లప్పుడూ పరిమితం చేసే కారకంగా ఉండే ప్రపంచంలో నివసించాము” అని ఆయన చెప్పారు.
బిగ్ టెక్ AI మౌలిక సదుపాయాలలో బిలియన్లను పోస్తోంది. మైక్రోసాఫ్ట్, అమెజాన్, గూగుల్ మరియు మెటా సమిష్టిగా ఖర్చు చేస్తాయని భావిస్తున్నారు 320 బిలియన్ డాలర్లు వారి AI సామర్థ్యాలను విస్తృతం చేయడానికి ఈ సంవత్సరం మూలధన వ్యయాలలో.
ఓపెనాయ్ మార్చిలో ప్రకటించారు ఇది సాఫ్ట్‌బ్యాంక్ నుండి 30 బిలియన్ డాలర్లు మరియు ఇతర పెట్టుబడిదారుల నుండి 10 బిలియన్ డాలర్లతో సహా అతిపెద్ద ప్రైవేట్ టెక్ ఫండింగ్ రౌండ్‌ను రికార్డ్ చేసింది, కంపెనీ విలువను 300 బిలియన్ డాలర్లకు తీసుకువచ్చింది.
తాజా మూలధనం ఓపెనాయ్ తన కంప్యూటింగ్ శక్తిని మరింత స్కేల్ చేయడానికి సహాయపడుతుందని కంపెనీ ఆ సమయంలో ఒక ప్రకటనలో తెలిపింది.
ఎన్విడియా సీఈఓ జెన్సన్ హువాంగ్ AI కంప్యూట్ కోసం డిమాండ్ మాత్రమే పెరుగుతుందని ఫిబ్రవరిలో ఆదాయాల పిలుపులో చెప్పారు.
“రీజనింగ్ మోడల్స్ 100x ఎక్కువ గణనను వినియోగించగలవు. ఫ్యూచర్ రీజనింగ్ చాలా ఎక్కువ గణనను వినియోగించగలదు” అని హువాంగ్ కాల్‌లో చెప్పారు.
తరువాతి 10x లేదా 100x స్కేల్‌ను కొట్టడానికి ఏమి అవసరమో, ఓపెనాయ్ పరిశోధకుడు సెల్సామ్ ఇది డేటా సామర్థ్యం అని అన్నారు.
ప్రాసెసింగ్ సమాచారాన్ని ప్రాసెస్ చేయడంలో జిపిటి నమూనాలు చాలా సమర్థవంతంగా పనిచేస్తాయి, కాని “డేటా నుండి ఇది ఎంత లోతుగా అంతర్దృష్టిని పొందగలదో” పైకప్పు ఉంది “అని ఆయన అన్నారు.
“ఏదో ఒక సమయంలో, గణన పెరుగుతూనే మరియు పెరుగుతూనే ఉన్నందున, డేటా చాలా త్వరగా పెరుగుతుంది” అని అతను చెప్పాడు, “డేటా అడ్డంకిగా మారుతుంది.”
అంతకు మించి నెట్టడం, అదే మొత్తంలో డేటా నుండి ఎక్కువ విలువను పిండడానికి “కొన్ని అల్గోరిథమిక్ ఆవిష్కరణలు” అవసరం అని ఆయన అన్నారు.
