OpenAI urobila ďalší krok v integrácii umelá inteligencia s každodenným používaním počítača kompletnou redizajnou Codexu, svojho desktopového kódového agenta. Nástroj, predtým známy predovšetkým svojou programovacou pomocou, sa teraz stáva asistentom schopným takmer bezproblémovo spravovať aplikácie, pamätať si preferencie a riadiť projekty.
Touto aktualizáciou sa spoločnosť vedená Samom Altmanom približuje k svojmu plánu na vytvorenie „Super aplikácia“ pre počítače, ktorá zjednocuje ChatGPT, Codex a váš prehliadač AtlasCieľom tohto kroku je zjednodušiť používateľské prostredie, sústrediť zdroje do jedného pracovného priestoru a konkurovať konkurentom, ako je Anthropic, najmä v prostredí vývoja softvéru a pokročilej automatizácii.
Codex sa naučí používať počítač ako ktorýkoľvek iný používateľ
Jednou z najvýraznejších zmien je, že Codex teraz môže ovládať počítač na pozadíAgent dokáže vidieť, čo sa deje na obrazovke, pohybovať vlastným kurzorom, klikať, písať text a reagovať na to, čo sa deje v nainštalovaných aplikáciách, bez toho, aby prerušil prácu používateľa s myšou alebo klávesnicou.
Táto funkcia umožňuje viacerým agentom Codexu spolupracovať. paralelne v tom istom tímeTo zahŕňa vykonávanie testov, zmenu konfigurácií alebo vykonávanie opakujúcich sa úloh, zatiaľ čo daná osoba pokračuje vo svojich bežných činnostiach. To otvára dvere k automatizácii pracovných postupov, ktoré predtým vyžadovali neustály dohľad, ako napríklad testovanie aplikácie po každej zmene kódu alebo opakovanie akcií rozhrania.
OpenAI navrhuje túto funkciu ako spôsob, ako môže asistent pracovať s nástroje, ktoré nemajú API alebo priame integrácie, čo je bežné v mnohých desktopových programoch. Codex, tým, že „vidí“ obrazovku a ovláda kurzor, môže interagovať s týmito aplikáciami rovnako ako ľudský používateľ, hoci zatiaľ kontrolovaným spôsobom a so zvláštnym dôrazom na bezpečnosť.
Podľa spoločnosti je používanie počítača spočiatku dostupné v macOS prostredníctvom desktopovej aplikácie Codex, prepojený s účtom ChatGPT. Verzia pre Windows bude k dispozícii neskôr, po otestovaní výkonu a prispôsobení funkcií prostrediu spoločnosti Microsoft.
V prípade Európy a Spojeného kráľovstva spoločnosť OpenAI potvrdila, že ovládanie počítačom, pokročilé prispôsobenie, kontextové návrhy a pamäť Aktivované budú neskôr. Dôvodom je potreba prispôsobiť tieto funkcie predpisom o ochrane údajov, čo je obzvlášť náročná požiadavka v Európskej únii a na britskom trhu.
Integrovaný prehliadač a priama práca na webových stránkach
Aktualizácia tiež posilňuje vzťah Codexu s webom vďaka... prehliadač integrovaný priamo v aplikáciiNamiesto jednoduchého prijímania všeobecných textových inštrukcií môže agent prijímať príkazy priamo pre konkrétne prvky stránky.
Napríklad pri vývoji frontendu môže používateľ Vyberte webový komponent a popíšte zmenu. Používateľ chce niečo urobiť (napríklad zmeniť farbu, veľkosť textu alebo rozloženie bloku) a Codex rozumie pokynom v rámci daného vizuálneho kontextu. Vďaka tomu sa vyhnete nutnosti písať zdĺhavé pokyny vysvetľujúce, ktorá časť stránky je potrebné zmeniť.
Tento vstavaný prehliadač tiež umožňuje Codex Analyzujte obsah, zhromažďujte informácie a používajte ich ako kontext Pri iných úlohách, ako je dokumentovanie kódu, kontrola špecifikácií produktov alebo porovnávanie technickej dokumentácie, sa všetko vykonáva v rovnakom prostredí bez nutnosti prepínania medzi viacerými oknami operačného systému.
Generovanie a úprava obrázkov pomocou gpt-image-1.5
Ďalším pilierom novej verzie Codexu je integrácia modelu gpt-image-1.5 na vytváranie a úpravu obrázkov V samotnej desktopovej aplikácii môže agent generovať grafy, diagramy, makety alebo vizuálne náčrty z textu alebo kombináciou pokynov so snímkami obrazovky a úryvkami kódu.
Táto schopnosť je priamo zameraná na tímy pracujúce v dizajn produktov, používateľské rozhrania alebo prototypy videohierNapríklad vývojár môže zachytiť snímku obrazovky nedokončeného rozhrania, požiadať Codex o návrh redizajnu ponuky alebo novej farebnej schémy a získať vygenerované obrázky, ktoré zodpovedajú danému kontextu, bez toho, aby musel meniť nástroje.
Vďaka centralizácii všetkého v Codexe môžu agenti reťazenie úloh kódovania a dizajnuNapísať logiku funkcionality, aktualizovať zodpovedajúce frontendové rozhranie a vygenerovať vizuálnu maketu na prezentáciu tímu bez toho, aby ste museli opustiť pracovný postup alebo otvoriť externé aplikácie na úpravu grafiky.
Pamäť, kontext a automatizácia dlhodobých úloh
Okrem počítačového ovládania a generovania obrazu je veľkým cieľom OpenAI v tejto verzii vybaviť Codex... perzistentná pamäť a oveľa širšie riadenie kontextuNástroj dokáže opätovne použiť predchádzajúce konverzácie, uchovať dôležité informácie a v prípade potreby ich načítať na pokračovanie v projekte.
Funkcia pamäte, ktorá je vydaná v ukážkovej verzii, umožňuje Codexu zapamätať si osobné preferencie, časté opravy alebo údaje, ktoré bolo ťažké zhromaždiťZahŕňa to všetko od typického technologického balíka tímu až po spôsob organizácie priečinkov, najčastejšie používané formáty správ a značku, ktorá sa na GitHube zvyčajne používa pre určité typy problémov.
S týmto nahromadeným kontextom môže agent proaktívne navrhovať úlohyToto sa dá použiť na navrhnutie obnovenia nedokončeného projektu, odporúčanie čakajúceho refaktoringu alebo upozornenie používateľov na dlhodobé žiadosti o zmeny (pull requesty). Niektoré spoločnosti ho už používajú na sledovanie konverzácií v službách Slack, Gmail alebo Notion a na reakciu na určité udalosti.
Kódex môže tiež plánovať si prácu do budúcnosti a znovu sa aktivovať samostatne na dokončenie dlhodobých úloh. Napríklad dokáže spravovať frontu kontrol kódu niekoľko dní alebo týždňov, riešiť komentáre a aktualizovať dokumentáciu bez toho, aby ju vývojár musel neustále monitorovať.
Viac ako 90 doplnkov a vylepšená podpora pre vývojárov
Na dokončenie zmeny OpenAI pridala takmer 90 nových pluginov CodexuPatria sem integrácie s Microsoft Suite, GitLab Issues, Neon by Databricks, Render a Superpowers, ako aj podpora serverov MCP (Model Context Protocol). Cieľom je poskytnúť agentovi viac zdrojov kontextu a väčšie operačné možnosti.
Vďaka týmto pluginom môže Codex zhromažďovať informácie z rôznych služieb a konať na ich základe Z jedného pracovného priestoru môžete kontrolovať problémy v GitLabe, dotazovať údaje v prostredí Databricks, aktualizovať dokumenty balíka Office alebo interagovať so službami nasadenia bez toho, aby ste museli používateľa prepínať z platformy na platformu.
Na čisto technickej úrovni aktualizácia posilňuje typické pracovné postupy vývojárovCodex vám teraz pomáha kontrolovať žiadosti o zmeny (pull requesty), spravovať viacero kariet terminálu naraz, pripájať sa k vzdialeným vývojovým prostrediam cez SSH a otvárať súbory s bohatými ukážkami, či už ide o PDF, tabuľky, prezentácie alebo dokumenty v iných formátoch.
Toto všetko je sústredené v jednotnom zážitku, ktorý podľa samotnej OpenAI umožňuje rýchlejší pokrok. vo všetkých fázach životného cyklu softvéruOd napísania počiatočného kódu až po jeho testovanie, nasadenie, dokumentovanie a údržbu, s agentmi umelej inteligencie, ktorí neustále spolupracujú v rámci toho istého desktopového prostredia.
Dostupnosť, zameranie na vývojárov a situácia v Európe
Nová verzia Codexu sa už nasadzuje v desktopová aplikácia pre macOS Pre tých, ktorí sa prihlasujú pomocou účtu ChatGPT. Nie všetky funkcie vyžadujú rovnaký typ predplatného a niektoré pokročilé funkcie môžu závisieť od zakúpeného plánu, ako je to v prípade iných nástrojov OpenAI.
Thibault Sottiaux, riaditeľ spoločnosti Codex, vysvetlil, že táto aktualizácia Je určený najmä pre vývojárovHoci zámerom je neskôr rozšíriť ho na širšie publikum. Myšlienka je taká, že technické tímy budú prvé, ktoré využijú výhody nových agentov a automatizovaných pracovných postupov a časom tento model prenesú na kancelárske úlohy, správu dokumentov alebo osobnú produktivitu.
OpenAI zdôrazňuje, že využitie výpočtového výkonu a pamäte je implementované s... prístup k bezpečnosti a dodržiavaniu predpisovToto je obzvlášť dôležité v Európskej únii a Spojenom kráľovstve. Z tohto dôvodu bude trvať o niečo dlhšie, kým budú na týchto trhoch dostupné pokročilé funkcie prispôsobenia, kontextové návrhy, trvalá pamäť a priame ovládanie operačného systému.
V každom prípade spoločnosť tvrdí, že tento vývoj Codexu otvára dvere k... superaplikácia pre stolné počítače zameraná na inteligentnú automatizáciukde agenti umelej inteligencie nielen pomáhajú písať kód, ale aj koordinujú úlohy, prispôsobujú sa pracovnému štýlu používateľa a udržiavajú zložité projekty v chode dlhší čas. Pre vývojárov softvéru v Európe je posolstvo jasné: prichádzajú nové funkcie, ale s potrebnými úpravami, aby sa prispôsobili existujúcemu regulačnému rámcu.