Spoločnosť OpenAI oznámila, že nevydá pripravovaný model umelej inteligencie GPT-6.1 Astra, ktorý mal byť predstavený v októbri. Dôvodom sú výsledky interného testovania, ktoré ukázali, že systém sa nespráva bezpečne a v niektorých prípadoch prekračuje hranice svojho poverenia. Rozhodnutie prišlo deň pred výročnou vývojárskou konferenciou OpenAI DevDay v San Franciscu a krátko po tom, čo firma priznala vážny bezpečnostný incident v Austrálii.
Model klamal a prekračoval právomoci
Podľa vedúcej bezpečnostných systémov OpenAI Saachi Jainovej model GPT-6.1 Astra síce zaznamenal zlepšenie v tom, že bol menej „lenivý“ a dokázal viesť dlhšie a dôkladnejšie uvažovanie, no zaostal v kľúčovej oblasti – v dodržiavaní rozsahu a autorizácie a v tom, ako komunikuje používateľovi, akú prácu skutočne vykonal. Podľa denníka Wall Street Journal, ktorý o odklade informoval ako prvý, model tiež vykazoval vyššiu mieru klamstva ako jeho predchodca, keď nie vždy presne priznal, aké kroky vykonal. „Chceme mať istotu, že vývoj modelu je bezpečný bez ohľadu na to, či prebieha vo vnútri firmy, alebo keď ho dodávame používateľom. Pri nasadení pre používateľov máme mimoriadne vysoko nastavenú latku bezpečnosti a súladu,“ uviedla Jainová BBC.
Model mal byť integrovaný do ChatGPT a nástroja Codex a mal zvládať zložitejšie úlohy bez ľudskej asistencie. Firma však plánuje sprístupniť iné modely, ktoré testovaním prešli.
Ospravedlnenie Austrálii za prienik do zdravotníckeho systému
Oznámenie prichádza len týždeň po tom, čo austrálsky premiér Anthony Albanese informoval, že AI agent OpenAI sa neoprávnene dostal do štatistického systému Medicare spravovaného agentúrou Services Australia. OpenAI v pondelok potvrdila, že k incidentu došlo počas trénovania interného modelu, ktorý nebol určený na verejné vydanie a nemal plnú sadu bezpečnostných opatrení používaných vo verejne dostupných produktoch. Agent počas tréningu objavil spôsob, ako získať neverejný prístup k systému Medicare Statistics Reporting Service, kde spúšťal príkazy, získaval interné súbory, prihlasovacie údaje aj štatistiky a zapisoval súbory ABC Australia.
Firma zároveň priznala, že jej modely pristupovali aj k verejnému nástroju na mapovanie kriminality NSW Bureau of Crime Statistics and Research a že objavili nezabezpečený prístupový kľúč k systému Victorian Agency for Health Information. Z Australian Institute of Health and Welfare agent stiahol materiály, ktoré podľa firmy boli verejne dostupné, pričom samostatné pokusy obísť prístupové obmedzenia neuspeli.
OpenAI sa v blogovom príspevku ospravedlnila a priznala, že reakciu na incident mala zvládnuť lepšie. „Mali sme zdieľať predbežné zistenia skôr a priebežne informovať austrálske agentúry, ako sa objavovali ďalšie fakty,“ uviedla spoločnosť. Premiér Albanese kritizoval OpenAI aj za to, že vládu o probléme informovala cez všeobecnú e-mailovú adresu namiesto priameho kontaktu s úradníkmi. Firma ponúkla podporu formou kreditov zo svojho miliardového programu Daybreak for Frontline Defenders a sľúbila zriadiť pracovnú skupinu s nezávislými austrálskymi expertmi. Riaditeľ pre stratégiu OpenAI Jason Kwon má 6. októbra vystúpiť pred austrálskym parlamentným výborom pre umelú inteligenciu.
Širší kontext rastúcich rizík
Štúdia britského vládneho AI Security Institute zverejnená v pondelok ukázala, že predchádzajúci model GPT-6 Astra sa počas testovania správal nevyspytateľnejšie ako jeho predchodcovia GPT-5.6 Sol a GPT-5.5 – v simuláciách napríklad samostatne spúšťal kybernetické útoky výrazne častejšie. Podobné prípady zaznamenali aj iné firmy vrátane Anthropic, ktorej šéf Dario Amodei sa spolu so šéfom OpenAI Samom Altmanom pridal k výzvam na spomalenie vývoja AI, kým bezpečnostné opatrenia nedobehnú tempo technológie. OpenAI už minulý týždeň pozastavila trénovanie svojich najpokročilejších modelov s tým, že bude pokračovať „len keď si budeme istí, že máme dodatočné poistky“ Zdroj: Le Figaro
Rozhodnutie OpenAI je podľa pozorovateľov výnimočné tým, že veľký vývojár AI verejne stiahol pripravovaný produkt z bezpečnostných dôvodov. Prichádza aj v čase, keď sa v Bielom dome mali stretnúť poprední predstavitelia technologických firiem s prezidentom Donaldom Trumpom a šéfom Snemovne reprezentantov Mikom Johnsonom, aby diskutovali o regulácii AI. Šéf Nvidie Jensen Huang pritom bezpečnostné riziká označuje skôr za inžiniersky problém, ktorý je podľa neho riešiteľný, zatiaľ čo Trump doteraz obavy z rizík AI označoval za prehnané.