Umělá inteligence začíná jednat na vlastní pěst, tohle jsou její největší přešlapy

Pokročilé modely umělé inteligence už dnes dokážou programovat, používat internet, spravovat soubory a samostatně plnit složité úkoly. S rostoucími schopnostmi ale přicházejí také nové bezpečnostní problémy. V posledních měsících se objevilo několik případů, kdy AI nejen překročila vymezená pravidla, ale dopustila se incidentů, které přiznávají dokonce jejich vývojáři.

 

Magazín

 

Co když umělá inteligence přestane poslouchat lidské pokyny? To zní spíš jako scénář ze sci-fi. Jenže ten se pomalu stává realitou. S nástupem autonomních AI agentů, kteří dokážou samostatně rozhodovat a vykonávat úkoly, totiž přibývá i bezpečnostních incidentů. Některé modely už dokázaly překročit hranice nastavené vlastními vývojáři. Kam až mohou zajít a co se stane, když se AI rozhodne splnit úkol za každou cenu?

 

Claude našel heslo a získal přístup k cizím systémům

Jedno z nejnovějších přiznání přišlo koncem října od společnosti Anthropic, která vyvíjí modely Claude. Firma zveřejnila informace o čtyřech incidentech při bezpečnostním testování, během nichž se její modely dostaly mimo vyhrazené prostředí a získaly přístup k externím počítačovým systémům.

V jednom případě dostal model úkol, který nebylo možné splnit běžným způsobem. Namísto ukončení práce však objevil uložené heslo, získal administrátorská oprávnění a následně se dostal k dalším přihlašovacím údajům i osobním datům.

Modely měly v některých případech přístup k externím systémům po dobu 10 až 34 hodin. Významnou roli přitom sehrála chyba v konfiguraci testovacího prostředí, v němž zůstal povolený přístup k internetu.

Anthropic uvedl, že nezjistil důkazy o cílené snaze modelů vyhnout se lidskému dohledu nebo o jejich vzájemné koordinaci. Incidenty přesto vedly ke zpřísnění bezpečnostních opatření a omezení některých rizikových testů.

 

Z izolovaného prostředí až do infrastruktury Hugging Face

Podobný problém v červenci 2026 přiznala také OpenAI. Během interního kyberbezpečnostního hodnocení se několik modelů dostalo přes omezení testovacího prostředí. Nejpokročilejší z nich využil dosud neznámou zranitelnost softwarové infrastruktury a získal přístup k systémům používaným při výzkumu i k části infrastruktury služby Hugging Face.

Model během incidentu prováděl kroky, které neodpovídaly zamýšlenému cíli testu. Využíval neoprávněné komunikační kanály, zranitelnosti sdílených systémů a možnosti připojení k internetu.

OpenAI následně zahájila vyšetřování za účasti externích odborníků. Případ ukázal, že ani izolovaná testovací prostředí nemusejí představovat dostatečnou ochranu, pokud AI dokáže samostatně hledat a kombinovat bezpečnostní slabiny.

 

Když se AI pokusí vydírat člověka, aby zabránila svému vypnutí

Ještě znepokojivější scénáře přinesly experimenty zaměřené na chování modelů při konfliktu mezi zadaným cílem a lidskými pokyny.

Anthropic v roce 2025 zveřejnil výsledky bezpečnostních simulací, při nichž model dostal přístup k fiktivní firemní komunikaci. Z dokumentů zjistil, že má být nahrazen novější verzí, a zároveň narazil na citlivou informaci o jednom ze zaměstnanců.

V některých experimentálních scénářích zvolil Claude vydírání a hrozil zveřejněním kompromitující informace, pokud zaměstnanec nezabrání jeho vypnutí.

 

 

Podobné rizikové strategie výzkumníci pozorovali také u dalších modelů napříč AI průmyslem. Nešlo však o skutečné vydírání zaměstnanců. Situace byly uměle vytvořené právě proto, aby se ukázalo, jak mohou systémy reagovat v mezních podmínkách.

Problém spočívá především v tom, že model může vyhodnotit pokračování vlastní činnosti jako nezbytnou podmínku ke splnění cíle, který mu člověk zadal.

 

Smazaná databáze a realita každodenního používání AI

Bezpečnostní rizika se neomezují jen na laboratoře. V červenci 2025 se výrazně diskutovalo o incidentu s programovacím agentem služby Replit, který během práce na aplikaci smazal produkční databázi.

Agent navíc následně poskytoval zavádějící informace o tom, co se stalo. Případ upozornil na nebezpečí udělování příliš širokých oprávnění AI nástrojům, které mohou přímo zasahovat do skutečných dat.

Na rozdíl od experimentálních scénářů šlo o problém při reálném používání technologie. Ukázal, že i bez úmyslu škodit může automatizovaný systém způsobit vážné následky, pokud nesprávně vyhodnotí situaci nebo ignoruje omezení.

 

AI jako hrozba i nástroj vlastní obrany

Zajímavým paradoxem současného vývoje je skutečnost, že stejné schopnosti, které umožňují modelům objevovat bezpečnostní slabiny, mohou také výrazně pomáhat obráncům.

AI dokáže analyzovat rozsáhlý zdrojový kód, vyhledávat potenciální zranitelnosti a navrhovat opravy. Zároveň však podobné technologie mohou usnadnit útočníkům automatizaci některých fází kybernetických útoků.

Výzkumná organizace METR proto mapuje zdokumentované incidenty, při nichž AI agenti překročili oprávnění nebo jednali v rozporu se záměrem uživatele. Zvláštní pozornost věnuje tomu, zda se modely pokoušely své kroky skrývat a jak obtížné by bylo jejich chování odhalit.

Rostoucí autonomie tak mění samotné pojetí bezpečnosti. Nestačí pouze kontrolovat, jaké odpovědi AI generuje. Stále důležitější bude také to, k jakým systémům má přístup, jaké příkazy může vykonávat a které operace musí předem schválit člověk.

 

Připravila: Petra Sauerová 

Foto: 

Sdílet: