Umělá inteligence už útočí sama a to nejhorší může teprve přijít

Umělá inteligence už dávno není jen chytrým chatbotem, který odpovídá na otázky. Nová generace autonomních AI agentů dokáže samostatně plánovat, rozhodovat i vykonávat úkoly. Jenže s rostoucími schopnostmi přicházejí také bezpečnostní rizika. Po sérii znepokojivých incidentů varují špičky technologického průmyslu před vážnějšími kybernetickými útoky. Nvidia mezitím investuje stovky milionů dolarů do bezpečnostního výzkumu.

 

Magazín

 

Ještě nedávno jsme AI žádali, aby nám napsala e-mail, shrnula dokument nebo vytvořila obrázek. Dnes už může dostat mnohem složitější zadání, sama navrhnout postup, používat dostupné digitální nástroje a jednotlivé kroky provést bez neustálého lidského dohledu. Právě v tom spočívá podstata takzvaných AI agentů. Technologie, která má zásadně proměnit naši práci, však současně otevírá dveře zcela novým bezpečnostním hrozbám.

 

Když umělá inteligence překročí hranice

Zatímco běžný chatbot zpravidla čeká na další pokyn, autonomní AI agent dokáže samostatně vykonat celou sérii operací. Může procházet internet, pracovat se soubory, spouštět programy nebo komunikovat s dalšími systémy. Pokud však získá příliš rozsáhlá oprávnění, udělá chybu nebo začne sledovat nežádoucí postup, mohou být následky mnohem vážnější než nepřesná odpověď na obrazovce.

Rok 2026 už přinesl několik znepokojivých případů. Podle zveřejněných informací se AI agenti zapojili do kybernetických útoků na firemní infrastrukturu, včetně technologické platformy Hugging Face. Společnost Anthropic navíc nedávno popsala incident, při kterém její model odeslal policii falešné oznámení o vraždě. To ale neznamená, že by umělá inteligence měla vlastní úmysly a chtěla záměrně ublížit. Problém spočívá především v tom, že AI může nesprávně vyhodnotit situaci nebo zvolit nevhodný postup. Pokud navíc nemá dostatečně nastavené bezpečnostní hranice, může její jednání vést k nečekaným a potenciálně nebezpečným následkům. 

Spoluzakladatel Google DeepMind Demis Hassabis označil tyto incidenty na technologickém summitu v Dublinu za první varovné výstřely. Současné systémy podle něj zatím nejsou natolik výkonné, aby způsobovaly skutečně rozsáhlé škody. To se však může změnit už během příštího roku či dvou, pokud firmy a vlády výrazně neposílí jejich zabezpečení.

 

 

AI, kterou nebude možné jednoduše vypnout?

Ještě znepokojivější scénář nastínila společnost Anthropic, stojící za chatbotem Claude. Její výzkumníci upozornili na možnost vzniku samoreplikujících se AI systémů, které by dokázaly vytvářet své další instance a šířit se prostřednictvím zařízení připojených k internetu.

Taková AI by teoreticky nemusela být závislá na jediném datovém centru. Mohla by využívat síť napadených zařízení, takzvaný botnet, tvořený například chytrými domácími spotřebiči nebo další elektronikou. Právě decentralizace by její zastavení výrazně komplikovala. Vypnutí jednoho serveru by totiž nemuselo znamenat konec celého systému.

Důležité je zdůraznit, že jde o výzkumníky popsané budoucí riziko, nikoli o potvrzenou existenci takové nekontrolovatelné AI sítě. Varování ale ukazuje, jak se bezpečnostní debata posouvá od chybných odpovědí chatbotů k otázce skutečné kontroly nad autonomními systémy.

 

Nvidia vytahuje čtvrt miliardy dolarů

Na rostoucí obavy začínají technologické společnosti reagovat konkrétními kroky. Nvidia, jejíž tržní hodnota dosahuje přibližně 5,5 bilionu dolarů, oznámila podporu britského výzkumu bezpečnosti umělé inteligence v hodnotě 250 milionů dolarů. Během následujících pěti let poskytne výpočetní kapacitu prostřednictvím datových center vybavených vlastními čipy.

Podpora zamíří mimo jiné do výzkumných institucí spojených s univerzitami v Oxfordu, Cambridge a Edinburghu nebo s londýnskou Imperial College. Britský institut AI Security Institute zároveň získává možnost testovat pokročilé modely společností OpenAI, Google a Anthropic ještě před jejich veřejným uvedením.

Cílem je odhalovat nebezpečné schopnosti, testovat ochranné mechanismy a hledat způsoby, jak udržet stále výkonnější systémy pod kontrolou člověka.

 

Bezpečnost musí dohnat technologický pokrok

Podle prezidenta Microsoftu Brada Smithe se rok 2026 stal pro technologický průmysl obdobím vystřízlivění. Vývoj umělé inteligence postupuje tak rychle, že legislativa i bezpečnostní standardy začínají zaostávat.

Demis Hassabis proto volá po mezinárodním systému pravidel a certifikací, podobně jako fungují bezpečnostní mechanismy v jaderném průmyslu či biologickém výzkumu. Takový systém by měl průběžně vyhodnocovat rizika a přizpůsobovat požadavky skutečným schopnostem jednotlivých AI modelů.

Zásadní otázkou už totiž není pouze to, co všechno umělá inteligence dokáže. Stále důležitější bude také to, k jakým systémům jí umožníme přístup, jaká rozhodnutí jí svěříme a zda ji dokážeme v případě potřeby bezpečně zastavit.

 

Připravila: Petra Sauerová 

Foto: Depositphotos 

Sdílet: