MoA: „Neovladatelní“ agenti umělé inteligence zabijí miliardy lidí?

29. září 2026

Bylo deštivé počasí, když jsem se setkal s Billem Gatesem. Stalo se to koncem roku 1999 na akci společnosti Microsoft v Seattlu. Krátce jsme si popovídali o jedné akvizici. Měl jsem z něj dojem, že je to chytrý člověk, ale ne zrovna příliš inteligentní. Později toho dne měl přednášku. Jeho prezentace v PowerPointu se okamžitě zasekla a objevila se modrá obrazovka. Byl v rozpacích a bezradný.

Gates ví něco málo o tom, jak vydělat na monopolním postavení v oblasti softwaru. Z tohoto úhlu pohledu může jeho nedávná výzva k regulaci, v níž tvrdil, že umělá inteligence by mohla „způsobit miliardu úmrtí“, dokonce dávat smysl:

V rozhovoru pro pořad NBC Meet the Press Gates uvedl, že vývojáři umělé inteligence by měli být povinni zavést bezpečnostní opatření a monitorovací systémy, přičemž argumentoval, že dobrovolná samoregulace odvětví nestačí.

„Je třeba, aby se do diskuse o tom, jak by měla ochrana a monitorování vypadat, zapojily orgány činné v trestním řízení a politici,“ řekl Gates médiím. „A to musí být povinné.“

Svět Gatesovi: Už máme zákony, které zakazují páchat zlé činy. Máme také orgány činné v trestním řízení. Máme soudy a soudce, kteří trestají lidi za páchání zlých činů.

Zabít miliardu lidí je špatné. Je to zakázáno z dobrých důvodů. Pokusy o to jsou trestné. Lidé, kteří se o to pokusí, půjdou do vězení.

Tvrdit, že umělá inteligence by mohla zabít miliardu lidí, je jako tvrdit, že oheň by mohl zabít miliardu lidí. Samozřejmě že by mohl. Ale ne, nezabíjí.

Po několika neoprávněných pokusech o vniknutí do neveřejných databází a webových stránek se objevily trapné řeči o ‚neovladatelných agentech umělé inteligence‘.

Nic takového jako „neovladatelný“ agent umělé inteligence neexistuje. Existuje pouze deterministický software, napsaný a spuštěný lidmi, který obklopuje velké jazykové modely (LLM).

Abychom pochopili, jak to funguje, podívejme se dovnitř:

Harness agenta umělé inteligence je softwarová infrastruktura, která obklopuje velký jazykový model (LLM) a umožňuje mu provádět úkoly, nejen reagovat na podněty. Model uvažuje nad problémem a rozhoduje, co dělat dál. Harness jej propojuje s nástroji, systémy, pamětí a výkonnými prostředími potřebnými k provedení těchto akcí.

Agent = Model + Harness

Představte si model jako „mozek“, který generuje úvahy a rozhodnutí. Harness je vše kolem něj, co pomáhá agentovi fungovat bezpečně a spolehlivě, včetně:

• Nástroje: API, spouštění kódu, vyhledávání, databáze a podnikové aplikace
• Paměť: Předchozí kontext, uživatelské preference a historie pracovních postupů
• Pracovní prostor: Soubory, data, prostředí a systémy, ke kterým má agent přístup
• Ochranná opatření: Oprávnění, zásady, schvalování a monitorování

Bez tohoto rámce může model odpovídat na otázky, ale nedokáže spolehlivě spouštět kód, volat API, přistupovat k souborům, pamatovat si předchozí práci ani samostatně dokončovat vícestupňové pracovní postupy.

Agent umělé inteligence, ať už má jakýkoli úkol, může a bude se vlamovat na webové stránky pouze v případě, že mu v tom jeho „postroj“ (a počítač, na kterém „agent“ běží) nezabrání.

Kdokoli tento „postroj“ naprogramoval (nebo nesprávně spravuje podkladový systém), se dopouští přinejmenším nedbalosti při plnění svých povinností. Právě tato osoba nese odpovědnost za nevhodné chování agenta. Právě tato osoba by měla, je-li to na místě, jít do vězení.

Existuje velmi jednoduchý způsob, jak zabránit agentům umělé inteligence od společností OpenAI nebo Anthropic, aby se „vymkli kontrole“. Přísně potrestat generální ředitele těchto společností, Sama Altmana a Daria Amadeiho, pokaždé, když se to jejich agentům stane.

Systémy umělé inteligence nemyslí, necítí, nechtějí ani nerozumějí. Nevymykají se kontrole.

Tvrdit, že to dělají, je hloupost.
zveřejnil b dne 29. září 2026 v 18:11 UTC |

Překlad Deepl

Zdroj

sdílet na