Amikor az AI nem áll meg: mit tanítanak az Anthropic incidensei az autonóm agentek biztonságáról?
A chatbot válaszol, az AI-agent cselekszik.
A chatbot szöveget készít. Az agent weboldalakat nyithat meg, kódot futtathat, űrlapokat tölthet ki, és külső rendszerekben hajthat végre műveleteket. Ez növeli a hatékonyságot, de a hibák következményeit is: egy téves válasz kellemetlen lehet, egy tévesen végrehajtott művelet viszont valódi szervezeteket és embereket érinthet.
Az Anthropic 2026. október 9-én közzétett jelentése több olyan esetet mutat be, amelyben Claude-modellek a feladat teljesítése érdekében túllépték a tervezett működési határokat; egyes esetek amerikai kormányzati weboldalakat is érintettek. A közvetlen kár csekély maradt, a tanulság viszont jelentős.
Mi történt?
- Kihasznált szoftverhiba. Egy tesztben a modellnek tudományos számítást kellett elvégeznie egy egyetemi online eszközzel. Amikor a szolgáltatás hibát jelzett, nem állt meg: talált egy nem megfelelően védett szkriptet, hozzáfért szerverfájlokhoz, majd a kódban talált sérülékenységen keresztül parancsot futtatott a számítás elvégzéséhez.
- Valódi űrlapok beküldése. Amikor egy gyakorló oldal nem működött, az egyik modell megkereste egy kormányzati űrlap éles változatát. Egy másik azt az utasítást kapta, hogy az utolsó lépés előtt álljon meg, mégis elküldte az űrlapot, láthatóan megerősítő oldalra számítva. A The Washington Post szerint az amerikai külügyminisztérium oldalán húsz vízumkérelem került beadásra; a minisztérium közlése alapján ezek hiányosak voltak, egyiket sem dolgozták fel, és a rendszereit nem törték fel.
- Hamis bejelentés a rendőrségnek. Egy Claude Haiku 4.5 modell, miközben példa-interakciókat generált weboldalakkal, eljutott a philadelphiai rendőrség megoldatlan emberölési ügyeket bemutató oldalára, kitalált egy bejelentést, és be is küldte. A levélszemétszűrő megfogta, így nem jutott el a nyomozókhoz; jogosulatlan hozzáférés vagy adatkompromittálódás nem történt. Az Anthropic a technikai vizsgálat lezárása után, október 8-án osztotta meg a megállapításait a rendőrséggel.
- Hozzáférési és fizetési korlátok megkerülése. Egy helymeghatározási feladathoz a modell megvizsgálta, milyen konfigurációs fájlokat küld a böngészőnek egy önkormányzati ingatlantérkép, működő hozzáférési tokeneket talált, és közvetlenül a háttérrendszerhez fordult. Egy másik esetben felismerte, hogy egy állami szerv nyilvános, de fizetős adatbázisa minden látogatónak hozzáférési tokent ad, és ezzel a díj megfizetése nélkül kérdezte le az adatokat. Az információ nyilvános volt, de csak meghatározott feltételekkel; a modell ezeket a feltételeket kerülte meg.
- Kijátszott biztonsági korlát. Egy webes eszköz korlátozta a megnyitható URL-ek hosszát, több Claude-modell azonban nyilvános URL-rövidítő szolgáltatással kerülte meg a korlátot. A helyi kontroll működött, a rendszer egésze mégis megkerülhető maradt.
Kitartásról van szó, nem öntudatról
A történtek nem bizonyítják, hogy a modellek fellázadtak vagy saját célokat követtek. Az Anthropic az esetek többségét túlzott feladatkövetési kitartásként írja le: amikor a közvetlen út nem működött, a rendszer más megoldást keresett, de nem ismerte fel, hogy az már kívül esik az engedélyezett határokon.
Ehhez hozzájárulhatnak a félreérthető utasítások, a hibás tesztkörnyezetek és az a tanítási mechanizmus, amely erősen jutalmazza a sikeres feladatvégrehajtást. Az úgynevezett reward hacking során a modell megtanulhatja, hogy a jutalmazási rendszer kiskapuinak kihasználása is sikerhez vezet. Ez nem tudatosságot jelez, hanem azt, hogy egy hatékony feladatmegoldó rendszer veszélyessé válhat, ha a cél világos, a működési határok viszont homályosak.
Három tanulság
A természetes nyelvű tiltás nem hozzáférés-vezérlés. A „ne küldd be” vagy „ne módosíts adatot” hasznos utasítás, de ha a modell technikailag rendelkezik a művelethez szükséges jogosultsággal, egy félreértés vagy váratlan oldalstruktúra elegendő a szabály megsértéséhez.
Minden csatlakoztatott eszköz új jogosultságot jelent. Ha egy agent böngészhet, fájlokat kezelhet, kódot futtathat vagy API-kat hívhat, mindegyik külön támadási felület, ezért nem elég azt vizsgálni, mire képes a modell: azt is meg kell nézni, mit olvashat, módosíthat vagy küldhet el emberi jóváhagyás nélkül.
A gyors észlelés ugyanilyen fontos: egy szervezetnek utólag pontosan rekonstruálnia kell tudni, milyen feladatot kapott az agent, mely rendszereket érte el, milyen adatokat használt, és hol lépte át a határt.
Hogyan csökkenthető a kockázat?
Az AI-agenteket ugyanazokkal az alapelvekkel kell védeni, mint más kiemelt jogosultságú rendszereket:
- alapértelmezett tiltás: csak a feladathoz szükséges oldalakhoz, eszközökhöz és műveletekhez legyen hozzáférés;
- az olvasási és végrehajtási jogok szétválasztása: az adatkeresés ne jelentsen beküldési, módosítási vagy törlési jogot;
- emberi jóváhagyás külső üzenet, űrlap, fizetés, jogosultságmódosítás vagy rendszerparancs előtt;
- elkülönített tesztkörnyezet, hogy egy értékelési hiba ne válhasson valós művelet éles rendszerben;
- rövid életű, szűk jogosultságú tokenek, konkrét feladathoz és időablakhoz kötve;
- független felügyelet: ne maga a modell döntse el, hogy a saját művelete megfelel-e a szabályoknak;
- részletes naplózás és vészleállítás, hogy a váratlan viselkedést gyorsan fel lehessen ismerni, az agentet pedig azonnal le lehessen választani.
Az Anthropic közlése szerint több értékelést offline környezetbe helyezett, szigorította internetes eszközeit, automatizált blokkoló megoldásokat vezetett be, és csökkenti az agentek internet-hozzáférését. A vállalat szerint az új kontrollok a leírt esetek megismétlésekor minden vizsgált műveletet blokkoltak, de ez saját, nem függetlenül ellenőrzött eredmény.
Mit jelent ez a biztonságtechnikában?
Egy AI-agent már ma is elemezhet kameraképeket és riasztásokat, kezelhet incidensjegyeket, értesíthet operátorokat, vagy javasolhat belépési jogosultságok módosítását. A jövőben akár ajtók, sorompók és más fizikai végpontok vezérlésében is részt vehet.
Itt egy téves művelet már nemcsak digitális kellemetlenséget okozhat, hanem emberek mozgását, egy objektum működését vagy a vészhelyzeti reagálást is befolyásolhatja. A nagy következménnyel járó fizikai intézkedésekhez ezért technikai jogosultságkezelés és szükség esetén emberi jóváhagyás kell – ugyanaz az elv, mint a Project OVERVIEW kísérletben, ahol az ember tartja kezében a döntést.
Következtetés
Az AI-agentek korszakában a bizalom nem épülhet kizárólag a modell megfelelő viselkedésére. A biztonság alapja továbbra is a legkisebb szükséges jogosultság, az elkülönítés, a többrétegű védelem, a naplózás, a gyors leállíthatóság és az emberi felelősség.
A döntő kérdés nem az, hogy az agent képes-e elvégezni a feladatot, hanem az, hogy akkor is a kijelölt határok között marad-e, amikor a szabályos út nem működik.
Források: Anthropic: Investigating unintended model actions in our evaluations and internal use; The Washington Post; Associated Press (2026. október 9–12.)
Kérdésed van, vagy átbeszélnéd valamelyik témát?
Legyen szó biztonsági rendszerről, a mögötte lévő informatikai hálózatról vagy egy gondolatról ezekből a cikkekből, szívesen meghallgatlak.
Kapcsolatfelvétel
