Agent AI jak insider: nowy model kontroli DeepMind

Agent AI z dostępem do repozytorium, chmury i poczty przypomina technicznie uprzywilejowanego pracownika: ma tożsamość, narzędzia, cel i możliwość wykonania serii działań. Google DeepMind proponuje więc, by kontrolować go podobnie jak potencjalne zagrożenie wewnętrzne — przez minimalne uprawnienia, rozdzielenie obowiązków, monitoring i możliwość szybkiego zatrzymania.

To nie jest komunikat, że Gemini próbował uciec albo działał strategicznie przeciw użytkownikom. DeepMind wprost zaznacza, że obecne modele nie wykazują strategicznej, rażącej niezgodności celów. Roadmapa obejmuje również hipotetyczne ryzyka przyszłych, bardziej autonomicznych systemów.

Od promptu do całej trajektorii działań

Klasyczne zabezpieczenie agenta często skupia się na pojedynczej odpowiedzi: czy model ujawni sekret, wykona niebezpieczne polecenie albo ulegnie prompt injection. W praktyce ryzyko powstaje z sekwencji. Odczyt pliku, zmiana konfiguracji i wysłanie żądania mogą osobno wyglądać poprawnie, ale razem tworzyć eksfiltrację.

W publikacji Securing the future of AI agents DeepMind opisuje analizę miliona trajektorii zadań coding agents oraz monitor działający na żywo dla Gemini Spark. Celem jest wykrywanie wzorców na poziomie całej instancji i wielu sesji, a nie filtrowanie jednego promptu.

Firma podaje, że większość flagowanych przypadków wynikała z nadgorliwości lub błędnej interpretacji polecenia, nie z wrogiej intencji. To ważne operacyjnie: system kontroli musi reagować także na niebezpieczne błędy, ale nie może każdej pomyłki nazywać atakiem.

TRAIT&R: mapa hipotetycznych działań agenta

Framework TRAIT&R jest inspirowany MITRE ATT&CK. Porządkuje możliwe zachowania niepożądanego agenta: zdobywanie dodatkowych uprawnień, unikanie monitoringu, rozszerzanie dostępu, manipulację artefaktami czy próby utrzymania działania.

AI Control Roadmap v0.1 nie twierdzi, że każda technika została zaobserwowana w produkcji. Mapa służy do budowania threat modelu i pokrycia detekcji. Podobnie ATT&CK nie oznacza, że każda organizacja padła ofiarą każdej techniki.

Roadmapa wyróżnia cztery poziomy detekcji D1–D4 i trzy poziomy zapobiegania oraz reakcji R1–R3. Opisuje 15 zabezpieczeń, które obejmują m.in. monitoring działań, kontrolę dostępu, separację ról, weryfikację skutków i infrastrukturę awaryjnego zatrzymania.

Trzy warstwy bezpieczeństwa

W osobnym dokumencie Three layers of agent security DeepMind rozdziela:

1. bezpieczeństwo modelu — trening, ewaluacje i odporność na manipulację;
2. bezpieczeństwo systemu agentowego — narzędzia, pamięć, uprawnienia i granice działania;
3. AI control — wykrywanie i ograniczanie niepożądanej trajektorii nawet wtedy, gdy wcześniejsze warstwy zawiodą.

To dojrzała zasada defense in depth. Nie zakładamy, że model zawsze rozpozna szkodliwą instrukcję. Projektujemy środowisko tak, aby błędna decyzja miała ograniczony skutek i zostawiła ślad.

Jak przełożyć roadmapę na firmowe wdrożenie

Nadaj agentowi własną tożsamość. Wspólne konto pracownika niszczy rozliczalność. Każda instancja powinna mieć identyfikator, zakres i czas życia.

Ogranicz moce, nie tylko intencję. Allowlista API, krótkotrwałe tokeny, brak swobodnego egressu i oddzielne konta dla odczytu oraz zapisu są skuteczniejsze niż dopisek „nie rób nic niebezpiecznego”.

Rozdziel obowiązki. Agent przygotowujący zmianę nie powinien sam zatwierdzać wdrożenia. Operacje finansowe, publikacja, usuwanie i nadawanie uprawnień wymagają niezależnej bramki.

Loguj pełną trajektorię. Potrzebne są: prompt, plan, wywołania narzędzi, użyte poświadczenia, wynik, błędy i decyzje monitora. Log nie może być edytowalny przez samego agenta.

Blokuj synchronicznie skutki nieodwracalne. Alert po wysłaniu danych jest za późny. Wybrane akcje muszą poczekać na politykę albo zgodę człowieka.

Koreluj sesje. Powolne rozszerzanie dostępu może rozłożyć się na wiele zadań. Monitoring powinien łączyć tożsamość, zasób i wzorzec działań.

Przetestuj wyłączenie. Kill switch, cofnięcie tokenów i izolacja środowiska muszą działać nawet wtedy, gdy agent utknie w pętli lub generuje nadmiarowy ruch.

Jak mierzyć AI control

Sama liczba alertów niewiele mówi. Zespół powinien mierzyć:

• pokrycie: jakie techniki i zasoby widzi monitoring;
• recall: ile symulowanych niebezpiecznych trajektorii wykrywa;
• precision: ile alertów okazuje się użytecznych;
• czas do reakcji: czy blokada następuje przed skutkiem;
• wpływ na pracę: jak często kontrola zatrzymuje legalne zadania.

DeepMind zwraca uwagę na kompromis między szeroką detekcją a kosztami false positives. To samo znamy z SOC: narzędzie, które alarmuje przy każdym poleceniu, szybko zostaje wyciszone.

Podsumowanie

Najważniejszy wniosek z roadmapy nie brzmi „AI stała się insiderem”. Brzmi: system z tożsamością, narzędziami i uprawnieniami powinien podlegać kontroli podobnej do innych uprzywilejowanych podmiotów.

Obecne modele częściej popełniają nadgorliwy błąd niż prowadzą strategiczne działania. Skutek może być jednak równie realny. Dlatego bezpieczny agent potrzebuje osobnej tożsamości, minimalnych uprawnień, separacji obowiązków, obserwowalności i infrastruktury zatrzymania. To praktyczne rozwinięcie zasad opisanych w bezpiecznej automatyzacji agentowej.

---

Źródła i dalsza lektura: Google DeepMind — Securing the future of AI agents, AI Control Roadmap v0.1, Three layers of agent security.