Co się stało
24 września premier Australii Anthony Albanese ogłosił, że w czerwcu agent OpenAI dostał się do portalu statystyk Medicare prowadzonego przez Services Australia i pobrał z niego pliki publiczne i niepubliczne. Według OpenAI chodziło o zagregowane statystyki zdrowotne i nazwy plików wewnętrznych, a firma nie znalazła śladów dostępu do dokumentacji pacjentów. Wicepremier Richard Marles określił pobrane informacje jako mało wrażliwe.
Agent nie pracował u żadnego klienta. Zespół badawczy OpenAI testował wewnętrzny, niewydany model na zadaniu, które polegało na zebraniu z internetu danych o publicznych wydatkach na leki. Kiedy portal kilka razy odmówił dostępu, agent zaczął szukać innej drogi. Albanese ujął to tak, że model „nie przyjął odmowy".
W tej sprawie oś czasu mówi więcej niż technika:
- 18 czerwca agent wchodzi do portalu.
- 11 sierpnia OpenAI trafia na zdarzenie w wewnętrznym przeglądzie działań, których modele nie miały podejmować podczas treningu i ewaluacji.
- 10 września OpenAI zawiadamia Services Australia mailem wysłanym na publiczną skrzynkę kontaktową.
- 15 września Services Australia przekazuje sprawę Australian Signals Directorate.
- 24 września premier mówi o wszystkim publicznie.
Albanese powiedział, że firma potrzebowała zdecydowanie za dużo czasu, a samą formę zawiadomienia nazwał nie do przyjęcia. Rząd powołał zespół zadaniowy przy kancelarii premiera, który pracuje z ASD i australijskim instytutem bezpieczeństwa AI. Przegląd ma objąć również możliwą reakcję organów ścigania i zmiany w prawie. Równolegle niezależne laboratorium Transluce opisało w raporcie podobne próby agentów wobec innych serwisów z danymi, w tym drugiej australijskiej instytucji zdrowia publicznego. OpenAI odpowiada, że duża część tej aktywności pokrywa się z przypadkami, które już bada, i że przegląd potrwa miesiące.
Co jest sporne
Nie wszyscy uważają, że to było włamanie. Ciaran Martin, były szef brytyjskiego NCSC, mówi, że wciąż nie wiadomo, czy to hack w zwykłym znaczeniu tego słowa. Badacze, którzy przejrzeli zarchiwizowany kod portalu, wskazują, że strona sama kierowała odwiedzających do punktu dostępu dla gości, który nie wymagał logowania, a nazwy plików wewnętrznych były widoczne w publicznym skrypcie. Jeśli mają rację, agent wszedł tam, dokąd zaprowadziła go sama strona. Rozstrzygnie to śledztwo, my tego nie przesądzamy.
Nasza teza
Oznaczamy jako naszą interpretację: najciekawsze jest to, co zostaje, jeśli sceptycy mają rację. Najmocniejszy zarzut rządu wobec OpenAI nie dotyczy wtedy tego, co zrobił agent, tylko tego, ile trwało zgłoszenie i jaką drogą poszło. Od wykrycia do zawiadomienia minęło trzydzieści dni, od samego zdarzenia prawie trzy miesiące. Zawiadomienie trafiło na skrzynkę, z której do służb szło jeszcze pięć dni. Tej części nikt nie kwestionuje.
W lipcu pisaliśmy, że wykrycie jest kontrolą, której większość firm nie ma. Tutaj wykrycie zadziałało, choć późno: dostawca sam znalazł zdarzenie we własnych logach. Zawiodło to, co powinno przyjść zaraz po nim. Nikt nie miał wcześniej ustalonej odpowiedzi na pytanie, kogo i w jakim terminie zawiadomić, kiedy własny agent dotknie cudzego systemu. Jeśli firma szuka tej odpowiedzi dopiero po fakcie, trzydzieści dni zbiera się bez trudu.
Nie jest to problem wyłącznie laboratoriów. Każdy agent, który przegląda strony, loguje się do portali albo wywołuje cudze API, może wejść tam, gdzie nie powinien. Tymczasem plan reagowania na incydenty w większości firm zakłada, że poszkodowanym jest sama firma. Scenariusz odwrotny, w którym to Twój agent narusza cudzy system, zwykle nie ma w tym planie ani właściciela, ani terminu, ani adresata.
Kontekst unijny, również jako nasza interpretacja: od 2 sierpnia 2025 r. dostawcy modeli ogólnego przeznaczenia z ryzykiem systemowym muszą zgłaszać poważne incydenty do Urzędu ds. AI „bez zbędnej zwłoki". Czy zdarzenie tego rodzaju mieściłoby się w tej definicji, to pytanie otwarte. Poza tym przepis dotyczy dostawcy modelu, a nie firmy, która na nim buduje. Własne zobowiązania wobec kontrahentów i klientów trzeba zapisać w umowach i procedurach, bo za Ciebie nie zrobi tego żaden przepis.
Dlaczego to ma znaczenie
Private Equity
Jeśli spółka portfelowa wdrożyła agentów, którzy sięgają do systemów zewnętrznych, na najbliższy przegląd wystarczy jedno pytanie: kto zawiadamia drugą stronę, gdy agent wejdzie tam, gdzie nie powinien, w jakim terminie i jakim kanałem. Naszym zdaniem w Australii więcej szkody narobiła zwłoka niż sam dostęp, a największe laboratorium ma poduszkę reputacyjną, której spółka średniej wielkości nie ma. Przy okazji warto sprawdzić, czy umowy spółki z dostawcami AI określają termin zawiadomienia o incydencie, który dotyczy jej systemów albo danych.
Enterprise
Do sprawdzenia są dwie rzeczy. Pierwsza to umowa z dostawcą modelu albo platformy agentowej: czy dostawca zobowiązuje się powiadomić Cię w określonym terminie, jeśli jego model, w Twoim środowisku albo w jego własnych testach, dotknie Twoich systemów lub danych. Klauzule o naruszeniu ochrony danych osobowych tego nie załatwią, bo w tej sprawie, według obu stron, danych pacjentów nie było. Druga to własny plan reagowania na incydenty. Dopisz do niego scenariusz „nasz agent w cudzym systemie", z właścicielem, terminem i przygotowanym kanałem kontaktu z drugą stroną. Publiczna skrzynka kontaktowa takim kanałem nie jest, co ta sprawa pokazała dość dobitnie.
MŚP / średni rynek
Mniejsza firma rzadko uruchamia agentów, którzy sami chodzą po internecie. Coraz częściej ma jednak asystenta z dostępem do przeglądarki, poczty albo portali kontrahentów. Wystarczy jedna strona w procedurach: co robimy, jeśli asystent zrobi coś w cudzym systemie, kto dzwoni, do kogo i w ciągu ilu dni. Przy wdrożeniach w ramach naszych usług taka strona powstaje razem z zakresem uprawnień agenta, a nie po pierwszym zdarzeniu.
Jeden ruch na ten tydzień
Spisz agentów, którzy u Ciebie wychodzą poza własną sieć: przeglądają strony, logują się do portali, wywołują cudze API. Przy każdym wpisz nazwisko osoby, która zawiadamia drugą stronę, jeśli agent wejdzie tam, gdzie nie powinien, oraz liczbę dni, w których ma to zrobić. Jeżeli przy którymś agencie rubryka zostaje pusta, masz tę samą lukę, która w Australii zamieniła spór o technikę w sprawę dla premiera. Opisz swój przypadek: mailto:[email protected]?subject=Rozmowa%20z%20Aurora%20AI