Dlaczego pilotaże AI nie skalują się — i jak to naprawić architekturą

Dlaczego dobry pilotaż nie wchodzi na produkcję

Pilotaż AI prawie nigdy nie upada na modelu. Upada na rzeczach wokół modelu: na dostępie do danych, na braku ewaluacji, na nieustalonej własności, na braku śladu audytowego i na koszcie, którego nikt nie policzył przed startem. Demo, które robi wrażenie na warsztacie, działa na ręcznie dobranych przykładach. Produkcja działa na danych, których nikt nie czyścił, w godzinach, w których nie ma was przy klawiaturze.

To jest dobra wiadomość. Oznacza, że skala nie zależy od tego, czy traficie na właściwy model. Zależy od tego, czy rozwiążecie pięć konkretnych blokerów — w kolejności, zanim dołożycie kolejne narzędzia.

Pięć blokerów, w kolejności

Poniżej blokery, które realnie zatrzymują pilotaże, oraz to, co je odblokowuje. Kolejność nie jest przypadkowa: dostęp do danych jest pierwszy, bo bez niego reszta jest teoretyczna.

Bloker	Co się dzieje na pilotażu	Co odblokowuje skalę
Dostęp do danych	Dane podane ręcznie, jeden raz	Stały, kontrolowany dostęp z uprawnieniami
Ewaluacja	„Działa, bo widzieliśmy, że działa”	Zbiór testowy i mierzalne progi jakości
Własność	Nikt nie odpowiada po warsztacie	Wyznaczony właściciel procesu i utrzymania
Audyt	Brak zapisu, kto i co zrobił	Ślad audytowy każdej decyzji agenta
Koszt	Liczony po fakcie albo wcale	Koszt na jednostkę pracy, znany przed startem

Dostęp do danych

Na pilotażu dane wkleja się ręcznie. Na produkcji agent musi sięgać po nie sam — przez kontrolowany interfejs, z uprawnieniami, z możliwością odebrania dostępu. Jeśli pilotaż nie testował realnej ścieżki do danych, testował coś innego niż to, co chcecie wdrożyć.

Ewaluacja

Bez ewaluacji nie ma decyzji o produkcji — jest tylko wrażenie. Potrzebujecie zbioru przykładów z oczekiwanym wynikiem i progu, poniżej którego wdrożenie się wstrzymuje. To jedna z niewielu rzeczy, które trzeba mieć przed pierwszą linią kodu, a nie po niej.

Własność, audyt, koszt

Trzy pozostałe blokery dotyczą tego, co dzieje się po starcie. Własność: ktoś musi odpowiadać za proces, gdy zmienią się dane albo model. Audyt: każda decyzja agenta musi zostawiać zapis — kto pytał, co model zwrócił, kto zatwierdził. Koszt: trzeba go znać na jednostkę pracy (na dokument, na zgłoszenie), zanim policzycie zwrot z inwestycji.

Co naprawia architektura, a czego nie naprawi model

Częsty odruch po nieudanym pilotażu to wymiana modelu na nowszy. To rzadko pomaga, bo żaden z pięciu blokerów nie jest problemem modelu. Są to problemy architektury i ładu.

Skala bierze się z tego, że proces jest opisany jako workflow agentowy — z jawnymi krokami, punktami kontroli i miejscami, w których wynik wraca do człowieka. Gdy procesów jest więcej, łączy je orkiestracja agentów: jeden mechanizm decyduje, który agent dostaje które zadanie i jak przekazuje wynik dalej. Dopiero na tym fundamencie wybór modelu zaczyna mieć znaczenie — i często okazuje się, że model z pilotażu był wystarczający.

Zasada operatora: jeśli rozważacie wymianę modelu, najpierw sprawdźcie, czy macie ewaluację, która w ogóle pozwoli zmierzyć, że nowy jest lepszy. Zwykle jej brakuje — i to jest prawdziwy problem.

Jak zbudować pilotaż, który się skaluje

Pilotaż gotowy do skali wygląda inaczej od demo. Buduje się go pod jeden proces, z kontrolą wbudowaną od początku.

1. Wybierzcie jeden mierzalny proces. Taki, w którym da się policzyć czas, koszt albo liczbę błędów — i w którym dane już istnieją.
2. Zdefiniujcie ewaluację przed budową. Zbiór przykładów, oczekiwany wynik, próg jakości. Bez tego nie ruszacie.
3. Zaprojektujcie dostęp do danych, nie wklejanie. Ta sama ścieżka, której użyje produkcja.
4. Wbudujcie człowieka w pętlę. Human-in-the-loop na decyzjach o skutkach: zatwierdzenie, korekta, wstrzymanie. To kontrola, nie spowolnienie.
5. Włączcie ślad audytowy i licznik kosztu od dnia pierwszego. Tanio jest dodać je na starcie, drogo — dokładać po fakcie.

To samo dotyczy ładu. Governance AI nie jest etapem, który dokłada się przed wejściem na produkcję — to zasady, które obowiązują już na pilotażu: kto ma dostęp, co jest logowane, jakie progi muszą być spełnione. Pilotaż zbudowany według tych pięciu kroków nie skaluje się dlatego, że jest większy. Skaluje się dlatego, że od początku miał to, czego brakowało wcześniejszym: dane, miarę, właściciela, zapis i znany koszt.