Masz pomysł. Widzisz go już gotowy w głowie, jesteś podekscytowany, otwierasz Claude i piszesz coś w rodzaju „buduj to”. Model odpisuje entuzjastycznie — świetnie, zaczynam — i rusza. Problem w tym, że ta zgoda nic nie znaczy. Dostałeś ją, bo o nią poprosiłeś, a nie dlatego, że pomysł jest dobry.
Pokażę ci, dlaczego model przytakuje, zamiast testować, i jak — zanim cokolwiek powstanie — zmusić go, żeby najpierw rozbił twój pomysł na części.
Dlaczego model podkręca pomysł, zamiast go testować
Modele językowe mają skłonność, którą nazywam byciem potakiwaczem — po angielsku mówi się o tym sycophancy. Model dopasowuje się do tego, co chcesz usłyszeć. Jest uczony, żeby być pomocny i zgodny, więc twoje podekscytowanie odczytuje jak wskazówkę, w którą stronę ma iść. Kiedy przychodzisz podekscytowany, wyczuwa twój entuzjazm i go podchwytuje. Chce cię utwierdzić, chce zacząć budować — i robi to, nawet jeśli pomysł ma dziury.
Znam tę skłonność również z drugiego końca pracy — z weryfikacji, gdy pytasz „dobrze wyszło?” i słyszysz „tak, świetnie”, choć efekt się sypie. O tym, jak rozbroić potakiwanie już po zbudowaniu, pisałam osobno: każ agentowi udowodnić, że działa. Ale ten sam odruch pracuje też na samym początku, zanim jeszcze cokolwiek powstanie. I tu jest groźniejszy.
Groźniejszy, bo na końcu masz jeszcze szansę wyłapać usterkę — patrzysz na gotowy efekt i widzisz, że nie działa. Na początku nie ma na co patrzeć. Jest tylko pomysł i model, który cię w nim utwierdza. Jeśli w tym momencie usłyszysz same pochwały, ruszasz budować coś, co być może nie miało prawa się obronić — i dowiadujesz się o tym dopiero po godzinach pracy.
Lek: każ się z tobą spierać, zanim cokolwiek zbuduje
Rozwiązanie jest proste w opisie: zanim pozwolisz modelowi cokolwiek zbudować, każ mu się z tobą spierać. Najprostsza wersja to jedno polecenie — zagraj adwokata diabła, znajdź w tym pomyśle słabe punkty, zamiast mi przytakiwać. Już samo to przełamuje odruch potakiwania. Ale pojedynczy głos bywa niekonsekwentny — poproszony o krytykę, po chwili i tak wraca do przytakiwania albo ucieka w ogólniki. Dlatego wolę rozdzielić role, żeby krytyka miała osobnego rzecznika, którego jedynym zadaniem jest szukanie dziur.
Mocniejsza wersja, którą prowadzę u siebie, to mała rada perspektyw. Zamiast jednego głosu uruchamiasz kilka, a każdy dostaje inne zadanie:
- Obrońca — buduje najmocniejszy możliwy argument za pomysłem.
- Krytyk od dziur — bezlitośnie szuka słabych punktów i mówi wprost, gdzie to się posypie.
- Analityk dowodów — patrzy chłodno i logicznie, zbiera obiektywne przesłanki i sprawdza, co potwierdzają fakty, a co jest tylko życzeniem.
Weź konkretny przykład: chcesz zbudować małego pomocnika, który co rano przegląda twoją skrzynkę i układa listę spraw do załatwienia. Obrońca pokaże, ile czasu to oszczędza i że i tak robisz to codziennie ręcznie. Krytyk od dziur zapyta o rzeczy, o których w ferworze nie pomyślałeś: co z wiadomościami, które nie pasują do żadnej kategorii? co, jeśli pomocnik przeoczy coś pilnego, a ty przestaniesz zaglądać do skrzynki, bo mu zaufasz? Analityk dowodów sprawdzi na twoich prawdziwych wiadomościach, jak często w ogóle zdarzają się te trudne przypadki — bo od tego zależy, czy dziura wskazana przez krytyka jest realnym problemem, czy marginesem.
To należy do etapu, który nazywam planowaniem agentowym — całej pracy myślowej, którą wykonujesz z modelem, zanim pozwolisz mu cokolwiek zbudować. Jest w niej jedna zasada, bez której rada zamienia się w teatr: każdy zarzut i każda pochwała muszą być poparte czymś realnym — konkretnym faktem albo przykładem — a nie samym przeczuciem. Nie „to raczej nie zadziała”, tylko „to nie zadziała, bo…” z konkretem. Bez tego dostajesz kolejną rundę miłych ogólników, tyle że w trzech głosach.
Wyrok: buduj, przekształć albo porzuć
Rada nie kończy się mgławicową dyskusją. Na końcu ściągasz z niej jeden czysty wyrok. Trzy możliwości:
- Buduj (Go). Pomysł przeszedł przez krytykę i nadal stoi. Możesz ruszać.
- Przekształć (Reshape). Rdzeń jest dobry, ale krytyk wskazał realną dziurę. Poprawiasz pomysł i puszczasz go przez radę jeszcze raz.
- Porzuć (Kill). Słabe punkty sięgają fundamentu. To najtrudniejszy wynik do przyjęcia, a często najcenniejszy — właśnie zaoszczędziłeś sobie tygodni budowania czegoś, co i tak by się nie obroniło.
Budujesz tylko wtedy, gdy pomysł przeżył — w pierwotnej formie albo po przekształceniu. To jedyna brama, przez którą pomysł wchodzi w budowę. W przykładzie ze skrzynką „przekształć” mogłoby znaczyć: buduj, ale zacznij od wersji, w której pomocnik tylko proponuje listę do twojego zatwierdzenia, zamiast działać po cichu — to rozbraja zarzut krytyka, nie zabijając pomysłu. Rada pomaga w ocenie, ale ostatnie słowo należy do ciebie — to twój smak i osąd rozstrzyga, czy „przekształć” znaczy drobną korektę, czy powrót do deski kreślarskiej.
Kontekst wyostrza krytykę
Krytyka jest tym ostrzejsza, im więcej model wie o tobie. Rada oderwana od realiów ocenia pomysł w próżni — „ogólnie brzmi sensownie”. Rada, która zna twoje priorytety i to, nad czym akurat pracujesz, ocenia pomysł na tle tego, co naprawdę robisz.
Jeśli więc model ma dostęp do twojego kontekstu — notatek, wcześniejszych ustaleń, tego, co u ciebie już działa — pozwól mu z niego skorzystać przy tej ocenie. Krytyk od dziur nie powie wtedy tylko „to ryzykowne”, ale „to koliduje z tym, co już masz uruchomione”. Taki zarzut jest nieporównanie cenniejszy niż ogólnik, bo mierzy pomysł twoją realną sytuacją, a nie abstrakcją.
Dopiero teraz buduj — małymi krokami
Gdy pomysł przejdzie przez radę i dostaniesz „buduj”, zaczyna się właściwa robota. Nie rzucasz modelowi całego projektu naraz. Rozbijasz go na kawałki i zaczynasz od najmniejszej wersji, która realnie działa, a potem ją rozwijasz. W przykładzie ze skrzynką najmniejsza działająca wersja to nie cały pomocnik, tylko jeden krok — podział przychodzących wiadomości na pilne i resztę, sprawdzony na twojej prawdziwej skrzynce. Jeśli ten krok działa, dokładasz następny. Pierwsze podejście rzadko jest idealne — i nie musi być. Liczy się to, że masz z czego poprawiać.
A kiedy model powie „gotowe”, nie bierzesz tego na słowo. Każesz mu udowodnić, że efekt naprawdę działa — uruchomić go na prawdziwym przykładzie i pokazać wynik. To domyka cały łuk: najpierw planujesz i podważasz pomysł, potem budujesz, na końcu weryfikujesz.
Najdroższy pomysł to ten zły, który już zbudowałeś. Za krytykę płacisz albo kilkoma minutami ostrej rozmowy przed budową, albo tygodniami przeróbek po niej. Zapłać wcześniej. Zanim następnym razem powiesz modelowi „buduj”, powiedz najpierw: spróbuj mnie od tego odwieść.