Tę kartę otwierasz wtedy, gdy na rynek wchodzi narzędzie z obietnicą, że dorównuje najlepszym modelom. Może to być orkiestrator, czyli warstwa, która za jednym API rozdziela zadanie między modele różnych dostawców, albo po prostu nowy model z efektownym wynikiem w testach porównawczych. Karta nie rozstrzyga, czy narzędzie jest dobre. Pozwala sprawdzić, czy jest lepsze od tego, czego używasz dziś, na twojej pracy i za twoje pieniądze.
Bloki idą w kolejności testu: najpierw zadania, potem sposób oceny, pomiar, pułapki interpretacji, integracja, a na końcu decyzja.
1. Zapisz, co dokładnie sprawdzasz
Deklaracja producenta to punkt wyjścia, nie wynik. Zanim cokolwiek uruchomisz, przepisz ją dosłownie i oddziel to, co twierdzi producent, od tego, co chcesz wiedzieć ty.
- [ ] Zapisz deklarację producenta jednym zdaniem i dopisz, na jakich testach porównawczych została zmierzona.
- [ ] Oznacz ją wprost jako deklarację, dopóki nie potwierdzisz jej na własnych zadaniach.
- [ ] Ustal, czy to nowy model, czy warstwa zarządzająca innymi modelami; to zmienia, czego możesz się spodziewać.
- [ ] Wybierz punkt odniesienia: model albo narzędzie, którego używasz dziś do tej samej pracy.
- [ ] Zapisz, jaki wynik skłoniłby cię do zmiany; bez tego każdy wynik da się potem uznać za zachęcający.
Test bez zapisanego progu zmiany kończy się wrażeniem, a nie decyzją.
2. Zbuduj zestaw zadań z obiektywnym wynikiem
Skala od jednego do dziesięciu zaprasza gust. Zadania typu zaliczone albo niezaliczone zostawiają mniej miejsca na interpretację i dają porównanie, które obroni się przed kimś sceptycznym.
- [ ] Zbierz zadania z własnej pracy, nie z materiałów producenta.
- [ ] Przy każdym zadaniu zapisz warunek zaliczenia, który da się sprawdzić bez pytania ciebie.
- [ ] Rozłóż zestaw na rodzaje: łamigłówki, zadania z pułapką, praca według specyfikacji, cięższe algorytmy albo ich odpowiedniki w twojej dziedzinie.
- [ ] Dodaj kilka prostych zadań, które dzisiejsze narzędzie robi w kilka sekund; pokażą koszt narzutu na koordynację.
- [ ] Podziel zestaw na fale i oceniaj je po kolei, żeby wcześnie zobaczyć, czy test idzie w sensowną stronę.
Proste zadania w zestawie są tak samo ważne jak trudne. To na nich najszybciej widać, ile kosztuje warstwa zarządzania.
3. Oddaj ocenę komuś spoza porównania
Gdy jeden z porównywanych systemów układa zadania albo ocenia wyniki, test przestaje być uczciwy. Oceniający ma być niezależny od obu stron.
- [ ] Wybierz oceniającego, który nie jest żadnym z porównywanych systemów.
- [ ] Najlepiej niech ten sam oceniający przygotuje zadania, żeby żadna strona nie układała testu pod siebie.
- [ ] Podaj obu stronom identyczne polecenia i identyczne dane wejściowe.
- [ ] Ukryj przed oceniającym, który wynik pochodzi z którego systemu.
- [ ] Przejrzyj ręcznie kilka ocen, żeby sprawdzić, czy oceniający trzyma się warunków zaliczenia.
Uczciwość testu zależy od tego, kto ocenia, bardziej niż od liczby zadań.
4. Mierz trzy rzeczy, nie jedną
Porównanie samej jakości prawie zawsze wypada niewinnie, bo narzędzie, które korzysta z najlepszych modeli, rzadko wypada gorzej. Prawdziwe pytanie brzmi, ile kosztuje ten sam wynik.
- [ ] Zapisz wynik każdego zadania: zaliczone, niezaliczone, remis.
- [ ] Zmierz czas od wysłania polecenia do odpowiedzi, osobno dla każdego zadania i łącznie.
- [ ] Zapisz koszt w rozliczeniu za faktyczne użycie, a nie w subskrypcji, żeby liczby dały się porównać.
- [ ] Policz koszt jednego zaliczonego zadania dla obu stron.
- [ ] Zaznacz zadania, przy których różnica czasu jest największa, i sprawdź, czy to proste zadania.
Remis w jakości przy wyższym koszcie i dłuższym czasie to przegrana, nie remis.
5. Sprawdź pułapki interpretacji
Wynik testu można przeczytać źle nawet przy poprawnym pomiarze. Najczęstsza pułapka przy orkiestratorach: twój punkt odniesienia siedzi w puli modeli, z której orkiestrator wybiera.
- [ ] Sprawdź, czy model, z którym porównujesz, jest jednym z modeli używanych przez orkiestrator.
- [ ] Jeśli tak, zapisz to obok wyniku; remis oznacza wtedy w dużej części porównanie modelu z samym sobą.
- [ ] Zapisz, czego twój zestaw nie obejmuje, na przykład długich przebudów dużego kodu albo pracy zespołowej.
- [ ] Nie przenoś wyniku na rodzaje pracy, których nie testowałeś.
Każdy wynik ma granice. Zapisz je obok liczb, zanim ktoś przeczyta liczby bez nich.
6. Policz koszt wdrożenia i limity
Ogłoszenie pokazuje jakość. Nie pokazuje, ile pracy kosztuje podłączenie narzędzia do twojego środowiska agenta, czyli programu, w którym model czyta pliki i uruchamia narzędzia, ani jak szybko kończą się limity.
- [ ] Sprawdź, czy podłączenie to zwykła podmiana adresu i klucza, czy osobna konfiguracja.
- [ ] Uruchom kilka zwykłych zadań w swoim środowisku agenta: z twoimi skillami, researchem, plikami.
- [ ] Zwróć uwagę na nietypowe zachowania, na przykład licznik kontekstu, który nie rośnie mimo długiej rozmowy.
- [ ] Sprawdź, jak szybko zapełniają się limity subskrypcji przy twoim normalnym tempie pracy.
- [ ] Porównaj to z limitami narzędzia, którego używasz dziś.
Narzędzie, którego nie da się wygodnie podłączyć ani używać przez cały dzień, przegrywa niezależnie od wyniku testu.
7. Podejmij decyzję
Reguła decyzji jest krótka i warto ją zapisać przed testem, nie po nim.
- [ ] Ta sama jakość, dłuższy czas, wyższy koszt → zostajesz przy tym, czego używasz.
- [ ] Wyższa jakość na zadaniach, które mają dla ciebie znaczenie → policz, czy różnica jest warta dodatkowego czasu i kosztu.
- [ ] Rozważ orkiestrację, jeśli robisz ciężką inżynierię oprogramowania i chcesz, żeby planował model jednego dostawcy, a przegląd robił model innego.
- [ ] Rozważ ją też, jeśli w zespole wiele osób pracuje na jednej bazie kodu i już dziś używa dwóch narzędzi obok siebie.
- [ ] Przy pracy z wiedzą, pisaniu, researchu czy analizie wymagaj wyraźnej przewagi jakości, zanim zapłacisz więcej.
- [ ] Zapisz wynik i datę testu; za kilka miesięcy powtórzysz go na tym samym zestawie.
Za koordynację płacisz czasem i pieniędzmi. Jeśli nie widzisz jej efektu na swoich zadaniach, nie płać.
Po teście
Zostaje ci zestaw zadań, który wykorzystasz przy każdym kolejnym ogłoszeniu. To najcenniejsza część całej pracy, bo następny test zajmie ułamek czasu.
Zasada, którą stąd zabieram: nie zamykaj się w jednym dostawcy, ale też nie oddawaj wyboru modelu warstwie, której decyzji nie widzisz. Szukaj najtańszego modelu, który dla danego zadania nie obniża jakości, i sprawdzaj to na własnych danych.