Co się stało
7 października Anthropic wypuścił Claude Haiku 5.5, nowy najmniejszy model w swojej rodzinie. Przy krótkich zapytaniach cena spadła mocno: dziesięć centów za milion tokenów wejścia i pięćdziesiąt centów za wyjście. Haiku 4.5 kosztuje dolara i pięć dolarów. Okno kontekstu urosło do miliona tokenów, najdłuższa odpowiedź do 128 tysięcy, a Haiku po raz pierwszy dostał regulację poziomu wysiłku, czyli możliwość wymiany jakości rozumowania na koszt przy każdym zadaniu.
Nowość stoi w cenniku. Haiku 5.5 rozlicza się według długości promptu. Powyżej 100 000 tokenów wejście kosztuje pięćdziesiąt centów, wyjście 2,50 USD, a odczyt z cache pięć centów zamiast jednego. Każda pozycja jest pięć razy droższa. Dokumentacja dopowiada dwie rzeczy, które łatwo przeoczyć. Do długości promptu liczą się wszystkie tokeny wejścia, także odczytane i zapisane w cache. Każde zapytanie rozlicza się osobno: jeśli przekroczy próg, płaci wyższą stawkę za całość, łącznie z odpowiedzią. Pozostałe modele Anthropica od generacji 4.6 rozliczają cały milion tokenów po jednej stawce. Haiku 5.5 jest od tej reguły wyjątkiem.
Anthropic podaje, że zapytania do 100 000 tokenów stanowiły około dziewięciu na dziesięć zapytań do poprzedniego Haiku. Dodaje też, że nowy tokenizer zużywa na to samo zadanie nieco więcej tokenów niż Haiku 4.5, więc część obniżki zjada sama zmiana sposobu liczenia.
Nasza teza
Nagłówkowa cena jest prawdziwa, tylko że dotyczy zapytań, a nie zadań. Pojedyncze wywołanie, takie jak klasyfikacja maila, wyciągnięcie pól z faktury czy streszczenie dokumentu, mieści się pod progiem z dużym zapasem i faktycznie kosztuje ułamek dawnej ceny. Z agentem jest inaczej. Przy wojnie cenowej, która przeniosła się do cache, pisaliśmy, że agent przy każdym kroku wysyła modelowi całą dotychczasową rozmowę. Ta rozmowa rośnie i w którymś kroku przekracza 100 000 tokenów. Od tej chwili każdy następny krok płaci pięć razy więcej za wszystko, także za kontekst z cache, którego koszt miał być pomijalny.
Uproszczony rachunek, żeby to było widać. To przykład ilustracyjny, nie pomiar żadnego wdrożenia. Sesja agenta na Haiku 5.5 ma 40 kroków. Zaczyna od 20 000 tokenów kontekstu, każdy krok dokłada 4000 tokenów i generuje 1000 tokenów odpowiedzi. Wszystko poza nowym fragmentem jest czytane z cache.
- Gdyby cała sesja płaciła stawkę sprzed progu: około 0,08 USD.
- Według rzeczywistego cennika, w którym ostatnie 19 kroków przekracza próg: około 0,26 USD, ponad trzy razy więcej.
- Ta sama sesja na Haiku 4.5: około 0,79 USD.
Wynikają z tego dwie rzeczy. Przejście z Haiku 4.5 opłaca się tak czy inaczej, bo nawet powyżej progu Haiku 5.5 kosztuje połowę tego co poprzednik. Ale budżet agenta policzony ze stawki dziesięciu centów jest zaniżony kilkukrotnie. W tym przykładzie dwie trzecie rachunku bierze się z samej długości kontekstu, a nie z wyboru modelu.
Oznaczamy jako naszą interpretację: próg w cenniku pokazuje, jak dostawca widzi rolę małego modelu. To krótkie, powtarzalne zadania w dużym wolumenie i praca podagenta, a nie długie samodzielne sesje. Anthropic sam zaleca większe modele do złożonego programowania agentowego. Spodziewamy się, że ceny zależne od długości promptu pojawią się w kolejnych tanich modelach, bo pozwalają obniżyć stawkę z nagłówka bez oddawania marży na długim kontekście. To prognoza, nie fakt.
Dlaczego to ma znaczenie
Private Equity
Spółka, której produkt stoi na tanim modelu w dużym wolumenie, może na tej premierze realnie poprawić marżę albo poprawić ją tylko w prezentacji. Na przeglądzie zapytaj o rozkład długości zapytań: jaka część ruchu przekracza 100 000 tokenów i co w aplikacji pilnuje, żeby nie przekraczała. Spółka, która zna tylko średnią, nie wie, po której stronie progu leży jej koszt. To jedno z pytań, od których zaczynamy przegląd kosztów AI po stronie funduszu: najpierw rozkład, potem cennik.
Enterprise
Próg przenosi decyzję o koszcie z działu zakupów do architektury. Warto sprawdzić trzy miejsca. Pierwsze to agenci z długą historią: czy kontekst jest przycinany albo streszczany, zanim dojdzie do progu. Drugie to wyszukiwanie w dokumentach, które na wszelki wypadek wkleja do promptu całe pliki zamiast potrzebnych fragmentów. Trzecie to zadania wsadowe. Batch obniża stawki o połowę, ale próg obowiązuje także tam, więc nocne przetwarzanie długich dokumentów po migracji może kosztować inaczej, niż zakłada prognoza.
MŚP / średni rynek
Typowe automatyzacje w mniejszej firmie, czyli obsługa skrzynki, klasyfikacja zgłoszeń i wyciąganie danych z dokumentów, mieszczą się pod progiem. Dla nich to po prostu dobra wiadomość. Jeśli wykonawca zbudował Ci automatyzację na Haiku 4.5, zapytaj, kiedy przełączy ją na 5.5 i czy sprawdził wyniki po zmianie tokenizera i przy wybranym poziomie wysiłku. Kłopot zaczyna się dopiero wtedy, gdy ktoś wrzuca do jednego zapytania cały segregator umów.
Jeden ruch na ten tydzień
Wyciągnij z konsoli dostawcy albo z logów aplikacji rozkład długości promptów z ostatnich trzydziestu dni dla wszystkiego, co działa na Haiku. Policz, jaka część zapytań przekracza 100 000 tokenów i które procesy je wysyłają. Jeśli to pojedyncze wywołania, przełączaj bez obaw. Jeśli to agenci z rosnącą historią, najpierw ustaw przycinanie kontekstu poniżej progu, a dopiero potem zmieniaj model. Inaczej nowa cena zadziała tylko w arkuszu. Opisz swój przypadek: mailto:[email protected]?subject=Rozmowa%20z%20Aurora%20AI