BLOG · MODELE I INFRA

Tańsze modele, wyższy rachunek: co naprawdę steruje kosztem inferencji AI

Modele i infra
  • #modele-i-infra
  • #koszt-inferencji
  • #finops
  • #routing-modeli
  • #ai-gateway
  • #operator-lens

Nagłówki mówią, że modele tanieją — nowe okna kontekstu, niższe stawki, ceny wprowadzające. Rachunek nie idzie jednak za nagłówkiem: cennik rozjechał się na kilka osi naraz — próg długiego kontekstu, dopłata za region, zmiana tokenizera i daty wejścia nowych stawek. Co to znaczy dla kosztu inferencji AI i dlaczego prawdziwą dźwignią jest warstwa routingu, a nie stawka jednego dostawcy.

Adam Wszendybyłoperator-architekt AI

Co się stało

Przez ostatnie tygodnie trzej najwięksi dostawcy modeli odświeżyli cenniki i okna kontekstu, a nagłówek jest wszędzie ten sam: taniej i z większym kontekstem. Sonnet 5 wchodzi we wprowadzającej cenie dwóch dolarów za milion tokenów wejścia i dziesięciu za wyjście, tańsze warianty Gemini schodzą poniżej dwóch dolarów, a okna kontekstu urosły do miliona tokenów i więcej. Gdyby liczyła się tylko stawka z pierwszej linijki cennika, temat byłby zamknięty: kupujesz więcej za mniej.

Problem w tym, że rachunek przestał iść za tą pierwszą linijką. Pod spodem cennik rozjechał się na kilka osi naraz — i każda z nich potrafi ruszyć Twój koszt niezależnie od reklamowanej stawki.

Pierwsza to próg długiego kontekstu. U jednego dostawcy przekroczenie mniej więcej dwustu tysięcy tokenów w zapytaniu przenosi całe zapytanie na droższą taryfę — wejście z dwóch dolarów robi się cztery, wyjście z dwunastu osiemnaście. U drugiego długi kontekst to podwojone wejście i wyraźnie wyższe wyjście względem krótkich promptów. A u trzeciego pełne okno miliona tokenów liczy się po tej samej stawce, co krótki prompt — zapytanie na dziewięćset tysięcy tokenów kosztuje za token tyle samo, co na dziewięć tysięcy. Ta sama „duża pamięć" ma więc trzy zupełnie różne krzywe kosztu, zależnie od tego, czyj model wpiąłeś.

Druga oś to region i rezydencja danych. Wszyscy trzej liczą dopłatę rzędu dziesięciu procent za to, żeby wnioskowanie szło gwarantowaną trasą przez konkretny obszar albo zostało w danym kraju. Domyślna, „globalna" stawka — ta z nagłówka — to nie jest cena, którą zapłaci ktoś, kto z powodów RODO albo AI Act musi trzymać przetwarzanie w Europie. Konfiguracja zgodna z prawem jest tu tą droższą.

Trzecia oś jest najmniej widoczna: tokenizer. Najnowsze modele jednego z dostawców liczą ten sam tekst na mniej więcej jedną trzecią więcej tokenów niż ich poprzednicy. Stawka za token się nie zmieniła — ale ten sam dokument i ta sama rozmowa to teraz o jedną trzecią większy rachunek, jeśli przełączyłeś się na nowszy model „bez zmiany ceny".

Czwarta to zwykłe daty wejścia w życie. Wprowadzająca cena Sonneta 5 kończy się 31 sierpnia 2026 — od 1 września stawka rośnie z dwóch do trzech dolarów za wejście i z dziesięciu do piętnastu za wyjście. To nie jest podwyżka-niespodzianka, tylko podwyżka wpisana w kalendarz, którą warto mieć w prognozie już teraz.

Nasza teza

Stawka z pierwszej linijki cennika jest dziś najmniej użyteczną liczbą, jaką masz. „AI potaniało" jest prawdą na metce i nieprawdą na fakturze — bo o rachunku decyduje nie reklamowana cena, tylko która z tych osi ruszy się następna i czy jesteś na sztywno wpięty w dostawcę, który ją ruszył. To samo ryzyko koncentracji opisywaliśmy przy przejściu Copilota na rozliczenie od zużycia — tylko teraz siedzi ono piętro niżej, na warstwie samych modeli, a nie narzędzia.

Spodziewamy się, że osi będzie przybywać, nie ubywać — to nasza prognoza rynku, nie zapowiedź żadnego z dostawców. Im więcej wymiarów cennika, tym mniej sensu ma optymalizacja pod jedną stawkę, a tym więcej sensu ma jedno założenie architektoniczne: żaden pojedynczy dostawca nie jest wpisany w produkt na stałe.

Dlaczego to ma znaczenie

Private Equity

Dla funduszu zależność jest prosta: jeśli spółka portfelowa oparła tezę marżową na dzisiejszej stawce jednego dostawcy, część tej tezy jest cudzą decyzją cenową. Nie chodzi o to, żeby zgadywać, kto podniesie ceny — chodzi o to, czy spółka w ogóle może zmienić dostawcę bez przepisywania produktu. To pytanie do diligence obok pytań o zgodność: pokażcie plan B dla modelu, nie tylko którego modelu używacie dziś.

Enterprise

Dla dużej organizacji te osie schodzą się w jednym miejscu. Jeśli musisz trzymać wnioskowanie w Europie, płacisz taryfę regionalną, nie globalną. Jeśli Twoje zapytania — typowo w rozwiązaniach opartych na obszernych dokumentach — przekraczają próg długiego kontekstu, u jednych dostawców wpadasz na drugą, droższą taryfę, u innych nie. Wniosek nie brzmi „wybierz najtańszego", tylko „nie wpinaj się w jednego tak, żeby jego zmiana progu, tokenizera albo regionu była Twoim przepisywaniem produktu". W praktyce to warstwa, która kieruje każde zadanie do wystarczająco dobrego, a nie najdroższego modelu — i pozwala podmienić dostawcę konfiguracją, nie projektem.

MŚP / średni rynek

Mniejszy zespół zwykle wybiera jeden model i przy nim zostaje, więc uderza go najmniej widoczna oś: przełączasz się na nowszy wariant „w tej samej cenie", a rachunek rośnie, bo nowy tokenizer liczy Twój tekst drożej. Dobra wiadomość jest taka, że nie potrzebujesz do tego działu FinOps — wystarczy raz sprawdzić, ile realnie kosztuje typowe zapytanie po zmianie modelu, zanim uznasz oszczędność za pewnik.

Jeden krok, który możesz zrobić w tym tygodniu

Weź jeden proces AI, który już masz w produkcji, i opisz go czterema liniami: jaki dostawca i model, czy zapytania regularnie przekraczają próg długiego kontekstu, czy musisz trzymać przetwarzanie w konkretnym regionie i co realnie trzeba by zrobić, żeby przełożyć ten proces na innego dostawcę. Jeśli odpowiedź na ostatnie pytanie brzmi „przepisać produkt", to właśnie ten koszt — nie stawka za token — jest Twoim prawdziwym kosztem inferencji AI. Warstwę pośrednią, która przełącza modele i lokalizacje bez ruszania produktu, opisujemy przy produktach.

Opisz swój przypadek

Jeśli płacicie za jeden model na sztywno i nie wiecie, ile kosztowałaby zmiana dostawcy albo utrzymanie przetwarzania w Europie, przynieście jeden proces i nazwę modelu, na którym stoi. Zaczynamy od konkretu. Opisz swój przypadek: mailto:[email protected]?subject=Rozmowa%20z%20Aurora%20AI.

ZACZNIJMY

Przynieś proces, nie slajdy.

Jeśli czytasz nasz blog i widzisz tu obszar, w którym chcesz coś poprawić u siebie — napisz. Rozmowę zaczynamy od konkretu.