Co się stało
22 października OpenAI wyprowadziło Decisions API z bety i udostępniło je ogólnie. To osobny endpoint, który działa na jednym modelu, GPT-6 Luna, i nie pisze tekstu. Zadajesz mu pytania o zamkniętej odpowiedzi, a on zwraca wynik jednego z trzech typów: prawdopodobieństwo, że zdanie jest prawdziwe, wybór jednej opcji z listy razem z pewnością i rozkładem, albo ocenę na uporządkowanej skali z prawdopodobieństwem dla każdego poziomu. Pierwszy raz API pokazano 29 września na DevDay, publiczna beta ruszyła 6 października.
Cena: 0,10 USD za milion tokenów wejścia, 0,01 USD za wejście z cache, a za wyjście nic. W jednym żądaniu można zadać do 400 pytań, dwa razy więcej niż w becie. Przetwarzanie regionalne działa w USA i w Europie (EOG plus Szwajcaria), a zero retencji danych jest dostępne dla uprawnionych klientów. OpenAI podaje, że odpowiedź przychodzi wielokrotnie szybciej niż przy tym samym pytaniu zadanym Lunie przez Responses API. Produktowy szef projektu mówił TechCrunchowi o spadku z jednej do trzech sekund do 100–180 milisekund. To liczby dostawcy, nie niezależny pomiar.
Dokumentacja sama zakreśla granice: do wyciągania pól i budowania obiektów według własnego schematu JSON nadal służą Structured Outputs, a do wywoływania narzędzi function calling.
Nasza teza
Oznaczamy jako naszą interpretację. Nagłówek mówi o cenie, ale stawka za wejście jest dokładnie taka sama jak w zwykłym wywołaniu Luny. Różnica w rachunku to brak opłaty za wyjście, a przy klasyfikacji odpowiedź i tak bywa krótka. Kto liczy oszczędność tylko z cennika, może się rozczarować. Przy okazji Haiku 5.5 pisaliśmy, że stawka w nagłówku to nie cena zadania. Tu też tak jest: cennik OpenAI przewiduje wyższe stawki dla bardzo długiego kontekstu i dopłatę za przetwarzanie regionalne dla nowszych modeli. Zanim policzysz koszt dla wywołań z UE, sprawdź, które z tych pozycji dotyczą Twojego ruchu.
Istotna zmiana jest gdzie indziej. W wielu firmowych procesach z AI jest krok, który niczego nie pisze, tylko decyduje: do którego działu trafia zgłoszenie, czy dokument jest kompletny, czy reklamacja jest pilna. Dotąd ten krok zwykle wyglądał tak, że model generował słowo albo JSON, a kod go parsował. Odpowiedź była jedna i nie mówiła, jak bardzo model był jej pewny. Teraz ten sam krok zwraca liczbę. Na liczbie da się postawić próg: powyżej automat, poniżej człowiek. Taki próg można zapisać, przetestować na historii i zmienić, gdy zmieni się koszt błędu. Z odpowiedzią tekstową tak się nie da.
Druga obserwacja, też interpretacja: duża część procesów reklamowanych jako agentowe to w praktyce kilka takich decyzji połączonych zwykłym kodem. Endpoint, który robi tylko decyzje, szybko i bez tekstu, wzmacnia argument, że wiele z tych procesów nie potrzebuje agenta. Potrzebuje dobrze ustawionych progów.
Jest też haczyk. Prawdopodobieństwo zwrócone przez model to nie to samo co prawdopodobieństwo trafienia na Twoich danych. Spodziewamy się, i to jest spekulacja, że na nietypowych dokumentach, w języku polskim albo w wąskiej branży pewność modelu będzie się rozjeżdżać z rzeczywistą trafnością. Dopóki nie sprawdzisz tego na własnej historii, próg jest zgadywaniem z dwoma miejscami po przecinku. Do tego to zamknięty endpoint jednego dostawcy na jednym modelu. Format odpowiedzi nie przeniesie się wprost do innego dostawcy.
Dlaczego to ma znaczenie
Private Equity
W spółkach, które automatyzują obsługę klienta albo obieg dokumentów, warto zapytać, gdzie w procesie siedzi decyzja o eskalacji i kto ją ustawił. Jeśli odpowiedź brzmi „model sam ocenia", to nie jest kontrolowany proces. Próg zapisany w konfiguracji i sprawdzony na danych da się pokazać w due diligence.
Enterprise
Kroki klasyfikacji, które dziś idą przez generowanie tekstu, są naturalnym kandydatem do przeniesienia, pod warunkiem że przetwarzanie w regionie UE i warunki retencji pasują do Waszej polityki danych. Zacznij od kroku z dużym wolumenem i znanym kosztem błędu. Logujcie wynik liczbowy razem z decyzją, bo przy pytaniach audytora ślad „0,62, poniżej progu 0,8, przekazano do człowieka" jest wart więcej niż sama etykieta.
MŚP / średni rynek
Nie musisz nic budować, żeby z tego skorzystać. Przy gotowych produktach AI, które sortują dokumenty albo zgłoszenia, zapytaj dostawcę, czy ma próg pewności, kto go ustawia i co dzieje się z przypadkami poniżej. Jeśli nie ma odpowiedzi, każda decyzja jest automatyczna, także te, przy których model zgadywał.
Jeden ruch na ten tydzień
Wybierz jeden krok klasyfikacji w swoim procesie i weź 200 historycznych przypadków, przy których znasz poprawną odpowiedź. Przepuść je przez Decisions API albo przez model, którego już używasz, i zapisz pewność przy każdej odpowiedzi. Posortuj wyniki po pewności i sprawdź, poniżej jakiej wartości zaczynają się błędy. To jest Twój pierwszy próg, a dopiero przy nim policz, czy zmiana endpointu się opłaca. Opisz swój przypadek: mailto:[email protected]?subject=Rozmowa%20z%20Aurora%20AI