Inżynieria kontekstu (context engineering)

Inżynieria kontekstu odpowiada na to, że jakość odpowiedzi modelu zależy nie tylko od samego polecenia, ale od całości informacji, którą model widzi w danym momencie. Składają się na nią instrukcje systemowe, dane wejściowe, historia wcześniejszej rozmowy oraz wyniki działania narzędzi. Zadaniem inżynierii kontekstu jest wybrać właściwe elementy, ułożyć je w sensownej kolejności i odciąć to, co zbędne, bo okno kontekstowe ma skończoną pojemność, a nadmiar danych potrafi rozproszyć model i podnieść koszt.

Tego nie należy mylić z prompt engineeringiem. Prompt engineering skupia się na sformułowaniu konkretnego polecenia — roli, przykładach, oczekiwanym formacie. Inżynieria kontekstu jest szersza: obejmuje zarządzanie całym strumieniem informacji wchodzącym do modelu, w tym tym, co dokleja system, a nie tylko tym, co napisał człowiek. Prompt jest jednym z elementów kontekstu, ale nie całym kontekstem.

W praktyce wdrożeniowej inżynieria kontekstu staje się kluczowa tam, gdzie kontekst powstaje dynamicznie. W rozwiązaniach RAG trzeba zdecydować, ile i które fragmenty z bazy wiedzy dołączyć do zapytania, by nie zalać modelu zbędnym tekstem. W agentach dochodzi jeszcze zarządzanie pamięcią agenta i historią kroków — bez świadomego porządkowania kontekstu agent szybko zapełnia okno nieistotnymi danymi i traci wątek zadania.