Potok danych (data pipeline)

Potok danych to uporządkowany ciąg kroków, które przeprowadzają dane od miejsca, w którym powstają, do miejsca, w którym są używane. Typowo obejmuje pobranie danych ze źródła, ich oczyszczenie i ujednolicenie, przekształcenie do potrzebnego formatu oraz zapis w docelowym miejscu — modelu, hurtowni albo bazie zasilającej system AI. Kluczowa jest tu kolejność i powtarzalność: każdy etap przyjmuje wynik poprzedniego, więc cały przepływ można uruchamiać wielokrotnie i automatycznie, zawsze tak samo.

W kontekście systemów AI potok danych to warstwa, która przygotowuje materiał, zanim trafi on do modelu. Dla architektury RAG typowy potok pobiera dokumenty ze źródeł, dzieli je na fragmenty przez chunking, liczy dla każdego fragmentu embedding i zapisuje je w bazie wektorowej. Dopiero tak przygotowana baza obsługuje pytania użytkowników, więc jakość i kompletność potoku przekłada się wprost na to, co model dostaje jako kontekst.

Potoku danych nie należy mylić z pojedynczym przekształceniem: pojedynczy krok, jak samo dzielenie na fragmenty czy liczenie embeddingów, jest tylko jednym ogniwem, a potok spina te ogniwa w całość i pilnuje, by dane przechodziły przez nie w ustalonym porządku. We wdrożeniach firmowych to właśnie potok decyduje o tym, czy nowy lub zmieniony dokument trafi do systemu szybko i bez ręcznej obsługi — dlatego jego stabilność i monitorowanie traktuje się na równi z jakością samego modelu.