RAG
Retrieval-augmented generation: model czyta fragmenty dokumentów przed odpowiedzią. Kiedy ma sens, gdzie zawodzi.
AI
- Kategoria
- AI
W praktyce
RAG polega na tym, że model przed odpowiedzią dostaje fragmenty Twoich dokumentów, zamiast polegać na pamięci. Sięgam po niego, gdy odpowiedzi mają stać na danych, które się zmieniają, i da się wskazać źródło. Gdy wiedzy jest mało i rzadko się zmienia, wklejam ją do promptu i nie buduję indeksu.
Czym jest RAG?
RAG, czyli retrieval-augmented generation, to podejście, w którym model językowy dostaje razem z pytaniem informacje dobrane do tego pytania. Termin pochodzi z pracy badawczej z 2020 roku, która łączyła wiedzę zapisaną w parametrach modelu z zewnętrzną pamięcią, przeszukiwaną w trakcie odpowiedzi. Prościej: model dostaje konkretne informacje istotne dla zapytania.
Dobór informacji zwykle opiera się na embeddingach, czyli zapisie sensu tekstu jako wektora, w którym podobne treści leżą blisko siebie. Dokument dzieli się na fragmenty, każdy zamienia na embedding i zapisuje w bazie obsługującej wektory, na przykład w PostgreSQL z rozszerzeniem pgvector. Przy pytaniu system szuka najbliższych fragmentów i dokłada je do promptu. Embeddingi to jedna z metod: kontekst może pochodzić z dowolnego źródła. Całość działa po stronie serwera, na przykład w trasie API w Next.js, bo dokumenty i klucze nie mogą trafić do przeglądarki.
Jak do tego podchodzę
Zaczynam od ustalenia, czy RAG w ogóle jest potrzebny. Każdy element potoku trzeba potem utrzymywać, więc buduję go dopiero wtedy, gdy prostsze wyjście nie wystarcza.
Najpierw prostsze wyjście
Sprawdzam, czy wiedza zmieści się w prompcie. Jeśli to kilka stron, które zmieniają się raz na jakiś czas, wklejam je w całości i nie buduję indeksu. Fine-tuning zostawiam na zmianę stylu i formatu odpowiedzi, bo wiedzę łatwiej zmienić w dokumencie niż w modelu.
Fragmenty z podanym źródłem
Dokument tnę według jego struktury, czyli nagłówków i akapitów, a nie co stałą liczbę znaków. Do każdego fragmentu dopisuję, skąd pochodzi. Im większe wejście embeddingu, tym gorsza jego jakość, więc fragmentem nie może być cała strona.
Pytania testowe i odświeżanie
Zbieram pytania, na które znamy odpowiedź, i sprawdzam, czy właściwy fragment trafia do promptu. Osobno ustalam, kto odświeża indeks po zmianie dokumentu, bo stary fragment będzie znajdowany, dopóki ktoś go nie usunie.
Kiedy tak, a kiedy nie
RAG pasuje do pytań, na które odpowiedź leży w dokumentach, a nie w wiedzy ogólnej modelu.
Sprawdza się, gdy
- Baza wiedzy, regulaminy albo dokumentacja, które zmieniają się częściej niż model.
- Dokumentów jest za dużo, żeby zmieściły się w jednym prompcie.
- Odpowiedź ma wskazać źródło, żeby człowiek mógł ją sprawdzić.
- Użytkownicy mają widzieć różne dokumenty, więc dostęp trzeba filtrować, zanim fragment trafi do modelu.
Nie sprawdza się, gdy
- Wiedzy jest kilka stron i rzadko się zmienia: wystarczy wkleić ją do promptu.
- Pytania dotyczą liczb z bazy, na przykład stanu zamówienia: to zadanie dla narzędzia, które pyta bazę wprost.
- Dokumenty są sprzeczne albo nieaktualne: RAG tylko wyciągnie ten bałagan szybciej.
- Chodzi o ton i format odpowiedzi, nie o wiedzę: zaczynam od promptu.
Gdy model ma wywoływać zapytania do Twojego systemu zamiast czytać dokumenty, używam narzędzi w AI SDK. Gdy celem jest wyszukiwanie, a nie odpowiedź tekstem, buduję wyszukiwarkę semantyczną.
Często zadawane pytania
Asystent ma odpowiadać z Twoich dokumentów?
Napisz, jakie dokumenty macie i jak często się zmieniają. Powiem, czy wystarczy wkleić je do promptu, czy potrzebny jest indeks. Co wchodzi w ofertę, sprawdzisz na stronie [[service:ai|Integracji AI]].