Vercel AI SDK
Biblioteka TypeScript do czatów AI ze streamingiem, narzędziami i wymiennym dostawcą modelu.
AIUżywam od 2024 · Wyróżniony projekt: ENATIV Portfolio
- Kategoria
- AI
- Używam od
- 2024
- Wyróżniony projekt
- ENATIV Portfolio
W praktyce
AI SDK wybieram, gdy funkcja AI ma żyć w aplikacji TypeScript i nie wiązać jej z jednym dostawcą modelu. Czat na tej stronie, ENATIV Portfolio, działa na nim ze streamingiem i narzędziami, a Next.js obsługuje trasę API.
Czym jest Vercel AI SDK?
Vercel AI SDK to otwartoźródłowy zestaw narzędzi w TypeScripcie do budowania aplikacji z modelami językowymi. Warstwa Core ujednolica generowanie tekstu, obiektów o zadanym kształcie i wywołania narzędzi, a warstwa UI daje hooki do czatu, takie jak useChat w Reakcie. Dzięki temu streaming odpowiedzi i wywoływanie narzędzi mieszczą się w zwykłej trasie API.
Ten sam kod działa z wieloma dostawcami modeli. Są wśród nich OpenAI i Anthropic, a inne, na przykład OpenRouter, dochodzą jako providery społeczności. Wymiana modelu zmienia konfigurację, nie resztę aplikacji. Całość piszesz w TypeScripcie.
- Licencja
- Apache 2.0
- Język
- TypeScript
Jak pracuję z Vercel AI SDK
Zaczynam od tego, co funkcja ma robić i jakich danych może dotykać, a dopiero potem dobieram model. Dostawca jest wymienny, granice działania nie są. Najpierw ustalam, co ma się wydarzyć, gdy model się pomyli, bo na to nie ma poprawki w prompcie.
Streaming i walidacja
Odpowiedź płynie do przeglądarki przez
streamText, a żądanie i historię rozmowy sprawdzam na serwerze, zanim cokolwiek trafi do modelu. Tak zbudowałem trasę czatu w ENATIV Portfolio. Dopiero wtedy odpowiedź wraca do użytkownika po kawałku, więc czat nie czeka na cały tekst.Narzędzia z granicami
Model dostaje narzędzia, ale to ja decyduję, co mogą zrobić. Narzędzie od zapytań tylko przygotowuje wiadomość, wysyłka wymaga zatwierdzenia przez odwiedzającego, a adres odbiorcy ustawia serwer. Cytowania projektów biorą dane z rejestru, nie z pamięci modelu.
Limity i dostawca
Dostawcę trzymam w jednym miejscu, a liczbę kroków i długość odpowiedzi ograniczam, żeby jedno żądanie nie rozrosło się w serię wywołań modelu. Prompt systemowy traktuję jako wskazówkę dla modelu, nie jako zabezpieczenie. Do tego dochodzi stały zestaw pytań testowych, który puszczam przy każdej zmianie modelu.
Kiedy tak, a kiedy nie
AI SDK ma sens, gdy AI jest funkcją aplikacji, a nie osobnym systemem, który żyje obok niej.
Sprawdza się, gdy
- Czat albo asystent w aplikacji Next.js ze streamingiem odpowiedzi.
- Funkcja, która ma wywoływać narzędzia: wyszukać dane w Twoim systemie, przygotować wiadomość albo odczytać rekord.
- Projekt, w którym dostawca modelu może się zmienić w trakcie życia produktu.
- Odpowiedź o ustalonym kształcie, na przykład przypisanie zgłoszenia do zamkniętej listy kategorii.
Nie sprawdza się, gdy
- Aplikacja bez TypeScriptu, bo SDK jest napisane właśnie w nim, a mostkowanie języków to dodatkowa warstwa.
- Jeden skrypt, który raz pyta model: wystarczy zwykłe zapytanie HTTP.
- Rozbudowany potok przetwarzania w zespole, który zna już inne narzędzie i je utrzymuje.
- Zespół, w którym nikt nie utrzyma promptów i walidacji odpowiedzi.
W takim przypadku sprawdzam LangChain, a do dostępu do wielu modeli przez jedno konto OpenRouter, którego używa ta strona. Gdy asystent ma odpowiadać na podstawie Twoich dokumentów, to osobny temat: RAG.
Często zadawane pytania
Chcesz dodać AI do swojej aplikacji?
Napisz, co asystent ma robić i z jakich danych korzystać. Powiem, czy wystarczy czat z kilkoma narzędziami, czy projekt potrzebuje więcej. Zakres opisuje strona [[service:ai|Integracja AI]].