OpenRouter
Brama do modeli AI wielu dostawców: jedno API, routing, modele zapasowe i dane po drodze.
AIUżywam od 2024 · Wyróżniony projekt: ENATIV Portfolio
- Kategoria
- AI
- Używam od
- 2024
- Wyróżniony projekt
- ENATIV Portfolio
W praktyce
OpenRouter biorę, gdy aplikacja ma mieć jedno konto i jeden adres API do modeli różnych dostawców, a wybór modelu ma być ustawieniem, nie przebudową. Czat na tej stronie, w ENATIV Portfolio, sięga po model przez OpenRouter. Gdy dane nie mogą przechodzić przez pośrednika, wybieram umowę wprost z dostawcą.
Czym jest OpenRouter?
OpenRouter to usługa, która udostępnia modele wielu dostawców przez jeden adres API. Zamiast osobnego konta u każdego dostawcy wysyłasz żądanie do OpenRouter i w żądaniu podajesz model. Jest też zgodny z API OpenAI: wystarczy zmienić adres i dane dostępowe oraz podać nazwę modelu z OpenRouter, żeby klient OpenAI zadziałał. W kodzie TypeScript podłącza się go przez AI SDK, a ten wpis dotyczy samej bramy.
OpenRouter sam wybiera, który dostawca obsłuży żądanie danego modelu. Domyślnie patrzy na zmierzoną cenę i niezawodność, a w żądaniu można to zawęzić: podać kolejność dostawców albo wymagać takich, którzy nie zbierają danych. Gdy model jest niedostępny, żądanie może przejść do kolejnego modelu z listy, a rozliczenie idzie według modelu, który ostatecznie odpowiedział.
- Rodzaj
- Brama do modeli wielu dostawców
- Dostęp
- Jedno API i jedno konto
Jak pracuję z OpenRouter
Zaczynam od pytania, jakie dane przejdą przez model, bo brama dokłada drugiego pośrednika obok dostawcy modelu. Dopiero gdy to jest dopuszczone, dobieram modele. Identyfikator modelu trzymam w jednym miejscu, żeby jego zmiana była ustawieniem.
Dane i ustawienia dostawców
Czytam, co OpenRouter i dostawcy modeli robią z treścią żądań. OpenRouter nie zapisuje promptów ani odpowiedzi, chyba że włączysz logowanie lub zgodę na ich użycie, ale dostawca modelu ma własne zasady. Dlatego w żądaniu można ograniczyć routing do dostawców, którzy nie zbierają danych, albo do tych z zerową retencją.
Modele zapasowe i rozliczenie
Lista modeli zapasowych włącza się przy awarii dostawcy albo limicie i rozlicza według modelu, który ostatecznie odpowiedział. Zapasowy model bywa droższy albo inny w tonie, więc ustawiam go świadomie i sprawdzam na tych samych pytaniach co główny. W ENATIV Portfolio trasa czatu używa jednego modelu i żadnej listy zapasowej.
Konto i klucz
Konto należy do firmy. Klucz trzymam w zmiennej środowiskowej na serwerze, a w ENATIV Portfolio trasa czatu bez niego odpowiada błędem
503zamiast wysyłać żądanie.
Kiedy tak, a kiedy nie
OpenRouter pasuje tam, gdzie wybór modelu ma pozostać otwarty przez cały czas życia produktu.
Sprawdza się, gdy
- Aplikacja, która ma korzystać z modeli różnych dostawców bez osobnej integracji z każdym.
- Projekt w fazie prób, w którym kilka modeli porównuje się na tych samych pytaniach.
- Funkcja, która ma przetrwać awarię jednego modelu dzięki liście zapasowych.
- Czat albo asystent w aplikacji Next.js, któremu wystarczy jedno konto po stronie serwera.
Nie sprawdza się, gdy
- Dane osobowe lub poufne, które nie mogą przejść przez pośrednika.
- Funkcja zależna od możliwości jednego modelu, których inni dostawcy nie oferują w takim samym kształcie.
- Firma, która ma już umowę z dostawcą modelu i nie chce dokładać drugiej strony.
Do samego wywoływania modeli z kodu, czyli streamingu i narzędzi, potrzebna jest osobna warstwa, którą opisuje wpis o AI SDK. Gdy odpowiedzi mają opierać się na Twoich dokumentach, to temat RAG. Konto wprost u dostawcy modelu wybieram, gdy dane są wrażliwe albo wystarczy jeden model. Obok OpenRouter integruję też bezpośrednio natywne API dostawców, takie jak Anthropic, OpenAI czy Gemini.
Często zadawane pytania
Wahasz się między jednym dostawcą modelu a bramą?
Napisz, jakie dane przejdą przez model i ilu dostawców chcesz mieć pod ręką. Powiem, czy wystarczy jedno konto w OpenRouter, czy lepsza będzie umowa wprost.