Powrót do: AI_Testers vol. 1 – Bonusy (aktywnie rozwijane)
Materiały dodatkowe do lekcji
Zwykłe testy automatyczne już Ci nie wystarczają? Piszesz najprostszy test z assertEquals, nic nie zmieniasz w kodzie, a po przerwie na kawę Twój pipeline płonie, bo AI zwróciło “szczekający czworonóg” zamiast “pies”? To znak, że musisz zmienić podejście do testowania.
Dlaczego klasyczne asercje zawodzą przy modelach językowych? Tradycyjne QA opiera się na binarnym świecie (true albo false), natomiast LLM generuje odpowiedzi na bazie prawdopodobieństwa. Testowanie AI klasyczną asercją na długość tekstu to jak ocenianie jakości chleba w piekarni za pomocą linijki. W tym odcinku dowiesz się, jak mierzyć tę jakość poprawnie, wdrażając nowy paradygmat: Evals.
📚 Pojęcia, które warto znać:
- LLM Non-determinism: Zjawisko polegające na tym, że model językowy generuje słowa na bazie prawdopodobieństwa, przez co ta sama akcja może dać różniące się (choć poprawne biznesowo) wyniki.
- Evals: Zestaw frameworków i metryk służących do jakościowej oceny odpowiedzi sztucznej inteligencji, zamiast sprawdzania ich na zasadzie zero-jedynkowej.
- Skala Ocen (1-5): Zamiast “Pass” lub “Fail”, w systemach AI badamy, czy jakość przekracza ustalony próg bezpieczeństwa. Wyniki poniżej np. 3.5 to Hard Fail, w okolicach 4.0 to Warning, a wyższe to bezpieczny Pass.
🎯 3 filary Evals, które musisz znać:
- 🕵️ Fidelity (Wierność):
Czy nasz model nie halucynuje? Oceniamy przede wszystkim to, czy odpowiedź bota ma pokrycie w dokumentach źródłowych i faktach. Nawet jeśli brzmi super (np. bot wymyśla 5% zysku), to bez oparcia w źródłach jest to drastyczny fail, który nie ma prawa wejść na produkcję. - 🎯 Relevance (Trafność):
Czy model faktycznie odpowiada na zadane pytanie? Wyobraź sobie bota e-commerce – klient pyta, jak wyprać bluzę, a bot odpowiada poetyckim esejem o wiośnie. Trafność to pilnowanie, aby AI nie zbaczało z tematu. - 💬 Tone & Format (Ton i Format):
Aspekt techniczny i wizerunkowy. W warstwie backendowej sprawdzamy, czy model zwrócił nam pięknego, walidującego się JSON-a. W warstwie frontendowej oceniamy, czy nasz chatbot bankowy nie stał się przypadkiem pasywno-agresywny wobec klienta.
Linki i materiały dodatkowe
- 📝 Kategorie evals: co właściwie oceniamy? – przegląd wymiarów oceny LLM-a (wierność, trafność, bezpieczeństwo, ton, kontekst), czyli jak rozłożyć „dobrą odpowiedź” na mierzalne kawałki.
- 📚 RAGAS – oficjalna dokumentacja – najpopularniejszy open-source’owy framework do ewaluacji pipeline’ów RAG i LLM. Zawiera gotowe metryki (Faithfulness, Answer Relevancy, Context Precision), które możesz użyć jako punkt wyjścia do budowania własnych Evals.
- 📚 DeepEval – oficjalna dokumentacja – framework do testowania LLMów z podejściem bliższym tradycyjnemu QA. Pozwala pisać testy jednostkowe dla modeli AI, definiować progi jakości (np. próg 3.5 = Hard Fail) i integrować z CI/CD. Najbliższy klasycznemu podejściu testerów.
- 📚 OpenAI Evals – GitHub – oficjalne repozytorium OpenAI z frameworkiem do oceny modeli i gotowymi zestawami evalów. Dobry punkt odniesienia dla branżowego standardu.
- 📖 Chip Huyen, “AI Engineering” (O’Reilly, 2025) – książka dedykowana inżynierii produkcyjnych systemów AI, z obszernym rozdziałem o ewaluacji. Autorka tłumaczy, dlaczego metryki jakościowe to fundament – nie dodatek – do pracy z LLM.
Michalina Graczyk Lider QA & AI Tester, Mentorka IT
profil na LinkedIn Michalina na co dzień projektuje zaawansowane strategie testowe i wspiera innych w przełamywaniu zawodowych barier jako mentorka kariery w IT. Mocno wierzy, że technologia jest tylko tak dobra, jak ludzie, którzy jej używają. Z pasją eksploruje świat sztucznej inteligencji, skupiając się na praktycznym wdrażaniu modeli językowych do codziennej pracy QA. W projekcie AI Testers odpowiada za architekturę i twardą merytorykę, pokazując, że testowanie AI i współpraca z LLM-ami to kompetencje przyszłości, po które warto sięgnąć już dziś. |