Powrót do: AI_Testers vol. 1 – Bonusy (aktywnie rozwijane)

Czy jeden pies może pilnować drugiego? Jak działa LLM-as-a-Judge w testach AI

Materiały dodatkowe do lekcji

W tym odcinku… Mieliście kiedyś dwa psy? Ten moment, gdy zostawiacie starszego, bardziej opanowanego, żeby pilnował młodego, szalonego szczeniaka? Czasem to działa genialnie. A czasem obaj zaczynają gryźć kanapę. Dokładnie takie jest wyzwanie z ocenianiem modeli AI przez inne modele. Mamy potężny arsenał testowy z tysiącami przypadków, za każdym razem wyniki lądują w Excelu. Ktoś te wyniki musi ocenić. I tu dochodzimy do wąskiego gardła. Manualne sprawdzanie 2000 odpowiedzi przez inżyniera jakości, podczas gdy deweloperzy stale wrzucają nowe wersje modelu, jest po prostu niemożliwe i kosztuje tysiące euro.

Skoro modele AI są tak świetne w analizowaniu tekstu, zatrudnijmy jednego z nich jako naszego automatycznego QA. W tym odcinku pokażę Wam, jak działa LLM-as-a-Judge – potężna technika zlecająca maszynom ewaluację maszyn. Nauczysz się budować Prompt Ewaluacyjny z Odpowiedzią Referencyjną ze Złotego Zbioru, a także dowiesz się, jak prawidłowo skalibrować zautomatyzowanego Sędziego, żeby myślał dokładnie jak Ty. Pokażę Ci również, dlaczego sędzia nie powinien pochodzić z tej samej “rodziny” co oceniany bot (tzw. Ryzyko Echa).

To wszystko ułatwi i przyspieszy testy bez tworzenia wąskich gardeł na Twoim pipeline CI/CD!

📚 Pojęcia, które warto znać:

• LLM-as-a-Judge: Koncepcja polegająca na wykorzystaniu potężnego modelu językowego (np. GPT-4o lub Claude) do oceniania pracy testowanego bota na podstawie ściśle ustalonej rubryki.
• Prompt Ewaluacyjny: Specjalna instrukcja dla Sędziego AI zawierająca m.in. pytanie bazowe, odpowiedź bota, zasady punktacji (rubrykę oceny) oraz referencyjną odpowiedź ze Złotego Zbioru.
• Chain of Thought (CoT): Technika polegająca na wymuszaniu od modelu “myślenia na głos” (np. w polu reasoning w formacie JSON) przed zwróceniem suchej oceny liczbowej. Poprawia skuteczność i ułatwia debugowanie.
• Ryzyko Echa (Echo Chamber Risk): Zjawisko faworyzowania wypowiedzi wygenerowanych przez modele z tej samej “rodziny” (np. GPT-4 oceniający bota na GPT-4), co może prowadzić do ukrywania faktycznych błędów.

🎯 4 kluczowe koncepty:

• 📜 Prompt Ewaluacyjny – Zamiast pisać binarne asercje, budujesz instrukcję dla modelu z 4 kluczowymi elementami: Pytaniem, Odpowiedzią, Rubryką oraz Odpowiedzią Referencyjną.
• 🧠 Chain of Thought (Myślenie na głos) – Wymuszamy, by model przed wystawieniem oceny “score” zwrócił powód “reasoning”. Dzięki temu w logach testów masz twardy dowód i uzasadnienie błędu, a skuteczność Sędziego rośnie.
• 📣 Ryzyko Echa – Zjawisko polegające na tym, że sędzia faworyzuje odpowiedzi modeli ze swojej własnej rodziny (np. GPT-4 + GPT-4). Dobrą praktyką jest wzięcie sędziego z innej “rasy” (np. Claude do testowania GPT).
• ⚖️ Kalibracja Sędziego – Nigdy nie puszczamy Judge’a na produkcję ot tak. Wybieramy 30 losowych interakcji, oceniamy je ręcznie, a następnie porównujemy z wynikiem maszyny. Akceptowalna granica korelacji to 85-90%.

Linki i materiały dodatkowe:

• 📚 https://michalinqa.dev/blog/llm-as-a-judge-w-praktyce – opis jak działa judge w pratyce
• 📚 RAGAS – oficjalna dokumentacja – framework specjalizujący się w ewaluacji i zawierający gotowe implementacje metody “LLM-as-a-Judge”.
• 📚 DeepEval – oficjalna dokumentacja – framework umożliwiający łatwe uruchamianie Sędziów na pipeline’ach.
• 📖 Chip Huyen, “AI Engineering” (O’Reilly, 2025) – najświeższa wiedza o budowaniu rozwiązań AI, łącznie ze świetnymi przykładami wykorzystania automatycznych ewaluacji na dużą skalę.

Michalina Graczyk Lider QA & AI Tester, Mentorka IT profil na LinkedIn Michalina na co dzień projektuje zaawansowane strategie testowe i wspiera innych w przełamywaniu zawodowych barier jako mentorka kariery w IT. Mocno wierzy, że technologia jest tylko tak dobra, jak ludzie, którzy jej używają. Z pasją eksploruje świat sztucznej inteligencji, skupiając się na praktycznym wdrażaniu modeli językowych do codziennej pracy QA. W projekcie AI Testers odpowiada za architekturę i twardą merytorykę, pokazując, że testowanie AI i współpraca z LLM-ami to kompetencje przyszłości, po które warto sięgnąć już dziś.