Powrót do: AI_Testers vol. 1 – Bonusy (aktywnie rozwijane)
Materiały dodatkowe do lekcji
Wyobraź sobie: wchodzisz rano na CI/CD, a tam Twój potężny pipeline dla nowego chatbota świeci się na czerwono jak choinka. Wchodzisz w logi, a tam assertEquals("Operacja się udała", result). Test wywalił się tylko dlatego, że bot tym razem stwierdził, że odpisze: “Zakończono sukcesem”. I co robisz? Ignorujesz. Bo “on tak ma”. I tak zaczyna się syndrom chłopca, który krzyczał wilk – testy wywalają się tak często przez zmianę jednego słowa, że nikt już w zespole nie ufa wynikom.
W poprzednim odcinku poznałaś/eś Evals – wiemy już JAK mierzyć jakość odpowiedzi AI. Ale brakuje nam połowy układanki: żeby stwierdzić odchylenie, musimy mieć punkt odniesienia. Gdzie podział się nasz testerski “Expected Result”? Odpowiedzią jest Golden Set – Złoty Zbiór. To Twój nowy, elastyczny “Expected Result”, który nie wymusza deterministyczności, ale wyznacza jasne granice akceptowalności. Tak jak system biometryczny na lotnisku rozpoznaje Cię mimo nowej fryzury i cieni pod oczami po nocnym deploymencie – tak Golden Set rozpozna “poprawną” odpowiedź modelu, nawet jeśli brzmi ona inaczej niż wczoraj.
📚 Pojęcia, które warto znać:
- Ground Truth: Twardy punkt odniesienia w machine learningu – analogia do zdjęcia w paszporcie. Nawet jeśli masz nową fryzurę, biometryczny system i tak Cię rozpoznaje po kluczowych cechach twarzy. Tak samo w testach AI: oczekiwana odpowiedź nie musi być identyczna co do słowa – ma zgadzać się merytorycznie.
- Golden Set (Złoty Zbiór): Referencyjny zbiór danych testowych (zwykle 100–200 przypadków), który pełni rolę nowego “Expected Result” w testach LLM. Uwaga: to nie jest zbiór treningowy dla Data Scientistów – to testerski skarbiec, który musi być izolowany od danych do fine-tuningu modelu.
- Golden Case: Pojedynczy przypadek testowy w zbiorze. Składa się z 4 filarów: Promptu, Golden Answer (Złotej Odpowiedzi), Evals i Komentarza QA.
- LLM-as-a-Judge: Potężny model AI (np. GPT-4o lub Claude) używany jako automatyczny sędzia oceniający odpowiedzi testowanego bota na podstawie Golden Set i zdefiniowanych kryteriów jakościowych.
🎯 4 filary idealnego Golden Case, które musisz znać:
- 📝 Prompt – Nie twórz sterylnych, idealnych promptów. Użytkownicy tak nie piszą! Wrzucaj błędy ortograficzne, literówki, slang. Prompt w stylu “jak wrucic paczke” jest o wiele bardziej wartościowy niż poemat napisany przez prompt engineera. Testujesz to, z czym zderzy się bot na produkcji.
- 🏆 Golden Answer (Złota Odpowiedź) – Odpowiedź referencyjna zaakceptowana przez człowieka. Ideał tonu, struktury i faktycznej poprawności. Do tego ideału model-sędzia będzie równał każdy wygenerowany wynik.
- ⚖️ Evals – Dla każdego przypadku musisz zdefiniować progi tolerancji odgórnie: czy w tym prompcie kluczowa jest Relevance na poziomie 5.0 (pytanie o saldo konta), czy Fidelity 3.5 spokojnie wystarczy (luźna pogawędka)?
- 💬 Komentarz QA – O tym zapomina 90% inżynierów wchodzących w AI. To “Expertise Capture” – piszesz sędziemu INTENCJĘ biznesową: dlaczego uznałeś tę odpowiedź za złotą, co musi się w niej znaleźć obowiązkowo i co możesz wybaczyć. Ten mały kawałek tekstu sprawia, że Twoja automatyzacja przestaje być ślepa.
Linki i materiały dodatkowe
- 📝 Golden set + evals: Fundament wiarygodnych testów LLM – jak zbudować zestaw referencyjny (golden set) i oprzeć na nim powtarzalne testy, mimo że model jest nieprzewidywalny.
- 📚 OpenAI Evals – GitHub – oficjalny repozytorium OpenAI z frameworkiem do oceny modeli i gotowymi zestawami evalów. Dobry przykład tego, jak przemyślany Golden Set wygląda w praktyce.
Michalina Graczyk Lider QA & AI Tester, Mentorka IT
profil na LinkedIn Michalina na co dzień projektuje zaawansowane strategie testowe i wspiera innych w przełamywaniu zawodowych barier jako mentorka kariery w IT. Mocno wierzy, że technologia jest tylko tak dobra, jak ludzie, którzy jej używają. Z pasją eksploruje świat sztucznej inteligencji, skupiając się na praktycznym wdrażaniu modeli językowych do codziennej pracy QA. W projekcie AI Testers odpowiada za architekturę i twardą merytorykę, pokazując, że testowanie AI i współpraca z LLM-ami to kompetencje przyszłości, po które warto sięgnąć już dziś. |