Powrót do: AI_Testers vol. 1 – Bonusy (aktywnie rozwijane)

Pies na ruchliwej ulicy. Testowanie odporności (Robustness) modeli LLM na chaos

Materiały dodatkowe do lekcji

W poprzednim odcinku mówiliśmy o hakerach i zabezpieczeniach. Ale zejdźmy na ziemię. W prawdziwym życiu problemem zespołu QA w projektach AI rzadko są zaawansowani cyberprzestępcy. Głównym powodem awarii i halucynacji na produkcji są… zwykli użytkownicy.

W idealnym, labowym środowisku testowym nasz prompt wygląda tak: “Proszę o podanie statusu przesyłki o numerze 123”. Wszystko świeci na zielono. A na produkcji? Użytkownik idzie w deszczu, ma w jednej ręce parasol, a kciukiem pisze do bota: “gdzjie moja pczka szybko”. I co robi Twój wspaniały model LLM? Wywala się, krzyczy błędem parsowania, albo zaczyna zmyślać.

To nie jest atak. To zwykła, ludzka nieuwaga. Dlatego obok Safety – testowania w warunkach wrogich – potrzebujesz Robustness: testowania w warunkach chaosu. Safety pilnuje, żeby model nie robił rzeczy złych. Robustness dba o to, żeby model robił rzeczy DOBRE, nawet jeśli dane wejściowe są mocno zabrudzone literówkami, brakującymi znakami diakrytycznymi albo całą stopką RODO przeklejoną z maila.

W tym odcinku poznasz:

• ✍️ Zniekształcenia tekstu (Perturbations & Typos) – Brak polskich znaków, literówki, losowy caps lock.
• 🌊 Szum informacyjny (Noise Injection) – Wklejanie wielkich, niepotrzebnych bloków tekstu (np. stopek mailowych).
• 📊 Zmiana formatu wejścia – Urwane JSONy i wklejone tabelki z Excela.

Dowiesz się też, jak automatycznie “psuć” dane testowe ze swojego Golden Setu za pomocą Data Augmentation – żeby udowodnić biznesowi, że Twój system jest gotowy na spotkanie z prawdziwą ulicą.

Narzędzia i linki z odcinka:

• 📝 Zobacz pełną checklistę testowania Safety na moim blogu
• 📚 CheckList: Beyond Accuracy (paper, ACL 2020)
• 📚 TextAttack – oficjalna dokumentacja
• 📚 DeepEval – oficjalna dokumentacja

Michalina Graczyk Lider QA & AI Tester, Mentorka IT profil na LinkedIn Michalina na co dzień projektuje zaawansowane strategie testowe i wspiera innych w przełamywaniu zawodowych barier jako mentorka kariery w IT. Mocno wierzy, że technologia jest tylko tak dobra, jak ludzie, którzy jej używają. Z pasją eksploruje świat sztucznej inteligencji, skupiając się na praktycznym wdrażaniu modeli językowych do codziennej pracy QA. W projekcie AI Testers odpowiada za architekturę i twardą merytorykę, pokazując, że testowanie AI i współpraca z LLM-ami to kompetencje przyszłości, po które warto sięgnąć już dziś.