Ile rozmów odsłuchiwać? Próbkowanie w QA

Nie istnieje jedna liczba rozmów, która wystarczy każdemu zespołowi QA. Innej próbki potrzebujesz, żeby znaleźć przykład do omówienia z konsultantem, a innej, żeby oszacować częstość konkretnego problemu. Jeszcze innym zadaniem jest sprawdzenie, czy po zmianie instrukcji klienci otrzymują poprawną informację.

Zanim ustalisz, ile rozmów odsłuchiwać w QA, zapisz, czego chcesz się dowiedzieć. Masz sprawdzić nową instrukcję, przygotować szkolenie czy oszacować skalę błędu? W zespole od 5 do 30 osób zwykle trzeba pogodzić przegląd z innymi obowiązkami. Dobierz więc nagrania do konkretnego pytania i zapisz, ile czasu możesz na nie przeznaczyć.

Trzy cele, trzy różne sposoby doboru

Pierwszy cel to poznanie codziennego przebiegu rozmów. Tutaj potrzebujesz wyboru, który nie zależy wyłącznie od skarg klientów czy intuicji lidera. Punktem wyjścia może być losowanie z listy wszystkich nagrań z ustalonego okresu.

Drugi cel to znalezienie sytuacji wymagających interwencji. Wtedy celowo sięgasz po eskalacje, powtórne kontakty albo rozmowy dotyczące nowej oferty. Taki zbiór pomaga szukać przyczyn problemu, ale nie pokazuje automatycznie jego częstości w całym zespole.

Trzeci cel to nauka konkretnego zachowania. Wybierasz rozmowy pokazujące, jak wyjaśniono ograniczenie produktu lub uzgodniono kolejny krok. Możesz uwzględnić zarówno dobrze przeprowadzone fragmenty, jak i te wymagające poprawy. To materiał szkoleniowy, nie przekrojowy pomiar jakości.

Jedno nagranie może pasować do kilku celów. Zapisz jednak, dlaczego trafiło do przeglądu, i nie licz go kilka razy w tym samym podsumowaniu.

Jak losować rozmowy do przeglądu

Zacznij od kompletnej listy nagrań z wybranego tygodnia lub miesiąca. Określ zasady uwzględniania krótkich kontaktów, połączeń przerwanych i rozmów bez udziału klienta. Zapisz je przed obejrzeniem wyników, aby nie usuwać później trudnych przypadków tylko dlatego, że psują obraz.

Nadaj rozmowom losową kolejność w arkuszu i zachowaj wylosowaną listę. Jeśli korzystasz z funkcji losującej, wklej wynik jako wartości, żeby lista nie zmieniała się przy kolejnym przeliczeniu dokumentu. Nie wybieraj po prostu pierwszych nagrań w folderze: ich kolejność może odpowiadać godzinie, konsultantowi albo kolejności eksportu.

Gdy obsługujecie kilka języków lub bardzo różne typy spraw, możesz losować osobno w ustalonych grupach. Pokaż wtedy wyniki każdej grupy i jej liczebność. Jeśli celowo dobierzesz tyle samo rzadkich i częstych spraw, zwykła średnia z próby nie będzie odzwierciedlać ich proporcji w całym ruchu.

Dobór według ryzyka pomaga znaleźć konkretne problemy

W osobnej części przeglądu umieść nagrania związane z jasno określonym sygnałem: zgłoszoną reklamacją, błędną informacją wskazaną przez klienta lub zmianą procedury. Nie traktuj długiej rozmowy jako błędu samego w sobie. Długość może być powodem sprawdzenia, ale nie oceną jakości.

Zapisuj liczbę i powód wyboru takich rozmów osobno od próby losowej. Jeżeli w zbiorze eskalacji odnajdziesz wiele brakujących terminów kontaktu, możesz wskazać problem do zbadania. Nie możesz na tej podstawie napisać, że taki sam udział wszystkich rozmów zespołu ma tę wadę.

Zostaw także miejsce na zgłoszenia konsultantów. Pytanie „której rozmowy nie potrafimy rozstrzygnąć według obecnej instrukcji?” może ujawnić lukę w procesie. Wybranie nagrania do analizy nie powinno samo w sobie oznaczać zarzutu wobec osoby prowadzącej rozmowę.

Czy przejrzenie 5% nagrań wystarczy?

Rozważmy przykład obliczeniowy, a nie statystykę rynkową. Zespół ma 600 nagrań z miesiąca i przegląda 30. Pokrycie wynosi 30 podzielone przez 600, czyli 5%. Ta liczba mówi wyłącznie, jaką część zbioru przejrzano. Nie mówi, z jaką pewnością oszacowano częstość błędów.

Jeśli te 30 rozmów pochodzi tylko od jednej osoby albo dotyczy jednej kampanii, pozostała część pracy zespołu nie jest w nich uwzględniona. Jeżeli część wybrano po skargach, w próbce może być więcej problemów niż w pozostałych rozmowach. Dodanie kolejnych nagrań wybranych po skargach tego nie skoryguje.

Przy formalnym pomiarze potrzebujesz dodatkowych założeń: definicji zdarzenia, sposobu losowania, oczekiwanej częstości i dopuszczalnej niepewności. Nie wyznaczaj liczebności próby na podstawie samego odsetka pokrycia. Jeśli wynik ma uzasadniać istotną decyzję biznesową, uzgodnij metodę z osobą znającą analizę statystyczną.

Analiza wszystkich nagrań też wymaga sprawdzenia

Narzędzie może przetworzyć cały dostępny zbiór, przygotować transkrypty i wskazać odpowiedzi na wybrane pytania. Dzięki temu można szukać tematów również poza ręcznie dobraną próbką. Przetworzenie pliku nie jest jednak równoznaczne z poprawnym sprawdzeniem każdego kryterium.

W raporcie rozdziel cztery liczby: nagrania dostępne, nagrania przetworzone, rozmowy z odpowiedzią możliwą do oceny i rozmowy zweryfikowane przez człowieka. Pliki z błędem przetwarzania albo uciętą końcówką powinny być widoczne jako braki. Nie dopisuj im wyniku pozytywnego tylko dlatego, że nie pojawiło się ostrzeżenie.

Sprawdzaj zarówno wskazane problemy, jak i losowo wybrane rozmowy bez wskazanego problemu. Pierwsza grupa pozwala znaleźć nietrafione alarmy. Druga może ujawnić przeoczenia. Samo potwierdzanie alarmów nie powie, co analiza pominęła w pozostałym materiale.

Jak ułożyć tygodniowy przegląd

Przy pierwszym przeglądzie możesz skorzystać z takiej listy:

1. Ustal okres, typy rozmów i jedno pytanie QA, na które szukasz odpowiedzi.
2. Przygotuj listę dostępnych plików oraz odnotuj braki w eksporcie.
3. Przejrzyj próbkę losową według tej samej definicji kryterium.
4. Osobno sprawdź rozmowy wybrane według ryzyka lub wskazań analizy.
5. Zweryfikuj fragmenty, w których odpowiedź pozostaje niejasna.
6. Zapisz działanie oraz zakres, którego wnioski rzeczywiście dotyczą.

Wielkość pierwszej rundy dopasuj do czasu na sprawdzenie dowodów i omówienie rozbieżności. Potraktuj ją jako próbę organizacji procesu. Nie przedstawiaj wygodnej liczby nagrań jako statystycznie wystarczającej tylko dlatego, że mieści się w tygodniowym planie.

Jeśli większość czasu zabiera dyskusja o tym, co oznacza spełnienie kryterium, popraw scorecard QA rozmów telefonicznych. Dodatkowe nagrania oceniane według niejasnych zasad dadzą więcej nieporównywalnych odpowiedzi.

Co wpisać w podsumowaniu

Podsumowanie powinno zawierać okres, liczbę dostępnych rozmów, sposób doboru, wersję karty i liczbę braków danych. Wynik „w sześciu z dwudziestu sprawdzonych reklamacji nie wskazano terminu” jest czytelniejszy niż „zespół słabo komunikuje terminy”. To przykład formy zapisu, nie rzeczywisty wynik analizy.

Przy porównaniu kolejnych okresów sprawdź, czy zmieniła się struktura spraw, języki lub metoda wyboru. Jeśli tak, opisz różnicę przed interpretacją wyniku. Nie przedstawiaj rankingu konsultantów opartego na nieporównywalnych próbkach. Wniosków AI nie wykorzystuj do automatycznych decyzji kadrowych.

Nagrania zawierają dane klientów, a obowiązki RODO pozostają po stronie pracodawcy zgodnie z jego rolą w przetwarzaniu. Analiza większego zbioru ich nie usuwa. To nie jest porada prawna. Podstawowe role opisuje EROD.

Co sprawdzić przed zwiększeniem zakresu

Do sprawdzania posiadanych nagrań możesz wykorzystać na przykład AfterTalk. Wgrywasz pliki po polsku lub angielsku i zadajesz własne pytania QA. Przy odpowiedziach znajdziesz dokładne fragmenty transkryptu, żeby samodzielnie je sprawdzić. Nie dołącza do rozmów jako bot. Okres próbny trwa 14 dni i obejmuje 10 godzin audio, bez karty płatniczej.

Zacznij od porównania wyników narzędzia z własnym przeglądem. Sprawdź, czy cytaty uzasadniają odpowiedzi i czy weryfikacja mieści się w dostępnym czasie. Potem poszerzaj zakres, zachowując ręczne sprawdzanie oraz widoczną listę braków. Tygodniową organizację pracy opisuje poradnik o kontroli jakości rozmów bez odsłuchiwania całości.