Co zrobić, jeśli organizacja nie potrzebuje kolejnego szkolenia? Wiedza została już przekazana na warsztatach, podczas wdrożenia, w instrukcjach albo po prostu wynika z wcześniejszego przygotowania uczestników. Potrzeba jest inna: sprawdzić według jednolitych zasad, co ludzie wiedzą, zebrać wyniki i na ich podstawie podjąć decyzję.
Do takiego zadania również można wykorzystać platformę szkoleniową.
W jednym z naszych projektów LearncomPro nie pełnił przede wszystkim funkcji biblioteki kursów. Stał się infrastrukturą procesu weryfikacji wiedzy: trzeba było przygotować użytkowników i grupy, skonfigurować testy, ustalić sposób losowania pytań, monitorować przebieg, zapewnić wsparcie techniczne, a na końcu przekazać wyniki oraz informacje analityczne.
I właśnie ten projekt przypomniał nam rzecz dość oczywistą, o której łatwo zapomnieć: LMS może nie tylko dostarczać wiedzę. Może również pomagać ją mierzyć.
W raportach szkoleniowych bardzo lubimy zielony kolor. 96% ukończeń. 99% ukończeń. W idealnym świecie: 100%.
Problem polega na tym, że status „ukończono” mówi przede wszystkim, że użytkownik wykonał czynności wymagane przez system. Nie odpowiada jeszcze na pytanie, czy zrozumiał materiał i czy potrafi odtworzyć najważniejsze informacje.
Dlatego warto rozdzielić dwie rzeczy: dostarczenie treści i ocenę efektu uczenia się.
OECD rozróżnia między innymi ocenę formatywną, która pomaga rozpoznać luki i kształtować dalszy proces uczenia, oraz ocenę podsumowującą, której zadaniem jest sprawdzenie osiągnięcia określonych efektów uczenia się(i). Platforma może obsłużyć oba scenariusze.
Przykład 1. Po cyklu warsztatów dla nowych menedżerów organizacja może przeprowadzić test diagnostyczny. Nie po to, aby kogokolwiek „oblać”, lecz żeby sprawdzić, które zagadnienia wymagają powtórzenia. Jeśli większość grupy dobrze rozumie delegowanie, ale ma problem z udzielaniem informacji zwrotnej, pojawia się konkretna wskazówka dla dalszych działań rozwojowych.
Przykład 2. W obszarze procedur lub compliance test może służyć okresowemu potwierdzeniu znajomości zasad. Organizacja nie otrzymuje wtedy wyłącznie informacji: „pracownik otworzył materiał”, lecz odpowiedź na znacznie ważniejsze pytanie: „czy poprawnie odpowiada na pytania dotyczące zasad, których powinien przestrzegać?”.
Tu pojawia się ciekawy paradoks. Test kojarzymy zwykle z końcem nauki. Najpierw się uczymy, później ktoś nas sprawdza.
Psychologia poznawcza pokazuje jednak, że samo wydobywanie informacji z pamięci może wspierać ich późniejsze zapamiętywanie. Metaanaliza badań nad practice testing wykazała, że testowanie wiedzy może dawać lepsze efekty uczenia niż ponowne studiowanie tego samego materiału(ii).
Nie oznacza to oczywiście, że każde formalne sprawdzanie wiedzy automatycznie staje się świetną metodą szkoleniową. Znaczenie ma sposób konstrukcji pytań, informacja zwrotna, moment wykonania testu i jego cel.
Ale dla L&D wynika z tego praktyczna rzecz: test można wykorzystywać w kilku miejscach procesu, a nie wyłącznie jako obowiązkowe pięć pytań na końcu kursu.
Przykład 3. Przed szkoleniem można sprawdzić poziom wyjściowy uczestników. Po szkoleniu ten sam zakres wiedzy można zweryfikować ponownie. A po kilku tygodniach przeprowadzić krótkie przypomnienie w formie pytań. Zamiast jednego zdarzenia szkoleniowego powstaje proces, który dostarcza danych i jednocześnie pobudza uczestników do ponownego wydobywania wiedzy z pamięci.
Może pomyślisz: skoro chodzi tylko o odpowiedzenie na pytania, to po co platforma? Czy nie wystarczy formularz internetowy albo arkusz?
Przy teście dla kilkunastu osób rzeczywiście może wystarczyć. Sytuacja zmienia się, gdy proces zaczyna mieć znaczenie organizacyjne, obejmuje wiele osób lub grup, musi odbywać się według określonych zasad, a jego wyniki będą później podstawą do dalszych działań.
W naszym projekcie dużą część pracy stanowiło nie samo „wpisanie pytań do systemu”, ale zbudowanie wokół testów całego procesu.
Trzeba było zadbać między innymi o:
To ważna zmiana perspektywy. Test nie jest pojedynczym formularzem. Jest procesem, którego jednym z elementów jest formularz z pytaniami.
Jeśli dwie osoby siedzą obok siebie i otrzymują identyczne pytania w identycznej kolejności, stworzyliśmy im dodatkową możliwość „współpracy”, której raczej nie planowaliśmy.
Dlatego w procesach, w których wynik ma znaczenie, przydaje się bank pytań, losowanie zestawów oraz zmiana kolejności odpowiedzi. Nie eliminuje to wszystkich problemów związanych z kontrolą warunków wykonywania testu, ale zmniejsza przewidywalność jego przebiegu.
Jednocześnie pojawia się drugie wymaganie: różne zestawy muszą nadal sprawdzać porównywalny zakres wiedzy.
I tutaj platforma już nie pomoże za nas. Jeśli pula zawiera dziesięć bardzo łatwych pytań i dziesięć bardzo trudnych, samo losowanie może prowadzić do wyników, które trudno porównywać. Potrzebne jest dobre przygotowanie materiału merytorycznego i przemyślana konstrukcja testu.
Technologia może bardzo dobrze wykonać regułę. Nie zdecyduje natomiast, czy reguła jest mądra.
W typowym projekcie szkoleniowym pytanie brzmi często: „Ile osób ukończyło szkolenie?”.
Przy weryfikacji wiedzy potrzebujemy więcej.
Kto przystąpił do testu? Jaki uzyskał wynik? Czy osiągnął wymagany poziom? Jak wyglądają wyniki w poszczególnych grupach? Czy są zagadnienia, które sprawiają uczestnikom wyraźnie większą trudność?
Właśnie tu platforma daje przewagę nad ręcznym zbieraniem wyników z wielu arkuszy i wiadomości e-mail. Dane powstają w jednym środowisku i można przygotować z nich raport odpowiadający potrzebom organizacji.
Ma to bardzo praktyczną konsekwencję biznesową. Osoba odpowiedzialna za proces nie musi przez kilka dni scalać plików, sprawdzać wersji i zastanawiać się, czy ktoś nie został pominięty. Może skupić się na tym, co wynika z rezultatów.
Co więcej, w niektórych procesach nie ma potrzeby przekazywania dostawcy pełnych danych identyfikacyjnych użytkowników. Jeśli pozwala na to charakter projektu, można oprzeć obsługę na wewnętrznych identyfikatorach i ograniczyć zakres przetwarzanych danych. To przykład sytuacji, w której projekt procesu, technologia i bezpieczeństwo danych powinny być omawiane razem, a nie kolejno przez trzy różne zespoły.
Warto jednak uważać na drugą skrajność. Dobry wynik w teście nie oznacza automatycznie wysokich kompetencji.
Model Kirkpatricka dobrze porządkuje ten problem. Sprawdzenie wiedzy należy przede wszystkim do poziomu 2 – uczenia się. Poziom 3 dotyczy już tego, czy uczestnicy wykorzystują to, czego się nauczyli, w swoim środowisku pracy(iii).
Jeżeli więc pracownik poprawnie odpowie na wszystkie pytania dotyczące udzielania informacji zwrotnej, wiemy coś o jego wiedzy. Nie wiemy jeszcze, czy podczas trudnej rozmowy z pracownikiem rzeczywiście zastosuje właściwe zachowania.
Podobnie jest z bezpieczeństwem, obsługą aplikacji, sprzedażą czy zarządzaniem. Test może sprawdzić wiedzę o procedurze. Symulacja może sprawdzić wykonanie zadania lepiej. Obserwacja w miejscu pracy może powiedzieć jeszcze więcej o rzeczywistym zachowaniu.
Dlatego przed projektem warto odpowiedzieć na pytanie: co właściwie chcemy zmierzyć?
Jeżeli wiedzę – dobrze skonfigurowany test online może być bardzo skutecznym i skalowalnym rozwiązaniem.
Jeżeli umiejętność wykonania złożonej czynności – sam test jednokrotnego wyboru prawdopodobnie będzie za mało.
Z naszego doświadczenia z LearncomPro wynika więc coś szerszego niż kolejna funkcjonalność na liście możliwości systemu.
Platforma e-learningowa może obsługiwać proces rozwojowy nawet wtedy, gdy sama nauka odbywa się gdzie indziej.
Uczestnik mógł zdobywać wiedzę na warsztacie, w miejscu pracy, podczas szkolenia stacjonarnego, z instrukcji, materiałów w intranecie albo z wcześniejszego doświadczenia. Platforma może pojawić się dopiero wtedy, gdy organizacja chce tę wiedzę uporządkowanie sprawdzić, udokumentować wynik i zebrać dane.
Przykład 4. Firma wdraża nową procedurę w kilkudziesięciu zespołach. Część pracowników uczestniczyła w spotkaniach z menedżerami, część zapoznała się z instrukcją, a część była szkolona lokalnie. Zamiast zmuszać wszystkich do przejścia kolejnego identycznego kursu, organizacja może najpierw zweryfikować wiedzę. Osoby, które osiągną wymagany poziom, kończą proces. Tym, u których pojawiły się luki, można przypisać odpowiednie materiały lub działania rozwojowe.
To już nie jest LMS rozumiany jako cyfrowa półka z kursami. To narzędzie do zarządzania wiedzą, jej weryfikacją i danymi potrzebnymi do podejmowania decyzji.
Platforma szkoleniowa nie musi odpowiadać wyłącznie na pytanie: „Jak udostępnimy ludziom szkolenie?”.
Czasami ważniejsze pytanie brzmi: „Jak wiarygodnie sprawdzimy, co ludzie wiedzą, i co zrobimy z wynikiem?”
W takich projektach znaczenie mają nie tylko same pytania testowe. Potrzebne są reguły dostępu, zarządzanie grupami, konfiguracja testów, losowanie, raportowanie, bezpieczeństwo danych, wsparcie oraz sprawne przeprowadzenie całego procesu.
LearncomPro wykorzystujemy właśnie również w ten sposób – nie tylko do publikowania szkoleń e-learningowych, ale także do tworzenia testów i obsługi procesów, w których najważniejszym produktem nie jest ukończony kurs, lecz wiarygodna informacja o poziomie wiedzy.
Jeżeli w Twojej organizacji potrzebna jest weryfikacja wiedzy dużej grupy osób, warto więc zacząć nie od pytania „jakie szkolenie przygotować?”, ale od wcześniejszego: „czy w tym przypadku w ogóle potrzebujemy szkolenia, czy przede wszystkim potrzebujemy dobrze zaprojektowanego sprawdzianu i danych?”
Nie każdy problem z wiedzą wymaga kolejnego szkolenia. Jeśli potrzebujesz najpierw ustalić, co pracownicy rzeczywiście wiedzą, możemy pomóc zaprojektować proces weryfikacji i raportowania na LearncomPro.
(i) OECD, Digital assessment, OECD Digital Education Outlook 2023. Autorzy opisują między innymi różnicę między oceną formatywną i podsumowującą oraz zastosowanie narzędzi cyfrowych w ocenie efektów uczenia się. OECD – Digital assessment
(ii) Adesope, O.O., Trevisan, D.A., Sundararajan, N. (2017), Rethinking the Use of Tests: A Meta-Analysis of Practice Testing, Review of Educational Research, 87(3), 659-701. Metaanaliza dotycząca wpływu testowania na uczenie się i zapamiętywanie. SAGE Journals – Rethinking the Use of Tests
(iii) Kirkpatrick Partners, The Kirkpatrick Model. Poziom 2 modelu dotyczy nabycia wiedzy, umiejętności i postaw, natomiast poziom 3 wykorzystania ich w praktyce. Kirkpatrick Partners – The Kirkpatrick Model
