Czy e-learning jest skuteczny?

Marek Goliasz, 01.02.2010 , kategoria: e-learning

Zawarte powyżej pytanie jest często zadawane. I nie bez powodu, bo wdrożenie rozwiązań e-learningu to poważne i często drogie przedsięwzięcie. Swego czasu doradzałem pewnej uczelni w jaki sposób zmierzyć efektywność szkoleń przez Internet. W owej szkole zdecydowano się, aby porównać wyniki grupy, która brała udział w tradycyjnym kursie z wynikami grupy, która korzystała z interaktywnych symulacji umieszczonych w Sieci. Swoimi sugestiami dotyczącymi badania skuteczności chcę podzielić się także z Tobą.

Do badania efektywności szkoleń tradycyjnych i e-learningowych stosuje się model Kirkpatricka. Składa się on z czterech poziomów oceny:

1. Poziom reakcji – ocenie podlega zadowolenie uczestników, ich subiektywna ocena czy oczekiwania zostały spełnione.
Na tym etapie możliwe jest również znalezienie problemów z użytecznością platformy e-learning (np. kłopoty z zalogowaniem, niesprawne odnośniki) oraz tej części materiałów, które zostały źle sformułowane. W tym miejscu warto także sprawdzić czy studenci będą zainteresowani włączeniem się w kolejny projekt tego typu.

Metody: kwestionariusze i wywiady pogłębione.

2. Poziom wiedzy - ocenie podlega przyrost wiedzy. Zastosowanie pretestu i posttestu jest najlepszą metodą pomiaru.

3. Poziom zachowań – nieco upraszczając jest to ewaluacja utrzymania wiedzy wobec upływu czasu, o czym Pan wspomniał. Aby rozpocząć badanie na tym poziomie przyjmuje się odstęp minimum 6 tygodniu od zakończenia szkolenia.

4. Poziom efektów – standardowo polega na obliczeniu zwrotu z wartości oczekiwanej (w modyfikacji Philipsa wskaźnika zwrotu inwestycji). Chodzi o to, aby odpowiedzieć na pytanie czy wyniki grupy korzystającej z e-learningu są na tyle wyższe, że uczelni opłaca się inwestować w tę metodę nauczania. Na tym etapie warto również przeprowadzić ankiety i/lub wywiady z wykładowcami nt. umiejętności studentów szkolonych metodą e-learningu. Aby badać efekty powinno minąć minimum 6 miesięcy od zakończenia szkolenia.

To, co istotne w tym modelu to wielowymiarowość badania. Znaczenie ma tu nabyta wiedza i umiejętności, ale także satysfakcja uczestników i wartość dla organizacji.

Oprócz porównań ilościowych grupy eksperymentalnej i kontrolnej warto zwrócić uwagę czy jakiś specyficzny błąd/zaniedbanie pojawiały się w którejś grupie częściej. Raport błędów jest bardzo istotną informacją zwrotną.

Można zastanowić się jeszcze nad tym, aby ocena umiejętności praktycznych danego studenta była prowadzona przez co najmniej dwóch wykładowców. Pozwala to zminimalizować efekt wpływu eksperymentatora.

Jeśli uczelnia korzysta z platformy Moodle warto zainteresować się danymi z raportów aktywności kursantów – jak często się logowali,z którymi ekranami szkoleniowymi się zapoznali, czy przeszli całą ściężkę edukacyjną, czy wzięli udział w dyskusji na forum itp.

Najważniejszą sprawą jest zdefiniowanie celów kursu. Będą one punktem wyjścia dla stworzenia rzetelnych narzędzi pomiarowych – ankiet i kwestionariuszy.

Warto przeczytać:

Analiza pomiaru efektywności kosztowej procesów e-learningowych, M.Dąbrowski (artykuł on-line)

Mechanika umysłu