wtorek, 13 listopada 2018

Pomiar efektów gry (2)

Image courtesy of David Castillo Dominici
 at FreeDigitalPhotos.net
W przypadku gier szkoleniowych badacze i praktycy proponują różne metody podejścia do oceny ich przebiegu i zachodzących podczas stosowania gier efektów edukacyjnych.

W praktyce akademickich badań nad skutecznością edukacyjną gier szkoleniowych często stosowana jest metoda eksperymentalna, porównująca w systematyczny sposób efekty uczenia w różnych grupach uczących się za pomocą innych metod [1].  Drugą, znacznie częściej występującą w literaturze grupą badań prowadzonych na temat efektywności uczenia się za pomocą gier są badania oceniające efekty uczenia poprzez sprawdzenie tego w jakim stopniu uczestnicy opanowali jakieś treści i jak oceniają przebieg szkolenia i swoją satysfakcję z różnych jego aspektów [2]. Badania takie odpowiadają na pytanie o to, czy i w jakim stopniu gry sprawdzają się w realizacji określonego celu szkoleniowego, ale nie dają odpowiedzi na to, czy są one jako takie efektywniejsze niż inne narzędzia szkoleniowe.

Z praktycznego punktu widzenia, osoby zajmujące się oceną efektów użycia gier szkoleniowych stosują najczęściej badanie satysfakcji z uczestnictwa w szkoleniu, które jak wskazują badacze tego tematu jest relatywnie najmniej dokładnym, ale najłatwiejszym do uzyskania pomiarem możliwych efektów szkolenia. Pytania o opinię uczestników najczęściej dotyczą:
  • Satysfakcji ze sposobu prowadzenia
  • Motywacji do stosowania wiedzy i umiejętności z gry
  • Samooceny przyrostu wiedzy i umiejętności
Inną, często stosowaną formą ewaluacji efektów szkolenia z użyciem gier są testy wiedzy prowadzone w różnej formie. Często mogą mieć one rozbudowaną, praktyczną formę sprawdzenia wiedzy proceduralnej i umiejętności wyboru optymalnych zachowań/rozwiązań w różnych sytuacjach (np. w procesie obsługi klienta), a nie tylko faktografii i wiedzy teoretycznej nabytej na szkoleniu

Badacze stosowanie gier i symulacji wskazują także, że w przypadku najbardziej złożonych umiejętności (planowania strategicznego, podejmowania decyzji w określonych obszarach biznesu, zarządzania zespołem itd.) większe znaczenie mają metody ewaluacji powiązane z wyższymi poziomami w modelu Kicpatricka. Transfer zachowań do organizacji i konkretne zmiany we wskaźnikach przedsiębiorstwa mogą być w tej sytuacji lepszymi miernikami efektów gry szkoleniowej, niż test, który nie dotyka sedna zdobytych umiejętności.

Ważnymi czynnikami towarzyszącymi jakie należy brać pod uwagę oceniając gry szkoleniowe są także kwestie takie jak:
  • Osoba prowadzącego i jego znajomość gry
  • Warunki proceduralne realizacji szkolenia
  • Dopasowanie gry do tematu szkolenia
Wszystkie te kwestie mogą oddziaływać no odbiór szkolenia z grą lub symulacją, zarówno in plus jak i in minus i powinny być kontrolowane podczas ewaluacji, tak aby nie zaburzać oceny samego narzędzia.
Źródła:
[1] Brenenstuhl, Daniel C.; Ralph F. Catalanello, An Analysis of the Impact Upon the Learning Effectiveness of Traditional Instruction, Simulation Gaming and Experiential Learning Methodologies:  An Experiential Design, 1976 r
[2] Cook, John E. Assessing, Effectiveness of an Experiential Oriented Course Over Time, 1999 r.
[3] Woźniak J., Ocenianie efektów szkolenia, 2012 r.
[4] Woźniak A., Pełech J., Gry Menedżerskie, 2016 r.
[5] http://www.thiagi.com/articles/2015/1/23/how-effective-are-games

wtorek, 23 października 2018

Grywalizacja w edukacji (8) - Wiedza w nagrodę

Ciekawym rozwiązaniem stosowanym z powodzeniem w wielu narzędziach grywalizacyjnych z obszaru edukacji jest stosowanie jako formy wyróżnienia dla uczestników możliwości dostępu o dodatkowych treści szkoleniowych, które pozwalają personalizować przebieg programu edukacyjnego.

Dodatkowe lekcje dostępne w aplikacji duolingo
Rozwiązanie to stosowane jest np. w wielu kursach i aplikacjach e-learningowych takich jak duolingo i w zależności od wersji mechanizmu polega na wyborze lub "zakupie" dodatkowych treści z określonej przez twórcę programu listy. Sednem tego mechanizmu jest budowa u uczestników zainteresowania i potrzeby eksploracji treści programu, a także posłużenie się psychologicznym efektem niedostępności, podnoszącym subiektywną wartość zdobywanych treści. Niedostępność polega tu na fakcie, że na dodatkowe treści trzeba sobie 'zapracować' i mają one charakter nagrody, a korzystanie z nich ma charakter dobrowolny.

Najczęściej stosowane formy treści, które są stosowane w charakterze nagród, obejmują:
  • Dodatkowe lekcje i moduły elearningowe;
  • Dodatkowe treści w formie ebooków, skryptów i książek;
  • Dodatkowe konsultacje z prowadzącym (wykładowcą, coachem, trenerem);
  • Dostęp do dodatkowych zadań sprawdzających i utrwalających wiedzę;
Ekran dodatkowej, dostępnej dla treści - zawartość książki - w grze Wiedźmin III Dziki Gon / źródło
Ciekawym mechanizmem budowy dodatkowego zaangażowania jest także wplecenie w dalszej części programu szkoleniowego nawiązań do treści nieobowiązkowych, które mogą dać uczestnikom decydującym się na skorzystanie z nich poczucie sensowności sięgania po treści opcjonalne w ogóle i być formą widocznego tylko dla nich mikrowyróżnienia za zaangażowanie w eksplorację treści szkoleniowych.

Niezłym pomysłem, stosowanym np. w aplikacji Duolingo, jest także tworzenie treści zdobywanych jako nagrody z materiałów nietypowych (np. słownictwo związane z flirtem), humorystycznych czy mających charakter ciekawostek / pigułek wiedzy. Zwiększa to zainteresowanie nimi ze strony uczestników i tworzy wrażenie przerwy, oderwania się i odpoczynku od właściwej treści kursu.

Na koniec, podobnie jak w kolejnych wpisach z tej serii, prezentujemy krótkie podsumowanie najważniejszych treści z tego posta w formie kart z opisem omówionej techniki. Zachęcamy do ich ściągania, udostępniania, drukowania i używania jako inspiracji do tworzenia własnych narzędzi grywalizacyjnych w edukacji:


czwartek, 18 października 2018

Pomiar efektów gry (1)

Pomiar efektów edukacyjnych gry szkoleniowej jest jednym z wyzwań jakie stają przed każdym trenerem i projektantem tworzącym gry szkoleniowe. W tym dwuczęściowym poście przyjrzymy się dwóm głównym wyzwaniom jakie pojawiają się kiedy chcemy ocenić efekty gry szkoleniowej:
  • Głównym efektom edukacyjnym jakie wywołują gry szkoleniowe i temu czemu są one problematyczne w ewaluacji;
  • Modelom dedykowanym pomiarowi efektywności gier szkoleniowych, oraz temu, jak ogólne modele oceny szkoleń (np. model Kickpatricka) przydają się w ewaluacji gier szkoleniowych;
Image courtesy of renjith krishnan at FreeDigitalPhotos.net
Trudności w ewaluacji gier szkoleniowych biorą się przede wszystkim z faktu, że jest to metoda szkolenia, której główne efekty występują poza obszarem obejmowanym przez szybkie i tanie do opracowania standardowe testy wiedzy deklaratywnej. Jeśli spojrzeć na gry szkoleniowe holistyczne, to efekty gier w typologii efektów kształcenia (posługujemy się tu modelem z książki "Ocenianie efektów szkolenia" autorstwa Jacka Woźniaka) występują przede wszystkim:
  •  W sferze umiejętności:
    • Nabywania umiejętności
    • Przetwarzania umiejętności
  • W sferze afektywnej:
    • Zmiany postaw
    • Dyspozycje motywacyjne do określonych zachowań
    • Poczucie sprawstwa w obrębie
Dodatkowo gry szkoleniowe wywołują nie tylko zmiany na poziomie indywidualnym, ale, patrząc z perspektywy socjologicznej, są też efektywnym narzędziem wprowadzania zmian w strukturze relacji w grupach różnego rodzaju (zwłaszcza kiedy cała grupa wspólnie uczestniczy w doświadczeniu rozwojowym z użyciem gry).

Opisane powyżej efekty do sprawdzenia ich wystąpienia wymagają albo bardziej złożonych narzędzi analitycznych do badania postaw jawnych i ukrytych (w sferze afektywnej), albo wręcz przeprowadzenia ustrukturyzowanej obserwacji (zmiany w obrębie umiejętności oraz zmiany na poziomie grupy). Jednocześnie gry szkoleniowe są narzędziem, które generuje bardzo wysoką satysfakcję uczestników i przekłada się na wysoką ocenę szkolenia na pierwszym poziomie w modelu Kicpatricka, co nie zawsze koreluje z efektami na wyższych poziomach. Z tych powodów ewaluacja szkolenia z użyciem gry szkoleniowej musi być szczególnie dokładnie przemyślana, a rzetelna ocena efektów szkoleniowych powinna wykraczać poza sam pomiar satysfakcji uczestników.

W kolejnym wpisie z tego cyklu przyjrzymy się jakie podejścia do ewaluacji efektów szkoleń z użyciem gier można znaleźć w literaturze fachowej i zastanowimy się nad ich wadami i zaletami.

wtorek, 16 października 2018

Grywalizacja w edukacji (7) - Cele opcjonalne

Image courtesy of Master isolated images
 at FreeDigitalPhotos.net
Ważnym elementem każdego systemu z elementami grywalizacji są cele jakie stawiamy jego uczestnikom i sposób w jaki cele te są im komunikowane. Wielu badaczy gier, takich jak np. Chris Crawford czyni mierzalne cele jednym ze składników definicji gry, bardzo rozwinięty jest też obszar badań nad przełożeniem teorii stawiania celów na mechanizmy grywalizacyjne (ciekawy artykuł na ten temat można przeczytać np. TUTAJ).

Badania nad rodzajami celów w grach wskazują że jeden z nich jest szczególnie atrakcyjny dla uczestników, a jednocześnie rzadko występuje w tradycyjnych szkoleniach, opartych o sztywny program, identyczny dla wszystkich osób biorących w nim udział. Mowa tu o tzw. celach opcjonalnych.

Użycie celów opcjonalnych jako technika grywalizacji programu edukacyjnego polega na dodaniu w nim zadań do realizacji dla uczestników, których wykonanie zależy tylko od ich woli i nie jest wymagane do ukończenia programu. Mechanizm ten stwarza uczestnikom przestrzeń do pogłębienia i eksploracji treści szkoleniowych, a w połączeniu z określonymi wyróżnieniami lub formą uznania dla ich dodatkowego wysiłku, pozwala im poczuć się wyjątkowo i wzmacnia chęć do samodzielnego rozwijania kompetencji jakiej dotyczy dany program szkoleniowy.

W grach  komputerowych cele dodatkowe często prezentowane są jako informacja wyświetlana na mapie / źródło
Warto zauważyć, że cele opcjonalne sprawdzają się szczególnie dobrze w przypadku uczestników, którzy naturalnie prezentują eksploracyjne podejście do treści szkoleniowej, a nie są specjalnie efektywne  przypadku osób bardzo zdemotywowanych do nauki lub podważających sens danego programu szkoleniowego. Drugim czynnikiem, który należy brać pod uwagę projektując cele opcjonalne, jest czas uczestników. Ponieważ zadania te wykonywane są w czasie dodatkowym, poza zwykłym programem szkoleniowym, należy dopilnować aby zajmowały one stosunkowo mało czasu i miały atrakcyjną formę i nieco wyższy poziom trudności niż inne elementy programu.

Z punktu widzenia mechaniki gry, cele opcjonalne można podzielić na dwie podstawowe grupy:
  • Cele poboczne - niezwiązane z innymi zadaniami w programie szkoleniowym, dodające nowe treści, o które uczestnik może poszerzyć swoją wiedzę. Przykładowo, jeśli w kursie wiedzy o roślinach leczniczych programem może być objęte 30 gatunków, to dobrym celem dodatkowym będzie przygotowanie materiału i zadań sprawdzających wiedzę o pięciu kolejnych roślinach, spoza zakresu podstawowego, dostępnych dla wszystkich osób chętnych;
  • Stretch goals - pojęcie nie mające póki co dobrego tłumaczenia na język polski, obejmujące cele związane z zadaniami już obecnymi w programie edukacyjnym, ale będące ich trudniejszą wersją. Przykładowo ile celem obowiązkowym i warunkiem ukończenia w kursie językowym może być zdanie wszystkich testów sprawdzających na poziomie 70%, o tyle np. osiągnięcie przynajmniej 90% we wszystkich testach może być dobrym nieobowiązkowym stretch goalem, nagradzanym specjalnym wyróżnieniem (np. złotym medalem lub tradycyjnym oznaczeniem 'summa cum laude' na dyplomie;
Na koniec, podobnie jak w kolejnych wpisach z tej serii, prezentujemy krótkie podsumowanie najważniejszych treści z tego posta w formie kart z opisem omówionej techniki. Zachęcamy do ich ściągania, udostępniania, drukowania i używania jako inspiracji do tworzenia własnych narzędzi grywalizacyjnych w edukacji:

środa, 10 października 2018

Grywalizacja w edukacji (6) - Misje


W poprzednich wpisach z tego cyklu przyjrzeliśmy się narzędziom i technikom grywalizacyjnym, które oddziałują poprzez wywoływanie psychologicznego efektu nagrody albo strukturyzację i atrakcyjną, uporządkowaną formę prezentacji informacji zwrotnej dla uczestników. W kolejnych kilku wpisach przyjrzymy się technikom grywalizacyjnym skupionym na budowie u uczestników programu szkoleniowego poczucia sprawczości, swobody i wpływu na jego kształt.

https://images.eurogamer.net/2017/metabomb/PaladinLegendaryTheLastKaleidosaurFINAL.jpg
Karta misji z gry Heartstone
W dzisiejszym wpisie bierzemy na warsztat misje dla uczestników programu, jako pierwszy i podstawowy mechanizm grywalizacyjny zwiększający poczucie sprawczości w programie szkoleniowym. W swojej podstawowej formie misje polegają na zakomunikowaniu uczestnikowi szkolenia indywidualnego celu dotyczącego treści programu, którego spełnienie może być nagradzane wyróżnieniem, pochwałą lub inną formą niematerialnej nagrody. Kryterium wykonania misji może być:
  • Odpowiedź na pytanie sprawdzające wiedzę
  • Wykonanie zadania z użyciem wiedzy pozyskanej na szkoleniu
  • Podzielenie się opinią na temat określonej treści kursu
  • Zebranie określonej liczby przedmiotów / wyróżnień związanych z jakimś obszarem programu
  • Osiągnięcie określonego wyniku w zadaniu sprawdzającym lub grze szkoleniowej
Główne efekty użycia misji w obrębie programu szkoleniowego obejmują:
  • Czasowy wzrost skupienia uczestnika - stosując taki mechanizm często można zaobserwować zwiększenie koncentracji na wszystkich elementach szkolenia do momentu realizacji misji
  • Bardzo dobre zapamiętanie treści związanych z przedmiotem misji - skupienie na nich i pobudzenie emocjonalne związane z wyróżnieniem i ukończeniem misji przekłada się na dużo lepsze zapamiętywanie treści, których dotyczą misje
  • Wzrost zadowolenia z uczestnictwa w programie - misja jest elementem dodatkowym, często niespodziewanym, redukującym możliwe znużenie wywołane treścią merytoryczną programu
  • Wzrost poczucia sprawczości u uczestnika - decyzja o realizacji misji powinna należeć do samego uczestnika
Z opisanych powyżej korzyści stosowania misji wynika optymalny kontekst ich stosowania, jako elementu dodatkowego systemu grywalizacji, zwiększającego zaangażowanie uczestników i pozwalający skupić się im na konkretnych treściach / aktywnościach i dużo lepiej zapamiętać związane z nimi treści lub doświadczenie.

Dziennik misji z gry Elder Scrolls IV Oblivion
Patrząc od strony praktycznej, misje stosowane w grywalizacji szkoleń najczęściej mają formę:
  • Kart wręczanych uczestnikom, zawierających treść misji i często także miejsce na wpisanie / zaznaczenie odpowiedzi
  • Dziennika z zadaniami, w formie papierowej lub elektronicznej, prezentującego wszystkie zadania jakie związane są z treścią programu
  • Powiadomień / komunikatów z treścią misji, warunkami jej realizacji w aplikacjach e-learningowych
  • Komunikatów i wypowiedzi bohaterów niezależnych w grach szkoleniowych
Na koniec, podobnie jak w kolejnych wpisach z tej serii, prezentujemy krótkie podsumowanie najważniejszych treści z tego posta w formie kart z opisem omówionej techniki. Zachęcamy do ich ściągania, udostępniania, drukowania i używania jako inspiracji do tworzenia własnych narzędzi grywalizacyjnych w edukacji:

niedziela, 7 października 2018

Grywalizacja w edukacji (5) - Karta postaci

W piątym poście z cyklu po technikach grywalizacyjnych przyjrzymy się jednej z nich zorientowanej, podobnie jak poprzednia, na prezentację i wizualizację informacji o postępach rozwoju kompetencji uczestnika szkolenia. Mowa tu o zaczerpniętej z gier fabularnych karcie postaci.

Karta postaci z gry Baldur's Gate II / źródło
Sensem zastosowania karty postaci w grze fabularnej, podobnie jak w programie grywalizacyjnym, jest zebranie w jednym miejscu wszystkich kluczowych informacji o graczu / uczestniku programu. Te informacje w kontekście szkoleniowym obejmować mogą przede wszystkim:
  • Aktualne statystyki istotne z punktu widzenia programu szkoleniowego;
    • Zdobyte punkty doświadczenia;
    • Udział w aktywnościach edukacyjnych;
  • Zdolności / umiejętności potwierdzone w trakcie programu szkoleniowego wraz z aktualnym osiągniętym poziomem każdej z nich;
  • Zadania czekające na realizację;
  • Zdobyte wyróżnienia;
  • Relacje z innymi osobami biorącymi udział w programie;
  • Aktualnie realizowane elementy programu;
  • Informacje personalizujące postać - jej awatara, historię itd. (o tych elementach będę pisać w dalszej części tego cyklu na blogu);
Moja karta postaci w aplikacji Duolingo
Karty postaci stosowane w programach e-learningowych, aplikacjach i stanowiące element szkoleń offline moga mieć różny poziom złożoności. W wielu aplikacjach mają dość ograniczoną formę, zawierającą 2-3 główne elementy z opisanej powyżej listy, ale w przypadku uczestników mających duże doświadczenie w grach i dużą potrzebę eksploracji statystyk swojego udziału w programie edukacyjnym, mogą one mieć bardzo rozbudowaną formę, zbliżoną do tej w typowych grach fabularnych.
Karta postaci z gry fabularnej Dungeons and Dragons
Karta postaci jest niemal zawsze elementem opcjonalnym programu edukacyjnego z elementami grywalizacji. Ta forma prezentacji informacji jest atrakcyjna i stanowi wartość dodaną, przede wszystkim dla tych uczestników programu, którzy lubią analizować otrzymane informacje zwrotne, a także eksplorować dostępne w programie opcje.

Na koniec, podobnie jak w kolejnych wpisach z tej serii, prezentujemy krótkie podsumowanie najważniejszych treści z tego posta w formie kart z opisem omówionej techniki. Zachęcamy do ich ściągania, udostępniania, drukowania i używania jako inspiracji do tworzenia własnych narzędzi grywalizacyjnych w edukacji:


czwartek, 4 października 2018

Gry Menedżerskie

Na tym blogu miałem już okazję recenzować książkę autorstwa Alicji Balcerak i Jacka Woźniaka, a mianowicie wydaną w 2014 roku pracę "Szkoleniowe metody symulacyjne". W 2016 roku ten sam zespół autorów wydał kolejną pracę poświęconą nauce przez doświadczenie, zatytułowaną "Gry menedżerskie".

Książka autorstwa pary badaczy i jednocześnie praktyków stosowania gier i symulacji menedżerskich jest bardzo cenną i aktualną lekturą poświęconą decyzyjnym grom managerskim i innym formom interaktywnych metod szkoleniowych spełniających definicję gier.

Autorzy książki zaczynają ją od historycznego i teoretycznego spojrzenia na gry managerskie, porządkując galimatias definicyjny i terminologiczny panujący na rynku gier szkoleniowych, sprawiający, że często 'grami' nazywane są narzędzia niespełniające podstawowych wymogów definicyjnych gry. Problem ten jest o tyle istotny, że niepoprawnie użyte określenie 'gra menedżerska' czy 'gra szkoleniowa' może rozbudzać określone skojarzenia u zamawiającej ją organizacji, dotyczące poziomu złożoności, głębokości feedbacku po szkoleniu czy zaangażowania uczestników.

W książce "Gry Menedżerskie" pojawia się także wyraźne, widoczne w samym tytule pracy, zorientowanie na gry decyzyjne i psychologię ich stosowania podczas szkolenia. Ten typ gier, skierowany jest w przeważającej mierze do osób na stanowiskach kierowniczych różnych szczebli i specjalistów, dla których racjonalne i trafne podejmowanie decyzji w swoim obszarze jest kompetencją kluczową. Z tego też powodu, gry stanowią szczególnie cenne narzędzie w szkoleniach dla tych dwóch grup pracowników, ponieważ sama ich mechanika przyczynia się do stworzenia środowiska, w którym w naturalny sposób można rozwijać kompetencje kierownicze i specjalistyczne.

Dużo miejsca w książce poświęcono także na kwestię omówienia procesu wyboru i przygotowania do prowadzenia gry, które to czynności, jak zauważają autorzy, są kluczowe dla zapewnienia skuteczności jej przebiegu. Trzeci rozdział poświęcony temu tematowi jest najdłuższym w książce i  będzie przydatny każdemu wykładowcy czy trenerowi, który rozważa sięgnięcie po gry i symulacje szkoleniowe. Autorzy omawiają tu różne role jakie trener pełni w trakcie rozgrywki, a także to, w jakiej formie można omawiać wyniki rozgrywki, aby zmaksymalizować efekty edukacyjne gry.

Ostatnia część książki porusza bardzo ważny temat, jakim jest ocena skuteczności gier szkoleniowych. Autorzy omawiają w nim znaczenie doboru metod pomiaru efektywności szkoleń, które są w stanie skutecznie mierzyć główne efekty gier decyzyjnych. Typowa forma ewaluacji bazująca na opinii o satysfakcji uczestników czy też teście wiedzy mogą być tu nie do końca dobrymi narzędziami, z racji faktu, że gry, niezależnie od innych efektów, często powodują bardzo wysokie zadowolenie uczestników, a ich główne efekty w obszarze zmiany postaw czy zachowań są praktycznie niemierzalne za pomocą testów. Autorzy książki proponują tu własne narzędzia i metodykę pomiaru efektów użycia gier decyzyjnych, która lepiej radzi sobie z pokazaniem korzyści jakie dają gry menedżerskie niż standardowe formy ewaluacji poszkoleniowej.

Podsumowując, uważam, że książka Alicji Balcerak i Jacka Woźniaka jest cenną lekturą zarówno dla twórców gier szkoleniowych i edukacyjnych, jak też trenerów, ponieważ łączy w sobie uporządkowane i dobrze ugruntowane teoretycznie podejście akademickie do tego tematu, jak też praktyczne wskazówki dotyczące wyboru i oceny efektów użycia gier decyzyjnych dla osób, które korzystają z nich w praktyce.

Książka jest dostępna m. in. na stronie wydawnictwa pod TYM linkiem.