Pomiar efektów gry (2)

Image courtesy of David Castillo Dominici
 at FreeDigitalPhotos.net

W przypadku gier szkoleniowych badacze i praktycy proponują różne metody podejścia do oceny ich przebiegu i zachodzących podczas stosowania gier efektów edukacyjnych.

W praktyce akademickich badań nad skutecznością edukacyjną gier szkoleniowych często stosowana jest metoda eksperymentalna, porównująca w systematyczny sposób efekty uczenia w różnych grupach uczących się za pomocą innych metod [1].  Drugą, znacznie częściej występującą w literaturze grupą badań prowadzonych na temat efektywności uczenia się za pomocą gier są badania oceniające efekty uczenia poprzez sprawdzenie tego w jakim stopniu uczestnicy opanowali jakieś treści i jak oceniają przebieg szkolenia i swoją satysfakcję z różnych jego aspektów [2]. Badania takie odpowiadają na pytanie o to, czy i w jakim stopniu gry sprawdzają się w realizacji określonego celu szkoleniowego, ale nie dają odpowiedzi na to, czy są one jako takie efektywniejsze niż inne narzędzia szkoleniowe.

Z praktycznego punktu widzenia, osoby zajmujące się oceną efektów użycia gier szkoleniowych stosują najczęściej badanie satysfakcji z uczestnictwa w szkoleniu, które jak wskazują badacze tego tematu jest relatywnie najmniej dokładnym, ale najłatwiejszym do uzyskania pomiarem możliwych efektów szkolenia. Pytania o opinię uczestników najczęściej dotyczą:

• Satysfakcji ze sposobu prowadzenia
• Motywacji do stosowania wiedzy i umiejętności z gry
• Samooceny przyrostu wiedzy i umiejętności

Inną, często stosowaną formą ewaluacji efektów szkolenia z użyciem gier są testy wiedzy prowadzone w różnej formie. Często mogą mieć one rozbudowaną, praktyczną formę sprawdzenia wiedzy proceduralnej i umiejętności wyboru optymalnych zachowań/rozwiązań w różnych sytuacjach (np. w procesie obsługi klienta), a nie tylko faktografii i wiedzy teoretycznej nabytej na szkoleniu

Badacze stosowania gier i symulacji wskazują także, że w przypadku najbardziej złożonych umiejętności (planowania strategicznego, podejmowania decyzji w określonych obszarach biznesu, zarządzania zespołem itd.) większe znaczenie mają metody ewaluacji powiązane z wyższymi poziomami w modelu Kicpatricka. Transfer zachowań do organizacji i konkretne zmiany we wskaźnikach przedsiębiorstwa mogą być w tej sytuacji lepszymi miernikami efektów gry szkoleniowej, niż test, który nie dotyka sedna zdobytych umiejętności.

Ważnymi czynnikami towarzyszącymi jakie należy brać pod uwagę oceniając gry szkoleniowe są także kwestie takie jak:

• Osoba prowadzącego i jego znajomość gry
• Warunki proceduralne realizacji szkolenia
• Dopasowanie gry do tematu szkolenia

Wszystkie te kwestie mogą oddziaływać no odbiór szkolenia z grą lub symulacją, zarówno in plus jak i in minus i powinny być kontrolowane podczas ewaluacji, tak aby nie zaburzać oceny samego narzędzia.

Źródła:

[1] Brenenstuhl, Daniel C.; Ralph F. Catalanello, An Analysis of the Impact Upon the Learning Effectiveness of Traditional Instruction, Simulation Gaming and Experiential Learning Methodologies:  An Experiential Design, 1976 r

[2] Cook, John E. Assessing, Effectiveness of an Experiential Oriented Course Over Time, 1999 r.

[3] Woźniak J., Ocenianie efektów szkolenia, 2012 r.

[4] Woźniak A., Pełech J., Gry Menedżerskie, 2016 r.

[5] http://www.thiagi.com/articles/2015/1/23/how-effective-are-games

Pomiar efektów gry (1)

Pomiar efektów edukacyjnych gry szkoleniowej jest jednym z wyzwań jakie stają przed każdym trenerem i projektantem tworzącym gry szkoleniowe. W tym dwuczęściowym poście przyjrzymy się dwóm głównym wyzwaniom jakie pojawiają się kiedy chcemy ocenić efekty gry szkoleniowej:

• Głównym efektom edukacyjnym jakie wywołują gry szkoleniowe i temu czemu są one problematyczne w ewaluacji;
• Modelom dedykowanym pomiarowi efektywności gier szkoleniowych, oraz temu, jak ogólne modele oceny szkoleń (np. model Kickpatricka) przydają się w ewaluacji gier szkoleniowych;

Image courtesy of renjith krishnan at FreeDigitalPhotos.net

Trudności w ewaluacji gier szkoleniowych biorą się przede wszystkim z faktu, że jest to metoda szkolenia, której główne efekty występują poza obszarem obejmowanym przez szybkie i tanie do opracowania standardowe testy wiedzy deklaratywnej. Jeśli spojrzeć na gry szkoleniowe holistyczne, to efekty gier w typologii efektów kształcenia (posługujemy się tu modelem z książki "Ocenianie efektów szkolenia" autorstwa Jacka Woźniaka) występują przede wszystkim:

•  W sferze umiejętności:
• Nabywania umiejętności
• Przetwarzania umiejętności
• W sferze afektywnej:
• Zmiany postaw
• Dyspozycje motywacyjne do określonych zachowań
• Poczucie sprawstwa w obrębie

Dodatkowo gry szkoleniowe wywołują nie tylko zmiany na poziomie indywidualnym, ale, patrząc z perspektywy socjologicznej, są też efektywnym narzędziem wprowadzania zmian w strukturze relacji w grupach różnego rodzaju (zwłaszcza kiedy cała grupa wspólnie uczestniczy w doświadczeniu rozwojowym z użyciem gry).

Opisane powyżej efekty do sprawdzenia ich wystąpienia wymagają albo bardziej złożonych narzędzi analitycznych do badania postaw jawnych i ukrytych (w sferze afektywnej), albo wręcz przeprowadzenia ustrukturyzowanej obserwacji (zmiany w obrębie umiejętności oraz zmiany na poziomie grupy). Jednocześnie gry szkoleniowe są narzędziem, które generuje bardzo wysoką satysfakcję uczestników i przekłada się na wysoką ocenę szkolenia na pierwszym poziomie w modelu Kicpatricka, co nie zawsze koreluje z efektami na wyższych poziomach. Z tych powodów ewaluacja szkolenia z użyciem gry szkoleniowej musi być szczególnie dokładnie przemyślana, a rzetelna ocena efektów szkoleniowych powinna wykraczać poza sam pomiar satysfakcji uczestników.

W kolejnym wpisie z tego cyklu przyjrzymy się jakie podejścia do ewaluacji efektów szkoleń z użyciem gier można znaleźć w literaturze fachowej i zastanowimy się nad ich wadami i zaletami.

Gry decyzyjne cz. 3

W trzeciej części wpisu o grach decyzyjnych w szkoleniach, chciałbym skorzystać z zaproponowanego w pierwszym poście modelu patrzenia na takie narzędzia i przeanalizować za jego pomocą grę "Ekonomia Społeczna", opracowaną przez nas w 2016 roku na potrzeby Regionalnego Ośrodka Pomocy Społecznej w Katowicach.

Poniżej prezentujemy opis gry w kategoriach wymienionych w pierwszej części posta (LINK):

• Prezentacja problemu decyzyjnego: gracze są osobami zarządzającymi wybranym podmiotem z obszaru ekonomii społecznej (m. in. fundacją, Zakładem Aktywizacji Zawodowej), i w każdej rundzie gry podejmują decyzje dotyczące kierunku działania organizacji.

• Lista opcji i parametrów decyzji: w każdej rundzie uczestnicy mogą wybrać jeden lub więcej typów działania organizacji na które przeznaczą jej zasoby. Działania te obejmują m. in. rozwój i szkolenie pracowników, zwiększanie zatrudnienia, pracę ze społecznością lokalną, realizację projektów dla klientów czy działania promocyjne. Dodatkowo w każdej turze uczestnicy mogą wybrać i zagrać jedną z dziesięciu kart specjalnych, obrazujących ich indywidualny wkład w rozwój organizacji.

• Ograniczenia decyzji: głównym ograniczeniem decyzji uczestników jest ograniczony czas i budżet jakim dysponują na realizację planowanego rozwoju organizacji. Czas symbolizowany jest przez pionki, których 10 sztuk mają gracze i które niezbędne są do aktywowania różnych typów działań w grze. Finanse organizacji mają odzwierciedlenie w jej rachunku zysków i strat, a nieprzemyślane decyzje są widoczne w ujemnym lub bardzo niskim wyniku finansowym za kolejne okresy rozgrywki.

 

• Organizacja procesu decyzyjnego: każda runda składa się z trzech części. W pierwszej uczestnicy dowiadują się jakim wydarzeniom losowym i wpływowi ze strony interesariuszy podlega organizacja. W drugiej części podejmują decyzje operacyjne korzystając z pionków czasu i dostępnych zasobów, w trzeciej zaś podsumowują efekty decyzji i zaznaczają ich efekty na planszy.

• Mechanizmy oceny rozwiązania: każda decyzja graczy znajduje odzwierciedlenie w dwóch miejscach: rachunku zysków i strat firmy oraz w wartości wskaźników społecznych, obrazujących rolę organizacji w otaczającej ją społeczności i jej wpływ na otoczenie. Celem graczy jest maksymalizacja zysku oraz wskaźników społecznych, które łącznie tworzą punktację ich organizacji i pozwalają porównywać efektywność przyjętych strategii.

Podsumowując, "Ekonomia Społeczna" jest przykładem gry decyzyjnej, w której połączenie kilku stosunkowo prostych mechanizmów decyzyjnych (mechanika worker placement,  mechanika wyboru kart do zagrania w każdej rundzie, powiązanie decyzji z rachunkiem zysków i strat i wskaźnikami społecznymi) owocuje w grze złożonością decyzji na tyle dużą, że stanowi ona wyzwanie i dobry materiał na szkolenia z osobami dorosłymi zainteresowanymi tematyką ekonomii społecznej. Relację z gry znaleźć można między innymi TUTAJ.

Gry decyzyjne cz. 2

Dziś prezentujemy gościnny wpis autorstwa Igora Widawskiego, prezentujący grę decyzyjną jego autorstwa "Masterpiece". Więcej o grze, można przeczytać na JEJ STRONIE na Facebooku.

Masterpiece to całodniowa gra symulacyjna o sztuce zarządzaniu projektami. Uczestnicy wcielają się w zespół projektowy, który ma do zrealizowania wieloetapowe i złożone przedsięwzięcie – wybudowanie największej Galerii Sztuki w tej części świata.

Aby to zrobić gracze zmierzą się z rozmaitymi wyzwaniami. Podczas gry będą: definiować cele, definiować strukturę projektu, zarządzać ryzykiem, zarządzać zasobami, zarządzać zadaniami i komunikacją w zespole, rozdzielać odpowiedzialności i monitorować postępy.   

Ze względu na eksperymentalny charakter całej Galerii uczestnicy mogą podejść do zadania zarówno w wariancie Agile (zarządzanie zwinne) jak i Waterfall (klasyczne podejście kaskadowe). 

Masterpiece to gra decyzyjna, w której – podobnie jak w realnych projektach – mamy do czynienia z wieloma, wzajemnie zależnymi i równolegle podejmowanymi decyzjami.

Poniżej znajduje się opis gry w kategoriach wymienionych w poprzednim wpisie (LINK):

• Prezentacja problemu decyzyjnego: gracze są członkami jednego zespołu projektowego i ich zadaniem jest zaplanowanie i wdrożenie przedsięwzięcia polegającego na wybudowaniu Galerii Sztuki zgodnie z przekazanym zleceniem i specyfikacją projektu.
• Lista opcji i parametrów decyzji: w każdej rundzie uczestnicy mogą wybrać jeden lub więcej obszarów, którymi się zajmą, w tym m.in.: zarządzanie ryzykiem, dbanie o stan zasobów, budowa wybranych etapów Galerii.
• Ograniczenia decyzji: ze względu na ograniczone zasoby każdy z uczestników w danej rundzie może poświęcić swój czas tylko na niektóre aspekty projektu. Z tego względu gracze muszą ze sobą współpracować i tak zaplanować podział zadań, aby osiągnąć wyznaczone cele w ograniczonym czasie.
• Organizacja procesu decyzyjnego: każda runda składa się z trzech części. W pierwszej uczestnicy wspólnie dyskutują nad strategią, weryfikują postępy i planują działania. W drugiej części każdy gracz indywidualnie podejmuje decyzje. W trzeciej części decyzje zostają rozpatrzone i pojawiają się określone efekty.
• Mechanizmy oceny rozwiązania: każda decyzja graczy przekłada się pośrednio na realizację ostatecznego celu – ukończenie Galerii Sztuki. Jednocześnie niezależnie od tego na ile dane działanie wspomaga realizację tego celu, to za każdym razem przynosi pewne indywidualne korzyści dla gracza, który je podejmuje. Czasami te dwa wymiary – indywidualny i zespołowy – mogą być ze sobą w konflikcie i zespół musi zarządzić procesem optymalizowania wyników. W podsumowaniu sprawdzany jest stopień realizacji celu projektu oraz zyski indywidualne każdego gracza.

Podsumowując można powiedzieć, że gra symulacyjna Masterpiece opowiada o zarządzaniu projektami poprzez pryzmat rozmaitych procesów i decyzji. Trójkąt projektu, składający się z trzech boków – zakresu, kosztu i czasu – został tutaj przetłumaczony na język wymagań, zasobów i ograniczonych mocy decyzyjnych w każdej rundzie. Zastosowanie takiej struktury umożliwia zobrazowanie realnych wyzwań, a jednocześnie podnosi walor edukacyjny całego narzędzia, bo pozwala uczestnikom na zidentyfikowanie kluczowych elementów sprawnego procesu zarządzania projektami.

W kolejnej części wpisu  zaprezentujemy grę decyzyjną "Spółdzielcy", opracowaną przez nasz zespół dla Regionalnego Ośrodka Polityki Społecznej w Opolu.

Gry decyzyjne cz. 1

Ważną grupą gier używanych podczas szkoleń są szeroko pojęte gry decyzyjne. Kluczowym elementem ich mechaniki jest skupienie na prezentacji problemów decyzyjnych, typowych dla różnych obszarów życia. Przykładami takich gier mogą być np:

• Całościowe symulacje decyzyjne dla różnych obszarów biznesu (marketingu, produkcji, sprzedaży);
• Gry decyzyjne oddające realia określonego typu organizacji (biznesowych, pozarządowych, instytucji administracji publicznej);
• Gry decyzyjne prezentujące określoną sytuację wyabstrahowaną z szerszego kontekstu (zarządzanie projektem, procedury diagnostyczne w medycynie, rekrutacja nowych pracowników)

W podstawowym schemacie gry decyzyjnej używanej podczas szkoleń występują następujące elementy:

• Prezentacja problemu decyzyjnego - fabuła w grze, opisująca kontekst zaistnienia i wszystkie istotne okoliczności problemu decyzyjnego w organizacji (zaangażowane osoby, przyczyny powstania, historia problemu);
• Lista opcji i parametrów decyzji - konieczny element w przypadku gier, który pozwala na parametryzację przestrzeni rozwiązań gry. W przypadku gier szkoleniowych zazwyczaj stosuje się rozbicie problemu decyzyjnego na szereg opcji, polegających zarówno na wyborze jednej lub kilku spośród dostępnych możliwości (np. wybór koloru opakowania dla produktu), jak też określeniu ilościowych parametrów rozwiązania (np. wybór wagi dla opakowania produktu);
• Ograniczenia decyzji - jest to kluczowy element urealniający i utrudniający rozgrywkę. Ograniczone zasoby, czas, opinia ludzi, wymogi proceduralne - to wszystko sprawia, że w biznesie i w innych sferach życia nie podejmujemy najlepszych możliwych decyzji. Gra bez tych elementów nie tylko jest mało realistyczna, ale także nie stanowi wyzwania i angażującego uczestników szkolenia;
• Organizacja procesu decyzyjnego - dodatkowym ograniczeniem i czynnikiem podnoszącym poziom realizmu procesu decyzyjnego jest wskazanie w jakiej formie powinna odbywać się dyskusja nad rozwiązaniem problemu. Czy ma być to zadanie jednoosobowe, czy dyskusja będzie przebiegać w grupie, czy też może kilka grup będzie pracować niezależnie nad rozwiązaniem części problemu, komunikując się w wybranych momentach?
• Mechanizm oceny rozwiązania - sedno mechaniki każdej gry decyzyjnej stanowi algorytm, który punktuje decyzje graczy. Algorytm ten może być bardzo prosty i bezpośredni (każda decyzja np. w obszarze HR daje pewien poziom zadowolenia pracowników), albo bardzo złożony i pośredni (decyzje graczy mają wpływ na kilka kluczowych KPI przedsiębiorstwa, które następnie pośrednio oddziałują na wyniki finansowe, które następnie pośredni oddziałują na wartość akcji firmy);

Poza budową gry decyzyjnej istnieją także trzy kluczowe wyzwania dla projektanta gry decyzyjnej,  o których należy pamiętać, tworząc jej scenariusz i mechanikę.

• Trudność vs trywialność - Bardzo częstym problemem, nawet dla doświadczonych twórców gier szkoleniowych, jest niedocenianie poziomu trudności tworzonej gry z punktu widzenia uczestników. Testy tego typu scenariuszy są nieodzowne, po to, aby nie okazało się, że stworzony projekt jest skrajnie trudny i niemożliwy do rozwiązania przez uczestników szkolenia w założonym czasie. Drugą stroną medalu jest trywialność stworzonego problemu decyzyjnego, czyli oczywisty na pierwszy rzut oka kształt najlepszego rozwiązania. Źródła trywialności w grach decyzyjnych obejmują:
• Niedostateczne uwzględnienie ograniczeń decyzji;
• Obecność jednego optymalnego rozwiązania widocznego w scenariuszu;
• Uproszczenie rozumienia konsekwencji poszczególnych rozwiązań (uwzględnienie tylko ich zalet, bez wad);
• Rozwiązanie analityczne lub heurystyczne - Nie wszystkie gry decyzyjne da się rozwiązać analitycznie, tj. dokładnie wyliczając najlepsze rozwiązanie. Niestety, sama forma gry skłania do tego, nawet w przypadku problemów, które w biznesie nie są rozwiązywane w sposób analityczny. Aby uniknąć tego, że gracze zaczną wyliczać najlepsze rozwiązanie w grze symulującej problem, który w życiu jest trudno policzalny, stosuje się następujące techniki:
• Usunięcie z gry parametrów liczbowych i zastąpienie ich przybliżoną informacją jakościową, bardziej zbliżoną do tej z realnych sytuacji decyzyjnych (nie wiemy jak bardzo dane działanie poprawi zadowolenie pracowników, ale wiemy, że na pewno będzie miało korzystny skutek);
• Skrócenie czasu na decyzję;
• Organizacja pracy zniechęcająca do sięgania po rozwiązania analityczne;
• Realizm vs abstrakcja - Ostatnim wyzwaniem dla projektanta gry decyzyjnej jest decyzja o tym, gdzie postawić granicę realizmu w grze. Czy gra ma być bardzo abstrakcyjna i oderwana od konkretnego biznesu, tak, aby trener mógł ją używać jako uniwersalnego narzędzia dopasowując swoje omówienie? Czy też może powinna być maksymalnie zbliżona do specyfiki decyzji w konkretnej organizacji, ryzykując niskie dostosowanie do innych typów organizacji czy tematów szkoleń?

W kolejnych odcinkach tego wpisu pokażemy dwa przykłady gier decyzyjnych funkcjonujących na polskim rynku i to jak ich działanie wpisuje się w pokazane tej części kategorie opisu takich gier.

Gra "Bottom Line"

W ramach wyjątkowo pracowitego listopada i grudnia, prezentujemy drugi z trzech dużych projektów, które zajmują nas w tych dniach. Gra strategiczna "Bottom Line" przeznaczona jest dla HR Business Partnerów i menedżerów różnych specjalności, a jej głównym celem jest rozwijanie u osób pracujących na tym stanowisku, lub przymierzających się do awansu, kompetencji z zakresu rozumienia procesów biznesowo-finansowych w przedsiębiorstwie.

Zakres tematyczny warsztatów opartych o grę obejmuje zagadnienia takie jak:

• Czynniki z obszaru HR wpływające na efektywność biznesu;
• Modelowanie wpływu działań HR na wyniki finansowe;
• Analizę i ocenę rozwiązań HR pod kątem rentowności;
• Budowę argumentacji i rekomendacji działań strategicznych w obszarze HR dla zarządów firm z uwzględnieniem argumentacji finansowej;

"Bottom Line" to dwudniowa gra symulacyjna, podczas której uczestnicy zapoznają się najpierw z podstawowymi pojęciami z zakresu analizy wyników finansowych (elementy rachunku P&L), modelowania działań HR (pojęcia i wskaźniki z tego obszaru, które zgodnie z wynikami badań mają przełożenie na wyniki finansowe firmy). Następnie uczestnicy warsztatu rozgrywają pięć rund decyzyjnych, w trakcie których rozwiązują realne case studies z obszaru strategicznego HR i oceniają efekty swoich decyzji z punktu widzenia wyników firmy.

Gra strategiczna Bottom Line ma w założeniu dać HRBP pomoc w pokazaniu Zarządowi jak decyzje HR przekładają się na: zaangażowanie, satysfakcję, fluktuację w firmie. Jak wynik finansowy przedsiębiorstwa może zależeć od kompetencji pracowników. Podczas gry pracownicy działu HR mają możliwość zapoznania się z wskaźnikami biznesowymi, nauczyć się zwracać uwagę na koszty, patrzeć strategicznie przez pryzmat wszystkich działów, sytuacji rynkowej, zagrożeń zewnętrznych. Menedżerowie z różnych specjalności biorący udział w grze odkrywają przy okazji zupełnie nowe sposoby na poprawieniu wyników firmy, których wcześniej nie brali pod uwagę. Wszystkie zadania w grze powstały na prawdziwych „case”-ach, wziętych prosto z biznesu. 

 Gra "Bottom Line" to projekt rozwijany od blisko roku przez nasz zespół dla firmy consultingowej WNCL, zajmującej się doradztwem strategicznym w zakresie rozwiązań HR.

Informacje o grze i o terminach szkoleń otwartych można znaleźć na TEJ STRONIE.