W latach 70. ubiegłego wieku w wyniku szybkiego wzrostu popularności assessment i development center (AC/DC) dostrzeżono poważne problemy, których występowanie świadczyło o potrzebie wprowadzenia międzynarodowych standardów obowiązujących użytkowników tej metody.

Międzynarodowe standardy oceny

Utworzona została Międzynarodowa Grupa Zadaniowa ds. Standardów Ośrodków Oceny, w której skład weszli praktycy i badacze. Opracowane zostały międzynarodowe standardy i reguły etyczne dotyczące stosowania ośrodka oceny. Stanowią one zestawienie kwestii, które uznaje się za najważniejsze dla wszystkich użytkowników metody AC/DC. Międzynarodowe standardy obejmują m.in.: analizę stanowiska pracy, klasyfikację behawioralną, techniki oceny, szkolenia asesorów, rejestrację zachowań, raporty, integrację danych i proces walidacji metody AC/DC.

Standardy te są regularnie uzupełniane oraz rozwijane i akceptowane każdorazowo podczas kongresów. Obecnie najbardziej aktualny jest dokument zatwierdzony przez 34. "Międzynarodowy kongres poświęcony metodom ośrodka oceny", który odbył się 24 września 2008 roku w Waszyngtonie (w wersji angielskiej dostępny na stronie: www.assessmentcenters.org; wersja polska "Wytyczne i reguły etyczne dotyczące stosowania ośrodka oceny" dostępna na stronie: http://www.irb.pl/wiedza-dla-biznesu/wytyczne-i-reguly-etyczne-dotyczace-stosowania-osrodka-oceny-wersja-2008-r/). Podczas tego kongresu uwzględnione zostały takie aspekty, jak: wykorzystanie technologii w ośrodku oceny oraz znajomość różnic pomiędzy ośrodkami oceny wykorzystywanymi w różnych celach. Najbliższy kongres planowany jest na 14-16 marca 2013 r.

Pierwsze badanie Instytutu pokazało, że jakość przygotowania i stosowania metod AC/DC w Polsce nie zawsze jest zgodna z międzynarodowymi standardami. Badanie pozwoliło na identyfikację obszarów, na które należy zwrócić szczególną uwagę, jak jakość modeli kompetencyjnych, pracę asesorów czy sposób przygotowania i prowadzenia sesji. Największy niepokój budzi brak przeprowadzania badań walidacyjnych, które sprawdzałyby efektywność przeprowadzonych sesji AC/DC.

Drugie badanie Instytutu miało na celu pogłębienie wiedzy w zakresie m.in. budowy metody AC/DC, sposobu przekazania informacji zwrotnej uczestnikom, przygotowania asesorów oraz wykorzystania testów psychologicznych w sesjach.

Respondenci ankiety

W zdecydowanej większości w badaniu wzięły udział osoby doświadczone w zakresie budowy i realizacji projektów AC/DC, zaledwie 1/5 respondentów to wyłącznie zleceniodawcy. Pomimo tych doświadczeń okazuje się, że aż co piąta osoba nie zna międzynarodowych standardów i reguł etycznych dotyczących stosowania ośrodka oceny (zobacz wykres 1). Powstaje więc pytanie, skąd osoby realizujące projekty AC/DC czerpią wiedzę na temat tego, w jaki sposób zapewnić wysoką jakość i efektywność procesów oceny.

Z wyników ankiety wynika, że firmy część zadań w ramach metody AC/DC realizują własnymi siłami, a część zlecają na zewnątrz. Harmonogramy sesji budowane są głównie przez pracowników firmy, co wydaje się optymalne, a wywiady kompetencyjne i ćwiczenia są opracowywane zarówno przez konsultantów zewnętrznych, jak i własnymi siłami. Niestety, współpraca obu grup zdarza się stosunkowo rzadko, co może negatywnie odbijać się na efektywności całego procesu. Jeśli ćwiczenia i wywiad kompetencyjny są budowane wyłącznie przez konsultantów zewnętrznych, mogą nie mieć odpowiedniego poziomu tzw. fidelity, tj. dostatecznego podobieństwa do zadań realizowanych na danym stanowisku pracy. Dlatego złotym środkiem wydaje się być współpraca obu grup w tym zakresie.

Trudny wybór kompetencji

Wyniki wskazują, że w przypadku większości firm w trakcie jednego dnia sesji AC/DC mierzonych jest cztery, pięć kompetencji, co jest wynikiem optymalnym. 1/4 respondentów mierzy w trakcie sesji mniej niż cztery kompetencje. Tu jednak może się okazać, że ta liczba jest za mała i nie jest mierzony taki zestaw kompetencji, jakie są wymagane na danym stanowisku pracy.

W sesjach AC/DC najczęściej mierzone są kompetencje związane bezpośrednio z ludźmi (np. wpływ na innych i umiejętność prezentowania, przewodzenie i decydowanie, wspieranie i współpracowanie), a zdecydowanie rzadziej badane są kompetencje związane z przedsiębiorczością i wynikami pracy (zobacz wykres 2). W trakcie XI Spotkania Eksperckiego, zorganizowanego w grudniu ub.r. przez Instytut Rozwoju Biznesu, postawiono hipotezy, że może być to wynikiem:

● preferowania tego typu kompetencji przez psychologów, którzy często zajmują się AC/DC,

● przekonania, że projekty AC/DC badają kompetencje miękkie,

● przekonania, że kompetencje miękkie są łatwiejsze do pomiaru.

Jak wynika z badania, sesje AC/DC głównie opierają się na własnych kompetencjach firm. Dzieje się tak w 3/4 przypadków. Jest to właściwe podejście, pod warunkiem jednak, że kompetencje są dostatecznie dobrze opisane pod kątem zastosowania w AC/DC (poziomy, zachowania przyporządkowane do poszczególnych poziomów). Niestety, wyniki ankiety pokazują, że 1/5 respondentów nie stosuje podczas obserwacji listy zachowań (bechavioral check list), które są przypisane do poszczególnych poziomów kompetencji. Listy zachowań ujednolicają pracę asesorów i tworzą wspólne ramy interpretacji zaobserwowanych zachowań. Międzynarodowe standardy mówią na ten temat jednoznacznie: "...Asesorzy muszą stosować usystematyzowaną procedurę rejestracji konkretnych obserwacji behawioralnych w chwili obserwacji. Procedura ta może obejmować takie techniki, jak notatki odręczne, skale obserwacji behawioralnej lub behawioralne listy kontrolne (checklist)". (Wytyczne i reguły etyczne...). Co więcej, standardy wskazują, że: "...Osoby oceniające muszą sporządzić raport z obserwacji poczynionych podczas każdego ćwiczenia przed dyskusją integracyjną lub integracją statystyczną" (tamże). Wyniki ankiety pokazują, że nie zawsze tak się dzieje. A brak oceny kompetencji uczestnika po każdym ćwiczeniu przez asesorów może wpływać negatywnie na niezależność ich ocen oraz obniżać ogólną trafność pomiaru metodą AC/DC.

Zainteresowany wie najmniej

Uczestnicy sesji AC/DC nie zawsze dostają informacje o jej zawartości i o tym, jaką rolę mają w niej odgrywać. Badania (np. The transparent assessment centre: The effects of revealing dimensions to candidates, Kolk, Born & van der Flier, 2003) pokazują, że nawet gdy uczestnicy wiedzą, jakie kompetencje będą badane, nie wpływa to na ich ocenę. Co więcej, międzynarodowe standardy mówią, że w przypadku development center uczestnicy powinni mieć informację, jakie kompetencje będą mierzone i jak są definiowane. Ten wymóg standardów ma ścisły związek z etycznym aspektem oceniania ludzi w organizacjach.

Niewątpliwie najważniejszym elementem sesji development center jest informacja zwrotna, która ma na celu rozwój kompetencji osoby biorącej udział w sesji, a wyniki ankiety pokazują, że w przypadku 1/4 respondentów taka informacja jest ograniczona wyłącznie do przesłania pisemnego raportu do indywidualnej analizy przez uczestnika. Może to uniemożliwić pełne zrozumienie otrzymanych wyników, nie chroni uczestników przed trudnymi sytuacjami w przypadku niezbyt dobrych wyników i prawdopodobnie ma to małą wartość rozwojową.

Asesorzy - z firmy czy spoza

Międzynarodowe standardy jednoznacznie mówią, że "Szkolenie asesorów stanowi integralny składnik programu ośrodka oceny. Dla szkolenia asesorów należy jednoznacznie określić cele szkoleniowe oraz standardy poziomu wykonania". (Wytyczne i reguły etyczne...). Taka sytuacja, jak pokazują badania, nie miała miejsca w przypadku aż 1/3 respondentów. Należy podkreślić, że ten wynik jest gorszy od danych z poprzedniego badania (Raport z badania, 2009, http://www.irb.pl/wiedza-dla-biznesu/praktyka-stosowania-acdc-w-polsce-raport-z-badania/), gdzie tylko 1/4 respondentów odpowiedziała, że nie uczestniczyła w żadnych szkoleniach. To poważny błąd ze względu na wymogi międzynarodowych standardów. I jeszcze ważna rzecz: wyniki badania pokazują, że jakość szkolenia ma wpływ na wartość predyktywną AC/DC.

Asesorami w sesjach AC/DC - jak wynika z ankiety - najczęściej są pracownicy firmy (41 proc.), rzadziej korzysta się z zewnętrznych konsultantów (31 proc.). Współpraca obu grup występuje tylko u 28 proc. respondentów, a takie rozwiązanie ma duże walory. Pracownik firmy bierze również odpowiedzialność za proces, poznaje swój zespół i potrzeby, dzięki temu trafniej może dobierać narzędzia rozwojowe, jak również buduje swoje kompetencje asesorskie.

Stosowanie testów psychologicznych w AC/DC

Badania Instytutu z 2009 roku pokazały, że prawie 1/4 respondentów nie stosuje innych niż ćwiczenia metod oceny (tj. testów, wywiadów, kwestionariuszy), mimo iż wytyczne podkreślają, że "...Należy stosować połączenie różnych technik oceny. Mogą one obejmować testy, wywiady, kwestionariusze, narzędzia socjometryczne oraz symulacje". (Wytyczne i reguły etyczne...).

Respondenci, jeśli decydują się na włączenie testów, najczęściej wybierają te mierzące osobowość i kompetencje, zdecydowanie rzadziej sięgają po testy inteligencji czy zdolności. Niestety, stosunkowo niska częstotliwość stosowania tych testów nie pozwala uwzględnić wpływu zdolności lub inteligencji na rozwój kompetencji (DC), a w przypadku AC - ogranicza efektywność procesu selekcji. Testy pokazują również potencjał rozwojowy osoby, którego nie można zmierzyć w żaden inny sposób.

W badaniu ankietowym zmierzono również postawy respondentów wobec testów psychologicznych, tj. ich przydatność i spójność wyników testowych z obserwacją. Okazuje się, że w ocenie 44 proc. respondentów testy psychologiczne są przydatne w procesach AC/DC, ale aż 48 proc. ankietowanych było odmiennego zdania (zobacz wykres 3). Ostrożność w stosowaniu testów może wynikać z bardzo dużego zróżnicowania w zakresie jakości testów dostępnych na rynku. Barierą może być również cena testów, jak też konieczność korzystania z pomocy psychologów.

W ocenie ponad połowy respondentów wyniki testów psychologicznych są częściowo spójne z obserwacją zachowania, a 26 proc. uważa, że są spójne z obserwacją (zobacz wykres 4). Należy jednak pamiętać, że testy dostarczają dodatkowych informacji, które poszerzają wiedzę o uczestniku oraz często mierzą te czynniki, które są trudne do oceny na podstawie obserwacji zachowania (np. osobowość).

Warunki skuteczności

Odpowiedzi na pytania o jakość sesji pozwalają sądzić, że ponad połowa respondentów postrzega przygotowanie i przeprowadzenie AC/DC jako średnio trudne zadanie. Jest to niepokojące i może prowadzić do konstatacji, że nie wszyscy zajmujący się tą metodą zdają sobie sprawę z rzeczywistego stopnia trudności procesu oceny kompetencji.

Z kolei prawie 80 proc. respondentów postrzega sesje AC/DC jako skuteczne albo bardzo skuteczne. Wysoka ocena skuteczności tej metody w kontraście do postrzegania jej średniej trudności może wynikać z braku danych, jak dobrze zostały ocenione kompetencje w danej sesji AC/DC (zobacz wykres 5).

Badanie pokazało, że w zależności od roli, w jakiej występowali respondenci, inaczej oceniali poziom trudności przygotowania i przeprowadzenia AC/DC oraz ich skuteczność. Respondenci, którzy występowali w roli zleceniodawców sesji AC/DC, ocenili istotnie statystycznie niżej jej skuteczność, a respondenci, którzy występowali w roli asesorów sesji AC/DC, ocenili tę cechę istotnie statystycznie wyżej. Z kolei te osoby, które brały udział w budowaniu sesji AC/DC, oceniły istotnie statystycznie wyżej jej skuteczność, jak również poziom trudności.

Międzynarodowe standardy powinny być swoistym drogowskazem dla każdej sesji AC/DC; analiza wyników badania potwierdza, że im lepiej respondenci znają międzynarodowe standardy, tym wyżej oceniają skuteczność sesji AC/DC. Ponad 1/5 ankietowanych potwierdza, że je stosuje. Trzeba jednak podkreślić, sama znajomość standardów nie wpływa bezpośrednio na efektywność metody AC/DC.

Niewątpliwie skuteczność metody AC w bardzo dużym stopniu zależy od umiejętności asesorów, dlatego tak ważne jest szkolenie przygotowujące asesorów do tej roli. Asesorzy powinni być przeszkoleni w zakresie ocenianych kompetencji wraz z definicjami i zachowaniami odnoszącymi się do poziomów kompetencji; treści ćwiczeń oraz tego, jakie kompetencje podlegają ocenie w konkretnym ćwiczeniu, unikania typowych błędów podczas obserwacji i w ocenie, obserwacji, rejestrowania, klasyfikacji i oceny zachowań, które dotyczą ocenianych kompetencji oraz znajomości i zrozumienia procedur oceny i klasyfikacji, w tym także sposobów integrowania danych.

Wykres 1

Znajomość międzynarodowych standardów i reguł etycznych dotyczących stosowania ośrodka oceny

Wykres 2

Typy kompetencji

Wykres 3

Przydatność testów psychologicznych

Wykres 4

Spójność wyników testów psychologicznych z obserwacją w AC/DC

Wykres 5

Ocena skuteczności sesji AC/DC

Katarzyna Sobieraj

Konsultant w Instytucie Rozwoju Biznesu, psycholog organizacji, współautorka narzędzi badawczych (testy psychologiczne, systemy ocen) oraz artykułów dotyczących psychologii organizacji

ksobieraj@irb.pl

Instytut Rozwoju Biznesu i Polska Fundacja Badań nad Zarządzaniem w listopadzie 2012 roku prowadziły internetowe badanie ankietowe, którego celem było zebranie informacji na temat assessment i development center. Ankietę skierowano do pracowników działów HR. Łącznie uzyskano dane od 39 osób. To już drugie badanie Instytutu i Fundacji dotyczące tego obszaru. Pierwsze odbyło się w 2009 roku i dotyczyło praktyki stosowania AC/DC w Polsce.