Testy kompetencji

Testy kompetencyjne to najpopularniejsza metoda przeprowadzania audytu kompetencyjnego - często w tym przypadku określanego mianem diagnozy. Popularność tej metody ma odzwierciedlenie zarówno w ilości powstających i wykorzystywanych testów jak i w zakresie dostępnej literatury. Nie ma zatem potrzeby szczegółowo omawiać zagadnień związanych z konstrukcją jak i wykorzystaniem testów. Warto jednak wspomnieć o kilku kluczowych aspektach decydujących o użyteczności tego typu narzędzi.

Wady i zalety

Każde narzędzie audytu kompetencyjnego – także testy – ma swoje wady i zalety. Do zalet testów możemy zaliczyć kilka czynników:

1. Są proste w użyciu. Zwykle sprowadzają się do wypełnienia kilku stron pytań bądź zadań. Niezależnie od tego czy są wykonywane w wersji papierowej czy w komputerze - zajmuje to od 30 do 90 minut.
2. Analizę najczęściej wykonują specjaliści (lub coraz częściej komputery). Strona zainteresowana otrzymuje już gotowe opracowania wyników łącznie z ich interpretacją.
3. Jeśli są dobrze przygotowane i przystosowane do systemu kompetencji funkcjonującego w firmie, to uzyskane wyniki można uznać za dość wiarygodne.

Testy mają też kilka wad, o których należy pamiętać:

1. Zwykle mają ściśle określony zakres badania - od kilku do kilkudziesięciu sztywno określonych obszarów kompetencyjnych. Jeśli nasz zbiór kompetencji jest zróżnicowany to często trzeba wykorzystać dwa, trzy a czasem cztery testy. W takiej sytuacji samo badanie nie jest już ani takie krótkie ani przyjemne.
2. Budowane są w oparciu o konkretne modele teoretyczne każdej z ocenianych kompetencji. Niestety nie ma uniwersalnych modeli kompetencyjnych, przez co różne ich odmiany funkcjonujące w wielu firmach. Testy w swojej konstrukcji bazują na najbardziej zewnętrznych – widocznych wskaźnikach kompetencji, toteż może zdarzać się, że test dobrze diagnozujący kompetencje funkcjonujące w jednej firmie, w innej jest kompletnie bezużyteczny mimo podobnych definicji mierzonych kompetencji.
3. Mimo znaczących postępów w dziedzinie konstrukcji testów uzyskane na ich podstawie dane nadal mają ograniczony poziom wiarygodności. Zwykle wyniki oceny kompetencji są nieco lepsze od tych, które zdobywamy przez wykorzystanie innych metod. Oznacza to po pierwsze, że testy można w pewnym stopniu oszukać. Po drugie łatwiej jest wykazać się wiedzą z obszaru kompetencji niż praktycznym ich przyswojeniem.

Rodzaje testów

W praktyce wykorzystywane są dwa rodzaje testów, za pomocą, których próbuje się diagnozować poziom kompetencji.

Testy introspekcyjne

Składają się one z pytań odwołujących się do oceny funkcjonowania danej osoby. Zwykle są to różnego rodzaju sformułowania dotyczące zachowań w pewnych sytuacjach, gdzie osoba badana ma określić jak sobie w tej sytuacji radzi.

Przykład

1.      Gdy pracownik prosi mnie o pomoc w wykonywaniu swojej pracy, udzielam jej.

X	X	X
nie	trudno powiedzieć	tak

Warto zaznaczyć, że ten rodzaj testów właściwie nie nadaje się do przeprowadzenia rzetelnego audytu. Testy takie mogą służyć wyłącznie jako metoda wstępnej autodiagnozy oraz sposób na lepsze zrozumienie samej kompetencji.

Testy wykonania

W praktyce znacznie lepiej jest wykorzystywać tzw. testy wykonania, pozwalające określić jak pracownik będzie się zachowywał w określonych sytuacjach. Z reguły testy wykonania przybierają formę krótkiego opisu sytuacji z kilkoma możliwymi wyborami. Pozwala to na zwiększenie poziomu trudności poprzez wprowadzenie wymagania dokonania wyboru najlepszego i najgorszego w danej sytuacji zachowania. Znacznie poszerza to zakres możliwych analiz i uzyskiwanych wyników. Poniżej prezentujemy przykłady dwóch tak skonstruowanych pytań z zaznaczonymi prawidłowymi wyborami (najlepszy wybór to kolumna "dobrze" a najgorszy to kolumna "źle".

W zespole dochodzi do konfliktu na tle zawodowym, podczas dyskusji nad tym trudnym i złożonym problemem:

źle       dobrze

□              □     Starasz się otwarcie mówić o wszelkich wątpliwościach i potrzebach.

□              □     Przede wszystkim starasz się uniknąć zatargów i zachować dobrą 
                        atmosferę między obydwiema stronami.

□              □     Przemilczasz najbardziej kłopotliwe i kontrowersyjne kwestie – ich 
                        poruszenie przyniosłoby pewnie więcej strat niż korzyści.

Jak zapewne widać testy takie nie tylko są znacznie trudniejsze do oszukania, lecz także dostarczają bogatszego materiału do analizy. Nawet w prostej analizie ilościowej mamy tu do czynienia z większym zróżnicowaniem punktów uzyskiwanych za każde z pytań (0 jeśli badany nie trafił z żadną odpowiedzią, 1 przy jednym trafieniu i 2 przy całkowitym dopasowaniu do wzorca), co powoduje, że test staje się bardziej precyzyjny.

Oczywiste jest, że diagnoza poziomu danej kompetencji nie może opierać się na jednym czy dwóch pytaniach. Analiza wykorzystywanych przez ProFirmę testów wykazuje, że optymalna ilość to 7 – 8 pytań na każdą z kompetencji. Uważni czytelnicy poprzednich artykułów z tego cyklu zauważą zapewne, że daje to możliwość odniesienia pytań do poszczególnych obszarów zachowań związanych z daną kompetencją. Jest to zdecydowanie najlepsze rozwiązanie. Otrzymujemy wówczas gwarancję, że test jest spójny z innymi narzędziami oceny, oraz że pokrywa swoim zasięgiem cały obszar znaczeniowy danej kompetencji. Oznacza to również, że w przypadku badania 10 kompetencji cały test składa się z baterii 70 – 80 pytań.

Podstawowe wymogi

Niezależnie od aspektów merytorycznych testu musimy pamiętać o kilku wymogach metodologicznych, które warunkują użyteczność tego narzędzia.

Obiektywność

Podstawą wnioskowania na podstawie klasycznych testów psychologicznych jest określenie, jak poddawana badaniu osoba wypada na tle innych osób w pewnej populacji. Aby to określić musimy wiedzieć jak wygląda rozkład wyników badania danej kompetencji tym właśnie testem w tak zwanej grupie odniesienia. Jest to podstawa tworzenia norm pozwalających określić czy wynik uzyskany przez daną osobę należy uznać za wysoki, przeciętny czy też niski. Testy kompetencyjne również powinny być obiektywne, jednak sposób normalizacji takiego testu nie opiera się o porównania między osobami, lecz o wyróżnienie poziomów oczekiwań. Co z tego, że oceniany pracownik posiada daną kompetencję rozwiniętą bardziej niż 70% wszystkich pracowników firmy, skoro na danym stanowisku wymaga się od niego jeszcze więcej. We właściwym wyznaczeniu diagnozowanych przez test poziomów kompetencji pomaga przede wszystkim doświadczenie i dobre przygotowanie teoretyczne.

Rzetelność – precyzja pomiaru

Nie ma idealnego testu – każdy jest obciążony błędem. Można i należy określać jak znaczny jest to błąd, czyli jak często uzyskane wyniki nie są wiarygodne. Tak rozumianą rzetelność oceniamy głównie na podstawie oszacowania zgodności odpowiedzi na poszczególne pozycje testu, możemy również dokonać porównywania wyników dwukrotnych badań tym samym narzędziem. Im wyniki bardziej są do siebie zbliżone, tym oczywiście lepiej.

Odrębnym aspektem rzetelności jest tak zwana moc dyskryminacyjna testu, czyli zdolność do precyzyjnego odróżniania poszczególnych diagnozowanych poziomów. Moc dyskryminacyjna jednego testu z reguły bywa różna w różnych miejscach skali mierzonej kompetencji. Dla przykładu odpowiedź na pytanie: „Czy oszukujesz swojego pracodawcę np. wynosząc do domu sprzęt i akcesoria biurowe?”, jest wiarygodna tylko wtedy, gdy jest twierdząca. Odpowiedź „nie” może świadczyć zarówno o uczciwości odpowiadającego, jak i o skrajnej nieuczciwości. Pytanie takie jest użyteczne wówczas, gdy zależy nam na wyróżnieniu grupy osób, które oszukują swojego pracodawcę. Jeśli jednak poszukujemy grupy osób uczciwych, pytanie takie mija się z celem. Profesjonalne testy kompetencyjne są budowane tak, aby jak najdokładniej różnicowały poziomy kompetencji w okolicach optimum dla danego stanowiska.

Trafność

Testy powinny być zawsze stosowane w określonym zakresie. Na przykład na podstawie wyników z zakresu umiejętności budowania zespołów możemy określać, czy dana osoba może być efektywnym menedżerem projektów. Trafność testu to właśnie obszar jego zastosowania. Najkrócej mówiąc trafność określa czy test mierzy to, co powinien mierzyć. Najczęściej dane dotyczące trafności danego testu przedstawiane są w postaci korelacji z innymi metodami mierzącymi podobne cechy (na przykład skale obserwacyjne). Sprawdzenie trafności jest szczególnie ważne, gdy korzystamy z tak zwanych testów uniwersalnych, lub adoptowanych z innego przedsiębiorstwa.

W sytuacji, gdy samodzielnie próbujemy konstruować narzędzie testowe warto, aby zadanie polegające na zagwarantowaniu realizacji tych wymogów powierzyć specjaliście z zakresu psychometrii. Tylko wówczas mamy gwarancję, że to, co zostało wypracowane jest wystarczająco wiarygodne, by móc to wykorzystywać w praktyce.  Przy wykorzystywaniu testów gotowych zawsze należy sprawdzić na ile spełnione są opisane tu warunki. W przeciwnym razie ryzykujemy, że wykorzystujemy bezużyteczne narzędzie.

Przygotowanie testu kompetencyjnego

Właściwie nic nie stoi na przeszkodzie, aby samodzielnie przygotowywać narzędzia testowe. Jest to tym bardziej uzasadnione, że – jak już wiemy – różne rozumienie tak samo nazywanej kompetencji powinno prowadzić do opracowania różniących się od siebie narzędzi. Zamieszczamy zatem krótki plan prac budowy testu kompetencyjnego.

1. Określ, jakie kompetencje mają być poddane ocenie.
2. Dla każdej z kompetencji wypisz od 4 do 10 charakterystycznych obszarów zachowań (pierwsze dwa kroki są identyczne jak w przypadku budowania skal obserwacyjnych).
3. Dla każdego z zachowań krótko opisz minimum dwie typowe sytuacje z trzema możliwymi rozwinięciami dla każdej z nich. Należy pamiętać, aby jedno z przedstawionych rozwinięć było opisem zachowania optymalnego w danej sytuacji a inne zdecydowanie błędnego.
4. Określ zakres skali, jaką ma obejmować każda z diagnozowanych kompetencji i zastanów się, czy przygotowane zadania dotyczą całej skali. Zastanów się ile zadań diagnozuje poziom kompetencji najczęściej oczekiwany na poddawanych ocenie stanowiskach (powinna to być około połowa wszystkich zadań).
5. Zbiór tych zadań tworzy podstawę konstrukcji testu. Teraz powinien on być poddany obróbce metodologicznej i statystycznej gwarantującej, że spełnione zostaną wymogi związane z obiektywnością, rzetelnością oraz trafnością powstającego narzędzia.
6. Całość należy zestawić w postaci łatwego do wypełnienia kwestionariusza, pamiętając o minimalizowaniu jego objętości.
7. Dopisz krótką instrukcję wypełniania testu.

Testy w komputerze

Niezależnie od tego czy sami wykonaliśmy test kompetencyjny czy korzystamy z gotowego narzędzia, warto pomyśleć o wykorzystaniu jego komputerowej wersji. Wiąże się to z kilkoma trudnymi do przecenienia zaletami:

1. Testy w wersji elektronicznej zwykle są łatwiejsze w dostępie dla osób badanych. Nie muszą oni otrzymywać żadnych formularzy - wystarczy plik w komputerze, czy adres w sieci.
2. Prostsza jest analiza wyników. Podstawowe dane obliczeniowe są uzyskiwane automatycznie i nie trzeba ich mozolnie zliczać. Dodatkowo w wielu przypadkach uzyskane dane można przenosić do zaawansowanych programów statystycznych umożliwiających ich wieloaspektową analizę.
3. Znacząco prostsze jest tworzenie wszelkiego rodzaju zestawień, pozwalających na przykład na porównanie wyników danej osoby do całej grupy.

W swej podstawowej formie może to być narzędzie budowanie na bazie Excela bądź podobnego programu. W większości jednak przypadków mamy do czynienia ze specjalnie przygotowanymi programami umożliwiającymi bezproblemową analizę i zestawianie danych. Ważny jest także aspekt atrakcyjności wyglądu samego narzędzia.

 Test.doc [153 kB] - Pobierz plik