Mitä ovat psykometriset testit?

Testityypit työelämässä

Työelämässä yleisesti käytettävät testit voidaan karkeasti jakaa kolmeen pääluokkaan: älyllisiä prosesseja mittaaviin ns. kognitiivisiin kykytesteihin, persoonallisuustesteihin ja erilaisiin toimintatyylitesteihin. Kykytestit mittaavat henkilön maksimaalista suoritusta, vaikkapa lentäjiltä tai lennonjohtajilta edellytettävää kykyä näönvaraisesti havaita ja käsitellä kolmiulotteisia avaruudellisia suhteita. Eri jaottelutavoista riippuen, erilaisia älyllisiä kykyjä esitetään olevan kaikkiaan 8-20 kappaletta.

Maksimaalisen suorituksen sijasta persoonallisuuden testit koskevat henkilön tyypillistä toimintaa kuten taipumustaan käyttäytyä ulospäinsuuntautuvasti tai pyrkiä toimissaan suoriutumaan mahdollisimman hyvin. Persoonallisuuden moninaiset tekijät voidaan jakaa kahteen karkeaan pääluokkaan: tavanomaista sekä suuntautuvaa käyttäytymistä kuvaaviin tekijöihin. Edellistä luokkaa edustaa nykyään vallitseva ns. viiden pääpiirteen malli ja sen lähivariantit, esim. HEXACO. Jälkimmäisen luokan tunnetuimpia edustajia ovat motiivit, tarpeet ja ammatilliset kiinnostukset. Nobelisti Kahnemanin (2011) viime vuosikymmenenä tunnetuksi tekemät ajattelutavat, kognitiiviset tyylit on paikoin nähty persoonallisuuteen ja paikoin älykkyyteen lukeutuvina tekijöinä. Moninaiset tekijät eivät keskenään kilpaile vaan edustavat erilaisia näkökulmia persoonallisuuteen.

Kaikkia edellisiä mitataan useimmiten standardoiduin itsearviokyselyin. Monilukuisista piirrekyselyistä tunnetuin lienee viittä pääpiirrettä mittaava NEO-PI-R (Costa & McRae, 1992). Motiivi- tai tarvekyselyistä tunnetuin lienee PRF (Jackson, 1984). Ammatillisten kiinnostusten eli ammatillisen persoonallisuuden tunnetuin teoria on Hollandin RIASEC (Holland, 1997), jonka pohjalta on laadittu lukuisia kyselyitä. Ajattelutapojen kyselyistä tunnetuin on MBTI (Myers & Briggs, 1984), jonka esitetään olevan maailman käytetyin persoonallisuustesti. Erilaiset asenteet kuten optimismi esiintyvät persoonallisuuden inventaareissa usein piirteitä tai motiiveja täydentävinä tekijöinä.

Erilaiset toimintatyylien testit eroavat yleisluontoisista älykkyyden ja persoonallisuuden testeistä rajoittuessaan koskemaan toimintaa erityisissä tilanteissa kuten johtamisessa, tiimityössä, stressitilanteissa, jne. Esimerkkejä tunnetuista toimintatyylitesteistä ovat johtamistyylejä mittaava MLQ (Bass & Avolio, 1990), tiimirooleja mittaava BTRI (Belbin, 1993) ja stressissä selviytymisen strategioita mittaava COPE (Carver et al., 1989).

Työmenestyksen ennustaminen - meta-analyysit

1980-luvulla käynnistyneet meta-analyysit ovat johtaneet tieteellisesti vankkaan kuvaan testien ja muiden menetelmien kyvystä ennustaa työssä menestymistä. Ensi alkuun on tärkeä tietää että testien kyky ennustaa menestymistä työssä on verrattain vaatimaton, mutta toki samaan aikaan merkityksellinen, riippuen mihin sitä verrataan. Tieteellisesti pätevien testien selitysosuus työmenestyksestä liikkuu välillä 8-20%.

Selitysosuus on pieni eli peräti 80-92% työmenestyksestä jää ennustamatta. Työssä (tai elämässä) menestyminen ei siis suurimmalta osaltaan ole (onneksi) ennustettavissa yksilötekijöistä käsin. Mutta lukuunottamatta työhaastattelua mikään muu menetelmä tai etukäteistieto ei yllä edes tällaisiin ennustelukuihin. Edelleen, mikäli 20-45 minuuttia kestävän testi-istunnon pohjalta voidaan edes vähänkin ennakoida niinkin merkittäviä asioita kuin henkilön työmenestystä tai uramahdollisuuksia, nousevat testit eittämättä merkittävään asemaan.

Varhaisten meta-analyysien mukaan työmenestyksen vahvimpia ennustajia ovat lähes tasavahvoina älykkyyttä mittaavat kognitiiviset kykytestit sekä jäsennetty (structured) haastattelu. Persoonallisuuden testien on katsottu seuraavan askeleen niiden jäljessä. Useat uuden vuosituhannen meta-analyysit ovat sittemmin osoittaneet kognitiivisille kykytesteille varhaisia meta-analyyseja matalampia keskiarvoisia ennuskertoimia, esim. Bertuan ja kolleegojen (2005) meta-analyysi pohjoiseurooppalaisilla aineistoilla.

Johtavan tiedelehden juuri julkaisema koontiartikkeli ennakoi toimialalle järistysaaltoja osoittaessaan että henkilövalintamenetelmiä koskeneet varhaiset meta-analyysit ovat tuottaneet suureen osaan menetelmistä liian voimakkaat keskiarvoiset ennuskertoimet (Sackett et al., 2021). Tutkimusaineistoille ominainen pistearvovaihtelun supistumisen korjaus on tehty perusteettoman voimakkaana tuottaen kertoimiin 0.1 - 0.2 pisteen ylimääräisen nousun. Keskikertoimet säilyvät kuitenkin tilastollisesti merkitsevinä sekä käytännössä hyödyllisinä. Menetelmien viiden parhaan järjestys vastaa pitkälti varhaisia meta-analyysejä lukuunottamatta kahta dramaattista muutosta. Pitkäänkin jäsennetyn haastattelun rinnalla johtavana menetelmänä pidetyt kognitiiviset kykytestit putoavat neljännelle sijalle. Sen sijaan hyvinkin niukalti varhaisten meta-analyysien käsittelemät ammatilliset kiinnostukset ennustavat työsuoriutumista yleisiä persoonallisuuspiirteitä paremmin (Sackett et al., 2021).

Äskettäinen meta-analyysi ei vain toista havaintoa kognitiivisten kykytestien aiempaa matalammasta ennustavuudesta mutta osoittaa motivaatiotekijöille samansuuruista ennustavuutta (Van Iddekinge et al., 2018). Tutkijat jopa ehdottavat että tasatilanne älyllisten kykyjen ja motivaation välillä säilyy vain ensimmäiseen työtehtävään. Tämän jälkeen motivaatiotekijät siirtyvät johtavaan asemaan ennustettaessa työmenestystä. Tämä sopisi yhteen sen ajatuksen kanssa että ensimmäinen työtehtävä painottuu aina perustaitojen ja asioiden omaksumiseen joissa älykkyydellä voi hyvinkin olla merkitystä. Seuraavat tehtävät painottuvat yhäti enemmän kaikenpuoliseen vuorovaikutukseen ja luovaan ongelmanratkaisuun joissa älykkyyden merkitys on vähäisempi.

Työmaailman muuttuminen voi lopulta olla tärkein selittäjä kognitiivisten kykytestien merkityksen vähentymiseen. Nimittäin varhaisten meta-analyysien aineistot päättyvät 1980-lukuun ja tuoreet meta-analyysit hyödyntävät viime vuosikymmeninä kerättyjä aineistoja. Niinpä älykkyyden merkitys olisi ollut tärkeämpi strukturoidun teollisen tuotannon aikakaudella. Nykyinen palveluyhteiskunta peräänkuuluttaa puolestaan vuorovaikutustaitoja.

2010-luvulla tehdyt meta-analyysit ovat nostaneet ammatilliset kiinnostukset uuden huomion kohteeksi. Kun ammatilliset kiinnostukset nähtiin aiemmin hyödyllisinä vain ammatinvalinnassa ja uraohjauksessa, niiden on kolmessa meta-analyysissa osoitettu ennustavan myös suoriutumista tehtävissä, jopa persoonallisuuden piirteitä paremmin (esim. Nye et al., 2017). Ennuste myös parani merkitsevästi lisätessä Hollandin (1997) teorian mukainen sovite kohdetehtävään: esimerkiksi yrittäjämäisesti kiinnostuneet suoriutuivat paremmin yrittäjämäistä kuin esim. sosiaalista kiinnostusta sisältävissä tehtävissä. Yhteenvetona, uuden vuosituhannen meta-analyysit laskevat kognitiivisten kykytestien sekä nostavat suuntautuvaa ja tilannekohtaista käyttäytymistä kuvaavien persoonallisuustestien asemaa suoriutumisen ennustajina. Jäsennetty haastattelu pitää asemansa johtavana ennustemenetelmänä.

Hämmennystä on herättänyt useita eri menetelmiä yhteen keräävän arviointikeskuksen jääminen alle 20 % prosentin selitysvoimasta, vastoin kaikkia järkeviä odotuksia. Selitys tähän on että arviointikeskuksia koskeneet meta-analyysit on laadittu joko tehtävissä jo toimivilla (esimiehillä) tai rekrytoinnin viime vaiheen ehdokkailla jolloin ominaisuuksien varianssi on sitä edeltävien karsintavaiheiden seurauksena voimakkaasti supistunut. Karsinnan jo läpäisseet henkilöt ovat jo "tarpeeksi älykkäitä, tuloshakuisia, tunnollisia" jolloin työssä menestystä ennustavien yksilöerojen tavoittaminen on vaikeampaa kuin laajempia väestöotoksia käyttäneissä meta-analyyseissa.

Tekniset kriteerit

Käyttäytymisprosessit ovat sumearajaisia ja monisyisiä. Näinollen ei ollenkaan riitä että jokin kysymysjoukko nimetään jonkin kyvyn, persoonallisuustekijän tai toimintatyylin mittariksi. Kysymysjoukon mittaus- ja ennustuskyky tuleekin näyttää toteen sekä myös dokumentoida tieteellisesti sovituin tavoin. Kirjallisen dokumentaation tulee myös olla yleisesti tai kohtuullisen vaivattomasti kiinnostuneiden saatavilla. Tärkeimmät testien tekniset, psykometriset kriteerit ovat testin mittauskykyä koskeva reliabiliteetti, sen ennustuskykyä ilmaiseva validiteetti ja tulosten tulkitsemista tarkentavat viitenormit.

Reliabiliteetti

Reliabiliteetti tarkoittaa testin tai asteikon kykyä ylipäätään mitata jotain ominaisuutta. Testin rakentaminen on käyttäytymistieteessä pitkällinen prosessi jonka ensimmäisinä virstanpylväinä selvitetään sen mittauskyky. Reliabiliteetin olemassaolo on validiteetin välttämätön ehto, ilman sitä testi ei koskaan voikaan ennustaa mitään. Reliabiliteettia osoitetaan kysymysjoukon sisäisenä ykseytenä, testin tai asteikon kykynä muodostaa riittävän yhteenkutoutuva, kohdeilmiötä heijastava kokonaisuus. Toinen tapa arvioida testin reliabiliteettia koskee mittauksen ajassa pysyvyyttä eli stabiliteettia katsomalla tuottavatko eri ajankohtina tehdyt mittaukset riittävän samanlaisen tuloksen. Testin lähtökohtainen mittauskyky on niin tärkeä asia että reliabiliteetin laskelmat pitäisi olla toimitettu sen väestön aineistoilla jossa testiä tullaan käyttämään.

Validiteetti

Validiteetti koskee testin kykyä mitata aiottua ominaisuutta sekä ennustaa jotain testin ulkopuolista käyttäytymistä. Edellistä voidaan todentaa monenlaisin tavoin, esimerkiksi osoittamalla että testi suhteutuu teorian määräämin tavoin sitä ympäröiviin muihin ominaisuuksiin. Esimerkiksi ideahakuisen ajattelutavan testin voisi odottaa liittyvän yleensäkin luovaan tapaan ajatella. Toinen tavanomainen menettely koskee teorian mukaisia ryhmäeroja, esimerkiksi johtamismotiivin testin voitaisiin odottaa erottelevan johtajia asiantuntijoista. Validiteetin tärkeimpänä ominaisuutena pidetään testin kykyä ennustaa käyttäytymistä eli johtamismotiivin testin pitäisi ennustaa riippumattomasti arvioitua, toteutunutta johtamistoimintaa.

Normit

Testivastauksille annetut numeeriset pistearvot eivät itsessään vielä ole kovinkaan tulkintakelpoisia koska ne vaihtelevat eri väestöryhmien välillä. Sama seurallisuuden raakapistearvo heijastaa introvertissa suomalaisessa väestössä vahvaa seurallisuutta mutta ekstrovertissa sisiliaisessa väestössä se yltää tuskin keskitason seurallisuuteen. Eli, päinvastoin kuin lämpötilan mittaamisessa, psyykkisten tilojen ja ominaisuuksien mittaamisessa ei ole absoluuttista nollapistettä johon ankkuroitua. Mittaus tapahtuukin vertaamalla saatuja pistearvoja asianomaisen viiteryhmän keskiarvopisteisiin. Niinpä testin kysymyksiin tai osioihin vastauksina saadut ns. raakapisteet (RS, raw scores) standardoidaan, suhteutetaan johonkin suurempaan viiteryhmään, esim. jonkin maan työikäiseen väestöön.

Testin tulosprofiilissa tavallisesti ilmaistut standardipisteet osoittavat testin suorittajan sijoittumisen suhteessa viiteryhmäänsä: kuinka suuri osuus viiteryhmän ihmisistä saa samansuuruisen tai korkeamman (tai matalamman) pistearvon. Testien tulisi yleensä olla normeerattu niihin väestöryhmiin ja maihin joissa testejä käytetään.

Sisältökriteerit

Testien teknisiin ominaisuuksiin voi tutustua testikustantajien omissa julkaisuissa sekä vertaisarvioiduissa katsauksissa (esim. Mental Measurements Yearbook 1938-2021). Tänä päivänä tarjolla on runsaslukuinen joukko tieteellisesti kehitettyjä sekä pakolliset tekniset kriteerit täyttäviä testejä eikä kilpailevien testibrändien välillä voida odottaa suuria eroja kyvyssä ennustaa työmenestystä. Myöskään mitään ihmetestejä ei ole eikä tule. Testin valintaa koskevat ratkaisut perustuvatkin yhä enemmän sisältökriteereihin: testin taustateoriaan, käyttöalueisiin, testinkäyttäjän ja palveluasiakkaan kokemukseen.

Taustateoria

Testeistä, erityisesti persoonallisuuden testeistä on tullut kautta maailman merkittävän suurta liiketoimintaa. Tänä päivänä julkaistaan paljon lupaavin ja leiskuvin iskusanoin markkinoituja uusia testimenetelmiä joiden kohtalo on hypetysjakson, tuotekaarensa päättyessä hävitä unholaan. Osan uusista testeistä kerrotaan mittaavan sellaisia ajassa liikkuvia ominaisuuksia, joille ei löydy teoreettisia tai tutkimuksellisia perusteita. Osa puolestaan näyttäytyy erilaisten vakiintuneiden ominaisuuksien uusina nimityksinä eli "pyörä on keksitty uudelleen". On aina hyödyllistä arvioida minkälainen teoria, konsepti tai iso kuva testin taustalta löytyy. Sulkematta silmiä aidosti uusilta, mielenkiintoisilta konsepteilta, on aina viisasta pitäytyä testeihin joiden taustalta löytyy jokin vakiintunut käyttäytymistieteellinen teoria. Kun näitä on tänään tarjolla runsaslukuinen joukko, on hyödyllisempää siirtää painopiste konseptien ja testien käytettävyyteen eri tilanteissa.

Testien käyttöalueet

Testien käyttöalueet voi karkeasti jakaa rekrytointiin ja kehittämiseen. Rekrytoinnissa käytetään toimintaa laaja-alaisesti ennustavia kykytestejä ja persoonallisuuden testejä mutta erityisalueisiin kohdistuvien toimintatyylitestien käyttö on tokikin vähäisempää. Persoonallisuustestien käyttämistä rekrytoinnissa perustellaan jo nimensä mukaisesti ehdokkaan persoonan tuntemisella. Eli avaruudellisen kyvyn ohella on syytä ennakoida lentäjäehdokkaan yhteistyökykyä ohjaamossa sekä sen ulkopuolella. Persoonallisuuden testit systematisoivat (vapaakulkuisen) haastattelun useinkin intuitiivista ja sisällöltään satunnaista henkilökuvaa. Testeillä voidaan toistuvasti kattaa samat tärkeäksi katsotut peruskysymykset, esimerkiksi painottuuko asiantuntijaehdokkaan osaaminen korkean laadun vai tulosten tavoitteluun, onko esimiesehdokkaan vahvuus muiden toiminnan vai heidän ajatusten johtaminen, painottuuko ehdokkaan yhteistyö muille viestintään, muiden neuvomiseen vai muiden kuuntelemiseen.

Perinteisen suorituskeskeisen työmenestyksen (palkka-, urakehitys yms.) rinnalle yhä useammin nostetaan organisaatiossa toteutuva ns. kansalaistoiminta, (organizational citizenship behavior, OCB). Persoonallisuustestit ennustavat näitä "kansalaishyveitä", muiden auttamista, tukemista ja yhteistoimintaa paremmin kuin perinteisiä kriteerejä. Sosiaalisen käyttäytymisen lisäksi persoonallisuustesteillä on meta-analyysein osoitettu yhteys luovuuteen (Feist, 1998) jota älykkyystestit eivät ennusta. Merkille pantavaa on että työmenestyksen vahva ennustaja on tunnollisuus, mutta luovia aikaansaannoksia ennustaakin tunnollisuuden puute tai vähäisyys (!). Kolmas, persoonallisuustekijöiden ehkä tärkein sekä viime vuosina paljon keskustelua herättänyt ominaisuus liittyy niiden osoitettuun kykyyn ennustaa ihmisten hyvinvointia, terveyttä ja kuolleisuutta nostaen ne tärkeään sosiaalipoliittiseen valoon. (Roberts et al., 2007; Bleidorn et al., 2019).

Kehittämistoiminnassa ei juuri käytetä älyllisiä kykyjä koska niitä ei ajatella voitavan harjoittelulla kehittää. Numerosarjojen harjoittelu voisi tuntuakin oudolta. Sen sijaan kehitysohjelmissa hyödynnetään toimintatyyli- sekä persoonallisuustestejä. Edellisissä valmentaminen kohdistuu toimintaan erityistilanteissa. Jälkimmäisissä se kohdistuu yleisiin toimintatapoihin ja kehittämiselle alttiisiin persoonallisuustekijöihin.

Käyttäjän ja asiakkaan UX

Teknistä käytettävyyttä kuten testin mobiilikäyttöä paljon tärkeämpi kysymys on kuinka helposti ymmärrettäviä testin sisällöt ovat sen käyttäjille sekä kaikille testauspalvelun asiakkaille. Käyttäjä tiedottaa ja tulkitsee testiä sen suorittajille ja esihenkilöille jolloin arkikielinen ja ymmärrettävä termistö on ensiarvoisen tärkeä. Kehittämisessä tärkeätä on testin kyky tukea valmentajan ohjaustoimintaa mitä erilaisimmille ihmisille jolloin sanaston yksinkertaisuus ja arkikielisyys ovat suureen tarpeeseen.

Testauspalvelun asiakkaita ovat rekrytoinnissa testejä suorittavat ehdokkaat, heitä vastaanottavat esihenkilöt sekä organisaatioiden kehitysohjelmiin osallistuvat henkilöt. Testin suorittajan tulee kokea tulevansa tasaveroisesti ja asianmukaisesti kohdelluksi. Useimpien maiden lainsäädäntökin edellyttää että testin sisällöt tulee olla perusteltuja kohdetehtävässä menestymisen kannalta.

Testauspalvelua vastaanottavien esihenkilöiden tulee vaivatta ymmärtää testin sisältöä tehdessään rekrytointipäätöksiä. Organisaation kehittämisohjelmissa tärkeätä on että testin suorittaja kokee sen sisällöt uskottavina, kiinnostavina ja parhaassa tapauksessa innostavina. Rekrytoinnissa ja kehittämisessä on hyödyllistä tarjota testin suorittajille maallikon ymmärtämät ja selkokieliset dokumentit tulosprofiilien tulkintaan. Joidenkin testien koneellisesti tuottamat yksilölliset kuvausraportit luovat illuusion tarkkuudesta jota testien verrattain vaatimaton mittauskyky ei mitenkään oikeuta. Riskinä on tällöin että illusoorinen tarkkuus poistaa tarpeen haastatella henkilöä, joka voi johtaa vakaviin virhepäätelmiin.

Yhteenveto

Testien ennustuskyky, vaikkakin voimakkuudeltaan "vain" pienestä kohtalaiseen, on voitu tieteellisesti todistaa 1980-luvulla alkanein meta-analyysein. Tänä päivänä tarjolla on runsaasti tarjolla tekniset, psykometriset kriteerit täyttäviä testimenetelmiä. Enää ei riitäkään osoittaa testin ennustuskykyä vaan painopiste on siirtynyt testin sisältöihin. Sisältökysymykset koskevat testin ns. ekologista validiteettia eli sen käyttökelpoisuutta ympäristöissä ja tilanteissa joissa testiä on tarkoitus käyttää. Testien siirryttyä online ympäristöön tulee testipalvelun huolehtia kyberturvallisuudesta sekä noudattaa GDPR-säännöstöä. Verkkoympäristö mahdollistaa analyysit ns. Big Datalla ja yhä useammat testit tarjoavatkin mahdollisuuden hyödyntää dataa henkilöstöanalytiikassa.

Työn murros tuo aivan uudenlaisen kriteerin testien ekologisen validiteetin arviointiin. Kysymys kuuluu: voidaanko ja millä tavoin testejä käyttää ohjaamaan ihmisiä heidän navigoidessa kohti ennen näkemättömiä tehtäväsisältöjä sekä osaamisia. Lopuksi on ymmärrettävä, että testien efektikoot sekä varianssin selitysosuudet ovat sen verran vaatimattomia ettei testeistä sellaisenaan ole "kuninkaantekijöiksi" HR:lle. Testien arvo toteutuukin täyteen mittaansa vasta kun ne toimivat osana organisaation osaamisen kokonaiskonseptia, sen hankinnan ja kehittämisen suurta kuvaa.

Osaamisen hankintaa ja kehittämistä toteutetaan edelleen erillisissä siiloissa. Myöskin prosessit vaihtelevat organisaation eri alueilla ja eri osissa. HR ammattilaiset kantavat huolta kyvystään tarjota organisaatiolle "jotain uutta". Huomio pitäisi asettaa testien sisältöihin sekä prosessien integroimiseen. Vasta integroitujen prosessien ja kvartaalia pidemmin jaksotuksin HR voi lunastaa johtoroolinsa mullistuvan työn maailmassa.