keskiviikko 29. marraskuuta 2017

Miten arvioida tutkimuksen objektiivisuutta tai subjektiivisuutta

Vaikka tutkimusta pyrkisikin tekemään objektiivisesti, on täyden objektiivisuuden saavuttaminen oikeastaan mahdotonta. Tutkimuksen tekemiseen vaikuttaa aina tutkija, tutkimuksen tilaaja, aiemmat tutkimukset ja näkökulma. Tarkastelen tässä kirjoituksessa objektiivisuuden mahdollisuutta tutkimuksen eri vaiheissa ja tutkimustyypeittäin.
Tutkimuksen objektiivisuudella tarkoitetaan sitä, että tutkimuksessa pyritään saamaan objektiivista eli tutkijasta riippumatonta tietoa. Objektiivisessa tutkimuksessa tutkija voidaan vaihtaa ja saadaan samat tulokset. Objektiivisen tiedon vastakohtana on subjektiivinen tieto. Subjektiivinen tieto muotoutuu tutkijan ja tutkittavan kohteen vuorovaikutuksessa. Tutkimus on subjektiivinen silloin, kun tulokset riippuvat tutkijasta ja hänen tulkinnastaan.
Tieteellisessä keskustelussa on olemassa ääripäitä sen suhteen mikä on mahdollista. Objektiivista tutkimusotetta kannattavat tutkijat uskovat todellisuuden olevan olemassa sitä havainnoivista ihmisistä riippumatta. Ajatellaan todellisuuden olevan monimutkainen ja monikerroksinen, ja että tutkimuksen avulla voidaan saada todennäköisesti paikkansa pitävää tietoa todellisuudesta. Subjektiivista tutkimusotetta kannattavat tutkijat ajattelevat, ettei todellisuus ole missään reaalisesti olemassa, vaan se riippuu sitä havainnoivasta subjektista. Eräs subjektivistisen tutkimusotteen piiriin kuuluva suuntaus on konstruktivismi. Sen mukaan maailman ilmiöt tuotetaan kielessä; puheena, tekstinä ja kertomuksina. Konstruktivistisen näkemyksen mukaan ei ole olemassa kieleen nähden ulkoista, objektiivista sosiaalista todellisuutta. Todellisuus on olemassa vain kielessä. 

Käytännössä markkinatutkimuksissa on hyvä pyrkiä objektiivisuuteeen ja ymmärtää samalla, ettei siihen ehkä koskaan täysin päästä. Tuloksia analysoitaessa olisi siis hyvä miettiä myös tätä subjektiisuusongelmaa, varsinkin jos pyrkii yleistämään tuloksia otoksen ulkopuolelle (niinkuin yleensä aina tehdään). 

Objektiivisuus tutkimuksen erivaiheissa

Tutkimuksen objektiivisuus liittyy tutkimusprosessissa ainakin seuraaviin vaiheisiin: aiheen valinta, rahoituksen hankinta, tutkimuksen tavoitteiden asettaminen, menetelmän ja näkökulman valinta, lähtöoletusten ja hypoteesien muodostus, perushypoteesin luominen, hypoteesin hylkäys ja hyväksyntä aineiston pohjalta. Tutkijalla on usein tiedostamattomia oletuksia asioista ja tällöin on usein vaarana sortua itsepetokseen eli tutkija saattaa olla taipuvaisempi huomaamaan omaa hypoteesia tukevat teoriat ja aineistot kuin sitä opponoivat faktat. Ilkka Niiniluoto kuvaa kirjassaan Johdatus tieteenfilosofiaan (1980) millaisia ennakko-oletuksia tutkijalla usein on. Niinluodon mukaan  tutkija on omaksunut tietynlaisen käsitejärjestelmän, hän määrittelee asiat tietyn tavan mukaan. Tästä seuraa se, että tutkija pitää joitain asioita ja riippuvuussuhteita tosina ilman verifiointia. Näiden lisäksi tutkimukseen ja sen tulkintaan vaikuttavat maailmankatsomukselliset ja ideologiset lähtökohdat. Tutkijan kuuluminen johonkin koulukuntaan vaikuttaa hänen objektiivisuuteensa.
Olen koonnut alla olevaan taulukkoon objektiivisuuteen liittyviä kysymyksiä tutkimuksen eri vaiheissa. Näitä kysymyksiä olisi mielestäni hyvä pohtia tutkimusta tehdessä, jotta voisi tiedostaa omien valintojensa objektiiviset ja subjektiiviset perusteet ja perustella ne (ainakin itselleen). 


Tutkimuksen vaihe
Objektiivisuuspohdintaa
Aiheen valinta ja rajaus
·       Olenko valinnut aiheeni tiedollisin vai subjektiivisin kriteerein? Perustele.
·       Koska tutkimusten tekemiseen yhteiskunnassa on rajallisesti resursseja, niin joskus voisi olla perusteltua myös mainita miksi jokin aihe jätetään tutkimatta. 
·       Jotkin tutkimusaiheet ovat poliittisesti arkoja aiheita ja pelkkä aiheen valinta on kannanotto. Perustele aiheesi.
Aiheen rajaus
·       Millä perusteella rajaan aineistoni
Rahoituksen hankinta
·       Vaikuttaako tutkimuksen rahoituksen hankinta aiheenvalintaan, metodinvalintaan, toivottaviin tuloksiin, tulosten julkaisuun
·       (Tilaustutkimuksen objektiivisuutta on pohtinut mm. Välimaa 1996 )
Yhteistyökumppaneiden valinta
·       Kenen kanssa teen yhteistyötä, mitkä ovat yhteistyökumppanin tavoitteet ja arvot ja mikä on yhteistyön tekemisen tavoite minulle itselleni
Tutkimuksen tavoitteiden asettaminen
·       Millaisia tavoitteita asetan tutkimuksen tuloksille
·       Millaisia tavoitteita tutkimuksen tekemisellä on minulle itselleni? Uralleni?
·       Millaisia tavoitteita tutkimuksen tekemisellä on tieteen kehitykselle, edustamani oppiaineen tai koulukunnan kehitykselle
Menetelmän valinta
·       Millä perusteella valitsen tutkimuksessani käytettävän metodin tai metodit, miksi jätän jonkin menetelmän käyttämättä
Näkökulman valinta
·       Kenen tai mistä näkökulmasta tarkastelen aineistoani, miksi
·       Jätänkö arvot tutkimuksen ulkopuolelle vai onko tutkimukseni arvosidonnainen. Jos on niin perustele arvovalintasi.
Teorian valinta
·       Mitkä ovat ne teoriat minkä puitteissa tarkastelen aineistoani, miksi valitsen nämä teoriat ja miksi jätän jotkin muut valitsematta
Lähtöoletusten ja hypoteesien muodostaminen
·       Mitkä ovat ne kaikki lähtöoletukset ja itsestäänselvyydet mistä lähden liikkeelle
·       Mitkä ovat ne tiedostamattomat oletukset aineistosta ja kausaalisuuksista mitä minulla on
·       Millä perusteella muodostan tutkimushypoteesini;  miksi juuri nämä hypoteesit, miksi ei jotkut muut
Perushypoteesin valinta
·       Millä perusteella valitsen yhden hypoteesin muita tärkeämmäksi
Aineiston hankinta ja rajaus
·       Millaiset ovat otantani kriteerit
·       Aineiston valinta, poikkeamien käsittely, rajaus, millä kriteereillä
Hypoteesien hylkäys ja hyväksyntä aineiston pohjalta
·       Usein tutkimusaineisto ei tue täysin hypoteesien hylkäämistä tai hyväksymistä. Millä perusteella hyväksyn tai hylkään hypoteesin? Miten käsittelen poikkeavia havaintoja?
Tulosten julkaiseminen
·       Millä foorumeilla julkaisen tutkimukseni tulokset, miksi valitsen nämä foorumit
·       Mitä asioita nostan tutkimuksestani esiin ja miltä näkökannalta
Tulosten soveltaminen
·       Miten tutkimukseni tuloksia voidaan soveltaa
·       Kuinka paljon olen itse vastuussa tutkimustietojen soveltamisesta (Tästä on kirjoitettu paljon. ks. esim Raatikainen 2004, Niiniluoto 1991, Löppönen et al 1991)
·       Voidaanko tutkimukseni tulokset ymmärtää väärin


Lähteet
·       Löppönen, Paavo & Mäkelä, Pirjo H. & Paunio, Keijo (1991): ”Tiede ja etiikka”. Wsoy, Juva.
·       Niiniluoto, Ilkka (1980): ”Johdatus tieteenfilosofiaan”, s. 237-249, Otava, Helsinki. 
·       Niiniluoto, Ilkka (1991): ”Tiedeinstituutio ja tutkijan eettiset valinnat”, s. 38-52, kirjassa Tiede ja etiikka, toimittaneet Paavo Löppönen, Pirjo H. Mäkelä ja Keijo Paunio. Wsoy, Juva.
·       Raatikainen, Panu (2004): ”Ihmistieteet ja filosofia”, Gaudeamus, Helsinki.s. 138-146
·       Välimaa, Jussi (1996): ”Rahoittaja vai rajoittaja? - Keskustelua tilaustutkimuksen dynamiikasta ja etiikasta.” s. 131-160, teoksessa ”Alttiiksi asettumisen etiikka”, toimittanut Aino Palmroth ja Ismo Nurmi, Kopi-Jyvä Oy, Jyväskylä


tiistai 31. lokakuuta 2017

Aineiston siivoaminen


Sen jälkeen kun ihmiset ovat vastanneet kyselyysi on aika alkaa tarkastella dataa. Ihan heti ei kannata alkaa ristiintaulukoimaan tai piirtämään kuvioita. Sillä jos aineistossa on jotain outoa, joutuu kaikki analyysit tekemään uudelleen. Ensin tulisi aina tarkistaa, että aineisto on kunnollinen. Tämä on vähän tylsä vaihe, mutta täysin välttämätön luotettavien tulosten saamiseksi. Kaikki kysymykset kannatta silmäillä läpi ja katsoa onko vastaukset suunnilleen sellaiset mitä oli odotettavissa. Jos suuria poikkeamia kannattaa miettiä onko kysymys ymmärretty oikein vai johtuuko poikkeama jostain muusta. Alla on listaa asioista, joita olisi hyvä tarkastella aineistoa siivottaessa.

Poistetaan väärät vastaukset


Joskus ihmiset vastaavat kyselyihin moneen kertaan siinä toivossa, että voittaisivat arpajaispalkinnon tai saisivat muun luvatun palkkion. Laitoin kerran yhteen kyselyyn palkinnoksi lahjakortin Alkoon ja Pekka (nimi muutettu) innostui kyselystä niin paljon, että vastasi siihen yli 50 kertaa. Pekan vastaukset olivat aina samat. Käytännössä näiden yli-innokkaiden vastaajien vastaukset voi poistaa helposti, jos arvontadata on samassa taulukossa. Usein näin ei kuitenkaan tietosuojasyistä ole (en esimerkiksi itse tallenna niitä samaan taulukkoon) ja siksi voidaan käyttää muita keinoja. Käyttämäni ohjelma listaa IP-osoitteet, mistä kysely on täytetty. Katson millaisia vastauksia on tullut samalta koneelta. Jos ne ovat selvästi erilaisia (eri ihmisten tekemiä) jätän ne, mutta jos ne vaikuttaa saman ihmisen tekemiltä (esim. 55v, mies, jonka lempiolut on Heineken ja asuu Kokkolassa) poistan ne. Jos IP-osoitettakaan ei ole voi katsoa tuloksia jonkin erottelevan piirteen pohjalta ja tarkastella sitten onko epäilyttävän samanlaisia vastauksia.

Poistetaan tyhjät ja liian puutteellisesti täytetyt


Osa ihmisistä jättää tutkimuksen kesken ja osa täyttää todella ylimalkaisesti. Riippuu tutkimuksesta voiko nämä vajavaiset pitää mukana vai kannattaako ne poistaa. Riippuu myös siitä millä tavalla aikoo prosentteja laskea. Jos laskee prosentit tai muut tunnusluvut kokonaisvastaajamäärästä on olennaista, että kaikki vastaajat ovat vastanneet kaikkiin kysymyksiin. Jos taas laskee prosentit aina vain niistä, jotka ovat vastanneet kysymykseen ei haittaa vaikka kysymyskohtainen vastaajamäärä vaihtelisi. Eri asia sitten on pohtia sitä miksi johonkin kysymykseen on jätetty vastaamatta. Johtuuko se siitä, että kysymys on huonosti laadittu, siihen on vaikea vastata vai muusta syystä? Koska tässä siivoamisvaiheessa on paljon kiinni tutkijan tulkinnoista, kannattaa kirjata ylös kuinka monta vastausta poistaa ja millä perusteella. Joissain tapauksissa tyhjät vastaukset voidaan korvata keskiarvolla, mutta tässäkin kannattaa käyttää omaa harkintaa ja miettiä miksi vastaus puuttuu.

Koodataan avoimet kysymykset


Osan avoimista vastauksista voi toki jättää ihan ilman koodaamista, mutta aineiston tiivistäminen yleensä helpottaa tulkintaa. Käytännössä itse jätän yleensä alkuperäisenkin vastauksen dataan ja teen rinnalle toisen, koodatun muuttujan. Tämä siltä varalta, että haluaa muuttaa luokkia jälkikäteen tai tarkistaa jotakin. Esimerkiksi sanomalehden tutkimuksessa voidaan kysyä paikkakuntaa ja sitten koodata vastaukset levikkimarkkinoinnin kannalta järkeviin luokkiin. Koodaus voi yksinkertaisimmillaan olla dikotominen eli mainitsiko vastaaja asian vai ei. Avointen koodaamisesta löytyy lisätietoja täältä. 

Yhdistellään luokkia


Voi olla, että joihinkin vastausvaihtoehtoihin tulee kovin vähän vastauksia tai jälkikäteen huomaa joidenkin vastausten tarkoittavan suunnilleen samaa. Tällöin voi olla järkevää yhdistellä luokkia, jotta saa niistä tarpeeksi suuria taustaryhmittäin tarkastelua varten.

Analysoidaan muu, mikä-kohta


Usein kysymyksissä on mukana avoin ”muu, mikä” –kohta. Näitä vastauksia on hyvä tarkastella. Yleensä suuren osan niistä saa laitettua kysymyksessä jo oleviin vastausvaihtoehtoihin. Moni vastaaja ajattelee olevansa erikoistapaus ja haluaa täsmentää ja selittää vastauksiaan. Tutkimuksessa kuitenkin usein haetaan massan mielipidettä (toki myös hajontaa) ja siksi tiivistäminen on usein järkevää. Tästä ”muu, mikä”-luokasta saattaa löytyä myös ihan uusia luokkia vastausvaihtoehdoksi, mitkä eivät aiemmin ole tulleet mieleen. Näiden kanssa kannattaa kuitenkin olla varovainen sillä, on luultavaa, että useammat ihmiset olisivat vaihtoehdon valinneet, jos se olisi ollut listattuna ja tullut siksi helpommin mieleen. Joskus on sanottu, että ”muu, mikä” -kohta ei saisi olla yli 20%. Tämä onkin hyvä nyrkkisääntö, mitä pienempi, sen paremmin ovat valmiit vastausvaihtoehdot kattaneet ilmiön.

Filtterit ja taustamuuttujat


Vaikka usein kysymyskaavakkeessa on hyppyjä, millä varmistetaan vastaamisen mielekkyys, voidaan vielä tässä vaiheessa lisätä puuttuvat hypyt ja tarkastella esimerkiksi tuotteen käyttökokemusvastauksia vain niiden osalta, jotka olivat käyttäneet tuotetta. Toki joskus on hyvä myös vertailla vastauksia keskenään käyttäjien ja pelkästään mielikuvansa perusteella vastaavien ei-käyttäjien osalta.


Aineiston siivoamiseen menee aikaa, mutta kuten alussa totesin, se on välttämätön vaihe luotettavan tutkimuksen tekemiseksi. Tutkimuksen kokonaistekoajasta siihen on hyvä varata noin viidennes eli riippuen laajuudesta siivoustalkoot kestävät suunnilleen kolmesta tunnista kolmeen päivään.

(kiitos kuvasta jk1991 at freedigitalphotos.net)

perjantai 29. syyskuuta 2017

Kolmiulotteisuus kuvioissa

Aikoinaan kun opettelin markkinatutkimusalaa luin ahkerasti Vesa Kuuselan kolumneja Tilastokeskuksen julkaisemasta Tietoaika-lehdestä (1992-1998) ja hänen Kuuselan kirjan Tilastografiikan perusteet. Näistä kirjoituksista kävi hyvin selvästi ilmi, että Vesa Kuusela oli hyvin allerginen kaikelle kolmiulotteisuudelle kuvioissa. Kuusela (1992)[i] kirjoittaa, että ”Käytännössä esitykseen tuotetulla kolmiulotteisella vaikutelmalla lähes aina hävitetään kuvion kyky välittää tietoa, mikä on tilastokuvion ensisijainen tehtävä eli pilataan koko esitys. En muista nähneeni yhtään esitystä, josta voisi sanoa, että kolmiulotteisuus olisi parantanut sitä”. Tämä ajatus on jäänyt mieleeni, vaikka aina välillä olen kikkaillut kolmiulotteisuudella (se näyttää niin kivalta) ja yleensä aina todennut, että tiedot käy selkeämmin ilmi kaksiulotteisista kuvioista.

Kolmiulotteisissa pylväistä tietoa on vaikeaa tulkita. Otetaan esimerkki. Tietyn tuotteen käyttäjistä on 25% naisia ja 75% miehiä. Jos tämän tiedon esittää kolmiulotteisina pylväinä on aika vaikeaa hahmottaa lukuja kuviosta. Jos katsoo miesten pylvään takareunaa näyttää luvuksi tulevan 70%, jos taas etureunaa luku onkin noin 58%. Ja siis oikeasti 75%!!



Skau (2011)[ii] kuvaa blogissaan hyvin sitä miten 3D ominaisuuden lisääminen heikentää oikean tulkinnan mahdollisuutta piirakkakuviossa, koska se muuttaa suhteellisia pinta-alaeroja. Tämä johtuu siitä, että kun piirakkakuvio kuvataan 3D-muodossa siitä tuleekin ellipsi. Alla on samat luvut piirakkakuviossa ja 3D ellipsissä.


Selkeimmältä näyttää kaksiulotteinen pylväskuvio, mistä heti näkee, että epävarmojen ryhmä on suurin ja että jäsenyyttä aikoo jatkaa enemmän ihmisiä, kuin  luopua siitä.  Kun vertailee kaksiulotteista vasemmanpuoleista ja kolmiulotteista oikeanpuolista kuviota huomaa, että kaksiulotteinen näyttää aika tylsältä ja kolmiulotteinen jännittävältä. Tiedot käy kuitenkin ilmi paljon selvemmin vasemmanpuoleisesta kuviosta. Ja koska tilastokuvion tehtävänä on välittää tietoa, valinta on aika selvä. Wainer (1984)[iii] esitti kaksi keinoa tiedon hämärtämiseksi tilastografiikassa: Liikaa desimaaleja ja liikaa dimensioita. Palataan noihin desimaaleihin myöhemmin.



Kolmiulotteisuus on perusteltua sellaisessa tapauksessa missä asia on kolmiulotteinen. Tällöin voi käyttää ns. patjakuviota, mutta koska sen tulkinta vaatii harjaantunutta silmää, kannatta sekin luultavasti jättää väliin.




[i] Kuusela, Vesa (1992): ”Kolmiulotteista roinaa”, Tietoaika 9/1992, s. 22
[ii] Skau, Drew (2011): ” 2D’s Company, 3D’s a Crowd”, Scibble live blog, 13.12.2011http://www.scribblelive.com/blog/2011/12/13/2ds-company-3ds-a-crowd/
[iii] Wainer, XX (1984): ”How to Display Data Badly?”, The American Statistician 1984