Joka viikko lehtiin ilmestyy uutinen joka alkaa lauseella tutkimuksen mukaan. Joka kuukausi julkaistaan kannatusmittaus joka kertoo mitä suomalaiset ajattelevat puolueista, poliitikoista tai jostain yhteiskunnallisesta kysymyksestä. Nämä luvut otetaan vastaan ikään kuin ne olisivat objektiivisia mittauksia todellisuudesta, kuten lämpötila tai sateen todennäköisyys, asioita joita ei voi manipuloida ja joihin ei kuulu arvolataus. Ne eivät ole sitä.
Tutkimus on aina rahoitettu jonkun toimesta. Kannatusmittauksessa on aina valittu keiltä kysytään, miten kysytään ja mitä kysytään. Nämä valinnat eivät tapahdu tyhjiössä vaan intressien, resurssien ja päämäärien ympäristössä, ja kenen intressit ne ovat vaikuttaa suoraan siihen mitä tulos on. Tämä ei tarkoita, että kaikki tutkimukset ovat valetta tai kaikki mittaukset ovat manipuloituja. Se tarkoittaa, että ensimmäinen kysymys jonka pitää esittää ennen kuin uskot mitään tutkimukseen tai mittaukseen on se, kuka tämän tilasi ja kuka maksoi.
Miten kannatusmittaukset toimivat ja miten niiden tulos voidaan ohjata
Kannatusmittauksen perusidea on yksinkertainen: otetaan pieni joukko ihmisiä joka edustaa suurempaa väestöä ja kysytään heiltä kysymyksiä, joiden perusteella tehdään yleistyksiä koko väestöstä. Tieteellisesti oikein tehtynä tämä toimii, ja siksi gallup-tutkimukset ovat pysyneet vakavasti otettavana tiedonhankintamenetelmänä vuosikymmeniä. Mutta jokaisessa vaiheessa on valinnanpaikkoja joissa rehellisyys ja puolueellisuus eroavat toisistaan.
Otantamenetelmä on ensimmäinen valinnanpaikka. Kenet valitaan vastaamaan? Jos mittaus tehdään puhelinhaastatteluna arkipäivän iltapäivällä, vastaajissa yliedustuvat eläkeläiset ja etätyöntekijät eikä saada tasaisesti koko väestöä. Jos mittaus tehdään verkkokyselynä sähköpostipaneelissa, vastaajiksi valikoituu tyypillisesti koulutetumpi ja kaupunkilaisempi joukko kuin väestö keskimäärin. Tulosta voidaan painottaa korjaamaan näitä vinoutumia, mutta painotusvalinnat ovat itsessään arvovalintoja jotka vaikuttavat lopputulokseen.
Kysymyksen muotoilu on toinen valinnanpaikka, ja se on tehokkaimmasta päästä. Sama asia voidaan kysyä monella tavalla ja saada täysin eri vastaus. Kannatatko maahanmuuttajien vastaanottamista joka on myönteinen muotoilu, vai kannatatko maahanmuuttajien määrän rajoittamista joka on rajoittava muotoilu, tuottaa eri vastausjakauman vaikka mitataan samaa asiaa. Kysymysten järjestys vaikuttaa vastauksiin, koska edellinen kysymys luo kontekstin seuraavalle. Jos ensin kysytään rikollisuustilanteen kehityksestä ja sitten maahanmuuttoon liittyvistä asenteista, vastaukset ovat erilaisia kuin jos järjestys olisi päinvastainen.
Niin sanotut push pollit eli vaikuttamismittaukset ovat oma luokkansa jossa mittauksen julkilausuttu tarkoitus on nimenomaan muuttaa vastaajan mielipidettä, ei mitata sitä. Näissä vastaajalle esitetään kysymyksen yhteydessä tietoa joka ohjaa vastausta tiettyyn suuntaan, minkä jälkeen kysytään varsinainen mielipidekysymys. Formaatti näyttää mittaukselta mutta toimii mainoksena. Vastaajat eivät useimmiten huomaa eroa, ja tuloksia siteerataan mediassa kuten tavallisia kannatusmittauksia.
Vastausprosentti on viimeinen suuri ongelma. Tyypillinen suomalainen puhelinhaastattelu saa nykyisin vastausprosentiksi 20–30 prosenttia, eli 70–80 prosenttia tavoitelluista henkilöistä kieltäytyy tai ei vastaa. Ketkä vastaavat ja ketkä eivät ole satunnainen joukko. Ihmiset joilla on vahva mielipide vastaavat todennäköisemmin kuin ne joilla ei ole, ja poliittisesti aktiiviset vastaavat todennäköisemmin kuin he jotka eivät seuraa politiikkaa. Tämä ei välttämättä kumoa tulosta, mutta se tarkoittaa, että mittaus kuvaa vahvan mielipiteen omaavien aktiivikansalaisten näkemystä eikä tasaisesti koko väestöä.
Tutkimusrahoituksen vaikutus tuloksiin – se on dokumentoitu eikä teoriaa
Tutkimusrahoituksen vaikutus tutkimustuloksiin ei ole salaliittoteoria vaan tieteessä laajasti dokumentoitu ilmiö josta on tehty kymmeniä meta-analyysejä. Pelkistettynä: tutkimukset jotka rahoittaa toimija jolla on intressiä tiettyyn tulokseen päätyvät useammin kyseiseen tulokseen kuin riippumattomista lähteistä rahoitetut tutkimukset.
Tupakkateollisuus on tämän dokumentoiduin esimerkki. Sisäiset asiakirjat jotka tulivat julkiseksi 1990-luvun oikeudenkäynneissä osoittivat, että alan suurimmat yhtiöt tiesivät tupakoinnin aiheuttavan syöpää jo 1950-luvulla ja päättivät rahoittaa tutkimusta jonka tarkoitus ei ollut selvittää totuutta vaan tuottaa riittävästi epäselvyyttä, jotta päätöksentekijät eivät voisi toimia. Strategia ei ollut kiistää kaikkea vaan väittää, että lisätutkimusta tarvitaan, koska niin kauan kuin löydökset vaikuttavat kiistanalaisilta, toimenpiteisiin ei ryhdytä. Sama strategia toistuu myöhemmin muissa yhteyksissä.
Vuonna 2016 JAMA Internal Medicine -lehdessä julkaistu tutkimus löysi sisäisen asiakirja-aineiston joka osoitti, kuinka sokeriteollisuus rahoitti 1960-luvulla Harvard-yliopiston tutkijoita siirtämään vastuun sydäntaudeista rasvaan sokerin sijaan. Tutkijat maksoivat kirjoittajille vuoden 2016 rahassa noin 50 000 dollaria ja saivat vastineeksi artikkeleita jotka vähättelivät sokerin yhteyttä sydäntauteihin. Tuloksella oli vuosikymmenten vaikutus ravitsemussuosituksiin ja siihen mitä ihmiset söivät.
Lääketeollisuudessa ilmiö on erityisen hyvin tutkittu. Lääketieteellinen aikakauslehti BMJ julkaisi vuonna 2003 katsauksen joka tutki 30 eri meta-analyysia lääketutkimusten rahoituksen vaikutuksesta. Yhteenveto oli selkeä: teollisuuden rahoittamat kliiniset lääkekokeet päätyivät tilastollisesti merkitsevästi useammin sponsor-tuotteen kannalta suotuisaan tulokseen kuin riippumattomasti rahoitetut tutkimukset. Sama löydös on toistettu onkologiassa, psykiatriassa, kardiovaskulaarilääketieteessä ja ravitsemustieteessä.
Nikotiinikorvaushoitotuotteiden kohdalla asetelma on erityisen kirkas. Jos Nicoretten tai vastaavan tuotteen valmistaja rahoittaa tutkimuksen nikotiinikorvaushoidon tehokkuudesta, se tekee sen koska odottaa tuloksen olevan suotuisa, ja jos se ei olisi, tutkimusta ei julkaistaisi eikä se luultavasti ylipäätään johtaisi tuotteen jatkorahoitukseen. Sama pätee jos tupakkayhtiö rahoittaisi sähkötupakoinnin turvallisuustutkimuksen, tai jos lihateollisuuden toimijat rahoittaisivat tutkimuksen punaisen lihan yhteydestä syöpään. Rahoittaja ei välttämättä suoraan sanale tuloksia, mutta se valitsee kenet palkkaa, mitä kysytään, miten analysoidaan ja ennen kaikkea julkaistaanko vai ei.
Julkaisemattomat tutkimukset – se mitä et koskaan pääse lukemaan
Julkaiseminen on tieteessä portinvartijaprosessi jossa arvioijat päättävät onko tutkimus riittävän merkittävä, mielenkiintoinen tai uutta tietoa tuottava julkaistavaksi. Tämä kuulostaa laadunvarmistukselta, mutta siinä on rakenteellinen vinoutuma jota kutsutaan julkaisupuolueellisuudeksi tai suomeksi myös arkistolaatikkoproblemaatikaksi.
Tutkimukset jotka löytävät tilastollisesti merkitsevän vaikutuksen julkaistaan huomattavasti todennäköisemmin kuin tutkimukset jotka eivät löydä mitään, vaikka se ”ei mitään” löytäminen olisi tieteellisesti yhtä tärkeää. Tämä tarkoittaa, että se kokonaiskuva joka syntyy julkaistusta kirjallisuudesta on systemaattisesti vinoutunut positiivisiin löydöksiin, koska negatiiviset tulokset jäävät pöytälaatikkoon eli arkistolaatikkoon, eivät katoa vaan vain jäävät näkymättömiksi.
Vuonna 2008 New England Journal of Medicine julkaisi tutkimuksen joka oli tieteellisesti räjähdysmäinen: tutkijat analysoivat kaikkia FDA:n rekisterissä olevia masennuslääketutkimuksia sekä julkaistuja että julkaisemattomia, ja löysivät, että julkaistussa kirjallisuudessa lääkkeet näyttivät toimivan huomattavasti paremmin kuin ne toimivat kaikkien tutkimusten kokonaisuudessa. Lähes kaikki negatiiviset tulokset olivat jääneet julkaisematta tai niiden tulokset oli esitetty julkaisussa tavalla joka teki negatiivisesta tuloksesta positiivisen. Tulos ei sanonut, että masennuslääkkeet eivät toimi, vaan että julkaistu kirjallisuus yliarvioi niiden tehokkuuden merkittävästi – ja tähän liittyy suoraan se miksi liikunnasta kirjoittavassa artikkelissamme nostetaan esiin tutkimuksia joiden mukaan säännöllinen kävely on useissa kliinisissä tutkimuksissa yhtä tehokasta kuin masennuslääkkeet lievässä tai kohtalaisessa masennuksessa, koska kun lääkkeiden tehokkuusarviot korjataan julkaisupuolueellisuuden huomioivaan suuntaan, vertailuasetelma muuttuu.
Sama rakenne toistuu lähes kaikilla lääketieteellisillä alueilla ja monilla muillakin tieteenaloilla. Kun luet tutkimuksen perusteella tehtyjä uutisia, luet yleensä ne tutkimukset jotka löysivät jotain eikä niitä jotka löysivät ei mitään, ja se painotus vääristää kuvasi siitä missä tieteen konsensus todellisuudessa on.
Yhteys some-manipulaatioon – kun kannatusmittauksiin voidaan vaikuttaa myös digitaalisesti
Perinteinen kannatusmittaus tekee otannan ihmisille jotka tavoitetaan puhelimella tai sähköpostipaneelin kautta. Mutta digitaalinen vaikuttaminen on luonut uuden ulottuvuuden: sen miten julkinen mielipideilmasto näyttää sosiaalisessa mediassa vaikuttaa suoraan siihen millaiseksi ihmiset arvioivat poliittisen kentän tilanteen ja millaisiksi he arvioivat oman kantansa asemoitumisen suhteessa enemmistöön.
Kirjoitimme aiemmin internet-botteja ja puhelinfarmeja käsittelevässä artikkelissa siitä miten koordinoitu bottijoukkue voi luoda keinotekoisen vaikutelman laajasta yhteiskunnallisesta konsensuksesta. Tällä on suora yhteys siihen miten ihmiset vastaavat kannatusmittauksiin. Ns. hiljaisuuden spiraali -teoria kuvaa ilmiötä jossa ihmiset ovat epätodennäköisemmin valmiita ilmaisemaan kantoja jotka he kokevat olevan vähemmistössä, koska sosiaalinen paine ajaa kohti enemmistöön kuulumista. Jos botit luovat vaikutelman, että jokin kanta on hallitseva mielipide, osa vastaajista mukautuu tähän käsitykseen kannatusmittauksissa.
Verkkopaneeleihin perustuvat mittaukset ovat erityisen alttiita manipulaatiolle. Jos mittaukseen osallistutaan verkon kautta eikä osallistumista ole tiukasti rajattu, koordinoitu joukko ihmisiä tai botteja voi vaikuttaa tulokseen. Tähän liittyen on syytä muistaa, että verkon reaaliaikaiset mielipidemittaukset jotka pyörivät uutissivustoilla tai sosiaalisen median alustoilla eivät ole tieteellisiä otantamittauksia vaan äänestysjärjestelmiä joihin pääsee vaikuttamaan kuka tahansa riittävästi motivoitunut taho.
Miten suhtautua tutkimuksiin ja mittauksiin – käytännön ohjeet
Tämän artikkelin tarkoitus ei ole sanoa, että kaikkiin tutkimuksiin ja mittauksiin pitää suhtautua epäileväisesti eikä niihin voi luottaa. Tarkoitus on antaa ne kysymykset joiden avulla erottaa vakavasti otettava tieto valikoivasta tai ohjatusta tiedontuotannosta.
Ensimmäinen ja tärkein kysymys on kuka rahoitti tämän. Se ei automaattisesti tarkoita, että rahoittajan intressin mukainen tulos on väärä, mutta se tarkoittaa, että tulos pitää asettaa kontekstiin jossa rahoittajan taloudellinen intressi on tiedossa. Lääkeyrityksen rahoittama lääketutkimus ei automaattisesti valehtele, mutta se on luettava eri silmin kuin riippumattomasti rahoitettu tutkimus, koska tilastollinen todennäköisyys suotuisalle tulokselle on eri.
Toinen kysymys on onko tulos toistettu. Tieteessä yksi tutkimus on yksi tutkimus. Replikaatiokriisi, jossa 2010-luvulla huomattiin, ettei suuri osa psykologian klassisista tuloksista toistu kun ne yritetään toistaa riippumattomasti, osoitti, että yksittäinen tutkimus on vain hypoteesi eikä vakiintunut tosiasia. Kun sama tulos on löydetty useissa riippumattomissa tutkimuksissa eri tutkijoiden toimesta eri maissa, se alkaa olla tieto.
Kolmas kysymys on kannatusmittauksia koskien: millä menetelmällä ja keneltä kysyttiin. Satunnaisotantaan perustuva puhelinhaastattelu on eri asia kuin verkkopaneeli, joka on eri asia kuin avoin verkkokysely. Kysymyksen sanamuoto pitää tietää, ja sen pitää olla neutraali. Ja se vastausprosentti, jos se on alle 30, pitää ottaa huomioon ennen kuin numero hyväksyy yhteiskunnan mielipiteen mittariksi.
Neljäs kysymys on mitä ei julkaistu. Tähän on vaikein päästä käsiksi, mutta osa lääketieteellisistä tutkimuksista on nykyisin esirekisteröityjä, eli tutkimussuunnitelma tallennetaan julkiseen rekisteriin ennen tutkimuksen aloittamista. Tämä tarkoittaa, että tuloksia ei voi jälkikäteen valikoida eikä alkuperäistä kysymystä vaihtaa sen jälkeen kun on nähty mikä tulos saatiin. Se on yksi tehokkaimpia rakenteellisia keinoja vähentää julkaisupuolueellisuutta, ja sen puuttuminen vanhemmista tutkimuksista selittää osan siitä miksi vanhat löydökset eivät aina toistu.
Johtopäätös ei ole skeptisyys kaikkea kohtaan. Johtopäätös on valikoiva luottamus: se joka tietää kysyä oikeat kysymykset on huomattavasti paremmassa asemassa arvioimaan mitä tietoa kannattaa painottaa kuin se joka ottaa tutkimuksen mukaan -fraasit nimellisarvostaan. Tiede on paras työkalu joka ihmisellä on todellisuuden ymmärtämiseen, mutta tiede on prosessi jonka yksittäisiä tuloksia voidaan ohjata rahoituksella, julkaisupäätöksillä ja metodologisilla valinnoilla. Erottaminen näiden välillä on taito jota ei opeteta missään mutta joka on nykyajan mediaympäristössä välttämätön.
