Mõned kuud tagasi tekitas teadusuudistes kõmu uudis Cornelli Ülikooli professori Daryl Bemi peatselt ilmuvast teadusartiklist, mis leidis tõendeid paranormaalsetele nähtustele. Näiteks suutsid ühe eksperimendi osalised ette näha, millisele kohale arvutiekraanil ilmub mõni hetk hiljem pilt. Eriti veider oli selle katse juures asjaolu, et konkreetsemalt suutsid katses osalejad ennustada ainult erootilise sisuga piltide asukohta. Tuleb tunnistada, et meie pole vist kunagi nii veidrate tulemustega teadusartiklit näinud. Katsed tunduvad olevat korrektselt läbi viidud, andmeid on testide tegemiseks piisavalt, artikli autor on teadlane respekteeritud ülikoolist ja artikkel on läbinud põhjaliku eelretsenseerimise. Millega on siis tegemist?
Kõige loogilisem selgitus sellele on lihtsalt publikatsiooninihe. Mõtleme korraks loterii peale. Kui loteriis osaleb miljon mängijat, siis on neist igaühel kaduvväike tõenäosus saada peavõit. Aga kõikidest mängijatest vähemalt üks võidab kindlasti. Ajalehes ei kirjutata kui Mati Paidest ostis pileti, mis ei võitnud. Küll aga kirjutab ajaleht hea meelega Katist Kärdlas, kes loteriil võitis. Seetõttu võib lihtsalt ajalehelugude põhjal jääda mulje, et tõenäosus loteriil võita on suhteliselt suur.
Publikatsiooninihe töötab samamoodi. Väga paljud inimesed on aja jooksul püüdnud leida teaduslikke tõestusi veidratele väidetele. Teaduslik eksperiment annab tulemusi alati teatud tõenäosusega ja mitte päris kindlalt. Näiteks saab ainult 95% kindel olla, et teatud ravim töötab või paranormaalsust eksperimendis uuritaval kujul ei eksisteeri. Seega on iga katse puhul väga väike tõenäosus teha viga. Aga kui teha neid katseid palju ja avaldada ainult huvitavad tulemused, saame publikatsiooninihke, mis annab kallutatud pildi tegelikkusest. Nagu Jeff Ely kirjutab, mitte keegi ei avalda uurimust, mis ütleb, et me proovisime, aga ei leidnud tõestust, et inimesed näevad tulevikku. Sellistel teemadel on uurimistöö piisavalt märkimisväärne ainult siis kui tulemus on uus ja huvitav.
Tegelikult on selle artikliga veel teisigi probleeme. Hollandi teadlased Wagenmakers, Wetzels, Borsboom ja van der Maas ütlevad, et tegemist on olulise artikliga, mis peaks olema äratuskellaks psühholoogidele, kes peaksid selle põhjal üle vaatama oma uurimismeetodid. Sama kriitika kehtib ka paljude sotsiaalteaduste ja sealhulgas majandusteaduse kohta.
We hope the Bem article will become a signpost for change, a writing on the wall: psychologists must change the way they analyze their data.
Peamine probleem, mille nad välja toovad on põhimõtteline viga statistika kasutamisel. Andmeid kasutatakse ekstrapoleerimiseks mitte fikseeritud hüpoteesi kontrollimiseks. Statistilised testid on koostatud eeldusel, et enne eksperimendi tegemist on fikseeritud üks konkreetne uurimishüpotees. Siis kogutakse andmed ja kontrollitakse statistilisi meetodeid kasutades, kas hüpoteesi saab mingil usaldusnivool ümber lükata või mitte.
Bemi on oma varasemas raamatus soovitanud psühholoogias andmeid kasutada hoopis loomingulisemalt — testida paljusid hüpoteese, võtta välja vaatlusi, mis on teistest erinevad jne, kuni koorub välja muster. See on mõistlik, aga nõuab hoopis keerulisemat statistilist analüüsi — arvesse tuleb võtta mudeli selektsioon jms. See töötab umbes sarnaselt publiktsiooninihkega. Kui meil on 100 vaatlust ja me proovime läbi 100 teooriat, siis on üsna oodatav, et vähemalt üks teooriatest täiesti juhuslikult andmetega sobib. Seda teooriate läbiproovimist saab muidugi statistilise testi koostamisel arvesse võtta, aga praktikas viib see selleni, et testid on nii nõrgad, et sellest ei saa mingeid järeldusi teha.
Hollandi teadlased pakuvad lahenduseks kahesammulist protseduuri: (1) mängi andmehulgaga, et tulla välja hüpoteesidega, (2) testi igat hüpoteesi uue andmehulga peal. Nad toovad välja ka hulga veel hulga probleeme. Muuhulgas lihtsa tähelepaneku, et Bayesi reegli kohaselt vajavad erakordsed väited erakordselt häid tõendeid. 95%-lisel usaldusnivool tehtav katse sobib üsna hästi tavapärasesse olukorda, kus meil pole erilist eelarvamust väite kehtimise või mittekehtimise kohta. Kui aga meie esialgne uskumus teooria kehtivuse kohta on väga väike, siis selline test ei peaks meie arvamust eriti muutma. Nii et teadusajakirjad võiksid veidrate väidete puhul oodata 99.9%-list usaldusnivood (ehk siis väga suuri andmehulki).
RSS
Huvitav lugemine, tänud.
Olen eelnevalt ka seda “The truth wears off” artiklit lugenud ja tore on näha, et kogu teema järjest rohkem kõlapinda kogub.
Lauri,
psühholoogia tudeng
Omamata mingit seisukohta konkreetse uurimistöö suhtes, tundub mulle siiski suhteliselt silmakirjalik rakendada meie uskumustega sobivate uurimistulemuste osas ühtesid, aga mittesobivate osas teisi reegleid. Ma arvan, et ei ole päris korrektne öelda, et meil ei ole tavaolukorras eelarvamust. Pigem just vastupidi – meie enda vaade maailmale, meie “loogiline loogika”, “oma prill” või kuidas iganes seda nimetada on kõige suurem eelarvamus üldse (kui vaadata ajalukku, mida kõike on tehtud, et seda säilitada ning pöördelisi tulemusi eitada).
Saan ma õigesti aru, et konkreetsel juhul nimetad sa publikatsiooninihkeks olukorda, kus statistika ja andmeanalüüs on andnud väärpositiivse tulemuse? Erinevus lotost on aga selles, et sa tegelikult ju ei tea kui palju on täpselt sarnaseid uuringuid tehtud – sa lihtsalt eeldad, et neid on tehtud palju ning üks eksis ning sellest kirjutatakse palju. Selline eeldus aga vihjab väga tugevalt usu olemasolule (mis ei käi hästi teadusega kokku).
Ma ise olen mingis mõttes vaimustatud sellest tööst. Peamiselt selle tõttu, et see raputab natuke seda maailma. Kõige igavam oleks kui nüüd leitaks kuskil viga. Ma ise olen juba mõnda aega olnud skeptiline sotsioloogias kasutatavate uurimismeetodite paikapidavuse osas ja nende tulemuste reaalsesse maailma tõlgendamise võimaluste osas. Üleskutse uurimismeetodite täiustamiseks kõlab hästi. Samas on päris põnev vaadata (loodetavasti paljude) kordusuuringute tulemusi. Ja ma loodan, et need kasutavad sama usaldusnivood.
Jõudu,
kursavend
Publikatsiooninihkest ja testimisest kirjutame veel järgmises postituses. Erinevus lotoga on tõepoolest olemas, aga asjaolu, et me ei tea kui palju uuringuid on tehtud ei lahenda probleemi. Minimaalselt täpselt üks ja sellisel juhul oleks statistika õige, aga maksimaalselt väga palju ja sellisel juhul vale. Küsimus jääb alles — mida järeldada? Meie järeldus on lihtsalt see, et kui on põhjust arvata, et positiivseid ja negatiivseid tulemusi avaldatakse erinevalt, siis tuleb tulemuste tõlgendamisel ettevaatlik olla. Probleem on lahendatav korrektsete uurimisprotseduuride või replikatsioonidega.
Oleme põhimõtteliselt nõus ka sellega, et Bayese reegli rakendamine publikatsiooniprotsessi kriteeriumina oleks praktikas liialdus. Olgugi, et sellel on olemas statistiline põhjendus (nii peaks informatsiooni korrektselt agregeerima) tekitaks see ilmselt rohkem probleeme kui lahendaks.