Olen keskustelussa saanut kuulla toisen osapuolen sanovan “En voi tietenkään todistaa sinulle, että [olen oikeassa], mutta…”

Tietenkään minä en vaadi todistusta toisen näkemykselle!

(Sanonta “Everything before the word ‘but’ is bullshit” soveltuu tähän tilanteeseen – seuraavana osapuoli kuitenkin yrittää todistaa olevansa oikeassa.)

Tällainen kommentti saa minut epäilemään, että toisella on varsin binäärinen näkemys oikeista ja vääristä näkemyksistä: näkemyksen muuttaminen vaatii todistuksen tiettyyn suuntaan, ja muuten ihmisille jää samat näkemykset kuin keskustelun alussa. Mutta kuten olen kirjoittanut, on kaikenkokoisia uskomusten muutoksia. Todistus (eli todennäköisyyden muuttaminen suunnilleen nollaksi tai ykköseksi) on näistä äärimmäisin eikä aina saavutettavissa oikeassa elämässä.

Asetelma myös heijastelee väittelyä, jossa ihmiset pyrkivät vakuuttamaan toisen näkemyksestään. Tästä puolestaan olen kirjoittanut “Ei ole ‘omia’ tai ‘muiden’ hypoteeseja” ja “Tehtäväsi on vain päivittää uskomuksia todellisuuden parempaa ennustamista varten.”

Myös asennoitumiset vaihtelevat: joskus uuden tiedon valossa asenne on “onko minun pakko päivittää?” ja joskus “saanko minä päivittää?”, kun oikea asenne on “tuleeko minun päivittää?” Päivittämisen ei tulisi tuntua siltä, että oma tai vastustajien joukkue saa maalin.

Tässä on ote Daniel Kahnemanin kirjasta “Thinking, Fast and Slow” (lihavointi minun):

“For a number of years, professors at Duke University conducted a survey in which the chief financial officers of large corporations estimated the returns of the Standard & Poor’s index over the following year. The Duke scholars collected 11,600 such forecasts and examined their accuracy.

[…]

In addition to their best guess about S&P returns, the participants provided two other estimates: a value that they were 90% sure would be too high, and one that they were 90% sure would be too low. The range between the two values is called an “80% confidence interval” and outcomes that fall outside the interval are labeled “surprises.” An individual who sets confidence intervals on multiple occasions expects about 20% of the outcomes to be surprises. As frequently happens in such exercises, there were far too many surprises; their incidence was 67%, more than 3 times higher than expected.

[…]

A CFO who informs his colleagues that ‘there is a good chance that the S&P returns will be between –10% and +30%’ can expect to be laughed out of the room. The wide confidence interval is a confession of ignorance, which is not socially acceptable for someone who is paid to be knowledgeable in financial matters. Even if they knew how little they know, the executives would be penalized for admitting it

[…]

Overconfidence also appears to be endemic in medicine. A study of patients who died in the ICU compared autopsy results with the diagnosis that physicians had provided while the patients were still alive. Physicians also reported their confidence. The result: “clinicians who were ‘completely certain’ of the diagnosis antemortem were wrong 40% of the time.” Here again, expert overconfidence is encouraged by their clients: “Generally, it is considered a weakness and a sign of vulnerability for clinicians to appear unsure. Confidence is valued over uncertainty and there is a prevailing censure against disclosing uncertainty to patients.”

Olen käyttänyt jonkin verran aikaa pelaten sosiaalisen päättelyn pelejä (sellaisia kuin Mafia ja Vastarinta). Näiden konspeti on lyhyesti “jotkut pelaajista ovat hyviksiä, jotkut pahiksia, hyvikset eivät tiedä ketkä ovat pahiksia, pelin edetessä tapahtuu asioita, hyvisten tavoite on saada selville pahikset, pahikset haluavat olla paljastumatta”.

On ollut kiinnostavaa seurata joitakin päättelyketjuja.

Ehkäpä yleisin selkeä virhe on seuraava: Ihmiset välillä epähuomiossa pelaavat tavalla, joka on hyvin huono riippumatta heidän roolistaan. Vieläpä niin, että kaikki tietävät tämän olevan huono pelaus henkilön roolista riippumatta (ja kaikki tietävät että kaikki tietävät, ja…). Ja joskus jonkun toisen pelaajan reaktio tähän on

“Tuo pelaaja toimi epäilyttävästi, joten hän on pahisten puolella.”

Tämä kuulostaa järkevältä (ja ilmeisesti myös vaikuttaa monesta järkevältä), mutta on täysin väärin. Olenkin kirjoittanut:

“Hypoteesin todennäköisyyttä ei voi mitata yksinään. Hypoteesien vertailuun ja uskomusten päivittämiseen tarvitaan vähintään kaksi hypoteesia. Pisteytyksessä katsotaan sitä, kuinka hyvin hypoteesi selittää ilmiötä verrattuna muihin hypoteeseihin.”

Vertailemalla hypoteeseja “pelaaja on hyvis” ja “pelaaja on pahis” huomataan, ettei “epäilyttävä” pelaus ole (juurikaan) evidenssiä kumpaankaan suuntaan. Hypoteesit selittävät tilanteet suunnilleen yhtä hyvin (tai, no, huonosti). Joka tapauksessa pelaus on virhe. Ei ole vahvaa syytä uskoa, että pahikset tekevät todennäköisemmin ilmiselviä virheitä kuin hyvikset.

Mistä väärä päätelmä johtuu? Parhaat veikkaukseni liittyvät vahvistusharhaan (tulkitaan informaatiota vääristyneesti) ja ilmiöön “horn effect” (yhden negatiivisen ominaisuuden omaava on negatiivinen myös muilla mittareilla).

Sovellukset oikeaan elämään jätetään harjoitustehtäväksi lukijalle.

Toinen peleissä huomaamani ilmiö: välillä ihmiset häviönsä jälkeen kommentoivat, etteivät he olisi voineet pelata paremmin – tilanne vain oli hävitty. Päivitystä ei tapahdu.

“Lopputulosvinoumassa ihmiset arvioivat toiminnon hyvyyttä sen lopputuloksen perusteella, vaikka sitä ei voi etukäteen tietää. Jos veikkaat nopan silmäluvuksi tulevan kuutonen 99 % todennäköisyydellä, ja näin käy, ei se tarkoita ennustuksesi olleen hyvä. Optimipelaus on optimipelaus, vaikka se välillä huonon tuurin vuoksi häviää, ja tällöin ei kuulukaan päivittää.”, kuuluu vastalause.

Olen aika varma siitä, että nämä ihmiset eivät pelanneet optimaalisesti, mutta hyvä on, käsitellään lopputulosvinoumaa.

Niin, mikä neuvoksi? Jos päivität näkemyksiäsi, niin sorrut lopputulosvinoumaan. Jos et, niin… no, et voi kehittyä.

Päivityksen ja vastapäivityksen laki: jos voittamisen seurauksena päivittäisit uskomuksiasi suuntaan “pelasin hyvin” tai “näin kannattaa pelata”, niin häviön seurauksena niiden tulee päivittyä suuntaan “pelasin huonosti” tai “ei kannata pelata noin”. On koherentti positio todeta “noh, tämä on kaikki vain nopan heittoa, ei ole parempia tai huonompia pelauksia”. On niin ikään koherentti positio todeta “ne voittavat, jotka pelaavat hyvin, ja ne häviävät, jotka pelaavat huonosti”. Ei vain ole koherentti positio todeta voittaessa “voitin, koska pelasin hyvin” ja hävitessä “noh, kävi vain huono tuuri”. (Tai toisin päin, mutta tämä vaikuttaa jostakin kumman syystä harvinaiselta.)

Konsepteja “lopputulosvinouma” ja “päivittäminen” voi käyttää puolueellisesti, mutta jälleen kerran, uskomusten käsittelyn tulisi olla tasapuolista.

Sovellukset oikeaan elämään jätetään jälleen harjoitustehtäväksi lukijalle.

Ote E. T. Jaynesin kirjasta “Probability Theory: The Logic of Science” (lihavointi minun):

“Worse, even the qualitative fact underlying data analysis – cancellation of errors by averaging of data – was not perceived by so great a mathematician as Leonhard Euler.

Euler (1749), trying to resolve the ‘Great Inequality of Jupiter and Saturn’, found himself with what was at the time a monstrous problem (described briefly in our closing Comments, Section 7.27). To determine how the longitudes of Jupiter and Saturn had varied over long times, he made 75 observations over a 164 year period (1582-1745), and eight orbital parameters to estimate from them.

Today, a desk-top microcomputer could solve this problem by an algorithm to be given in Chapter 19, and print out the best estimates of the eight parameters and their accuracies, in about one minute (the main computational job is the inversion of an (8 x 8) matrix). Euler failed to solve it, but not because of the magnitude of this computation; he failed even to comprehend the principle needed to solve it. Instead of seeing that by combining many observations their errors tend to cancel, he thought that this would only ‘multiply the errors’ and make things worse. In other words, Euler concentrated his attention entirely on the worst possible thing that could happen, as if it were certain to happen – which makes him perhaps the first really devout believer in Murphy’s Law. Yet, practical people, with experience in actual data taking, had long perceived that this worst possible thing does not happen. On the contrary, averaging our observations has the great advantage that the errors tend to cancel each other.”

Pistää miettimään, kuinka korkealla jättiläisten olkapäät ovatkaan ja kuinka todennäköisyyslaskennan “itsestään selvät” tulokset ja implikaatiot ajattelulle eivät olekaan itsestäänselvyyksiä.

Tutkimuksessa “Conflict between intuitive and rational processing: When people behave against their better judgment” 79 yliopisto-opiskelijaa pyydettiin valitsemaan kahden karkkikulhon välillä. Ensimmäisessä kulhossa karkkeja oli kymmenen, joista yksi oli punainen ja loput valkoisia. Jälkimmäisessä kulhossa karkkeja oli sata, joista kokeesta riippuen punaisia oli 5-9 ja taas loput valkoisia. Karkit nostettiin sokkona, ja punaisen karkin nostamisesta sai rahapalkinnon (tai vaihtoehtoisesti, valkoisen karkin nostaminen johti rahan menettämiseen).

Jotta tulokset eivät olisi riippuvaisia koehenkilön laskutaidoista, kulhoihin oli selkeästi merkitty punaisten karkkien prosenttiosuus.

Viiden kokeen aikana koehenkilöistä 82 prosenttia valitsi jossakin kohtaa jälkimmäisen kulhon.

Koehenkilöt perustelivat näkemyksiään kommenteilla kuten “Valitsin sen, jossa oli enemmän punaisia karkkeja, koska siellä oli enemmän tapoja saada voittaja, vaikka tiesin siellä olevan myös enemmän valkoisia ja että prosentit olivat minua vastaan.”

Lohdutuksena voin sanoa, että peräti 14 osallistujaa toimi virheettömästi.