Hogyan ne csapjon be egy statisztika

A statisztikákkal az a baj, hogy meggyőzőnek látszanak. Egy szám mellett nehéz vitatkozni, egy grafikon pedig végképp lezártnak tűnik. Pedig a legtöbb félrevezetés nem hamis adatból származik, hanem abból, ahogyan az igaz adatot tálalják.

Nem kell hozzá matematikai képzettség, hogy valaki védekezni tudjon. Öt kérdés a legtöbb esetet megfogja.

1. Mihez képest?

„Megduplázódott a kockázat” — ez ijesztően hangzik, amíg meg nem kérdezzük, mekkora volt eredetileg. Ha tízezerből egy emberről kettőre nő valami, az valóban duplázódás, és valóban jelentéktelen. A relatív változás önmagában értelmezhetetlen; az abszolút szám nélkül nem mond semmit.

Ez a leggyakoribb félrevezetés, és jellemzően nem szándékos: az arányok egyszerűen jobban hangzanak egy címben.

2. Kit kérdeztek meg?

Minden felmérés eredményét az dönti el, kikből áll a minta. Egy önkéntes online kitöltés eredménye azokat mutatja, akiknek volt kedvük kitölteni — ez majdnem soha nem azonos a teljes népességgel.

Nincs olyan, hogy „a kutatás szerint”. Csak olyan van, hogy „ezt a kérdést ezeknek az embereknek tették fel, ilyen módon”.

Ha a mintaválasztás módja nem derül ki, az önmagában figyelmeztető jel. Nem feltétlenül jelenti, hogy rossz a kutatás — de azt igen, hogy nem tudjuk megítélni.

3. Mikori az adat?

Az adatok elavulnak, és az elavulás sebessége területenként nagyon eltérő. Egy demográfiai arány évekig érvényes marad; egy árszínvonal fél év alatt használhatatlanná válik. Ha egy cikk nem mondja meg, mely időszakra vonatkozik a szám, akkor az információ fele hiányzik.

4. Mi van a tengely alján?

A leggyakoribb vizuális trükk az, hogy a függőleges tengely nem nullától indul. Így egy két százalékos ingadozás drámai zuhanásnak látszik. Ez nem mindig manipuláció — szakmai grafikonoknál gyakran indokolt kinagyítani a releváns tartományt —, de a laikus szemnek megtévesztő.

Érdemes ilyenkor eltakarni a görbét, megnézni a tengely számait, és utána visszanézni a képre. A meredekség érzete általában azonnal összeomlik.

5. Együtt jár, vagy okozza?

Ez a legrégebbi és legmakacsabb hiba. Ha két dolog együtt mozog, abból nem következik, hogy az egyik okozza a másikat. Lehet fordítva, lehet mindkettő mögött egy harmadik ok, és lehet puszta véletlen — elég sok adatsort összevetve mindig találunk együttmozgást.

A gyakorlati fogódzó: ha egy állítás ok-okozatot sugall, kérdezzük meg, mi lenne a mechanizmus. Ha nincs rá magyarázat, csak együttjárás, akkor egyelőre nincs is állítás.

A hiányzó negyedik szám

Van egy hatodik kérdés, amely a fenti ötnél is árulkodóbb, csak ritkábban lehet feltenni: mit nem mutatnak meg?

Egy eredmény önmagában szinte soha nem elég. Ha egy kezelés hatásosságáról olvasunk, tudni kell azt is, mi történt azokkal, akik nem kapták meg. Ha egy módszer sikeréről, akkor azt is, hányan próbálták és buktak el vele. A kimaradó fél rendszerint nem szándékos elhallgatás — egyszerűen kevésbé érdekes, ezért nem kerül a címbe.

A gyakorlati fogódzó itt is egyszerű. Ha egy állítás négy szám közül csak egyet közöl, akkor abból nem tudunk következtetni. Négy szám kell: hányan kaptak és jártak jól, hányan kaptak és nem, hányan nem kaptak és jártak jól, hányan nem kaptak és nem. Ez a négy adat együtt már megmutatja, van-e egyáltalán összefüggés — és feltűnően gyakran kiderül, hogy nincs.

Nem cinizmus, hanem óvatosság

Ezekkel a kérdésekkel nem az a cél, hogy minden számot elutasítsunk. Éppen ellenkezőleg: a jó adat a legjobb dolog, amink van a világ megértéséhez, és aki mindent egyformán elutasít, az pontosan ugyanolyan kiszolgáltatott, mint aki mindent elhisz.

A különbség annyi, hogy megnézzük, mi van a szám mögött. Ez általában két percbe kerül, és a legtöbb esetben kiderül, hogy az adat rendben van — csak a fölé írt mondat volt túl bátor.