Badania naukowe
Czyli o wiarygodności danych / badań naukowych.
Wiarygodność
Czytając materiały nie raz można spotkać określenia typu: „Amerykańscy naukowcy”, „udowodniono naukowo, że” i to bez żadnych źródeł.
Co gorsze, czasem nawet źródła są nieprawdziwe! Za to nadają wrażenia prawdziwości.
A dowolna historia, powtarzana wielokrotnie staje się po prostu prawdą!
Przykład:
W roku 1953, na Uniwersytecie Yale zapytano absolwentów jednej klasy, o ich zamierzenia i cele na życie: 84% zapytanych nie miało żadnych sprecyzowanych celów 13% miało cele, ale te nie były zapisane na papierze 3% miało jasno określone, spisane cele oraz plany ich realizacji 20 lat później odnaleziono absolwentów klasy rocznika 1953, którzy wzięli udział w eksperymencie : grupa stanowiąca 13%, która miała cele niezapisane ogólnie zarabiała dwa razy więcej niż osoby należące do grupy 84% bez konkretnych celów. osoby z grupy stanowiącej 3% zarabiały dziesięć razy więcej niż pozostałe 97% razem wzięte.
Ciekawe, interesujące, motywujące,.. tylko, że to nie prawda.
Takiego eksperymentu nie było. Po wielu pytaniach o szczegóły – Uniwersytecie Yale zamieścił nawet oficjalną odpowiedź w FAQ w tej sprawie.
PS: mimo wszystko również jestem zwolennikiem zapisywania celów na papierze i uważam, że to działa! (z kilku różnych powodów 🙂
W obecnych czasach w natłoku informacji coraz łatwiej można zbudować fałszywy wizerunek, autorytet.
I jednocześnie coraz łatwiej można wprowadzić nie prawdziwe dane do obiegu.
A czy wyobrażasz, sobie że reprezentujesz koncern chemiczny w TV przed 300 mln ludzi, w dodatku nie będąc ich pracownikiem?
A i to jest możliwe,.. zobacz na youtube The Yes Men Fix The World.
Podczas swojego telewizyjnego wystąpienia ogłosili, że wezmą pełną odpowiedzialność za Katastrofę w Bhopalu. Samo wystąpienie uszczuplili rynek papierów wartościowych koncernu Dow Chemicals o 2 biliony USD.
„Dow’s share price fell 4.24 percent in 23 minutes, wiping $2 billion off its market value” źródło: en.wikipedia.org/wiki/The_Yes_Men.
Czyli trzeba ufać twardym danym np. danym statystycznym.
NIE DO KOŃCA! Dlaczego?
Na studiach nauczyłem się, że istnieją:
kłamstwa, kłamstewka i statystyka.
Przeczytaj więcej w artykule o medycznym biznesie.
Jakość badań
W statystyce możesz wykazać wszystko (tak jak badaniach) pod warunkiem, że wiesz jaki wynik chcesz uzyskać.
Tylko po co przeprowadzać takie badania?
Zobacz wykresy zaskakujących korelacji (naprawdę zaskakujące)
Słyszałeś o korelacji ilości filmów w których grał Nicolas Cage od ilości utopionych ludzi w basenach? – Jest korelacja!
To, że coś brzmi naukowo – zostały użyte mądre słowa to nie znaczy, że jest wartościowe.
Sama analiza zebranych danych (dane statystyczne), można powiedzieć, że w znikomy sposób wpływają na końcowy wynik. Dużo bardziej istotna jest metodologia badania: Jak były przeprowadzone? Czego dotyczą? Jak badania były przeprowadzone? Jak wybrana była próbka reprezentatywna? Co zostało uwzględnione a co pominięte? Co było porównywane i na jakiej zasadzie? Ekstremalne dawki konkurencji z prawidłowymi dawkami nowego leku.
Zobacz nagranie: Dr. Ben Goldacre: Battling bad science (TEDGlobal 2011, ~14 min)
Możesz włączyć polskie napisy. Pełna transkrypcja również jest dostępna.
Badania często naciąga się dla własnej korzyści (w zależności co chce się uzyskać).
Być może wiesz jak duży wpływ na człowieka może mieć osoba w fartuchu – lekarz – autorytet.
Myślisz, że nie ma większego znaczenia? Zapoznaj się z słynnym eksperymentem Milgrama. Szokujące, pod wpływem autorytetu, większość ludzi jest gotowa nawet zabić!
Wiele ciekawych elementów perswazji została opisana w książce: Robert B. Cialdini 'Wywieranie wpływu na ludzi Teoria i praktyka’.
W pewnym czasie ludzie zaczęli obawiać się skutków palenia.
Kto skutecznie może ich uspokoić (zapewniając ciągłą sprzedaż papierosów)? Może ktoś kto zna się na zdrowiu? Osoba do której idziemy gdy jesteśmy chorzy? Lekarz? Jeśli jeszcze zostaną przeprowadzone odpowiednie badania, zapewniające, że np. palenie papierosów nie podrażnia gardła (nie stwierdzono „żadnego przypadku podrażnienia gardła”). Jest to fantastyczna wiadomość, dla producentów.
Papierosy: „Ochrona gardła – przed podrażnieniami – przed kaszlem” Dzięki nim schudniesz (sięgniesz po 'przyjemność’ zamiast słodycze), najlepsze dla Ciebie – Tylko palić! 🙂
Żeby było ciekawiej, wspomniane wyniki naukowcy ogłosili po tygodniowej obserwacji pacjentów (to bardzo długi okres, by wyciągnąć odpowiednie wnioski :). Bardzo obszerny artykuł o kampanii „The Doctors’ Choice Is America’s Choice” (NCBI, Angielski).
Ciekawostka, lekarze statystycznie żyją krócej niż reszta społeczeństwa. Czemu? Być może to kwestia sposobu ich pracy (kilka etatów), a może sposobu podejścia do zdrowia (że nie warto dbać o zdrowie, skoro jest tak wiele leków, walkę z symptomami – o tym dalej). Może kontakt z chorymi.. Kto wie 🙂
W teorii najbardziej wartościowe są wyniki metaanalizy (czyli zbiorcza analiza wielu różnych badań przeprowadzonych przez różnych naukowców)
Choć jak wiadomo, również i one mogą być różnej jakości. Również mogą przedstawiać wyniki w zależności od potrzeb.
W miarę możliwości staram się dodawać odnośniki do prac naukowych w bazach publikacji medycznych NCBI, czy PubMed. Trzeba jednak wiedzieć, że np. do PubMed trafia jedynie 5 do 10% publikowanych prac.
Z tego co wiem, dobrym, źródłem jakościowych badań jest THE COCHRANE LIBRARY (niezależne).
There is increasing concern that most current published research findings are false. źródło: Why Most Published Research Findings Are False John P. A. Ioannidis DOI: 10.1371/journal.pmed.0020124 (OPEN ACCESS)
Dlaczego uczelnie publikują tylko sprzyjające publikacje?
Dowiesz się z poniższego filmu. Jest to wypowiedź Dr Peter Rost, MD [wikipedia], były wiceprezes jednej z największych firm farmaceutycznych na świecie (Pfizer).
[2 min 35 sek, Angielski, ale można włączyć tłumaczenie automatycznie wygenerowanych napisów]
Przeczytaj więcej w artykule o medycznym biznesie.
Wersja oryginalna (angielska)
“A lot of what is published is incorrect.” …
Dr Horton
The case against science is straightforward: much of the
scientific literature, perhaps half, may simply be untrue.
Afflicted by studies with small sample sizes, tiny effects,
invalid exploratory analyses, and flagrant conflicts
of interest, together with an obsession for pursuing
fashionable trends of dubious importance, science has
taken a turn towards darkness.
Lancet: Offl ine: What is medicine’s 5 sigma?
Wersja polska
Sprawa przeciwko nauce jest prosta: większość literatury naukowej, być może połowa, może być nieprawdziwa. Ich fałsz polega na nierzetelności. Badania przeprowadzane są na małą skalę, na małych rozmiarach i na małej ilości próbek. Przez to są niewiarygodne, a ich analiza i wnioski uderzają w konflikt interesów. Nauka podjęła zwrot ku ciemności.
Dr Horton, redaktor naczelny magazynu Lancet
Lancet: Offl ine: Czym jest w medycynie 5 sigma?
The apparent endemicity of bad research behaviour is alarming. In their
quest for telling a compelling story, scientists too often
sculpt data to fit their preferred theory of the world. Or they retrofit hypotheses to fit their data.
Wersja oryginalna (angielska)
“it is simply no longer possible to believe much of the clinical research that is published, or to rely on the judgment of trusted physicians or authoritative medical guidelines. I take no pleasure in this conclusion, which I reached slowly and reluctantly over my two decades as an editor of The New England Journal of Medicine”
Dr Marcia Angell – redaktor naczelny New England Medical Journal (NEMJ)
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2964337/
Tłumaczenie
To jest po prostu niemożliwe, aby wierzyć jakimkolwiek badaniom klinicznym, aby polegać na ocenie zaufanych lekarzy lub autorytatywnym informacjom medycznym. Nie mam przyjemności w oznajmianiu tego wniosku, do którego doszłam powoli i niechętnie, po moich dwóch dekadach pracy jako redaktor New England Journal of Medicine”
Dr Marcia Angell – redaktor naczelny New England Medical Journal (NEMJ)
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2964337/
Konflikt interesów
// Przykład jak firma farmaceutyczna walczyła z doktor za nieprzychylne wyniki badań
