Tomasz Witkowski o replikacjach

Tomasz Witkowski, doktor psychologii oraz współzałożyciel Klubu Sceptyków Polskich odpowiada na pytania Neurobigosu na temat badań replikacyjnych w psychologii, jej problemach i nie tylko.

przesluchania4

Co myśli Pan o sukcesie projektu Many Labs, który zreplikował 10 z 13tu badań poddanych próbie?

Byłbym bardzo ostrożny w ogłaszaniu sukcesu. To oczywiście wielki osobisty sukces twórców tego projektu, którzy wbrew paraliżującej niechęci psychologów do prowadzenia badań replikacyjnych, zdołali go przeprowadzić. Z perspektywy nauki, to kropla w morzu. Toniemy w powodzi oryginalnych badań, często kompletnie nieużytecznych, o których często nikt nigdy nie czyta i nie cytuje, a replikacje są nadal rzadkością. Kiedy w 1997 roku we Wrocławiu była jedna z największych powodzi w historii, podstawowym problemem mieszkańców zalanych miast był … brak wody pitnej. Podobnie jest w świecie nauki zalewanym przez niechciane, niepotrzebne i nieprzydatne strumienie nowych danych, wyników, publikacji gdy tymczasem chronicznie cierpi on na brak replikacji.

Czy psychologii takie „masowe replikacje” są potrzebne?

One są absolutnie niezbędne. Replikacja to jeden z kamieni węgielnych nauki. Wyniki badań niezreplikowanych to zaledwie półprodukt. To dopiero połowa drogi do wyciągnięcia poprawnych wniosków. John Hunter w artykule opublikowanym pod znamiennym tytułem The desperate need for replication wyliczył, że aby podać wynik korelacji z dokładnością do dwóch miejsc po przecinku, powinniśmy dysponować zawrotną liczbą 153 669 osób badanych. Ile jest takich badań?

Czy w obliczu zfinalizowania Many Labs oraz nadchodzących kolejnych masowych replikacji (w ramach Open Science Framework), mamy do czynienia z „erą wielkich replikacji”?

Na razie mamy do czynienia z erą wielkich retrakcji, która jest wynikiem ujawniania kolejnych naukowych oszustw. Przypomnę pokrótce wyniki ostatnich lat. Diederik Stapel, holenderski psycholog społeczny – 54 retrakcje i ok. 10 unieważnionych doktoratów pisanych pod jego kierownictwem, Milena Penkova – neuronaukowiec z Danii, co najmniej 15 retrakcji. Picture2Do tej haniebnej listy dopisał się nawet psycholog ewolucyjny z Universytetu Harwarda – Marc Hauser. Mógłbym długo jeszcze kontynuować tę ponurą wyliczankę, choć to wynik zaledwie ostatnich trzech lat. Nie, nie mamy do czynienia z erą wielkich replikacji. Wskaźniki publikacji relacjonujących negatywne wyniki badań w psychologii maleją. W porównaniu do innych nauk w psychologii publikuje ich się nawet pięciokrotnie mniej. Mamy do czynienia z nauką, która jest zbiorem pospiesznie skleconych niezreplikowanych wniosków i pierwszymi nielicznymi próbami replikacji, które powinny być stałym elementem pracy badawczej. To co się dzieje teraz, świadczy raczej o głębokim kryzysie psychologii. Czas na odtrąbienie sukcesu nadejdzie nie wcześniej niż za kilkadziesiąt lat.

Do jakiego stopnia (jeśli w ogóle) projekt Many Labs rozwiązuje problem braku replikacji?

Musimy pamiętać, ze naukowcy pracują w pewnym złożonym systemie, który dostarcza im kar i nagród. Większość z nich będzie pracowała tak, aby zdobyć nagrody i uniknąć kary. Dotychczas system ten nie wynagradzał badaczy prowadzących badania replikacyjne, za to oferował (i nadal oferuje) umiarkowane kary. Większość czasopism nie chce publikować wyników takich badań, w pracach magisterskich i doktorskich wymaga się przeprowadzenia własnych oryginalnych badań, podobnie trudno jest uzyskać grant na badania, które są zwykłym powtórzeniem czyichś badań. Ponadto, dochodzą jeszcze koszty psychologiczne badań replikacyjnych. Uzyskanie wyników, które nie potwierdzają oryginalnych badań wiąże się z koniecznością konfrontacji z ich autorami. Jeśli to są znane badania, to ich autorzy często stoją dużo wyżej w hierarchii i konfrontacja może być bolesna. No i wreszcie zasada wzajemności – jeśli ja replikuję (a więc podważam, szukam błędów) to muszę się liczyć, że tak będą robić inni z moimi badaniami, więc po co szukać guza? Nawiasem mówiąc, to „szukanie guza” jest istotą nauki, od której psychologia niestety bardzo daleko odeszła. Projekt Many Labs jest bardzo cennym i ambitnym przedsięwzięciem, ale nie rozwiązaniem. Rozwiązaniem jest zmiana społecznego systemu kontroli nauki.

Jak ocenia Pan pomysł „rejestracji wstępnej” eksperymentów w psychologii i neuronauce? (wyjaśniałem tę ideę w tym wpisie).

To bardzo dobra idea zapożyczona z badań medycznych. Rozwiązuje ona problem efektu szuflady, zabezpiecza przed niektórymi oszustwami. Uzupełniłbym ją o stary pomysł udostępniania wyników surowych z badań w postaci elektronicznej. Zastrzeżenia, które zgłaszają  niektórzy krytycy są raczej śmieszne. Naukowcy cieszyli się zawsze nieskrępowaną wolnością. Wielu psychologów wykorzystało ją aby oszukiwać lub nierzetelnie wykonywać swoją pracę. Ten pomysł to zamach na tę wolność, ale rozumianą wyłącznie jako wolność od zewnętrznej kontroli. Nie jest on w stanie ograniczyć twórczych poszukiwań nauki.

Jaka przyszłość czeka model eksperymentalny zarysowany przez Many Labs (międzynarodowa współpraca wielu grup badawczych, rejestracja wstępna), nie tylko w kontekście replikacji?

Jeśli skostniały system zacznie nagradzać  badaczy za pracę w ramach tego projektu i cenić replikacje przynajmniej tak wysoko jak badania oryginalne, to przyszłość jest wspaniała. Jeśli nie, projekt zgaśnie tak szybko, jak wypalają się noworoczne fajerwerki. Picture3Dużym wsparciem są głosy tak znaczących osób, jak Daniel Kahneman, laureat nagrody Nobla, który nawołuje środowisko do opamiętania i zajęcia się problemem replikacji. Ja osobiście widzę jeszcze jedną szansę przed projektem Many Labs – wyprowadzenie psychologii z zaścianka zachodniej cywilizacji. W tej chwili psychologia nie jest nauką o człowieku i jego zachowaniach, lecz o wybranej małej i dość specyficznej populacji, którą Joseph Henrich, Steven Heine i Ara Norenzayan w swoim artykule The wierdest people in the world? określili jako WIERD (w-western, i-industrialized, e-educated, r-rich, d-democratic). Wg ich obliczeń jest 4 tysiące razy bardziej prawdopodobne, że wybraną osobą badaną (i opisywaną w opublikowanym artykule) przez psychologów jest amerykański student niż jakikolwiek inny człowiek. Większość badań psychologów dotyczy wyłącznie ludzi z cywilizacji zachodniej, a w szczególności z USA, co stanowi nie więcej niż 12% populacji całego świata. Autorzy tego artykułu pokazali też, że prawidłowości, które odkryliśmy, a które przywykliśmy traktować jako uniwersalne niekoniecznie działają u ludzi spoza naszego kręgu kulturowego. Jeśli Many Labs udałoby się włączyć do pracy laboratoria spoza Europy i Ameryki Północnej, uzyskalibyśmy szanse na zweryfikowanie naszej wiedzy o człowieku i oddzielenie jej od tego, co jest wiedzą o wierd outliers. No ale to już temat na zupełnie inną opowieść.

Więcej o replikacjach można przeczytać w książce Tomasza Witkowskiego „Zakazana Psychologia”. Aktualizacje rozdziałów pierwszego tomu książki ukazują się na jego autorskim blogu „W obronie rozumu”.
O projekcie Many Labs, wraz z komentarzami badaczy biorącymi w nim udział, przeczytać można także w poprzednim wpisie.
Advertisements

2 uwagi do wpisu “Tomasz Witkowski o replikacjach

  1. Pingback: Kryzysu psychologii ciąg dalszy | NeuroBigos

  2. Pingback: Czy psychologia jest bezużyteczna? | NeuroBigos

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s