neurobigos replikacja

Psychologia w kryzysie

Sukcesy, porażki, replikacje –

czy (i jak) psychologia radzi sobie z problemami.

***

Aktualizacja (05/2015): O najnowszych perypetiach psychologii z replikacjami możecie przeczytać także w nowszym wpisie.

***

Ostatnie lata były dla psychologii akademickiej niezwykle trudne.

Głośne afery z fałszowaniem danych przez znanych psychologów społecznych (Dederik Stapel, Dirk Smeesters i Marc Hauser) były tym najboleśniejszym  ciosem. Nie jedynym jednak – nieudane próby powtórzenia (zreplikowania) słynnych eksperymentów; publikacja niesławnego artykułu o rzekomym dowodzie na istnienie zdolności paranormalnych; czy inne wątpliwe praktyki badawcze, które pozwalają na potwierdzenie niemal każdej hipotezy (patrz także wcześniejszy wpis). Wszystko to doprowadziło do tak zwanego „kryzysu replikacji” (replicability crisis). Innymi słowy, nie wiadomo obecnie, jak wiele rezultatów eksperymentów psychologicznych jest w rzeczywistości prawdziwych.

Replikacje – rozwiązaniem?

Psychologowie nie siedzieli jednak z założonymi rękami. Przeprowadzony z rozmachem projekt Many Labs podjął się próby zreplikowania trzynastu znanych eksperymentów psychologicznych. Jeśli dana obserwacja jest zgodna z prawdą, powinno być możliwe powtórzenie jej w kolejnych eksperymentach, przez inne grupy badawcze. Innymi słowy, replikacja zwiększa szansę na prawdziwość obserwacji. 

Many Labs zaangażował 36 różnych ośrodków badawczych w dwunastu krajach (w tym Polsce), a przetestowano łącznie 6344 osób. Udało się zreplikować 10 z 13 eksperymentów; dwa z nich zakończyły się porażką, natomiast jeden był niekonkluzywny.

replikacja
Kropla w morzu replikacji – jaka proporcja znanych eksperymentów przetrwałaby próbę powtórzenia? Ilustracja: Aleksandra Malkusz.

Podsumowanie wraz z krótkim opisem eksperymentów zostało przejrzyście opisane na portalu badania.net, a dokładne informacje na temat eksperymentu (wraz z opisem sposobu zbierania danych, analizą i pełnymi wynikami) można znaleźć na stronie projektu.

Wielu odetchnęło z ulgą. Natalia Frankowska oraz Konrad Bocian z laboratorium SWPS Sopot byli jednymi z badaczy zaangażowanych w projekt. Podkreślają, że można pokładać ufność w zreplikowanych przez Many Labs efektach.

Jak tłumaczy Natalia, „na korzyść tego twierdzenia wskazuje uzyskana duża siła efektu, czyli statystyczna miara siły związku między dwiema zmiennymi, która w niektórych przypadkach po replikacji była większa niż w oryginalnym badaniu”.

Picture 73
Podsumowanie wyników Many Labs. Po lewej, nazwy testowanych efektów i autorstwo; niebieskie krzyżyki to siła efektu z oryginalnego badania, zielone kółka to wynik replikacji. Pionowa linia przedstawia brak efektu – krótko mówiąc, im bardziej na lewo, tym gorzej dla testowanego efektu. Źródło

„Warto pamiętać, że są to jedne z najlepiej udokumentowanych badań w psychologii społecznej, które niejednokrotnie były replikowane wcześniej”  – dodaje Konrad. Many Labs nie jest jedynym, ani nie ostatnim tego typu projektem. Następny, także będący inicjatywą Open Science Framework, będzie próbą replikacji badań, które ukazały się w trzech prominentnych czasopismach w 2008 roku. „W tym wypadku mówimy o zaangażowaniu około 150 naukowców i dziesiątkach replikacji”. Konrad wyjawia także, że w przygotowaniu jest druga edycja Many Labs.

Wygląda więc na to, że możemy być pewniejsi tych dziesięciu obserwacji. Co jednak z całą resztą badań psychologicznych? Ilu replikacji tak naprawdę potrzeba, by móc mówić o zażegnaniu kryzysu?

Nie jest możliwe zreplikowanie każdego badania, a przeprowadzanie wielkich replikacji od czasu do czasu wydaje się na pierwszy rzut oka niepraktyczne. Przyjrzyjmy się, jakie znaczenie Many Labs ma dla psychologii, oraz czy replikacje same w sobie wystarczą, by rozwiązać jej problemy.

Powściągliwy optymizm

Tomasz Witkowski – doktor psychologii, sceptyk i autor książki „Zakazana Psychologia” – jest ostrożny w nazywaniu wyników projektu sukcesem.

„To oczywiście wielki osobisty sukces twórców tego projektu, którzy wbrew paraliżującej niechęci psychologów do prowadzenia badań replikacyjnych, zdołali go przeprowadzić. Z perspektywy nauki, to kropla w morzu.

Witkowski przywołuje przykład innych inicjatyw mających na celu zwiększenie liczby replikacji. W Psychfiledrawer.org są zarejestrowe jak dotąd 43 projekty, natomiast w Registered Replication Reports tylko jeden. Natalia przyznaje, że nie są to wielkie liczby. Czy można w takim razie mówić o erze wielkich replikacji, jak zaczęto sugerować?

„Moim zdaniem jeszcze nie i nie wiem czy taka era w ogóle nadejdzie” – twierdzi Konrad.

Wydaje się, że projekty takie jak Many Labs wprawdzie pomagają zaleczyć pojedyncze rany, jednak nie niwelują one przyczyny problemu. A leży ona znacznie głębiej niż się wydaje.

„Głównym zadaniem naukowca jest publikowanie według zasady publish or perish (publikuj albo giń – NB.), a nikt – mam tu na myśli wydawców i czasopisma naukowe – nie jest  i raczej nie będzie zainteresowany publikowaniem replikacji”.

„Wiele musi się zmienić nie tylko w głowach naukowców, ale także w procedurach finansowania – nie można na przykład dostać dofinansowania (grantu) na badania, które nie odkrywają czegoś nowego” – dodaje Natalia.

Obecny system naukowy nie wynagradza naukowców za przeprowadzanie replikacji. Wręcz przeciwnie. Większość czasopism nastawionych jest na publikowanie znalezisk nowych i oryginalnych – a do takich z pewnością replikacje nie należą. Istnieje wyraźna tendencja do publikowania badań, które potwierdzają testowane hipotezy (tzw. wyniki pozytywne). W konsekwencji, wiele badań o wynikach negatywnych zalega w szufladach. Taki stan rzeczy zniekształca faktyczny stan wiedzy naukowej. Jest to problem, który dotyczy wielu dziedzin – choć psychologia wydaje się przodować w tej kategorii.

journal.pone.0010068.g001
Proporcja badań z wynikami pozytywnymi (potwierdzającymi hipotezy) według dziedzin. Przoduje Psychologia i Psychiatria (91.5%). Źródło: Fanelli, 2010, PlosOne.

Same replikacje więc nie wystarczą, twierdzi Witkowski.

Projekt Many Labs jest bardzo cennym i ambitnym przedsięwzięciem, ale nie rozwiązaniem. Rozwiązaniem jest zmiana społecznego systemu kontroli nauki.”

Światełko w tunelu

Świat naukowy jest w pewnym stopniu świadom obecnych problemów i nie jest wobec nich całkowicie obojętny. Powoli pojawiają się inicjatywy mające na celu usprawnienie nauki. Mowa tutaj na przykład o modelu rejestracji wstępnej wprowadzonym już przez niektóre czasopisma. Warto wspomnieć, że Many Labs z takiego modelu właśnie skorzystało – metoda badawcza była opublikowana i poddana recenzji innych badaczy jeszcze zanim przeprowadzono eksperymenty. Jest to ważne, ponieważ nie pozwala to na zastosowanie wspomnianych „wątpliwych praktyk” badawczych – wliczając w to zarówno manipulację danymi jak i naginanie analiz czy interpretacji. Ruch Open Access także jest nie bez znaczenia – pismo Plos One za kryteria publikacji stawia jakość metodologii, odsuwając kryterium oryginalności na drugi plan.

Komentatorzy zaznaczają także, że być może od samych wyników Many Labs ważniejsze jest samo podejście do przeprowadzenia badań. Rejestracja wstępna, pełna otwartość oraz współpraca wielu grup badawczych jest modelem godnym naśladowania, który może zostać wykorzystany nie tylko do replikacji, ale także do testowania nowych hipotez.

Konrad chwali taki sposób przeprowadzania badań. „Osobiście muszę przyznać, że model Many Labs przypadł mi do gustu, ponieważ wykorzystuje naukowy crowdsourcing, a jego rezultaty są nie tylko spektakularne, ale także rzetelne i trudne do podważenia“.

„Mam nadzieję, że takich projektów będzie coraz więcej. Oprócz ważnych wyników, owocują przecież integracją środowisk naukowych, co jest bardzo cenne” – dodaje Natalia.

Natalia zwraca także uwagę na fakt, iż psychologowie nie są bierni wobec problemów dziedziny. „Oczywiście, że psychologia akademicka zmaga się z wieloma problemami, jednak postawa naukowców jest naprawdę budująca”.

Nadzieje z pewnością są – jednak problemy psychologii (i nie tylko) tkwią na tyle głęboko, iż według Witkowskiego rozwiązanie ich wszystkich zajmie jeszcze sporo czasu i będzie kosztować wiele wysiłku.

„Mamy do czynienia z nauką, która jest zbiorem pospiesznie skleconych niezreplikowanych wniosków i pierwszymi nielicznymi próbami replikacji, które powinny być stałym elementem pracy badawczej. To, co się dzieje teraz, świadczy raczej o głębokim kryzysie psychologii. Czas na odtrąbienie sukcesu nadejdzie nie wcześniej niż za kilkadziesiąt lat”.

pink

Jesteś ciekaw, co stało się później? Przeczytaj „Kryzysu Psychologii ciąg dalszy” oraz „Czy Psychologia jest bezużyteczna?” na Neurobigosie. Śledź mnie też na Facebooku, a nóż widelec będzie więcej w temacie.

Advertisements

6 uwag do wpisu “Psychologia w kryzysie

  1. Pingback: Tomasz Witkowski o replikacjach | NeuroBigos

  2. Pingback: Zapomniane twarze psychologii | NeuroBigos

  3. Pingback: Dziecinne eksperymenty | NeuroBigos

  4. Pingback: „Z archiwum X” a problemy nauki | NeuroBigos

  5. Pingback: Kryzysu psychologii ciąg dalszy | NeuroBigos

  6. Pingback: Czy psychologia jest bezużyteczna? | NeuroBigos

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s