replikacja w psychologii

Kryzysu psychologii ciąg dalszy

Kolejna ambitna próba replikacji (powtórzenia) znalezisk psychologicznych zakończyła się w zeszłym tygodniu. Centre for Open Science, koordynujące projekt, udostępniło na swojej stronie arkusz zawierający wstępne wyniki projektu. Zdaje się, że wyniki nie są zbyt optymistyczne. Wygląda na to, że zreplikowano jedynie 39 ze 100 badań.

Z ostatecznymi osądami powinniśmy jednak jeszcze poczekać, aż projekt przejdzie przez recenzję naukową.

Reproducibility Project: Psychology to nie pierwszy tego typu przedsięwzięcie. Czytelnicy Neurobigosu być może pamiętają projekt Many Labs, który podjął się powtórzenia 13-tu znanych obserwacji (efektów) psychologicznych. Akcje takie jak ta są bezpośrednią odpowiedzią na głośne przypadki oszustw naukowych w dziedzinie oraz ogólnych dyskusji na temat tego, jak silne są wcześniejsze znaleziska psychologiczne.

Sytuacja stała się na tyle poważna, że zaczęto wręcz mówić o „Kryzysie replikacji” (Replicability Crisis). Nie skończyło się na samych dyskusjach – naukowcy, z Dr Brianem Noskiem na czele, postanowili wziąć się do pracy i coś z tym problemem zrobić.
Wyniki Many Labs były bardzo optymistyczne – 10 z 13 tu badań zostało skutecznie zreplikowanych, przywracając nadzieję. Obecny projekt był znacznie ambitniejszy – tym razem podjęto się próby replikacji 100 badań.

Bardzo uważałbym jednak z wyciąganiem przedwczesnych wniosków. Wyniki udostępniono opinii publicznej jeszcze przed recenzją naukową. W tej chwili wyniki są już takiej recenzji poddawane i – jeśli wszystko pójdzie pomyślnie – zostaną opublikowane w czasopiśmie Science. Dopiero wtedy będziemy mogli przyjrzeć się wnioskom dokładniej – szczególnie, że uprzednio upublicznione wyniki są obecnie tymczasowo zdjęte ze strony ze względu na embargo narzucone przez Science. Dodatkowo, Brian Nosek miał powiedzieć, że pliki z danymi wymagają uporządkowania.

Warto zauważyć, że replikatorzy pokusili się o umieszczenie dodatkowej, ciekawej informacji: mianowicie, jak bardzo – w ich ocenie – wynik replikacji był podobny do oryginalnego badania. Oznacza to, że zamiast prostego osądu sukces/porażka będziemy mieli trochę dokładniejszy wgląd na sytuację. Ocenie takiej poddano bowiem nawet te eksperymenty, które dały wyniki statystycznie nieistotne.

wyniki replikacji
Odcień niebieskiego pokazuje, jak bardzo wyniki replikacji został przez replikatorów oceniony jako „podobny” do oryginalnego badania, niezależnie od tego, czy kryterium udanej replikacji zostało spełnione. Im jaśniejszy – tym bardziej zgodny z oryginałem. Grafika przedrukowana za zgodą Macmillan Publishers Ltd: Nature 10.1038/nature.2015.17433, © 2015.

Ciekawi mnie takie podejście do sprawy. Badamy w końcu ludzkie zachowania, a te nie należą do idealnych próbek badawczych – na wyniki może wpływać wiele rzeczy, o których nie mamy pojęcia lub których nie możemy kontrolować w eksperymentach. Do tego replikacje to szczególny rodzaj badań, których interpretacja wcale nie musi być jednoznaczna. Wydaje się, że autorzy chcieli w ten sposób uniknąć „wyrzucania do kosza” efektów, które nie spełniły wszystkich kryteriów. Jak podaje Nature, wśród tych 61 niezreplikowanych badań, 24 dały wyniki umiarkowanie podobne. Nasuwa to oczywiście dodatkowe pytania – ocena taka jest subiektywna i ciekawi mnie, na jakiej podstawie jedno badanie ocenia się jako mniej lub bardziej podobne, o czym z pewnością doczytamy w pełnej publikacji.

Innymi słowy – czekamy.

Neurobigos

Reklamy

6 uwag do wpisu “Kryzysu psychologii ciąg dalszy

  1. Ważny post. Strona naukowa psychologii jest niewątpliwie istotna, zwłaszcza w wyniku nacisków na fakty i dostarczanie dowodów na istnienie różnych efektów (także skuteczności terapii, ale to chyba osobna działka, jeśli chodzi o badania, chociaż mocno związana z psychologią). Jest to jednak o tyle problematyczne, że większość naprawdę dobrze kontrolowanych pod względem zmiennych zakłócających badań chyba nie ma zbyt wiele – sam napisałeś zresztą o wielu czynnikach wpływających na ludzkie zachowanie. Im bardziej skomplikowany efekt chcemy zbadać, tym będzie to trudniejsze, to oczywiste. Być może w przeszłości nie brano tylu czynników pod uwagę – może zresztą faktycznie szybki rozwój naszego świata „naprodukował” zmiennych wcześniej nieistniejących (związanych z technologią). Z drugiej strony, chyba warto, nawet dla wyników podobnych – wtedy można będzie stwierdzić, że jest np. jakiś kierunek zależności, choć może nie będzie ona tak silna jak podczas pierwszego badania. Zobaczymy, chętnie się dowiem, co z tego wyniknie!
    PS chyba się cieszę, że moja styczność z byciem „badaczem” skończy się na magisterce, a potem będę mogła się cieszyć z wysiłków innych. Bo to są wysiłki bardzo duże.

    1. Masz rację, pewnie że warto – w końcu w pewnym sensie powinno chodzić o „czyszczenie” czy pielenie wiedzy. Ale brak kontroli nad wszystkimi zmiennymi to jeden problem (którego nie da się raczej obejść). Bardziej problematyczne jest publikowanie tylko tych badań, które potwierdziły stawianą hipotezę i wyrzucanie tych negatywnych do kosza. To daje fałszywą wiarę w siłę efektu, co replikacje powinny choć w części zweryfikować.

  2. Pingback: Psychologia w kryzysie | NeuroBigos

  3. „…na wyniki może wpływać wiele rzeczy, o których nie mamy pojęcia lub których nie możemy kontrolować w eksperymentach” – zgoda, ale można pominąć znaczenie tych „wielu rzeczy” bowiem w wyniku manipulacji badawczej mierzone są zmiany w zakresie określonej zmiennej. Można (i trzeba) założyć, że wpływ „wielu rzeczy” jest taki sam w grupie eksperymentalnej jak i w grupie kontrolnej czy w powtórnym pomiarze.

  4. Pingback: Czy psychologia jest bezużyteczna? | NeuroBigos

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Wyloguj / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Wyloguj / Zmień )

Zdjęcie na Facebooku

Komentujesz korzystając z konta Facebook. Wyloguj / Zmień )

Zdjęcie na Google+

Komentujesz korzystając z konta Google+. Wyloguj / Zmień )

Connecting to %s