Nieudany atak na open access

…czyli co cię nie zabije, to cię wzmocni.

Notka: okazało się, że na ten sam temat równolegle pisał Rafał Marszałek, autor bloga Nic Prostszego. Wpis o którym mowa został także opublikowany dzisiaj- analizuje on jednak temat bardziej szczegółowo. Bardzo zachęcam do lektury pod tym linkiem.

Ruszyła kolejna edycja Tygodnia Otwartego Dostępu (Open Access Week)- obchodzonego także i w Polsce. Bardzo zachęcam do zapoznania się z harmonogramem imprez na blogu Warsztat Badacza Emanuela Kulczyckiego.

Jednak tegoroczne świętowanie odbywa się w cieniu zmasowanego ataku na model Open Access- ataku, który miał obnażyć słabości systemu i go ośmieszyć. Ataku, który nie dość że się nie powiódł- to jeszcze dodatkowo wzmocnił jego pozycję.

File:Open Access logo PLoS white.svg
Nieoficjalne logo ruchu Open Access.

Open access, podobnie jak znane programistom open source, oznacza wolność informacji i nieograniczony do nich dostęp. Jest to odejście od modelu nauki zamkniętej, płatnej, dostępnej tylko dla wąskiego grona odbiorców. Tradycyjny system publikacji jest przez wielu uważany za powolny oraz podatny na nadużycia.

Jednak Open Access ma także wielu przeciwników. Według nich, czasopisma Open Access są równoznaczne ze słabą jakością publikacji. Są miejscem, gdzie publikuje się wtedy, gdy nie ma już innego wyjścia. Głównym celem ataków jest flagowe czasopismo open access– Plos ONE. W tradycyjnym systemie, decyzja o opublikowaniu badania opiera się na tym, czy jest ono metodologicznie poprawne, oraz czy wnosi coś nowego do dziedziny. Te największe czasopisma (wliczając w to oczywiście Nature) kładą duży nacisk na to kryterium. Choć na pierwszy rzut oka ma to sens, w rzeczywistości prowadzi do wielu problemów- by wymienic chociażby efekt szuflady (który wyjaśniałem już wcześniej).

Jednak Plos ONE wypiął się na taki stan rzeczy i publikuje wszystkie artykuły, niezależnie od tego jak bardzo są one w stanie zainteresowac wydawcę- tak długo jak praca jest naukowo poprawna (przeczytać możemy o tym na blogu Nic Prostszego).

Skoro Plos ONE oraz inne otwarte pisma opublikują cokolwiek- jak lepiej nie podkreślić ich słabości, jak przez opublikowanie w nich sfałszowanych artykułów?

Dziennikarz naukowy John Bohannon z pisma Science zrobił dokładnie coś takiego- sfabrykował artykuł (przyjmując dźwięczne imię Ocorrafoo Cobange z Instytutu Medycyny w Wassee) i wysłał go do ponad 300 czasopism open access.

Na pierwszy rzut oka prowokacja powiodła się- 157 czasopism zatwierdziło fałszywy artykuł, a tylko 98 go odrzuciło. Po takim uderzeniu open access nie miał prawa się podnieść.

Czyżby?

captain_america_by_urban_barbarian-d3jymky

Już od początku jednak prowokacji zarzucono…brak grupy kontrolnej. Innymi słowy- fałszywe artykuły porozsyłano jedynie do otwartych czasopism. Gdyby wysłać je także do tradycyjnych wydawców i pokazać, że ci zorientowali się w porę i nie zaakceptowali badania, faktycznie mielibyśmy do czynienia z silnym argumentem przeciwko jakości publikacji w open access. Tak się jednak nie stało.

Co gorsza (dla tradycyjnych wydawców), zamknięte wydawnictwa nie są wcale odporne na publikowanie podejrzanych artykułów. Jakiś czas temu Journal of Applied Mathematics- czyli czasopismo stricte matematyczne- opubikowało artykuł, który był matematycznie bezsensu. To samo czasopismo opublikowało także inny, w którym autor stwierdza pod koniec, że zarówno nauka jak i duchowość pochodzą z kosmosu.

Zdaje się, że zamiast ataku na open access mieliśmy zatem do czynienia z atakiem na...system recenzji naukowej (peer- review), który działa podobnie w obu przypadkach (i z którego także wielu jest niezadowolonych).

To jednak nie wszystko- najlepsze dopiero przed nami.

Wspomniałem, że 98 czasopism Open Access rozpoznało i odrzuciło sfałszowany artykuł. Zgadnijcie, które było jednym z nich.

Tak.

Plos ONE.

Chyba właśnie ktoś sobie strzelił “samobója”.

pink

P.S. Link do harmonogramu imprez Open Access Week 
w Polsce znajduje się tutaj.
Zachęcam także do zapoznania się z 
Dziesięcioma Przykazaniami Open Access.
I jeszcze raz- link do wpisu na blogu Nic Prostszego,gdzie prowokacja jest opisana dogłębniej.

A ilustrację Kapitana Ameryki mam stąd.
Reklamy

5 uwag do wpisu “Nieudany atak na open access

  1. Piszesz, że przeciwnicy Open Access traktują Plos ONE jako miejsce, gdzie się publikuje, gdy nie ma już gdzie. Szkoda tylko, że pozostałe czasopisma z grupy Plos, o znacznie wyższym IF niż Plos ONE, pomimo propagowania idei OA, podążają tym samym schematem – ‚praca nie jest wystarczająco innowacyjna dla naszego journala, ale proszę rozważ publikację w Plos ONE’, sami przyczyniając się do takiego stanu rzeczy. Skoro sami zaangażowani w tę ideę ludzie traktują Plos ONE jako czasopismo drugiej kategorii, to czemu się dziwić, iż wielu badaczy tak właśnie je widzi?

    1. Prawda, inne czasopisma z grupy Plos mają trochę inne warunki publikacji, których zresztą nie ukrywają: http://www.plos.org/publications/journals/ . Wśród tych wymienionych na stronie, tylko Plos ONE zaznacza, że opublikuje niezależnie od innowacyjności (jeśli metodologicznie praca jest poprawna).

      Czasopisma Open Access także mają w sobie tę barierę- nie wydaje mi się że umyślnie traktują one Plos ONE jako czasopismo drugiej kategorii (jasno zaznaczając swoje warunki, odsyłają po prostu do pisma które nie ma w kryteriach innowacyjności), ale rzeczywiście można odnieść takie wrażenie. Przeciwnicy z pewnością byliby chętni podeprzeć swoje argumenty tym przykładem.

  2. Dla mnie ta prowokacja nie byla az takim failem, jak opisujecie. Do cholery, ponad polowa czasopism, do ktorych rozeslano robaka opublikowala go. Pal licho, ze nie zrobiono badania kontrolnego, pokazano, ze jest źle – ewentualne porownanie z iloscia pism zamknietych, które odrzucily artukul zdecydowanie dawaloby pelniejszy obraz sytuacji, bo nie wiemy, jak to wyglada po drugiej stronie barykady, ale nie zmieniloby faktu – prowokacja obnazyla slabosc systemu otwatrego podwazajac jego wiarygodnosc. To, czy wiarygodnosc ta jest stosunkowo wyzsza, czy nizsza od tej, ktora prezentuje system zamkniety, jest kwestia otwarta, bo nie mamy zadnych danych na ten temat, nawet jednak gdyby jeszcze wiecej czasopism zamknietych z potencjalnych 300 przyjeloby robaka ciezko byloby mowic o sukcesie zrodel otwarych (gorzej niż źle nie oznacza, że źle to dobrze, i w kontekscie i poza nim ;))

    Prowokacja uwydatnila luki w systemie otwartym, pokazala jak bardzo jest niedoskonaly poprzez zle wykorzystanie swojego potencjalu. Co z tego, że kazdy moze opublikowac wyniki swoich badan, skoro gina one w morzu potencjalnie niezweryfikowanych wstepnie artykulow (taki obraz prowokacja zarysowala i nawet jesli jest inaczej ciezko to udowodnic w tym momencie), przez co traca one swoja wartosc naukowa – w otoczeniu znakow zapytania same staja sie takim znakiem. W takim ujeciu otwarte zrodla same sobie strzelaja w stope, bo zabieraja sobie argumety do walki z monopolem na wiedze czasopism zamknietych.

    Zgadzam, sie ze temat jest szerszy, bo podwaza caly system publikacji niezaleznie od ich zrodla . Nie zmienia to jednak faktu, ze w tym wypadku dostalo sie (jak widac slusznie) zrodlom otwartym. Mysle, ze bardziej niz na skupianiu sie na potyczkach miedzy mlodzikami i starymi wyjadaczami powinnismy wziac pod lupe sama jakosc artykulow, ktora jest celem a nie srodkiem, tak jak to, gdzie artykul zostanie opublikowany. I zaczynam sie zastanawiac, czy nie o to wlasnie chodzilo w tej prowokacji, ktora zapaewne nie do konca wyszla zgodnie z zamyslem jej autorow .

    1. Zgadzam się z Tobą tylko częściowo: w kwestii tego, że tym, co tak naprawdę pokazała prowokacja Bohannona, jest słabość całego systemu recenzji w naukowym przemyśle wydawniczym. Ameryki tu zresztą nie odkrył – nad pogarszającym się serwisem, jeśli chodzi o recenzje, autorzy utyskują już od jakiegoś czasu.

      Wydaje mi się jednak, że nikt nie próbuje powiedzieć, że nie jest problemem to, że tak wiele pism OA w tym teście poległo. Natomiast ta fala krytyki Science i Bohannona wynika z tego, jak rezultaty jego śledztwa zaprezentowano: w taki sposób, jakby problem był tylko i wyłącznie problemem pism OA.

      Dlatego tak ważny jest właśnie ten brak próby kontrolnej. Dodam tu jeszcze, że nawet wyciągnięte przez Bohannona wnioski nie są aż tak dramatyczne, jak by się mogło wydawać. Bohannon bowiem przetestował 304 pisma OA. I owszem, nieco ponad połowa oblała sprawdzian. Pytanie tylko: jak to się ma do całego ruchu OA? Umieśćmy zatem tę informację we właściwym kontekście: pism OA na świecie jest ponad 8 tysięcy. To oznacza, że testowi poddano ledwie 3.5% pism OA!

      Można oczywiście hipotetyzować, że przecież taki wynik powinno się dać ekstrapolować i można pewnie założyć, że ta proporcja odnosi się do całokształtu. Tu dodam więc jeszcze jeden smaczej: spośród 304 przetestowanych pism, 121 znajduje się na tzw. liście Bealla. Jeff Beall to amerykański bibliotekarz, który postawił sobie za misję namierzanie oszukańczych pism OA (bo są takie, myślę, że co do tego też nikt nie ma złudzeń). I pisma, które spełniają pewne kryteria wskazujące na to, że nie są rzetelnymi periodykami, są umieszczane na tej jego liście.

      Bardzo interesującym wynikiem analizy Bohannona byłoby pokazanie, ile spośród 157 pism, które zaakceptowało jego pracę, pochodziło z tej grupy 121 pism pasożytniczych. Tej informacji Bohannon nam oczywiście nie udziela, co po raz kolejny każe sądzić, że jednak napisał reportaż z tezą.

      Na koniec chciałem tylko powiedzieć, że zamysł autorów prowokacji był chyba jednak jasny. Bo gdyby rzeczywiście chcieli pokazać problemy związane z recenzją, z jakością publikacji itd., nie skupiliby się wyłącznie na jednej grupie pism. I wciąż wydaje mi się, że jednak wynik tej analizy dla Science jest w pewnym sensie strzałem w stopę: nie z powodu tego, co pokazuje, ale z powodu tego, że gdyby prowokacja była zrobiona solidnie, nie byłoby lawiny komentarzy krytykującej samą prowokację jak i Science.

  3. Pingback: Naukowiec ze spamem walczący. | NeuroBigos

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Wyloguj / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Wyloguj / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Wyloguj / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Wyloguj / Zmień )

Connecting to %s