Är forskarvärlden trasig?

The Economist slår upp stort på omslaget den här veckan om "Hur vetenskap går fel". Det handlar om hur publicerade studier inte kan upprepas. Inte bara i det bottenträsk av tidskrifter som Bohannon nyligen "avslöjade" hade problem med peer review. Nej, det här gäller även, eller kanske i högsta grad, topptidskrifter som Nature och Science.

Artiklarna i The Economist, som är läsvärda, menar att den vetenskapliga processen i sig är trasig. Istället för att publicerade resultat upprepas och dåliga dras tillbaka ligger en stor mängd dåliga resultat kvar och slösar bort tid och pengar när de tas för sanna.

Problemen är två som The Economist ser det. För det första fungerar peer review dåligt och för det andra är det är få som arbetar med replikering av experiment och att det är svårt att göer även i goda fall. En lösning, menar man, vore att fler forskare arbetade med att reproducera publicerade resultat. Ett annat att även negativa resultat publiceras.

Det är ett problem att så mycket dåliga artiklar publiceras och att tid och kraft läggs ner på att försöka använda de resultaten. Men det är knappast ett okänt problem som överraskar forskare. Snarare är det så att de flesta som själva forskar är ganska cyniska och tar rapporter med både en och två nypor salt. (Och pressnotiser om forskning med en hel tunna!) Artiklarna i Economist är nog mer riktade till de som inte själva forskar och inte ser "bakom scenen". Därmed inte sagt att systemet vi har är perfekt, eller kanske ens godtagbart. Men man måste vara väldigt försiktig med stora förändringar så man inte kastar ut barnet med badvattnet. Som inom alla andra områden gäller det att vara misstänksam mot dem som kommer med enkla lösningar på svåra problem.

Om det är något som är pådrivande i den onda utvecklingen är det fokuseringen på bibliometriska data när det handlar om att fördela forskingsmedel o.dyl. Mot detta står den pågående trenden med alternativa kanaler för diskussion om forskning, som bloggar, arXiv, twitter. En underlättande faktor vore om det blev lättare att kommentera publicerad forskning. Ett försök till det finns till exempel på PubPeer, men än så länge är antalet användare begränsat, och som alltid på internet är tonen ofta onödigt hård, vilket gör det mindre angeläget för författare att faktiskt vilja delta i diskussionen. Men än mer angeläget vore att kommentarerna var synliga i anslutning till artikeln. Annars är det väldigt svårt att veta vilka artiklar som har kommentarer.

I kort är The Economists artikel en bra påminnelse om att allt inte står rätt till i forskarvärlden. Men så chockerande att det slås upp på omslaget är det knappast.