Säger din historia något om din framtid?

Mitt h-index kommer att sluta någonstans runt 30 om Acuna har rätt.

Idag fick jag en intressant press-release skickad till mig* från Aalto-universitetet i Helsingfors om bibliografiska data och vad de säger om din framtida karriär. Hela poängen med att ranka forskare är ju att i en värld med begränsade resurser måste man på något sätt bestämma hur dessa skall fördelas. Lockelsen med bibliografiska data är två: först och främst är det ett enkelt nummer. Om någon har 11 och en annan 63 på en skala är det lättare att jämföra dem än i en lång granskande text. Den andra grundstenen är att bibligrafiska data säger något om din framtid! Man vill kunna titta på din poäng idag och kunna säga något om hur produktiv du blir imorgon.

Ett särskilt nummer som fått mycket uppmärksamhet de senaste åren är h-indexet, eller Hirsch-faktorn, som introducerades av Jorge Hirsch år 2005**. Hirsch definierar sitt index som

A scientist has index h if h of his/her N_p papers have at least h citations each, and the other (N_p − h) papers have no more than h citations each.

Alltså, många artiklar med många citeringar = högt h. Det är ganska allmänt accepterat att ett högt h-index är en god indikation på att en person är en framstående forskare. De allra främsta fysikerna (värdena varierar kraftigt med vetenskapsfält) har ett h-index strax över hundra. Indexet var tänkt för att ge en indikation om hur framstående en forskare är.

Based on his calculations, Hirsch suggests that, for physicists, a value for h of about 12 might be a useful guideline for tenure decisions at major research universities. A value of about 18 could mean a full professorship, 15–20 could mean a fellowship in the American Physical Society, and 45 or higher could mean membership in the National Academy of Sciences.

En kritik som riktas mot användandet av h-indexet som prediktor är att det enbart handlar om vad du redan gjort, men beslutet att ge dig en tjänst, eller ett stipendium e.dyl. måste ju baseras på hur du kommer att utvecklas i framtiden. Så frågan är: Säger ditt nuvarande h-index något om hur lyckad din framtida karriär blir?

En artikel i Nature [1] från förra året verkar ge stöd åt argumentet att en enkel modell baserad på bibliografiska data kan ge ganska god förutsägelse om framtida prestationer. Baserat på dagens h-index och några andra lättåtkomliga parametrar visade Daniel Acuna och kollegor att de kunde förutsäga framtida h-värden med ganska god säkerhet (R²=0.67). Så det kanske inte är orimligt att använda h för i alla fall en första utsållning vid tjänstetillsättningar och liknande.

Icke, säger Professor Santo Fortunato och hans medarbetare i en ny, statistiskt tung, men läsvärd artikel i Scientific Reports [2]. Istället bygger den höga determinationskoefficienten på en falsk korrelation i och med att h aldrig kan sjunka. Man konstuerar slumpmässiga karriärer och visar att förutsägelserna för dessa också har hög korrelation med nuvarande h. Alltså har modeller baserade på h-värdet en väldigt låg potenital för att kunna plocka ut framtida framstående forskare. Men, de finska forskarna går inte så långt som att döma ut förutsägelsemodeller helt och hållet.

...our effort to examine the correlation between the impact of a scientist's past papers and future papers shows there may be a relationship to be discovered, but doing so will require a highly sensitive and powerful approach.

För oss som ofta kritiserar överdrivet fokus på bibligrafiska data är det skönt att se att vi har en viktig poäng.*** Men samtidigt är det naturligtvis viktigt att inse att en rankning av forskare är nödvändig ibland, hur illa man än kan tycka om det. Om nu ren bibligrafisk bedömning inte håller måttet, och en djupare, individuell granskning av varje forskare är omöjlig, om inte annat av ekonomiska skäl. Var hamnar vi då? Jag vet inte svaret, men här ser vi att det allt populärare sökandet efter enkla lösningar inte leder oss rätt.


* Varför jag får en press-release skickad till mig har jag ingen aning om!
** Är det inte längre sedan? Det känns som om det alltid funnits, tyckte jag. Å andra sidan är ju 2005 typ början av min karriär, så på så vis har det alltid funnits.
*** Detta helt bortsett från att ensidigt fokus på forskningsresultat kanske inte är det bästa urvalskriteriet för undervisnings- eller handledningstunga universitetstjänster.
 
[1] D. E. Acuna, S. Allesina och K. P. Kording, Future impact: Predicting scientific success, Nature 489, 201–202. (länk - bakom paywall) 
[2] O. Penner, R. K. Pan, A. M. Petersen, K. Kaski och S. Fortunato, On the Predictability of Future Impact in Science, Science Reports 3, 3045. (Open access)

En polsk tragedi blir till fars

Tragedin är flygkrashen i Smolensk den 10 april 2010 då Polens president och 95 andra omkom. Farsen är det som nu händer i Anotoni Macierewicz kommission som utreder olyckan, separat från den officiella kommissionen. Jarosław Kaczyński, tvillingbror till den döde presidenten, har aldrig accepterat den officiella teorin om olyckan, utan är övertygad om att det var ett attentat. Alltså tillsatte PiS en kommission ledd av Macierewicz som skall undersöka frågan, oberoende av den officiella utredningen.

Macierewicz är i tidningarna nästan varje vecka med nya resultat som visar på hur den officiella versionen inte stämmer. Berättelserna blir mer och mer absurda: Man har hävdat att tre personer överlevt kraschen och att dessa sköts av säkerhetstjänst på plats. Man hade experter som visade att björken som vingen slog i inte skulle kunna förstöra ett flygplan... En av "experterna" baserade sin expertis, enligt egen utsago, på att han ofta varit passagerare i flygplan och då observerat hur motorer och vingar arbetar. Det senaste är att en professor från USA, Chris Cieszewski, hävdar att enligt satellitfoton skall björken varit fälld redan 5 dagar innan olyckan. Varje gång har dessa teorier snabbt motbevisas, men till ingen nytta.

Det är en konspirationsteori av typiskt snitt; man riktar in sig på små detaljer, och varje liten avvikelse sägs välta omkull hela den officiella teorin. Men inga bevis mot den egna framlagda hypotesen accepteras. Självklart finns det numera många webbsidor dedikerade till Smolenskkonspirationen, en del på engelska som på "nyhetssajten" Freepl.info.

I december skall den officiella polska kommissionen lägga fram sina resultat. Jag tror inte att mycket kommer att ändras av det.

Märkliga incitament - ranking av forskningsinstitutioner

I slutet av september presenterades rankingen av Polens alla forskningsinstitutioner. Av de 963 institutionerna fick 37 det högsta betyget, A+, och kallades av forsknings- och utbildningsminister Barbara Kudrycka för "eliten, Polens visitkort i världen." Vilken ranking institutionerna får är mycket viktigt, eftersom tilldelningen av forskningsmedel från staten till stor del kommer att baseras på rankingen. Mitt institut hamnade just utanför de 37 - av lite oklara skäl.

Rankingen baseras till stor del på bibliografiska data (vilket jag ofta uttryckt skepsis mot) där varje institution får en egen Hirsch-faktor. Denna modifieras på olika sätt för att få fram olika mätvärden där. Sedan jämför man hur mycket som olika institutioner citeras*. Därtill jämförs Polska vetenskapsakademiens (PAN) institut och universitetsinstitutionerna separat. Listan för Hirschvärden för PAN-instituten (bilden till vänster) toppas av Institutet för fysik. Min arbetsplats ligger fyra på listan.

Exakt vilka regler som gäller för den officiella rankingen från Kommitten för utvärdering av vetenskapliga institut är lite oklart, men åtminståne ett är klart - det är inte en helt transparent affär. Vår direktör har försökt ta reda på vad som gäller och inte lyckats. Bland annat så är den bibliografiska rankingen beroend av antalet anställda. Vi drabbas av det eftersom vi har ovanligt många anställda doktorander. Det har fått till följd att vår ledning nu överväger att anställa färre doktorander och låta fler gå på stipendium. Alltså precis tvärt emot utvecklingen i resten av Europa. Och ett mycket oönskat alternativ.

Jag läste i Tidningen Curie att man i Sverige vill införa en form av peer-review system för att bedöma forskningskvalitet hos lärosätena. Det är så klart mycket bättre än en ren bibliografisk bedömning, men det finns risker även där. Granskningen kommer att behöva vara åtminstone till del hemlig. Ett av de bedömningkriterier där vårt institut fick lågt betyg var "övriga effekter av det vetenskapliga arbetet". Det är oklart vad som menas med det. Med reservation för att det är uppgifter från en irriterad chef för ett institut som petades ur topplistan så ryktas det om att det finns en ganska stark korrelation mellan institutionerna på A+-listan och kommittemedlemmarnas hemmainstitutioner. Det kan ju vara oskyldigt - man väljer medlemmar bland de främsta forskarna. Men, vem vet...

På något sätt måste en ranking göras, för medlen att fördela är begränsade. Och hur man än gör kommer det att finnas vinnare och förlorare. Det minsta man kan kräva är att processen skall var så öppen som möjligt. Och att den inte skall leda till taktikspel med studenters liv.

* Att det är idiotiskt att ens försöka jämföra citeringstal mellan vetenskapsfält är ytterligare ett argument mot bibliografihetsen.

Är forskarvärlden trasig?

The Economist slår upp stort på omslaget den här veckan om "Hur vetenskap går fel". Det handlar om hur publicerade studier inte kan upprepas. Inte bara i det bottenträsk av tidskrifter som Bohannon nyligen "avslöjade" hade problem med peer review. Nej, det här gäller även, eller kanske i högsta grad, topptidskrifter som Nature och Science.

Artiklarna i The Economist, som är läsvärda, menar att den vetenskapliga processen i sig är trasig. Istället för att publicerade resultat upprepas och dåliga dras tillbaka ligger en stor mängd dåliga resultat kvar och slösar bort tid och pengar när de tas för sanna.

Problemen är två som The Economist ser det. För det första fungerar peer review dåligt och för det andra är det är få som arbetar med replikering av experiment och att det är svårt att göer även i goda fall. En lösning, menar man, vore att fler forskare arbetade med att reproducera publicerade resultat. Ett annat att även negativa resultat publiceras.

Det är ett problem att så mycket dåliga artiklar publiceras och att tid och kraft läggs ner på att försöka använda de resultaten. Men det är knappast ett okänt problem som överraskar forskare. Snarare är det så att de flesta som själva forskar är ganska cyniska och tar rapporter med både en och två nypor salt. (Och pressnotiser om forskning med en hel tunna!) Artiklarna i Economist är nog mer riktade till de som inte själva forskar och inte ser "bakom scenen". Därmed inte sagt att systemet vi har är perfekt, eller kanske ens godtagbart. Men man måste vara väldigt försiktig med stora förändringar så man inte kastar ut barnet med badvattnet. Som inom alla andra områden gäller det att vara misstänksam mot dem som kommer med enkla lösningar på svåra problem.

Om det är något som är pådrivande i den onda utvecklingen är det fokuseringen på bibliometriska data när det handlar om att fördela forskingsmedel o.dyl. Mot detta står den pågående trenden med alternativa kanaler för diskussion om forskning, som bloggar, arXiv, twitter. En underlättande faktor vore om det blev lättare att kommentera publicerad forskning. Ett försök till det finns till exempel på PubPeer, men än så länge är antalet användare begränsat, och som alltid på internet är tonen ofta onödigt hård, vilket gör det mindre angeläget för författare att faktiskt vilja delta i diskussionen. Men än mer angeläget vore att kommentarerna var synliga i anslutning till artikeln. Annars är det väldigt svårt att veta vilka artiklar som har kommentarer.

I kort är The Economists artikel en bra påminnelse om att allt inte står rätt till i forskarvärlden. Men så chockerande att det slås upp på omslaget är det knappast.

Folkomröstning i Warszawa

Idag är det folkomröstning i Warszawa - ett stort slöseri med tid och pengar. Målet med omröstningen är att kasta ut borgmästaren Hanna Gronkiewicz-Waltz innan hennes mandatperiod är över. Bakom omröstningen står Warszawska Wspólnota Samorządowa (Warszawas lokalstyresunion) som är en "självständig" organisation. I verkligheten är det ytterligare ett av PiS försök att sabotera för PO (även om omröstningen stöddes även av Ruch Palikota (som sedan förra veckan bytt namn till Twój Ruch)).

Man vill kasta ut HGW för att man inte är nöjda med hennes politik för huvudstaden. Man pekar på utbyggnaden av lokaltrafiken som går för långsamt; att stora delar av staden är igenkorkad av trafik; att sjukhusen har stora skulder... osv. Det är saker som borde diskuteras inför valet till borgmästare nästa år, och inte i en meningslös omröstning.

För att omröstningen skall vara giltig krävs att 60% av antalet röster i borgmästarvalet deltar. 2010 röstade 649 049 personer. Det krävs alltså att 389 430 personer deltar i folkomröstningen för att den skall vara giltig och att en majoritet röstar mot HGW. Borgmästaren och PO har satsat på en taktik där de uppmanar folk att stanna hemma och inte delta i "det politiska spektaklet". Det är en riskfylld strategi, lite som en offsidefälla - om det fungerar är det utmärkt men om det misslyckas är det nästan öppet mål. En stor majoritet av de som avser rösta tänker rösta för att avsätta HGW. Vi får se i kväll hur det går med deltagandet. Från i går kväll tills när vallokalerna stänger råder förbud mot opinionsrapporter, men innan dess visade rapporterna att det var tight kring gränsen.

Det ironiska, som ännu mer gör omröstningen meningslös, är att opinionsundersökningar visar att om det vore val så skulle HGW vinna ytterligare en mandatperiod i Warszawas borgmästarpalats.