Balladen om to vitenskapelige artikler

Et blikk bak den vitenskapelige publiseringens lukkede dører.

Det er tre ting du ikke vil vite hvordan blir til: Pølser, politikk og vitenskapelige papers; eller artikler, på litt bedre norsk. Veien frem mot å kunne slå seg på brystet og utbasunere at «forskning viser», kan være tornete. I ettertid kan den også være perverst underholdende. Her får du mine personlige historier om to relativt ferske papers, og hva de måtte gjennomgå før de kunne tres gjennom nåløyet og bli publisert. Den ene er en solskinnshistorie. Den andre er egnet til å skremme vannet av selv den mest velfinansierte PhD-student. Les videre på eget ansvar.

Forskning viser at klimagasser og aerosoler har ulik effekt på nedbør

paper1Vi begynner på solsiden. 2. februar 2016 sendte jeg en artikkel inn for vurdering i tidsskriftet Geophysical Research Letters (GRL), som er et relativt anerkjent sted å publisere korte, poengterte artikler innen geo- og klimafag. Tittelen var tørr, mens temaet var fuktig: «Fast and slow precipitation responses to individual climate forcers: A PDRMIP multimodel study» beskriver de første resultatene fra en stor, internasjonal sammenligning av nedbør i ni store klimamodeller. 17 forfattere hadde bidratt, både med resultater og med å sjekke artikkelen før innsending. Jeg var hovedansvarlig.

Normal gang etter en slik innsending er som følger: Journalen velger en intern redaktør til å ta ansvar for artikkelen. Redaktørene hos GRL er fagpersoner som bidrar frivillig. Redaktøren finner så 2-3 uavhengige forskere med bakgrunn innen det artikkelen handler om, og ber dem vurdere innhold, figurer, faglig nivå, språk og så videre. Kort sagt: Er dette en artikkel som fortjener å publiseres i GRL? Bør det gjøres noe med den før den godtas og trykkes? Eller bør den avvises blankt?

Review-prosessen, eller fagfellevurdering, er hjertet av vitenskapelig publisering. Den kan være snill og nyttig, eller den kan være langtrukket, smertefull og høyst lite konstruktiv. Jeg var derfor, tross en del erfaring etter hvert, spent på hva som ville skje med min tungt tittulerte artikkel.

Resultatet var et sted mellom overraskende og sjokkerende.

Første svar kom alt en ukes tid etter innsending, noe som er veldig raskt i denne sammenhenegen. Artikkelen var vurdert av en reviewer, og denne personen var såpass positiv at redaktøren, som viste seg å være sjefsredaktøren for tidsskriftet, valgte å godta artikkelen. De enseste ønskede endringene var noen bittesmå klargjøringer og et par trykkfeil.

Jeg jublet, flyttet noen kommaer og la på et par ekstra referanser til tidligere forskning, og sendte den inn igjen. 19. februar, bare litt over to uker etter første innsending, var artikkelen endelig akseptert. 25. februar var den tilgjengelig på nett. Hittil i karriæren har jeg aldri opplevd en så rask publiseringsprosess. At den kom fra et såpass anerkjent tidsskrift gjør det enda mer tilfredsstillende.

Dette var solskinnshistorien. Men, før vi skrur av sola og stuper ut i mørket, la oss analysere hvorfor nettopp denne artikkelen gikk så greit gjennom systemet. Var det på grunn av mine enorme ferdigheter som forsker og artikkelforfatter? Naturligvis (kremt), men vi må kanskje se etter andre faktorer også…

Flaks kan være en av dem, ved at artikkelen ble sendt til en person som viste seg å både forstå den, og dessuten like den. Imidlertid tror jeg det er to, helt andre, hovedgrunner til suksessen. Begge springer ut av personene jeg hadde som medforfattere. Mange av dem er svært erfarne forskere, og har anerkjente navn innen klimafeltet. Den positive effekten av dette er at de ikke slipper gjennom en artikkel med navnet sitt på, før de er helt fornøyde. Den egentlige fagfellevurderingen av min artikkel startet måneder tidligere, da jeg sendte første utkast til medforfatterne. Deres innspill gjorde at den var ganske solid, alt før innsending. Den andre, ikke fullt så positive effekten, og som jeg bare gjetter på, er at redaktøren av tidsskriftet også la merke til disse navnene. Kjente forfattere, kombinert med en positiv review, var nok.

Hadde jeg (som nok ikke har et så kjent navn) vært eneforfatter, ville redaktøren garantert hentet inn både en og to vurderinger til – og da ville vi vært tilbake på flaksen. Ville de likt artikkelen, eller ville de hatt en eller annen merkelig innvending som jeg aldri ville greit å svare på? Synd men sant: Navn betyr noe, også i den forsøksvis objektive forskerverdenen. Flere tidsskrift har blitt klar over dette, og tilbyr nå fagfellevurdering der både forfatterne og fagfellene er anonyme for hverandre. Det høres for meg ut som en god ide.

Dette bringer oss til neste artikkel, og dens mange prøvelser:

Forskning viser at klimaeffekten av sot er mindre enn vi har trodd

paper2For snart tre år siden startet en gruppe forskere på jobben med å få et dypt og detaljert studium publisert. De var interessert i hvor sterk klimaeffekt alle de enorme utslippene våre av sot har, relativt til andre utslipp som sulfater, nitrater og – så klart – drivhusgassene. Sot har mange måter å påvirke klimaet på, og betyr i tillegg mye for luftkvalitet og lungesykdommer.

Forfatterne av denne studien visste at det var en uoverensstemmelse mellom et sett med ganske grundige målinger fra rundt om i verden, og de fleste klimamodeller. De hadde også tilgang til informasjon om utslipp fra Asia, den største kilden til menneskeskapt sot, som var mye mer detaljert enn tidligere – såpass detaljert at klimamodellene slet med å utnytte den. Ved å tilpasse en stor, grundig modell til å ta i bruk denne nye informasjonen klarte de å sterkt bedre sammenligningene med målinger. De fikk dessuten resultater som viste at den totale klimaeffekten ble mindre. Ergo: Sot kan ha varmet verden mindre enn vi har antatt de siste hunde årene.

Så langt er alt vel. Slike studier er det ganske mange av, og hver gang noen gjør en forbedring i forståelsen av sot, så sjekker de gjerne også hva effekten er for klimaet. Resultatene spriker – som de gjerne gjør i et felt som er i rask utvikling. Jeg har også gjort dette i et par andre artikler, og fått resultater som stemmer godt med det denne nye artikkelen forsøkte å nå ut med.

Sot er imidlertid også et kontroversielt tema innen klimafaget, noe som raskt skulle bli tydelig.

Forfatterne av studien, som i første omgang ikke inkluderte meg, var ganske stolte av den. De ville forsøke å få den publisert i et av de absolutt beste tidsskriftene, for at den skulle bli lest av flest mulig. Disse tidsskriftene – Science, Nature og deres mer spesialiserte søstertidsskrifter – har et ekstra nivå i fagfellevurderingen. Først vurderer redaktøren om artikkelen i det hele tatt er verdt å ta imot for vurdering. En slik for-vurdering er nødvendig fordi de får så enormt mange artikler hver eneste uke. Bedre å sile ut de som uansett ikke vil nå opp alt på et tidlig tidspunkt, slik at de raskt kan gå videre til et annet tidsskrift. Slik forklarer Nature og Science det i hvert fall selv, og oppgir at bare en av ti innsendte artikler blir tatt videre til fagfelevurdering.

Ved første innsending ble sot-artikkelen ikke tatt videre. Forfatterne ga seg imidlertid ikke med det. De redigerte og forbedret, og sendte den så til et annet av dem: Nature Climate Change (NCC).

NCC var interessert i artikkelen, og sendte den til fagfellevurdering. En av fagfellene de kontaktet var meg. Jeg hadde jobbet med tilsvarende ting, så jeg tok imot oppdraget om å lese og vurdere de nye resultatene. Et par uker sendere sendte jeg svar til journalen, som så ble videreformidlet – anonymt – til forfatterne. Jeg var generelt positiv, og anbefalte NCC å trykke artikkelen, men bare hvis de først kontrollerte et par faktorer jeg mente de ikke hadde vurdert grundig nok. Faktorene var, kanskje ikke så rart, ting jeg selv hadde studert og dermed hadde enda bedre kjennskap til enn forfatterne.

Så skjedde en rar ting, som nok var med på å forsinke artikkelen. Forfatterne var enige i at de måtte ta hensyn til mine kommentarer, og valgte å kontakte en ekspert for å få hjelp: Meg.

I første omgang sendte jeg dem bare informasjonen de ba om, uten å si noe om at jeg hadde vurdert artikkelen og at jeg nå besvarte mine egne spørsmål. Imidlertid ble det raskt klart at artikkelen måtte utvides litt, både med ekstra figurer og tabeller, og siden jeg leverte tallene inviterte de meg – som er kotymet – til å bli medforfatter.

Å være både forfatter og fagfelle går naturligvis ikke. Jeg kontaktet derfor journalen og spurte hva jeg burde gjøre. De sa at situasjonen var helt uproblematisk så lenge jeg umiddelbart trakk meg som fagfelle, og at forfatterne fortsatt ville ha meg når de fikk hele sannheten. Det ville de. Hyggelig for meg – men hva med artikkelen?

NCC kalte inn en fagfelle til, som erstatning for meg. Dette tok litt tid, og så måtte personen få noen uker til å lese og jobbe. I alt tok det over en måned fra jeg trakk meg, og til den endelige vurderingen var klar. Den nye fagfellen var omtrent like positiv som jeg hadde vært, men påpekte samtidig noen nye, små momenter.

Var dette alt, så ville NCC ha trykket artikkelen. Imidlertid var det også en tredje fagfelle med på laget. Denne personen var sterkt negativ, og hadde noen ganske tekniske innvendinger til bruken av statistikk.

Vi jobbet, til tider ganske hardt, og følte at vi klarte å besvare kritikken. Metoden i artikkelen, Bayesiansk statistikk, er noe uvanlig innen klimafeltet, så det krevde en del ekstra forklaring. NCC brukte så en del tid på å vurdere, før de sendte svarene våre tilbake til fagfellene. Disse brukte i tur en del tid, før vi på ny fikk et sett med svar. Min erstatter var fornøyd. Den andre var ikke. I kommentarene ble det klart at personen ikke helt hadde sans for antydningen om at klimaeffekten av sot skulle være lav – noe som talte en annen fersk og svært autoritativ vurderingsartikkel midt i mot. Så måtte vi besvare igjen, og begrunne ytterligere. Fagfellen fikk artikkelen en tredje gang, men var fortsatt ikke fornøyd. De samme innvendingene kom på nytt, selv om vi mente at de var grundig besvart.

Da sa NCC stopp – og dessverre ikke i vår favør. De valgte å tolke uenigheten vår dithen at uansett om resultatene var korrekte og spennende, noe redaktøren sa at hun mente de var, så ville de kreve såpass mye forklaring at de passet bedre i et tidsskrift som tilbø bedre plass til tekniske begrunnelser. De sa nei – nesten et år etter første innsending.

Etter en slik runde slikker man gjerne sine sår en liten stund, før man sender inn til et tidsskrift med mer normal fagfelleprosedyre. Vi var jo aldri i tvil om at resultatene var gode og viktige, og ville bli publisert til slutt. Videre gang er imidlertid opp til hovedforfatter, og han mente vi burde forsøke noen topp-tidsskrifter til. Av og til gjør det gangen enklere hvis vi kan vise til at et annet tidsskrift nesten har tatt artikkelen, og at vi har vært utsatt for en litt kranglevoren fagfelle. Tre slike forsøk til ble gjort, men dessverre uten hell. Begrunnelsene varierte, men inneholdt gjerne en frase om at artikkelen var for teknisk og lite tilgjengelig. Det er ikke uten grunn at topp-tidsskriftene av og til omtales som forskningsverdenens tabloidaviser. De vil ha overskrifter og pene resultater – men ikke tekniske utlegninger og lange tankerekker.

Denne serien med mislykkede innsendelser forsinket naturligvis artikkelen – men ikke så mye, siden hvert tidsskrift ga svar relativt raskt. Den siste, virkelig utrolige rundten for vår etter hvert så kjære sot-artikkel kom da vi i 2015 sendte den til et svært anerkjent men «normalt» tidsskrift: Journal of Geophysical Research – Atmospheres (JGRA). (Tilfeldigvis et søster-tidsskrift til GRL, der den første artikkelen jeg fortalte om så raskt ble publisert.)

Hos JGRA ble artikkelen sendt til vurdering, slik alle manuskript de mottar blir. En måneds tid gikk, så fikk vi igjen tre vurderinger. To av dem var positive, og ga relativt korte kommentarer med få ønsker. Vi hadde tross alt forbedret artikkelen for hver runde i tidligere vurderinger, så mange av de åpenbare problemene var alt luket ut.

Den tredje fagfellen, derimot, likte IKKE artikkelen vår. Der den kritiske fagfellen i NCC hadde vært skeptisk, var denne direkte fientlig. «Innledningen,» begyyner vurderingen, «er tragisk utilstrekkelig. Hadde forfatterne lest , ville de funnet original forskning som dekket mange av deres problemstillinger. Den artikkelen ble sendt inn alt i 2012, men gjør likevel en bedre jobb med litteraturgjennomgangen.» Hele fjorten ganger blir vi fortalt at hadde vi bare lest et par andre artikler, som tilfeldigvis alle var skrevet av samme person (ja, vi skjønte raskt hvem den anonyme personen var…), ville vi visst bedre enn å hevde at klimaeffekten av sot kunne være LAV. I virkeligheten hadde vi så klart lest disse artiklene, og siterte til og med en av dem, men vurderte dem ikke som så sentrale at de burde være de eneste kildehenvisningene vi brukte… Vi siterte imidlertid mange andre artikler som var uenig med vår egen, så innvendingene her virket fra første stund lite faglig motiverte.

Kort fortalt var denne fagfellen uenig i konklusjonene våre, mer enn han var uenig i selve forskningen, og sint fordi vi ikke la nok vekt på hans egen forskning. Metoden vår hadde han lite å si på, men det hindret ham ikke i å sende fire runder med stadig sintere vurderinger av artikkelen.

Først i mai 2016, et halvt år ut i prosessen, skar redaktøren gjennom – og denne gangen gikk det vår vei. Innvendingene ble avvist som irrelevante, og artikkelen kom endelig på trykk. Jeg satt tilfeldigvis i samme rom som en del av medforfatterne da den gledelige eposten kom, og jubelscenene fra ellers sindige forskere var nesten rørende. Vi mener at resultatene er ganske viktige, så å endelig få dem presentert for resten av kollegene våre i ferdig form er et godt steg videre.

Alt i alt tok det nesten tre år fra innsendelse til publikasjon. Hvis hovedforfatteren hadde vært PhD-student, og sendt inn artikkelen tidlig i stipendiatperioden, ville den fortsatt ikke vært klar til disputasen… Grunnen til at det tok så lang tid var en blanding av ønsket om å publisere så høyt og synlig som mulig, og uflaks med fagfellene. Samtidig ga de andre fagfellene, de som var positive men konkstruktivt kritiske, svært gode og nyttige innspill gjennom mange runder, slik at artikkelen som nå er på trykk er noe av det mest bunnsolide jeg har vært med på.

Forskning viser at…

Det er tre ting du ikke vil vite hvordan blir til: Pølser, politikk og vitenskapelige papers.

Dette utsagnet er morsomt fordi vi skjønner at vi egentlig burde brydd oss om alle tre. Det er ikke vilkårlig hva som puttes i pølsene til barnas sommerfest. Ei heller er det irrelevant hvordan Norges eldre-, flyktninge- eller klimapolitikk blir som den blir. I et samfunn hvor «forskning viser» stadig oftere brukes uten begrunnelse, er det heller ikke irrelevant hva som skal til for å få forskning publisert i et tidsskrift. Fagfellevurdering er ikke ufeilbarlig, og den kan – dessverre – ofte være både tilfeldig og rar. Min erfaring er imidlertid at alle artiklene jeg har hatt inne til vurdering, har blitt bedre av prosessen. Noen bare litt, andre veldig mye. Dette er hovedverdien i fagfellevurdering. Om det «forskning viser» faktisk er fornuftig, det bør vi alle makte å stille kritiske spørsmål til – samme hvor høyt og flott en artikkel er publisert.

Kilder:
«Fast and slow precipitation responses to individual climate forcers: A PDRMIP multimodel study», DOI: 10.1002/2016GL068064
«Estimation of global black carbon direct radiative forcing and its uncertainty constrained by observations», DOI: 10.1002/2015JD024326

3 comments

  1. KEE · juni 3, 2016

    Fagfellevurdering er, blant annet, for å bruke pendelhakke på partiskhet i tolking. Da blir det kødd når fellen selv er klart partisk og ikke ser noen interesse av å endre dette.
    Derfor bruke mer enn én.
    Krøkkete, tidskonsumerende og frustrerende. Ikke fjerner det redaktørens redaksjonsansvar heller.
    Og lell er silingsmetoden en ganske så god kvalitetskontroll. Fjerner nok en god del grums og ‘crackpottery’ (harnoen et godt norsk ord for dette?).

    • Carbomontanus · juni 3, 2016

      Crackpottery?

      Det må være «rusande og døyvande middel» ifølge den gamle veitrafikks- og straffeloven.

  2. Carbomontanus · juni 3, 2016

    Samset & al

    Dette her er viktig det, skjønneri.

    Jeg har selv til gagns vært borti begge dele, at det går glatt som fot i hose uaktet, eventuelt bare med en mangellapp som dere selv nevner, og som faktisk kan være en fordel.

    Så har jeg en mellomting, en tur gjennom Bryns Patenkontor som viste og praktiserte den intakte og integrerte helheten av hva jeg bare har sett brokker og ruiner av i 4 andre presumtivt videnskabelige tidsskrifter der det altså gikk glatt.

    Og så har vi subkulturen, bakvendtland, lavkirkeligheten, som må takles og behandles som hva det er, nemlig et røverrede, burglarshop, folkekommune eller sovjettsamvelde, hvor man må være innvidd og flagge riktig og kjenne sosiolekten.

    Det avgjørende synes å være at man har en «eldre» Godfather som går god for en om man er ukjent, alternativt må man vite å hekte og presse sjefsredaktørens faglig ordførende mester, hvilket er en krevende kunst. Saklighet preller i regelen av som vann på gåsa. Og alt dette er elementært i strid / religionskrig / klassekamp mot The UN declaration of Human Rights articles 19, 20.2, 26, og 27. Bare se etter selv.

    Tenk en situasjon. En totalt ukjent dame henvender seg hos den offisielle hovedredaktørs faglige tillitsvalgte med noe rusten jernskrot og spør høflig: «Er dette en meteor?»

    Og får vite: «Ja, bare send det inn, vi skal se på det!»

    Hun hører ikke mer et snus, det er gått til en anonymøøøøøø kontrollør og hun begynner å etterlyse og mase. I virkeligheten var det Ridesporene til Halvdan Svarte, som hun fikk på kroken under fiske i Røykenviken. Og slike artikler er automatisk beslaglagt av Riksantikvaren som kvitterer og skal sendes dit strax..

    Hun har samvittighetsfullt oppgitt kartkoordinater, og drar opp samme sted halvannen måned senere og finner der et dykkerlaug av «fagfolk» i gummibåt, som viser henne brysk og proff vekk fra stedet.

    Tidsskriftets og redksjonens elementære brøler var dritingen i den ganske obligatoriske og automatiske tilbakemelding:

    «Dear authors name, thanks for your paper eller article title , that was received datum!

    Den brøleren flagger og vimpler og melder så faaaaag og så proff at den journalisten eller tjeneren eller redaktøren må baksnakkes efter noter og advares mot. Vedkommende skal aldri tilsendes eller betros en artikkel eller et papir av noensomhelst verdi, ikke så mye som et dasspapir. For det skal ikke være slik her i landet eller her i verden at ethvert funn, enhver nyhet, hurtigst må sendes ut av landet til Auksjon hos Sothesby i london der de kvittereri det minste og sender det ikke til en anonymøøøøøø kontrollør.

    I tilfelle dasspapir, som kan være en satt prøve på tidsskriftet for om han kan betros mer verdifulle og unike ting er korrekt reaksjon som fritar redaktøren fra ansvar og mistanke:

    «Dear Dr. Spassvogel thanks for your paper that was received datum. It is sent to Miss Cleanshowerin Bath, Bathroom avenue 666, who published in the area. She will be your consultant. Pleace pay one fortune Ft. 1- to our bank account nr…, Your consultants salary. Discussion will take place on payment. Dr Lookingglass Hon Editor Sign stempel datum postlagt.

    Frk. Cleanshower må jo rulle ut det papiret i hele sin lengde og inspisere det fra begge sider og det koster jo både kaviar og champagne, som hun således sikres i alle fall. Annet er å snyte Frk. Cleanshower for hennes ærlig tjente levekår, når hvasomhelst og hvemsomhelst kan sitte der og gnu og i skjul på ting de avskyr eller som de ikke forstår..

    Refused datum er da kurant men må grunngis, f. eks ved at artikkelen allerede er publisert og til salgs i ethvert supermarked.

    SENSORbakJæææÆÆÆÆÆÆÆÆææærnteppet skal også kunne gi sitt besyv, men så i tilfelle stille på offentlig sted mellom BANG………..og BANG! i tid og evne å skrive navnet sitt.

    Dette er den gode rutine jeg har opplevet og vært med på gjennom Bryns patentkontor, idet hva pøbelen neppe er klar over er at publisering også skjer utfra det sterke motiv at hva som er publisert er ikke patenterbart. Det er ikke kroner og øre forskeren eller forskerne er så opptatt av men ære og berømmelse. Jfr Ohms lov, Plancs konstant, Le Chateliers prinsipp,…Watts dampmaskin, Revelle-faktoren, Keelingkurven,….man kan nevne i fleng……, de ønsker å få navnet sitt rettmessig knyttet til nye oppdagelser.

    Man har ikke råd til å patentere men vil gjerne stå som oppdager og finner, og ønsker å blokkere at andre tar den æren. Derfor skal det ikke reke land og strand på anonyme hender som gnur og i skjul. Også fordi at skulle det ta tid og noen andre i mellomtiden oppdager og publiserer det samme, så har tidsskriftets hovedansvarlige redaktør kastet berettiget mistankle på seg selv og sitt tidsskrift for tjuveri av åndsverk og andres arbeid. Just der er akademikere og oppfinnerne veldig hårsåre.

    Derfor ser vi også, eller har iallefall sett, patenbyrå- rutinene i de mest seriøse tidsskrifter.

    Det kan og ratt forekomme at et påfunn eller en upublisert artikkel truer eller velter doktorgraden til den anonyme kontrollør eller dennes nevø (= alvorlig inhabilitet) eller at han / hun bare bare føøøøøøø- ler det slik (= enda værre). Det kan true hele sjappa og nedbetalingen av studielånene for mange. Sånt vet ingen på forhånd.

    Jeg har vært borti det endel ganger at jeg med mine allehånde funn og påfunn, idet jeg må gå radikalt til verks og forstå tingene, kan oppfattes å true både karriærene og salget. Jeg truer også helt bevisst det industrialiserte eksamensfusk og forskningsfusk på ymse vis. Men dette kan følge av at jeg ofte prøver å lage det fortere billigere og bedre eller i det minste slik at også jeg behersker og forstår det. Et klassisk og nota bene også lovlig motiv i forskningen. Eller beveger meg inn på felter der det ikke finnes noe professorat eller noen lovlig eksamens eller mesterkommitte, og der FACIT ikke er skrevet enda.

    Der håper jeg også Samset & al kan bekrefte, dette at hvite flekker på kartet skal man se opp for. Der er sjansene ofte høyest for å høste ære og berømmelse. Dessuten at radikale gjennombrudd og funn som er verd å skrive om, faktisk som oftest er følgen av uventede og uvanlige fagkombinasjoner og utradisjonelle faglige lån på områder der rutineforskningen står i stampe og har kjørt seg fast. Da bør ikke ståerne og stamperne ha vetorett, om aldri så i skjul og i smug, for de føøøøø- ler jo at de kan bli arbeidsløse.

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s