Mandat for evaluering av publiseringsindikatoren

Hovedhensikten med evalueringen er å undersøke om formålet med publiseringsindikatoren er innfridd: Har indikatoren stimulert til mer forskning, og forskning av høyere kvalitet? Innføringen av publiseringsindikatoren ble varslet i statsbudsjettet for 2005 (St.prp. nr. 1 (2004 - 2005)):

Som varsla i St.prp. nr. 1 (2003 - 2004) arbeider departementet med å vidareutvikle forskingskomponenten i finansieringssystemet. Gjennom betre måling av forskingsresultat enn i systemet som blir nytta i dag, ønskjer departementet i større grad å stimulere universitet og høgskolar til å få fram forskingsresultat av høg kvalitet.

Universitets- og høgskolerådet arbeider på oppdrag frå departementet med å utvikle eit system for rapportering av data for vitskapleg publisering som kan nyttast som resultatindikator i forskingskomponenten.

Universitets- og høgskolerådet har organisert arbeidet slik at dei enkelte fagmiljøa leverer innspel. I arbeidet inngår å vurdere korleis vitskapleg publisering kan skiljast frå anna publisering. Vidare korleis det er mogleg å samanlikne ulike publikasjonsformar og klassifisere ulikt kvalitetsnivå, samt samanlikne på tvers av fagområde. Departementet

understrekar at den indikatoren som blir utvikla, skal nyttast som grunnlag for fordeling mellom institusjonane. Systemet vil derfor truleg måtte bli relativt grovmaska. Dette vil ikkje vere ein presis premiering av den enkelte forskaren og tilhøyrande forskingsresultat.

Institusjonane må ha interne fordelingsmodellar som fører insentiva vidare ned i institusjonen. Etter planen vil institusjonane våren 2005 rapportere data for 2004- publiseringar, som kan nyttast i 2006-budsjettet.

I evalueringen inngår å vurdere indikatorens innvirkning på publiseringsmønsteret og på forskningen. Videre inngår vurdering av egenskaper ved indikatoren - hvor vidt den er fagfeltnøytral og hvor vidt nivåinndelingen ivaretar kvalitetsdimensjonen. Den faglige og administrative organiseringen av indikatoren ønskes også belyst, samt tilsiktet og utilsiktet bruk av indikatoren til andre formål enn budsjettfordeling mellom institusjoner. Evalueringen skal ha et fremadskuende perspektiv med hensyn på hvordan publiseringsindikatoren kan utvikles videre. Følgende spørsmål ønskes besvart i evalueringen:

1. Virkninger av indikatoren

Analysere og vurdere indikatorens innvirkning på publiseringsmønsteret, herunder:

• omfanget av publiseringen

• om kvalitetsintensjonen er ivaretatt

• indikatorens forutsigbarhet og transparens

• norsk som publiseringsspråk

• lengde på artikler og monografier

• Analysere og vurdere indikatorens innvirkning på forskningen, herunder:

• organisering av og oppmerksomhet mot forskning

• risikovillighet i forskningen

2. Egenskaper ved indikatoren

• Analysere og vurdere om nivåinndelingen fungerer som en tilfredsstillende kvalitetsindikator.

• Analysere og vurdere om indikatoren er fagfeltnøytral.

• Analysere og vurdere rapportering av bøker og bokkapitler etter 2010.

• Analysere og vurdere likheter/forskjeller med andre lands publiseringsindikatorer.

3. Organisering av indikatoren

• Analysere og vurdere den faglige og administrative organiseringen tilknyttet publiseringsindikatoren.

4. Bruk av indikatoren

Kartlegge og analysere bruken av publiseringsindikatoren i andre sammenhenger enn som fordelingsnøkkel av midler over statsbudsjettet, herunder:

• Analysere og vurdere bruken av indikatoren på fakultets-, institutt-, gruppe- og individnivå.

• Analysere og vurdere bruken av indikatoren ved rekruttering, kompetansevurdering og lønnsforhandlinger.

Avgrensninger av oppdraget

- Temaene virkninger av indikatoren, egenskaper ved indikatoren og bruk av publiseringsindikatoren skal avgrenses til universitets- og høyskolesektoren. Temaet organisering av indikatoren skal også omfatte institutt- og helsesektorene, og publiseringsutvalgets virkemåte etter innlemming av representanter fra disse to sektorene skal belyses særlig.

- Nærmere om temaet organisering av indikatoren: med «faglig og administrativ organisering tilknyttet publiseringsindikatoren» menes publiseringsutvalget, dets tilknytning til UHR, og dets samspill og samhandling med andre aktører (nasjonale fagorganer med ansvar for nominering til nivå 2, NSD, CRIStin). Det innebærer at følgende ikke skal evalueres: organisering av rapportering ved institusjonene, og de tekniske løsningene for rapportering.

Datagrunnlag

- Oppdragsgiver vil stille til veie deler av grunnlagsmaterialet for evalueringen, herunder sakspapirer fra publiseringsutvalget. Det må avklares nærmere mellom oppdragsgiver og -taker i hvilket omfang oppdragsgiver skal skaffe til veie publiseringsdata fra DBH og CRIStin.

Referansegruppe

Oppdragsgiver vil opprette en bredt sammensatt referansegruppe. Gruppa vil telle 8 - 10 medlemmer. Flertallet vil komme fra UH-sektoren, i tillegg vil instituttsektor og helsesektor være representert og to utenlandske eksperter.

Referansegruppa vil delta i vurdering og utvelgelse av tilbud, være faglig sparringpartner for leverandør og bidra til å kvalitetssikre endeling leveranse.

Les mer om evalueringen og referansegruppen på: http://www.uhr.no/rad_og_utvalg/utvalg/publiseringsutvalget/evaluering_av_publiseringsindikatoren