Introducerea științei în evaluarea cercetării
traducere după:
Există o necesitate în continuă creștere pentru a îmbunătăți felul în care sunt evaluate rezultatele cercetării științifice de către agențiile de finanțare, instituțiile de știință și alți actori interesați.
Pentru a rezolva acest lucru, un grup de reprezentanți ai editurilor și ai revistelor de cercetare s-au întâlnit cu ocazia Întâlnirii anuale a Societății Americane pentru Biologie a Celulei (ASCB) din San Francisco, CA, pe 16 decembrie, 2012. Grupul a elaborat un set de recomandări, care le numim Declarația privind evaluarea cercetării de la San Francisco. Invităm toți cei interesați din toate disciplinele să-și arate sprijinul adăugându-și numele pe această Declarație.
Rezultatele cercetării științifice sunt multe și variate, incluzând: articole de cercetare care raportează cunoștințe noi, date, reactivi și software; proprietate intelectuală; cercetători tineri înalt calificați. Agențiile de finanțare, instituțiile care angajează cercetătorii și oamenii de știință înșiși, cu toții, au o dorință și o necesitate de a evalua calitatea și impactul rezultatelor științifice. Astfel, devine imperativ ca rezultatele științifice să fie măsurate cu acuratețe și evaluate înțelept.
Journal Impact Factor este folosit frecvent ca prim parametru cu care să comparăm rezultatele științifice ale persoanelor și a instituțiilor. Journal Impact Factor așa cum este calculat de Thomson Reuters, a fost creat inițial ca un instrument care să ajute bibliotecarii să identifice care reviste să le achiziționeze și nu ca o măsură a calității științifice a unui articol. Gândindu-ne la acest lucru, este foarte important să înțelegem faptul că Journal Impact Factor are un număr de deficiențe bine documentate în utilizarea sa ca un instrument de evaluare a cercetării. Aceste limitări includ: A) distribuția citărilor într-o revistă este foarte distorsionat [1-3]; B) caracteristicile pentru Journal Impact Factor depind de domeniu: este un compus de mai multe tipuri de articole foarte diverse, fiind incluse articolele de cercetare primare și evaluările [1, 4]; C) Journal Impact Factor poate fi manipulat (sau „antrenat”) de politica editorială [5]; și D) datele folosite pentru a calcula Journal Impact Factor nu sunt nici transparenți și nici liber disponibile publicului [4, 6, 7].
Mai jos, facem un număr de recomandări pentru îmbunătățirea felului în care calitatea rezultatelor de cercetare este evaluată. Rezultatele, altele decât articolele de cercetare vor crește în importanță în ceea ce privește evaluarea eficienței cercetării în viitor, dar articolele de cercetare evaluate colegial, vor rămâne un rezultat de cercetare central, care oferă informații privind evaluarea cercetării. Recomandările noastre se focalizează în primul rând pe practicile legate de articolele științifice publicate în revistele cu evaluare colegială, dar pot și ar trebui extinse prin recunoașterea produselor suplimentare, cum sunt seturile de date, ca rezultate de cercetare importante. Aceste recomandări sunt destinare agențiilor de finanțare, instituțiilor de știință, revistelor, organizațiilor care oferă metrici și cercetătorilor la nivel individual.
Un număr de teme se regăsec în aceste recomandări:
-- necesitatea de renunța la metrici bazate pe reviste așa cum este Journal Impact
Factori de considerat în finanțare, atribuire și promovare;
-- necesitatea pentru a evalua cercetarea după meritele sale opus revistei în care cercetarea este publicată;
-- necesitatea de a capitaliza pe oportunitățile oferite de publicații online (cum ar fi relaxarea limitelor privind numărul de cuvinte, grafice și referințe din articole, precum și explorarea de noi indici privind semnificația și impactul).
Recunoaștem faptul că multe agenții de finanțare, instituții, edituri și cercetători deja încurajează practici îmbunătățite privind evaluarea cercetării. Astfel de pași încep să mărească momentum-ul către abordări mai sofisticate și mai pline de înțeles pentru evaluarea cercetării, care acum poate fi considerată fundament de construcție și poate fi adoptată de toți reprezentanții cheie implicați.
Semnatarii Declarației privind evaluarea cercetării de la San Francisco sprijină adoptarea următoarelor practici în evaluarea cercetării.
Recomandare generală
1. Nu folosiți metrici bazate pe reviste așa cum este Journal Impact Factors ca o măsură surogat pentru calitatea articolelor de cercetare individuale și pentru evaluarea contribuțiilor individuale ale unui cercetător sau pentru angajarea, promovarea sau finanțarea deciziilor.
Pentru agențiile de finanțare
2. Fiți clari în ceea ce privește criteriile folosite în evaluarea productivității științifice a aplicanților la granturi și subliniați cu claritate, mai ales pentru cercetătorii la început de carieră, faptul că este mult mai important conținutul științific al unui articol decât metricile de publicare sau identitatea unei reviste în care a fost publicat.
3. În scopul evaluării științifice, luați în considerare valoarea și impactul tuturor rezultatelor de cercetare (incluzând seturi de date și software) suplimentar față de publicațiile de cercetare și luați în considerare o gamă largă de indicatori ai impactului, incluzând indicatorii pentru calitate ai impactului cercetării așa cum este influiența asupra politicilor și a practicii.
Pentru instituții
4. Fiți clari privind criteriile folosite în luarea deciziilor privind angajarea, susținerea mandatului și promovarea, subliniind foarte clar, mai ales pentru cercetătorii la început de carieră, faptul că este mult mai important conținutul științific al unui articol decât metricile de publicare sau identitatea unei reviste în care a fost publicat.
5. În scopul evaluării științifice, luați în considerare valoarea și impactul tuturor rezultatelor de cercetare (incluzând seturi de date și software) suplimentar față de publicațiile de cercetare și luați în considerare o gamă largă de indicatori ai impactului, incluzând indicatorii pentru calitate ai impactului cercetării așa cum este influiența asupra politicilor și a practicii.
Pentru edituri
6. Reduceți semnificativ accentul pe impactul revistei ca instrument de promovare, ideal ar fi încetând promovarea factorului de impact sau prin prezentarea metricii în contextul unei varietăți de alte metrici care au în centru revista (de ex. factorul de impact pe cinci ani, EigenFactor [8], SCImago [9], h-index, timpii editoriali și perioadele de publicare, etc.) și care oferă o perspectivă mai bogată asupra performanței pe care o are revista.
7. Puneți la dispoziție o gamă de metrici la nivel de articol care să încurajeze o schimbare către evaluarea bazată pe conținutul științific al articolului opus metricilor revistei în care a fost publicat.
8. Încurajați practici resposabile de redactare și pentru oferirea de informații privind contribuțiile specifice fiecărui autor.
9. Fie că o revistă este cu Acces Deschis, fie că este bazată pe abonament, eliminați toate limitările privind reutilizarea listelor de referințe din articolele științifice și puneți-le sub o licență Creative Commons Public Domain Dedication [10].
10. Eliminați sau reduceți limitările privind numărul de referințe din articolele de cercetare și acolo unde este oportun, impuneți citarea literaturii primare care merită apreciată pentru a credita grupul(urile) care au raportat pentru prima oară descoperirea.
Pentru organizațiile care oferă metrici
11. Fiți deschiși și transparenți oferind datele și metodele folosite pentru a calcula toate metricile.
12. Oferiți datele sub o licență care permite reutilizarea nerestricționată și oferiți access computațional la date acolo unde este posibil.
13. Fiți fermi că nu va fi tolerată manipularea necorespunzătoare a metricilor; fiți clari în ceea ce constituie manipularea necorespunzătoare și care sunt măsurile care vor fi luate pentru a combate aceste practici.
14. Luați în calcul varietatea articolelor (de ex. expunerile versus articolele de cercetare), diferențele dintre ariile tematice atunci când metricile sunt folosite, agregate sau comparate.
Pentru cercetători
15. Atunci când faceți parte din comitete care iau decizii privind finanțarea, angajarea, mandatul sau promovarea, faceți evaluările mai degrabă pe baza conținutului științific decât pe metricile de publicare.
16. Ori de câte ori este oportun, citați literatura primară în care au fost raportate pentru prima dată observațiile și nu expunerile, pentru a da credit acolo unde acesta este meritat.
17. Folosiți o gamă de metrici la nivel de articol și indicatori privind declarațiile personale/ori de sprijin, ca dovezi ale impactului articolelor publicate individual și a altor rezultate de cercetare [11].
18. Contestați practicile de evaluare a cercetării care se bazează nefericit pe Journal Impact Factors și promovează și învață mai departe bune practici, care se focalizează pe valoarea și influiența anumitor rezultate de cercetare.
Referințe
- Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
- Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
- Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
- Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
- The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
- Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
- Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.