Presentazione


Aggregatore d'analisi, opinioni, fatti e (non troppo di rado) musica.
Cerco

23/01/2020

Citarsi addosso: Anvur cerca di smentire e invece dà la conferma

Il miracolo scientifico italiano è solo un’illusione, dovuta a doping citazionale, così avevamo scritto in un articolo apparso lo scorso ottobre su Times Higher Education. Eugenio Bruno, sul Sole 24 Ore, dà voce alle obiezioni dell’Anvur, la nostra Agenzia nazionale di valutazione della ricerca. Desta perplessità un’agenzia di valutazione che stila un documento tecnico e lo sottopone a un quotidiano invece che alla comunità scientifica. Non solo: Anvur non si rende nemmeno conto che la figura inviata al Sole è in realtà un’ulteriore prova che dimostra quanto illusorio sia stato il miracolo italiano, a fronte di massicci tagli di risorse e di personale, quelli sì del tutto reali. Il dibattito sul “paradosso italiano” (meno finanziamenti ma boom di citazioni) è esploso in seguito alla pubblicazione lo scorso settembre di un nostro articolo su PLOS ONE. Il significato del nostro articolo è stato generalmente ben compreso all’estero, dove i commenti si sono concentrati sugli effetti distorsivi dei criteri di valutazione numerici in un ambito così delicato come quello della ricerca scientifica.  Esemplare il commento di Le Monde che ha puntato il dito non tanto sui ricercatori italiani, ma sull’asineria governamentale (“ânerie gouvernementale”) di chi ha concepito e varato regole destinate inevitabilmente a incentivare comportamenti opportunistici. Scelte sbagliate, quelle italiane, che sono frutto di provincialismo e di ritardi scientifico-culturali che, duole dirlo, traspaiono anche dagli argomenti, tecnicamente inadeguati, usati dall’Anvur.

*****

Il miracolo scientifico italiano è solo un’illusione, dovuta a doping citazionale, così abbiamo scritto in un articolo recentemente apparso su Times Higher Education [1]. Eugenio Bruno, nel suo articolo dello scorso 21 ottobre [2], dà voce alle obiezioni dell’Anvur, la nostra Agenzia nazionale di valutazione della ricerca. Eppure, la tesi del doping trova conferma proprio nel grafico, di fonte Anvur, che accompagna l’articolo di Bruno. Infatti, nella figura, che è tracciata al netto delle autocitazioni, non si vede traccia dell’impetuosa crescita scientifica italiana che tanto aveva impressionato gli estensori di un rapporto commissionato dal governo britannico [3]. Il sorpasso dell’Italia ai danni del Regno Unito appariva imminente e inevitabile se, come avevano fatto gli esperti di Elsevier, si esaminava il grafico senza depurarlo dalle autocitazioni.


Il dibattito sul “paradosso italiano”, iniziato nel 2018 con la pubblicazione di articoli [4-5] che avevano evidenziato un aumento delle autocitazioni italiane in alcuni settori scientifici, è esploso in seguito alla pubblicazione lo scorso settembre di un nostro articolo [6] su PLOS ONE, rivista scientifica sì autorevole, ma non “di area medica” come scrive Bruno. In quella sede abbiamo mostrato attraverso una comparazione internazionale che, a partire dagli anni 2010, il comportamento dei ricercatori italiani ha subito un brusco cambiamento.

I ricercatori italiani, infatti, hanno cominciato ad autocitarsi maggiormente rispetto ai loro colleghi stranieri, cosicché l’Italia ha cominciato a guadagnare posizioni nella classifica citazionale delle nazioni. Lungi dal muovere accuse ai ricercatori italiani, il nostro articolo rintraccia l’origine di questo cambiamento nell’adattamento dei ricercatori ai criteri di valutazione bibliometrici promossi da Anvur. Essendo divenuto indispensabile avere un certo numero di citazioni per far carriera, i ricercatori si sono adattati, autocitandosi o scambiandosi citazioni. La notizia del doping citazionale italiano ha fatto rapidamente il giro del mondo ed è stata ripresa non solo dai quotidiani nazionali [7-9], incluso il Sole 24 Ore [10], ma anche da importanti riviste scientifiche internazionali, quali Nature [11], Science [12] e Physics Today [13].

Il significato del nostro articolo è stato generalmente ben compreso all’estero, dove i commenti si sono concentrati sugli effetti distorsivi dei criteri di valutazione numerici in un ambito così delicato come quello della ricerca scientifica. Più complessa è stata invece l’accoglienza in Italia, dove è stato spesso frainteso, leggendolo, a torto, come un atto di accusa verso comportamenti scorretti dei singoli scienziati e dei gruppi di ricerca. Esemplare il commento di Le Monde [14] che ha puntato il dito non tanto sui ricercatori italiani, ma sull’asineria governamentale (“ânerie gouvernementale”) di chi ha concepito e varato regole destinate inevitabilmente a incentivare comportamenti opportunistici.

Scelte sbagliate, quelle italiane, che sono frutto di provincialismo e di ritardi scientifico-culturali che, duole dirlo, traspaiono anche dagli argomenti usati dall’Anvur. L’obiezione tecnica mossa al nostro indicatore di Inwardness, per esempio, fa leva sulla definizione di autocitazione da noi usata che però, guarda caso, è la stessa definizione usata per il calcolo del Field Weighted Citation Index (FWCI) mostrato nel grafico proposto da Anvur. Miccoli e Rumiati obiettano che l’Inwardness cresce anche nelle altre nazioni, ma come abbiamo spiegato su PLOS ONE, l’anomalia italiana non è tanto la crescita quanto la forte accelerazione della crescita in concomitanza con l’introduzione dei criteri bibliometrici citazionali. Sorprendente anche il commento sui ricercatori che operano nelle scienze umane e sociali. L’Anvur dovrebbe essere la prima a sapere che gran parte dei loro lavori non sono censiti nei database bibliometrici internazionali, ragion per cui il loro caso non è pertinente al dibattito sul doping citazionale. Desta infine perplessità un’agenzia di valutazione che stila un documento tecnico e lo sottopone a un quotidiano invece che alla comunità scientifica.

Dieci anni di riflessioni sui limiti e sui danni delle misurazioni numeriche – la San Francisco Declaration on Research Assessment [15], il Metric Tide britannico [16], il Manifesto di Leiden [17] sull’uso responsabile della bibliometria – sembrano passati invano per i vertici dell’agenzia di valutazione. Non solo: mentre si ostinano a minimizzare, forniscono, seppur inconsapevolmente, altre prove che evidenziano quanto illusorio sia stato il miracolo italiano, a fronte di massicci tagli di risorse e di personale, quelli sì del tutto reali. È ora di riaprire gli occhi e rimboccarsi le maniche.

[Questo post esce in ritardo rispetto agli eventi cui si riferisce. Fu inviato a suo tempo a IlSole24Ore. A seguito di reiterate


Note:

[1] A. Baccini, G. De Nicolao, E. Petrovich, Italy’s miracle is an illusion, Times Higher Education, https://digital.timeshighereducation.com/THE101019-N34ncq/html5/index.html

[2] E. Bruno, Autocitarsi non è un vizio italiano, Sole 24 Ore, 21 ottobre 2019, https://scuola24.ilsole24ore.com/art/universita-e-ricerca/2019-10-18/anvur-134947.php?uuid=ACqCb7s

[3] BIS, U. K. International Comparative Performance of the UK Research Base–2016. 2016, https://www.elsevier.com/research-intelligence/research-initiatives/beis2016

[4] F. Scarpa, V. Bianco, and L. A. Tagliafico, The Impact of the National Assessment Exercises on Self-Citation Rate and Publication Venue: An Empirical Investigation on the Engineering Academic Sector in Italy, Scientometrics 117, no. 2 (November 2018): 997–1022, https://doi.org/10.1007/s11192-018-2913-5

[5] M, Cattaneo M, Meoli M, Malighetti P. Self-citations as strategic response to the use of metrics for career decisions. Research Policy. 2019; 48(2):478–491. https://doi.org/10.1016/j.respol.2017.12.004

[6] A. Baccini, G. De Nicolao, E. Petrovich, Citation gaming induced by bibliometric evaluation: a country-level comparative analysis, PLOS ONE, 09.11.2019, https://doi.org/10.1371/journal.pone.0221212

[7] G. Stella I prof si citano da soli. Il Corriere della Sera,

https://www.corriere.it/cronache/19_settembre_11/i-professori-si-citano-soli-cosi-si-gonfia-ricerca-c471954a-d4cf-11e9-8dcf-5bb1c565a76e.shtml

[8] M. Esposito, Le autocitazioni dei prof italiani per scalare le classifiche, Il Mattino, https://www.cnr.it/rassegnastampa/19-09/190912/ADVNUX.tif

[9] V.Della Sala, Ricerca, le troppe autocitazioni gonfiano i risultati top dell’Italia, il Fatto Quotidiano, https://www.ilfattoquotidiano.it/in-edicola/articoli/2019/09/12/ricerca-le-troppe-autocitazioni-gonfiano-i-risultati-top-dellitalia/5447777/

[10] Alberto Magnani, Auto-citazioni, il «doping» della ricerca italiana, Il Sole 24 Ore, https://www.ilsole24ore.com/art/boom-auto-citazioni-studio-denuncia-doping-ricerca-italiana-ACnIPdj

[11] Richard Van Noorden Italy’s rise in research impact pinned on ‘citation doping’, Nature News, https://www.nature.com/articles/d41586-019-02725-y?fbclid=IwAR3cfJMU0gH0-JMqg6HMTuXdNH-QGGucJCyLKBoUbWz23izj2Tz8WC5LEBM

[12] G. Guglielmi,Clubby and ‘disturbing’ citation behavior by researchers in Italy has surged, Science Mag, https://www.sciencemag.org/news/2019/09/clubby-and-disturbing-citation-behavior-researchers-italy-has-surged

[13] D. Singh Chawla, Researchers in Italy are increasingly citing researchers in Italy, Physics Today, https://physicstoday.scitation.org/do/10.1063/PT.6.2.20190919a/full/

[14] S. Huet, Recherche scientifique : le faux miracle italien, Le Monde, https://www.lemonde.fr/blog/huet/2019/09/25/recherche-scientifique-le-faux-miracle-italien/

[15] San Francisco Declaration on Research Assessment (DORA), https://sfdora.org/

[16] The Metric Tide, https://responsiblemetrics.org/the-metric-tide/

[17] Leiden Manifesto for Research Metrics, http://www.leidenmanifesto.org/

Nessun commento:

Posta un commento