mercoledì 20 luglio 2011

Ancora sul demenziale h-index


L’h-index è un parametro ideato nel 2005 da J. Hirsch della California University per misurare la qualità di un ricercatore scientifico. Esso è definito come il più grande n per cui il ricercatore ha pubblicato n lavori ognuno dei quali ha ottenuto n citazioni. Se ne parla molto in questi giorni in Italia perché la nuova Agenzia per la valutazione dell’università e della ricerca (Anvur) l’ha proposto come un criterio base per i settori “scientifici” concedendo a quelli “umanistici” metri di valutazione differenziati che stanno suscitando discussioni roventi. L’h-index ha sollevato molte critiche perché va incontro a paradossi ridicoli. Ad esempio, un ricercatore con 10 pubblicazioni e 10 citazioni ciascuna ha lo stesso h-index di uno che oltre a queste ne ha altre 90 con 9 citazioni ciascuna, oppure ne ha 10 con 100 citazioni…Ci si è allora sbizzarriti a correggerlo con il g-index (il più grande n per cui le n pubblicazioni più citate hanno un totale di almeno n citazioni al quadrato) e altri indici ancor più sofisticati. Tutti hanno controindicazioni e, in fin dei conti, l’h-indice continua ad essere il più gettonato, tanto che confrontare gli h-indici è diventato quasi un gioco di società.
Giocando con uno dei programmi di calcolo dell’h-index si possono ottenere risultati talora esilaranti, buoni per dimenticare la calura delle serata estive. I dati possono variare secondo alcune specificazioni ma di solito di pochi punti in più o in meno, in modo omogeneo. Così si può trovare in vetta il neuro scienziato Jean-Pierre Changeux con un prestigioso 97 che umilia il 78 di Einstein e il 63 di von Neumann. Certo Changeux è uno scienziato di fama, ma insomma… Ma la sorpresa si fa grande constatando che lo scopritore dei neuroni a specchio Giacomo Rizzolatti calpesta con un vigoroso 73 il matematico Andrew Wiles, che ha risolto uno dei problemi matematici più difficili di tutti i tempi, la dimostrazione del teorema di Fermat, e che è inchiodato a un 32, per condivide con un’altra celebrità matematica come Enrico Bombieri. Entrambi sfigurano di fronte a… Alberto Alesina (92) e Francesco Giavazzi (43), per non dire di Umberto Veronesi (60). Un velo pietoso va steso sugli “umanisti”: persino un decano del settore come Tullio Gregory non riesce ad andare oltre 20 e il povero Emanuele Severino arranca con 14. Quanto ai commissari Anvur, il presidente Fantoni, in quanto fisico sfigura con un 23 davanti ai suoi colleghi medici o ingegneri (tutti sopra i 30) mentre altri commissari (Kostoris, Ribolzi) non raggiungono il 10.
Cosa concluderne? Che si tratta di un’emerita buffonata? Si e no. Certamente sì, nel merito. Purtroppo no, per la logica che è sottesa e che ridisegna una gerarchia della scienza che ne stravolge l’immagine consolidata, pensandola come una piramide al vertice della quale sono economisti, medici, genetisti e tecnologi, al disotto gli scienziati “di base”, ruderi del passato, e poi il proletariato umanista da chiudere in riserva indiana.
Al solito si dirà che attaccare la bibliometria è non volere la valutazione. Sciocchezze. Personalità al vertice della ricerca hanno mostrato che la bibliometria corrompe l’etica scientifica. Per dirla con la “legge di Campbell”: «più un indicatore quantitativo sociale è usato per prendere decisioni sociali vincolanti, più è soggetto alle pressioni di corruzione da parte degli agenti coinvolti, per cui l’indicatore corromperà il fenomeno che intendeva monitorare». Come ha bene chiarito un documento del Consiglio Universitario Nazionale (CUN) occorre fissare una soglia minima (numero di lavori in un dato periodo) e poi il giudizio deve essere di merito: «in ogni caso nessun parametro quantitativo può impedire un positivo giudizio di merito a fronte di risultati di assoluto valore la cui peculiarità può essere positivamente attestata». Altrimenti finiremo col prendere sul serio che Alesina sia tre volte superiore a Wiles, al che non crede neppure l’interessato.
(Il Foglio, 19 luglio 2011)

13 commenti:

Lucio ha detto...

Un commento che m'era venuto in mente gia' a proposito di Brad Pitt.
Certo che l'h-index e' quantomeno farraginoso e fuorviante. Volendo ricorrere alla bibliometria forse si possono trovare criteri migliori.
Una cosa pero' mi sento di dire: va usato su gruppi omogenei, altrimenti e' privo di significato. Vanno confrontati fisici con fisici, matematici con matematici, biologi con biologi, attori con attori (a proposito: non capisco perche' Brad Pitt ha un h-index. Cos'ha pubblicato?). Non ha senso confrontare Brad Pitt con il rettore della Statale di Milano.
Cordialmente,
Lucio Demeio

MaurodellaVIA ha detto...

Sono totalmente in disaccordo di quel che dice e la sfido sui numeri, non sulle chiacchere.

Cortesemente ed accademicamente yours

Mauro Degli esposti
Via-academy.org

Giorgio Israel ha detto...

Ma cosa vuole sfidare? Prima bisogna ragionare, poi sfidare. Provi prima a sfidare la International Mathematical Union o Douglas Arnold, poi si ripresenti.

Gianfranco Massi ha detto...

Scusate, ma perché non si verifica questo h-index sui dati storici della scienza? Ad esempio che valore verrebbe attribuito a Cantor o a Galois ripetto a, non so, per es. George Peacok o al conte di Buffon?
Non sto scherzando:l'indice di valutazione è un modello, si o no? E allora deve essere verificato sui dati storici.

broncobilly ha detto...

Unico dubbio: mi chiedo se sia corretto comparare autori di epoche e di discipline differenti.

Sembra all' origine dei paradossi più evidenti.

Giorgio Israel ha detto...

Osservazione sacrosanta! Ma e' proprio l'h-index che lo fa....

hybridslinky ha detto...

Io applicherei la proposta di Gianfranco Massi in maniera sistematica al maggior numero possibile di scienziati in un dato periodo, ad esempio per i fisici si potrebbe prendere l'intervallo 1873-1905, ovvero dalla pubblicazione di A Treatise on Electricity and Magnetism di Maxwell alla Relatività Ristretta di Einstein, e confrontare se le valutazioni date dall'h-index (od altri indici) coincidano poi con i reali sviluppi della fisica e la reale rilevanza storica delle pubblicazioni.
Ci sarà spero in qualche università un'equipe di statistici interessata a svolgere realmente una ricerca ad ampio raggio di questo genere.

Francesco Santoni

Giorgio Israel ha detto...

Ma questo non può essere fatto da statistici. Occorrono competenze di scienza e storia della scienza. Altrimenti ricadiamo nell'errore tecnocratico. Che ne sa uno statistico del valore di Lagrange nella storia della fisica-matematica?

hybridslinky ha detto...

Ma certo, sono d'accordo. In fondo ho solo esposto in maniera estremamente sintetica una proposta di ricerca che nella realtà sarebbe parecchio complicata e che andrebbe progettata con cura. Ovviamente per fare un lavoro del genere occorre una collaborazione di esperti dei vari campi. Gli statistici ovviamente ci vogliono, ma certamente che lavorino insieme a persone che conoscano in dettaglio, ad esempio, gli sviluppi della fisica nel periodo che ho indicato (tutta la fisica del periodo, comprese quindi anche le strade che si sono rivelate poi essere dei vicoli ciechi).

Francesco Santoni

Gianfranco Massi ha detto...

Verissimo! Il Ministero interessato liquidi i consulenti incapaci e costituisca un team di professori in Storia delle Scienze a cui deleghi la responsabilità di una proposta seria di valutazione. Naturalmente retribuendo l'impegno, che sarà certamente più attinente allo scopo di quanto prodotto dai consulenti.

Gianfranco Massi ha detto...

Nello script precedente ho parlato di “modalità” di valutazione. Ora che ho terminato la lettura del saggio sulla “natura degli oggetti matematici” di G. Israel, sono vieppiù convinto che l’esito di quella commissione ministeriale – qualora il Ministro decida di a vararla – non potrà mai essere né un indice né un qualsivoglia “oggetto matematico” propriamente detto. E rimango altrettanto convinto che quella che ho chiamata “modalità di valutazione” debba essere formulata da accademici, tutti rigorosamente operativi

Angus Walters ha detto...

"Misurare la qualità", come si vorrebbe fare con l'h-index, è una contraddizione di termini, e quindi un tipico esempio di pseudo-scienza. Per misurare abbisognano dati "discreti", il che non è possibile fare qualitativamente. Anche qui sono in pieno accordo con il professore.

Checché se ne dica, gli scienziati avranno sempre bisogno dei filosofi.

piero ha detto...

Che l'H-INDEX avesse problemi era stato già rilevato da tempo. Ma allora cosa proporre in alternativa?
Kurt Godel ha pubblicato solo 5 articoli in tutta la sua carriera ma ha rivoluzionato una disciplina. Per contro resto impressionato dal numero, dalla qualità e dai diversi ambiti degli articoli di Terence Tao Medaglia Fiels. Resta quindi una domanda:che metro di valutazione possiamo usare per gli scienziati? Posto anche che, secondo me, non sarebbe una bestemmia applicare diversi criteri a diverse discipline?
Piero