Dimarts passat 21/4/2009 vaig assistir a l’International Workshop on University Web Rankings 2009 organitzat per Webometrics.info, de Cybermetricslab, del Centro de Ciencias Humanas y Sociales del CSIC, a Madrid (per cer, un edifici molt nou!). Hi havia uns 40 assistents, molts d’ells estrangers, i no pas només europeus.
Al matí va haver-hi xerrades, i a la tarda una interessant sessió de cerques a Internet, on vaig descobrir coses que francament no sabia, des de dieferents datacenters de Google fins a la cerca per dominis o fitxers determinats. De fet, així és com la gent del Cybermetrics Lab fa el seu rànking.
He de confessar que el rànking de Webometrics m’inspirava, i encara me n’inspira una mica, reticències, però que quan hi estàs en contacte directe moltes despareixen. La feina d’Aguillo és prou bona.
El programa de la jornada era ben atractiu, que ja hi havia gent del THES, de Leiden, de Scimago i els propis organitzadors:
9:00-9:30
Reception and registration
9:30-13:00
Rankings of universities: Worldwide experiences
The Scimago World Ranking
Felix de Moya (Scimago Group-CSIC)
The Leiden Ranking
Martijn Visser (Leiden University)
The Ranking Web
Isidro F. Aguillo (CybermetricsLab-CSIC)
The QS-THE Ranking
Ben Sowter (QS)
Discussion
13:30-15:30
Lunch (not provided)
15:30-18:00
Web indicators: A methodological approach
Practical session
Isidro F. Aguillo (CybermetricsLab-CSIC)
Proporciona aquí algunes idees novedoses en relació a cadascuna de les quatre presentacions de rànkings.
Una idea interessant que va sortir és que l’avaluació de les universitats és multidimensional, segons el grup de Scimago, que fa servir sobre tot les cites a publicacions. En una primera generació, hi havia une squema senzill per comptar cites. En la segona generació en la què estan treballant, es sopesen i normalitzen les citacions. Aquest mateix grup va esmentar tres coses clau en l’avaluació universitària: Producció Visibilitat i Impacte, i Col.laboració. Aviat podran segmentar l’estudi: per departament, hospital o grup, si està adientment especificat a la producció científica.
Per una altra part, des de la Universitat de Leiden es fan una mica diferents els rànkings, fan referència a la potència de la recerca, i només estudien les 500 universitats del món. Aquest rànking inclou la producció i les cites rebudes, però també el número de Highly Cited Papers dels Essential Science Indicators. O sigui: producció, impacte/influència, prominència i autoritat. El sinteressa força la producció biomèdia, i van senyalar les dificultats de classificar la recerca d’hospitals vinculats a universitats.
El ponent de Leiden va senyalar que, a Europa, el fet de tenir una gran universitat (concentració de la recerca) no indica pas millors resultats.
EL Cybermetrics Lab va remarcar que el rànking de Shanghai, amb independència de la seva qualitat, va servir per catalitzar altres rànkings i per fer-se adonar de la importància de fer-ne. Va destacar que ells fan el rànking només pel que troben al web perquè és fàcil, barat i totes les universitats hi poden participar. La seva frase és “Web publish or perish“.
Aguillo va dir que les universitats catalanes tenen un problema pel fet de tenir varis dominis internet. Va demanar que en féssin servir només un, fos quin fos. Evidentment hi ha una dificultat amb els webs que no són en anglès, i encara més als japonesos i xinesos. Va dir que el rànking del THES afavoreix els anglesos (així poden captar estudiants de la Xina), i que el de Leiden afavoreix els americans.
Aguillo diu que per valorar una universitat via web caldrà també mirar les pàgines personals que té, la seva tercerca missió, l’esenyament a distància, la web 2.0, o el compromís amb la comunitat. Està buscant indicadors per fer-ho. Vol avaluar més enllà de la recerca. De fet, ells estan interessats en el mètode d’avaluació. Els rànkings en són una conseqüència, encara que sigui allò que atrau més la comunitat.
Un dels indicadors del grup de Cybermetrics Lab és el número de pàgines externes que fan un vincle a Pàgines universitàries. Aguillo va dir que volia excloure les referències a pàgines universitàries provinents de dominis .com i .org. No sembla que això sigui gaire correcte, sobretot en el segon cas.
Finalment, es va presentar el rànking del THES (en la nova forma de QS-THES, començat a finals de 2008). Volen avaluar la qualitat de la recerca, la qualitat de la docència, l’empleabilitat dels graduats, i la internacionalització. Em semblen quatre bons indicadors. En bona part fan servir el sistema de peer review. Els resultats es trobaran al seu web de topuniversities.com.
De fet, volen anar a rànkings personalitzats. Altres indicadors podrien ser la satisfacció dels estudiants, l’avaluació de la qualitat de la docència, la col.laboració entre centres, l’intercanvi de professorat, patents i llibres, i fins i tot la tercera missió de la Universitat.
El THES va senyalar la diferència entre ranking i rating (ordenació vs qualificació o atorgament d’una etiqueta). Cal donar més importància a l’especialització. Així doncs, en un nou rànking donar impottància a la infrastructura, a l’especialització, inerncionalització, empleabilitat, qualitat de la docència i qualitat de la recerca.
La tarda va consistir en fer pràctiques (per a mí coses ben noves) sobre els procediments que Cybermetrics fa servir per fer el seu rànking de webometria. Com a curiositat, i en discutir el fet que les universitats catalanes tenen algunes tres dominis diferents, vaig mirar els documents a Google de la UdG:
udg.es 36.400
udg.cat 201
udg.edu 560.000
O sigui que pràcticament tot està sota el domini principal udg.edu i fer servir els altres dos no ens afecta significativament.
Aguillo va esmentar que Google Scholar tracta molt millor les Ciències Socials i Humanitats que el propi Google. Caldrà tenir-ho en compte, ja que aquesta és una qüestió sempre controvertida.
Després hi va haver pràctiques senzilles de posicionament, visibilitat i mineria de dades. Tot un món per descobrir. Una jornada ben interessant.