L'objectiu d'aquest document és aportar una visió clara i general del desenvolupament de les activitats d'avaluació associades a l'AGAUR i a les convocatòries que gestiona, tant pel que fa a les accions competitives de recerca, transferència i valorització del coneixement, com per a la millora del sistema universitari, que són finançades principalment per la Generalitat de Catalunya, així com per altres institucions de foment de la recerca de Catalunya i d'arreu.
Les activitats d'avaluació que es porten a terme des de l'AGAUR es refereixen, principalment, a la gestió de processos que permetin una valoració, per part de persones expertes i independents, basada en criteris públics.
El personal de l'AGAUR no avalua directament les propostes sinó que gestiona tot el procediment d'avaluació.
Reglament del sistema d'avaluació aprovat pel Consell de Direcció de l'AGAUR el 28 de gener de 2020
Dins un marc de gestió ràpida i eficaç dels fons públics que l'Agència vol aportar a totes les seves actuacions, els principis generals que regeixen les activitats d'avaluació són:
Els processos d'avaluació es basen en regles i procediments clarament descrits que es publiquen prèviament a les bases reguladores corresponents.
El resultat de l'avaluació de les propostes es farà arribar a les persones interessades.
Compromís amb la cerca d'accions que permetin la millora permanent en la gestió dels processos d'avaluació.
Els processos d'avaluació es basen exclusivament en els aspectes tècnics i el rigor científic, independentment de l'origen o la identitat dels sol·licitants.
Els processos d'avaluació s'hauran d'ajustar en proporcionalitat i en inversió a la naturalesa de la convocatòria avaluada.
S'ha de mantenir una estricta confidencialitat sobre qualsevol informació relacionada amb les propostes.
Les persones avaluadores són persones externes a l'AGAUR, de reconegut prestigi internacional en els seus àmbits, que garanteixen un coneixement tècnic especialitzat i general dels camps implicats en les propostes.
La selecció d'aquestes persones avaluadores es fa segons la seva trajectòria curricular científica recent.
Provenen de diferents camps científics, universitaris, industrials, etc., amb experiència en relació amb els temes i àmbits que s'han d'avaluar i reconegudes com a especialistes en la seva temàtica.
Les persones avaluadores han de tenir els coneixements adequats, un alt nivell d'experiència professional en recerca científica i les habilitats lingüístiques necessàries.
Si escau, altres habilitats com la transferència de tecnologia i innovació, la gestió o l'assessorament també podran ser sol·licitades.
Es procura que a l'equip de persones avaluadores hi hagi una representació diversa pel que fa al gènere, la procedència geogràfica, el tipus d'institució, la distribució per edats, etc.
La informació i els detalls de tot el grup de persones avaluadores es troben en una base de dades propietat de l'AGAUR, la finalitat de la qual és la seva gestió per a la realització de les avaluacions de les propostes presentades en el marc d'una convocatòria.
Aquesta base de dades es va actualitzant amb les noves incorporacions o les possibles baixes.
A la base de dades hi figura, com a mínim, un CV complet de cada persona i la informació de l'àrea o àmbit científic a què s'associa, així com les paraules clau que ha proporcionat.
L'AGAUR pot seleccionar com a persona avaluadora, si escau, qualsevol persona amb les capacitats i les aptituds necessàries, que no estigui prèviament inclosa a la base de dades abans descrita, i incloure-la posteriorment.
2.3 Persones coordinadores d'àmbit
Persones expertes de reconegut prestigi, que revisen i supervisen els processos d'avaluació de cada convocatòria.
El nomenament de les persones coordinadores d'àmbit el realitza el director o directora general de Recerca a partir d'una proposta de l'AGAUR que garanteixi els criteris de qualitat científica i coneixement del sistema necessaris per portar a terme aquesta tasca.
Les persones candidates a coordinar un àmbit hauran d'haver participat en processos d'avaluació en alguna entitat d'àmbit internacional.
Les persones coordinadores actuen com a tals durant un període de dos anys, que es pot ampliar fins a un màxim de cinc anys.
Les principals tasques i funcions d'aquesta figura són:
Les persones coordinadores d'àmbit tenen la possibilitat de revisar totes les avaluacions del seu àmbit.
També poden disposar de les puntuacions mitjanes atorgades per cada persona avaluadora.
2.4 Organització del procés d'avaluació
L'avaluació de les propostes sempre es porta a terme en funció del compliment dels criteris i requisits expressats a les bases reguladores i a la convocatòria corresponent, i no s'inicia mai abans de la revisió i de l'esmena o millora, si escau, de la documentació necessària per accedir a la fase d'avaluació.
Totes les sol·licituds que passen a la fase d'avaluació han estat revisades i compleixen els criteris d'elegibilitat establerts a les convocatòries.
Totes les propostes, en funció de les àrees de coneixement que assenyalin en la seva sol·licitud, s'inclouran dins un àmbit específic per poder ser facilitades a les persones avaluadores corresponents.
La relació d'àmbits estàndard i d'àrees de coneixement vinculades a cada àmbit està disponible i es pot consultar a la web de l'AGAUR.
Des de l'AGAUR es podran ajustar els processos d'avaluació a diferents distribucions d'àmbits i àrees de coneixement si les convocatòries ho requereixen.
Per a l'avaluació de propostes de transferència i valorització també es poden sol·licitar els àmbits d'aplicació i tenir-se en compte a l'hora d'assignar i de fer les classificacions corresponents.
L'AGAUR treballa per introduir paraules clau de manera estandarditzada com a mecanisme de classificació de les propostes i d'assignació de l'equip avaluador, sempre que sigui possible.
S'han de realitzar un mínim de dues avaluacions per a cada proposta.
En cas d'avaluacions divergents (diferència d'un 15% o més entre les dues puntuacions finals) es podrà fer una tercera avaluació.
2.5 Procés d'assignació de les sol·licituds
Les persones avaluadores es trien entre totes les possibles de la base de dades en funció de la seva àrea de coneixement o expertesa.
L'experiència en processos de valorització i transferència i els àmbits on apliquen les propostes també es tindrà en compte en les convocatòries que ho requereixin.
Aquesta tria té lloc mitjançant un procés de selecció aleatori que, alhora, assigna òptimament els expedients a cada persona avaluadora.
Aquest procés d'assignació es basa en un procediment informàtic que garanteix la transparència a tots nivells en l'assignació, i l'equilibri i l'homogeneïtat en la tasca d'avaluació, i que inclou també la representativitat diversa.
Addicionalment, el sistema té en compte els aspectes següents:
En l'assignació, mai una persona avaluadora d'una determinada institució avalua el personal investigador de la mateixa institució.
Si el procediment informàtic aleatori no assigna persones avaluadores a tots els expedients, o si es requereixen poques persones avaluadores, aquestes podran ser triades d'acord amb els criteris d'independència i expertesa, i amb la supervisió de personal coordinador en avaluació.
El personal gestor de l'AGAUR ha d'aportar a les persones avaluadores tota aquella informació complementària i necessària per portar a terme les seves tasques, en el moment d'iniciar el procés d'avaluació.
Les avaluacions es realitzen mitjançant una aplicació informàtica per internet que compleix els requeriments de seguretat i la tramitació de les declaracions corresponents.
La persona avaluadora pot accedir a l'expedient complet i a la fitxa d'avaluació que cal emplenar per a cada expedient, però només té accés als expedients assignats.
2.6 Conflicte d'interessos i confidencialitat
Totes les persones avaluadores proposades per actuar han estat revisades prèviament per confirmar que no formen part de cap sol·licitud presentada.
Les persones avaluadores cal que acceptin un full de declaracions previ a la seva intervenció que expressa que, en cas que detectin algun conflicte d'interès, ho notificaran a l'AGAUR i renunciaran a avaluar aquella proposta, i que es comprometen a mantenir la confidencialitat de tota la informació al seu abast durant el procés d'avaluació.
Si no signen aquest document, no se'ls permet l'accés als expedients assignats.
Mitjançant aquest full de declaracions les persones avaluadores autoritzen l'AGAUR a fer pública, periòdicament, la seva identitat de manera agregada.
Aquest full de declaracions és sempre vàlid mentre s'està treballant per a l'AGAUR.
Les persones sol·licitants poden demanar d'excloure persones avaluadores en relació amb l'avaluació de les seves propostes.
Els criteris d'avaluació han de ser públics i s'estableixen, prèviament, a les bases reguladores de les convocatòries o documents oficials que regulen l'atorgament d'ajuts de cada institució convocant.
En aquests documents s'han de concretar també les puntuacions o valors per a cada criteri.
Aquests criteris es distingeixen dels requisits mínims necessaris per a la presentació de la sol·licitud (criteris d'elegibilitat), que seran revisats pel personal gestor dels ajuts.
El personal d'avaluació només valora en funció dels criteris d'avaluació.
Els criteris d'avaluació i el pes o valor de cada un es reprodueixen en una fitxa d'avaluació, que han d'emplenar les persones avaluadores.
Per facilitar la comprensió de l'objecte dels ajuts i per aconseguir el màxim de coherència a l'hora d'aplicar els criteris per part dels avaluadors i les avaluadores que actuen individualment, es podran elaborar guies d'avaluació específiques.
2.8 Avaluació remota i panels d'avaluació
L'esquema general del procediment d'avaluació de l'AGAUR és el que prescriu aquest Reglament, i estableix les característiques generals que s'apliquen.
Tanmateix, en cada convocatòria d'ajuts o bases reguladores es poden especificar algunes singularitats que requereixin un procés més o menys llarg en funció de les fases que s'apliquin.
Avaluació remota de les sol·licituds
Cada sol·licitud serà avaluada per un mínim de dues persones expertes que fan, cadascuna, la seva valoració.
Aquesta modalitat és la que s'aplica en la majoria de convocatòries.
Aquestes persones expertes avaluen de forma remota els expedients assignats.
Ho fan de forma individual, separadament d'altres experts que poden examinar les mateixes propostes.
No discuteixen les propostes col·lectivament, i proporcionen les seves avaluacions a l'àrea d'avaluació de l'AGAUR utilitzant els criteris i les puntuacions descrites a la convocatòria.
El resultat de cada avaluació és una fitxa que queda recollida a l'aplicació d'avaluació, amb una valoració quantitativa i qualitativa dels criteris i una puntuació final, que té caràcter de document intern.
Creació d'un panel de persones avaluadores que s'encarregui de valorar les diferents propostes, sobre la base del consens, com a suport a la tasca de les persones coordinadores.
El panel d'avaluació treballa en diferents sessions conjuntament.
Es tracta d'una tècnica que pot ser més aplicable en aquelles convocatòries de temàtiques concretes, en convocatòries de projectes pluridisciplinars, de valorització i transferència o en aquelles en què el currículum del personal investigador o del grup de recerca tingui un pes específic molt rellevant.
També en aquelles en què hi ha un xifra molt baixa de sol·licituds o en convocatòries molt competitives que requereixen una doble fase d'avaluació.
El panel d'avaluació també pot complementar un peer review simple en aquelles convocatòries en què convingui una visió comparada de totes les sol·licituds.
Quan la convocatòria estableix una modalitat doble (remota i panel), ha d'especificar com s'estableix la puntuació definitiva que, habitualment serà la que acordi el panel d'avaluació.
El sistema de puntuació final de les avaluacions es basa en la suma dels diferents valors obtinguts a cada un dels blocs avaluats.
El total agregat s'expressa amb un valor comprès entre 0 i 7 (amb una dècima), en què cada valor té el significat següent:
Proposta deficient en tots els aspectes avaluats
Proposta no satisfactòria, amb nombroses deficiències en els diferents criteris valorats, que no garanteixen la seva viabilitat
Proposta regular, amb reserves respecte a alguns elements o criteris importants de la valoració i que poden dificultar la seva viabilitat
Proposta acceptable, tot i que amb alguna reserva.
No destaca especialment en cap dels aspectes avaluats però podria ser viable
Correcta en la majoria de criteris valorats, competitiva a escala nacional però sense aportacions significatives
Proposta molt bona, competitiva internacionalment i que aporta contribucions significatives dins el seu àmbit, de primera línia nacional
Proposta excel·lent, a l'avantguarda internacional i que garanteix un impacte destacat dins el seu àmbit
Aquestes definicions es concreten per a cada convocatòria integrant els criteris d'avaluació que defineixi.
Si escau, es podran utilitzar altres escales de puntuació.
Les convocatòries han de concretar l'escala de puntuació adoptada i n'han de definir els valors.
L'equip avaluador omple també, a part d'una valoració numèrica dels diferents blocs valorats, comentaris qualitatius que han de ser coherents amb la puntuació expressada.
La valoració qualitativa és obligatòria i es pot emprar per justificar als interessats les puntuacions obtingudes, sempre que convingui.
Les persones coordinadores d'àmbit revisen les avaluacions i el procés d'avaluació realitzat, i resolen o proposen solucions davant de possibles incidències en el procés; finalment assignen la puntuació final per a cada expedient.
Un cop finalitzat el procés d'avaluació, el resultat de l'avaluació científica s'incorpora a un informe elaborat per l'AGAUR a partir dels informes dels experts independents, que es podrà enviar mitjançant el correu electrònic facilitat per les persones sol·licitants.
Prèviament, els equips gestors dels ajuts podran notificar individualment la puntuació final de cada expedient.
Els comentaris i les puntuacions específiques de cada persona avaluadora que ha participat en la fase d'avaluació individual no han de ser necessàriament convergents.
El peer review implica que les persones avaluadores són expertes, però poden haver desenvolupat la seva carrera en entorns molt diferents.
Poden fer èmfasi en aspectes diversos, destacar més o menys alguns aspectes, i fer propostes de millora d'acord amb el seu criteri expert.
Això no comporta, necessàriament, l'existència de contradiccions que s'hagin d'esmenar ni es pot considerar un error del procediment.
2.11 Procediment de revisió de l'avaluació
Les persones sol·licitants podran demanar la revisió de l'avaluació si consideren que els procediments d'avaluació pertinents no s'han aplicat correctament a les seves propostes.
La revisió de l'avaluació concerneix únicament els aspectes de procediment de l'avaluació, i no les valoracions de mèrits que han fet les persones avaluadores expertes, sempre que no es detecti un error explícit en el tractament de la informació avaluada.
La revisió de l'avaluació no comportarà el retard del procés de selecció per a les propostes que no siguin objecte de revisió.
Les dades generals referents als processos d'avaluació que s'han desenvolupat durant un any es publiquen a la pàgina web de l'AGAUR a principis de l'any següent.
2.12 Esquema general del procés d'avaluació
L'activitat de les persones avaluadores i coordinadores es retribueix d'acord amb les tarifes que aprova el Consell de Direcció de l'AGAUR.
La taula de tarifes es publica a la pàgina web de l'AGAUR.
Quan es requereix un procés d'avaluació que, per les seves característiques i complexitat, implica un volum més gran de l'habitual de dedicació, es podrà revisar la tarifa, d'acord amb la tasca realitzada, i a proposta de la direcció de l'AGAUR.
El català és la llengua d'ús normal de la institució.
L'AGAUR pot establir en les convocatòries que convingui la possibilitat o la recomanació de presentar també la proposta en anglès.
La introducció sistemàtica de la llengua anglesa a les sol·licituds permet afavorir un procés d'avaluació més externalitzat, que compti amb la participació de persones avaluadores internacionals que se seleccionaran amb els procediments esmentats anteriorment.
Aquest procediment és especialment indicat per a convocatòries que, a més de les fites científiques, van també adreçades a la internacionalització del sistema de ciència i tecnologia de Catalunya.
Totes les aplicacions informàtiques i les instruccions que s'adrecin a les persones avaluadores estaran també disponibles en llengua anglesa per facilitar la seva tasca.
En la tipologia d'ajuts que ho requereixin, s'ha d'assegurar el compliment dels estàndards ètics, d'acord amb les normatives establertes.
L'AGAUR externalitza en organismes que ja han desenvolupat una expertesa i prestigi en aquests requeriments de la recerca, el control expert ètic de les propostes i assumeix les decisions de la Comissió d'experimentació animal (CEA).
Els noms de les persones avaluadores de l'AGAUR s'han de publicar de manera agregada al web de l'Agència anualment, previ consentiment d'aquestes, com a mesura de transparència.
Pel que fa als processos d'avaluació de convocatòries amb un elevat nombre de sol·licituds, el nom de les persones avaluadores d'aquesta convocatòria s'ha de publicar de forma agregada.
No s'han de fer públics els noms de les persones avaluadores que s'hagin assignat a cada proposta individual.
L'avaluació és confidencial i anònima, i mai s'ha de facilitar a les persones sol·licitants el nom de les persones que les han avaluat.
Així mateix, també s'ha de publicar de manera sistemàtica al web la identitat de les persones coordinadores d'àmbit, que actuen durant un període d'entre dos i cinc anys, i les seves tasques.
L'avaluació general de les persones avaluadores que actuen per encàrrec de l'AGAUR es porta a terme a través de mecanismes de revisió i seguiment de la seva tasca, tant des de l'àmbit tècnic com des del científic.
Per aquesta darrera revisió, es compta també amb l'assessorament i l'avaluació que les persones coordinadores d'àmbit emeten, tant a través de la valoració que poden efectuar de cada persona avaluadora a l'aplicació informàtica, com amb les valoracions generals que poden manifestar mitjançant els diferents mecanismes que l'AGAUR creï per assolir aquest objectiu.
Periòdicament, l'AGAUR pot encarregar avaluacions externes dels seus procediments d'avaluació, o presentar-los a programes competitius perquè siguin avaluats, amb l'objectiu de millorar el procés d'avaluació i adaptar-lo als estàndards internacionals.
Així mateix, cada any s'efectuen auditories internes i externes dutes a terme per una entitat certificadora independent, a tot el sistema d'avaluació i selecció de persones avaluadores, d'acord amb els requisits de la norma de l'ISO 9001, relativa al sistema de gestió de la qualitat.
L'AGAUR, com a agència de gestió i avaluació, pot establir contactes i propostes de col·laboració amb altres institucions dedicades a l'avaluació universitària, de la recerca i la innovació, tant estatals com internacionals.
Aquesta col·laboració ha de servir per consensuar mecanismes, procediments o criteris, si convé, o per col·laborar en totes aquelles qüestions que permetin millorar el sistema d'avaluació vigent.
La col·laboració o coordinació es podrà fer palesa mitjançant la creació i participació en espais de debat, l'establiment de convenis entre institucions, etc.
L'AGAUR pot atendre les necessitats d'institucions de dins i fora de Catalunya en matèria d'avaluació de la recerca, la qualitat docent i la innovació.
Els encàrrecs externs hauran de cobrir les despeses que generi el procés avaluat.
Hauran de seguir el procediment estàndard de l'AGAUR i, en cas que s'encarregui alguna acció extra o que l'avaluació comporti alguna dificultat no contemplada, s'haurà de preveure en el pressupost i acordar-la amb el director executiu de l'AGAUR.
L'AGAUR està compromesa amb l'objectiu d'evitar qualsevol biaix de gènere en els processos d'avaluació.
La base de dades es revisarà periòdicament per tal d'incorporar-hi més dones avaluadores.
Així mateix, en els processos d'avaluació, es vetlla per tal d'aconseguir una participació equilibrada i intentar que mai sigui inferior al 40%.
La revisió de les possibles mesures, criteris o accions que afavoreixin la igualtat de gènere en l'àmbit de l'avaluació científica es treballa constantment, entre altres, amb la participació de l'AGAUR a la Comissió Dones i Ciència del Consell Interuniversitari de Catalunya.