# Culture Qualité et Evaluation de la recherche

Jacques Lanarès, Vice Recteur, Valorisation et Qualité, Université de Lausanne

En tant que Vice Recteur en charge de la Valorisation et de la Qualité, je suis particulièrement intéressé à comprendre ce que représente du point de vue d'une institution l'introduction de démarches Qualité, en particulier dans le domaine de la recherche. C'est donc principalement dans cette perspective de responsable de la gouvernance d'une Université que je situerai mon propos en développant les éléments qui constituent le contexte de la qualité, puis les questions de définition de la qualité, en particulier de la recherche pour aboutir à proposer le développement d'une culture qualité.

"La fin de la Qualité?". C'est sous ce titre que la très sérieuse Society for Research into Higher Education avait présenté le thème de sa conférence en mai 2001.

Ce titre peut paraître surprenant à une époque où la notion de qualité connaît un développement important, soutenu par le déploiement du processus de Bologne en Europe. Au-delà du caractère un peu provocateur de ce titre, il est intéressant de se pencher sur les questions sous-jacentes et, en particulier, les trois questions principales qui ont été abordées lors de cette manifestation:

* la bureaucratisation de l'évaluation de la qualité est-elle favorable à l'amélioration de la qualité?

* l'évaluation de la qualité renforcerait-elle un pure logique de marché?

* les standards de qualité sont-ils compatibles avec l'augmentation des étudiants?

Ces questions sont intéressantes parce qu'elles mettent en évidence des craintes et des risques sous-jacents à l'introduction de démarches qualité dans l'enseignement supérieur. Elles indiquent que la qualité n'est pas nécessairement connotée positivement. Elles illustrent ce que l'on pourrait qualifier en quelque sorte de paradoxe de la qualité. En effet, la qualité est par essence quelque chose que l'on recherche. D'ailleurs, la préoccupation de la qualité n'est pas neuve et si l'on s'intéresse, par exemple, à des grands «enseignants» comme Socrate, Platon ou Aristote, il apparaît clairement qu'il s'agit d'une préoccupation millénaire et qui a animé les enseignants jusqu'à nos jours. Les universités également ont des ambitions de qualité et l'on a rarement entendu une université clamer qu'elle n'avait pas d'intérêt pour la qualité et qu'elle visait plutôt la médiocrité.

Pourtant, bien que la qualité soit apriori quelque chose de désirable le constat, étayé par plusieurs recherches, est que les réactions à l'introduction de démarches qualité dans les universités peuvent être négatives. Il est clair que les réactions portent surtout sur les mécanismes d'assurance qualité mais pas seulement et la notion de qualité elle-même fait débat. Il ne s'agit pas d'analyser, ici, en détail l'ensemble des raisons sous-jacentes à ces réactions, mais d'en évoquer rapidement deux pour souligner l'importance de développer une culture qualité à l'université. La première de ces raisons concerne la relation entre le coût important de ces démarches, quelle que soit l'approche envisagée, et les résultats obtenus. En effet, un certain nombre d'évidences suggèrent que le résultat obtenu ne correspond pas nécessairement aux attentes ni à l'amélioration réelle de la qualité des activités. La deuxième raison est que les questions de qualité mettent à jour des divergences quant aux visions de l'enseignement supérieur et des valeurs à privilégier.

Ces observations conduisent à deux conclusions. La première est que l'introduction de mécanismes d'assurance qualité peut susciter des résistance significatives, par conséquent le processus de mise en place est très important. La deuxième est qu'il n'est pas exclu que l'introduction de processus longs et coûteux dans une institution soit sans effet réel sur la qualité. Fondamentalement, ce risque est le point de départ d'une réflexion sur la notion de culture qualité. En effet, l'enjeu n'est pas seulement de construire un système méthodologiquement solide mais aussi de l'intégrer dans la culture institutionnelle. La notion de culture qualité renvoie au concept de culture organisationnelle. Largement mise en avant par l'EUA, la notion de culture qualité a été choisie pour transmettre la notion de qualité vue comme valeur partagée et responsabilité collective par tous les membres de l'institution, y
compris les étudiants et le personnel administratif. Il ne s'agit donc pas de réserver la qualité aux seuls spécialistes de la méthodologie. La notion de culture qualité souligne la nécessité d'enraciner ces notions, leur acceptation, leur mise en pratique. En d'autres termes, pour nous développer une culture qualité c'est parvenir à une situation où tous les membres de la communauté voient la pertinence des démarches réalisées et s'impliquent dans leur réalisation.

## Le contexte de la qualité

Les forces qui poussent au développement de mécanismes d'assurance qualité sont nombreuses et variés et pour en mentionner quelques unes : le manque de ressources, les exigences d'efficacité des services publics, les exigences de comparabilité pour la mobilité, le développement d'un marché de l'enseignement supérieur avec pour corollaire une exacerbation de la concurrence entre université, le développement de l'autonomie des établissements, etc. Dans la mesure où ces forces peuvent être divergentes, les systèmes qualités sont quasi inévitablement des systèmes en tensions qui doivent répondre à des attentes différentes ainsi que cela sera illustré. Ceci n'est pas sans lien avec les paradoxes de la qualité.

## Les paradoxes de la qualité

Il y a deux paradoxes de la qualité que nous souhaitons souligner dans cette conférence. Le premier est que bien que la qualité soit apriori désirable, elle n'est pas nécessairement désirée et nous préciserons les conséquences de ce décalage sur l'évaluation. Le deuxième paradoxe est que bien qu'il s'agisse d'une notion commune, comprise de tout le monde, ce mot unique peut faire l'objet de définitions, au moins implicites, très différentes selon en particulier l'influence, plus ou moins marquée que les processus Qualité utilisés en entreprise ont sur nos conceptions. Nous ferons allusions à la prise en compte de phénomènes complexes ou compliqués (rétablissement de relations de causalité) dans ces compréhensions de la qualité. Il est clairement établi maintenant qu'il ne peut pas y avoir d'accord sur une définition unique et universelle de la qualité dans l'enseignement supérieur. Nous présenterons brièvement quelques définitions classiques et leur application dans le domaine de la recherche.

Nous aborderons la question de la diversité des définitions de la qualité de la recherche à partir de l'analyse des politiques et des pratiques de différents organismes. (RAE, ERC, CNER). Cette analyse illustre le fait que la notion de qualité de la recherche recouvre plusieurs dimensions et est très dépendante des contextes et des intentions.

## La qualité une valeur et un processus

Une des difficultés lorsque l'on aborde la notion de qualité avec des acteurs de la communauté académique, notamment les enseignants-chercheurs qui sont souvent peu versés dans les questions d'assurance qualité, est la superposition entre deux notions attachées à la qualité, à savoir la valeur et le processus. Nous présenterons de façon schématique la nécessité des liens entre les deux facettes de la qualité, en particulier dans le cas de la recherche. Ceci nous amènera à aborder la questions des choix à faire et l'importance de la cohérence et du changement culturel.

## Au delà d'un système, une culture

L'ambition que l'on peut avoir pour les hautes écoles n'est pas simplement de mettre en place une démarche d'assurance qualité (une méthodologie), mais bien d'enraciner une culture qualité au sein de l'institution, c'est-à-dire de parvenir à ce que chacun perçoive le sens et l'intérêt de ces démarches et s'implique dans leur réalisation.

Ce qui nous ramène à la notion de Culture Qualité.

La notion de culture renvoie à la notion de valeur puisque, fondamentalement, une culture organisationnelle peut se résumer à un certain nombre de valeurs qui vont s'actualiser à travers des comportements, des attitudes, des décisions, etc. Développer une culture qualité c'est donc faire évoluer la culture organisationnelle d'une part et c'est également constituer
une sous-culture faite de quelques valeurs en relation avec la qualité (par exemple, fitness for purpose ; responsabilité; participation; réflexivité; créativité)

L'essentiel pour faire évoluer une culture ne réside pas dans les valeurs déclarées mais dans la concrétisation de ces valeurs. En effet, l'essentiel de nos décisions, de nos comportements etc., reflètent nos valeurs prioritaires. C'est pourquoi une question qui peut paraître naïve est très utile au développement de la culture qualité. Elle consiste à se demander "Comment nous prouvons-nous à nous-même et aux autres que ces valeurs sont prioritaires pour nous? Quels sont nos comportements, nos décisions, nos attitudes, qui permettront aux personnes, aussi bien internes qu'externes les personnes de faire cette déduction?".

J'illustrerai brièvement la façon dont nous avons essayé de concrétiser ces valeurs dans notre approche qualité à l'université de Lausanne.

## La difficulté d'un consensus

Lorsque l'on développe un système qualité à partir de la culture existante, ce qui a priori est plus favorable, l'institution peut être confrontée à des unités qui ont des cultures qualité différentes. Cela peut être dû à leur fonctionnement et leur relation à la qualité. Par exemple les ingénieurs et les personnes qui travaillent dans les laboratoires sont influencées par une compréhension linéaire des processus, la mise en évidence de relations de cause à effet et des liens avec les approches industrielles de la qualité. Les sciences humaines et sociales sont davantage orientées vers une compréhension complexe des mécanismes impliquant plusieurs variables et leurs interactions, il y a une compréhension plus systémique des processus. Par conséquent, des backgrounds différents conduisent à des approches différentes de la qualité et de la culture qualité. Pour développer une culture qualité commune à l'ensemble de l'université, il va falloir consacrer du temps à la prise de conscience de ces différences et à des échanges.

Par ailleurs, le développement d'une culture qualité suppose de porter une attention particulière au processus d'évaluation. En effet, développer une culture qualité qui soutient la créativité et une amélioration réelle suppose que l'on construise une approche positive de l'évaluation. Pour diverses raisons, les processus d'évaluation sont souvent connotés émotionnellement et la conséquence est que cela introduit des relations paternalistes et de pouvoirs dans les processus d'évaluation qui ne sont pas favorables. Pour réduire l'anxiété liée au processus d'évaluation et entretenir des relations plus « adultes » dans les processus d'évaluation, il est très important d'explicitier préalablement les règles du jeu et que chaque personne qui s'implique dans une évaluation soit au clair sur les réponses à des questions telles que "Quel est le processus, quel est son but? Qui fait quoi dans ce processus? Quelles sont les attentes? Qui décide quoi, sur quelles bases? Quelles sont les conséquences possibles du processus? etc. Cela peut paraître trivial et pourtant l'expérience montre les réponses à ces questions sont loin d'être claires dans de nombreux cas. Un autre aspect important de la démarche est d'élargir le recours aux feedbacks constructifs.

En résumé, un système qui favorise le développement d'une qualité culture repose sur un ensemble de mesures qui sont cohérentes à différents niveaux ainsi que cela est illustré sur le schéma présenté. Le point de départ est un ensemble cohérent de valeurs qui sont concrétisées à travers les principes, les modalités du concept qualité. Ces principes et modalités sont concrétisés à travers les pratiques individuelles et collectives, c'est ce que nous avons illustré précédemment.

Mais il ne s'agit pas d'ignorer non plus le processus qui est l'autre versant de la qualité. Dans un contexte où il n'est pas possible de se référer à des définitions absolues ou universelles de la qualité, il nous apparaît que le plus pertinent pour améliorer la qualité de la recherche est d'encourager un processus réflexif qui s'appuie sur une définition, une compréhension des qualités visées pour la recherche dans ce contexte spécifique et en fonction de cette explicitation définit les objectifs, les indicateurs qualitatifs ou quantitatifs de réussite, analyse les résultats obtenus et les changements à apporter. Cette démarche réfléxive n'est pas significativement différente de démarches qualité classiques mais le défi est d'arriver à ce que chacun s'approprie ces valeurs et ces processus
## Conclusion

L'évaluation de la recherche est évidemment fortement tributaire de l'orientation qualité choisie et des définitions y afférant. Il y donc un enjeu majeur de cohérence. Mais l'enjeu est plus large si l'on veut améliorer en profondeur la qualité de la recherche. Il est alors important de viser l'enracinement d'une culture qualité.

Nous considérons que la culture qualité est une sub-culture de la culture organisationnelle sous-tendue par plusieurs valeurs. Une question décisive est de créer ou de développer une culture qualité en explicitant ces valeurs et priorités et en leur permettant de percoler à travers le concept qualité et les modalités jusqu'aux pratiques individuelles et collectives. Ceci suppose un travail intensif de conviction dans la mesure où les valeurs sont des croyances et que les changements culturels impliquent à la fois des processus top-down et bottom-up. Un proverbe arabe bien connu dit que le diable est dans les détails ce qui suggère que les anges gardiens pourraient y être aussi. Nous sommes fermement convaincus qu'un facteur-clé dans le développement d'une culture qualité est dans les détails, c'est-à-dire dans la cohérence et la concrétisation des valeurs centrales de la culture qualité institutionnelle dans tous les aspects du processus d'assurance qualité. C'est évidemment plus vite dit que fait et exige des efforts constants parce que les systèmes qualité sont des systèmes en tension qui exigent des régulations dynamiques. Le développement d'une culture qualité non seulement prend du temps, mais s'inscrit également dans la durée comme un processus plus ou moins perpétuel, mais cet effort en vaut la peine dans la mesure où des mécanismes d'assurance qualité sans culture qualité adéquate sont, sur le long terme, des mécanismes coûteux sans garantie sur l'effet réel. Développer une culture qualité est une façon de s'approprier un processus principalement imposé par l'extérieur et en le faisant, éviter que la recherche de la conformité remplace la réflexion sur la pertinence.