Céreq Bref, n° 394, Septembre 2020, 4 p.

Que nous apprennent les pratiques d'évaluation des professionnels d'entreprise ?

Publié le
17 Septembre 2020

Lorsque les professionnels évaluent des candidats à une certification publique, on pourrait supposer qu'ils se positionnent en garants des exigences du travail réel et de « la vraie vie ». Une étude du Céreq auprès de jurys des titres du ministère du Travail, constitués exclusivement de professionnels, témoigne d'une approche plus complexe. Celle-ci interroge en retour les conceptions de la professionnalité, des compétences et de la formation qui sont au coeur des politiques publiques.

Les politiques d’éducation et de formation les plus récentes, nationales comme régionales, favorisent l’implication des employeurs et plus généralement des entreprises dans la construction ou la mise en œuvre des certifications. Cette orientation des politiques publiques témoigne d'une volonté de garantir le caractère professionnel des certifications, et le rapprochement entre la formation et les situations réelles de travail. Cette implication des entreprises n’est pas vraiment nouvelle : pour les titres professionnels du ministère du Travail par exemple (cf. encadré), les formateurs sont d’anciens professionnels et les évaluateurs sont eux aussi exclusivement des professionnels d’entreprise. Ceci représente un cas unique dans l’ensemble des certifications publiques dans la mesure où ces professionnels constituent — situation quelque peu inédite pour eux — des jurys souverains. Une étude conduite pour la DGEFP a permis d’observer et d'analyser les pratiques d’évaluation de ces professionnels (cf. encadré). La souveraineté des jurys importe alors à double titre. D’une part elle permet de souligner ce qui, aux yeux de ces professionnels évaluateurs, revêt une importance dans le travail et la formation (mais aussi dans la relation entre les deux). D’autre part, leur indépendance statutaire leur accorde une liberté supplémentaire de jugement, et ne les contraint pas à se conformer à des règles édictées par d’autres et définies en dehors d’eux. Rappelons en effet que les pratiques d’évaluation se déroulent d’ordinaire dans le cadre d’approches compétences, indexées à des référentiels listant les objectifs que le candidat doit atteindre. Ces objectifs se déclinent en comportements ou performances observables (et non pas en raisonnements) [1].

On pourrait s’attendre à ce que, au sein de ces jurys, les professionnels jugent les candidats en référence à des situations de travail concrètes, ou qu’ils soient particulièrement attentifs aux résultats ou encore à l’efficacité du travail réalisé. L'étude présentée ici montre que la réalité est plus nuancée. Ainsi, ils tiennent au contraire largement compte de la singularité de la situation d’épreuve, laquelle n’est pas, pour eux, assimilable à la situation de travail. Ils s’attachent ensuite à ce que les candidats ont acquis en formation et accordent de l’importance aux raisonnements et aux savoirs sur lesquels ces derniers s’étayent. L’observation de ces pratiques d’évaluation nous apprend enfin que pour eux, l’acquisition des bases du métier (savoirs, normes et valeurs) prime sur la référence à un niveau de formation. Finalement, le travail d’évaluation des professionnels nous amène à bien des égards à questionner les a priori sur lesquels se fondent parfois les politiques d’éducation et de formation actuelles, et à (ré)interroger les catégories de professionnalisation des formations, de compétence mais aussi de niveaux.

L’évaluation ne se réalise pas en situation de travail

Les épreuves pratiques dont il sera question dans cette partie sont la plupart du temps qualifiées de situations professionnelles simulées dans les référentiels. Il s’agit en effet pour le concepteur de l’évaluation de reconstituer une situation professionnelle typique à laquelle soumettre le candidat. Pourtant, pour les professionnels, ces épreuves ne peuvent être assimilées à des situations de travail, car les candidats ne travaillent pas dans les mêmes cadres spatio-temporels que ceux des entreprises. Ainsi, les câblages réalisés sur des platines ou dans des box ne peuvent pas présenter les mêmes difficultés de réalisation que ceux effectués dans des bâtiments à dimensions réelles. Les longueurs de câble, les conditions de raccordement n’y sont pas comparables. Le matériel utilisé est parfois obsolète, usagé, en tout cas pas toujours adapté à la situation. Dans le cas de la maintenance, les pannes sont fortement contraintes par les caractéristiques des installations, plus didactiques que véritablement industrielles. Elles sont donc limitées dans leur variété et la longueur de la chaîne des causes est raccourcie.

Pour les professionnels, la situation de formation et d'épreuve [4] gomme ou évacue un ensemble de contraintes : le temps compté de l’intervention et sa dimension économique — et ceci pas seulement dans les activités de maintenance —, ou la nature interprofessionnelle du travail, par exemple. Á l’inverse, certaines ressources disponibles en situation de travail ne sont pas présentes dans la situation d’épreuve : un historique des pannes, une connaissance approfondie de l’installation, le collectif de travail. Ainsi, les situations auxquelles sont confrontés les candidats sont, de l’aveu des professionnels, stylisées, dans le sens où elles n'intègrent qu'une partie des ingrédients de la situation de travail. Par conséquent, les pratiques développées par les candidats en situation de formation puis lors des épreuves sont tronquées, comparé à ce que les professionnels nomment « la vraie vie ». On ne saurait, selon eux, prendre cette simulation pour la réalité. Ceci est encore plus marqué dans les épreuves du titre de vendeur conseil en magasin (niveau IV), dans lesquelles la simulation d’une situation de vente se révèle impossible. Ainsi, en cours d’épreuve, il est fréquemment rappelé aux candidats que « la vie réelle c’est autre chose ».

Les professionnels introduisent également souvent certains éléments du travail absents de la situation d’épreuve, par le biais de jeux de rôle, d’alertes ou de conseils. Ce faisant, ils soulignent ce qui caractérise le travail d’électricien ou d’agent de maintenance : une « vigilance raisonnée » vis-à-vis du risque électrique, une attention permanente et une vérification systématique des câblages, une « mise en service simplifiée » qui n’effectue que les mesures nécessaires mais aussi l’incontournable présentation de l’installation au client.

Ce qu’on apprend en formation et au travail est différent

Les professionnels considèrent qu’ils évaluent des candidats en fin d’apprentissage et non pas des professionnels, même débutants : ils ne peuvent donc exiger d’eux une professionnalité qu’ils acquerront par la suite. En effet, la pratique que les candidats ont développée au cours de leur formation se rapporte, comme nous l’avons vu, à des situations simplifiées. Bien que cette pratique soit marquée et limitée par les conditions dans lesquelles elle s’est développée, les professionnels ne la sous-estiment pas pour autant, et ne manquent pas d’exigences à son égard. Citons à titre d’exemple la réalisation d’un « câblage simple dans les règles de l’art » ou la prise idoine de mesures à partir des appareils de mesures adaptés.

Estimer que l’on n'est pas professionnel à l’issue de la formation peut sembler radical, mais fait l’objet d’un large consensus parmi les évaluateurs. Cette affirmation ne doit cependant pas être interprétée comme une remise en cause de ce qui peut être acquis par la formation, bien au contraire. Elle est à rapporter à une conception de l’activité professionnelle comme combinaison de « théorie » et de « pratique », sans que l’une ait vraiment la primauté sur l’autre.

Par théorie, les professionnels désignent un ensemble de savoirs utiles à l'exercice du métier. Ces savoirs peuvent concerner les normes électriques, les technologies et principes de fonctionnement des principaux matériels — que ce soit dans le domaine des courants forts (moteurs) ou faibles (vidéo) —, mais aussi certains principes ou lois fondamentales de l’électricité. Tous les professionnels s’accordent pour reconnaître la théorie comme nécessaire à l’exercice de l’activité et la formation comme un lieu propice pour l’acquérir. La théorie est envisagée comme une « base » — terme qu’ils utilisent — sur laquelle pourra se développer ultérieurement une pratique professionnelle. Ainsi elle est privilégiée par les évaluateurs dans l’interrogation des candidats. Lors des mises en situation, les connaissances techniques des candidats peuvent être interrogées de manière très directe  sur le mode de questions de cours, ou, plus fréquemment, indirectement à travers le développement d'arguments par les candidats. Ainsi, toutes les épreuves, le QCM évidemment mais aussi parfois l’entretien final, peuvent donner lieu à un questionnement technique des candidats .

Être compétent ce n’est pas forcément réussir à faire

En contexte de travail, les professionnels sont soumis à une exigence de résultat : un équipement réalisé chez un client doit fonctionner, une panne doit être, autant que faire se peut, réparée et l’installation remise en état de marche, etc. Cette exigence inhérente au travail en entreprise est fréquemment rappelée aux candidats. Elle est néanmoins fortement relativisée dans la situation d’évaluation.

Ainsi par exemple, lors des mises en service après réalisation ou modification d’une installation, le fait que « ça fonctionne » est apprécié mais ne constitue pas le seul et unique registre d’examen du travail réalisé par les candidats. En effet, la capacité du candidat à modifier une installation n’est pas nécessairement en cause dans le fait qu'elle ne fonctionne pas : cela peut être lié à la présence d’un défaut lors de la mise en service ou à la vétusté du matériel. Le temps de l’épreuve, limité et artificiel, est également différent du temps au travail, plus souple. Le résultat ne peut donc être l’unique registre d’appréciation du travail des candidats.

Que l’installation modifiée fonctionne ou pas, les professionnels demandent aux candidats de présenter leur travail et d’expliquer, de justifier ce qu’ils ont fait. En effet, que l’installation ait été réalisée conformément au cahier des charges (le résultat) ne leur paraît pas suffisant pour en conclure que les candidats savent vraiment faire. Ils s’assurent en revanche que les candidats comprennent ce qu’ils font et sont capables de l’expliquer comme face à un client. La verbalisation permet d’accéder aux raisonnements et aux savoirs mobilisés par les candidats. Dans le cas où l'installation ne marche pas, ils attendent que les candidats expliquent pourquoi et remédient éventuellement à cette situation en dépannant, ou bien, le plus souvent, souhaitent qu’on leur explique ce qu’il conviendrait de faire pour que ça fonctionne. Cette situation de mauvais fonctionnement est généralement jugée plus intéressante. Á la fois parce qu'elle permet d’observer sur un plan pédagogique comment les candidats réagissent face à une difficulté, et aussi parce que, n'étant pas provoquée artificiellement, elle se rencontre souvent dans les situations de travail, .

Le même constat peut être fait pour les activités de dépannage. Là encore le résultat (remettre en état ou dépanner) ne suffit pas. La capacité à conduire une recherche méthodique paraît beaucoup plus instructive aux évaluateurs, et semble offrir plus de garanties quant à l’avenir du candidat.

En relativisant l’exigence de résultats pour mieux identifier ce que les candidats sont capables de faire, les professionnels, tout comme les enseignants, peuvent mettre à distance les outils d’évaluation qu’on leur fournit [5]. Ils disposent en effet de grilles d’évaluation qui énoncent des indicateurs ou des critères de performance formulés bien souvent comme des tâches à effectuer. Pour les concepteurs des référentiels, évaluer c’est donc vérifier que les performances des candidats sont conformes à celles attendues.

Pour les professionnels en revanche, la performance n’est pas forcément signe de compétence et en cela, les outils d'évaluation proposés leur sont de peu d’utilité. Les grilles sont parfois ignorées et non remplies, parfois remplies au dernier moment comme on s'acquitterait d’une tâche administrative, parfois remplies sans interférer sur la délibération. En fait, les repères qu’ils se donnent pour l’évaluation ne sont pas forcément ceux des référentiels. En cela, leurs pratiques d’évaluation se rapprochent de celles des enseignants évaluant les candidats aux diplômes professionnels. Le détournement, l’appropriation singulière ou la sous-utilisation des outils ou techniques d'évaluation (ici les grilles ou les référentiels) par les professionnels et les enseignants rappelle une fois de plus les limites de leur élaboration effectuée sans le concours de ceux qui sont censés les utiliser.

Le métier importe plus que le niveau

Les professionnels emploient très rarement le terme de compétent ou de compétence quand ils jugent les candidats. En revanche, pour éventuellement qualifier leurs manières de faire en situation d’épreuve ou bien évoquer les bonnes manières de faire en situation de travail, ils utilisent plutôt le terme de professionnel. Á ce terme est associé celui de métier, une communauté d’activités caractérisée par ses savoirs, ses règles de conduite et ses valeurs. Ainsi dans les épreuves de mise en situation, ils vont chercher à vérifier par exemple si les candidats — et ce quel que soit le niveau du titre préparé — savent câbler « dans les règles de l’art ». Cette expression spécifique au métier d’électricien désigne, entre autres choses, la conformité du câblage aux normes et au schéma électrique (respect des sections, des longueurs et des couleurs de câbles…), mais aussi une esthétique et un repérage des conducteurs qui aident à bien identifier les circuits de circulation de l’énergie et/ou de l’information. Cette activité, tout comme celle de prévention du risque électrique par exemple, constitue à leurs yeux la base du métier d’électricien.

Entrer dans le métier c’est aussi pouvoir expliquer ce qu’on a réalisé (pourquoi tel composant et pas un autre) et l’exprimer avec le vocabulaire technique adéquat dont la maîtrise constitue un signe d'appartenance. Ainsi, les questionnements techniques des candidats qui accompagnent les mises en situation des titres classés au niveau V ne sont pas de nature différente de ceux situés au niveau IV.  Á chaque fois une même justification – technique – de ce qu’ils ont réalisé leur est demandée.

La prépondérance accordée au métier se fait au détriment du niveau de formation. Depuis la fin des années soixante, les politiques de formation se sont appuyées sur cette catégorie de niveau jusqu’à marquer les représentations et les pratiques d’évaluation des enseignants. La place que les professionnels accordent à ces catégories, de métier et de professionnel d’une part, de niveau d’autre part, est sans doute ce qui les distingue le plus des enseignants.

Une grande majorité des candidats obtiennent les titres choisis mais tous, loin s’en faut, ne sont pas considérés comme des professionnels immédiatement opérationnels sur la cible d’emploi visée. Les évaluateurs font donc bien la distinction entre une situation d’évaluation des acquis de la formation et une situation d’embauche. Dans cet esprit et afin qu’ils acquièrent l’expérience la plus diverse possible, ils incitent très souvent les candidats à recourir au travail intérimaire pour qu'ils se confrontent aux réalités du travail et à ses exigences.

***

L’action réussie (ou encore la performance) figure notamment au nombre de ces exigences. Et les professionnels ne manquent pas de le rappeler systématiquement aux candidats en cours d’évaluation.  Les référentiels et les grilles d’évaluation sont également formulés en termes de listes d’actions à réaliser et à réussir. Donc, les attentes des professionnels rejoignent sur cet aspect celles formulées dans les référentiels/grilles. Cependant, pour les professionnels, la situation d’épreuve dans laquelle sont placés les candidats ne permet pas de s’en tenir à des résultats, exigibles en situation de travail. Ils privilégient alors d’autres aspects (savoirs, démarches, normes et valeurs) indispensables à l’exercice du métier et plus conformes à la situation d’épreuve. Ce faisant, ils ajustent leur activité à la singularité de cette dernière, en mettant à distance ou ré-interprétant les référentiels, pourtant envisagés comme un moyen de rapprocher la formation du travail. Dans ces conditions, introduire dans les référentiels des titres ou des diplômes des exigences qui relèvent des situations de travail, voire tenter de construire ces derniers sur la base de ces exigences, présente-t-il un intérêt particulier et lequel? Les référentiels ne gagneraient-ils pas à prendre en compte l’aspect formation et notamment la durée, dans la mesure où cette dernière est très souvent une condition de pratiques pédagogiques innovantes ?

 

L'enquête
Ne visant pas la poursuite d’étude, les titres professionnels sont marqués par un lien étroit avec le monde professionnel. Ils sont élaborés dans le cadre de commissions professionnelles consultatives (CPC), et donc enregistrés de droit au Répertoire national de la certification professionnelle (RNCP). Les formateurs sont recrutés sur la base d’une expérience professionnelle reconnue, et les jurys pour l’obtention du titre sont également des professionnels. Les candidats quant à eux sont plutôt jeunes (près de 50 % ont moins de 30 ans) et près de 60 % sont en recherche d’emploi [2].
Comme les diplômes, les titres sont définis par des référentiels d’emploi et de compétences mais ne comportent pas d’épreuves d’enseignement général, technologique ou scientifique. Leur évaluation se déroule dans les centres agréés par le ministère du Travail. Chaque année, ce sont plus de 120 000 candidats qui accèdent à un titre professionnel.
Réalisée entre 2015 et 2017, l’enquête présentée ici [3] a porté sur les sessions d’évaluation de 5 titres professionnels des spécialités de la maintenance industrielle et de l’électricité et classés aux niveaux V et IV (ancienne nomenclature : infra bac et bac). En parallèle, un dernier titre de spécialité très différente de vendeur conseil en magasin (niveau IV) a fait l’objet d’une analyse complémentaire qui n’est pas développée ici.
Le travail d’observation effectué a concerné 17 sessions d’évaluation et a conduit à plus d’une trentaine de journées d’observations, ce qui correspond environ à 500 heures d’enregistrement. Il a mobilisé la technique de l’observation directe pour les parties ou la totalité d’épreuves comportant des interactions entre jurés et candidats et entre membres de jurys (dans le cadre des délibérations finales). Á l’issue des épreuves, des entretiens (une vingtaine) avec les évaluateurs ont parfois complété ces observations. Ils ont porté sur l’évaluation qui venait de se dérouler et son contexte.
L’ensemble des épreuves de chacun des titres a été retenu pour cette enquête, à savoir : mise en situation, entretien technique et entretien final. 
Les professionnels
Les évaluateurs membres des jurys observés exercent ou ont exercé des activités dans les domaines de l’électricité et de la maintenance.
Concernant l’électricité, il s’agit majoritairement de dirigeants d’entreprises artisanales. Les salariés de plus grosses structures ou du secteur de la construction électrique sont moins représentés. Ceux qui exercent dans la maintenance viennent très majoritairement de grandes entreprises publiques ou privées. Lorsqu’ils sont salariés, leurs qualifications ou fonctions sont celles de technicien, agent de maîtrise voire cadre technique (responsable d’un service maintenance, responsable fabrication…). Ces professionnels, plus âgés que l’ensemble de la population active – les moins de 30 ans sont rarissimes –, peuvent aussi être de jeunes retraités. Ils ont très souvent obtenu des diplômes ou des titres classés à des niveaux intermédiaires : CAP ou baccalauréat pour les plus âgés, baccalauréat et certifications du supérieur pour les plus jeunes. Le profil d’ingénieur issu d’une école est quasiment absent. Enfin, une très forte majorité de ces professionnels ont été responsables de stage.

 

Citer cette publication

Galli Catherine, Paddeu Josiane, Veneau Patrick, Que nous apprennent les pratiques d'évaluation des professionnels d'entreprise ?, Céreq Bref, n° 394, 2020, 4 p. https://www.cereq.fr/que-nous-apprennent-les-pratiques-devaluation-des-professionnels-dentreprise