[Par Isabelle Langouet et Jean-Yves Loiget]

Il n’échappera à personne que l’évaluation des compétences en général et celle des compétences professionnelles en particulier pose au numérique un certain nombre de défis.

Le défi de l’évaluation au plus près des situations de travail

Il est assez évident que les évaluations basées sur des questionnaires en ligne sont assez faciles à créer et à diffuser. Elles présentent cependant le risque d’évaluer des connaissances et non des compétences professionnelles. Si aujourd’hui, les questions peuvent être interactives (glisser-déposer, sélection d’éléments dans une image) et rendre l’évaluation plus dynamique, elles peinent à refléter les situations complexes que l’on trouve dans un contexte professionnel réel. Si elles peuvent, comme dans la certification PIX, inviter l’évalué à télécharger des ressources et à y effectuer des actions (par exemple, appliquer un formatage, effectuer des calculs), ces dernières restent parcellaires et ne sauraient représenter tout le contexte d’usage d’une application informatique.
C’est là que peuvent intervenir les applications de simulations, les solutions de réalité virtuelle, qu’on peut regrouper sous l’appellation Techniques immersives.

Ces techniques offrent une opportunité unique de plonger les apprenants dans des situations professionnelles réalistes et contrôlées, permettant de les évaluer au plus près de leur environnement de travail réel.

Elles se distinguent par leur capacité à simuler des tâches complexes et à plonger les utilisateurs dans des scénarios qui reproduisent les pressions et les exigences d’un contexte professionnel. Dans des secteurs comme l’industrie, la santé, ou encore la maintenance, la réalité virtuelle devient un outil précieux pour évaluer des compétences spécifiques : prise de décision en situation de stress, réactivité aux imprévus, ou encore application de protocoles de sécurité.

Néanmoins, il reste une certaine prudence quant à la fiabilité de ces outils pour évaluer des gestes techniques avec précision. En effet, si la réalité virtuelle peut offrir des situations réalistes, le ressenti physique et la dextérité, essentiels dans de nombreuses professions, sont encore difficilement mesurables. Le manque de retour haptique, par exemple, limite l’évaluation de la précision des gestes en immersion virtuelle. Par ailleurs, l’adaptation de chaque scénario immersif aux divers niveaux de compétences des apprenants nécessite des ressources importantes, ce qui peut ralentir son adoption dans certaines formations.

En somme, les techniques immersives représentent une avancée prometteuse pour évaluer les apprenants en situation professionnelle. Cependant, leur capacité à remplacer l’observation directe des compétences techniques demeure limitée, ce qui invite à les considérer comme un outil complémentaire d’entraînement, plutôt qu’un substitut des méthodes d’évaluation traditionnelles.

---

Le défi de preuves

Évaluer ses compétences, ce n’est pas seulement prouver qu’on maîtrise des savoir-faire à un certain niveau, c’est aussi montrer des réalisations, des productions, c’est montrer des résultats et pas seulement des process.

C’est là qu’interviennent les portfolios électroniques. Ils permettent aux évalués de partager des travaux, des productions (industrielles, artisanales ou artistiques), mais aussi des formations suivies, des expériences professionnelles, des expériences de vie, des engagements, et aux évaluateurs d’observer des réalisations tangibles ou des potentialités.

Les travaux et les productions peuvent prendre la forme de photos, de vidéos, de documents audio, organisés ou non en books, les projets la forme de cartes conceptuelles, de schémas.

Aujourd’hui, les portfolios électroniques relèvent de plusieurs catégories.

• Portfolios ouverts : ils sont accessibles en dehors d’un établissement ou d’une institution, chacun peut y créer un compte, y partager des expériences et des productions et ensuite les communiquer à un évaluateur. Dans cette catégorie, on trouve les portfolios d’artistes, en particulier dans les arts numériques. On peut citer Behance (solution Adobe) Malt. On trouve aussi la solution Wayatacan qui s’adresse à un public plus large.
• Portfolios institutionnels: déployés par une institution, une université, un organisme de formation, à partir de solutions open source comme Mahara ou Karuta. Karuta offre la possibilité de créer des modèles de portfolio. La communauté d’utilisateurs et de développeurs semble très active.
• Portfolios intégrés dans les LMS : certains LMS disposent, nativement ou sous la forme d’extensions, d’outils pour créer et partager des portfolios avec tout ou partie des utilisateurs enregistrés dans l’instance. Pour se limiter aux LMS open source, on citera Chamilo, Canvas, Ilias, Moodle,Open Olat. Les plus avancés permettent d’ajouter à son portfolio des réalisations, des messages, des résultats produits, obtenus dans les espaces de formation eux-mêmes. La limite de ces portfolios intégrés est qu’ils ne suivent pas les utilisateurs lorsque ceux-ci quittent l’organisme de formation.

---

Le défi de l’authenticité

Dans certains contextes (on pense à la sécurité, à la médecine), l’authenticité de l’évaluation est importante ; les évaluateurs doivent s’assurer que les évalués ne puissent pas tricher. Or, le numérique accentue les risques de fraude, surtout si l’évaluation se fait à distance et si les épreuves sont des questionnaires en ligne.

Pour répondre à ce défi, des solutions de e-proctoring (ou plus simplement de proctoring) ont vu le jour. Le proctoring est la surveillance d’examen en ligne et/ou à distance . Wikipédia distingue 3 types de proctoring

• Proctoring en direct : l’évaluation est surveillée par « webcam et microphone qui ne peuvent être désactivés » ;
• Proctoring enregistré : « le système enregistre l’écran » pendant l’évaluation.
• Proctoring automatisé : le « logiciel surveille pendant le test à l’aide de la reconnaissance faciale, de l’image et du son et d’autres données biométriques. »

Certaines solutions de proctoring viennent enrichir des systèmes ou dispositifs d’évaluation sous la forme de services externes, de la même façon qu’une entreprise ou un particulier fait appel à une société spécialisée en sécurité. À l’inverse, certaines applications dédiées à l’évaluation intègrent leurs propres fonctionnalisés de proctoring. C’est le cas de Theia ou d’Evaluo, que nous avons pu tester. Evaluo permet de créer différentes modalités d’évaluation :

Les modalités Écrit disposent d’options de sécurisation assez poussées : surveillance vidéo en temps réel ou en différé, blocage de l’écran et accès à un deuxième écran impossible, impossibilité d’ouvrir une nouvelle fenêtre dans son navigateur, etc.

---

Le défi de l’agrégation

Une évaluation des compétences efficace est multimodale, c’est-à-dire combine plusieurs modalités d’évaluation : questionnaires en ligne, portfolios, bancs de simulation, entretiens oraux, études de cas, etc. Il s’agit d’échapper à la logique de quizz et d’obtenir un état plus complet, plus fidèle, plus nuancé des compétences de l’apprenant.

Le défi est alors de fournir aux évaluateurs, mais aussi à toutes les personnes qui auront à prendre en compte l’évaluation (pour orienter, individualiser, personnaliser, adapter), une vue 360 ou holistique de ses différentes modalités et de leurs résultats.

Cela passe par des solutions permettant :

•  de créer des parcours d’évaluation composés d’étapes d’évaluation, chaque étape correspondant à une modalité d’évaluation ;
• de créer des vues, des tableaux de bord affichant les éléments spécifiques de chaque étape : les résultats d’un questionnaire, les photos, les vidéos d’un portfolio, l’enregistrement audio/vidéo d’un entretien oral, etc.

Un LMS suffisamment doté (comme Moodle) pourra remplir la mission, surtout s’il peut s’interfacer par API avec des applications d’évaluation externes.

Une fonctionnalité importante est la création de workflows entre les différentes étapes : ouverture conditionnée des étapes, notifications des parties prenantes (évaluateurs, évalués, responsables de formation, responsable de centre de ressources). Elle n’est pas forcément le point fort des LMS. On la trouvera dans des solutions RH pour le recrutement de personnel. Nous avons testé Scop Talent. Le chargé de recrutement peut créer des compagnes de sélection des candidats. À une liste de candidatures présélectionnées, il affecte un certain nombre d’événements : dépôt de pièces justificatives, entretien (présentiel ou visio), questionnaires. Ces événements génèrent des notifications (il est possible de créer des modèles de message) et forment un workflow. On pourra faire la même chose dans le très puissant et très paramétrable Salesforce. Nous nous sommes également intéressés à Campus Skills une solution permettant de positionner des jalons dans les cursus de formation par alternance, une solution donc tout à fait adaptée aux CFA. Les jalons peuvent être :

Les données produites dans les différents jalons apparaissent en ouvrant ceux-ci, et ils peuvent être récapitulés dans une exportation PDF (qui sert alors de vue 360). Si Campus Skills est d’abord un outil de construction du livret d’alternance ou d’apprentissage, il peut facilement être détourné ou contourné en outil de positionnement.