Navigation – Plan du site

Pour un test utile

Patrick Doucet
p. 13-33

Résumés

Cette communication vise à fournir des informations utiles et des outils permettant d’avancer dans une démarche personnelle d’évaluation de l’évaluation, et de conception de nouveaux tests de langue. Nous procéderons à un retour rapide mais inévitable sur les définitions de quelques concepts clés de l’évaluation. Nous nous attardons tout particulièrement sur les notions centrales de validité et de fiabilité. Nous en retracerons l’opposition historique et géographique, puis nous les intégrerons dans un cadre plus large, que L. Bachman & A. Palmer nomment le « concept d’utilité d’un test ».

Haut de page

Texte intégral

1L’évaluation ne doit pas rester une affaire de spécialistes : cette communication vise une explicitation partielle du domaine, afin de le rendre accessible à tous. Chacun doit en effet pouvoir aborder les tests et les procédures existants (et à venir) avec un outillage qui permette une analyse raisonnée. Il s’agit cependant d’un domaine complexe que l’interaction de nombreux paramètres rend parfois difficile à appréhender.

2Nous procéderons donc à un retour rapide mais inévitable sur les définitions de quelques concepts clés de l’évaluation. Ces définitions visent naturellement à limiter l’ambiguïté et les confusions qui existent entre l’usage courant des termes et celui qui en est fait dans le domaine. Nous nous attarderons tout particulièrement sur les notions centrales de validité et de fiabilité. Nous en retracerons l’opposition historique et géographique. Puis nous les intégrerons dans un cadre plus large, que L. Bachman et A. Palmer (1996) nomment le concept d’utilité d’un test.

3La simple tentative de définir les termes conduit à un nombre d’interrogations. Nous avons en effet des incertitudes sur le plan théorique, mais il faut quand même essayer de trouver un compromis qui nous permette de fonctionner en attendant que les recherches aient atteint un point rendant possible la remise en cause de certains éléments.

1. Définitions

1.1. Évaluation

4Nous entendons par évaluation la collecte systématique de données dans le but de prendre une décision. C’est en effet la notion de décision qui est, à notre avis, le point de départ de toute démarche évaluative. À partir du moment où la décision affecte un grand nombre de personnes et aura un impact important sur leur vie (carrière ou poursuite d’études), les concepts de validité et de fiabilité des pratiques évaluatives devront être examinés avec plus d’exigence.

1.2. Évaluation/Mesure

5L’évaluation est présente dans notre pratique quotidienne et le processus d’évaluation ne nécessite pas toujours d’avoir recours à une mesure. Par exemple, on peut se dire : « Il fait beau aujourd’hui, je vais prendre mes lunettes de soleil ». Une évaluation a été effectuée, il y a eu prise d’information et prise de décision, mais aucune mesure n’a été réalisée. Rappelons qu’il existe quatre échelles de mesure, ce qui nous permettra de clarifier l’ambiguïté des termes qualitatif et quantitatif. Voici les quatre échelles de mesure dont nous disposons, dans une grille qui nous permettra de situer l’évaluation en langue étrangère (voir figure 1).

Figure 1. Quatre échelles de mesure

Figure 1. Quatre échelles de mesure

6Une échelle nominale comprend des nombres qui servent à nommer ou coder les classes ou les catégories d’un attribut donné, par exemple : 1 = bleu, 2 = vert, 3 = blanc, 4 = rouge , etc. Ce codage est arbitraire, et il n’y a pas de hiérarchie entre les différentes catégories.

7Sur une échelle ordinale, un classement hiérarchique est effectué entre les catégories. De nombreuses échelles ordinales sont utilisées en évaluation, par exemple lorsque l’on évalue une performance en fonction d’une grille donnant des définitions subjectives de niveau. Il est à noter que la distance, ou l’intervalle, qui sépare une catégorie quelconque de la suivante est variable.

  • 1 « discrete items » : une série d’éléments distincts, formant chacun une unité ; cette unité peut êt (...)

8Une échelle d’intervalles suppose l’existence d’une unité identifiable. Est-il possible d’affirmer, en ce qui concerne l’évaluation en langues, que l’on accède à une unité identifiable ? La notion est certes difficile à cerner, et renvoie au concept d’itémisation1 : plus l’itémisation est poussée et plus on se rapproche d’une échelle d’intervalles. Il reste cependant extrêmement difficile (voire impossible) de dire qu’un item est strictement équivalent à un autre.

9Ce qui caractérise l’échelle proportionnelle, c’est l’existence d’un zéro absolu qui concrétise l’absence totale du phénomène. Il est alors possible de faire des comparaisons en termes de proportion. Par exemple, il est possible de dire qu’une personne de 80 kg est deux fois plus lourde qu’une personne de 40 kg. Ces échelles sont plus caractéristiques des sciences physiques. Lorsque l’on administre un test de langue, il est impossible de dire qu’une personne qui obtient un résultat chiffré de 60 est deux fois plus compétente que la personne qui obtient un résultat chiffré de 30. De la même façon, il est impossible de dire que la personne qui obtient un résultat chiffré de zéro a une absence totale de compétence en langue (à supposer que l’on puisse démontrer qu’il est possible de définir l’absence de compétence en langue).

10En résumé, les mesures effectuées dans le cadre de l’évaluation en langues entreront généralement dans le cadre des échelles dites qualitatives. Il convient donc de ne pas traiter abusivement les données réparties sur une échelle ordinale comme si elles l’étaient sur une échelle d’intervalles, ce qui est une confusion fréquente dans le public.

1.3. Évaluation/Mesure/Test

11L’évaluation au moyen d’un test de langue n’est que l’intersection de trois domaines plus larges. L. Bachman (90 : 23) représente la relation entre mesures, tests et évaluation dans le schéma à la figure 2.

Figure 2. Évaluation – Mesure – Test

Figure 2. Évaluation – Mesure – Test

12La confusion entre évaluation et mesure est fréquente. Quelques exemples vont nous aider à clarifier la situation.

  • Zone 1 : Comme nous l’avons vu plus haut, on peut évaluer sans mesurer, comme lorsque l’on utilise des descriptions de performances d’étudiants dans le but d’identifier des problèmes d’apprentissage (observations, grilles, inventaires).

  • Zone 2 : On peut évaluer à partir d’une mesure sans qu’il y ait test. Il en est ainsi de l’utilisation d’un classement par le professeur pour noter les performances d’étudiants (A est meilleur que B, B est meilleur que C, etc.).

  • Zone 3 : Intersection des trois ensembles : il s’agit des tests d’évaluation à partir d’une mesure. Entrent dans cette catégorie les batteries de tests institutionnels (normatifs et critériés).

  • Zone 4 : Il peut y avoir tests de mesure sans qu’il y ait évaluation, comme lorsque l’on utilise un test comme critère en recherche en acquisition des langues secondes.

  • Zone 5 : Finalement il est possible de concevoir une mesure qui ne soit pas obtenue par un test et qui n’entre pas dans le domaine de l’évaluation. C’est ce qui se produit lorsqu’on affecte un codage numérique à des sujets dans une recherche en acquisition des langues secondes en fonction de la langue maternelle (cf. échelle ordinale).

1.4. Évaluation/Notation

13L’utilisation d’un test de langue donne lieu à l’attribution d’un score. Les scores renvoient à des niveaux de performance différents. La notation, ou conversion du score obtenu sur une échelle de 20 points, est relativement arbitraire. Elle n’est pas nécessairement mathématique : la compréhension de la moitié des informations contenues dans un document donné doit-elle correspondre à une note de 10/20, qui est la barre d’admission aux examens dans notre institution ?

1.5. Pondération

14Il s’agit de l’incidence relative des différentes parties d’un test sur le résultat final. On peut se demander à quelles règles répond cette pondération. S’agira-t-il de refléter, par exemple, l’importance relative des différentes composantes de la compétence de communication… ou autre chose ? N’y a-t-il pas parfois prise en compte de dimensions ? Sont-ce des considérations théoriques, idéologiques, stratégiques, politiques ou une combinaison de ces facteurs qui président à l’élaboration de la pondération ? Il s’agit d’un domaine où nous devons nous montrer vigilants, et militer pour une nécessaire transparence des pratiques, car la pondération est de nature à altérer les interprétations que l’on peut faire des résultats aux tests.

1.6. Quantitatif/qualitatif : de la difficulté de la quantification

15La référence aux quatre échelles de notation a permis de clarifier l’opposition quantitatif/qualitatif et les jugements de valeur qui leur sont souvent liés.

16Il n’existe pas, en ce qui concerne la compétence en langue, d’évaluation quantitative au sens statistique du terme.

17Lorsque l’on effectue des évaluations, on reste dans le domaine de l’impression. Une évaluation critériée amène à réduire la zone à l’intérieur de laquelle nos observations sont le fruit de nos impressions. Si nous prenons en exemple l’expression orale spontanée, il est facile de repérer les erreurs, mais sont-elles déclaratives oui procédurales ? Sur quelle fréquence (récurrence) d’erreurs nous fondons-nous pour affecter un score ? Loin du comptage systématique, c’est l’impression qui régit le fonctionnement des pratiques, ainsi qu’en témoignent la plupart des grilles d’évaluation : « relativement peu d’erreurs ; de nombreuses erreurs ; erreurs fréquentes... ».

18On a tendance à opposer qualitatif à quantitatif en renvoyant à la distinction test objectif/test subjectif (un jugement de la part de l’examinateur est nécessaire ou ne l’est pas). On affecte le label quantitatif à tout ce qui est test objectif, faisant par là l’amalgame : quantitatif égal chiffré (cf. tests corrigés par ordinateur).

19Rappelons qu’en évaluation dite quantitative la subjectivité n’est pas évacuée (voir plus haut), le jugement existe quand même : il s’agit du jugement du concepteur du test qui a sélectionné les items. Il y a en réalité toujours jugement.

20Nous nous trouvons dans un domaine qui n’est pas fiable mathématiquement. Il y a un certain nombre de sources d’erreurs, et nous devons admettre ce côté relatif et, à partir de là, prendre des décisions. Il est important de le rappeler car l’évaluation est pratiquée constamment dans nos institutions, et des décisions sont prises effectivement. C’est à nous qu’il incombe de chercher à éviter que perdurent des pratiques non valides en posant la question : « évaluer, pour quoi faire ? »

1.7. Collecte de données/échantillons

21La constitution d’un échantillon part d’un principe de réduction. Ceci va de pair avec un principe de généralisation, qui sera l’un des principes directeurs de la démarche évaluative. Lorsque l’on concevra un test de langue, il s’agira de sélectionner un échantillon que l’on considérera comme représentatif de l’ensemble, et ceci s’applique à la fois à l’échantillon que l’on propose à l’apprenant (par exemple, le contenu des documents supports du test) et à l’échantillon produit (idéalement) ou sélectionné (il existe des tests où l’on ne demande pas à l’apprenant de produire !) par le candidat/l’apprenant. À partir de cet échantillon, on va opérer des généralisations et l’on va essayer de faire des prédictions sur la/les performance(s) future(s) de l’apprenant. Ce qui peut soulever les questions suivantes : dans la mesure où l’on fait des prédictions, quelle est en certification, la nature du rapport (qui existe) avec la formation qui précède ? ou faut-il plutôt se projeter vers l’avenir et en termes de compétence(s) décrire ce que telle ou telle personne sera/serait capable de faire dans telle ou telle situation ?

1.8. Validité

22Les problèmes de l’évaluation sont liés non seulement à la mesure elle-même mais aussi à la nature de ce que l’on veut mesurer. Lorsque l’on analyse la validité d’un test, on cherche à répondre à la question dans la performance d’un individu, qu’est-ce qui est dû à la capacité (aux capacités) langagière(s) que l’on cherche à mesurer ? On cherchera à augmenter l’incidence de ces facteurs sur les scores. La validité est donc une qualité des interprétations/des utilisations faites des résultats aux tests. La validité renvoie à un accord entre différentes mesures d’un même élément (exemple : corrélation entre les scores obtenus à un QCM de grammaire et l’évaluation de la grammaire lors d’un entretien).

23Les statistiques n’étant qu’un outil d’aide à la décision, c’est le facteur humain qui joue en dernier ressort. Il nous faut donc reconnaître et affirmer que le processus de validation met en jeu la conviction des personnes concernées. Lorsque l’on parle de validité théorique, on cherche à identifier à quel point on trouve que l’on a atteint un degré de conviction qui permette de dire que l’échantillon que l’on a choisi est bien représentatif du domaine de comportement que l’on souhaite évaluer. Lors du processus de validation, on parlera d’accumulation convergente de données jusqu’à ce que l’on soit convaincu (ou jusqu’à ce que les bailleurs de fonds soient convaincus) du bien-fondé de l’approche choisie.

24Nous ne nous attarderons pas plus avant sur les différents types de validité (validité de contenu, validité théorique, validité critérielle, crédibilité) qui ont été définis par C. Bourguignon et S. Sommer.

1.9. Fiabilité

  • 2 Brown (1988 : 99) cite trois façons principales de mesurer la fiabilité d’un test : test - retest: (...)

25Hughes (1989 : 29) précise qu’« en dépit du caractère changeant des performances humaines, nous cherchons à concevoir, administrer et corriger des tests de façon à ce que les scores obtenus en une occasion soient les plus semblables possible aux scores que l’on obtiendrait si l’on administrait le test à des apprenants ayant les mêmes compétences mais en une autre occasion (« Plus les scores sont semblables et plus on dira que le test est fiable »). La notion de fiabilité renvoie à un accord entre des mesures similaires d’un même élément (« trait »). On l’établit par exemple en calculant la corrélation entre les scores obtenus à des tests parallèles2. La fiabilité est donc une qualité des résultats aux tests. Lorsque l’on analyse la fiabilité d’un test, on cherche à répondre à la question : dans la performance d’un individu, qu’est-ce qui est dû (et en quelle proportion) à des erreurs de mesure ou à des facteurs autres que la capacité langagière que l’on cherche à mesurer ? On cherchera en conséquence à réduire les facteurs (nombreux) d’erreur dans la mesure : (fatigue, nervosité, choix de l’échantillon, erreurs sur la réponse, erreur sur la consigne, réponse au hasard…)

2. L’opposition traditionnelle entre validité et fiabilité

26On a pu, par le passé, distinguer globalement deux types de prise de position quant à l’importance relative qu’il faut donner à la validité et à la fiabilité, ainsi qu’à l’importance relative qu’il faut donner aux différents types de validité. Ces positions dépendront de la nature des conceptions du langage et de l’apprentissage choisies.

27K. Morrow (1979) fut l’un des premiers à mettre en évidence cette opposition dans un article à la fois volontairement polémique et novateur, remettant en cause les traditions qui régissent les pratiques évaluatives. Il y affirme le besoin d’établir la viabilité de tests conçus selon des critères communicatifs. Il présente en une brève historique les trois phases de l’histoire récente des pratiques évaluatives, que Spolsky (1975) nomme la période préscientifique, la période psychométrique structuraliste, et la période psycholinguistique sociolinguistique.

28L’approche psychométrique structuraliste est décrite dans Lado (1961), auteur du premier manuel sur l’évaluation. Cette approche est atomiste : Lado décompose le langage en segments isolés, ce qui influence à la fois le contenu que l’on va tester et comment l’évaluation va être pratiquée. On détermine le contenu (le « quoi tester ») par une analyse contrastive entre la langue cible et la langue maternelle de l’apprenant. En ce qui concerne la procédure, on construit des éléments discrets révélant chacun (idéalement) la capacité du candidat à maîtriser une composante du langage, dans le cadre de l’un des quatre skills. L’avantage de cette approche est qu’elle permet d’obtenir des résultats facilement quantifiables.

29Mais la maîtrise de la langue est-elle aussi nettement quantifiable ? L’approche de Lado, qui s’attache très fermement à certaines opinions sur la nature du langage, s’écroule comme un château de cartes dès que se trouve attaquée la base linguistique sur laquelle elle est construite. Une approche atomiste de la conception des tests repose fondamentalement sur l’hypothèse selon laquelle une connaissance des éléments d’une langue serait équivalente à une connaissance de la langue elle-même. Or la connaissance des éléments d’une langue ne vaut rien si l’utilisateur n’est pas capable de les combiner de façon nouvelle et adéquate pour faire face aux exigences linguistiques de la situation dans laquelle il souhaite utiliser la langue (cf. la capacité de synthèse). Implications psychologiques : les tests de Lado, se conformant en cela à la théorie behavioriste de l’apprentissage par formation d’habitudes, posent des questions appelant des réponses qui montrent si des habitudes correctes ont été établies ou non. La réussite à un test nécessite une proportion donnée de réponses correctes. L’apprentissage des langues est vu comme un processus d’accumulation par addition.

  • 3 Pour Morrow, le concept de fiabilitérenvoie à l’objectivité d’un test. Il emprunte à Robinson la di (...)

30Une vision différente de la psychologie du langage est celle selon laquelle les réponses à des tests ne sont pas et ne devraient pas être simplement vraies ou fausses. Morrow renvoie ici à la notion d’interlangue développée à l’origine par Corder, puis Selinker, et maintenant largement acceptée dans le domaine. Ce concept dynamique permet à Morrow d’affirmer que le rôle d’un test de langue est de montrer jusqu’à quel point l’apprenant se rapproche du système de la langue cible. L’on devrait concevoir des tests permettant à l’apprenant de produire des échantillons langagiers de sa propre interlangue, basés sur ses propres normes de production, afin de pouvoir en tirer des conclusions. De même, en ce qui concerne la compréhension, des tests ne pourraient-ils pas mesurer jusqu’à quel point les capacités de traitement qu’a un individu sont semblables à celles d’un locuteur natif ? Les réponses du candidat ne doivent pas, selon Morrow être, évaluées quantitativement mais qualitativement. Il est dangereux de supposer qu’un score donné à un type de test permet de tirer des conclusions sur un autre type de performance. Morrow insiste sur la « tension » qui existe entre validité et fiabilité3. Il ajoute que les tentatives d’augmenter la fiabilité des tests ont conduit les concepteurs de tests à adopter un point de vue par trop restrictif sur ce qu’ils testent en réalité. Il met en avant le caractère essentiellement « circulaire » des types de validité traditionnellement reconnus (à l’exception de la validité faciale et à un moindre degré de validité prédictive) :

Starting from a certain set of assumptions about the nature of language and language learning will lead to language tests that are perfectly valid in terms of these assumptions, but whose value must inevitably be called into question if the basic assumptions themselves are challenged. (1979: 147)

31L’influence du travail de Lado est toujours présente : l’importance primordiale accordée au concept de fiabilité (d’où l’inévitable QCM), l’acceptation de la nature statistique plutôt que pratique du concept de validité, les formes d’évaluation directement quantifiables, sont des idées qui vont apparemment de soi, même parmi ceux qui rejettent un bon nombre des théories du langage et de l’apprentissage sur lesquelles Lado avait basé son approche. Morrow plaide pour que l’on adopte l’utilisation de la langue comme critère. Il préconise que le candidat ait à accomplir une série de tâches données, évaluées sur des échelles qualitatives. Sa hiérarchie place le concept de fiabilité après celui de crédibilité du test.

32La position opposée à Morrow consiste à dire qu’en dehors des validités scientifiques, point de salut ! G. Henning (1987), comme D. K. Stevenson (1985), et J. D. Brown (1988), est à rallier à ce camp. L’article de Stevenson est un exemple tout à fait frappant de mise en garde contre des dérives possibles, avec tout de même un léger parfum de résistance au changement. Stevenson se plaint de l’assimilation que l’on fait de la validité faciale (crédibilité du test) avec la validité authentique : « Face validity is the mere appearance of validity to the metrically-naive observer ». Il oppose l’opinion du profane à celle du professionnel. La validité faciale est celle qui séduit le profane : le test a l’air d’un bon test. Stevenson affirme qu’il y a la menace de dépasser, renverser et nier les concepts traditionnels de validité. Selon lui, la validité faciale est utilisée comme critère déterminant principalement dans le cadre de tests qui simulent une situation-critère, à savoir les tests communicatifs qui s’appliquent à reproduire des situations de communication comparables à celles de la vie réelle. Le danger serait alors de justifier de fait l’opinion selon laquelle la validité faciale suffit. Ce qui serait la différence entre les tests « communicatifs » et les autres types de tests.

33Stevenson rappelle les termes de Spolsky (1968) selon lesquels la validité est au cœur des préoccupations de l’évaluateur, que ce soit en L2 ou dans quelque autre domaine. Il met cependant en avant le danger du rejet des considérations scientifiques :

... most test and testing approaches continue to be selected on the basis of metrically-naive notions; most commonly [...] on the basis of test title or test type. Thus, face validity achieves in practice what it is denied in theory: a popular and prime basis for selecting and judging language measures.

  • 4 Il oppose superficial, impression, technically untrained à opérations expérimentales, et à sources (...)

34Il confirme que les spécialistes auront tendance à opposer la validité faciale aux autres validités. Bien que l’on reconnaisse que la validité faciale affecte réellement la qualité de l’évaluation, il existe un consensus pour dire que la validité faciale ne peut pas prendre la place de validités mesurées scientifiquement4. Il cite Cronbach (1970) :

Adopting a test just because it appears reasonable is bad practice; many a ‘good-looking’ test has failed as a predictor [...]. Such evidence as this (reinforced by the whole history of phrenology, graphology, and tests of witchcraft!) is strong warning against adopting a test solely because it is plausible. If one must choose between a test with ‘face validity’ and no technically verified validity and one with technical validity and no appeal to the layman, he had better choose the latter.

35Stevenson souligne que l’on ne peut se baser sur la validité faciale pour faire des inférences sur le résultat d’un test. Il concède cependant qu’il peut être possible de manipuler la validité faciale à des fins plus acceptables psychométriquement, mais toujours avec réticence : sur le plan conceptuel, il est important dans la mesure du possible de ne pas mélanger ce que l’on peut démontrer et ce qui semble démontré.

36C. Weir (1988) indique qu’il faut également distinguer deux types de positions quant à la démarche même de validation. La validité théorique est examinée d’un point de vue purement statistique par les chercheurs américains (cf. Bachman & Palmer 1981), qui tentent essentiellement de démontrer a posteriori si le test a mesuré un construct que l’on peut isoler d’autres constructs. On s’intéresse davantage à la relation a posteriori qui existe entre un test et les variables psychologiques qu’il a mesurées plutôt qu’à celles qu’il était censé mettre en évidence au départ. Il rappelle, qu’à l’opposé, on peut maintenir que le besoin de validation théorique au stade de la conception et de la mise en œuvre est tout aussi important. Pour Weir, il va de soi que plus on sera capable de décrire précisément et, a priori, les variables théoriques que l’on cherche à mesurer, et plus les procédures statistiques qui peuvent être ensuite appliquées aux résultats du test afin de contribuer à sa validation théorique, seront signifiantes :

Statistical data do not in themselves generate conceptual labels. We can never escape from the need to provide clear statements concerning what is being measured, just as we are obliged to investigate how adequate a test is in operation, through available statistical procedures. (1988 : 24)

37On comprend pourquoi à l’époque psychométrique structuraliste on accordait la préséance aux validités concurrentes et prédictives, car elles correspondaient mieux aux principes de l’opérationnalisation, et au désir d’obtenir un critère extérieur objectif : la théorie en vigueur se prêtait facilement à tester des items discrets, et le besoin ne se faisait pas sentir de délibérer longuement a priori sur l’adéquation théorie-test. Les priorités de Weir sont à l’évidence différentes :

If the test passes the first a priori validity hurdle it is then worthwhile establishing its validity against external criteria, through confirmatory a posteriori statistical analysis. If the first stage, with its emphasis on construct, content, face and washback validities, is bypassed then we should not be too surprised if the type of test available for external validation procedures does not suit the purpose for which it was intended. (1988 : 27)

  • 5 Il nous faudra faire preuve de vigilance, et considérer avec prudence des analyses sophistiquées qu (...)

38Lorsqu’il aborde le problème de ce que l’on a coutume d’appeler la « tension » fiabilité/validité, Weir (33) précise que cette tension existe dans la mesure où il est parfois essentiel de sacrifier un degré de fiabilité pour augmenter la validité d’un test. Mais il ajoute qu’à l’inverse, si l’on réduit la validité pour augmenter la fiabilité, on risque de se trouver devant un test fiable qui mesure quelque chose d’autre que ce que nous voulions mesurer5. Davies (1990) rappelle qu’un test qui n’est pas valide ne mesure rien. La tendance générale actuelle sera de subordonner la fiabilité à la validité. Il cite Moller (1981) qui propose un moyen terme : celui de construire une batterie de tests avec une complémentarité des parties. Rappelons avec Bachman (1990 : 26) que la détermination du degré relatif de fiabilité et de validité requises pour un test donné dans un contexte particulier fait l’objet d’un jugement de valeur de la part de l’utilisateur du test.

39Le débat actuel est l’héritier d’une part de la psychométrie et d’autre part de l’émergence du concept de compétence de communication. Il semblerait que la priorité fiabilité > validité face peu à peu place à une priorité validité > fiabilité, ou du moins à une remise en cause de la hiérarchie dans l’ensemble des validités et dans la démarche de validation.

40On avait, en résumé, tendance à dire que les concepts de validité et de fiabilité s’opposaient et que ce que l’on perdait en validité, on le gagnait en fiabilité, et inversement. Le reproche que l’on peut faire à Cronbach et, partant, à Stevenson, est celui de manichéisme : il ne s’agit pas de jouer validité faciale d’un côté contre les validités « techniques » de l’autre. La question est de savoir si la performance de l’apprenant est affectée lorsque le test a « l’apparence d’un bon test », et si elle est affectée positivement ; dans l’affirmative pourquoi ne pas en tenir compte lors de la conception des tests ? Voilà la question que pose le didacticien : au lieu de poser le problème en termes d’alternatives, ne faut-il pas rechercher un compromis permettant d’obtenir la meilleure performance possible de l’apprenant ? C’est d’ailleurs ce que dit Davies :

The ‘best’ tests are likely to be compromises, placed at positions on one continuum, which do not lead to unsatisfactory positioning on the others. (1990 : 40) 

41Ce qui est novateur dans la nouvelle approche de Bachman et Palmer est que cette notion de hiérarchie (génératrice de querelles d’écoles) fasse maintenant place à celle, plus constructive, de complémentarité, ce qu’ils présentent dans le cadre de ce qu’ils appellent le concept d’utilité d’un test.

3. Le concept d’utilité d’un test

42Dans quelle mesure pouvons-nous établir une relation entre la performance d’un étudiant en situation de test et la performance de ce même étudiant en situation hors test (par exemple une situation institutionnelle ou sociale) ? Il nous faut pour cela définir des situations d’utilisation de la langue en dehors d’une situation d’évaluation.

43Bachman et Palmer mettent en avant le besoin d’un cadre conceptuel qui permet de décrire les traits saillants de la performance en situation de test et l’utilisation de la langue hors test grâce aux mêmes caractéristiques. La conception d’un test approprié reposera sur la nécessité d’identifier un (ou des) domaine(s) d’utilisation de la langue cible, puis d’identifier et d’analyser les tâches que les futurs candidats auront à accomplir. Il conviendra d’en déduire une série de caractéristiques spécifiques permettant d’identifier ressemblances et différences dans la gamme de tâches que l’on a choisi d’analyser. Ces tâches ne sont pas nécessairement des tâches correspondant à la vie sociale et professionnelle. Il peut très bien s’agir, en certification, de tâches que les étudiants auront à accomplir dans le cycle d’études suivant. La grille d’analyse des caractéristiques des tâches constituant un test est reportée en annexe 1.

44Ce que Bachman et Palmer nomment ensuite le degré d’utilité d’un test est fonction de six paramètres, regroupés dans la formule suivante :

Degré d’utilité d’un test = Fiabilité + Validité théorique + Authenticité + Interactivité + Impact + Faisabilité

  • 6 Composantes/paramètres

45Le degré d’utilité est défini comme une fonction de ces différentes qualités6 en ajustement réciproque, qui interagissent entre elles et qui contribuent de façon unique à l’utilité globale d’un test donné.

46Les trois principes directeurs suivants sont mis en avant :

  • C’est le degré d’utilité globale qu’il convient d’optimiser plutôt que les différentes composantes individuellement (complémentarité).

  • On ne peut pas évaluer les différentes composantes indépendamment, c’est l’aspect combinatoire qui doit faire l’objet de l’évaluation.

  • Le degré d’utilité d’un test et le dosage pertinent des différentes qualités ne s’énoncent pas en termes généraux, mais doivent être déterminés pour chaque situation spécifique d’évaluation.

Explicitation des six composantes

47Nous ne reviendrons pas sur les notions de fiabilité et validité, traitées plus haut. La notion d’authenticité renvoie à la fois à la validité du contenu et à la crédibilité du test. Ce que Bachman et Palmer appellent l’interactivité est ce en quoi les tâches proposées permettent l’investissement des caractéristiques des candidats (de l’apprenant). Il regroupe ces caractéristiques en quatre catégories : caractéristiques personnelles, connaissances spécifiques/spécialités, compétence en langues, et réactions affectives. Les caractéristiques personnelles comprennent l’âge, le sexe, la nationalité, la langue maternelle, le niveau d’études, et les types de tests déjà préparés. Les sources d’erreur correspondantes sont notamment les réactions affectives des candidats, la nervosité, la fatigue, les erreurs de production, les erreurs d’interprétation des consignes, et les erreurs stratégiques (ex. : réponses au hasard). Les connaissances spécifiques correspondant à des domaines de spécialité doivent être prises en compte. En effet, si la compétence dans le domaine de spécialité n’est pas homogène, il y a là une source de biais dans l’évaluation. Or le souci qui doit guider l’évaluateur est bien de chercher à identifier ces sources de biais, d’erreurs dans la mesure, pour tenter de les neutraliser. La compétence en langues renvoie au modèle théorique choisi par le concepteur, et les réactions affectives renvoient au vécu social (la référence à une épidémie/une catastrophe peut renvoyer à une expérience personnelle ayant affecté le candidat et par là risquer de perturber la qualité de ses réponses) et au vécu d’apprenant de langue du candidat par rapport au test (le format du test va-t-il renvoyer à un vécu affectif positif ou non ?).

48Bachman se propose de mesurer également l’impact du test sur la société, sur les décideurs, et sur les candidats. Finalement, le concept de faisabilité renvoie à l’évaluation des ressources en termes de nombre de candidats, en ce qui concerne la conception et la phase de pilotage (coût des surveillances, corrections, jurys…). Faute d’un financement adéquat, des test valides et fiables ne verront pas le jour.

49Un exemple de démarche complète de conception d’un test de langue à grande échelle est fourni en annexe 2. Il est intéressant pour le lecteur de s’attarder sur la partie 5, intitulée « Projet d’évaluation des paramètres déterminant l’utilité du test ». Il s’agit là d’un travail considérable, et l’on se rend compte notamment que la collecte de données permettant de justifier un seuil d’acceptabilité comprend des informations de nature quantitative (au sens large) et qualitative, lors de la phase de pilotage ainsi que lors de l’administration du test lui-même, et que les différents acteurs de l’évaluation sont consultés, qu’il s’agisse d’experts, des concepteurs, des correcteurs, des candidats eux mêmes, ou de membres de la société civile. La démarche adoptée permet d’atteindre un degré de conviction satisfaisant permettant la validation de la pratique évaluative auprès de ces différents acteurs. Il nous semble possible de s’inspirer d’une telle démarche en ce qui concerne l’évaluation en langues dans le système institutionnel français.

Conclusion

50Un test utile est un test qui permet de faire des prédictions raisonnables tout en limitant les sources d’erreur dans la prise de mesure et les biais dans les interprétations des résultats.

51Le cadre de Bachman et Palmer présentant le degré d’utilité d’un test permet une approche systémique de l’évaluation dans le domaine des langues étrangères, approche facilement transposable pour l’ensemble de la communauté éducative.

52Les critères traditionnels de validité et de fiabilité, auxquels s’ajoutaient des considérations de faisabilité et parfois de crédibilité, et que l’on avait coutume d’opposer, voire de hiérarchiser, sont maintenant intégrés dans un cadre plus large, qui revitalise la notion de validité en donnant une place fondamentale au concept d’utilisation de la langue dans des situations hors test. C’est la définition de ces situations (et partant celle des situations de test, en tant qu’échantillons représentatifs permettant une prédiction ciblée) qui doit préoccuper aujourd’hui les concepteurs de tests de langue et ancrer l’évaluation en langue dans un contexte correspondant au statut de la langue étrangère dans le monde d’aujourd’hui.

53Puisse le lecteur trouver dans ces pages succinctes des informations utiles et des outils lui permettant d’avancer dans une démarche personnelle d’évaluation de l’évaluation, et de conception de nouveaux tests de langue.

Haut de page

Bibliographie

Alderson, J. C. & A. Hughes (dir.). 1981. Issues in Language Testing, ELT Documents 111. Londres : The British Council.

Bachman, L. F. 1990. Fundamental considerations in language testing. Oxford : Oxford University Press.

Bachman, L. F. & A. S. Palmer. 1981. « Basic concerns in test validation ». In Read A. S. (dir.), Directions in Language Testing, Anthology series 9. Singapore : SEAMEO Regional Language Centre, 41-57.

Bachman, L. F. & A. S. Palmer. 1996. Language Testing in Practice, Oxford : Oxford University Press..

Brown, J. D. 1988. Understanding Research in Second Language Learning. A teacher’s guide to statistics and research design. Cambridge : Cambridge University Press..

Davies, A. 1985. « Follow my leader: Is that what language tests do? ». In Lee et al., New Directions in Language Testing. Oxford : Pergamon Press, 3-15.

Davies, A. 1990. Principles of Language Testing. Oxford : Blackwell.

Henning, G. 1987. A Guide to Language Testing, Cambridge, MA : Newbury House.

Hughes, A. 1989. Testing for Language Teachers, Cambridge : Cambridge University Press.

Lado, R. 1961. Language Testing. Londres : Longman.

Lee, Y.P. et al. 1985. New Directions in Language Testing. Oxford : Pergamon Press.

Morrow, K. 1981. « Communicative language testing: Revolution or evolution? ». In Alderson and Hughes, Issues in Language Testing, 9-25 (also published in C .J. Brumfit and K. Johnson (dir.), 1979. The Communicative Approach to Language Teaching, Oxford : O University Press, 143-157).

Spolsky, B. 1975. « Language testing: art or science? ». Address to the Fourth AILA Congress, Stuttgart.

Stevenson, D. K. 1985. « Pop validity and performance testing ». In Lee et al., New Directions in Language Testing. Oxford : Pergamon Press, 111-119.

Weir, C. J. 1990. Communicative Language Testing. Hemel Hempstead : Prentice Hall.

Haut de page

Annexe

Annexe 1

Annexe 2. Conception d’un test de langue (d’après Bachman & Palmer 1996)

Annexe 3. Check list : Évaluer l’utilité d’un test (d’après Bachman & Palmer 1996)

Haut de page

Notes

1 « discrete items » : une série d’éléments distincts, formant chacun une unité ; cette unité peut être une phrase, voire un mot. Pôle d’un continuum permettant de décrire les tests de langue. On l’oppose généralement à « intégré », qui renvoie à une tâche, ou une série de tâches plus globales, autour d’un même thème. On parlera de tests à items discrets. Problème : il est extrêmement difficile de construire des items discrets ‘purs’ (à part des éléments de nature négligeable). Les items opèrent à plus d’un niveau de structure.

2 Brown (1988 : 99) cite trois façons principales de mesurer la fiabilité d’un test : test - retest: on administre le même test deux fois à un groupe de sujets et on calcule le coefficient de corrélation entre les différentes paires de scores obtenues.
tests équivalents ou parallèles : forme A et forme B d’un test et coefficient de corrélation.
cohérence interne : parmi de multiples façons, la plus simple à concevoir est « split half ». Par exemple 1) toutes les questions paires sont notées séparément de toutes les question impaires ; 2) on calcule la corrélation entre ces deux sub-tests ; 3) on procède à un ajustement du coefficient obtenu pour obtenir la fiabilité du test dans son entier, en utilisant la formule « Spearman-Brown prophecy ». Il est également possible d’utiliser les formules Kuder-Richardson 20 et 21 (K-R 20, K-R 21) ou la formule Cronbach alpha (). L’avantage de la méthode dite « split half » est qu’une seule forme de test est administrée une seule fois (naturellement) ce qui permet de contrôler de nombreuses variables.

3 Pour Morrow, le concept de fiabilité renvoie à l’objectivité d’un test. Il emprunte à Robinson la distinction en trois domaines de différences entre les pratiques évaluatives conçues pour fournir des données qui donnent lieu à un jugement objectif et celles qui donnent lieu à un jugement subjectif :
1 La quantité de langage produite par l’étudiant : lors d’un test objectif, il est fort probable que l’étudiant ne produise pas de langage du tout. Son rôle peut se borner à sélectionner des solutions, plutôt que de produire du langage.
2 Le type de capacité testé (différence ‘cruciale’) : dans un test subjectif, la capacité du candidat à produire du langage est un facteur crucial. Dans un test objectif, la capacité à reconnaître les formes appropriées suffit.
3 Les normes de l’utilisation du langage : celles-ci sont établies sur des bases différentes. Dans un test objectif, le candidat doit fonder ses réponses sur la langue de l’examinateur. Dans un test subjectif, les normes lui sont propres, déduites de sa propre utilisation du langage. Un test objectif ne peut que révéler les différences et les points communs qui existent entre les normes de l’examinateur et celles du candidat.

4 Il oppose superficial, impression, technically untrained à opérations expérimentales, et à sources objectives [sic] d’information. Il cite Stanley et Hopkins (1972) en ces termes : « good content validity will usually have face validity ».

5 Il nous faudra faire preuve de vigilance, et considérer avec prudence des analyses sophistiquées qui peuvent faire suite à une collecte de données reposant sur des bases théoriques branlantes.

6 Composantes/paramètres

Haut de page

Table des illustrations

Titre Figure 1. Quatre échelles de mesure
URL http://asp.revues.org/docannexe/image/1696/img-1.png
Fichier image/png, 17k
Titre Figure 2. Évaluation – Mesure – Test
URL http://asp.revues.org/docannexe/image/1696/img-2.png
Fichier image/png, 1,0M
URL http://asp.revues.org/docannexe/image/1696/img-3.jpg
Fichier image/jpeg, 332k
URL http://asp.revues.org/docannexe/image/1696/img-4.jpg
Fichier image/jpeg, 432k
URL http://asp.revues.org/docannexe/image/1696/img-5.png
Fichier image/png, 468k
Haut de page

Pour citer cet article

Référence papier

Patrick Doucet, « Pour un test utile », ASp, 34 | 2001, 13-33.

Référence électronique

Patrick Doucet, « Pour un test utile », ASp [En ligne], 34 | 2001, mis en ligne le 15 octobre 2010, consulté le 28 mars 2017. URL : http://asp.revues.org/1696 ; DOI : 10.4000/asp.1696

Haut de page

Auteur

Patrick Doucet

Patrick Doucet, maître de conférences à l’UFR Anglais et LEA de l’Université de Tours, est l’auteur d’une thèse sur l’évaluation (« L’évaluation en question, 1997 »). Il participe depuis cinq ans aux travaux du groupe de recherche sur le DCL et il est membre du jury du CAPES depuis 2000. Patrick.Doucet@univ-poitiers.fr

Articles du même auteur

Haut de page

Droits d’auteur

Tous droits réservés

Haut de page
  • Logo GERAS -Groupe d'Etude et de Recherches en Anglais de Spécialité
  • Revues.org