« A perennial problem faced by educators is that of assessment for IL education. How does one appropriately assess learning in this domain? »

Bruce, C.S. (1999, en ligne) [1]

Cette partie traite des modalités d’évaluation des compétences informationnelles abordées sous l’angle de l’évaluation des apprentissages.

Dans un premier temps, ces modalités sont mises en relation avec le contexte plus global de l’évolution des philosophies et des pratiques de l’évaluation. Dans un second temps, nous nous concentrons sur les instruments d’évaluation que nous avons pu consulter, qu’il s’agisse de l’évaluation de la progression des apprentissages ou de l’évaluation en début et/ou en fin de parcours.

3.1 Évolution des philosophies de l’évaluation

« Le passage de programmes par objectifs à un programme axé sur le développement de compétences dénote un changement de paradigme qui a d’importantes répercussions sur la façon de concevoir l’évaluation, son rôle dans l’apprentissage, la culture dans laquelle elle s’inscrit et les exigences nouvelles qu’elle pose au regard de la responsabilisation et des moyens. »

Legendre (2001, p. 15) [2]

Dans de nombreux pays, les réformes éducatives récentes ou en cours mettent en place des programmes basés sur les compétences et ce, autant dans les enseignements préscolaire, primaire et secondaire que dans l’enseignement supérieur. Ces réformes sont généralement présentées comme découlant d’un changement de paradigme éducationnel faisant passer les systèmes éducatifs d’un paradigme centré sur l’enseignement à un paradigme centré sur les apprentissages. Un changement qui a, à son tour, des répercussions sur les pratiques d’évaluation, qu’il s’agisse d’évaluation des apprentissages, d’évaluation de l’enseignement, d’évaluation de programme ou d’évaluation de l’institution.

Dans le paradigmes centré sur les apprentissages, l’évaluation des apprentissages fait un appel plus important à des pratiques d’évaluation de type formatif. Selon Legendre (2001), les systèmes éducatifs passeraient d’une évaluation de type sommatif en fin de parcours ayant pour fonction « de sanctionner la réussite ou l’échec » à une évaluation de type formatif intégrée au processus d’apprentissage dont la fonction est régulatrice et vise à soutenir la démarche d’apprentissage des élèves et à orienter ou à réorienter les interventions pédagogiques. Dans un tel contexte, mettre en place des programmes axés sur le développement de compétences impose de changer de « culture de l’évaluation » et d’accorder au moins autant d’importance au suivi de la progression des apprentissages qu’à une vérification in fine de l’acquisition des compétences visées (laquelle, toutes proportions gardées, correspond selon la terminologie antérieure à la vérification de l’atteinte d’objectifs terminaux en termes d’attitudes, d’habiletés et de connaissances…). Le suivi des apprentissages nécessite, en conséquence, des pratiques d’évaluation dite « authentique » ou « alternative » visant à identifier et à documenter la progression et la manifestation des apprentissages avec des moyens tels que les réseaux de concepts, les exercices autoévalués, l’entrevue, le questionnaire, la grille d’observation, le carnet de bord, le portfolio, etc. Ce type d’évaluation apporte une dimension qualitative en général peu présente dans l’évaluation en fin de parcours, laquelle ne disparait cependant pas pour autant.

3.2 Modalités et instruments d’évaluation des compétences informationnelles

La question de l’évaluation des compétences informationnelles dont font preuve les élèves et les étudiants est une préoccupation très actuelle dans tous les ordres d’enseignement. Elle a tendance à s’inscrire dans un contexte de programmes basés sur les compétences et entraîne l’élaboration de modalités d’évaluation diversifiées en relation avec des attentes, des critères d’évaluation et des exemples de réalisation.

Avec la mise en place de programmes basés sur les compétences, est apparu un nouveau type d’évaluation, soit « l’évaluation basée sur la performance », aussi qualifiée d’évaluation « authentique » ou « alternative ». Les définitions suivantes illustrent cette orientation:

Performance-Based Assessment: Direct, systematic observation and rating of student performance of an educational objective, often an ongoing observation over a period of time, and typically involving the creation of products. The assessment may be a continuing interaction between teacher and student and should ideally be part of the learning process. The assessment should be a real-world performance with relevance to the student and learning community. Assessment of the performance is done using a rubric, or analytic scoring guide to aid in objectivity. Performance-based assessment is a test of the ability to apply knowledge in a real-life setting. Performance of exemplary tasks in the demonstration of intellectual ability.
Evaluation of the product of a learning experience can also be used to evaluate the effectiveness of teaching methods.

Authentic Assessment: Evaluating by asking for the behavior the learning is intended to produce. The concept of model, practice, feedback in which students know what excellent performance is and are guided to practice an entire concept rather than bits and pieces in preparation for eventual understanding. A variety of techniques can be employed in authentic assessment.
The goal of authentic assessment is to gather evidence that students can use knowledge effectively and be able to critique their own efforts. Authentic tests can be viewed as « asses- sments of enablement, » in Robert Glaser’s words, ideally mirroring and measuring student performance in a « real-Tasks used in authentic assessment are meaningful and valuable, and are part of the learning process.
Authentic assessment can take place at any point in the learning process. Authentic assessment implies that tests are central experiences in the learning process, and that assessment takes place repeatedly. Patterns of success and failure are observed as learners use knowledge and skills in slightly ambiguous situations that allow the assessor to observe the student applying knowledge and skills in new situations over time.

Benchmark: Student performance standards (the level(s) of student competence in a content area.) An actual measurement of group performance against an established standard at defined points along the path toward the standard. Subsequent measurements of group performance use the benchmarks to measure progress toward achievement.
Examples of student achievement that illustrate points on a performance scale, used as exemplars.

Rubric: Some of the definitions of rubric are contradictory. In general a rubric is a scoring guide used in subjective assessments. A rubric implies that a rule defining the criteria of an assess- ment sustem is followed in evaluation. A rubric can be an explicit description of performance characteristics corresponding to a point on a rating scale. A scoring rubric makes explicit expected qualities of performance on a rating scale or the definition of a single scoring point on a scale.

Assessment Terminology: A Glossary of Useful Terms. Prepared for: Assessing Learning. . . Should the Tail Wag the Dog? Assessing Learning Conference – 9/28-30, 1995. http://www.newhorizons.org/strategies/assess/terminology.htm

Comme nous l’avons constaté dans la partie précédente, les modèles récents du processus de recherche d’information tendent de plus en plus à s’aligner sur le développement de compétences et s’énoncent sous la forme d’un ensemble de « principes » (standards) décrivant les « compétences attendues », décomposés en « indicateurs de performance » (indicators) et illustrés par des « exemples d’action » (outcomes). Les outils d’évaluation qui les accompagnent se présentent généralement sous forme de « rubriques » qui précisent des « degrés d’atteinte » (benchmarks, levels of proficiency) [3].

Dans un tel contexte, l’éventail des outils d’évaluation possibles s’élargit considérablement. Le Tableau 5 (format html) en donne exemples dans le domaine qui nous concerne.

3.3 Le cas des tests

« In recent years, the emphasis of many programs has changed from tools to concepts, but few programs have adopted methods aimed at assessing whether students gained the cognitive skills for analysis, synthesis, and evaluation of information that form the basis for much of the assessment of higher education. One of the most often used evaluation tools, generally carried out immediately post-session, is the study of changes in student attitudes. In most cases, this technique does not measure student learning. »

Pausch et Popp (1997) [4]

« Standardized achievement tests cannot fully assess student mental processes engaged in information use. » 

Jackson, Mary M. (1994, p. 30) [5

Dans leur revue des écrits en vue de l’élaboration d’un test standardisé pour Kent State University, O’connor, Radcliffe et Gédéon (2001, p. 163) [6] constatent qu’il n’y a pas de trace dans les écrits, depuis 1980, de méthode standardisée de mesure des compétences informationnelles qui soit facile à administrer et multi-institution. Les tests existants examinés par ces auteurs couvrent surtout des habiletés de base de recherche en bibliothèque et n’incluent guère de connaissances ni de compétences relevant de niveaux conceptuels « de haut niveau ». Cette équipe travaille actuellement sur le projet SAILS (Standardized Assessment of Information Literacy Skills).

En ce qui concerne les ordres d’enseignement primaire et secondaire, nous avons relevé le travail entrepris en Nouvelle Zélande à partir de 1993 dans le cadre du projet NEMP (National Education Monitoring Project). L’objectif de ce projet est d’évaluer près de douze ensembles de compétences à deux niveaux du primaire (« year 4, ages 8-9 and year 8, ages 12-13 ») et ce, en principe tous les quatre ans, de façon à permettre des études longitudinales. Les « compétences informationnelles », qui font partie des huit ensembles de « compétences essentielles » des programmes d’études de Nouvelle Zélande, ont été les parmi premières à être évaluées, à partir de 1997. Quatorze tests destinés aux niveaux primaire, intermédiaire et secondaire ont été publiés depuis mars 1999 [7] ; ils couvrent six dimensions de la recherche d’information, à savoir :

• trouver de l’information dans une bibliothèque (finding Information in a Library)
• trouver de l’information dans un ouvrage de référence (finding Information in Reference Sources )
• trouver de l’information dans un livre (finding Information in Books)
• trouver de l’information dans les graphiques et les tableaux (finding Information in Graphs and Tables)
• trouver de l’information dans des textes en prose (finding Information in Prose Text)
• évaluer l’information contenue dans des textes (evaluating Information in Text)

Les données recueillies ont donné lieu à plusieurs publications dont, en particulier celles de Brown (1999, 1998, 2001) [8].

3.4 Les instruments d’évaluation consultés (exemples de tests en ligne)

Bien que O’connor, Radcliffe et Gédéon (2001) signalent n’avoir pas trouvé trace, depuis 1980, de méthode standardisée de mesure des compétences informationnelles qui soit facile à administrer et multi-institution au niveau universitaire, il convient de rappeler que plusieurs instruments visant à évaluer les habiletés de recherche en bibliothèque ont existé antérieurement à cette date. Pour mémoire, on peut mentionner:

• des tests uniquement «library/media» pour le primaire et le secondaire, comme, par exemple:
  • Gullette-Hatfield test of library study skills, 1975: 44 items pour le primaire (Level I), 50 items pour le début du secondaire (Level II, middle school) et 50 items pour la fin du secondaire (Level III, high school) – cité par Toifel et Davis, 1983, p. 212 [10]
  • Ohio School Library/Media Test, développé par Hyland [9], 1978: 53 items pour le primaire et le secondaire (Grades 4, 5, 6, 7, 8, 9, 10, 11, 12) – cité par Jackson, 1993, p. 30 [5] – se trouve dans la base «Educational Testing Service» de ERIC
• des tests plus généraux incluant une dimension «library/media», comme, par exemple les trois suivants:
  • Iowa test of educational developement (ITED): 46 questions – cité par Jackson (1993, p. 30) [5] et identifié dans la base «Educational Testing Service» de ERIC
  • Test of achievement and proficiency (TAP): 68 questions – cité par Jackson (1993, p. 30) [5]
  • Comprehensive tests of basic skills, 4th ed. (CTB S4): 20 questions – cité par Jackson (1993, p. 30) [5]

Quant à l’ensemble de six tests standardisés récents non mentionnés par O’connor, Radcliffe et Gédéon [6], il est également destiné aux niveaux primaire et secondaire (Brown, 1998, 1999, 2001) [8]:

• Finding Information in a Library: 30 items (primary), 30 (intermediate)
• Finding Information in Parts of a Book: 27 items (primary), 29 (intermediate)
• Finding Information in Reference Sources: 26 items (primary), 27 (intermediate)

Pour les fins de ce projet, dix tests ont été retenus parmi un ensemble de tests existants, imprimés et/ou disponibles en ligne pour faire l’objet d’une analyse comparative. Ils ne forment en aucun cas un échantillon représentatif, mais donnent plutôt un aperçu d’instruments et de situations d’évaluation qui ont vu le jour à partir de la fin des années 1990. Voici comment ils se distribuent selon l’origine et l’ordre d’enseignement:

Origine	Ordre d’enseignement	Tests examinés
Nouvelle Zélande	rimaire (Primary) secondaire ( Intermediate)	1 (T1: deux ensembles de trois tests pour chaque niveau)
Canada	universitaire	1 (T8)
États-Unis	universitaire (collège – univ.)	8 (T2 – T7, T9-10)

Les tableaux 9.1 et 9.2 (format jpg) présentent l’éventail des contenus abordés dans les dix tests retenus, en relation avec la modélisation du processus de recherche et d’exploitation de l’information esquissée dans la partie 2 et le cadre conceptuel proposé dans la partie 4.

Notes

[1] Bruce, C. S. 2000. « Information literacy programs and research: an international review. » Australian Library Journal, vol. 49, no3, pp. 209-218.

[2] Legendre, Marie-Françoise. (2001) « Favoriser l’émergence de changements en matière d’évaluation des apprentissages. » Vie pédagogique, no 120, sept.-oct. 2001,pp. 15-19. Aussi en ligne. Adresse URL: http://www.viepedagogique.gouv.qc.ca/numeros/120/vp120_15-19.pdf

[3] Voir, par exemple : Colorado. Department of Education. 1998. Rubrics for the Assess-ment of Information Literacy. A companion to the Colorado Model Information Literacy Guidelines. 6/96, revised 12/98. Denver, CO: State Library and Adult Education Office; Colorado Educational Media Association; Colorado Department of Education, 12/98. 15 p. (format pdf) (En ligne) Adresse URL: http://www.cde.state.co.us/cdelib/slinfolitindex.htm Kathy Schrock’s Guide for Educators: Assessment and Rubric Information. (En ligne) Adresse URL: http://school.discovery.com/schrockguide/assess.html

[4] Pausch, Lois M.; Popp, Mary Pagliero. 1997. Assessment of Information Literacy : Lessons from the Higher Education Assessment Movement. (En ligne) Adresse URL: http://www.ala.org/Content/ContentGroups/ACRL1/Nashville_1997_Papers/Pausch_and_Popp.htm

[5] Jackson, Mary M. 1994. « Library information skills and standardized achievement tests. » In: Kuhlthau, Carol C. (Ed.). Assessment and the school library media center. Englewood, CO: Libraries Unlimited, pp. 25-31. (Reprinted from School Library Media Annual, 1993)

[6] O’Connor, Lisa; Radcliff, Carolyn; Gedeon, Julie. 2001. Assessing information literacy skills: developing a standardized instrument for institutional and longitudinal measurement. In: Crossing the Divide. ACRL 10th National Conference. Denver, Colorado, March 15-18, 2001.Chicago: ALA/ACRL. (En ligne) Adresse URL: http://www.ala.org/Content/NavigationMenu/ACRL/Events_and_Conferences/oconnor.pdf

[7] Voir le site de l’organisme NZER : http://www.nzcer.org.nz/research/essential.htm

[8] Brown, Gavin. 1998. Assessing an essential skill: Finding information in the library. Paper presented at the New Zealand Association for Research in Education Annual Conference, December 3-6, Dunedin. (ERIC Document ED 429 995); Brown, Gavin. 1999. Information skills: how information literate are New Zealand Children? Paper presented at the New Zealand Association for Research in Education Annual Conference, Nov 29-Dec 2, 1999, Melbourne. (En ligne) Adresse URL: http://www.aare.edu.au/99pap/bro99108.htm; Gavin Brown: 2001. « Locating categories and sources of information: how skilled Are New Zealand children? » School Library Media Research, vol. 14, 2001. (En ligne) Adresse URL: http://www.ala.org/Content/NavigationMenu/AASL/Publications_and_Journals/School_Library_Media_Research/Contents1/Volume_4_(2001)/Brown.htm

[9] Hyland, Anne-M. 1978. Ohio School Library/Media Test. (ETS# TC012601)

[10] Toifel, Ronald C.; Davis, Wesley D. 1983. « Investigating library study skills of children in the public schools. » The journal of academic librarianship, vol. 9, no 4, pp. 211-215.