原文刊载于《中国考试》2022年第2期第64—72页。
作者
王慧君,河南大学教育学部教授,博士生导师。
摘要
基于证据的学业评价不仅是一种评价方法,也是一种评价理念,对变革传统学业评价具有革命性意义。基于证据的学业评价强调证据理性,强调基于证据的逻辑推理和价值判断。e-ABC学业评价框架是一个行之有效的操作性框架,有助于基于证据学业评价的推广与普及。基于证据的学业评价实践路径包括:提升教师的证据意识与评价素养,促使应试文化的消解与评价文化的形成,充分发挥信息技术在学业评价中的积极作用,利用评价反馈切实促进学生学习与发展。
关键词
学业评价;基于证据的学业评价;应试文化;考试文化;评价文化
正文
随着课程与教学改革的不断深入,课程学业评价问题逐渐凸显。学业评价不仅是课程教学的重要组成部分,同时也是学校实现人才培养目标的重要保障,是教师贯彻落实育人目标、保证人才培养质量的重要载体和手段。学业评价以教育评价理论为指导,国家意志、教学理念、社会文化以及评价的技术工具等都会对其产生影响。学业评价从微观论,关乎学生课程学习的公正评价,从宏观论则关乎培养什么人的问题。尽管我国目前的课程学业评价已经受到了一定重视,如在新修订的高中各科课程标准中都增加了“学业质量”要求,构建了学业评价指标体系,但现实中的学业评价仍沿袭传统学业评价范式,未能从根本上发生转变,仍然存在以下问题:评价主观随意,特别是过程性评价,缺乏证据和数据意识;评价过程不够公开、透明,也不够严谨;评价结果缺乏科学性与公信力。基于证据的学业评价不仅是一种评价方法,也是一种评价理念,对变革传统学业评价具有革命性意义,它能为学业评价带来生命活力,有助于规范、引领学业评价走向具有科学性和公信力的“硬评价”。
1基于证据的学业评价及其主要观点
1.1证据及其特征
证据原是法律术语,是指用于证明案件事实的材料。《现代汉语词典》将证据定义为能够证明某事物真实性的有关事实或材料[1]。证据的英文表达为evidence,《牛津现代高级英汉双解词典》对evidence的解释有2层涵义:1)任何能使人相信某事、能澄清或证明某事的证明性材料(anything that gives reason for believing something, that makes clear or proves something);2)指示标记、痕迹(indication mark, trace)[2]。《中华人民共和国民事诉讼法》(2012年8月31日修正)第六十三条规定:书证、物证、视听资料、电子数据、鉴定意见、勘验笔录、证人证言甚至当事人的陈述都可以作为判断的证据。证据可以是信息、数据、事实,但证据又不同于一般的信息、数据和事实,受评价目的和评价对象的影响和制约,同时也与评价主体的评价理念、证据素养等密切相关。证据为评价目的服务,用于支持某项结论或为某项结论提供证据。证据至关重要,证据的优劣、充分与否直接影响对结果的判断和结论的得出。
美国西部学校和学院协会(Western Association of Schools and Colleges,WASC)给出优质证据的5个特征,即相关性、可信性、典型性、可累积性、可操作性[3]。优质的证据必须是与所要讨论的问题密切相关、真实可信、具有典型性和代表性,是可以通过多渠道、多途径收集来对同一个问题进行证明或澄清的,同时又是可以采集、保留和使用的。
对证据的正确识别、采集、筛选等,是作出合理决策、得出正确结论的前提和基础。作为一个决策者或者评价者,必须要理解证据的内涵并把握证据的关键特征。
1.2学业评价的证据
基于证据的评价多用于医学、法学和刑侦,它在教育教学中的应用可追溯至20世纪40年代美国教育评价之父拉尔夫·泰勒。泰勒将证据一词用于评价,建议通过系统收集证据来确定学习者的学习是否发生了变化以及变化的数量或程度[4]86。这可以被称为教育领域最早的基于证据的评价。
基于证据的评价不仅是一种评价方法,也是一种评价理念或评价观念。它秉持证据理性,强调证据在评价中的重要性。基于证据的评价在教育领域规模化应用,始于美国20世纪80年代的学校问责。为回应问责,学校需要向政府和公众证明其教育产出和教育成效,来自学生学习成果方面的证据和数据无疑是最有力的证明。一时间,基于证据的学业评价被广泛应用,并在教育领域形成了一种独特的证据文化。
美国高等教育认证委员会(Council for Higher Education Accreditation,CHEA)于2001年发布的《认证和SLOs》,对学习成果评估中的“证据”作出规定:1)证据要具有综合性,要涵盖所学课程或专业的所有知识和技能;2)证据来源要多样化,尽可能保证对学生学习成果进行多样化判断;3)证据要具有多维性,要能体现学生学习的各个方面;4)证据要包括直接证据和间接证据,间接证据同样重要,不可忽视;5)证据是多层次的,根据评估(或认证)目的的不同,可收集学生个体、学生群体、课程或课程体系、专业或学院、学校等不同层次或层次组合的学习证据;6)证据必须真实可信且相关,避免对学生学习进行狭隘的定义和过度标准化的衡量;7)促进教育改进是衡量证据价值的重要依据,证据要与教育有关,能够促进教育改进[5]。
国外学者对学生的学习评价习惯用“学习成果评估”(learning outcomes assessment),我国学者更喜欢用“学业评价”“学业质量评价”“学业成就评价”等。学业即学生学习的课业,学业评价即对学生完成课业学习情况的评价,它可以是学生完成一个学习阶段后,对各学科课程学习情况的综合性评价(学段评价),也可以是学生完成某门课程学习之后的阶段性评价(课程评价)。姚林群等从学段评价(三维课程目标)的视角论述学业评价的证据类型,将学业证据划分为:有关学科知识掌握的证据,有关学科能力形成的证据,有关学科核心价值观发展的证据,以及有关学生学习品质养成的证据[6]。张念从混合学习课程的视角,系统地分析线上、线下以及线上线下无缝对接环境下学生学业评价的证据类型及其来源,将学业评价证据类型分为学习过程(行为)证据与学习结果(成就)证据2种,将学业评价证据来源分为线上、线下2种,并由此将学业证据划分为4种类型:线上过程性证据,线上结果性证据,线下过程性证据,线下结果性证据[7]。线上过程性证据主要来源于学习者在学习管理系统(Learning Management System,LMS)中与课程资源、教师及同伴交互的行为方式,如登录、浏览、发帖等行为数据;线上结果性证据来源于学生线上阶段性和终结性学习成果,如在线作业、在线测验、数字化作品及项目成果等;线下过程性证据来源于课堂学习过程中学生行为表现,如课堂提问、课堂讨论、角色扮演等行为数据;线下结果性证据来源于学生线下的阶段性和终结性学习成果,如学生的论文、学习笔记、实物作品等[7]。清晰的证据分类及来源分析,可以为评价主体设计与实施基于证据的学业评价提供方法论启示与指导。
1.3基于证据的学业评价
基于证据的学业评价秉持证据理性,依据评价标准、证据推理等对学业的质量或状态作出价值判断[8]。它强调证据在学生学业评价中的重要作用,注重学业证据的识别、采集、分析和使用。通过对国内外相关研究文献的查阅,结合近年来的理论思考与实践反馈,笔者将基于证据学业评价的主要观点概括为5个方面:1)学业评价的最终目的不是鉴定和甄别,而是促进学习。促进学习正在成为学业评价的新范式[9]。学业评价应从发展的视角出发,尽可能对学生学习及学习结果等作出全面、客观的评价。2)学业评价不仅包括终结性评价,更应包括形成性评价,且形成性评价应占据核心地位。Cilliers认为,学业评价不仅要评价学生对事实性知识和基本技巧的掌握情况,更要对学生的成长和学习过程进行评价[10]。注重过程的形成性评价更能反映学生学习的真实情况,更客观、更生动具体。3)学业评价是对学生学习行为和结果的逻辑推理和价值判断,应依靠多方面的学业证据而不仅仅是学习测量。只能测量学习中那些能够测量的部分(如基本知识、基本技能),而学习投入、表现及学习品质等重要的内容却不易测量。格朗兰德认为,一个完整的评价必须包括对量的记述(测量)、对质的记述(非测量)以及价值判断[11]。学业评价需要依据充分的证据实施评价,证据不仅包括测量所得的量化证据,还包括通过观察、评价表、访谈等获得的质性证据。证据推理主要涉及3个问题,即关于什么的证据、什么样的证据最有价值、如何发挥证据的作用和意义。4)学业评价需要大量、优质的证据,证据越多元、越可靠,评价结果相对就越科学、越公正。理论上讲,证据越全面、越完整,越利于评价。实际上,不可能也没有必要收集所有的证据,而且并非证据越多越好,无关的证据、劣质的证据反而影响对结果的判断。5)学业证据可以运用一定技术工具和专业化手段进行收集,“能获取教育目标所指的各类行为的有效证据的任何途径,都是一种恰当的评价方法”[4]86-87。
2基于证据的学业评价框架
2.1国外的学业评价框架
操作框架是连接理论与实践之间的桥梁。为促进基于证据的学业评价应用,国外学者提出了若干操作框架。Mislevy等提出“以证据为中心的设计”(evidence‐centered design)框架[12],该框架侧重评价活动设计,强调学业评价是一种基于证据的推理过程。美国学习成果评估中心(National Institute for Learning Outcomes Assessment,NILOA)提出了基于证据实施评价的“透明框架”(Transparency Framework)[13],该框架包括学习成果陈述、评价方案、评价资源、评价活动、学生学习证据及证据的使用6个环节,具有较强的操作性,美国约80%的高校都采用此框架对本科生学习成果进行评估。
为了回应高校问责,美国教育考试服务中心(Educational Testing Service,ETS)提出了“针对学生学习成果的循证问责系统”(Evidence-Based Accountability System for Student Learning Outcomes),特别强调学业评价中的证据及证据文化。该系统包括明确学生学习成果、评价审核、评价扩充、评价改进、从活动中学习、确保学习成功、保持证据文化7个环节,又称“七步模型”[14]。该模型允许各高校自行评审和分析,不仅对高校如何实施基于证据的学习成果评价给予具体指导,而且有利于高校形成一种评估学生学习成果的证据文化。
Heritage专门针对形成性评价提出了基于证据的十环节模型,如图1所示。该评价模型以促进学生发展为目标,充分发挥了证据在评价中的作用,在美国K-12教育领域产生了较大影响,有力推动了形成性评价在美国中小学成就评价中的应用。
2.2国内的学业评价框架
缘于应试文化的影响和形成性评价操作的复杂性,我国真正意义上的学业评价研究和实践还相当薄弱。2016年,姚林群等首次提出我国学业评价应“基于证据”“重证据”,并系统地阐述了基于证据的学业评价思想[6]。2019年,王健等以评价三角理论为基础,构建旨在培养学科核心素养的学业评价框架[16],促进了基于证据的评价由理念向实践转化。
2020年,笔者与所在的研究团队借助国家社科基金项目“基于‘证据’的混合学习课程学业评价研究”的研究基础,针对我国目前学业评价中的“软评价”现象,以评价三角理论为基础,综合国内外相关研究成果,构建了基于证据的混合学习课程学业评价框架[17]并进行教学实践。为便于表述,通过提取关键词的方法将该模型命名为eABC模型。“e”即证据(evidence),“A”即学业成就评价(academic achievement assessment),“BC”即混合课程(blended curriculum)。e-ABC模型包括识别证据(认识证据并判断证据价值)、创设证据(通过一定手段引出所需证据)、采集证据(收集存储并整理证据)、鉴定证据(对证据进行挑选和排序)、分析证据(对证据进行统计和推理)、解释证据(对证据及其分析结果进行解释)、使用证据(利用证据及证据分析结果实现学业评价)7个环节,见图2。
e-ABC框架不仅提供了清晰的评价流程,还对每一环节的实施途径和方法给出了具体指导,详细说明了混合学习环境下线上线下证据的收集、分析和应用。比如在“创设证据”环节,提出通过巧设评价任务从而引出证据,留存证据的评价策略,可以通过拍摄活动视频等方式将学生的现场活动转换成数字化材料,学生和教师就可以通过场景再现进行系统性评价,同时可将数字化材料作为评价的原始证据,还可将数字化材料上传至教学平台,方便学生开展互评和自评。再比如“使用证据”环节,提出了证据使用的3条途径:一是评定学生学业成绩,形成学业评价报告,反馈给学生,用于提高学业水平;二是反馈给教师,用于了解学生学习效果,反思并改进教学;三是反馈给学校,用于了解学生学习效果,了解教师的教学及教学效果,为制定教学决策提供依据。此外,e-ABC模型还具有普适性,它不局限于某一专门学科和学段,对各学科、各阶段的学业评价均具有指导意义。经笔者所在研究团队近2年的教学实践检验,e-ABC模型不仅有利于营造公平公正的评价氛围、增强实践者基于证据实施评价的意识和能力,而且能够有效地提升学业评价的科学性和公信力。
3基于证据的学业评价实践路径
基于证据的学业评价在我国才刚刚起步,任重而道远。学业评价本身就是一项复杂而具挑战性的工作,基于证据的学业评价更是加大了学业评价的难度,不仅需要评价者具备证据意识,而且需要评价者具备基于证据实施评价的专业能力。目前,基于证据的学业评价在实践中遭遇的困境主要表现在:认识上的问题,不愿做,不认同,认为考试才是硬道理;过程繁琐,费时费力,怕麻烦,嫌累;操作困难,缺乏经验,能力不足,不会做,做不好;效果差,出力不讨好,用处不大,做了没什么意义。针对上述困境,应对症下药,采取一定措施进行处理和化解。
3.1提升教师的证据意识与评价素养
学业评价的核心在课程,学业评价的主阵地在课堂,学业评价实施的第一责任人在教师。评价不是凌驾于教学之上或游离于教学之外的孤立环节,而是教学过程的有机组成部分。教师的评价素养、评价能力不仅是实施基于证据学业评价的关键因素,也是保证教学质量的重要前提。
长期以来,我国的教师教育存在重教学、轻评价的倾向,将评价看成是“无师自通”“不学就会”的教学本能,无论是课程设置还是教学实践,都很少将关于评价的知识及相关技能列入其中,结果导致教师评价素养的集体缺失。崔允漷呼吁:教师应先学会评价再学习上课,提升教师的评价素养是实施素质教育和推进基础教育课程改革过程中最为迫切的需求[18]。美国评价专家Stiggins曾这样来定位评价:任何课堂教学的质量最终都取决于该课堂所运用的评价的质量[19]。评价能力和评价素养对教师而言,其重要性可见一斑。
新课程所提倡的评价是承载甄别、选拔、诊断、教育教学等多种功能的多元评价。不仅包括终结性评价,还包括形成性评价;不仅包括对学生应知应会的量化评价,也包括对学生在学习过程中的行为表现、情感态度和发展潜能等的质性评价。就某种程度而言,对学生的行为表现、情感态度和发展潜能等的质性评价意义更大。面对质性评价,教师证据意识和评价素养的不足就暴露了出来:相当一部分教师不具备制订学业评价标准的能力,不会对质性材料做判断[20];缺乏证据意识,不会用过程性数据评价学生的能力提升以及学习的发生[21];评价方法缺乏客观、科学的程序,评价内容带有明显的人为性和主观性[22]。
相对于教考分离的考试评价,新课程评价特别是基于证据的质性评价因其情境性、瞬时性等特征,决定了它们只能是一种内部评价,在评价的设计、证据的收集以及证据的解释、使用等方面,教师必须亲力亲为。评价能力是教师实施基于证据学业评价的前提,必须把课程评价改革深化到“评价能力”的提升上[23],把评价素养作为教师学科素养的衡量标尺[24]。无论是职前培养还是职后培训,都要在课程设置和培养目标中体现评价的相关内容,包括评价的理念、对评价证据的认识、评价的知识以及实施评价的能力等。职后培训应加强评价指导与教学实践的联系,结合教师在实施评价时的具体问题情境,进行现身说法并提供跟踪服务,随时为教师实施基于证据的学业评价提供理论、方法和实践指导。
3.2促使应试文化的消解与评价文化的形成
基于证据的学业评价虽然主战场在课堂,但课堂小文化环境必然受到外界大文化环境的影响和制约。教师的评价素养和能力能否发挥作用,还要看外部大环境及其主流价值取向。
我国历来崇尚考试,具有悠久的考试传统,并在长期的探索与实践中形成了强劲的考试文化。科举考试始于隋朝,盛于唐朝,绵延1300年。朝代更替,岁月变迁,但考试为何亘古不衰,并以顽强的生命力迈进21世纪?程介明一语中的:考试是提升社会地位的渠道,是社会广泛接受的,是家喻户晓的,已经变成不言而喻了[25]。考试在教育教学、人才培养和选拔中发挥了重要作用。
在人才选拔中,由于高考、中考的竞争压力,加之功利诱因,一种特定的应试文化也应运而生,片面追求升学率、以考定教、唯分数论等严重影响了我国人才质量培养。尽管近年来国家一直提倡综合素质评价、表现性评价,但始终难以成为评价的“硬核”[26]。应试文化对我国当今的教育评价仍然产生着较大的影响,单纯以考试成绩来评价学生学业表现的倾向并没有得到根本性改变[27]。毋庸置疑,考试是评价不可或缺的一种方式,但不能用考试替代评价,更不能将考试文化蜕变为应试文化。
为扭转应试文化倾向,必须深化教育评价改革,建立良性的评价制度,使教育评价发挥多元功能,促使应试文化向评价文化转型。评价文化的形成,不能割裂历史,不可另起炉灶,詹颖等提出的“嫁接”策略或有一定的积极意义。他们认为,激进地把质性评价引入课堂可能会招致家长、教师和学生的对抗,以一种平稳的、和缓的方式将质性评价融入课堂,用连续的终结性评价替代形成性评价,把形成性评价的效用“嫁接”到终结性评价上,从而渗透质性评价的思想和做法,可以使教师和学生自然而然接受质性评价并积累评价经验[27]。这种方法可以在某种程度上消解应试文化,为评价文化的形成提供土壤,但应试文化和评价文化的理念不同,理论体系和实践路径亦有本质差别,旧文化的废墟上不可能结出新文化的花朵,只有进行评价文化的革命,才能最终实现教育评价功能的多元。
3.3充分发挥信息技术在学业评价中的积极作用
人们知道,考试只能测量学生的部分智能而不是全部,但人们仍然相信考试。考试的生命力一方面来自它的根深蒂固,另一方面则是得益于它的公正和科学。中考、高考是一种教考分离的外部评价,能最大限度地杜绝徇私舞弊;由专业化命题团队编制试卷,有常模作为参考,试卷信效度让人信服;匿名批改、流水作业,评分相对比较公正。此外,分数作为测量的结果被人自然地赋予了科学性,又因其结构性、直观性使人易于作出判断与选择。综合素质评价、形成性评价等之所以难以实施,关键就在于其科学性和公信力受到质疑。人们并不否认这些评价的积极意义,但人们质疑的是操作过程的规范性和评价结果的科学性。
证据是质性评价的关键,系统的、结构化证据和严谨的证据推理是提升质性评价科学性和公信力的必经之路。一直以来,人们不单单是缺乏证据意识,而且也缺少有效收集证据的工具和技术。证据获得费时费力,获得的证据零乱、松散且鱼龙混杂,无法使证据有效支持结论,是广大教师在质性评价中面临的主要问题。如前些年在我国兴起的档案袋评价、同伴互评等,也正是因此而搁浅。实施好质性评价是保证高质量学业评价的前提,基于证据的评价则是保证高质量质性评价的前提。要做好基于证据的评价,关键在于做好证据收集并合理化使用。传统的质性评价多依靠课堂观察、测量量表、评价表等收集数据和证据,主要依靠的是人工,不仅数据采集困难、繁琐,证据存储不便,而且数据分析复杂、分析结果也不易应用。这是质性评价难以推广和普及的一个重要原因。
信息技术特别是学习分析技术、人工智能的兴起,为质性评价破解上述难题提供了契机。用高新技术武装的智慧课堂,实现了线上线下无缝衔接,可以使教学互动网络化、数据采集自动化、学习分析智能化[28];通过传感器、跟踪记录仪、网络平台日志等可以实时记录学习行为数据,借助智能测评软件及智能化分析工具等,对动态学习过程中学生的行为投入、表现、结果等进行数据追踪和分析,并结合定性、定量等评价对学生学习实施全过程的动态课堂评价[29]。信息技术将教师和学生从繁琐的表格中解放出来,不用再复读学习过程;利用智能评价系统可以设计和开发对复杂能力的测评,可以实现对学习过程的可视化监控,可以采集多模态数据和证据,不仅可以避免人工操作所产生的误差,可以进行全程化、不间断地记录,还可以对大数据进行自动分析。信息技术使证据收集变得方便快捷,而且使获得证据更加系统和完整,加之借助于算法、学习分析技术等,也使得评价结果更令人信服。信息技术在评价方面的巨大潜能正在受到人们的普遍关注,应该用好信息技术这把利器,尽快补上质性评价的短板。
3.4利用评价反馈切实促进学生学习与发展
基于证据的学业评价最终目的是促进学生的全面发展。基于证据的学业评价,如果仅止步于对学生作出科学的评判,则促进学生全面发展的目的会大打折扣。
传统的评价,学生从教师那里获得的往往只是鉴定性的优、良、中、差或具体的评价分数,至于为什么会是这样的结果,这一评价结论的依据又是什么,学生很少有渠道得知。缺少评价反馈,学生就无法在后续的学习活动中有针对性地作出调整和改进。威金斯认为,学业评价的有效利用归根结底体现在反馈工作的开展上,反馈是证实行动是否正确的证据[30]。反馈不仅是必要的,而且是必须的,没有反馈的评价不能算作真正意义上的评价。反馈尊重了学生的知情权,尊重了学生的主体地位,是学生形成自我意识、学会自我反思的重要途径。
传统的评价,多是基于教师主观判断的经验性评价,无据可考,无迹可查,自然无法给学生反馈更多的信息。基于证据的学业评价,以证据为基础,以逻辑推理为准则,结论有依据,证据公开,评价量规公开,评价透明,可考证,可申诉,经得起质疑;因此,基于证据的学业评价应充分发挥证据优势,运用好评价反馈,使学生可以借助充分的证据,审视对自己的评价,发现自己的长处和不足,并对自己的学习作出调整和反思。学生还可以依据证据和评价量规,对自己获得的评价提出质疑或要求重新评价,充分体现学生的主体地位,有利于树立学生的自信心和学习责任感,还能在一定程度上培养学生的自主学习能力。效果是最有说服力的证据,用好学业评价反馈,让学生和教师从中获益,形成评价的良性循环,将有利于基于证据的学业评价为更多的人所接纳,获得家长和社会的认可,从而成为我国学业评价的主流范式。
参考文献
“《中国考试》杂志”
学习强国号