第七届全国教育实证研究论坛之“高等教育评价与测量的实证研究”分论坛成功举办

2021年10月31日，第七届全国教育实证研究论坛之“高等教育评价与测量的实证研究”分论坛在上海交通大学教育学院成功举行。我院王帅副教授和美国华盛顿大学教育学院王纯副教授为论坛的共同召集人和主持人，来自美国亚利桑那州立大学、美国德克萨斯农工大学、上海交通大学、北京教育科学研究、清华大学等国内外高校的嘉宾分享了各自的研究成果。会议在线上和线下同步举行，约1700余人次观看交流。

【上半场主持及嘉宾】

首先，由亚利桑那州立大学的郑屹（副教授，博士生导师）分享了题为“案例分析：通过教学大纲研究美国高校中的学生考评方式”的报告。考评方式是学生学习的指挥棒，也最能反映教育系统的真实情况。近20年来，欧美国家的教育考评专家倡导改革高校的学生考评方式，提倡“以学生为中心”的考评方法，强调以考促学、学生主动参与、考评任务接近实践应用、给予频繁反馈、增加考评方式多样化，以及促进元认知、自我反思、自我管理。然而近期不同欧美国家的调查研究都发现，高校中最常用的学生考评方式仍为传统的纸笔考试。本研究对亚利桑那州立大学数学与统计学系进行了案例分析，研究采用的研究方式不同于常用的问卷调查或访谈，而是通过分析教学大纲来完成，共系统分析了81个教学大纲，涵盖了该系所有科目以及年级层次。研究发现，样本中绝大多数(91.9%)的课程采用传统纸笔考试，而各种“以学生为中心”的考评方法（如自我评估、学生互评、阅读笔记）的使用率均不到5%。在作务真实度方面，近一半的小测验允许使用各种日常生活中可用的工具（如网上搜索、统计软件），而不到5%的大考中允许使用工具。在考评方式多样化方面，25%左右的课程使用不超过两种考评方式（如作业+考试），55%左右的课程使用3-4种考评方式，剩余20%左右的课程使用5-8种考评方式。本科低年级课程在考评多样化方面做得比较好，而本科高年级和研究生的小课需要增加考评多样性。该研究提供了高校考评实证研究的新思路：教学大纲是一种客观、全面的数据源，可以帮助科研工作者洞查高校的考评现状。

接下来，美国德克萨斯农工大学的张博老师分享了题为“自陈式人格测验在高等教育测评中的挑战和机遇”的报告。在高等教育领域，大五人格和学业成绩、欺骗行为、孤独、抑郁、焦虑、毕业后薪资等重要变量存在联系。人格并非一成不变，在自然情景和人为干预下会发生变化。高等教育关注人格，可以科学合理地培养人才，使其更具有社会适应性的人格特质，实现德智体美劳全面发展。人格测验最常用的测量方式是李克特自陈量表，但也存在许多问题。第一，人格测验题目有较强的社会称许性，因此会出现不诚实作答。第二，不同作答者对题目理解不同。第三，不同个体作答风格不同。解决方案包括迫选测验和虚拟情境锚定法。迫选测验能在高利害环境下抗作假，自评和他评之间保持一致，但信度略低于李克特量表。初步证据表明，虚拟情境锚定法利用作答者在虚拟题目上的作答，使校正后的分数看上去更具有可比性，但不太可能提高人格测验的有效性。

上半场的最后一场报告由上海交通大学的王帅老师带来关于“高校开放教育资源的实证研究”的报告。开放教育资源（OER）是商业教材的有效替代，具有免费性和公开许可的特性。研究发起于2016年，旨在减轻大学学习的负担和提高学生的学习表现，提出研究问题：选取了开放教育资源学位的学生，相比选择传统教学方式的学生，是否更快完成了学位？是否得到了更高的GPA（平均学分绩点）？开放教育资源学位是否会对某个具体的学生群体的学习更有促进作用？研究通过对比试验，将学生分成三组，分别是0剂量（没有选择任何OER课程）、低剂量（选择1门或2门OER课程）和高剂量（选择3门及以上OER课程），研究发现：（1）OER和学分之间存在显著关系，使用了OER的学生可以拿到更多的学分，从而更快地完成学业。（2）使用了OER的学生可以在同样的时间修完更多的课程和学分，并且保持同等的GPA。（3）OER对于各个学生群体都有受益，经济情况较差的学生有更多的受益。由于实验并非随机分配，难以控制学生变量，未来的研究可以考虑使用随机对照实验进行进一步的检验。

—————————————————————————————————————————————————————————

【下半场演讲嘉宾】

第一场报告是上海交通大学教育学院世界一流大学研究中心的冯倬琳老师和博士生郭鑫带来的关于“世界一流大学同行间的影响力”的分享。随着科研成果数量等硬指标的提升，我国“双一流”大学的世界排名在不断攀升，然而相应的国际声誉、国际认可等影响力并未获得同步增强。本研究旨在以世界一流大学同行认可程度衡量我国“双一流”大学的国际影响力，直观呈现出影响力的现状。本研究与技术专家合作，搭建世界一流大学的大数据平台，以数据和资料库建设为支撑，以定量和实证研究方法为手段，通过样本学校在世界百强大学校级数据的被引频次等数据，发现我国“双一流”建设大学的同行影响力随着建设周期的推进逐步提升，“双一流”建设大学中的若干顶尖大学，整体上与世界一流大学的差距在逐步减小，但与世界顶尖大学的水平相比还是差距显著。这项研究后续会继续开展，尝试与全球危机等重大议题进行结合，探索世界一流大学影响的规律，从而进一步开展预测研究。

接下来，北京教育科学研究院教育发展研究中心助理研究员李璐老师为我们带来了题为“高校教师学术生产力影响力因素的HLM分析”的分享报告。在第四次工业革命引发的教育革命背景下，创新力越来越受重视。同时，我国也进入了高质量发展阶段，科技强国、经济转型、产业结构升级等强国战略都需要创新驱动。如何提升高校教师的学术生产力或知识创新能力成为上至国家下至大学的重要命题。而高校教师学术生产力往往会受外部的量化评价奖励机制和内部的自主动力左右影响。在此背景下，本研究提出核心问题：在制度化的外部评价和个体自主性之间，是否存在一些高校可作为、可提供的组织支持性要素对教师学术生产力发挥积极作用？这些要素又如何与教师个体要素之间互动进而对科研行为产生影响？经文献梳理，本研究发现有关个体和组织不同层面要素对学术生产力机制及各要素间关系的研究尚有不足。基于此，本研究采用多层线性模型分析，探讨将组织氛围（学术-行政权力配置模式、学术-行政部门非正式关系以及院校学术氛围）视为院校层级变量时，三种个体层面要素（工作投入、研究偏好、职业归属感）对教师学术生产力的影响的层级效应，以及个体层面的要素是否发挥调节效应。实证研究表明，教师个体层面的职业归属感、工作时间和科研投入时间百分比对其学术生产力产生显著正向影响。院校组织氛围中的学术决策氛围、学术-行政部门非正式关系和学术氛围对高校教师学术生产力有显著的积极促进作用，其作用机制是直接影响。个体层面的职业归属感通过学术主导型决策氛围对高校教师的学术生产力发挥负向调节作用。研究进一步分析得出，学术自主性对大学及学者发展至关重要。如何促进发挥学术自主性，是未来很有价值的研究课题。

第三场报告是上海交通大学教育学院助理研究员余天佐老师带来的“工科毕业生职业能力失配的评估研究”分享。高校毕业生的就业问题一直较为严峻，但根本问题不在于供大于求，而在于高校培养的人才素质结构（即职业能力）与产业界需求不相适应、不相匹配。国内外对职业能力失配问题已有一定研究，但专门针对工科毕业生职业能力的研究还不多见。为此，本研究提出了三个研究问题。首先，工科毕业生职业能力的失配现状如何？其次，工科毕业生在提升职业能力上应遵循怎样的优先顺序？最后，有哪些因素会影响工科毕业生职业能力失配？本研究使用产业界《工科通用能力需求量表》（NGCE），涉及领导力、工程设计、职业态度、问题解决、学习和沟通、工程知识六个维度，53个题项，以在中国大陆的20家企业的1183名工科毕业生为研究对象，调查工科毕业生对各项职业能力的重视程度以及绩效表现程度的自我评价。本研究使用IPA分析法(Importance-performance Analysis，IPA)，发现工科毕业生的职业能力明显不足，所有职业能力指标均存在显著失配。领导力、工程设计、职业态度、问题解决、学习和沟通、工程知识六个维度中几乎都存在亟待提升的职业能力。具体而言，工程知识维度中的专业前沿知识、领导力维度中的演讲能力、谈判能力、决策能力及组织管理能力、工程设计维度中的外语能力、学习和沟通维度中的口头、书面沟通技能和信息获取技能、职业态度维度中的自信，这些职业能力的提升较为急迫，需要优先提升。经调查，本研究还发现科研训练项目经历、专利申请经历、岗位职务以及企业类型这些因素会对工科毕业生职业能力失配情况产生影响。由此，本研究延申出若干讨论问题，包括如何看待工科生发表学术论文和申报专利、如何调整融合工科基础课程与专业课程以及如何实现工科毕业生终身学习和终身教育。希望今后通过对于上述问题的探讨研究，进一步弥合工科毕业生职业能力失配度，改善优化高校人才培养体系。

下半场的最后一场报告是清华大学外文系助理教授张亦凝老师带来的“Rasch模型在等级量表评估分析中的应用——以中国英语学习者元认知策略量表为例”。Rasch模型是一种基于概率的心理测量模型，它将个体的能力和测试题目的难度放置于一个等距的量尺上进行比较，进而描述个体、测试题目的难度以及个体给出正确答案的可能性之间的关系，为测量工具是否客观可靠提供判定信息。本研究以467个中国英语学习者在英语学习元认知策略自评量表(5 point Likert scale)的数据为例，运用Rasch模型对该量表在收集样本上的有效性进行检验。通过Rasch模型中的拟合度分析、可靠性和区分度分析、单一维度和局部独立假设分析、类别设置分析和试题差异分析，本研究发现经过改编的中国英语学习者元认知策略量表总体来说具有较好的效度，除一题外其余题目均能很好地反映元认知策略这一潜在特质，量表具有单一结构, 类别设置和试题差异设置基本合理。不过，有两处有待未来继续优化。首先，量表“中立"与"同意"两个选项的区分度不高，需要选取其他样本进行进一步的测试。其次，量表中需要适当添加题目以区分较高元认知策略能力的学生。