ETS访学学者甘立：学术和敬业成就的完美

新东方《托福年度报告》正式发布

网易教育讯 2015年1月27日《2014-2015新东方托福年度报告》正式发布。

甘立  ETS总部访问学者

12月初，我荣幸地与学术精湛的同事们一道参加了ETS的培训。在这里，我们受益良多。

我们的培训是由一部关于ETS历史的短片引入。原来，哈佛曾是贵族的天地；可后来“录取能人而非富人”的开明理念彻底改变了哈佛乃至整个美国的教育历史。ETS便在这种历史背景下应运而生。布什总统的一句“NO CHILD LEFT BEHIND”给全美的学生们带来了各种测试，而这些测试的背后，是ETS学术和敬业造就的完美。之后专家们为我们带来的专业学术培训是这一点的最好证明——他们不约而同地将ETS的理念和背后强大的精密步骤娓娓道来。

第一位来自法国的Fred向我们介绍了ETS考试设计背后的心理测量学。他认为，任何一种测试的设计都关注于分数和考生表现间的互动——正是因为ETS在设计测试时充分考虑到了考试的目的、人群、成败后果、执行部门、可靠性和实用性，才能成为今天深入人心的学术机构。当然，这位专家给我印象最深刻的是他慢条斯理地为我们对比了不少学术概念：有考查考生能力并可以被直接测量的“教育评估”和考查考生认知能力并不能被直接测量的“心理评估”；有直接通过数据比较组内考生成败的“Norm-Referenced”评估模式和在特定知识点中比较考生成败的“Criterion-Referenced”评估模式；有基于人工或软件分析考生数据的CTT测试理论和与个人无关基于能力点并可通过对于考生考查能力的需求和预测组合考查点的IRT测试理论等。Fred用短短2个小时的时间向我们展示了ETS考试背后惊人的学术框架——这些纯粹的学术理论成就了ETS的完美。

第二位叫Paul的测试专家切入的主题与Fred出奇的相似，但他的学术中带着特有的活泼和亲切。他告诉我们一个考试的目的是多样的：它可以是诊断能力查漏补缺，也可以是跟进能力进展，也可以是结业测评或是获得证书。但在设计这些看似简单的测试背后却是ETS员工魔鬼式的工作流程——初稿编写，一审，二审，三审，公平性审核，编辑审核，外观审核，解决问题，定稿，终审——因此他们所具备的常人难以企及的精确的敬业程度可想而知。员工的敬业造就了ETS今天的饱受赞誉的完美。

此外，两位专家都提到了“好题”和“坏题”两张图表，充分展现了ETS通过大量的数据搜集和统计对试题实用性的严格把控。从图表中我们不难得出：考生在题目中的正确答案选择率应该与他的整体实力成正比，并且成功的选项设计能够很好地分开不同能力段的考生。

之后的专家Nancy关于试题模型设计的讲座为前面所学的试题设计步骤的框架提供了更加实在的内容。其实，这个讲座所提到的ECD理论本身就是一个“总分关系”和“因果关系”的体现。这是一个非常严密的分析过程：考试意图分析中引申出考生身份分析，从而得出对考生的预期；通过预期目标寻找支持预期目标的能力表现；通过能力表现确定支持此表现的行为标志；通过分析行为标志设计与之匹配的模型并设计试题来支持匹配这些模型；最后整合试题并设计支持这个体系的评分系统。一套试题背后隐秘的艰辛和对自己学术理念的执着成就了ETS各类考试严密学术的伟大。

紧随其后的讲座为我们深刻地剖析了上一讲座中所提到的试题模型设计。Elizabeth用活泼的风格和耐心的讲解征服了我们，并用现场出题的实践模式让我们深化了对模型设计的理解。她告诉我们，ETS在编写模型时必须包括：测试能力的整体描述，问题概述，答案概述和题目样本。此讲座后，我可以很容易地区分一道试题的相应成分：比如在题目“The test taker will demonstrate the ability to understand the main idea of a short conversation. Listen to the following conversation. Choose the best response and mark it on your answer sheet.”中，我可以很快看出“The test taker will demonstrate the ability to understand the main idea of a short conversation.”为测试能力的整体描述；“Listen to the following conversation. Choose the best response”为问题概述；“mark it on your answer sheet”为答案概述。

纵观后两个专家的理论不难发现，他们讲座的内容就如同ECD理论，是ETS试题中最经典的“总分关系”的体现： Nancy的主题是考试设计中ECD模型的总体运用，而Elizabeth所讲的出题模型是整个考试设计中ECD模型的分点。不止如此，如果再把后面所有学的东西和之前的test design相关的讲座信息结合来看，我们亦会发现，后面所学的一切都是之前信息的分点。随着学术盛宴越来越细化，我也越发觉得自己对ETS出题的整体理解变得越来越透彻和清晰。

这些讲座几乎就是试题设计的专场，并且我们总能看见专家们会不约而同地讲到相同的信息。其实我知道，那是专家们在向我们强调：在那些看似平凡的试题背后充满了学术的理论，并且设计的每一步都是周密考量后的成果。ETS的这些默默无闻的贡献，正因为“隐秘”，所以才伟大。而这些“隐秘的伟大”让我觉得，成就斐然的ETS，学术是血肉，敬业是灵魂。