网易教育讯 2015年1月27日《2014-2015新东方托福年度报告》正式发布。
孙占东 ETS总部访问学者
今天非常荣幸地接受了三位重量级ETS人物的培训，分别是来自ETS考试评估战略部门的总监Nancy Glazer、以及其他两位考试设计专家Elizabeth Ashmore、和Barbara K. Suomi。三位ETS考试专家分别由大到小、由宽泛到具体地阐述了标准化考试是如何设计和出题的，感觉非常受用。
首先Nancy给我们介绍了ETS考试设计中常用的一个方法，即ECD(Evidence-centered design),该方法ETS于90年代首创。 ECD主要强调了三点，即claims(要求）、evidence（证据）、task/item（任务/问题）。claims是指考试出题者（test developer）想要考查被考察者（test taker）的能力，拿TOEFL为例，即是想考查学生是否具备英语环境下充分利用英语交流和学术学习的能力。当然，我们会发现ETS会将考生需要的能力（claims）细化到非常详细的程度，拿阅读为例，比如考查学生的文章概括能力（summary）、词汇在语境中的识别能力（vocabulary interpretation in context)等等。由此可见，claims是ETS考试设计的出发点，如果能够清晰抓住claims，则能够帮助老师回到解题的起点，从而为学生提供更加直接和有用的学习指导和建议。之后，ETS会依据claims来寻找证明这些claims的证据（evidence）。当claims和evidence都具备后，ETS会设计task model和task shell，即设计通过什么样的任务来完成对于学生要求（claims)的考查。
Nancy Glazer
Strategic Director for Assessment Development
Nancy以美国共同教育大纲（CCSS：Common Core State Standards)编写为例,给出了特别详细的ECD操作流程。
Common Core State Standards Design
在这个操作流程中，我们可以发现claims、evidence和task/item是其中的核心，这三点为保证学生所需能力得以证明提供了基础（当然考试的设计还需要后期的不断验证和修改）。如果这样，对于ECD的了解就会对于新东方的托福、SAT等考试培训提供非常好的理论依据及指导。我们可以充分研究ETS在官网等渠道放出的对于TOEFL、SAT、GRE等考试的要求描述，进而帮助学生去打造基础知识体系。当然，在过去的20年里，新东方一直在这方面努力，且取得了很多成果。我们相信ETS的官方理论解释支持下，会更有方向和成果。
基于Nancy的ECD理论，Elizabeth详细阐述了考试设计过程中的细节要求（specifications），ETS考试设计专家们会根据考试设计的要求（claims)来选取evidence和设计tasks/items,在选取evidence和tasks/items的过程中，有一系列内容需要进一步细化，比如考试内容范围是什么（content domain)、考试形式（testing format）、考试问题的数量（Numbers of test items)、考试难度（difficulty level）、时间（timing)、给分方式（item scoring)、分数解释（score interpretation）等等。在了解这个问题的过程中，能够帮助老师更好地把握出题的规律和形式，从而给予学生更直接和实用的指导建议。
以上两位专家为我们详细阐述了考试设计的流程和理论依据（Evidence-centered Design)和在实际操作过程中需要细化和注意的点（specifications），但其实我们最关心的问题仍然是——考试题目（在EST，将其称之为item）到底是怎么设计出来的？ 最后Barbara专家以Multiple-choice Items为例为我们做了详细的阐述。
当然，在开始之前，Barbara仍然为我们强调了item创作的前提和要求，即一个good item应该符合考试的目的和要求（purpose of the test and the claims of the test)、且必须保证公平、效度和信度。
回到正题，Barbara为我们介绍了在item设计过程中的原则，这些原则指出了test developer在设计具体item时遵守和避开的原则，很大程度上为我们指导和培训学生提供了框架。几点比较重要和实用的原则是：
首先是题目本身的设计，应遵守：
1. 所使用的材料尽量保证对于所有学生都是全新的，比如经常会被使用的教材或者阅读资料不会作为考试素材的。
2. 重点考察学生的主要能力，而非细枝末节。
3. 如果想要测试一个学生具备较高能力，确保是去考察学生的逻辑思维能力或者对于概念的理解力，而非通过晦涩难懂的方式。
4. 在设计问题时尽量简洁、直接、易懂。而非题目本身就很难懂，除非题目本身的阅读难度也是考查的一个方面。
5. 在题目设计是尽量使用完整的表达，尽量少使用填空的方式，除非考试要求。
6. 尽量少使用否定词加大阅读难度，比如NOT、EXCEPT、LEAST等。
7. 题目设计的难度必须适中，难题、简单题或者中等难度的题要分部合理。且一定不能出现题目之间有互相提示的现象。
其次是选项的设计，应遵守：
1. 提供一个最好的答案，确保认真准备的学生都能选对，且确保答案无争议。
2. 干扰选项的设计要具备迷惑性，且干扰方式应该多样，比如偷换概念、答非所问、范围变化等等。
3. 选项必须保证语法和句法的正确。
4. 答案不能因为长度、复杂程度、用词等原因被学生直接识别出来。
5. 干扰选项中不能包含表示绝对含义的指示词，比如always、never等。
通过Barbara的介绍，让我们对于考试题目和选项的设计有了更加官方的认识，同时也为新东方多年以来的教学提供了进一步的理论支持。
Barbara K. Suomi
Assessment Specialist
本文来源：网易教育频道专稿
责任编辑：
王晓易_NE0011
