问题通常不在题目太难,而在输出缺少可判定的边界。若一道题只要求“分析某页面为什么排名不好”,学员交回一段泛泛而谈的文字,你无法判断他是否真的掌握了方法。可判定的输出必须满足三个条件:有明确的输入对象、有指定的交付格式、有能被第三方复核的判定依据。缺少任何一个,这道题就只能靠印象打分,不适合作为考核题保留。
把一道实操题拆开看,它至少包含四层:输入是什么、要求做什么动作、产出什么形式的结果、凭什么说这个结果对。多数“无法判定”的题,缺的是后两层。
只有先定位缺哪一层,才能决定是保留、改写还是退出。缺产出形式的题最容易救,补一句交付要求即可;缺判定依据的题次之,需要你先把“好”的标准写出来;缺输入边界的题往往要重做,因为不同起点的答案根本不可比。
一道题值得保留,关键条件是:换一个老师来批改,结论大致相同。这意味着判定依据不能是“我觉得这个标题更好”,而应是可核对的事实性条件。
假设有一道题:给出一组十个页面标题,要求学员标出其中存在关键词重复堆砌的标题,并改写。这道题可以保留,因为判定依据是“是否出现同一词根在标题中重复超过必要次数”,任何人按同一规则都能得出接近的结论。改写部分可以宽松,但识别部分必须严格。
反过来,如果题目是“判断这个页面能否在三个月内进入首页”,这就无法保留。它依赖太多你未提供的前提,学员给出的判断无法被稳定复核。这类题要么降级为“列出影响该页面可见度的三个可控因素”,要么直接退出考核题库。
保留的另一个前提是:判定结果不依赖实时数据。若题目要求学员根据当前搜索结果判断某页面位置,那么不同时间做题的人看到的结果不同,判定标准就失效了。此时应把输入改成固定快照,或把问题改成不依赖即时排名的分析题。
改写不是把题目换个说法,而是先补上判定依据,再倒推题目表述。一个可操作的顺序是:先写出你期望的合格答案长什么样,再从中提取出可核对的条件,最后把这些条件写进题目。
例如原题是“为这个栏目页写一份内容规划”。你期望的合格答案可能包含:覆盖哪些意图、每个意图对应几篇、内部链接如何安排。那么改写后的题应明确要求交付一张表,列出意图、对应主题、链接指向,并注明每个意图的判断来源。这样学员交回的东西就能逐项核对。
改写时要避免一个常见错误:把判定条件写得太细,细到只有一种答案。实操题的价值在于考察取舍能力,如果条件细到等于填空,它就退化成记忆题。合适的粒度是:判定依据能区分合格与不合格,但不规定唯一解法。
一个实际动作:拿你现有的一道题,自己先做一遍,然后问自己“如果另一个人交回一份不同但同样合理的答案,我能说清它为什么不合格吗”。如果说不清,说明判定依据还没写出来,改写就还没完成。这个动作的结果直接决定下一步:能说清就进入小范围试用,说不清就继续补判定依据,而不是急着发给学员。
有些题不是写得不好,而是它的成立条件你提供不了。典型情况是题目要求学员评估某个具体机构的课程质量、证书认可度或就业情况。这类判断需要真实、可核验的资料,而你手上没有,学员也只能靠道听途说作答,判定依据无从谈起。
遇到这类题,合理的做法是退出,换成资料评估方法的训练:给出一组机构公开材料的类型(课程大纲、师资介绍、结业要求),要求学员列出每类材料中值得核实的具体条目,并说明为什么这些条目会影响判断。这样题目仍然贴近真实决策,但判定依据落在“是否列出了可核实的条目”上,不依赖任何未经验证的外部事实。
退出不等于放弃这个方向。你可以把无法判定的题标记出来,等有了可靠输入再启用。但不要为了凑题库而保留一道只能靠印象打分的题,那会让整套考核的可信度下降。
假设你出了一道题:给出一段页面正文,要求学员指出其中三处可以改进的地方,并说明改进依据。判定规则设为:每处改进必须对应一个可指认的文本位置,且依据必须指向内容与意图的匹配关系,而不是个人偏好。
学员A指出标题与正文主题不一致、某段缺少承接、结尾没有回应开头提出的问题,三处都能在文本中定位,依据也落在匹配关系上,判定为合格。学员B指出“读起来不够流畅”“感觉不够专业”,无法定位到具体位置,判定为不合格。
这个例子的意义在于:合格与否不取决于答案是否漂亮,而取决于它是否落在你事先写好的判定条件内。如果你发现多数不合格答案都卡在同一处,说明要么题目表述有歧义,要么判定条件需要调整。这两种情况的处理方式不同,前者改题,后者改判定规则,但都不应该靠放宽打分来解决。
把判定依据写清楚之后,一道实操题才算真正可用。它带来的直接结果是:你可以把批改交给别人,也可以在学员之间做横向比较,而这两件事正是培训场景里最需要的。