可判定的输出,核心不是“答案对不对”,而是让批改者只看提交物就能判断学员是否完成了指定动作。做法是:把文章里的结论改写成“给定输入—要求动作—验收证据”三件套,并给证据规定可观察的形式,比如一张字段齐全的表格、一段带注释的代码、一份前后对照的记录。如果课程只要求“理解某策略”,就无法判定;如果要求“对同一批URL按指定字段分类并说明每类依据”,就可以判定。下面按两种前提分别展开。
当文章讲的是相对稳定的规则,比如标题长度控制、内链锚文本的选择原则、页面结构的基本要求,实操题应当让学员在给定样本上执行规则,并留下可复算的痕迹。判定标准要写成“字段是否齐全、依据是否指向原文、结论是否与所填数据一致”,而不是“写得好不好”。
具体动作可以这样设计:给学员10个假设的页面标题,要求逐条标注字符数、是否超出设定上限、超出的部分属于哪类冗余词,最后给出修改后的版本。批改时先看字符数一栏能否复算,再看修改版是否只删了标注出的冗余词。如果字符数对不上,说明测量动作没完成,下一步应先补测量训练,而不是直接讲优化技巧。
这种设置成立的条件是:规则本身不依赖具体行业和具体平台表现,样本可以人工构造,答案存在可核对的唯一或有限几种。例外情况是,文章中如果混入了“视情况而定”的经验判断,就不要把它塞进同一道判定题,应单独设为开放题,并明确开放题只评依据是否充分,不评结论对错。
当文章讲的是需要结合数据才能下的判断,比如某个栏目是否值得继续投入、某类页面是否该合并,实操题就不能只要求一个结论,而要要求一条可追溯的推理链:数据来源、观察到的现象、排除的替代解释、最终动作。判定标准是每一环是否都有对应证据,而不是结论是否“正确”。
可以设计这样的假设题:给出一组虚构的栏目访问与转化记录,要求学员判断该栏目应保留、改版还是合并,并写出判断依据。可判定的输出包括四项:引用了哪几个数据字段、观察到什么变化、排除了哪些其他解释、据此选择哪个动作。批改时逐项打勾,缺一项就退回补全。这样做的结果是,学员即使结论与参考不一致,只要推理链完整,也能通过;反之结论相同但缺证据,也不算完成。
这种设置成立的条件是:数据可以随题提供,学员不需要访问真实后台;判定者只核对推理链,不核对真实业务结果。例外是,如果课程面向已有实际业务的学员,可以让他们用自己的数据作答,但必须提前约定脱敏方式,并且判定只看结构完整性,不评价其业务决策的成败。
分界方法很简单:把文章结论中的主语和条件遮住,看剩下的是不是一条可独立执行的规则。若是,走前提一;若必须补上“在什么数据表现下”才能成立,走前提二。这个判断会直接改变出题方式,也会改变批改成本。
如果发现学员在规则题上反复出错,说明测量和核对动作还没稳定,此时不宜加推理题;如果规则题普遍通过而推理题证据缺失,说明问题在证据意识,应补的是“先写依据再写结论”的作答格式。
第一个错是把“字数够”“格式整齐”当成判定标准,这会引导学员写套话。第二个错是只给参考答案不给判定项,批改者只能凭印象打分。第三个错是把多个动作塞进一道题,导致无法定位卡在哪一步。
修正动作是:每道题先列3到5个判定项,每项写成“是否出现某字段/是否引用某依据/是否说明某例外”,再写参考答案。判定项确定后,回头检查题目是否提供了完成这些项所需的全部输入。如果缺输入,先补输入,而不是降低判定要求。这一步做完,下一轮出题就能直接复用判定项,减少反复改题的成本。
模板可以固定为四段:给定什么输入、要求完成什么动作、必须提交哪些证据、按什么顺序验收。验收顺序建议先查证据是否齐全,再查证据与结论是否一致,最后才看结论本身是否合理。这个顺序能避免批改者被结论带偏。
按这个模板出题后,如果学员提交物仍然无法判定,通常不是学员的问题,而是证据形式没写死。此时应回到第三步,把“说明理由”改成“在指定位置写出至少一条指向输入数据的理由”,再重新发布题目。这样迭代一到两轮,判定成本会明显下降,学员也能清楚知道下一步该补哪个动作。