太多的评估仅仅依赖于简单的结果指标。如果你问某人是否对参与某个项目感到满意,他们很可能会回答“是”。虽然这可能让我们做出成功率极高的夸张声明,但这究竟能告诉我们多少影响却值得怀疑。
除了使用更好的措施外,我认为我们还可以从更智能的方法来观察多个指标中受益。如果它们都指向同一个方向,它们可能在告诉我们一些事情,如果不是,那就值得关注了,我们应该调查原因。
这种做法的相当简单的例子包括:
使用多个问卷调查方法并观察结果之间的相关性
对不同的利益相关者(如父母、老师、孩子)采用多种措施并比较结果
将调查数据与更客观的管理数据进行交叉引用。在教育领域,这可能是诸如成绩、出勤率或行为事件之类的数据
使用基本的统计测试让我们了解我们可能声称做出的任何主张所涉及的不确定性
在最复杂的条件下,这种方法可以进行一些非常有效的分析。例如,考茨和扎诺尼利用学校提供的一系列管理数据来评估OneGoal计划。由于认知和非认知技能都会影响行为和表现,因此他们能够使用标准化考试成绩来控制认知能力,并通过这些技能对学生成绩和缺勤等结果的影响来间接衡量更广泛的技能。
这种分析可能超出了大多数 克罗地亚电话号码数据 组织的能力范围。但基本观点是:综合考虑多个有意义的指标可能比单独分析任何一个结果更有用,也能提供更可靠的证据。
承认弱点
我一直很喜欢 Daniel Stufflebeam 的一句话:“评估的目的是为了改进,而不是证明。”我们常常感到有压力要证明自己的影响力,因此我们做出的声明可能并不完全合理,或者掩盖了薄弱环节。
当我们评估更广泛的技能时,透明度越高,我们就越强大。这个领域的所有衡量标准都有局限性。还有很多工作要做,以建立证据基础,说明什么在哪里最有效。关于技能和知识应该如何最好地相互关联,确实存在一些未解问题。
因此,我们都应该寻求一种深思熟虑、反思性强、承认局限性和成功之处的方法。街头联盟的三条黄金法则在这里很有用:不要夸大其词,给出绝对数字和百分比,并允许其他人审核你的证据。
提高影响力
影响力真的很重要,不仅对学业成就有影响,对更广泛的技能也有影响。如果我们要投入大量时间、金钱和精力去做某件事,我们希望确保它能产生影响——如果没有,我们如何改变现状,以便在未来做更多好事。
我们热衷于与组织和学校开展更多合作,共同开发影响力衡量方法,并共同努力实现我在此处概述的一些建议。如果您想了解更多信息,或有兴趣参与这一旅程,请在 Twitter 上与我联系@od_carter或发送电子邮件至