几乎每一次谈到柯氏各个层级的操作难度时，从学员听众那里得到的回答基本上一致：相比较而言，第四级评估是最难的。真的是这样吗？用柯氏现任掌门人Jim Kirkpatrick的话来说：第四级评估是四个层级当中最容易评估的。就柯氏为何提出这样一种观点和结论，本文将从作者对柯氏的理解和应用角度出发，分别从第四级评估的定义、评估原则、操作方法等多角度进行分享！
    第四级评估到底评估什么？
    很多人觉得第四级评估是最难做到的层级，为什么觉得难？有些人说收集不到真正反应第四级评估结果的数据。有人说没有办法说明白培训在第四级结果中占有多大作用。有人说培训项目很难与第四级结果去关联。。。。。。
    从图1所示的最新柯氏四级评估模型来看，第四级的业务结果评估包含两大类别的指标：期望的业务结果和领先指标（过程性指标）。期望的业务结果指标是该培训项目要达到的终极目标，而领先指标是作为支撑期望的业务结果指标而存在的过程性指标。对于任何行业，任何企业，任何培训项目来说，期望的业务结果指标是有限的，主要归类到三大类别：业务、人力资源、文化。业务类别的结果指标体现为例如：销售额的提升、利润率的提高、成本的降低、客户满意度的提高、安全指标的达成等等。过程性的指标通常落在下列几大衡量维度中：运营、生产率、管理、财务、顾客、员工等等。
    
    图1 最新柯氏四级评估模型^TM
    第四级评估遵循哪些基本原则？原则1：精准确定并支撑期望值回报率
    前面一篇文章我们介绍了第三级评估?可点击阅读的关键要害在于建立一套驱动力系统，那么，第四级评估的关键重点在于确定好项目利益攸关方的期望值回报率（Return On Expectation, ROETM）。至于ROE如何确定，我们在之前推送的一篇叫做《如何设计一条SMART价值证据链？》?可点击阅读的文章中已经详细描述过了。基于利益各方对培训项目所持有的期望，采用“以终为始”的方式反向推导出该项目在第四级评估中应该支撑或实现怎样的“期望的业务结果”。然后，再基于“期望的业务结果”反推出哪些过程性指标可以支撑该业务结果的达成。第四级评估指标的确定需要遵循这样一个逻辑链条：项目期望——》期望的业务结果——》领先指标。在检验第四级评估指标是否恰当时，只需要回答两个问题：每一个期望的业务结果是否被一个或者多个领先指标支撑？每一个项目期望是否被一个或者多个期望的业务结果支撑？如果答案不完全肯定，说明需要继续审视第四级评估指标的合适性。例如图2所示的期望的业务结果是能够被5个过程衡量指标充分支撑的，而“增加由新老客户带来的收入”能够支撑业务期望的实现。
    
    图2培训价值证据链（样例）
    原则2：设定并关联领先指标
    之所以说第四级是所有评估层级中最容易的，是因为第四级的评估指标叫做“借用指标”。换句话说，即便不开展培训项目的评估，这些业务指标本身已经以某种形式存在和被使用了。比如对于一个大客户销售培训项目，即便不做效果评估，这些学员本岗位的KPI无一例外都已经设定完备，并且已经投入考核使用。当我们要针对该大客户销售培训进行效果评估时，培训管理者（评估人员）只需要从培训效果评估的专业角度出发，根据利益攸关方（至少会有学员、学员主管、甚至客户成为该项目的利益攸关方）对项目的期望，从已有的KPI中去选择和判断哪个或者哪几个业务指标与该项目有关联。在这个决策阶段需要特别关注两大要点：
    ·培训管理者切忌过度承诺或者过分自信。任何一个培训项目不太可能满足利益各方的所有期望和要求，不可能解决所有的业务问题。这是为什么培训管理者需要把评估的意识和方法“前置” 到培训项目的需求分析诊断阶段，甚至前置到业务方向培训部们提培训要求的那个阶段。从这个需求回应及分析诊断的阶段开始，培训管理者就要分析评判你将要提供的培训项目到底能够跟哪个或哪几个业务结果指标关联，同时要与需求提出方进行沟通协调甚至是谈判，直至双方达成共识。通常情况下，一个培训项目所要支撑的业务结果指标可以只有一个，最多不要超过3个。否则，培训管理者会因为自己的过度承诺导致不必要的诟病和业务方指责。
    ·培训项目一定能够与领先指标直接关联。多少年来，很多培训同行一直苦恼如何把培训课程与第四级期望的业务结果关联起来。事实上确实比较难，有些培训课程很难与销售额提升、成本下降等业务结果指标直接关联，即便这么做了，也感觉很牵强。但是，我这些年来在评估实践操作上的总结体会是：当你的培训项目或培训课程很难直接与期望的业务结果关联时，你仍然一定可以找到可以直接关联的领先指标。比如，一个大客户销售培训，如果你很难去测量计算培训最终为销售额的提升或者利润率提高带来的贡献，但你一定可以找到直接关联的过程性指标，比如客户电话量增加、单个合同标的额提高、客户拜访量提高等等。又比如一个领导力项目，如果很难与销售额、成本等关联，至少可以关联过程性指标，比如人才培养数量、成才率、成长速度等。之所以把领先指标也通熟易懂地称作为过程性指标，类似于攀登珠穆朗玛峰。如图3所示，期望的业务结果类似于珠峰的封顶，但在登山过程中需要设定可观察、可衡量的里程碑目标，这类似于领先指标。通常情况下，领先指标逐一得到实现就已经在向培训管理者、学员以及学员的主管传递一个信号：培训项目的第四级效果转化在对的方向和节奏上！
    
    图3 领先指标& 期望的业务结果指标
    什么项目应该做第四级评估？
    很多人担心和抱怨第四级评估太难，耗时耗力，从而根本不太可能把培训效果评估做到第四级。其实，柯氏官方的建议也是不要哪个项目都做到第四级。一方面，在企业实际操作中没有这么多资源（人、财、物、时间）把每一个或者大多数项目做到四级评估；另一方面，并不是所有的培训项目都值得做到第四级评估的。我个人的建议：无论你在一年当中运行多少个培训项目，一年当中能够精挑细选1-2个关键重要的项目做到四级评估，创建其价值证据链，最终向利益各方呈现其价值就已经很不错了。那么，到底什么样的培训项目值得做到第四级评估呢？柯氏有一个决策力模型，从培训项目自身的战略关键性指标和该项目评估操作成功因素指标两大维度出发，分别针对每一个维度下的具体衡量指标进行打分评价，从而最终评价决策出值得做到第四级评估的培训项目。当然，也可以采用图4所示的因素进行思考判断。
    
    图4进行第四级评估的判断依据
    如何做第四级评估？
    第四级评估从数据收集到数据分析，从技术层面来说与前面三个层级的评估并没有本质上的区别。比如说，第四级评估的数据收集方法一般来说采用文档分析、访谈、问卷调研、业务系统数据采集等。数据分析方法与前三个层级一样，不外乎是定性和定量分析。不过，为了减小第四级评估操作的难度以及避免不必要的问题出现，需要注意两点：
    1.确保数据收集可行性：为了减小数据收集难度，在做数据采集计划时一定要考虑到数据收集的可行性。比如，如果你希望从公司销售部门或者销售系统中采集近几个月的销售数据，那么一定要确保销售部门愿意给你这些数据，同时也要确保你要的这些数据无论通过人工提供还是系统抓取，不能太占用业务部门的时间，也不能给IT带来现有功能或技术之外的要求。否则，很难收集到所需要的第四级评估数据。
    2.与三级评估混合进行：通常情况下，为了不占用业务方太多的时间和困扰，通常把对第三级和第四级评估数据的收集合二为一。用柯氏的话说，第四级评估之所以说是最容易的，就是因为第四级评估其实就是在第三级评估的基础上往前再走一小步。三年前给一家大型企业做柯氏培训时，这家企业的培训同事们就说：“胡老师，我们公司能做到第四级，但我们不需要做。因为，在我们看来，只要第三级行为改变确实发生了，达到想要的结果了，第四级结果已经在那里了。评不评第四级已经不重要了。”在企业实际的培训运转过程中，他们的看法是对的。
     
    利益各方看重的培训价值证据是什么？
     
    之所以大多数培训同行觉得第四级评估很难，主要是有一个心结没有打开——管理层讲求“数字”，培训有没有产生价值，最好是能够拿得出投资回报率（ROI）结果；否则，第四级评估的结果都显得很苍白无力！我建议对于第四级评估结果，不要“唯数字”，更不要“唯ROI”。原因如下：
    1. 利益各方的关注点各有不同：学员和学员的主管最为关注的是能否学到在工作当中实用、好用的方法和技巧，是否能够把工作做得更快、更好。其实，这个诉求的满足与否的关键点不在第四级而在于第三级评估。第三级所期望的关键行为得到了改变，其培训诉求自然得到了满足。与此同时，我们进行的2013年度中国培训行业研究结果表明（图5）：在业务方管理层甚至公司管理高层眼里最为看重的培训价值证据排在首位的并不是培训投资回报率，而是对人才培养的价值贡献（比如：人才培养数量，人才培养速度等）。从图5所示的研究结果来看，对于管理层来说，培训是否有效果，培训价值如何，最有说服力的信息来自于利益各方的证言证词以及成功案例。这些信息不见得用数字结果表述，而是以“故事”的形式传递。这也是为什么柯氏倡导最有效的培训价值证据的展现方式是采用“价值证据链”，通过“讲故事”的方式表达培训价值。
    
    图5管理层看重的培训价值证据
    2.投资回报率计算存在逻辑风险：从下表中可以看出，投资回报率的逻辑假定认为：在业务结果达成的众多因素中，培训作为其中的一个影响因素是可以被剥离出来的。其实，作为社会科学，任何一个结果的达成都是各种因素交叉影响形成的。即便采用非常严谨的统计学方法进行分析和萃取，也很难把某一种因素完全剥离出来并进行有说服力的结果解读。况且，ROI的计算需要用到比如多元回归分析、趋势线分析甚至因子分析等复杂的统计学方法，这对于很多培训同行来说是一个蛮大的挑战。
    
    3. 避免成为业务替代伙伴：我在美国期间曾做过一个评估咨询项目，当时我们采用复杂的统计学方法，非常认真严谨地计算投资回报率。但是，当我们计算出梦寐以求的ROI结果之后，我和该公司的培训负责人不约而同地把这个结果放置在一边去了。我们意识到去解读和主张这个结果，将把培训部置于业务部门的对立面，不仅不能成为业务部门的业务合作伙伴，反倒成了业务部门的替代者。比如，如果计算出一个ROI=120%，势必解读为：公司花了1元钱培训费，为公司挣回来了1.2元。业务部门会觉得培训部在和他们抢功劳。事实上，在客户证言证词以及成功案例中往往会包含最真实客观的数字结果。与ROI不同的是，这些数字结果是利益各方告知的，而不是用ROI公式计算出来的。
    小结：
    柯氏第四级评估并没有想象的那么难！ 第四级评估成功的关键点在于确定好期望的业务结果指标及其相关联的过程性指标。一个培训项目的价值展现不是仅仅局限于第四级的结果的，而是需要看整个“价值证据链条”的结果。第四级评估结果的展现不需要唯数字，对于利益各方来说，很多时候非数字的信息更有说服力！