优质资讯

让人啊人对人才测评的“信度”与“效度”较较真

作者:管理员 2018-12-08
797 0
长久以来,许多测评行业的相关人士一说到测评,“信度和效度”这两个词就会脱口,大谈自己的“信度和效度”如何的高、如何的专业,但对这两个名词的解释却语焉不详,导致许多使用测评的人士对此如坠云雾中,一知半解。本人从事测评研发多年,这次我和大家一起对“信度与效度”较较真,解开它们的神秘面纱,一探究竟!
一、人才测评的信度
人才测评中,测评结果的稳定性是通过测评信度来鉴定的。测评信度是指对同一测量对象进行不同条件或不同时间的测量所得结果的一致性程度。举个例子,两位医生根据常识判断同一个人的体重,一个说大约45KG,另一个说大约55KG,显然这种巨大的差异说明这种人为判断的方法是非常不可信的。如果使用体重秤,每次都显示50KG,或者接近50KG,人啊人可以说,在测量体重方面,体重秤测量的方法比人的预计判断具有更高的信度。

按照衡量人才测评信度程度的方法不同,信度可分为重测信度、复本信度、分半信度、内部一致性信度和评分者信度等,此处人啊人重点针对重测信度和内在一致性信度进行分析。
1、重测信度(前后两份报告的T12排序一致性的根本原因)
概念:指以同样的测评工具,按照同样的方法,对于同一受测者再次进行测评,所得前后结果的一致性程度。
例子:如果今天的测评结果表明一个人是内向的,但是明天测出来的结果同一个人就成外向了,那就说明测评信度不高。
影响因素:影响重测信度最关键的因素是两次测评间隔的时间长短。如果时间间隔过长,受测者的特征将会随时间的推移而发展变化,因此测评结果容易产生变化;若时间间隔过短,又可能产生记忆与练习效应,受测者对于题目的记忆有可能促使他做出更有倾向性的选择,导致结果发生变化。因此,对于不同性质的受测者,测评的时间间隔应该有所区别,同时,在进行测评报告解读时,应考虑在时间间隔里受测者是否有遭遇相关经历。
2、内部一致性信度(报告可参考性的主要来源依据)
概念:指所测因素相同的各测评项目得分之间的一致性程度。
例子:若在A模块中受测者的答题得分是内向高于外向,在B模块中受测者的答题得分依然是内向高于外向,那么认为测评的结果是可靠的。
影响因素:影响内部一致性信度的主要因素在于受测者自身对于题目描述的理解不充分或对题目背后的意义进行过度思考,因此应该对受测者做好相关的测评宣导。

二、人才测评的效度
人才测评的效度是指测量工具或手段能够准确测出受测者内在素质的程度,简单来说,就是指一个测评的准确性、有效性。举个例子,体重秤每次测量同一个人的体重,结果都是50KG,但受测者实际只有45KG,就表明这个体重秤的效度很低。在人才测评中,测评工具的研制、计分和指导语的标准化、测验的实施、数据整理、统计分析、结果解释等每一步都要保证其科学性和准确性,才能保证测评有效且准确。

效度有这样几种分类:表面效度、内容效度、结构效度、关联效度。此处人啊人重点分析内容效度和结构效度。
1、内容效度
概念:指测评题目是否测试了应该测试的内容或者所测试的内容是否满足了测试的要求,即测试题目是否具有代表性和覆盖性。
例子:比如本来要求测试受测者是内向还是外向,但是测评题目测试的是受测者是不是一个勤奋的人,所以测评题目的内容效度就很低了。
影响因素:影响内容效度的主要因素在于测评量表的选用。
2、结构效度
概念:在人才测评中,有些素质指标人啊人是不能直接测评得到结果的,例如动机、天赋、性格等抽象概念,这时候人啊人只能借助于具体的行为测评来推断。把抽象素质构建成具体行为特征,是否抓住了该素质的本质特征进行构建就是结构效度的问题。
例子:比如要求测试受测者是否内向的时候,应该选择的行为特征是他是否更愿意一个人待着而不是与一群人社交,如果选择的行为特征是他更喜欢看书还是看电影,就说明测评题目的结构效度低。
影响因素:影响结构效度的主要因素在于测评量表的选用。

三、信效度调查的实践案例
背景:相较于外国,国内的人才测评行业才刚进入起步阶段,更多的是直接采用外国的量表和常模,其适用性和有效性有待考证。人啊人公司的T12人才测评致力于本土化的人才测评,为了检验经专家组修订后的人才测评的信效度,在2016年的9月,当系统数据量到达了一个可研究的量级,人啊人启动了关于T12人才测评信效度检验的研究活动。
1、研究对象
人啊人选取了系统里活跃度最高的400家客户,然后按照珠三角地区,公司规模100人以上等条件进行二次筛选,确认目标客户95家;再经由客服团队对目标客户进行一对一的沟通,详细说明本次研究活动的缘由,最终确认同意参与调研并签订保密协议的客户数为45家。

人啊人通过系统向这45家客户的注册员工发送了重新测评的邀请链接,时间设定为一周。一周后统计数据,通过重测链接完成测评的人数是3724人,排除存在规律性作答,答题时间过快,跳题次数过多等无效报告457份,剩余有效报告为3267份,有效率为87.7%。其中,男428人,女318人,信息缺失80人;硕士及以上39人,本科505人,专科170人,高中及以下57人,信息缺失55人(见表1和图1)


2、研究过程
2.1 信度-重测信度
关于重测信度的分析,人啊人选取了两个方向进行综合考量,一是测评量表方向,通过对重测者前后两次答题的选项进行相关性的分析,以检验重测信度;二是测评结果方向,通过对重测者前后两次的T12数据结果进行相关性的分析,以检验重测信度。
利用SPSS 20.0统计工具,通过科学的统计方法和公式(见图2)人啊人对测评量表各模块答题以及测评结果进行了多次的相关性分析,最终计算出的重测相关系数为0.803~0.835(见表2和图3),均具有统计学意义,表明T12人才测评具有跨时间的稳定性。


2.2 效度-效标效度
T12人才测评作为职业倾向测验,人啊人更关心的是测评的结果是否与受测者在实际工作中的表现吻合,所以在效度的检验上,人啊人重点关注效标效度这一维度,并采用了问卷法、访问法这两种方法检验效标效度的。
2.2.1 问卷法
根据T12报告呈现的主要内容,人啊人设计了两份调查问卷(见表3和表4),自评问卷对象为提供有效报告的受测者,他评问卷对象为受测者对应的HR或上司。受测者共3267人,最终回收的有效自评问卷数量为1906份,他评问卷数量为1018份.

通过对问卷内容的分析(见表5,表6,图4和图5),对报告结果表示非常认可的受测者比例是80.7%,表示一般认可的有11.1%,表示非常不认可的有8.2%(见图6);对报告结果表示非常认可的HR或上司比例是78.9%,表示一般认可的有11.9%,表示非常不认可的有9.2%(见图7)表明T12人才测评的结果是真实有效的。

2.2.2 访问法
考虑到问卷法作答的真实性和内容局限性,人啊人需要进一步确认受测者的真实情况。对于问卷末尾同意接受电话回访的受测者,人啊人根据测评结果,按照T12的典型特征分为了12类,每个类别选择了10位受测者进行电话回访,并在回访过程中征得本人同意保留电话录音,并转换为文字资料经由受测者确认无误后一并存档。
回访结果表明,对报告结果表示认可的受测者比例是85.7%,表示存疑的有10%,表示不认可的有4.3%,表明T12人才测评的结果是真实有效的。
3、研究结果
本次研究活动历时将近1年,收集并整理了大量的文字,图像和音频资料,经过科学严谨的数据统计分析后,最终得出本次的研究结果:
T12人才测评的信度为0.85左右,效度为0.8左右,为行业领先水平。
4、总结

信度和效度之间的关系是,高信度是高效度的必要条件,但非充分条件,即信度高不一定效度高,但是想获得较高的测评效度,信度必定要高。信度是为效度服务的,信度是效度的基础,效度是信度的目的,效度不能脱离信度单独存在。



版权及免责声明:本文系广东人啊人创作,未经授权,禁止转载!如需转载,请获取授权。另,授权转载时还请在文初注明出处和作者,谢谢!广东人啊人任何文章之观点,皆为学习交流探讨用,非投资建议。用户据此进行的一切投资,请自负责任。文章如有疏漏、错误欢迎批评指正!