佛山市南海区鹏星社会工作服务社
服务评估制度
一、总体概述
佛山市南海区鹏星社会工作服务社所进行的服务评估工作,主要目的是对项目在中长期时限内所带来的社会改变做出分析和判断。
围绕“总结判断”,即判断项目的价值和影响,构建了成果评估、影响评估、效率评估构成的三层评估金字塔。基线与末线的对比构成“成果评估”;成果评估通过对照组扣减整体环境、自然演变等,进行归因分析,构成“影响评估”;“影响评估”与投入相对比,构成效率评估。并且针对金字塔的三个维度选用了对应的工具设计和说明。
为更好规范服务监管以及执行成效评估,促进服务成效的提升,鹏星项目管理团队与机构执行人员共同拟定了以下服务质素保证的细则。
二、评估目的
(一)评判目标达至程度
机构对服务项目实践的成效评估,可判定服务方案是是否有效地达致既定的目标和达致的程度。
(二)改善服务质素
成效评估是改善服务质素的一种方法。虽然评估并不一定识别出服务服务应走的方向,但系统地采用评估所获得的资料,将可识别现行的服务方案和计划的情况之间差异,改善服务提供及方案发展设计。
(三)协助行政决策
通过成效评估,向机构管理者反映项目对服务使用者所产生的影响,协助机构处理资源分配、员工培训模式、提供服务给予个别的受助人或目标对象人口,进而确定服务方案的延续或扩展、消减或取消非。此外,也可协助机构发展创新性的服务。
(四)向资助方及社会公众提供交代
项目的服务成效,需要向众多的利益相关方交代比如不同的地方政府及企业、服务使用者、社区人士等,有效的成效评估结论,更容易获得众多利益相关方的信赖。
三、评估原则
(一)循证原则
本机制强调以切实符合实际的、在实务操作过程中产生的一线数据为基础,在方法论上是回溯的,强调系统搜集项目过往或者正在发生的影响信息,从而以事实为基础,做出尽量客观的判断。
(二)目标导向
指向明确,产出清晰:服务成效评估主要是基于项目本身设定的目标,评判的是中期目标以及长期目标的达成程度,而评估的价值以及使用,我们也拥有明确的目标。
四、评估内容
根据评估的原则,我们认为,一个较为完善的项目应该设置多维度的目标,我们应该在那些可能对项目成效产生重要影响的关键层面都设置目标[1]。一般来说,以下四个维度的目标是需要的[2]:
最核心的也即项目的最终目标是“最终对象的变化”;向外一层则是那些有利于实现最终目标的过程对象的变化,比如我们希望改善农民工的生活境遇,可能需要推动企业遵守劳动合同法;再往外一层,是撬动更多的资金或技术伙伴来支持该项目,比如项目策划并实施筹款活动以拓展公众筹款渠道;最外一层是希望通过本项目提升执行机构。
对项目目标的达至情况的判定,或说对项目价值的判定,从逻辑上大致可以分为三层递进的分析过程:
目标对象在中长期上发生了哪些变化?(成果)
这些变化有哪些是由项目带来的?(影响)
与成本相比,项目投资是否划算?(效率)
三层分析分别对应着评估金字塔的三个层次,即成果评估、影响评估和效率评估。
效率评估 影响评估 成果评估
其中,成果评估针对的是目标人群在中长期的成果变化;影响评估则是归因于项目的,扣除其它因素之后,纯粹由项目带来的“净成果”,而效率等于“净成果”除以投入,也即投入产出比。
特别要说明的是,对于项目设计和实施的部分,比如项目需求的把握的测定、方案设计合理性的测定,以及实施过程中的监测,我们不纳入成效评估的内容。
五、评估工具
评估维度 |
评估内容 |
方法/工具 |
附件表 |
成果评估 |
项目是否完成预期,完成程度 |
“需求(问题)—目标—策略—执行”分析表 |
001“需求(问题)—目标—策略—执行”分析表 |
甘特图 |
002甘特图 | ||
指标完成情况 |
003指标完成情况对照表 | ||
目标达至分析(基于基、中、末线) (针对目标群体的部分,强调根据目标已经获得的成绩即可) |
004目标达致情况分析表 | ||
其他 |
—— | ||
项目产出 |
美好的项目故事集 |
—— | |
服务对象作品 |
—— | ||
其他可视化产出 |
—— | ||
影响评估 |
目标群体发生的改变/影响 |
针对服务对象的影响判断 (针对目标群体,强调对生活的影响及后续发展评判。此处可直接采用价值调研法) |
—— |
服务对象感言 |
005服务对象感言信息收集表 | ||
服务对象满意度 |
006服务对象满意度分析表 | ||
其他服务对象改变证明 |
| ||
利益相关方发生的变化/影响 |
利益相关方分析表/策略 |
007利益相关方分析及执行策略表 | |
利益相关方其他改变情况记录 |
—— | ||
社会层面影响 |
正面的媒体报道 |
008项目媒体报道统计表 | |
发表研究成果 |
009项目研究成果列表 | ||
覆盖率 |
覆盖率=服务所覆盖人数 /总体服务受众 X 100% | ||
效率评估 |
与成本相关的内容 |
资源链接情况 |
010项目资源链接表 |
接受捐赠情况 |
010项目资源链接表 | ||
社会投资回报 |
投入/产出 |
—— |
六、多元评估主体
我们确定成效评估不是单边的项目监督的部分,那么我们就有理由相信项目成效评测主体的多元性。执行部分的内容,我们强调项目相关人员对于项目成效评估工作所应该负责的部分作出确认。
(一)运作机构评估
1、运作机构对机构运作团队工作评估
运作机构对机构团队的评估表现为对员工绩效评估、工作过程管理监控、内部评估等方式进行。
员工绩效评估以半年为周期,以达致对团队成员阶段性工作成效进行评估,并形成独立的个人的绩效评估报告。
工作过程管理与监控主要由运作机构项目研发部门执行,对机构团队采用审阅月度报表以及定期走访机构的实际服务情况等方式进行对机构运作进行过程评估。
内部评估以一年为周期,运作机构将对机构团队在一年服务周期内机构的运作规范以及服务成效等进行结果评估,并形成独立的评估报告,以100分制形成评估分数。
2、督导评估
督导评估的主要内容为机构团队服务开展和实施的规范性以及专业性评估,可表现为日常督导过程中的文书批阅或督导过程记录。
3、运作团队自评
机构服务周期(一般为一年)结束后,机构运作团队对本周期内机构的服务规范性以及服务成效等形成自评。
(二)机构合作者评估
机构合作者包括合作单位或个人,其对机构的发展以及服务推动起着重要推动作用,其对机构工作员,机构服务以及机构发展规划的评价对机构的发展建设具有重要意义,机构合作者评估体现为:对单次服务活动/项目成效评估;对机构工作员评价;对机构总体认知度;对合作的延续性评估;对机构发展建议等评估内容。
(三)机构监管者和指导者评估
机构监管者和指导者主要包括政府单位以及村委,政府单位对机构的评估主要体现在月报表的审阅以及非定期的参观指导和工作会议上的指导和监管;村委的评估体现在机构年度服务规划制定的参与和指导、月报表审阅以及具体事务的日常沟通和指导等内容。
(四)机构服务参与者评估
机构服务参与者评估主要体现在参与程度以及参与者的改变等两方面。具体评估标准如下:
服务满意度评估:单次活动需要做服务满意度评估,于每个合同期末按照领域进行汇总,进而汇总整个服务机构的满意度,形成满意度评估报告。
居民参与度评估:通过建立居民档案,统计汇总居民参与服务的次数、参与程度、对机构或服务的贡献度等维度进行统计,进而分析居民参与度情况。
居民目标达致情况评估:通过目标达致分析表,按照不同领域,不同服务群体以及服务目标进行汇总分析,并通过此了解和巩固服务成效,促进居民改变得到延续。
机构对居民影响度评估:主要体现居民对机构的认知以及服务是否切合等方面,主要方式通过对居民进行访谈(电话、面谈等),了解居民对机构的评价。
机构对社区的影响度评估:主要体现在社区整体的改变程度层面,可以通过机构工作员日常观察,居民反馈以及村委主要工作人员访谈方式获取。
[1] 德鲁克在《管理的实践》一书第七章《企业的目标》中提到,绝大多数关于目标管理的讨论都谈到要寻找一个正确的目标,然而,寻找单一目标的努力,都是希望找到一个奇妙的方程式,从而使得判断力毫无用武之地。企业的本质使然,必须建立多重目标。企业的目标应该是什么呢?只有一个答案,任何一个绩效或结果对企业的生存和兴旺有着直接和举足轻重影响的领域,都需要目标。德鲁克的这段论述,对于社工服务项目而言,同样适用。
[2] 关于目标的分层,本文受到Organizational Research Services发表的Theory of Change: A Practical Tool For Action, Results and Learning的启发。该文把成果领域分为Impact、Influence、Leverage三个层次,分别与本文的前三个层次的目标描述相对应。本文增加了“执行机构的能力成长”一条,这也是社工设计项目时经常需要设立的目标。