CTTI来源智库MRPA测评指标体系介绍(2015—2016)

2016-12-21 04:30 来源:光明网-《光明日报》 我有话说

CTTI来源智库MRPA测评指标体系介绍(2015—2016)

南京大学中国智库研究与评价中心、光明日报智库研究与发布中心联合课题组

  CTTI智库测评是以第三方身份对智库机构运用资源方式的能力和效益进行的过程—结果导向型评价。在项目实施过程中,课题组确立并遵循以下几点基本原则——

  实施评价的目的是为智库提升管理质量提供专业服务,而不是生产治理权和话语权;评价是对话交流的过程,而不是训导与规范;评价是基于数据的系统分析,无法获得数据的智库不在评价范围之内;评价过程必须公正公开,结果可核查可重复,及时回应社会问责;尊重机构的商业秘密、保护个人隐私、严守国家秘密的安全底线;一切为了公共福祉,以非营利的形式传播评价结果。

  MRPA智库测评指标体系及赋值

  课题组确定了4个一级指标和19个二级指标,4个一级指标分别是M(治理结构)、R(智库资源)、P(智库成果)、A(智库活动),命名为智库MRPA测评指标。MRPA属于结果导向的智库效能测评体系,可以用资源占用量、资源的运用效果两大维度来测评智库。

  对MRPA二级指标赋值考虑了以下几点情况——

  对智库结构的测评只考察内部管理机构是否存在,而没有考察这些机构运转是否正常。这符合我国新型智库还未充分发展的现状,对已经被列为国家高端智库者,给予一定分值的特别赋值。

  将网站等看作智库的基础设置。考虑到我国大多数智库对网站建设和社交媒体运用不够重视,因此,该指标只是根据网站和社交媒体的有无来赋值,暂不考虑质量的优劣。

  在各类智库成果中,专家普遍认为内参、批示和研究报告是反映智库决策影响力的主要指标,因此给予相对较高的赋值。

  高层次、高水平的论坛和会议是智库发挥影响力的重要途径,也是智库区别于传统研究机构的重要特征,因此,指标体系给予智库活动成果较为重要的地位。

  调研考察是具有中国特色的智库研究方法,因此,指标体系对此类活动也给予较高的赋值。

  MRPA智库排序共11个,分为数量指标排序和效能指标排序两类——

  一是数量指标排序。智库资源(R值)的排序依据是智库的年度预算(R1)、研究人员(R2)、行政人员(R3)、网络资源(R4)4个指标赋值的算术和。智库成果(P值)的排序依据是单篇内参(P1)、被批示内参(P2)、智库主办/承办期刊(P3)、图书(P4)、研究报告(P5)、中央主流媒体理论文章(P6)、论文(P7)、纵向项目(P8)、横向项目(P9)9个指标赋值的算术和。智库活动(A值)的排序依据是会议(A1)、培训(A2)、调研考察(A3)3个指标赋值的算术和。

  智库综合测评T(n)的排序规则是T(n)=R+M+P+A,即资源、管理、成果和活动4类指标赋值的算术和。以上4种排序反映了智库的资源总量和产出总量,描述了每个智库的资源和产出在CTTI来源智库中的相对位置。智库在4个排序中的差异性反映了智库的个体性特征。

  二是效能指标排序。效能是指智库的能力和效率,智库能力是对智库的资源配置策略是否合理、管理能力是否具备以及智库的组织制度和组织文化发育是否完善的综合反映;而智库效率则是指智库用最集约的时间、资本、人力使产出最大化的能力。在给定资源总量的情况下,智库的成果和活动产出越大则智库效能越高。在本报告中,资源包含了专家、行政、预算、网络四类,智库产出并不是这四类资源简单组合的结果,而是这四类资源复杂整合运用的结果。

  MRPA智库专家排序规则

  专家是智库机构的生命力所在。MRPA智库专家测评指标分为三类,分别是专家个人研究成果(P值)、专家个人活动(A值)和荣誉奖励(H值)。MRPA智库专家绩效用Ep表示,绩效是三类指标赋值的算术和。

  Ep=P1+P2+P4+P5+P6+P7+P8

  +P9+A1+A2+A3+H

  大学智库指数排序规则

  一般而言,如果一所大学从事战略研究和政策研究的院系和科研机构越多,它的智库能力就越强。不难发现,经济学院、政府管理学院、国际关系学院、法学院等特色院系实力比较强的大学在智库能力和智库影响力方面也相对越强。大学智库指数就是对大学的智库能力和智库影响力的描述和评价。

  CTTI大学智库指数是把来源智库中直属于同一所大学的各个智库的综合测评分值进行求和,得出该大学的智库总值,定义该值为Uts。在计算过程中,将Uts的最大值标记为maxUts,以所有其他大学Uts平均值除以maxUts所得比值一定小于等于1,将此比值乘以100所得到的就是该大学智库指数,即indexUT。

  indexUT=Uts/maxUts×100

  MRPA测评系统

  MRPA测评系统是CTTI系统后台的一个系统,它包含智库排序、专家排序、大学智库指数排序3个子系统。智库排序既可以进行综合排序,也可以进行分类排序。专家排序和大学智库指数排序也是如此。此外,MRPA测评系统还有查询功能和数据统计分析功能,不仅能够准确定位智库和专家,而且可以统计出每个智库MRPA指标60个得分点的得分情况和每位专家MRPA指标48个得分点的得分情况。

  课题组将MRPA测评系统指标项分值设计成可调整的参数形式,使得评价主体(可能是智库管理部门、研究者、有特定需求的用户)可以根据不同的目的调整指标赋值,从而得出个性化的排序结果。

  中国特色新型智库建设尚处于探索期。以高校为例,特别是普通高校,每家高校最终入选的智库一般只有1到2家,母体高校往往是举全校之力来办好这1到2家智库,发挥了“图钉效应”,使得这些智库在全国智库界崭露头角。即便如此,321家完成数据填写的智库共拥有研究人员7443名(包含全职和兼职),平均拥有研究专家23人,即每家智库平均20人,剔除60%的兼职人员,每家智库全职研究人员不足10人。美国智库研究人员人均经费是20万美元,以此为标准推算,CTTI来源智库的年度预算应为平均每家200万元人民币,由此可见,我国新型智库规模偏小,尚处在起步阶段。

  从活动产出来看,完成数据填写的321家来源智库在2015年至2016年两年间共举办和参与了包含会议、培训、调研等在内的各类活动7127场,平均每家智库每年11场、每月不到1场活动。两年间,321家智库共产生各类研究成果32866项,平均每家智库产出102项,平均每位研究人员产出4.41项研究成果,平均每人每年2.4项。因此,从智库的效能来说,新型智库科研生产率相对较低。

  总之,无论是规模还是质量,中国智库还有很大的成长空间。令人振奋的是,中办、国办印发的《关于加强中国特色新型智库建设的意见》已经获得我国智库界广泛认同,在党和国家高度重视、大力支持下,各级各类智库也已经打下了较好的基础,形成了良好的开局,相信随着中国特色新型智库建设的提质与深化,一个共商、共建、共享和公开的新型智库共同体也将稳步形成。(李刚、王斯敏执笔)

  《光明日报》( 2016年12月21日 16版)

[责任编辑:秦超]

版权声明:凡《光明日报》上刊载作品(含标题),未经本报或本网授权不得转载、摘编、改编、篡改或以其它改变或违背作者原意的方式使用,授权转载的请注明来源“光明网-《光明日报》”。

[值班总编推荐] 老百姓喝水的基本权益不容轻忽

[值班总编推荐] 领航新长征路的中国精神

[值班总编推荐] 福岛悲剧中的闹剧

WAP版|触屏版

光明网版权所有

光明日报社概况 | 关于光明网 | 报网动态 | 联系我们 | 法律声明 | 光明员工 | 光明网邮箱 | 网站地图

光明网版权所有

立即打开