陈广猛（四川外国语大学教授）来源：中国社会科学网2021年04月06日
2021年1月28日，美国宾夕法尼亚大学智库研究学者James G.McGann团队发布了最新一期的《全球智库报告2020》（2020 Global Go To Think Tank Index Report）。这是该团队自2006年以来，连续发布的第14份年度报告。与往年一样，虽然该报告仍存有不少争议，但还是引起了国内智库界和智库研究学界的关注。国内智库，尤其是一些民间智库，如中国与全球化智库（CCG）、国观智库、盘古智库纷纷发文庆祝自己位列其中，或者在各类排行榜中名次靠前；相反，政府主管的官方智库对此报告提及的倒是不多。这也充分证明，经过十多年的“历练”，国内对该报告的看法渐趋理性。
《全球智库报告》热度不减
年度《全球智库报告》之所以引人注目，有以下几个原因：首先，这是目前全球范围内，唯一连续多年发布的全球智库动态发展报告。自2006年第一份报告问世以来，虽然存在种种问题，但该项目的撰写与发布从未间断，给全球智库从业者和研究者提供了持续、丰富的研究素材；其次，该报告涉及的研究对象范围较广。从2007年最初的5080个智库到2008年的5465个智库，再从2019年的8248个智库到2020年最新的11175个智库，收录对象数量逐年递增，涵盖了全世界180多个国家的主要智库。作为特殊的知识生产组织，智库近些年在全球发展迅速，该报告涉及广泛的研究对象为受众提供了多领域的参考内容；最后，报告中对智库排行分类的设置，既有全球、区域和国别智库数量的排序，也有安全、军事、经济、环保等专业领域智库的排名，还有最佳盈利智库、最佳管理智库等特别成就的排行。2020年，针对人工智能的兴起和新冠肺炎疫情的全球流行，报告又增设了“2020年最佳人工智能政策和战略智库”以及“2020年最佳政策和系统性应对疫情的智库”两项最新排名。
尽管该报告设计有着鲜明的特色，但并不意味着报告内容完美无缺。实际上，随着每年《全球智库报告》的发布和传播，相关争议始终存在。数年前，就有中国学者指出了该报告存在的问题，诸如智库概念含混，评价方法与评价标准两张皮，研究成果发布不规范，排名自相矛盾，未尽职调查等等。在这些问题被指出之后，随着报告基本结构固化，McGann团队在后来的报告撰写中也并未做出明显地改进。
评估程序的过程设计
实际上，《全球智库报告》之所以热度不减，在于其建立了一套完整的评估程序。以2020年度为例，报告的形成过程以时间为序大致有以下几个阶段：4—8月期间，征集专家小组成员以及更新全球智库索引报告数据库，为最新的《全球智库报告》编制做好前期准备。包括征集符合条件的人员加入地区性、职能性和特殊领域的专家小组，暑期实习生帮助更新全球智库索引数据库，以确保所有智库纳入评价范围；9—10月为第一轮提名征集。向8100多个智库和大约12800名记者、公共和私人捐助者，以及全世界的政策制定者（2020年度数据）发出提名倡议。这些提名被制作成表格，被提名十次及以上的研究机构可进入新一年度全球智库索引报告制定的下一步。其中，上一年度所有排名靠前的智库都会被自动纳入本年度的排名投票；10月为第二轮评选，即确定同行和专家排名。获得十项或以上提名的智库将被列入一项电子排名名单，接着，宣布第二轮排名开始的电子邮件会发送给所有的智库、记者、公共和私人捐助者，以及同意参与此进程的政策制定者团体。排名被制成表格，最终入围者名单生成后，供专家小组审查和做出最终选择。每个类别的选择都由区域性和职能性专家小组做出。值得注意的是，在被列入最终排名之前，项目团队会征询专家意见，以确保提名的质量和准确性；11—12月为第三轮专家小组遴选。来自各个地区和职能领域的专家组成专家小组，通过线上邮件传递的方式完成最终遴选过程。小组成员在12月提交最终确定的排名和建议；次年1月底，《全球智库报告》全部完成，并在全球多个城市同时发布。
总的来看，《全球智库报告》采用定性的智库评价方法，主要通过大规模问卷的形式来对全球智库进行调研。通常，对于单个国家的智库研究，尚可以采取统计智库研究人员数量、运营资金规模、发表政策研究报告等定量分析指标来进行影响力的评估排序，而对于成千上万跨国智库的横向比较研究，采用定量的方法显然很难操作，McGann团队采用的定性研究方法，以“相对排名”代替“绝对排名”，这显然是经过利弊权衡的。
“完美”中的缺陷
《全球智库报告》评估方法遭人质疑的地方主要有以下两点：一是不公开专家小组成员的分布地区。从2020年五十多种智库排名来看，大致可划归于三大类，即：国别和区域类智库排名（如美国顶级智库、中东欧顶级智库等）；公共政策研究领域类智库排名（如最佳国防和安全智库、最佳国际经济政策智库等）；特别成就类智库排名（如最佳新智库、最佳盈利智库等）。McGann团队在组建各类专家小组时，必然会考虑到评估专家的地域性和专业性，而非整体性的统一评估。至于以往报告中曾出现的中国天则经济研究所和德国普朗克研究所同处于科学技术类智库排行榜这样的情况，显然是工作不严谨所致。
二是专家小组成员在评估智库时的随意性。对于数量庞大的全球智库评价标准，2020年McGann团队制定了28项指标来加以综合考虑，包括智库领导层的素质和投入、智库研究员的素质和知名度、智库的媒体声望、智库的社会影响力等要素，这些指标大致可归入资源指数（Resource Indicators）、效用指数（Utilization Indicators）、输出指数（Output Indicators）和影响指数（Impact Indicators）四大类。然而，McGann及其团队很难获得全球智库数以万计的各项客观指标数据，所以只是建议评估专家根据这些方面形成的“总体印象”来给予评估。因此，评估的偏差不可避免。在无法得到所有智库精准数据的前提下，这是退而求其次的结果。此现象与其说是指标设计和评估者主观偏见的问题，倒不如说是大多数定性研究方法的通病。
在笔者看来，报告中存在的问题可以从两个方面来看：一方面，有些问题通过努力可以得到改进和解决。比如报告中的常识性错误、排名自相矛盾、研究成果发布不规范等问题，可以通过增加人力、提高团队成员的严谨认真意识来加以避免。然而，目前的现状是，如此规模宏大的项目，常年由McGann及其领导的实习生团队来担任主力，再加上每年固定的发表周期导致时间紧迫，出现差错在所难免。另一方面，McGann团队在制作这份报告时所使用的研究方法是否存在着先天性的不足，从而使得差错必然产生，值得思考。
中国智库排名争议
对于美国学者创立并主导的这一评价机制，从全球范围来看，中国智库作为研究对象并不新奇。
在2006年的第一份报告中，McGann仅将中国智库的数量（73）排在第十一位，与瑞士智库数量（72）排名第十二位相仿；在2008年度的报告中，中国智库的数量（74）排名第十二位，比2007年下降了一个位次；到了2009年，报告中中国智库数量跃升为428，排名第二，仅次于排名首位的美国。而对于此次中国智库数量剧增的原因，报告并未明确指出。据分析认为，McGann团队对于中国智库概念的界定有了新的标准，从而导致智库数量统计产生较大变化。此后近十年，中国智库数量在报告中的排名一直稳居世界第二。
2019年《全球智库报告》把常年居于智库数量排行第二的中国排在了印度后面，印度智库数量（509）超过了中国（507）；而2020年，在没有明显证据表明中印智库数量有突变的情况下，又把中国（1413）排在印度（609）之前，随意性之大让人难以信服。不得不说，这种随意性极大地损害了报告的信誉和权威性。
对于中国智库影响力问题的争议，主要集中在国内智库之间的纵向比较，即不同中国智库影响力的排名引起争议。一方面，官方智库与民间智库的二元结构差异明显，无论是规模还是影响力，二者不可同日而语。而报告中将“中国社会科学院”与“中国与全球化智库”放在一类进行比较，并且排名结果接近，让人产生疑惑。另一方面，对于智库间的隶属关系也存在模糊认知。在国内智库研究领域，决不会出现将“中国社会科学院”与其下属的“世界经济与政治研究所”放在一起进行比较并排名的常识性错误，而McGann团队在2012年度的报告中却未能知晓这种文化和体制上的差异，一定程度上削弱了报告的权威性和专业性。
全球智库评价体系建设的中国探索
经过十余年的发展，《全球智库报告》已然成为一种现象。在全球智库不断蓬勃发展的大背景下，McGann版的全球智库排行仍然有其市场，再加上起步较早，积累了一定程度的国际影响力。不过由于长期以来报告不注重细节，频发常识性错误，方法上不再创新，忽视大数据和可视化等新技术的应用，给了国内智库研究人员和机构“弯道超车”的机会。
不过，对全球范围内规模宏大、种类繁多的智库进行科学排名绝非易事。目前国内有三个机构的尝试值得关注：一是中国社会科学院中国社会科学评价中心的成立。2015年11月，该中心推出首份《全球智库评价报告》（2015），采取定性与定量相结合的分析方法，依据自主研创的“智库评价AMI指标体系”，发布了“全球智库百强榜单”。二是2019年9月，上海社会科学院智库研究中心推出了《2018全球智库发展报告》，以当年全球智库的研究议题与研究活动为主线，率先借助智库人员规模、成立年份、智库合作交流等重要指标，力图反映全球主要国家的智库分布及其发展特点。三是从2017年开始，浙江大学信息资源分析与应用研究中心发布的《全球智库影响力评价报告》。
未来智库评价将会走向何方？或许可以从全球大学排行榜的变迁中得到一些启发。
20世纪80年代初，到国外留学的中国学生大部分借助于泰晤士高等教育世界大学排名、QS世界大学排名、U.S. News世界大学排名等著名的大学排行榜，来增进对国外学校的了解与选择。当时，这些排行榜对于中国高校并不友好，能够进入世界前500名的中国大学也是数量寥寥，即使像北大、清华这样的中国顶级名校，也常常是排在100名之外。
2003年，上海交通大学高等教育研究院世界一流大学研究中心在借鉴英美老牌大学排行榜方法的基础上，首次发布世界范围内首个综合性全球大学排名，即软科世界大学学术排名（Shanghai Ranking’s Academic Ranking of World Universities，简称ARWU）。该排名以评价方法的客观、透明和稳定而迅速占据世界大学排名设置的一席之地。经过十多年的发展，其已成为与三大老牌世界大学排行齐名的权威大学排名榜，国外高校对每年公布的ARWU排名日益重视，并将其作为评价大学质量的一个风向标。也许，这可以成为我们客观认识美国宾夕法尼亚大学《全球智库报告》的一个线索。