学者观点
学者观点   当前页面:主页 > 资料库 > 学者观点 >

ESI在世界一流大学与学科评价中的问题与对策研究

 文章来源:重庆大学学报(社会科学  浏览:次 | 发布时间:2017-11-29 10:19
作者:史竹琴1,2,朱先奇1
( 1. 太原理工大学经济与管理学院,山西太原030024; 2. 太原科技大学经济与管理学院,山西太原030024)
 
【摘要】ESI 是基于SCI 和SSCI 的统计数据库,在世界一流大学与学科评价中发挥着非常重要的参考作用,受到了国内高校的广泛关注。 ESI 在世界一流大学与学科评价中应注意的六大问题:

(1) ESI 是基于 SCI 和 SSCI 的一个统计库,这是它的本质属性;在实际评价中,切忌“以偏概全”,切忌“滥用误用”工具。在世界一流大学和一流学科评价中,ESI只能是“反映论文生产力和影响力”的一个统计工具,超出这一范围而夸大其功能并不可取。
(2) ESI 是一个综合性的工具,不单单能评价大学和学科,它为我们呈现多视角的统计分析结果;
(3) ESI的成果分配统计方式为“利益均沾,独立计数”,与中国普遍实行的方式有差异;
(4) ESI不同检索组合得到的同一研究对象的统计结果不尽相同,存在差异;
(5) ESI在处理重名时还不够精确;
(6) ESI中的研究领域与中国的学科分类差别很大。

我们建议:

(1) 精准把握ESI中各指标的内涵、结果显示、基准线及阈值标准、检索方式,这是合理利用 ESI 的基本出发点
高被引论文(Highly cited papers)是指一个研究领域内,某年发表的论文迄今为止按照被引次数从高到低排序排在前1%的论文;热点论文(Hot Paper)是指一个研究领域内,近两年发表的论文在最近两个 月的被引次数从高到底排在前0.1%的论文。
基准线( Baseline) 则主要理解高被引论文遴选标准,在 ESI 中常规显示的是排在前1%的论文,其他的基准线,有 0.01% 、0. 1% 、1% 、10% 、20% 和 50% 六个基准线,可以进一步提高或者降低基准线,从而发现更具竞争力的论文。
(2) 按照国内通行的成果分配方式重新审视自身实际表现,对自己的实际水平做到心中有数
(3)  高度重视重名问题,应着眼于论文本身,尤其是在顶尖论文的判定方面更要谨慎
正如前文分析,在评价作者和机构时会遇到重名的情况,这在实际应用中需要重视,要将不属于自己的论文排除。所以,每所大学要对自己的论文进行审视,这与成果分配方式处理方式一致。对于一所大学的 一个研究领域或者作者,要更加重视顶尖论文的归属,必须核查那些顶尖论文到底是否属于这所大学的实际作者。
(4)  重新审视研究领域,精准把握每个领域确切包含的范畴
(5) 更加重视高水平论文和拔尖人才的发现,为高校以及学科提供持久、根本动力
高质量人才、高水平成果是一所高校、一个学科可持续、高竞争力发展的根本。在ESI中把高水平论文统称为顶尖论文(Top papers) ,可以很方便地查找到一个学科、作者、机构、 期刊有哪些高水平论文。拔尖人才在ESI中主要是指一个学科排在前1%的作者,确定了每个领域的高被引研究者(Highly cited researchers),这些拔尖人才影响力更高,拔尖人才是一个学科、一所高校在建设世界一流大学和一流学科中最为根本的智力保障。只有抓住人才,出大 成果,一个学科才能更有话语权,才能在世界科技之林占有一席之地。

我们在评估世界一流大学和学科时,既不能将ESI滥用,也不能弃而不用,在认清楚其存在的问题后根据自身情况进行再统计和利用,这样才能发挥其真正的参考作用.

热点论文度量了论文的原创性,高被引论文度量了论文的影响力。

【关键词】ESI; 一流大学; 一流学科; 教育评价

一、研究概述
2015 年10 月,国务院印发了《统筹推进世界一流大学和一流学科建设总体方案》,在此方案中明确提出 “到 2020 年若干所大学和一批学科进入世界一流行列,若干学科进入世界一流学科前列”等系列建设目标。“双一流”建设必将成为中国高等教育发展的风向标和指挥棒。但是,迄今为止,对于 “双一流”的具体评价标准尚无精确界定,尤其是如何定量化评价更是处于探索阶段。当前,国内主要是利 用汤姆森路透的 ESI( Essential science indicators,基本科学指标) 数据库统计指标对国内高校和学科与国 际上的高校和学科进行比较。这一数据库的确可以快速使得国内高校在世界高校坐标系中找到自己的定 位,更能够具体清楚地看到自己的既有优势与差距,因此最近几年受到了中国高校的广泛关注。但是,ESI 本身作为一个国际化的论文统计数据库,是否与中国高等教育实际相符合、相适应需要深入思考与研究。

二、ESI在世界一流大学与学科评价中应注意的问题
(一) ESI 是基于 SCI 和 SSCI 的一个统计库,这是它的本质属性
ESI与SCI、SSCI是一脉相承的,SCI创建于 1961 年,SSCI则创建于1973 年,而SCI 和SSCI是典型的引文数据库,其最主要的功能是为了信息检索—即通过引文构建知识组织网络,达到所谓的“越查越新、 越查越旧”的检索目的。而 ESI 建立在SCI和SSCI之上(并不包括A&HCI),它的最主要的目的是建立一个统计库,创建各种统计指标(如高被引论文、高影响力作者) 。制定不同阈值标准(如 1% 、5% 等) ,从SCI和SSCI出发,统计国家、机构、学科、学者、论文的科学表现,所以它的主要功能是“科学评价”。另外,从ESI的名字—“基本科学指标”也可以看出其评价功能。
由此,我们要认清楚 ESI 的本质。ESI 的数据来源就是 SCI 和 SSCI,没有其他任何数据库数据,也就是 说集中在学术论文方面,并且不包含人文艺术学科领域论文,所以它的评价有特定范畴,只能反映一个国家、组织、学科、学者在学术论文方面的表现,并不能反映这些评价对象的综合实力。在实际评价中,切忌“以偏概全”,切忌“滥用误用”工具。在世界一流大学和一流学科评价中,ESI只能是“反映论文生产力和影响力”的一个统计工具,超出这一范围而夸大其功能并不可取。

(二) ESI 是一个综合性的工具,不单单能评价大学和学科,它为我们呈现多视角的统计分析结果
当前版本的ESI 是一个功能比较丰富的统计工具,提供了多种组合查询方式,可以非常方便地提供多视角的统计分析结果。需要注意的是,ESI现实的结果都显示“发文数、被引数、篇均被引、顶尖论文(包含高被引论文和热门论文)”四个指标数据,提供的功能如表1所示。
从表1看,ESI提供了非常强大的检索统计功能,能够从多个角度对评价对象进行统计分析,比如查询中国大陆当前在所有国家( 地区) 中的相对科技论文实力,可以沿着“国家( 地区)→不限定”查找(2006年1月1日-2016年8月31日的十余年数据,中国大陆发文、被引位居全球第二,顶尖论文位居全球第三,平均 被引则排在 104 位) ; 如果想了解中国大陆计算机科学的相对实力,则可以沿着“国家(地区)→研究领域”查找(发文、被引、顶尖论文都排在全球第二,平均被引排在第46位)。

表1 ESI 的检索功能
(三) ESI的成果分配统计方式为“利益均沾,独立计数”,与中国普遍实行的方式有差异
对于合著论文的成果分配一直是一个比较有争议、棘手的问题。在 ESI 中采取了比较“简单”的统计方式,即每一个合著者都平等对待,共同分享这一成果,且都记为1。如果一篇文章有N个作者,那么这N个作者的发文数都会累计1;如果这篇论文被引了100次,则每位作者的被引次数也都会累计100。同理,对于机 构、国家、学科等都采取同样的成果分配方式。
ESI的这种“利益均沾,独立计数”的成果分配方式需要引起我们的注意。在中国甚至很多西方国家,进行科研考核、成果评价时都不采用这种方式,而是按照第一作者、通讯作者等“作者身份”来确定每个作者的比重;即使是每个作者都同等作用,一般也按照 1/N 来进行成果分配。所以,ESI 的这种计数方式虽然简单,但是和现实(尤其是中国的科研考核方式)计数方式存在较大差别,甚至在一定程度上具有一定的“迷惑性”,部分地掩盖了某些评价目标的实力,而相应地夸大了某些评价目标的实力。

(四) ESI不同检索组合得到的同一研究对象的统计结果不尽相同,有的差异较大
上文已经较为详细地介绍了ESI的各项检索功能,但是在实际操作中发现一个问题: 通过不同的检索组合进行同一目标检索时得到的结果有差异,个别结果差异较大。图 1、图 2、图 3给出的是“机构→国家(地区)”“研究领域→机构”和“机构→机构”得到的北京大学的相关结果,这三个组合检索式都可以得到北京大学在这10年间的总发文数和总被引次数等情况。在“机构→国家(地区)”检索中,北京大学的发文为 55571,被引次数为712811; 在“研究领域→机构”检索中,北京大学的发文为 55570,被引次数为712801;在“机构→机构”检索中,其结果与“研究领域→机构”所得结果一致。从北京大学的情况看,不同的组合得到的结果略有差别。接着,我们尝试观察中国的另一个机构“INST  MICROELECT”(中科院微电子研究所),在“机构→国家(地区)”检索中发文为1,被引次数为3,其中顶尖论文为8;在“研究领域→机构”检索中发文为624,被引次数为9914,顶尖论文仍为8;  在“机构→机构”检索中所得结果与“研究领域→机构”所得结 果一致。从这一结果看,所得检索结果差别非常大。通过顶尖论文数量来判断,“机构→国家(地区)”所得结果可能存在一定问题,因为发文为1不可能得到8篇顶尖论文。所以,虽然ESI提供了很全面的检索功能,并且可能有多个组合检索可以达到殊途同归的目的,但是一定要谨慎比较各个结果,从而得到更为精准的检索结果。
 

图 1 通过“机构 + 中国”查找方式得到的北京大学统计结果
 

图 2 通过“研究领域 + 机构”查找方式得到的北京大学统计结果
 

图 3 通过“机构 + 机构”查找方式得到的北京大学统计结果

(五)ESI在处理重名时还不够精确
重名问题是Web of Knowledge中困扰已久的问题,当前该平台已经通过限定检索可以更精准地得到结果。但是,在ESI中重名问题并没有得到很好解 决,尤其是在人名和机构名 方 面,其处理功能还比较“粗糙”。
首先分析一下上文提及的“INST  MICROELECT”,我们将这一机构的 8  篇顶尖论文逐一打开核查,发现
没有一篇属于中国大陆,其中 7  篇属于新加坡微电子研究所,1篇属于俄罗斯微电子研究所。由此可见在机构中存在“重名”的情况。接着,我们核查一位名为“Peng,K”的成果,结果显示该人有5篇顶尖论文,逐一 核查,发现有“Peng,Kang(1篇,美国天普大学,计算机领域)”“Peng,Ke(1篇,荷兰莱顿大学)”“Peng,Kathy(1篇,美国斯坦福大学) ”“Peng,Kang(2篇,中国中南大学,材料科学领域),由此可见对于作者来说,重名问题广泛存在,在ESI中并没有得到很好处理。
(六)ESI中的研究领域与中国的学科分类差别很大
在ESI中,总共提供了22个研究领域,它们中既有非常精细的领域,如分子生物学与遗传学,也有比较粗的领域,如工程学,所以ESI把它们命名为研究领域(Research Fields),而非学科。但是,中国不少人把这些研究领域当成学科,这是认识误区。更为重要的是,这22个研究领域与中国《教育部学位授予和人才培养学科目录》无法很好对应。有的领域较粗糙,有的领域则较精细。当前中国的学科评估越来越着眼于一级学科,所以ESI提供的学科数据与我们的实际评估有些“脱轨”。

表 2 ESI研究领域与教育部学科分类的“脱轨”现象
 


三、中国双一流大学建设的应对措施

(一) 精准把握ESI中各指标的内涵、结果显示、基准线及阈值标准、检索方式,这是合理利用 ESI 的基本出发点
首先我们必须了解 ESI 的三大指标及其意义—顶级论文(Top papers)、高被引论文(Highly cited papers)和热门论文(Hot papers)的内涵。高被引论文是指一个研究领域内,某年发表的论文迄今为止按照被引次数从高到低排序排在前1%的论文。热门论文是指一个研究领域内,近两年发表的论文在最近两个 月的被引次数从高到底排在前0.1%的论文。顶级论文则是高被引论文和热门论文的总和。需要强调的是,作者和机构显示的是在近10年被引次数排在前1%的作者和机构,期刊和国家(地区) 则显示近 10 年被引次数排在前 50% 的期刊和国家(地区)。所以,并不是所有作者、机构、期刊和国家( 地 区)都能得到显示,而是显示那些“代表性”的研究对象。
基准线( Baseline) 则主要理解高被引论文遴选标准,在 ESI 中常规显示的是排在前1%的论文,但是也提供了其他各个百分比的标准,具体有 0. 01% 、0. 1% 、1% 、10% 、20% 和 50% 六个基准线,所以,我们除了研 究 1% 的高被引论文,还可以进一步提高或者降低基准线,从而发现更具竞争力的论文。对于ESI,阈值(Threshold)给出了“ESI  阈值”“高被引论文阈值”和“热门论文阈值”,ESI阈值给出的是作者、机构、期刊和 国家( 地区) 的最低被引次数,高被引论文阈值和热门论文阈值则提供两个指标分研究领域、年度( 月度) 的 最低被引次数。所以,通过 ESI 给定的基准线和阈值,可以发现一所大学有潜力的学科、学者和论文,可以有 重点、有针对性地支持它们进一步发展。
需要再次强调的是,必须熟悉 ESI 的检索功能,尤其是组合检索的含义。我们当前只是发现了机构发文和被引在不同组合检索所得结果存在的不同问题,至于是否还有其他“不一致”还需要进一步核查。

(二)  按照国内通行的成果分配方式重新审视自身实际表现,对自己的实际水平做到心中有数
ESI 的成果分配方式在中国科研管理中可能并不适用,一般很少将一篇论文的贡献累计到每一个作者身上。ESI使用了这种方法,我们改变成果分配方式进行重新统计困难很大,所以只能按照国内通行的成果分配 方式仔细检查每所大学自身的具体情况,如果一所大学的大部分论文的第一作者或者通讯作者都不属于这所 大学,即使这所大学进入了(尤其是刚刚进入) ESI 研究领域排行,实质上仍然可能存在一定差距。但是,应该 鼓励合作,在合作中不断提升自己的水准,尽早成为一个领域有影响力甚至领头羊机构。所以,每个机构尤其 是研究领域刚刚进入 ESI 排行或者排名不稳定( 有时进入有时又退出) 更需要审视自身的实际表现。

(三)  高度重视重名问题,应着眼于论文本身,尤其是在顶尖论文的判定方面更要谨慎
正如前文分析,在评价作者和机构时会遇到重名的情况,这在实际应用中需要重视,要将不属于自己的论文排除。所以,每所大学要对自己的论文进行审视,这与成果分配方式处理方式一致。对于一所大学的 一个研究领域或者作者,要更加重视顶尖论文的归属,必须核查那些顶尖论文到底是否属于这所大学的实际作者。

(四)  重新审视研究领域,精准把握每个领域确切包含的范畴
ESI 实际上最基本的出发点就是“分类评价”,这种分类体现在研究领域细分上。但ESI的研究领域与教育部的学科目录很难很好对应,很难将研究领域精确对应教育部的学科目录,所以 评估世界一流学科需要谨慎。对于已经非常精细的研究领域,需要清楚它们包含哪些期刊(SCI和SSCI 给每个期刊划分一个学科,ESI则将每个期刊强制性划分到一个研究领域) ,必须结合实 际考察这些研究领域具体研究哪些内容。对于比较粗的研究领域,如工程学则必须清楚它们包含哪些具体的学科领域,以及一所大学具体涉及到哪些学科领域、有哪些活跃作者、是否有高被引论文、热门论文等。

(五) 更加重视高水平论文和拔尖人才的发现,为高校以及学科提供持久、根本动力
高质量人才、高水平成果是一所高校、一个学科可持续、高竞争力发展的根本。在ESI中把高水平论文统称为顶尖论文(Top papers) ,可以很方便地查找到一个学科、作者、机构、 期刊有哪些高水平论文。拔尖人才在ESI中主要是指一个学科排在前1%的作者,但是我们发现这些作者数量还比较多,比如社会科学综合有就7650人。Clarivate Analytics( 当前 Web of Science 平台已经全部交由公司运营)采用更加严格的方法(基于高被引论文而非所有论文进行统计)确定了每个领域的高被引研究者(Highly cited researchers),这些拔尖人才影响力更高,比如社会科学综合全球最终只有 170 人入选。拔尖人才是一个学科、一所高校在建设世界一流大学和一流学科中最为根本的智力保障。只有抓住人才,出大 成果,一个学科才能更有话语权,才能在世界科技之林占有一席之地。

四、小结
当前,中国高校已经把建设“双一流”作为今后工作的重中之重,受到了广泛的关注。ESI为当前衡量一所高校、一个学科是否是世界一流高校、一流学科提供了很好的计量工具和参考。但是,ESI还存在着较多问题,这些问题既有计量方法的问题,如成果分配的方式、高被引论文阈值的 确定等,更为重要的问题是ESI的研究领域与中国现行的学科分类无法很好对应,这就需要我们进一步“加工”和“核查”,并进行必要的技术处理。在认清楚ESI本质和指标细节的基础上,仔细分析自身论文的实际情况,不仅仅重视是否进入ESI排行,还应该清晰知晓自己的实际水平,真正做到知己知彼。我们在评估世界一流大学和学科时,既不能将ESI滥用,也不能弃而不用,在认清楚其存在的问题后根据自身情况进行再统计和利用,这样才能发挥其真正的参考作用。


点击查看全文