【观点】王兴、张志辉：短时间窗口下的引文评价可靠吗？我们如何改进？

       短时间窗口下的引文评价往往是不可靠的，因为这时论文发表的时间较短，论文还没有充足的时间获取被引次数。Jian Wang（2013）的研究发现论文发表2年后的被引次数与发表31年后被引次数的相关系数仅为0.592，这一系数在工程、数学、人文等学科领域中还要更低，各种标准化方法本身并不能解决这一问题（例如，将不同时间窗口下的被引次数进行标准化处理）。然而，现实的科研评价活动中很难做到等到论文发表10年甚至更久的时间再去进行评价。这似乎是一个两难的问题。

       本文提出一种解决思路：我们根据每篇论文所在的时间窗口分配给每篇论文的学科标准分（即经过学科标准化以后的被引次数）一个权重，以表示这篇论文学科标准分的可靠程度。权重由论文在短时间窗口下（如2年）的被引次数与可靠的长时间窗口下（如31年）的被引次数的相关系数计算而得到。例如，化学领域中论文发表2年的被引次数与发表31年的被引次数的相关系数是0.55，那一篇来自化学领域发表2年的论文的学科标准分就要乘以0.55，表示这篇论文学科标准分的可靠程度是0.55。论文发表时间越短（长），权重越低（高），学科标准分的可靠性越低（高）。

       这项研究首先梳理出各学科论文在1-10年中历年的被引次数与论文发表31年后被引次数的相关系数（见图1），然后将这些系数作为权重与目前较常用的学科标准化指标CNCI指标进行加权处理。我们将加权后的指标应用于大学层面的科研影响力评价中：我们对世界500强大学在集合层面的CNCI指标（公式1）与加权后的CNCI指标——WCNCI指标（公式2）进行了分析。

图1. 各学科论文在1-10年中历年的被引次数与论文发表31年后被引次数的相关系数

研究发现：

1，世界500强大学的CNCI得分与加权后的WCNCI得分有着很强的相关性（见图2），但是仍有部分大学在加权后排名变动较大（见图3）。例如加权后，沙特的阿卜杜勒阿齐兹国王大学、阿卜杜拉国王科技大学的排名分别下降了221名和159名，而来自法国的波尔多大学的排名则上升了128名。

图2. 500强大学CNCI得分与WCNCI得分的相关性

图3. 500强大学CNCI排名与WCNCI排名的相关性

        2，排名的变动体现了某些地域特征。例如来自沙特、澳大利亚、中国大陆地区大学的影响力排名都普遍下降，而来自日本、台湾、以色列、德国等地区大学的影响力排名都普遍上升。（见图4）

图4. 排名变动的地域特征

3，我们对排名变动的原因进行了分析。排名的变动主要受三个因素影响：一所大学较老论文与较新论文的比例结构、一所大学的学科结构、一所大学较老年份的CNCI得分与较新年份CNCI得分的比例。任何一所大学排名的变动都是这三个因素综合作用的结果。而上述排名变动所呈现的地域特征同样也是这三个因素综合作用的结果，我们也对呈现地域特征背后更深层次的原因进行了讨论。

此外，本文也对WCNCI指标与皇冠指标、新皇冠指标进行了比较。相比老皇冠指标，新皇冠指标“先除后平均”的计算方法由于物理意义明确似乎更受青睐（新皇冠指标即上述公式1）。但是新皇冠指标相当于对每篇论文都赋予了同样的权重，而老皇冠指标（公式3）隐含地给了较老（新）论文的被引次数一个较高（低）的权重，老皇冠指标在对待不同时间窗口的论文方面似乎更加合理。但是老皇冠指标中的权重wi同时还隐含地给了来自被引次数期望值较大的学科的论文一个较高的权重，这就与进行学科标准化的初衷相违背了，是不合理的。我们提出的WCNCI指标先除后平均，同时直接赋予较老（新）论文一个较高（低）的权重，它保留了新、老皇冠指标各自的优点，同时摒弃了这两个指标的缺点。

结语：本研究提出的WCNCI指标并非完美，它也有一些缺点（我们在原文中对此进行了讨论）。但它试图去解决短时间窗口下引文评价不可靠的弊端。期待今后能有更好的方法来解决这一弊端，使得科研评价更加科学合理。

来源：

        Wang X, Zhang Z H. Improving the reliability of short-term citation impact indicators by taking into account the correlation between short- and long-term citation impact[J]. Journal of Informetrics, 2020, 14(2): 101019.

from  https://www.sciencedirect.com/science/article/abs/pii/S1751157719302603

        作者介绍：

        王兴，男，副教授。博士毕业于上海交通大学高等教育研究院，现任职于山西财经大学信息学院。主要研究方向为信息计量学、引文分析、科研评价、机器学习等。担任情报学硕士研究生导师，图书情报专业硕士研究生导师。在Journal of Informetrics （SSCI、SCI）、Malaysian Journal of Library and Information Science（SSCI）、Current Science（SCI）、ISSI2019（Ei）、ISSI2017（Ei）、《清华大学教育研究》等国内外重要期刊及会议上发表论文数篇，出版学术专著1部，其中部分成果被“中国社会科学网”、“科学网”及科普公众号“林墨”转载报道。目前主持教育部人文社会科学青年课题1项。担任SSCI、SCI期刊Scientometrics审稿人。个人主页：http://id.sciencenet.cn/u/dahuoche

        张志辉，毕业于上海交通大学高等教育研究院世界一流大学研究中心，主要研究方向为科学计量学和科研评价。曾任科睿唯安分析师，现任中国知网高级分析师。