图片来源：chatgpt4o

原文信息：

Hudson, R. (2024). Responding to incentives or gaming the system? How UK business academics respond to the Academic Journal Guide. Research Policy, 53(9), 105082.

01

引言

用于评估学习成绩的期刊列表在世界范围内被广泛使用（Vogel et al.，2017），其中许多列表与特定的地理区域有关，并在这些地区具有主导影响力（Bryce et al.，2020）。例如英国特许商学院协会出版的学术期刊指南（AJG，原ABS）在英国非常有影响力；在美国，一份包含 5 种主要期刊的清单在经济学领域极具影响力（Heckman and Moktan，2020）。

学术机构经常使用从列表得出的研究排名来为重要决策提供信息，这些决策对工作量、薪水、招聘、晋升和任期等学术活动有实际影响（Brooks et al.，2021;Gebreiter，2022 ;Walker et al.，2019a;Bryce et al.，2020 ;Heckman and Moktan，2020）。它们还被用来确定单个研究人员的研究质量，或确定部门和大学的研究质量（Morris et al.，2011）。这些质量评估也被明确用于在一些大学系统中分配资源（Bloch and Schneider，2016）。重要的是要注意，期刊列表的使用既包括对研究成果的被动评估，也可能导致研究人员行为的主动改变。

鉴于上述情况，本文使用 2011 年至 2021 年web of science数据以及英国学术期刊指南 （AJG）研究了期刊列表如何影响学术出版模式。研究发现，商学院的研究人员以 AJG 评级为目标，而不是内在的研究质量，在 AJG 中被提升/降级的期刊在英国论文中的比例较高/较低，尤其是被不合理地升级的期刊吸引了特别高比例的英国论文。

AJG和英国学术体系

02

AJG 于 2007 年首次出现，随后进行了定期修订。该指南涵盖了商学院按学科领域划分的全面研究主题。该指南的使用在英国的商学院中几乎无处不在，而且确实被工作人员正式或非正式地广泛用于决定在哪里提交论文以及招聘、晋升和绩效监控和决策（Walker et al.， 2019a）。

在英国，目前评估英国高等教育机构研究质量的系统是国家卓越研究框架 （REF）。REF每年为大学研究分配约 20 亿英镑的公共资金(UK Research and Innovation, 2023)。因此，大学及其员工面临着相当明确的研究激励，因为国家卓越研究框（REF）对资金和声望非常重要。在英国大学和商学院中，在 REF 中取得好成绩通常被给予非常高的优先级(Clarke and Knights, 2015)。而这就引出了一个棘手的问题，即如何确定哪些作品可能会受到好评。在实践中，这经常在 AJG 的帮助下完成，因为其期刊的数字质量评级与 REF 中使用的评级高度兼容。

03 

假设

对于一些研究人员来说，修订 AJG有可能将他们的研究指向学科领域或学科的特定领域，在这些领域发表的认可度更高。AJG 的直接影响主要针对英国研究人员，因此，

假设 1：AJG 中期刊的评级与英国作者在这些期刊中的论文比例的增长有关。

如果期刊在 AJG 的修订版中被提升/降级，那么它的状态对英国学者来说将发生重大变化，并且作为发表目标的吸引力将变得更大/更小。但是，对于大多数非英国学者来说，它的地位不会改变。因此，

假设 2：AJG 中被提升/降级的期刊的英国学者论文比例比未改变状态的期刊增加得更高/更低。

此外，本文提出了一种以前没有在文献中测试过的博弈，通过观察在 AJG 中改变类别时被高估/低估的期刊是否倾向于吸引与同行期刊不同的英国学者。这背后的逻辑是，如果英国的 AJG 相对于其他国际期刊指标没有对期刊进行适当的评级，那么与国际同行相比，它们对英国学者来说将相对更有吸引力或者更没有吸引力。鉴于上述情况，被高估期刊对英国学者特别有吸引力，因为在高质量期刊上发表相对容易。因此，

假设 3：AJG 中不合理提升的期刊的英国学者论文比例增加更高。

方法和数据

04

4.1 数据

本文使用 2011 年至 2021 年的英国学术期刊指南 （AJG） 修订作为冲击，其在 2015 年的研究期间进行了一次修订，数据周期的第一部分将受到 2010 年版指南的影响，第二部分将受到 2015 年版指南的影响。因此，可以识别 2015 年发生的期刊评级变化的影响。

期刊数据主要来源于 Web of Science，期刊在 AJG 中的评级与它是否被 Web of Science 数据库收录之间存在密切联系。大多数被评为 3 或以上的期刊在一定程度上被覆盖。大多数在 AJG 中被评为 1 或 2 的期刊并未包含在 Web of Science 数据库中由手工收集的数据补充。

4.2实证策略

回归将 2015 年 AJG 修订后期刊中英国作者的比例与期刊的特征联系起来，具体方程如下：

其中，PPost2015i 是指 2015 年期刊i中英国作者比例的增长。自变量为虚拟变量，其中

D4*i 表示期刊在 2015 年修订版中被归类为 4*。

Dxyi 表示期刊i在 2015 年修订之前被归类为 x和修订之后归类为y。

DProm2015i 表示期刊 i 被晋升；

DDem2015i 表示期刊 i 被降级。

DProm2015BSi表示期刊 i 已升级且与商学院相关；

DDem2015BSi表示期刊 i 被降级且与商学院相关；

DProm2015NBSi表示期刊 i 已升级且与商学院无关；

DDem2015NBSi表示期刊i 被降级且与商学院无关；

为了确定期刊是否被不合理地提升，本文根据 2015 年更新的 AJG 中的三个数字指标查看期刊的平均排名，并将其与在它被提升的类别中平均排名最低的期刊进行比较。如果它的平均排名优于它被提升的类别中的至少一种期刊，则认为这种提升是合理的，如果它比它被提升的类别中的所有期刊的排名差，则认为这种提升是不合理的。降级同理。回归方程如下：

DUnProm2015i表示期刊 i 被不合理地升级。

DUnDem2015i表示期刊 i 被不合理降级。

DJustProm2015i表示期刊 i被合理地提升。

DJustDem2015i表示日志 i 被合理地降级。

DUnProm2015BSi表示期刊 i 被不合理地升级并与商学院有关。

DUnDem2015BSi表明期刊 i被无理降级并与商学院有关。

DJustProm2015BSi表明期刊i被合理地升级并与商学院相关。

DJustDem2015BSi表明期刊 i被合理地降级并与商学院有关。

DUnProm2015NBSi表示期刊 i 被不合理地升级，与商学院无关。

DUnDem2015NBSi表示期刊i被无理降级，与商学院无关。

DJustProm2015NBSi表明期刊 i是不合理的升级，与商学院无关。

DJustDem2015NBSi表明期刊 i 被合理地降级，与商学院无关

05 

Results

回归结果如表5所示，其中被评为 4* 的期刊增幅最大，而所有未降级的期刊都出现了显著的正增幅。被降级的期刊没有显著的增长，而已从 3 级降级到 2 级的期刊具有负系数，尽管系数不显著。总的来说，支持假设 1和假设 2.

在方程(2)引入了一个虚拟变量，表示由非商学院学者主导的期刊。此虚拟模型显示负系数和显著系数。其他各种类别的日记的系数在模式上与方程(1) 中的系数相似。但通常具有较大的系数。总体而言，这一回归结果表明，由商学院研究人员主导的期刊在英国的作者人数增加了更多。

在方程(3)中引入虚拟变量来表示非商学院主导期刊的各种期刊评级类别。结果显示，这些虚拟变量的系数并不显著，除了在的调查期间被评为 4 级的非商学院相关期刊的系数，与商学院相关期刊的普遍显著系数形成对比，再次说明了期刊评级对商学院的影响。

与方程(4),(5),(6),(7)相关的回归结果如表6所示。方程(4)表明，指南中的期刊升级会导致由英国作者撰写的论文比例显著增加。相反，指南中的降级会导致英国作者的论文比例显著降低。降级的影响大于晋升，这似乎存在一定程度的不对称性，这可能在很大程度上可以解释为期刊被降级到 2 级对英国研究人员的巨大负面影响。根据 REF 的规则，只有 REF 系统中评级为 3 或 4 的期刊才会获得任何资助。

方程(5)表明对于商学院主导的期刊，其影响更强，。非商学院主导的期刊的系数不显著。当考虑 AJG 中不以商学院学者为主的期刊时，几乎没有证据表明 AJG 有任何重大影响，因此结果说明了英国商学院的学者受到 AJG 期刊的提升/降级的积极/消极影响，并且基本上能够将这些感受转化为他们发表的论文。

与方程 （6）（7）相关的回归结果显示了学者与不合理升级的期刊相关博弈的有力证据。这是基于这样一个前提，不合理的升级即表明在这些期刊上发表论文比它们的 AJG 状态所暗示的要容易。结果显示对于不合理升级的期刊则有显著的正向影响，尤其是对于商学院主导的期刊。而合理提升期刊的系数小得多。对于非商学院相关期刊，即便是不合理的提升系数也不显著。这说明学者们都意识到了在这些期刊上发表论文比它们的 AJG 状态所暗示的要容易，并且反映在了他们的论文发表中。

结论

06

本文结果表明，发表行为在很大程度上是由 AJG 本身的评级驱动的，而不是对期刊质量的更普遍的看法。这证实了之前关于期刊列表的许多工作中所做的假设（Walker et al.，2019 ; Mingers and Willmott，2013 ; Hussain， 2011），并且还证实了大学绩效管理系统的潜在有效性，这是一个越来越引起研究兴趣的话题(Bedeian et al.，2010 ; Aboubichr and Conway，2023)。

还有证据表明，当 AJG 期刊评级明显异常时，即在这些期刊上发表论文比它们的 AJG 级别所暗示的要容易时，英国学者们的发表大幅增加。这是文献中的一个新发现，补充了之前关于学者如何与绩效管理系统博弈，特别是期刊列表的发现。Aboubichr and Conway，2023)。总的来说，如果 AJG 相对高估了某些研究领域，那么对期刊质量的主观和特殊评估可能会扭曲学科之间和学科内部的研究平衡。

Abstract 

Journal lists for the assessment of academic performance are widely used worldwide and inform many important decisions, such as, academic workload, salary, hiring, promotion, and tenure. The use of such lists, however, has long been a very controversial area in academia. Surprisingly, to date, there has been little empirical research investigating directly how journal lists have influenced publishing patterns by academics. This paper examines how the Academic Journal Guide (AJG) produced by the Chartered association of Business Schools has influenced the publishing patterns of UK academics by observing the authorship of over 400,000 papers published between 1 January 2011 and 30 June 2021. In terms of the AJG ratings, UK researchers have improved the quality of their research outputs over the period. There is strong evidence, however, that researchers in subject areas primarily associated with business schools are targeting the ratings rather than other measures of research quality. In these areas, journals that have been promoted/demoted in the AJG list have a higher/lower proportion of papers by UK researchers than similar journals that have not changed status. In addition, journals that have been promoted unjustifiably by reference to other metrics attract particularly high proportions of papers by UK researchers whereas those that have been demoted justifiably attract particularly low proportions of papers by UK researchers. Overall, whilst researchers are responding to publishing incentives, one of their strategies for doing so seems to be to game the AJG list. I discuss the implications of my findings and ways in which the negative aspects could be reduced.

声明：推文仅代表文章原作者观点，以及推文作者的评论观点，并不代表香樟经济学术圈公众号平台的观点。