图片来源：DALL·E
原文信息：Carrell S, Figlio D, Lusher L. Clubs and networks in economics reviewing[J]. Journal of Political Economy, 2024, 132(9): 2999-3024.
01
引言
本文通过研究作者与编辑/审稿人的联系网络对发表的影响，来探讨经济学研究评估中的潜在偏见。为此，考察了在《人力资源杂志》（Journal of Human Resources，简称JHR）——一个高排名的应用微观经济学领域期刊——在12年期间近8000篇论文投稿的情况。重点关注作者、编辑和审稿人之间的各种联系——如共享合著关系、相同的美国国家经济研究局（NBER）项目隶属关系、相同的博士项目以及当前/曾经的同事关系——如何影响审稿人的推荐和编辑的决定。
本文控制了几个维度的固定效应来克服对编辑和审稿人论文内生分配的问题，以确定网络连接和匹配的因果影响。本研究在三个方面做出了贡献：一是丰富的数据和识别策略可以排除许多潜在的内生性问题（例如，论文质量和对编辑和审稿人的分配）；二是第一篇直接研究合著者网络如何影响编辑和审稿人决策的论文；三是首次通过直接俱乐部参与和外在质量信号对作者与编辑/审稿人的匹配进行全面考察。
02
数据来源和背景
（一）数据来源
本文的数据由三部分组成。首先，作者收集了2007年至2018年间提交给JHR的近8000篇论文的数据。对于每一篇提交的论文，了解论文的作者、处理编辑以及分配的审稿人（如果送审）。该期刊的审稿过程是单盲的：审稿人可以观察到作者的身份，但作者不知道审稿人的身份。使用这些数据来考虑四个感兴趣的结果：论文是否通过了编辑的初步筛选，分配的审稿人（们）是否对论文给出了正面评价，编辑最终是否接受了该文章进行发表，以及已发表文章之间的引用情况。
其次，作者手动收集了关于作者、编辑和审稿人的信息。主要数据集是通过访问每个个体的网站（包括多个网站）收集的，包括从其博士阶段开始的个人学术就业的完整历史。NBER项目隶属关系也是通过访问NBER网页收集的。每个博士项目的声望排名是从2019年《美国新闻与世界报道》排名以及IDEAS（https://ideas.repec.org）上的就业部门生产力排名中收集的。
第三组数据来自RePEc（经济学研究论文）。首先，作者收集了每个个体每年出版历史的时序信息，包括总出版数量、在前五大期刊上的出版数量、唯一共同作者数量和唯一共同作者的共同作者数量。其次，作者使用RePEc来生成跨年度的作者与编辑/审稿人之间的网络。使用EconPapers（https://econpapers.repec.org）编制了来自近100个相关经济学期刊和四个流行的工作论文系列（NBER、劳动经济学研究所、arXiv和经济与政策研究中心）的所有出版物的列表。然后，对于出现在这份论文列表上的每位作者，创建了一个包含该作者所有论文的账户。最后，对于样本中的每一年，基于作者账户中的合作关系生成一个作者网络。
（二）背景
1.人力资源杂志（The Journal of Human Resources）
JHR被广泛认为是经济学领域的顶级期刊，其总体接收率为6.2%，超过三分之二的稿件被直接拒稿。期刊排名也证实了这一看法。例如，2020年Scimago期刊排名（SJR）按影响因子排名，JHR在“经济学与计量经济学”类别的期刊中排名第23位，领先于《公共经济学杂志》（JPubE），落后于《劳动经济学杂志》（JoLE），这两者也被广泛认为是顶级领域期刊。
为了评估样本中编辑和审稿人的外部有效性，从公开可获得的37位JHR编辑/副编辑和150位随机抽取的JHR审稿人的简历中收集了编辑经历数据。结果显示，JHR的编辑/副编辑和审稿人均报告在多个领域和学科的超过500种不同期刊中担任过审稿人或编辑，包括REStat、AER、QJE、JPubE、AEJ:AE。
这些结果表明，JHR审稿人和编辑的样本包括了在广泛的经济学期刊中担任过审稿人和编辑的个体。因此，尽管本研究依赖于单一期刊的数据，但没有预期这些编辑和审稿人在为JHR以外的期刊服务时会表现出不同的行为。
（三）描述性统计
表1展示了样本在作者和审稿人层面（A部分）以及作者-论文和审稿人-论文层面（B部分）的汇总统计。完整样本包括8369位作者和2006位审稿人。不出所料，通过初审的论文作者往往毕业于排名更高的机构，拥有更多前五大期刊的发表，隶属于NBER可能性是其他作者的两倍，并且受雇于排名更高的经济学机构。而审稿人通常也比作者资历更深厚。
表1：作者和审稿人特征
表A2第1列和第2列展示了作者-编辑-论文层面的数据，发现37%的观察值通过了初审。第3列和第4列描述了在作者-审稿人-论文层面的数据，在JHR，审稿人被给予五种不同的推荐选项，从直接拒稿到直接发表不等，大约45%的这些观察值伴随着正面推荐（即建议不直接拒稿）。
在RePEc数据中，超过10%的作者-编辑和作者-审稿人在三度分离内（即合作者的合作者的合作者）存在联系。在2%到3%的观察值中，作者-编辑和作者-审稿人恰好参加了同一个博士项目。使用前10名与11-30名与31-50名与>51名或缺失的分段，发现大约20%的作者-编辑和36%的作者-审稿人参加了相似排名的博士项目。在4%到5%的观察值中，包括曾是或当前是同事的作者-编辑和作者-审稿人。同样，发表在前五名期刊的匹配率为7%-9%。最后，2%到3%的作者-编辑和作者-审稿人是同一NBER项目成员。
表A2：观测个体特征
03
模型设定
作者首先设定了编辑初审拒稿决策的主要模型：
其中，每个观察值是提交给JHR的特定论文p的作者-编辑对ae。例如，一篇有三名作者的稿件在这个数据集中将有三个观察值。PassedTheDeskaep是一个指示变量，表示编辑是否没有直接拒稿。[Match]aep包括反映作者-编辑对之间联系的各种测量指标。例如，是否就读于同一所博士院校，是否曾是同事、是否在同一NBER项目中、是否都在前五大期刊上发表过文章、是否就读于相似排名的博士项目，以及是否受雇于相似排名的大学。作者还考虑了合著网络所构成的作者-编辑对之间的分离度，其中一度分离反映作者-编辑对之间的直接合作关系，二度分离反映作者和编辑共享一个共同合作者（但不是直接合作者），依此类推。总体而言，β的正估计值反映了作者-编辑匹配与论文通过初审的概率之间的正相关关系。
重要的是，通过加入编辑固定效应λe控制了编辑分配的内生性问题。当然，[Match]aep可能与论文质量仍然相关，特别是由于编辑往往来自“更强”的背景，因此由“更强”的作者撰写的“更好”的论文更有可能与编辑匹配。因此，加入了一组作者控制变量Xap作为论文质量代理指标。包括作者在提交年份之前的出版物数量、在前五名经济学期刊上的出版物、已发表稿件中的合著者数量、已发表稿件中的合著者的合著者数量、NBER项目隶属关系、性别、博士院校排名分段，以及就业机构排名分段。
使用相似模型来估计审稿人推荐：
结果变量PositiveEvaluationarp是审稿人对论文给予积极评价的指标。引入论文固定效应λp，这依赖于作者-审稿人之间 [Match]arp的变化。论文固定效应控制了与评审概率相关的因素，如论文质量、子领域或作者团队。此外，论文固定效应吸收了编辑固定效应，这控制了不同编辑处理不同类型论文或可能做出不同类型审稿人分配决策的可能性。审稿人固定效应λr考察了同一位审稿人如何评价由与审稿人匹配程度不同的作者撰写的不同论文。
04
实证结果
（一）编辑部退稿决策
首先通过OLS估计（1）来考察编辑初审拒稿决策。标准误在论文层面进行了聚类，观察值在论文-编辑层面进行了加权（即，每个观察值的权重为论文合作者数量的倒数）。
第1列结果表明，当作者与处理编辑就读于同一所博士院校时，其通过初审的可能性会增加5.2个百分点。第2列表明，曾在论文提交时与编辑是同事的作者，其通过初审的可能性增加了4.6个百分点。第3列表明，如果作者在论文提交时隶属于与编辑相同的NBER项目，编辑将论文送审的概率会提高12.2个百分点。在第4列中，将分离度估计为一组虚拟变量，直接合作关系相比四度或更高的所有联系，更有可能避免初审拒稿，随着分离度的增加，连接效应逐渐减弱。第5列是在一个回归中同时估计了这些匹配效应：NBER隶属关系和合作网络是编辑决策匹配效应的最强驱动因素。
在第6列中，计算每个作者-编辑的匹配数量，如果作者-编辑就读于同一所博士院校、曾是同事、隶属于相同的NBER项目或曾是直接合著者（最多四种情况），则视为匹配。估计了仅有一个匹配与多个匹配（两个或更多）的虚拟变量，这个设定表明匹配效应是叠加的：拥有一个联系则通过初审的概率提高了5.6个百分点，而拥有多个联系则提高了8.9个百分点。
表2：作者—编辑匹配回归结果
（二）审稿人决策
通过OLS估计方程（2）来估计审稿人评价。标准误在论文层面进行了聚类，观察值在论文-审稿人层面进行了加权。在这些模型中，同时控制了论文固定效应和审稿人固定效应。
表4结果表明，审稿人对来自同一博士项目作者给出正面评价的概率高出6.2个百分点。曾与作者是同事的审稿人给出正面评价的概率高出3.7个百分点。而NBER项目匹配存在正相关关系（2.3个百分点），尽管系数不显著。第4列中转向分离度时，发现仅对直接合作者存在匹配效应的证据。当在第5列中同时估计所有匹配效应时，博士匹配和直接合作关系显示出最强的效应。最后，第6列结果再次证明匹配效应是叠加的：与审稿人有多个匹配的作者相对于没有匹配的作者，收到正面评价的概率增加了6.7个百分点。
表4：作者—审稿人匹配回归结果
表5结果给出了基于质量信号特征匹配效应的强烈证据。曾在前五名期刊发表过文章的审稿人对同样在前五名期刊发表过文章的作者给出正面评价的概率高出2.9个百分点。审稿人青睐那些就读于相似排名博士项目的作者。这种正面的博士排名匹配效应也可以被解释为负面的排名不匹配效应：审稿人博士项目排名低于作者，那么更倾向于给出负面评价。
在第4列和第5列考察作者和审稿人在论文提交时的就业机构排名。再次发现审稿人青睐相似排名的作者。有趣的是，第5列结果表明，来自较高排名机构的审稿人倾向于负面评价来自较低排名机构的作者。
表5：发表五大刊和院系排名的作者-审稿人匹配
（三）出版决策和质量
接下来，本文研究审稿人建议如何影响出版决策，以及作者-编辑匹配效应在审稿人建议的条件下是否仍然显现。其中结果变量是论文是否被发表，同时控制了审稿人建议中正面评价的比例。结果表明，编辑通常严格遵循审稿人的建议：从所有拒稿建议到所有正面评价，论文发表的概率增加了超过54个百分点。因此，正面的作者-审稿人匹配效应转化为后续的发表机会。进一步发现，在审稿人建议的条件下，某些作者-编辑匹配效应仍然显现，特别是在第3列中，NBER项目隶属关系匹配导致出版接受概率额外增加了15.1个百分点。
表A5：审稿意见与出版决策
一个潜在的问题是这些偏见是否影响了最终发表的整体质量。为了检验这个问题，本文收集了样本中所有已接受论文在谷歌学术上的引用数据。假设由于匹配效应，较弱的文章得以发表，可能会预期发现与处理编辑和审稿人联系更紧密的已接受文章的引用次数较少。因此，以引用次数作为结果变量，额外控制了作者特征、编辑固定效应以及论文提交到JHR的月份和年份。
首先发现，在合作网络中编辑和作者联系紧密的已发表论文获得的引用显著较少（分别为-171.6和-86.8），这表明同行评审过程中存在效率低下的问题。另一方面，在作者与审稿人之间的联系中发现了相反的证据：与没有联系的论文相比，有多个作者-审稿人联系的论文平均多获得47.7次引用。
05
结论
本文考察了作者-编辑和作者-审稿人网络和匹配如何影响经济学出版中的编辑决策和审稿人推荐。实证结果表明，对于编辑，博士就读院校、就业情况、NBER项目隶属关系、合作网络分离度以及在前五名经济学期刊发表文章等方面存在显著的正面匹配效应。重要的是，这些效应是叠加的，匹配数量的增加会进一步影响编辑决策。对于审稿人，同样发现审稿人受到与他们有共同属性的作者的影响。
因此，在一个发表日益困难且期刊面临版面限制的环境中，本文的结果表明，那些获得俱乐部或精英地位的作者，在论文质量的前提下，将会继续成功发表，而这牺牲了那些不具备此类信号的作者。也就是说，成为俱乐部的一员会提升作者在由同一圈子的编辑/审稿人评估时的发表概率。
Abstract
We study how author connections influence paper outcomes at the Journal of Human Resources. Authors who attended the same PhD program, worked with, affiliate with the same National Bureau of Economic Research program(s), or are closely linked via coauthorship networks as the handling editor are more likely to avoid a desk rejection. Reviewer recommendations are similarly influenced by PhD and employment matches. Matching on signals of ability—such as top five publishing, attending a high-ranked PhD program, or working in a high-ranked department—also impact peer review decisions. We find some evidence that published papers with greater connectivity subsequently receive fewer citations.
作者：李俊洁，中国社会科学院大学2023级数量经济学硕士生
声明：推文仅代表文章原作者观点，以及推文作者的评论观点，并不代表香樟经济学术圈公众号平台的观点。
0
推荐
京公网安备 11010502034662号 