图片来源：ChatGPT-4o DALL-E

原文信息：Lopez-Lira A, Tang Y. Can chatgpt forecast stock price movements? return predictability and large language models[J]. arxiv preprint arxiv:2304.07619, 2023.

最近，生成式人工智能和大语言模型(如ChatGPT)在各个领域的应用获得了极大的关注，许多研究都在探索它们在不同领域的潜力。然而大语言模型在金融领域（如预测股票市场收益方面）应用仍未知。一方面，这些模型没有明确训练用于股票收益预测；另一方面，这些模型是基于大文本数据训练的，它们在处理文本信息以预测股票回报方面可能有价值。

本文使用新闻标题数据评估了ChatGPT在预测股票回报中的表现，并将其与现有情感分析方法进行比较。结果表明ChatGPT分数与每日股票收益显著正相关，并且预测能力超过了现有的情感分析方法。本文的研究结果对金融业的就业格局可能存在较大影响，并导致市场预测和投资决策所用方法的转变。此外，本文还有三个重要贡献，一是可以帮助监管机构和政策制定者了解金融市场采用大模型的益处与风险；二是为金融机构及投资者提供关于大语言模型在预测股市回报方面有效性的证据；三是对人工智能在金融领域应用的学术讨论也做出了贡献。

本文使用三个主要数据集进行分析:证券价格研究中心(CRSP)的日收益、新闻标题和RavenPack。样本周期从2021年10月开始(ChatGPT的训练数据只截止到2021年9月)，到2022年12月结束。这个样本周期确保评估是基于模型训练数据中不存在的信息，从而研究大模型对“样本外”数据的预测能力。

CRSP每日收益数据集包含在美国主要证券交易所上市公司的每日股票收益信息，包括股票价格、交易量和市值数据。与以往研究一致，样本主要使用股票代码为10或11的普通股。使用网络爬虫收集了所有CRSP公司的全面新闻数据集，将这些新闻标题与知名的新闻情绪分析数据提供商（RavenPack）的标题进行匹配，得到4138家公司的67586个新闻标题。

研究使用RavenPack提供的“相关性得分”作为新闻与特定公司相关程度的指标，该分数范围从0到100，样本要求相关性得分为100。排除了被归类为“股票收益”和“股票下跌”的标题，因为它们只表明了股票的每日走势方向。为了避免新闻重复，要求“事件相似天数”超过90天，这确保只捕获有关公司的新信息。此外，样本消除了同一天同一家公司的重复和过度相似的标题。

下表给出了样本的描述性统计数据:每日股票收益(%)、新闻标题长度，ChatGPT回复长度、 GPT得分(如果ChatGPT 3.5表示“是”则为1，如果“未知”为0，“否”则为-1)，以及RavenPack提供的事件情绪得分。GPT平均得分为正(0.24)，新闻标题总体上是积极的。图B报告了这些变量的相关性，GPT得分与事件情绪得分的相关性较低，小于0.28。

1 .提示语

提示语是ChatGPT生成响应过程的起点，模型利用提示语中的信息生成和语境相关的响应。本文使用以下提示语：

忘记你之前的所有指示。假设你是一位金融专家，你是一位具有股票推荐经验的金融专家。在第一行中，如果是好消息，请回答“是”，如果是坏消息，请回答“否”，如果不确定，请回答“不确定”。然后在下一行中用一句简要的话进行说明。这个标题在短期内对__公司的股价是好是坏？

标题：_____

在这个提示语中，要求ChatGPT扮演一位有股票推荐经验的金融专家，根据给定新闻标题评估对公司短期股票价格的潜在影响。

2.实证设计

研究提示ChatGPT为每个标题提供一个评价并转换为“ChatGPT得分”，其中“是”为1分，“不确定”为0分，“否”为-1分。如果某公司一天内有多个标题，则对得分进行平均。将新闻标题与下一个交易时段相匹配，对于交易日早上6点之前的新闻，假设新闻可供在当天市场开盘时交易，并在当天收盘时卖出；对于上午6点之后但下午4点之前的新闻，我们假设可供当天收盘时交易，并在下一个交易日收盘时卖出。对于下午4点之后的新闻，假设可供以第二天的开盘价交易，并以第二天的收盘价出售。

实证模型如下：

其中因变量是股票i在后续交易日的收益，解释变量为ChatGPT得分或RavenPack提供的情绪得分，分别加入了企业固定效应和日期固定效应，标准误聚类在企业和日期层面。

除了分析ChatGPT的性能之外，还研究了其他基础模型(如BERT、GPT-1和GPT-2)的功能，并将它们的性能进行比较。

1.基于ChatGPT分数的多空策略

为了评估ChatGPT预测股票价格变动的能力，首先测试基于ChatGPT得分形成的多空策略的表现。在新闻发布后购买ChatGPT得分为正的股票，并出售ChatGPT得分为负的股票。图1绘制了不考虑交易成本的七种不同交易策略(投资1美元)的累积收益。研究发现ChatGPT分数在预测第二天股票回报上能力显著，在不考虑交易成本的情况下，购买ChatGPT-3.5得分为正的股票，卖出ChatGPT-3.5得分为负的股票的策略，在2021m10-2022m12期间获得了超过550%的累积回报。

2.回归结果

下表展示了ChatGPT 3.5、 ChatGPT 4和 BART 三种大模型的预测结果，发现ChatGPT得分能显著预测每日股市收益。在控制ChatGPT情绪得分时，来自数据供应商的情绪得分对每日股市回报的影响不显著，表明ChatGPT模型在预测股票市场收益方面优于现有的情绪分析方法。这可以归因于其先进的语言理解能力，能够捕捉新闻标题中的细微差别，产生更可靠的情绪得分，从而更好地预测股市走向。

本文研究了ChatGPT和其他大型语言模型通过新闻标题的情绪分析预测股市回报方面的潜力。研究发现ChatGPT对新闻标题的评估得分可以预测每日股票回报，它的可预测性优于传统情绪分析方法。其次，更基本的模型不能准确预测回报，而基于ChatGPT-4提供了最高的夏普比率，表明回报可预测性是复杂语言模型的新兴能力。第三，ChatGPT分数的可预测性在小型和大型股票中都存在，表明市场对公司新闻的反应不足。第四，在小盘股和有坏消息的股票中可预测性更强，这在限制套利有重要作用。

该研究强调了继续设计开发为金融业量身定制的大语言模型的重要性，并且应当关注大语言模型成功进行预测的机制，以便改进模型最大化其效用。随着大语言模型的普及，探讨它们对价格形成、信息传播和市场稳定方面影响至关重要，未来研究可以将大模型与其他机器学习技术相结合，进一步提高预测能力。