在当今快速发展的金融市场中，分析师常利用新闻文本预测市场趋势，但往往忽视了新闻图片这一关键数据源。新闻图片以其独特的即时性和直观性，提供了关于市场情绪的宝贵线索（Nelson et al., 1976）。针对这一研究空白，本文利用深度学习模型从大量新闻图片中提取情绪信号，构建了名为“PhotoPes”的日度市场情绪指数。该指数有效揭示了新闻图片中的负面情绪与市场波动之间的关系，为深入理解投资者行为和市场动态提供了新的数据支持和洞察。

2.1数据说明

考虑到《华尔街日报》主要面向对经济和金融市场有深度兴趣的读者群体，作者选择其2008年9月至2020年9月发表的超过14万篇文章的图片、标题及摘要。这些文章主要分布在商业、经济、市场、政治以及观点五个板块，涵盖了各种对金融市场具有重大影响的事件。通过分析这一大量且丰富的数据集，作者旨在深入理解市场情绪如何通过视觉媒介传达，并探索这些视觉信息如何影响市场动态和投资者决策。

2.2迁移学习

鉴于卷积神经网络技术在图像识别领域的优异表现，本研究选择Google Inception (v3)模型进行图片分类，这是一种高效的深度学习框架，特别适合处理高维度图像数据。它能够精准地识别图片中的多种视觉元素，如对象、色彩和面部表情等，这些元素对于分析图片中的情绪倾向至关重要。通过迁移学习，替换该模型最后一个全连接层以专用于分类新闻图片中的正面和负面情绪。使用经过MTurk验证的DeepSent数据集进行模型训练，测试集中可达到76.0%的准确率，显示出较高性能（You et al., 2015）。通过使用验证集减少过拟合并利用测试集评估模型的最终表现，保证了模型从新闻图片中识别投资者情绪方面的可靠性和科学性。

2.3情绪指数

作者精心设计了两个悲观度指数以精确测量市场情绪。图片悲观度定义为每天被模型识别为悲观情绪的新闻图片比例，这反映了视觉媒介中的市场情绪。相较于图片，文本悲观度则通过先进的文本分析技术，评估新闻标题和摘要中的悲观情绪，以量化文章内容情绪。两个指数共同提供了一个从视觉和文字双重维度解读市场情绪的综合视角，使得研究能够更全面地捕捉到影响投资者行为的潜在因素。

其中，其中是一个指标变量，表示第t天的图片i是否会产生负面情绪。其中是CoreNLP模型中第t天文章i的悲观分数, 分母指的是t日的图片数量。PhotoPes和TextPes进行了1%水平缩尾处理。

表1 描述性统计

本文通过深度学习技术分析新闻图片，构建了日度市场情绪悲观度指数，有效揭示了新闻图片中的负面情绪与市场波动之间的关系。图片悲观度与市场收益率显著负相关，而文本悲观度影响较弱，显示图片在传递市场情绪时的优势。进一步的分析发现，图片悲观度和文本悲观度之间存在替代关系，图片中的情绪信息在市场反应中起到了更直接的作用。这些发现强调了在市场分析中，综合视觉与文本信息的重要性，为金融预测提供了新的视角和工具。

Nelson, D. L., Reed, V. S., & Walling, J. R. (1976). Pictorial superiority effect. Journal of experimental psychology: Human learning and memory, 2(5), 523.

Siggelkow, N. (2002). Misperceiving interactions among complements and substitutes: Organizational consequences. Management science, 48(7), 900-916.

You, Q., Luo, J., Jin, H., & Yang, J. (2015). Robust image sentiment analysis using progressively trained and domain transferred deep networks. In Proceedings of the AAAI conference on Artificial Intelligence, 29, 1.

推文作者：吕志冲，西南交通大学应用经济学硕士，研究方向为大语言模型与金融预测，欢迎学术交流。推文内容若存在错误与疏漏，欢迎邮箱批评指正！

个人邮箱：zhichonglyu@ieee.org