比如，一个文档是这样的：“苹果 美味 苹果 新鲜”，那么我们可以给“苹果”、“美味”、“新鲜”分别一个编号，比如1, 2, 3。然后数一数，“苹果”出现了2次，“美味”和“新鲜”各出现1次。这样，我们就可以用一个数字列表来表示这个文档，比如[2, 1, 1]，表示编号1的词出现2次，编号2和3的词各出现1次。

把所有文档都这样处理之后，我们就得到了一个大表格，表格的每一行代表一个文档，每一列代表一个词，而每个格子里的数字就是那个词在那个文档中的出现次数。

这种方法的特点是简单直观，但它也有两个主要的问题。其一，这个表格的列可能非常多，因为即使是小型的文档集合，也可能包含成千上万个不同的词。其二，大部分时候这个表格里的数字都是0，因为大部分词在大部分文档中都不会出现。

2.3 聚类

有时候我们并不关注文档使用了哪些具体的词汇，而是更关心这些词汇所反映的深层含义。例如，“投资者害怕价格上涨”和“市场参与者对通货膨胀感到焦虑”这两个句子没有共同的词汇，如果我们用词袋模型来表示，它们的词频向量会是完全不相关的。但实际上，这两句话表达的意思是一样的。

在处理这种情况时，我们可以用类似于经济学中的因子分析的方法，在自然语言处理（NLP）中对文档进行降维处理，把它们映射到一个更能反映意义的空间里。这个意义空间比原始的高维词汇空间能更好地体现文档间的相关性和差异性。

其中一种常见的降维技术是主成分分析（PCA）。将PCA应用于文档-词汇矩阵，就形成了一种叫做潜在语义分析（LSA）的方法，这是文本分析中最早使用的降维技术之一。在这种方法中，从文档中提取出的“主成分”或“主要内容”实际上是基于词汇共现模式发现的潜在主题，就像在高维经济数据集中用PCA提取出的主成分代表了更深层的结构一样。

LSA虽然容易实现，但它在统计学上的基础并不清晰，有时候很难解释结果。因此，概率潜在语义分析（pLSA；Hofmann 1999）被提出，其假设文档是由一些共同的因素或者“主题”构成的，每个主题都有一个单独的词汇分布。每个文档都由一个关于这些主题的分布来描述。pLSA把文档的维度从V（词汇量）降低到K（主题数），采用非负矩阵分解（NMF）的最大似然函数，把词频矩阵转换成词频率矩阵（即每个词的频率而非次数）。

但是，在高维参数空间中，尤其是数据稀疏的情况下，最大似然估计容易过拟合。为了解决这个问题，LDA应运而生。LDA在pLSA的基础上，使用狄利克雷分布作为先验分布，计算效率更高，更容易产生人类可解读的主题。

图1展示了基于联邦公开市场委员会（Hansen等人2018）会议记录的语料库估计的潜在狄利克雷分配（LDA）的输出结果。图1-a和图1-b的上图词云代表了两个主题-词汇分布，词汇越大，表示该主题中词汇的频率越大。图1-a和图1-b的底部时间序列图，表示每位FOMC成员i在每次会议t提到该主题的频率，图中展示了这些分布的最大值、中位数和最小值，效果类似于箱型图。

在处理大规模文本数据集时，降维聚类有助于减少数据的复杂性和维度，揭示文本数据中隐藏的主题和结构，为经济学家提供了强大的工具，是未来文本分析的重要方向。我在《怎么挖掘新闻文本预测经济？》详细介绍这种算法，可以直接跳转阅读。

2.4 Word Embedding

传统的词袋模型用一个向量xd来表示文档，这个向量不考虑词汇出现的具体位置，是基于全局词频的。但实际上，词汇的语义意义很大程度上是由它们在文本中的局部上下文决定的。虽然理论上我们可以通过统计n-gram（n个连续词组成的序列）来扩展词袋模型以捕捉局部上下文，但实际操作中，随着n的增加，特征空间V的大小会迅速增大，变得难以处理。更微妙的是，一个特定词的含义可能不仅取决于它的直接邻居词（离它最近的那个词），还取决于文本中更长范围内的局部依赖关系。

所以，现在NLP已经从文档-词汇计数的统计分析转向每个词汇与其他词汇的局部共现统计分析，这种方法叫Word Embedding。它利用这些局部上下文中的信息将词汇表示为相对低维且密集的向量，以低维的形式更精确地表示词汇的意义，压缩了整个语料库中高维稀疏的共现信息。

GloVe（全局向量）是一个比较常见的Word Embedding模型（Pennington等人，2014），用于构建能够编码词汇局部共现信息的词向量。简单来说，GloVe模型通过观察词汇在文本中是如何一起出现的，来学习每个词汇的意义。

在GloVe模型中，每个词的“上下文”被定义为它周围的一段长度为2L的词序列。比如，如果L是2，那么对于某个特定的词，它的上下文就包括它前后各两个词。GloVe模型中有一个关键的概念叫做词共现矩阵W，这个矩阵记录了每一对词在一定距离（L个词内）中共同出现的次数。通过调整窗口大小L，我们可以控制模型学习的词汇信息的类型，比如较短的窗口可能会学习到更多关于词汇的功能性或句法信息，而较长的窗口则可能学习到与主题相关的信息。一般情况下，L等于10。

在GloVe模型中，每个词都被表示为一个K维的向量。这些向量是通过一个优化过程来确定的，这个过程的目标是最小化词向量的点积和实际共现次数的对数之间的差的平方。直观上讲，如果两个词经常一起出现，它们的词向量的点积就会很大。GloVe的这个特性使得经常一起出现的词汇在向量空间中彼此靠近。

GloVe模型中还使用了一个称为加权函数f的东西，这个函数是非负的、递增的并且是凹的。这个函数的作用是调整不同共现频率的词对在模型中的重要性。

总的来说，GloVe模型通过分析词汇的局部共现信息，来学习词汇的含义，并将这些含义表示为密集的向量形式。这些向量可以用于各种自然语言处理任务，如解决类比问题等。

Word2Vec是另一种非常有影响力的Word Embedding模型，由Mikolov等人在2013年提出。Word2Vec的核心思想是把每个词及其上下文作为一个单独的预测问题，并通过学习解决这个问题。

在Word2Vec中，每个词汇不仅有一个词向量（表示该词本身），还有一个上下文向量（表示该词的上下文），这两种向量都是K维的。Word2Vec通过计算上下文向量和词向量的点积，来估计一个词在给定上下文中出现的概率。模型的目标是调整词向量和上下文向量，使得在整个语料库中，这种概率预测尽可能准确。

Word2Vec有两种变体：连续词袋模型（CBOW）和跳字模型（Skip-Gram）。在连续词袋模型（CBOW）中，模型通过上下文来预测当前词；在跳字模型（Skip-Gram）中，模型则是通过当前词来预测上下文。这两种模型都可以看作是一种一层神经网络，使用softmax激活函数。由于直接最大化这个模型是非常耗费计算资源的，Word2Vec采用了一些计算上的简化方法来近似似然最大化。

Word2Vec实际上是将一个无监督学习问题（在大型语料库中找到潜在的意义维度）转换为一个有监督学习问题。这种使用语言本身产生的预测目标，不依赖外部标签的方法，被称为自监督学习。

需要指出的是，在理想情况下，研究者会有足够大的语料库来估计特定于应用的定制嵌入，以捕捉特定领域的词义。但很多时候不会有这么大一个文本数据集，可能没有足够的信息来学习可靠的向量。在这种情况下，可以使用在大型辅助语料库上预先训练好的嵌入，并将它们迁移到新的应用中，这种策略被称为迁移学习。比如，先在通用英文文本（如维基百科）先把算法训练好，再用于自己的研究。但目前这种做法在经济学领域还相对少见，中文领域的，适用于经济学的语料库现在训练得太少了，训练更具经济学特性的语料库进行迁移学习可能会是未来重要的方向。

2.5 注意力机制（Embedding Sequences with Attention）

在日常生活中，当我们阅读或听别人讲话时，并不是对每个词都给予相同的关注。有些词更重要，会对我们理解句子的含义产生更大的影响。例如，如果有人说“我喜欢在冬天喝热巧克力”，“冬天”和“热巧克力”这些词对理解句子的含义很关键，而像“我”、“喜欢”这样的词就相对不那么重要。

在自然语言处理中，早期的模型，如Word2Vec和GloVe，当处理文本时，会给文本中的每个词赋予相同的重要性。但实际上，我们人类处理语言时，有些词在理解句子意义时更加重要，有些词则不重要。这就是注意力机制的核心思想：模型需要学会在处理文本时“关注”哪些词更重要。

用以下两句话举个例子：

作为领先公司，在[XXXX]行业，我们雇佣了高技能的软件工程师。

作为领先公司，在[XXXX]行业，我们雇佣了高技能的石油工程师。

在第一句话中，“软件工程师”暗示了[XXXX]可能是“信息技术”；而在第二句话中，“石油工程师”则暗示了[XXXX]可能是“能源”。注意力机制使模型能够理解哪些词（如“软件”和“石油”）对预测缺失的词（[XXXX]）更重要。

Transformer模型，例如BERT和GPT这些模型,采用了注意力机制来更好地处理语言。它们不仅仅考虑每个词本身，还考虑词与词之间的关系，以及它们在特定上下文中的重要性。这种方法使得这些模型在处理诸如文本摘要、问题回答等复杂的自然语言处理任务时表现更出色。

注意力机制使NLP模型能够像人类一样，更聪明地处理语言，通过识别并重点关注重要的词汇和上下文，以更准确地理解和生成文本。这使得Transformer模型提升了机器处理和理解自然语言的能力。

表1展示了一个特定的Transformer模型（Sanh等人，2020年）对两个示例句子中遮盖词的预测概率。尽管两个句子只在一个词上有所不同，这个词距离遮盖词还有几个其他词的距离，但模型产生的预测结果却大不相同，这显示出即使在上下文中的小变化也可能导致意义上的大不同。

在“软件工程师”的句子中，模型预测遮盖词“it”，“automotive”（汽车制造），和“technology”（技术）的概率分别为0.08、0.079和0.072。而在“石油工程师”的句子中，最可能的词是“energy”（能源）、"oil"（石油）和“petroleum”（石油），概率分别为0.279、0.27和0.088。这表明，模型学会了将特定的职业（如软件工程师）与特定的行业（如技术、汽车、卫生）联系起来。

但是，Transformer模型也存在缺点。这些大型模型的训练需要大量的硬件资源，通常只有大型组织才能负担得起，大多数研究人员都是下载已经训练好的模型，比如GPT模型就是比较著名的Transformer模型。

2.6 基于文本的有监督模型

所谓的“监督学习”是指我们有一堆文本，并且我们知道每个文本相关的某些信息，比如经济状况或政治倾向yd。我们的目标是建立一个模型，这个模型可以学会文本内容里的信息wd来预测yd。LASSO回归就是比较有名的监督算法，但对于文本分析任务来说，这种方法没有考虑到文本数据中词与词之间的强依赖性，太简单了。

这个时候就要用更复杂的模型，去处理词之间复杂的非线性关系和相互作用，比如随机森林和梯度提升算法。但是经济学的文本数据量一般都不大，而且文本分析算法对数据的质量要求很高，所以在选择模型时，又需要根据数据量对使用的模型进行取舍，一般的做法是：先使用预训练模型（比如基于Transformer的模型），对其进行微调，以适应特定的监督学习任务。

ChatGPT没有出来之前，Transformer用于处理短文本，梯度下降算法用于处理长文本。现在，经过增强的GPT-4，已经可以很好地处理长文本了。

但是，图4展示了不同算法对下游回归系数估计的影响。图中的四个面板分别显示了以下内容：共享NAICS2展示了文本相似度与公司是否属于相同NAICS2部门之间关系的回归系数估计及其置信区间。公司规模差异（员工数）展示了文本相似度与公司员工数大小差异之间关系的回归系数估计及其置信区间。日股票回报的相关性展示了文本相似度与公司2019年日股票回报相关性之间关系的回归系数估计及其置信区间。公司规模差异（总资产）展示了文本相似度与公司总资产大小差异之间关系的回归系数估计及其置信区间。结果表明，不同的文本分析算法（包括词袋模型、各种词嵌入模型、LSA、NMF和LDA）在关联文本相似度与经济指标之间关系的研究中会产生不同的结果。不同方法对于哪个协变量与文本相似性也各不相同。这告诉我们：文本分析算法的选择对于下游的因果推断并非无关紧要，相反，文本分析方法的不同，会导致后续计量回归的结果完全不同。

另外，可解释性是阻碍文本分析算法应用的关键问题。经济学家为什么那么关心算法的可解释性，这是因为：

（1）过拟合。这是所有深度学习方法在经济学上应用的通病。文本特征空间是高维度数据，很容易产生伪相关。

（2）无法解释未来。深度学习算法最重要的应用领域就是预测，但是经济数据更容易受到噪音和结构性中断的影响。如果未来发生的事情改变了数据的分布特征，这个方法立刻就没用了，比如通过2020年的报纸文章预测经济衰退的算法，可能会因为2022年经济下滑的新特征而失效。

（3）黑箱机制。OpenAI已经快变成CloseAI了，截止本文成稿，OpenAI并未公布GPT-4的内部运行原理，这给GPT等Transformer技术在经济学上的应用带来了不确定性。如果GPT对文本数据的标注，每次结果都不一致，这个方法就完全无法运用于经济学研究。