一、什么是大语言模型

大语言模型本质上是一种通过海量文本数据训练出来的，用于理解、生成和响应类似人类语言文本的神经网络模型。

之所以称为“大语言模型”，“大”主要体现在两个方面：

在正式开始预训练之前，还需要完成两项基础工作：准备文本数据、以及把文本数据转换成向量格式。

一、准备文本数据

大语言模型最终能学到什么，很大程度上取决于它“读过什么样的内容”。