1.3 从传统 NLP 到大语言模型 (LLM) 的演进
自然语言处理 (Natural Language Processing) 是一门让计算机理解人类语言的学科。它经历了几次重大的技术跨越。
阶段一:基于规则的 NLP (1950s - 1980s)
依靠语言学家手工编写复杂的语法规则。局限性极大,无法处理错综复杂的口语和方言。
阶段二:统计 NLP (1990s - 2010s)
利用概率统计(如隐马尔可夫模型)来预测词组出现的频率。我们早期的手机输入法预测就属于这个范畴。
阶段三:深度学习与词向量 (2013 - 2017)
引进了 Word2Vec 技术,让每个单词都变成了一个空间的坐标(向量)。这使得电脑第一次能够理解“国王 - 男人 + 女人 = 女王”这种逻辑关系。
阶段四:大语言模型时代 (2018 - 至今)
随着 Transformer 架构的出现,模型参数规模暴增(从几千万到几千亿)。模型不再仅仅是做选择题,而是拥有了通识理解能力和极强的逻辑推理能力。