Job Data Forum

自然语言处理是人工智能最热门的领域之一。在某些市场，NLP 支出已上涨 30%，到 2024 年，NLP 产品和服务市场规模必将增长至 250 亿美元以上。

一个密切相关但又不同的术语是自然语言生成。NLP 和 NLG 的应用已经成为我们生活的一部分。

本文将带您鸟瞰 NLP 并深入了解其在机器学习营销和内容创作中的应用。

自然语言处理 (NLP) 简介
“Alexa，我喜欢这首歌。”

音乐音量减小，Alexa 回应：

“谢谢你，约翰，我注意到了你的喜好。”

在后端，Alexa 将这首歌添加到 John 的播放列表中，并改变其算法以增加播放频率。欢迎来到 NLP 和 NLG 的世界。

自然语言处理是人工智能的一个子集，它使机器能够理解人类语言并从中获取含义。简而言之，NLP 是计算机理解我们所说内容的能力。NLG 是它们用我们的语言与我们交流的能力。


来源

我们说的或写的每一个句子都有三种类型的提示：

结构：句法、语言学和每种语言的规则。
上下文：我们试图传达的信息。
情感：语气和情绪。
作为人类，我们本能地理解这些暗示，并做出相应的反应。对于机器来说，每个书面和口头句子都是非结构化数据，需要转换为结构化数据，以便计算机理解我们在说什么。这个过程是一种语言的 NLP。

在我们的 Alexa 示例中，NLP 将 John 的口头句子 厄瓜多尔电话号码数据 转换为 Alexa 能够理解的结构化数据。基于该数据，NLG 触发响应，将歌曲添加到播放列表，更改其播放频率算法，并将结构化数据转换回带有口头响应的语言。



NLP 的工作原理
自然语言处理执行三个核心任务：

1. 认可
计算机需要根据机器语言规则将书面和口头的句子转换成结构化数据（二进制代码）才能识别它们。

其中一些规则包括：

标记化和解析；
词形还原和词干提取；
词性标注；
语言检测；
识别语义关系。
这些规则帮助计算机将语音和文本的每个句子分解成单个单词，并识别语言、单词之间的关系、语法和语义规则等。

这些规则有助于将非结构化数据（语音和书面文本）转换为二进制代码（一系列 0 和 1）的结构化数据。我们可以将基于 NLP 的语音识别视为由这些规则定义的过程。

2. 理解
识别阶段的输出是二进制代码。理解阶段使用算法对二进制代码进行统计分析，以建立关系和含义。

为实现这一目标所采用的一些流程包括：

内容分类：根据语言学创建文档摘要。
主题发现和建模：捕捉文本集合中的含义和主题。
上下文提取：从基于文本的来源提取结构化信息。
情感分析：识别文本或演讲的情绪和观点。
语音转文本和文本转语音
文档摘要：生成大段文本的摘要。
由于机器依靠代码工作，因此每个过程都需要写成代码，计算机才能理解语音和文本。

3. 生成
经过识别和理解的分析之后，下一步是通过语音和文本生成响应。

这些响应基于 NLG。它们将结构化数据和代码转换回语言。这涉及对计算机进行一系列假设情景编程，以及对语言的语法和语言学规则进行编纂。

NLP 有其局限性，因为它缺乏对语言的智力理解，而且只是预测数学。

NLP、AI、机器学习
虽然 NLP、AI 和机器学习相互关联，但各自都有不同的内涵。

NLP 和机器学习是人工智能的子集。人工智能是一个总称，指的是能够模拟人类智能的智能机器。