NLP解释 – 什么是自然语言处理？

NLP的目标是在算法和规则的帮助下理解自然语言，同时也能自己生成语言。为此，计算机科学和语言学的知识被结合起来。因此，NLP是人工智能的一种类型，它有许多应用领域，特别是在公司和非结构化数据领域。应用的领域包括人类和机器之间的沟通，例如企业搜索引擎或聊天机器人。

这里的重点是理解信息，不仅仅是基于关键词，而是在其整个语义背景下。然后，NLP能够正确地解释和诠释与上下文有关的文本语境。这里的挑战在于人类语言的复杂性。有些词根据情况和社会背景有不同的含义。但另一方面，有时我们有更多的词来表达相同的意思。因此，对这种差异的理解在NLP中是非常重要的。由于计算机与人类不同，不能依靠经验来更好地理解语言，因此使用了各种机器学习的算法和方法。NLP包括以计算机可以理解的数字格式表示这些信息。

因此，最初，一个NLP应用需要使用大量的数据来学习不同的模式和进行意义分析。然而，这不一定是公司的内部数据，在很多情况下也可以是互联网上可自由获取的数据。公司不需要为NLP应用本身提供数据或服务器能力。

NLP的不同领域

人类语音的识别可以分为不同的领域。这些代表不同的步骤，随后用于文本的整体识别。

• 语言的识别
• 对单个单词和句子进行分类
• 掌握语法信息，如基本形式
• 识别句子中各个单词的功能（主语、动词、宾语、形容词等）。
• 解释（部分）句子的含义
• 理解句子的语境和关系

NLP领域的巨大发展极大地提高了企业搜索引擎的应用可能性和可扩展性。然而，NLP目前在解释某些文体手段（修辞问题、讽刺或悖论）方面仍然达到了极限。

经典的NLP应用领域

1. 问题-答案模型

这种类型的问题是以尽可能精确的答案来回答问题。答案越是具体，计算机的任务就越是复杂。最简单的方法是，例如，完整地提取一段文字；另外，也可以提取具体的词语或将其包装在答案句子中。下一个层次是根据文本信息进行逻辑推理。例如，文本可能包含员工A、B和C位于公关部的信息。那么，”我们的公关部有多少员工？”这个问题的逻辑答案将是三个。

例1:

一个中等规模的公司有各种数据仓，里面有不同的信息和文件。一个智能的企业搜索引擎可以回答 “我如何解决错误代码#err49284？”这样的问题。

例子2:

一家公司总是收到相同的客户咨询。在这里，公司可以使用一个聊天机器人来自动回答客户的问题。

2. 不同序列的分类

这个范围的目标是将文本分类为预定义的类别。例如，一个预定义的类别可以是情绪，如快乐、悲伤或愤怒。计算机独立决定将提交给它的文本分配到哪个类别。同样，文本也可以分配给作者或文章的格式（博客、意见、新闻）。因此，文本的长度可以任意选择。

例3:

一个比较门户网站想按内容对负面评论进行分类。因此，现有的带有负面评价的客户评论被分为，例如，”关于客户服务的投诉”、”关于用户友好度的投诉 “和 “关于价格的投诉 “等类别。每个负面评价（如3星或更差）现在都被分配到一个类别。

例4:

一个机器制造商收到寄给不同部门的邮件。可以用NLP将它们细分为送货单、发票和其他请求，而不是手动选择。

3. 生成文本

基于给定的文本，应建议合适的词来完成文本。这反过来又可以用于进一步的文本预测和完成。

例5:

一个文档管理程序的开发者希望简化文档查找，类似于企业搜索引擎的提供者。为了做到这一点，他在搜索掩码中预测了潜在的搜索查询与匹配的词。

4. 句子元素识别

这个NLP领域涉及不同句子元素的识别，如主语、谓语或宾语。另外，这些也可以是自然人、公司、时间或电子邮件地址。

例6:

一家公司使用企业搜索引擎，从会议记录中提取各主体的联系人和截止日期。

5. 总结

计算机的任务是在考虑到语法规则的情况下，将较长的文本变为较短的文本。在这个过程中，内容不能改变，所以重要和不重要的信息必须被识别。

例7:

一家出版商想把较长的文章自动总结成在线短文。为此，它根据用户的情况，在长度和语言的复杂性上创建了一个简短的摘要。

6. 翻译

文本在符合适用的拼写规则的情况下被翻译成几种语言。原文的内容和语法都必须保持接近。

例8:

一家机械工程制造商希望从DACH地区扩展到国际舞台，因此需要将所有产品说明和技术规格翻译成其他语言。挑战是额外的技术和行业特定词汇。

“这个列表还可以扩展到其他用例，如语音到文本的转换或语音识别。”

NLP在未来将如何发展？

作为人工智能最有前途的形式之一，NLP领域的研究目前正在最密集地进行。近年来的快速发展，首先使资源效率得到了更大的发展，并承诺在未来有同样快速的发展。

NLP的使用已经不再是大公司的专利，而是通过翻译或搜索工具变得人人都能使用。未来的发展将带来更多的使用案例，甚至进一步降低成本。

看看人工智能在这一领域将如何发展将是很有趣的。

Bastian Maiworm

Bastian is the Co-Founder & CRO of the enterprise search tech company amberSearch. Me and my Co-Founders recognized the need for a state-of-the-art information management solution and now help companies and their employees to find access information as easily as possible within enterprises.  I primarily write about the latest developments relevant to enterprise search and start-ups. I look forward to growing my network on LinkedIn and meeting new people at different events. If you think, that there might be an opportunity or if you'd like to dive deeper into my topics, please reach out to me.