什么是自然语言处理？

b2cniloyislambd

在继续构建更好的系统系列之前，我认为我应该在周末写一篇关于解决方案中提出的基础自然语言处理 (NLP ) 和文本工程技术的快速文章。

在继续构建更好的系统系列之前，我认为我应该在周末写一篇关于解决方案中提出的基础自然语言处理 (NLP ) 和文本工程技术的快速文章。当我发布“如何构建更好的系统 - 规范”并提到这个关键要素时，我收到了很多关于此的问题。关于这项技术的一些假设并不完全正确文本挖掘就是这样。这是完全可以理解的。除非你从事的是语音识别、机器学习 购买电子邮件数据库 或人工智能领域，否则 NLP 并不是我们很多人都熟悉的主流学科。我不会假装像其他致力于该领域的人一样了解该主题。还有其他人对这个主题了如指掌，并且能够比我更好地讨论其背后的科学。我也不打算详细阐述这项技术的强大和有用之处。我将与您分享我如何利用迄今为止所做的工作，并使用几个已嵌入 NLP 组件的工具来自动执行评估系统规范时通常执行的许多劳动密集型任务。我的重点是寻找一种方法来自动化并尽快发现我们规范中的缺陷。这可以通过发现我们的规范中与以下相关的缺陷来实现：



结构完整性/对齐
文本歧义和上下文
部分数量/尺寸
挥发性
词典发现
平白的语言; 单词复杂度密度 – 复杂单词
NLP 和文本工程可以为我们做到这一点，甚至更多。我认为与其进一步详细说明，不如通过一些很好的例子来看看它的实际应用。幸运的是，伊利诺伊大学认知计算小组已经为我们所有人做到了这一点，并创建了一个网站来体验一下可以做什么。他们使用 NLP 的演示页面对以下关键概念进行了多次清晰的演示：


自然语言分析

更多阅读
自然语言处理 NLP 人工智能
自然语言处理：人工智能的基本要素
大数据新研究
企业架构仍然是许多公司的信仰飞跃
2012年企业架构展望
商业智能的好处
共指消解
词性标注
语义角色标签
浅层解析
文本分析
实体和信息提取

命名实体识别
命名实体识别器（通常使用扩展实体类型集）
数字量化
时间提取和比较
相似

上下文相关动词释义
LLM（词汇水平匹配）
命名实体相似度
关系识别
单词相似度
例如，假设我们想要解析和处理这个简单的句子：


“时区用于管理执行的各种活动，以确保在允许的活动窗口（上午 8 点到晚上 8 点）内呼叫客户。”

使用网站上的文本分析演示，我们可以将这个简单的短语复制并粘贴到对话框中并提交进行处理。返回的结果如下图所示。