QQ在（zài）线
企业微信
资讯
440人工智能作为新一轮科技革命和产业变革（gé）的重要驱动力量，正（zhèng）在深刻改变（biàn）世界。而自然语言处理(Natural Language Processing，简称NLP)既是人工智能的核（hé）心技术，又是计算机科学和语言科学的分（fèn）支学科;它推动着（zhe）语言智能的持（chí）续发展（zhǎn）和突破，并（bìng）越来越多地应用于（yú）各个（gè）行业。正如国际知名学者（zhě）周海中（zhōng）先生曾经（jīng）所言：“自然语言处理是（shì）极有（yǒu）吸引力的研究领域，它具有重大的理论意（yì）义和（hé）实（shí）用价值（zhí）。”
自然语言处理的主要内容
自然语言处理的主要内容包括但（dàn）不限（xiàn）于如下分（fèn）支领域：文本分类、文本生成、文（wén）本分析、信息抽取（qǔ）、自动摘要、智能问答、话题推荐、机器翻译、主（zhǔ）题词识别、知识（shí）库构建、深度文本表示、深度（dù）学习（xí）算法、命名实体识别、语音识（shí）别与合成等。自然语言处（chù）理主要研究能实现人与计算机之（zhī）间（jiān）用自然语言进行有效通信的各种理论和方法（fǎ）。而用自然语言与计（jì）算机进行通信（xìn），有（yǒu）着十分重要的实际应用意义，也有着（zhe）革命（mìng）性（xìng）的理论意义。
实现人机间自然语言通（tōng）信（xìn）意（yì）味（wèi）着要使计算（suàn）机既能理解自然语言文本的意义，也能以自然语言文本来表达给定的意图、思想等;前者称为自然语言理（lǐ）解，后者称为自然语言生成（chéng）。因此，自然语言（yán）处（chù）理大体包括了自然语言理解和自（zì）然语（yǔ）言生成（chéng）两个部分。因为处理自然语（yǔ）言的关键（jiàn）是要让计算机（jī）“理（lǐ）解（jiě）”自然（rán）语言,所以通常把自（zì）然语言（yán）理解视为自然语言处理, 也称（chēng）为计算语言学。它的终极（jí）目（mù）标是用自然（rán）语言与计算（suàn）机进行（háng）通（tōng）信，使（shǐ）人们可以用自（zì）己最（zuì）习惯的语言来使用计（jì）算机，而无需再花大量的时间和精力去学习不很自然和（hé）习惯的各种计（jì）算机语言。
自（zì）然语言处理（lǐ）是一门融语言学、计算机（jī）科学（xué）、数（shù）学于一体的科（kē）学。因此，这一领域的研究将涉及（jí）自然语言，即人们日常使用的（de）语言，所以它与语言学的研究有着（zhe）密切（qiē）的联系，但（dàn）又（yòu）有重（chóng）要的区别。自然语言处理并不是一般（bān）地研究自然语言，而在（zài）于研（yán）制能有效地实现自然语（yǔ）言通信的计算机系统，特（tè）别是其中的（de）软件系统（tǒng）。因而（ér）它是计算（suàn）机科学的一部分。可以说，自（zì）然语言（yán）处理是计算机科（kē）学、语言科学，尤其是（shì）人工智（zhì）能关注计（jì）算机与（yǔ）人类语言之间的相（xiàng）互作用的领域。
自然（rán）语言（yán）处理的基本任务（wù）包括正则（zé）表达式、分词、词法分析、语音识别、文本分类、信息（xī）检索、问答系统——如对一些问题进行回答或与用户进行交（jiāo）互——机器翻译等;常（cháng）用的（de）模型则有（yǒu）马科（kē）夫（fū）模型（xíng）、朴（pǔ）素贝叶斯、循环神经网络（luò）等。自然语言处理要使用（yòng）语言知识，如UNIX的wc程序可（kě）以用来计算（suàn）文本文件中的字节（jiē）数、词（cí）数（shù）或行数（shù）;当（dāng）用它来计算字节数和行数时，wc只用于进行一般的数据处理，但（dàn）当用（yòng）它来（lái）计算一（yī）个文件中词的数（shù）目时，就需要关于“什么是一个词”的语言知（zhī）识，这样，这个wc也（yě）就成为了（le）一个自然语言（yán）处理系统。
自然语言处理是人工智能中最（zuì）为困难的问题（tí）之一。美国微软公（gōng）司（sī）创始人（rén）比尔·盖（gài）茨（cí）先生曾经（jīng）表（biǎo）示，“语言理解是人工智能领域（yù）皇冠上的明珠”。前微（wēi）软公司（sī）全（quán）球执行副总裁沈向洋（yáng）先生也在公开演（yǎn）讲（jiǎng）时说（shuō）：“懂（dǒng）语言者得天下……下一（yī）个十年，人工智（zhì）能的突（tū）破在自然语言的（de）理解……人（rén）工智能对人类影响最为深刻（kè）的就是（shì）自（zì）然语言方面”。由（yóu）于理解自然语（yǔ）言需要关（guān）于外在世界的广泛知（zhī）识以及运用操作（zuò）这些知识（shí）的（de）能力，所以自（zì）然语言（yán）处理也被视为解决（jué）人工（gōng）智能完备(AI-complete)的（de）核心问题之一（yī）。可以说，自然语言处（chù）理目前是（shì）人工智能领域中的关键技术，对它的研（yán）究也是充满魅力（lì）和挑战（zhàn）的。
自（zì）然（rán）语（yǔ）言处理的发展简史
最早的自然语言处理研究（jiū）工作是机（jī）器翻译;美国知名（míng）科学家沃伦•韦弗（fú）先生在1949年首（shǒu）先提出了机器翻（fān）译设计方案（àn）。在60年代（dài），许多科学家对机器翻译曾有大规模的研（yán）究工作（zuò），投入了大量的（de）人力物力财力。但是，受客（kè）观（guān）历史因素的限制，当时人们低估（gū）了自然语（yǔ）言的复杂性（xìng），语言处理的理论和技术均不（bú）成热，所（suǒ）以（yǐ）进展并不大。其主要的做法是存（cún）储两种（zhǒng）语言的（de）单词、短（duǎn）语对应译法的大辞典，翻译时一一对应，技术上只是调整（zhěng）语言的顺序。但日常生活（huó）中语言的翻译远不是如此简单，很多时候（hòu）还要参考某句话前后的意思。
大约90年代开始，自（zì）然（rán）语言处理领（lǐng）域发（fā）生了巨大（dà）的变化。这种变化（huà）的两个明显的（de）特征是：(1)对系统的（de）输入，要求研制的自然语言处（chù）理系统能处理大规模（mó）的真（zhēn）实文本，而不是（shì）如（rú）以前的研究性系统那样（yàng），只能处（chù）理很少的词（cí）条和典型句子。只有这样，研制的系统才有真正的实用（yòng）价（jià）值。(2)对（duì）系统的输出，鉴于真实地理解自然语言（yán）是十分（fèn）困难的（de），对系统并不要求能对（duì）自（zì）然语言文本进行深层（céng）的理解，但要能从中（zhōng）抽取有用的信息。同时，由于强调了“大规模”和“真实文本”，因（yīn）此两方面的基础性工作也得到（dào）了重视和加强：(1)大（dà）规模（mó）真实（shí）语料库的研制。大规模（mó）的经过不同深度加工（gōng）的（de）真实文本的语料（liào）库（kù），是研究（jiū）自然（rán）语言统（tǒng）计性质的基（jī）础;没有它们，统计方法（fǎ）只能是无源之水。(2)大规（guī）模、信息丰富的词（cí）典（diǎn）的（de）编制工作。因（yīn）此（cǐ）规（guī）模为几万、十几万、甚至几十万（wàn）词，含有丰富的信息(如包含词的（de）搭配信息)的计算机可（kě）用（yòng）词典（diǎn）对（duì）自然语言处理（lǐ）的重要性是很明显的。
迈进21 世纪（jì），互（hù）联网的出现让（ràng）信息量呈现爆炸式增长，得益于大数据（jù）、云计算、知识图谱（pǔ）、5G通信等各种新技术，自然语言处（chù）理的（de）发展迎来加（jiā）速（sù），在日常（cháng）生活（huó）中扮演着越来越重要的角色，走（zǒu）上更加丰富的应用舞台（tái）。如（rú）今，搜索（suǒ）引擎已经成为人们获（huò）取信息的重（chóng）要工具，机器翻译越（yuè）来越普及（jí），聊天机器人层出不穷，智能客服开始服（fú）务于人类，各类智能（néng）机器（qì）人不断涌现（xiàn）;近年来（lái），热度渐升的亚马逊 Alexa，既会作诗又（yòu）能唱歌的微软小冰，又将（jiāng）自然语言处理推向另一个全新的高度，让其被越来越（yuè）多（duō）的（de）大（dà）众熟知。与之相对应，不（bú）管学术（shù）界还是企业界，对（duì）自然语言处理（lǐ）的谈论越（yuè）来（lái）越多（duō），更有甚者（zhě），自然语（yǔ）言处理被提升到（dào）战（zhàn）略层面。
系（xì）统的（de）输（shū）入（rù）与输出这（zhè）两（liǎng）个特征在自然（rán）语言处理的诸多领（lǐng）域都有所（suǒ）体现,其发展直接促进了计算机自动检索技术的出现和兴起。实际上，随着计算机技术的（de）不断（duàn）发（fā）展, 以（yǐ）海量计（jì）算为基础的机器学习、数据挖掘等技术的表（biǎo）现也愈发（fā）优异。自然语言处理之所以能够度过“寒冬”, 再次发展, 也是因为计算机科学与统计科学的不（bú）断结合（hé）,才让人类甚至机器能够不断从（cóng）大量数（shù）据中发现“特征”并加以学习。不（bú）过（guò）要实现对自然语言真正意义上的理解，仅仅从原始文本中（zhōng）进行学习是不够（gòu）的，我们需要新的方法和模型。
目（mù）前存在的问题主要有两个方面：一方面（miàn），迄今为止的语法都限（xiàn）于（yú）分析一个孤立的句子，上下（xià）文（wén）关系和谈话环境对本句的约束和影（yǐng）响（xiǎng）还缺乏系统的研究，因此（cǐ）分析歧义、词语（yǔ）省略、代词（cí）所指、同（tóng）一句话在不同场合或由不同的人说（shuō）出来所具有的不同含义等问题，尚无明确规律（lǜ）可（kě）循，需要（yào）加强语义学（xué）和语用学的研究才能逐步解决。另一方面（miàn），人（rén）理解一（yī）个句子不是（shì）单（dān）凭语（yǔ）法，还运用了大量的有关（guān）知识，包（bāo）括生（shēng）活知（zhī）识和（hé）专门知识（shí），这（zhè）些知识无法全部贮存在计算机里。因（yīn）此一个书面理解系统只能建立在有限的词汇、句型和特定的主题范（fàn）围内;计算机的贮存（cún）量和运转（zhuǎn）速度大大（dà）提高之后，才有可能适（shì）当扩大范围。
由于语言工程、认知科学等主（zhǔ）要局限于实验室,目前来看数据处理可能是（shì）自（zì）然语言（yán）处理应用场景（jǐng）最多的一个发展方向。实际上（shàng）,自从进（jìn）入大数据（jù）时代（dài），各大平台就没有（yǒu）停止过对用户数据的（de）深度挖掘。要（yào）想提取出有（yǒu）用的信（xìn）息，仅（jǐn）提取关键词、统计词频等是远远不够的，必须对用户数据（jù） (尤其是（shì）发言、评论等)进行（háng）语义上的理解（jiě）。另外，利用离线大数据统计分析的方法进行自（zì）然语言处理任务（wù）的（de）研究是（shì）目（mù）前非常（cháng）有潜（qián）力的一种研究（jiū）范式，尤其是谷歌（gē）、推特、脸书、百度等大（dà）公（gōng）司（sī）在这（zhè）类应（yīng）用上的成功经（jīng）验，引领了（le）目前（qián）大数据（jù）研（yán）究的（de）浪潮。
自然（rán）语（yǔ）言处理的应用现状
自然语（yǔ）言处（chù）理是为各类企业及开发者提供的用于文（wén）本分析（xī）及挖掘的核心工具，已经（jīng）广泛应用在电商、金（jīn）融、物流、文（wén）化娱乐（lè）等（děng）行业（yè）客户的（de）多项业务（wù）中。它可帮助（zhù）用户搭建内容搜索、内容推（tuī）荐（jiàn）、舆情识别（bié）及分析、文本结（jié）构（gòu）化（huà）、对话机器人等智能（néng）产品，也能（néng）够通过合（hé）作，定（dìng）制个性化（huà）的（de）解决方案。由（yóu）于理（lǐ）解自然语（yǔ）言，需（xū）要关（guān）于外在世界的广泛（fàn）知识以及运用操作这些知（zhī）识的能力（lì），所以（yǐ）自然语言处理也被视为（wéi）解决人工智能的核心（xīn）问题之一（yī），其未（wèi）来一般也因此（cǐ）密切结（jié）合人工智能发（fā）展（zhǎn），尤（yóu）其是（shì）设（shè）计一个模仿人类大脑的神经网络。
训练（liàn）自（zì）然语言（yán）处理文本解析人工智（zhì）能系统（tǒng）需要采集大量（liàng）多源（yuán）头数据集，对科学家来说是一项持续的挑战：需要使用最新的（de）深度学习模型，模仿人类大脑中（zhōng）神（shén）经元的行为，在数百万甚（shèn）至数十亿的（de）注释示（shì）例中（zhōng）进行训练来持（chí）续改（gǎi）进。当下一种流行（háng）的自（zì）然语言处理解决方案是预训练，它改（gǎi）进了对未标记文本进行训（xùn）练的通用语（yǔ）言模型，以执行特定（dìng）任务;它的思想就是（shì），该模型的参数（shù）不再是随机初（chū）始化，而是先有一个任（rèn）务（wù）进行训练得到（dào）一套模型参数，然后用这（zhè）套参数对模型进（jìn）行初始化，再进行（háng）训练（liàn），以（yǐ）获得更好的预测（cè）性见（jiàn）解。
目前我们已经进入了以互联网为主要标志的（de）海量信息时代（dài），这些海（hǎi）量信息（xī）大（dà）部分是以自然语言表示的。一（yī）方面，海（hǎi）量信（xìn）息也为计算机学习人类语言（yán）提供了更多的（de）“素材”，另一方面，这也为自然语言处理（lǐ）提供（gòng）了更加（jiā）宽广的（de）应用舞台。例如，作为（wéi）自然语言处理的重要应用，搜索引擎逐渐成为人（rén）们获（huò）取信息的重（chóng）要工具，出现（xiàn）了以谷歌、雅（yǎ）虎（hǔ）、百度等为（wéi）代表的搜索引擎（qíng）巨头;机器翻译也从实验室走入（rù）寻常（cháng）百（bǎi）姓家（jiā）;基于自然语言（yán）处理的输入法(如谷歌、微（wēi）软、百度、搜狗等输入（rù）法)成为计（jì）算机用户的必备工具;带（dài）有语音识（shí）别的计算机和手（shǒu）机也正大行其（qí）道，协助用户更有效（xiào）地工作和学习。
数据标注是（shì）人工智能（néng）产业的基础,是机器（qì）感知现（xiàn）实世（shì）界的（de）起点（diǎn）;从某（mǒu）种程度（dù）上来说（shuō），没有经过标注（zhù）的数据就（jiù）是无用的数据;数据标注得越（yuè）精（jīng）确，对算法模型训练（liàn）的效果就越好。自然语（yǔ）言处理（lǐ）领域现在已经有了大量的数据标（biāo）注（zhù）知识，而深度学习可以通过有监（jiān）督学（xué）习得到相关（guān）的语义知识（shí），这种知（zhī）识和人类总结的知识应该存在某种对应关系，尤其是（shì）在一些浅层语义方面（miàn）。因为数据标（biāo）注,本质（zhì）上已经给深度学习提供了学习的目标;只是深度学（xué）习可以不眠不休地学习,这种逐步靠拢学习目标的过程，可能远比人类总结过（guò）程来得更快。这一点，从美国Google公司（sī）旗下DeepMind研究团队开（kāi）发的围棋软件AIphaGo短（duǎn）时间内连胜两位人类（lèi）围棋高手（shǒu）的事实，似乎能（néng）够得到验证。
信息抽取旨在从非结构化的文本数据中抽取结构化的目标信息。这（zhè）是（shì）一个（gè）热点的任务，但是当（dāng）前（qián）模型大多只能（néng）进行单一（yī）任（rèn）务的（de）信息（xī）抽取，效果也不是特别好。因此（cǐ）将来的一段时间，信息抽取还会是一（yī）个热门话（huà）题。该任务（wù）也是其他行业对（duì）人（rén）工智能最热切的期（qī）待之（zhī）一（yī）。行业外的人经常问自然语言处理能不能做这个（gè）做那个，大多数是在问能不能从非结构化的海量文本中提取特定的某些信息。这也是所谓大数据公（gōng）司或者（zhě）大数据服（fú）务提供商的核心技（jì）术。值得一提的是，信息（xī）抽（chōu）取（qǔ）和数据标注（zhù）有很多交叉和重叠的地（dì）方（fāng），它们与（yǔ）深度学（xué）习的关（guān）系（xì）十分密切。
深度（dù）学习（xí）在自然语言处理中的应用非常广泛，可以说（shuō）横扫自然语（yǔ）言处理的各个应（yīng）用（yòng），从底层的（de）分词、语言模（mó）型、句（jù）法分析等到高层的语义理（lǐ）解、对话管理（lǐ）、知识问答等方面几乎都（dōu）有深（shēn）度学习的模型，并且取（qǔ）得（dé）了不错的效（xiào）果。有关研究已从（cóng）传（chuán）统的机器学习算法转变成（chéng）更有表现力的深（shēn）度学习模型，如卷积（jī）神经（jīng）网络和回（huí）归神经（jīng）网络。不过，目前（qián）的深（shēn）度学（xué）习技（jì）术（shù）还不（bú）具（jù）备理（lǐ）解和使用自然（rán）语（yǔ）言所必需的概念抽（chōu）象和（hé）逻辑（jí）推理（lǐ）能力，还（hái）有待今后（hòu）进一步的研究。
自然语言处理的近（jìn）期成果
互联网搜索引擎已经（jīng）有一段时间让人们使用会（huì）话语言和术语来（lái）在线搜索事物。现在，Google公司的云端硬盘（pán）用（yòng）户已经可以使用（yòng）这一功能。用户可以搜索存储在Google云端硬（yìng）盘（pán）中的文件（jiàn）和（hé）内容（róng），就像使用Google搜索提供的对云端硬盘内置自然语言处理（lǐ）的（de）新支持一（yī）样。该功能使用（yòng）户可以（yǐ）使用通常用词组表达的查询以及在实际对话中将要（yào）使用的（de）查（chá）询（xún）来更（gèng）轻松（sōng）地找到所需的内（nèi）容。Google公司在在线和移动（dòng）搜索、移动应用程序以及Google Translate等（děng）服务中广泛使（shǐ）用自然语言处理;该公司在这（zhè）一领（lǐng）域的研究是为提高机器阅读和理解（jiě）人类语言能力所（suǒ）做的更广（guǎng）泛努力的一部分。随（suí）着Google公司调整（zhěng）其算法，自然语言处理（lǐ）应该会随着时间的推移变得更好。
在新冠病毒肺（fèi）炎(Covid-19)疫情期间，美（měi）国哈佛医学院的研究人员（yuán）借助自然语言处理技术开发出了一种工具（jù），可以（yǐ）评估新冠肺炎（yán）患者的病例、社交媒体（tǐ）和健康卫生数（shù）据（jù）。他们率先努力通过使用机器学习技术（shù）查（chá）看来自各种来源的数据和信息(包括患（huàn）者记（jì）录、社（shè）交媒体和公共卫生（shēng）数据)来寻找新（xīn）冠病毒肺炎的解决（jué）方案。借助自然语言处理（lǐ）工具（jù），研究（jiū）人员（yuán）可以搜索有关新冠肺炎（yán）疫（yì）情的在线（xiàn）信息（xī），并了解爆（bào）发的当前（qián）位置。另外（wài），他们（men）还借助自然语言（yán）处理技术，尤其是深（shēn）度（dù）学习模型对新冠病毒（dú）、药物和疫苗等密集展开研究，同时包括临床（chuáng）诊断与治（zhì）疗以及流行病学（xué）研究（jiū）等。
英国剑桥量子计算公（gōng）司(CQC)最（zuì）近宣布（bù），他们利用自（zì）然语言的“固有（yǒu）量子”结构，开辟了一个（gè）全（quán）新（xīn）的可能应用领域。其通（tōng）过（guò）将语法句子翻译成量子线（xiàn）路，然后在量子计（jì）算机上（shàng）实现生成（chéng）的（de）程序，并实际执行问（wèn）答。这（zhè）是第一次在（zài）量子计算机上执（zhí）行自然语言处理。通过使用（yòng）CQC的一流（liú）的（de）、平台无关（guān）的可重定目标编译（yì）器t|ket?™，这些程序（xù）在IBM量（liàng）子（zǐ）计算机（jī）上成功（gōng）执（zhí）行，从而朝着实现（xiàn）“意（yì）义（yì）感知”和“语法（fǎ）信（xìn）息”的自然语言处理迈（mài）出了一大步——这是计算机时代早期以来计算机科（kē）学家及语言智能领域专家（jiā）的梦（mèng）想（xiǎng）。
中（zhōng）国（guó）阿（ā）里达摩（mó）院的自然语言处（chù）理研（yán）究团队最（zuì）近提出（chū）优化模型StructBERT，能让机器更好地掌握人类（lèi）语法，加深对自然语言（yán）的（de）理解。使用该模型好比给机（jī）器内置一（yī）个“语法（fǎ）识别器（qì）”，使机（jī）器在面对语序错（cuò）乱（luàn）或不符合语法习惯的词（cí）句时，仍能准确理解并（bìng）给出（chū）正确的表达和回（huí）应，大大提（tí）高机（jī）器（qì）对（duì）词语（yǔ）、句子以及语（yǔ）言整体（tǐ）的理解力。这一技术已广（guǎng）泛（fàn）使（shǐ）用于（yú）阿（ā）里旗下（xià）阿里小（xiǎo）蜜、蚂蚁金服、优酷等业务。阿里达摩院的语言模型和阅读理解技术也（yě）被用于行（háng）业赋能，推进人工智能技（jì）术在医疗、电力（lì）、金融等（děng）行业的落地。据悉，StructBERT模型（xíng）日前被评为全球性能最（zuì）强的自然语（yǔ）言（yán）处理系统（tǒng）。
结束语
实现自然（rán）语言理解，远不如人们（men）原来想象（xiàng）的那么简单，而是十分困难的。从现有（yǒu）的（de）理论和技术现状看，通用（yòng）的、高（gāo）质量的自（zì）然语言处理（lǐ）系统，仍然是较长期的努力目标，但是针对一定应用，具（jù）有（yǒu）相当自然语言处理能力的实用系统已经出现，有些已商业化，甚（shèn）至（zhì）开（kāi）始（shǐ）产业化;典型的例子有：多语种数据库和（hé）专家系（xì）统的自然语（yǔ）言（yán）接口、各种（zhǒng）机器（qì）翻译（yì）系统、全文信息（xī）检索系统、自动文摘（zhāi）系统等。要实现人（rén）机间（jiān）自然语言（yán）通信，或要完全实现（xiàn）自然语言理解，这不（bú）是（shì）在（zài）短时期内可以完成的，还有待长（zhǎng）期的、系统的、扎实的工作。
总之（zhī），随着互联网的普（pǔ）及和海量信（xìn）息（xī）的涌现（xiàn），作为人工（gōng）智能的核心技术（shù），自（zì）然语言处理正在人们的工作（zuò）、学习、生活中扮演着越来越重要的角色，并将（jiāng）在社会发展和科技进步的过程中发挥越来越重要的作用。
