什么是“自然語言處理”？它到底在“處理”些什么？

“自然語言處理” (Natural Language Processing，簡稱NLP) 是近年來科技界最熱門的詞語之一，也是當(dāng)下人工智能研究最熱門的領(lǐng)域之一。自然語言處理推動著語言智能的持續(xù)發(fā)展和突破，并越來越多地應(yīng)用于各個行業(yè)。正如國際知名學(xué)者周海中先生曾經(jīng)所言：“自然語言處理是極有吸引力的研究領(lǐng)域，它具有重大的理論意義和實用價值。”

那么，NLP究竟是什么？ 它到底在“處理”什么？這些問題值得人們探討和關(guān)注。所謂NLP，是計算機科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向；它研究能實現(xiàn)人與計算機之間用自然語言進行有效通信的各種理論和方法。NLP主要應(yīng)用于機器翻譯、語音識別、知識回答、自動摘要、輿情監(jiān)測、觀點提取、知識庫構(gòu)建、文本語義對比、深度學(xué)習(xí)算法、語音識別與合成等方面。因此，NLP有著十分重要的實際應(yīng)用意義，也有著革命性的理論意義。

實現(xiàn)人機間自然語言通信意味著要使計算機既能理解自然語言文本的意義，也能以自然語言文本來表達給定的意圖、思想等；前者稱為自然語言理解，后者稱為自然語言生成。因此，NLP大體包括了自然語言理解和自然語言生成兩個部分。因為處理自然語言的關(guān)鍵是要讓計算機“理解”自然語言，所以通常把自然語言理解視為NLP, 也稱為計算語言學(xué)。它的終極目標(biāo)是用自然語言與計算機進行通信，使人們可以用自己最習(xí)慣的語言來使用計算機，而無需再花大量的時間和精力去學(xué)習(xí)不很自然和習(xí)慣的各種計算機語言。

NLP是人工智能中最為困難的問題之一。美國微軟公司創(chuàng)始人比爾·蓋茨先生曾經(jīng)表示，“語言理解是人工智能領(lǐng)域皇冠上的明珠”。前微軟公司全球執(zhí)行副總裁沈向洋先生也在公開演講時說：“懂語言者得天下……下一個十年，人工智能的突破在自然語言的理解……人工智能對人類影響最為深刻的就是自然語言方面”。由于理解自然語言需要關(guān)于外在世界的廣泛知識以及運用操作這些知識的能力，所以NLP也被視為解決人工智能完備(AI-complete)的核心問題之一。

NLP的基本任務(wù)包括正則表達式、分詞、詞法分析、語音識別、文本分類、信息檢索、問答系統(tǒng)——如對一些問題進行回答或與用戶進行交互——機器翻譯等；常用的模型則有馬科夫模型、樸素貝葉斯、循環(huán)神經(jīng)網(wǎng)絡(luò)等。NLP要使用語言知識，如UNIX的wc程序可以用來計算文本文件中的字節(jié)數(shù)、詞數(shù)或行數(shù)；當(dāng)用它來計算字節(jié)數(shù)和行數(shù)時，wc只用于進行一般的數(shù)據(jù)處理，但當(dāng)用它來計算一個文件中詞的數(shù)目時，就需要關(guān)于“什么是一個詞”的語言知識，這樣，這個wc也就成為了一個NLP系統(tǒng)。

無論實現(xiàn)自然語言理解，還是自然語言生成，都遠不如人們原來想象的那么簡單，而是十分困難的。從現(xiàn)有的理論和技術(shù)現(xiàn)狀看，通用的、高質(zhì)量的NLP系統(tǒng)，仍然是較長期的努力目標(biāo)，但是針對一定應(yīng)用，具有相當(dāng)NLP能力的實用系統(tǒng)已經(jīng)出現(xiàn)，有些已商品化，甚至開始產(chǎn)業(yè)化。典型的例子有：多語種數(shù)據(jù)庫和專家系統(tǒng)的自然語言接口、各種機器翻譯系統(tǒng)、全文信息檢索系統(tǒng)、自動文摘系統(tǒng)等。NLP系統(tǒng)的算法是基于機器學(xué)習(xí)，特別是統(tǒng)計機器學(xué)習(xí)；許多不同類的機器學(xué)習(xí)算法已應(yīng)用于NLP任務(wù)。

深度學(xué)習(xí)在NLP中的應(yīng)用非常廣泛，可以說橫掃NLP的各個方面，從底層的分詞、語言模型、句法分析等到高層的語義理解、對話管理、知識問答等方面幾乎都有深度學(xué)習(xí)的模型，并且取得了不錯的效果。有關(guān)研究已從傳統(tǒng)的機器學(xué)習(xí)算法轉(zhuǎn)變成更有表現(xiàn)力的深度學(xué)習(xí)模型，如卷積神經(jīng)網(wǎng)絡(luò)和回歸神經(jīng)網(wǎng)絡(luò)。不過，目前的深度學(xué)習(xí)技術(shù)還不具備理解和使用自然語言所必需的概念抽象和邏輯推理能力，還有待今后進一步的研究。

總而言之，隨著互聯(lián)網(wǎng)的普及和海量信息的涌現(xiàn)，作為人工智能的核心技術(shù)，NLP正在人們的工作、學(xué)習(xí)、生活中扮演著越來越重要的角色，并將在社會發(fā)展和科技進步的過程中發(fā)揮越來越重要的作用。