創(chuàng)新工場「數(shù)據(jù)下毒」論文入選NeurIPS 2019，AI安全問題需要引起關(guān)注

雷鋒網(wǎng) AI 科技評論按：9 月 4 日，被譽為機器學習和神經(jīng)網(wǎng)絡領(lǐng)域的頂級會議之一的 NeurIPS 2019 揭曉收錄論文名單，創(chuàng)新工場人工智能工程院的論文《Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder》（深度困惑：一種利用自編碼器生成惡意訓練樣本的方法）被接收在列。這篇論文的三位作者為：馮霽（創(chuàng)新工場南京國際人工智能研究院執(zhí)行院長）、蔡其志（創(chuàng)新工場南京國際人工智能研究院研究員） 、周志華（南京大學人工智能學院院長）。

這篇論文圍繞現(xiàn)階段人工智能系統(tǒng)的安全性展開研究，具體而言，文章提出了一種高效生成對抗訓練樣本的方法 DeepConfuse，通過微弱擾動數(shù)據(jù)庫的方式，徹底破壞對應的學習系統(tǒng)的性能，達到「數(shù)據(jù)下毒」的目的。這一技術(shù)的研究并不單單是為了揭示類似的 AI 入侵或攻擊技術(shù)對系統(tǒng)安全的威脅，而是致力于在深入研究相關(guān)的入侵或攻擊技術(shù)的基礎(chǔ)上，有針對性地制定防范「AI 黑客」的完善方案，對 AI 安全攻防這一前沿研究方向的推動與發(fā)展具有積極指導作用。

NeurIPS，全稱神經(jīng)信息處理系統(tǒng)大會 (Conference and Workshop on Neural Information Processing Systems)，自1987年誕生至今已有 32 年的歷史，一直以來備受學術(shù)界和產(chǎn)業(yè)界的高度關(guān)注。該會議固定在每年的 12 月舉行，由 NIPS 基金會主辦。在中國計算機學會的國際學術(shù)會議排名中，NeurIPS 為人工智能領(lǐng)域的A類會議，同時也是人工智能領(lǐng)域最富盛名的年度會議之一，會議門票動輒在數(shù)分鐘內(nèi)售磬。

一直以來，NeurIPS 都以重視論文質(zhì)量著稱，并保持著相對較低的錄取率。今年，NeurIPS 會議的論文投稿量再創(chuàng)造新高，共收到 6743 篇投稿，最終錄取 1428 篇論文,錄取率為 21.2%。

目前這篇論文還不是最終狀態(tài)，Camera Ready 將版本在 1 個月后通過 NeurIPS 正式途徑放出。下面我們介紹一下論文的主要內(nèi)容。

創(chuàng)新工場「數(shù)據(jù)下毒」論文入選頂會 NeurIPS

近年來，機器學習熱度不斷攀升，并逐漸在不同應用領(lǐng)域解決各式各樣的問題。不過，卻很少有人意識到，其實機器學習本身也很容易受到攻擊，模型并非想象中堅不可摧。

例如，在訓練 (學習階段) 或是預測 (推理階段) 這兩個過程中，機器學習模型就都有可能被對手攻擊，而攻擊的手段也是多種多樣。創(chuàng)新工場 AI 工程院為此專門成立了 AI 安全實驗室，針對人工智能系統(tǒng)的安全性，進行了深入對評估和研究。

《Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder》這篇論文的主要貢獻，就是提出了高效生成對抗訓練數(shù)據(jù)的最先進方法之一—— DeepConfuse，通過劫持神經(jīng)網(wǎng)絡的訓練過程，教會噪聲生成器為訓練樣本添加一個有界的擾動，使得該訓練樣本訓練得到的機器學習模型在面對測試樣本時的泛化能力盡可能地差，非常巧妙地實現(xiàn)了「數(shù)據(jù)下毒」。

顧名思義，「數(shù)據(jù)下毒」即讓訓練數(shù)據(jù)「中毒」，具體的攻擊策略是通過干擾模型的訓練過程，對其完整性造成影響，進而讓模型的后續(xù)預測過程出現(xiàn)偏差。（「數(shù)據(jù)下毒」與常見的「對抗樣本攻擊」是不同的攻擊手段，存在于不同的威脅場景：前者通過修改訓練數(shù)據(jù)讓模型「中毒」，后者通過修改待測試的樣本讓模型「受騙」。）

舉例來說，假如一家從事機器人視覺技術(shù)開發(fā)的公司希望訓練機器人識別現(xiàn)實場景中的器物、人員、車輛等，卻不慎被入侵者利用論文中提及的方法篡改了訓練數(shù)據(jù)。研發(fā)人員在目視檢查訓練數(shù)據(jù)時，通常不會感知到異常（因為使數(shù)據(jù)「中毒」的噪音數(shù)據(jù)在圖像層面很難被肉眼識別），訓練過程也一如既往地順利。但這時訓練出來的深度學習模型在泛化能力上會大幅退化，用這樣的模型驅(qū)動的機器人在真實場景中會徹底「懵圈」，陷入什么也認不出的尷尬境地。更有甚者，攻擊者還可以精心調(diào)整「下毒」時所用的噪音數(shù)據(jù)，使得訓練出來的機器人視覺模型「故意認錯」某些東西，比如將障礙認成是通路，或?qū)⑽ｋU場景標記成安全場景等。

為了達成這一目的，這篇論文設計了一種可以生成對抗噪聲的自編碼器神經(jīng)網(wǎng)絡 DeepConfuse，通過觀察一個假想分類器的訓練過程更新自己的權(quán)重，產(chǎn)生「有毒性」的噪聲，從而為「受害的」分類器帶來最低下的泛化效率，而這個過程可以被歸結(jié)為一個具有非線性等式約束的非凸優(yōu)化問題。

從實驗數(shù)據(jù)可以發(fā)現(xiàn)，在 MNIST、CIFAR-10 以及縮減版的 IMAGENET 這些不同數(shù)據(jù)集上，使用「未被下毒」的訓練數(shù)據(jù)集和「中毒」的訓練數(shù)據(jù)集所訓練的系統(tǒng)模型在分類精度上存在較大的差異，效果非?？捎^。

與此同時，從實驗結(jié)果來看，該方法生成的對抗噪聲具有通用性，即便是在隨機森林和支持向量機這些非神經(jīng)網(wǎng)絡上也有較好表現(xiàn)。（其中藍色為使用「未被下毒」的訓練數(shù)據(jù)訓練出的模型在泛化能力上的測試表現(xiàn)，橙色為使用「中毒」訓練數(shù)據(jù)訓練出的模型的在泛化能力上的測試表現(xiàn)）

在 CIFAR 和 IMAGENET 數(shù)據(jù)集上的表現(xiàn)也具有相似效果，證明該方法所產(chǎn)生的對抗訓練樣本在不同的網(wǎng)絡結(jié)構(gòu)上具有很高的遷移能力。

此外，論文中提出的方法還能有效擴展至針對特定標簽的情形下，即攻擊者希望通過一些預先指定的規(guī)則使模型分類錯誤，例如將「貓」錯誤分類成「狗」，讓模型按照攻擊者計劃，定向發(fā)生錯誤。

例如，下圖為 MINIST 數(shù)據(jù)集上，不同場景下測試集上混淆矩陣的表現(xiàn)，分別為干凈訓練數(shù)據(jù)集、無特定標簽的訓練數(shù)據(jù)集、以及有特定標簽的訓練數(shù)據(jù)集。

實驗結(jié)果有力證明了，為有特定標簽的訓練數(shù)據(jù)集做相應設置的有效性，未來有機會通過修改設置以實現(xiàn)更多特定的任務。

對數(shù)據(jù)「下毒」技術(shù)的研究并不單單是為了揭示類似的 AI 入侵或攻擊技術(shù)對系統(tǒng)安全的威脅，更重要的是，只有深入研究相關(guān)的入侵或攻擊技術(shù)，才能有針對性地制定防范「AI 黑客」的完善方案。隨著 AI 算法、AI 系統(tǒng)在國計民生相關(guān)的領(lǐng)域逐漸得到普及與推廣，科研人員必須透徹地掌握 AI 安全攻防的前沿技術(shù)，并有針對性地為自動駕駛、AI 輔助醫(yī)療、AI 輔助投資等涉及生命安全、財富安全的領(lǐng)域研發(fā)最有效的防護手段。

聯(lián)邦學習對AI安全研發(fā)提出新的目標

除了安全問題之外，人工智能應用的數(shù)據(jù)隱私問題，也是創(chuàng)新工場AI安全實驗室重點關(guān)注的議題之一。 近年來，隨著人工智能技術(shù)的高速發(fā)展，社會各界對隱私保護及數(shù)據(jù)安全的需求加強，聯(lián)邦學習技術(shù)應運而生，并開始越來越多地受到學術(shù)界和工業(yè)界的關(guān)注。

具體而言，聯(lián)邦學習系統(tǒng)是一個分布式的具有多個參與者的機器學習框架，每一個聯(lián)邦學習的參與者不需要與其余幾方共享自己的訓練數(shù)據(jù)，但仍然能利用其余幾方參與者提供的信息更好的訓練聯(lián)合模型。換言之，各方可以在在不共享數(shù)據(jù)的情況下，共享數(shù)據(jù)產(chǎn)生的知識，達到共贏。

創(chuàng)新工場 AI 工程院十分看好聯(lián)邦學習技術(shù)的巨大應用潛力，今年3月，「數(shù)據(jù)下毒」論文作者、創(chuàng)新工場南京國際人工智能研究院執(zhí)行院長馮霽代表創(chuàng)新工場當選為 IEEE 聯(lián)邦學習標準制定委員會副主席，著手推進制定 AI 協(xié)同及大數(shù)據(jù)安全領(lǐng)域首個國際標準。創(chuàng)新工場也將成為聯(lián)邦學習這一技術(shù)「立法」的直接參與者。

「數(shù)據(jù)下毒」論文答疑

9 月 5 日上午，創(chuàng)新工場 AI 工程院組織了一場問答，解答雷鋒網(wǎng) AI 科技評論等各家媒體提出的關(guān)于這篇「數(shù)據(jù)下毒」論文的問題。創(chuàng)新工場CTO、人工智能工程院執(zhí)行院長王詠剛，以及這篇論文第一作者、創(chuàng)新工場南京國際人工智能研究院執(zhí)行院長馮霽進行了在線解答。

問：「數(shù)據(jù)下毒」研究的目的是什么？

王詠剛：這類似于網(wǎng)絡安全工程師研究黑客入侵技術(shù)、攻擊技術(shù)，只有對攻擊技術(shù)有了全面充分的了解，才能制定有效的防范措施，開發(fā)相應的安全標準、安全工具。馮霽：目的是對人工智能系統(tǒng)的安全性做一個技術(shù)性評估，假設數(shù)據(jù)庫被惡意篡改的話，對應的系統(tǒng)會壞成什么樣。這篇工作的另一個目的，也是希望呼吁引起對該問題的重視。問：在這項研究中，先假定一個被攻擊的模型，針對假定的模型就可以開始生成對抗性訓練樣本；而且這些生成的樣本對于其他的模型也有明顯的效果。也就是說，假如這個方法被實際使用，我甚至不需要知道別人使用的是什么樣的模型就有機會對別人造成危害。我這樣理解對嗎？

馮霽：對。下毒的人不需要知道對方用什么模型，只需要得到數(shù)據(jù)庫權(quán)限，即可進行破壞。問：目前還有哪些有效防護AI算法、AI系統(tǒng)的手段？

王詠剛：目前的 AI 系統(tǒng)攻防處于非常早期的研發(fā)階段，與傳統(tǒng)安全領(lǐng)域已經(jīng)相對成熟的方法論、算法、工具、平臺等相比，AI 安全攻防還處于探索期。目前的主流攻擊方法，如對抗樣本攻擊，數(shù)據(jù)下毒攻擊等，雖然已經(jīng)有一些防范思路，但無論是攻擊技術(shù)，還是安全防護技術(shù)都在發(fā)展中。馮霽: 目前防護的技術(shù)還處于較為初期的情況，類似于網(wǎng)絡安全，不存在一個包治百病的「疫苗」，對于人工智能企業(yè)，我們建議需要建立專門的安全團隊，對自家的系統(tǒng)進行全方位的保護。問：目前有沒有利用這個方法實際去挖掘無人駕駛系統(tǒng)等領(lǐng)域的漏洞（類似科恩實驗室成功攻擊特斯拉系統(tǒng)那樣）？

王詠剛：這個不算很難，其實有不少技術(shù)強的研究機構(gòu)或?qū)嶒炇叶伎梢宰龀鲱愃频慕Y(jié)果?？梢哉f今天的很多無人駕駛系統(tǒng)使用的 AI 算法，在設計和實現(xiàn)的時候，是較少考慮安全防護的。另一方面，新的 AI 安全攻擊方法、威脅形式也在不斷涌現(xiàn)出來。黑盒模式在外部偽造交通標志進行攻擊，白盒模式針對具體模型進行攻擊，入侵模式針對數(shù)據(jù)進行「下毒」方式的數(shù)據(jù)污染，攻擊方法會越來越多。我的感覺是目前業(yè)界對 AI 安全的整體認知和重視程度并不足夠，這種情況下，一旦與人身安全或財產(chǎn)安全相關(guān)的 AI 系統(tǒng)大量上線運行，大量的安全事件就會暴露出來。我們建議盡早對 AI 安全防護進行透徹研究，盡早投入足夠資源研發(fā) AI 安全防護工具與防護技術(shù)。馮霽： 針對無人車的攻擊是有的，但是目前公布出來的主要是產(chǎn)生對抗樣本。數(shù)據(jù)下毒的工作剛推出來 24 小時，尚未見到應用。我們需要提醒這項技術(shù)的破壞性很大，請讀者不要做違法犯罪的活動。問：「數(shù)據(jù)下毒」給 AI 安全性帶來警醒。目前，AI 技術(shù)已經(jīng)在很多領(lǐng)域得到應用，這種應用是不是已經(jīng)遠遠超前于 AI 技術(shù)安全性的研究？

馮霽：是的，像任何一個新的技術(shù)一樣，目前的應用走在安全性前面，我們認為無論是 AI 安全，還是 AI 隱私保護，在未來將會受到比傳統(tǒng)計算機安全更大的重視。問：目前針對人工智能系統(tǒng)的安全事件多么？

王詠剛：最近剛剛出現(xiàn)的利用 AI 模擬語音來詐騙錢財?shù)陌讣?，就是AI安全的相對嚴重的事件。AI 技術(shù)必然會被應用于各種核心業(yè)務領(lǐng)域，甚至涉及財產(chǎn)或生命安全（如醫(yī)療、自動駕駛、金融等），未來隨著 AI 攻擊技術(shù)的發(fā)展，相關(guān)的事件必然越來越多。馮霽：目前安全事件還不像傳統(tǒng)計算機系統(tǒng)的病毒一樣普遍，但是有理由相信，隨著時間的推移，未來這件將會成為一個獨立的產(chǎn)業(yè)，另外，針對安全或數(shù)據(jù)隱私的法律也會逐步出臺，例如歐盟的 GDPR 法案。問：AI安全會對技術(shù)的落地與發(fā)展產(chǎn)生什么樣的影響？

馮霽：我認為AI系統(tǒng)的安全性和隱私性保證，是人工智能發(fā)展的必經(jīng)之路。類似于計算機網(wǎng)絡/計算機系統(tǒng)發(fā)展初期，當時病毒不多，但是隨著時間的推移，必將催生出一系列的AI安全產(chǎn)業(yè)。我們認為，AI安全的威脅，要比目前的計算機病毒嚴重得多。問：目前國內(nèi)和國際在AI安全性的研究上的差距有多大，差距體現(xiàn)在哪些方面？

王詠剛：AI 安全性的理論研究層面：國內(nèi)和國際的差距不大，國內(nèi)如南京大學周志華團隊，在機器學習魯棒性、安全性的核心理論層面，就有著非常前沿的研究成果。AI 安全性的工程應用層面：應該說國內(nèi)、國際目前都處于非常早期的階段。從使用系統(tǒng)角度將，Google、Facebook 等巨頭在工程、產(chǎn)品和系統(tǒng)里的AI安全技術(shù)使用上，有一定先發(fā)優(yōu)勢，比如 Google 已經(jīng)在好幾個具體的客戶端、服務端產(chǎn)品中應用了聯(lián)邦學習等保護數(shù)據(jù)安全的技術(shù)。但是隨著國內(nèi)對 AI 安全的逐漸重視，相信國內(nèi)的應用級研發(fā)也會慢慢跟上來。馮霽：目前 AI 安全性的研究十分新穎，大家?guī)缀踉谕粋€起跑線上，具體體現(xiàn)是最前沿技術(shù)的研制，中美平分秋色。我們認為安全無小事，國家需要重視。問：對于近日備受爭議的 ZAO，您怎么看？創(chuàng)新工場認為人工智能安全方面的邊界是哪里呢

王詠剛：不談具體 ZAO 的問題。但本質(zhì)上這一類問題是在發(fā)展和利用 AI 技術(shù)的時候，如何保護知識產(chǎn)權(quán)、用戶隱私的綜合問題。今天的 AI 技術(shù)發(fā)展必須考慮法律和道德合規(guī)性的問題，不能觸犯用戶底線，就像在歐洲做 AI 就必須符合 GDPR 規(guī)范一樣。AI 安全攻防相關(guān)的技術(shù)可以為法律和道德合規(guī)性提供足夠的技術(shù)保障，但這僅僅是技術(shù)層面的事情。人工智能安全，事實上必須由技術(shù)手段、法律手段、道德手段、行業(yè)規(guī)范手段等一起來維護。馮霽：對于用戶隱私數(shù)據(jù)造成的安全威脅，在人工智能時代將會被越來越重視，產(chǎn)生的威脅也會越來越多，ZAO 就是一例。聯(lián)邦學習技術(shù)其實就是為解決此類問題提出的解決之道。類似于安全領(lǐng)域的「白帽子」，我們呼吁更多的 AI 安全「白帽子」的出現(xiàn)，共同對人工智能系統(tǒng)的安全漏洞進行評估和分析。問：人工智能領(lǐng)域是否有可能建立一些行業(yè)的安全標準？

王詠剛：是的，人工智能領(lǐng)域不但有可能，也完全應該建立一系列行業(yè)安全標準，來規(guī)范人工智能技術(shù)的使用。這些安全標準可能包括：AI 系統(tǒng)魯棒性和安全性的評估標準，AI 系統(tǒng)交換數(shù)據(jù)時的數(shù)據(jù)安全標準，AI系統(tǒng)涉及用戶隱私數(shù)據(jù)時的隱私保護標準，AI 系統(tǒng)涉及人身安全時的強制性行業(yè)標準等等。創(chuàng)新工場AI工程院目前參加的 IEEE 聯(lián)邦學習標準委員會，就是 AI 數(shù)據(jù)和隱私安全的標準之一。馮霽：目前正在做，包括針對用戶數(shù)據(jù)隱私保護的技術(shù)聯(lián)邦學習，是 IEEE 推出的第一個人工智能協(xié)同合作方面的國際標準，創(chuàng)新工場正是負責其中的安全評估部分。創(chuàng)新工場 AI 工程院論文成果斬獲多項國際頂會

創(chuàng)新工場憑借獨特的 VC+AI（風險投資與AI研發(fā)相結(jié)合）的架構(gòu)，致力于扮演前沿科研與AI商業(yè)化之間的橋梁角色。創(chuàng)新工場 2019 年廣泛開展科研合作，與其他國際科研機構(gòu)合作的論文在多項國際頂級會議中嶄露頭角，除上述介紹的「數(shù)據(jù)下毒」論文入選 NeurlPS 之外，還有 8 篇收錄至五大學術(shù)頂會。

1、兩篇論文入選計算機視覺領(lǐng)域國際頂會 ICCV

ICCV，全稱國際計算機視覺大會（ IEEE International Conference on Computer Vision），由IEEE主辦，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）并稱計算機視覺方向的三大頂級會議，在業(yè)內(nèi)具有極高的評價。

今年，創(chuàng)新工場AI工程院與加州大學伯克利分校、清華大學等單位合作的2篇論文收錄其中。

Disentangling Propagation and Generation for Video Prediction

這篇論文的主要工作圍繞一個視頻預測的任務展開，即在一個視頻中，給定前幾幀的圖片預測接下來的一幀或多幀的圖片。

視頻中的動態(tài)場景可以被劃分成以下兩種情況：第一種是移動相對平滑的畫面，它們可以通過上一幀的畫面使用比較簡單的預測方式得到；第二種是有遮擋發(fā)生，通常難以直接通過外插得到的畫面。此前關(guān)于這類視頻預測的工作，只能考慮對之前圖片的外插，或是使所有像素均由生成模型得到。

本文提出了一種組合式的模型來完成該任務，將視頻預測任務解耦成運動相關(guān)的圖片傳播和運動無關(guān)的圖片生成兩個任務，并分別通過光流預測和圖片生成的方法完成這兩個任務，最后提出了一個基于置信度的圖片轉(zhuǎn)換算子將這兩個操作融合起來。

實驗證明，在動畫場景和真實場景下，論文提出的方法都能產(chǎn)生更加精確的遮擋區(qū)域和更加銳利和真實的圖片。

Joint Monocular 3D Vehicle Detection and Tracking

這篇論文提出了一種全新的在線三維車輛檢測與跟蹤的聯(lián)合框架，不僅能隨著時間關(guān)聯(lián)車輛的檢測結(jié)果，同時可以利用單目攝像機獲取的二維移動信息估計三維的車輛信息。

在此基礎(chǔ)上，論文還提出了基于深度的三維檢測框匹配方法，并利用三維軌跡預測對遮擋目標進行重識別，該方法能夠利用三維信息做到更加魯棒的軌跡跟蹤。

此外，論文設計了一個基于長短期記憶網(wǎng)絡的運動預測模型，它能更加準確地預測長期運動。

基于模擬數(shù)據(jù)，KITTI和Argoverse數(shù)據(jù)集的實驗驗證了該方法的魯棒性。同時發(fā)現(xiàn)，在Argoverse數(shù)據(jù)集上，對30m以內(nèi)的物體，僅使用視覺輸入的方法的性能顯著優(yōu)于基于激光雷達輸入的基線方法。

2、一篇論文入選機器人與自動化領(lǐng)域國際頂會IROS

IROS，全稱國際智能機器人與系統(tǒng)大會（International Conference on Intelligent Robots and Systems），是國際機器人與自動化領(lǐng)域的兩大影響最大的學術(shù)會議之一。

自機器人技術(shù)發(fā)展初期的1988年開始，IROS每年舉辦一屆，迄今已經(jīng)是第30屆。每年，來自世界各個頂尖機器人研究機構(gòu)的專家和業(yè)界人士匯聚在這個盛會，探討和展示機器人行業(yè)最前沿的技術(shù)。

今年，創(chuàng)新工場AI工程院與加州大學伯克利分校等單位合作的1篇論文收錄其中。

Monocular Plan View Networks for Autonomous Driving

通常情況下，在單目視頻上的卷積神經(jīng)網(wǎng)絡方法能夠有效的捕獲圖片的空間信息，但是卻對深度信息難以有效利用，這也是一直以來有待業(yè)內(nèi)攻克的難點之一。

本文針對端到端的控制學習問題提出了一個對當前觀察的視角轉(zhuǎn)換，將其稱之為規(guī)劃視角，它把將當前的觀察視角轉(zhuǎn)化至一個鳥瞰視角。具體的，在自動駕駛的問題下，在第一人稱視角中檢測行人和車輛并將其投影至一個俯瞰視角。

本文認為，這種人工設計的表征能夠提供了一個對環(huán)境信息的抽象，使得神經(jīng)網(wǎng)絡能夠更有效的推斷物體的位置，朝向等信息。

在GTA 5模擬器上進行的實驗驗證，一個同時使用規(guī)劃視角和正面視角作為輸入的神經(jīng)網(wǎng)絡比起純基于正面視角的基線方法碰撞率下降了一個數(shù)量級，和之前的基于檢測結(jié)果的方法，本文中提出的方法降低了一半的碰撞率。

3、三篇論文入選自然語言處理領(lǐng)域國際頂會EMNLP

EMNLP，全稱自然語言處理中的經(jīng)驗方法會議（Conference on Empirical Methods in Natural Language Processing），是自然語言處理領(lǐng)域的頂級會議。

今年，創(chuàng)新工場AI工程院與香港科技大學、中科院計算所、清華大學、中國科學院大學等單位合作的3篇論文收錄其中。

Multiplex Word Embeddings for Selectional Preference Acquisition

本論文的主要工作是與香港科技大學聯(lián)合完成。

傳統(tǒng)的詞向量模型通常利用靜態(tài)向量來表示詞與詞之間共現(xiàn)關(guān)系，然而這種模型無法很好地捕捉詞語之間（在不同場景下）的不同關(guān)系，例如，這類靜態(tài)向量無法有效分辨“食物”應該作為“吃”的主語還是賓語。

為了解決這個問題，文本提出了一種multiplex詞向量模型。在該模型中，對于每個詞而言，其向量包含兩部分，主向量和關(guān)系向量，其中主向量代表總體語義，關(guān)系向量用于表達這個詞在不同關(guān)系上的特征，每個詞的最終向量由這兩種向量融合得到。

為了有效使用這種多向量表達，文本提出的模型還包含了一個向量壓縮模塊，能夠?qū)⑾蛄繅嚎s至原始尺寸的十分之一而不損失效果。

本文提出的模型在多個實驗中均證明了其有效性，尤其是在一些需要句法信息的場景下超越了當前最優(yōu)的預訓練模型。

可以說，文本表征一直是自然語言理解在深度學習時代的重要基礎(chǔ)技術(shù)和前沿陣地。近年來預訓練模型的廣泛使用以及其在多數(shù)任務上的優(yōu)良性能證明了其可以更好地表達一段文本在特定上下文中的語義。然而，作為語言表達的基本單元，詞語一直是研究語義和理解的重要基礎(chǔ)，尤其對于很多復雜場景中需要句法和各類關(guān)系信息的支撐，預訓練模型也無法很好地表達這些文本中的詞匯語義信息。

因此，本文延續(xù)了傳統(tǒng)詞向量方面的研究，將關(guān)系信息加入到詞向量建模過程中，得以顯示區(qū)分不同場景下的詞的不同表征，并在一系列任務中證明了其有效性，同時借助于模型中的壓縮模塊可以將詞向量規(guī)?？s小至原始尺寸的十分之一，將極大改善使用該詞向量的運行環(huán)境對于資源的需求。

What You See is What You Get: Visual Pronoun Coreference Resolution in Dialogues

本論文的主要工作是與香港科技大學、清華大學聯(lián)合完成。

在實際語言使用中，將一個代詞鏈接到其指代的物體需要多種知識的支持。例如，當兩個人談話時，當他們共同看見一個物體，他們可能會直接用代詞（例如“它”）來指代而不會在文字中先行描述。

該現(xiàn)象給現(xiàn)有的指代消解模型帶來了巨大的挑戰(zhàn)，為此，本文提出了一個新模型（VisCoref）及一個配套數(shù)據(jù)集（VisPro），用以研究如何將代詞指代與視覺信息進行整合。

其中，數(shù)據(jù)集部分，本文從一個含有視覺信息支撐的對話數(shù)據(jù)中隨機挑選了5000個對話，然后邀請眾包平臺上的標注者標注代詞和它們指代的名詞短語之間的關(guān)聯(lián)關(guān)系，并經(jīng)過一系列的清洗之后，得到了高質(zhì)量的標注數(shù)據(jù)；模型部分，為了整合對話中的文字信息和圖片中的信息，首先對于文字和圖片進行信息抽取，并分別獲得對應的向量表達，然后使用這些向量對于抽取的圖像信息進行基于注意力機制的整合，并將得到的結(jié)果通過一個全連接神經(jīng)網(wǎng)絡預測基于視覺和文字的分數(shù)用于預測指代關(guān)系。

本文研究表明，加入視覺信息能夠有效地幫助到對話中的代詞指代消解任務。

事實上，多模態(tài)一直是人工智能各個領(lǐng)域的研究熱點。尤其對于人類溝通場景（對話）而言，這個過程中需要利用和產(chǎn)生的很多信號都不僅僅只是文本，視覺信息在其中占據(jù)了重要成分。作為自然語言理解中的一個重要任務，指代消解也對于視覺信號有極強依賴。

為了研究這一問題，本文首次提出聯(lián)合建模視覺信號和指代消解中的代詞及被指代的名詞，將視覺信息加入到經(jīng)典的指代消解任務中，并證明了其有效性。同時，本文還構(gòu)建了一個帶有視覺信號的指代消解數(shù)據(jù)集，為學界和業(yè)界提供了一個基準測試對象，以助于將來這方面的研究。

Reading Like HER: Human Reading Inspired Extractive Summarization

本論文的主要工作是與中科院計算所聯(lián)合完成，本項研究重新審視了長文檔的抽取式摘要問題。

人類通過閱讀進行文本語義的摘要總結(jié)大體上可以分為兩個階段：1）通過粗略地閱讀獲取文本的概要信息，2）進而進行細致的閱讀選取關(guān)鍵句子形成摘要。

本文提出一種新的抽取式摘要方法來模擬以上兩個階段，該方法將文檔抽取式摘要形式化為一個帶有上下文的多臂老虎機問題，并采用策略梯度方法來求解。

首先，采用卷積神經(jīng)網(wǎng)絡對段落要點進行編碼以模擬粗略閱讀階段。隨后，利用一種帶有自適應終止機制的決策策略模擬細致閱讀階段。

在CNN和DailyMail數(shù)據(jù)集上的實驗表明，論文提出的方法不僅在ROUGE-1、2、L等度量上明顯優(yōu)于當前最好的抽取式摘要方法，并且能夠抽取出具有不同長度的高質(zhì)量摘要。

一直以來，模擬人的行為習慣執(zhí)行自然語言處理任務都是NLP和AI學界的努力方向，特別對于像文本摘要這樣對于人類而言也屬于高級和復雜的任務，需要級強地自然語言理解和文本組織能力。

本文在這一方面做了有益的嘗試，將閱讀理解過程拆分成類似人類閱讀的兩階段進行建模，并證明這樣做可以得到更好地抽取式摘要生成效果。

以及，論文《sPortfolio: Stratied Visual Analysis of Stock Portfolios》入選計算機圖形學和可視化領(lǐng)域國際頂級期刊 IEEE TVCG，本文主要是對于金融市場中的投資組合和多因子模型進行可視分析的研究。論文《Monoxide: Scale Out Blockchain with Asynchronized Consensus Zones》入選計算機網(wǎng)絡頂級學術(shù)會議 NSDI，這是國際主流學術(shù)界首次認可區(qū)塊鏈擴容方案的相關(guān)研究，是該會議今年錄取的唯一一篇與區(qū)塊鏈相關(guān)的論文。

創(chuàng)新工場獨特的「科研助推商業(yè)」思路

創(chuàng)新工場「VC+AI」模式的最獨特之處在于，創(chuàng)新工場的 AI 工程院可以通過廣泛的科研合作以及自身的科研團隊，密切跟蹤前沿科研領(lǐng)域里最有可能轉(zhuǎn)變?yōu)槲磥砩虡I(yè)價值的科研方向。這種「科研助推商業(yè)」的思路力圖盡早發(fā)現(xiàn)有未來商業(yè)價值的學術(shù)研究，然后在保護各方知識產(chǎn)權(quán)和商業(yè)利益的前提下積極與相關(guān)科研方開展合作，同時由 AI 工程院的產(chǎn)品研發(fā)團隊嘗試該項技術(shù)在不同商業(yè)場景里可能的產(chǎn)品方向、研發(fā)產(chǎn)品原型，并由商務拓展團隊推動產(chǎn)品在真實商業(yè)領(lǐng)域的落地測試，繼而可以為創(chuàng)新工場的風險投資團隊帶來早期識別、投資高價值賽道的寶貴機會。

「科研助推商業(yè)」并不是簡單地尋找有前景的科研項目，而是將技術(shù)跟蹤、人才跟蹤、實驗室合作、知識產(chǎn)權(quán)合作、技術(shù)轉(zhuǎn)化、原型產(chǎn)品快速迭代、商務拓展、財務投資等多維度的工作整合在一個統(tǒng)一的資源體系內(nèi)，用市場價值為導向，有計劃地銜接學術(shù)科研與商業(yè)實踐。

以 AI 為代表的高新技術(shù)目前正進入商業(yè)落地優(yōu)先的深入發(fā)展期，產(chǎn)業(yè)大環(huán)境亟需前沿科研技術(shù)與實際商業(yè)場景的有機結(jié)合。創(chuàng)新工場憑借在風險投資領(lǐng)域積累的豐富經(jīng)驗，以及在創(chuàng)辦 AI 工程院的過程中積累的技術(shù)人才優(yōu)勢，特別適合扮演科研與商業(yè)化之間的橋梁角色。

創(chuàng)新工場于 2016 年 9 月成立創(chuàng)新工場人工智能工程院，以「科研+工程實驗室」模式，規(guī)劃研發(fā)方向，組建研發(fā)團隊。目前已經(jīng)設有醫(yī)療 AI、機器人、機器學習理論、計算金融、計算機感知等面向前沿科技與應用方向的研發(fā)實驗室，還先后設立了創(chuàng)新工場南京國際人工智能研究院、創(chuàng)新工場大灣區(qū)人工智能研究院，致力于培養(yǎng)人工智能高端科研與工程人才，研發(fā)以機器學習為核心的前沿人工智能技術(shù)，并同各行業(yè)領(lǐng)域相結(jié)合，為行業(yè)場景提供一流的產(chǎn)品和解決方案。

創(chuàng)新工場與國內(nèi)外著名的科研機構(gòu)廣泛開展科研合作，例如，今年 3 月 20 日，香港科技大學和創(chuàng)新工場宣布成立計算機感知與智能控制聯(lián)合實驗室（Computer Perception and Intelligent Control Lab）。此外，創(chuàng)新工場也積極參與國際相關(guān)的技術(shù)標準制定工作。例如，今年 8 月，第 28 屆國際人工智能聯(lián)合會議（IJCAI）在中國澳門隆重舉辦，期間召開了 IEEE P3652.1（聯(lián)邦學習基礎(chǔ)架構(gòu)與應用）標準工作組第三次會議。IEEE 聯(lián)邦學習標準由微眾銀行發(fā)起，創(chuàng)新工場等數(shù)十家國際和國內(nèi)科技公司參與，是國際上首個針對人工智能協(xié)同技術(shù)框架訂立標準的項目。創(chuàng)新工場的科研團隊深度參與到聯(lián)邦學習標準的制定過程中，希望為 AI 技術(shù)在真實場景下的安全性、可用性以及保護數(shù)據(jù)安全、保護用戶隱私貢獻自己的力量。

雷鋒網(wǎng) AI 科技評論報道