5月26日，由百度與中國計(jì)算機(jī)學(xué)會中文信息技術(shù)專委會、中國中文信息學(xué)會青工委聯(lián)合舉辦的“2019自然語言處理前沿論壇”正式召開。本屆論壇主題為“機(jī)器之‘讀、寫、說、譯’—— 探尋NLP未來之路”。論壇圍繞語義計(jì)算、自動問答、語言生成、人機(jī)對話及機(jī)器翻譯五大議題，與學(xué)術(shù)界、工業(yè)界一線青年專家學(xué)者共同探討NLP領(lǐng)域的最新技術(shù)進(jìn)展、產(chǎn)業(yè)應(yīng)用及發(fā)展趨勢。

　　語義計(jì)算

　　語義計(jì)算方面，學(xué)者專家圍繞詞向量、稀疏化深度學(xué)習(xí)、表示學(xué)習(xí)等方向進(jìn)行分享。

　　哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院教授車萬翔以“從‘靜態(tài)’到‘動態(tài)’詞向量”為題發(fā)表演講。詞向量的引入開啟了深度學(xué)習(xí)應(yīng)用于自然語言處理的時代。相比于靜態(tài)詞向量，動態(tài)詞向量可以根據(jù)上下文，更好地處理一詞多義現(xiàn)象，大幅提高自然語言處理多個任務(wù)的準(zhǔn)確率。車萬翔介紹了研究組基于動態(tài)詞向量開展的相關(guān)工作，包括跨語言動態(tài)詞向量[1]、few-shot learning、輕量級動態(tài)詞向量模型等。關(guān)于未來的研究方向，車萬翔認(rèn)為可以挖掘更多的“偽數(shù)據(jù)”訓(xùn)練詞向量模型，同時進(jìn)一步降低模型的復(fù)雜度、提升模型速度。

　　北京大學(xué)信息科學(xué)技術(shù)學(xué)院研究員、長聘副教授孫栩的演講主題為“Recent Studies on Sparse Deep Learning for Natural Language Processing”。 孫栩表示，當(dāng)前深度學(xué)習(xí)多是密集型深度學(xué)習(xí)，需要更新所有神經(jīng)元，這對能量消耗非常大。孫栩聚焦在稀疏化的深度學(xué)習(xí)NLP，提出一個簡單有效的算法meProp[2]來簡化訓(xùn)練及訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)。在反向傳遞算法中，找出梯度中最重要的信息，僅用全梯度的一小部分子集來更新模型參數(shù)。實(shí)驗(yàn)表明，在多個任務(wù)上5%左右的稀疏化程度就可以達(dá)到很好的效果。此外，還提出了帶記憶的meProp，具有更好的穩(wěn)定性，達(dá)到更好的反向傳遞。在進(jìn)一步的自然語言處理任務(wù)中，可以把模型裁剪為原來的1/10左右[3]，而保持效果基本不變。

　　復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院副教授邱錫鵬主要介紹了NLP中的表示學(xué)習(xí)進(jìn)展。目前全連接自注意力模型在自然語言處理領(lǐng)域取得廣泛成功。模型層面，他分析和對比了CNN、RNN、Transformer的基本原理和優(yōu)缺點(diǎn)，還介紹了如何設(shè)計(jì)模型，以更好地融合局部和非局部的語義矩陣關(guān)系。邱錫鵬介紹了研究組最新提出的star-transformer模型[4]，通過引入中間節(jié)點(diǎn)，大幅降低了模型復(fù)雜度。學(xué)習(xí)層面，通過預(yù)訓(xùn)練模型以及知識增強(qiáng)(比如ELMo、BERT、GPT、ERNIE等)提高模型泛化能力，在自然語言任務(wù)上獲得了更好的性能。邱錫鵬認(rèn)為，未來可以進(jìn)一步探索如何更好地融合先驗(yàn)知識，構(gòu)建更靈活、兼容性更強(qiáng)的預(yù)訓(xùn)練框架。

　　百度NLP主任研發(fā)架構(gòu)師、語義計(jì)算技術(shù)負(fù)責(zé)人孫宇介紹了百度語義計(jì)算技術(shù)發(fā)展脈絡(luò)及研發(fā)現(xiàn)狀，并分享了該技術(shù)在百度各產(chǎn)品中的應(yīng)用情況。據(jù)介紹，百度語義計(jì)算著力研究如何利用計(jì)算機(jī)對人類語言的語義進(jìn)行表示、分析和計(jì)算，使機(jī)器具備語義理解能力。研發(fā)了包括語義表示ERNIE[5]、語義匹配SimNet、語義解析、多模態(tài)語義計(jì)算在內(nèi)的多項(xiàng)領(lǐng)先語義技術(shù)。語義匹配方面，百度提出了一種基于增強(qiáng)學(xué)習(xí)的語義匹配框架，有效解決長文本匹配問題。在語義表示方面，今年3月，提出知識增強(qiáng)的語義表示模型 ERNIE，并發(fā)布了基于 PaddlePaddle 的開源代碼與模型[6]。相較于BERT學(xué)習(xí)原始語言信號，ERNIE 直接對先驗(yàn)語義知識單元進(jìn)行建模，增強(qiáng)了模型語義表示能力，在多項(xiàng)中文自然語言處理任務(wù)上取得最好的效果。

　　自動問答

　　中國科學(xué)院自動化研究所模式識別國家重點(diǎn)實(shí)驗(yàn)室副研究員劉康結(jié)合研究組近年的工作[7][8]，介紹了文本閱讀理解的研究進(jìn)展與挑戰(zhàn)。劉康首先介紹了閱讀理解的主要任務(wù)、基本原理和數(shù)據(jù)集。在研究進(jìn)展方面，介紹了基于深度學(xué)習(xí)的閱讀理解模型框架、注意力機(jī)制、基于上下文的編碼模型，以及預(yù)訓(xùn)練模型等。同時，他強(qiáng)調(diào)，閱讀理解面臨一系列的挑戰(zhàn)，如合理構(gòu)建數(shù)據(jù)集、如何提升模型推理能力、如何更好地使用外部知識等。在未來工作方面，劉康認(rèn)為閱讀理解經(jīng)過了數(shù)據(jù)驅(qū)動模型的階段，現(xiàn)在學(xué)術(shù)界開始逐步研究如何利用知識圖譜提升機(jī)器閱讀理解效果。在未來，如何更好地表示和應(yīng)用知識，是非常值得研究的，也有很長的路要走。

　　百度NLP資深研發(fā)工程師、閱讀理解與問答技術(shù)負(fù)責(zé)人劉璟介紹了百度機(jī)器閱讀理解技術(shù)。百度的研究內(nèi)容主要包含多文檔閱讀理解模型V-NET[9]，以及知識表示和文本表示融合模型KT-NET[10]。其中，V-NET模型在MSMARCO數(shù)據(jù)集上三次獲得第一。KT-NET目前是常識推理閱讀理解數(shù)據(jù)集ReCoRD榜單上排名第一的模型。除了在技術(shù)方面不斷投入，百度在去年對外發(fā)布了面向搜索場景的閱讀理解數(shù)據(jù)集DuReader 2.0[11]，數(shù)據(jù)規(guī)模包含30萬問題、150萬文檔和66萬人工標(biāo)注的答案。百度、中國計(jì)算機(jī)學(xué)會和中文信息學(xué)會連續(xù)兩年舉辦了基于DuReader數(shù)據(jù)集的機(jī)器閱讀理解評測，推動了中文閱讀理解技術(shù)的進(jìn)步。

　　語言生成

　　自然語言生成技術(shù)研究如何讓機(jī)器能像人一樣使用自然語言進(jìn)行表達(dá)和創(chuàng)作。機(jī)器表達(dá)、寫作的能力既是衡量機(jī)器智能水平的重要標(biāo)準(zhǔn)，同時也具有廣闊的應(yīng)用前景。

　　北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所教授萬小軍總結(jié)了自然語言生成技術(shù)的研究現(xiàn)狀，并介紹了可控自然語言生成與跨模態(tài)語言生成等方面的研究進(jìn)展。萬小軍分享了自然語言生成的發(fā)展趨勢，包括受控語言生成[12]、文本保真度[13]、問題生成、生成帶特定屬性的文本，以及跨模態(tài)生成[14]等，同時也展示了多模態(tài)作詩系統(tǒng)。萬小軍還指出，自然語言生成目前面臨兩大挑戰(zhàn)，首先是自動準(zhǔn)確的生成文本質(zhì)量評估，其次是基于少量平行數(shù)據(jù)的語言生成。如果這兩大問題解決了，將極大地推動自然語言生成技術(shù)的發(fā)展。

　　百度NLP主任研發(fā)架構(gòu)師、篇章理解與語言生成技術(shù)負(fù)責(zé)人肖欣延主要分享了百度在自然語言生成方面的技術(shù)進(jìn)展，以及技術(shù)如何助力媒體進(jìn)行智能創(chuàng)作。據(jù)介紹，百度研發(fā)了基于宏觀規(guī)劃、微觀規(guī)劃、表層實(shí)現(xiàn)的篇章生成算法，同時提出基于規(guī)劃、信息選擇、層次化等多種創(chuàng)新神經(jīng)網(wǎng)絡(luò)生成算法，在數(shù)據(jù)到文本生成、摘要生成、詩歌生成[15]等任務(wù)上取得良好效果。目前，百度已將語言生成技術(shù)應(yīng)用于百家號內(nèi)容創(chuàng)作、語音播報(bào)等。值得一提的是，百度還推出了智能寫作平臺[16]，通過提供自動寫作和輔助寫作能力，提升內(nèi)容創(chuàng)作的效率和質(zhì)量，為智能創(chuàng)作領(lǐng)域提供更多可能。

　　人機(jī)對話

　　人機(jī)語音交互是一個發(fā)展趨勢，對話將成為未來人與智能設(shè)備交互的主流形式。 “人機(jī)對話”專題探討了對話的研究進(jìn)展與應(yīng)用。

　　清華大學(xué)計(jì)算機(jī)系副教授黃民烈發(fā)表了“對話系統(tǒng)中的強(qiáng)語義、弱語義和未來趨勢”主題演講。他表示，經(jīng)典的對話系統(tǒng)大多采用了強(qiáng)語義方法，例如Frame、slot-filling等;現(xiàn)代神經(jīng)網(wǎng)絡(luò)方法則發(fā)展了弱語義方法，完全基于數(shù)據(jù)驅(qū)動和概率統(tǒng)計(jì)。前者在實(shí)際應(yīng)用中表現(xiàn)良好，后者則存在嚴(yán)重的可控性問題。結(jié)合研究組工作，介紹了開放域?qū)υ捪到y(tǒng)面臨的挑戰(zhàn)[17]，更好的融合知識[18]等。黃民烈表示，當(dāng)下在強(qiáng)語義和弱語義方法間找一個結(jié)合點(diǎn)，希望能把數(shù)據(jù)驅(qū)動的模型和知識結(jié)合起來。

　　百度NLP主任研發(fā)架構(gòu)師、UNIT技術(shù)負(fù)責(zé)人孫珂結(jié)合智能對話技術(shù)產(chǎn)業(yè)應(yīng)用實(shí)踐，探討了產(chǎn)品架構(gòu)、關(guān)鍵技術(shù)以及對現(xiàn)存問題的思考。圍繞近期百度發(fā)布的智能對話系統(tǒng)訓(xùn)練與服務(wù)平臺UNIT3.0[19]，孫珂介紹了任務(wù)型、問答型、閑聊型三種在工業(yè)界較為成熟的對話系統(tǒng)。此外，為了適應(yīng)全面豐富的NLP任務(wù)，方便更多開發(fā)者靈活插拔嘗試多種網(wǎng)絡(luò)結(jié)構(gòu)，并且讓應(yīng)用最快速達(dá)到工業(yè)級效果，百度還開源了基于PaddlePaddle的工業(yè)級中文NLP工具與預(yù)訓(xùn)練模型集PaddleNLP[20]。

　　機(jī)器翻譯

　　機(jī)器翻譯研究如何利用計(jì)算機(jī)實(shí)現(xiàn)人類語言之間的自動翻譯�；�于深度學(xué)習(xí)的機(jī)器翻譯方法利用神經(jīng)網(wǎng)絡(luò)直接實(shí)現(xiàn)語言之間的自動翻譯，目前已取代傳統(tǒng)的統(tǒng)計(jì)機(jī)器翻譯，成為學(xué)術(shù)界和工業(yè)界新的主流方法。

　　清華大學(xué)計(jì)算機(jī)系長聘副教授劉洋介紹了神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的基本原理、重要挑戰(zhàn)以及最新研究進(jìn)展。近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，機(jī)器翻譯的質(zhì)量邁上了一個新的臺階。但是神經(jīng)網(wǎng)絡(luò)翻譯模型仍然面臨一系列重要挑戰(zhàn)，例如：現(xiàn)有模型都是基于雙語平行語料進(jìn)行學(xué)習(xí)的，缺乏先驗(yàn)知識的融合;神經(jīng)網(wǎng)絡(luò)模型就像一個黑盒子，缺乏可解釋性，難以調(diào)試和分析;模型對訓(xùn)練數(shù)據(jù)敏感、魯棒性較差。針對以上挑戰(zhàn)，劉洋結(jié)合研究組工作，介紹了他們在知識驅(qū)動[21]、可視化和可解釋性[22]、魯棒性神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯[23]方面的最新進(jìn)展。談及未來工作，劉洋認(rèn)為，基于規(guī)則的翻譯模型需要設(shè)計(jì)規(guī)則，統(tǒng)計(jì)機(jī)器翻譯需要設(shè)計(jì)特征，神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯需要設(shè)計(jì)架構(gòu)，未來是否能讓機(jī)器自動設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)架構(gòu)，是一個非常有價(jià)值的研究方向。

　　機(jī)器同傳近年來成為人工智能領(lǐng)域一個前沿研究方向。百度人工智能技術(shù)委員會主席何中軍詳細(xì)介紹了機(jī)器同傳面臨的主要技術(shù)挑戰(zhàn)，并結(jié)合百度在機(jī)器同傳上的一系列技術(shù)創(chuàng)新介紹了該方向的前沿進(jìn)展。值得一提的是，何中軍的全場報(bào)告采用了百度翻譯最新研發(fā)的AI同傳小程序進(jìn)行端到端的語音翻譯，只需要手機(jī)掃描會議二維碼，就可以實(shí)時收聽到翻譯后的語音。新產(chǎn)品集成了百度在機(jī)器同傳上的最新技術(shù)，如噪聲容錯、自動斷句、可控時延[24]、篇章翻譯[25]、端到端翻譯[26]等。針對目前的挑戰(zhàn)，何中軍也指出機(jī)器同傳未來的三個發(fā)展方向：模型方面，研發(fā)更加魯棒的同傳模型;數(shù)據(jù)方面，建設(shè)大規(guī)模、高質(zhì)量同傳數(shù)據(jù);評價(jià)方面，研究和建立面向同傳的評價(jià)體系和評價(jià)標(biāo)準(zhǔn)。

　　這場學(xué)術(shù)界與工業(yè)界攜手帶來的深度交流會干貨頗多，讓與會者收獲滿滿。自然語言處理是人工智能皇冠上的明珠。當(dāng)學(xué)術(shù)界、工業(yè)界更緊密地交流合作，越來越深入地理解自然語言、掌握知識，必將共同推動人工智能發(fā)揮更大的價(jià)值。

　　[1] Jiang Guo, Wanxiang Che, David Yarowsky, Haifeng Wang, Ting Liu. Cross-lingual Dependency Parsing Based on Distributed Representations. In Proceedings of the 53nd Annual Meeting of the Association for Computational Linguistics (ACL). 2015.07. Beijing, China

　　[2] Xu Sun, Xuancheng Ren, Shuming Ma, Houfeng Wang. meProp: Sparsified Back Propagation for Accelerated Deep Learning with Reduced Overfitting. In Proceedings of the 34th International Conference on Machine Learning. 2015. Sydney, Australia

　　[3] Xu Sun, Xuancheng Ren, Shuming Ma, Bingzhen Wei, Wei Li, Jingjing Xu, Houfeng Wang, Yi Zhang. Training Simplification and Model Simplification for Deep Learning: A Minimal Effort Back Propagation Method. IEEE Transactions on Knowledge and Data Engineering (TKDE) 2019

　　[4] Qipeng Guo, Xipeng Qiu, Pengfei Liu, Yunfan Shao, Xiangyang Xue, Zheng Zhang. Star-Transformer. https://arxiv.org/abs/1902.09113

　　[5] Yu Sun, Shuohuan Wang, Yukun Li, Shikun Feng, Xuyi Chen, Han Zhang, Xin Tian, Danxiang Zhu, Hao Tian, Hua Wu. ERNIE: Enhanced Representation through Knowledge Integration. https://arxiv.org/abs/1904.09223

　　[6] https://github.com/PaddlePaddle/LARK/tree/develop/ERNIE

　　[7] Shizhu He, Kang Liu and Weiting An, Learning to Align Question and Answer Utterances in Customer Service Conversation with Recurrent Pointer Networks, in Proceedings of AAAI 2019, Honolulu, Hawaii, USA, January 27 - February

　　[8] Cao Liu, Shizhu He, Kang Liu and Jun Zhao, Curriculum Learning for Natural Answer Generation, in Proceedings of IJCAI-ECAI 2018, Stockholm, Sweden, July 13-19.

　　[9]Yizhong Wang, Kai Liu, Jing Liu, Wei He, Yajuan Lyu, Hua Wu, Sujian Li and Haifeng Wang. Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification. In ACL-2018.

　　[10] An Yang, Quan Wang, Jing Liu, KAI LIU, Yajuan Lyu, Hua Wu, Qiaoqiao She, Sujian Li，Enhancing Pre-trained Language Representations with Rich Knowledge for Machine Reading Comprehension. ACL-2019

　　[11] http://ai.baidu.com/broad/subordinate?dataset=dureader

　　[12] Zhiwei Yu and Jiwei Tan and Xiaojun Wan. A Neural Approach to Pun Generation. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. 2018. Melbourne, Australia.

　　[13] Liunian Li and Xiaojun Wan. Point Precisely: Towards Ensuring the Precision of Data in Generated Texts Using Delayed Copy Mechanism. COLING-2018.

　　[14] Lixin Liu, Xiaojun Wan and Zongming Guo. Images2Poem: Generating Chinese Poetry From Image Streams.2018. In ACM Multimedia Conference.

　　[15] Zhe Wang, Wei He, Hua Wu, Haiyang Wu, Wei Li, Haifeng Wang, Enhong Chen. 2016. Chinese poetry generation with planning based neural network. In COLING 2016

　　[16] http://ai.baidu.com/tech/intelligentwriting

　　[17] Huang, Minlie, Xiaoyan Zhu, and Jianfeng Gao. "Challenges in Building Intelligent Open-domain Dialog Systems." arXiv preprint arXiv:1905.05709 (2019).

　　[18] Hao Zhou, Tom Young, Minlie Huang, Haizhou Zhao, Jingfang Xu, Xiaoyan Zhu. Commonsense Knowledge Aware Conversation Generation with Graph Attention. IJCAI-ECAI 2018

　　[19] https://ai.baidu.com/unit/home

　　[20] https://nlp.baidu.com/homepage/nlptools/

　　[21] Jiacheng Zhang, Yang Liu, Huanbo Luan, Jingfang Xu and Maosong Sun. 2017. Prior Knowledge Integration for Neural Machine Translation using Posterior Regularization. In Proceedings of ACL 2017, Vancouver, Canada, July

　　[22] Yanzhuo Ding, Yang Liu, Huanbo Luan and Maosong Sun. 2017. Visualizing and Understanding Neural Machine Translation. In Proceedings of ACL 2017, Vancouver, Canada, July.

　　[23] Yong Cheng, Zhaopeng Tu, Fandong Meng, Junjie Zhai, and Yang Liu. 2018. Towards Robust Neural Machine Translation. In Proceedings of ACL 2018, pages 1756-1766, Melbourne, Australia, July 15-20

　　[24] Mingbo Ma, Liang Huang, Hao Xiong, Kaibo Liu, Chuanqiang Zhang, Zhongjun He, Hairong Liu, Xing Li, Haifeng Wang. STACL: Simultaneous Translation with Integrated Anticipation. ACL-2019

　　[25] Hao Xiong, Zhongjun He, Hua Wu, Haifeng Wang. Modeling Coherence for Discourse Neural Machine Translation. AAAI-2019.

　　[26] Yuchen Liu, Hao Xiong, Zhongjun He, Jiajun Zhang, Hua Wu, Haifeng Wang, Chengqing Zong. End-to-End Speech Translation with Knowledge Distillation. https://arxiv.org/abs/1904.08075