目前，全球存在著超過6900種語言，這是自然語言處理研究者們的巨大噩夢。因為大多數(shù)語言都是數(shù)據(jù)稀疏的，研究者找不到足夠多的數(shù)據(jù)來單獨訓(xùn)練成熟模型。

　　但幸運的是，許多語言共享大量的基礎(chǔ)結(jié)構(gòu)。比如在詞匯層面上，語言通常具有源自同一來源的單詞，例如，英語中的“desk”和德語中的“Tisch”都來自拉丁語“disus”。同樣，許多語言也以相似的方式標記語義角色，例如使用后置位置標記中文和土耳其語的時空關(guān)系。

　　谷歌今天發(fā)布了一個自然語言處理系統(tǒng)基準測試Xtreme，其中包括對12種語言家族和40種語言進行的9項推理任務(wù)。這家科技巨頭的研究人員斷言，它能夠評估人工智能模型是否能夠?qū)W習跨語言的知識，這對于越來越多的自然語言應(yīng)用程序是有用的。

　　谷歌也在官博上介紹了Xtreme：

　　https://ai.googleblog.com/2020/04/xtreme-massively-multilingual-multi.html

　　這一基準測試的目標是促進人工智能多語言學(xué)習領(lǐng)域的研究，在這個領(lǐng)域，已經(jīng)有大量工作研究了是否可以利用數(shù)據(jù)稀疏的語言結(jié)構(gòu)來訓(xùn)練可靠的機器學(xué)習模型。

　　選擇Xtreme作為基準測試是為了最大限度地擴大多樣性，擴大現(xiàn)有任務(wù)的覆蓋面，以及提供訓(xùn)練數(shù)據(jù)。其中包括一些未被充分研究的語言，例如在印度南部、斯里蘭卡和新加坡使用的達羅毗荼語系語言泰米爾語，主要在印度南部使用的泰盧固語和馬拉雅拉姆語，以及在非洲使用的尼日爾-剛果語系斯瓦希里語和約魯巴語。

　　Xtreme的9項任務(wù)涵蓋了一系列基本范式，包括句子分類(即將一個句子分配給一個或多個類)和結(jié)構(gòu)化預(yù)測(預(yù)測實體和詞類等對象) ，以及句子檢索(對一組記錄進行查詢匹配)和高效的問答。

　　▲ Google的Xtreme基準支持的任務(wù)

　　模型要先在跨語言學(xué)習的文本上進行預(yù)訓(xùn)練后，才能在Xtreme上進行測試。然后，考慮到英語是最有可能具有標記數(shù)據(jù)的語言，他們必須針對特定任務(wù)的英語數(shù)據(jù)進行微調(diào)。Xtreme評估了這些模型的零點跨語言轉(zhuǎn)移性能(zero-shot cross-lingual transfer performance)，也就是在其他語言中沒有看到任務(wù)特定的數(shù)據(jù)。對于在其他語言中可以使用標記數(shù)據(jù)的任務(wù)，Xtreme還比較了對語言內(nèi)數(shù)據(jù)的微調(diào)，并通過獲得所有任務(wù)的零概率得分最終得出一個綜合分數(shù)。

　　在Xtreme初步實驗中，谷歌的一個研究團隊發(fā)現(xiàn)，即使是最先進的多語言模型，如BERT、XLM、XLM-r和M4，也都沒有達到預(yù)期水平。其中，BERT對西班牙語的準確率為86.9/100，日語則只有49.2/100，要轉(zhuǎn)換成非拉丁文字也十分困難，而所有的模型都很難預(yù)測到在英語訓(xùn)練數(shù)據(jù)中沒有看到的遠方語言的實體，比如，在印度尼西亞語和斯瓦希里語上的準確率分別為58.0和66.6，而在葡萄牙語和法語上的準確率為82.3和80.1。

　　Google Research高級軟件工程師Melvin Johnson和DeepMind科學(xué)家Sebastian Ruder在一篇博客文章中寫道：“我們發(fā)現(xiàn)，盡管模型在大多數(shù)現(xiàn)有的英語任務(wù)中，表現(xiàn)已接近人類，但在許多其他語言中表現(xiàn)尚不足預(yù)期�？偟膩碚f，在模型和模擬環(huán)境中，英語和其它語言的表現(xiàn)之間仍然存在巨大差距，這也表明，跨語言遷移的研究潛力很大。”

　　Xtreme基準測試的代碼和數(shù)據(jù)已經(jīng)在GitHub上開源，還有運行各種基線的示例。

　　GitHub鏈接：https://github.com/google-research/xtreme

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關(guān)內(nèi)容。本站不承擔此類作品侵權(quán)行為的直接責任及連帶責任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。