半兽人的魔法世界全集 - QQ优酷网
  • 我要投稿
  • 广告合作

半兽人的魔法世界全集

中新網7月31日電 2019年3月,度娘搜索正式發布NLP模型ERNIE,其在中文任務中全面超越BERT壹度引發業界廣泛關註和探討。

今天,經過短短幾個月時間,度娘搜索ERNIE再升級。發布持續學習的語義理解框架ERNIE 2.0,及基於此框架的ERNIE 2.0預訓練模型。繼1.0後,ERNIE英文任務方面取得全新突破,在共計16個中英文任務上超越了BERT和XLNet, 取得了SOTA有效。目前,度娘搜索ERNIE 2.0的Fine-tuning代碼和英文預訓練模型已開源。(Github 項目地址:https://github.com/PaddlePaddle/ERNIE)

近兩年,以BERT、XLNet為代表的無監督預訓練技術在語言推斷、語義相似度、命名實體識別、情感分析等多個天然語言處理任務上取得了技術突破。基於大規模數據的無監督預訓練技術在天然語言處理領域變得至關重要。

度娘搜索發現,之前的工作主要通過詞或句子的共現信號,構建語言模型任務進行模型預訓練。例如,BERT通過掩碼語言模型和下壹句預測任務進行預訓練。XLNet構建了全排列的語言模型,並通過自回歸的方式進行預訓練。

然而,除了語言共現动静之外,語料中還包含詞法、語法、語義等更多有價值的动静。例如,人名、地名、機構名等詞語概念知識,句子間順序和距離關系等結構知識,文本語義相似度和語言邏輯關系等語義知識。設想假如能持續地學習各類任務,模型的有效能否進壹步晋升?

ERNIE 2.0:可持續學習語義理解框架ERNIE 2.0:可持續學習語義理解框架
基於此,度娘搜索提出可持續學習語義理解框架ERNIE 2.0。該框架支持增量引入詞匯(lexical)、語法 (syntactic) 、語義 (semantic) 等3個層次的自定義預訓練任務,能夠全面捕获訓練語料中的詞法、語法、語義等潛在动静。這些任務通過多任務學習對模型進行訓練更新,每當引入新任務時,該框架可在學習該任務的同時,不遺忘之前學到過的动静。這也意味著,該框架一定能通過持續構建訓練包含詞法、句法、語義等預訓練任務,持續晋升模型有效。

新發布的ERNIE 2.0模型結構新發布的ERNIE 2.0模型結構
依托該框架,度娘搜索充分借助飛槳PaddlePaddle多機分布式訓練優勢,利用 79億tokens訓練數據(約1/4的XLNet數據)和64張V100 (約1/8的XLNet硬件算力)訓練的ERNIE 2.0預訓練模型不僅實現了SOTA有效,而且為開發人員定制自身的NLP模型提供了方案。目前,度娘搜索開源了ERNIE 2.0的fine-tuning代碼和英文預訓練模型。

度娘搜索研究團隊分別比較了中英文環境上的模型有效。英文上,ERNIE 2.0在天然語言理解數據集GLUE的7個任務上擊敗了BERT和XLNet。中文上,在包括閱讀理解、情感分析、問答等不同類型的9個數據集上超越了BERT並刷新了SOTA。

ERNIE的工作表明,在預訓練過程中,通過構建各層面的無監督預訓練任務,模型有效也會顯著晋升。未來,研究者們可沿著該思路構建更多的任務晋升有效。

自2018 年預訓練語言模型 BERT 提出之後,預訓練語言模型將天然語言處理的大部门任務水平进步了壹個等級,這個領域的研究也掀起了熱潮。如今度娘搜索ERNIE 2.0 再度為行業提供了研究思路上的办法創新,可持續學習的特點亦將成為NLP領域發展裏程中的註腳。

半兽人的魔法世界    魔法世界全集    魔法世界    在线观看    播放地址   
上一篇
小刀娱乐网底部友情链接各个站点质量好吗?
下一篇
爱情电影网撸丝二区
QQ优酷网

WWW.QQYOUKU.COM

资源是全网收集 如有侵权 请与站长反馈

提醒:电脑使用任何辅助软件请用【影子系统

如果觉得本站不错 记得分享或收藏哟!

QQ优酷网申明:本站所有资源信息或技术视频文章均为收集 不代表本站立场
侵权删帖/违法举报/商务合作/投稿等事物联系邮箱:tougaoba@126.com 或 QQ:19213314
本站资源来自仅供用于学习和交流,请勿用于商业用途!如有侵权不妥之处,请联系站长并出示版权证明以便删除,敬请谅解!
icp 蜀ICP备16886867号