課程大綱：自然語言處理預訓練技術培訓
預訓練模型目前在自然語言處理領域得以廣泛應用，
課程將圍繞 BERT，GPT-2，XLNet 等前沿的預訓練模型技術，
使用基于 PyTorch 開發的 PyTorch-Transformers 預訓練模型庫進行實踐。
1 BERT 預訓練模型
2 XLNet 預訓練模型
3 文本生成任務
4 GPT-2 預訓練模型
5 文本分類任務
6 序列標注任務
1
BERT 預訓練模型及文本分類
1.語言模型和詞向量
2.BERT結構詳解
3.BERT文本分類
1
Kaggle 電影評論情感分析
1.預訓練模型使用
2.Kaggle平臺使用
2
GPT-2 預訓練模型及文本生成
1.GPT2的核心思想
2.GPT2模型結構詳解
3.GPT2進行文本生成
2
Kaggle 各國食譜分類比賽
1.預訓練模型使用 2.Kaggle平臺使用
3
XLNet 預訓練模型及命名實體識別
1.XLNet在BERT和GPT2上的改進
2.XLNet模型結構
3.使用XLNet進行命名實體識別實驗
3
Quora 文本相似度分析比賽
1.文本相似度問題轉換
2.預訓練模型使用
3.Kaggle平臺使用
請
登錄
后發表評論
新評論
全部
第1節
第2節
第3節
第4節
第5節
第6節
第7節
第8節
第9節
第10節
第11節
第12節
第13節
第14節
第15節
第16節
第17節
我的報告 / 所有報告
加入高級會員獲得助教答疑
