PinnedWenWei KanginTaiwan AI AcademyBack-propagationBack-propagation(BP)是目前深度學習大多數NN(Neural Network)模型更新梯度的方式,在本文中,會從NN的Forward、Backword逐一介紹推導。Mar 14, 20192Mar 14, 20192
WenWei KangSuperGLUE 榜首: DeBERTa在今年年初 Microsoft 發佈了一篇論文 — DeBERTa: Decoding-enhanced BERT with Disentangled Attention,此模型 DeBERTa 在 SuperGLUE 排行榜上超越 Human…Jan 26, 2021Jan 26, 2021
WenWei KanginTaiwan AI Academy結合圖像(Video)的Word embedding預訓練架構:MUVE這篇論文來自於DeepMind、Oxford以及CMU幾位學者共同發表,提出一個新穎的概念來訓練word embedding,之前大多數的架構都是純文字去訓練word embedding,例如ELMO[1], BERT[2], GPT[3]…May 28, 2020May 28, 2020
WenWei KanginTaiwan AI AcademymBART:預訓練的機器翻譯模型論文連接:https://arxiv.org/abs/2001.08210Mar 19, 2020Mar 19, 2020
WenWei KanginTaiwan AI Academy2019-NLP最強模型: XLNet在2019年6月中旬Google提出一個NLP模型XLNet,在眾多NLP任務包括RACE, GLUE Benchmark以及許多Text-classification上輾壓眾生,尤其是在號稱最困難的大型閱讀理解QA任務RACE足足超越BERT…Jul 8, 20193Jul 8, 20193
WenWei KanginTaiwan AI AcademyAttention Mechanism在本文中,筆者會以自己的角度與想法來介紹Attention mechanism,包括一開始發跡的論文、架構與想法與廣泛的應用層面。Mar 29, 2019Mar 29, 2019