NLP paper review와 구현

자연어 처리와 관련된 프로젝트 모음집입니다.

Paper Review & Implemetation (July 2020 -)

NLP 관련 굵직한 논문들을 읽고, 정리하고 구현하였습니다. 구현 레포는 다음을 참고해주세요.

1. Bahdanau attention (Bahdanau et al., 2014) & Luong attention (Luong et al., 2015)
   • 구현 이슈
   • 구현
2. Transformer (Vaswani et al., 2017)
   • 구현 이슈
   • 구현
3. ELMo (Matthew et al., 2017)
   • Review
   • 구현 이슈
   • 구현
4. GPT-1
   • Review
   • 구현 이슈
   • 구현
5. BERT
   • review
   • 구현 이슈
   • 구현
6. GPT2
7. GPT3
8. XLNet
   • Review
9. RoBERTa
   • Review
10. MASS
    • Review
11. BART
    • Review
12. T5
    • Review
13. MT-DNN
    • Review
14. ALBERT
    • Review
15. DistilBERT
    • Review
16. Sentence-BERT
    • Review
17. XLM
18. How multilingual is Multilingual BERT?
    • Review
19. Megatron LM
20. BigBird (Zaheer et al., 2020)
    • Review