Transformer-XL 논문 리뷰
-
NLP Transformer에 XL 끼얹기 : Transformer-XL(2019) 논문 리뷰Tech 2021. 8. 6. 17:24
안녕하세요, 알고리마에서 머신러닝 엔지니어로 일하는 조건우입니다. 오늘 리뷰할 논문은 Transformer-XL : Attentive Language Models Beyond a Fixed-Length Context(링크)입니다. relative positional encoding에 집중해 모델을 뜯어보겠습니다. 들어가며 한동안 프론트엔드 엔지니어링 업무에 집중하다 오랜만에 다시 머신러닝 엔지니어링 일을 맡았다. 나에게 주어진 임무는...! 임의의 문장이 주어졌을 때 이와 가장 잘 어울릴 이모티콘을 추천하는 '자연어 처리(NLP, Natural Language Processing) 모델 개발하기'다. 우선 미리 구축된 baseline을 들여다봤다. 문장 샘플 500개를 대상으로 KoBERT에 압축 기법인..