[논문리뷰] ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
ELECTRA: Efficiently Learning an Encoder that Classifies Token Replacements Accurately (Pre-training Text Encoders as Discriminators Rather Than Generators) 논문 - https://openreview.net/pdf?id=r1xMH1BtvB 깃허브 - https://github.com/google-research/electra 생성 모델 대신 "판별모델"을 통해 인코더 사전학습하기 대량의 코퍼스에 대해 모델을 사전학습하고, 풀고자 하는 태스크에 대해 fine-tuning 하는 방법은 NLP 과제를 수행하는 데에 있어 성공적이었다.
