자연어 책 정리 (한국어 임베딩)

이 책에서 다루는 내용 ■ 자연어 처리의 첫 관문인 임베딩의 개념과 종류, 역사 소개■ 임베딩이 어떻게 자연어 의미를 함축하는지 이론적 배경 풀이■ 위키백과, KorQuAD 등 한국어 말뭉치 전처리 노하우 공유■ KoNLPy, soynlp, 구글 센텐스피스(sentencepiece) 패키지 안내■ Word2Vec, GloVe, FastText, Swivel 등 단어 수준 임베딩■ LDA, Doc2Vec, ELMo, BERT 등 문장 수준 임베딩 설명■ 개별 모델 학습과 동작 과정을 코드 레벨로 설명한 후 튜토리얼 진행■ 문서 분류 태스크를 중심으로 임베딩 파인튜닝(fine-tuning) 실습 이 책은 다양한 임베딩 기법을 소개한다.

이 사이트는 실무에서 사용할 수 있는 자연어 처리 팁들을 공유하기 위해 만들어 졌습니다. 자연어 처리 관련한 이론적 내용을 설명하는 것은 가급적 배제하고 실전 팁 위주로 설명해볼까 합니다. 내년 중 종이책으로 출간할 계획입니다. 머신러닝, 자연어처리 등과 관련해 이론적 내용이 궁금하신 독자 여러분은 아래의 ratsgo's blog를 참고하세요.

본 사이트는 자연언어처리의 근간이 되는 각종 임베딩 기법들에 관련한 튜토리얼입니다. 한국어 처리를 염두에 두고 작성됐습니다. 이 튜토리얼은 다음 도서를 보완하기 위해 작성됐습니다. 도서를 구매하지 않아도 튜토리얼 수행에 문제는 없으나 일부 내용은 도서를 참고해야 그 맥락을 완전하게 이해할 수 있습니다. 다음 그림을 클릭하면 도서 구매 사이트로 이동합니다. 아래 모든 명령은 도커 컨테이너 상에서 동작합니다.

Language modeling is the task of predicting the next word or character in a document. This technique can be used to train language models that can further be applied to a wide range of natural language tasks like text generation, text classification, and question answering.