seungbeomdo

Hugging Face – The AI community building the future. The AI community building the future. Build, train and deploy state of the art models powered by the reference open source in machine learning. huggingface.co 0. Hugging Face 소개 허깅페이스는 머신러닝 기술, 특히 딥러닝 모델의 손쉬운 공유 및 배포, 사용, 훈련을 가능하게 하는 생태계이다. 기존의 성능이 검증된 pre-trained 모델을 쉽게 (무료로) 다운 받아서 사용할 수 있고, 본인의 task에 맞게 모델을 fine-tuning하는 것도 가능하다. 스스로 제작/파인튜..

1. Encoder-Decoder 구조 1.1. Encoder-Decoder 구조(=Seq2Seq) RNN이 One-to-Many, Many-to-Many 등의 다양한 구조를 갖는다는 것을 이전 RNN 포스팅에서 살펴보았다. 그 중 한 형태인 Encoder-Decoder 구조는 Many-to-Many 구조를 약간 변형한 것이라고도 볼 수 있는데, 다음과 같은 형태이다. 인코더-디코더는 이름에서 알 수 있듯이 인코더와 디코더로 이루어진 구조이다. 인코더 파트에서는 주어진 인풋 시퀀스를 히든 스테이트로 변환한다. 디코더 파트는 히든 스테이트를 받아서 아웃풋 시퀀스를 생성한다. 왜 이런 구조를 고안해냈을까? NLP의 맥락에서 이해해보자. 가령 한국어 문장을 영어로 번역하는 RNN 모델을 만든다고 하면, Man..

1. NLP(Natural Language Processing)의 기본 관점 1.1. NLP의 정의 NLP, 또는 자연어 처리란 인간의 언어를 컴퓨터가 이해할 수 있도록 하는 과제를 말한다. 컴퓨터 비전(CV)과 더불어 딥러닝 기술이 활발하게 적용되고 있는 분야이다. 최근 주목받는 ChatGPT도 자연어 처리 딥러닝의 일종이다. 1.2. Word Embedding Word embedding이란, 주어진 자연어를 일정한 차원의 벡터로 바꾸어주는 것을 말한다. 컴퓨터가 자연어를 받아들일 때는 사람처럼 직관적으로 받아들이는 것이 아니고 0과 1로 구성된 수열로서 받아들인다. 따라서 NLP의 첫번째 과제는 주어진 자연어를 컴퓨터에 '입력'하는 것이다. 일반적으로 하나의 단어는 N차원의 기본단위벡터(하나의 원소만..