Chapter     1
인공지능과 자연어 처리 기술 동향

 TDM(Term-Document Matrix)은 단어-문서행렬이라고 부르며 문서에서 등장하는 단어들의 빈도를 행렬로 표현하는 것이다. 이것은 BoW(Bag-of-Word)의 표현을 행렬로 표현하는 것이다. 이러한 방법은 문서로부터 수치화된 단어들을 서로 비교할 수 있다는 장점이 있는 반면 고려해야 할 단어 수가 대량일수록 적용하는데 한계가 있는 단점이 있다.

 TF-IDF(Term Frequency-Inverse Document Frequency)는 특정 단어가 문서 내에서 출현하는 빈도(TF)값과 흔한 단어는 문서에서 자주 등장되는 경우가 많아 역빈도(IDF)값을 계산하는 것이다.이는 문서에서 특정 단어가 얼마나 중요한 역할을 하는 것인지를 나타내는 통계적 수치이다[5]. 일반적으로 TF-IDF값이 높은 단어일수록 문서에서 중요도가 높다고 간주한다. 이러한 방법은 문서의 핵심어 추출, 검색 결과의 우선순위 결정 등에 이용된다.

<자료> 구글 이미지

[그림 4] TF-IDF 공식

 원-핫 인코딩은 문자를 숫자로 표현하는 가장 기본적인 방법으로 머신러닝과 딥러닝 학습을 위해서는 반드시 짚고 넘어가야 되는 표현 방법이다. Count Vector와 유사한 개념으로 문서의 단어를 벡터로 표현하는 방식으로 ‘0’과 ‘1’로 구분하는 방법이다[6]. 이 방법은 문자(characters) 또는 단어를 기준으로 벡터화할 수 있고 원-핫 인코딩의 차원은 말뭉치 내 단어의 수와 같다. 원-핫 인코딩을 이용한 단어 벡터화의 예는 [그림 5]와 같다.
 이러한 원-핫 인코딩은 단어 간의 관계에서 단어들 간의 유사성과 반대적 의미에 대해서는 전혀 반영하지 못하고 문장의 횟수에만 의존한다는 단점이 존재한다.

<자료> 동아대학교 스마트거버넌스연구센터

[그림 5] One-hot Encoding을 이용한 단어의 벡터화

 앞서 설명에서 원-핫 인코딩은 단어 간 유사도를 파악할 수 없다는 단점을 언급하였다.이러한 유사도는 단순한 수치뿐만 아니라 의미적 자질을 내포하고 있다. 의미적인 성질이 유사한 단어들은 벡터 공간상에서 “유클리디안(Eucledian) 거리”나 “코사인 유사도(cosinesimilarity) 거리”가 가까운 벡터들로 표현된다. 이렇게 단어 간 유사도를 반영하고 단어를 벡터화할 수 있는 방법으로 [7]이 제안한 word2vec이 있다.

<자료> 구글 이미지

[그림 6] Word2vec Architectures

 word2vec의 가장 큰 개념은 “비슷한 분포를 가진 단어이면 가까운 벡터로 표현된다.” 이다. 따라서 이는 학습속도가 빠르며 단어의 맥락을 고려하므로 단어의 의미를 잘 파악한다고 알려져 있다. 이러한 word2vec은 CBOW(Continuous Bag of Words )와 skipgram 두 가지 모델로 분류된다[7].
 CBOW는 특정 단어가 주어졌을 때 앞과 뒤에 붙어있는 단어를 통해 주어진 단어를 유추하는 방법이다. Skip-gram은 CBOW와 반대로 중심단어에서 주변단어를 예측하는 방법으로 중심단어와 연관된 두 가지 이상의 의미론적 벡터를 찾을 수 있다는 장점이 있다. 하지만 문장에서 단어의 출현이 많다고 그 단어가 중요한 의미를 가진다고 볼 수는 없다. 이것은 단어의 빈도수가 높다는 이유로 그 단어의 중요도가 높아진다고 할 수 없기 때문이다.

 이 방법은 단어를 개별 단어가 아닌 n-gram의 characters(Bag-Of-Characters)를 적용하여 임베딩하므로 하나의 단어를 여러 개로 잘라서 벡터로 계산하는 방식이다. 예를들어, where를 Trigram의 characters로 표현하면 <‘wh’, ‘whe’, ‘her’, ‘ere’, ‘re’>로 FastText는 표현된다. 최종적으로 각 단어는 임베딩된 n-gram의 합으로 표현되고, 빠르고 좋은 성능을 나타내었다.
 이러한 FastText는 Word2vec과 동일한 데이터 양을 사용하더라도 더 많은 정보를 학습하기 때문에, Word2vec에 비해 높은 성능을 낼 수 있다[8]. 또한, 기존의 Word2vec의 한계점으로 여겨진 OOV(Out of Vocabulary)에 대한 임베딩까지 가능하게 해 준다. 예를 들어, 데이터 학습 시 ‘subsequent’라는 단어의 경우, FastText를 사용할 경우 ‘sub’와 ‘sequent’라는 n-gram을 학습하였다면, 두 단어의 임베딩 벡터 조합으로 임베딩 벡터를 생성할 수 있기 때문에 문장에서 자주 등장하지 않는 단어를 파악할 수 있고 Word2vec에 비해 보다 우수한 성능을 보이고 있다.

 ELMO(Embeddings from Language Model)는 2018년에 제안된 새로운 워드 임베딩 방법론으로 “언어 모델로 하는 임베딩”이라 해석된다. ELMO의 특징은 사전 훈련된 언어 모델(Pre-trained Language Model)을 사용한다는 점이다. 또한, 다른 특징은 양방향 언어 모델(Bi-directional Language Model: BiLM)을 적용하여 문맥을 반영한 워드 임베딩 기법이다[9]. 예를 들어, Bank라는 단어를 학습할 때. ‘은행계좌’라는 Bank Account와 ‘강둑’이라는 River Bank에서 ‘Bank’는 다른 의미를 가지는데, Word2Vec에서는 이를 제대로 반영하지 못한다는 단점이 있다. Word2Vec은 Bank란 단어를 임베딩하면, Bank Account와 River Bank에서의 Bank는 전혀 다른 의미이지만 두 가지 상황 모두에서 같은 벡터가 사용된다는 한계점이 있다[10]. 이러한 한계점을 ELMO는 BiLM의 사전훈련으로 극복할 수 있다[11]. 또한, 이 특징은 NLP에서 Transfer Learning이 확산되는 계기가 되어 지금의 BERT가 출현하게 되었다.