데이터 전처리 기법: >TF-IDF와 Word2Vec 경험 기반 완전 정리

📝 자연어처리 실무 회고록: TF-IDF와 Word2Vec 정복기

안녕하세요! 오늘은 제가 실제 텍스트 분류 프로젝트에서 사용한 TF-IDF와 Word2Vec에 대해 정리해보려 합니다. 처음 자연어처리를 시작할 때 막막했던 기억이 있어, 같은 길을 걷는 분들께 조금이나마 도움이 되길 바라며 이 글을 씁니다.

1. 텍스트 데이터 벡터화란?

텍스트는 숫자가 아니기 때문에 머신러닝 모델이 직접 처리할 수 없습니다. 따라서 단어 또는 문장을 벡터로 표현하는 작업이 필요합니다. 이때 사용하는 대표적인 기법이 바로 TF-IDF와 Word2Vec입니다.

2. 종류

• TF-IDF (Term Frequency-Inverse Document Frequency)
• Word2Vec (단어 임베딩)
  • CBOW (Continuous Bag of Words)
  • Skip-gram

3. 종류별 개념과 원리

🟩 TF-IDF

문서 내 자주 등장하지만 전체 문서에서는 드문 단어에 높은 가중치를 부여하는 방식입니다.

• TF: 단어 빈도
• IDF: 역문서 빈도 (전체 문서에서 드문 단어에 높은 점수)

🟦 Word2Vec

단어를 일정 크기의 밀집된 벡터로 표현하는 임베딩 기법입니다. 문맥 정보를 반영하여 단어 간 의미 유사성을 학습합니다.

• CBOW: 주변 단어로 중심 단어 예측
• Skip-gram: 중심 단어로 주변 단어 예측

4. 기본 코드 예시

TF-IDF

from sklearn.feature_extraction.text import TfidfVectorizer

texts = ["오늘 날씨가 좋다", "내일은 비가 온다"]
tfidf = TfidfVectorizer()
tfidf_matrix = tfidf.fit_transform(texts)
print(tfidf_matrix.toarray())

Word2Vec

from gensim.models import Word2Vec

sentences = [["오늘", "날씨", "좋다"], ["내일", "비", "온다"]]
model = Word2Vec(sentences, vector_size=100, window=5, sg=1, min_count=1)
print(model.wv["날씨"])

5. 실무 적용 경험담

제가 진행한 뉴스 기사 분류 프로젝트에서, 처음에는 TF-IDF를 사용했는데 빠르고 간단하게 성능이 잘 나왔습니다. 하지만 주제 간 단어가 많이 겹칠 경우 구분이 어려웠고, 의미 기반 분류가 필요하다고 판단해 Word2Vec을 도입했습니다.

Word2Vec 도입 후 단어 유사도가 반영되면서 정확도가 6~8% 개선되었습니다. 특히 유사 주제 간 문장을 잘 구분해줘서 놀라웠습니다.

6. 장단점 비교

기법	장점	단점
TF-IDF	빠르고 직관적, 희소행렬 활용	문맥/순서 무시, 의미 반영 부족
Word2Vec	의미 기반 유사도 표현, 문맥 반영	훈련 필요, 벡터 크기 조정 필요

7. 사용 시기

• TF-IDF: 빠르게 모델을 만들고 싶을 때, 텍스트가 단순할 때
• Word2Vec: 의미 유사성, 문맥이 중요한 태스크일 때

8. 주의사항

• TF-IDF는 단어 빈도가 극단적으로 한쪽에 치우치면 잘 작동하지 않음
• Word2Vec은 말뭉치가 충분히 커야 의미 있는 벡터가 생성됨
• Word2Vec은 반드시 토큰화 + 정제된 데이터에서 학습해야 안정됨

9. 마무리

TF-IDF와 Word2Vec 모두 장단점이 확실하며, 상황에 따라 선택하거나 둘을 조합할 수도 있습니다. 실제로 저는 둘 다 벡터로 만들어 concat해서 DNN에 넣어본 적도 있습니다. 중요한 건 데이터의 성격을 먼저 파악하고 접근하는 것입니다!

도움이 되셨다면 댓글로 여러분의 경험도 공유해주세요 😊