TUNiBrain

🚀 튜닙의 한국어 형태소 분석기

한국어 형태소 분석기는 많습니다. 오픈소스로도 다양한 모델이 존재하며, 대표적으로 MeCab-Ko와 Khaii가 있습니다.
하지만 기존 모델들은 고유명사 판별, 동형이의어 처리, 사전 결합 등의 기능이 부족한 경우가 많습니다.

📌 TUNiBrain은 이런 문제를 해결하기 위해 개발된 한국어 형태소 분석기입니다.

---

📌 목차

• 📊 형태소 분석기 비교
• 🛠 구성 요소
• ⚙️ 내부 동작 순서

---

📊 형태소 분석기 비교

MeCab-ko, Khaii, TUNiBrain의 성능을 비교한 표입니다.

#	항목	MeCab-ko	Khaii	TUNiBrain
A	알고리즘	CRF	CNN	CRF + BiLSTM
B	속도	빠름	중간	빠름
C	정확도	괜찮으나 아쉬움	괜찮으나 아쉬움	우수
D	고유명사 판별	제한적. Non-scalable	❓	잘 됨 (Scalable)
E	동형이의어 판별	❌ 안 됨	❌ 안 됨	✅ 됨
F	사전 정보 결합	❌ 없음	❌ 없음	✅ 됨

🔹 TUNiBrain은 고유명사 판별, 동형이의어 처리, 사전 결합 기능이 뛰어나며, 정확도가 높습니다.

---

🛠 구성 요소

TUNiBrain은 여러 모듈로 구성됩니다.

1️⃣ TUNiBrowser

• 고유명사 탐지 모듈
• 문장에서 고유명사 위치를 인식하여 형태소 분석기의 성능을 보완

2️⃣ MeCab

• 기본 형태소 분석 엔진
• 오픈소스 기반의 CRF 알고리즘 사용

3️⃣ TUNiBank v.0.1

• MeCab을 학습한 사전
• 기존 MeCab-Ko 사전보다 정확한 형태소 분석 결과 제공

4️⃣ TUNiBrush

• 동형이의어 판별 및 사전 매핑 모듈
• 문맥을 분석하여 중의성을 해소 (예: "배" → 과일/배/배탈 등 구분)

---

⚙️ 내부 동작 순서

예제 문장:

"나는 에배래스트에서 배를 먹고 왔다"

📌 MeCab-Ko의 결과:
("나는", "NP") ("에배래스트", "NNP") ("에서", "JKB") ("배", "NNG") ("를", "JKO") ("먹", "VV") ("고", "EC") ("왔", "VX") ("다", "EF") (".", "SF")

🏗 1️⃣ TUNiBrowser로 고유명사 탐지

TUNiBrowser는 고유명사(명사 속 특정 이름)를 탐지하여 기존 형태소 분석기의 한계를 보완합니다.

📌 탐지 결과:

[3, 8] → "에배래스트"

🔍 2️⃣ TUNiBank로 형태소 분석

TUNiBank는 MeCab을 학습한 사전으로, 기존 MeCab-Ko보다 더 정밀한 형태소 분석을 수행합니다.

📌 TUNiBank의 분석 결과:

[('나', 'NP'), ('는', 'JX'), ('에베래스트', 'NNP'), ('에서', 'JKB'),
 ('배', 'NNG'), ('를', 'JKO'), ('먹', 'VV'), ('고', 'EC'),
 ('왔', 'VX'), ('다', 'EF'), ('.', 'SF')]

🎯 3️⃣ TUNiBrush로 동형이의어 판별 및 사전 매핑

TUNiBrush는 문맥을 분석하여 동형이의어(같은 단어지만 다른 뜻)를 판별합니다.

📌 최종 분석 결과:

[('나', 'NP'), ('는', 'JX'), ('에베레스트', 'NNP'), ('에서', 'JKB'),
 ('배(과일)', 'NNG'), ('를', 'JKO'), ('먹', 'VV'), ('고', 'EC'),
 ('왔', 'VX'), ('다', 'EF'), ('.', 'SF')]

패키지 구성

• tunibrain.py : 메인 파일
• tunibrowser.py : 고유명사 탐지 모듈
• resources/
  • tunibank_v0.1/ : 형태소 분석 사전
  • tunibrush/{homonyms,lexicon}.pkl : 동형이의어 판별 사전
  • tunibrowser/{tunibrowser,vocab}.pkl : 고유명사 탐지 데이터

Requirements

• mecab-python3
• pytorch

---

License

This project is released under the TUNiBrain Non-Commercial Research License.

• Non-commercial use only: Academic research, personal study, and other non-commercial purposes are permitted.
• Commercial use prohibited: Commercial use requires prior written permission from TUNiB Inc.
• Attribution required: Please cite TUNiB Inc. when using this software in academic papers or research publications.

For commercial licensing inquiries, please contact TUNiB Inc.

See the LICENSE file for full details.

---

Citation

If you use TUNiBrain in your research, please cite:

@tunib{tunibrain,
  author = {Kyubyong Park},
  title = {TUNiBrain: A Smart Korean Morphological Analyzer},
  year = {2026},
  url = {https://github.com/tunib-ai/tunibrain}
}