KoNLPy: 파이썬에서 한국어 처리를 위한 필수 패키지

# 기본 사용 예제
from konlpy.tag import Okt

okt = Okt()
text = "한국어 자연어 처리는 재밌습니다. KoNLPy를 사용해보세요!"

# 형태소 분석
print(okt.morphs(text))
# 결과: ['한국어', '자연어', '처리', '는', '재밌습니다', '.', 'KoNLPy', '를', '사용해', '보세요', '!']

# 품사 태깅
print(okt.pos(text))
# 결과: [('한국어', 'Noun'), ('자연어', 'Noun'), ('처리', 'Noun'), ('는', 'Josa'), ('재밌습니다', 'Adjective'), ('.', 'Punctuation'), ('KoNLPy', 'Alpha'), ('를', 'Josa'), ('사용해', 'Verb'), ('보세요', 'Verb'), ('!', 'Punctuation')]

# 명사 추출
print(okt.nouns(text))
# 결과: ['한국어', '자연어', '처리']

from konlpy.tag import Okt
from collections import Counter

okt = Okt()
text = "이 영화는 정말 재미있었어요. 배우들의 연기가 훌륭했고, 스토리도 좋았습니다."

# 명사 추출
nouns = okt.nouns(text)
print(nouns)
# 결과: ['영화', '배우', '연기', '스토리']

# 빈도 분석
counter = Counter(nouns)
print(counter.most_common())
# 결과: [('영화', 1), ('배우', 1), ('연기', 1), ('스토리', 1)]

from konlpy.tag import Kkma
from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np

kkma = Kkma()
docs = [
    "인공지능은 컴퓨터 과학의 한 분야입니다.",
    "인공지능은 인간의 학습능력과 추론능력을 컴퓨터로 구현하는 기술입니다.",
    "최근 인공지능 기술이 빠르게 발전하고 있습니다."
]

# 문장을 형태소 단위로 분리
processed_docs = []
for doc in docs:
    processed_docs.append(' '.join(kkma.nouns(doc)))

# TF-IDF 계산
tfidf_vectorizer = TfidfVectorizer()
tfidf_matrix = tfidf_vectorizer.fit_transform(processed_docs)

# 키워드 추출
feature_names = tfidf_vectorizer.get_feature_names_out()
for i, doc in enumerate(processed_docs):
    tfidf_scores = tfidf_matrix[i].toarray()[0]
    sorted_indices = np.argsort(tfidf_scores)[::-1]
    print(f"문서 {i+1} 키워드:")
    for idx in sorted_indices[:3]:
        if tfidf_scores[idx] > 0:
            print(f"  {feature_names[idx]}: {tfidf_scores[idx]}")

from konlpy.tag import Komoran

komoran = Komoran()
user_question = "서울에서 맛집 추천해주세요"

# 의도 파악을 위한 키워드 추출
keywords = komoran.nouns(user_question)
print(keywords)
# 결과: ['서울', '맛집', '추천']

# 간단한 의도 파악 로직
if '맛집' in keywords and '추천' in keywords:
    if '서울' in keywords:
        response = "서울의 맛집으로는 A, B, C 등이 있습니다."
    else:
        response = "어느 지역의 맛집을 원하시나요?"
else:
    response = "질문을 이해하지 못했습니다."

print(response)

from konlpy.tag import Okt
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import Pipeline

okt = Okt()

# 예시 데이터
texts = [
    "특가 할인 이벤트 중입니다. 지금 바로 신청하세요!",
    "회원님의 계정에 로그인 시도가 있었습니다. 확인 바랍니다.",
    "내일 회의는 2시에 시작합니다. 참석 부탁드립니다.",
    "무료 상품권 당첨! 지금 바로 확인하세요."
]
labels = [1, 1, 0, 1]  # 1: 스팸, 0: 정상

# 전처리 함수
def preprocess(text):
    return ' '.join(okt.morphs(text))

# 모델 구축
model = Pipeline([
    ('vect', CountVectorizer(preprocessor=preprocess)),
    ('clf', MultinomialNB())
])

# 학습
model.fit(texts, labels)

# 예측
new_texts = ["중요한 회의가 있습니다. 참석해주세요.", "무료 쿠폰 증정! 링크를 클릭하세요!"]
predictions = model.predict(new_texts)
for text, pred in zip(new_texts, predictions):
    print(f"텍스트: {text}")
    print(f"예측: {'스팸' if pred == 1 else '정상'}")