[파이썬] 텍스트 마이닝

전 포스팅

https://hyunjini.tistory.com/16

 

1. 파이썬 설치

 

2. 파이참 설치(교육용)

 

3. java 설치

 

4. jdk 설치(환경변수 설정)

자바(JAVA) JDK 설치 및 환경 변수 설정하는 방법입니다. (tistory.com)

자바(JAVA) JDK 설치 및 환경 변수 설정하는 방법입니다.

 

5.JPype 설치

 

6.KoNLPy 설치

나는 pycharm terminal에서 진행했다.

이렇게하는게 맞는지 모르겠는데 그 프로젝트로 들어가서 패키지 다운받고 일일이 했는데...

쉬운방법이 있을지도 모르겠다.

https://liveyourit.tistory.com/56

KoNLPy (파이썬 한글 형태소 분석기 ) 윈도우 설치 방법

https://m.blog.naver.com/PostView.naver?blogId=tony950620&logNo=221443310355&proxyReferer=https:%2F%2Fwww.google.com%2F 

파이썬 NLP (konlpy) 사용법

 

7. 분석할 txt파일 프로젝트에 가져오기

 

8. 아래 블로그와 동일하게 진행해

파이썬 KoNLPy를 사용한 한글 명사 추출 및 빈도 계산 (tistory.com)

파이썬 KoNLPy를 사용한 한글 명사 추출 및 빈도 계산

//전포스팅에서 이어붙인 파일을 이용하여 txt파일 만듦

import jpype
import csv
from konlpy.tag import Okt
from collections import Counter



filename = "daejeon.txt"
f=open(filename,'r',encoding='utf-8')
daejeon=f.read()

# okt 객체생성
okt = Okt()
noun = okt.nouns(daejeon)
for i,v in enumerate(noun):
    if len(v)<2:
        noun.pop(i)


count = Counter(noun)
f.close()

# 명사빈도 카운트
noun_list = count.most_common(100)
for v in noun_list:
    print(v)

# txt 파일에 저장
with open("noun_daejeon.txt",'w',encoding='utf-8') as f:
    for v in noun_list:
        f.write(" ".join(map(str,v))) # 튜플 int 값을 str 타입으로 전환 후 조인
        f.write("\n")

# csv 파일에 저장
with open("noun_daejeon.csv","w",newline='',encoding='euc-kr') as f:
    csvw=csv.writer(f)
    for v in noun_list:
        csvw.writerow(v)

그럼 그 프로젝트 파일에 txt파일과 csv 파일이 생성된다.
완료!

 

이런식으로 나온다!!