단어 추출 도구 설명글 전체 목차 , 다운로드

단어 추출 도구에 대한 설명글을 6개로 나누어 작성하고 모두 블로그에 포스팅했다. 단어 추출 도구 설명글 전체 목차 를 별도의 글로 작성하여 올려 둔다.

• 1. 단어 추출 도구 개요
  • 1.1. 단어 추출 도구를 개발한 이유
  • 1.2. 단어 추출 도구 개념
  • 1.3. 단어 추출 도구 동작 방식
    • 1.3.1. 단어 추출 도구 입력 자료
    • 1.3.2. 단어 추출 도구 처리 로직
    • 1.3.3. 단어 추출 도구 출력 자료

• 2. 단어 추출 도구 실행환경 구성
  • 2.1. 환경 구성 개요
    • 2.1.1. 권장사항
    • 2.1.2. 형태소 분석기 선택 Mecab
    • 2.1.3. 환경 구성 전체 순서
  • 2.2. Miniconda 설치
  • 2.3. 가상환경 생성, 활성화
  • 2.4. 가상환경에 Python 설치
  • 2.5. 필요한 package 설치

• 3. 단어 추출 도구 실행
  • 3.1. 단어 추출 도구 다운로드
  • 3.2. 단어 추출 도구 실행 방법
    • 3.2.1. 다운로드 파일 압축 해제하고, Python 가상 환경 활성화
    • 3.2.2. 도움말 확인
    • 3.2.3. 실행방법1 문서 파일에서만 단어 추출
    • 3.2.4. 실행방법2 DB Table, Column comment에서만 단어 추출
    • 3.2.5. 실행방법3 문서 파일과 DB Table, Column comment 모두 에서 단어 추출
    • 3.2.6. 실행 결과 확인 방법
    • 3.2.7. 실행시 주의/참고사항

• 4. 단어 추출 도구 소스코드
  • 4.1. 개요
    • 4.1.1. 소스코드 일러두기
    • 4.1.2.단어 추출 도구 함수 호출 관계
  • 4.2. main 함수
    • 4.2.1. argument parsing
    • 4.2.2. 처리할 파일 목록 추출
    • 4.2.3. Multi processing으로 get_file_text 실행
    • 4.2.4. Multi processing으로 get_word_list 실행
    • 4.2.5. 단어 빈도를 구하고 make_word_cloud 실행
    • 4.2.6. 추출된 단어 목록과 단어 빈도 엑셀 파일로 저장하고 실행시간 출력, 종료
  • 4.3. get_file_text 함수
    • 4.3.1. get_doc_text 함수
    • 4.3.2. get_ppt_text 함수
    • 4.3.3. get_txt_text 함수
    • 4.3.4. get_db_comment_text 함수
    • 4.3.5. get_hwp_text 함수
    • 4.3.6. get_pdf_text 함수
  • 4.4. get_word_list 함수
  • 4.5. make_word_cloud 함수

• 5. 단어 추출 도구 부가 설명
  • 5.1. OLE Automation을 사용하는 이유
  • 5.2. Text 파일 인코딩 관련 (UTF-8만 지원함)
  • 5.3. multi processing 사용 이유
  • 5.4. 복합어 추출 관련 참고사항
  • 5.5. 형태소 분석기 품사 종류

---

단어 추출 도구는 아래 github repository에서 다운로드할 수 있다.

https://github.com/DAToolset/ToolsForDataStandard/tree/main/WordExtractor

실행에 필요한 소스코드, 글꼴, table/column 목록 예시 파일, 출력 예시 파일을 배포용 압축파일로 묶어 두었으니, 이 파일을 다운로드 받으면 된다.

https://github.com/DAToolset/ToolsForDataStandard/raw/main/WordExtractor/word_extractor.7z

데이터 표준화 작업에 조금이나마 도움이 되길 바란다.