词提取工具描述符完整目录，下载

发布日期 2022 年 9 月 25 日 · 已更新 2022 年 10 月 4 日

我分六部分写了对单词提取工具的解释，并将它们全部发布在我的博客上。在单独的帖子中写下单词提取工具的描述和整个目录。

• 一、分词工具概述
  • 1.1.为什么我们开发词提取工具
  • 1.2.词提取工具概念
  • 1.3.单词提取器的工作原理
    • 1.3.1.词提取工具输入材料
    • 1.3.2.分词工具处理逻辑
    • 1.3.3.词提取工具输出数据

• 2. 分词工具执行环境的配置
  • 2.1.环境配置概览
    • 2.1.1.建议
    • 2.1.2.选择词干分析器 Mecab
    • 2.1.3.环境配置的总体顺序
  • 2.2.安装 Miniconda
  • 2.3.创建和激活虚拟环境
  • 2.4.在虚拟环境中安装 Python
  • 2.5.安装所需的包

• 3.运行分词工具
  • 3.1.下载分词工具
  • 3.2.如何运行词提取工具
    • 3.2.1.解压下载的文件并激活Python虚拟环境
    • 3.2.2.检查帮助
    • 3.2.3.方法1 仅从文档文件中提取单词
    • 3.2.4.方法2 仅从数据库表中提取单词，列注释
    • 3.2.5.执行方式3 从所有文档文件、DB Table、Column注释中提取单词
    • 3.2.6.如何查看执行结果
    • 3.2.7.执行注意事项/注意事项

• 4. 分词工具源码
  • 4.1.大纲
    • 4.1.1.把源代码
    • 4.1.2. 分词工具函数调用关系
  • 4.2.主功能
    • 4.2.1.参数解析
    • 4.2.2.提取要处理的文件列表
    • 4.2.3.使用多处理执行 get_file_text
    • 4.2.4.使用多处理执行 get_word_list
    • 4.2.5.获取词频并运行 make_word_cloud
    • 4.2.6.将提取的词表和词频保存为Excel文件，打印执行时间，退出
  • 4.3. get_file_text 函数
    • 4.3.1. get_doc_text 函数
    • 4.3.2. get_ppt_text 函数
    • 4.3.3. get_txt_text 函数
    • 4.3.4. get_db_comment_text 函数
    • 4.3.5. get_hwp_text 函数
    • 4.3.6. get_pdf_text 函数
  • 4.4. get_word_list 函数
  • 4.5. make_word_cloud 函数

• 5. 分词工具补充说明
  • 5.1.为什么使用 OLE 自动化？
  • 5.2.文本文件编码相关（只支持UTF-8）
  • 5.3.使用多处理的原因
  • 5.4.复合词抽取注意事项
  • 5.5.词法分析器词类的类型

---

单词提取工具可以从下面的github存储库下载。

https://github.com/DAToolset/ToolsForDataStandard/tree/main/WordExtractor

执行所需的源代码、字体、表/列列表示例文件和输出示例文件被捆绑到一个压缩文件中进行分发，因此您可以下载该文件。

https://github.com/DAToolset/ToolsForDataStandard/raw/main/WordExtractor/word_extractor.7z

希望对数据标准化工作有所帮助。

相关文章：

Oracle 字符集转换说明 完整目录 DA# 宏描述目录，下载 分词工具（六）：分词工具补充说明 分词工具（五）：分词工具源码说明（二） 分词工具（四）：分词工具源码说明（一） 分词工具（三）：如何运行分词工具并查看结果 分词工具（二）：配置分词工具的执行环境 分词工具（一）：分词工具概述