semvec/pypi-packages huggingface dataset:
Joy-Chinese-Readability 1.0
A python library for processing Chinese texts to calculate text readabilty.It is a part of the research project of PHD student Xu Yue & Wei Wei. This library is based on the former research of Chinese Readability research.
License: Apache License 2.0
Requires Python: >=3.8.8

# Joy Chinese Readability

Joy Chinese Readability 是一个用于处理中文文本并计算文本可读性的 Python 库。它是 Xu Yue 和 Wei Wei 的博士研究项目的一部分。其中，对文本文件进行分词和词性标注用到了Hanlp中文自然语言处理包，这是一款高效准确的工具；对文本文件进行词频统计、词汇等级信息标注、特殊词汇标注等任务由Pandas完成；文本可读性指标的选取和计算方法主要参照了CTAP（Cui et al.,2022)。
Joy Chinese Readability可供国际中文教育、语言学及应用语言学等领域的研究者使用，欢迎各位批评指正。

## 安装

你可以通过 pip 来安装 Joy Chinese Readability：

```bash
pip install joy-chinese-readability


## 导入

安装之后，只需要输入即可导入安装包：

import joy_chinese_readability


## 分词和词性标注

我们使用了 HanLP 进行分词和词性标注。你可以处理一个文件夹中的所有 `.txt` 文件。

以下是一个例子：

import joy_chinese_readability

input_dir = 'your_input_directory_path'
output_dir = 'your_output_directory_path'
joy_chinese_readability.process_files_in_directory(input_dir, output_dir)


## 词频统计、词汇等级统计
为了统计词频信息、等级信息和特殊词信息，你需要指定输入目录、HSK等级信息文件路径、特殊词信息文件路径以及输出目录。以下是一个示例：

```python
import joy_chinese_readability

# 指定输入目录
input_dir = 'path_to_your_input_directory'

# 指定HSK等级信息文件和特殊词信息文件的路径
level_path = 'path_to_hsk_vocabs.xlsx'
type_path = 'path_to_special_words.xlsx'

# 指定输出目录
output_dir = 'path_to_your_output_directory'

# 调用函数处理文件
joy_chinese_readability.process_vocabulary_statistics(input_dir, level_path, type_path, output_dir)

## 词汇可读性指标的计算

此模块允许你计算并导出词汇可读性指标到CSV文件中。使用以下代码调用此功能：

```python
import joy_chinese_readability

# 指定要处理的文件夹路径
folder_path = 'path_to_your_folder'

# 指定输出CSV文件的路径
output_csv = 'path_to_your_output_csv_file.csv'

joy_chinese_readability.process_folder(folder_path, output_csv)

## 许可证
Joy Chinese Readability 使用 Apache License 2.0许可证。
该代码仅可用作学术、研究领域，不能用于商业运作，使用请注明出处。