Package: ttth-mds5-analyzer
TTTH AnalyzerMô tả thư việnTTTH_Analyzer là gói thư viện hỗ trợ HV môn MDS5 thực hiện các bước phân tích đơn biến và đa biến và kiếm tra 1 số tình trạng của các biếnPhân tích đơn biến (phân loại và liên tục )Phân tích đa biến (phân loại vs phân loại, phân loại vs liên tục )Phân tích tình trạng outlier của các biến phân loạiPhân tích tình trạng mất cân bằng của biến phân loại outputFeatureProcessor là gói thư viện hỗ trợ HV môn MDS5 thực hiện các bước xử lý những vấn đề liên quan đến dữ liệuMissing values trong biến phân loại và liên tụcUncommon category trong biến phân loạiTextProcessor là gói thư viện hỗ trợ HV môn MDS5 thực hiện các bước xử lý 1 số vấn đề thường gặp ở văn bản Tiếng ViệtEmojiconTeencodeDấu câu và số xen lẫn trong câuSai chính tảStop word Tiếng ViệtTiếng Anh xen lẫn Tiếng ViệtNhiều kỉểu gõKhông tập trung vào từ loại quan trọngTính năng cung cấp:Đối với thư viện TTTH_AnalyzerPhân tích đơn biến  với biến phân loại  thông qua :Count valuesBarchartPhân tích đơn biến với biến liên tục  thông qua :Các thông tin thống kê: Mean, Median, Mode, Min, Max và RangeCác thông tin thống kê liên quan đến sự phân tán dữ liệu như : Range, Q1, Q3 , IQR, phương sai, độ lệch, độ nhọn của phân phốiTrực quan hóa bằng histogram và boxplotPhân tích đa biến phân loại vs phân loại thông qua:Xây dựng bảng 2 chiều (two-way table)Trực quan hóa bằng biểu đồ cột chồng (stacked columns bar )Thực hiện phân tích thống kê bằng chi2Phân tích đa biến liên tục vs phân loại thông qua:Xây dựng bảng ANOVA và phân tích thống kêTrực quan hóa bằng box plotPhân tích outlier của biến liên tụcPhân tích hiện tượng mất cân bằng dữ liệu ở biến phân loại outputĐối với thư viện FeatureProcessorXử lý missing values và các phân nhóm không phổ biến:Điền missing values bằng mode với biến phân loạiĐiền mising values bằng median với biến liên tụcThay thế các phân nhóm không phổ biến bằng nhãn mớiĐối với thư viện TextProcessorXử lý các tình trạng thường gặp với dữ liệu văn bản Tiếng Việt:Thay thế 1 số emojicon bằng từ thay thếThay thế 1 số teen code bằng từ thay thếLoại bỏ các ký tự số hoặc dấu câuLoại bỏ 1 số từ bị sai chính tảLoại bỏ các từ trong danh sách stopword Tiếng ViệtChuyển đổi 1 số từ Tiếng Anh sang Tiếng ViệtThực hiện biến đổi các kiểu gõ khác nhau về 1 dạng unicodeHỗ trợ lọc từ loại theo yêu cầu thông qua tính năng postagging của thư viện undertheseaInstallationpipinstall-Uttth-mds5-analyzerCách sử dụngKhởi tạo thư việnfromanalysis.analyzerimportTTTH_Analyzer_analyzer=TTTH_Analyzer()Phân tích đơn biến phân loại_analyzer.analyze_category_variable(variable_name='Tên biến', df='Tên DataFrame')
Trong đó:
variable_name: tên biến phân loại cần phân tích - kiểu  chuỗi (string)
df: dataframe chứa biến phân loại cần phân tích  - kiểu dataframe pandas 
Kết quả:Phân tích đơn biến liên tục_analyzer.analyze_numeric_variable(variable_name='Tên biến', df='Tên DataFrame')
Trong đó:
variable_name: tên biến liên tục cần phân tích - kiểu  chuỗi (string)
df: dataframe chứa biến liên tục cần phân tích  - kiểu dataframe pandas  
Kết quả:Phân tích đa biến phân loại vs phân loại_analyzer.analyze_category_vs_category(var1='Tên biến 1', var2='Tên biến 2', df='Tên DataFrame')
Trong đó:
var1: tên biến phân loại 1 cần phân tích - kiểu  chuỗi (string)
var2: tên biến phân loại 2 cần phân tích - kiểu  chuỗi (string)
df: dataframe chứa cả 2 biến phân loại cần phân tích  - kiểu dataframe pandas  
Kết quả:Phân tích đa biến liên tục vs phân loại_analyzer.analyze_continous_vs_categories(continous_var='Tên biến liên tục', 
                                          category_vars=['Tên biến phân loại 1', 'Tên biến phân loại 2'], 
                                          df='Tên DataFrame')
Trong đó:
continous_var: tên biến liên tục cần phân tích - kiểu  chuỗi (string)
category_vars: danh sách hoặc tên biến phân loại cần phân tích - kiểu danh sách (list)  hoặc kiểu  chuỗi (string)
df: dataframe chứa biến phân loại và biến liên tục cần phân tích  - kiểu dataframe pandas  
Kết quả:Phân tích mất cân bằng_analyzer.check_imbalance_class(variable_name='Tên biến phân loại', df='Tên DataFrame')
Trong đó:
variable_name: tên biến phân loại cần phân tích - kiểu  chuỗi (string)
df: dataframe chứa biến liên tục cần phân tích  - kiểu dataframe pandas  
Kết quả:Phân tích ngoại lai của biến liên tục_analyzer.check_outlier_of_numerical_variable(numerical_variable='Tên biến liên tục',  
                                              df='Tên DataFrame')

Trong đó:
numerical_variable: tên biến liên tục cần phân tích - kiểu  chuỗi (string)
df: dataframe chứa biến phân loại và biến liên tục cần phân tích  - kiểu dataframe pandas  
Kết quả:Cách sử dụng thư viện FeatureProcessorKhởi tạo thư viện FeatureProcessorfromprocessor.featureimportFeatureProcessor_processor=FeatureProcessor()Điền missing values của biến phân loại bằng giá trị mode_processor.handle_missing_values_by_mode(variable_name='tên biến category', df='Tên DataFrame')

Trong đó:
variable_name: tên biến phân loại cần xử lý - kiểu  chuỗi (string)
df: dataframe chứa biến phân loại cần xử lý  - kiểu dataframe pandas  
Kết quả:Điền missing values của biến liên tục bằng giá trị median_processor.handle_missing_values_by_median(variable_name='tên biến category', df='Tên DataFrame')

Trong đó:
variable_name: tên biến liên tục cần xử lý - kiểu  chuỗi (string)
df: dataframe chứa biến liên tục cần xử lý  - kiểu dataframe pandas  
Kết quả:Nhóm các phân nhóm không phổ biến thành 1 nhãn_processor.handle_uncommon_category(variable_name='tên biến category', df='Tên DataFrame', 
                                    threshold='ngưỡng xác định giá trị không phổ biến', 
                                    label='nhãn thay thế các giá trị không phổ biến')

Trong đó:
variable_name: tên biến phân loại cần xử lý - kiểu  chuỗi (string)
df: dataframe chứa biến phân loại cần xử lý  - kiểu dataframe pandas  
threshold: ngưỡng xác định giá trị không phổ biến. Mặc định: 10
label: nhãn thay thế các giá trị không phổ biến. Mặc định: Rare 
Kết quả:Cách sử dụng thư viện TextProcessorKhởi tạo thư viện TextProcessorfromprocessor.textimportTextProcessortext_processor=TextProcessor()Thay thế 1 số emojicon bằng từ thay thếtext_processor.replace_emoji_to_text(sentence, emoji_dict=None)

Trong đó:
sentence: Văn bản cần xử lý - kiểu  chuỗi (string)
emoji_dict: dictionary bổ sung cho việc thay thế emojicon bằng từ thay thế, 
nếu không truyền vào thì sử dụng từ dictionary mặc định   
Kết quả:Thay thế 1 số teen code bằng từ thay thếtext_processor.replace_teencode_to_text(sentence, teencode_dict=None)

Trong đó:
sentence: Văn bản cần xử lý - kiểu  chuỗi (string)
teencode_dict: dictionary bổ sung cho việc thay thế teencode bằng từ thay thế, 
nếu không truyền vào thì sử dụng từ dictionary mặc định 
Kết quả:Loại bỏ các ký tự số hoặc dấu câutext_processor.remove_punctuation_number(sentence)

Trong đó:
sentence: Văn bản cần xử lý - kiểu  chuỗi (string)
Kết quả:Loại bỏ 1 số từ bị sai chính tảtext_processor.remove_typo_tokens(sentence, typo_word_lst=None)

Trong đó:
sentence: Văn bản cần xử lý - kiểu  chuỗi (string)
typo_word_lst: danh sách từ sai chính tả bổ sung cho việc loại bỏ từ sai chính tả, 
nếu không truyền vào thì sử dụng từ danh sách mặc định 
Kết quả:Loại bỏ các từ trong danh sách stopword Tiếng Việttext_processor.remove_stopword(sentence, stopwords=None)

Trong đó:
sentence: Văn bản cần xử lý - kiểu  chuỗi (string)
stopwords: danh sách stopwords bổ sung cho việc loại bỏ stopwords, 
nếu không truyền vào thì sử dụng từ danh sách mặc định 
Kết quả:Chuyển đổi 1 số từ Tiếng Anh sang Tiếng Việttext_processor.translate_english_to_vietnam(sentence, eng_vie_dict=None)

Trong đó:
sentence: Văn bản cần xử lý - kiểu  chuỗi (string)
eng_vie_dict: dictionary bổ sung cho việc thay thế Tiếng Anh bằng từ Tiếng Việt, 
nếu không truyền vào thì sử dụng từ dictionary mặc định  
Kết quả:Thực hiện biến đổi các kiểu gõ khác nhau về 1 dạng unicodetext_processor.covert_unicode(sentence)

Trong đó:
sentence: Văn bản cần xử lý - kiểu  chuỗi (string)
Kết quả:Hỗ trợ lọc từ loại theo yêu cầu thông qua tính năng postagging của thư viện undertheseatext_processor.process_postag_thesea(sentence, lst_word_type=None)

Trong đó:
sentence: Văn bản cần xử lý - kiểu  chuỗi (string)
lst_word_type: danh sách từ loại để lọc lấy, 
nếu không truyền vào thì sử dụng từ danh sách mặc định ['A', 'AB', 'V', 'VB', 'VY', 'R']
Kết quả:LicenseMIT**Nhanh tay đăng ký các khóa học Data Science/ Machine Learning ở TTTH Đại học KHTN để có thêm nhiều kiến thức thú vị cùng những cuộc hành trình khai phá dữ liệu **