Package: sk-common
Table of Contents1	db package1.1 db.db_helper module1.1.1 class  db.db_helper.DBHelper1.1.2 conn_commit()1.1.3 destroy()1.1.4 get_cursor()1.1.5 read_table_to_df()1.2	db.sqlserver_in_out module1.2.1 bcp_in ()1.2.2 bcp_out ()2 file package2.1 file.file_reader module2.1.1 read_csv_txt_to_df ()2.1.2 read_excel_to_df ()2.1.3 read_h5_to_dict ()2.1.4 read_json_to_dict ()2.1.5 read_txt_to_list ()2.2 file.file_writer module2.2.1 write_df_to_csv_txt ()2.2.2 write_df_to_excel ()2.2.3 write_df_to_multi_sheet ()2.2.4 write_dict_to_json ()2.2.5 write_list_to_h5 ()2.2.6 write_list_to_txt ()1	db package1.1 db.db_helper.module连接sql server 或者mysql数据库，进行sql语句操作，可读取数据到pandas dataframe1.1.1 class	db.db_helper.DBHelper(db_kind,driver, server,user, pwd,database, port='0'）Bases: object1.1.2 conn_commit()执行建表或删表等操作后，做connection commit1.1.3		destroy()关闭cursor和connection1.1.4	get_cursor(sql)执行sql语句，返回对应cursorParameterssql– 要执行的sql语句Returns对应cursor1.1.5	read_table_to_df(sql)读取数据库表并存为pandas dataframeParameterssql– sql查询语句Returnspandas dataframe1.2	db.sqlserver_in_out module对sql server数据库bcp导入和导出批量数据1.2.1	db.sqlserver_in_out.bcp_in(server,user,pwd,file_path,table_name,port='0')bcp导入txt文件到sql server数据库表，表需要提前创建好Parametersserver– str, 服务器ipuser– str, 账号pwd– str, 密码file_path– str, 导入的txt文件地址table_name– str，导入到数据库的表名port– str，端口号，默认’0’1.2.2	db.sqlserver_in_out.bcp_out(server,user,pwd,file_path,content_out,port='0',kind='table')bcp导出数据库表或查询结果到txt文件Parameterskind– str，’table’或者’query’, 若为’table’导出整个表数据，若为’query’导出查询结果，默认’table’server– str, 服务器ipuser– str, 账号pwd– str, 密码file_path– str, 导出的txt文件地址content_out– str，表名或者sql 查询语句，例如：’[MTNOH_APP_SameCoverage].[dbo].[TB_同覆盖基础能力_数据_同覆盖小区_test] ‘port– str，端口号，默认’0’2 file package2.1	file.file_reader module用于读取不同格式的数据，
    包括txt, csv，excel, HDF5 , json2.1.1	file.file_reader.read_csv_txt_to_df(filepath_or_buffer,encoding=None,sep=',',delimiter=None,header='infer',index_col=None,chunksize=None,prefix=None,dtype=None,engine=None,compression='infer')读取csv或txt等文件数据到pandas DataFrameParametersfilepath_or_buffer– str, 读取的文件路径,URL（包含http,ftp,s3）链接等。encoding– str, default None, 指定字符集编码类型，通常指定为’utf-8’。sep– str, 文件分割符。delimiter– str, default None，定界符，备选分隔符（如果指定该参数，则sep参数失效）。header– int or list of ints, default ‘infer’，
指定行数用来作为列名，数据开始行数。如果文件中没有列名，则默认为0，否则设置为None。index_col– int or sequence or False, default None,
用作行索引的列编号或者列名，如果给定一个序列则有多个行索引。chunksize– int, default None，文件块的大小。prefix– str, default None, 在没有列标题时，给列添加前缀。dtype– type, default None, 每列数据的数据类型。engine– {‘c’, ‘python’}, optional
使用的分析引擎, 可以选择C或者是python, C引擎快但是Python引擎功能更加完备。compression–{‘infer’,‘gzip’, ‘bz2’, ‘zip’, ‘xz’, None}, default ‘infer’直接使用磁盘上的压缩文件。如果使用infer参数，则使用 gzip, bz2, zip或者解压文件名中以‘.gz’, ‘.bz2’, ‘.zip’, or ‘xz’这些为后缀的文件，否则不解压Returnspandas DataFrame2.1.2	file.file_reader.read_excel_to_df(io,encoding='utf-8',sheet_name=0,header=0,names=None,index_col=None,usecols=None,dtype=None,engine=None,skiprows=None,nrows=None,na_values=None,keep_default_na=True)读取excel数据到pandas DataFrame，
支持从本地文件系统或URL读取的xls，xlsx，xlsm，xlsb和odf文件扩展名。 支持读取单一sheet或几个sheet。Parametersio– str, bytes, ExcelFile, xlrd.Book, path object, or file-like object。encoding– str, 数据集的字符编码，默认’utf-8’。sheet_name– str, int, list, None, default 0，
默认为0，表示不输入sheet_name的参数下，默认引用第一张sheet的数据。header– int, list of int, default 0，表示用第几行作为表头，
默认header=0，即默认第一行为表头。None表示不使用数据源中的表头。names– array-like, default None，表示自定义表头的名称，需要传递数组参数。index_col– int, list of int, default None，
指定列为索引列，默认为None，也就是索引为0的列用作DataFrame的行标签。usecols– int, str, list-like, or callable default None，
需要解析的列，默认为None，解析所有列。dtype– type, default None，指定列的数据类型，默认为None，不改变数据类型。engine– str, default None，支持参数有“ xlrd”，“ openpyxl”或“ odf”，用于使用第三方的库去解析excel文件。skiprows– int,list, defalut None, 跳过指定的行nrows– int, default None，指定需要读取前多少行，通常用于较大的数据文件中。na_values– scalar, str, list-like, or dict, default None，指定某些列的某些值为NaN。keep_default_na– bool, default True，表示导入数据时是否导入空值。Returnspandas DataFrame2.1.3	file.file_reader.read_h5_to_dict(file_path,name_list=None)读取HDF5文件数据到字典Parametersfile_path– str, HDF5文件路径。name_list– list, default None, 所需key的数组，默认为None，则包含所有key。Returns存储hdf5数据字典。2.1.4	file.file_reader.read_json_to_dict(file_path,encoding='utf-8')读取json文件数据到字典Parametersfile_path– str, json文件路径。encoding– str, default ‘utf-8’, 指定字符集编码类型，默认为’utf-8’。Returnsjson数据存储字典2.1.5	file.file_reader.read_txt_to_list(file_path,encoding='utf-8',line_strip='\n',sep=',')读取txt文件数据到listParametersfile_path– str, 文件路径。encoding– str, default ‘utf-8’, 指定字符集编码类型，通常指定为’utf-8’。line_strip– str, default ',' 行分割符，默认','sep– str default ‘,’, 每行中字段分隔符, 默认’,’Returns多维数组，每一维为每行数据，维度为文件的数据行数2.2	file.file_writer module用于将数据写入不同格式文件
    包括txt, csv，excel, HDF5 , json2.2.1	file.file_writer.write_df_to_csv_txt(df,file_path,index=False,encoding='utf-8',mode='w',header=True,sep=',',columns=None,index_label=None,compression='infer',line_terminator=None,chunksize=None,date_format=None)存入dataframe数据到csv或txt文件Parametersdf– pandas dataframe，需要写入的dataframe数据。file_path– str, 文件目标路径。index– bool， default False, 是否显示索引，默认False，不显示index。encoding– str ，数据集的字符编码，默认’utf-8’。mode– str, 写入模式，默认为 ‘w’。header– bool, list， default True 写出列名。如果给定字符串列表，则假定它是列名称的别名。sep– str, default “,” , 输出文件的字段分隔符,默认”,”。columns– list，选择需要输出的的列名数组。默认None。index_label– str, default None,设置索引列的列名。compression– str，表示压缩模式，默认’infer’。line_terminator– str，输出文件中使用的换行符或字符序列。chunksize– int，写入的批次个数，默认 None，一次性写入。date_format– str，日期时间对象的格式字符串，默认None。Returnsbool 是否写入成功，成功为True，失败为False。​2.2.2	file.file_writer.write_df_to_excel(df,file_path,sheet_name='Sheet1',na_rep='',columns=None,header=True,index=False,index_label=None,engine=None,encoding='utf-8')存入dataframe数据到excel文件Parametersdf– pandas dataframe，需要写入excel的dataframe数据。file_path– str, excel文件目标路径。sheet_name– str, default “Sheet1”，excel表名命名。na_rep– int, str, default “”, 缺失值填充,默认值为空字符串。columns– list，选择需要输出的的列名数组。header– bool, list， default True 写出列名。如果给定字符串列表，则假定它是列名称的别名。index– bool， default False, 是否显示索引，默认False，不显示index。index_label– str, default None,设置索引列的列名。engine– str, default None, 所使用的写引擎。encoding– str ，数据集的字符编码，默认’utf-8’。Returnsbool 是否写入成功，成功为True，失败为False2.2.3	file.file_writer.write_df_to_multi_sheet(file_path,df_list,sheet_name_list,na_rep='',columns=None,header=True,index=False,index_label=None,engine=None,encoding='utf-8')将dataframe数组写入excel多张sheet中Parametersfile_path– str, excel文件目标路径。df_list– list，存储多个dataframe。sheet_name_list– list，包含每张表的表名。na_rep– int, str, default “”, 缺失值填充,默认值为空字符串。columns– list，选择需要输出的的列名数组。header– bool, list， default True 写出列名。如果给定字符串列表，则假定它是列名称的别名。index– bool， default False, 是否显示索引，默认False，不显示index。index_label– str, default None,设置索引列的列名。engine– str, default None, 所使用的写引擎encoding– str ，数据集的字符编码，默认’utf-8’。Returnsbool 是否写入成功，成功为True，失败为False2.2.4	file.file_writer.write_dict_to_json(dict,file_path,encoding='utf-8')写入字典数据到json文件Parametersdict– 字典，需写入json文件的数据。file_path– str，json文件目标路径。encoding– str ，数据集的字符编码，默认’utf-8’。Returnsbool 是否写入成功，成功为True，失败为False。2.2.5	file.file_writer.write_list_to_h5(data_list,name_list,file_path)将data数据和key数组一一对应写入目标h5文件Parametersdata_list– list，需要写入h5文件的数据数组name_list– list，需要写入h5文件的key数组file_path– str，h5文件目标路径Returnsbool 是否写入成功，成功为True，失败为False。2.2.6	file.file_writer.write_list_to_txt(data_list,file_path,encoding='utf-8',line_strip='\n',sep=',')将数组写入txt文件中Parametersdata_list– list，需要写入txt的数据，格式为[[a,b,c],[d,e,f],…..],每一维写入同一行。file_path– str, txt文件目标路径。encoding– str ，数据集的字符编码，默认’utf-8’。line_strip– str ，default '\n',行分隔符，默认'\n' 。sep– str default ‘,’, 每行中字段分隔符, 默认’,’。Returnsbool 是否写入成功，成功为True，失败为False。