2022-05-31 02:06:04,923@ root [INFO] _setup_logger: PyTorch: 1.11.0+cu113 2022-05-31 02:06:04,927@ root [INFO] _setup_logger: hparams: Namespace(adam_epsilon=1e-08, additional_tokens=' ', batch_size=16, bos_token='', column=0, da_choice=0.4, da_shuffle=0.3, early_stop_callback=True, encoding='utf_8', files=['data/kogi6_train.tsv', 'data/kogi6_test.tsv'], fp_16=False, gradient_accumulation_steps=1, kfold=5, learning_rate=0.0003, limit_batches=-1, masking=False, masking_ratio=0.35, masking_style='denoising', max_epochs=30, max_grad_norm=1.0, max_length=128, max_seq_length=128, model_name_or_path='google/mt5-small', n_gpu=1, num_workers=4, opt_level='O2', output_dir='./kogi-mt5', progress_bar=False, project='kogi-mt5', save_checkpoint=False, seed=42, target_column=1, target_max_length=128, target_max_seq_length=128, tokenizer_name_or_path='google/mt5-small', warmup_steps=0, weight_decay=0.0) 2022-05-31 02:06:04,934@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 02:06:05,704@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer_config.json HTTP/1.1" 200 0 2022-05-31 02:06:05,711@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 02:06:06,387@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0 2022-05-31 02:06:06,393@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 02:06:07,151@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer_config.json HTTP/1.1" 200 0 2022-05-31 02:06:07,155@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 02:06:07,859@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/spiece.model HTTP/1.1" 200 0 2022-05-31 02:06:07,866@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 02:06:08,546@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer.json HTTP/1.1" 404 0 2022-05-31 02:06:08,549@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 02:06:09,307@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/added_tokens.json HTTP/1.1" 404 0 2022-05-31 02:06:09,310@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 02:06:09,986@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/special_tokens_map.json HTTP/1.1" 200 0 2022-05-31 02:06:09,990@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 02:06:10,671@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer_config.json HTTP/1.1" 200 0 2022-05-31 02:06:10,674@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 02:06:11,363@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0 2022-05-31 02:06:12,047@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 02:06:12,735@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0 2022-05-31 02:06:13,600@ root [INFO] parse_hparams: vocab_size: 250100 250108 2022-05-31 02:06:13,613@ root [INFO] _main: Base model: google/mt5-small ['data/kogi6_train.tsv', 'data/kogi6_test.tsv'] 2022-05-31 02:06:13,649@ torch.distributed.nn.jit.instantiator [INFO] : Created a temporary directory at /tmp/9981679.1.gpu/tmpebyfoxhy 2022-05-31 02:06:13,650@ torch.distributed.nn.jit.instantiator [INFO] _write: Writing /tmp/9981679.1.gpu/tmpebyfoxhy/_remote_module_non_sriptable.py 2022-05-31 02:06:14,274@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 02:06:14,950@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0 2022-05-31 02:06:18,268@ root [INFO] _loading_dataset: loading data/kogi6_train.tsv 2022-05-31 02:06:18,296@ root [INFO] _append_data: 折れ線の線幅をnに設定する -> plt.plot(xdata, ydata, linewidth=n) 2022-05-31 02:06:18,297@ root [INFO] _append_data: 実数のサインを求める -> math.sin(x) 2022-05-31 02:06:18,298@ root [INFO] _append_data: データ列を100の位で丸める -> ds.round(-2) 2022-05-31 02:06:18,298@ root [INFO] _append_data: カデットブルーにヒストグラムの色をセットする -> plt.hist(データ列, color='cadetblue') 2022-05-31 02:06:18,299@ root [INFO] _append_data: nが負の数か -> n < 0 2022-05-31 02:06:22,695@ root [INFO] _loading_dataset: loaded 14372 dataset 2022-05-31 02:06:22,696@ root [INFO] _loading_dataset: loading data/kogi6_test.tsv 2022-05-31 02:06:22,697@ root [INFO] _append_data: グラフの色テーマを色差別なくする -> sns.set(pallete='colorblind') 2022-05-31 02:06:22,698@ root [INFO] _append_data: 縦方向に３つのデータフレームを連結する -> pd.concat([df, df2, df3], axis=0) 2022-05-31 02:06:22,699@ root [INFO] _append_data: 折れ線グラフに四角印を加える -> plt.plot(データ列, データ列2, marker='s') 2022-05-31 02:06:22,699@ root [INFO] _append_data: 折れ線グラフを実線に設定する -> plt.plot(データ列, データ列2, linestyle='solid') 2022-05-31 02:06:22,700@ root [INFO] _append_data: 折れ線グラフの色をライトサーモンに指定する -> plt.plot(データ列, データ列2, color='lightsalmon') 2022-05-31 02:06:23,613@ root [INFO] _loading_dataset: loaded 2725 dataset 2022-05-31 08:05:40,786@ root [INFO] _setup_logger: PyTorch: 1.11.0+cu113 2022-05-31 08:05:40,788@ root [INFO] _setup_logger: hparams: Namespace(adam_epsilon=1e-08, additional_tokens=' ', batch_size=16, bos_token='', column=0, da_choice=0.4, da_shuffle=0.3, early_stop_callback=True, encoding='utf_8', files=['data/kogi6_train.tsv', 'data/kogi6_test.tsv'], fp_16=False, gradient_accumulation_steps=1, kfold=5, learning_rate=0.0003, limit_batches=-1, masking=False, masking_ratio=0.35, masking_style='denoising', max_epochs=30, max_grad_norm=1.0, max_length=128, max_seq_length=128, model_name_or_path='google/mt5-small', n_gpu=1, num_workers=4, opt_level='O2', output_dir='./kogi-mt5', progress_bar=False, project='kogi-mt5', save_checkpoint=False, seed=42, target_column=1, target_max_length=128, target_max_seq_length=128, tokenizer_name_or_path='google/mt5-small', warmup_steps=0, weight_decay=0.0) 2022-05-31 08:05:40,794@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 08:05:41,478@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer_config.json HTTP/1.1" 200 0 2022-05-31 08:05:41,483@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 08:05:42,231@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0 2022-05-31 08:05:42,237@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 08:05:42,913@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer_config.json HTTP/1.1" 200 0 2022-05-31 08:05:42,917@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 08:05:43,620@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/spiece.model HTTP/1.1" 200 0 2022-05-31 08:05:43,625@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 08:05:44,309@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer.json HTTP/1.1" 404 0 2022-05-31 08:05:44,311@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 08:05:44,988@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/added_tokens.json HTTP/1.1" 404 0 2022-05-31 08:05:44,991@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 08:05:45,675@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/special_tokens_map.json HTTP/1.1" 200 0 2022-05-31 08:05:45,678@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 08:05:46,360@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer_config.json HTTP/1.1" 200 0 2022-05-31 08:05:46,363@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 08:05:47,053@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0 2022-05-31 08:05:47,638@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 08:05:48,323@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0 2022-05-31 08:05:49,140@ root [INFO] parse_hparams: vocab_size: 250100 250108 2022-05-31 08:05:49,153@ root [INFO] _main: Base model: google/mt5-small ['data/kogi6_train.tsv', 'data/kogi6_test.tsv'] 2022-05-31 08:05:49,196@ torch.distributed.nn.jit.instantiator [INFO] : Created a temporary directory at /tmp/9982441.1.gpu/tmpufibkjs3 2022-05-31 08:05:49,196@ torch.distributed.nn.jit.instantiator [INFO] _write: Writing /tmp/9982441.1.gpu/tmpufibkjs3/_remote_module_non_sriptable.py 2022-05-31 08:05:49,750@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443 2022-05-31 08:05:50,505@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0 2022-05-31 08:05:53,655@ root [INFO] _loading_dataset: loading data/kogi6_train.tsv 2022-05-31 08:05:53,681@ root [INFO] _append_data: 折れ線の線幅をnに設定する -> plt.plot(xdata, ydata, linewidth=n) 2022-05-31 08:05:53,682@ root [INFO] _append_data: 実数のサインを求める -> math.sin(x) 2022-05-31 08:05:53,682@ root [INFO] _append_data: データ列を100の位で丸める -> ds.round(-2) 2022-05-31 08:05:53,683@ root [INFO] _append_data: カデットブルーにヒストグラムの色をセットする -> plt.hist(データ列, color='cadetblue') 2022-05-31 08:05:53,683@ root [INFO] _append_data: nが負の数か -> n < 0 2022-05-31 08:05:57,529@ root [INFO] _loading_dataset: loaded 14372 dataset 2022-05-31 08:05:57,530@ root [INFO] _loading_dataset: loading data/kogi6_test.tsv 2022-05-31 08:05:57,531@ root [INFO] _append_data: グラフの色テーマを色差別なくする -> sns.set(pallete='colorblind') 2022-05-31 08:05:57,532@ root [INFO] _append_data: 縦方向に３つのデータフレームを連結する -> pd.concat([df, df2, df3], axis=0) 2022-05-31 08:05:57,532@ root [INFO] _append_data: 折れ線グラフに四角印を加える -> plt.plot(データ列, データ列2, marker='s') 2022-05-31 08:05:57,533@ root [INFO] _append_data: 折れ線グラフを実線に設定する -> plt.plot(データ列, データ列2, linestyle='solid') 2022-05-31 08:05:57,533@ root [INFO] _append_data: 折れ線グラフの色をライトサーモンに指定する -> plt.plot(データ列, データ列2, color='lightsalmon') 2022-05-31 08:05:58,251@ root [INFO] _loading_dataset: loaded 2725 dataset 2022-05-31 10:10:45,749@ root [INFO] _loading_dataset: loading data/kogi6_train.tsv 2022-05-31 10:10:45,752@ root [INFO] _append_data: 折れ線の線幅をnに設定する -> plt.plot(xdata, ydata, linewidth=n) 2022-05-31 10:10:45,752@ root [INFO] _append_data: 実数のサインを求める -> math.sin(x) 2022-05-31 10:10:45,752@ root [INFO] _append_data: データ列を100の位で丸める -> ds.round(-2) 2022-05-31 10:10:45,752@ root [INFO] _append_data: カデットブルーにヒストグラムの色をセットする -> plt.hist(データ列, color='cadetblue') 2022-05-31 10:10:45,752@ root [INFO] _append_data: nが負の数か -> n < 0 2022-05-31 10:10:45,787@ root [INFO] _loading_dataset: loaded 14372 dataset 2022-05-31 10:10:45,787@ root [INFO] _loading_dataset: loading data/kogi6_test.tsv 2022-05-31 10:10:45,789@ root [INFO] _append_data: グラフの色テーマを色差別なくする -> sns.set(pallete='colorblind') 2022-05-31 10:10:45,789@ root [INFO] _append_data: 縦方向に３つのデータフレームを連結する -> pd.concat([df, df2, df3], axis=0) 2022-05-31 10:10:45,789@ root [INFO] _append_data: 折れ線グラフに四角印を加える -> plt.plot(データ列, データ列2, marker='s') 2022-05-31 10:10:45,789@ root [INFO] _append_data: 折れ線グラフを実線に設定する -> plt.plot(データ列, データ列2, linestyle='solid') 2022-05-31 10:10:45,789@ root [INFO] _append_data: 折れ線グラフの色をライトサーモンに指定する -> plt.plot(データ列, データ列2, color='lightsalmon') 2022-05-31 10:10:45,795@ root [INFO] _loading_dataset: loaded 2725 dataset 2022-05-31 10:10:45,952@ root [INFO] test_and_save: データフレームのカラムが正規分布からどの程度、歪んでいるか調べる df[col].skew() df[col].kurt() 2022-05-31 10:10:47,287@ root [INFO] test_and_save: データフレームのリストカラムの中の欠損値の数を数える df[aList].isna().sum() df[aList].isna().sum() 2022-05-31 10:10:49,123@ root [INFO] test_and_save: 配列とリストについての散布図にカラーコードのポイントマーカーをプロットする plt.plot(xdata, ydata, marker='.', c=rgb) plt.plot(xdata, ydata, marker='.', c=rgb) 2022-05-31 10:10:50,276@ root [INFO] test_and_save: データフレームのカラムを丸めて整数型にする df[col].round().astype(int) df[col].round().astype(int) 2022-05-31 10:10:51,545@ root [INFO] test_and_save: ＜オプション＞色をトマトにセットする color = 'tomato' color = 'tomato' 2022-05-31 10:10:52,904@ root [INFO] test_and_save: ＜オプション＞パレットトルコイズを使用する color = 'paleturquoise' color = 'paleturquoise' 2022-05-31 10:10:54,166@ root [INFO] test_and_save: 折れ線グラフを描画して、その色をダークターコイズに指定する plt.plot(データ列, データ列2, color='darkturquoise') plt.plot(データ列, データ列2, color='darkturquoise') 2022-05-31 10:10:55,926@ root [INFO] test_and_save: リストの値を並べる sorted(aList) sorted(aList) 2022-05-31 10:10:57,186@ root [INFO] test_and_save: マップのキーとその値をペアとして取り出す aDict.items() aDict.items() 2022-05-31 10:10:58,574@ root [INFO] test_and_save: ＜オプション＞ラベンダーブラッシュにグラフの色をセットする color = 'lavenderblush' color = 'lavenderblush' 2022-05-31 10:11:00,031@ root [INFO] test_and_save: グラフに水平方向の破線を付ける plt.axhline(y=0, linestyle='dashed') plt.axhline(y=0, linestyle='dashed') 2022-05-31 10:11:01,382@ root [INFO] test_and_save: 日付データの曜日を使う aDate.weekday() aDate.weekday() 2022-05-31 10:11:03,187@ root [INFO] test_and_save: リストとリストの散布図を描画し、マーカーを星に変更する plt.plot(xdata, ydata, marker='*') plt.plot(xdata, ydata, marker='*') 2022-05-31 10:11:04,763@ root [INFO] test_and_save: 折れ線グラフを描画してその色をライトスレイグレーに設定する plt.plot(データ列, データ列2, color='lightslategray') plt.plot(データ列, データ列2, color='lightslategray') 2022-05-31 10:11:06,457@ root [INFO] test_and_save: 箱ヒゲ図を2つ並べる plt.boxplot([データ列, データ列2]) plt.boxplot([データ列, データ列2]) 2022-05-31 10:11:07,917@ root [INFO] test_and_save: パステル調のの色をカラーコードに設定する plt.plot(xdata, ydata, linestyle='pastel', color=rgb) plt.plot(xdata, ydata, linestyle='pastel', color=rgb) 2022-05-31 10:11:09,479@ root [INFO] test_and_save: リストとリストについての散布図にカラーコードの丸マーカーをプロットする plt.plot(xdata, ydata, marker='o', c=rgb) plt.plot(xdata, ydata, marker='o', c=rgb) 2022-05-31 10:11:10,939@ root [INFO] test_and_save: 赤い四角マーカーで散布図をプロットする plt.plot(xdata, ydata, marker='s', c='r') plt.plot(xdata, ydata, marker='s', c='r') 2022-05-31 10:11:12,559@ root [INFO] test_and_save: マルーンにヒストグラムの色を設定する plt.hist(データ列, color='maroon') plt.hist(データ列, color='maroon') 2022-05-31 10:11:14,354@ root [INFO] test_and_save: データフレームのリストカラムの25パーセンタイルを計算する df[aList].quantile(percent/100) df[aList].quantile(0.25) 2022-05-31 10:11:15,656@ root [INFO] test_and_save: 文字列を区切りで区切って、文字列リストに変換する s.split(sep) s.split(sep) 2022-05-31 10:11:17,072@ root [INFO] test_and_save: Pandasでdatetime64型のデータフレームのカラムをインデックスにする df.index = pd.DatetimeIndex(df[col]) df.index = pd.DatetimeIndex(df[col]) 2022-05-31 10:11:18,332@ root [INFO] test_and_save: 二つの整数最小公倍数 math.lcm(n, n2) math.lcm(n, n2) 2022-05-31 10:11:19,723@ root [INFO] test_and_save: 空白で文字列を区切って数列に変換する map(int, s.split()) map(int, s.split()) 2022-05-31 10:11:21,033@ root [INFO] test_and_save: データフレームの列をヒストグラムとして可視化する plt.hist(df[column]) plt.hist(df[column]) 2022-05-31 10:11:22,799@ root [INFO] test_and_save: 線グラフを描画して、その色をミディアムパープルに設定する plt.plot(データ列, データ列2, color='mediumpurple') plt.plot(データ列, データ列2, color='mediumpurple') 2022-05-31 10:11:24,391@ root [INFO] test_and_save: リストと数列について散布図をプロットする plt.scatter(xdata, ydata) plt.scatter(xdata, ydata) 2022-05-31 10:11:25,686@ root [INFO] test_and_save: カラムのNaNを最小値に設定する ds.fillna(ds.min()) ds.fillna(ds.min()) 2022-05-31 10:11:27,228@ root [INFO] test_and_save: 配列の度数分布図をプロットする plt.hist(データ列, bins=n) plt.hist(aArray) 2022-05-31 10:11:28,917@ root [INFO] test_and_save: データフレームの中で、列と列の重複を消す df.drop_duplicates(subset=[column, column2]) df.drop_duplicates(subset=[column, column2]) 2022-05-31 10:11:30,503@ root [INFO] test_and_save: ダークターコイズにヒストグラムの色を指定する plt.hist(データ列, color='darkturquoise') plt.hist(データ列, color='darkturquoise') 2022-05-31 10:11:32,112@ root [INFO] test_and_save: ヒストグラムの色をダークオリーブグリーンに変更する plt.hist(データ列, color='darkolivegreen') plt.hist(データ列, color='darkolivegreen') 2022-05-31 10:11:33,653@ root [INFO] test_and_save: 両端キューをdequeue deq.count(element) deq.popleft() 2022-05-31 10:11:35,286@ root [INFO] test_and_save: データフレームのリストカラムを100の位で丸めて整数型にする df[aList].round(-2).astype(int) df[aList].round(-2).astype(int) 2022-05-31 10:11:36,824@ root [INFO] test_and_save: 文字列はタイトル大文字小文字かどうか調べる s.istitle() s.istitle() 2022-05-31 10:11:38,258@ root [INFO] test_and_save: ファイルパスの拡張子付きのファイル名を使う os.path.abspath(filepath) os.path.basename(filepath) 2022-05-31 10:11:39,723@ root [INFO] test_and_save: データフレームの列がxである行を取り出す df[df[column] == x] df[df[column] == x] 2022-05-31 10:11:41,180@ root [INFO] test_and_save: オブジェクトのバイトサイズを知る sys.getsizeof(obj) sys.getsizeof(obj) 2022-05-31 10:11:43,101@ root [INFO] test_and_save: xにヒストグラムのアルファ値を設定する plt.hist(データ列, alpha=x) plt.hist(データ列, alpha=x) 2022-05-31 10:11:44,837@ root [INFO] test_and_save: ヒストグラムの色を濃いシアンに変更する plt.hist(データ列, color='darkcyan') plt.hist(データ列, color='darkcyan') 2022-05-31 10:11:46,147@ root [INFO] test_and_save: データフレームのカラムの75パーセンタイル df[col].quantile(percent/100) df[col].quantile(0.75) 2022-05-31 10:11:47,636@ root [INFO] test_and_save: データフレームが重複している df.duplicated() df.duplicated() 2022-05-31 10:11:49,187@ root [INFO] test_and_save: リストの末尾の要素を求める aList[i], aList[-1] aList[-1] 2022-05-31 10:11:50,810@ root [INFO] test_and_save: イテラブルから集合を使う set(iterable) set(iterable) 2022-05-31 10:11:52,064@ root [INFO] test_and_save: TSVをデータフレームとして読み込む pd.read_csv(filename, sep='\t', encoding='utf-8') pd.read_csv(filename, sep='\t') 2022-05-31 10:11:53,636@ root [INFO] test_and_save: 文字列の開始位置以降に部分文字列が含まれない s.find(sub, start)!= -1 s.find(sub, start) == -1 2022-05-31 10:11:55,143@ root [INFO] test_and_save: 黒い色差別ないグラフをプロットする plt.plot(xdata, ydata, linestyle='colorblind', color='k') plt.plot(xdata, ydata, linestyle='colorblind', color='k') 2022-05-31 10:11:56,755@ root [INFO] test_and_save: 組をソートする sorted(aTuple) sorted(aTuple) 2022-05-31 10:11:58,241@ root [INFO] test_and_save: ヒストグラムを描画して、その色をダークオレンジにする plt.hist(データ列, color='darkorange') plt.hist(データ列, color='darkorange') 2022-05-31 10:11:59,644@ root [INFO] test_and_save: ＜オプション＞色をスラグレーに変更する color ='slategray' color = 'slategrey' 2022-05-31 10:12:01,381@ root [INFO] test_and_save: リストと配列について破線グラフを描画し、、その色を淡いに設定する plt.plot(xdata, ydata, linestyle='dash', color='muted') plt.plot(xdata, ydata, linestyle='dash', color='muted') 2022-05-31 10:12:02,948@ root [INFO] test_and_save: 配列とイテラブルの散布図に黒い三角マーカーを描画する plt.plot(xdata, ydata, marker='^', c='k') plt.plot(xdata, ydata, marker='^', c='k') 2022-05-31 10:12:04,337@ root [INFO] test_and_save: まとめてValueMapでデータ列の値を置き換える ds.replace(ValueMap) ds.replace(ValueMap) 2022-05-31 10:12:06,086@ root [INFO] test_and_save: 文字列の最初からタブを取り除く s.rstrip('\t') s.lstrip('\t') 2022-05-31 10:12:07,328@ root [INFO] test_and_save: グラフの描画を綺麗にする import seaborn as sns import seaborn as sns 2022-05-31 10:12:08,538@ root [INFO] test_and_save: 文字列が小文字かどうか調べる s.islower() s.islower() 2022-05-31 10:12:10,308@ root [INFO] test_and_save: CSVTSVファイルをn番目のカラムを行として読み込む pd.read_csv(filename, index_col=n) pd.read_csv(filename, index_col=n) 2022-05-31 10:12:11,683@ root [INFO] test_and_save: 一方に含まれ、他方に含まれない集合を計算する aSet.difference(aSet2) aSet.difference(aSet2) 2022-05-31 10:12:13,412@ root [INFO] test_and_save: 配列の要素ごとの最大公約数 np.gcd(aArray, aArray2) np.gcd(aArray, aArray2) 2022-05-31 10:12:14,835@ root [INFO] test_and_save: TSV形式のファイルからデータフレームを読む pd.read_csv(filename, sep='\t', encoding='utf-8') pd.read_csv(filename, sep='\t', encoding='utf-8') 2022-05-31 10:12:16,168@ root [INFO] test_and_save: イテラブルとリストの折れ線グラフをカラーコードで描画する plt.plot(xdata, ydata, color=rgb) plt.plot(xdata, ydata, color=rgb) 2022-05-31 10:12:17,905@ root [INFO] test_and_save: データフレームのカラムのNaNを直後の値で埋める df[col].fillna(method='bfill') df[col].fillna(method='bfill') 2022-05-31 10:12:19,481@ root [INFO] test_and_save: ヒストグラムを描画して、その色をダークカーキにする plt.hist(データ列, color='darkkhaki') plt.hist(データ列, color='darkkhaki') 2022-05-31 10:12:21,023@ root [INFO] test_and_save: リストとリストを加える aList + aList2 aList + aList2 2022-05-31 10:12:22,654@ root [INFO] test_and_save: リストとリストについて散布図を描画してポイントマーカーの色をカラーコードに設定する plt.plot(xdata, ydata, marker='.', c=rgb) plt.plot(xdata, ydata, marker='.', c=rgb) 2022-05-31 10:12:24,619@ root [INFO] test_and_save: データフレームを列で並べて更新する df.sort_values(by=column, inplace=True) df.sort_values(by=column, inplace=True) 2022-05-31 10:12:26,456@ root [INFO] test_and_save: グラフのパレットを濃くする sns.set(pallete='deep') sns.set(pallete='deep') 2022-05-31 10:12:28,332@ root [INFO] test_and_save: 二つの列を並べて箱ひげ図にする plt.boxplot([データ列, データ列2], color=['b', 'r']) plt.boxplot([df[column], df[column2]]) 2022-05-31 10:12:30,230@ root [INFO] test_and_save: 日付データと日付データの時間差を秒で求める (aDate - aDate2).total_seconds()//60 (aDate - aDate2).total_seconds()//60 2022-05-31 10:12:31,772@ root [INFO] test_and_save: データフレームのn行目を破壊的に消す df.drop(n, axis=0, inplace=True) df.drop(n, axis=0, inplace=True) 2022-05-31 10:12:33,347@ root [INFO] test_and_save: 黒色のポイントマーカーで散布図を描画する plt.plot(xdata, ydata, marker='.', c='k') plt.plot(xdata, ydata, marker='.', c='k') 2022-05-31 10:12:34,815@ root [INFO] test_and_save: 最後の部分文字列によって文字列を二分割する s.rpartition(sub) s.rpartition(sub) 2022-05-31 10:12:36,391@ root [INFO] test_and_save: Pandasでエポック秒のデータ列からPandasの日付型に変換する pd.to_datetime(ds, unit='s', utc=True) pd.to_datetime(ds, unit='s', utc=True) 2022-05-31 10:12:38,030@ root [INFO] test_and_save: データフレームのリスト列のヒートマップをグラフ化する sns.heatmap(df[aList].corr()) sns.heatmap(df[aList].corr()) 2022-05-31 10:12:39,620@ root [INFO] test_and_save: シャルトリューズにヒストグラムの色を指定する plt.hist(データ列, color='chartreuse') plt.hist(データ列, color='chartreuse') 2022-05-31 10:12:41,248@ root [INFO] test_and_save: リストにリストを加える aList.extend(aList2) aList.extend(aList2) 2022-05-31 10:12:43,056@ root [INFO] test_and_save: ▲マーカーを散布図に使う plt.plot(xdata, ydata, marker='^') plt.plot(xdata, ydata, marker='^') 2022-05-31 10:12:44,634@ root [INFO] test_and_save: ファイルパスから読み込みストリームを開いて]、fとする f = open(filepath, mode='r') f = open(filepath, mode='r') 2022-05-31 10:12:45,815@ root [INFO] test_and_save: 列によってデータフレームをソートして、インデックスを振り直す df.sort_values(columns).reset_index() df.sort_values(columns).reset_index(drop=True) 2022-05-31 10:12:47,586@ root [INFO] test_and_save: 黒い淡いグラフを描く plt.plot(xdata, ydata, linestyle='muted', color='k') plt.plot(xdata, ydata, linestyle='muted', color='k') 2022-05-31 10:12:48,871@ root [INFO] test_and_save: ファイルに文字列を書く f.write(s) f.write(s) 2022-05-31 10:12:50,267@ root [INFO] test_and_save: 折れ線グラフの色をダークシアンにする plt.plot(データ列, データ列2, color='darkcyan') plt.plot(データ列, データ列2, color='darkcyan') 2022-05-31 10:12:52,032@ root [INFO] test_and_save: ＜オプション＞プラムにグラフの色を変更する color = 'plum' color = 'plum' 2022-05-31 10:12:53,454@ root [INFO] test_and_save: リストとリストを使って明るいの折れ線を描いて、その線幅をnに指定する plt.plot(xdata, ydata, linestyle='bright', color='r') plt.plot(xdata, ydata, linestyle='bright', color='r') 2022-05-31 10:12:54,685@ root [INFO] test_and_save: 折れ線グラフを描画してその色を赤に設定する plt.plot(データ列, データ列2, color='red') plt.plot(データ列, データ列2, color='red') 2022-05-31 10:12:56,089@ root [INFO] test_and_save: リストとデータ列について色差別ないグラフを描いて、色を黒にする plt.plot(xdata, ydata, linestyle='colorblind', color='k') plt.plot(xdata, ydata, linestyle='colorblind', color='k') 2022-05-31 10:12:57,644@ root [INFO] test_and_save: ヒストグラムの色をクリムゾンに指定する plt.hist(データ列, color='crimson') plt.hist(データ列, color='crimson') 2022-05-31 10:12:59,326@ root [INFO] test_and_save: カウンタを少ない方からリストとして得る aCounter.most_common()[:-1] aCounter.most_common()[::-1] 2022-05-31 10:13:00,467@ root [INFO] test_and_save: 数を整数にする int(x) int(x) 2022-05-31 10:13:01,721@ root [INFO] test_and_save: ＜オプション＞グラフの種類を一点鎖線にする linestyle = 'dashbot' linestyle = 'dashbot' 2022-05-31 10:13:03,441@ root [INFO] test_and_save: nがn2の倍数かどうか調べる n % n2 == 0 n % n2 == 0 2022-05-31 10:13:04,970@ root [INFO] test_and_save: タプルの文字列が最初に見つかる場所 aTuple.index(element) aTuple.index(element) 2022-05-31 10:13:06,492@ root [INFO] test_and_save: nの八進数表記 oct(n) oct(n) 2022-05-31 10:13:08,082@ root [INFO] test_and_save: ヒストグラムを描画して色をビスクに設定する plt.hist(データ列, color='bisque') plt.hist(データ列, color='bisque') 2022-05-31 10:13:09,727@ root [INFO] test_and_save: イテラブルの要素を両端キューの末尾に追加する collections.deque(iterable) deq.extend(iterable) 2022-05-31 10:13:10,917@ root [INFO] test_and_save: コマンドの第２引数を知る sys.argv[1] sys.argv[1] 2022-05-31 10:13:12,319@ root [INFO] test_and_save: タイムスタンプデータをn時間前に戻す aDatetime - datetime.timedelta(days=n) aDatetime - datetime.timedelta(hours=n) 2022-05-31 10:13:13,796@ root [INFO] test_and_save: 数値の積分を行う sympy.diff(e, z) sympy.integrate(e) 2022-05-31 10:13:15,417@ root [INFO] test_and_save: 暗いパレットをグラフの描画で使う sns.set(pallete='dark') sns.set(pallete='dark') 2022-05-31 10:13:16,955@ root [INFO] test_and_save: カンマで文字列を分割して文字列リストにする s.split(',') s.split(',') 2022-05-31 10:13:18,303@ root [INFO] test_and_save: 数を万の位で四捨五入する round(x, -2) round(x, -4)