File size: 31,634 Bytes
50f35d0 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 |
2022-05-31 02:06:04,923@ root [INFO] _setup_logger: PyTorch: 1.11.0+cu113
2022-05-31 02:06:04,927@ root [INFO] _setup_logger: hparams: Namespace(adam_epsilon=1e-08, additional_tokens='<nl> <tab> <b> </b> <e0> <e1> <e2> <e3>', batch_size=16, bos_token='', column=0, da_choice=0.4, da_shuffle=0.3, early_stop_callback=True, encoding='utf_8', files=['data/kogi6_train.tsv', 'data/kogi6_test.tsv'], fp_16=False, gradient_accumulation_steps=1, kfold=5, learning_rate=0.0003, limit_batches=-1, masking=False, masking_ratio=0.35, masking_style='denoising', max_epochs=30, max_grad_norm=1.0, max_length=128, max_seq_length=128, model_name_or_path='google/mt5-small', n_gpu=1, num_workers=4, opt_level='O2', output_dir='./kogi-mt5', progress_bar=False, project='kogi-mt5', save_checkpoint=False, seed=42, target_column=1, target_max_length=128, target_max_seq_length=128, tokenizer_name_or_path='google/mt5-small', warmup_steps=0, weight_decay=0.0)
2022-05-31 02:06:04,934@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 02:06:05,704@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer_config.json HTTP/1.1" 200 0
2022-05-31 02:06:05,711@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 02:06:06,387@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0
2022-05-31 02:06:06,393@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 02:06:07,151@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer_config.json HTTP/1.1" 200 0
2022-05-31 02:06:07,155@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 02:06:07,859@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/spiece.model HTTP/1.1" 200 0
2022-05-31 02:06:07,866@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 02:06:08,546@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer.json HTTP/1.1" 404 0
2022-05-31 02:06:08,549@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 02:06:09,307@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/added_tokens.json HTTP/1.1" 404 0
2022-05-31 02:06:09,310@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 02:06:09,986@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/special_tokens_map.json HTTP/1.1" 200 0
2022-05-31 02:06:09,990@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 02:06:10,671@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer_config.json HTTP/1.1" 200 0
2022-05-31 02:06:10,674@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 02:06:11,363@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0
2022-05-31 02:06:12,047@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 02:06:12,735@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0
2022-05-31 02:06:13,600@ root [INFO] parse_hparams: vocab_size: 250100 250108
2022-05-31 02:06:13,613@ root [INFO] _main: Base model: google/mt5-small ['data/kogi6_train.tsv', 'data/kogi6_test.tsv']
2022-05-31 02:06:13,649@ torch.distributed.nn.jit.instantiator [INFO] <module>: Created a temporary directory at /tmp/9981679.1.gpu/tmpebyfoxhy
2022-05-31 02:06:13,650@ torch.distributed.nn.jit.instantiator [INFO] _write: Writing /tmp/9981679.1.gpu/tmpebyfoxhy/_remote_module_non_sriptable.py
2022-05-31 02:06:14,274@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 02:06:14,950@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0
2022-05-31 02:06:18,268@ root [INFO] _loading_dataset: loading data/kogi6_train.tsv
2022-05-31 02:06:18,296@ root [INFO] _append_data: 折れ線の線幅をnに設定する -> plt.plot(xdata, ydata, linewidth=n)
2022-05-31 02:06:18,297@ root [INFO] _append_data: 実数のサインを求める -> math.sin(x)
2022-05-31 02:06:18,298@ root [INFO] _append_data: データ列を100の位で丸める -> ds.round(-2)
2022-05-31 02:06:18,298@ root [INFO] _append_data: カデットブルーにヒストグラムの色をセットする -> plt.hist(データ列, color='cadetblue')
2022-05-31 02:06:18,299@ root [INFO] _append_data: nが負の数か -> n < 0
2022-05-31 02:06:22,695@ root [INFO] _loading_dataset: loaded 14372 dataset
2022-05-31 02:06:22,696@ root [INFO] _loading_dataset: loading data/kogi6_test.tsv
2022-05-31 02:06:22,697@ root [INFO] _append_data: グラフの色テーマを色差別なくする -> sns.set(pallete='colorblind')
2022-05-31 02:06:22,698@ root [INFO] _append_data: 縦方向に３つのデータフレームを連結する -> pd.concat([df, df2, df3], axis=0)
2022-05-31 02:06:22,699@ root [INFO] _append_data: 折れ線グラフに四角印を加える -> plt.plot(データ列, データ列2, marker='s')
2022-05-31 02:06:22,699@ root [INFO] _append_data: 折れ線グラフを実線に設定する -> plt.plot(データ列, データ列2, linestyle='solid')
2022-05-31 02:06:22,700@ root [INFO] _append_data: 折れ線グラフの色をライトサーモンに指定する -> plt.plot(データ列, データ列2, color='lightsalmon')
2022-05-31 02:06:23,613@ root [INFO] _loading_dataset: loaded 2725 dataset
2022-05-31 08:05:40,786@ root [INFO] _setup_logger: PyTorch: 1.11.0+cu113
2022-05-31 08:05:40,788@ root [INFO] _setup_logger: hparams: Namespace(adam_epsilon=1e-08, additional_tokens='<nl> <tab> <b> </b> <e0> <e1> <e2> <e3>', batch_size=16, bos_token='', column=0, da_choice=0.4, da_shuffle=0.3, early_stop_callback=True, encoding='utf_8', files=['data/kogi6_train.tsv', 'data/kogi6_test.tsv'], fp_16=False, gradient_accumulation_steps=1, kfold=5, learning_rate=0.0003, limit_batches=-1, masking=False, masking_ratio=0.35, masking_style='denoising', max_epochs=30, max_grad_norm=1.0, max_length=128, max_seq_length=128, model_name_or_path='google/mt5-small', n_gpu=1, num_workers=4, opt_level='O2', output_dir='./kogi-mt5', progress_bar=False, project='kogi-mt5', save_checkpoint=False, seed=42, target_column=1, target_max_length=128, target_max_seq_length=128, tokenizer_name_or_path='google/mt5-small', warmup_steps=0, weight_decay=0.0)
2022-05-31 08:05:40,794@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 08:05:41,478@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer_config.json HTTP/1.1" 200 0
2022-05-31 08:05:41,483@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 08:05:42,231@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0
2022-05-31 08:05:42,237@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 08:05:42,913@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer_config.json HTTP/1.1" 200 0
2022-05-31 08:05:42,917@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 08:05:43,620@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/spiece.model HTTP/1.1" 200 0
2022-05-31 08:05:43,625@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 08:05:44,309@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer.json HTTP/1.1" 404 0
2022-05-31 08:05:44,311@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 08:05:44,988@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/added_tokens.json HTTP/1.1" 404 0
2022-05-31 08:05:44,991@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 08:05:45,675@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/special_tokens_map.json HTTP/1.1" 200 0
2022-05-31 08:05:45,678@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 08:05:46,360@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/tokenizer_config.json HTTP/1.1" 200 0
2022-05-31 08:05:46,363@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 08:05:47,053@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0
2022-05-31 08:05:47,638@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 08:05:48,323@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0
2022-05-31 08:05:49,140@ root [INFO] parse_hparams: vocab_size: 250100 250108
2022-05-31 08:05:49,153@ root [INFO] _main: Base model: google/mt5-small ['data/kogi6_train.tsv', 'data/kogi6_test.tsv']
2022-05-31 08:05:49,196@ torch.distributed.nn.jit.instantiator [INFO] <module>: Created a temporary directory at /tmp/9982441.1.gpu/tmpufibkjs3
2022-05-31 08:05:49,196@ torch.distributed.nn.jit.instantiator [INFO] _write: Writing /tmp/9982441.1.gpu/tmpufibkjs3/_remote_module_non_sriptable.py
2022-05-31 08:05:49,750@ urllib3.connectionpool [DEBUG] _new_conn: Starting new HTTPS connection (1): huggingface.co:443
2022-05-31 08:05:50,505@ urllib3.connectionpool [DEBUG] _make_request: https://huggingface.co:443 "HEAD /google/mt5-small/resolve/main/config.json HTTP/1.1" 200 0
2022-05-31 08:05:53,655@ root [INFO] _loading_dataset: loading data/kogi6_train.tsv
2022-05-31 08:05:53,681@ root [INFO] _append_data: 折れ線の線幅をnに設定する -> plt.plot(xdata, ydata, linewidth=n)
2022-05-31 08:05:53,682@ root [INFO] _append_data: 実数のサインを求める -> math.sin(x)
2022-05-31 08:05:53,682@ root [INFO] _append_data: データ列を100の位で丸める -> ds.round(-2)
2022-05-31 08:05:53,683@ root [INFO] _append_data: カデットブルーにヒストグラムの色をセットする -> plt.hist(データ列, color='cadetblue')
2022-05-31 08:05:53,683@ root [INFO] _append_data: nが負の数か -> n < 0
2022-05-31 08:05:57,529@ root [INFO] _loading_dataset: loaded 14372 dataset
2022-05-31 08:05:57,530@ root [INFO] _loading_dataset: loading data/kogi6_test.tsv
2022-05-31 08:05:57,531@ root [INFO] _append_data: グラフの色テーマを色差別なくする -> sns.set(pallete='colorblind')
2022-05-31 08:05:57,532@ root [INFO] _append_data: 縦方向に３つのデータフレームを連結する -> pd.concat([df, df2, df3], axis=0)
2022-05-31 08:05:57,532@ root [INFO] _append_data: 折れ線グラフに四角印を加える -> plt.plot(データ列, データ列2, marker='s')
2022-05-31 08:05:57,533@ root [INFO] _append_data: 折れ線グラフを実線に設定する -> plt.plot(データ列, データ列2, linestyle='solid')
2022-05-31 08:05:57,533@ root [INFO] _append_data: 折れ線グラフの色をライトサーモンに指定する -> plt.plot(データ列, データ列2, color='lightsalmon')
2022-05-31 08:05:58,251@ root [INFO] _loading_dataset: loaded 2725 dataset
2022-05-31 10:10:45,749@ root [INFO] _loading_dataset: loading data/kogi6_train.tsv
2022-05-31 10:10:45,752@ root [INFO] _append_data: 折れ線の線幅をnに設定する -> plt.plot(xdata, ydata, linewidth=n)
2022-05-31 10:10:45,752@ root [INFO] _append_data: 実数のサインを求める -> math.sin(x)
2022-05-31 10:10:45,752@ root [INFO] _append_data: データ列を100の位で丸める -> ds.round(-2)
2022-05-31 10:10:45,752@ root [INFO] _append_data: カデットブルーにヒストグラムの色をセットする -> plt.hist(データ列, color='cadetblue')
2022-05-31 10:10:45,752@ root [INFO] _append_data: nが負の数か -> n < 0
2022-05-31 10:10:45,787@ root [INFO] _loading_dataset: loaded 14372 dataset
2022-05-31 10:10:45,787@ root [INFO] _loading_dataset: loading data/kogi6_test.tsv
2022-05-31 10:10:45,789@ root [INFO] _append_data: グラフの色テーマを色差別なくする -> sns.set(pallete='colorblind')
2022-05-31 10:10:45,789@ root [INFO] _append_data: 縦方向に３つのデータフレームを連結する -> pd.concat([df, df2, df3], axis=0)
2022-05-31 10:10:45,789@ root [INFO] _append_data: 折れ線グラフに四角印を加える -> plt.plot(データ列, データ列2, marker='s')
2022-05-31 10:10:45,789@ root [INFO] _append_data: 折れ線グラフを実線に設定する -> plt.plot(データ列, データ列2, linestyle='solid')
2022-05-31 10:10:45,789@ root [INFO] _append_data: 折れ線グラフの色をライトサーモンに指定する -> plt.plot(データ列, データ列2, color='lightsalmon')
2022-05-31 10:10:45,795@ root [INFO] _loading_dataset: loaded 2725 dataset
2022-05-31 10:10:45,952@ root [INFO] test_and_save: データフレームのカラムが正規分布からどの程度、歪んでいるか調べる df[col].skew() df[col].kurt()
2022-05-31 10:10:47,287@ root [INFO] test_and_save: データフレームのリストカラムの中の欠損値の数を数える df[aList].isna().sum() df[aList].isna().sum()
2022-05-31 10:10:49,123@ root [INFO] test_and_save: 配列とリストについての散布図にカラーコードのポイントマーカーをプロットする plt.plot(xdata, ydata, marker='.', c=rgb) plt.plot(xdata, ydata, marker='.', c=rgb)
2022-05-31 10:10:50,276@ root [INFO] test_and_save: データフレームのカラムを丸めて整数型にする df[col].round().astype(int) df[col].round().astype(int)
2022-05-31 10:10:51,545@ root [INFO] test_and_save: ＜オプション＞色をトマトにセットする color = 'tomato' color = 'tomato'
2022-05-31 10:10:52,904@ root [INFO] test_and_save: ＜オプション＞パレットトルコイズを使用する color = 'paleturquoise' color = 'paleturquoise'
2022-05-31 10:10:54,166@ root [INFO] test_and_save: 折れ線グラフを描画して、その色をダークターコイズに指定する plt.plot(データ列, データ列2, color='darkturquoise') plt.plot(データ列, データ列2, color='darkturquoise')
2022-05-31 10:10:55,926@ root [INFO] test_and_save: リストの値を並べる sorted(aList) sorted(aList)
2022-05-31 10:10:57,186@ root [INFO] test_and_save: マップのキーとその値をペアとして取り出す aDict.items() aDict.items()
2022-05-31 10:10:58,574@ root [INFO] test_and_save: ＜オプション＞ラベンダーブラッシュにグラフの色をセットする color = 'lavenderblush' color = 'lavenderblush'
2022-05-31 10:11:00,031@ root [INFO] test_and_save: グラフに水平方向の破線を付ける plt.axhline(y=0, linestyle='dashed') plt.axhline(y=0, linestyle='dashed')
2022-05-31 10:11:01,382@ root [INFO] test_and_save: 日付データの曜日を使う aDate.weekday() aDate.weekday()
2022-05-31 10:11:03,187@ root [INFO] test_and_save: リストとリストの散布図を描画し、マーカーを星に変更する plt.plot(xdata, ydata, marker='*') plt.plot(xdata, ydata, marker='*')
2022-05-31 10:11:04,763@ root [INFO] test_and_save: 折れ線グラフを描画してその色をライトスレイグレーに設定する plt.plot(データ列, データ列2, color='lightslategray') plt.plot(データ列, データ列2, color='lightslategray')
2022-05-31 10:11:06,457@ root [INFO] test_and_save: 箱ヒゲ図を2つ並べる plt.boxplot([データ列, データ列2]) plt.boxplot([データ列, データ列2])
2022-05-31 10:11:07,917@ root [INFO] test_and_save: パステル調のの色をカラーコードに設定する plt.plot(xdata, ydata, linestyle='pastel', color=rgb) plt.plot(xdata, ydata, linestyle='pastel', color=rgb)
2022-05-31 10:11:09,479@ root [INFO] test_and_save: リストとリストについての散布図にカラーコードの丸マーカーをプロットする plt.plot(xdata, ydata, marker='o', c=rgb) plt.plot(xdata, ydata, marker='o', c=rgb)
2022-05-31 10:11:10,939@ root [INFO] test_and_save: 赤い四角マーカーで散布図をプロットする plt.plot(xdata, ydata, marker='s', c='r') plt.plot(xdata, ydata, marker='s', c='r')
2022-05-31 10:11:12,559@ root [INFO] test_and_save: マルーンにヒストグラムの色を設定する plt.hist(データ列, color='maroon') plt.hist(データ列, color='maroon')
2022-05-31 10:11:14,354@ root [INFO] test_and_save: データフレームのリストカラムの25パーセンタイルを計算する df[aList].quantile(percent/100) df[aList].quantile(0.25)
2022-05-31 10:11:15,656@ root [INFO] test_and_save: 文字列を区切りで区切って、文字列リストに変換する s.split(sep) s.split(sep)
2022-05-31 10:11:17,072@ root [INFO] test_and_save: Pandasでdatetime64型のデータフレームのカラムをインデックスにする df.index = pd.DatetimeIndex(df[col]) df.index = pd.DatetimeIndex(df[col])
2022-05-31 10:11:18,332@ root [INFO] test_and_save: 二つの整数最小公倍数 math.lcm(n, n2) math.lcm(n, n2)
2022-05-31 10:11:19,723@ root [INFO] test_and_save: 空白で文字列を区切って数列に変換する map(int, s.split()) map(int, s.split())
2022-05-31 10:11:21,033@ root [INFO] test_and_save: データフレームの列をヒストグラムとして可視化する plt.hist(df[column]) plt.hist(df[column])
2022-05-31 10:11:22,799@ root [INFO] test_and_save: 線グラフを描画して、その色をミディアムパープルに設定する plt.plot(データ列, データ列2, color='mediumpurple') plt.plot(データ列, データ列2, color='mediumpurple')
2022-05-31 10:11:24,391@ root [INFO] test_and_save: リストと数列について散布図をプロットする plt.scatter(xdata, ydata) plt.scatter(xdata, ydata)
2022-05-31 10:11:25,686@ root [INFO] test_and_save: カラムのNaNを最小値に設定する ds.fillna(ds.min()) ds.fillna(ds.min())
2022-05-31 10:11:27,228@ root [INFO] test_and_save: 配列の度数分布図をプロットする plt.hist(データ列, bins=n) plt.hist(aArray)
2022-05-31 10:11:28,917@ root [INFO] test_and_save: データフレームの中で、列と列の重複を消す df.drop_duplicates(subset=[column, column2]) df.drop_duplicates(subset=[column, column2])
2022-05-31 10:11:30,503@ root [INFO] test_and_save: ダークターコイズにヒストグラムの色を指定する plt.hist(データ列, color='darkturquoise') plt.hist(データ列, color='darkturquoise')
2022-05-31 10:11:32,112@ root [INFO] test_and_save: ヒストグラムの色をダークオリーブグリーンに変更する plt.hist(データ列, color='darkolivegreen') plt.hist(データ列, color='darkolivegreen')
2022-05-31 10:11:33,653@ root [INFO] test_and_save: 両端キューをdequeue deq.count(element) deq.popleft()
2022-05-31 10:11:35,286@ root [INFO] test_and_save: データフレームのリストカラムを100の位で丸めて整数型にする df[aList].round(-2).astype(int) df[aList].round(-2).astype(int)
2022-05-31 10:11:36,824@ root [INFO] test_and_save: 文字列はタイトル大文字小文字かどうか調べる s.istitle() s.istitle()
2022-05-31 10:11:38,258@ root [INFO] test_and_save: ファイルパスの拡張子付きのファイル名を使う os.path.abspath(filepath) os.path.basename(filepath)
2022-05-31 10:11:39,723@ root [INFO] test_and_save: データフレームの列がxである行を取り出す df[df[column] == x] df[df[column] == x]
2022-05-31 10:11:41,180@ root [INFO] test_and_save: オブジェクトのバイトサイズを知る sys.getsizeof(obj) sys.getsizeof(obj)
2022-05-31 10:11:43,101@ root [INFO] test_and_save: xにヒストグラムのアルファ値を設定する plt.hist(データ列, alpha=x) plt.hist(データ列, alpha=x)
2022-05-31 10:11:44,837@ root [INFO] test_and_save: ヒストグラムの色を濃いシアンに変更する plt.hist(データ列, color='darkcyan') plt.hist(データ列, color='darkcyan')
2022-05-31 10:11:46,147@ root [INFO] test_and_save: データフレームのカラムの75パーセンタイル df[col].quantile(percent/100) df[col].quantile(0.75)
2022-05-31 10:11:47,636@ root [INFO] test_and_save: データフレームが重複している df.duplicated() df.duplicated()
2022-05-31 10:11:49,187@ root [INFO] test_and_save: リストの末尾の要素を求める aList[i], aList[-1] aList[-1]
2022-05-31 10:11:50,810@ root [INFO] test_and_save: イテラブルから集合を使う set(iterable) set(iterable)
2022-05-31 10:11:52,064@ root [INFO] test_and_save: TSVをデータフレームとして読み込む pd.read_csv(filename, sep='\t', encoding='utf-8') pd.read_csv(filename, sep='\t')
2022-05-31 10:11:53,636@ root [INFO] test_and_save: 文字列の開始位置以降に部分文字列が含まれない s.find(sub, start)!= -1 s.find(sub, start) == -1
2022-05-31 10:11:55,143@ root [INFO] test_and_save: 黒い色差別ないグラフをプロットする plt.plot(xdata, ydata, linestyle='colorblind', color='k') plt.plot(xdata, ydata, linestyle='colorblind', color='k')
2022-05-31 10:11:56,755@ root [INFO] test_and_save: 組をソートする sorted(aTuple) sorted(aTuple)
2022-05-31 10:11:58,241@ root [INFO] test_and_save: ヒストグラムを描画して、その色をダークオレンジにする plt.hist(データ列, color='darkorange') plt.hist(データ列, color='darkorange')
2022-05-31 10:11:59,644@ root [INFO] test_and_save: ＜オプション＞色をスラグレーに変更する color ='slategray' color = 'slategrey'
2022-05-31 10:12:01,381@ root [INFO] test_and_save: リストと配列について破線グラフを描画し、、その色を淡いに設定する plt.plot(xdata, ydata, linestyle='dash', color='muted') plt.plot(xdata, ydata, linestyle='dash', color='muted')
2022-05-31 10:12:02,948@ root [INFO] test_and_save: 配列とイテラブルの散布図に黒い三角マーカーを描画する plt.plot(xdata, ydata, marker='^', c='k') plt.plot(xdata, ydata, marker='^', c='k')
2022-05-31 10:12:04,337@ root [INFO] test_and_save: まとめてValueMapでデータ列の値を置き換える ds.replace(ValueMap) ds.replace(ValueMap)
2022-05-31 10:12:06,086@ root [INFO] test_and_save: 文字列の最初からタブを取り除く s.rstrip('\t') s.lstrip('\t')
2022-05-31 10:12:07,328@ root [INFO] test_and_save: グラフの描画を綺麗にする import seaborn as sns import seaborn as sns
2022-05-31 10:12:08,538@ root [INFO] test_and_save: 文字列が小文字かどうか調べる s.islower() s.islower()
2022-05-31 10:12:10,308@ root [INFO] test_and_save: CSVTSVファイルをn番目のカラムを行として読み込む pd.read_csv(filename, index_col=n) pd.read_csv(filename, index_col=n)
2022-05-31 10:12:11,683@ root [INFO] test_and_save: 一方に含まれ、他方に含まれない集合を計算する aSet.difference(aSet2) aSet.difference(aSet2)
2022-05-31 10:12:13,412@ root [INFO] test_and_save: 配列の要素ごとの最大公約数 np.gcd(aArray, aArray2) np.gcd(aArray, aArray2)
2022-05-31 10:12:14,835@ root [INFO] test_and_save: TSV形式のファイルからデータフレームを読む pd.read_csv(filename, sep='\t', encoding='utf-8') pd.read_csv(filename, sep='\t', encoding='utf-8')
2022-05-31 10:12:16,168@ root [INFO] test_and_save: イテラブルとリストの折れ線グラフをカラーコードで描画する plt.plot(xdata, ydata, color=rgb) plt.plot(xdata, ydata, color=rgb)
2022-05-31 10:12:17,905@ root [INFO] test_and_save: データフレームのカラムのNaNを直後の値で埋める df[col].fillna(method='bfill') df[col].fillna(method='bfill')
2022-05-31 10:12:19,481@ root [INFO] test_and_save: ヒストグラムを描画して、その色をダークカーキにする plt.hist(データ列, color='darkkhaki') plt.hist(データ列, color='darkkhaki')
2022-05-31 10:12:21,023@ root [INFO] test_and_save: リストとリストを加える aList + aList2 aList + aList2
2022-05-31 10:12:22,654@ root [INFO] test_and_save: リストとリストについて散布図を描画してポイントマーカーの色をカラーコードに設定する plt.plot(xdata, ydata, marker='.', c=rgb) plt.plot(xdata, ydata, marker='.', c=rgb)
2022-05-31 10:12:24,619@ root [INFO] test_and_save: データフレームを列で並べて更新する df.sort_values(by=column, inplace=True) df.sort_values(by=column, inplace=True)
2022-05-31 10:12:26,456@ root [INFO] test_and_save: グラフのパレットを濃くする sns.set(pallete='deep') sns.set(pallete='deep')
2022-05-31 10:12:28,332@ root [INFO] test_and_save: 二つの列を並べて箱ひげ図にする plt.boxplot([データ列, データ列2], color=['b', 'r']) plt.boxplot([df[column], df[column2]])
2022-05-31 10:12:30,230@ root [INFO] test_and_save: 日付データと日付データの時間差を秒で求める (aDate - aDate2).total_seconds()//60 (aDate - aDate2).total_seconds()//60
2022-05-31 10:12:31,772@ root [INFO] test_and_save: データフレームのn行目を破壊的に消す df.drop(n, axis=0, inplace=True) df.drop(n, axis=0, inplace=True)
2022-05-31 10:12:33,347@ root [INFO] test_and_save: 黒色のポイントマーカーで散布図を描画する plt.plot(xdata, ydata, marker='.', c='k') plt.plot(xdata, ydata, marker='.', c='k')
2022-05-31 10:12:34,815@ root [INFO] test_and_save: 最後の部分文字列によって文字列を二分割する s.rpartition(sub) s.rpartition(sub)
2022-05-31 10:12:36,391@ root [INFO] test_and_save: Pandasでエポック秒のデータ列からPandasの日付型に変換する pd.to_datetime(ds, unit='s', utc=True) pd.to_datetime(ds, unit='s', utc=True)
2022-05-31 10:12:38,030@ root [INFO] test_and_save: データフレームのリスト列のヒートマップをグラフ化する sns.heatmap(df[aList].corr()) sns.heatmap(df[aList].corr())
2022-05-31 10:12:39,620@ root [INFO] test_and_save: シャルトリューズにヒストグラムの色を指定する plt.hist(データ列, color='chartreuse') plt.hist(データ列, color='chartreuse')
2022-05-31 10:12:41,248@ root [INFO] test_and_save: リストにリストを加える aList.extend(aList2) aList.extend(aList2)
2022-05-31 10:12:43,056@ root [INFO] test_and_save: ▲マーカーを散布図に使う plt.plot(xdata, ydata, marker='^') plt.plot(xdata, ydata, marker='^')
2022-05-31 10:12:44,634@ root [INFO] test_and_save: ファイルパスから読み込みストリームを開いて]、fとする f = open(filepath, mode='r') f = open(filepath, mode='r')
2022-05-31 10:12:45,815@ root [INFO] test_and_save: 列によってデータフレームをソートして、インデックスを振り直す df.sort_values(columns).reset_index() df.sort_values(columns).reset_index(drop=True)
2022-05-31 10:12:47,586@ root [INFO] test_and_save: 黒い淡いグラフを描く plt.plot(xdata, ydata, linestyle='muted', color='k') plt.plot(xdata, ydata, linestyle='muted', color='k')
2022-05-31 10:12:48,871@ root [INFO] test_and_save: ファイルに文字列を書く f.write(s) f.write(s)
2022-05-31 10:12:50,267@ root [INFO] test_and_save: 折れ線グラフの色をダークシアンにする plt.plot(データ列, データ列2, color='darkcyan') plt.plot(データ列, データ列2, color='darkcyan')
2022-05-31 10:12:52,032@ root [INFO] test_and_save: ＜オプション＞プラムにグラフの色を変更する color = 'plum' color = 'plum'
2022-05-31 10:12:53,454@ root [INFO] test_and_save: リストとリストを使って明るいの折れ線を描いて、その線幅をnに指定する plt.plot(xdata, ydata, linestyle='bright', color='r') plt.plot(xdata, ydata, linestyle='bright', color='r')
2022-05-31 10:12:54,685@ root [INFO] test_and_save: 折れ線グラフを描画してその色を赤に設定する plt.plot(データ列, データ列2, color='red') plt.plot(データ列, データ列2, color='red')
2022-05-31 10:12:56,089@ root [INFO] test_and_save: リストとデータ列について色差別ないグラフを描いて、色を黒にする plt.plot(xdata, ydata, linestyle='colorblind', color='k') plt.plot(xdata, ydata, linestyle='colorblind', color='k')
2022-05-31 10:12:57,644@ root [INFO] test_and_save: ヒストグラムの色をクリムゾンに指定する plt.hist(データ列, color='crimson') plt.hist(データ列, color='crimson')
2022-05-31 10:12:59,326@ root [INFO] test_and_save: カウンタを少ない方からリストとして得る aCounter.most_common()[:-1] aCounter.most_common()[::-1]
2022-05-31 10:13:00,467@ root [INFO] test_and_save: 数を整数にする int(x) int(x)
2022-05-31 10:13:01,721@ root [INFO] test_and_save: ＜オプション＞グラフの種類を一点鎖線にする linestyle = 'dashbot' linestyle = 'dashbot'
2022-05-31 10:13:03,441@ root [INFO] test_and_save: nがn2の倍数かどうか調べる n % n2 == 0 n % n2 == 0
2022-05-31 10:13:04,970@ root [INFO] test_and_save: タプルの文字列が最初に見つかる場所 aTuple.index(element) aTuple.index(element)
2022-05-31 10:13:06,492@ root [INFO] test_and_save: nの八進数表記 oct(n) oct(n)
2022-05-31 10:13:08,082@ root [INFO] test_and_save: ヒストグラムを描画して色をビスクに設定する plt.hist(データ列, color='bisque') plt.hist(データ列, color='bisque')
2022-05-31 10:13:09,727@ root [INFO] test_and_save: イテラブルの要素を両端キューの末尾に追加する collections.deque(iterable) deq.extend(iterable)
2022-05-31 10:13:10,917@ root [INFO] test_and_save: コマンドの第２引数を知る sys.argv[1] sys.argv[1]
2022-05-31 10:13:12,319@ root [INFO] test_and_save: タイムスタンプデータをn時間前に戻す aDatetime - datetime.timedelta(days=n) aDatetime - datetime.timedelta(hours=n)
2022-05-31 10:13:13,796@ root [INFO] test_and_save: 数値の積分を行う sympy.diff(e, z) sympy.integrate(e)
2022-05-31 10:13:15,417@ root [INFO] test_and_save: 暗いパレットをグラフの描画で使う sns.set(pallete='dark') sns.set(pallete='dark')
2022-05-31 10:13:16,955@ root [INFO] test_and_save: カンマで文字列を分割して文字列リストにする s.split(',') s.split(',')
2022-05-31 10:13:18,303@ root [INFO] test_and_save: 数を万の位で四捨五入する round(x, -2) round(x, -4)
|