質問: oracleDBのデータ(1000万レコード分)をcsvファイルにして、embulkでBigQueryへバルクインサート処理をしています 100万レコード分のcsvファイルを10ファイル用意して、embulkでBigqueryへバルクインサートするのですが、可能であれば並列処理でバルクインサートしたいです。 実現可能であれば、並列処理方法を教えて頂きたいです。
回答: ``` in: type: file path_prefix: /path/to/oracle/data # 01 ... 10 # .. ``` というファイルを読み込みすれば勝手に並列化されます。 並列数を明示的に指定する場合は`max_threads`を指定してください。 100万エントリを10個同時に読み込みした場合、10個のテーブルをUnionするので、 `-c`オプションを使って複数回に分けてインサートした方が良いかもしれません。 oracleからデータを取得して10個のファイルに分割するのであれば、oracleからデータを 読み込んでそのままBigqueryに入れた方が速いかもしれません。 * 参考