質問: AWS S3互換のクラウドストレージはいくつかありますが、 このような環境同士で大量データを移行する際に安定して実行できる 方法またはアプリ、コードなどを教えていただけますか。 (S3互換→S3、S3互換→S3互換など) 以下のs3fsでマウント、aws cli syncでコピーが安定していそうですが、 記事にもあるように処理の制御に何か問題はないのか不安があります。 SDKで自前の開発も考えましたが、その前に何か参考になるものは無いか 探しています。aws cli syncに満足していないというよりは、 よりより方法やSDKをベースにしたコードがあれば教えて頂きたいです。 よろしくお願いします。
回答: SDKやCLIを使う分には安定性の面で違いはないと思います。 そういった意味では「よりよい方法」は無いと思います。 SDKのコードは、質問に書かれているURLにも書かれています。また検索すれば色々見つかりますので 参考にされるのには困らないでしょう。 また、AWSのドキュメントにはも コードがありますのでご覧になってください。 例) 安定性という面で考えますと、s3fsを使う場合は、s3fs自体が安定してなければいけませんが、やや疑問があります。(といいつつ、全く問題ないかもしれません。) もしも s3 sync を使って バケットとローカルストレージを同期する際は、タイムスタンプとファイルサイズを比較するのでコピーされないオブジェクトが残る可能性があるので注意が必用です。 また、Syncは処理が重いので、結果的にSyncよりコピーのほうが速い場合もあるので 個人的には、Syncではなく全てコピーするほうが安心感があります。この辺は移行の頻度やデータ量によって最適解は変わってくるのかなという印象です。