(57)【要約】  データバックアップ先へのデータ転送をより短時間で完了できる、ソフトウェアストレージユニット、バックアップ方法、およびバックアップ制御プログラムを提供する。ソフトウェアストレージユニットは、複数の物理マシンを跨るように構築されたソフトウェアストレージ部と、外部のネットワークに接続されるスイッチ部とを備え、上記ソフトウェアストレージ部は、保持するデータのうち、データバックアップ先へ転送するバックアップ対象のデータを把握し、上記把握したデータを複数に分割し、上記分割されたデータを上記複数の物理マシンからそれぞれ上記スイッチ部を経由して、上記データバックアップ先へ転送するよう指示する。
2017090517.tif 000002
【特許請求の範囲】
【請求項１】
複数の物理マシンを跨るように構築されたソフトウェアストレージ手段と、外部のネットワークに接続されるスイッチ手段とを備え、
前記ソフトウェアストレージ手段は、保持するデータのうち、データバックアップ先へ転送するバックアップ対象のデータを把握し、前記把握したデータを複数に分割し、前記分割されたデータを前記複数の物理マシンからそれぞれ前記スイッチ手段を経由して、前記データバックアップ先へ転送するよう指示する、ソフトウェアストレージユニット。
【請求項２】
前記ソフトウェアストレージ手段は、前記複数の物理マシンを跨るように構築されてデータを保持する仮想プール手段をさらに含む、請求項１に記載のソフトウェアストレージユニット。
【請求項３】
制御手段は、メイン制御手段とサブ制御手段を備える、請求項２に記載のソフトウェアストレージユニット。
【請求項４】
前記制御手段の前記メイン制御手段は、前記仮想プール手段へのデータ保持を制御すると共に、前記バックアップ対象のデータを前記データバックアップ先へ転送する際には、前記分割されたデータについて一つの物理マシンから前記スイッチ手段を経由して、前記データバックアップ先へ転送するよう前記サブ制御手段へ指示する、請求項３に記載のソフトウェアストレージユニット。
【請求項５】
前記サブ制御手段を複数備え、
前記制御手段の前記メイン制御手段は、前記仮想プール手段へのデータ保持を制御すると共に、前記バックアップ対象のデータを前記データバックアップ先へ転送する際には、前記分割されたデータについて一つの物理マシンから前記スイッチ手段を経由して、前記データバックアップ先へ転送するよう、前記複数のサブ制御手段へそれぞれ指示する、請求項３に記載のソフトウェアストレージユニット。
【請求項６】
物理マシンが増設可能であり、増設された物理マシンを含めた前記複数の物理マシンを跨るように前記ソフトウェアストレージ手段が構築される、請求項１乃至請求項５のいずれか一項に記載のソフトウェアストレージユニット。
【請求項７】
予備の物理マシンを備えており、前記予備の物理マシンを含めた前記複数の物理マシンを跨るように前記ソフトウェアストレージ手段が構築される、請求項１乃至請求項５のいずれか一項に記載のソフトウェアストレージユニット。
【請求項８】
前記分割されたデータは、前記複数の物理マシンから一斉に前記データバックアップ先へ転送される、請求項１乃至請求項７のいずれか一項に記載のソフトウェアストレージユニット。
【請求項９】
前記複数の物理マシンは、データを保持するフラッシュメモリと、データを入出力するインタフェースとを含む、請求項１乃至請求項８のいずれか一項に記載のソフトウェアストレージユニット。
【請求項１０】
複数の物理マシンを跨ぐように構築されたソフトウェアストレージが保持するデータのうち、バックアップ対象のデータをデータバックアップ先へ転送する際に、前記バックアップ対象のデータを複数に分割し、前記分割されたデータを前記複数の物理マシンからそれぞれ、前記データバックアップ先へ転送するデータバックアップ方法。
【請求項１１】
前記バックアップ対象のデータを前記複数の物理マシンの数で分割する、請求項１０に記載のデータバックアップ方法。
【請求項１２】
複数の物理マシンを跨ぐように構築されたソフトウェアストレージが保持するデータのうち、バックアップ対象のデータをデータバックアップ先へ転送するよう制御するバックアップ制御プログラムが記録された記録媒体であって、
コンピュータに、
前記データバックアップ先へ転送する前記バックアップ対象のデータを把握する処理と、
前記把握したデータを複数に分割する処理と、
前記分割されたデータを前記複数の物理マシンからそれぞれ前記データバックアップ先へ転送するよう指示する処理と、を実行させるバックアップ制御プログラムが記録された記録媒体。
【請求項１３】
前記把握したデータを複数に分割する処理は、前記バックアップ対象のデータを前記複数の物理マシンの数で分割する処理である、請求項１２に記載のバックアップ制御プログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ソフトウェアストレージユニット、バックアップ方法、およびバックアップ制御プログラムが記録された記録媒体に関し、特にストレージを用いたデータのバックアップに関する。
【背景技術】
【０００２】
近年、運用システムで使用するデータは、システム障害・故障だけではなく、災害時の対策としてもバックアップすることが重要視されている。そのため、運用システムとは別にバックアップシステムを設置して、運用システムのデータをバックアップシステムにバックアップを行っている。そして、万が一、運用システムにおいてシステム障害・故障、または災害により運用継続できなくなった場合は、バックアップしたデータを用いてバックアップシステムを運用システムとして立ち上げ、システム復旧させることにより運用継続できるようにしている。【０００３】
運用システムがシステム障害・故障等で運用継続できなくなった場合に備えて、運用システムとネットワーク経由で接続しているバックアップシステムにおいて、運用システム上でデータをバックアップシステムにバックアップ転送するシステムがある。このシステムではデータ保存にＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）を用いるストレージを使用しており、運用システム側のストレージ上に保存したデータをネットワーク経由でバックアップシステム側のストレージに転送している。【０００４】
このような背景技術のバックアップ転送するシステムについて、説明する。図８のシステムは、運用システム１００、バックアップシステム２００、および運用システム１００とバックアップシステム２００とを接続するネットワーク３００から構成される。運用システム１００は、ストレージ１０１、サーバ１０２、およびスイッチ１０３を含む。ストレージ１０１は、図９のようにストレージ４００内にインタフェース部４０１、制御部４０２、および上述したＨＤＤｏｒＳＳＤ４０３を含む構成である。バックアップシステム２００は、ストレージ２０１、サーバ２０２、およびスイッチ２０３を含む。【０００５】
次に、図８の運用システム１００のストレージ１０１から、バックアップシステム２００へのデータのバックアップ方式を説明する。背景技術のストレージ１０１を用いるデータのバックアップ方式では、運用システム１００を構成するストレージ１０１にバックアップするデータを書き込んでおく。そして、ストレージ１０１またはサーバ１０２からの指示により、ストレージ１０１に書き込まれたデータをバックアップシステム２００上のストレージ２０１にデータ送信する。このデータ送信は、運用システム１００を構成するスイッチ１０３、ネットワーク３００、およびバックアップシステム２００を構成するスイッチ２０３を経由するものである。このようなデータ送信により、運用システム１００のデータをバックアップシステム２００にバックアップすることができる。【０００６】
特許文献１はコンピュータシステムに関するものであり、データバックアップにはコンピュータシステムに接続されているディスク装置や磁気テープ装置に保存する方法やネットワーク経由で他のコンピュータに保存する方法が用いられることが、記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１０２５５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、背景技術のストレージを用いたデータのバックアップ方式には、次のような課題がある。【０００９】
第１の課題は、全てのデータを読み出してバックアップシステムに転送完了させるまでに非常に時間を要することである。近年、バックアップすべきデータ総量が数テラバイト（ＴＢ）程度以上となるシステムが増えて来ている。バックアップすべきデータ総量が非常に大きいシステムにおいて、ＨＤＤを用いるストレージで数テラバイトにおよぶデータを読み出して転送する場合を想定する。この場合、ＨＤＤのＩ／Ｏ（Input/Output）性能（ＩＯＰＳ）がせいぜい数１００ＩＯＰＳと低く、ストレージのデータ読み出し性能も低くなる。このため、全てのデータを読み出してバックアップシステムに転送完了させるまでに数十分〜数時間も時間がかかってしまうという課題がある。【００１０】
第２の課題は、第１の課題の対処としてＨＤＤの代わりに、ＨＤＤよりＩ／Ｏ性能が高いＳＳＤを使用することが考えられるが、ＨＤＤを用いたストレージ程では無いにしても非常に時間を要することである。数万〜１０万ＩＯＰＳ程度出せるＳＳＤを使用するストレージを利用する方法が考えられるが、ＳＳＤ使用のストレージのインタフェースのスループット性能が低い場合は、このインタフェースのスループット性能がネックとなる。このため、全てのデータを読み出してバックアップシステムに転送完了させるまでに、ＨＤＤを用いる背景技術のストレージ程では無いにしても、数分〜十数分程度も時間がかかってしまうという課題がある。【００１１】
本発明の目的は、より短時間でデータ転送を完了できるようスループット性能を向上させた、ソフトウェアストレージユニット、バックアップ方法、およびバックアップ制御プログラムが記録された記録媒体を提供することにある。
【課題を解決するための手段】
【００１２】
前記目的を達成するため、本発明に係るソフトウェアストレージ装置は、複数の物理マシンを跨るように構築されたソフトウェアストレージ部と、外部のネットワークに接続されるスイッチ部とを備え、
上記ソフトウェアストレージ部は、保持するデータのうち、データバックアップ先へ転送するバックアップ対象のデータを把握し、上記把握したデータを複数に分割し、上記分割されたデータを上記複数の物理マシンからそれぞれ上記スイッチ部を経由して、上記データバックアップ先へ転送するよう指示する。【００１３】
また、本発明に係るデータバックアップ方法は、複数の物理マシンを跨ぐように構築されたソフトウェアストレージが保持するデータのうち、バックアップ対象のデータをデータバックアップ先へ転送する際に、上記バックアップ対象のデータを複数に分割し、上記分割されたデータを上記複数の物理マシンからそれぞれ、上記データバックアップ先へ転送する。【００１４】
また、本発明に係るバックアップ制御プログラムが記録された記録媒体は、複数の物理マシンを跨ぐように構築されたソフトウェアストレージが保持するデータのうち、バックアップ対象のデータをデータバックアップ先へ転送するよう制御するバックアップ制御プログラムが記録された記録媒体であって、
コンピュータに、
上記データバックアップ先へ転送する上記バックアップ対象のデータを把握する処理と、
上記把握したデータを複数に分割する処理と、
上記分割されたデータを上記複数の物理マシンからそれぞれ上記データバックアップ先へ転送するよう指示する処理と、を実行させる。
【発明の効果】
【００１５】
本発明によれば、データバックアップ先へのデータ転送をより短時間で完了でき、スループット性能を向上させたバックアップ方式を実現できる。
【図面の簡単な説明】
【００１６】
【図１】本発明の最上位概念の実施形態によるソフトウェアストレージユニットを説明するための構成図である。
【図２】本発明の実施形態のバックアップ方法が適用される、本発明の実施形態のシステムを説明するためのブロック図である。
【図３】（ａ）および（ｂ）は、本発明の第１実施形態による運用システムのソフトウェアストレージの詳細を説明するためのブロック図である。
【図４】本発明の第１実施形態によるバックアップ方法を説明するためのシーケンスチャートである。
【図５】（ａ）および（ｂ）は、本発明の第２実施形態による運用システムのソフトウェアストレージの詳細を説明するためのブロック図である。
【図６】本発明の第２実施形態によるバックアップ方法を説明するためのシーケンスチャートである。
【図７】本発明の他の実施形態による運用システムのソフトウェアストレージの詳細を説明するためのブロック図である。
【図８】背景技術のバックアップ方法が適用されるシステムを説明するためのブロック図である。
【図９】背景技術のバックアップ方法が適用される運用システムの構成を説明するためのブロック図である。
【発明を実施するための形態】
【００１７】
本発明の好ましい実施形態について、図面を参照しながら詳細に説明する。図１は、本発明の最上位概念の実施形態によるソフトウェアストレージユニットを説明するための構成図である。以下の図面中の矢印の向きは、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
【００１８】
図１のソフトウェアストレージユニット１１０は、複数の物理マシン１１５を跨るように構築されたソフトウェアストレージ部１１２と、外部のネットワークに接続されるスイッチ部１１１とを備える。ソフトウェアストレージ部１１２は、保持するデータのうち、データバックアップ先へ転送するバックアップ対象のデータを把握し、上記把握したデータを複数に分割する。さらにソフトウェアストレージ部１１２は、上記分割されたデータを上記複数の物理マシンからそれぞれ上記スイッチ部１１１を経由して、上記データバックアップ先へ転送するよう指示する。なお、ソフトウェアストレージ部１１２はデータを保持する仮想プール部１１３を有する。
【００１９】
図１のソフトウェアストレージユニット１１０は、ソフトウェアストレージ部１１２が保持するデータを外部のデータバックアップ先へ転送する際に、転送するバックアップ対象のデータを把握し、上記把握したデータを複数に分割する。さらにソフトウェアストレージユニット１１０は、上記分割されたデータを上記複数の物理マシン１１５からそれぞれ、上記データバックアップ先へ転送する。
【００２０】
図１のソフトウェアストレージユニット１１０では、ソフトウェアストレージ部１１２の基盤となっている複数台の物理マシンのインタフェースをバックアップのデータ送信に利用することにより、高いスループット性能を発揮することができる。さらに、ソフトウェアストレージとして高いスループット性能を発揮することができることにより、バックアップ対象のデータの総量が大きかったとしても短時間でバックアップを完了できる。以下、より具体的な本発明の実施形態について、説明する。
【００２１】
〔第１実施形態〕
初めに、本発明の第１実施形態によるソフトウェアストレージユニット、バックアップ方法について、説明する。図２は、本発明の実施形態のバックアップ方法が適用される、本発明の実施形態のシステムを説明するためのブロック図である。図３（ａ）および図３（ｂ）は、本発明の第１実施形態による運用システムのソフトウェアストレージの詳細を説明するためのブロック図である。図４は、本発明の第１実施形態によるバックアップ方法を説明するためのシーケンスチャートである。
【００２２】
（構成）
図２のシステムは、運用システム１、バックアップシステム２、および運用システム１とバックアップシステム２とを接続するネットワーク３を含んで、構成される。運用システム１は、ソフトウェアストレージ１１、サーバ１２、およびネットワーク３に接続されるスイッチ１３を含む。バックアップシステム２は、ソフトウェアストレージ２１、サーバ２２、およびネットワーク３に接続されるスイッチ２３を含む。
【００２３】
図２において、運用システム１のソフトウェアストレージ１１は、運用システム１内で運用しているデータを保持している。言い換えると、運用システム１のソフトウェアストレージ１１は、運用システムで使用しているデータをサーバ１２より書き込んで保存している。ソフトウェアストレージ１１は、スイッチ１３とネットワーク３、およびバックアップシステム２のスイッチ２３を経由して、バックアップシステム２のソフトウェアストレージ２１へ、ソフトウェアストレージ１１が保持しているデータを転送する。
【００２４】
図３（ａ）および図３（ｂ）において、ソフトウェアストレージ１１は、ｎ台の物理マシン（ＰＭ：Physical Machine）を跨ぐようにソフトウェアをインストールして、構築したものである。なお以下では、ｎ台の物理マシン（ＰＭ）をｎ台の物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのように記載する。ここでｎは、２以上の自然数であればよい。
【００２５】
図３（ａ）に示すように、物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎはそれぞれ、データを保持するフラッシュメモリ７１〜７ｎと、データを入出力するインタフェース８１〜８ｎとを含んで構成される。
【００２６】
ソフトウェアストレージ１１は、ｎ台の物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎを跨ぐように構築された、仮想プール６と、制御部５とを含む。仮想プール６は、ユーザがソフトウェアストレージ１１の制御部５に指示することで、ｎ台の物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎに存在するフラッシュメモリ７１〜７ｎ上に作成されたものである。ソフトウェアストレージ１１上において、ユーザがソフトウェアストレージ１１の制御部５に指示することにより、ｎ台の物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎ上に存在するフラッシュメモリ７１〜７ｎを利用して仮想プール６を作成する。ソフトウェアストレージ１１の仮想プール６上に、運用システム１のデータを保存しておく。
【００２７】
物理マシン４１は、ＨＤＤやＳＳＤよりＩ／Ｏ性能の高いフラッシュメモリ７１と、背景技術のストレージのインタフェースと同程度のスループット性能を持つインタフェース８１とを含むハードウェア構成である。なお物理マシン４１はその他に市販のサーバを構成するＣＰＵ（Central Processing Unit）、等も含めたハードウェア構成であるが、説明の都合上、フラッシュメモリ７１とインタフェース８１のみ表記している。残りの物理マシン（ＰＭ−２〜ＰＭ−ｎ）４２〜４ｎは、物理マシン（ＰＭ−１）４１と同じ構成であり、フラッシュメモリ７２〜７ｎと、インタフェース８２〜８ｎと、その他に市販のサーバを構成するＣＰＵ、等を含む構成である。
【００２８】
運用システム１が保持するデータをバックアップシステム２にバックアップする際、ソフトウェアストレージ１１の制御部５は、バックアップ対象の総データ量を仮想プール６に問合せる。この問合せのトリガは、ユーザからの指示、サーバ１２からの指示、またはソフトウェアストレージ１１に設定されたタイミングなどが考えられる。
【００２９】
問合せの結果、入手したバックアップ対象の総データ量を物理マシン（ＰＭ−１〜ＰＭ−ｎ）ｎ台で割った容量を各物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのインタフェース８１〜８ｎが送信するデータ量と判断する。次に、仮想プール６からバックアップ対象のデータを読み込み、各物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎの各インタフェース８１〜８ｎが送信を担当するデータ量に分割する。
【００３０】
そして、各インタフェース８１〜８ｎにデータ送信の指示を出すと共に、各インタフェース８１〜８ｎ用に分割したデータを各インタフェース８１〜８ｎに渡す。これにより、仮想プール６上の運用システム１のデータを、全ての物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのインタフェース８１〜８ｎから一斉に送信する。言い換えると、全ての物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのインタフェース８１〜８ｎから同じタイミングで一斉にバックアップシステム２のソフトウェアストレージ２１に向けてデータの送信を開始する。
【００３１】
物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのインタフェース８１〜８ｎから送信されたソフトウェアストレージ１１の仮想プール６上のデータは、バックアップシステム２のソフトウェアストレージ２１に転送される。仮想プール６上のデータの転送は、運用システム１のスイッチ１３とネットワーク３、およびバックアップシステム２のスイッチ２３を経由する。仮想プール６上のデータは、バックアップシステム２のソフトウェアストレージ２１に転送され、ソフトウェアストレージ２１の仮想プールに書き込まれる。ソフトウェアストレージ１１の仮想プール６上の全てのデータが送信され、ソフトウェアストレージ２１の仮想プールに書き込みが完了するとバックアップが完了する。
【００３２】
上述したデータ送信では、全てのインタフェース８１〜８ｎの各々から同じ容量のデータを一斉に送信することにより、ソフトウェアストレージ全体としてのスループット性能を向上させる。
【００３３】
したがって、バックアップすべきデータ総量が数テラバイト（ＴＢ）程度以上に容量が大きかったとしても、データ転送のスループット性能を向上させたバックアップ方式を提供することができる。ソフトウェアストレージ１１を導入したｎ台の物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎの全てのインタフェース８１〜８ｎを利用して、全てのインタフェース８１〜８ｎから一斉にデータを送信することにより、データ転送のスループット性能向上を実現できる。
【００３４】
なお、上述したバックアップ対象のデータ量の分割は、分割することが趣旨であるので、均等な分割であっても、ほぼ均等な分割であってもよい。ただし、インタフェース８１〜８ｎの各々からデータを一斉に送信するので、データ量の均等な分割のときにデータ転送のスループット性能は最大になる。
【００３５】
（動作）
次に図４のシーケンスチャートを使用して、本実施形態のバックアップ方式の動作について、詳細に説明する。
【００３６】
ここでは、運用システム１のサーバ１２からソフトウェアストレージ１１の制御部５にデータのバックアップ指示を出してから、バックアップシステム２のソフトウェアストレージ２１に向けてデータの送信を行う動作を、説明する。すなわち上記バックアップ指示をトリガとして、制御部５よりデータ送信の指示を受けた物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのインタフェース８１〜８ｎが、仮想プール６内のデータを読み込んだ制御部５からデータを受け取り、同じタイミングで一斉にデータの送信を行う動作を、説明する。
【００３７】
ユーザからバックアップ指示を出す場合も、それ以降の動作は同じであるため、説明を省略する。また図４では、運用システム１からバックアップシステム２へのデータのバックアップ方式を説明しているが、本システムではバックアップシステム２から運用システム１へのデータのバックアップも可能である。バックアップシステム２が、上述した運用システム１のｎ台の物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎと同様な構成を備えるようにして、ソフトウェアストレージ２１を、ｎ台の物理マシンを跨ぐように上記仮想プールと制御部とを含むよう、構築すればよい。このような逆方向のバックアップ方式についても動作は同じであるため、こちらも説明を省略する。さらに、ソフトウェアストレージ１１にデータをバックアップするタイミングが設定されている場合も、それ以降の動作は同じであるため説明を省略する。
【００３８】
まず、運用システム１のサーバ１２は、ソフトウェアストレージ１１の仮想プール６上に保存されているデータをバックアップシステム２のソフトウェアストレージ２１に送信するよう、ソフトウェアストレージ１１の制御部５にバックアップ指示を送信する（Ｓ１）。
【００３９】
バックアップ指示を受信した制御部５は、バックアップ対象のデータが仮想プール６上のどこに、どのくらいのデータ量で保存されているか把握するため、仮想プール６にデータ確認を送信する。このデータ確認を受信した仮想プール６は、バックアップ対象のデータのデータ量を確認応答で返信する（Ｓ２）。
【００４０】
確認応答を受信した制御部５は、バックアップ対象のデータ保存領域、総データ量を把握し、バックアップ対象の総データ量を全ての物理マシン（ＰＭ−１〜ＰＭ−ｎ）ｎ台で割った容量を算出する（Ｓ３）。この算出された容量は、インタフェース８１〜８ｎの各々が送信を担当するデータ量になる。
【００４１】
その後、制御部５は、仮想プール６にデータ読込を送信し、仮想プール６からの読込応答によりバックアップ対象のデータを入手する（Ｓ４）。なおこの時点では、制御部５はバックアップ対象のデータの総量を入手できたかどうか確認しなくてよい。その後、制御部５は、仮想プール６から読込んだバックアップ対象の全データの一部を、物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎの各インタフェース８１〜８ｎから送信させるためにデータを分割する。さらに制御部５は、物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎの各インタフェース８１〜８ｎにデータの送信指示を出すと共に、各インタフェース８１〜８ｎ用に分割した各データを各インタフェース８１〜８ｎに渡す（Ｓ５）。
【００４２】
送信指示を受信した物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのインタフェース８１〜８ｎは、各々、指示を受けた送信先にデータの送信を一斉に開始する（Ｓ６）。運用システム１のスイッチ１３は、物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのインタフェース８１〜８ｎから送信されて来たデータを、バックアップシステム２のソフトウェアストレージ２１に向けてネットワーク３へ送信する（Ｓ７）。
【００４３】
その後、ソフトウェアストレージ１１の制御部５は、全てのバックアップ対象データをソフトウェアストレージ１１の仮想プール６から読み込み、各インタフェース８１〜８ｎに送信指示を出したかチェックを実施する（Ｓ８）。制御部５は、バックアップ対象の全データを仮想プール６から読み込みできているか、ここで確認するようにしている。制御部５は同時に、上記送信指示（Ｓ５）を確実に実施したかを確認している。制御部５は、各インタフェース８１〜８ｎに送信指示を出したかどうかの状態を保持しておくことで、各インタフェース８１〜８ｎに送信指示を出したかチェックすることができる。チェックの結果、全てのバックアップ対象データの送信が完了していない場合、制御部５はシーケンスの（Ａ）に進み、Ｓ４〜Ｓ７の動作を実施し、再び全てのバックアップ対象データの送信が完了したかチェックを実施する。チェックの結果、送信完了していない場合は、Ｓ４〜Ｓ８の動作を繰り返し実施し、全てのバックアップ対象データの送信が完了した場合は、バックアップが完了する。こうして、ソフトウェアストレージ１１の仮想プール６上の全てのデータが送信され、ソフトウェアストレージ２１の仮想プールに書き込みが完了する。
【００４４】
（効果）
以上説明したように、本実施形態のソフトウェアストレージユニットやバックアップ方法においては、以下に記載するような効果を有する。
【００４５】
第一の効果は、ソフトウェアストレージの基盤となっているｎ台の物理マシンの全てのインタフェースをバックアップのデータ送信に利用することにより、ソフトウェアストレージとして高いスループット性能を出すことができることにある。
【００４６】
第二の効果は、ソフトウェアストレージとして高いスループット性能を出すことができることにより、バックアップすべきデータの総量（容量）が大きかったとしても背景技術のストレージと比較して短い時間でバックアップを完了できることにある。
【００４７】
〔第２実施形態〕
次に、本発明の第２実施形態によるソフトウェアストレージユニット、バックアップ方法について、説明する。図５（ａ）および図５（ｂ）は、本発明の第２実施形態による運用システムのソフトウェアストレージの詳細を説明するためのブロック図である。図６は、本発明の第２実施形態によるバックアップ方法を説明するためのシーケンスチャートである。
【００４８】
本実施形態のシステム構成は、図２に示した第１実施形態のシステム構成と基本的に同じであるが、本実施形態ではソフトウェアストレージ構成が異なる。すなわち、図３（ｂ）に示した第１実施形態のソフトウェアストレージ１１の制御部５を、図５（ｂ）に示すようにメイン制御部９１とサブ制御部９２〜サブ制御部９ｎという構成に置き換えた点で、異なる。
【００４９】
本実施形態のバックアップ方法が適用される、本発明の実施形態のシステムは、図２に示される第１実施形態のシステムと同様であるため、説明は省略する。
【００５０】
本実施形態では、図５（ａ）および図５（ｂ）において、ソフトウェアストレージ１１は、ｎ台の物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎを跨ぐようにソフトウェアをインストールして、構築したものである。ここでｎは、２以上の自然数であればよい。
【００５１】
図５（ａ）に示すように、ｎ台の物理マシン４１〜４ｎはそれぞれ、フラッシュメモリ７１〜７ｎと、インタフェース８１〜８ｎとを含んで構成される。
【００５２】
本実施形態のソフトウェアストレージ１１は第１実施形態と同様に、ｎ台の物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎを跨ぐようにソフトウェアストレージをインストールして構築したソフトウェアストレージである。本実施形態のソフトウェアストレージ１１は第１実施形態と同様に、ｎ台の物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎを跨ぐように構築された仮想プール６を含む。さらに本実施形態では、ｎ台の物理マシンのうち物理マシン４１に構築されたメイン制御部９１と、ｎ台の物理マシンのうち（ｎ−１）台の物理マシン４２〜４ｎに構築されたサブ制御部９２〜９ｎとを含む。
【００５３】
本実施形態では仮想プール６は、ユーザがソフトウェアストレージ１１のメイン制御部９１に指示することでｎ台の物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎ上に存在するフラッシュメモリ７１〜７ｎ上に作成される。また、メイン制御部９１、サブ制御部９２〜９ｎは、ソフトウェアストレージ１１内で接続されている。物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのハードウェア構成は、第１実施形態の物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのハードウェア構成と同じであるため、説明は省略する。
【００５４】
本実施形態のソフトウェアストレージ１１は、ユーザまたはサーバ１２からの指示により、運用システム１で運用しているデータを、通常はメイン制御部９１を経由して仮想プール６に書き込み保存している。
【００５５】
本実施形態では、ユーザまたはサーバ１２からの指示、またはソフトウェアストレージ１１に設定されたタイミングにより、メイン制御部９１は、バックアップ対象の総データ量を仮想プール６に問合せる。そして、入手したバックアップ対象の総データ量を物理マシン（ＰＭ−１〜ＰＭ−ｎ）ｎ台で割った容量を各物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのインタフェース８１〜８ｎが送信するデータ量と判断する。
【００５６】
そして、メイン制御部９１は、各サブ制御部９２〜９ｎに送信を担当させるデータ領域とデータ量をそれぞれ通知する。すなわち、物理マシン（ＰＭ−２）４２のインタフェース８２にデータ送信の指示を出すサブ制御部９２に、送信を担当させるデータ領域とデータ量を通知する。同様に、メイン制御部９１は、物理マシン（ＰＭ−３）４３のインタフェース８３にデータ送信の指示を出すサブ制御部９３に送信を担当させるデータ領域とデータ量を通知する。同様に、メイン制御部９１は、物理マシン（ＰＭ−ｎ）４ｎのインタフェース８ｎにデータ送信の指示を出すサブ制御部９ｎに送信を担当させるデータ領域とデータ量を通知する。
【００５７】
その後、メイン制御部９１、サブ制御部９２〜サブ制御部９ｎは、メイン制御部９１から順番にメイン制御部９１、サブ制御部９２〜サブ制御部９ｎが各々送信を担当するデータを仮想プール６から読み込む。そして、メイン制御部９１からインタフェース８１に、サブ制御部９２からインタフェース８２に、サブ制御部９ｎからインタフェース８ｎにデータ送信の指示を出すと共に、各インタフェース８１〜８ｎが送信するデータを各インタフェース８１〜８ｎに渡す。これにより、仮想プール６上の運用システム１のデータを、全ての物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのインタフェース８１〜８ｎから同じタイミングで一斉に、バックアップシステム２のソフトウェアストレージ２１に向けてデータ送信を開始する。
【００５８】
（動作）
次に図６のシーケンスチャートを使用して、本実施形態のバックアップ方式の動作について、詳細に説明する。
【００５９】
ここでは、運用システム１のサーバ１２からソフトウェアストレージ１１のメイン制御部９１にデータのバックアップ指示を出してから、バックアップシステム２のソフトウェアストレージ２１に向けてデータの送信を行う動作を、説明する。すなわちメイン制御部９１、サブ制御部９２〜サブ制御部９ｎよりデータ送信の指示を受けた物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのインタフェース８１〜８ｎが、仮想プール６内のデータを読み込んだメイン制御部９１、サブ制御部９２〜サブ制御部９ｎからデータを受け取り、同じタイミングで一斉にデータの送信を行う動作を、説明する。
【００６０】
ユーザからバックアップ指示を出す場合も、それ以降の動作は同じであるため説明を省略する。また図６では、運用システム１からバックアップシステム２へのデータのバックアップ方式を説明しているが第１実施形態と同様に、逆方向のバックアップ方式についても動作は同じであるため、こちらも説明を省略する。さらに、ソフトウェアストレージ１１にデータをバックアップするタイミングが設定されている場合も、それ以降の動作は同じであるため説明を省略する。
【００６１】
まず、運用システム１のサーバ１２は、ソフトウェアストレージ１１の仮想プール６上に保存されているデータをバックアップシステム２のソフトウェアストレージ２１に送信するよう、ソフトウェアストレージ１１のメイン制御部９１にバックアップ指示を送信する（Ｓ１１）。バックアップ指示を受信したメイン制御部９１は、バックアップ対象のデータが仮想プール６上のどこに、どのくらいのデータ量で保存されているか把握するため、仮想プール６にデータ確認を送信し、仮想プール６はバックアップ対象のデータのデータ量を確認応答で返信する（Ｓ１２）。確認応答を受信したメイン制御部９１は、バックアップ対象のデータ保存領域、総データ量を把握して、バックアップ対象の総データ量を全ての物理マシン（ＰＭ−１〜ＰＭ−ｎ）ｎ台で割った容量を算出する（Ｓ１３）。この算出された容量は、インタフェース８１〜８ｎの各々が送信を担当するデータ量になる。
【００６２】
その後、メイン制御部９１は、サブ制御部９２〜サブ制御部９ｎに各々送信を担当させる対象データのデータ領域とデータ量を通知する（Ｓ１４）。その後、メイン制御部９１は、仮想プール６にデータ読込を送信し、仮想プール６からの読込応答によりメイン制御部９１が担当するバックアップ対象データを入手する。次にメイン制御部９１、サブ制御部９２、サブ制御部９３〜サブ制御部９ｎの順番で、各々仮想プール６にデータ読込を送信し、仮想プール６からの読込応答によりサブ制御部９２〜サブ制御部９ｎが担当するバックアップ対象データを入手する（Ｓ１５）。なおこの時点では、メイン制御部９１はバックアップ対象のデータの総量を入手できたかどうか確認しなくてよい。
【００６３】
その後、メイン制御部９１は、物理マシン（ＰＭ−１）４１のインタフェース８１にデータの送信指示を出すと共に、インタフェース８１が送信するデータをインタフェース８１に渡す。これにより、仮想プール６から読込んだバックアップ対象の全データの一部を、物理マシン（ＰＭ−１）４１のインタフェース８１から送信させる。同じタイミングで、サブ制御部９２は、物理マシン（ＰＭ−２）４２のインタフェース８２にデータの送信指示を出すと共に、インタフェース８２が送信するデータをインタフェース８２に渡す。これにより、仮想プール６から読込んだバックアップ対象の全データの一部を、物理マシン（ＰＭ−２）４２のインタフェース８２から送信させる。さらに同じタイミングで、サブ制御部９３〜サブ制御部９ｎも同様に、物理マシン（ＰＭ−３〜ＰＭ−ｎ）４３〜４ｎのインタフェース８３〜８ｎにデータの送信指示を出すと共に、インタフェース８３〜８ｎが送信するデータをインタフェース８３〜８ｎに渡す（Ｓ１６）。これにより、仮想プール６から読込んだバックアップ対象の全データの一部を、物理マシン（ＰＭ−３〜ＰＭ−ｎ）４３〜４ｎのインタフェース８３〜８ｎから送信させる。
【００６４】
送信指示を受信した物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのインタフェース８１〜８ｎは、各々、指示を受けた送信先にデータの送信を一斉に開始する（Ｓ１７）。運用システム１のスイッチ１３は、物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのインタフェース８１〜８ｎから送信されて来たデータをバックアップシステム２のソフトウェアストレージ２１に向けてネットワーク３へ送信する（Ｓ１８）。
【００６５】
その後、ソフトウェアストレージ１１のメイン制御部９１は、メイン制御部９１、および、サブ制御部９２〜サブ制御部９ｎが各々担当する全てのバックアップ対象データを仮想プール６から読み込み、そして読み込んだバックアップ対象データで、各インタフェース８１〜８ｎに送信指示を出したか、チェックを実施する（Ｓ１９）。メイン制御部９１は、バックアップ対象の全データを仮想プール６から読み込みできているか、ここで確認するようにしている。メイン制御部９１は同時に、上記送信指示（Ｓ１６）を確実に実施したかを確認している。チェックの結果、全てのバックアップ対象データの送信が完了していない場合、メイン制御部９１はシーケンスの（Ａ）に進み、Ｓ１５〜Ｓ１８の動作を実施し、再び全てのバックアップ対象データの送信が完了したかチェックを実施する。チェックの結果、送信完了していない場合は、Ｓ１５〜Ｓ１９の動作を繰り返し実施し、全てのバックアップ対象データの送信が完了した場合は、バックアップが完了する。こうして、ソフトウェアストレージ１１の仮想プール６上の全てのデータが送信され、ソフトウェアストレージ２１の仮想プールに書き込みが完了する。
【００６６】
（効果）
以上説明したように、本実施形態のソフトウェアストレージユニットやバックアップ方法においては、以下に記載するような効果を有する。
【００６７】
第一の効果は第１実施形態と同様に、ソフトウェアストレージの基盤となっているｎ台の物理マシンの全てのインタフェースをバックアップのデータ送信に利用することにより、ソフトウェアストレージとして高いスループット性能を出すことができることにある。
【００６８】
第二の効果は、バックアップすべきデータの総量（容量）が大きかったとしても背景技術のストレージと比較して短い時間でバックアップを完了できることにある。その理由は、第１実施形態と同様に、ソフトウェアストレージとして高いスループット性能を出すことができるからである。
【００６９】
さらに本実施形態によれば、メイン制御部９１が、サブ制御部９２〜サブ制御部９ｎに各々送信を担当させる対象データのデータ領域とデータ量を通知した後、物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎのインタフェース８１〜８ｎは、各々、指示を受けた送信先にデータの送信を一斉に開始している。これにより、より確実にバックアップ対象データを送信先に送信することができる。
【００７０】
〔その他の実施形態〕
上述した実施形態では、ソフトウェアストレージ１１は、ｎ台の物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎを跨ぐようにソフトウェアストレージをインストールして構築したソフトウェアストレージとした。しかしながら、物理マシンを増設できるようにして、増設した物理マシンをもソフトウェアストレージに組み込むことができるように、ソフトウェアストレージを構成しても良い。例えば、ｎ台の物理マシン（ＰＭ−１〜ＰＭ−ｎ）４１〜４ｎに対し、ｎ＋１台目の物理マシン（ＰＭ−ｎ＋１）を増設して、増設した物理マシン（ＰＭ−ｎ＋１）をもソフトウェアストレージに組み込むことができるように、ソフトウェアストレージを構成することが考えられる。新たな物理マシンの増設により、バックアップ対象のデータを送信できる物理マシン（ＰＭ−ｎ＋１）のインタフェースも利用できる。バックアップ対象の総データ量の分割数を増やすことができ、物理マシン（ＰＭ−ｎ＋１）増設前より、高いスループット性能を出すことが可能としても良い。
【００７１】
増設する物理マシンを、ｎ＋２台目の物理マシン（ＰＭ−ｎ＋２）、ｎ＋３台目の物理マシン（ＰＭ−ｎ＋３）、…、と増やしていき、増設した複数の物理マシンをもソフトウェアストレージに組み込むことができるように、ソフトウェアストレージを構成しても良い。
【００７２】
また、基本的にソフトウェアストレージに組み込むことができる増設物理マシン数に制限が無いソフトウェアストレージとしても良い。また、物理マシンのインタフェースのスループット性能が仮に１Ｇｂｐｓだったとしても、将来、スループット性能が１０Ｇｂｐｓ、１００Ｇｂｐｓまたはそれ以上の物理マシンが出てくる可能性がある。その場合は、ソフトウェアストレージ１１を導入する物理マシンをスループット性能が高いインタフェースを有する物理マシンに交換、増設可能なソフトウェアストレージとしても良い。これにより、更に高いスループット性能を出すことが可能としても良い。
【００７３】
また、本発明の各実施形態では、ソフトウェアストレージ１１、２１を構成するストレージ媒体を制限しない。ソフトウェアストレージ１１、２１が構築される物理マシンのストレージ媒体から、ネットワーク３への通信インタフェースまでのデータ転送の形態としては、運用システム１のメインメモリ経由の転送およびＤＭＡ（Direct Memory Access）による直接転送を含む。さらに、バックアップシステム２側は運用システム１側のデータ送信スループットを上回る受信スループットを持てばよく、運用システム１側と同一の構成であることは、必要としない。
【００７４】
上述した本発明の各実施形態に係るソフトウェアストレージユニットは、このような構成や動作を実現するプログラムを実行できる情報処理装置によっても実現されうる。このプログラムは、コンピュータ読み取り可能な記録媒体の形態で、流通され得る。このような記録媒体に記録されたプログラムを読み込んで、情報処理装置で実行することにより、本実施形態の機能をソフトウェア的に実現してもよい。
【００７５】
図７は、本発明の他の実施形態による運用システムのソフトウェアストレージの詳細を説明するためのブロック図である。図７の情報処理装置１１ａは、ＣＰＵ５ａ、メモリ５ｂ、フラッシュメモリ７、インタフェース８を備えている。このようなハードウェア構成の情報処理装置１１ａで、上述した本発明の実施形態のソフトウェアストレージユニットは、実現され得る。すなわち、ＣＰＵ５ａに、データバックアップ先へ転送するバックアップ対象のデータを把握する処理と、把握したデータを複数に分割する処理と、分割されたデータを複数の物理マシンからそれぞれデータバックアップ先へ転送するよう指示する処理と、を実行させるように構成すればよい。このような処理を実行させるプログラムは、プログラムを記録した記録媒体の形態で、流通され得る。このプログラムは、ＣＦ（Compact Flash（登録商標））およびＳＤ（Secure Digital）等の汎用的な半導体記録デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、またはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの光学記録媒体などの形態で、流通され得る。
【００７６】
最後に改めてまとめると、本発明の実施形態は一例として、ソフトウェアによるストレージ仮想化技術を元にしたソフトウェアストレージをベースにして、ソフトウェアストレージの仮想プール上に保存した運用システムのデータを、ソフトウェアストレージを導入している複数台の物理マシン（ＰＭ）の全てのインタフェースを利用して、全ての物理マシン（ＰＭ）のインタフェースから仮想プール上に保存した運用システムデータを一斉にバックアップシステムに送信することにより、バックアップすべきデータ総量が数テラバイト（ＴＢ）程度以上のように大容量であっても、ＨＤＤ／ＳＳＤを用いるストレージよりも短時間で全てのデータを転送完了できるようスループット性能を向上させたバックアップ方式を提供することを特徴とする。
【００７７】
以上、本発明の好ましい実施形態を説明したが、本発明はこれに限定されるものではない。請求の範囲に記載した発明の範囲内で、種々の変形が可能であり、それらも本発明の範囲に含まれることはいうまでもない。
【００７８】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）複数の物理マシンを跨るように構築されたソフトウェアストレージ部と、外部のネットワークに接続されるスイッチ部とを備え、前記ソフトウェアストレージ部は、保持するデータのうち、データバックアップ先へ転送するバックアップ対象のデータを把握し、前記把握したデータを複数に分割し、前記分割されたデータを前記複数の物理マシンからそれぞれ前記スイッチ部を経由して、前記データバックアップ先へ転送するよう指示する、ソフトウェアストレージユニット。
（付記２）前記ソフトウェアストレージ部は、前記複数の物理マシンを跨るように構築されてデータを保持する仮想プール部をさらに含む、付記１に記載のソフトウェアストレージユニット。
（付記３）制御部は、メイン制御部とサブ制御部を備える、付記２に記載のソフトウェアストレージユニット。
（付記４）前記制御部の前記メイン制御部は、前記仮想プール部へのデータ保持を制御すると共に、前記バックアップ対象のデータを前記データバックアップ先へ転送する際には、前記分割されたデータについて一つの物理マシンから前記スイッチ部を経由して、前記データバックアップ先へ転送するよう前記サブ制御部へ指示する、付記３に記載のソフトウェアストレージユニット。
（付記５）前記サブ制御部を複数備え、前記制御部の前記メイン制御部は、前記仮想プール部へのデータ保持を制御すると共に、前記バックアップ対象のデータを前記データバックアップ先へ転送する際には、前記分割されたデータについて一つの物理マシンから前記スイッチ部を経由して、前記データバックアップ先へ転送するよう、前記複数のサブ制御部へそれぞれ指示する、付記３に記載のソフトウェアストレージユニット。
（付記６）物理マシンが増設可能であり、増設された物理マシンを含めた前記複数の物理マシンを跨るように前記ソフトウェアストレージ部が構築される、付記１乃至付記５のいずれか一つに記載のソフトウェアストレージユニット。
（付記７）予備の物理マシンを備えており、前記予備の物理マシンを含めた前記複数の物理マシンを跨るように前記ソフトウェアストレージ部が構築される、付記１乃至付記５のいずれか一つに記載のソフトウェアストレージユニット。
（付記８）前記分割されたデータは、前記複数の物理マシンから一斉に前記データバックアップ先へ転送される、付記１乃至付記７のいずれか一つに記載のソフトウェアストレージユニット。
（付記９）前記複数の物理マシンは、データを保持するフラッシュメモリと、データを入出力するインタフェースとを含む、付記１乃至付記８のいずれか一つに記載のソフトウェアストレージユニット。
（付記１０）複数の物理マシンを跨ぐように構築されたソフトウェアストレージが保持するデータのうち、バックアップ対象のデータをデータバックアップ先へ転送する際に、前記バックアップ対象のデータを複数に分割し、前記分割されたデータを前記複数の物理マシンからそれぞれ、前記データバックアップ先へ転送するデータバックアップ方法。
（付記１１）前記バックアップ対象のデータを前記複数の物理マシンの数で分割する、付記１０に記載のデータバックアップ方法。
（付記１２）複数の物理マシンを跨ぐように構築されたソフトウェアストレージが保持するデータのうち、バックアップ対象のデータをデータバックアップ先へ転送するよう制御するバックアップ制御プログラムが記録された記録媒体であって、コンピュータに、前記データバックアップ先へ転送する前記バックアップ対象のデータを把握する処理と、前記把握したデータを複数に分割する処理と、前記分割されたデータを前記複数の物理マシンからそれぞれ前記データバックアップ先へ転送するよう指示する処理と、を実行させるバックアップ制御プログラムが記録された記録媒体。
（付記１３）前記把握したデータを複数に分割する処理は、前記バックアップ対象のデータを前記複数の物理マシンの数で分割する処理である、付記１２に記載のバックアップ制御プログラムが記録された記録媒体。
【産業上の利用可能性】
【００７９】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。【００８０】
この出願は、２０１５年１１月２４日に出願された日本出願特願２０１５−２２８５８５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００８１】
１    運用システム
２    バックアップシステム
１２、２２    サーバ
１３、２３    スイッチ
１１、２１    ソフトウェアストレージ
４１〜４ｎ    物理マシン
５    制御部
５ａ    ＣＰＵ
５ｂ    メモリ
６    仮想プール
７１〜７ｎ、７    フラッシュメモリ
８１〜８ｎ、８    インタフェース
９１    メイン制御部
９２〜９ｎ    サブ制御部
１１０    ソフトウェアストレージユニット
１１１    スイッチ部
１１２    ソフトウェアストレージ部
１１３    仮想プール部
１１５    物理マシン
【図１】
2017090517.tif 000003
【図２】
2017090517.tif 000004
【図３】
2017090517.tif 000005
【図４】
2017090517.tif 000006
【図５】
2017090517.tif 000007
【図６】
2017090517.tif 000008
【図７】
2017090517.tif 000009
【図８】
2017090517.tif 000010
【図９】
2017090517.tif 000011
【国際調査報告】
2017090517.tif 000012
2017090517.tif 000013