(57)【要約】【課題】データ取得のレイテンシが高いストレージデバイスを用いた場合であっても、装置全体のスループットの低下を防止する。【解決手段】データ管理装置１０は、低レイテンシストレージデバイス群１２と、高レイテンシストレージデバイス群１３との間でのデータの移動を管理するデータ管理装置であって、ストレージデバイス間でのデータの移動を管理するとともに、ユーザ端末２０から送信を要求されたデータの格納先が高レイテンシストレージデバイス群１３である場合には高レイテンシストレージデバイス群１３が格納するデータを取得するための取得用情報をユーザ端末２０に送信する制御部１５と、取得用情報に従ったデータ送信要求をユーザ端末２０から受けた場合、該取得用情報を基に高レイテンシストレージデバイス群１３から、送信を要求されたデータを取得してユーザ端末２０に送信する高レイテンシストレージデータ送信部１７と、を有する。【選択図】図１
2018010334.tif 000002
【特許請求の範囲】
【請求項１】
第１のストレージデバイスと、前記第１のストレージデバイスよりもデータ取得のレイテンシが高い第２のストレージデバイスとの間におけるデータの移動を管理するデータ管理装置であって、
ストレージデバイス間でのデータの移動を管理するとともに、外部装置から送信を要求されたデータの格納先が前記第１のストレージデバイスである場合には前記第１のストレージデバイスから前記送信を要求されたデータを取得して前記外部装置に送信し、前記送信を要求されたデータの格納先が前記第２のストレージデバイスである場合には前記第２のストレージデバイスが格納するデータを取得するための取得用情報を前記外部装置に送信する管理制御部と、
前記取得用情報に従ったデータ送信要求を前記外部装置から受けた場合、該取得用情報を基に前記第２のストレージデバイスから、前記送信を要求されたデータを取得して前記外部装置に送信するストレージデータ送信部と、
を有することを特徴とするデータ管理装置。
【請求項２】
前記取得用情報は、前記ストレージデータ送信部を介して前記第２のストレージデバイスに接続するための接続情報を含むことを特徴とする請求項１に記載のデータ管理装置。
【請求項３】
前記第１のストレージデバイスと前記第２のストレージデバイスとの間でデータを移動するデータ移動部をさらに有し、
前記管理制御部は、前記データ移動部に、アクセス頻度が所定の閾値よりも高いデータを前記第１のストレージデバイスに移動させ、アクセス頻度が所定の閾値未満であるデータを前記第２のストレージデバイスに移動させることを特徴とする請求項１または２に記載のデータ管理装置。
【請求項４】
前記第１のストレージデバイスと前記第２のストレージデバイスとの間でデータを移動するデータ移動部をさらに有し、
前記管理制御部は、前記データ移動部に、前記第１のストレージデバイスに格納されたデータのうち、データ格納からの経過時間が所定時間を超えたデータを、前記第２のストレージデバイスに移動させることを特徴とする請求項１または２に記載のデータ管理装置。
【請求項５】
第１のストレージデバイスと、前記第１のストレージデバイスよりもデータ取得のレイテンシが高い第２のストレージデバイスとの間におけるデータの移動を管理するデータ管理装置が実行する管理方法であって、
ストレージデバイス間でのデータの移動を管理するとともに、外部装置から送信を要求されたデータの格納先が前記第１のストレージデバイスである場合には前記第１のストレージデバイスから前記送信を要求されたデータを取得して前記外部装置に送信し、前記送信を要求されたデータの格納先が前記第２のストレージデバイスである場合には前記第２のストレージデバイスが格納するデータを取得するための取得用情報を前記外部装置に送信する管理工程と、
前記取得用情報に従ったデータ送信要求を前記外部装置から受けた場合、該取得用情報を基に前記第２のストレージデバイスから、前記送信を要求されたデータを取得して前記外部装置に送信するストレージデータ送信工程と、
を含んだことを特徴とするデータ管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ管理装置及びデータ管理方法に関する。
【背景技術】
【０００２】
高性能・高価なストレージデバイスと低性能・安価なストレージデバイスとを組み合わせて、これらのストレージデバイス間でデータを自動的に移動するストレージ自動階層化システムが提案されている（例えば、非特許文献１参照）。このストレージ自動階層化システムでは、アクセス頻度の高いデータを高性能なストレージデバイスに、アクセス頻度の低いデータを安価なストレージデバイスに格納することによって、組み合わせたストレージデバイス全体での性能及びコストのバランスを取ることを目指している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「ストレージ自動階層化とＮｅｔＡｐｐのバーチャル・ストレージ・ティア」、［online］、［平成２８年６月３０日検索］、インターネット＜ＵＲＬ：http://www.netapp.com/jp/communities/tech-ontap/tot-ast-virtual-storage-tier-1105-ja.aspx＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、従来のストレージ自動階層化システムでは、ＳＳＤ（Solid  State  Drive）に対して、レイテンシが数百倍かかるがデータ容量当たりのコストが数分の一程度に抑えられるＨＤＤを組み合わせることによって、性能とコストのバランスを取ってきた。
【０００５】
従来のストレージ自動階層化システムは、ＨＤＤやＳＳＤといった数ｍｓｅｃ〜数ｓｅｃでの応答が可能なストレージデバイスを用いることに的を絞った機能提供である。従来のストレージ自動階層化技術では、ユーザからのデータ取得要求を受け取ると、取得要求のあったデータを格納しているストレージデバイスに対して即座にストレージデバイスからのデータ取得を実行する。
【０００６】
そして、近年では、高レイテンシストレージデバイスを用いて、ストレージデバイス全体での性能及びコストのバランスのさらなる向上を図っている。この高レイテンシストレージデバイスは、ＨＤＤに比べてレイテンシが数万倍かかるものの、データ容量あたりのコストが十分の一〜十数分の一程度に抑えられるストレージデバイスである。
【０００７】
具体的に、高レイテンシストレージデバイスを用いた従来のストレージ自動階層化システムについて説明する。図１２は、従来のストレージ自動階層化システムの構成の一例を示す模式図である。図１３は、従来のデータ管理システムによるデータ取得処理の処理手順を示すフローチャートである。
【０００８】
図１２に示すように、従来のストレージ自動階層化システムでは、データ管理装置１０Ｐは、低レイテンシストレージデバイス（Ａ）〜（Ｃ）及び高レイテンシストレージデバイス（Ｘ）〜（Ｚ）を接続し、制御部１５Ｐが、データ再配置部１６Ｐに、アクセス頻度に応じてストレージデバイス間のデータを移動させている。そして、制御部１５Ｐは、ユーザ端末２０Ｐによるデータ取得要求に応じて、要求されたデータをストレージデバイスから取得し、送信する。
【０００９】
具体的には、データ管理装置１０Ｐの制御部１５Ｐは、ネットワーク３０を介して、ユーザ端末２０Ｐから、データ取得要求を受けると（図１２の（１）及び図１３のステップＳ４１参照）、データの格納先を示すデータマッピング１４１を参照して、データの格納先ストレージデバイスを確認する（図１２の（２）及び図１３のステップＳ４２参照）。続いて、制御部１５Ｐは、格納先のストレージデバイスにデータ取得要求を行う（図１２の（３−１），（３−２）及び図１３のステップＳ４３）。これに応じて、データの格納先のストレージデバイスは、制御部１５Ｐへデータを出力し（図１２の（４−１），（４−２）及び図１３のステップＳ４４）、制御部１５Ｐからユーザ端末２０Ｐへのデータ送信が行なわれる（図１２の（５）及び図１３のステップＳ４５）。
【００１０】
このように、このストレージデバイスからのデータ送付が完了するまで、データ管理装置１０Ｐの制御部１５Ｐは、ストレージ自動階層化処理等の他の処理を行えず、ストレージ自動階層化処理は待ち状態となる。言い換えると、このストレージデバイスからのデータ送付が完了するまで、データ取得要求の処理に制御部１５Ｐが占有される状態となる。このデータ取得要求の処理に制御部１５Ｐが占有される時間は、ストレージデバイスのレイテンシに左右される。
【００１１】
しかしながら、高レイテンシストレージデバイスは、ＨＤＤに比べてレイテンシが数万倍かかる。言い換えると、高レイテンシストレージデバイスは、数ｍｓｅｃ〜数ｓｅｃでの応答が可能なＨＤＤと比して、数時間の応答時間が必要となる。このため、高レイテンシストレージデバイスを用いると、高レイテンシストレージデバイスに格納されたデータに対してユーザがデータ取得要求を実行した際に、この要求を処理するために、ストレージ自動階層化処理の実行部が数時間にもわたって占有される。したがって、高レイテンシストレージデバイスを用いると、自動階層化システム全体のスループットが著しく低下するという問題があった。
【００１２】
本発明は、上記に鑑みてなされたものであって、データ取得のレイテンシが高いストレージデバイスを用いた場合であっても、装置全体のスループットの低下を防止することができるデータ管理装置及びデータ管理方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述した課題を解決し、目的を達成するために、本発明に係るデータ管理装置は、第１のストレージデバイスと、第１のストレージデバイスよりもデータ取得のレイテンシが高い第２のストレージデバイスとの間におけるデータの移動を管理するデータ管理装置であって、ストレージデバイス間でのデータの移動を管理するとともに、外部装置から送信を要求されたデータの格納先が第１のストレージデバイスである場合には第１のストレージデバイスから送信を要求されたデータを取得して外部装置に送信し、送信を要求されたデータの格納先が第２のストレージデバイスである場合には第２のストレージデバイスが格納するデータを取得するための取得用情報を外部装置に送信する管理制御部と、取得用情報に従ったデータ送信要求を外部装置から受けた場合、該取得用情報を基に第２のストレージデバイスから、送信を要求されたデータを取得して外部装置に送信するストレージデータ送信部と、を有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、データ取得のレイテンシが高いストレージデバイスを用いた場合であっても、装置全体のスループットの低下を防止することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の実施の形態におけるデータ管理システムの構成の一例を模式的に示す図である。
【図２】図２は、図１に示すデータマッピングのデータ構成の一例を示す図である。
【図３】図３は、図１に示す高レイテンシストレージデバイスリストのデータ構成の一例を示す図である。
【図４】図４は、図１に示す取得用情報テーブルのデータ構成の一例を示す図である。
【図５】図５は、図１に示すデータ管理システムにおけるデータ書き込み処理の流れを説明するための図である。
【図６】図６は、図１に示すデータ管理装置におけるデータ再配置処理の流れを説明するための図である。
【図７】図７は、図１に示すユーザ端末からのデータ取得要求に対するデータ管理装置における処理の流れについて説明する図である。
【図８】図８は、図１に示すデータ管理装置におけるデータ書き込み処理の処理手順を示すフローチャートである。
【図９】図９は、図１に示すデータ管理装置におけるデータ再配置処理の処理手順を示すフローチャートである。
【図１０】図１０は、図１に示すデータ管理装置におけるユーザ端末からのデータ取得要求に対する処理の処理手順を示すフローチャートである。
【図１１】図１１は、プログラムが実行されることにより、データ管理装置が実現されるコンピュータの一例を示す図である。
【図１２】図１２は、従来のストレージ自動階層化システムの構成の一例を示す模式図である。
【図１３】図１３は、従来のデータ管理システムによるデータ取得処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００１７】
［実施の形態］
本発明の実施の形態について説明する。本発明の実施の形態では、複数のストレージデバイスを接続して、これらのストレージデバイス間でのデータの移動を管理するストレージ自動階層化処理を行うデータ管理装置について説明する。まず、実施の形態に係るデータ管理装置を有するデータ管理システムの概略について説明する。
【００１８】
［データ管理システムの構成］
図１は、本発明の実施の形態におけるデータ管理システムの構成の一例を模式的に示す図である。
【００１９】
図１に示すように、データ管理システムは、複数のストレージデバイスが格納するデータを管理するデータ管理装置１０と、ネットワーク３０を介して、データ管理装置１０と通信を行うユーザ端末２０とを有する。
【００２０】
データ管理装置１０は、データ取得のレイテンシが異なる種別のストレージデバイス間におけるデータの移動を管理するストレージ自動階層化処理を行う。すなわち、データ管理装置１０は、データのアクセス頻度に応じて、ストレージデバイス間でデータを移動する。或いは、データ管理装置１０は、データ格納からの経過時間に応じて、ストレージデバイス間でデータを移動する。もちろん、データ管理装置１０は、他の基準にしたがって、ストレージデバイス間でデータを移動してもよい。
【００２１】
また、データ管理装置１０は、ユーザ端末２０からデータ取得要求を受けた場合、データを格納するストレージデバイスの種別に応じて、取得要求を受けたデータ、或いは、取得要求を受けたデータを、該データを格納するストレージデバイスから取得するための情報（取得用情報）のいずれかをユーザ端末２０に送信する。取得用情報は、管理装置１０の高レイテンシストレージデータ送信部１７（後述）を介して所定のストレージデバイスに接続するための接続情報を含み、データ管理装置１０内の取得用情報テーブル１４３（後述）にデータの識別情報と対応付けて記憶されている。なお、データ管理装置１０は、ストレージ自動階層化処理の実行部（制御部１５（後述））とは独立して、レイテンシの高いストレージデバイスからのデータ読み出し、送信が可能である高レイテンシストレージデータ送信部１７（後述）を有する。
【００２２】
ユーザ端末２０は、ネットワーク３０を介して、データ管理装置１０に、データのストレージデバイスへの書き込み要求、或いは、データの取得要求を行う。ユーザ端末２０は、データ管理装置１０から、取得を要求したデータについての取得用情報を受信した場合には、該取得用情報に従ったデータ取得要求を行う。
【００２３】
［データ管理装置］
次に、データ管理装置１０について説明する。図１に示すように、データ管理装置１０は、低レイテンシストレージデバイス群１２（第１のストレージデバイス）、高レイテンシストレージデバイス群１３（第２のストレージデバイス）、記憶部１４、制御部１５（管理制御部）、データ再配置部１６（データ移動部）、及び、高レイテンシストレージデータ送信部１７を有する。低レイテンシストレージデバイス群１２と高レイテンシストレージデバイス群１３とは、制御部１５及びデータ再配置部１６と接続され、自動階層化されている。
【００２４】
データ管理装置１０は、例えば、ワークステーションやパソコン等の汎用コンピュータで実現され、ＣＰＵ（Central  Processing  Unit）等の演算処理装置がメモリに記憶された処理プログラムを実行することにより、制御部１５、データ再配置部１６及び高レイテンシストレージデータ送信部１７として機能する。データ管理装置１０は、外部装置との通信インターフェース（不図示）を有し、ネットワーク３０を介し、ユーザ端末２０との間で通信を行う。
【００２５】
ここで、データ管理装置１０は、ユーザ端末２０からデータ取得要求を受けた場合、データが高レイテンシストレージデバイス群１３に格納されていた場合には、取得要求を受けたデータではなく、取得用情報を、ユーザ端末２０に応答することによって、高レイテンシストレージデバイスのデータ取得要求を処理するためにストレージ自動階層化処理の実行部（制御部１５（後述）及びデータ再配置部１６（後述））が数時間にもわたって占有されることを防止する。
【００２６】
まず、低レイテンシストレージデバイス群１２について説明する。低レイテンシストレージデバイス群１２は、例えば、低レイテンシストレージデバイス（Ａ）〜（Ｃ）を有する。低レイテンシストレージデバイス（Ａ）〜（Ｃ）は、ＳＳＤ、ＨＤＤであり、数ｍｓｅｃ〜数ｓｅｃでの応答が可能なストレージデバイスである。
【００２７】
高レイテンシストレージデバイス群１３は、低レイテンシストレージデバイス（Ａ）〜（Ｃ）よりもデータ取得のレイテンシが高い高レイテンシストレージデバイス（Ｘ）〜（Ｚ）を有する。例えば、高レイテンシストレージデバイス（Ｘ）〜（Ｚ）は、テープストレージデバイス、光ディスクデバイス等であり、ＳＳＤ、ＨＤＤに比べてデータ取得のレイテンシが数万倍かかるものの、データ容量あたりのコストが十分の一〜十数分の一程度に抑えられるストレージデバイスである。
【００２８】
記憶部１４は、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現され、データ管理装置１０を動作中に使用されるデータなどが記憶される。記憶部１４は、データマッピング１４１（格納先情報）、高レイテンシストレージデバイスリスト１４２（デバイスリスト）及び取得用情報テーブル１４３を記憶する。
【００２９】
データマッピング１４１は、各データの格納先を示す情報である。図２は、データマッピング１４１のデータ構成の一例を示す図である。図２のテーブルＴ１に示すように、データマッピング１４１は、各データの識別情報と、それぞれのデータを格納するストレージデバイス（デバイス）の識別情報とが対応付けられている。例えば、テーブルＴ１の１行目には、「データ１」の格納先として「低レイテンシストレージデバイス（Ａ）」が対応付けられている。また、テーブルＴ１の２行目には、「データ２」の格納先として「高レイテンシストレージデバイス（Ｙ）」が対応付けられている。
【００３０】
このデータマッピング１４１は、ストレージデバイス間でデータの移動があった場合に、データマッピング更新部１５２によって、更新される。なお、データ格納先判断部１５３（後述）は、データマッピング１４１を参照することによって、ユーザ端末２０から取得要求されたデータを、いずれのストレージデバイスが格納しているかを判断することができる。
【００３１】
高レイテンシストレージデバイスリスト１４２は、高レイテンシストレージデバイスとみなすストレージデバイスの識別情報を示すリストである。高レイテンシストレージデバイスリスト１４２の内容は、本データ管理装置１０が管理するストレージデバイスに応じて予め設定され、記憶部１４に記憶されたものである。
【００３２】
図３は、図１に示す高レイテンシストレージデバイスリスト１４２のデータ構成の一例を示す図である。図３のテーブルＴ２に示すように、高レイテンシストレージデバイスリスト１４２は、高レイテンシストレージデバイス群１３に含まれる高レイテンシストレージデバイス（Ｘ）〜（Ｚ）の識別情報が示されている。データ格納先判断部１５３（後述）は、高レイテンシストレージデバイスリスト１４２を参照することによって、いずれのストレージデバイスが高レイテンシストレージデバイスであるかを判断することができる。
【００３３】
取得用情報テーブル１４３は、高レイテンシストレージデバイス（Ｘ）〜（Ｚ）が格納するデータを取得するための取得用情報を、高レイテンシストレージデバイス（Ｘ）〜（Ｚ）が格納するデータの識別情報にそれぞれ対応させて示す一覧である。図４は、図１に示す取得用情報テーブル１４３のデータ構成の一例を示す図である。図４のテーブルＴ３に示すように、取得用情報テーブル１４３は、高レイテンシストレージデバイス（Ｘ）〜（Ｚ）が格納するデータの識別情報と、各データにそれぞれ対応する取得用情報と、を対応付けている。取得用情報は、高レイテンシストレージデータ送信部１７（後述）を介して高レイテンシストレージデバイス（Ｘ）〜（Ｚ）に接続するための接続情報を含む。各接続情報は、テーブルＴ３に示すように、ＵＲＬやファイルパスである。
【００３４】
例えば、テーブルＴ３の１行目には、高レイテンシストレージデバイス（Ｙ）が格納する「データ２」に対し、高レイテンシストレージデータ送信部１７（後述）を介して高レイテンシストレージデバイス（Ｙ）に接続するための「ＵＲＬ：http://www.aaa.bb/cc.html」が対応付けられている。また、テーブルＴ３の２行目には、高レイテンシストレージデバイス（Ｘ）が格納する「データ５」に対し、高レイテンシストレージデータ送信部１７（後述）を介して高レイテンシストレージデバイス（Ｘ）に接続するための「ファイルパス：/fff/gg/hh.xx」が対応付けられている。取得用情報送信制御部１５５（後述）は、取得用情報テーブル１４３から、ユーザ端末２０に取得要求されたデータを格納する高レイテンシストレージデバイス（Ｘ）〜（Ｚ）に対応する取得用情報を読み出して、ユーザ端末２０に送信する。なお、取得用情報送信制御部１５５（後述）は、データ取得要求を受けた際に、取得用情報を、演算処理を行うことによって求めてもよい。
【００３５】
制御部１５は、書き込み管理部１５１、データマッピング更新部１５２、データ格納先判断部１５３、要求データ送信制御部１５４及び取得用情報送信制御部１５５を有する。制御部１５は、ストレージデバイス間でのデータの移動を管理する。これととともに、制御部１５は、ユーザ端末２０から送信を要求されたデータの格納先が低レイテンシストレージデバイス群１２のストレージデバイスである場合には、低レイテンシストレージデバイス群１２のストレージデバイスから送信を要求されたデータを取得してユーザ端末２０に送信する。一方、制御部１５は、送信を要求されたデータの格納先が高レイテンシストレージデバイス群１３のストレージデバイスである場合には、高レイテンシストレージデバイス群１３のストレージデバイスが格納するデータを取得するための取得用情報をユーザ端末２０に送信する。
【００３６】
書き込み管理部１５１は、低レイテンシストレージデバイス群１２及び高レイテンシストレージデバイス群１３に対するデータの書き込みを制御する。例えば、ユーザ端末２０から、データ書き込み要求を受けた場合には、書き込み要求のデータの格納先を確認した上で、低レイテンシストレージデバイス群１２及び高レイテンシストレージデバイス群１３のいずれかストレージデバイスにデータを書き込む。
【００３７】
また、書き込み管理部１５１は、データ再配置部１６に対して、アクセス頻度に応じて、低レイテンシストレージデバイス群１２と高レイテンシストレージデバイス群１３との間でデータを移動させる。書き込み管理部１５１は、データ再配置部１６に、アクセス頻度が所定の閾値よりも高いデータを低レイテンシストレージデバイス群１２のいずれかのストレージデバイスに移動させる。また、書き込み管理部１５１は、アクセス頻度が所定の閾値未満であるデータを、高レイテンシストレージデバイス群１３のいずれかのストレージデバイスに移動させる。
【００３８】
或いは、書き込み管理部１５１は、データ再配置部１６に対して、データ格納からの経過時間に応じて、低レイテンシストレージデバイス群１２と高レイテンシストレージデバイス群１３との間でデータを移動させる。例えば、書き込み管理部１５１は、書き込み対象のデータを、まず、低レイテンシストレージデバイス群１２のいずれかのストレージデバイスに格納する。そして、書き込み管理部１５１は、低レイテンシストレージデバイス群１２のいずれかのストレージデバイスに格納されたデータのうち、データ格納からの経過時間が所定時間を超えたデータを、高レイテンシストレージデバイス群１３のいずれかのストレージデバイスに移動させる。なお、書き込み管理部１５１は、他の基準にしたがって、データ再配置部１６に対して、ストレージデバイス間でデータを移動させてもよい。
【００３９】
データマッピング更新部１５２は、各データの格納先が変更された場合、データの格納先が最新のものとなるようにデータマッピング１４１を更新する。
【００４０】
データ格納先判断部１５３は、データマッピング１４１を参照し、ユーザ端末２０から送信を要求されたデータの格納先が、いずれのストレージデバイスであるかを判断する。そして、データ格納先判断部１５３は、高レイテンシストレージデバイスリスト１４２を参照し、送信を要求されたデータの格納先が低レイテンシストレージデバイス群１２のストレージデバイス或いは高レイテンシストレージデバイス群１３のストレージデバイスとのいずれであるかを判断する。
【００４１】
要求データ送信制御部１５４は、ユーザ端末２０から送信を要求されたデータの格納先が低レイテンシストレージデバイス群１２のストレージデバイスであるとデータ格納先判断部１５３が判断した場合、格納先である低レイテンシストレージデバイス群１２のストレージデバイスから、送信を要求されたデータを取得して、ユーザ端末２０に送信する制御を行う。
【００４２】
取得用情報送信制御部１５５は、ユーザ端末２０から送信を要求されたデータの格納先が高レイテンシストレージデバイス群１３のストレージデバイスであるとデータ格納先判断部１５３が判断した場合、取得用情報テーブル１４３から、格納先の高レイテンシストレージデバイスに対応する取得用情報を取得して、ユーザ端末２０に送信する制御を行う。
【００４３】
そして、データ再配置部１６は、制御部１５の制御の下、低レイテンシストレージデバイス群１２のストレージデバイスと高レイテンシストレージデバイス群１３のストレージデバイスとの間でデータを移動する。データ再配置部１６は、制御部１５から、異動対象とするデータ、その移動元となるストレージデバイス、及び、移動先となるストレージデバイスの情報を得て、ストレージデバイス間でデータを自動的に移動する。
【００４４】
高レイテンシストレージデータ送信部１７は、取得用情報に従ったデータ取得要求をユーザ端末２０から受けた場合、該取得用情報を基に高レイテンシストレージデバイス群１３の高レイテンシストレージデバイス（Ｘ）〜（Ｚ）のいずれかのストレージデバイスから、送信を要求されたデータを取得し、ユーザ端末２０に送信する。この高レイテンシストレージデータ送信部１７は、ストレージ自動階層化処理の実行部である制御部１５及びデータ再配置部１６とは独立して、高レイテンシストレージデバイス群１３からのデータ取得処理及びデータ送信処理を実行する。
【００４５】
このように、データ管理装置１０では、ユーザ端末２０からデータ取得要求を受けた場合、データが高レイテンシストレージデバイス群１３に格納されていた場合には、取得要求を受けたデータではなく、取得用情報を、ユーザ端末２０に応答する。さらに、データ管理装置１０は、制御部１５及びデータ再配置部１６とは独立した高レイテンシストレージデータ送信部１７が、高レイテンシストレージデバイスからのデータ読み出し、送信を実行する。これによって、高レイテンシストレージデバイスのデータ取得要求を処理するために、ストレージ自動階層化処理の実行部である制御部１５及びデータ再配置部１６が数時間にもわたって占有されることを防止する。
【００４６】
［ユーザ端末の構成］
続いて、ユーザ端末２０の構成について説明する。図１に示すように、ユーザ端末２０は、通信部２１、記憶部２２、制御部２３、入力部２４及び出力部２５を有する。
【００４７】
通信部２１は、ネットワーク３０を介して接続する他の装置（例えば、データ管理装置１０）との間で、各種情報を送受信する通信インタフェースである。記憶部２２は、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現され、ユーザ端末２０の実行中に使用されるデータなどが記憶される。
【００４８】
制御部２３は、ＣＰＵやＭＰＵなどの電子回路によって構成され、各種の処理手順などを規定したプログラム及び所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部２３は、データ書き込み要求部２３１と、データ取得要求部２３２とを有する。
【００４９】
データ書き込み要求部２３１は、データ書き込み要求をデータ管理装置１０の制御部１５に送信する制御を行う。データ書き込み要求は、書き込み対象のデータを含む。また、データ書き込み要求は、データ書き込み先となるストレージデバイスの識別情報をさらに含んでもよい。
【００５０】
データ取得要求部２３２は、データ管理装置１０の制御部１５と高レイテンシストレージデータ送信部１７との双方と通信することが可能である。データ取得要求部２３２は、データ取得要求をデータ管理装置１０の制御部１５に送信する制御を行う。データ取得要求部２３２は、データ管理装置１０の制御部１５から、取得を要求したデータを受信する。或いは、データ取得要求部２３２は、データ管理装置１０から、データ取得要求を行ったデータに対応する取得用情報を受信する。この場合には、データ取得要求部２３２は、取得用情報に従って、データ管理装置１０の高レイテンシストレージデータ送信部１７にデータ取得要求を送信する。そして、データ取得要求部２３２は、高レイテンシストレージデータ送信部１７から、取得を要求したデータを受信する。
【００５１】
入力部２４は、ユーザ端末２０の操作者からの各種操作を受け付ける入力インタフェースである。出力部２５は、例えば、液晶ディスプレイやプリンタ等である。
【００５２】
［データ書き込み処理の流れ］
次に、図１に示すデータ管理システムにおけるデータ書き込み処理の流れについて説明する。図５は、図１に示すデータ管理システムにおけるデータ書き込み処理の流れを説明するための図である。なお、自動階層化されたストレージに対するデータ書き込み要求では、データ格納先となるストレージデバイスの情報がデータ書き込み要求に含まれているか、予め、データ書き込み要求に対してデータ格納先のストレージデバイスが決められているものとする。
【００５３】
まず、データ管理装置１０では、制御部１５がユーザ端末２０からのデータ書き込み要求を受け取る（図５の（１）参照）。制御部１５は、受け取ったデータ書き込み要求のデータ格納先を確認し、このデータ格納先のストレージデバイスに対してデータ書き込み要求を行う（図５の（２−１）及び（２−２）参照）。この書き込み要求を受けて、データ格納先であるストレージデバイスは、データの書き込みを実行し、制御部１５に対して、書き込み成功通知を送付する（図５の（３−１）及び（３−２）参照）。
【００５４】
制御部１５では、データマッピング更新部１５２が、データ書き込みを実行したデータとデータ格納先ストレージデバイスとの情報を用いてデータマッピング１４１を更新する（図５の（４）参照）。そして、制御部１５は、ユーザ端末２０に対し、書き込み成功通知を送信して（図５の（５）参照）、データ書き込み処理を終了する。
【００５５】
このように、自動階層化されたストレージを有するデータ管理装置１０では、データの書き込み処理を行った場合、データマッピング１４１の内容を、書き込み対象のデータと、該データの格納先とが一致するように、更新する。
【００５６】
［データ再配置処理の流れ］
次に、図６を参照して、データ管理装置１０におけるデータ再配置処理の流れを説明する。図６は、データ管理装置１０におけるデータ再配置処理の流れを説明するための図である。ここで、データ再配置とは、前述のように、ストレージデバイス間でデータを自動的に移動する処理のこととする。なお、データ再配置部１６は、既に移動対象とするデータ、その移動元となるストレージデバイス、及び、移動先となるストレージデバイスの情報を、制御部１５から得ているものとする。
【００５７】
まず、データ再配置部１６は、データの移動元ストレージデバイスに対してデータ取得要求を行う（図６の（１−１）及び（１−２）参照）。データ取得要求を受け取ったデータの移動元ストレージデバイスは、要求されたデータを読み出し、データ再配置部１６に、データを出力する（図６の（２−１）及び（２−２）参照）。データ再配置部１６は、データの移動元ストレージデバイスからデータを受け取り、このデータを用いて、データの移動先ストレージデバイスに対してデータ書き込み要求を行う（図６の（３−１）及び（３−２）参照）。データ書き込み要求を受け取った移動先ストレージデバイスは、データの書き込みを実行し、データ再配置部１６に対して、書き込み成功通知を送付する（図６の（４−１）及び（４−２）参照）。
【００５８】
そして、移動先ストレージデバイスから書き込み成功通知を受け取ったデータ再配置部１６は、制御部１５に対して、データマッピング１４１の更新要求を実行する（図６の（５）参照）。データマッピング１４１の更新要求を受け取った制御部１５では、データマッピング更新部１５２が、移動されたデータの識別情報と移動先ストレージデバイスの情報とを用いて、データマッピング１４１を更新する（図６の（６）参照）。
【００５９】
続いて、制御部１５は、データ再配置部１６に対して、データマッピング更新成功通知を出力する（図６の（７）参照）。このデータマッピング更新成功通知を受け取ったデータ再配置部１６は、データの移動元ストレージデバイスに対してデータ削除要求を行う（図６の（８−１）及び（８−２）参照）。このように、データの書き込み要求の際と同様に、データの再配置においてもデータマッピング１４１では、データの識別情報と、データの格納先との整合性が維持される。このデータマッピング１４１を用いて、ユーザ端末２０からのデータ取得要求が処理されることとなる。
【００６０】
［データ取得要求の処理の流れ］
そこで、図７を参照して、ユーザ端末２０からのデータ取得要求に対するデータ管理装置１０における処理の流れについて説明する。図７は、ユーザ端末２０からのデータ取得要求に対するデータ管理装置１０における処理の流れについて説明する図である。
【００６１】
図７に示すように、データ管理装置１０では、制御部１５が、ユーザ端末２０からのデータ取得要求を受けると（図７の（１）参照）、データ格納先判断部１５３は、データマッピング１４１を参照して（図７の（２）参照）、データ取得要求の対象となるデータがどのストレージデバイスに格納されているかを判断する（図７の（３）参照）。
【００６２】
そして、データ格納先判断部１５３は、高レイテンシストレージデバイスリスト１４２を参照し（図７の（４）参照）、データが格納されているストレージデバイスが高レイテンシストレージデバイス群１３のストレージデバイスか否かの確認を行う（図７の（５）参照）。
【００６３】
取得を要求されたデータが高レイテンシストレージデバイス（Ｘ）〜（Ｚ）に格納されていないとデータ格納先判断部１５３が判断した場合、すなわち、低レイテンシストレージデバイス群１２の低レイテンシストレージデバイス（Ａ）〜（Ｃ）に格納されていると判断した場合について説明する。
【００６４】
この場合、要求データ送信制御部１５４は、格納先の低レイテンシストレージデバイス（Ａ）〜（Ｃ）に対し、データ取得要求を行う（図７の（６）参照）。これに応じて、低レイテンシストレージデバイス（Ａ）〜（Ｃ）は、要求されたデータを読み出し、要求データ送信制御部１５４に出力する（図７の（７）参照）。そして、要求データ送信制御部１５４は、低レイテンシストレージデバイス（Ａ）〜（Ｃ）から受け取ったデータを、ユーザ端末２０に送信する（図７の（８）参照）。これによって、ユーザ端末２０からのデータ取得要求に対するデータ管理装置１０における処理は終了する。
【００６５】
これに対し、取得を要求されたデータが高レイテンシストレージデバイス（Ｘ）〜（Ｚ）に格納されているとデータ格納先判断部１５３が判断した場合について説明する。取得用情報送信制御部１５５は、取得用情報テーブルを参照し（図７の（９）参照）、取得要求のデータを格納している高レイテンシストレージデバイス（Ｘ）〜（Ｚ）に対してデータ取得要求を行うために必要な取得用情報を取得する。この取得用情報は、高レイテンシストレージデータ送信部１７を介して、対応する高レイテンシストレージデバイス（Ｘ）〜（Ｚ）に接続するための接続情報である。そして、取得用情報送信制御部１５５は、取得した取得用情報をユーザ端末２０に送信する（図７の（１０）参照）。
【００６６】
そして、取得用情報を受信したユーザ端末２０では、データ取得要求部２３２は、この取得用情報に従って、高レイテンシストレージデータ送信部１７に、データ取得要求を送信する（図７の（１１）参照）。このデータ取得要求に応じて、高レイテンシストレージデータ送信部１７は、要求されたデータについてのデータ取得要求を高レイテンシストレージデバイス（Ｘ）〜（Ｚ）に行う（図７の（１２）参照）。これに応じて、高レイテンシストレージデバイス（Ｘ）〜（Ｚ）は、要求されたデータを高レイテンシストレージデータ送信部１７に出力する（図７の（１３）参照）。そして、高レイテンシストレージデータ送信部１７は、高レイテンシストレージデバイス（Ｘ）〜（Ｚ）から出力されたデータを、ユーザ端末２０に送信する（図７の（１４）参照）。これによって、ユーザ端末２０からのデータ取得要求に対するデータ管理装置１０における処理は終了する。
【００６７】
［データ書き込み処理の処理手順］
次に、図１に示すデータ管理装置１０におけるデータ書き込み処理の処理手順について説明する。図８は、図１に示すデータ管理装置１０におけるデータ書き込み処理の処理手順を示すフローチャートである。
【００６８】
図８に示すように、まず、データ管理装置１０は、ユーザ端末２０から制御部１５へのデータ書き込み要求を受信する（ステップＳ１）。これに応じて、制御部１５は、受け取ったデータ書き込み要求のデータ格納先を確認し、このデータ格納先のストレージデバイスに対してデータ書き込み要求を行う（ステップＳ２）。この書き込み要求を受けてデータの書き込みを実行したデータ格納先のデバイスから、制御部１５への書き込み成功通知が送付される（ステップＳ３）。
【００６９】
続いて、制御部１５では、データマッピング更新部１５２によるデータマッピング１４１の更新処理を実行する（ステップＳ４）。そして、制御部１５から、ユーザ端末２０への書き込み成功通知を送信して（ステップＳ５）、データ書き込み処理を終了する。
【００７０】
［データ再配置処理の処理手順］
次に、図９を参照して、データ管理装置１０におけるデータ再配置処理の処理手順を説明する。図９は、図１に示すデータ管理装置１０におけるデータ再配置処理の処理手順を示すフローチャートである。前述したように、データ再配置部１６は、既に移動対象とするデータ、その移動元となるストレージデバイス、及び、移動先となるストレージデバイスの情報を、制御部１５から得ているものとする。
【００７１】
まず、データ再配置部１６は、データの移動元ストレージデバイスへのデータ取得要求を行う（ステップＳ１１）。これに応じて、要求されたデータを読み出したデータの移動元ストレージデバイスから、データ再配置部１６へのデータ出力が行なわれる（ステップＳ１２）。続いて、データ再配置部１６から、このデータの、移動先ストレージデバイスへのデータ書き込みが要求される（ステップＳ１３）。これに応じて、データの書き込みを実行した移動先ストレージデバイスから、データ再配置部１６への、書き込み成功通知が出力される（ステップＳ１４）。
【００７２】
そして、データ再配置部１６から、制御部１５へのデータマッピング１４１の更新要求があると（ステップＳ１５）、制御部１５では、データマッピング更新部１５２によるデータマッピング１４１の更新処理を実行する（ステップＳ１６）。
【００７３】
続いて、制御部１５から、データ再配置部１６への、データマッピング更新成功通知を出力すると（ステップＳ１７）、データ再配置部１６から、データの移動元ストレージデバイスに対してデータ削除を要求し（ステップＳ１８）、データ再配置処理を終了する。
【００７４】
［データ取得要求処理の処理手順］
図１０は、データ管理装置１０におけるユーザ端末２０からのデータ取得要求に対する処理の処理手順を示すフローチャートである。
【００７５】
図１０に示すように、データ管理装置１０では、制御部１５が、ユーザ端末２０からのデータ取得要求を受信すると（ステップＳ２１）、データ格納先判断部１５３は、データマッピング１４１を参照して、データ取得要求の対象となるデータの格納先のストレージデバイスを確認する（ステップＳ２２）。
【００７６】
そして、データ格納先判断部１５３は、高レイテンシストレージデバイスリスト１４２を参照し、データが格納されているストレージデバイスが高レイテンシストレージデバイス群１３のストレージデバイスか否かを判断する（ステップＳ２３）。
【００７７】
取得を要求されたデータが高レイテンシストレージデバイスに格納されていないとデータ格納先判断部１５３が判断した場合（ステップＳ２３：Ｎｏ）、すなわち、低レイテンシストレージデバイス群１２の低レイテンシストレージデバイスに格納されていると判断した場合について説明する。
【００７８】
この場合、要求データ送信制御部１５４から、格納先の低レイテンシストレージデバイスへのデータ取得要求が行われる（ステップＳ２４）。これに応じて、低レイテンシストレージデバイスから、制御部１５の要求データ送信制御部１５４へのデータ出力が行なわれる（ステップＳ２５）。そして、制御部１５では、要求データ送信制御部１５４から、ユーザ端末２０へのデータ送信を行う（ステップＳ２６）。
【００７９】
これに対し、取得を要求されたデータが高レイテンシストレージデバイスに格納されているとデータ格納先判断部１５３が判断した場合（ステップＳ２３：Ｙｅｓ）について説明する。取得用情報送信制御部１５５は、取得用情報テーブルを参照し、取得要求のデータを格納している高レイテンシストレージデバイスに対してデータ取得要求を行うために必要な取得用情報を取得する。そして、制御部１５では、取得用情報送信制御部１５５から、ユーザ端末２０へ取得用情報を送信する（ステップＳ２７）。
【００８０】
そして、データ管理装置１０では、ユーザ端末２０から、取得用情報に従って、高レイテンシストレージデータ送信部１７へのデータ取得要求を受信する（ステップＳ２８）。このデータ取得要求に応じて、高レイテンシストレージデータ送信部１７は、要求されたデータについてのデータ取得要求を高レイテンシストレージデバイス（Ｘ）〜（Ｚ）に行う（ステップＳ２９）。これに応じて、高レイテンシストレージデバイス（Ｘ）〜（Ｚ）から、高レイテンシストレージデータ送信部１７に、要求されたデータが出力される（ステップＳ３０）。続いて、高レイテンシストレージデータ送信部１７から、ユーザ端末２０にデータが送信される（ステップＳ３１）。
【００８１】
［実施の形態の効果］
従来のデータ管理装置では、データが格納されているストレージデバイスが低レイテンシか高レイテンシかを区別することなく、データ自動階層化の実行部である制御部が、データ取得要求を処理していたため、制御部が数時間にもわたって占有されていた。
【００８２】
これに対し、本実施の形態に係るデータ管理装置１０では、ユーザ端末２０からデータ取得要求を受けた場合、このデータが高レイテンシストレージデバイス群１３に格納されていた場合には、取得要求を受けたデータではなく、取得用情報を、ユーザ端末２０に応答する。
【００８３】
このため、データ自動階層化処理の実行部（制御部１５）は、高レイテンシストレージデバイス（Ｘ）〜（Ｚ）へのアクセスを行わない。したがって、データ管理装置１０では、短時間のうちに、ユーザ端末２０からの要求に対して応答することが可能となる。なお、データ管理装置１０では、取得要求を受けたデータが低レイテンシストレージ（Ａ）〜（Ｃ）に格納されている場合には、データを取得し、取得したデータをユーザ端末２０に応答として送信する。
【００８４】
さらに、データ管理装置１０は、制御部１５及びデータ再配置部１６とは独立した高レイテンシストレージデータ送信部１７が、高レイテンシストレージデバイスからのデータ読み出し、送信を実行する。これによって、高レイテンシストレージデバイスのデータ取得要求を処理するために、ストレージ自動階層化処理の実行部である制御部１５が数時間にもわたって占有されることがない。
【００８５】
したがって、本実施の形態によれば、データ取得のレイテンシが高いストレージデバイスを用いた場合であっても、ストレージ自動階層化処理の実行部である制御部１５の長時間の占有がないため、装置全体のスループットの低下を防止することが可能になる。
【００８６】
［システム構成等］
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【００８７】
例えば、制御部１５は、複数の装置上にまたがって存在してもよい。そして、低レイテンシストレージデバイス（Ａ）〜（Ｃ）と高レイテンシストレージデバイス（Ｘ）〜（Ｚ）とは、それぞれ複数存在してもよい。また、低レイテンシストレージデバイス（Ａ）〜（Ｃ）及び高レイテンシストレージデバイス（Ｘ）〜（Ｚ）は、制御部１５がある装置とは別の装置上に存在してもよく、ストレージを提供する外部サービスであってもよい。また、データマッピング１４１、高レイテンシストレージデバイスリスト１４２及び取得用情報テーブル１４３は、制御部１５がある同一の装置上に存在してもよく、また、別の装置上に存在してもよい。また、データマッピング１４１、高レイテンシストレージデバイスリスト１４２及び取得用情報テーブル１４３は、複数の装置上にまたがって存在してもよい。
【００８８】
さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００８９】
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部又は一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００９０】
［プログラム］
図１１は、プログラムが実行されることにより、データ管理装置１０が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
【００９１】
メモリ１０１０は、ＲＯＭ（Read  Only  Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
【００９２】
ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、データ管理装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、データ管理装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid  State  Drive）により代替されてもよい。
【００９３】
また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
【００９４】
なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ、ＷＡＮ等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
【００９５】
以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
【符号の説明】
【００９６】
１０  データ管理装置
１２  低レイテンシストレージデバイス群
１３  高レイテンシストレージデバイス群
１４，２２  記憶部
１５，２３  制御部
１６  データ再配置部
１７  高レイテンシストレージデータ送信部
２０  ユーザ端末
２１  通信部
２４  入力部
２５  出力部
３０  ネットワーク
１４１  データマッピング
１４２  高レイテンシストレージデバイスリスト
１４３  取得用情報テーブル
１５１  書き込み管理部
１５２  データマッピング更新部
１５３  データ格納先判断部
１５４  要求データ送信制御部
１５５  取得用情報送信制御部
２３１  データ書き込み要求部
２３２  データ取得要求部
【図１】
2018010334.tif 000003
【図２】
2018010334.tif 000004
【図３】
2018010334.tif 000005
【図４】
2018010334.tif 000006
【図５】
2018010334.tif 000007
【図６】
2018010334.tif 000008
【図７】
2018010334.tif 000009
【図８】
2018010334.tif 000010
【図９】
2018010334.tif 000011
【図１０】
2018010334.tif 000012
【図１１】
2018010334.tif 000013
【図１２】
2018010334.tif 000014
【図１３】
2018010334.tif 000015