(57)【要約】【課題】  特性が異なる複数のジョブを実行する場合に、ジョブの処理効率を向上する。【解決手段】  第１の入出力装置が有する第１の入出力特性に適した読み出しと書き込みの割合である第１のジョブと、第２の入出力装置が有する第２の入出力特性に適した読み出しと書き込みの割合であり、第１のジョブと依存関係を有する第２のジョブと、第３のジョブとが保持部に保持されている場合、第１の入出力装置を接続させた計算ノードに第１のジョブを投入し、第１のジョブの実行の完了後、計算ノードに第３のジョブを投入するとともに、第１の入出力装置が記憶する第１のジョブの実行による実行結果データを、第２の入出力装置にコピーし、第３のジョブの実行の完了後、第２の入出力装置を接続させた計算ノードに第２のジョブを投入する。【選択図】    図１
2016184310.tif 000002
【特許請求の範囲】
【請求項１】
複数の計算ノードと、前記複数の計算ノードのいずれかに接続され、第１の入出力特性を有する第１の入出力装置と第２の入出力特性を有する第２の入出力装置を含む複数の入出力装置とを備える情報処理装置と、前記情報処理装置を制御する制御装置とを有する情報処理システムにおいて、
前記制御装置は、
複数のジョブを保持する保持部と、
前記複数の計算ノードのいずれかにジョブを投入するジョブ投入部と、
前記複数の計算ノードと前記入出力装置との接続を変更する構成変更部と、
前記第２の入出力特性よりも前記第１の入出力特性に適した読み出しと書き込みの割合である第１のジョブ、前記第１のジョブと依存関係があるとともに前記第１の入出力特性よりも前記第２の入出力特性に適した読み出しと書き込みの割合である第２のジョブ、および前記第１のジョブと前記第２のジョブのいずれとも依存関係がない第３のジョブが前記保持部に保持されている場合、前記構成変更部に前記第１の入出力装置を接続させた前記情報処理装置に含まれる計算ノードに前記ジョブ投入部を介して前記第１のジョブを投入し、前記第１のジョブの実行の完了後、前記情報処理装置に含まれる前記複数の計算ノードの少なくともいずれかに前記ジョブ投入部を介して前記第２のジョブよりも先に前記第３のジョブを投入するとともに前記構成変更部に前記第１の入出力装置と前記第２の入出力装置とを接続させ、前記第１の入出力装置が記憶する前記第１のジョブの実行による実行結果データを前記第２の入出力装置にコピーさせ、前記第３のジョブの実行の完了後、前記構成変更部に前記第２の入出力装置を接続させた前記情報処理装置に含まれる計算ノードに前記ジョブ投入部を介して前記第２のジョブを投入する制御部を有することを特徴とする情報処理システム。
【請求項２】
前記第１の入出力特性は、読み出し性能が書き込み性能に比べて高い読み出し優位特性と、書き込み性能が読み出し性能に比べて高い書き込み優位特性とのいずれか一方であり、
前記第２の入出力特性は、前記読み出し優位特性と、前記書き込み優位特性とのいずれか他方であることを特徴とする請求項１記載の情報処理システム。
【請求項３】
前記制御装置は、前記読み出し優位特性または前記書き込み優位特性を前記入出力装置毎に識別する優位情報を記憶する優位情報記憶部を有することを特徴とする請求項１または請求項２記載の情報処理システム。
【請求項４】
前記優位情報記憶部は、前記入出力装置が前記実行結果データを記憶していることを前記入出力装置毎に識別するデータ保持情報を記憶する領域を有することを特徴とする請求項３記載の情報処理システム。
【請求項５】
前記制御装置は、前記複数のジョブ間の依存関係を表す依存関係情報を記憶する依存関係情報記憶部を有することを特徴とする請求項１ないし請求項４のいずれか１項記載の情報処理システム。
【請求項６】
前記制御部は、前記第１のジョブに続いて投入するジョブが、前記第２のジョブを除いて存在しない場合、前記第１のジョブの実行後、前記第１のジョブの実行結果データを記憶する前記第１の入出力装置を接続した計算ノードに、前記ジョブ投入部を介して前記第２のジョブを投入することを特徴とする請求項１ないし請求項５のいずれか１項記載の情報処理システム。
【請求項７】
複数の計算ノードと、前記複数の計算ノードのいずれかに接続され、第１の入出力特性を有する第１の入出力装置と第２の入出力特性を有する第２の入出力装置を含む複数の入出力装置とを備える情報処理装置を制御する制御装置において、
前記制御装置は、
複数のジョブを保持する保持部と、
前記複数の計算ノードのいずれかにジョブを投入するジョブ投入部と、
前記複数の計算ノードと前記入出力装置との接続を変更する構成変更部と、
前記第２の入出力特性よりも前記第１の入出力特性に適した読み出しと書き込みの割合である第１のジョブ、前記第１のジョブと依存関係があるとともに前記第１の入出力特性よりも前記第２の入出力特性に適した読み出しと書き込みの割合である第２のジョブ、および前記第１のジョブと前記第２のジョブのいずれとも依存関係がない第３のジョブが前記保持部に保持されている場合、前記構成変更部に前記第１の入出力装置を接続させた前記情報処理装置に含まれる計算ノードに前記ジョブ投入部を介して前記第１のジョブを投入し、前記第１のジョブの実行の完了後、前記情報処理装置に含まれる前記複数の計算ノードの少なくともいずれかに前記ジョブ投入部を介して前記第２のジョブよりも先に前記第３のジョブを投入するとともに前記構成変更部に前記第１の入出力装置と前記第２の入出力装置とを接続させ、前記第１の入出力装置が記憶する前記第１のジョブの実行による実行結果データを前記第２の入出力装置にコピーさせ、前記第３のジョブの実行の完了後、前記構成変更部に前記第２の入出力装置を接続させた前記情報処理装置に含まれる計算ノードに前記ジョブ投入部を介して前記第２のジョブを投入する制御部を有することを特徴とする制御装置。
【請求項８】
複数の計算ノードと、前記複数の計算ノードのいずれかに接続され、第１の入出力特性を有する第１の入出力装置と第２の入出力特性を有する第２の入出力装置を含む複数の入出力装置とを備える情報処理装置と、前記情報処理装置を制御する制御装置とを有する情報処理システムの制御方法において、
前記制御装置が、
前記複数の計算ノードのいずれかに保持部が保持する複数のジョブのいずれかを投入し、
前記複数の計算ノードと前記入出力装置との接続を変更し、
前記第２の入出力特性よりも前記第１の入出力特性に適した読み出しと書き込みの割合である第１のジョブ、前記第１のジョブと依存関係があるとともに前記第１の入出力特性よりも前記第２の入出力特性に適した読み出しと書き込みの割合である第２のジョブ、および前記第１のジョブと前記第２のジョブのいずれとも依存関係がない第３のジョブが前記保持部に保持されている場合、前記構成変更部に前記第１の入出力装置を接続させた前記情報処理装置に含まれる計算ノードに前記ジョブ投入部を介して前記第１のジョブを投入し、前記第１のジョブの実行の完了後、前記情報処理装置に含まれる前記複数の計算ノードの少なくともいずれかに前記ジョブ投入部を介して前記第２のジョブよりも先に前記第３のジョブを投入するとともに前記構成変更部に前記第１の入出力装置と前記第２の入出力装置とを接続させ、前記第１の入出力装置が記憶する前記第１のジョブの実行による実行結果データを前記第２の入出力装置にコピーさせ、前記第３のジョブの実行の完了後、前記構成変更部に前記第２の入出力装置を接続させた前記情報処理装置に含まれる計算ノードに前記ジョブ投入部を介して前記第２のジョブを投入することを特徴とする情報処理システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、制御装置および情報処理システムの制御方法に関する。
【背景技術】
【０００２】
システムに要求される性能に応じてホストコンピュータを所定数のストレージ装置に接続することで、要求される性能を満足する情報処理システムを構築する手法が提案されている。この種の情報処理システムは、アプリケーションプログラムに要求される性能を満たす記憶領域を、ストレージ装置が有する複数の記憶領域の中から選択し、選択した記憶領域をホストコンピュータに割り当てる（例えば、特許文献１参照）。
【０００３】
この種の情報処理システムに搭載されるストレージ装置は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、またはＨＤＤとフラッシュメモリの両方を含む。情報処理システムは、ＨＤＤとフラッシュメモリの両方を含むストレージ装置にデータを移行する場合、ＨＤＤに移行するデータとフラッシュメモリに移行するデータとを、データのアクセス特性に基づいて決定する（例えば、特許文献２参照）。
【０００４】
また、入力キューに保持した複数の入出力要求を、入出力要求に付けられた優先順位にしたがってストレージ装置のキューに選択的に転送する制御装置を有する情報処理システムが提案されている（例えば、特許文献３参照）。制御装置は、ストレージ装置のキューに保持される入出力要求の数を目標数に維持するとともに、入出力要求の処理が実行されるまでの目標の待ち時間と実際の待ち時間とに基づいて目標数を調整する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−８４２５３号公報
【特許文献２】特開２００８−３３９１１号公報
【特許文献３】特表２００６−５２１６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
情報処理システムが実行する複数のジョブは、ストレージ装置等の記憶装置に対する読み出しと書き込みの割合が異なる場合がある。また、ＳＳＤ（Solid State Drive）等の記憶装置は、読み出し性能が書き込み性能より高い製品と、書き込み性能が読み出し性能より高い製品とが存在する。例えば、書き込みの割合が読み出しの割合より高いジョブが、書き込み性能が読み出し性能より高い記憶装置で実行される場合、読み出し性能が書き込み性能より高い記憶装置で実行される場合に比べて処理時間は短縮される。しかしながら、ジョブの特性に基づいて、ジョブの実行に使用する記憶装置を、性能が互いに異なる複数の記憶装置の中から選択する手法は提案されていない。
【０００７】
本件開示の情報処理システム、制御装置および情報処理システムの制御方法は、特性が互いに異なる複数のジョブを実行する場合に、ジョブの処理効率を向上することを目的とする。
【課題を解決するための手段】
【０００８】
一つの観点によれば、複数の計算ノードと、複数の計算ノードのいずれかに接続され、第１の入出力特性を有する第１の入出力装置と第２の入出力特性を有する第２の入出力装置を含む複数の入出力装置とを備える情報処理装置と、情報処理装置を制御する制御装置とを有する情報処理システムにおいて、制御装置は、複数のジョブを保持する保持部と、複数の計算ノードのいずれかにジョブを投入するジョブ投入部と、複数の計算ノードと入出力装置との接続を変更する構成変更部と、第２の入出力特性よりも第１の入出力特性に適した読み出しと書き込みの割合である第１のジョブ、第１のジョブと依存関係があるとともに第１の入出力特性よりも第２の入出力特性に適した読み出しと書き込みの割合である第２のジョブ、および第１のジョブと第２のジョブのいずれとも依存関係がない第３のジョブが保持部に保持されている場合、構成変更部に第１の入出力装置を接続させた情報処理装置に含まれる計算ノードにジョブ投入部を介して第１のジョブを投入し、第１のジョブの実行の完了後、情報処理装置に含まれる複数の計算ノードの少なくともいずれかにジョブ投入部を介して第２のジョブよりも先に第３のジョブを投入するとともに構成変更部に第１の入出力装置と第２の入出力装置とを接続させ、第１の入出力装置が記憶する第１のジョブの実行による実行結果データを第２の入出力装置にコピーさせ、第３のジョブの実行の完了後、構成変更部に第２の入出力装置を接続させた情報処理装置に含まれる計算ノードにジョブ投入部を介して第２のジョブを投入する制御部を有する。
【０００９】
別の観点によれば、複数の計算ノードと、複数の計算ノードのいずれかに接続され、第１の入出力特性を有する第１の入出力装置と第２の入出力特性を有する第２の入出力装置を含む複数の入出力装置とを備える情報処理装置を制御する制御装置は、複数のジョブを保持する保持部と、複数の計算ノードのいずれかにジョブを投入するジョブ投入部と、複数の計算ノードと入出力装置との接続を変更する構成変更部と、第２の入出力特性よりも第１の入出力特性に適した読み出しと書き込みの割合である第１のジョブ、第１のジョブと依存関係があるとともに第１の入出力特性よりも第２の入出力特性に適した読み出しと書き込みの割合である第２のジョブ、および第１のジョブと第２のジョブのいずれとも依存関係がない第３のジョブが保持部に保持されている場合、構成変更部に第１の入出力装置を接続させた情報処理装置に含まれる計算ノードにジョブ投入部を介して第１のジョブを投入し、第１のジョブの実行の完了後、情報処理装置に含まれる複数の計算ノードの少なくともいずれかにジョブ投入部を介して第２のジョブよりも先に第３のジョブを投入するとともに構成変更部に第１の入出力装置と第２の入出力装置とを接続させ、第１の入出力装置が記憶する第１のジョブの実行による実行結果データを第２の入出力装置にコピーさせ、第３のジョブの実行の完了後、構成変更部に第２の入出力装置を接続させた情報処理装置に含まれる計算ノードにジョブ投入部を介して第２のジョブを投入する制御部を有する。
【００１０】
別の観点によれば、複数の計算ノードと、複数の計算ノードのいずれかに接続され、第１の入出力特性を有する第１の入出力装置と第２の入出力特性を有する第２の入出力装置を含む複数の入出力装置とを備える情報処理装置と、情報処理装置を制御する制御装置とを有する情報処理システムの制御方法は、制御装置が、複数の計算ノードのいずれかに保持部が保持する複数のジョブのいずれかを投入し、複数の計算ノードと入出力装置との接続を変更し、第２の入出力特性よりも第１の入出力特性に適した読み出しと書き込みの割合である第１のジョブ、第１のジョブと依存関係があるとともに第１の入出力特性よりも第２の入出力特性に適した読み出しと書き込みの割合である第２のジョブ、および第１のジョブと第２のジョブのいずれとも依存関係がない第３のジョブが保持部に保持されている場合、構成変更部に第１の入出力装置を接続させた情報処理装置に含まれる計算ノードにジョブ投入部を介して第１のジョブを投入し、第１のジョブの実行の完了後、情報処理装置に含まれる複数の計算ノードの少なくともいずれかにジョブ投入部を介して第２のジョブよりも先に第３のジョブを投入するとともに構成変更部に第１の入出力装置と第２の入出力装置とを接続させ、第１の入出力装置が記憶する第１のジョブの実行による実行結果データを第２の入出力装置にコピーさせ、第３のジョブの実行の完了後、構成変更部に第２の入出力装置を接続させた情報処理装置に含まれる計算ノードにジョブ投入部を介して第２のジョブを投入する。
【発明の効果】
【００１１】
本件開示の情報処理システム、制御装置および情報処理システムの制御方法は、特性が互いに異なる複数のジョブを実行する場合に、ジョブの処理効率を向上することができる。
【図面の簡単な説明】
【００１２】
【図１】情報処理システム、制御装置および情報処理システムの制御方法の一実施形態を示す図である。
【図２】図１に示す情報処理システムの動作の一例を示す図である。
【図３】情報処理システム、制御装置および情報処理システムの制御方法の別の実施形態を示す図である。
【図４】図３に示す情報処理システムにおいて、ジョブのタイプによるリソースプールの構成の例を示す図である。
【図５】図３に示すデータベースに格納される情報の一例を示す図である。
【図６】図３に示す情報処理システムの動作の一例を示す図である。
【図７】図３に示す情報処理システムの動作の一例（図６の続き）を示す図である。
【図８】図３に示す情報処理システムの動作の一例（図７の続き）を示す図である。
【図９】図３に示す情報処理システムの動作の一例（図８の続き）を示す図である。
【図１０】図３に示す情報処理システムの動作の一例（図９の続き）を示す図である。
【図１１】図３に示す情報処理システムの動作の一例（図１０の続き）を示す図である。
【図１２】図３に示す情報処理システムの動作の一例（図１１の続き）を示す図である。
【図１３】図３に示す情報処理システムの動作の一例（図１２の続き）を示す図である。
【図１４】図３に示すジョブ割り当て部の動作の一例を示す図である。
【図１５】図１４に示すステップＳ２００の処理の一例を示す図である。
【図１６】図３に示す情報処理システムにより実行されるジョブの一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を用いて実施形態を説明する。
【００１４】
図１は、情報処理システム、制御装置および情報処理システムの制御方法の一実施形態を示す。図１に示す情報処理システムＳＹＳ１は、情報処理装置２００と、情報処理装置２００を制御する制御装置１００とを有する。制御装置１００は、保持部１０、制御部１２、ジョブ投入部１４および構成変更部１６を有する。情報処理装置２００は、複数の計算ノード２０、２２、切り替え装置２４、複数の入出力装置２６（２６ａ、２６ｂ）、２８（２８ａ、２８ｂ）を有する。各計算ノード２０、２２は、ＣＰＵ（Central Processing Unit）やプロセッサ等の演算処理装置と、演算処理装置により処理するデータを記憶するＤＲＡＭ（Dynamic Random Access Memory）等の主記憶装置とを有する。
【００１５】
入出力装置２６は、第１の入出力特性を有し、入出力装置２８は、第２の入出力特性を有する。例えば、第１の入出力特性は、書き込み性能が読み出し性能に比べて高い書き込み優位特性であり、第２の入出力特性は、読み出し性能が書き込み性能に比べて高い読み出し優位特性である。すなわち、第１の入出力特性は、所定数のデータを書き込む書き込み時間が、所定数のデータを読み出す読み出し時間より短い特性である。第２の入出力特性は、所定数のデータを読み出す読み出し時間が、所定数のデータを書き込む書き込み時間より短い特性である。なお、第１の入出力特性が読み出し優位特性であり、第２の入出力特性が書き込み優位特性であってもよい。
【００１６】
保持部１０は、情報処理システムＳＹＳ１の外部から供給される複数のジョブＪＢを保持する。制御部１２は、保持部１０に保持された複数のジョブＪＢのいずれかを取り出し、取り出したジョブＪＢをジョブ投入部１４に出力する。ジョブ投入部１４は、制御部１２から受けるジョブＪＢを、制御部１２の指示にしたがって複数の計算ノード２０、２２のいずれかに投入する。計算ノード２０、２２は、切り替え装置２４を介して接続された入出力装置２６、２８のいずれかを使用して、投入されたジョブＪＢを実行する。また、制御部１２は、計算ノード２０、２２と入出力装置２６、２８との接続を変更する指示を構成変更部１６に出力する。構成変更部１６は、制御部１２からの指示に基づいて、切り替え装置２４を制御し、計算ノード２０、２２と入出力装置２６、２８との接続を変更する。
【００１７】
図１に示す例では、保持部１０にジョブＪＢ１、ＪＢ２、ＪＢ３がこの順序で保持される。ジョブＪＢ１は、読み出し優位特性よりも書き込み優位特性に適した読み出しと書き込みの割合である。すなわち、ジョブＪＢ１は、書き込み処理の割合が読み出し処理の割合より大きいため、読み出し優位特性を有する入出力装置２８よりも書き込み優位特性を有する入出力装置２６を使用して処理された方が効率がよい。
【００１８】
ジョブＪＢ２は、ジョブＪＢ１と依存関係があり、書き込み優位特性よりも読み出し優位特性に適した読み出しと書き込みの割合である。すなわち、ジョブＪＢ２は、読み出し処理の割合が書き込み処理の割合より大きいため、書き込み優位特性を有する入出力装置２６よりも読み出し優位特性を有する入出力装置２８を使用して処理された方が効率がよい。
【００１９】
ジョブＪＢ３は、ジョブＪＢ１、ＪＢ２のいずれとも依存関係がなく、読み出し優位特性よりも書き込み優位特性に適した読み出しと書き込みの割合である。例えば、各ジョブＪＢ１、ＪＢ２、ＪＢ３が、書き込み優位特性または読み出し優位特性のいずれに適した読み出しと書き込みの割合であるかは、各ジョブＪＢ１、ＪＢ２、ＪＢ３とともに供給される情報により判定される。
【００２０】
図２は、図１に示す情報処理システムＳＹＳ１の動作の一例を示す。制御部１２は、保持部１０に最初に保持されたジョブＪＢ１に含まれる情報に基づいて、ジョブＪＢ１における書き込み処理の割合が読み出し処理の割合より大きいことを判定する。
【００２１】
そして、図２（Ａ）に示すように、制御部１２は、構成変更部１６に、書き込み性能が読み出し性能に比べて高い書き込み優位特性を有する入出力装置２６ａと計算ノード２０とを接続させる。制御部１２は、保持部１０からジョブＪＢ１を取り出し、取り出したジョブＪＢ１を、ジョブ投入部１４を介して計算ノード２０に投入する。
【００２２】
制御部１２は、ジョブＪＢ１の次に保持部１０に保持されたジョブＪＢ２が、ジョブＪＢ１と依存関係があるとともに、ジョブＪＢ２における読み出し処理の割合が書き込み処理の割合より大きいことを、ジョブＪＢ２に含まれる情報に基づいて判定する。すなわち、制御部１２は、ジョブＪＢ１、ＪＢ２が互いに依存関係を有し、互いに異なる入出力特性に適した読み出しと書き込みの割合であることを、ジョブＪＢ３に含まれる情報に基づいて判定する。また、制御部１２は、ジョブＪＢ２の次に保持部１０に保持されたジョブＪＢ３が、ジョブＪＢ１、ＪＢ２と依存関係がなく、ジョブＪＢ３における書き込み処理の割合が読み出し処理の割合より大きいことを検出する。
【００２３】
このため、制御部１２は、計算ノード２０によるジョブＪＢ１の実行が完了した後、図２（Ｂ）に示すように、構成変更部１６に、書き込み優位特性を有する入出力装置２６ｂと計算ノード２０とを接続させる。そして、制御部１２は、保持部１０からジョブＪＢ２よりも先にジョブＪＢ３を取り出し、取り出したジョブＪＢ３を、ジョブ投入部１４を介して計算ノード２０に投入する。
【００２４】
また、制御部１２は、構成変更部１６に、計算ノード２２と入出力装置２６ａ、２８ａとを接続させ、入出力装置２６ａが記憶するジョブＪＢ１の実行による実行結果データを入出力装置２８ａにコピーさせるコピー処理ＣＰＹを計算ノード２２に実行させる。これにより、ジョブＪＢ３の実行のバックグラウンドでコピー処理ＣＰＹを実行することができ、コピー処理ＣＰＹに掛かる時間を、ジョブＪＢ３の実行時間に含めることができる。
【００２５】
制御部１２は、計算ノード２０によるジョブＪＢ３の実行と計算ノード２２によるコピー処理ＣＰＹとが完了した後、図２（Ｃ）に示すように、構成変更部１６に、ジョブＪＢ１の実行結果データがコピーされた入出力装置２８ａと、計算ノード２０とを接続させる。そして、制御部１２は、ジョブ投入部１４を介してジョブＪＢ２を計算ノード２０に投入する。計算ノード２０は、読み出し優位特性を有する入出力装置２８ａを使用して、読み出し処理の割合が書き込み処理の割合より大きいジョブＪＢ２を実行する。このため、書き込み優位特性を有する入出力装置２６ａを使用して、ジョブＪＢ２を実行する場合に比べて、ジョブＪＢ２の実行時間を短縮することができる。そして、ジョブＪＢ１、ＪＢ２、ＪＢ３の実行は完了する。
【００２６】
以上、図１に示す情報処理システムＳＹＳ１は、読み出しと書き込みの割合が互いに異なり、データの依存関係を有するジョブＪＢ１、ＪＢ２を、読み書き性能が互いに異なる入出力装置２６、２８を使用して実行する。また、情報処理システムＳＹＳ１は、ジョブＪＢ１の実行結果データを入出力装置２６ａから入出力装置２８ａへコピーするコピー処理ＣＰＹを、他のジョブＪＢ３の実行中に実行する。
【００２７】
例えば、入出力装置２６ａが書き込み優位特性を有し、入出力装置２８ａが読み出し優位特性を有する場合、書き込みの割合が読み出しの割合より大きいジョブＪＢ１は、入出力装置２６ａを使用して実行される。読み出しの割合が書き込みの割合より大きく、ジョブＪＢ１と依存関係を有するジョブＪＢ２は、入出力装置２６ａに記憶されたジョブＪＢ１の実行結果データがコピーされた入出力装置２８ａを使用して、ジョブＪＢ３のバックグラウンドで実行される。これにより、ジョブＪＢ１、ＪＢ２、ＪＢ３の実行が完了するまでの時間を従来に比べて短縮することができ、ジョブＪＢ１、ＪＢ２、ＪＢ３の処理効率を従来に比べて向上することができる。この結果、情報処理システムＳＹＳ１の性能を従来に比べて向上することができる。
【００２８】
図３は、情報処理システム、制御装置および情報処理システムの制御方法の別の実施形態を示す。図３に示す情報処理システムＳＹＳ２は、管理サーバＭＳＶおよびリソースプールＲＳＣＰＬを有する。
【００２９】
管理サーバＭＳＶは、ユーザインタフェースＵＳＲＩＦ、ジョブキューＪＣＵＥ、ジョブ割り当て部ＡＬＣＴ、データベースＪＯＢＤＢ、ＳＶＤＢ、ＳＳＤＤＢ、ノード配備部ＮＤＰＬおよび構成変更部ＨＷＣを有する。管理サーバＭＳＶは、インターネットまたはイントラネット等のネットワークＮＷを介して、リソースプールＲＳＣＰＬを使用するユーザ等が操作する端末装置ＴＭに接続される。管理サーバＭＳＶは、リソースプールＲＳＣＰＬを制御する制御装置の一例である。なお、管理サーバＭＳＶは、ネットワークＮＷを介さずに端末装置ＴＭに接続されてもよく、ネットワークＮＷを介して複数の端末装置ＴＭに接続されてもよい。
【００３０】
リソースプールＲＳＣＰＬは、複数のサーバＳＶ（ＳＶ０、ＳＶ１、ＳＶ２、ＳＶ３、ＳＶ４、ＳＶ５）、複数の記憶装置ＳＳＤ（ＳＳＤ０、ＳＳＤ１、ＳＳＤ２、ＳＳＤ３、ＳＳＤ４、ＳＳＤ５）およびスイッチ装置ＤＳＷを有する。また、リソースプールＲＳＣＰＬは、スイッチ制御部ＳＷＣおよびネットワークスイッチＮＳＷを有する。サーバＳＶは、計算ノードの一例であり、記憶装置ＳＳＤは、入出力装置およびソリッドステートドライブ装置の一例である。リソースプールＲＳＣＰＬは、サーバＳＶと記憶装置ＳＳＤとを有する情報処理装置の一例である。なお、リソースプールＲＳＣＰＬに搭載されるサーバＳＶの数は、６つに限定されず、リソースプールＲＳＣＰＬに搭載される記憶装置ＳＳＤの数は、６つに限定されない。
【００３１】
端末装置ＴＭは、情報処理システムＳＹＳ１にジョブを実行させるコンピュータ装置に含まれる。情報処理システムＳＹＳ１は、端末装置ＴＭを介して入力されるユーザからの指示に基づいて、ジョブを実行し、ジョブの実行結果を端末装置ＴＭに出力する。
【００３２】
ユーザインタフェースＵＳＲＩＦは、端末装置ＴＭからのジョブを受信し、受信したジョブをＪＳＯＮ（Java_Script Object Notation；JavaScriptは登録商標）形式等のデータ形式に変換し、ジョブキューＪＣＵＥに転送する。また、ユーザインタフェースＵＳＲＩＦは、ジョブの実行結果を端末装置ＴＭに送信する。なお、図３に示す管理サーバＭＳＶには、ジョブの実行結果を端末装置ＴＭに送信するための機能ブロックおよび経路が記載されていない。例えば、ユーザインタフェースＵＳＲＩＦが受信するジョブは、ジョブを実行させるサーバＳＶの数、各サーバＳＶに接続する記憶装置ＳＳＤの数、後続のジョブとの依存関係、およびジョブによる記憶装置ＳＳＤのアクセス特性を示すジョブ情報を含む。
【００３３】
ユーザインタフェースＵＳＲＩＦは、ウェブブラウザ上で動作するＧＵＩ（Graphical User Interface）により実現される。端末装置ＴＭを操作するユーザは、端末装置ＴＭに表示されるＧＵＩ画面を使用して、ジョブを情報処理システムＳＹＳ１に送信し、ジョブの実行結果を受信する。
【００３４】
ジョブキューＪＣＵＥは、端末装置ＴＭから受ける複数のジョブを順次に保持し、保持したジョブをジョブ割り当て部ＡＬＣＴからの指示に基づいてジョブ割り当て部ＡＬＣＴに転送する。ジョブキューＪＣＵＥは、複数のジョブを保持する保持部の一例である。図３では、３つのジョブＡ１、Ａ２、Ｂ１がジョブキューＪＣＵＥに順次に投入された状態を示す。ジョブＡ１、Ａ２は、互いに依存関係を有しており、ジョブＡ１の実行により得られたデータを使用してジョブＡ２が実行される。ジョブＢ１は、ジョブＡ１、Ａ２に対して依存関係を持たない。ジョブキューＪＣＵＥは、ジョブを保持する３つの領域を有するが、ジョブを保持する領域の数は、４つ以上でもよい。
【００３５】
ジョブ割り当て部ＡＬＣＴは、ジョブキューＪＣＵＥに保持されたジョブの情報をデータベースＪＯＢＤＢに格納する。データベースＪＯＢＤＢに格納される情報の例は、図５に示される。
【００３６】
ジョブ割り当て部ＡＬＣＴは、データベースＪＯＢＤＢおよびデータベースＳＶＤＢを参照し、リソースプールＲＳＣＰＬに投入するジョブに含まれる情報で指定される数のサーバＳＶを、ジョブを実行するサーバＳＶとして選択する。また、ジョブ割り当て部ＡＬＣＴは、ジョブに含まれるアクセス特性に基づいて、複数の記憶装置ＳＳＤの中からジョブの処理の使用に適したタイプを選択する。
【００３７】
ジョブ割り当て部ＡＬＣＴは、選択したサーバＳＶ上にジョブを実行する環境を構築させる指示をノード配備部ＮＤＰＬに出力する。例えば、ジョブ割り当て部ＡＬＣＴは、ジョブを実行するサーバＳＶを起動する指示と、ジョブを実行するアプリケーションプログラムをインストールする指示とをノード配備部ＮＤＰＬに出力する。
【００３８】
ジョブ割り当て部ＡＬＣＴは、選択した記憶装置ＳＳＤのうち、ジョブに含まれる情報で指定される数の記憶装置ＳＳＤを、ジョブを実行するサーバＳＶに接続させる指示を構成変更部ＨＷＣに出力する。そして、ジョブ割り当て部ＡＬＣＴは、ジョブキューＪＣＵＥに保持されたジョブの１つを選択し、選択したジョブをリソースプールＲＳＣＰＬに投入する指示をノード配備部ＮＤＰＬに出力する。
【００３９】
ジョブ割り当て部ＡＬＣＴは、構成変更部ＨＷＣに接続させたサーバＳＶと記憶装置ＳＳＤとの接続関係を示す情報をデータベースＳＶＤＢ、ＳＳＤＤＢのそれぞれに格納する。そして、ジョブ割り当て部ＡＬＣＴは、データベースＪＯＢＤＢ、ＳＶＤＢ、ＳＳＤＤＢを使用して、リソースプールＲＳＣＰＬ内のリソース（サーバＳＶおよび記憶装置ＳＳＤ）を管理する。データベースＳＶＤＢ、ＳＳＤＤＢに格納される情報の例は、図５に示される。
【００４０】
ノード配備部ＮＤＰＬは、ジョブ割り当て部ＡＬＣＴからの指示に基づいて、リソースプールＲＳＣＰＬ内に所定数のサーバＳＶを配備し、ジョブ割り当て部ＡＬＣＴから受けるジョブを、配備したサーバＳＶに投入する。ここで、サーバＳＶの配備とは、未使用のサーバＳＶの中から、ジョブを実行する所定数のサーバＳＶを選択し、起動することである。サーバＳＶの起動は、電源の投入とジョブを実行するアプリケーションプログラムの起動とを含む。例えば、ノード配備部ＮＤＰＬの機能の一部は、ＯｐｅｎＳｔａｃｋ（登録商標）のＩｒｏｎｉｃにより実現されてもよい。ノード配備部ＮＤＰＬは、複数のサーバＳＶのいずれかにジョブを投入するジョブ投入部の一例である。
【００４１】
構成変更部ＨＷＣは、ジョブ割り当て部ＡＬＣＴからの指示に基づいて、リソースプールＲＳＣＰＬのスイッチ制御部ＳＷＣを制御し、所定のサーバＳＶを所定の記憶装置ＳＳＤに接続させる。
【００４２】
リソースプールＲＳＣＰＬにおいて、各サーバＳＶは、ＣＰＵ等の演算処理装置と、ＤＲＡＭ等の主記憶装置ＭＥＭとを有する。なお、各サーバＳＶは、ＯＳ（Operating System）およびアプリケーションプログラムを格納するハードディスクドライブ装置等の記憶装置を有してもよい。この場合、スイッチ装置ＤＳＷを介して記憶装置ＳＳＤに接続されていないサーバＳＶも、内蔵するハードディスクドライブ装置等の記憶装置を使用して起動状態を維持することができる。
【００４３】
スイッチ制御部ＳＷＣは、構成変更部ＨＷＣから受ける指示に基づいて、スイッチ装置ＤＳＷを制御する。スイッチ装置ＤＳＷは、スイッチ制御部ＳＷＣからの指示に基づいて、サーバＳＶのいずれかを記憶装置ＳＳＤのいずれかに接続する。スイッチ装置ＤＳＷは、構成変更部ＨＷＣからの指示に基づいて、複数のサーバＳＶと記憶装置ＳＳＤとの接続を切り替える切り替え装置の一例である。スイッチ装置ＤＳＷは、専用のハードウェアを使用して実現されてもよく、ＳＡＮ（Storage Area Network）を使用して実現されてもよい。
【００４４】
リソースプールＲＳＣＰＬに搭載される記憶装置ＳＳＤは、書き込み性能が読み出し性能に比べて高い入出力特性である書き込み優位特性、または読み出し性能が書き込み性能に比べて高い入出力特性である読み出し優位特性のいずれかを有する。以下、書き込み優位特性を有する記憶装置ＳＳＤは、書き込み優位タイプと称され、末尾に（Ｗ）が付される。読み出し優位特性を有する記憶装置ＳＳＤは、読み出し優位タイプと称され、末尾に（Ｒ）が付される。特に限定されないが、書き込み優位タイプの記憶装置ＳＳＤの性能ＩＯＰＳ（Input/Output Per Second）は、読み出しが４１Ｋ（キロ）ＩＯＰＳであり、書き込みが８０ＫＩＯＰＳである。読み出し優位タイプの記憶装置ＳＳＤの性能ＩＯＰＳは、読み出しが７５ＫＩＯＰＳであり、書き込みが１２ＫＩＯＰＳである。
【００４５】
なお、記憶装置ＳＳＤは、シーケンシャルアクセス時の書き込み性能とランダムアクセス時の書き込み性能とに基づいて、タイプが分類されてもよい。あるいは、記憶装置ＳＳＤは、シーケンシャルアクセス時の読み出し性能とランダムアクセス時の読み出し性能とに基づいて、タイプが分類されてもよい。ここで、シーケンシャルアクセスは、連続したアドレスへのアクセスを示し、ランダムアクセスは、不連続なアドレスへのアクセスを示す。さらに、アクセスされるブロックの数に応じてアクセス性能が異なる場合、記憶装置ＳＳＤは、ブロック数によるアクセス性能に基づいて、タイプが分類されてもよい。ここで、ブロックは、１回の書き込み要求または１回の読み出し要求によりアクセスされる単位である。
【００４６】
ネットワークスイッチＮＳＷは、サーバＳＶ、スイッチ制御部ＳＷＣおよびノード配備部ＮＤＰＬを相互に接続する。例えば、サーバＳＶ、スイッチ制御部ＳＷＣおよび管理サーバＭＳＶがＬＡＮ（Local Area Network）を介して互いに接続される場合、ネットワークスイッチＮＳＷは、ＬＡＮスイッチである。
【００４７】
図４は、図３に示す情報処理システムＳＹＳ１において、ジョブのタイプによるリソースプールＲＳＣＰＬの構成の例を示す。図４の左側は、記憶装置ＳＳＤに対する書き込みアクセスの割合が、記憶装置ＳＳＤに対する読み出しアクセスの割合より高いジョブを実行する場合のリソースプールＲＳＣＰＬの構成例を示す。以降の説明では、記憶装置ＳＳＤに対する書き込みアクセスの割合が、記憶装置ＳＳＤに対する読み出しアクセスの割合より高いジョブは、書き込み優位ジョブと称される。ジョブの処理効率を向上するために、書き込み優位ジョブを実行するサーバＳＶは、書き込み優位タイプの記憶装置ＳＳＤに接続されることが好ましい。
【００４８】
図４の右側は、記憶装置ＳＳＤに対する読み出しアクセスの割合が、記憶装置ＳＳＤに対する書き込みアクセスの割合より高いジョブを実行する場合のリソースプールＲＳＣＰＬの構成例を示す。以降の説明では、記憶装置ＳＳＤに対する読み出しアクセスの割合が、記憶装置ＳＳＤに対する書き込みアクセスの割合より高いジョブは、読み出し優位ジョブと称される。ジョブの処理効率を向上するために、読み出し優位ジョブを実行するサーバＳＶは、読み出し優位タイプの記憶装置ＳＳＤに接続されることが好ましい。
【００４９】
なお、図４は、Ａｐａｃｈｅ  Ｓｏｆｔｗａｒｅ  Ｆｏｕｎｄａｔｉｏｎ（Ａｐａｃｈｅは登録商標）が開発した大規模データの分散処理を行うソフトウェアフレームワークであるＨａｄｏｏｐ（登録商標）を動作させる例を示す。例えば、Ｈａｄｏｏｐ上でＭａｈｏｕｔ（登録商標）を動作させて、機械学習を実行する場合、処理するデータを分類する前処理では書き込みアクセスが支配的な場合が多く、分類されたデータを集計する後処理では、読み出しアクセスが支配的な場合が多い。例えば、前処理は、Ｈａｄｏｏｐのｍａｐ処理であり、後処理は、Ｈａｄｏｏｐのｒｅｄｕｃｅ処理である。
【００５０】
このため、図４の左側に示す構成のリソースプールＲＳＣＰＬにより前処理を実行することで、分類したデータの記憶装置ＳＳＤへの書き込み処理を効率的に実行できる。また、図４の右側に示す構成のリソースプールＲＳＣＰＬにより後処理を実行することで、記憶装置ＳＳＤに格納されたデータの読み出し処理を効率的に実行できる。例えば、図３において、ジョブＡ１は、機械学習の前処理に対応し、ジョブＡ２は、機械学習の後処理に対応する。なお、図４では、サーバＳＶ０は、ファイルシステムのデータを管理するｎａｍｅｎｏｄｅとして動作し、読み出し優位タイプの記憶装置ＳＳＤに接続される。サーバＳＶ１−ＳＶ３は、処理するデータｄａｔａを記憶装置ＳＳＤに入出力するｄａｔａｎｏｄｅとして動作する。
【００５１】
図４において、領域ｓｙｓｔｅｍ、ｎａｍｅ、ｔｍｐが割り当てられた記憶装置ＳＳＤは、親ノードとして動作するサーバＳＶ０により使用される。領域ｒｄａｔａが割り当てられた記憶装置ＳＳＤは、領域ｄａｔａが割り当てられた記憶装置に分散配置される前のデータ（生データ）を保持する。領域ｄａｔａが割り当てられた記憶装置ＳＳＤは、子ノードとして動作するサーバＳＶ１−ＳＶ３により分散されるデータを保持する。なお、サーバＳＶ０−ＳＶ３に接続される記憶装置ＳＳＤの数および用途は、図４に示す例に限定されない。
【００５２】
図５は、図３に示すデータベースＪＯＢＤＢ、ＳＶＤＢ、ＳＳＤＤＢに格納される情報の一例を示す。データベースＪＯＢＤＢ、ＳＶＤＢ、ＳＳＤＤＢは、情報処理システムＳＹＳ１の構築時の初期設定シーケンスにおいて生成される。図５に示すデータベースＪＯＢＤＢ、ＳＶＤＢ、ＳＳＤＤＢは、ジョブキューＪＣＵＥにジョブＡ１、Ａ２、Ｂ１が保持された初期状態（図３に示す状態）を示す。
【００５３】
データベースＪＯＢＤＢは、ジョブキューＪＣＵＥに投入されたジョブのＩＤ（IDentification）が格納される領域Ｊ−ＩＤと、データの依存関係を互いに有するジョブのＩＤが格納される領域ＮＪ−ＩＤとを有する。データの依存関係を有する他のジョブが存在しない場合、領域ＮＪ−ＩＤは、”０”に設定される。図５に示すデータベースＪＯＢＤＢは、ジョブキューＪＣＵＥにジョブＡ１、Ａ２、Ｂ１が順に保存され、ジョブＡ１とジョブＡ２とにデータの依存関係があることを示す。ジョブ割り当て部ＡＬＣＴは、データベースＪＯＢＤＢを参照することにより、ジョブキューＪＣＵＥに保持されたジョブ間の依存関係を認識することができ、認識結果に基づいて、ジョブの投入または投入の保留を判断することができる。領域ＮＪ−ＩＤに格納されるジョブのＩＤは、複数のジョブ間の依存関係を表す依存関係情報の一例であり、データベースＪＯＢＤＢは、依存関係情報を記憶する依存関係情報記憶部の一例である。
【００５４】
データベースＳＶＤＢは、サーバＳＶのＩＤ毎に、サーバＳＶが実行中のジョブのＩＤが格納される領域ＥＸＪ−ＩＤと、サーバＳＶに接続された記憶装置ＳＳＤのＩＤを格納する領域ＳＳＤ−ＩＤとを有する。ジョブを実行していない場合、領域ＥＸＪ−ＩＤは、”０”に設定され、サーバＳＶに記憶装置ＳＳＤが接続されていない場合、領域ＳＳＤ−ＩＤは、”０”に設定される。
【００５５】
データベースＳＳＤＤＢは、記憶装置ＳＳＤのＩＤ毎に、記憶装置ＳＳＤのタイプが格納される領域ＲＤ、ＷＲと、記憶装置ＳＳＤに接続されたサーバＳＶが実行中のジョブのＩＤが格納される領域ＥＸＪ−ＩＤとを有する。また、データベースＳＳＤＤＢは、記憶装置ＳＳＤのＩＤ毎に、記憶装置ＳＳＤに接続されたサーバＳＶのＩＤが格納される領域ＳＶ−ＩＤを有する。さらに、データベースＳＳＤＤＢは、記憶装置ＳＳＤのＩＤ毎に、記憶装置ＳＳＤに格納されたデータが後続のジョブで使用されることを示す情報が格納される領域ＵＳＥを有する。領域ＵＳＥに格納される情報は、データ保持情報の一例である。
【００５６】
書き込み優位タイプの記憶装置ＳＳＤに対応する領域ＲＤ、ＷＲは、”０”、”１”がそれぞれ設定される。読み出し優位タイプの記憶装置ＳＳＤに対応する領域ＲＤ、ＷＲには、”１”、”０”がそれぞれ設定される。ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢを参照することにより、ジョブのタイプ（書き込み優位ジョブまたは読み出し優位ジョブ）にしたがって、サーバＳＶに接続する記憶装置ＳＳＤを選択することができる。領域ＲＤ、ＷＲは、書き込み優位特性（書き込み優位タイプ）または読み出し優位タイプ（読み出し優位特性）を記憶装置ＳＳＤ毎に識別する優位情報の一例であり、データベースＳＳＤＤＢは、優位情報を記憶する優位情報記憶部の一例である。
【００５７】
ジョブを実行していない場合、データベースＳＳＤＤＢにおける領域ＥＸＪ−ＩＤは、”０”に設定される。記憶装置ＳＳＤにサーバＳＶが接続されていない場合、データベースＳＳＤＤＢにおける領域ＳＶ−ＩＤは、”０”に設定される。領域ＵＳＥは、記憶装置ＳＳＤに格納されたデータが後続のジョブで使用される場合”１”が設定され、記憶装置ＳＳＤに格納されたデータが後続のジョブで使用されない場合”０”が設定される。データベースＳＳＤＤＢに領域ＵＳＥを設けることで、依存関係を有する後続のジョブで使用するデータを記憶する記憶装置ＳＳＤが、他のジョブで使用されることを抑止することができる。この結果、依存関係を有する後続のジョブで使用するデータが、記憶装置ＳＳＤから失われることを抑止することができる。
【００５８】
図６から図１１は、図３に示す情報処理システムＳＹＳ２の動作の一例を示す。なお、図６から図１１では、説明を分かりやすくするために、サーバＳＶの数を３台とし、各ジョブＡ１、Ａ２、Ｂ１を実行するために、２つのサーバＳＶが使用され、各サーバＳＶに１つの記憶装置ＳＳＤが接続されるとする。また、記憶装置ＳＳＤ間でのデータのコピー処理は、１つのサーバが使用されるとする。
【００５９】
ジョブＡ１、Ａ２、Ｂ１により実行される処理は、Ｈａｄｏｏｐ処理であり、ジョブＡ１はｍａｐ処理、ジョブＡ２はｒｅｄｕｃｅ処理であるとする。なお、ジョブＡ１、Ａ２、Ｂ１により実行される処理は、Ｈａｄｏｏｐ処理以外の他の分散処理でもよい。
【００６０】
図６は、図３および図５に示す初期状態からの続きを示し、ジョブ割り当て部ＡＬＣＴが、最初のジョブＡ１をジョブキューＪＣＵＥから取り出し、ジョブＡ１を実行する準備をする状態を示す。図６において、データベースＳＶＤＢ、ＳＳＤＤＢ内に太枠で示す領域は、図５に対して状態が変化した領域を示す。同様に、図７から図１３において、データベースＪＯＢＤＢ、ＳＶＤＢ、ＳＳＤＤＢ内に太枠で示す領域は、それぞれ１つ手前の図に対して状態が変化した領域を示す。
【００６１】
まず、図３に示すように、管理サーバＭＳＶは、端末装置ＴＭからジョブＡ１、Ａ２、Ｂ１を順次に受け、受けたジョブＡ１、Ａ２、Ｂ１をジョブキューＪＣＵＥに格納する。例えば、端末装置ＴＭを操作する情報処理システムＳＹＳ２のユーザは、ユーザインタフェースＵＳＲＩＦ（ＧＵＩ画面）によりＨａｄｏｏｐ処理を選択する。そして、ユーザは、ユーザインタフェースＵＳＲＩＦにより、Ｈａｄｏｏｐ処理の実行に使用するパラメータを設定する。ここで、パラメータは、ｎａｍｅｎｏｄｅの数、ｄａｔａｎｏｄｅの数、ｍａｐ処理のタスク数、ｒｅｄｕｃｅ処理のタスク数、タスクのヒープサイズ等である。
【００６２】
図６において、ジョブ割り当て部ＡＬＣＴは、ジョブＡ１に含まれる情報に基づいて、２つのサーバＳＶを使用することを決定し、ジョブＡ１が書き込み優位ジョブであると判定する。なお、ジョブを分散して実行させるサーバＳＶの数と、ジョブのタイプ（書き込み優位ジョブまたは読み出し優位ジョブ）と、各サーバＳＶに接続する記憶装置ＳＳＤの数と、ジョブの依存関係は、端末装置ＴＭを介してユーザにより設定される。
【００６３】
ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢ、ＳＳＤＤＢをそれぞれ参照し、サーバＳＶ０、ＳＶ１と、書き込み優位タイプの記憶装置ＳＳＤ２、ＳＳＤ３とを使用することを決定する。そして、ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢにおけるサーバＳＶ０、ＳＶ１の領域ＳＳＤ−ＩＤに、サーバＳＶ０、ＳＶ１にそれぞれ接続する記憶装置ＳＳＤ２、ＳＳＤ３を示す情報を格納する。また、ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢにおける記憶装置ＳＳＤ２、ＳＳＤ３の領域ＳＶ−ＩＤに、記憶装置ＳＳＤ２、ＳＳＤ３にそれぞれ接続するサーバＳＶ０、ＳＶ１を示す情報を格納する。
【００６４】
次に、ジョブ割り当て部ＡＬＣＴは、サーバＳＶ０と記憶装置ＳＳＤ２とを接続させ、サーバＳＶ１と記憶装置ＳＳＤ３とを接続させる指示を構成変更部ＨＷＣに出力する。構成変更部ＨＷＣは、ジョブ割り当て部ＡＬＣＴからの指示に基づいて、スイッチ制御部ＳＷＣを制御し、スイッチ装置ＤＳＷを介して、サーバＳＶ０と記憶装置ＳＳＤ２とを接続し、サーバＳＶ１と記憶装置ＳＳＤ３とを接続する。構成変更部ＨＷＣは、サーバＳＶ０と記憶装置ＳＳＤ２との接続、およびサーバＳＶ１と記憶装置ＳＳＤ３との接続の完了をジョブ割り当て部ＡＬＣＴに通知する。なお、以降の動作においても、構成変更部ＨＷＣは、スイッチ装置ＤＳＷの状態を変更した場合、変更の完了をジョブ割り当て部ＡＬＣＴに通知する。
【００６５】
次に、図７において、ジョブ割り当て部ＡＬＣＴは、サーバＳＶ０、ＳＶ１の起動と、ジョブＡ１を実行するための環境の構築とをノード配備部ＮＤＰＬに指示する。ジョブＡ１を実行するための環境がサーバＳＶ０、ＳＶ１に構築された場合、ジョブ割り当て部ＡＬＣＴは、ジョブＡ１の実行をノード配備部ＮＤＰＬに指示する。ノード配備部ＮＤＰＬは、ジョブ割り当て部ＡＬＣＴからの指示に基づいてサーバＳＶ０、ＳＶ１にジョブＡ１を投入し、ジョブＡ１を実行させる。
【００６６】
そして、ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢにおけるサーバＳＶ０、ＳＶ１の領域ＥＸＪ−ＩＤに、サーバＳＶ０、ＳＶ１が実行中のジョブＡ１を示す情報を格納する。ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢにおける記憶装置ＳＳＤ２、ＳＳＤ３の領域ＥＸＪ−ＩＤに、サーバＳＶ０、ＳＶ１が実行中のジョブＡ１を示す情報を格納する。また、ジョブ割り当て部ＡＬＣＴは、データベースＪＯＢＤＢに格納された情報から、ジョブキューＪＣＵＥに格納されているジョブＡ２は、実行中のジョブＡ１と依存関係があるため、ジョブＡ２の代わりにジョブＢ１をジョブキューＪＣＵＥから取り出す。
【００６７】
ジョブ割り当て部ＡＬＣＴは、ジョブＢ１に含まれる情報に基づいて、２つのサーバＳＶを使用することを決定し、ジョブＢ１が書き込み優位ジョブであると判定する。ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢ、ＳＳＤＤＢをそれぞれ参照し、１つのサーバＳＶ２のみ空いているため、２つ以上のサーバＳＶが空くまでジョブＢ１の実行を待機する。
【００６８】
なお、図６から図１３は、説明を分かりやすくするために、１つのジョブがサーバＳＶに投入された時点で、空いているサーバＳＶの数が、他のジョブを実行可能な数に対して足りない例を示している。すなわち、図６から図１３は、複数のジョブがリソースプールＲＳＣＰＬに投入され、空いているサーバＳＶの数が不足している状態を局所的に示している。また、図１１で説明するように、１つのジョブがサーバＳＶに投入された時点で、空いている１つのサーバＳＶによりコピー処理ＣＰＹが実行可能な例を示している。
【００６９】
次に、図８において、ジョブ割り当て部ＡＬＣＴは、ジョブＡ１の実行の完了に基づいて、データベースＪＯＢＤＢからジョブＡ１に関する情報を削除する。また、ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢにおけるサーバＳＶ０、ＳＶ１の領域ＥＸＪ−ＩＤ、ＳＳＤ−ＩＤと、データベースＳＳＤＤＢにおける記憶装置ＳＳＤ２、ＳＳＤ３の領域ＥＸＪ−ＩＤ、ＳＶ−ＩＤとを”０”にリセットする。さらに、ジョブ割り当て部ＡＬＣＴは、データベースＪＯＢＤＢを参照することで、ジョブＡ１の実行結果データを後続のジョブＡ２で使用することを判断し、記憶装置ＳＳＤ２、ＳＳＤ３に保持している実行結果データの削除を抑止する。そして、ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢにおける記憶装置ＳＳＤ２、ＳＳＤ３の領域ＵＳＥを、記憶装置ＳＳＤ２、ＳＳＤ３に保持しているデータを後続のジョブで使用することを示す”１”に設定する。領域ＵＳＥが”１”に設定された記憶装置ＳＳＤは、依存関係のあるジョブを実行するためのデータのコピー操作以外のアクセスが抑止される。
【００７０】
この後、ジョブ割り当て部ＡＬＣＴは、ジョブ割り当て部ＡＬＣＴは、サーバＳＶ０と記憶装置ＳＳＤ２との接続を遮断させ、サーバＳＶ１と記憶装置ＳＳＤ３との接続を遮断させる指示を構成変更部ＨＷＣに出力する。構成変更部ＨＷＣは、ジョブ割り当て部ＡＬＣＴからの指示に基づいて、スイッチ制御部ＳＷＣを制御し、スイッチ装置ＤＳＷを介して、サーバＳＶ０と記憶装置ＳＳＤ２との接続を遮断し、サーバＳＶ１と記憶装置ＳＳＤ３との接続を遮断する。
【００７１】
次に、図９において、ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢ、ＳＳＤＤＢをそれぞれ参照し、サーバＳＶ０、ＳＶ１と、書き込み優位タイプの記憶装置ＳＳＤ０、ＳＳＤ１とをジョブＢ１の実行に使用することを決定する。そして、ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢにおけるサーバＳＶ０、ＳＶ１の領域ＳＳＤ−ＩＤに、サーバＳＶ０、ＳＶ１にそれぞれ接続する記憶装置ＳＳＤ０、ＳＳＤ１を示す情報を格納する。また、ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢにおける記憶装置ＳＳＤ０、ＳＳＤ１の領域ＳＶ−ＩＤに、記憶装置ＳＳＤ０、ＳＳＤ１にそれぞれ接続するサーバＳＶ０、ＳＶ１を示す情報を格納する。
【００７２】
次に、ジョブ割り当て部ＡＬＣＴは、サーバＳＶ０と記憶装置ＳＳＤ０とを接続させ、サーバＳＶ１と記憶装置ＳＳＤ１とを接続させる指示を構成変更部ＨＷＣに出力する。構成変更部ＨＷＣは、ジョブ割り当て部ＡＬＣＴからの指示に基づいて、スイッチ制御部ＳＷＣを制御し、スイッチ装置ＤＳＷを介して、サーバＳＶ０と記憶装置ＳＳＤ０とを接続し、サーバＳＶ１と記憶装置ＳＳＤ１とを接続する。
【００７３】
次に、図１０において、ジョブ割り当て部ＡＬＣＴは、サーバＳＶ０、ＳＶ１の起動と、ジョブＢ１を実行するための環境の構築とをノード配備部ＮＤＰＬに指示し、ジョブＢ１の実行をノード配備部ＮＤＰＬに指示する。ノード配備部ＮＤＰＬは、ジョブ割り当て部ＡＬＣＴからの指示に基づいて、環境を構築し、サーバＳＶ０、ＳＶ１にジョブＢ１を実行させる。
【００７４】
ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢ、ＳＳＤＤＢにおけるサーバＳＶ０、ＳＶ１の領域ＥＸＪ−ＩＤに、サーバＳＶ０、ＳＶ１が実行中のジョブＢ１を示す情報を格納する。また、ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢにおける記憶装置ＳＳＤ０、ＳＳＤ１の領域ＥＸＪ−ＩＤに、サーバＳＶ０、ＳＶ１が実行中のジョブＢ１を示す情報を格納する。ジョブ割り当て部ＡＬＣＴは、データベースＪＯＢＤＢを参照し、ジョブＡ２をジョブキューＪＣＵＥから取り出す。
【００７５】
次に、図１１において、ジョブ割り当て部ＡＬＣＴは、ジョブＡ２に含まれる情報に基づいて、２つのサーバＳＶを使用することを決定し、ジョブＡ２が読み出し優位ジョブであると判定する。ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢ、ＳＳＤＤＢをそれぞれ参照し、１つのサーバＳＶ２のみ空いているため、２つ以上のサーバＳＶが空くまでジョブＡ２の実行を待機する。
【００７６】
一方、ジョブ割り当て部ＡＬＣＴは、データベースＪＯＢＤＢを参照し、ジョブＡ２がジョブＡ１と依存関係があるため、ジョブＡ１の実行結果を使用して読み出し優位ジョブであるジョブＡ２を実行することを決定する。さらに、ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢを参照し、読み出し優位タイプの記憶装置ＳＳＤ４、ＳＳＤ５を使用して、ジョブＡ２を実行することを決定する。また、ジョブ割り当て部ＡＬＣＴは、記憶装置ＳＳＤ２、ＳＳＤ３に保持されているデータを記憶装置ＳＳＤ４、ＳＳＤ５にコピーすることを決定する。ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢを参照して空いているサーバＳＶを検索し、データのコピー処理にサーバＳＶ２を使用することを決定する。
【００７７】
そして、ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢにおけるサーバＳＶ２の領域ＳＳＤ−ＩＤに、サーバＳＶ２に接続する記憶装置ＳＳＤ２、ＳＳＤ３、ＳＳＤ４、ＳＳＤ５を示す情報を格納する。また、ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢにおける記憶装置ＳＳＤ２−ＳＳＤ５の領域ＳＶ−ＩＤに、記憶装置ＳＳＤ２−ＳＳＤ５に接続するサーバＳＶ２を示す情報を格納する。
【００７８】
次に、ジョブ割り当て部ＡＬＣＴは、サーバＳＶ２と記憶装置ＳＳＤ２−ＳＳＤ５とを接続させる指示を構成変更部ＨＷＣに出力する。構成変更部ＨＷＣは、ジョブ割り当て部ＡＬＣＴからの指示に基づいて、スイッチ制御部ＳＷＣを制御し、スイッチ装置ＤＳＷを介して、サーバＳＶ２と記憶装置ＳＳＤ２−ＳＳＤ５とを接続する。
【００７９】
次に、ジョブ割り当て部ＡＬＣＴは、サーバＳＶ２の起動と、記憶装置ＳＳＤ２、ＳＳＤ３から記憶装置ＳＳＤ４、ＳＳＤ５にデータをコピーするための環境の構築とをノード配備部ＮＤＰＬに指示する。コピー処理の環境がサーバＳＶ２に構築された場合、ジョブ割り当て部ＡＬＣＴは、コピー処理の実行をノード配備部ＮＤＰＬに指示する。ノード配備部ＮＤＰＬは、ジョブ割り当て部ＡＬＣＴからの指示に基づいてサーバＳＶ２にコピー処理を実行させる。
【００８０】
そして、ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢにおけるサーバＳＶ２の領域ＥＸＪ−ＩＤに、コピー処理の実行中を示す情報ＣＰＹを格納する。また、ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢにおける記憶装置ＳＳＤ２−ＳＳＤ５の領域ＥＸＪ−ＩＤに、コピー処理の実行中を示す情報ＣＰＹを格納する。
【００８１】
次に、図１２において、ジョブ割り当て部ＡＬＣＴは、ジョブＢ１の実行の完了に基づいて、データベースＪＯＢＤＢからジョブＢ１に関する情報を削除する。また、ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢにおけるサーバＳＶ０、ＳＶ１の領域ＥＸＪ−ＩＤ、ＳＳＤ−ＩＤと、データベースＳＳＤＤＢにおける記憶装置ＳＳＤ０、ＳＳＤ１の領域ＥＸＪ−ＩＤ、ＳＶ−ＩＤとを”０”にリセットする。この後、ジョブ割り当て部ＡＬＣＴは、サーバＳＶ０と記憶装置ＳＳＤ０との接続を遮断させ、サーバＳＶ１と記憶装置ＳＳＤ１との接続を遮断させる指示を構成変更部ＨＷＣに出力する。
【００８２】
一方、ジョブ割り当て部ＡＬＣＴは、コピー処理の完了に基づいて、データベースＳＶＤＢにおけるサーバＳＶ２の領域ＥＸＪ−ＩＤ、ＳＳＤ−ＩＤを”０”にリセットする。また、ジョブ割り当て部ＡＬＣＴは、コピー処理の完了に基づいて、データベースＳＳＤＤＢにおける記憶装置ＳＳＤ２−ＳＳＤ５の領域ＥＸＪ−ＩＤ、ＳＶ−ＩＤを”０”にリセットする。この後、ジョブ割り当て部ＡＬＣＴは、サーバＳＶ２と記憶装置ＳＳＤ２−ＳＳＤ５との接続を遮断させる指示を構成変更部ＨＷＣに出力する。また、コピー処理の完了により、記憶装置ＳＳＤ２、ＳＳＤ３に保持されたデータは、以降の動作で使用しないため、ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢにおける記憶装置ＳＳＤ２−ＳＳＤ５の領域ＵＳＥを”０”にリセットする。なお、サーバＳＶ２と記憶装置ＳＳＤ２、ＳＳＤ３の接続が解除される前に、記憶装置ＳＳＤ２、ＳＳＤ３に記憶されたデータを削除する処理をサーバＳＶ２に実行させてもよい。
【００８３】
次に、図１３において、ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢ、ＳＳＤＤＢをそれぞれ参照し、空いているサーバＳＶ０、ＳＶ１を使用してジョブＡ２を実行することを決定する。そして、ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢにおけるサーバＳＶ０、ＳＶ１の領域ＳＳＤ−ＩＤに、サーバＳＶ０、ＳＶ１にそれぞれ接続する記憶装置ＳＳＤ４、ＳＳＤ５を示す情報を格納する。また、ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢにおける記憶装置ＳＳＤ４、ＳＳＤ５の領域ＳＶ−ＩＤに、記憶装置ＳＳＤ４、ＳＳＤ５にそれぞれ接続するサーバＳＶ０、ＳＶ１を示す情報を格納する。
【００８４】
ジョブ割り当て部ＡＬＣＴは、サーバＳＶ０、ＳＶ１の起動と、ジョブＡ２を実行するための環境の構築とをノード配備部ＮＤＰＬに指示する。ジョブＡ２を実行するための環境がサーバＳＶ０、ＳＶ１に構築された場合、ジョブ割り当て部ＡＬＣＴは、ジョブＡ２の実行をノード配備部ＮＤＰＬに指示する。この後、サーバＳＶ０、ＳＶ１は、ジョブＡ２の実行を開始する。
【００８５】
そして、ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢにおけるサーバＳＶ０、ＳＶ１の領域ＥＸＪ−ＩＤに、サーバＳＶ０、ＳＶ１が実行中のジョブＡ２を示す情報を格納する。ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢにおける記憶装置ＳＳＤ４、ＳＳＤ５の領域ＥＸＪ−ＩＤに、サーバＳＶ０、ＳＶ１が実行中のジョブＡ２を示す情報を格納する。
【００８６】
図１４は、図３に示すジョブ割り当て部ＡＬＣＴの動作の一例を示す。図１４に示す動作は、管理サーバＭＳＶが実行する制御プログラムにより実現される情報処理システムＳＹＳ２の制御方法を示す。図１４に示すフローは、制御プログラムにより、所定の頻度で起動され、ジョブ毎に実行される。
【００８７】
まず、ステップＳ１０２において、ジョブ割り当て部ＡＬＣＴは、ジョブキューＪＣＵＥに保持されたジョブのうちで選択可能なジョブがあるか否かを判定する。サーバＳＶがジョブを実行していない場合、ジョブ割り当て部ＡＬＣＴは、ジョブキューＪＣＵＥに保持された最も古いジョブを選択可能と判断する。サーバＳＶがジョブを実行している場合、ジョブ割り当て部ＡＬＣＴは、サーバＳＶが実行中のジョブと依存関係がないジョブのうち、ジョブキューＪＣＵＥに保持された最も古いジョブを選択可能と判断する。また、サーバＳＶが実行中のジョブと依存関係があるジョブのみがジョブキューＪＣＵＥに保持されている場合、ジョブ割り当て部ＡＬＣＴは、選択可能なジョブがないと判定する。選択可能なジョブがある場合、処理はステップＳ１０４に移行され、選択可能なジョブがない場合、処理は終了する。
【００８８】
ステップＳ１０４において、ジョブ割り当て部ＡＬＣＴは、新たに実行するジョブをジョブキューＪＣＵＥから取り出し、処理をステップＳ１０６に移行する。ステップＳ１０６において、ジョブ割り当て部ＡＬＣＴは、データベースＪＯＢＤＢを参照し、ジョブキューＪＣＵＥから取り出したジョブとサーバＳＶに投入したジョブとの間に依存関係があるか否かを判定する。例えば、実行が完了したジョブＡ１と依存関係があるジョブＡ２がジョブキューＪＣＵＥから取り出された場合、処理はステップＳ１０８に移行される。一方、実行中のジョブＡ１と依存関係がないジョブＢ１がジョブキューＪＣＵＥから取り出された場合、処理はステップＳ１２０に移行される。
【００８９】
ステップＳ１０８において、ジョブ割り当て部ＡＬＣＴは、ジョブキューＪＣＵＥから取り出したジョブのタイプと、サーバＳＶに投入したジョブのタイプとが同じか否かを判定する。例えば、ジョブキューＪＣＵＥから取り出したジョブと、実行を完了したジョブが、ともに書き込み優位ジョブの場合、依存関係のある２つのジョブは、書き込み優位特性を有する共通の入出力装置２６を使用して実行可能であり、コピー処理は省略可能である。このため、処理はステップＳ１２４に移行される。一方、ジョブキューＪＣＵＥから取り出したジョブが読み出し優位ジョブで、実行を完了したジョブが書き込み優位ジョブの場合、入出力装置２６に記憶されたジョブの実行結果データを入出力装置２８へコピーするため、処理はステップＳ１１０に移行される。
【００９０】
ステップＳ１１０において、ジョブ割り当て部ＡＬＣＴは、依存関係を有するジョブ以外の他のジョブをサーバＳＶが実行中か否かを判定する。例えば、他のジョブをサーバＳＶが実行中の場合、実行中の他のジョブと並行して記憶装置ＳＳＤ間でデータのコピー処理を実行するため、処理はステップＳ２００に移行される。一方、実行中の他のジョブがなく、ジョブキューＪＣＵＥから取り出したジョブを投入できる場合、依存関係があるジョブの実行による実行結果データを保持している記憶装置ＳＳＤを使用してジョブを実行するため、処理はステップＳ１２４に移行される。すなわち、コピー処理をバックグラウンドで実行することが困難な場合、ジョブ割り当て部ＡＬＣＴは、コピー処理を実行せずに共通の記憶装置ＳＳＤを使用して、依存関係のある後続のジョブをサーバＳＶに実行させる。コピー処理を省略することにより、ジョブの処理効率を向上することができる場合がある。依存関係があるジョブの実行による実行結果データを保持している記憶装置ＳＳＤをそのまま使用してジョブを実行する例は、図１６（Ｅ）に示される。
【００９１】
ステップＳ２００において、ジョブ割り当て部ＡＬＣＴは、実行を完了したジョブで使用された記憶装置ＳＳＤに保持されているジョブの実行結果データを、選択したジョブで使用する記憶装置ＳＳＤにコピーするコピー処理を実行する。例えば、選択したジョブが読み出し優位ジョブの場合、書き込み優位ジョブの実行を完了したサーバＳＶで使用された書き込み優位タイプのＳＳＤから読み出し優位タイプのＳＳＤへ実行結果データがコピーされる。
【００９２】
コピー処理が他のジョブのバックグラウンドで実行される場合、コピー処理に掛かる時間は、ジョブの実行時間に含まれない。例えば、依存関係を有する後続のジョブが読み出し優位ジョブであるとする。この場合、実行結果データは、コピー処理により、読み出し優位タイプの記憶装置ＳＳＤに転送され、依存関係を有する後続の読み出し優位ジョブは、読み出し優位タイプの記憶装置ＳＳＤを使用して実行される。したがって、実行結果データの転送元の書き込み優位タイプの記憶装置ＳＳＤを使用して読み出し優位ジョブを実行する場合に比べて、ジョブの処理効率を向上することができる。ステップＳ２００によるコピー処理の例は、図１５に示される。
【００９３】
次に、ステップＳ１２０において、ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢを参照し、ジョブの実行に使用する数の記憶装置ＳＳＤの空きがあるか否かを判定する。ジョブ割り当て部ＡＬＣＴは、記憶装置ＳＳＤに空きがある場合、処理をステップＳ１２２に移行し、記憶装置ＳＳＤに空きがない場合、記憶装置ＳＳＤが空くまで待つ。ステップＳ１２２において、ジョブ割り当て部ＡＬＣＴは、ジョブの実行に使用する記憶装置ＳＳＤを選択し、処理をステップＳ１２４に移行する。
【００９４】
ステップＳ１２４において、ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢを参照し、ジョブの実行に使用する数のサーバＳＶの空きがあるか否かを判定する。ジョブ割り当て部ＡＬＣＴは、サーバＳＶに空きがある場合、処理をステップＳ１２６に移行し、サーバＳＶに空きがない場合、サーバＳＶが空くまで待つ。ステップＳ１２６において、ジョブ割り当て部ＡＬＣＴは、ジョブの実行に使用するサーバＳＶを選択し、選択したサーバＳＶおよび記憶装置ＳＳＤに基づいて、データベースＳＶＤＢの領域ＳＳＤ−ＩＤと、データベースＳＳＤＤＢの領域ＳＶ−ＩＤとを更新する。
【００９５】
なお、ジョブ割り当て部ＡＬＣＴが、ステップＳ１０８、Ｓ１１０の判定結果を保持し、保持した判定結果に基づいて、ステップＳ１２０、Ｓ１２２の実行の可否を判断できるとする。この場合、ステップＳ１２０、Ｓ１２２は、ステップＳ１２４、Ｓ１２６の後に処理されてもよい。
【００９６】
次に、ステップＳ１２８において、ジョブ割り当て部ＡＬＣＴは、ステップＳ１２２で選択した記憶装置ＳＳＤとステップＳ１２６で選択したサーバＳＶとの接続を、構成変更部ＨＷＣに指示する。構成変更部ＨＷＣは、ジョブ割り当て部ＡＬＣＴからの指示に基づいてスイッチ制御部ＳＷＣを制御し、スイッチ装置ＤＳＷを介して、指示されたサーバＳＶと記憶装置ＳＳＤとを接続する。
【００９７】
次に、ステップＳ１３０において、ジョブ割り当て部ＡＬＣＴは、選択したサーバＳＶの起動と、ジョブキューＪＣＵＥから取り出したジョブの実行とをノード配備部ＮＤＰＬに指示する。また、ジョブ割り当て部ＡＬＣＴは、ジョブの実行の開始に基づいて、データベースＳＶＤＢ、ＳＳＤＤＢの領域ＥＸＪ−ＩＤを更新する。ノード配備部ＮＤＰＬは、ジョブ割り当て部ＡＬＣＴからの指示に基づいて、指示されたサーバＳＶを起動し、ジョブを実行するための環境を構築する。そして、ノード配備部ＮＤＰＬは、起動したサーバＳＶにジョブを投入する。
【００９８】
次に、ステップＳ１３２において、ジョブ割り当て部ＡＬＣＴは、ジョブの実行の完了を待ち、ジョブの実行が完了した場合、処理をステップＳ１３４に移行する。ステップＳ１３４において、ジョブ割り当て部ＡＬＣＴは、完了したジョブを実行していたサーバＳＶの動作の終了（シャットダウン等）をノード配備部ＮＤＰＬに指示し、処理をステップＳ１３６に移行する。ノード配備部ＮＤＰＬは、ジョブ割り当て部ＡＬＣＴからの指示に基づいて、指示されたサーバＳＶの動作を終了する。なお、依存関係を有する先行のジョブが完了した場合、ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢの領域ＵＳＥを更新し、記憶装置ＳＳＤに格納されたデータが後続のジョブで使用されることを識別可能にする。
【００９９】
ステップＳ１３６において、ジョブ割り当て部ＡＬＣＴは、ステップＳ１２８で接続したサーバＳＶと記憶装置ＳＳＤとの接続の解除を構成変更部ＨＷＣに指示し、処理を終了する。また、ジョブ割り当て部ＡＬＣＴは、ジョブの完了に基づいて、データベースＳＶＤＢの領域ＥＸＪ−ＩＤ、ＳＳＤ−ＩＤと、データベースＳＳＤＤＢの領域ＥＸＪ−ＩＤ、ＳＶ−ＩＤとを更新する。さらに、ジョブ割り当て部ＡＬＣＴは、実行を完了したジョブが、後続のジョブとの間で依存関係を有する場合、データベースＳＳＤＤＢの領域ＵＳＥを更新する。構成変更部ＨＷＣは、ジョブ割り当て部ＡＬＣＴからの指示に基づいてスイッチ制御部ＳＷＣを制御し、スイッチ装置ＤＳＷを介して、指示されたサーバＳＶと記憶装置ＳＳＤとの接続を解除する。
【０１００】
図１５は、図１４に示すステップＳ２００の処理の一例を示す。まず、ステップＳ２０２において、ジョブ割り当て部ＡＬＣＴは、データベースＳＶＤＢを参照し、コピー処理に使用する数のサーバＳＶの空きがあるか否かを判定する。ジョブ割り当て部ＡＬＣＴは、サーバＳＶに空きがある場合、処理をステップＳ２０４に移行し、サーバＳＶに空きがない場合、サーバＳＶが空くまで待つ。
【０１０１】
ステップＳ２０４において、ジョブ割り当て部ＡＬＣＴは、コピー処理に使用するサーバＳＶを選択し、処理をステップＳ２０６に移行する。ステップＳ２０６において、ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢを参照し、コピー処理によりデータを書き込む記憶装置ＳＳＤの空きがあるか否かを判定する。ジョブ割り当て部ＡＬＣＴは、記憶装置ＳＳＤに空きがある場合、処理をステップＳ２０８に移行し、記憶装置ＳＳＤに空きがない場合、記憶装置ＳＳＤが空くまで待つ。
【０１０２】
ステップＳ２０８において、ジョブ割り当て部ＡＬＣＴは、コピー処理に使用する記憶装置ＳＳＤを選択し、データベースＳＶＤＢの領域ＳＳＤ−ＩＤと、データベースＳＳＤＤＢの領域ＳＶ−ＩＤとを更新し、処理をステップＳ２１０に移行する。
【０１０３】
ステップＳ２１０において、ジョブ割り当て部ＡＬＣＴは、ステップＳ２０４で選択したサーバＳＶとステップＳ２０８で選択した記憶装置ＳＳＤとの接続を、構成変更部ＨＷＣに指示する。構成変更部ＨＷＣは、ジョブ割り当て部ＡＬＣＴからの指示に基づいてスイッチ制御部ＳＷＣを制御し、スイッチ装置ＤＳＷを介して、指示されたサーバＳＶと記憶装置ＳＳＤとを接続する。
【０１０４】
次に、ステップＳ２１２において、ジョブ割り当て部ＡＬＣＴは、選択したサーバＳＶの起動をノード配備部ＮＤＰＬに指示する。ノード配備部ＮＤＰＬは、ジョブ割り当て部ＡＬＣＴからの指示に基づいて、指示されたサーバＳＶを起動し、ジョブを実行するための環境を構築する。
【０１０５】
ステップＳ２１４において、ジョブ割り当て部ＡＬＣＴは、ノード配備部ＮＤＰＬを介してサーバＳＶにコピー処理の実行を指示し、データベースＳＶＤＢ、ＳＳＤＤＢの領域ＥＸＪ−ＩＤを更新する。次に、ステップＳ２１６において、ジョブ割り当て部ＡＬＣＴは、コピー処理の完了を待ち、コピー処理が完了した場合、処理をステップＳ２１８に移行する。
【０１０６】
ステップＳ２１８において、ジョブ割り当て部ＡＬＣＴは、コピー元の記憶装置ＳＳＤに保持されているデータの削除をノード配備部ＮＤＰＬに指示し、処理をステップＳ２２０に移行する。また、ジョブ割り当て部ＡＬＣＴは、データの削除に伴い、データベースＳＳＤＤＢの領域ＵＳＥを更新する。ノード配備部ＮＤＰＬは、ジョブ割り当て部ＡＬＣＴからの指示に基づいて、コピー元の記憶装置ＳＳＤに保持されているデータを削除する。
【０１０７】
ステップＳ２２０において、ジョブ割り当て部ＡＬＣＴは、コピー処理を実行していたサーバＳＶの動作の終了（シャットダウン等）をノード配備部ＮＤＰＬに指示し、処理をステップＳ２２２に移行する。ノード配備部ＮＤＰＬは、ジョブ割り当て部ＡＬＣＴからの指示に基づいて、指示されたサーバＳＶの動作を終了する。
【０１０８】
ステップＳ２２２において、ジョブ割り当て部ＡＬＣＴは、ステップＳ２１０で接続したサーバＳＶと記憶装置ＳＳＤとの接続の解除を構成変更部ＨＷＣに指示し、処理を終了する。また、ジョブ割り当て部ＡＬＣＴは、コピー処理の完了に基づいて、データベースＳＶＤＢの領域ＥＸＪ−ＩＤ、ＳＳＤ−ＩＤと、データベースＳＳＤＤＢの領域ＥＸＪ−ＩＤ、ＳＶ−ＩＤとを更新する。構成変更部ＨＷＣは、ジョブ割り当て部ＡＬＣＴからの指示に基づいてスイッチ制御部ＳＷＣを制御し、スイッチ装置ＤＳＷを介して、指示されたサーバＳＶと記憶装置ＳＳＤとの接続を解除する。
【０１０９】
図１６は、図３に示す情報処理システムＳＹＳ２により実行されるジョブの一例を示す。ジョブＡ１、Ａ２、Ｂ１は、図３から図１３で説明したジョブＡ１、Ａ２、Ｂ１であり、ジョブＡ１、Ｂ１は、書き込み優位ジョブであり、ジョブＡ２は、読み出し優位ジョブである。ジョブＡ２は、ジョブＡ１に対して依存関係を有しており、ジョブＡ１の実行結果を使用して実行される。なお、ジョブＢ１は、読み出し優位ジョブでもよく、この場合、ジョブＢ１は、記憶装置ＳＳＤ（Ｒ）を使用して実行される。ジョブＡ１は、時刻ｔ０に開始され、ジョブＡ１の実行後、ジョブＢ１、Ａ２等が実行される。
【０１１０】
図１６（Ａ）および図１６（Ｃ）は、図６から図１３に示す動作により実行されるジョブＡ１、Ｂ１、Ａ２を示している。ジョブＡ１の実行結果を記憶装置ＳＳＤ（Ｗ）から記憶装置ＳＳＤ（Ｒ）にコピーするコピー処理ＣＰＹは、ジョブＢ１の処理と並列に実行される。図１６（Ａ）は、ジョブＢ１の実行時間ｔＢ１が、コピー処理ＣＰＹの実行時間ｔＣＰＹより長い例を示し、図１６（Ｃ）は、ジョブＢ１の実行時間ｔＢ１が、コピー処理ＣＰＹの実行時間ｔＣＰＹより短い例を示す。
【０１１１】
図１６（Ｂ）および図１６（Ｄ）は、ジョブＡ１、Ａ２、Ｂ１を書き込み優位タイプの記憶装置ＳＳＤ（Ｗ）を使用して実行する例を示している。図１６（Ｂ）および図１６（Ｄ）では、ジョブＡ１の実行結果を保持する記憶装置ＳＳＤ（Ｗ）を使用してジョブＡ２が実行されるため、コピー処理ＣＰＹは発生しない。但し、ジョブＡ２は、読み出し優位ジョブであるため、記憶装置ＳＳＤ（Ｗ）を使用して実行されるジョブＡ２の実行時間ｔＴ１ｗは、記憶装置ＳＳＤ（Ｒ）を使用して実行されるジョブＡ２の実行時間ｔＴ１ｒより長くなる。
【０１１２】
図１６（Ａ）に示すように、ジョブＢ１の実行時間ｔＢ１が、コピー処理ＣＰＹの実行時間ｔＣＰＹより長い場合、コピー処理ＣＰＹをジョブＢ１によって隠すことができる。また、ジョブＡ２の実行時間ｔＡ２ｒは、図１６（Ｂ）に示すジョブＡ２の実行時間ｔＡ２ｗより短縮することができる。この結果、図１６（Ａ）に示すジョブＡ１、Ａ２、Ｂ１の処理が完了する時刻ｔＡを、図１６（Ｂ）に示すジョブＡ１、Ａ２、Ｂ１の処理が完了する時刻ｔＢより常に早くすることができる。
【０１１３】
一方、実行時間ｔＢ１が実行時間ｔＣＰＹより短い場合、以下の条件下において、図１６（Ｃ）に示すジョブＡ１、Ａ２、Ｂ１の処理が完了する時刻ｔＣを、図１６（Ｄ）に示すジョブＡ１、Ａ２、Ｂ１の処理が完了する時刻ｔＤより常に早くすることができる。
（条件）図１６（Ｃ）に示す実行時間ｔＣＰＹと記憶装置ＳＳＤ（Ｒ）を使用したジョブＡ２の実行時間ｔＡ２ｒとの和が、図１６（Ｄ）に示すジョブＢ１の実行時間ｔＢ１と記憶装置ＳＳＤ（Ｗ）を使用したジョブＡ２の実行時間ｔＡ２ｗとの和より短い。
【０１１４】
なお、図１６（Ａ）から図１６（Ｄ）におけるＳＳＤ（Ｗ）とＳＳＤ（Ｒ）とを入れ換えることで、読み出し優位ジョブであるジョブＡ１の処理結果を使用して、書き込み優位ジョブであるジョブＡ１を実行する場合の例が示される。この場合にも、コピー処理ＣＰＹの実行により、タイプが異なる記憶装置ＳＳＤを使用して依存関係を有するジョブＡ１、Ａ２を実行することができ、ジョブＡ１、Ａ２、Ｂ１の処理が完了する時刻を早めることが可能になる。
【０１１５】
図１６（Ｅ）は、ジョブキューＪＣＵＥにジョブＢ１が保持されておらず、ジョブＡ１、Ａ２が順次実行される例を示す。この場合、図１４のステップＳ１１０で説明したように、読み出し優位ジョブであるジョブＡ２は、書き込み優位タイプの記憶装置ＳＳＤに記憶されたジョブＡ１の実行結果データを使用して実行される。このため、ジョブＡ２の実行時間ｔＡ２ｗは、読み出し優位タイプの記憶装置ＳＳＤを使用して実行される場合の実行時間ｔＡ２ｒより長くなる。但し、ジョブＡ２の実行時間ｔＡ２ｗが、図１６（Ｃ）に示す実行時間ｔＣＰＹ、ｔＡ２ｒの和より短い場合、最終のジョブＡ２の処理が完了する時刻ｔＥを、図１６（Ｃ）に示す最終のジョブＡ２の処理が完了する時刻ｔＣより早くすることができる。
【０１１６】
一方、ジョブＡ２の実行時間ｔＡ２ｗが、図１６（Ｃ）に示す実行時間ｔＣＰＹ、ｔＡ２ｒの和より長い場合、ジョブＡ２は、コピー処理ＣＰＹにより実行結果データがコピーされた読み出し優位タイプの記憶装置ＳＳＤを使用して実行されることが好ましい。このため、ジョブ割り当て部ＡＬＣＴは、図１４のステップＳ１１０において、ジョブＡ２の処理が完了する時刻ｔＥが時刻ｔＣより遅くなる場合、処理をステップＳ２００に移行してもよい。
【０１１７】
図１６（Ｆ）は、コピー処理ＣＰＹとジョブＢ１とを独立に実行する場合（比較例）を示す。コピー処理ＣＰＹとジョブＢ１とを独立に実行する場合、ジョブＡ１、Ａ２、Ｂ１の処理が完了する時刻ｔＦは、実行時間ｔＣＰＹ、ｔＡ２ｒ、ｔＢ１の和を含むため、図１６（Ａ）の時刻ｔＡおよび図１６（Ｃ）の時刻ｔＣより常に遅くなる。
【０１１８】
以上、図３から図１６に示す実施形態においても、図１および図２に示す実施形態と同様に、ジョブＡ１、Ａ２、Ｂ１の実行が完了するまでの時間を従来に比べて短縮することができ、ジョブＡ１、Ａ２、Ｂ１の処理効率を従来に比べて向上することができる。この結果、情報処理システムＳＹＳ２の性能を従来に比べて向上することができる。
【０１１９】
さらに、図３から図１６に示す実施形態では、管理サーバＭＳＶは、ジョブ間の依存関係を記憶する領域ＮＪ−ＩＤを含むデータベースＪＯＢＤＢを有する。これにより、ジョブ割り当て部ＡＬＣＴは、データベースＪＯＢＤＢを参照することにより、ジョブキューＪＣＵＥに保持されたジョブの依存関係を認識することができ、認識結果に基づいて、ジョブの投入または投入の保留を判断することができる。
【０１２０】
管理サーバＭＳＶは、記憶装置ＳＳＤのタイプを記憶する領域ＲＤ、ＷＲを含むデータベースＳＳＤＤＢを有する。これにより、ジョブ割り当て部ＡＬＣＴは、データベースＳＳＤＤＢを参照することにより、ジョブのタイプ（書き込み優位ジョブまたは読み出し優位ジョブ）にしたがって、サーバＳＶに接続する記憶装置ＳＳＤを選択することができる。
【０１２１】
管理サーバＭＳＶは、依存関係を有する後続のジョブで使用するデータが記憶装置ＳＳＤに記憶されていることを示す領域ＵＳＥを含むデータベースＳＳＤＤＢを有する。これにより、依存関係を有する後続のジョブで使用するデータを記憶する記憶装置ＳＳＤが、他のジョブで使用されることを抑止することができる。この結果、依存関係を有する後続のジョブで使用するデータが、記憶装置ＳＳＤから失われることを抑止することができる。
【０１２２】
ジョブ割り当て部ＡＬＣＴは、依存関係を有する後続のジョブをサーバＳＶにより実行可能な場合、コピー処理を実行せずに共通の記憶装置ＳＳＤを使用して、依存関係のある後続のジョブをサーバＳＶに実行させる。これにより、ジョブの処理効率をさらに向上することができる。
【０１２３】
以上の実施形態において説明した発明を整理して、付記として開示する。
（付記１）
複数の計算ノードと、前記複数の計算ノードのいずれかに接続され、第１の入出力特性を有する第１の入出力装置と第２の入出力特性を有する第２の入出力装置を含む複数の入出力装置とを備える情報処理装置と、前記情報処理装置を制御する制御装置とを有する情報処理システムにおいて、
前記制御装置は、
複数のジョブを保持する保持部と、
前記複数の計算ノードのいずれかにジョブを投入するジョブ投入部と、
前記複数の計算ノードと前記入出力装置との接続を変更する構成変更部と、
前記第２の入出力特性よりも前記第１の入出力特性に適した読み出しと書き込みの割合である第１のジョブ、前記第１のジョブと依存関係があるとともに前記第１の入出力特性よりも前記第２の入出力特性に適した読み出しと書き込みの割合である第２のジョブ、および前記第１のジョブと前記第２のジョブのいずれとも依存関係がない第３のジョブが前記保持部に保持されている場合、前記構成変更部に前記第１の入出力装置を接続させた前記情報処理装置に含まれる計算ノードに前記ジョブ投入部を介して前記第１のジョブを投入し、前記第１のジョブの実行の完了後、前記情報処理装置に含まれる前記複数の計算ノードの少なくともいずれかに前記ジョブ投入部を介して前記第２のジョブよりも先に前記第３のジョブを投入するとともに前記構成変更部に前記第１の入出力装置と前記第２の入出力装置とを接続させ、前記第１の入出力装置が記憶する前記第１のジョブの実行による実行結果データを前記第２の入出力装置にコピーさせ、前記第３のジョブの実行の完了後、前記構成変更部に前記第２の入出力装置を接続させた前記情報処理装置に含まれる計算ノードに前記ジョブ投入部を介して前記第２のジョブを投入する制御部を有することを特徴とする情報処理システム。
（付記２）
前記第１の入出力特性は、読み出し性能が書き込み性能に比べて高い読み出し優位特性と、書き込み性能が読み出し性能に比べて高い書き込み優位特性とのいずれか一方であり、
前記第２の入出力特性は、前記読み出し優位特性と、前記書き込み優位特性とのいずれか他方であることを特徴とする付記１記載の情報処理システム。
（付記３）
前記制御装置は、前記読み出し優位特性または前記書き込み優位特性を前記入出力装置毎に識別する優位情報を記憶する優位情報記憶部を有することを特徴とする付記１または付記２記載の情報処理システム。
（付記４）
前記優位情報記憶部は、前記入出力装置が前記実行結果データを記憶していることを前記入出力装置毎に識別するデータ保持情報を記憶する領域を有することを特徴とする付記３記載の情報処理システム。
（付記５）
前記制御装置は、前記複数のジョブ間の依存関係を表す依存関係情報を記憶する依存関係情報記憶部を有することを特徴とする付記１ないし付記３のいずれか１項記載の情報処理システム。
（付記６）
前記制御部は、前記第１のジョブに続いて投入するジョブが、前記第２のジョブを除いて存在しない場合、前記第１のジョブの実行後、前記第１のジョブの実行結果データを記憶する前記第１の入出力装置を接続した計算ノードに、前記ジョブ投入部を介して前記第２のジョブを投入することを特徴とする付記１ないし付記５のいずれか１項記載の情報処理システム。
（付記７）
前記保持部は、前記第１のジョブ、前記第２のジョブおよび前記第３のジョブを順次保持することを特徴とする付記１ないし付記５のいずれか１項記載の情報処理システム。
（付記８）
前記制御部は、前記保持部が最初に保持したジョブを前記ジョブ投入部に出力することを特徴とする付記１ないし付記７のいずれか１項記載の情報処理システム。
（付記９）
前記情報処理装置は、前記構成変更部からの指示に基づいて、前記複数の計算ノードと前記複数の入出力装置との接続を切り替える切り替え装置を有することを特徴とする付記１ないし付記８のいずれか１項記載の情報処理システム。
（付記１０）
前記第１の入出力装置および前記第２の入出力装置は、半導体メモリ素子を含むソリッドステートドライブ装置であることを特徴とする付記１ないし付記９のいずれか１項記載の情報処理システム。
（付記１１）
複数の計算ノードと、前記複数の計算ノードのいずれかに接続され、第１の入出力特性を有する第１の入出力装置と第２の入出力特性を有する第２の入出力装置を含む複数の入出力装置とを備える情報処理装置を制御する制御装置において、
前記制御装置は、
複数のジョブを保持する保持部と、
前記複数の計算ノードのいずれかにジョブを投入するジョブ投入部と、
前記複数の計算ノードと前記入出力装置との接続を変更する構成変更部と、
前記第２の入出力特性よりも前記第１の入出力特性に適した読み出しと書き込みの割合である第１のジョブ、前記第１のジョブと依存関係があるとともに前記第１の入出力特性よりも前記第２の入出力特性に適した読み出しと書き込みの割合である第２のジョブ、および前記第１のジョブと前記第２のジョブのいずれとも依存関係がない第３のジョブが前記保持部に保持されている場合、前記構成変更部に前記第１の入出力装置を接続させた前記情報処理装置に含まれる計算ノードに前記ジョブ投入部を介して前記第１のジョブを投入し、前記第１のジョブの実行の完了後、前記情報処理装置に含まれる前記複数の計算ノードの少なくともいずれかに前記ジョブ投入部を介して前記第２のジョブよりも先に前記第３のジョブを投入するとともに前記構成変更部に前記第１の入出力装置と前記第２の入出力装置とを接続させ、前記第１の入出力装置が記憶する前記第１のジョブの実行による実行結果データを前記第２の入出力装置にコピーさせ、前記第３のジョブの実行の完了後、前記構成変更部に前記第２の入出力装置を接続させた前記情報処理装置に含まれる計算ノードに前記ジョブ投入部を介して前記第２のジョブを投入する制御部を有することを特徴とする制御装置。
（付記１２）
複数の計算ノードと、前記複数の計算ノードのいずれかに接続され、第１の入出力特性を有する第１の入出力装置と第２の入出力特性を有する第２の入出力装置を含む複数の入出力装置とを備える情報処理装置と、前記情報処理装置を制御する制御装置とを有する情報処理システムの制御方法において、
前記制御装置が、
前記複数の計算ノードのいずれかに保持部が保持する複数のジョブのいずれかを投入し、
前記複数の計算ノードと前記入出力装置との接続を変更し、
前記第２の入出力特性よりも前記第１の入出力特性に適した読み出しと書き込みの割合である第１のジョブ、前記第１のジョブと依存関係があるとともに前記第１の入出力特性よりも前記第２の入出力特性に適した読み出しと書き込みの割合である第２のジョブ、および前記第１のジョブと前記第２のジョブのいずれとも依存関係がない第３のジョブが前記保持部に保持されている場合、前記構成変更部に前記第１の入出力装置を接続させた前記情報処理装置に含まれる計算ノードに前記ジョブ投入部を介して前記第１のジョブを投入し、前記第１のジョブの実行の完了後、前記情報処理装置に含まれる前記複数の計算ノードの少なくともいずれかに前記ジョブ投入部を介して前記第２のジョブよりも先に前記第３のジョブを投入するとともに前記構成変更部に前記第１の入出力装置と前記第２の入出力装置とを接続させ、前記第１の入出力装置が記憶する前記第１のジョブの実行による実行結果データを前記第２の入出力装置にコピーさせ、前記第３のジョブの実行の完了後、前記構成変更部に前記第２の入出力装置を接続させた前記情報処理装置に含まれる計算ノードに前記ジョブ投入部を介して前記第２のジョブを投入することを特徴とする情報処理システムの制御方法。
【０１２４】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【符号の説明】
【０１２５】
１０…保持部；１２…制御部；１４…ジョブ投入部；１６…構成変更部；２０、２２…計算ノード；２４…切り替え装置；２６（２６ａ、２６ｂ）…入出力装置；２８（２８ａ、２８ｂ）…入出力装置；１００…制御装置；２００…情報処理装置；ＡＬＣＴ…ジョブ割り当て部；ＤＳＷ…スイッチ装置；ＨＷＣ…構成変更部；ＪＣＵＥ…ジョブキュー；ＪＯＢＤＢ…データベース；ＭＥＭ…主記憶装置；ＭＳＶ…管理サーバ；ＮＤＰＬ…ノード配備部；ＮＳＷ…ネットワークスイッチ；ＮＷ…ネットワーク；ＲＳＣＰＬ…リソースプール；ＳＳＤ…記憶装置；ＳＳＤＤＢ…データベース；ＳＶ…サーバ；ＳＶＤＢ…データベース；ＳＷＣ…スイッチ制御部；ＳＹＳ１、ＳＹＳ２…情報処理システム；ＴＭ…端末装置；ＵＳＲＩＦ…ユーザインタフェース
【図１】
2016184310.tif 000003
【図２】
2016184310.tif 000004
【図３】
2016184310.tif 000005
【図４】
2016184310.tif 000006
【図５】
2016184310.tif 000007
【図６】
2016184310.tif 000008
【図７】
2016184310.tif 000009
【図８】
2016184310.tif 000010
【図９】
2016184310.tif 000011
【図１０】
2016184310.tif 000012
【図１１】
2016184310.tif 000013
【図１２】
2016184310.tif 000014
【図１３】
2016184310.tif 000015
【図１４】
2016184310.tif 000016
【図１５】
2016184310.tif 000017
【図１６】
2016184310.tif 000018