(57)【特許請求の範囲】
【請求項１】
スケジューラマップを保存するスケジューラマップ保存部と、ここで、前記スケジューラマップは、ジョブ実行開始時刻の遅延が禁止される遅延禁止ジョブが割り当てられる特別アサイン領域を、前記スケジューラマップの終端に備え、
スケジューラマップにアサインするジョブを、バックフィル型スケジューリングにより選択するアサイン対象ジョブ選択部と、ここで、前記アサイン対象ジョブ選択部は、選択した前記ジョブが、前記遅延禁止ジョブである場合には、前記選択したジョブを前記特別アサイン領域に割り当て、
前記スケジューラマップの空き領域を検索する空き情報検索部と、
前記遅延禁止ジョブを追い越しても、前記遅延禁止ジョブの前記ジョブ実行開始時刻を遅延させない追越可能ジョブを判別する追越可能判別部と、
前記追越可能ジョブの実行予定時刻を決定する実行予定時刻決定部と、
前記追越可能ジョブの実行予定計算ノードを選択する実行予定計算ノード選択部と
を備え、
前記特別アサイン領域の位置を、コンフィグパラメータで定めた一定時間を限度として、前記スケジューラマップ上で移動させることができる
ジョブスケジューリングシステム。
【請求項２】
前記アサイン対象ジョブ選択部は、アサイン対象の前記ジョブのうちアサイン待ち時間が最も長いジョブを遅延禁止ジョブとし、アサイン対象の前記ジョブが、前記遅延禁止ジョブであるかどうかを判定する
請求項１に記載のジョブスケジューリングシステム。
【請求項３】
スケジューラマップ保存部が、スケジューラマップを保存するステップと、ここで、前記スケジューラマップは、ジョブ実行開始時刻の遅延が禁止される遅延禁止ジョブが割り当てられる特別アサイン領域を、前記スケジューラマップの終端に備え、
アサイン対象ジョブ選択部が、スケジューラマップにアサインするジョブを、バックフィル型スケジューリングにより選択するステップと、
前記アサイン対象ジョブ選択部が、前記選択するステップにより選択した前記ジョブが、前記遅延禁止ジョブである場合には、前記選択したジョブを前記特別アサイン領域に割り当てるステップと、
空き情報検索部が、前記スケジューラマップの空き領域を検索するステップと、
追越可能判別部が、前記遅延禁止ジョブを追い越しても、前記遅延禁止ジョブの前記ジョブ実行開始時刻を遅延させない追越可能ジョブを判別するステップと、
実行予定時刻決定部が、前記追越可能ジョブの実行予定時刻を決定するステップと、
実行予定計算ノード選択部が、前記追越可能ジョブの実行予定計算ノードを選択するステップと、
追越可能ジョブを判定するステップの後、かつ、前記追越可能ジョブの実行予定時刻を決定するステップの前に、前記特別アサイン領域の位置を、コンフィグパラメータで定めた一定時間を限度として、前記スケジューラマップ上で移動させるステップ
を含むジョブスケジューリング方法。
【請求項４】
前記選択したジョブを前記特別アサイン領域に割り当てるステップは、
アサイン対象の前記ジョブのうちアサイン待ち時間が最も長いジョブを遅延禁止ジョブとし、アサイン対象の前記ジョブが、前記遅延禁止ジョブであるかどうかを判定するステップ
を含む請求項３に記載のジョブスケジューリング方法。
【請求項５】
請求項３または４に記載のジョブスケジューリング方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジョブスケジューリングシステムに関する。
【背景技術】
【０００２】
複数の計算ノードで構成されるクラスタリングシステムにおいて、バックフィル型スケジューリングを用いるジョブスケジューラ（以下、「バックフィルスケジューラ」という）が利用されている。バックフィルスケジューラは、システムの計算リソースと時間を軸にした二次元マップ（以下、「スケジューラマップ」という）を使用して、ジョブの予定実行時刻を管理しながら、ジョブが要求するリソースを割り当てる（以下、「アサインする」という）スケジューラである。スケジューラマップによるジョブスケジューリングシステムは、ＨＰＣ（Ｈｉｇｈ  Ｐｅｒｆｏｒｍａｎｃｅ  Ｃｏｍｐｕｔｉｎｇ）分野を中心に利用されている。
【０００３】
従来のスケジューラマップによるジョブスケジューリングシステムでは、システムの計算リソースの使用が少ない少規模ジョブに、システムの計算リソースを多用する大規模ジョブが追い越され続けることにより、長期間、大規模ジョブの実行が開始されない課題があった。図１は、従来のスケジューラマップによるジョブスケジューリングシステムの課題を説明するための図である。図１のスケジューラマップ１０１は、縦軸に計算ノード数、横軸に時間がとられている。スケジューラマップ１０１では、現在時刻からマップ終端までの時間の間に、処理が開始するジョブに対して、計算ノード１〜４で実行するジョブを予約することができる。図１の例では、アサイン待ちジョブ１０２として、ジョブ７〜１０がある状態が示されている。この例では、システムの計算リソースの使用が少ない少規模ジョブ８、９に、システムの計算リソースを多用する大規模ジョブ７が追い越されることにより、長期間、大規模ジョブ７の実行が開始されない状態が示されている。
【０００４】
従来のスケジューラマップ１０１によるジョブスケジューリングシステムは、図１で説明した課題を解決するために、追い越し禁止機能が実装されている。図２は、従来のスケジューラマップ１０１によるジョブスケジューリングシステムの追い越し禁止機能を説明するための図である。追い越し禁止機能とは、一般に、一定時間アサインできなかったジョブが存在する場合には、後続のジョブを追い越し禁止にすることで該当ジョブのアサインを優先させる機能である。図２の例では、アサイン待ちジョブ１０２として、ジョブ７〜１０がある状態が示されている。この例では、一定時間アサインできなかったジョブ７が存在するため、後続のジョブ８、９、１０が、ジョブ７に対して追い越し禁止に設定されている。しかし、追い越し禁止機能を有効にすると、小規模ジョブがスケジューラマップ１０１にアサイン出来ず、計算ノードに空き領域が増え、システム稼働率が低下することがある。図２の例では、追い越し禁止機能を有効にしたため、計算ノード３の空き領域が増えている。
【０００５】
これまでのＨＰＣ分野におけるクラスタリングシステムでは、規模（使用計算ノード数、ＣＰＵ数）毎にクラス分けし、クラス毎に使用する計算リソースを分ける運用が主流であった。このような運用では、大規模ジョブと小規模ジョブでクラスが異なるため、リソースが競合することはなかった。しかし、近年は、クラスタリングシステムの全リソースを共有して管理する方法が主流となってきており、大規模ジョブと小規模ジョブでリソースの競合による問題が発生するようになってきた。そのため、大規模ジョブと小規模ジョブが混合していても、効率よくジョブをアサインすることにより、クラスタリングシステムの稼動率の低下を抑えるジョブスケジューリングシステムが求められている。
【０００６】
本発明の分野に関する文献公知発明としては、特開２００１−２２６０１号公報（特許文献１）がある。特開２００１−２２６０１号公報では、ジョブのスケジューリングに関する技術として、複数の実行待ちジョブのうち、先頭に実行要求が発行されたジョブに対して、優先的にスケジュールを行うジョブ実行制御方法及び並列計算機システムに関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−２２６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、大規模ジョブの実行開始を遅延させない範囲で、可能な限り小規模ジョブの実行を先行させることにより、システムの稼働率を向上させるジョブスケジューリングシステムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明のジョブスケジューリングシステムは、スケジューラマップを保存するスケジューラマップ保存部と、スケジューラマップにアサインするジョブを、バックフィル型スケジューリングにより選択するアサイン対象ジョブ選択部と、スケジューラマップの空き領域を検索する空き情報検索部と、遅延禁止ジョブを追い越しても、遅延禁止ジョブのジョブ実行開始時刻を遅延させない追越可能ジョブを判別する追越可能判別部と、追越可能ジョブの実行予定時刻を決定する実行予定時刻決定部と、追越可能ジョブの実行予定計算ノードを選択する実行予定計算ノード選択部とを備える。
【００１０】
本発明のジョブスケジューリング方法は、ジョブスケジューリングシステムにより実施されるジョブスケジューリング方法である。スケジューラマップ保存部が、スケジューラマップを保存するステップと、アサイン対象ジョブ選択部が、スケジューラマップにアサインするジョブを、バックフィル型スケジューリングにより選択するステップと、アサイン対象ジョブ選択部が、選択するステップにより選択したジョブが、遅延禁止ジョブである場合には、選択したジョブを特別アサイン領域に割り当てるステップと、空き情報検索部が、スケジューラマップの空き領域を検索するステップと、追越可能判別部が、遅延禁止ジョブを追い越しても、遅延禁止ジョブのジョブ実行開始時刻を遅延させない追越可能ジョブを判断するステップと、実行予定時刻決定部が、追越可能ジョブの実行予定時刻を決定するステップと、実行予定計算ノード選択部が、追越可能ジョブの実行予定計算ノードを選択するステップとを含む。
【発明の効果】
【００１１】
本発明によれば、大規模ジョブの実行開始を遅延させない範囲で、可能な限り小規模ジョブの実行を先行させることにより、システムの稼働率を向上させるジョブスケジューリングシステムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、従来のスケジューラマップによるジョブスケジューリングシステムの課題を説明するための図である。
【図２】図２は、従来のスケジューラマップによるジョブスケジューリングシステムの追い越し禁止機能を説明するための図である。
【図３】図３は、本発明の第１実施形態におけるジョブスケジューリングシステム１００のブロック図である。
【図４】図４は、本発明の第１実施形態におけるジョブスケジューリングシステム１００のスケジューラマップ２１を説明するための図である。
【図５】図５は、本発明の第１実施形態におけるジョブスケジューリングシステム１００のハードウェア構成図である。
【図６】図６は、本発明の第１実施形態におけるジョブスケジューリングシステム１００のジョブスケジューリング方法のフローチャートである。
【図７】図７は、本発明の第２実施形態におけるジョブスケジューリングシステム１００のブロック図である。
【図８】図８は、本発明の第２実施形態におけるジョブスケジューリングシステム１００のジョブスケジューリング方法のフローチャートである。
【図９】図９は、本発明の第２実施形態におけるジョブスケジューリングシステム１００のスケジューラマップ２１を説明するための図である。
【発明を実施するための形態】
【００１３】
（第１実施形態）
添付図面を参照して、本発明の第１実施形態によるジョブスケジューリングシステム１００を以下に説明する。
【００１４】
［構成の説明］
はじめに、本実施形態におけるジョブスケジューリングシステム１００の機能構成の説明を行う。図３は、本発明の第１実施形態におけるジョブスケジューリングシステム１００のブロック図である。
【００１５】
ジョブスケジューリングシステム１００は、アサイン対象ジョブ選択部１０、スケジューラマップ保存部２０及びジョブアサイン部３０を備える。
【００１６】
アサイン対象ジョブ選択部１０は、遅延禁止ジョブ判別部１１及び特別アサイン領域確保部１２を備え、アサイン待ちジョブ２２から、スケジューラマップ２１にアサインするジョブを選択する。図４は、本発明の第１実施形態におけるジョブスケジューリングシステム１００のスケジューラマップ２１を説明するための図である。図４のスケジューラマップ２１は、縦軸に計算ノード数、横軸に時間がとられている。スケジューラマップ２１では、現在時刻からマップ終端までの時間の間に、処理が開始するジョブに対して、計算ノード１〜４で実行するジョブを予約することができる。図４のスケジューラマップ２１は、特別アサイン領域２３を備えている点が、図１及び図２のスケジューラマップ１０１とは異なる。特別アサイン領域２３については後述する。遅延禁止ジョブ判別部１１は、アサイン待ちジョブ２２の対象ジョブが、ジョブ実行開始時刻の遅延が禁止されたジョブとなっているかを判別する。遅延禁止ジョブ判別部１１は、対象ジョブのジョブ実行開始時刻の遅延が禁止されており、特別アサイン領域２３が、まだスケジューラマップ２１に確保されていない場合に、特別アサイン領域確保部１２の処理を呼び出す。特別アサイン領域確保部１２は、ジョブ実行開始時刻の遅延が禁止となったジョブをアサインするための特別アサイン領域２３を、スケジューラマップ２１に確保する。
【００１７】
スケジューラマップ保存部２０は、スケジューラマップ２１の情報を保存する。スケジューラマップ２１の情報には、ジョブが使用する計算リソース、ジョブの実行開始時刻及びジョブの実行所要時間等が含まれる。
【００１８】
ジョブアサイン部３０は、空き領域情報検索部３１、実行予定時刻決定部３２、追越可能判別部３３及び実行予定計算ノード選択部３４を備え、スケジューラマップ２１にジョブをアサインする。空き領域情報検索部３１は、スケジューラマップ２１の空き領域（アサイン可能なリソースの場所）を検索する。実行予定時刻決定部３２は、アサイン待ちジョブ２２のジョブの実行予定時刻を決定する。追越可能判別部３３は、特別アサイン領域に割り当てられたジョブを追い越しても、特別アサイン領域に割り当てられたジョブのジョブ実行開始時刻を遅延させないジョブ（以下、「特別アサイン領域２３にオーバーラップしないジョブ」という）を判断する。追越可能判別部３３は、特別アサイン領域２３にオーバーラップしないジョブについては、特別アサイン領域２３に割り当てたジョブを追い越してアサインすることを許可する。実行予定計算ノード選択部３４は、実行予定時刻が決定したジョブのアサイン領域を、スケジューラマップ２１に確保する。
【００１９】
次に、本実施形態におけるジョブスケジューリングシステム１００のハードウェア構成の説明を行う。図５は、本発明の第１実施形態におけるジョブスケジューリングシステム１００のハードウェア構成図である。
【００２０】
本実施形態のジョブスケジューリングシステム１００は、図５のようなクラスタリングシステム５０において、計算ノード１〜４を管理する管理ノード５において実施される。なお、図５のクラスタリングシステム５０の計算ノードの数は４つであるが、計算ノードの数は４つに限られない。管理ノード５におけるジョブスケジューリングシステム１００は、メモリ８に展開されるジョブスケジューリングプログラム９が、ＣＰＵ６により実行されることにより実現される。ジョブスケジューリングプログラム９は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の補助記憶装置７に格納されている。
【００２１】
［動作方法の説明］
次に、本実施形態におけるジョブスケジューリングシステム１００において、ジョブスケジューリング方法の説明を行う。図６は、本発明の第１実施形態におけるジョブスケジューリングシステム１００のジョブスケジューリング方法のフローチャートである。
【００２２】
（ステップＳ１）
アサイン対象ジョブ選択部１０は、アサイン待ちジョブ２２から、アサイン対象のジョブを選択する。
【００２３】
（ステップＳ２）
遅延禁止ジョブ判別部１１は、ステップＳ１で選択したジョブが、実行開始遅延禁止ジョブであるかどうかを判別する。遅延禁止ジョブ判別部１１は、実行開始遅延禁止ジョブである場合には、ステップＳ３に進み、実行開始遅延禁止ジョブでない場合には、ステップＳ６に進む。
【００２４】
実行開始遅延禁止ジョブの判別方法の例としては、アサイン待ちジョブ２２に長期間滞留するジョブを割り当てる方法が考えられる。図４の例では、ジョブ７のようにリソースを多用するジョブは、スケジューラマップ２１に割り当てることができずに、アサイン待ちジョブ２２として滞留することが多い。そのため、このようなジョブを、優先度が高いジョブであると考え、実行開始遅延禁止ジョブとする方法が考えられる。
【００２５】
（ステップＳ３）
遅延禁止ジョブ判別部１１は、特別アサイン領域２３がスケジューラマップ２１に確保されているか確認する。遅延禁止ジョブ判別部１１は、特別アサイン領域２３が確保されている場合には、ステップＳ５に進み、特別アサイン領域２３が確保されていない場合には、ステップＳ４に進む。
【００２６】
（ステップＳ４）
特別アサイン領域確保部１２は、特別アサイン領域２３をスケジューラマップ２１のマップ終端に確保する。特別アサイン領域２３は、他のジョブによる追い越しによって、ジョブ開始時刻を遅延させないジョブのみをアサインできる領域であり、スケジューラマップ２１の終端部に無条件に領域を確保する（既に割当済みの他のジョブと重なっても良い）。特別アサイン領域２３は、時間の経過に連動してスケジューラマップ２１上を移動することはなく、常にスケジューラマップ終端部に存在する（特別アサイン領域２３上に重なっているジョブについては、時間の経過と共に現在時刻の方向に移動する）。特別アサイン領域２３には、実行開始遅延禁止ジョブ以外のジョブをアサインすることは禁止されるため、時間が経過すると特別アサイン領域は必ず空き領域となり、追い越し禁止となったジョブをアサインすることができる。これによって、実行開始遅延禁止ジョブの実行開始時間が保証される。
【００２７】
（ステップＳ５）
特別アサイン領域確保部１２は、実行開始遅延禁止ジョブとみなされたアサイン対象のジョブを特別アサイン領域２３に割り当て、アサイン対象ジョブのスケジューリング処理を終了する。
【００２８】
（ステップＳ６）
空き領域情報検索部３１は、アサイン対象のジョブを割り当てることができるスケジューラマップ２１の空き領域を検索する。
【００２９】
（ステップＳ７）
追越可能判別部３３は、アサイン対象のジョブが、実行開始遅延禁止ジョブの実行開始時刻を遅延させないかどうかを判別する。アサイン対象ジョブが、特別アサイン領域２３にオーバーラップせずに（重ならずに）アサイン可能であれば、実行開始遅延禁止ジョブへの影響がないため、実行開始遅延禁止ジョブの追い越しが可能であると判別する。
【００３０】
（ステップＳ８）
実行予定時刻決定部３２は、アサイン対象のジョブの実行予定時刻を決定する。
【００３１】
（ステップＳ９）
実行予定計算ノード選択部３４は、スケジューラマップ２１上に、アサイン対象のジョブに対するアサイン領域を確保し、アサイン対象のジョブが使用する計算ノードを決定する。
【００３２】
図４の例では、ジョブ９が、実行開始遅延禁止ジョブ７を追い越して、スケジューラマップ２１上にアサインされ、時刻の経過により、特別アサイン領域２３が空いた際に、実行開始遅延禁止ジョブ７が割り当てられる例が示されている。
【００３３】
本実施形態によれば、従来の追い越し禁止機能が有効にされたジョブスケジューリングシステムでは、追い越しが禁止される小規模ジョブ（図４の例ではジョブ９）がスケジューラマップ２１上にアサインされる。そのため、スケジューラマップ２１上の空き領域が減少し、クラスタリングシステム５０の稼働率は向上する。
【００３４】
また、特別アサイン領域２３を確保後は、実行開始遅延禁止ジョブ以外のジョブは、特別アサイン領域２３にアサインすることができないため、時間が経過すると、特別アサイン領域にオーバーラップされているジョブはなくなる。そのため、特別アサイン領域２３は追い越し禁止となった大規模ジョブ（図４の例ではジョブ７）がアサインされることになる。これにより、実行開始遅延禁止となった大規模ジョブの実行開始時刻が保障される。
【００３５】
（第２実施形態）
添付図面を参照して、本発明の第２実施形態によるジョブスケジューリングシステム１００を以下に説明する。
【００３６】
［構成の説明］
はじめに、本実施形態におけるジョブスケジューリングシステム１００の機能構成の説明を行う。図７は、本発明の第２実施形態におけるジョブスケジューリングシステム１００のブロック図である。図７のブロック図は、図３のブロック図に対して、ジョブアサイン部３０に、特別アサイン領域移動部３５が追加されている以外は、図３と同様である。そのため、特別アサイン領域移動部３５以外の説明については省略する。
【００３７】
特別アサイン領域移動手段３５は、特別アサイン領域確保部１２で確保した特別アサイン領域２３を移動させる。本発明の第１実施形態では、特別アサイン領域２３を固定していたが、第２実施形態では、特別アサイン領域２３を移動可能としている点が、第１実施形態とは異なる。
【００３８】
［動作方法の説明］
次に、本実施形態におけるジョブスケジューリングシステム１００において、ジョブスケジューリング方法の説明を行う。図８は、本発明の第２実施形態におけるジョブスケジューリングシステム１００のジョブスケジューリング方法のフローチャートである。ステップＳ１〜ステップＳ７までの動作方法については、本発明の第１実施形態と同様であるため、ステップＳ８以降の動作方法について説明する。
【００３９】
（ステップＳ１）〜（ステップＳ７）
本発明の第１実施形態と同様の動作方法である。
【００４０】
（ステップＳ８）
追越可能判別部３３は、アサイン対象のジョブが、スケジューラマップ２１の空き領域にアサイン可能かを判別する際に、特別アサイン領域移動部３５の処理を呼び出す。特別アサイン領域移動部３５は、後続ジョブを最もスケジューラマップ２１の空き領域が少ない状態でアサインできるようにするため、スケジューラマップ２１の終端に確保している特別アサイン領域２３を移動（未来の時間へスライド）させる。図９は、本発明の第２実施形態におけるジョブスケジューリングシステム１００のスケジューラマップ２１を説明するための図である。図９の例では、ジョブ８を計算ノード３へアサインし、ジョブ９を計算ノード１へアサインしたときに、最もスケジューラマップ２１の空き領域が少なくなる。そのため、特別アサイン領域移動部３５は、特別アサイン領域２３を、ジョブ９をアサインする予定領域の後方まで移動する。なお、特別アサイン領域２３は追い越し禁止となった大規模ジョブの実行開始を優先するため、マップ終端の時刻から、一定時間内（以下、「ｌｉｍｉｔ」という）までしか移動できないようにする。特別アサイン領域２３は、特別アサイン領域移動手段３５によって移動されると、移動した位置からスケジューラマップ２１の終端までの間は時間の経過と共に、現在時刻方向に移動する。特別アサイン領域２３が、スケジューラマップ２１の終端部に到達すると、特別アサイン領域２３は移動を停止する。特別アサイン領域２３の移動可能な幅であるｌｉｍｉｔは、コンフィグパラメータとして設定することで、どこまで遅延してもよいかを、ジョブスケジューリングシステム１００の運用で制御することが可能となる（パラメータｌｉｍｉｔを０に設定すれば、第１実施形態と同様の動作となる）。
【００４１】
（ステップＳ９）
実行予定時刻決定部３２は、アサイン対象のジョブの実行予定時刻を決定する。
【００４２】
（ステップＳ１０）
実行予定計算ノード選択部３４は、スケジューラマップ２１上に、アサイン対象のジョブに対するアサイン領域を確保し、アサイン対象のジョブが使用する計算ノードを決定する。
【００４３】
本実施形態によれば、特別アサイン領域２３を可動式にすることにより、本発明の第１実施形態では、実行開始遅延禁止ジョブを同時に追い越すことができなかった複数の小規模ジョブ（図９の例ではジョブ８及びジョブ９）を、スケジューラマップ２１上にアサインすることができる。そのため、スケジューラマップ２１上の空き領域を第１実施形態よりも有効に利用することが可能になり、クラスタリングシステム５０の稼働率が向上する。
【００４４】
以上、本発明の実施の形態が添付の図面を参照することにより説明された。但し、本発明は、上述の実施の形態に限定されず、要旨を逸脱しない範囲で当業者により適宜変更され得る。
【符号の説明】
【００４５】
１〜４  計算ノード
５  管理ノード
６  ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）
７  補助記憶装置
８  メモリ
９  ジョブスケジューリングプログラム
１０  アサイン対象ジョブ選択部
１１  遅延禁止ジョブ判別部
１２  特別アサイン領域確保部
２０  スケジューラマップ保存部
２１  スケジューラマップ
２２  アサイン待ちジョブ
３０  ジョブアサイン部
３１  空き領域情報検索部
３２  実行予定時刻決定部
３３  追越可能判別部
３４  実行予定計算ノード選択部
３５  特別アサイン領域移動部
５０  クラスタリングシステム
１００  ジョブスケジューリングシステム
１０１  従来技術のスケジューラマップ
１０２  アサイン待ちジョブ
【図１】
0005676297.tif 000002
【図２】
0005676297.tif 000003
【図３】
0005676297.tif 000004
【図４】
0005676297.tif 000005
【図５】
0005676297.tif 000006
【図６】
0005676297.tif 000007
【図７】
0005676297.tif 000008
【図８】
0005676297.tif 000009
【図９】
0005676297.tif 000010