(57)【要約】【課題】ストレージ装置の可用性を向上させる。【解決手段】ストレージ装置１を制御する各ストレージ制御装置３が、前記ストレージ制御装置３の電源投入後の初期処理を前記ストレージ装置１を監視する監視装置２に対して実行する処理部３２と、前記ストレージ制御装置３と前記監視装置２との間を接続するケーブル１０の長さに基づく遅延時間を前記電源投入後に測定する測定部３１と、前記測定部３１が測定した遅延時間に基づき前記電源投入後の前記処理部３２による前記初期処理の開始タイミングを制御するタイミング制御部３３と、をそなえる。【選択図】図１０
2018073039.tif 000002
【特許請求の範囲】
【請求項１】
ストレージ装置を制御する複数のストレージ制御装置のうちのいずれかのストレージ制御装置であって、
前記ストレージ制御装置の電源投入後の初期処理を前記ストレージ装置を監視する監視装置に対して実行する処理部と、
前記ストレージ制御装置と前記監視装置との間を接続するケーブルの長さに基づく遅延時間を前記電源投入後に測定する測定部と、
前記測定部が測定した遅延時間に基づき前記電源投入後の前記処理部による前記初期処理の開始タイミングを制御するタイミング制御部と、をそなえる
ことを特徴とする、ストレージ制御装置。
【請求項２】
前記測定部は、
所定波形の信号を前記ケーブルに送出する送出部と、
前記監視装置で反射された前記信号の反射信号を検出する検出部と、をそなえ、
前記遅延時間は、前記送出部が前記信号を送出してから前記検出部が前記反射信号を検出するまでの時間である
ことを特徴とする、請求項１記載のストレージ制御装置。
【請求項３】
前記検出部は、前記ケーブル内の信号の電圧レベルが前記送出部から送出された前記所定波形の信号の電圧レベルよりも大きい場合に、前記反射信号を検出したと判定することを特徴とする、請求項２記載のストレージ制御装置。
【請求項４】
前記監視装置は、前記監視装置の起動状態に応じて前記ケーブルの終端のインピーダンスを制御し、
前記測定部は、前記監視装置によるインピーダンスの制御により、前記ケーブル内の信号の電圧レベルが所定範囲の電圧レベルになったことを検出した場合に、前記遅延時間を示す信号を前記タイミング制御部に通知することを特徴とする、請求項１〜３のいずれか１項記載のストレージ制御装置。
【請求項５】
ストレージ装置であって、
前記ストレージ装置を制御する制御装置と、前記ストレージ装置を監視する監視装置と、をそなえ、
前記制御装置の各々は、
前記制御装置の電源投入後の初期処理を前記監視装置に対して実行する処理部と、
前記制御装置と前記監視装置との間を接続するケーブルの長さに基づく遅延時間を前記電源投入後に測定する測定部と、
前記測定部が測定した遅延時間に基づき前記電源投入後の前記処理部による前記初期処理の開始タイミングを制御するタイミング制御部と、をそなえる
ことを特徴とする、ストレージ装置。
【請求項６】
前記監視装置は、前記監視装置の起動状態に応じて、前記複数の制御装置に接続されたケーブルのそれぞれの終端のインピーダンスを制御し、
前記測定部は、前記監視装置によるインピーダンスの制御により、前記ケーブル内の信号の電圧レベルが所定範囲内の電圧レベルになったことを検出した場合に、前記遅延時間を示す信号を前記タイミング制御部に通知することを特徴とする、請求項５記載のストレージ装置。
【請求項７】
前記監視装置は、
前記制御装置に接続された前記ケーブルを終端する終端回路と、
前記監視装置の起動状態に応じて前記終端回路のインピーダンスを制御する制御回路と、を前記制御装置ごとにそなえ、
前記初期処理を同時に行なう制御装置の数を制限するように、前記制御装置ごとの前記制御回路を個別に制御する制限部、をそなえる
ことを特徴とする、請求項６記載のストレージ装置。
【請求項８】
前記制限部は、第１の制御装置に接続された終端回路への前記所定波形の信号の入力を検出した場合、前記第１の制御装置とは異なる第２の制御装置に対応する制御回路に対して、前記第２の制御装置の前記測定部において前記第２の制御装置に接続されたケーブル内の信号の電圧レベルが所定範囲外の電圧レベルであると判定されるように、対応する終端回路のインピーダンスを制御させることを特徴とする、請求項７記載のストレージ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストレージ制御装置及びストレージ装置に関する。
【背景技術】
【０００２】
スケールアウト型のストレージ装置では、複数台のストレージ制御装置を連携させて、１つのシステムとして動作させる場合がある。制御装置を増設することにより、システムを容易に拡張することが可能となり、システムの性能を向上させることが可能となる。
【０００３】
このようなストレージ装置には、ストレージ装置のシステムの監視系モジュール（以下、「監視装置」と表記する場合がある）がそなえられることがある。
【０００４】
ストレージ装置では、装置のＡＣ  ＯＮ（電源ＯＮ）に応じて各制御装置内の監視系デバイスが同時又は略同時に起動することで、監視装置に対する初期処理が同時又は略同時に行なわれる。初期処理には、例えば、ストレージ装置に制御装置を組み込む認証処理が含まれてよい。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１３１００４号公報
【特許文献２】特開２０１２−１４３０１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
制御装置の数が増加するにつれて、監視系デバイスから要求される認証処理の数が増加する。監視装置のファームウェア（Firmware；以下、ＦＷと表記する）の処理能力によっては、認証処理数の増加による通信処理負荷の増大に対応できない場合がある。この場合、認証処理に続く処理が実行不可となり、複数の制御装置が起動不可となることで、ストレージ装置が利用不可となる場合がある。
【０００７】
また、監視系デバイスが監視装置より先に起動する場合、監視系デバイスはＦＷ起動後に監視装置に対して認証処理を実施する。しかし、監視装置は、未起動の状態であるため要求された認証処理に応答できない。従って、監視系デバイスが監視装置より先に起動する場合にも、監視装置のＦＷの処理手順によっては、制御装置が起動不可となることで、ストレージ装置が利用不可となる場合がある。
【０００８】
１つの側面では、本発明は、ストレージ装置の可用性を向上させることを目的の１つとする。
【０００９】
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の１つとして位置付けることができる。
【課題を解決するための手段】
【００１０】
１つの側面では、ストレージ制御装置は、ストレージ装置を制御する複数のストレージ制御装置のうちのいずれかのストレージ制御装置であって、処理部と、測定部と、タイミング制御部と、をそなえてよい。前記処理部は、前記ストレージ制御装置の電源投入後の初期処理を前記ストレージ装置を監視する監視装置に対して実行してよい。前記測定部は、前記ストレージ制御装置と前記監視装置との間を接続するケーブルの長さに基づく遅延時間を前記電源投入後に測定してよい。前記タイミング制御部は、前記測定部が測定した遅延時間に基づき前記電源投入後の前記処理部による前記初期処理の開始タイミングを制御してよい。
【発明の効果】
【００１１】
１つの側面では、ストレージ装置の可用性を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】一実施形態の比較例に係るストレージ装置の構成例を示すブロック図である。
【図２】一実施形態の比較例に係るController Module（ＣＭ）の動作例を説明するフローチャートである。
【図３】一実施形態の比較例に係るService Controller（ＳＶＣ）の動作例を説明するフローチャートである。
【図４】ＳＶＣがＣＭのMicro Controller（ＭＣ）よりも先に起動する場合の認証処理の動作タイミングの一例を説明する図である。
【図５】ＳＶＣがＣＭのＭＣよりも先に起動する場合の認証処理の動作タイミングの一例を説明する図である。
【図６】ＣＭのＭＣがＳＶＣよりも先に起動する場合の認証処理の動作タイミングの一例を説明する図である。
【図７】ケーブル長とステップパルスの往復時間との関係の一例を示す図である。
【図８】各ＭＣの認証処理の開始タイミングの一例を説明する図である。
【図９】一実施形態に係るストレージ装置の構成例を示すブロック図である。
【図１０】一実施形態に係るストレージ装置の詳細な構成例を示すブロック図である。
【図１１】Termination Circuit（ＴＣ）の動作モード及びMode Selector（ＭＳ）による切替タイミングの一例を示す図である。
【図１２】Reflection Detector（ＲＤ）でのステップパルス検出後の動作の一例を示す図である。
【図１３】一実施形態に係るＣＭの動作例を説明するフローチャートである。
【図１４】ＳＶＣがＣＭのＭＣよりも先に起動する場合の認証処理の動作タイミングの一例を説明する図である。
【図１５】ＣＭのＭＣがＳＶＣよりも先に起動する場合の認証処理の動作タイミングの一例を説明する図である。
【図１６】一実施形態に係るＳＶＣの動作例を説明するフローチャートである。
【図１７】一実施形態の変形例に係るストレージ装置の詳細な構成例を示すブロック図である。
【図１８】一実施形態の変形例に係るＳＶＣの動作例を説明するフローチャートである。
【図１９】一実施形態の変形例に係るストレージ装置の動作シーケンスの一例を示す図である。
【図２０】一実施形態の適用例に係るストレージ装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の実施形態で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。
【００１４】
〔１〕一実施形態
〔１−１〕比較例
図１は、一実施形態の比較例に係るストレージ装置１００の構成例を示すブロック図である。図１に示すように、ストレージ装置１００は、例示的に、１以上のService Controller（ＳＶＣ）２００、及び、複数（図１の例ではｍ；ｍは２以上の整数）のController Module（ＣＭ）３００（ＣＭ＃０〜ＣＭ＃ｍ−１と表記）をそなえてよい。
【００１５】
ＳＶＣ２００は、ストレージ装置１００の監視を行なう監視装置の一例である。ＳＶＣ２００は、例示的に、Field Programmable Gate Array（ＦＰＧＡ）２１０及びMicro Controller（ＭＣ）２２０をそなえてよい。以下、ＳＶＣ２００がそなえるＦＰＧＡ及びＭＣをそれぞれ「ＳＦＰＧＡ」及び「ＳＶＣ  ＭＣ」と表記する場合がある。
【００１６】
ＳＦＰＧＡ２１０は、論理の再構成が可能な論理回路の一例である。ＭＣ２２０は、ファームウェア（ＦＷ）を実行するプロセッサの一例である。ＭＣ２２０は、例えば、ＣＭ３００からの要求に応じて初期処理を実施する。なお、初期処理にはＣＭ３００の認証処理が含まれてよい。
【００１７】
ＣＭ３００は、図示しないホスト装置から複数の記憶装置に対するアクセスを制御するとともに、ストレージ装置１００を制御するストレージ制御装置又はコントローラの一例である。ＣＭ３００は、例示的に、ＦＰＧＡ３１０及びＭＣ３２０をそなえてよい。以下、ＣＭ３００がそなえるＦＰＧＡ及びＭＣをそれぞれ「ＣＦＰＧＡ」及び「ＣＭ  ＭＣ」と表記する場合がある。
【００１８】
ＣＦＰＧＡ３１０は、論理の再構成が可能な論理回路の一例である。ＣＦＰＧＡ３１０は、ＳＦＰＧＡ２１０との間でＦＰＧＡ間通信によりＣＭ３００−ＳＶＣ２００間の通信を制御する。
【００１９】
ＭＣ３２０は、ＦＷを実行するプロセッサの一例である。ＭＣ３２０は、例えば、ＳＶＣ２００との間で初期処理を実施する。
【００２０】
なお、ＳＶＣ２００及び各ＣＭ３００は、電源部をそなえてよく、電源部はＡＣケーブルを介してＡＣコンセントボックス（以下、「ＡＣＳ」と表記する）に接続されてよい。ＳＶＣ２００及び各ＣＭ３００のＡＣ  ＯＮ（電源ＯＮ）は、ＡＣＳの対応するブレーカースイッチをＯＮにすることで実施されてよい。
【００２１】
ところで、各ＣＭ３００で実施されるＡＣ  ＯＮの順番は制御されない場合がある。例えば、作業者がブレーカースイッチを順次ＯＮにしていくと、複数のＣＭ３００が互いに短い時間間隔で（同時又は略同時に）ＡＣ  ＯＮする場合がある。
【００２２】
上述のように、ＳＶＣ２００−ＣＭ３００間では、ＡＣ  ＯＮの直後に実施される初期処理、例えば比較例における認証処理が存在する。認証処理は、例示的に、各モジュール（例えばＣＭ３００）がスケールアウト型のストレージ装置１００の一員であることを示す（関連付ける）一連の処理と位置付けられる。
【００２３】
一例として、装置のＡＣ  ＯＮが行なわれると、ＳＶＣ  ＭＣ２２０及びＣＭ  ＭＣ３２０の各ＦＷが起動し、個々のモジュールを認証するための処理が行なわれる。例えば、ＣＭ  ＭＣ３２０は、ＦＷの起動完了後、ＳＶＣ２００に対して認証コマンドを送信し、認証処理を開始する。ストレージ装置１００では、この認証処理が行なわれた後に、通常の監視系の通信が可能となる。
【００２４】
以下、図２及び図３を参照して、一実施形態の比較例に係る認証処理を説明する。
【００２５】
（ＣＭ側の認証処理）
はじめに、ＣＭ３００側の認証処理を説明する。図２に例示するように、ＣＭ３００がＡＣ  ＯＮになると（ステップＡ１１０）、ＣＭ  ＭＣ３２０のＦＷが起動する（ステップＡ１２０）。ＭＣ３２０は、ＳＶＣ２００への認証処理を実施する（ステップＡ１３０）。例えば、ＭＣ３２０は、ＳＶＣ２００に認証コマンドを送信する。
【００２６】
ＭＣ３２０は、認証要求への応答をＳＶＣ２００から受信し、一連の処理を行なう。一連の処理の完了後、認証が成立する（ステップＡ１４０）。ＣＭ３００は、ストレージ装置１００に組み込まれ、ＳＶＣ２００との間で監視系の通信を開始する（ステップＡ１５０）。
【００２７】
（ＳＶＣ側の認証までの処理）
次に、ＳＶＣ２００側の認証までの処理を説明する。図３に例示するように、ＳＶＣ２００がＡＣ  ＯＮになると（ステップＢ１１０）、ＳＶＣ  ＭＣ２２０のＦＷが起動する（ステップＢ１２０）。
【００２８】
ＭＣ２２０は、ＳＦＰＧＡ２１０が各ＣＭ  ＭＣ３２０から認証要求（例えば認証コマンド）を受信するのを待ち受け（ステップＢ１３０）、ＭＣ３２０から認証要求を受信すると、当該ＭＣ３２０へ認証可否の結果を通知する（ステップＢ１４０）。ＳＶＣ２００は、認証したＣＭ３００に対して、監視処理を開始する（ステップＢ１５０）。
【００２９】
以上のような手順で認証処理が行なわれることにより、監視系及び制御系の処理がＳＶＣ２００−ＣＭ３００間で協調して実施可能となる。
【００３０】
ここで、上述したように、ストレージ装置１００では、以下のような不都合が生じる場合がある。
【００３１】
（ａ）監視装置のＦＷの処理リソース不足の発生
認証処理はＳＶＣ  ＭＣ２２０及びＣＭ  ＭＣ３２０のそれぞれのＦＷにより実施される。しかし、ＣＭ３００の数が増加して、多数のＣＭ３００からＳＶＣ２００に対して同時又は略同時に認証要求が送信されると、ＳＶＣ  ＭＣ２２０のＦＷのリソース不足が発生する場合がある。
【００３２】
これにより、認証に続く処理、例えばＣＭ３００内のCentral Processing Unit（ＣＰＵ）等のモジュールへのＤＣ  ＯＮ等が実行不可となり、起動が完了しないＣＭ３００が発生する場合がある。なお、ＭＣ２２０のＦＷの処理リソースを増加させようとすると、高価なＣＰＵやメモリを搭載することになり、コストが増加する。
【００３３】
（ｂ）ＡＣ  ＯＮ直後は監視装置のＦＷによる起動シーケンスの制御が不可
上記（ａ）を回避するために、各ＣＭ３００の起動シーケンスを制御することが考えられる。しかし、ＡＣ  ＯＮ直後はＭＣ２２０のＦＷが各ＣＭ３００を認識できないため、シーケンスの制御は実施不可となる。
【００３４】
上記（ａ）及び（ｂ）は、例えば、以下のようなＳＶＣ２００がＣＭ  ＭＣ３２０よりも先に起動する場合に発生することがある。
【００３５】
（ＳＶＣがＣＭ  ＭＣよりも先に起動する場合）
図４に示すように、ＭＣ３２０から１台ずつ認証処理が行なわれる場合、ＳＶＣ２００は認証処理の要求に正常に応答でき、ＣＭ３００は正常に起動する。
【００３６】
これに対し、図５に示すように、複数のＭＣ３２０から同時に認証処理が行なわれる場合、接続ＣＭ数が増加するほど、認証コマンドの送信量も増える。従って、例えばＣＭ＃０〜ＣＭ＃２の各ＭＣ３２０から認証コマンドが送信されると、ＳＶＣ２００内の受信バッファ容量不足等により、認証コマンドが受け取り不可となることがある。この場合、ＳＶＣ２００のＦＷは認証応答に失敗し、応答がタイムアウトすることとなり、その後の処理に進むことができなくなったＣＭ３００がＤＣ  ＯＮの実行の際に起動不可となる。
【００３７】
一方、ＣＭ  ＭＣ３２０がＳＶＣ２００よりも先に起動する場合、上記（ａ）及び（ｂ）に加えて、以下のような不都合が発生する場合がある。
【００３８】
（ＣＭ  ＭＣがＳＶＣよりも先に起動する場合）
図６に示すように、ＣＭ  ＭＣ３２０がＳＶＣ２００に認証コマンドを発行するが、ＳＶＣ２００が起動しておらず、認証待ち状態になっていない（認証要求の受け取り不可である）ため、ＳＶＣ２００から認証応答が送信されない。従って、ＣＭ３００はその後の処理に進むことができず、複数のＣＭ３００がＤＣ  ＯＮの実行の際に起動不可となる。
【００３９】
以上のように、認証処理を行なうタイミングにより、ストレージ装置１００内の複数のＣＭ３００が起動不可になる場合が発生する。
【００４０】
〔１−２〕一実施形態に係るストレージ装置について
そこで、一実施形態に係るストレージ装置は、以下に例示する手法により、ストレージ制御装置の認証順序（例えば、電源投入後の初期処理の処理順序）を制御する。以下、一実施形態に係る認証順序の制御手法を簡単に説明する。
【００４１】
（ＳＶＣがＭＣよりも先に起動する場合）
上述のように、ＣＭ  ＭＣからの認証処理が同時に実行されることで、ＳＶＣが応答できず、ＣＭが起動不可となる場合がある。そこで、一実施形態では、各ＣＭ  ＭＣからの認証処理が１台又は所定台数ずつ実施されるように認証のタイミングをずらす制御を行なうことで、ＳＶＣがＣＭ  ＭＣからの認証処理に対して確実に応答できるようにする。
【００４２】
一例として、各ＣＭは、ＳＶＣに対して所定波形の信号（例えばステップパルス）を送信し、当該信号がＳＶＣに到達し反射して再度ＣＭに戻ってくるまでの時間を計測する。
【００４３】
ここで、各ＣＭ−ＳＶＣ間のケーブルの長さは、各接続で異なるものとする。すなわち、一実施形態では、各ＣＭ−ＳＶＣ間のケーブル長がそれぞれ異なると、信号を送信し戻ってくるまでの時間が各ＣＭで異なることを利用して、ＣＭごとに認証のタイミングをずらすのである。
【００４４】
例えば、図７に示すように、ケーブル長の関係がｄ０＜ｄ１＜ｄ２であるとすると、信号が通過する伝送路の距離が長いほど反射して戻ってくるまでに時間がかかるため、信号が戻ってくるまでの時間の関係はｔ０＜ｔ１＜ｔ２となる。
【００４５】
そして、上述したステップパルスが戻ってくる時間ｔ０、ｔ１、ｔ２…ｔｍ−１を、各ＣＭ−ＭＣの電源投入のタイミング（例えばリセット解除のタイミング）にそれぞれ割り当てる。図８に示すように、ＣＭ  ＭＣへの供給電源ＶＭＣの立ち上がり後、各ＣＭ  ＭＣのリセット解除のタイミングをずらすことにより、各ＭＣの起動タイミングをずらし、認証処理開始のタイミングをずらすことが可能となる。なお、図８には、ＭＣのリセット信号を「Reset M」と表記する。リセット信号は、例えば、Low（Ｌ）レベルがＭＣのリセット（停止）を示し、High（Ｈ）レベルがＭＣのリセット解除（起動）を示す信号である。
【００４６】
このように、ＣＭの計測した時間がＣＭ−ＳＶＣ間のケーブル長に依存することを利用し、ステップパルスが早く反射してきたＣＭから順にＭＣを起動することで認証処理を実施する。換言すれば、ＳＶＣ２とＣＭ３とを接続するケーブル長による優先順位で、ＳＶＣ２との間でＣＭ３が認証開始する時間を決定し、この優先順位は、各ＣＭ３がパルスを送信したときのインピーダンス不整合による反射波の往復時間に基づき測定する。
【００４７】
これにより、各ＣＭから測定時間に応じた時間差でＳＶＣに認証コマンドが送信されるため、ＳＶＣは各々の認証コマンドに対して正常に認証応答を返すことができる。従って、ＣＭは認証処理及びその後の処理を正常に実行でき、ストレージ制御装置が起動不可となることを回避できるため、ストレージ装置の可用性を向上させることができる。
【００４８】
（ＣＭ  ＭＣがＳＶＣよりも先に起動する場合）
ＣＭ  ＭＣがＳＶＣよりも先に起動する場合も、各ＣＭは、上記と同様に所定の波形の信号（例えばステップパルス）を送信することによりＳＶＣが起動するのを待ち合わせ、ＳＶＣの起動を検出した場合に、認証処理を開始すればよい。
【００４９】
なお、例えば、ＣＭは、戻ってきた信号の波形に基づいて、ＳＶＣの起動を検出してよい。例えば、ＳＶＣは、認証処理の準備ができていない（例えば起動前や起動途中）場合と、認証処理の準備ができた場合とで、反射波形を変化させてよい。一例として、ＳＶＣは、自身の起動状態に応じてケーブルのインピーダンスを変化させることにより、波形（例えばステップパルスの振幅；ＣＭでの検出電圧）を変化させてよい。
【００５０】
このように、ＳＶＣによるケーブルのインピーダンス制御により、ＣＭは、戻ってきた信号の波形に基づいてＳＶＣが起動したことを検出でき、ＳＶＣの起動後に認証コマンドを送信できる。従って、ＣＭは、認証処理及びその後の処理を正常に実行でき、ストレージ制御装置が起動不可となることを回避できるため、ストレージ装置の可用性を向上させることができる。
【００５１】
〔１−３〕一実施形態に係るストレージ装置の構成例
以下、一実施形態に係るストレージ装置の構成例について説明する。なお、一実施形態に係るストレージ装置は、スケールアウト型のストレージ装置であってよい。図９は、一実施形態に係るストレージ装置１の構成例を示すブロック図である。図９に示すように、ストレージ装置１は、例示的に、１以上のＳＶＣ２、及び、複数（図９の例ではｍ）のＣＭ３（ＣＭ＃０〜ＣＭ＃ｍ−１と表記）をそなえてよい。
【００５２】
ＳＶＣ２は、ストレージ装置１の監視を行なう監視装置の一例である。ＳＶＣ２は、例示的に、ＳＦＰＧＡ２１、ＭＣ２２、及び、複数（図９の例ではｍ）のTermination Circuit（ＴＣ）２３（ＴＣ＃０〜ＴＣ＃ｍ−１と表記）をそなえてよい。なお、ＳＶＣ２には、例えば、ＣＭ３（ＭＣ３２）と同数のＴＣ２３が存在してよい。
【００５３】
ＳＦＰＧＡ２１は、論理の再構成が可能な論理回路の一例であり、ＣＭ３がそなえるＣＦＰＧＡ３１との間でＦＰＧＡ間通信によりＣＭ３−ＳＶＣ２間の通信を制御する。
【００５４】
ＳＦＰＧＡ２１−ＣＦＰＧＡ３１間のＦＰＧＡ間通信は、ケーブル１０が用いられてよい。ケーブル１０は、少なくとも１本の同軸線を有し電気的に信号の伝送を行なう種々のシリアルケーブルであってよい。ケーブル１０としては、例えば、ＲＳ４２２やＲＳ２３２Ｃ等の規格に準拠したケーブルが挙げられる。なお、ケーブル１０として、例えば、Local Area Network（ＬＡＮ）ケーブルが用いられてもよい。図１の例では、ＣＭ＃０−ＴＣ＃０間がケーブル１０−０で接続され、ＣＭ＃１−ＴＣ＃１間がケーブル１０−１で接続され、ＣＭ＃２−ＴＣ＃２間がケーブル１０−２で接続され、ＣＭ＃ｍ−１とＴＣ＃ｍ−１との間がケーブル１０−［ｍ−１］で接続されている。
【００５５】
また、一実施形態に係るＳＦＰＧＡ２１は、ＣＭ３からケーブル１０を介してＴＣ２３に入力される信号を監視し、ＳＶＣ２の状態や監視結果に基づきＴＣ２３を制御する。
【００５６】
ＭＣ２２は、ファームウェア（ＦＷ）を実行するプロセッサの一例である。ＭＣ２２は、例えば、ＣＭ３からの要求に応じて初期処理を実施する。なお、初期処理にはＣＭ３の認証処理が含まれてよい。
【００５７】
ＴＣ２３は、ＳＦＰＧＡ２１とＣＦＰＧＡ３１との間に介設され、ＣＭ３に接続されたケーブル１０を終端する終端回路の一例である。ＴＣ２３は、ＣＦＰＧＡ３１と接続されるケーブル１０に対して適用する複数（例えば３種）のインピーダンスモード（以下、「動作モード」と表記する）を有してよい。動作モードについては後述する。
【００５８】
ＣＭ３は、図示しないホスト装置から複数の記憶装置に対するアクセスを制御するとともに、ストレージ装置１を制御するストレージ制御装置又はコントローラの一例である。ＣＭ３は、例示的に、ＦＰＧＡ３１、ＭＣ３２、Switch（ＳＷ；スイッチ）３３、及び、リセット信号出力部（図９では「RESET」と表記）３４をそなえてよい。
【００５９】
ＣＦＰＧＡ３１は、論理の再構成が可能な論理回路の一例である。ＣＦＰＧＡ３１は、ケーブル１０を介して、ＦＰＧＡ間通信によりＳＶＣ２との間の監視制御に用いる情報を送受信する。
【００６０】
また、一実施形態に係るＣＦＰＧＡ３１は、認証処理の実施タイミングの制御のための種々の処理を行なう。例えば、ＣＦＰＧＡ３１は、ケーブル１０を介してＳＶＣ２に対して所定の波形の信号を送信し、ＳＶＣ２からの反射信号の波形を監視する。また、ＣＦＰＧＡ３１は、信号を送信してから反射信号を受信するまでの時間の測定を行なう。
【００６１】
さらに、ＣＦＰＧＡ３１は、反射信号の波形の監視結果と、測定した時間とに基づいて、ＭＣ３２を起動するための制御信号をＳＷ３３に送信する。以下、所定の波形の信号として、ステップパルスが用いられるものとする。
【００６２】
換言すれば、ＣＦＰＧＡ３１は、ＣＭ３とＳＶＣ２との間を接続するケーブル１０の長さに基づく遅延時間をＣＭ３の電源投入後に測定する測定部の一例である。
【００６３】
ＭＣ３２は、ＣＭ３の電源投入後の初期処理をＳＶＣ２に対して実行する処理部の一例である。ＭＣ３２は、例えばＦＷを実行し、ＣＭ３内の監視系デバイスとして機能するプロセッサであってよい。
【００６４】
ＳＷ３３は、リセット信号出力部３４から入力されるリセット信号と、ＣＦＰＧＡ３１から入力される制御信号とに基づいて、ＭＣ３２を起動するトリガである起動信号をＭＣ３２に送出する。
【００６５】
換言すれば、ＳＷ３３は、ＣＦＰＧＡ３１が測定した遅延時間に基づきＣＭ３の電源投入後のＭＣ３２による初期処理の開始タイミングを制御するタイミング制御部の一例である。
【００６６】
リセット信号出力部３４は、ＣＭ３のＡＣ  ＯＮによりＭＣ３２が起動可能になった場合に、ＳＷ３３に供給されるリセット信号を“Ｌ”から“Ｈ”レベルに切り替える回路である。リセット信号の切り替えのタイミングは、例えば、ＭＣ３２に供給される電圧ＶＭＣが所定のレベル以上になったことを検出したタイミングであってよい。リセット信号出力部３４は、ＣＦＰＧＡ３１にそなえられてもよい。
【００６７】
なお、ＳＶＣ２及び複数のＣＭ３のそれぞれは、図示しないＣＰＵ等のプロセッサ及びメモリや、ＡＣケーブルを介してＡＣＳに接続される電源部をそなえてよい。ＡＣＳの対応するブレーカースイッチをＯＮにすることで、ＳＶＣ２及び複数のＣＭ３のそれぞれのＡＣ  ＯＮ（電源ＯＮ）が実施されてよい。なお、リセット信号出力部３４は、ＣＭ３の電源部にそなえられてもよい。
【００６８】
また、ＣＭ３は、制御筐体の一例としてのController Enclosure（ＣＥ）に複数設けられ、複数の記憶装置を搭載する記憶筐体の一例であるDrive Enclosure（ＤＥ）の制御を行なってよい。図９の例では、ＣＥ及びＤＥの図示を省略している。
【００６９】
ストレージ装置１は、ＣＥ及びＤＥを増設可能とし、ＣＭ３間及び／又はＣＭ３−ＳＶＣ２間の通信によりＣＭ３を連携させることで、１つのシステムとして動作することができる。ストレージ装置１では、ＣＭ３（或いはＣＥ）を増設することによって、システムを容易に拡張することが可能となり、システムの性能を向上させることが可能となる。
【００７０】
〔１−４〕認証処理の実施タイミング制御の説明
次に、ＳＶＣ２及びＣＭ３による認証処理の実施タイミング制御の手法について説明する。図１０は、一実施形態に係るストレージ装置１の詳細な構成例を示す図である。
【００７１】
図１０に示すように、ＳＦＰＧＡ２１は、例示的に、ＣＭ  ＭＣ３２又はＴＣ２３ごとに、Mode Selector（ＭＳ）２１２（ＭＳ＃０、ＭＳ＃１と表記）及びバッファ２１４をそなえてよい。なお、バッファ２１４は、複数のＣＭ３に対して共通のバッファであってもよい。
【００７２】
ＭＳ２１２は、ＳＶＣ２の起動状態に応じてＴＣ２３のインピーダンスを制御する制御回路の一例である。例えば、ＭＳ２１２は、対応するＴＣ２３の前段（ＴＣ２３のケーブル１０側）の電圧を監視し、監視した電圧及びＳＶＣ２の状態に応じて、ＴＣ２３の動作モードを切り替える制御を行なう。図１１にＴＣ２３の動作モード及びＭＳ２１２による切替タイミングの一例を示す。
【００７３】
図１１に示すように、ＴＣ２３の動作モードとしては、ケーブル１０のインピーダンスＺを５０Ωとした場合、例示的に、以下のモードが挙げられる。
【００７４】
・オープン
ＴＣ２３におけるケーブル１０の終端を開放する動作モードである。
【００７５】
ＭＳ２１２は、ＳＶＣ２が起動するまで、例えばＭＣ２２が認証処理を実行可能となるまでは、ＴＣ２３をオープン状態に制御する。オープン状態において、ＣＭ３からケーブル１０に出力されたステップパルスはＴＣ２３で全反射し、ＣＭ３では、出力したステップパルスの電圧の２倍の電圧が検出される。
【００７６】
・７５Ω終端
ＴＣ２３のインピーダンスを、ケーブル１０のインピーダンスと、オープン状態のインピーダンスとの間のインピーダンスにする動作モードである。ケーブル１０のインピーダンスＺが５０Ωの場合、この動作モードでは、ＴＣ２３のインピーダンスは例えば７５Ωとなる。
【００７７】
ＭＳ２１２は、ＳＶＣ２の起動直後に、ＴＣ２３をオープンから７５Ω終端の動作モードに切替制御する。７５Ω終端において、ＣＭ３からケーブル１０に出力されたステップパルスは、ＴＣ２３で所定の割合で反射し、ＣＭ３では、オープン状態及び後述する５０Ω整合終端の各電圧の間（例えば中間）の電圧が検出される。
【００７８】
・５０Ω整合終端
ＴＣ２３をケーブル１０とインピーダンス整合させる動作モードである。ケーブル１０のインピーダンスＺが５０Ωの場合、この動作モードでは、ＴＣ２３のインピーダンスは５０Ωとなる。
【００７９】
ＭＳ２１２は、ＳＶＣ２の起動後、ケーブル１０の監視において、７５Ω終端の状態でＴＣ２３からの反射電圧（或いはＴＣ２３への入力電圧）をケーブル１０から検出した場合、ＴＣ２３を７５Ω終端から５０Ω整合終端の動作モードに切替制御する。認証処理を含むＣＭ３−ＳＶＣ２間の通信は、５０Ω整合終端の動作モードで行なわれる。５０Ω整合終端において、ＣＭ３からケーブル１０に出力されたステップパルスは、ＴＣ２３で反射しないため、ＣＭ３では、元のステップパルスの電圧と同じ電圧が検出される。
【００８０】
図１０の説明に戻り、バッファ２１４は、ＣＭ３から受信した情報を一時的に記憶する記憶装置である。バッファ２１４に格納された情報は、ＭＣ３２に出力される。なお、図示を省略しているが、ＳＦＰＧＡ２１は、ＣＭ３に送信する情報を一時的に記憶する送信用のバッファをそなえてもよい。或いは、バッファ２１４は受信及び送信の双方に用いられてもよい。
【００８１】
ＣＭ３のＣＦＰＧＡ３１は、例示的に、信号発生器３１２、バッファ３１４、及び、Reflection Detector（ＲＤ）３１６をそなえてよい。
【００８２】
信号発生器３１２は、所定波形の信号を発生させ、発生させた信号をケーブル１０に送出する送出部の一例である。一実施形態では、信号発生器３１２は、ＣＭ３の起動後、認証処理を行なう前に、ステップパルスを発生させる。
【００８３】
バッファ３１４は、ＳＶＣ２に送信する情報を一時的に記憶する記憶装置である。ＭＣ３２から出力される情報、例えば認証コマンドや、監視制御に用いられる情報は、バッファ３１４に格納された後、ケーブル１０に送出される。なお、図示を省略しているが、ＣＦＰＧＡ３１は、ＳＶＣ２から受信する情報を一時的に記憶する受信用のバッファをそなえてもよい。或いは、バッファ３１４は受信及び送信の双方に用いられてもよい。
【００８４】
ＲＤ３１６は、ＳＶＣ２で反射された上記信号の反射信号を検出する検出部の一例である。例えば、ＲＤ３１６は、信号発生器３１２から送信され、ケーブル１０を通過してＳＶＣ２側で反射して戻ってきたステップパルス（以下、「入力ステップパルス」と表記する場合がある）を検出する。
【００８５】
ＲＤ３１６は、ステップパルスが信号発生器３１２から送信されてから、ＳＶＣ２で反射して戻ってくるまでの時間ｔｎ（ｎは０〜ｍ−１の整数）を計測する。そして、ＲＤ３１６は、当該時間ｔｎと、反射して戻ってきた入力ステップパルスの電圧とに基づいて、“Reset R”信号を発行する。図１２に、ＲＤ３１６でのステップパルス検出後の動作の一例を示す。
【００８６】
図１２に示すように、ＲＤ３１６は、検出した入力ステップパルスの電圧レベルに応じて、以下の処理を行なう。
【００８７】
・元のステップパルス電圧の２倍の電圧レベルを検出した場合（全反射の場合）
ＲＤ３１６は、ステップパルスの送信から反射したステップパルスをＲＤ３１６が検出するまでの時間ｔｎを、反射波形から求める。このとき、ＲＤ３１６からの“Reset R”信号の出力はリセット状態（例えば“Ｌ”レベル）を保持し、ＲＤ３１６は、求めた時間ｔｎの“Reset R”信号への反映は行なわない。
【００８８】
・元のステップパルス電圧の等倍〜２倍の間（例えば中間）の電圧レベルを検出した場合
ＲＤ３１６は、ステップパルスの送信から反射したステップパルスをＲＤ３１６が検出するまでの時間ｔｎを、反射波形から求める。このとき、ＲＤ３１６からの“Reset R”信号の出力は、反射波形を検出したタイミングから時間ｔｎ後にリセット解除状態（例えば“Ｈ”レベル）に切り替わる。すなわち、ＲＤ３１６は、求めた時間ｔｎを“Reset R”信号に反映させる。
【００８９】
換言すれば、ＣＦＰＧＡ３１は、ＳＶＣ２によるインピーダンスの制御により、ケーブル１０内の信号の電圧レベルが所定範囲内の電圧レベルになったことを検出した場合に、遅延時間を示す信号をＳＷ３３に通知する。この場合、ＳＶＣ２の起動状態は起動直後である（ＴＣ２３が７５Ω終端）。このため、ＣＦＰＧＡ３１は、ＳＶＣ２が起動したタイミングで、ＣＭ３ごとの時間差に従ってＭＣ３２を起動できる。
【００９０】
・元のステップパルス電圧と同じ電圧レベルを検出した場合（インピーダンス整合状態）
ＲＤ３１６は、元のステップパルス電圧と同じ電圧レベルを検出した場合、既に認証処理等が実施可能であるため、何もしなくてよい。また、ＲＤ３１６からの“Reset R”信号の出力は、リセット解除状態（例えば“Ｈ”レベル）を保持する。
【００９１】
このように、ＲＤ３１６は、ケーブル１０内の信号の電圧レベルが信号発生器３１２から送出された所定の波形の信号の電圧レベルよりも大きい場合に、反射信号を検出したと判定してよい。これにより、反射信号を確実に検出できる。
【００９２】
図１０の説明に戻り、ＳＷ３３は、リセット信号出力部３４からの“Reset R”信号と、ＲＤ３１６からの“Reset R”信号とのＡＮＤ演算を行ない、演算結果を“Reset M”信号としてＭＣ３２に出力するＡＮＤ回路の一例である。
【００９３】
“Reset”信号はＣＭ３の起動後に“Ｈ”レベルになり、“Reset R”信号はＳＶＣ２が起動し所定の反射波形が検出されてから時間ｔｎ後に“Ｈ”レベルになるため、“Reset M”信号は、これらの条件の双方を満たす場合に“Ｈ”レベルになる。上述のように、“Reset M”信号はＭＣ３２の起動のトリガとなるため、ＭＣ３２は、これらの条件の双方を満たす場合に起動する。
【００９４】
以上のように、ストレージ装置１では、ＣＭ３がＣＭ３−ＳＶＣ２間のケーブル長によって発生するステップパルスの反射時間の差を測定することにより、ＣＭ３の電源投入時にＣＭ３−ＳＶＣ２間で実施される初期処理の順序をＣＭ３間でずらすことができる。
【００９５】
また、上述した制御をＣＭ３及びＳＶＣ２のハードウェアで実施することで、ＳＶＣ  ＭＣ２２やＣＭ  ＭＣ３２のＦＷが起動していない場合においても、ＣＭ  ＭＣ３２の起動シーケンスの制御を実現できる。
【００９６】
さらに、ＳＶＣ２側に伝送路の終端状態を操作する回路（ＴＣ２３）を設け、ＳＦＰＧＡ２１が当該回路のモードを状況によって変化させることにより、ＳＶＣ２の起動状態及び他ＣＭ３との間のＡＣ  ＯＮ時の初期処理の順序をＣＭ３側へ伝えることができる。
【００９７】
〔１−５〕動作例
次に、図１３〜図１６を参照して、上述の如く構成されたストレージ装置１の動作例を説明する。
【００９８】
〔１−５−１〕ＣＭの動作例
（ＳＶＣがＣＭ  ＭＣよりも先に起動している場合）
はじめに、ＳＶＣ２がＣＭ  ＭＣ３２よりも先に起動している場合のＣＭ３の動作例を説明する。図１３に例示するように、ＣＭ３がＡＣ  ＯＮになると（ステップＡ１）、ＣＦＰＧＡ３１が起動する（ステップＡ２）。ＣＦＰＧＡ３１の信号発生器３１２は、ステップパルスを生成してケーブル１０に送信する（ステップＡ３；図１４のタイミングＴ１参照）。このとき、ＴＣ２３の動作モードは７５Ω終端である。
【００９９】
ＣＦＰＧＡ３１のＲＤ３１６は、ＳＶＣ２側で反射し戻ってきたステップパルスを検出する（ステップＡ４；図１４のタイミングＴ２においてＲＤ３１６での検出電圧ＶＲＤがＶ２）。なお、図１４のタイミングＴ１の時点でＴＣ２３の動作モードは７５Ω終端であるが、反射したステップパルスが戻ってくる前であるため、タイミングＴ１〜Ｔ２の期間は、ＲＤ３１６では元のステップパルスの電圧が検出されている（図１４のＶ１参照）。
【０１００】
そして、ＲＤ３１６は、ステップパルスを送信してから、反射し戻ってきたステップパルスを検出するまでの時間ｔｎを求める（ステップＡ５；図１４のｔｎ参照）。また、ＲＤ３１６は、反射して戻ってきたステップパルスの電圧が元の電圧の２倍か否か、換言すれば、ＴＣ２３の動作モードがオープンか７５Ω終端かを判定する（ステップＡ６）。
【０１０１】
反射して戻ってきたステップパルスの電圧が元の電圧の２倍ではない、換言すれば、ＴＣ２３の動作モードが７５Ω終端の場合（ステップＡ６でＮｏ）、処理がステップＡ７に移行する。
【０１０２】
ステップＡ７では、ＲＤ３１６は、図１４のステップパルスの電圧ＶＲＤがタイミングＴ４でＶ２からＶ１に変化したため、リセット解除のタイミングｔｎを反映させた“Reset R”信号を発行する（図１４のＴ４及びＴ５、符号Ａの矢印参照）。なお、図１４において、タイミングＴ３でリセット信号出力部３４から“Reset”信号（“Ｈ”）が発行されている。また、タイミングＴ４以降は、ＴＣ２３は５０Ω整合終端を保持する。
【０１０３】
ＳＷ３３は、“Reset”信号と“Reset R”信号とのＡＮＤ演算を行ない、“Reset M”信号（“Ｈ”）を出力する（ステップＡ８）。これにより、該当ＣＭ３のＭＣ３２の起動タイミングがＳＶＣ２の起動を検出してから（反射し戻ってきたステップパルスを検出してから）時間ｔｎ遅延して、ＭＣ３２の起動が開始する（ステップＡ９；図１４の符号Ｂ参照）。
【０１０４】
そして、起動したＭＣ３２は、認証処理を開始する（ステップＡ１０；図１４の符号Ｃ参照）。なお、ＭＣ３２による認証処理から監視の開始までの処理は、図２のステップＡ１３０〜Ａ１５０と同様に行なわれてよい。
【０１０５】
以上の処理を各ＣＭ３が実行することにより、ＳＶＣ２がＣＭ  ＭＣ３２よりも先に起動している場合において、ＳＶＣ２がＣＭ  ＭＣ３２からの認証処理に対して確実に応答可能となる。これにより、全てのＣＭ３は正常に起動できる。
【０１０６】
（ＣＭ  ＭＣがＳＶＣよりも先に起動している場合）
次に、ＣＭ  ＭＣ３２がＳＶＣ２よりも先に起動している場合のＣＭ３の動作例を説明する。この場合、図１３のステップＡ３は、ＴＣ２３の動作モードがオープンのときに行なわれる（図１５のタイミングＴ１１参照）。
【０１０７】
ＲＤ３１６は、ＳＶＣ２側で反射し戻ってきたステップパルスを検出する（ステップＡ４；図１５のタイミングＴ１２において検出電圧ＶＲＤがＶ３）。なお、図１５のタイミングＴ１１の時点でＴＣ２３の動作モードはオープンであるが、反射したステップパルスが戻ってくる前であるため、タイミングＴ１１〜Ｔ１２の期間は、ＲＤ３１６では元のステップパルスの電圧が検出されている（図１５のＶ１参照）。
【０１０８】
そして、ＲＤ３１６は、ステップパルスを送信してから、反射し戻ってきたステップパルスを検出するまでの時間ｔｎを求める（ステップＡ５；図１５のｔｎ参照）。また、ＲＤ３１６は、反射して戻ってきたステップパルスの電圧が元の電圧の２倍か否か、換言すれば、ＴＣ２３の動作モードがオープンか７５Ω終端かを判定する（ステップＡ６）。
【０１０９】
図１５の例では、ＴＣ２３の動作モードがオープンであり、反射して戻ってきたステップパルスの電圧が元の電圧の２倍であるため（ステップＡ６でＹｅｓ）、処理がステップＡ１１に移行する。
【０１１０】
ステップＡ１１において、リセット信号出力部３４は、ステップパルスの送信を停止し（図１５のタイミングＴ１３参照）、一定時間ｔｗの間待機する（ステップＡ１２；図１５のｔｗ（タイミングＴ１３〜Ｔ１４）参照）。そして、処理がステップＡ３に移行する。
【０１１１】
なお、図１５の例では、タイミングＴ１４〜Ｔ１７の間もＴＣ２３の動作モードがオープンのため、図１４のステップＡ１１を経た後のステップＡ６において、再びＹｅｓのルートを通り、ステップＡ１０、Ａ１１の実行後、処理がステップＡ３に移行する。
【０１１２】
図１５において、ＳＶＣ２が起動し、ＴＣ２３の動作モードがオープンから７５Ω終端に切り替わると、タイミングＴ１８で送信されたステップパルスにより、ＲＤ３１６は、タイミングＴ１９で７５Ω終端での反射電圧を検出する（ステップＡ３、Ａ４）。また、ＲＤ３１６は、このときのｔｎを求める（ステップＡ５）。
【０１１３】
反射して戻ってきたステップパルスの電圧は元の電圧の２倍ではない、換言すれば、ＴＣ２３の動作モードが７５Ω終端であるため、ステップＡ６でＮｏのルートを通り、処理がステップＡ７に移行する。ステップＡ７〜Ａ１０の処理は、図１３を参照した説明と同様であるため、説明を省略する。
【０１１４】
以上の処理を各ＣＭ３が実行することにより、ＳＶＣ２が未起動の状態でも、ＳＶＣ２の起動完了を待ち合わせ、ＳＶＣ２の起動後にＣＭ３ごとのタイミングでＭＣ３２を起動させる（図１５のタイミングＴ２０参照）。これにより、ＳＶＣ２が応答可能なタイミングでＣＭ  ＭＣ３２の認証処理を開始できる。
【０１１５】
なお、上述した説明では、ステップＡ７において、ＲＤ３１６がリセット解除のタイミングｔｎを反映させた“Reset R”信号を発行するものとしたが、これに限定されるものではない。
【０１１６】
１回の認証処理にかかる時間と、時間ｔｎとの時間オーダが異なる場合、例えば、各ＣＭ３で算出されたｔｎの差がＳＶＣ２による１つの認証処理にかかる時間よりも小さい場合、図５の例と同様に、ＳＶＣ２が認証要求の受け取り不可になることも考えられる。このように、ＲＤ３１６がｔｎを反映させた“Reset R”信号を発行するだけでは、起動シーケンスの制御が不十分である場合、各ＣＭ３のＲＤ３１６は、時間ｔｎを定数倍した時間を“Reset R”に反映させることで、時間オーダが合致するように調整してもよい。
【０１１７】
〔１−５−２〕ＳＶＣの動作例
次に、ＳＶＣ２の動作例を説明する。図１６に例示するように、ＴＣ２３の動作モードは、ＳＶＣ２がＡＣ  ＯＦＦの場合にはオープン状態である（ステップＢ１）。ＳＶＣ２がＡＣ  ＯＮになると（ステップＢ２）、ＳＦＰＧＡ２１が起動する（ステップＢ３）。
【０１１８】
ＳＦＰＧＡ２１の複数のＭＳ２１２の各々は、対応するＴＣ２３の動作モードをオープン状態から７５Ω終端へ切り替える（ステップＢ４）。そして、各ＭＳ２１２は、対応するＴＣ２３（７５Ω終端）からの反射電圧を観測する（ステップＢ５）。
【０１１９】
反射電圧を検出したＭＳ２１２は、対応するＴＣ２３の動作モードを７５Ω終端から５０Ω整合終端へ切り替える（ステップＢ６）。そして、ＡＣ  ＯＮに伴いファームウェアが起動したＳＶＣ  ＭＣ２２からの認証を待つ（ステップＢ７）。なお、ＭＣ２２による認証処理から監視の開始までの処理は、図３のステップＢ１３０〜Ｂ１５０と同様に行なわれてよい。
【０１２０】
〔１−６〕変形例
一実施形態では、各ＣＭ３−ＳＶＣ２間のケーブル長が互いに異なるものとしたが、複数のＣＭ３においてケーブル１０の長さが等しい場合も考えられる。この場合、各ＣＭ３から送信したステップパルスはほぼ同時にＣＭ３に戻ってくるため、ＣＭ  ＭＣ３２からの認証処理がＳＶＣ２で競合する場合がある。そこで、認証処理が競合した場合、疑似的にＳＶＣ２が起動していない状態に制御してもよい。
【０１２１】
図１７は、一実施形態の変形例に係るストレージ装置１の詳細な構成例を示す図である。図１７に示すように、変形例に係るＳＶＣ２ＡのＳＦＰＧＡ２１Ａは、例示的に、図１０に示すＳＦＰＧＡ２１に加えて、マスク回路２１６をそなえてよい。また、ＳＦＰＧＡ２１Ａは、ＭＳ２１２と一部の機能が異なるＭＳ２１２Ａをそなえてよい。
【０１２２】
ＭＳ２１２Ａは、ＭＳ２１２と同様に、ＴＣ２３の動作モードの切り替えを制御する。また、変形例に係るＭＳ２１２Ａは、ＣＭ３からの信号（例えばステップパルス）を検出すると、当該ＣＭ３からのステップパルスを検出（観測）したことをマスク回路２１６に通知する。そして、ＭＳ２１２Ａは、通知に対してマスク回路２１６から後述するマスク指示があった場合、ＴＣ２３からの反射電圧の検出に応じたＴＣ２３の動作モードの切り替え（７５Ω終端から５０Ω整合終端への切り替え）を抑止する。
【０１２３】
マスク回路２１６は、各ＭＳ２１２Ａからの通知に基づき各ＴＣ２３へのステップパルスの入力を検出し、最初にステップパルスの入力を検出したＭＳ２１２Ａ以外のＭＳ２１２Ａに対して、マスク指示を出力する。マスク指示は、例えば、ＴＣ２３の動作モードを７５Ω終端からオープン状態に切り替え、オープン状態を保持させる指示である。
【０１２４】
一方、マスク回路２１６は、最初にステップパルスの入力を検出したＭＳ２１２Ａに対しては、マスク指示を出力しない。これにより、当該ＭＳ２１２Ａは、一実施形態に係るＭＳ２１２と同様に、ＴＣ２３の動作モードをオープン状態から７５Ω終端に切り替える。従って、最初に検出されたステップパルスの送信元ＣＭ３については、上述した一実施形態に係る手法により認証までの処理が行なわれる。
【０１２５】
マスク回路２１６は、最初にステップパルスの入力を検出したＭＳ２１２ＡによりＴＣ２３の動作モードが５０Ω整合終端に切り替えられてから一定時間tが経過した後、マスク指示を送信した全てのＭＳ２１２Ａに対して、マスク解除の指示を出力する。なお、一定時間tは、例えば、認証処理にかかる時間と同程度であってよい。また、一定時間ｔの始点は、最初にステップパルスの入力を検出したＭＳ２１２Ａが、ＴＣ２３からの反射電圧を観測したタイミングであってもよい。
【０１２６】
そして、マスク回路２１６は、マスクの解除後に最初にステップパルスの入力を検出したＭＳ２１２Ａに対しては、マスク指示を出力せず、それ以外の認証処理が未完了のＣＭ３経路上のＭＳ２１２Ａに対して、上記と同様にマスク指示を出力する。
【０１２７】
以上の処理を繰り返すことで、ＳＶＣ２Ａには複数のＣＭ３のうちのいずれか１つのＣＭ３からの認証要求が順に入力されることになるため、ＳＶＣ２Ａにおける認証処理の競合を回避でき、複数のＣＭ３を正常に起動させることができる。
【０１２８】
換言すれば、マスク回路２１６は、初期処理を同時に行なうＣＭ３の数を制限するように、ＣＭ３ごとのＭＳ２１２Ａを個別に制御する制限部の一例である。
【０１２９】
例えば、マスク回路２１６は、第１のＣＭ３に接続されたＴＣ２３へのステップパルスの入力を検出した場合、当該第１のＣＭ３とは異なる第２のＣＭ３に対応するＳＦＰＧＡ２１Ａに対して、対応するＴＣ２３のインピーダンスを制御させる。この制御は、第２のＣＭ３のＣＭ  ＭＣ３２において第２のＣＭ３に接続されたケーブル１０内の信号の電圧レベルが所定範囲外の電圧レベルであると判定されるような制御である。
【０１３０】
なお、ＳＶＣ２Ａが複数の認証要求を並列に処理できる場合、マスク回路２１６は、ＳＶＣ２Ａが認証要求を並列に処理できる並列処理上限数に基づいて、マスク指示の出力を制御してもよい。例えば、マスク回路２１６は、ステップパルスの入力を検出したＭＳ２１２Ａのうちの先着順に並列処理上限数までのＭＳ２１２Ａに対しては、マスク指示を出力しないといった制御が可能である。
【０１３１】
以上のように、マスク回路２１６は、最初に検出したステップパルスの送信元である第１ＣＭ３に係る認証処理が完了するまでは、第１ＣＭ３以外の１以上の第２ＣＭ３に対して、ＳＶＣ２Ａが起動している状態をマスクする。換言すれば、マスク回路２１６は、第２ＣＭ３との経路上のＭＳ２１２Ａに対して、疑似的にＳＶＣ２Ａが起動していない状態を示すようにＴＣ２３を制御させるのである。
【０１３２】
なお、ＳＶＣ２Ａは、マスク制御により、反射波形の観測によりＣＭ３が認識するＳＶＣ２Ａの起動状態を、ＣＭ３ごとに制御する。従って、ＳＶＣ２Ａが起動したことを検出するタイミング（図１３のステップＡ６でＮｏとなるタイミング）がＣＭ３ごとに異なるものの、各ＣＭ３は図１３のフローチャートに例示する処理を行なえばよい。
【０１３３】
次に、図１８を参照して、一実施形態の変形例に係るＳＶＣ２Ａの動作例を説明する。図１８に示すように、ステップＢ１〜Ｂ４は図１６の処理と同様である。続くステップＢ１１では、ＳＦＰＧＡ２１Ａにおいて、いずれかのＣＭ３からのステップパルスを当該ＣＭ３の経路上のＭＳ２１２Ａが検出する。検出したＭＳ２１２Ａ（以下、検出ＭＳ２１２Ａと表記する）は、マスク回路２１６へ対応するＣＭ３（以下、検出ＣＭ３と表記する）からのステップパルスを観測したことを通知する（ステップＢ１２）。
【０１３４】
マスク回路２１６は、検出ＭＳ２１２Ａからの通知に応じて、検出ＣＭ３以外に認証が未実施の未実施ＣＭ３が存在するか否かを判定する（ステップＢ１３）。未実施ＣＭ３が存在しない場合（ステップＢ１３でＮｏ）、ＳＶＣ  ＭＣ２２は、検出ＣＭ３のＭＣ３２と認証処理を実施し（ステップＢ１４）、処理が終了する。
【０１３５】
一方、未実施ＣＭ３が存在する場合（ステップＢ１３でＹｅｓ）、マスク回路２１６は、未実施ＣＭ３の経路上の１以上のＭＳ２１２Ａの各々へ、未実施ＣＭ３に対するマスク指示を出す（ステップＢ１５）。マスク指示を受けたＭＳ２１２Ａは、対応するＴＣ２３の動作モードを７５Ω終端からオープンへ切り替える（ステップＢ１６）。
【０１３６】
検出ＣＭ３の経路上の検出ＭＳ２１２Ａは、７５Ω終端からの反射電圧を観測し（ステップＢ１７）、対応するＴＣ２３を７５Ω終端から５０Ω整合終端へ切り替える（ステップＢ１８）。
【０１３７】
マスク回路２１６は、一定時間ｔの間待機する。また、ＳＶＣ  ＭＣ２２は、一定時間ｔの間に、検出ＣＭ３のＭＣ３２との間で認証処理を実施する（ステップＢ１９）。
【０１３８】
一定時間ｔの経過後、マスク回路２１６は、未実施ＣＭ３に対するマスク解除の指示を未実施ＣＭ３の経路上の各ＭＳ２１２Ａへ出力する（ステップＢ２０）。マスク解除の指示を受けたＭＳ２１２Ａは、マスク解除の指示に応じて、対応するＴＣ２３の動作モードをオープンから７５Ω終端へ切り替え（ステップＢ２１）、処理がステップＢ１１に移行する。
【０１３９】
以上の動作をＳＶＣ２Ａが実行するとともに、図１３に例示する処理を各ＣＭ３が実行することにより、各ＣＭ  ＭＣ３２からの認証処理がＳＶＣ２Ａで競合することを回避でき、１ＣＭ３ずつ認証処理を開始することが可能となる。
【０１４０】
なお、ステップＢ１４及びＢ１９におけるＣＭ３の認証処理から各ＣＭ３の監視の開始までの処理は、図３のステップＢ１３０〜Ｂ１５０と同様に行なわれてよい。
【０１４１】
次に、図１９を参照して、一実施形態の変形例に係るストレージ装置１の動作シーケンスについて説明する。なお、以下の説明では、ＳＶＣ２ＡがＣＭ＃０及びＣＭ＃１とケーブル１０−０及び１０−１によりそれぞれ接続され、ケーブル１０−０及び１０−１のケーブル長が等しいものとする（ｄ０＝ｄ１）。また、ＳＶＣ２ＡがＣＭ３  ＭＣ３２よりも先に起動するものとする。
【０１４２】
図１９に例示するように、ＳＶＣ２ＡがＡＣ  ＯＮになると（処理Ｐ１）、ＭＳ＃０及びＭＳ＃１がそれぞれＴＣ＃０及びＴＣ＃１の動作モードを７５Ω終端に切り替える（処理Ｐ２及びＰ３）。
【０１４３】
次いで、ＣＭ＃０及びＣＭ＃１がそれぞれ起動し（処理Ｐ４及びＰ５）、それぞれのＣＦＰＧＡ３１が起動する（処理Ｐ６及びＰ７）。ＣＭ＃０の信号発生器３１２がＣＭ＃１よりも早いタイミングでステップパルスを送信すると（処理Ｐ８）、ＭＳ＃０が入力を観測しマスク回路２１６に通知する（処理Ｐ９）。
【０１４４】
マスク回路２１６は、ＭＳ＃１にＣＭ＃１のマスクを指示し（処理Ｐ１０）、ＭＳ＃１はＴＣ＃１の動作モードをオープンに切り替える（処理Ｐ１１）。その後、ＣＭ＃１の信号発生器３１２がステップパルスを送信する（処理Ｐ１２）。
【０１４５】
なお、ＭＳ＃０は、処理Ｐ９の後にＴＣ＃０からの反射電圧を検出すると、ＴＣ＃０の動作モードを５０Ω整合終端に切り替える（処理Ｐ１３）。
【０１４６】
ＣＭ＃０では、ＲＤ３１６が処理Ｐ８で送信したステップパルスの反射波形を検出する（処理Ｐ１４）。その後、ＣＭ＃０は、図１３のステップＡ５、Ａ６のＮｏ、Ａ７〜Ａ９の処理を行ない、ＳＦＰＧＡ２１Ａとの間でＣＭ  ＭＣ３２による認証処理を行なう（処理Ｐ１５）。
【０１４７】
ＳＶＣ２Ａのマスク回路２１６は、処理Ｐ１０の指示後一定時間ｔの間待機する（処理Ｐ１６）。なお、待機中に、ＳＶＣ  ＭＣ２２は処理Ｐ１５におけるＣＭ  ＭＣ３２との認証処理を行なう。
【０１４８】
一方、ＣＭ＃１では、処理Ｐ１２で送信したステップパルスの反射波形を検出する（処理Ｐ１７）。ＴＣ＃１の動作モードはオープンであるため、ＣＭ＃１は、図１３のステップＡ５、Ａ６のＹｅｓの処理を行ない、ステップパルスの送信を停止するとともに一定時間ｔｗの間待機する（処理Ｐ１８）。
【０１４９】
ＳＶＣ２Ａでは、処理Ｐ１６の一定時間ｔの待機が終了し、マスク回路２１６がマスク解除を指示すると（処理Ｐ１９）、ＭＳ＃１がＴＣ＃１の動作モードを７５Ω終端に切り替える（処理Ｐ２０）。
【０１５０】
その後、処理Ｐ１８の一定時間ｔｗの待機が終了したＣＭ＃１がステップパルスを送信すると（処理Ｐ２１）、ＭＳ＃１が入力を観測しマスク回路２１６に通知する（処理Ｐ２２）。なお、認証処理が未完了のＣＭ３は他に存在しないため、マスク回路２１６ではマスク指示が送信されない（処理Ｐ２３）。
【０１５１】
また、ＭＳ＃１は、処理Ｐ２２の後にＴＣ＃１からの反射電圧を検出すると、ＴＣ＃１の動作モードを５０Ω整合終端に切り替える（処理Ｐ２４）。なお、ＭＳ＃０及びＭＳ＃１のそれぞれは、処理Ｐ１３及びＰ２４移行、ＳＶＣ２Ａ又はＣＭ３が起動している間は、ＴＣ＃０及びＴＣ＃１の動作モードを５０Ω整合終端に保持し続ける。
【０１５２】
ＣＭ＃１では、ＲＤ３１６が処理Ｐ２１で送信したステップパルスの反射波形を検出する（処理Ｐ２５）。その後、ＣＭ＃１は、図１３のステップＡ５、Ａ６のＮｏ、Ａ７〜Ａ９の処理を行ない、ＳＦＰＧＡ２１Ａとの間でＣＭ  ＭＣ３２による認証処理を行なう（処理Ｐ２６）。ＳＶＣ  ＭＣ２２は処理Ｐ２６におけるＣＭ  ＭＣ３２との認証処理を行なう（処理Ｐ２７）。
【０１５３】
なお、図１９では、ＳＶＣ２Ａ及び各ＣＭ３における認証処理後の動作（例えば監視制御等）については図示を省略している。
【０１５４】
〔１−７〕適用例
次に、図２０を参照して、上述したストレージ装置１の適用例を説明する。図２０に示すストレージ装置１Ａは、例示的に、複数のＣＥ４、複数のＤＥ５、及び中継装置６をそなえてよい。中継装置６は、例えば、Front-End Enclosure（ＦＥ）であってよい。
【０１５５】
ストレージ装置１Ａは、ＤＥ５に複数の記憶装置を搭載し、ホスト装置（図示省略）に対して記憶装置の記憶領域を提供する。例えばストレージ装置１Ａは、Redundant Arrays of Inexpensive Disks（ＲＡＩＤ）を用いて複数の記憶装置にデータを分散又は冗長化した状態で保存してもよい。なお、ＣＥ４が記憶装置を内部にそなえていてもよい。
【０１５６】
ＣＥ４は、中継装置６及びＤＥ５とそれぞれ接続され、種々の制御を行なう制御筐体の一例である。ＣＥ４は、例示的に、複数（図１では２つ）のＣＭ３をそなえてよい。図２０の例では、ＣＭ３は、ＣＥ４内の他のＣＭ３との間で冗長化（例えば二重化）されている。また、ＣＥ４内の各ＣＭ３はそれぞれＣＥ４に対応するＤＥ５の各々に直接的に又は間接的に接続されており、アクセス経路の冗長化が図られている。さらに、ＣＭ３は、ホスト装置（図示省略）と通信を行なうホストインタフェースをそなえてよい。
【０１５７】
なお、一実施形態及び変形例に係るＣＭ３のＣＦＰＧＡ３１、ＭＣ３２、ＳＷ３３、及びリセット信号出力部３４の少なくとも１つは、例えば、図２０に示すＣＭ３におけるＳＶＣ２との間のインタフェース回路に設けられてよい。
【０１５８】
中継装置６は、複数のＣＭ３に接続され、ＣＭ３間の通信を中継する装置の一例である。中継装置６は、例示的に、冗長化された複数（図２０では２つ）のMidplane（ＭＰ）７と、これらのＭＰ７を接続するＭＰブリッジ９とをそなえてよい。
【０１５９】
ＭＰ７は、例示的に、ＳＶＣ２と、冗長化された複数（図１では２つ）のFront End Router（ＦＲＴ）８とをそなえてよい。
【０１６０】
ＦＲＴ８は、複数のＣＭ３の各々を互いに通信可能に接続する接続部の一例である。ＦＲＴ８は、例えばPeripheral Component Interconnect (PCI) Express（ＰＣＩｅ）に準拠したアダプタを複数そなえ、複数のＣＭ３の各々とＰＣＩｅに対応したケーブル等によって接続されてもよい。
【０１６１】
ＳＶＣ２は、例えばＣＭ３との接続用のインタフェースを複数そなえ、複数のＣＭ３の各々とケーブル（図１０及び図１７に例示するケーブル１０）によって接続される。
【０１６２】
なお、一実施形態及び変形例に係るＳＶＣ２のＳＦＰＧＡ２１、ＭＣ２２、及びＴＣ２３の少なくとも１つは、例えば、図２０に示すＳＶＣ２におけるＣＭ３との間のインタフェース回路に設けられてよい。
【０１６３】
ＭＰブリッジ９は、複数のＭＰ７を通信可能に接続するブリッジ部の一例である。ＳＶＣ２は、ＭＰブリッジ９を介して他系（例えば、他方のＭＰ７及びＭＰ７に接続されたモジュール）の監視を行なってよい。
【０１６４】
なお、ストレージ装置１Ａは、上述したＣＥ４、ＤＥ５、及び中継装置６を搭載するために、例えばラック（図示省略）をそなえ、このＣＥ４、ＤＥ５、及び中継装置６を抜き挿し可能に搭載してもよい。
【０１６５】
また、ＣＭ３及びＳＶＣ２の各々は、ストレージ装置１Ａにおける種々の制御を行なうために、図１０及び図１７に示す各回路ブロックに加えて、ＣＰＵ等のプロセッサ、Random Access Memory（ＲＡＭ）等のメモリ、及び通信インタフェースをそなえてよい。
【０１６６】
ストレージ装置１Ａにおいては、複数のＳＶＣ２の各々（或いは、マスタとなるＳＶＣ２）と、複数のＣＥ４内の複数のＣＭ３の各々との間で、ＡＣ  ＯＮの際に実行される初期処理の実行順序が、一実施形態に係る既述の手法によって制御されてよい。
【０１６７】
〔２〕その他
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。
【０１６８】
例えば、図１０及び図１７に示すＣＭ３又はＳＶＣ２の各回路ブロックは、それぞれ任意の組み合わせで併合してもよく、分割してもよい。
【０１６９】
また、一実施形態及び変形例において、ＣＦＰＧＡ３１は、ＳＶＣ２のＴＣ２３の動作モードがオープン状態の場合と７５Ω終端の場合とで複数回、ｔｎを測定し得るものとしたが、これに限定されるものではない。ｔｎはケーブル長に依存する時間であり、一度測定により求まれば、その後の測定で値が大きく変わることはない。従って、ＣＦＰＧＡ３１は、ｔｎを少なくとも１回測定した後は、ＳＶＣ２の起動状態を判定するためにステップパルスを送信する一方、ｔｎの測定はスキップしてもよい。
【０１７０】
〔３〕付記
以上の実施形態に関し、さらに以下の付記を開示する。
【０１７１】
（付記１）
ストレージ装置を制御する複数のストレージ制御装置のうちのいずれかのストレージ制御装置であって、
前記ストレージ制御装置の電源投入後の初期処理を前記ストレージ装置を監視する監視装置に対して実行する処理部と、
前記ストレージ制御装置と前記監視装置との間を接続するケーブルの長さに基づく遅延時間を前記電源投入後に測定する測定部と、
前記測定部が測定した遅延時間に基づき前記電源投入後の前記処理部による前記初期処理の開始タイミングを制御するタイミング制御部と、をそなえる
ことを特徴とする、ストレージ制御装置。
【０１７２】
（付記２）
前記測定部は、
所定波形の信号を前記ケーブルに送出する送出部と、
前記監視装置で反射された前記信号の反射信号を検出する検出部と、をそなえ、
前記遅延時間は、前記送出部が前記信号を送出してから前記検出部が前記反射信号を検出するまでの時間である
ことを特徴とする、付記１記載のストレージ制御装置。
【０１７３】
（付記３）
前記検出部は、前記ケーブル内の信号の電圧レベルが前記送出部から送出された前記所定波形の信号の電圧レベルよりも大きい場合に、前記反射信号を検出したと判定することを特徴とする、付記２記載のストレージ制御装置。
【０１７４】
（付記４）
前記監視装置は、前記監視装置の起動状態に応じて前記ケーブルの終端のインピーダンスを制御し、
前記測定部は、前記監視装置によるインピーダンスの制御により、前記ケーブル内の信号の電圧レベルが所定範囲の電圧レベルになったことを検出した場合に、前記遅延時間を示す信号を前記タイミング制御部に通知することを特徴とする、付記１〜３のいずれか１項記載のストレージ制御装置。
【０１７５】
（付記５）
ストレージ装置であって、
前記ストレージ装置を制御する制御装置と、前記ストレージ装置を監視する監視装置と、をそなえ、
前記制御装置の各々は、
前記制御装置の電源投入後の初期処理を前記監視装置に対して実行する処理部と、
前記制御装置と前記監視装置との間を接続するケーブルの長さに基づく遅延時間を前記電源投入後に測定する測定部と、
前記測定部が測定した遅延時間に基づき前記電源投入後の前記処理部による前記初期処理の開始タイミングを制御するタイミング制御部と、をそなえる
ことを特徴とする、ストレージ装置。
【０１７６】
（付記６）
前記測定部は、
所定波形の信号を前記ケーブルに送出する送出部と、
前記監視装置で反射された前記信号の反射信号を検出する検出部と、をそなえ、
前記遅延時間は、前記送出部が前記信号を送出してから前記検出部が前記反射信号を検出するまでの時間である
ことを特徴とする、付記５記載のストレージ装置。
【０１７７】
（付記７）
前記検出部は、前記ケーブル内の信号の電圧レベルが前記送出部から送出された前記所定波形の信号の電圧レベルよりも大きい場合に、前記反射信号を検出したと判定することを特徴とする、付記６記載のストレージ装置。
【０１７８】
（付記８）
前記監視装置は、前記監視装置の起動状態に応じて、前記複数の制御装置に接続されたケーブルのそれぞれの終端のインピーダンスを制御し、
前記測定部は、前記監視装置によるインピーダンスの制御により、前記ケーブル内の信号の電圧レベルが所定範囲内の電圧レベルになったことを検出した場合に、前記遅延時間を示す信号を前記タイミング制御部に通知することを特徴とする、付記５〜７のいずれか１項記載のストレージ装置。
【０１７９】
（付記９）
前記監視装置は、
前記制御装置に接続された前記ケーブルを終端する終端回路と、
前記監視装置の起動状態に応じて前記終端回路のインピーダンスを制御する制御回路と、を前記制御装置ごとにそなえ、
前記初期処理を同時に行なう制御装置の数を制限するように、前記制御装置ごとの前記制御回路を個別に制御する制限部、をそなえる
ことを特徴とする、付記８記載のストレージ装置。
【０１８０】
（付記１０）
前記制限部は、第１の制御装置に接続された終端回路への前記所定波形の信号の入力を検出した場合、前記第１の制御装置とは異なる第２の制御装置に対応する制御回路に対して、前記第２の制御装置の前記測定部において前記第２の制御装置に接続されたケーブル内の信号の電圧レベルが所定範囲外の電圧レベルであると判定されるように、対応する終端回路のインピーダンスを制御させることを特徴とする、付記９記載のストレージ装置。
【符号の説明】
【０１８１】
１、１Ａ    ストレージ装置
１０、１０−０〜１０−［ｍ−１］    ケーブル
２、２Ａ    ＳＶＣ
２１    ＳＦＰＧＡ
２１２、２１２Ａ    ＭＳ
２１４、３１４    バッファ
２１６    マスク回路
２２、３２    ＭＣ
２３    ＴＣ
３    ＣＭ
３１    ＣＦＰＧＡ
３１２    信号発生器
３１６    ＲＤ
３３    ＳＷ
３４    リセット信号出力部
４    ＣＥ
５    ＤＥ
６    中継装置
７    ＭＰ
８    ＦＲＴ
９    ＭＰブリッジ
【図１】
2018073039.tif 000003
【図２】
2018073039.tif 000004
【図３】
2018073039.tif 000005
【図４】
2018073039.tif 000006
【図５】
2018073039.tif 000007
【図６】
2018073039.tif 000008
【図７】
2018073039.tif 000009
【図８】
2018073039.tif 000010
【図９】
2018073039.tif 000011
【図１０】
2018073039.tif 000012
【図１１】
2018073039.tif 000013
【図１２】
2018073039.tif 000014
【図１３】
2018073039.tif 000015
【図１４】
2018073039.tif 000016
【図１５】
2018073039.tif 000017
【図１６】
2018073039.tif 000018
【図１７】
2018073039.tif 000019
【図１８】
2018073039.tif 000020
【図１９】
2018073039.tif 000021
【図２０】
2018073039.tif 000022