(57)【要約】【課題】第１のデータと第２のデータとを簡素な構成で送信する。【解決手段】第２のデータに応じた位相変化を第１のデータを表す第１の信号に付加した位相差付加第１データを作成する付加部２０４と、位相差付加第１データを送信する送信部２０６ａとを備える。【選択図】図２
2018046325.tif 000002
【特許請求の範囲】
【請求項１】
第１のデータおよび第２のデータを送信する通信制御装置であって、
前記第２のデータに応じた位相変化を前記第１のデータを表す第１の信号に付加した位相差付加第１データを作成する付加部と、
前記位相差付加第１データを送信する送信部と
を備えることを特徴とする、通信制御装置。
【請求項２】
前記第２のデータに基づき位相変化制御用信号を生成する第１生成部を備え、
前記付加部が、前記第１の信号に対して、前記位相変化制御用信号に応じた位相変化を付加する
ことを特徴とする、請求項１記載の通信制御装置。
【請求項３】
前記位相差付加第１データを受信する受信部と、
受信した前記位相差付加第１データから前記第２のデータを復元する復元部と
を備えることを特徴とする、請求項１または２記載の通信制御装置。
【請求項４】
前記復元部が、
位相差付加第１データから抽出した、前記位相変化が付加された位相差付加クロック信号と、基準信号との位相ズレに応じた波形信号を作成し、当該波形信号を２値化して前記第２のデータを表す第２の信号を生成し、当該第２の信号を数値化して前記第２のデータを復元する
ことを特徴とする、請求項３記載の通信制御装置。
【請求項５】
第１の装置と第２の装置とを備え、前記第１の装置から前記第２の装置へ第１のデータおよび第２のデータを送信する通信制御システムにおいて、
前記第１の装置が、
前記第２のデータに応じた位相変化を前記第１のデータを表す第１の信号に付加した位相差付加第１データを作成する付加部と、
前記位相差付加第１データを送信する送信部と
を備え、
前記第２の装置が、
前記位相差付加第１データを受信する受信部と、
受信した前記位相差付加第１データから前記第２のデータを復元する復元部と
を備えることを特徴とする、通信制御システム。
【請求項６】
第１のデータおよび第２のデータを受信する通信制御装置において、
前記位相差付加第１データを受信する受信部と、
受信した前記位相差付加第１データから前記第２のデータを復元する復元部と
を備えることを特徴とする、通信制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信制御装置および通信制御システムに関する。
【背景技術】
【０００２】
装置間でデータ通信を行なう通信システムにおいて、演算データ等の主信号（メインデータ）とともに、監視用信号や制御情報等の副信号（サブデータ）を送信する手法が知られている。
【０００３】
図７は従来のストレージシステムにおける通信システムを示す図である。
【０００４】
この図７に示すストレージシステムは、ＳＶＣ（Service Controller）６００，ＦＲＴ（Front-end Router）７００および２つのコントローラモジュール（Controller Module：ＣＭ）５００を備える。
【０００５】
ＣＭ５００は、それぞれメイン処理部５０１，サブ処理部５０２およびスイッチチップ（ＳＷチップ）５０３を備える。
【０００６】
メイン処理部５０１は、主信号に関する演算を行なうととともに、この主信号の通信制御を行なう。メイン処理部５０１は、例えば、ＣＰＵ（Central Processing Unit）である。
【０００７】
サブ処理部５０２は、副信号に関する演算を行なうととともに、この副信号の通信制御を行なう。サブ処理部５０２は、例えば、ＭＭＣ（Module Management Controller）である。
【０００８】
各ＣＭ５００のメイン処理部５０１は、それぞれ、スイッチチップ５０３を介してバス５１０に接続され、このバスの他端はＦＲＴ７００に接続されている。すなわち、各ＣＭ５００のメイン処理部５０１は、スイッチチップ５０３，バス５１０およびＦＲＴ７００を介して相互に通信可能に接続されている。
【０００９】
各ＣＭ５００のサブ処理部５０２は、それぞれ、バス５２０を介してＳＶＣ６００に接続されている。すなわち、各ＣＭ５００のサブ処理部５０２は、バス５２０およびＳＶＣ６００を介して相互に通信可能に接続されている。
【００１０】
ＦＲＴ７００を介してメイン処理部５０１間を接続するバス５１０は、バス５２０よりも高速であり、このバス５１０を介して接続される経路をインバンドパスという。これに対して、バス５１０よりも低速なバス５２０を介して接続される経路をアウトバンドパスという。
【００１１】
この図７に示す通信システムにおいては、インバンドパスとアウトバンドパスとを備えることで、主信号と副信号との送受信を実現している。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００２−１１１５９６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、このような従来の通信システムにおいては、インバンドパスとアウトバンドパスとをそれぞれ備えることにより、ケーブル本数が多くなる。これにより、例えば、障害発生時において被疑箇所の特定が煩雑になるという課題がある。
【００１４】
本発明の目的の一つは、第１のデータと第２のデータとを簡素な構成で送信することである。
【課題を解決するための手段】
【００１５】
このため、この通信制御装置は、第１のデータおよび第２のデータを送信する通信制御装置であって、前記第２のデータに応じた位相変化を前記第１のデータを表す第１の信号に付加した位相差付加第１データを作成する付加部と、前記位相差付加第１データを送信する送信部とを備える。
【発明の効果】
【００１６】
一実施形態によれば、第１のデータと第２のデータとを簡素な構成で送信することができる。
【図面の簡単な説明】
【００１７】
【図１】実施形態の一例としてのストレージシステムにおける接続構成を例示する図である。
【図２】実施形態の一例としてのストレージシステムにおけるスイッチチップの構成を例示する図である。
【図３】実施形態の一例としてのストレージシステムにおける伝送信号の作成方法を説明するための図である。
【図４】実施形態の一例としてのストレージシステムにおける位相比較部の構成を示す図である。
【図５】実施形態の一例としてのストレージシステムにおけるスキュー差付加済みクロック信号の処理方法を説明するための図である。
【図６】実施形態の一例としてのストレージシステムにおけるデータ変換部によるズレの判別処理を説明するための図である。
【図７】従来のストレージシステムにおける通信システムを示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本通信制御装置および通信制御システムに係る実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形（実施形態及び各変形例を組み合わせる等）して実施することができる。又、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
【００１９】
（Ａ）構成
図１は実施形態の一例としてのストレージシステム（通信制御システム）１における接続構成を例示する図である。
【００２０】
この図１に示す例においては、ストレージシステム１は、複数（図１には２つを図示）のＣＭ（ストレージ制御装置）２−１，２−２と、複数（図１には２つを図示）の中継装置３−１，３−２とを備える。
【００２１】
このようなストレージシステム１において複数のＣＭ２−１，２−２と中継装置３−１，３−２との間は、例えば、PCIe（Peripheral Component Interconnect Express）の通信ケーブル（PCIeバス）５１によって接続されている。
【００２２】
本実施形態においては、後述の如く、主信号と副信号とを含む伝送信号が通信ケーブル５１を介して通信される。
【００２３】
［１］ＣＭ
ＣＭ２−１、２−２は、ストレージシステム１における種々の制御を行なうストレージ制御装置であり、図示しないホスト装置からのストレージアクセス要求に従って、図示しないＨＤＤ（Hard Disk Drive）等の記憶装置へのアクセス制御等、各種制御を行なう。ＣＭ２−１，２−２は互いに同様の構成を有している。
【００２４】
なお、以下、ＣＭを示す符号としては、複数のＣＭのうち１つを特定する必要があるときには符号２−１，２−２を用いるが、任意のＣＭを指すときには符号２を用いる。
【００２５】
また、以下、ＣＭ２−１をＣＭ＃０という場合がある。同様に、ＣＭ２−２をＣＭ＃１という場合がある。
【００２６】
ＣＭ２は、図１に示すように、それぞれメイン処理部２３，サブ処理部２２およびスイッチチップ（ＳＷチップ）２１を備える。
【００２７】
メイン処理部２３は、第１のデータ（主データ）に関する演算等の処理を行なうものであり、主データを伝達するため主信号の入出力を行なう。メイン処理部２３は、例えば、ＣＰＵである。
【００２８】
サブ処理部２２は、第２のデータ（副データ）に関する演算等の処理を行なうものであり、副データを伝達するため副信号の入出力を行なう。サブ処理部２２は、例えば、ＭＭＣである。
【００２９】
メイン処理部２３およびサブ処理部２２は、それぞれスイッチチップ２１を介して通信ケーブル５１に接続され、この通信ケーブル５１の他端は各中継装置３−１，３−２のスイッチチップ３１に接続されている。
【００３０】
通信ケーブル５１は、内部に複数の通信路を備える。以下、通信ケーブル５１に含まれる経路をレーン２２３ａ，２２３ｂ（図２参照）という場合がある。
【００３１】
また、メイン処理部２３とスイッチチップ２１とは、レーン２２１ａ，２２１ｂ（図２参照）により接続される。
【００３２】
スイッチチップ２１は、自身が搭載されたＣＭ２（以下、自ＣＭ２という）を、通信ケーブル５１および中継装置３を介して他のＣＭ２（他ＣＭ２）と通信可能に接続する接続装置である。
【００３３】
このスイッチチップ２１は、メイン処理部２３から送信される第１のデータ（主データ）と、サブ処理部２２から送信される第２のデータ（副データ）を送信する通信制御装置として機能する。
【００３４】
スイッチチップ２１は、中継装置３−１，３−２の各スイッチチップ３１と、通信ケーブル５１を介してそれぞれ接続されている。
【００３５】
これにより、ＣＭ２−１のメイン処理部２３は、スイッチチップ２１，通信ケーブル５１および中継装置３を介してＣＭ２−２のメイン処理部２３と通信可能に接続されているのである。
【００３６】
同様に、ＣＭ２−１のサブ処理部２２は、スイッチチップ２１，通信ケーブル５１および中継装置３を介してＣＭ２−２のサブ処理部２２と通信可能に接続されている。
【００３７】
図２は実施形態の一例としてのストレージシステム１におけるスイッチチップ２１の構成を例示する図である。
【００３８】
この図２に示すように、スイッチチップ２１は送信ブロック２００ａと受信ブロック２００ｂとを備える。
【００３９】
送信ブロック２００ａは、自ＣＭ２から中継装置３に対するデータ（信号）の送信を処理する。これに対して、受信ブロック２００ｂは、中継装置３から自ＣＭ２に対して送信されたデータ（信号）の受信を処理する。
【００４０】
（ａ）送信ブロック
送信ブロック２００ａには、自ＣＭ２のメイン処理部２３からの主信号が、１つ以上（図２に示す例ではLane 0,1の２つ）のレーン２２１ａを介して入力される。また、送信ブロック２００ａには、自ＣＭ２のサブ処理部２２からの副信号が、１つ以上（図２に示す例では１つ）の汎用バス２２２ａを介して入力される。
【００４１】
そして、この送信ブロック２００ａからは、後述の如く、主信号と副信号とを含む伝送信号が、１つ以上（図２に示す例では２つ）のレーン２２３ａを介して、中継装置３に対して出力される。
【００４２】
一方、受信ブロック２００ｂには、中継装置３から、主信号と副信号とを含む伝送信号が、１つ以上（図２に示す例ではLane 0,1の２つ）のレーン２２３ｂを介して入力される。
【００４３】
そして、受信ブロック２００ｂは、自ＣＭ２のメイン処理部２３に対して、１つ以上（図２に示す例では２つ）のレーン２２１ｂを介して主信号を出力する。さらに、受信ブロック２００ｂは、自ＣＭ２のサブ処理部２２に対して、１つ以上（図２に示す例では１つ）の汎用バス２２２ｂを介して副信号を出力する。
【００４４】
レーン２２１ａ，２２１ｂ，２２３ａ，２２３ｂは、シリアルバスであって、後述の如く、クロック重畳された信号（伝送信号）を伝送する。
【００４５】
図２に示すように、送信ブロック２００ａは、受信部２０１ａ，送信部２１２，バッファ２０３ａ，入力ポート２０５ａ，出力ポート２０６ａ，遅延回路２０４，エラー検出部２１１およびデータ変換部２０７ａを備える。
【００４６】
これらのうち、受信部２０１ａ，送信部２１２，バッファ２０３ａ，入力ポート２０５ａ，出力ポート２０６ａおよび遅延回路２０４は、レーン２２１ａ（２２３ａ）毎に備えられる。
【００４７】
また、これらのうち、遅延回路２０４，データ変換部２０７ａは、後述の如く、副信号をスキュー差（位相差，位相変化）として主信号に付加してスキュー差付加済み主信号（位相差付加第１データ）を生成する、送信変換部２０９を構成する。
【００４８】
入力ポート２０５ａには、メイン処理部２３との間を接続するレーン２２１ａが接続され、メイン処理部２３から出力される主信号が、レーン２２１ａを介して入力される。
【００４９】
出力ポート２０６ａには、中継装置３との間を接続するレーン２２３ａが接続され、中継装置３に対して出力される伝送信号が、レーン２２３ａを介して出力される。
【００５０】
入力ポート２０５ａに入力された主信号は、受信部２０１ａに入力される。受信部２０１ａは、入力ポート２０５ａに入力された主信号を受信する。受信部２０１ａによって受信された主信号は送信部２１２に入力される。
【００５１】
送信部２１２は、入力された主信号に送信クロック信号を重畳する。送信クロック信号を重畳された主信号はバッファ２０３ａに格納される。以下、送信クロック信号が重畳された主信号をクロック重畳済み主信号もしくは単に主信号という場合がある。また、送信クロック信号を単にクロック信号という場合がある。
【００５２】
バッファ２０３ａは、中継装置３に対して送信する伝送信号（主信号）を１時的に格納するＦＩＦＯ（First In, First Out）メモリである。
【００５３】
エラー検出部２１１は、後述する受信ブロック２００ｂの各バッファ２０３ｂに関するエラーを検出する。
【００５４】
例えば、エラー検出部２１１は、自ＣＭ２における後述する受信ブロック２００ｂのいずれかのバッファ２０３ｂからエラー通知（バッファアンダーランエラー）を受信した場合に、データ変換部２０７ａに通知（第１バッファアンダーラン検出通知）を行なう。そして、エラー検出部２１１は、このバッファアンダーランエラーが生じたレーン２２３ｂにおける伝送信号の送信元のＣＭ２の送信ブロック２００ａに対するエラー通知（第２バッファアンダーラン検出通知）を、データ変換部２０７ａに対して要求（依頼）する。
【００５５】
また、エラー検出部２１１は、他ＣＭ２の送信ブロック２００ａから、バッファアンダーランエラーが生じた旨の通知（第２バッファアンダーランエラー検出通知）を受信すると、データ変換部２０７ａに通知（第２バッファアンダーランエラー受信通知）を行なう。
【００５６】
データ変換部２０７ａは、サブ処理部２２から汎用バス２２２ａを介して入力される副信号を１線式シリアル信号などの波形信号（第１の波形信号）に変更する。
【００５７】
また、データ変換部２０７ａは、サブ処理部２２から入力される副信号を、後述する遅延回路２０４が主信号に部分的にスキュー（Skew）差（位相ズレ，遅延）を発生させるために用いる波形信号（スキュー差制御用波形信号，位相変化制御用信号）に変換する。
すなわち、データ変換部２０７ａは、副信号（第２のデータ）に基づき位相変化制御用信号（スキュー差制御用波形信号）を生成する第１生成部として機能する。
【００５８】
図３は実施形態の一例としてのストレージシステム１における伝送信号の作成方法を説明するための図である。
【００５９】
この図３において、符号（Ａ）は副データ（送信データ）の例を示す。本例においては副データは“1001”である。
【００６０】
データ変換部２０７ａは、この副データを、図３中において符号（Ｂ）で示すような波形データ（副信号）に変換する（第１のデータ変換処理）。符号（Ｂ）に示す例においては、副信号を１線式シリアルの形式（１線式シリアル信号）に変換した例を示している。１線式シリアル信号においては、ＨＩＧＨ時間が所定の閾値より長い状態を“1”とする。
【００６１】
また、データ変換部２０７ａは、１線式シリアル信号に変換した波形データから、図３中において符号（Ｃ）で示すように、エッジを抽出する（第２のデータ変換処理）。なお、エッジの抽出は既知の種々の手法を用いて実現することができ、その説明は省略する。
【００６２】
そして、データ変換部２０７ａは、メイン処理部２３によるシリアル伝送に影響を与えないように、図３中において符号（Ｄ）で示すように、ＬＰＦ（Low-pass filter；ローパスフィルタ）等を用いて波形をなまらせて、なめらかになるよう整形する（第３のデータ変換処理）。このようにして生成された波形信号は、後述する遅延回路２０４によるスキュー差の付与に用いられる。以下、データ変換部２０７ａがサブ処理部２２から入力された副信号に基づいて生成する波形信号を、スキュー差制御用波形信号という場合がある。
【００６３】
また、データ変換部２０７ａは、後述する受信ブロック２００ｂにおいてバッファアンダーランエラーが検出された場合に、このバッファアンダーランエラーが検出されたレーン２２３ａ，２２３ｂを用いた伝送信号の送信を停止させる機能を有する。
【００６４】
具体系には、データ変換部２０７ａは、エラー検出部２１１から第２バッファアンダーランエラー受信通知を受信した場合、すなわち、他ＣＭ２の送信ブロック２００ａからバッファアンダーランエラーが生じた旨の通知（第２バッファアンダーランエラー検出通知）が行なわれた場合に、バッファアンダーランエラーが発生したレーンの使用を阻止する。
【００６５】
また、データ変換部２０７ａは、エラー検出部２１１から第１バッファアンダーラン検出通知を受信した場合、すなわち、自ＣＭ２の受信ブロック２００ｂのいずれかのバッファ２０３ｂからエラー通知（バッファアンダーランエラー）が行なわれた場合にも、バッファアンダーランエラーが発生したレーンの使用を阻止する。
【００６６】
そして、データ変換部２０７ａは、使用を阻止したレーン２２３ａに代えて、エラーが検出されていない他のレーン２２３ａを選択し、伝送信号の送信を行なう。
【００６７】
遅延回路２０４は、データ変換部２０７ａによって生成されたスキュー差制御用波形信号に基づいて、バッファ２０３ａから読み出したクロック重畳済み主信号にスキュー差を付加する。ここで、スキュー差とは波形の位相の差（位相差）を意味する。
【００６８】
例えば、遅延回路２０４は、スキュー差制御用波形信号の波形に応じて、主信号を部分的に遅延させることで、位相を部分的にズラす。以下、位相ズレ（スキュー差）が付加された主信号をスキュー差付加済み主信号（位相差付加第１データ）という場合がある。
【００６９】
これにより、遅延回路２０４は、スキュー差付加済み主信号において、位相ズレを付加する前の主信号に比べて、位相ズレがある部分と無い部分とを生成する。
【００７０】
スキュー差付加済み主信号は、副信号に対応して位相ズレがある部分と位相ズレがない部分とを有する、位相変化信号であると言える。
従って、遅延回路２０４は、第２のデータ（副信号）に応じた位相変化（スキュー差）を第１の信号（主信号）に付加した位相差付加第１データ（スキュー差付加済み主信号）を作成する付加部として機能する。
【００７１】
図３中において、符号（Ｅ）は、スキュー差を付加する前の主信号（クロック重畳済み主信号）の波形を示し、符号（Ｆ）は、スキュー差付加済み主信号の波形を示す。すなわち、符号（Ｆ）は、スキュー差制御用波形信号に応じた位相ズレが付加された状態のスキュー差付加済み主信号の波形を示す。
【００７２】
遅延回路２０４は、バッファ２０３ａから読み出したクロック重畳済み主信号に対して、スキュー差制御用波形信号においてＨＩＧＨ（１）に相当する区間の位相を、例えば、遅れた状態にする。図３中において符号（Ｂ），（Ｆ）に示す例においては、遅延回路２０４が、副信号（１線式シリアル信号）においてＨＩＧＨ（１）に相当する区間の主信号を、半波長ズレた状態（半波長遅れた状態）にしている。
【００７３】
また、遅延回路２０４は、クロック重畳済み主信号に対して、副信号（１線式シリアル信号）においてＬＯＷ（０）に相当する区間の主信号を、波長ズレ無しの状態にする。
【００７４】
そのため、例えば、遅延回路２０４は、スキュー差制御用波形信号（図３の符号（Ｄ）参照）において＋側（ＨＩＧＨ側）に突出する部分（図３中符号Ｐ１等参照）において遅延を発生させる。これにより、遅延回路２０４は、その後続する部分に対応する主信号を半波長ズレの状態にする（図３中符号Ｐ２等参照）。また、遅延回路２０４は、スキュー差制御用波形信号（図３の符号（Ｄ）参照）において−側（ＬＯＷ側）に突出する部分（図３中符号Ｐ３等参照）において遅延を解消させるべく、位相を進ませる。これにより、遅延回路２０４は、その後続する部分に対応する主信号をズレ無しの状態にする（図３中符号Ｐ４等参照）。
また、遅延回路２０４は、スイッチチップ２１の受信ブロック２００ｂに備えられたバッファ２０３ｂ（エラースティックバッファ）が位相差（遅延）を吸収可能な範囲で主信号に位相差を生じさせる。
【００７５】
このようにして、遅延回路２０４は、副信号（１線式シリアル信号）においてＨＩＧＨ（１）に相当する区間の主信号を、半波長ズレた状態（半波長遅れた状態）とする、スキュー差付加済み主信号を作成する。
すなわち、遅延回路２０４は、主信号に対して、前述したスキュー差制御用波形信号（位相変化制御用信号）に応じた位相変化（スキュー差）を付加する。
【００７６】
このスキュー差付加済み主信号にはクロック信号が重畳されており、このクロック信号にも遅延回路２０４により付加されたスキュー差が付加されている。以下、クロック重畳済み主信号に含まれる、スキュー差が付加されたクロック信号を、スキュー差付加済みクロック信号という場合がある。
【００７７】
このように、スキュー差付加済み主信号においては、主信号に副信号がスキュー差（位相ズレ）として内蔵（付加）されている。同様に、スキュー差付加済みクロック信号においては、クロック信号に副信号がスキュー差（位相ズレ）として内蔵（付加）されている。
【００７８】
なお、図３中において、符号（Ｆ）で示す例においては、縮尺の都合上、ずれ部分は数波長に見えるが、実際は１０００〜１００００波長レベルでずれが生じ、伝送信号における高周波部分と低周波部分との差は明確となる。
【００７９】
遅延回路２０４は、上述の如く生成したスキュー差付加済み主信号を伝送信号として出力ポート２０６ａを介して中継装置３に送信する。従って、出力ポート２０６ａもしくは遅延回路２０４は、スキュー差付加済み主信号（位相差付加第１データ）を送信する送信部として機能する。
【００８０】
このように、本ストレージシステム１においては、スイッチチップ２１の送信ブロック２００ａから送信される伝送信号においては、主信号に副信号に応じたスキュー差が付加されている。すなわち、伝送信号においては、スキュー差を利用して副信号が主信号に付加されている。
【００８１】
（ｂ）受信ブロック
受信ブロック２００ｂには、中継装置３からの伝送信号が、１つ以上（図２に示す例では２つ）のレーン２２３ｂを介して入力される。前述の如く、この伝送信号においては、スキュー差を利用して副信号が主信号に付加されており、受信ブロック２００ｂは、この受信した伝送信号から主信号と副信号とを抽出する。
【００８２】
受信ブロック２００ｂは、伝送信号から抽出した主信号を、１つ以上（図２に示す例では２つ）のレーン２２１ｂを介してメイン処理部２３に入力する。また、受信ブロック２００ｂは、伝送信号から副信号を抽出し、抽出した副信号を１つ以上（図２に示す例では１つ）の汎用バス２２２ｂを介してサブ処理部２２に入力する。
【００８３】
レーン２２３ｂは、レーン２２３ａと同様のシリアルバスであって、クロック重畳された信号（伝送信号）を伝送する。
【００８４】
図２に示すように、受信ブロック２００ｂは、受信部２０１ｂ，クロック抽出部２０２，バッファ２０３ｂ，入力ポート２０５ｂ，出力ポート２０６ｂ，位相比較部２０８およびデータ変換部２０７ｂを備える。
【００８５】
これらのうち、受信部２０１ｂ，クロック抽出部２０２，バッファ２０３ｂ，入力ポート２０５ｂおよび出力ポート２０６ｂは、レーン２２１ｂ（２２３ｂ）毎に備えられる。
【００８６】
また、これらのうち、データ変換部２０７ｂおよび位相比較部２０８は、後述の如く、受信したスキュー差付加済み主信号から副信号を抽出する、受信変換部２１０を構成する。
【００８７】
入力ポート２０５ｂには、中継装置３との間を接続するレーン２２３ｂが接続され、中継装置３から送信される伝送信号が、レーン２２３ｂを介して入力される。
【００８８】
出力ポート２０６ｂには、メイン処理部２３との間を接続するレーン２２１ｂが接続され、メイン処理部２３に対して出力される伝送信号が、このレーン２２１ｂを介して出力される。
【００８９】
入力ポート２０５ｂに入力された伝送信号は、受信部２０１ｂとクロック抽出部２０２とにそれぞれ入力される。
【００９０】
受信部２０１ｂは、入力ポート２０５ｂに入力された伝送信号を受信する。受信部２０１ｂは、受信した伝送信号から主信号を抽出する。受信部２０１ｂによって抽出された主信号はバッファ２０３ｂに格納される。
従って、受信部２０１ｂは、スキュー差付加済み主信号（位相差付加第１データ）を受信する受信部として機能する。
【００９１】
バッファ２０３ｂは、受信部２０１ｂによって受信された伝送信号（主信号）を１時的に格納するＦＩＦＯメモリである。このバッファ２０３ｂは、複数備えられたレーン２２３ｂから入力される信号間の位相偏差（位相遅れ）や周波数偏差を補償するためのエラスティックバッファとして機能する。すなわち、バッファ２０３ｂは、伝送信号の遅延を吸収する遅延吸収部として機能する。
【００９２】
バッファ２０３ｂは、バッファアンダーランの状態となった場合、すなわち、バッファ領域に対して必要とされる分より書き込まれるデータが不足する状態（バッファ枯渇状態）となった場合に、自ＣＭ２の送信ブロック２００ａのエラー検出部２１１に対してエラー通知（バッファアンダーランエラー）を通知する。
【００９３】
バッファ２０３ｂに格納された主信号は、出力ポート２０６ｂおよびレーン２２１ｂを介してメイン処理部２３に入力される。
【００９４】
クロック抽出部２０２は、受信した伝送信号からクロック信号を抽出する。なお、伝送信号からのクロックの抽出は、既知の種々の手法を用いて実現することができ、その詳細な説明は省略する。
【００９５】
クロック抽出部２０２によって抽出されたクロック信号は、受信部２０１ｂおよび位相比較部２０８に入力される。図２に示す例においては、複数のレーン２２３ｂ毎に備えられた各クロック抽出部２０２から、クロック信号が受信部２０１ｂおよび受信変換部２１０の位相比較部２０８にそれぞれ入力される。クロック抽出部２０２が伝送信号から抽出したクロック信号（スキュー差付加済みクロック信号）には、前述の如く、遅延回路２０４により、副信号に応じたスキュー差が付加されている。
【００９６】
受信変換部２１０は、スキュー差付加済みクロック信号から副信号を復元する。従って、受信変換部２１０は、受信したスキュー差付加済み主信号（位相差付加第１データ）から副信号を復元する復元部として機能する。
受信変換部２１０は、位相比較部２０８およびデータ変換部２０７ｂを備える。
位相比較部２０８は、スキュー差付加済みクロック信号からスキュー差制御用波形信号を抽出する。
【００９７】
図４は実施形態の一例としてのストレージシステム１における位相比較部２０８の構成を示す図である。
【００９８】
位相比較部２０８は、図４に示すように、位相比較器２０８１およびＬＰＦ２０８２を備える。
【００９９】
位相比較器２０８１は、基準クロック信号と、クロック抽出部２０２によって抽出されたスキュー差付加済みクロック信号とを比較して位相のズレを検出するものであり、例えば、ＸＯＲ回路により実現される。
【０１００】
基準クロック信号は、例えば、本ストレージシステム１の起動時等に所定期間（例えば、１０秒間）、スキュー差が印加されていない状態のクロック信号を入力し、その周波数と位相とを図示しないメモリ等に記憶させる。基準クロック信号は、クロック信号の初期周波数を示す。
【０１０１】
図５は実施形態の一例としてのストレージシステム１におけるスキュー差付加済みクロック信号の処理方法を説明するための図である。
【０１０２】
図５において、符号（Ａ）は基準クロック信号を、符号（Ｂ）はスキュー差付加済みクロック信号を、符号（Ｃ）は位相比較部２０８の出力信号を、それぞれ例示する。また、符号（Ｄ）はデータ変換部２０７ｂによって生成される１線式シリアル信号を例示し、符号（Ｅ）は副信号のデータ例を示す。
【０１０３】
位相比較器２０８１は、基準クロック信号（図５の符号（Ａ）参照）とスキュー差付加済みクロック信号（図５の符号（Ｂ）参照）との位相差を検出し、この位相差に応じた電圧信号を出力する。例えば、位相比較器２０８１は、スキュー差付加済みクロック信号が基準クロック信号よりも位相が進んでいる場合に、ＨＩＧＨを出力する。
【０１０４】
位相比較器２０８１の下流側にはＬＰＦ２０８２が備えられており、位相比較器２０８１から出力される信号は、このＬＰＦ２０８２によって平均化（平滑化）されて出力される（図５の符号（Ｃ）参照）。以下、このＬＰＦ２０８２によって平滑化された、スキュー差付加済みクロック信号と基準クロック信号と位相比較結果を、位相比較情報という場合がある。
位相比較部２０８は、スキュー差付加済みクロック信号と基準クロック信号とを比較して位相比較情報を生成する。
従って、データ変換部２０７ｂは、スキュー差付加済み主信号（位相差付加第１データ）から抽出した、スキュー差付加済みクロック信号（位相変化が付加されたクロック信号）と、基準クロック信号との位相ズレに応じた波形信号を作成する機能を有する。
【０１０５】
データ変換部２０７ｂは、位相比較部２０８から入力される信号（位相比較情報）をサブ処理部２２が受け取れる汎用バス信号（副データ）に変換する。
【０１０６】
データ変換部２０７ｂは、位相比較部２０８によって生成された波形データ（位相比較情報）を整形して１線式シリアル信号を生成する。例えば、データ変換部２０７ｂは、位相比較情報を所定の閾値で切り分けることで２値化し、１線式シリアル信号（副信号）を生成する（図５の符号（Ｄ）参照）。
【０１０７】
そして、データ変換部２０７ｂは、１線式シリアル信号として表された副信号を数値化して、副データを取得する（図５の符号（Ｅ）参照）。図５の符号（Ｅ）に示す例においては、副データ“1001”が取得される。この取得された副データが、汎用バス２２２ｂを介してサブ処理部２２に入力される。
【０１０８】
また、データ変換部２０７ｂにおいては、位相比較部２０８の出力について、通常の外乱による位相のズレと、遅延回路２０４によってスキュー差を付加することにより生じる周波数のズレ（すなわち、副信号）とを閾値を用いて判別する機能を備える。
【０１０９】
図６は実施形態の一例としてのストレージシステム１におけるデータ変換部２０７ｂによるズレの判別処理を説明するための図である。この図６においては、位相比較部２０８からの出力信号を例示しており、この出力信号には、外乱によるズレが部分的に図示されている。
【０１１０】
例えば、PCIeにおいては、規格上、例えば0.03％までの周波数のズレを許容している。また、ＳＳＣ（Spread-Spectrum Clocking）を印加した場合のズレの許容は3％となる。これに対して、エラスティックバッファは最大1000％（10波長）程度は位相をずらす事が可能である。図６に示す例においては、50％（半波長分）の位相ズレを起こした波形を示している。
この事から適切な閾値（例えば、20%）を設けてフィルタリングを行なう事で、十分に外乱によるズレやＳＳＣによるズレだけを除去することができる。
【０１１１】
［２］中継装置
中継装置３−１，３−２は、複数のＣＭ２−１，２−２間の通信（ＣＭ−ＣＭ間通信）を実現する通信装置である。中継装置３−１，３−２は互いに同様の構成を有している。
【０１１２】
なお、以下、中継装置を示す符号としては、複数の中継装置のうち１つを特定する必要があるときには符号３−１，３−２を用いるが、任意の中継装置を指すときには符号３を用いる。
【０１１３】
また、以下、中継装置３−１を中継装置＃０という場合がある。同様に、中継装置３−２を中継装置＃１という場合がある。
【０１１４】
図１に示す例においては、中継装置３は、それぞれスイッチチップ（ＳＷチップ）３１およびサブ処理部３２を備える。
【０１１５】
スイッチチップ３１は、データの通信経路を切り替える回路装置であり、図示しない第１のコネクタに接続された通信ケーブル５１を介して入力されたデータを、そのデータの送信先（通信相手）に応じて第２のコネクタに接続された他の通信ケーブル５１から出力させる。これにより、中継装置３は、ＦＲＴとしての機能を実現する。
【０１１６】
また、スイッチチップ３１は、ＣＭ２のスイッチチップ２１の受信ブロック２００ｂおよび送信ブロック２００ａと同様の機能を備える。
【０１１７】
すなわち、スイッチチップ３１は、ＣＭ２から送信される、主信号に副信号をスキュー差として付加された伝送信号を受信し、この伝送信号から主信号と副信号とを抽出する。スイッチチップ３１において抽出された副信号は、サブ処理部３２に受け渡される。
【０１１８】
サブ処理部３２は、副信号に関する演算を行なうととともに、この副信号の通信制御を行なう。中継装置３において、このサブ処理部３２は、ＳＶＣとしての機能を実現する。
【０１１９】
サブ処理部３２から出力される副信号は、スイッチチップ３１に受け渡され、このスイッチチップ３１の機能によりスキュー差としてクロック信号に付加されてＣＭ２に送出される。
【０１２０】
（Ｂ）動作
上述の如く構成された実施形態の一例としてのストレージシステム１における、ＣＭ２間でのデータ送受信方法を説明する。以下に示す例においては、ＣＭ＃０から中継装置＃０を介してＣＭ＃１にデータを送信する例について示す。
【０１２１】
データ送信元のＣＭ＃０において、メイン処理部２３がレーン２２１ａを介して、スイッチチップ２１に主信号を入力する。
【０１２２】
メイン処理部２３からの主信号は、各レーン２２１ａから入力ポート２０５ａに入力される。入力ポート２０５ａに入力された主信号は受信部２０１ａに入力される。
【０１２３】
主信号が入力された受信部２０１ａは、この主信号を送信部２１２に入力する。送信部２１２においては、入力された主信号に送信クロック信号を重畳する。送信クロック信号を重畳された主信号（クロック重畳済み主信号）はバッファ２０３ａに格納される。
【０１２４】
一方、サブ処理部２２は、汎用バス２２２ａを介して、スイッチチップ２１に副信号を入力する。汎用バス２２２ａを介して入力される副信号は、送信変換部２０９のデータ変換部２０７ａに入力される。
【０１２５】
データ変換部２０７ａは、汎用バス２２２ａを介して入力されたデータを１線式シリアル信号に変換した後、スキュー差制御用波形信号を生成する。生成されたスキュー差制御用波形信号は、遅延回路２０４に入力される。
【０１２６】
遅延回路２０４においては、データ変換部２０７ａによって生成されたスキュー差制御用波形信号に基づいて、バッファ２０３から読み出したクロック重畳済み主信号にスキュー差を付加することで、スキュー差付加済み主信号を生成する。
【０１２７】
遅延回路２０４は、生成したスキュー差付加済み主信号を伝送信号としてレーン２２３ａを介して中継装置３に送信する。
【０１２８】
中継装置３においては、スイッチチップ３１が、入力された伝送信号から主信号と副信号とを抽出する。
【０１２９】
すなわち、スイッチチップ３１は、スイッチチップ２１の受信ブロック２００ｂと同様にして、入力された伝送信号からクロック信号（スキュー差付加済みクロック信号）を抽出する。スイッチチップ３１は、スキュー差付加済みクロック信号を基準クロック信号と比較することで位相のズレを検出して波形化し、更に平滑化することで波形データを生成する。
【０１３０】
そして、スイッチチップ３１は、生成した波形データに基づき１線式シリアル信号を生成した後、この１線式シリアル信号に基づき副信号を生成（抽出）する。
【０１３１】
抽出された副信号は、サブ処理部３２に入力され、このサブ処理部３２において処理される。
【０１３２】
また、スイッチチップ３１は、ＦＲＴとしての機能により、伝送信号から抽出された主信号を、その送信先であるＣＭ＃１に対して出力する。
【０１３３】
中継装置３は、ＣＭ＃１に対して送信する主信号（クロック重畳済み主信号）に、サブ処理部３２によって生成された副信号に基づいて作成したスキュー差制御用波形信号に基づいてスキュー差を付加することで、スキュー差付加済み主信号を作成する。このスキュー差付加済み主信号は、ＣＭ２のスイッチチップ２１の送信ブロック２００ａの送信変換部２０９と同様の手法により生成される。
【０１３４】
なお、中継装置３においては、ＣＭ＃０から送信される伝送信号をそのままＣＭ＃１に転送してもよい。すなわち、中継装置３は、サブ処理部３２によって生成された副信号に基づいて生成したスキュー差制御用波形信号に基づいて主信号（クロック重畳済み主信号）にスキュー差を付加する代わりに、ＣＭ＃０から受信したスキュー差付加済み主信号を、そのままＣＭ＃１に送信（転送）してもよい。
【０１３５】
データ送信先のＣＭ＃１においては、レーン２２３ｂを介して入力ポート２０５ｂに中継装置３から伝送信号が入力される。入力ポート２０５ｂに入力された伝送信号は受信部２０１ｂとクロック抽出部２０２とにそれぞれ入力される。
【０１３６】
受信部２０１ｂは、伝送信号に含まれる主信号をバッファ２０３ｂに格納する。バッファ２０３ｂに格納された主信号は、出力ポート２０６ｂおよびレーン２２１ｂを介してメイン処理部２３に送信される。メイン処理部２３においては、入力された主信号を処理する。
【０１３７】
一方、クロック抽出部２０２は、入力された伝送信号からクロック信号（スキュー差付加済みクロック信号）を抽出する。この抽出されたスキュー差付加済みクロック信号は、受信変換部２１０の位相比較部２０８に入力される。
【０１３８】
位相比較部２０８においては、位相比較器２０８１が、基準クロック信号とスキュー差付加済みクロック信号とを比較して位相のズレを検出し、ＬＰＦ２０８２によって平滑化された波形データが出力される。
【０１３９】
データ変換部２０７ｂにおいては、入力された波形データに基づき１線式シリアル信号が生成された後、この１線式シリアル信号に基づき副信号が生成される。
【０１４０】
生成された副信号は、汎用バス２２２ｂを介してサブ処理部２２に入力される。
【０１４１】
（Ｃ）効果
このように、本発明の一実施形態としてのストレージシステム１によれば、送信変換部２０９において、副信号をスキュー差としてクロック重畳済み主信号に付加してスキュー差付加済み主信号を生成する。そして、遅延回路２０４が、この生成したスキュー差付加済み主信号を送信する。
【０１４２】
これにより、主信号と同じレーン２２３ａ，２２３ｂを用いて副信号を送信することができ、データ送信に用いるケーブル本数を低減することができる。また、副信号を送信するための専用の機器を備える必要がなく、装置コストを低減することができる。
【０１４３】
また、メイン処理部２３の機能を用いることなく副信号を送信することができるので、例えば、メイン処理部２３が何らかの理由でハングした場合においても、副信号を送信することができる。
【０１４４】
受信ブロック２００ｂにおいて、バッファ２０３ｂにバッファアンダーランエラーが生じた場合には、エラー検出部２１１がデータ変換部２０７ａに通知（第２バッファアンダーラン検出通知）する。そして、データ変換部２０７ａは、このバッファアンダーランエラーが発生したレーン２２３ａ，２２３ｂの使用を阻止し、バッファアンダーランエラーが検出されていない他のレーン２２３ａ，２２３ｂを用いて伝送信号の送信を行なう。これにより、送信するスキュー差付加済み主信号を、受信側のスイッチチップ２１の受信ブロック２００ｂにおいて確実に受信し処理することができる。
【０１４５】
また、自ＣＭ２の送信ブロック２００ａにおいて、バッファ２０３ａにバッファアンダーランエラーが生じた場合にも、エラー検出部２１１がデータ変換部２０７ａに通知（第１バッファアンダーラン検出通知）する。そして、データ変換部２０７ａは、このバッファアンダーランエラーが発生したレーン２２３ａ，２２３ｂの使用を阻止し、バッファアンダーランエラーが検出されていない他のレーン２２３ａ，２２３ｂを用いて伝送信号の送信を行なう。これにより、スキュー差付加済み主信号を確実に送信し、処理することができる。
【０１４６】
（Ｄ）その他
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
【０１４７】
上述した実施形態においては、ＣＭ２と中継装置３とをPCIeの通信ケーブルで接続する例を示しているが、これに限定されるものではなく、種々変形して実施することができる。
【０１４８】
例えば、PCIeの他、高速シリアルバスとして、InfiniBand等の他の種々のバス規格に適用することができる。
また、上述した実施形態においては、受信ブロック２００ｂにおいて、複数のレーン２２３ｂ毎にバッファ２０３ｂを備えているが、これに限定されるものではない。すなわち、１つのレーン２２３ｂだけを備える場合（lane0だけを備える場合）には、エラースティックバッファとしての機能は不要であるので、バッファ２０３ｂを備える必要はない。
【０１４９】
上述した実施形態においては、遅延回路２０４は、副信号（１線式シリアル信号）においてＨＩＧＨ（１）に相当する区間の主信号を、半波長ズレた状態（半波長遅れた状態）とする、スキュー差付加済み主信号を作成しているが、これに限定されるものではない。
【０１５０】
例えば、遅延回路２０４は、副信号（１線式シリアル信号）においてＬＯＷ（０）に相当する区間の主信号を、半波長ズレた状態（半波長遅れた状態）としてもよい。
【０１５１】
また、遅延回路２０４は、副信号（１線式シリアル信号）においてＨＩＧＨ（１）またはＬＯＷ（０）に相当する区間の主信号を、半波長ズレた状態（半波長進んだ状態）としてもよい。
【０１５２】
さらに、遅延回路２０４は、副信号（１線式シリアル信号）においてＨＩＧＨ（１）またはＬＯＷ（０）に相当する区間の主信号を、半波長より多くズレた状態にしてもよく、また、半波長未満ズレた状態にしてもよく、種々変形して実施することができる。ただし、ズラす量の上限は、１波長分未満であることが望ましい。
【０１５３】
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
【０１５４】
（Ｅ）付記
以上の実施形態に関し、更に以下の付記を開示する。
【０１５５】
（付記１）
第１のデータおよび第２のデータを送信する通信制御装置であって、
前記第２のデータに応じた位相変化を前記第１のデータを表す第１の信号に付加した位相差付加第１データを作成する付加部と、
前記位相差付加第１データを送信する送信部と
を備えることを特徴とする、通信制御装置。
【０１５６】
（付記２）
前記第２のデータに基づき位相変化制御用信号を生成する第１生成部を備え、
前記付加部が、前記第１の信号に対して、前記位相変化制御用信号に応じた位相変化を付加する
ことを特徴とする、付記１記載の通信制御装置。
【０１５７】
（付記３）
前記位相差付加第１データを受信する受信部と、
受信した前記位相差付加第１データから前記第２のデータを復元する復元部と
を備えることを特徴とする、付記１または２記載の通信制御装置。
【０１５８】
（付記４）
前記復元部が、
位相差付加第１データから抽出した、前記位相変化が付加された位相差付加クロック信号と、基準信号との位相ズレに応じた波形信号を作成し、当該波形信号を２値化して前記第２のデータを表す第２の信号を生成し、当該第２の信号を数値化して前記第２のデータを復元する
ことを特徴とする、付記３記載の通信制御装置。
【０１５９】
（付記５）
第１の装置と第２の装置とを備え、前記第１の装置から前記第２の装置へ第１のデータおよび第２のデータを送信する通信制御システムにおいて、
前記第１の装置が、
前記第２のデータに応じた位相変化を前記第１のデータを表す第１の信号に付加した位相差付加第１データを作成する付加部と、
前記位相差付加第１データを送信する送信部と
を備え、
前記第２の装置が、
前記位相差付加第１データを受信する受信部と、
受信した前記位相差付加第１データから前記第２のデータを復元する復元部と
を備えることを特徴とする、通信制御システム。
【０１６０】
（付記６）
前記第１の装置において、
前記第２のデータに基づき位相変化制御用信号を生成する第１生成部を備え、
前記付加部が、前記第１の信号に対して、前記位相変化制御用信号に応じた位相変化を付加する
ことを特徴とする、付記５記載の通信制御システム。
【０１６１】
（付記７）
前記第２の装置において、
前記復元部が、
位相差付加第１データから抽出した、前記位相変化が付加された位相差付加クロック信号と、基準信号との位相ズレに応じた波形信号を作成し、当該波形信号を２値化して前記第２のデータを表す第２の信号を生成し、当該第２の信号を数値化して前記第２のデータを復元する
ことを特徴とする、付記５又は６記載の通信制御システム。
【０１６２】
（付記８）
第１のデータおよび第２のデータを送信する通信制御装置において、
前記第２のデータに応じた位相変化を前記第１のデータを表す第１の信号に付加した位相差付加第１データを作成し、
前記位相差付加第１データを送信する
ことを特徴とする、通信制御方法。
【０１６３】
（付記９）
前記第２のデータに基づき位相変化制御用信号を生成し、
前記付加部が、前記第１の信号に対して、前記位相変化制御用信号に応じた位相変化を付加する
ことを特徴とする、付記８記載の通信制御方法。
【０１６４】
（付記１０）
第１のデータおよび第２のデータを受信する通信制御装置において、
前記位相差付加第１データを受信し、
受信した前記位相差付加第１データから前記第２のデータを復元する
ことを特徴とする、通信制御方法。
【０１６５】
（付記１１）
位相差付加第１データから抽出した、前記位相変化が付加された位相差付加クロック信号と、基準信号との位相ズレに応じた波形信号を作成し、当該波形信号を２値化して前記第２のデータを表す第２の信号を生成し、当該第２の信号を数値化して前記第２のデータを復元する
ことを特徴とする、付記１０記載の通信制御方法。
【０１６６】
（付記１２）
第１のデータおよび第２のデータを受信する通信制御装置において、
前記位相差付加第１データを受信する受信部と、
受信した前記位相差付加第１データから前記第２のデータを復元する復元部と
を備えることを特徴とする、通信制御装置。
【０１６７】
（付記１３）
前記復元部が、
位相差付加第１データから抽出した、前記位相変化が付加された位相差付加クロック信号と、基準信号との位相ズレに応じた波形信号を作成し、当該波形信号を２値化して前記第２のデータを表す第２の信号を生成し、当該第２の信号を数値化して前記第２のデータを復元する
ことを特徴とする、付記１２記載の通信制御装置。
【符号の説明】
【０１６８】
１    ストレージシステム
２−１，２−２，２    ＣＭ
３−１，３−２，３    中継装置
２１，３１    スイッチチップ
２３    メイン処理部
２２，３２    サブ処理部
２００ａ    送信ブロック
２００ｂ    受信ブロック
２０１ａ，２０１ｂ    受信部
２０２    クロック抽出部
２０３ａ，２０３ｂ    バッファ
２０４    遅延回路
２０５ａ，２０５ｂ    入力ポート
２０６ａ，２０６ｂ    出力ポート
２０７ａ，２０７ｂ    データ変換部
２０８    位相比較部
２０９    送信変換部
２１０    受信変換部
２１１    エラー判定部
２１２    送信部
２２１ａ，２２１ｂ，２２３ａ，２２３ｂ    レーン
２２２ａ，２２２ｂ    汎用バス
２０８１    位相比較器
２０８２    ＬＰＦ
【図１】
2018046325.tif 000003
【図２】
2018046325.tif 000004
【図３】
2018046325.tif 000005
【図４】
2018046325.tif 000006
【図５】
2018046325.tif 000007
【図６】
2018046325.tif 000008
【図７】
2018046325.tif 000009