(57)【要約】【課題】一のスイッチに対する複数のエンドポイントからのトランザクション（データ転送）が同時に発生するような場合であっても、余分なレーン数を用いることなく、転送レートが低下することのないデータ転送システムを提供する。【解決手段】スイッチ１４から木構造の上位側に位置するノード（ルートコンプレックス１３）に至るデータ転送経路を形成する高速シリアルバスのリンクのレーン数を、エンドポイント２１〜２７からスイッチ１４に至る各データ転送経路を送信される各データ転送量の最大値を満たすレーン数をそれぞれ加算したレーン数とする。これにより、同時動作によるボトルネックを解消することができるので、余分なレーン数を用いることなく、複数のデータ転送が重なった場合にも転送レートが低下することのないデータ転送システムを提供することができる。【選択図】        図１８
2007226494.tif 000002
【特許請求の範囲】
【請求項１】
木構造によるデータ通信網としてポイントツーポイントで送受信独立の通信チャネルが確立されるとともに任意のレーン数を選択可能な高速シリアルバスを用いることにより一のスイッチに対して複数のエンドポイントが接続されており、前記各エンドポイントから前記スイッチに対してデータ転送を行なうデータ転送システムにおいて、
前記スイッチから前記木構造の上位側に位置するノードに至るデータ転送経路を形成する前記高速シリアルバスのリンクのレーン数を、前記エンドポイントから前記スイッチに至る各データ転送経路を送信される各データ転送量の最大値を満たすレーン数をそれぞれ加算したレーン数とする、
ことを特徴とするデータ転送システム。
【請求項２】
木構造によるデータ通信網としてポイントツーポイントで送受信独立の通信チャネルが確立されるとともに任意のレーン数を選択可能な高速シリアルバスを用いることにより、一のスイッチに対して複数のエンドポイントが接続されており、前記各エンドポイントから前記スイッチに対するデータ転送は同時に行なわれることがないデータ転送システムにおいて、
前記各エンドポイントから前記スイッチに至るデータ転送経路および当該スイッチから前記木構造の上位側に位置するノードに至るデータ転送経路を形成する前記高速シリアルバスのリンクの全てのレーン数を、前記データ転送経路を送信されるデータ転送量の最大値を満たすレーン数に統一する、
ことを特徴とするデータ転送システム。
【請求項３】
前記高速シリアルバスは、PCI Express 規格の高速シリアルバスである、
ことを特徴とする請求項１または２記載のデータ転送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ転送システムに関する。
【背景技術】
【０００２】
一般に、画像データその他のデータを扱うデジタル複写機、複合機（ＭＦＰ）等の情報処理装置では、デバイス間のインタフェースにＰＣＩバスが使用されている。しかし、パラレル方式のＰＣＩバスでは、レーシングやスキューなどの問題があり、高速・高画質の画像形成装置に使用するには、転送レートが低い段階にきており、最近では、ＰＣＩバスのようなパラレル方式のインタフェースに代えて、IEEE1394やUSB等の高速シリアルインタフェースの使用が検討されている。例えば、特許文献１によれば、内部インタフェースとして、IEEE1394やUSB等の高速シリアルインタフェースを使用することが提案されている。
【０００３】
また、他の高速シリアルインタフェースとして、ＰＣＩバス方式の後継規格に当るPCI Express（登録商標）なるインタフェースも提案され、実用化の段階にきている（例えば、非特許文献１参照）。このPCI Expressシステムは、概略的には、例えば非特許文献１中の図１等に示されるようなルートコンプレックス−スイッチ（任意階層）−デバイス等のツリー構造（木構造）によるデータ通信網として構成されている。
【０００４】
【特許文献１】特開２００１−０１６３８２号公報
【非特許文献１】“PCI Express 規格の概要”Interface誌、July’2003 里見尚志
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、IEEE1394やUSB等の高速シリアルインタフェースを用いたデータ転送システムでは、ノード間の転送路の性能は固定（レーン数１）である。一方、PCI Expressでは、レーン数を変更することで、各転送路の性能を変更することができる。ただし、性能とコストとは、トレードオフの関係になっている。
【０００６】
しかしながら、PCI Expressでは、スイッチを介したノード間での平均転送レートは、経路中の最も細い転送路の性能（リンク幅・レーン数）に支配されるため、１個所のボトルネックがある場合には、その他の転送路をいくら広くしてもその効果は得られない。ボトルネックは、物理的なレーン数だけでなく、同時に動作する複数のトランザクション（データ転送）を考慮する必要がある。
【０００７】
本発明は、上記に鑑みてなされたものであって、一のスイッチに対する複数のエンドポイントからのトランザクション（データ転送）が同時に発生するような場合であっても、余分なレーン数を用いることなく、転送レートが低下することのないデータ転送システムを提供することを目的とする。
【０００８】
また、本発明は、各エンドポイントからスイッチに対するデータ転送は同時に行なわれることがないデータ転送システムにおいて、コスト性能を最適化することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、木構造によるデータ通信網としてポイントツーポイントで送受信独立の通信チャネルが確立されるとともに任意のレーン数を選択可能な高速シリアルバスを用いることにより一のスイッチに対して複数のエンドポイントが接続されており、前記各エンドポイントから前記スイッチに対してデータ転送を行なうデータ転送システムにおいて、前記スイッチから前記木構造の上位側に位置するノードに至るデータ転送経路を形成する前記高速シリアルバスのリンクのレーン数を、前記エンドポイントから前記スイッチに至る各データ転送経路を送信される各データ転送量の最大値を満たすレーン数をそれぞれ加算したレーン数とする。
【００１０】
また、請求項２にかかる発明は、木構造によるデータ通信網としてポイントツーポイントで送受信独立の通信チャネルが確立されるとともに任意のレーン数を選択可能な高速シリアルバスを用いることにより、一のスイッチに対して複数のエンドポイントが接続されており、前記各エンドポイントから前記スイッチに対するデータ転送は同時に行なわれることがないデータ転送システムにおいて、前記各エンドポイントから前記スイッチに至るデータ転送経路および当該スイッチから前記木構造の上位側に位置するノードに至るデータ転送経路を形成する前記高速シリアルバスのリンクの全てのレーン数を、前記データ転送経路を送信されるデータ転送量の最大値を満たすレーン数に統一する。
【００１１】
また、請求項３にかかる発明は、請求項１または２記載のデータ転送システムにおいて、前記高速シリアルバスは、PCI Express 規格の高速シリアルバスである。
【発明の効果】
【００１２】
請求項１にかかる発明によれば、スイッチから木構造の上位側に位置するノードに至るデータ転送経路を形成する高速シリアルバスのリンクのレーン数を、エンドポイントからスイッチに至る各データ転送経路を送信される各データ転送量の最大値を満たすレーン数をそれぞれ加算したレーン数とすることにより、一のスイッチに対する複数のエンドポイントからのトランザクション（データ転送）が同時に発生するような場合であっても、同時動作によるボトルネックを解消することができるので、余分なレーン数を用いることなく、複数のデータ転送が重なった場合にも転送レートが低下することのないデータ転送システムを提供することができるという効果を奏する。
【００１３】
また、請求項２にかかる発明によれば、各エンドポイントからスイッチに至るデータ転送経路および当該スイッチから木構造の上位側に位置するノードに至るデータ転送経路を形成する高速シリアルバスのリンクの全てのレーン数を、データ転送経路を送信されるデータ転送量の最大値を満たすレーン数に統一することにより、１つのデータ転送に関するデータ転送経路上のすべてのデータ転送路のレーン数を、所望の転送レートが得られるレーン数で等しくそろえることで、コスト性能を最適化することができるという効果を奏する。
【００１４】
また、請求項３にかかる発明によれば、高速シリアルバスは、PCI Express 規格の高速シリアルバスであることにより、低電圧差動信号伝送、ポイントツーポイントで送受信独立の通信チャネル、パケット化されたスプリットトランザクション、リンク構成の違いによる高いスケーラビリティなどの特徴を有するという効果を奏する。
【発明を実施するための最良の形態】
【００１５】
以下に添付図面を参照して、この発明にかかるデータ転送システムの最良な実施の形態を詳細に説明する。
【００１６】
［第１の実施の形態］
本発明の第１の実施の形態を図１ないし図１８に基づいて説明する。以下では、PCI Expressの詳細について、［PCI Express規格の概要］〜［PCI Express のアーキテクチャの詳細］の欄で説明し、その後、本実施の形態のデータ転送システムについて、［データ転送システム］の欄で説明する。
【００１７】
［PCI Express規格の概要］
まず、本実施の形態は高速シリアルバスの一つであるPCI Express（登録商標）を利用するものであり、本実施の形態の前提として当該PCI Express規格の概要について、非特許文献１の一部抜粋により説明する。ここに、高速シリアルバスとは、１本の伝送路を用いてシリアル（直列）伝送により高速（１００Ｍｂｐｓ程度以上）にデータをやり取りすることができるインタフェースを意味する。
【００１８】
PCI Expressは、PCIの後継規格としてコンピュータ全般に通用する標準拡張バスとして規格化されたバスであり、概略的には、低電圧差動信号伝送、ポイントツーポイントで送受信独立の通信チャネル、パケット化されたスプリットトランザクション、リンク構成の違いによる高いスケーラビリティなどの特徴を持つ。
【００１９】
図１に既存のPCIシステム、図２にPCI Expressシステムの各々の構成例を示す。既存のPCIシステムにあっては、ＣＰＵ１００やＡＧＰグラフィックス１０１やメモリ１０２が接続されたホストブリッジ１０３に対して、PCI-X（PCIの上位互換規格）デバイス１０４ａ，１０４ｂがPCI-Xブリッジ１０５ａを介して接続されたり、PCIデバイス１０４ｃ，１０４ｄが接続されたPCIブリッジ１０５ｂやPCIバススロット１０６が接続されたPCIブリッジ１０７がPCIブリッジ１０５ｃを介して接続されたりしたツリー構造（木構造）とされている。
【００２０】
これに対して、PCI Expressシステムにあっては、ＣＰＵ１１０やメモリ１１１が接続されたルートコンプレックス１１２に対して、PCI Expressグラフィックス１１３がPCI Express１１４ａにより接続され、また、エンドポイント１１５ａやレガシーエンドポイント１１６ａがPCI Express１１４ｂにより接続されたスイッチ１１７ａがPCI Express１１４ｃにより接続され、さらには、エンドポイント１１５ｂやレガシーエンドポイント１１６ｂがPCI Express１１４ｄにより接続されたスイッチ１１７ｂやPCIバススロット１１８が接続されたPCIブリッジ１１９がPCI Express１１４ｅにより接続されたスイッチ１１７ｃがPCI Express１１４ｆにより接続されたツリー構造（木構造）とされている。
【００２１】
実際に想定されるPCI Expressプラットホーム例を図３に示す。図示例は、デスクトップ／モバイルへの適用例を示し、ＣＰＵ１２１がＣＰＵホストバス１２２により接続され、メモリ１２３が接続されたメモリハブ１２４（ルートコンプレックスに相当する）に対して、例えば、グラフィックス１２５がｘ１６のPCI Express１２６ａにより接続され、また、変換機能を有するＩ／Ｏハブ１２７がPCI Express１２６ｂにより接続されている。このＩ／Ｏハブ１２７には、例えば、Serial ATA１２８によりストレージ１２９が接続され、LPC１３０によりローカルＩ／Ｏ１３１が接続され、USB 2.0１３２やPCIバススロット１３３が接続されている。さらには、Ｉ／Ｏハブ１２７には、PCI Express１２６ｃによりスイッチ１３４が接続され、このスイッチ１３４には、各々、PCI Express１２６ｄ，１２６ｅ，１２６ｆによりモバイルドック１３５、ギガビットイーサネット１３６（イーサネットは登録商標）、アドインカード１３７が接続されている。
【００２２】
即ち、PCI Expressシステムでは、従来のPCI，PCI-X，AGPといったバスがPCI Expressで置き換わり、既存のPCI／PCI-Xデバイスを接続するためにブリッジが使用される。チップセット間の接続もPCI Express接続となり、IEEE1394，Serial ATA，USB 2.0などの既存のバスはＩ／ＯハブによりPCI Expressに接続される。
【００２３】
［PCI Expressの構成要素］
Ａ．ポート（Port）／レーン（Lane）／リンク（Link）
図４に物理層の構造を示す。ポートは、物理的には同一半導体内にあり、リンクを形成するトランスミッタ／レシーバの集合で、論理的にはコンポーネント・リンク間を１対１で接続（ポイント・ツー・ポイント）するインタフェースを意味する。転送レートは、例えば片方向２．５Ｇｂｐｓとされている。レーンは、例えば０．８Ｖの差動信号ペアのセットで、送信側の信号ペア（２本）、受信側の信号ペア（２本）からなる。リンクは、２つのポートとその間を結ぶレーンの集まりであり、コンポーネント間のデュアルシンプレックス通信バスである。「ｘＮリンク」はＮ本のレーンから構成され、現在の規格では、Ｎ＝１，２，４，８，１６，３２が定義されている。図示例は、ｘ４リンク例である。例えば、図５に示すように、デバイスＡ，Ｂ間を結ぶこのレーン幅Ｎを可変することにより、スケーラブルなバンド幅を構成することが可能となる。
【００２４】
Ｂ．ルートコンプレックス（Root Complex）
ルートコンプレックス１１２は、Ｉ／Ｏ構造の最上位に位置し、ＣＰＵやメモリサブシステムをＩ／Ｏに接続する。ブロック図などでは、図３に示すように、「メモリハブ」と記述されることが多い。ルートコンプレックス１１２（又は、１２４）は、１つ以上のPCI Expressポート（ルートポート）（図２中では、ルートコンプレックス１１２中の四角で示す）を持ち、各々のポートは独立したＩ／Ｏ階層ドメインを形成する。Ｉ／Ｏ階層ドメインは、単純なエンドポイントである場合（例えば、図２中のエンドポイント１１５ａ側の例）や、多数のスイッチやエンドポイントから形成される場合（例えば、図２中のエンドポイント１１５ｂやスイッチ１１７ｂ，１１５ｃ側の例）がある。
【００２５】
Ｃ．エンドポイント（End Point）
エンドポイント１１５は、タイプ００ｈのコンフィグレーション空間ヘッダを持つデバイス（具体的には、ブリッジ以外のデバイス）で、レガシーエンドポイントとPCI Expressエンドポイントとに分けられる。両者の大きな違いは、PCI ExpressエンドポイントはＢＡＲ（ベースアドレスレジスタ）でＩ／Ｏリソースを要求せず、このためＩ／Ｏリクエストを要求しない。また、PCI Expressエンドポイントは、ロックリクエストもサポートしていない。
【００２６】
Ｄ．スイッチ（Switch）
スイッチ１１７（又は、１３４）は、２つ以上のポートを結合し、ポート間でのパケットルーティングを行う。コンフィグレーションソフトウェアからは、当該スイッチは、図６に示すように、仮想PCI-PCIブリッジ１４１の集合体として認識される。図中、両矢印はPCI Expressリンク１１４（又は、１２６）を示し、１４２ａ〜１４２ｄはポートを示す。このうち、ポート１４２ａはルートコンプレックスに近い方のアップストリームポートであり、ポート１４２ｂ〜１４２ｄはルートコンプレックスから遠い方のダウンストリームポートである。
【００２７】
Ｅ．PCI Express１１４ｅ−PCIブリッジ１１９
PCI ExpressからPCI／PCI-Xへの接続を提供する。これにより、既存のPCI／PCI-XデバイスをPCI Expressシステム上で使用することができる。
【００２８】
［階層アーキテクチャ］
従来のＰＣＩのアーキテクチャは、図７−１に示すように、プロトコルとシグナリングが密接に関連する構造であり階層という考え方はなかったが、PCI Expressでは、図７−２に示すように、一般的な通信プロトコルやInfiniBandのように、独立した階層構造とされ、各層に分けて仕様が定義されている。即ち、最上位のソフトウェア１５１、最下位の機構（メカニカル）部１５２間に、トランザクション層１５３、データリンク層１５４、物理層１５５を持つ構造とされている。これにより、各層のモジュール性が確保され、スケーラビリティを持たせることやモジュールの再利用が可能となる。例えば、新たな信号コーディング方式や伝送媒体を採用する場合、物理層を変更するだけでデータリンク層やトランザクション層は変更せずに対応できる。
【００２９】
PCI Expressのアーキテクチャの中心となるのは、トランザクション層１５３、データリンク層１５４、物理層１５５であり、各々図８を参照して説明する以下のような役割を持つ。
【００３０】
Ａ．トランザクション層１５３
トランザクション層１５３は、最上位に位置し、トランザクションレイヤパケット（ＴＬＰ）の組み立て、分解機能を持つ。トランザクションレイヤパケット（ＴＬＰ）は、リード／ライト、各種イベントといったトランザクションの伝達に用いられる。また、トランザクション層１５３は、トランザクションレイヤパケット（ＴＬＰ）のためのクレジットを用いたフロー制御を行う。各層１５３〜１５５におけるトランザクションレイヤパケット（ＴＬＰ）の概要を図９に示す（詳細は、後述する）。
【００３１】
Ｂ．データリンク層１５４
データリンク層１５４の主な役割は、エラー検出／訂正（再送）によりトランザクションレイヤパケット（ＴＬＰ）のデータ完全性を保証することと、リンク管理である。データリンク層１５４間では、リンク管理やフロー制御のためのパケットのやり取りを行う。このパケットは、トランザクションレイヤパケット（ＴＬＰ）と区別するために、データリンクレイヤパケット（ＤＬＬＰ）と呼ばれる。
【００３２】
Ｃ．物理層１５５
物理層１５５は、ドライバ、入力バッファ、パラレル−シリアル／シリアル−パラレル変換器、ＰＬＬ、インピーダンス整合回路といったインタフェース動作に必要な回路を含んでいる。また、論理的な機能としてインタフェースの初期化・保守の機能を持つ。物理層１５５は、データリンク層１５４／トランザクション層１５３を実際のリンクで使用される信号技術から独立させる役目も持っている。
【００３３】
なお、PCI Expressのハードウェア構成上、エンベデッド・クロックという技術を採用しており、クロック信号はなく、クロックのタイミングはデータ信号中に埋め込まれており、受信側でデータ信号のクロス・ポイントを基にクロックを抽出する方式とされている。
【００３４】
［コンフィグレーション空間］
PCI Expressは、従来のPCIと同様にコンフィグレーション空間を持つが、その大きさは従来のPCIが２５６バイトであるのに対して、図１０に示すように、４０９６バイトへと拡張されている。これにより、多数のデバイス固有レジスタセットを必要とするデバイス（ホストブリッジなど）に対しても、将来的に十分な空間が確保されている。PCI Expressでは、コンフィグレーション空間へのアクセスは、フラットなメモリ空間へのアクセス（コンフィグレーションリード／ライト）で行われ、バス／デバイス／機能／レジスタ番号はメモリアドレスにマップされている。
【００３５】
当該空間の先頭２５６バイトは、PCIコンフィグレーション空間として、ＢＩＯＳや従来のＯＳからＩ／Ｏポートを使用した方法でもアクセスできる。従来のアクセスをPCI Expressでのアクセスに変換する機能は、ホストブリッジ上に実装される。００ｈから３ＦｈまではPCI2.3互換のコンフィグレーションヘッダとなっている。これにより、PCI Expressで拡張された機能以外であれば、従来のＯＳやソフトウェアをそのまま使用することができる。即ち、PCI Expressにおけるソフトウェア層は、既存のPCIと互換性を保ったロード・ストア・アーキテクチャ（プロセッサが直接Ｉ／Ｏレジスタをアクセスする方式）を継承している。しかし、PCI Expressで拡張された機能（例えば、同期転送やＲＡＳ（Reliability,Availability and Serviceability）などの機能）を使用するには、４ＫバイトのPCI Express拡張空間にアクセスできるようにする必要がある。
【００３６】
なお、PCI Expressとしては様々なフォームファクタ（形状）が考えられるが、具体化している例としては、アドインカード、プラグインカード（Express Card）、Mini PCI Expressなどがある。
【００３７】
［PCI Express のアーキテクチャの詳細］
PCI Express のアーキテクチャの中心となっているトランザクション層１５３、データリンク層１５４、物理層１５５について、各々詳細に説明する。
【００３８】
Ａ．トランザクション層１５３
トランザクション層１５３の主な役割は、前述したように、上位のソフトウェア層１５１と下位のデータリンク層１５４との間でトランザクションレイヤパケット（ＴＬＰ）の組み立てと分解を行うことである。
【００３９】
ａ．アドレス空間とトランザクションタイプ
PCI Expressでは、従来のPCIでサポートされていたメモリ空間（メモリ空間とのデータ転送用）、Ｉ／Ｏ空間（Ｉ／Ｏ空間とのデータ転送用）、コンフィグレーション空間（デバイスのコンフィグレーションとセットアップ用）に加えて、メッセージ空間（PCI Expressデバイス間のインバンドでのイベント通知や一般的なメッセージ送信（交換）用…割り込み要求や確認は、メッセージを「仮想ワイヤ」として使用することにより伝達される）が追加され、４つのアドレス空間が定義されている。各々の空間に対してトランザクションタイプが定義されている（メモリ空間、Ｉ／Ｏ空間、コンフィグレーション空間は、リード／ライト、メッセージ空間は基本（ベンダ定義含む））。
【００４０】
ｂ．トランザクションレイヤパケット（ＴＬＰ）
PCI Expressは、パケット単位で通信を行う。図９に示したトランザクションレイヤパケット（ＴＬＰ）のフォーマットにおいて、ヘッダのヘッダ長は３ＤＷ（ＤＷはダブルワードの略；合計１２バイト）又は４ＤＷ（１６バイト）で、トランザクションレイヤパケット（ＴＬＰ）のフォーマット（ヘッダ長とペイロードの有無）、トランザクションタイプ、トラフィッククラス（ＴＣ）、アトリビュートやペイロード長などの情報が含まれる。パケット内の最大ペイロード長は１０２４ＤＷ（４０９６バイト）である。
【００４１】
ＥＣＲＣは、エンドツーエンドのデータ完全性を保証するためのもので、トランザクションレイヤパケット（ＴＬＰ）部分の３２ビットＣＲＣである。これは、スイッチ内部などでトランザクションレイヤパケット（ＴＬＰ）にエラーが発生した場合、ＬＣＲＣ（リンクＣＲＣ）ではエラーを検出できないためである（エラーとなったＴＬＰでＬＣＲＣが再計算されるため）。
【００４２】
リクエストは、完了パケットが不要なものと必要なものとがある。
【００４３】
ｃ．トラフィッククラス（ＴＣ）と仮想チャネル（ＶＣ）
上位のソフトウェアは、トラフィッククラス（ＴＣ）を使用することによりトラフィックの差別化（優先度をつける）を行うことができる。例えば、映像データをネットワークのデータよりも優先して転送する、といったことが可能となる。トラフィッククラス（ＴＣ）はＴＣ０からＴＣ７まで８つある。
【００４４】
仮想チャネル（ＶＣ：Vertual Channel）は、各々独立した仮想通信バス（同一のリンクを共用する複数の独立したデータ・フロー・バッファを使用するメカニズム）で、各々がリソース（バッファやキュー）を持ち、図１１に示すように、独立したフロー制御を行う。これにより、１つの仮想チャネルのバッファが満杯の状態（full）になっても、他の仮想チャネルの転送を行うことができる。つまり、物理的には１つのリンクを仮想的な複数のチャネルに分けることで、有効に使用することができる。例えば、図１１中に示すように、スイッチを経由してルートのリンクが複数のデバイスに分かれる場合、各デバイスのトラフィックの優先度を制御することができる。ＶＣ０は必須で、コストパフォーマンスのトレードオフに応じてその他の仮想チャネル（ＶＣ１〜ＶＣ７）が実装される。図１１中の実線矢印は、デフォルト仮想チャネル（ＶＣ０）を示し、破線矢印はその他の仮想チャネル（ＶＣ１〜ＶＣ７）を示している。
【００４５】
トランザクション層内では、トラフィッククラス（ＴＣ）が仮想チャネル（ＶＣ）にマッピングされる。１つの仮想チャネル（ＶＣ）に対して１つ又は複数のトラフィッククラス（ＴＣ）をマッピングできる（仮想チャネル（ＶＣ）の数が少ない場合）。単純な例では、各トラフィッククラス（ＴＣ）から各仮想チャネル（ＶＣ）に１対１、全てのトラフィッククラス（ＴＣ）を仮想チャネルＶＣ０にマッピングする、といったことが考えられる。ＴＣ０−ＶＣ０のマッピングは、必須／固定で、それ以外のマッピングは上位のソフトウェアから制御される。ソフトウェアはトラフィッククラス（ＴＣ）を利用することで、トランザクションの優先度を制御することが可能となる。
【００４６】
ｄ．フロー制御
受信バッファのオーバーフローを避け、伝送順序を確立するためにフロー制御（ＦＣ：Flow Control）が行われる。フロー制御は、リンク間のポイントツーポイントで行われ、エンドツーエンドではない。従って、フロー制御により最終的な相手（コンプリータ）にパケットが届いたことを確認することはできない。
【００４７】
PCI Expressのフロー制御は、クレジット・ベースで行われる（データ転送を始める前に、受け取り側のバッファの空き状況を確認し、オーバーフロー、アンダフローが発生しないメカニズム）。即ち、受信側はリンク初期化時にバッファ容量（クレジット値）を送信側に通知し、送信側はクレジット値と送信するパケットの長さとを比較し、一定の残りがある場合のみパケットを送信する。このクレジットには６種類ある。
【００４８】
フロー制御の情報交換はデータリンク層のデータリンクレイヤパケット（ＤＬＬＰ）を使用して行われる。フロー制御はトランザクションレイヤパケット（ＴＬＰ）のみに適用され、データリンクレイヤパケット（ＤＬＬＰ）には適用されない（ＤＬＬＰは常時送受信可能）。
【００４９】
Ｂ．データリンク層１５４
データリンク層１５４の主な役割は、前述したように、リンク上の２つのコンポーネント間での信頼性の高いトランザクションレイヤパケット（ＴＬＰ）交換機能を提供することである。
【００５０】
ａ．トランザクションレイヤパケット（ＴＬＰ）の扱い
トランザクション層１５３から受け取ったトランザクションレイヤパケット（ＴＬＰ）に対しては、先頭に２バイトのシーケンス番号、末尾に４バイトのリンクＣＲＣ（ＬＣＲＣ）を付加して、物理層１５５に渡す（図９参照）。トランザクションレイヤパケット（ＴＬＰ）は、リトライバッファに保管され、相手から受信確認（ＡＣＫ）が届くまで再送される。トランザクションレイヤパケット（ＴＬＰ）の送信に失敗が続いた場合は、リンク異常であると判断して物理層１５５に対してリンクの再トレーニングを要求する。リンクのトレーニングが失敗した場合、データリンク層１５４の状態はインアクティブに遷移する。
【００５１】
物理層１５５から受け取ったトランザクションレイヤパケット（ＴＬＰ）は、シーケンス番号とリンクＣＲＣ（ＬＣＲＣ）が検査され、正常であればトランザクション層１５３に渡され、エラーがあった場合は再送を要求する。
【００５２】
ｂ．データリンクレイヤパケット（ＤＬＬＰ）
トランザクションレイヤパケット（ＴＬＰ）は、物理層から送信されるときに自動的に図１２に示すようなデータリンクレイヤパケット（ＤＬＬＰ）に分割されて各レーンに送信される。データリンク層１５４が生成するパケットは、データリンクレイヤパケット（ＤＬＬＰ）と呼ばれ、データリンク層１５４間でやり取りされる。データリンクレイヤパケット（ＤＬＬＰ）には、
・Ack／Nak：ＴＬＰの受信確認、リトライ（再送）
・InitFC1／InitFC2／UpdateFC：フロー制御の初期化とアップデート
・電源管理のためのＤＬＬＰ
なる種類がある。
【００５３】
図１２に示すように、データリンクレイヤパケット（ＤＬＬＰ）の長さは６バイトで、種類を示すＤＬＬＰタイプ（１バイト）、ＤＬＬＰの種類で固有の情報（３バイト）、ＣＲＣ（２バイト）から構成される。
【００５４】
Ｃ．物理層−論理サブブロック１５６
図８中に示す物理層１５５の論理サブブロック１５６での主な役割は、データリンク層１５４から受け取ったパケットを電気サブブロック１５７で送信できる形式に変換することである。また、物理層１５５を制御／管理する機能も有する。
【００５５】
ａ．データ符号化とパラレル−シリアル変換
PCI Expressは、連続した“０”や“１”が続かないように（長い期間、クロス・ポイントが存在しない状態が続かないようにするため）、データ符号化に８Ｂ／１０Ｂ変換を用いる。変換されたデータは、図１３中に示すように、シリアル変換され、ＬＳＢからレーン上に送信される。ここに、レーンが複数ある場合は（図１３はｘ４リンクの場合を例示している）、符号化の前にデータがバイト単位で各レーンに割り振られる。この場合、一見パラレル・バスのようにみえるが、レーン毎に独立した転送を行うので、パラレル・バスで問題となるスキューが大幅に緩和される。
【００５６】
ｂ．電源管理とリンクステート
リンクの消費電力を低く抑えるために、図１４に示すように、Ｌ０／Ｌ０ｓ／Ｌ１／Ｌ２というリンクステートが定義されている。
【００５７】
Ｌ０が通常モードで、Ｌ０ｓからＬ２へと低消費電力となるが、Ｌ０への復帰にも時間がかかるようになる。図１５に示すように、ソフトウェアによる電源管理に加えて、アクティブステート電源管理を積極的に行うことにより、消費電力を極力小さくすることが可能となる。
【００５８】
Ｄ．物理層−電気サブブロック１５７
物理層１５５の電気サブブロック１５７での主な役割は、論理サブブロック１５６でシリアル化されたデータをレーン上に送信することと、レーン上のデータを受信して論理サブブロック１５６に渡すことである。
【００５９】
ａ．ＡＣカップリング
リンクの送信側では、ＡＣカップリング用のコンデンサが実装される。これにより、送信側と受信側のＤＣコモンモード電圧が同一である必要がなくなる。このため、送信側と受信側で異なる設計、半導体プロセス、電源電圧を使用することが可能となる。
【００６０】
ｂ．デエンファシス
PCI Expressでは、前述したように、８Ｂ／１０Ｂエンコーディングによってできるだけ連続した“０”や“１”が続かないように処理されるが、連続した“０”や“１”が続くこともある（最大５回）。この場合、送信側はデエンファシス転送を行わなければならないことが規定されている。同一極性のビットが連続する場合は、２つ目のビットからは差動電圧レベル（振幅）を３．５±０．５ｄＢ落とすことで、受信側で受け取る信号のノイズ・マージンを稼ぐ必要がある。これを、デエンファシスという。伝送路の周波数依存性減衰のため、変化するビットの場合は高周波成分が多く、減衰により受信側の波形が小さくなるが、変化しないビットの場合は高周波成分が少なく、相対的に受信側の波形が大きくなる。このため、受信側での波形を一定とするためにデエンファシスを行う。
【００６１】
［データ転送システム］
本実施の形態のデータ転送システムは、プリンタのような画像出力装置やスキャナのような画像入力装置、さらには、これらを併せ持つデジタル複写機、ＭＦＰ（Multi Function Peripheral）のような画像形成装置等の画像形成システムに適用されるものであって、前述したようなPCI Express規格に準拠する高速シリアルバスを利用するものである。
【００６２】
本実施の形態のデータ転送システムが適用される画像形成システムの一例を図１６を参照して説明する。図１６は、本実施の形態のデータ転送システムが適用される画像形成システムの各機器・デバイス等の接続の概要を示すブロック図である。当該画像形成システム１は、シリアルデータ転送にPCI Express規格のバスシステムを用いている。即ち、画像形成システム１の各部を集中的に制御するＣＰＵ１１と、ＣＰＵ１１の作業エリアとなるメモリ１２がPCI Express規格のルートコンプレックス（Root Complex）１３に接続されている。また、ルートコンプレックス１３とPCI Express規格のスイッチ（或いはスイッチ網）１４とがPCI Express規格のシリアルバス１５を介して接続されている。PCI Express規格のスイッチ（或いはスイッチ網）１４には、PCI Express規格のエンドポイント（End Point）となる各種機器・デバイスが接続されている。即ち、画像データなどを記憶するハードディスク（ＨＤＤ）ユニット２１、画像メモリユニット２２、及び、メモリユニット２３、各種の画像処理を行なう画像処理ユニット２４、外部のネットワークなどと通信を行なう高速ネットワーク２５、画像入力エンジンとしてのスキャナ２６、画像出力エンジンとしてのプロッタ２７、画像入力エンジン、画像出力エンジンを併せ持つ他のＭＦＰ２８などである。
【００６３】
このような構成によれば、高速シリアルバスであるPCI Expressシステムを利用しているので、基本的にデータ転送の高速化を図れるが、それに加えて、PCI Express規格のエンドポイント（End Point）となる各種機器・デバイス２１〜２７間でのデータ転送の一層の高速化を図ることができる。即ち、各種機器・デバイス２１〜２７間のPCI Expressシステムはルートコンプレックス１３を介することなくPCI Express規格のスイッチ（或いはスイッチ網）１４を最上位とする木構造で接続されており、各種機器・デバイス２１〜２７間でのデータ転送がルートコンプレックス１３を経ることなく行われるため、高速処理が可能となる。
【００６４】
ところで、図４および図５で説明したように、各ノード（各種機器・デバイス）２１〜２７間をスイッチ（或いはスイッチ網）１４を介して接続するPCI Express規格のシリアルバス１５は、各々性能の異なるもの（例えば、バス幅を示すレーン数がｘ８，ｘ４．ｘ２等）を使用可能とされており、各転送路の性能を変更することができるようになっている。しかしながら、PCI Expressでは、スイッチ（或いはスイッチ網）１４を介した各ノード（各種機器・デバイス）２１〜２７間での平均転送レートは、経路中の最も細い転送路の性能（リンク幅・レーン数）に支配されるため、１個所のボトルネックがある場合には、その他の転送路をいくら広くしてもその効果は得られない。
【００６５】
図１７は、不必要に大きなレーン数を用いた接続例である。ここでは、同時に動作（データ転送）する複数のデータ転送経路が存在し、かつ１つ以上の同時に動作するシリアル転送路を共有する場合において、下記に示すデータ転送１とデータ転送２とを並行して処理する場合について考察する。
データ転送１：エンドポイント１とルートコンプレックス（メモリ）間
データ転送２：エンドポイント２とルートコンプレックス（メモリ）間
【００６６】
データ転送１における転送経路は、下記に示すような経路となっている。
エンドポイント１
↓  リンク１（レーン数ｘ１）
スイッチ１
↓  リンク５（レーン数ｘ４）
ルートコンプレックス
【００６７】
一方、データ転送２における転送経路は、下記に示すような経路となっている。
エンドポイント２
↓  リンク２（レーン数ｘ１）
スイッチ１
↓  リンク５（レーン数ｘ４）
ルートコンプレックス
【００６８】
このようにデータ転送１とデータ転送２とを並行して処理するような場合においては、リンク１とリンク２はともにレーン数ｘ１であるので、リンク５の部分で同時動作したとしてもリンク５のレーン数はｘ２で充分であるにも関わらずレーン数がｘ４となっており、コスト高になっている。なお、リンク５のレーン数がｘ２より小さい場合は、転送レートが低下する。
【００６９】
そこで、本実施の形態においては、上述したように複数の独立したデータ転送を並行して処理するエンドポイント（各機器・デバイス）を接続する場合、上流のPCI Express規格のシリアルバス１５のリンク幅と下流のPCI Express規格のシリアルバス１５のリンク幅の組み合わせをデータ転送量の最大値で決定する。
【００７０】
図１８は、最適なレーン数を用いた接続例である。データ転送１における転送経路は、下記に示すような経路となっている。
エンドポイント１
↓  リンク１（レーン数ｘ１）
スイッチ１
↓  リンク５（レーン数ｘ２）
ルートコンプレックス
【００７１】
一方、データ転送２における転送経路は、下記に示すような経路となっている。
エンドポイント２
↓  リンク２（レーン数ｘ１）
スイッチ１
↓  リンク５（レーン数ｘ２）
ルートコンプレックス
【００７２】
このようにデータ転送１とデータ転送２とを並行して処理するような場合においては、リンク１とリンク２はともにレーン数ｘ１であるので、リンク５の部分で同時動作を考慮した場合、リンク５のレーン数はｘ２とするのが良い。すなわち、同時に動作するシリアル転送路のレーン数が、それぞれのデータ転送経路中の最も小さいレーン数を加算したレーン数である。レーン数がｘ２より小さい場合は転送レートが低下し、レーン数がｘ２より大きい場合はコスト高になる。
【００７３】
このように本実施の形態によれば、スイッチから木構造の上位側に位置するノード（スイッチまたはルートコンプレックス）に至るデータ転送経路を形成する高速シリアルバスのリンクのレーン数を、エンドポイントからスイッチに至る各データ転送経路を送信される各データ転送量の最大値を満たすレーン数をそれぞれ加算したレーン数とすることにより、一のスイッチに対する複数のエンドポイントからのトランザクション（データ転送）が同時に発生するような場合であっても、同時動作によるボトルネックを解消することができるので、余分なレーン数を用いることなく、複数のデータ転送が重なった場合にも転送レートが低下することのないデータ転送システムを提供することができる。
【００７４】
［第２の実施の形態］
次に、本発明の第２の実施の形態を図１９に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。
【００７５】
第１の実施の形態においては、複数の独立したデータ転送を並行して処理するエンドポイント（各機器・デバイス）を接続する場合について説明したが、本実施の形態においては、データ転送を同時に発生することがないエンドポイント（各機器・デバイス）が接続されている場合について説明する。
【００７６】
データ転送を同時に発生することがないエンドポイント（各機器・デバイス）が接続されている場合、同時動作を考慮する必要がないことから、上流のPCI Express規格のシリアルバス１５のリンク幅と下流のPCI Express規格のシリアルバス１５のリンク幅とは、データ転送量の最大値で決定すれば良い。すなわち、データ転送経路上の全てのレーン数を、データ転送量の最大値で等しくすれば良い。
【００７７】
図１９は、最適なレーン数を用いた接続例である。データ転送１における転送経路は、下記に示すような経路となっている。
エンドポイント１
↓  リンク１（レーン数ｘ１）
スイッチ１
↓  リンク５（レーン数ｘ１）
ルートコンプレックス
【００７８】
一方、データ転送２における転送経路は、下記に示すような経路となっている。
エンドポイント２
↓  リンク２（レーン数ｘ１）
スイッチ１
↓  リンク５（レーン数ｘ１）
ルートコンプレックス
【００７９】
このようにデータ転送を同時に発生することがないエンドポイント（各機器・デバイス）が接続されている場合においては、リンク１とリンク２はともにレーン数ｘ１であるので、リンク５の部分で同時動作を考慮する必要がないことから、リンク５のレーン数はｘ１とすれば良い。
【００８０】
このように本実施の形態によれば、各エンドポイントからスイッチに至るデータ転送経路および当該スイッチから木構造の上位側に位置するノード（スイッチまたはルートコンプレックス）に至るデータ転送経路を形成する高速シリアルバスのリンクの全てのレーン数を、データ転送経路を送信されるデータ転送量の最大値を満たすレーン数に統一することにより、１つのデータ転送に関するデータ転送経路上のすべてのデータ転送路のレーン数を、所望の転送レートが得られるレーン数で等しくそろえることで、コスト性能を最適化することができる。
【図面の簡単な説明】
【００８１】
【図１】既存PCIシステムの構成例を示すブロック図である。
【図２】PCI Expressシステムの構成例を示すブロック図である。
【図３】デスクトップ／モバイルでのPCI Expressプラットホームの構成例を示すブロック図である。
【図４】ｘ４の場合の物理層の構造例を示す模式図である。
【図５】デバイス間のレーン接続例を示す模式図である。
【図６】スイッチの論理的構造例を示すブロック図である。
【図７−１】既存のPCIのアーキテクチャを示すブロック図である。
【図７−２】PCI Expressのアーキテクチャを示すブロック図である。
【図８】PCI Expressの階層構造を示すブロック図である。
【図９】トランザクションレイヤパケットのフォーマット例を示す説明図である。
【図１０】PCI Expressのコンフィグレーション空間を示す説明図である。
【図１１】仮想チャネルの概念を説明するための模式図である。
【図１２】データリンクレイヤパケットのフォーマット例を示す説明図である。
【図１３】ｘ４リンクでのバイトストライピング例を示す模式図である。
【図１４】Ｌ０／Ｌ０ｓ／Ｌ１／Ｌ２というリンクステートの定義について説明する説明図である。
【図１５】アクティブステート電源管理の制御例を示すタイムチャートである。
【図１６】本発明の第１の実施の形態のデータ転送システムが適用される画像形成システムの各機器・デバイス等の接続の概要を示すブロック図である。
【図１７】不必要に大きなレーン数を用いた接続例を示す模式図である。
【図１８】最適なレーン数を用いた接続例を示す模式図である。
【図１９】本発明の第２の実施の形態の最適なレーン数を用いた接続例を示す模式図である。
【符号の説明】
【００８２】
１      データ転送システム
１５      高速シリアルバス
１４      スイッチ
２１〜２７      エンドポイント
【図１】
2007226494.tif 000003
【図２】
2007226494.tif 000004
【図３】
2007226494.tif 000005
【図４】
2007226494.tif 000006
【図５】
2007226494.tif 000007
【図６】
2007226494.tif 000008
【図７−１】
2007226494.tif 000009
【図７−２】
2007226494.tif 000010
【図８】
2007226494.tif 000011
【図９】
2007226494.tif 000012
【図１０】
2007226494.tif 000013
【図１１】
2007226494.tif 000014
【図１２】
2007226494.tif 000015
【図１３】
2007226494.tif 000016
【図１４】
2007226494.tif 000017
【図１５】
2007226494.tif 000018
【図１６】
2007226494.tif 000019
【図１７】
2007226494.tif 000020
【図１８】
2007226494.tif 000021
【図１９】
2007226494.tif 000022