(57)【要約】  計算機システムは、第１サーバ計算機と、第２サーバ計算機と、不揮発メモリデバイスと、第１サーバ計算機及び第２サーバ計算機にPCI-Expressを介して接続され、不揮発メモリデバイスに接続されるストレージコントローラと、を含む。ストレージコントローラは、不揮発メモリデバイス内の記憶領域を、第１サーバ計算機及び第２サーバ計算機の共有データ領域として提供する。第１サーバ計算機及び第２サーバ計算機の夫々であるサーバ計算機は、NVM-Express規格に準拠するコマンドであるNVM-Expressコマンドを発行するプログラムを格納する。プログラムは、共有データ領域に対応付けられたnamespaceを指定するNVM-Expressコマンドを発行することによりPCI-Expressを介して共有データ領域にアクセスすることを、サーバ計算機に実行させる。
2015162660.tif 000002
【特許請求の範囲】
【請求項１】
第１サーバ計算機と、
第２サーバ計算機と、
不揮発メモリデバイスと、
前記第１サーバ計算機及び前記第２サーバ計算機にPCI-Expressを介して接続され、前記不揮発メモリデバイスに接続されるストレージコントローラと、
を含み、
前記ストレージコントローラは、前記不揮発メモリデバイス内の記憶領域を、前記第１サーバ計算機及び前記第２サーバ計算機の共有データ領域として提供し、
前記第１サーバ計算機及び前記第２サーバ計算機の夫々であるサーバ計算機は、NVM-Express規格に準拠するコマンドであるNVM-Expressコマンドを発行するプログラムを格納し、
前記プログラムは、前記共有データ領域に対応付けられたnamespaceを指定するNVM-Expressコマンドを発行することによりPCI-Expressを介して前記共有データ領域にアクセスすることを、前記サーバ計算機に実行させる、
計算機システム。
【請求項２】
請求項１記載の計算機システムであって、
前記サーバ計算機にPCI-Expressを介して接続されると共に、前記ストレージコントローラにPCI-Expressを介して接続されることにより、前記サーバ計算機と前記ストレージコントローラの間に介在するインターフェースデバイスを更に含み、
前記ストレージコントローラは、SCSIリクエストを解釈し前記SCSIリクエストに基づいて前記不揮発メモリデバイスにアクセスすることにより、前記共有データ領域を提供し、
前記インターフェースデバイスは、
前記第１サーバ計算機に含まれるRoot  Complex（RC）である第１サーバ側RCに対して第１Endpoint（EP）を提供するロジックと、
前記第２サーバ計算機に含まれるRCである第２サーバ側RCに対して第２EPを提供するロジックと、
前記ストレージコントローラに含まれるRCであるストレージ側RCに対して第３EPを提供するロジックと、
前記サーバ計算機により発行されたNVM-Expressコマンドを解釈し、前記解釈されたNVM-Expressコマンドに基づくSCSIリクエストを前記ストレージコントローラへ発行するロジックと、
を含む、
計算機システム。
【請求項３】
請求項２に記載の計算機システムであって、
前記ストレージコントローラは、前記記憶領域をボリュームに割り当て、前記ボリューム及び仮想ストレージポートを論理ユニットに関連付け、前記論理ユニットを前記namespaceに割り当てる、
計算機システム。
【請求項４】
請求項２記載の計算機システムであって、
前記プログラムは、SCSIリクエストを発行することを、前記サーバ計算機に実行させ、
前記インターフェースデバイスは更に、前記サーバ計算機により発行されたSCSIリクエストを解釈し前記サーバ計算機により発行されたSCSIリクエストに基づくSCSIリクエストを前記ストレージコントローラへ発行するロジックを含む、
計算機システム。
【請求項５】
請求項１記載の計算機システムであって、
前記第１サーバ計算機と前記第２サーバ計算機と前記ストレージコントローラとに接続される管理サブシステムを更に含み、
前記管理サブシステムは、前記計算機システムと、ストレージエリアネットワーク（SAN）を用いるネットワーク装置とを管理する統合管理サブシステムに接続され、
前記管理サブシステムは、
（１）前記第１サーバ計算機及び前記ストレージコントローラの間のPCI-Express接続と、前記第２サーバ計算機及び前記ストレージコントローラの間のPCI-Express接続との夫々の情報を、仮想のSAN接続の情報に変換し、
（２）前記SAN接続の情報を前記統合管理サブシステムに送信する、
計算機システム。
【請求項６】
請求項１に記載の計算機システムであって、
前記計算機システムはConverged  Platformである、
計算機システム。
【請求項７】
請求項１に記載の計算機システムであって、
前記第１サーバ計算機は、第１データを前記共有データ領域へ書き込み前記第１データを前記共有データ領域から読み出すことにより、前記第１データを用いて処理を実行し、
前記第２サーバ計算機は、前記処理を前記第１サーバ計算機から前記第２サーバ計算機へ切り替えさせると判定した場合、前記第１データを前記共有データ領域から読み出すことにより、前記第１データを用いて前記処理を実行する、
計算機システム。
【請求項８】
請求項７に記載の計算機システムにあって、
前記第１サーバ計算機にPCI-Expressで接続され、NVMeコマンドを解釈する不揮発メモリデバイスであるローカル不揮発メモリデバイスを更に含み、
前記ローカル不揮発メモリデバイスは、前記第１サーバ計算機により発行されたNVM-Expressコマンドを解釈し、前記NVM-Expressコマンドに基づいて前記ローカル不揮発メモリデバイス内の記憶領域にアクセスする、
前記第１サーバ計算機は、前記処理に用いられ前記第１データと異なる第２データを前記ローカル不揮発メモリデバイスへ書き込む、
計算機システム。
【請求項９】
請求項１に記載の計算機システムであって、
前記ストレージコントローラは、前記サーバ計算機により発行されたNVM-Expressコマンドを受信し、前記NVM-Expressコマンドを解釈し、前記NVM-Expressコマンドに基づいて前記不揮発メモリデバイスにアクセスすることにより、前記共有データ領域を提供する、
計算機システム。
【請求項１０】
請求項１に記載の計算機システムであって、
前記不揮発メモリデバイスは、前記第１サーバ計算機により発行されたNVM-Expressコマンドを前記ストレージコントローラを介して受信し、前記NVM-Expressコマンドを解釈し、前記NVM-Expressコマンドに基づいて前記記憶領域にアクセスする、
計算機システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、不揮発メモリデバイスを含む計算機システムに関する。
【背景技術】
【０００２】
フラッシュメモリデバイス（以下フラッシュと呼ぶ）はHDD（Hard  Disk  Drive）と比較して高いI/O（Input/Output）性能を有する。しかし、その性能を発揮させようとした場合、従来のSCSI（Small  Computer  System  Interface）は、サーバで実行されるOS（Operating  System）、デバイスドライバ等のプログラム処理の効率が悪いことから、フラッシュメモリデバイスのI/O性能を発揮させることは容易ではない。非特許文献１記載のNVM-Express（Non-Volatile  Memory  Express：以後NVMeと省略）はそのような問題を解決するための以下を規定した規格である。
This specification defines a streamlined set of registers whose functionality includes:
・ Indication of controller capabilities
・ Status for controller failures (command status is processed via CQ directly)
・ Admin Queue configuration (I/O Queue configuration processed via Admin commands)
・ Doorbell registers for scalable number of Submission and Completion Queues【０００３】
NVMeは以下をキーポイントに持つ。
・ Does not require uncacheable / MMIO register reads in the command submission or completion path.
・ A maximum of one MMIO register write is necessary in the command submission path.
・ Support for up to 65,535 I/O queues, with each I/O queue supporting up to 64K outstanding commands.
・ Priority associated with each I/O queue with well-defined arbitration mechanism.
・ All information to complete a 4KB read request is included in the 64B command itself, ensuring efficient small I/O operation.
・ Efficient and streamlined command set.
・ Support for MSI/MSI-X and interrupt aggregation.
・ Support for multiple namespaces.
・ Efficient support for I/O virtualization architectures like SR-IOV.
・ Robust error reporting and management capabilities.
・ Support for multi-path I/O and namespace sharing.【０００４】
また、非特許文献１には複数のホストからnamespace（以後、NSと省略）を共有する概念が開示されている。【０００５】
非特許文献２にはこのようなNVMeに準拠したコマンド（以後、NVMeコマンドと省略）を解釈するPCI-ExpressフラッシュメモリSSD（Solid  State  Drive）を用いることにより、サーバのI/O性能が向上することが開示されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】"NVM Express 1.1a Specification," http://www.nvmexpress.org/wp-content/uploads/NVM-Express-1_1a.pdf
【非特許文献２】"NVM Express: Unlock Your Solid State Drives Potential," http://www.nvmexpress.org/wp-content/uploads/2013-FMS-NVMe-Track.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１に開示のNVMe規格ではNSの共有概念は開示されているものの、以下に開示の通りその実現形態は開示されておらず、高性能I/Oを実現する計算機システムを提供することは容易ではない。
"1.3 Outside of Scope
The register interface and command set are specified apart from any usage model for the NVM, but rather only specifies the communication interface to the NVM subsystem. Thus, this specification does not specify whether the non-volatile memory system is used as a solid state drive, a main memory, a cache memory, a backup memory, a redundant memory, etc. Specific usage models are outside the scope, optional, and not licensed."
【課題を解決するための手段】
【０００８】
以上の課題を解決するため、計算機システムは、第１サーバ計算機と、第２サーバ計算機と、不揮発メモリデバイスと、前記第１サーバ計算機及び前記第２サーバ計算機にPCI-Expressを介して接続され、前記不揮発メモリデバイスに接続されるストレージコントローラと、を含む。前記ストレージコントローラは、前記不揮発メモリデバイス内の記憶領域を、前記第１サーバ計算機及び前記第２サーバ計算機の共有データ領域として提供する。前記第１サーバ計算機及び前記第２サーバ計算機の夫々であるサーバ計算機は、NVM-Express規格に準拠するコマンドであるNVM-Expressコマンドを発行するプログラムを格納する。前記プログラムは、前記共有データ領域に対応付けられたnamespaceを指定するNVM-Expressコマンドを発行することによりPCI-Expressを介して前記共有データ領域にアクセスすることを、前記サーバ計算機に実行させる。
【図面の簡単な説明】
【０００９】
【図１】実施例のサマリを示す。
【図２】CPFの物理構成及び論理構成を示す。
【図３】別なCPFの物理構成及び論理構成を示す。
【図４】NVMe解釈部位が候補（３）である場合のCPFの詳細を示す。
【図５】サーバ側PCIe  I/FデバイスにおけるPCIe空間を示す。
【図６】NVMeのNSとストレージコントローラの記憶領域との関係を示す。
【図７】NVMeコマンドに関連した処理を示すフローチャートである。
【図８】CPFの起動方法を示すフローチャートである。
【図９】NVMe解釈部位が候補（２）である場合のCPFの詳細を示す。
【図１０】CPFの適用形態の例を示す。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら実施例を説明する。ただし、本実施例は、発明を実現するための一例に過ぎず、発明の技術的範囲を限定するものではない。また、各図において共通の構成については、同一の参照番号が付されている。
【００１１】
なお、以後の説明では「テーブル」という表現にて本実施例の情報を説明するが、これら情報は必ずしもテーブルによるデータ構造で表現されていなくてもよい。例えば、「リスト」、「ＤＢ（データベース）」、「キュー」等のデータ構造やそれ以外で表現されていてもよい。そのため、データ構造に依存しないことを示すために、「テーブル」、「リスト」、「ＤＢ」、「キュー」等については、単に「情報」と呼ぶこともできる。また、各情報の内容を説明する際に、「識別情報」、「識別子」、「名」、「名前」、「ＩＤ」という表現を用いることが可能であり、これらについてはお互いに置換が可能である。
【００１２】
以後の説明では、「プログラム」を主語として説明を行うが、プログラムはCPU（Central  Processing  Unit）によって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、CPUを主語とした説明としてもよい。また、プログラムを主語として開示された処理は、サーバ計算機やストレージコントローラや管理計算機等の計算機、情報処理装置が行う処理としてもよい。プログラムの一部又は全ては、専用ハードウェアで実現してもよく、また、モジュール化されていてもよい。各種プログラムは、プログラム配布サーバや記憶メディアによって各計算機にインストールされてもよい。
【００１３】
＜実施例のサマリ＞
【００１４】
図１に実施例のサマリを示す。なお、以後の説明は、今後登場するであろうNVMeの後継規格に対しても適用可能であり、同様にPCI-Express（Peripheral  Component  Interconnect  Express：以後、PCIeと省略）の後継規格に対しても適用可能である。NVMeやPCIeに関連する用語が用いられた場合、その後継規格の同等の用語も指し示すと考えるべきである。同様に実施例は現在のBlockアクセスをターゲットとしたNVMeを対象として説明しているが、仮にバイトやワード単位のアクセスがNVMe規格で規定された場合はそれらアクセスについても本実施例が適用できることは言うまでもない。同様に、実施例は、フラッシュメモリを用いる不揮発メモリデバイスを対象として説明しているが、フラッシュメモリ以外の不揮発メモリ、例えばＦｅＲＡＭ（Ferroelectric  Random  Access  Memory）、ＭＲＡＭ（Magnetoresistive  Random  Access  Memory）、相変化メモリ（Ovonic  Unified  Memory）、ＲＲＡＭ（登録商標、Resistance  RAM）を用いる不揮発メモリデバイスに適用してもよい。
【００１５】
≪NVMeについて≫
【００１６】
非特許文献１及び２の通り、NVMeはフラッシュメモリSSDに対して高速アクセスを実現するためのI/F（Interface）規格である。NVMe規格に沿ってプログラム（例えばデバイスドライバ、及びその他、アプリケーション、OSも含む）を開発することで、フラッシュメモリSSDに対し、高IOPS（Input/Output  per  Second）や低レイテンシといった高速アクセスが可能となる。例えば非特許文献２の１８ページによれば、SCSI/SAS（Serial  Attached  SCSI）を採用したSSDで６．０μｓであったアクセスレイテンシが、NVMeを採用することで２．８μｓまで削減できると開示されている。そのキーポイントは既に説明した通りだが、マルチI/Oキュー化し、複数のコアで１つのI/Oキューを共有しなくてもよくしたことで、CPUコア間のメモリアクセス効率を改善できる。
【００１７】
NVMeは規格化されて、幅広いフラッシュメモリデバイスがNVMe規格に対応することが期待される。そのため、デバイスドライバ以外のプログラム（典型的にはアプリケーションプログラム）のベンダにとって、当該プログラムが直接NVMeコマンドを発行し、フラッシュメモリデバイスに高速にアクセスすることも期待される。
【００１８】
なお、本実施例における「フラッシュメモリデバイス」は少なくとも以下の特徴を持つデバイスであり、フラッシュメモリSSDはその１例である：
＊フラッシュメモリチップを含む。
＊以下の処理を行うフラッシュメモリコントローラを含む：
＃外部からのリードリクエストに応じて、フラッシュメモリチップに保存されたデータを外部に転送する。そして、外部から受信したライトリクエストと共に受信したデータをフラッシュメモリチップに保存する。
＃フラッシュメモリチップのイレース処理を行う。
【００１９】
≪計算機システム≫
【００２０】
計算機システムは、１以上のサーバ計算機と、１以上のストレージコントローラと、フラッシュメモリデバイス（図では「Flash」と省略する場合がある）、通信機構（Communication  Mechanism）とを少なくとも含む。なお、計算機システム内のこれらの含有物の夫々を計算機システムコンポーネントと呼ぶことがある。
【００２１】
なお、本計算機システムはConverged  Platformであることが好ましい。なお、Converged  PlatformはConverged  Infrastructure、Converged  Systemとも呼ばれ、日本語では「Converged」が「垂直統合」という用語に置き換わる場合がある。なお、本実施例では以後、これらをConverged  Platform（CPFと省略することもある）に統一して呼ぶ。CPFは以下の特徴を持つ：
＊サーバ計算機、ストレージシステム（ストレージコントローラと記憶デバイスを含む）、及びこれらを接続する通信機構を含む製品。企業の管理者が個別にサーバ計算機とストレージシステムを導入する場合、こうしたサーバ計算機とストレージシステムの接続確認に代表される動作検証は管理者側で行われていた。しかし、CPFを導入する場合、製品を販売するベンダが事前に動作検証を行うため、製品を設置して使用する顧客の管理者による動作検証が不要又は削減できる。
＊なお、一部のCPFは、サーバ計算機、ストレージシステム、及び通信機構の設定を一括して行う管理プログラムを実行する管理サブシステムを含む場合がある。この管理サブシステムは、管理者が希望する実行環境（仮想マシン、DBMS：Database  Management  System、Webサーバ等）を迅速に提供することができる。例えば、管理プログラムは、必要なリソース量の仮想マシンを提供するために、サーバ計算機及びストレージシステムに必要なリソースの割り当てをリクエストし、割り当てられたリソースを用いて仮想マシンを作成するようにハイパーバイザにリクエストする。
【００２２】
≪サーバ計算機≫
【００２３】
サーバ計算機（１）及び（２）は夫々、ストレージコントローラにアクセスするプログラム（１）及び（２）を格納し実行するユニットである。プログラム（１）及び（２）は、NVMeコマンドを発行することで、ストレージコントローラにより提供される共有データ領域に対してアクセスする。なお、共有データ領域をNVMeのNSとして提供する部位は後ほど説明する。
【００２４】
サーバ計算機は、少なくともCPU、メインメモリ（以後メモリと省略する）、RCを含む。サーバ計算機は例えば以下であってもよい：
＊ファイルサーバ
＊ブレードサーバシステム
＊ＰＣ（Personal  Computer）サーバ
＊ブレードサーバシステムに差し込まれるブレード。
【００２５】
≪サーバ計算機のプログラム≫
【００２６】
なお、プログラム（１）及び（２）は例えば、業務アプリケーションプログラム（例えばWebサーバ、DBMS、分析プログラム、ミドルウェア）や、LPAR（Logical  Partitioning）や仮想マシンを作成可能なプログラムや、OS、デバイスドライバ、であることが考えられるが、他のプログラムであってもよい。
【００２７】
≪通信機構≫
【００２８】
通信機構は、サーバ計算機とストレージコントローラとをPCIeで接続する。なお、サーバ計算機とストレージコントローラとの間のPCIe接続は、従来のサーバ計算機とストレージシステムとの接続で採用されているFC（Fibre  Channel）、Ethernet（登録商標）を用いるSAN（Storage  Area  Network）のようなネットワークを介さない。理由は以下の通りである（いずれか１つ、又は両方）：
＊これら広域SANも構築可能なプロトコルでは変換処理のオーバーヘッドが高く、共有データ領域への高性能I/O提供の妨げとなるため。
＊EthernetやSANのデバイス（特にスイッチ）が高価であるため。
【００２９】
なお、NVMeはPCIeに基づいた通信機構を前提とする。そのため、サーバ計算機からのNVMeコマンドを解釈する部位はPCIeにおけるEndpoint（以後、EPと省略）である必要がある。また、PCIeのチップセットが、複数のRoot  Complex（以後、RCと省略）からEPを共有すること（以後、「複数RCの同居」と呼ぶ）を許容しない場合（例えばMR-IOV：Multi-Root  I/O  Virtualizationをサポートしない場合）はこの制限も考慮する必要がある。
【００３０】
本実施例では、以上を踏まえ、NVMeコマンドを解釈する部位の候補として３つの候補を開示する。計算機システムは、３つの候補の中の一種類を含む。３つの候補（１）、（２）、（３）（図ではNVMe  I/F候補（１）、（２）、（３）と記載）は以下の通りである：
＊候補（１）：フラッシュメモリデバイス。この場合はストレージコントローラとフラッシュメモリデバイスとはPCIeで接続され、フラッシュメモリデバイスはNVMeに準拠したFunctionを持つEPとなる。ストレージコントローラはサーバ計算機からのNVMeコマンドを当該フラッシュメモリデバイスにスルーする。
＊候補（２）：ストレージコントローラ。この場合はサーバ計算機からストレージコントローラまでがPCIeで接続される。なお、前述の複数RCの同居に関する制限がある場合、サーバ計算機（１）のRCとストレージコントローラのRCとのPCIe接続と、サーバ計算機（２）のRCとストレージコントローラのRCとのPCIe接続とは、分離される。そして、ストレージコントローラのRCはそれぞれのサーバ計算機のRCに対して個別なEPを提供する。
＊候補（３）：サーバ計算機からのPCIe接続とストレージコントローラからのPCIe接続を仲介する仲介デバイス。インテル（R）やAMD（R）等が提供するCPU及びPCIeチップセットはコモディティ化されているため、低価格で高性能である。こうしたものをストレージコントローラに採用する場合に課題となるのが、ストレージコントローラにもRCが存在してしまい、前述の複数RCの同居の制限がある場合は、そのままサーバ計算機と接続できないことである。当該仲介デバイスは、夫々のサーバ計算機のRCに対してはEPを提供するロジックと、ストレージコントローラのRCに対しては別なEPを提供するロジックと、サーバ計算機とストレージコントローラとの間のライトデータやリードデータの転送を仲介するロジックとを含むことにより、この課題を解決する。
【００３１】
なお、PCIeは元々サーバ計算機やストレージシステム内の通信路として用いられてきたため、FCやEthernetと比較するとPCIeの通信可能距離は短く、RCはFCやEthernetで通信できる通信ノード数よりも少ない数のEPとしか通信ができない。また、FCやEthernet上で動作する通信プロトコルと比較して、PCIeの障害処理は弱い。そのため、通信機構としてPCIeを採用する本計算機システムはCPFであることが好ましい。なぜならば、計算機システムをCPFにすることで顧客によるサーバ計算機とストレージユニット間の通信機構のケーブリングを不要とできることから、前述のPCIeの弱点によるトラブルが発生しにくく、結果として信頼性の高いNVMeアクセスを提供できる。
【００３２】
≪NVMeコマンド解釈部位毎のメリット≫
【００３３】
なお、前述のNVMeコマンドを解釈する部位の候補（１）から（３）には例えば以下のメリットがある。
＊候補（１）：ストレージコントローラによる処理のオーバーヘッドが無い、又は小さい。候補（１）は、フラッシュメモリデバイスの内部状態を考慮した、効率的なNVMeのキュー制御を実現しやすい。なぜなら、NVMeコマンドを解釈する部位と、フラッシュメモリデバイスのウェアレベリングやリクラメーション等を行うコントローラが同じ又は近いためである。例えば、NVMeではI/Oキューが複数存在するが、候補（１）は、複数のI/OキューからのNVMeコマンドの取り出し方を当該内部状態に基づいて変更する。
＊候補（２）：ストレージコントローラが提供する前述のエンタープライズ向け機能をNVMeのNSに対して適用できる。また、候補（２）は、ストレージコントローラの内部状態を考慮した効率的なNVMeのキュー制御を行うことができる。なぜなら、NVMeコマンドを解釈する部位と、ストレージコントローラとが同じ又は近いためである。例えば、候補（２）は、複数のI/OキューからのNVMeコマンドの取り出し方を当該内部状態に基づいて変更することができる他、I/OキューにあるNVMeコマンドの蓄積状態に応じて、ストレージコントローラの他の処理の制御を変更できる。
＊候補（３）：ストレージコントローラが提供するエンタープライズ向け機能をNVMeのNSに対して適用できる。また、候補（３）の仲介デバイスがNVMeコマンドをSCSIリクエストに変換するのであれば、ストレージコントローラで実行されるストレージプログラムは、実行コード、中間コード、又はソースコードレベルで、従来のSANストレージサブシステムのストレージプログラムと互換性を保ちやすい。その結果として、計算機システムのストレージプログラムの品質向上、機能向上できる他、前述のリモートコピーのような計算機システムのストレージコントローラとSANストレージサブシステムとの間の連携処理の実装も容易になる。なぜなら、通常のSANストレージサブシステム同士の連携と同じ部分が殆どのためである。
【００３４】
≪ストレージコントローラ≫
【００３５】
ストレージコントローラはフラッシュメモリデバイスの記憶領域を用い、高性能I/O処理を提供する。また、ストレージコントローラは、これまでエンタープライズ向けのSANストレージサブシステムが提供してきたような信頼性、冗長性、高機能性、保守・管理容易性に関係する機能を有してもよい。以下がその例である：
＊ストレージコントローラは、フラッシュメモリデバイスを冗長化し、冗長化した記憶領域から共有データ領域を提供する。また、ストレージコントローラは、共有データ領域に格納したデータへのアクセスを禁止又は失敗させずに（いわゆる無停止に）、フラッシュメモリデバイスの交換、増設、抜き去りといったデバイス保守を可能とする。HDDとは異なり、フラッシュメモリデバイスには書き込み過多によるデバイス寿命の短期化という特性がある。そのため、こうした冗長化や無停止保守をストレージコントローラが提供することで本計算機システムとしての信頼性を向上させることができる。また、サーバ計算機にPCIeのフラッシュメモリデバイスが差し込まれる場合、フラッシュメモリデバイスの保守は個々のサーバ計算機に対して個別に行われなければならない。しかし、本計算機システムのようにストレージコントローラにフラッシュメモリデバイスが接続されることにより、フラッシュメモリデバイスの保守をストレージ側にまとめると、保守作業者はまとめてフラッシュメモリデバイスの保守作業を行うことができ、保守が容易になる。
＊ストレージコントローラは、NVMeによって格納したデータに対して、リモートコピーやスナップショットといったコピー機能を提供する。
＊ストレージコントローラは、フラッシュメモリデバイス以外に記憶デバイスとしてHDDに接続されることにより、これらの記憶デバイスを用いたティアリングを可能とする。なお、ストレージコントローラは、HDDが提供する記憶領域をNVMeのNSに対応させてもよい。
＊ストレージコントローラは、サーバ計算機（１）や（２）を介さずに、本計算機システムの外部の計算機システム（サーバ計算機やストレージシステムを含む）又はネットワーク装置（SANスイッチやEthernetスイッチを含む）からのネットワークを介したアクセスを提供する。これにより前述のリモートコピーが行えたり、本計算機システム外部の計算機システム又はネットワーク装置も含めたストレージコンソリデーションも提供できたりする等、柔軟性が向上する。
【００３６】
≪サーバ計算機とストレージコントローラの配置≫
【００３７】
前述の通り、PCIeは通信可能距離が短いことから、サーバ計算機とストレージコントローラとは物理的に近い位置に配置されていればよい。しかし、以下がより好ましい：
＊ストレージコントローラが、ブレードサーバシステムのシャーシに差し込まれる構成を有する。なお、サーバ計算機であるブレードとストレージコントローラとの間のPCIe接続にバックプレーン等の基板を用いることで、PCIe接続に伴うトラブルを削減できる。
＊ブレードサーバシステムのシャーシとは別なシャーシにストレージコントローラを入れ、両シャーシをPCIe接続用のケーブルで接続する。なお、ブレードサーバシステムのシャーシとストレージコントローラのシャーシとを１つのラックに入れたものを、CPFとして販売してもよい。このようにラックに両シャーシとPCIe接続用ケーブルとを入れることで、PCIe接続用ケーブルに伴うトラブルを削減でき、また単体販売しているブレードサーバシステムやストレージシステムのシャーシそのもの又は部品をCPFへ流用することが容易である。
【００３８】
≪管理サブシステム≫
【００３９】
管理サブシステムは以下の少なくとも１つの処理を行うサブシステムである：
＊管理者又は統合管理サブシステムからのリクエストを受信し、計算機システムコンポーネントに対してリクエストに応じた設定を行うこと。
＊計算機システムコンポーネントから情報を取得し、管理者に表示したり、又は統合管理サブシステムに送信したりすること。なお、取得する情報は例えば性能情報、障害情報、設定情報、構成情報等がある。例えば、構成情報は、コンポーネントの抜き差しをしない限り本計算機システムに固定な項目と、変更可能な項目とを含み、設定情報は特に構成情報のうち、設定により変更可能な項目である。なお、これら種類の情報をまとめてコンポーネント情報と呼ぶことがある。また、管理者に表示したり、別な計算機に送信したりする情報は、取得したコンポーネント情報そのままでもよく、又は何らかの基準で変換・加工した後に、当該情報の表示や送信を行ってもよい。
＊上記コンポーネント情報に基づいて、計算機システムコンポーネントへの設定を自動的・自律的に行う、いわゆる自動・自律管理。
【００４０】
管理サブシステムは例えば以下の形態（それらの形態の混在を含む）であることが考えられるが、上記処理を行う形態であればそれらの形態にこだわらない。関係する機能、計算機の集合が管理サブシステムである。
＊計算機システムコンポーネントとは別な計算機（１以上）。管理サブシステムが、ネットワークを介して計算機システムに接続されている複数の計算機である場合、例えば、サーバ計算機専用の計算機、ストレージコントローラ専用の計算機、表示処理専用の計算機、といった計算機が管理サブシステムに存在してもよい。
＊計算機システムコンポーネントの一部。例えばBMC（Baseboard  Management  Controller）やエージェントプログラムが管理サブシステムである。
【００４１】
≪統合管理サブシステム≫
【００４２】
統合管理サブシステムは、サーバ、ストレージシステム、ネットワーク装置（SANスイッチやEthernetスイッチを含む）、そして本計算機システム、等に代表される管理対象装置を統合管理するサブシステムである。統合管理サブシステムは、ネットワークを介して管理サブシステム及び他の管理対象装置に接続される。統合管理サブシステムは複数の管理対象装置を管理するために、ベンダプロプライエタリなプロトコルで管理対象装置と通信することもあるが、SNMP（Simple  Network  Management  Protocol）やSMI-S（Storage  Management  Initiative−Specification）といった標準化されたプロトコルで管理対象装置と通信することもある。
【００４３】
統合管理サブシステムは、ネットワークを介して計算機システムに接続されている１又は複数の計算機を含む。
【００４４】
なお、統合管理サブシステムの提供ベンダは、本計算機システムのベンダとは異なる場合があり、その場合、本計算機システムの通信機構がPCIeであることで、統合管理サブシステムは本計算機システムの管理ができなかったり、できたとしても通常より劣った管理しかできなかったりすることがある。その理由の一例としては、統合管理サブシステムがサーバ計算機とストレージコントローラとの接続経路としてFC又はEthernet接続のみ認識し、PCIe接続を前述の接続経路として認識しない場合である。この場合、統合管理サブシステムは、サーバ計算機とストレージコントローラが接続されていないとみなすため、このような接続情報があることを前提とする管理項目は本計算機システムに適用できないことになる。
【００４５】
そのような場合の対策のため、本計算機システムの管理サブシステムは、本計算機システムのPCIe接続にSAN接続をエミュレートさせることにより、PCIe接続の情報を仮想のSAN接続の情報に変換し、そのSAN接続の情報を統合管理サブシステムに送信することにより、そのSAN接続を統合管理サブシステムの管理対象としてもよい。なお、SAN接続のエミュレートとは例えば、接続情報を提供すること、又はSAN接続に関する設定を受け付けること（ストレージポートへのLogical  Unit割り当て）、等がある。なお、エミュレート先のSANはFC-SANであってもよく、IP（Internet  Protocol）-SAN、Ethernet-SANであってもよい。
【００４６】
≪本計算機システムの用途とLocalフラッシュメモリデバイスの併用≫
【００４７】
以上説明の通り、複数のサーバ計算機間でNVMeによるデータ共有を実現するために、本計算機システムが導入されることが考えられる他、データ共有をしなくても前述のストレージコントローラが提供するエンタープライズ向け機能を、NVMeで格納したデータに適用するために、本計算機システムが導入されることも考えられる。また、既に本計算機システムではない環境にて、NVMeコマンドを発行するプログラムを用いて業務システムが構築されていた場合は、当該プログラムに対して、ベンダプロプライエタリなフラッシュメモリデバイス向けのインターフェースを実装しなくても、本計算機システムにて業務システムが構築されることができる場合もある。
【００４８】
なお、NVMeによるデータ共有は例えば以下の用途がある：
＃複数のサーバ計算機間の高速フェイルオーバ。サーバ計算機（１）の障害等に応じて、サーバ計算機（２）はサーバ計算機（１）による処理を引き継ぐフェイルオーバを行うと判定する。複数のサーバ計算機の夫々にPCIe接続を介してLocalフラッシュメモリデバイス（図では「Local  Flash」と省略）が接続されており、そしてサーバ計算機のプログラムのNVMeコマンド発行先がLocalフラッシュメモリデバイスだけである場合、複数のサーバ計算機は、フェイルオーバ元と先のLocalフラッシュメモリデバイス間でデータコピーする必要があり、高速なフェイルオーバが難しい。本計算機システムの場合はそのようなデータコピーは不要である。
＃複数のサーバ計算機がNVMeで共有データ領域に並列アクセスすることで、並列処理を行う場合。あるサーバ計算機がデータをライトし、すぐに他のサーバ計算機が当該データをリードすることができる。
【００４９】
しかし、サーバ計算機の数が増加した場合は、ストレージコントローラのI/O処理能力がボトルネックとなってしまう場合もある。
【００５０】
こうした場合に対処するために、各サーバ計算機に対して、NVMeコマンドを解釈できるフラッシュメモリデバイス（Localフラッシュメモリデバイスと呼ぶ）がPCIeで接続され、接続されたサーバ計算機により占有されてもよい。こうした構成の場合、サーバ計算機で実行されるプログラムは、データ共有及びエンタープライズ向け機能の適用が不要なデータをLocalフラッシュメモリデバイスに格納し、データ共有又はエンタープライズ向け機能の適用を望むデータをストレージコントローラにより提供される記憶領域であるNVMeのNSに格納すればよい。例えば、サーバ計算機（１）の障害や負荷等により、サーバ計算機（１）のプログラムの処理がサーバ計算機（２）に引き継がれる構成において、サーバ計算機（１）は、引き継ぎに必要なデータを共有データ領域であるNSへ書き込み、NSから読み出すことにより、処理を実行し、引き継ぎに不要なデータをLocalフラッシュメモリデバイスへ書き込む。
【００５１】
なお、こうした設定は手動で行われてもよいが、前述の管理サブシステムや統合管理サブシステムにより自動で行われてもよい。例えば、これらのサブシステムは、各NSが複数のサーバ計算機による共有（又はエンタープライズ向け機能の適用）可か否かを判断し、サーバ計算機で実行されるプログラムの特性に基づいて共有（又はエンタープライズ向け機能の適用）が必須であるデータを把握し、サーバ計算機で実行されるプログラムに対し、データを格納する記憶領域を使い分けるように設定してもよい。当該プログラムの管理者は本計算機システムの構成・特徴を熟知しているとは限らないため、管理者による当該プログラムの設定作業負荷が軽減される。なお、NSが共有か否かの判断方法としては以下が考えられるが、他の方法であってもよい：
＊管理サブシステムがNSIDとストレージコントローラの記憶領域との関係を計算機システムに問い合わせる。
＊サーバ計算機のプログラムがNSIDを指定して情報収集を行うことにより得られる情報から共通のNSであることを判断する。
【００５２】
＜基本構成図＞
【００５３】
以下に計算機システムがCPFである場合を例により詳細な実施例を説明する。
【００５４】
≪NVMe制御でのCPF≫
【００５５】
図２はCPFの物理構成及び論理構成を示した図である。
【００５６】
本図でのCPF１は、サーバ計算機２、ストレージコントローラ３、記憶デバイスとしてフラッシュメモリデバイス５、管理サブシステムの一例として管理計算機７を含む。
【００５７】
サーバ計算機２は、管理計算機７と接続するための管理I/F２７２を含む。サーバ計算機２は、プログラムの一例としてアプリケーションプログラム２２８（単にアプリケーションと省略することがある）、OS２２７、NVMe制御プログラム２２２、サーバ管理I/F制御プログラム２２９を実行する。なお、管理計算機７とサーバ計算機２及びストレージコントローラ３との接続はEthernetであることが考えられえるが、他の物理的・仮想的な接続形態であってもよい。サーバ管理I/F制御プログラム２２９は、管理I/F２７２を制御することにより、管理計算機７との通信を行う。
【００５８】
NVMe制御プログラム２２２は、NVMeコマンドをPCIe  I/F２６２に発行するプログラムである。なお、プログラム２２２はサーバ計算機２に格納されている他のプログラムの一部であってもよく、サーバ計算機２に格納されている他のプログラムと別なプログラムであってもよい。例えば、アプリケーションプログラム２２８がNVMeコマンドを発行する構成や、OS２２７内のデバイスドライバがNVMeコマンドを発行する構成がある。
【００５９】
PCIe  I/F２６２は、NVMe制御プログラム２２２の動作に従ってNVMeコマンドをPCIe  I/F３６２へ送信した後、PCIe  I/F３６２から当該NVMeコマンドに対するレスポンスを受信し、そのレスポンスをNVMe制御プログラム２２２へ返す。
【００６０】
ストレージコントローラ３は、管理計算機７と接続するための管理I/F３８２と、フラッシュメモリデバイス５と接続するためのフラッシュI/F３７２と、を含む。なお、フラッシュI/F３７２とフラッシュメモリデバイス５との接続は、フラッシュメモリデバイス５がNVMeコマンドを解釈する場合はPCIe接続であることが好ましいが、そうでない場合はSASやSATA（Serial  Advanced  Technology  Attachment）やFCやEthernetであってもよく、他の通信機構を用いてもよい。
【００６１】
ストレージコントローラ３は、ストレージプログラム３２０を実行する。なお、ストレージプログラム３２０は例えば、各インターフェースとの通信を制御する、PCIe  I/F制御プログラム３２２と、フラッシュI/F制御プログラム３２３と、管理I/F制御プログラム３２４と、を含む。PCIe  I/F制御プログラム３２２は、PCIe  I/F３６２を制御することにより、サーバ計算機２との通信を行う。フラッシュI/F制御プログラム３２３は、フラッシュI/F３７２を制御することにより、フラッシュメモリデバイス５との通信を行う。管理I/F制御プログラム３２４は、管理I/F３８２を制御することにより、管理計算機７との通信を行う。
【００６２】
なお、PCIe  I/F２６２とPCIe  I/F３６２の実体は、例えば、図４に示すサーバ側PCIe  I/Fデバイス４や、図９に示すストレージ側PCIe  I/Fデバイス８である。
【００６３】
≪NVMe制御＋SCSI制御でのCPF≫
【００６４】
図３は別なCPFの物理構成及び論理構成を示した図である。
【００６５】
図２との差異は、サーバ計算機２からストレージコントローラ３へのI/Oリクエストとして、NVMeとSCSIを併用することである。
【００６６】
SCSI制御プログラム２２４は、他のプログラムからのリクエストに応じて、ストレージコントローラ３により提供されるLUNに対してSCSIリクエストをPCIe  I/F２６２のSCSIファンクション（図中のSCSI  Func.）宛に発行する。SCSI制御プログラム２２４は例えばSCSIデバイスドライバである。なお、本プログラムはサーバ計算機２に格納されている他のプログラムの一部であってもよく、サーバ計算機２に格納されている他のプログラムとは別なプログラムであってもよい。例えば、OS２２７内のデバイスドライバがSCSIリクエストを発行する場合がある。
【００６７】
PCIe  I/F２６２がNVMeコマンドとSCSIコマンドの両方を受け付ける場合、NVMeファンクション（図中のNVMe  Func.）とSCSIファンクションの２つを持つ必要がある。この内NVMeファンクションについては図２のPCIe  I/F２６２の説明として説明済みである。SCSIファンクションはSCSI制御プログラム２２４の動作に従ってSCSIコマンドをPCIe  I/F３６２へ送信した後、PCIe  I/F３６２から当該SCSIコマンドに対するレスポンスを受信し、そのレスポンスをSCSI制御プログラム２２４へ返す。なお、PCIe  I/F３６２をマルチファンクションにするか否かは、仲介デバイスでNVMeコマンドを解釈するか否かによって定まる。
【００６８】
このように、あるサーバ計算機２がNVMeコマンドとSCSIリクエストの両方を発行できるようにすることで、以下の少なくとも１つのメリットがある。
＊サーバ計算機２においてNVMe非対応のプログラムが、NVMeのNSに対応した記憶領域にアクセスできるようにするため。
＊サーバ計算機２においてNVMe非対応のプログラムが、NVMeのNSに対応した記憶領域とは別な記憶領域にアクセスできるようにするため。例えばストレージコントローラ３にHDDが接続している場合、サーバ計算機２が当該HDDの記憶領域に対してはSCSIでアクセスできるようにする。
＊本願出願時点ではNVMeのI/FがNSをサーバ計算機２のブートデバイスとして使用できるように規格化されていないため。そのため、ストレージコントローラ３が提供する記憶領域をサーバ計算機２のブートデバイスとする場合、サーバ計算機２がその記憶領域にSCSIリクエストでアクセスできる必要がある。なお、サーバ計算機２がブートするということは、サーバ計算機２のBIOS（Basic  Input/Output  System）プログラムが、ブートデバイスを持つEPをハンドリング可能なように実装されている必要があるということである。ここでのEPは、例えばSCSI  HBA（Host  Bus  Adapter）やPCIe  I/Fデバイス（NVMeファンクション又はSCSIファンクション）である。その具体的な実装方法は以下の通りである：
＃BIOSプログラムが、発見したEPからBIOSプログラム用のデバイスドライバプログラムを取得し、それを実行する。
＃BIOSプログラム自体がNVMe用のドライバプログラムを含む。
【００６９】
なお、サーバ計算機２には以下の３つのタイプがある。
（Ａ）NVMeコマンドを発行し、SCSIリクエストを発行しない。
（Ｂ）NVMeコマンドとSCSIリクエストを発行する。
（Ｃ）NVMeコマンドを発行せず、SCSIリクエストを発行する。
【００７０】
ここで、CPF１に含まれるサーバ計算機２は１つの場合もあれば複数の場合もある。複数の場合、CPF１に含まれるサーバ計算機２は、上記（Ａ）乃至（Ｃ）のいずれか１タイプだけの場合もあれば、（Ａ）乃至（Ｃ）のいずれか２タイプのコンビネーション、又は（Ａ）乃至（Ｃ）の３タイプのコンビネーションの場合もあってもよい。
【００７１】
＜候補（３）を用いるCPFのハードウェア全体構成＞
【００７２】
図４は、前述のNVMe解釈部位が候補（３）である場合のCPF１を詳細化した図である。なお、サーバ計算機２とストレージコントローラ３の間のPCIe接続はスイッチを介して行われるが、図では省略している。
【００７３】
サーバ計算機２は、CPU２１と、メインメモリ２２（図ではMemと省略し、以後の説明ではメモリ２２と呼ぶことがある）と、RC２４と、サーバ側PCIe  I/Fデバイス４とを含む。RC２４とサーバ側PCIe  I/Fデバイス４とはPCIeにて接続される。RC２４とCPU２１とはPCIeより高速なネットワークで接続される。メモリ２２は、図示しないメモリコントローラを介して、CPU２１及びRC２４と高速なネットワークで接続される。これまで説明したサーバ計算機２にて実行される各プログラムは、メモリ２２にロードされ、CPU２１によって実行される。CPU２１はCPUコアであってもよい。RC２４とCPU２１とメモリコントローラとは１つのLSIパッケージでまとめられてもよい。
【００７４】
サーバ側PCIe  I/Fデバイス４は、前述の仲介デバイスの一例である。サーバ側PCIe  I/Fデバイス４は、サーバ計算機２の外部に配置されてもよい。サーバ側PCIe  I/Fデバイス４は、以下の特徴を持つデバイスである：
＊CPU２１により実行されるプログラムによって発行されたNVMeコマンドを解釈する。
＊RC２４に対してEP４１を提供する。
＊ストレージコントローラ３に含まれるRC３３に対して別なEP４２を提供する。なお、ストレージコントローラ３に複数のRCが含まれ、本デバイス４がそれぞれと通信する必要がある場合は、本デバイス４は各RCに対して別なEP４２を提供する。ここでのサーバ側PCIe  I/Fデバイス４は、ストレージコントローラ３内の二つのRC３３に対して二つのEP４２を夫々提供する。
【００７５】
サーバ側PCIe  I/Fデバイス４は、これらの特徴を実現するために、複数のサーバ計算機２に夫々対応する複数のEP４２を提供するロジックと、EP４１を提供するロジックと、NVMeコマンドに基づくSCSIコマンドをストレージコントローラ３に発行するロジックとを含んでもよい。なお、EP４１は図２のPCIe  I/F２６２に対応し、EP４２はPCIe  I/F３６２に対応しているとも言える。更にサーバ側PCIe  I/Fデバイス４が図３のSCSIファンクションに相当するロジックとして、CPU２１により発行されたSCSIリクエストに基づくSCSIリクエストをストレージコントローラ３に発行するロジックを含んでもよい。これらのロジックの夫々は、専用回路などのハードウェアにより実現されてもよいし、ソフトウェアを実行するプロセッサにより実現されてもよい。
【００７６】
なお、サーバ側PCIe  I/Fデバイス４がNVMeファンクションとSCSIファンクションの両方を持つことで、別々なボードにこれらファンクションを実装する場合と比較して例えば以下の１つ以上のメリットがある：
＊低コスト化。
＊サーバ計算機２においてPCIe接続のデバイスを差し込むためのスペースの削減。
＊サーバ計算機２内の使用PCIeスロット数の削減。
特に本候補（３）で上記マルチファンクションを実現した場合は、サーバ側PCIe  I/Fデバイス４がSCSIリクエストをストレージコントローラ３へ送信するロジックをファンクション間で共通化できるため、デバイスの小型化又はコスト削減が可能である。
【００７７】
なお、サーバ計算機２は前述の通りLocalフラッシュメモリデバイス２３（図ではFlashと省略）を含んでもよい。Localフラッシュメモリデバイス２３はRC２４とPCIeで接続される。
【００７８】
なお、サーバ計算機２に含まれる各構成物は複数であってもよい。なお、図ではLocalフラッシュメモリデバイス２３とサーバ側PCIe  I/Fデバイス４とはRC２４を介して通信をするように記載されているが、RC２４を介さずに通信してもよく、また通信できなくてもよい。
【００７９】
ストレージコントローラ３は１つ以上の（図では２つの）コントロールユニット３６（図ではCTLユニットと省略）を含む。各コントロールユニット３６は、CPU３１と、メインメモリ３２（図ではMemと省略し、以後の説明ではメモリ３２と呼ぶことがある）と、RC３３と、フラッシュI/F３７２とを含む。RC３３と、サーバ側PCIe  I/Fデバイス４と、フラッシュI/F３７２とはPCIeにて接続される。RC３３とCPU３１とはPCIeより高速なネットワークで接続される。メインメモリ３２は、図示しないメモリコントローラを介して、CPU３１及びRC３３と高速なネットワークで接続される。これまで説明してきたストレージプログラム３２０等のストレージコントローラ３で実行される各プログラムは、メモリ３２にロードされ、CPU３１によって実行される。CPU３１はCPUコアであってもよい。RC３３とCPU３１とメモリコントローラとは１つのLSIパッケージでまとめられてもよい。
【００８０】
各コントロールユニット３６はHDD６に接続するためのディスクI/F３４を含んでもよい。なお、フラッシュI/F３７２とディスクI/F３４が同じインターフェースタイプである場合は、これら２つのI/Fを共通化してもよい。なお、ディスクI/F３４はSAS、SATA、FC、Ethernetであることが考えられるが、他の通信機構を用いてもよい。
【００８１】
なお、図ではフラッシュI/F３７２（又はディスクI/F３４）とサーバ側PCIe  I/Fデバイス４とはRC３３を介して通信をするように記載されているが、RC３３を介さずに通信してもよく、また通信できなくてもよい。この点はフラッシュI/F３７２とディスクI/F３４についても同様である。
【００８２】
なお、コントロールユニット３６に含まれる各構成物は複数であってもよい。
【００８３】
なお、コントロールユニット３６間は通信可能であることが望ましく、図ではその一例としてRC３３間をPCIeで接続するように記載している。なお、RC３３間をPCIeで接続する場合は、図示しないNTB（Non−transparent  Bridge）を介して通信する。なお、コントロールユニット３６間の通信は他の機構を用いてもよい。
【００８４】
＜候補（３）を用いるCPFのPCIe空間の範囲＞
【００８５】
図５は、図４のサーバ側PCIe  I/Fデバイス４を中心に拡大し、PCIeアドレスの空間であるPCIe空間を記載した図である。PCIe空間２４１は、サーバ計算機２内のRC２４がコントロールする空間であり、PCIe空間３３１は、ストレージコントローラ３内のRC３３がコントロールする空間である。なお、前述の「複数RCの同居」問題で示した通り、複数のRCが１つのPCIe空間に同居することができない。そのため、サーバ側PCIe  I/Fデバイス４はそれぞれのPCIe空間を分離させるために、RC２４向けのPCIeリンクと、RC３３向けのPCIeリンクを接続でき、それぞれのリンクにおいてEPとして動作する。
【００８６】
なお、ディスクI/F３４とフラッシュI/F３７２とはPCIe空間３３１とは別なPCIe空間に存在してもよい。
【００８７】
＜NVMeのNSとストレージコントローラの記憶領域の関係＞
【００８８】
図６は、NVMeのNSとストレージコントローラ３の記憶領域との関係を示した図である。ストレージコントローラ３は以下の記憶領域を管理している。
＊パリティグループ。それは複数の記憶デバイス（フラッシュメモリデバイス５やHDD６）を用いて定義される。これにより、RAID（Redundant  Arrays  of  Inexpensive  Disks）による高信頼化、高速化、大容量化が達成される。
＊論理ボリューム。それはパリティグループの記憶領域を分割した領域である。パリティグループの記憶領域はそのままサーバ計算機に提供されるには大容量過ぎる場合があるため、論理ボリュームが存在する。
＊プール。それはシンプロビジョニングやティアリングに用いる記憶領域が含まれるグループである。図では論理ボリュームがプールに割り当てられているが、パリティグループや記憶デバイス自体が直接プールに割り当てられてもよい。
＊仮想ボリューム。それはプールを用いて定義された、シンプロビジョニング又は／及びティアリングを適用した仮想記憶領域である。なお、以後の説明では論理ボリュームと仮想ボリュームを指し示す用語として「ボリューム」と呼ぶことがある。
＊Logical  Unit（論理ユニット、以後、LUと呼ぶことがある）。それは仮想ボリューム又は論理ボリュームのうち、サーバ計算機２からのアクセスを許す記憶領域である。Logical  UnitはSCSIのLUN（Logical  Unit  Number）を割り当てられる。
【００８９】
なお、ストレージコントローラ３は上記全種類の記憶領域を提供しなくてもよい。
【００９０】
NSはこれら記憶領域のいずれの種類に対して対応付けられてもよい。しかし、NSはLogical  Unitに対応付けられることがより好ましい。なぜならばストレージプログラム３２０はSANストレージシステムのストレージプログラム３２０と互換性を保ちやすくなり、また記憶領域の定義についてもSANストレージシステムとの互換性が高くなるからである。
【００９１】
＜ストレージプログラム＞
【００９２】
以上説明した項目も含め、ストレージプログラム３２０は以下の処理を行う（全部である必要はない）：
＊SCSIリクエストを受信し、解釈し、処理すること。例えば当該SCSIリクエストがリードリクエストであれば、ストレージプログラム３２０は、フラッシュメモリデバイス５やHDD６等の記憶デバイスからデータをリードし、サーバ計算機２に転送する。なお、その際、ストレージコントローラ３のメインメモリ３２をキャッシュメモリとして用いてもよい。例えば当該SCSIリクエストがライトリクエストであればキャッシュメモリにライトデータを格納し、その後記憶デバイスにライトデータをライトする。
＊パリティグループに対してRAID処理をすること。
＊ストレージコントローラ３により提供される上記記憶領域の定義を行うこと。なお、定義した結果はストレージコントローラ３のメインメモリ３２に記憶領域定義情報として格納し、前述のリクエスト処理の際に参照する。
＊その他シンプロビジョニング等のエンタープライズ向け機能の処理を行うこと。
【００９３】
＜候補（３）におけるリクエスト変換処理＞
【００９４】
前述の通り候補（３）では、サーバ側PCIe  I/Fデバイス４は、サーバ計算機２より受信したNVMeコマンドに基づいてSCSIコマンドを生成し、ストレージコントローラ３に送信する。
【００９５】
図７はサーバ計算機２と、サーバ側PCIe  I/Fデバイス４とコントロールユニット３６との間で行われるNVMeコマンドに関連したNVMeコマンド処理を示すフローチャートである。なお、下記処理は、NVMeコマンドがリード又は／及びライトの場合に適用されるが、他のNVMeコマンドに適用されてもよい。
【００９６】
処理手順は以下の通りである。なお、下記ステップはストレージコントローラ３に複数のコントロールユニット３６が含まれ、各コントロールユニット３６に複数のCPU３１が含まれ、また、Logical  UnitをNSに対応させる場合を想定している：
（Ｓ８１１０）サーバ計算機２は、前述のプログラムの処理によりNVMeコマンドを送信する。なお、NVMeコマンドはNSIDを含むことで、対象となるNSを指定できる。NVMeコマンドはまた、NSID内のアクセス範囲と、サーバ計算機２のメモリ範囲とを含む。
（Ｓ８１１２）サーバ側PCIe  I/Fデバイス４は、NVMeコマンドを受信する。
（Ｓ８１１４）サーバ側PCIe  I/Fデバイス４は、受信したNVMeコマンドを解釈し、コマンドに含まれるNSIDを、対応するLUNに変換する。
（Ｓ８１１６）サーバ側PCIe  I/Fデバイス４は、変換したLUNを含むSCSIコマンドを生成する。
（Ｓ８１１８）サーバ側PCIe  I/Fデバイス４は、生成したSCSIコマンドの送信先となるコントロールユニット３６及びCPU３１を決定する。
（Ｓ８１２０）サーバ側PCIe  I/Fデバイス４は、生成したSCSIコマンドを決定した送信先に送信する。
（Ｓ８１２２、Ｓ８１２４）送信先のコントロールユニット３６のCPU３１は、SCSIコマンドを受信し、受信したSCSIコマンドを処理する。
【００９７】
なお、Ｓ８１１０とＳ８１１２のNVMeコマンドの送信及び受信とは以下の処理である：
（Ａ）サーバ計算機２で実行中のプログラムは、サーバ計算機２のメモリ２２に準備したI/OキューにNVMeコマンドを登録し、
（Ｂ）サーバ計算機２で実行中のプログラムは、サーバ側PCIe  I/Fデバイス４のEP４１のNVMeレジスタ空間のI/Oキューのhead  pointerをインクリメントし、
（Ｃ）サーバ側PCIe  I/Fデバイス４は、I/Oキューのhead  pointerのインクリメントを検知し、サーバ計算機２のメモリ２２のI/OキューからNVMeコマンドをフェッチする。
【００９８】
ところで（Ｃ）で複数のNVMeコマンドがフェッチされる場合があり、この場合、サーバ側PCIe  I/Fデバイス４は個々のNVMeコマンドに対してＳ８１１４以降のステップを行うが、その実行順序としては、NVMeコマンド毎にＳ８１１４からＳ８１２４をシリアルに繰り返し実行してもよく、パラレルに実行してもよい。
【００９９】
なお、図示はしていないが、Ｓ８１２４の処理の結果、NVMeコマンドがライトであれば、サーバ側PCIe  I/Fデバイス４は、サーバ計算機２のメモリ２２に格納されたライトデータを、ストレージコントローラ３のメモリ３２に転送する。NVMeコマンドがリードであれば、サーバ側PCIe  I/Fデバイス４は、ストレージコントローラ３のメモリ３２に格納されたリードデータを、サーバ計算機２のメモリ２２に転送する。
【０１００】
また、Ｓ８１１４でのNSIDからLUNへの変換は、例えば以下のいずれか又は併用で行うことが考えられる：
＊サーバ側PCIe  I/Fデバイス４は、所定の変換式（ビット演算を含んでもよい）でNSIDからLUNに変換する。なお、サーバ側PCIe  I/Fデバイス４は、所定の変換式とペアを成す逆変換式により、LUNからNSIDへも変換できる。所定の変換式のシンプルな例がNSID=LUNである。
＊サーバ側PCIe  I/Fデバイス４は、NSIDからLUNを得るための変換テーブルをサーバ側PCIe  I/Fデバイス４のメモリに格納し、変換の際に参照する。
【０１０１】
なお、図３で説明の通り、Ｓ８１１２にてサーバ側PCIe  I/Fデバイス４はサーバ計算機２から発行されたSCSIコマンドを受信してもよい。この場合、続くＳ８１１４、Ｓ８１１６は省略するが、そのために、サーバ側PCIe  I/Fデバイス４は、受信したコマンドがNVMeコマンドか、SCSIコマンドか判断する。
【０１０２】
なお、Ｓ８１１８での送信先の決定方法は以下の基準で決定することが考えられるが、他の基準で決定してもよい：
＊コントロールユニット３６、又はCPU３１の障害の有無。例えば、サーバ側PCIe  I/Fデバイス４は送信の結果として得られるコントロールユニット３６の状態を記憶し、記憶した状態に基づいて障害が発生していないコントロールユニット３６に送信する。
＊コントロールユニット３６、又はCPU３１の障害の負荷。実現形態としては、（Ａ）ストレージコントローラ３又は管理計算機７が、コントロールユニット３６又はCPU３１の負荷を取得し、各NS宛てのリクエストで生成されたSCSIコマンドの送信先となるコントロールユニット３６又はCPU３１を決定して各サーバ側PCIe  I/Fデバイス４に送信し、（Ｂ）決定結果を受信したサーバ側PCIe  I/Fデバイス４は決定結果に基づいてSCSIコマンドを送信する。
【０１０３】
≪SCSIコマンドを含むFCPコマンドを送信する場合≫
【０１０４】
なお、サーバ側PCIe  I/Fデバイス４は、Ｓ８１１６でSCSIコマンドの生成に加えて生成したSCSIコマンドを含むFCP（Fibre  Channel  Protocol）コマンドを生成し、Ｓ８１１８でFCPコマンドとして送信してもよい。これには以下のメリットがある：
＊ストレージプログラム３２０にてWWN（World  Wide  Name）又はWWNから生成されたPort  IDや、IPアドレスといったSAN上の通信識別子を用いた制御（アクセス制御や優先度制御等）を行うことができる。
＊SANストレージサブシステムとの互換性が維持できる。これはストレージプログラム視点と操作視点の両方の意味がある。
＊統合管理サブシステムがサーバ計算機２とストレージコントローラ３間の接続を取得できる。
【０１０５】
FCPコマンドを送信する場合、サーバ側PCIe  I/Fデバイス４は以下を持つ：
＊EP４１に対応する仮想サーバポート（仮想WWNが割り当てられる）。
＊EP４２に対応する仮想ストレージポート（仮想WWNが割り当てられる）。仮想ストレージポートは、ストレージプログラム３２０により通常のSANポートと同様に認識され、取り扱われる。
【０１０６】
管理サブシステムは上記仮想ストレージポートに対してLogical  Unitの定義を行うことで、どのボリュームをNVMeのNSとするか指定することができる。以下が管理サブシステムの処理フローである：
（Ｓ０１）管理サブシステムは、ストレージポートとボリュームを指定するLogical  Unit定義リクエストを受信する。
（Ｓ０２）指定されたストレージポートが仮想ストレージポートでない場合、管理サブシステムは、SANストレージサブシステムと同様の処理で指定されたストレージポートに対して、指定されたボリュームに対応するLogical  Unitを定義する指示を、ストレージコントローラ３に送信する。
（Ｓ０３）指定されたストレージポートが仮想ストレージポートである場合、管理サブシステムは、指定された仮想ストレージポートに対して、指定されたボリュームに対応するLogical  Unitを定義する指示を、ストレージコントローラ３に送信する。
【０１０７】
なお、Ｓ０３の指示を受けたストレージコントローラ３は以下の処理を行う：
（Ｓ０３−１）ストレージコントローラ３は、指定された仮想ストレージポートに対応するサーバ側PCIe  I/Fデバイス４を選択する。
（Ｓ０３−２）ストレージコントローラ３は、指定されたボリュームに対応するLogical  Unitを定義する（つまりLUNを、指定されたボリュームに割り当てる）。
（Ｓ０３−３）ストレージコントローラ３は、選択されたサーバ側PCIe  I/Fデバイス４に対して、割り当てられたLUNを通知する。なお、サーバ側PCIe  I/Fデバイス４は通知されたLUNに対してNSIDを割り当てることでNS化する。なお、この割り当ての処理においてサーバ側PCIe  I/Fデバイス４は、NSIDを生成し、NSIDとLUNの変換情報を用いている場合は当該情報の生成・登録を行う。
【０１０８】
以上が管理サブシステムの処理フローの説明である。これにより、管理者は仮想ストレージポートを指定することでどのサーバ計算機２に対してボリュームをNVMeとして提供するか指定することができる。これは、サーバ側PCIe  I/Fデバイス４毎に仮想ストレージポートを持ち、当該デバイス４は複数のサーバ計算機２でシェアされない形態であるためである。また、ストレージコントローラ３がLogical  Unitを対象とした性能モニタリング機能を持つ場合、当該Logical  Unitに負荷を与えるサーバ計算機２が１つに定まることから迅速に負荷の原因となるサーバ計算機２を特定することができる。なお、複数のサーバ計算機２が、あるボリュームを共有NSとしてアクセスする場合は、共有するサーバ計算機２の仮想ストレージポート各々に対して上記Logical  Unit定義を行う。
【０１０９】
なお、以上の説明ではFCPに特化して説明したが、FCPの代わりにiSCSI（Internet  Small  Computer  System  Interface）のPDU（Protocol  Data  Unit）やEthernetフレームを対象とする場合は上記説明のWWNをIPアドレスやMAC（Media  Access  Control）アドレスと読み替えればよく、一般化するとしたら上記説明のWWNを通信識別子（WWNやIPアドレスやMACアドレスを含む意味）と読み替えればよい。
【０１１０】
なお、管理サブシステムは、NVMeのNSとしたボリュームに対してSANポートに対するLogical  Unit定義をガードする設定モードを設けてもよい。NSに対して一時的なデータのみを格納する運用形態の場合、SANポートに対するLogical  Unitは意図しないデータ更新の元となるからである。また、ボリュームをNSとSANのLUNとの両方の経路でOSに認識させた場合、OSはそれぞれを別な記憶領域として認識してしまい、データ不整合を招く更新処理を実行する可能性がある。本ガードモードはそうしたデータ不整合を回避することもできる。
【０１１１】
＜CPFの起動方法＞
【０１１２】
図８はCPF１の起動方法を示すフローチャートである。
（Ｓ１５３１、Ｓ１５３２、Ｓ１５３３）ストレージコントローラ３は、電源ONを検知したらストレージプログラム３２０を起動し、Logical  Unitへのアクセス受付開始状態となる。
（Ｓ１５３４）ストレージコントローラ３は、サーバ側PCIe  I/Fデバイス４へLogical  Unit情報（LUN等）を送信する。なお、ここでストレージコントローラ３は、サーバ側PCIe  I/Fデバイス４からのリクエストに応じて送信してもよく、主体的に送信してもよい。
（Ｓ１５２１）サーバ計算機２及びサーバ側PCIe  I/Fデバイス４は、電源ONを検知する。
（Ｓ１５４２、Ｓ１５４３）サーバ側PCIe  I/Fデバイス４は、起動し、ストレージコントローラ３から受信したLogical  Unit情報を受信することでLogical  Unitを認識する。
（Ｓ１５４４）サーバ側PCIe  I/Fデバイス４は、認識したLogical  Unitに対応するNS情報（NSID等）を生成し、サーバ計算機２で実行されるプログラムに送信する。なお、ここでサーバ側PCIe  I/Fデバイス４はサーバ計算機２のプログラムからのリクエストに応じて送信することが考えられるが、サーバ側PCIe  I/Fデバイス４が主体的に送信してもよい。なお、本ステップはデバイス４の起動の一環として行われてもよく、起動後に行われてもよい。
（Ｓ１５２２）サーバ計算機２は、OS２２７、アプリケーション２２８等のプログラムを起動し、NSの認識が必要なプログラムはNS情報（NSID等）の受信を待つ。
（Ｓ１５２３）サーバ計算機２においてNSの認識が必要なプログラムは、サーバ側PCIe  I/Fデバイス４から、NS情報を受信する。なお、本図が示す通り、Ｓ１５２３の受信を行った時点で、ストレージコントローラ３及びサーバ側PCIe  I/Fデバイス４の起動は完了している。なお、本ステップはＳ１５２２の起動の一環として行われてもよく、起動後に行われてもよい。
【０１１３】
以上の処理の後、図７にて説明したNVMeコマンドの処理が行われる。なお、本図ではストレージコントローラ３と、サーバ計算機２（及びサーバ側PCIe  I/Fデバイス４）との電源ONは独立して行われることとした。しかし、Ｓ１５３１乃至Ｓ１５３３のステップの一環として、ストレージコントローラ３が、サーバ計算機２（及びサーバ側PCIe  I/Fデバイス４）の電源ONを指示してもよい。
【０１１４】
＜NVMe解釈部位が候補（２）である場合＞
【０１１５】
図９は、前述のNVMe解釈部位が候補（２）である場合のCPF１を詳細化した図である。図４との相違点は以下である：
＊サーバ側PCIe  I/Fデバイス４は、PCIeスイッチ（ＳＷ）９に代替された。
＊ストレージコントローラ３にストレージ側PCIe  I/Fデバイス８が新設された。なお、本デバイス８はサーバ側PCIe  I/Fデバイス４と同様であるが、サーバ計算機２の各々に対してEP５１を提供することで前述の「複数RCの同居」問題を解決するため、本デバイス８においてサーバ計算機２に接続されるEP５１の数は、サーバ計算機２の数以上になる。更に本デバイス８は、ストレージコントローラ３内のRC３３に対してEP５２を提供する。
【０１１６】
なお、ストレージ側PCIe  I/Fデバイス８のNVMeコマンド処理は図７で説明したフローで処理してもよいが、図１で説明したようにストレージプログラム３２０と連携することで、ストレージコントローラ３の内部状態を考慮した効率的なNVMeのキュー制御を行ってもよい。例えばNVMeコマンド処理は、負荷集中や障害があるHDDが割り当てられているNSが関係しているNVMeのキューからのフェッチの優先度を下げる。また、ストレージ側PCIe  I/Fデバイス８は、NVMeコマンドをSCSI以外のコマンド形式に変換してもよく、またNVMeコマンドのままストレージプログラム３２０に送信してもよい。
【０１１７】
＜CPF１の適用形態＞
【０１１８】
これまで説明してきた、CPFの適用形態の例を図１０に示す。
【０１１９】
旧システムにより実行されているアプリケーションをCPFへ移行させるケースについて説明する。旧システムは、サーバ計算機（１）と、サーバ計算機（２）と、二つのローカルフラッシュメモリデバイス（図ではNVMe  Local  Flashと省略）と、ストレージコントローラと、記憶デバイスとを含む。二つのローカルフラッシュメモリデバイスは、サーバ計算機（１）及び（２）にPCIeで夫々接続されている。ストレージコントローラは、サーバ計算機（１）及び（２）にFCで接続されている。サーバ計算機（１）はアプリケーションを実行する。ストレージコントローラは、記憶デバイスを用いて、SCSIをサポートするLogical  Unit（図ではSCSI  Logical  Unitと記載）を提供する。
【０１２０】
旧システムにてアプリケーションが以下の設定で利用されていたとする：
＊アプリケーションは、一時的に生成するデータを、NVMeをサポートするローカルフラッシュメモリデバイスのNSに格納し、非一時的なデータを、ストレージコントローラにより提供されるLogical  Unitに格納する。これによってアプリケーションの高速処理を実現する。
＊仮にサーバ計算機（１）が停止した場合、サーバ計算機（２）がアプリケーションの処理を再開する。ただし、サーバ計算機（２）はサーバ計算機（１）によりローカルフラッシュメモリデバイスに格納されたデータを引き継げないため、サーバ計算機（２）はFC経由でLogical  Unitからデータを読み込み、処理を再開する。
【０１２１】
このようなアプリケーションを旧システムからCPFに移行させることができる。CPFは、サーバ計算機（１）と、サーバ計算機（２）と、ストレージコントローラと、フラッシュメモリデバイス（図ではFlashと省略）とを含む。CPFは、各サーバ計算機に接続されたローカルフラッシュメモリデバイスに代えて、ストレージコントローラに接続されたフラッシュメモリデバイスを用いる。ストレージコントローラは、フラッシュメモリデバイスを用いて、SCSIをサポートするLogical  Unitと、NVMeをサポートするnamespace（図ではNVMe  Namespaceと記載）とを提供する。サーバ計算機（１）のアプリケーションは、共有データ領域であるNSに一時データを書き込み、NSから一時データを読み出すことにより、処理を実行する。サーバ計算機（１）の障害等により、サーバ計算機（２）が、サーバ計算機（１）のアプリケーションの処理をサーバ計算機（２）へ引き継ぐことを判定した場合、サーバ計算機（２）は、NSから一時データを読み出し処理を引き継いで実行する。
このような構成によれば、以下のメリットが得られる：
＊フラッシュメモリデバイスの保守を集約できる。
＊フラッシュメモリデバイスに対してストレージコントローラのエンタープライズ向け機能を用いることにより、信頼性、冗長性、高機能性、保守・管理容易性が向上できる。
【０１２２】
更に、アプリケーション設定を変更し、NSに格納された一時データを、サーバ計算機間で引き継ぐようにすれば、障害等によるサーバ計算機（１）からサーバ計算機（２）への切り替え時間が短縮でき、アプリケーションのMTBF（Mean  Time  Between  Failure）が向上する他、サーバ計算機間の切り替えが容易となることから、保守・管理容易性が向上する。また、従来はSCSIのLogical  Unitに格納していた非一時的なデータをNVMeのNSに格納できるため、アプリケーション処理性能が更に向上する。
【０１２３】
計算機システムは、インターフェースデバイスとして、仲介デバイスを含んでもよい。計算機システムは、通信機構としてバックプレーン等の基板を含んでもよいし、通信機構としてブレードサーバシステムのシャーシとストレージコントローラのシャーシとPCIe接続用ケーブル等を含んでもよい。計算機システムは、複数のサーバ計算機、ストレージコントローラ、及び通信機構を収容する筐体として、シャーシ、ラック等を含んでもよい。サーバ計算機は、サーバ側RCとしてRC２４等を含んでもよい。サーバ計算機は、ストレージ側RCとしてRC３３等を含んでもよい。インターフェースデバイスは、第１EPとしてEP４１等を提供し、第２EPとして第１EPと異なるEP４１等を提供してもよい。インターフェースデバイスは、第３EPとしてEP４２等を提供してもよい。サーバ計算機は、第１データとして一時データ又は引き継ぎに必要なデータ等を用いてもよく、第２データとして引き継ぎに不要なデータ等を用いてもよい。計算機システムは、ローカル不揮発メモリデバイスとして、Localフラッシュメモリデバイス等を含んでもよい。
【０１２４】
以上で説明を終える。なお、以上で説明したポイントのいくつかはNVMeコマンド以外のSCSIコマンドに対しても適用できる場合がある。
【符号の説明】
【０１２５】
１…CPF  ２…サーバ計算機  ３…ストレージコントローラ  ４…サーバ側PCIe  I/Fデバイス  ５…フラッシュメモリデバイス  ６…HDD  ７…管理計算機  ８…ストレージ側PCIe  I/Fデバイス  ９…PCIeスイッチ  ３６…コントロールユニット
【図１】
2015162660.tif 000003
【図２】
2015162660.tif 000004
【図３】
2015162660.tif 000005
【図４】
2015162660.tif 000006
【図５】
2015162660.tif 000007
【図６】
2015162660.tif 000008
【図７】
2015162660.tif 000009
【図８】
2015162660.tif 000010
【図９】
2015162660.tif 000011
【図１０】
2015162660.tif 000012
【手続補正書】
【提出日】平成28年9月29日(2016.9.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
SCSI制御プログラム及びNVMe制御プログラムを格納するメモリと、
前記SCSI制御プログラム及び前記NVMe制御プログラムを実行するCPUと、
ストレージシステムと前記CPUとに接続されたインターフェースデバイスと
を有し、
前記インターフェースデバイスは、
前記SCSI制御プログラムから第１SCSIコマンドを受信し、当該第１SCSIコマンドを前記ストレージシステムに送信し、
前記NVMe制御プログラムから第１NVMeコマンドを受信し、当該第１NVMeコマンドに基づいて第２SCSIコマンドを生成し、当該第２SCSIコマンドを前記ストレージシステムに送信する、
情報処理装置。
【請求項２】
前記第１NVMeコマンドは、第１NSIDを含み、
前記インターフェースデバイスの電源がオンにされた後、前記インターフェースデバイスは、前記ストレージシステムによって提供される第１論理ユニットの情報を受信し、その受信した情報に基づいて前記第１NSIDを生成する、
請求項１に記載の情報処理装置。
【請求項３】
前記ストレージシステムは、他のインターフェースデバイスを介して他の情報処理装置に接続され、
前記他の情報処理装置は、
NVMe制御プログラムを格納するメモリと、
前記NVMe制御プログラムを実行するCPUと、
を有し、
前記他のインターフェースデバイスは、前記他の情報処理装置の前記NVMe制御プログラムから第２NVMeコマンドを受信し、当該第２NVMeコマンドに基づいて第３SCSIコマンドを生成し、当該第３SCSIコマンドを前記ストレージシステムに送信し、
前記第２NVMeコマンドは、第２NSIDを含み、
前記他のインターフェースデバイスの電源がオンにされた後、当該他のインターフェースデバイスは、前記ストレージシステムによって提供される第２論理ユニットの情報を受信し、その受信した情報に基づいて前記第２NSIDを生成する、
請求項２に記載の情報処理装置。
【請求項４】
前記第１論理ユニットは、前記第２論理ユニットであり、
前記第１NSIDは、前記第２NSIDと同一であり、
前記情報処理装置で実行される前記NVMe制御プログラムと、前記他の情報処理装置で実行される前記NVMe制御プログラムとは、前記第１論理ユニット内のデータを共有する、
請求項３に記載の情報処理装置。
【請求項５】
前記情報処理装置で実行される前記NVMe制御プログラムと、前記他の情報処理装置で実行される前記NVMe制御プログラムとは、前記第１論理ユニット内のデータを共有する、
請求項３に記載の情報処理装置。
【請求項６】
前記インターフェースデバイスは、PCI-ExpressにおけるEndpoint（EP）を有し、当該EPは、前記第１SCSIコマンドを受信するPCI-Expressの第１機能と、前記第１NVMeコマンドを受信するPCI-Expressの第２機能とを提供する、
請求項１に記載の情報処理装置。
【請求項７】
情報処理装置に含まれるようになっているインターフェースデバイスであって、
前記情報処理装置は、SCSI制御プログラム及びNVMe制御プログラムを格納するメモリと、前記SCSI制御プログラム及び前記NVMe制御プログラムを実行するCPUと、を有し、
前記インターフェースデバイスが、
前記SCSI制御プログラムからの第１SCSIコマンドと、前記NVMe制御プログラムからの第１NVMeコマンドとを受信するロジックであるPCI-Express Endpoint（EP）ロジックと、
前記第１SCSIコマンドをストレージシステムに送信し、前記第１NVMeコマンドに基づいて第２SCSIコマンドを生成し、当該第２SCSIコマンドを前記ストレージシステムに送信するロジックである変換ロジックと
を有するインターフェースデバイス。
【請求項８】
前記第１NVMeコマンドは、第１NSIDを含み、
前記インターフェースデバイスの電源がオンにされた後、前記変換ロジックは、前記ストレージシステムによって提供される第１論理ユニットの情報を受信し、その受信した情報に基づいて前記第１NSIDを生成する、
請求項７に記載のインターフェースデバイス。
【請求項９】
前記ストレージシステムは、他のインターフェースデバイスを介して他の情報処理装置に接続され、
前記他の情報処理装置は、
NVMe制御プログラムを格納するメモリと、
前記NVMe制御プログラムを実行するCPUと、
を有し、
前記他のインターフェースデバイスは、前記他の情報処理装置の前記NVMe制御プログラムから第２NVMeコマンドを受信し、当該第２NVMeコマンドに基づいて第３SCSIコマンドを生成し、当該第３SCSIコマンドを前記ストレージシステムに送信し、
前記第２NVMeコマンドは、第２NSIDを含み、
前記他のインターフェースデバイスの電源がオンにされた後、当該他のインターフェースデバイスは、前記ストレージシステムによって提供される第２論理ユニットの情報を受信し、その受信した情報に基づいて前記第２NSIDを生成する、
請求項８に記載のインターフェースデバイス。
【請求項１０】
前記第１論理ユニットは、前記第２論理ユニットであり、
前記第１NSIDは、前記第２NSIDと同一であり、
前記情報処理装置で実行される前記NVMe制御プログラムと、前記他の情報処理装置で実行される前記NVMe制御プログラムとは、前記第１論理ユニット内のデータを共有する、
請求項９に記載のインターフェースデバイス。
【請求項１１】
前記情報処理装置で実行される前記NVMe制御プログラムと、前記他の情報処理装置で実行される前記NVMe制御プログラムとは、前記第１論理ユニット内のデータを共有する、
請求項９に記載のインターフェースデバイス。
【請求項１２】
前記PCI-Express Endpoint（EP）ロジックは、前記第１SCSIコマンドを受信するPCI-Expressの第１機能と、前記第１NVMeコマンドを受信するPCI-Expressの第２機能とを提供する、
請求項７に記載のインターフェースデバイス。
【請求項１３】
ストレージシステムと、
SCSI制御プログラム及びNVMe制御プログラムを格納するメモリと、前記SCSI制御プログラム及び前記NVMe制御プログラムを実行するCPUと、前記CPUと前記ストレージシステムとに接続されるインターフェースデバイスと、を含む第１情報処理装置と、を有し、
前記インターフェースデバイスは、
前記SCSI制御プログラムから第１SCSIコマンドを受信し、当該第１SCSIコマンドを前記ストレージシステムに送信し、
前記NVMe制御プログラムから第１NVMeコマンドを受信し、当該第１NVMeコマンドに基づいて第２SCSIコマンドを生成し、当該第２SCSIコマンドを前記ストレージシステムに送信する、
情報処理システム。
【請求項１４】
前記第１NVMeコマンドは、第１NSIDを含み、
前記インターフェースデバイスの電源がオンにされた後、前記インターフェースデバイスは、前記ストレージシステムによって提供される第１論理ユニットの情報を受信し、その受信した情報に基づいて前記第１NSIDを生成する、
請求項１３に記載の情報処理システム。
【請求項１５】
第２情報処理装置を更に有し、
前記第２情報処理装置は、
NVMe制御プログラムを格納するメモリと、
前記NVMe制御プログラムを実行するCPUと、
前記ストレージシステムと前記CPUとに接続され、前記第２情報処理装置の前記NVMe制御プログラムから第２NVMeコマンドを受信し、当該第２NVMeコマンドに基づく第３SCSIコマンドを生成し、当該第３SCSIコマンドを前記ストレージシステムに送信するように構成されているインターフェースデバイスと、
を有し、
前記第２NVMe制御プログラムは、第２NSIDを含み、
前記第２情報処理装置の前記インターフェースデバイスを起動した後、当該インターフェースデバイスは、前記ストレージシステムによって提供される第２論理ユニットの情報を受信し、その受信した情報に基づいて前記第２NSIDを生成する、
請求項１４に記載の情報処理システム。
【請求項１６】
前記第１論理ユニットは、前記第２論理ユニットであり、
前記第１NSIDは、前記第２NSIDと同一であり、
前記第１情報処理装置で実行される前記NVMe制御プログラム及び前記第２情報処理装置で実行される前記NVMe制御プログラムは、前記第１論理ユニット内のデータを共有する、
請求項１５に記載の情報処理システム。
【請求項１７】
前記第１情報処理装置で実行される前記NVMe制御プログラム及び前記第２情報処理装置で実行される前記NVMe制御プログラムは、前記第１論理ユニット内のデータを共有する、
請求項１５に記載の情報処理システム。
【請求項１８】
前記第１情報処理装置の前記インターフェースデバイスは、PCI-ExpressにおけるEndpoint（EP）を有し、当該EPは、前記第１SCSIコマンドを受信するPCI-Expressの第１機能と、前記第１NVMeコマンドを受信するPCI-Expressの第２機能とを提供する、
請求項１５に記載の情報処理システム。
【国際調査報告】
2015162660.tif 000013
2015162660.tif 000014
2015162660.tif 000015
2015162660.tif 000016