(57)【特許請求の範囲】
【請求項１】
電力消費を制御するシステムにおいて、
プロセッサと、
複数のメモリと、
前記プロセッサ及び前記メモリに接続される制御回路と、を有し、
前記制御回路は、電力制限を受信し、前記プロセッサ及び前記複数のメモリの電力消費を測定し、前記プロセッサ及び前記複数のメモリの複数の動作パラメータを反復的に変更して、前記電力消費が前記電力制限と同一であるか又はそれより低い動作状態下で、前記システムと関連した目標機能（ｏｂｊｅｃｔｉｖｅ  ｆｕｎｃｔｉｏｎ）が最適化されるよう構成され、
前記制御回路は、前記電力消費が前記電力制限以下である動作パラメータの状態の複数のセットのそれぞれを使用して前記プロセッサ及び前記複数のメモリを動作させ、
前記電力消費が前記電力制限以下である前記動作パラメータの状態の複数のセットのそれぞれについて前記目標機能の結果を計算し、
少なくとも２つの連続した最適化シークェンスの間、一定に維持された状態を有する動作パラメータを識別し、
前記識別された動作パラメータを以後の少なくとも１つの最適化シークェンスに対して前記動作パラメータから除去するように、さらに構成され、
前記最適化シークェンスは、前記制御回路によって、前記電力制限を受信し、前記プロセッサ及び前記複数のメモリの電力消費を測定し、前記プロセッサ及び前記複数のメモリの複数の動作パラメータを反復的に変更して、前記電力消費が前記電力制限と同一であるか又はそれより低い動作状態下で、前記システムと関連した目標機能を最適化する工程であり、
前記目標機能は、前記システムの性能、耐久度、信頼性、入出力数、帯域幅、レイテンシ、容量、及びメモリの性能の内の少なくとも何れか一つであり、
前記プロセッサ及び前記複数のメモリの前記複数の動作パラメータの各々は、前記プロセッサの動作パラメータ、前記複数のメモリの中の第１メモリの動作パラメータ、及び前記複数のメモリの中の第２メモリの動作パラメータを含み、
前記プロセッサは、多重コアを有し、
前記プロセッサの動作パラメータは、前記プロセッサの、動的電圧、周波数スケーリングパラメータ、及び電力ゲーティングパラメータ、前記多重コアの活性化又は非活性化を含み、
前記複数のメモリは、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＮＶＲＡＭ（Ｎｏｎ−Ｖｏｌａｔｉｌｅ  ＲＡＭ）を含み、
前記複数のメモリの動作パラメータは、前記ＤＲＡＭの電力ゲーティング（ｐｏｗｅｒ  ｇａｔｉｎｇ）パラメータ、セルフリフレッシュパラメータ、ランクの数、チャンネルの数、前記ＮＶＲＡＭの読出し再試行（ｒｅａｄ  ｒｅｔｒｙ）パラメータ、単一レベル及びマルチレベルのセルモードスイッチ、消去電圧、及びプログラミング電圧を含むことを特徴とする電力消費を制御するシステム。
【請求項２】
前記プロセッサ及び前記複数のメモリの内の少なくとも１つは、電力を測定するよう構成される電力測定回路を含むことを特徴とする請求項１に記載の電力消費を制御するシステム。
【請求項３】
前記制御回路は、前記動作パラメータの内の１つ以上に基づいて、前記プロセッサ及び前記複数のメモリの内の少なくとも１つの電力消費を推定するよう、さらに構成されることを特徴とする請求項１に記載の電力消費を制御するシステム。
【請求項４】
前記制御回路は、第２電力制限を受信し、前記プロセッサ及び前記複数のメモリの前記複数の動作パラメータを反復的に変更して、前記電力消費が前記第２電力制限と同一であるか又はそれより低い動作状態下で、前記システムと関連した目標機能が最適化されるよう、さらに構成されることを特徴とする請求項１に記載の電力消費を制御するシステム。
【請求項５】
前記プロセッサは、前記制御回路を含むことを特徴とする請求項１に記載の電力消費を制御するシステム。
【請求項６】
電力消費を制御するシステムの方法において、
制御回路にて電力制限を受信する段階と、
前記制御回路によって、プロセッサ及び複数のメモリの電力消費を測定する段階と、
前記制御回路によって、前記プロセッサ及び前記複数のメモリの複数の動作パラメータを反復的に変更して、前記電力消費が前記電力制限と同一であるか又はそれより低い動作状態下で、前記システムと関連した目標機能を最適化する段階と、を有し、
前記制御回路によって、前記電力消費が前記電力制限以下である動作パラメータの状態の複数のセットのそれぞれを使用して前記プロセッサ及び前記複数のメモリを動作させる段階と、
前記制御回路によって、前記電力消費が前記電力制限以下である前記動作パラメータの状態の複数のセットのそれぞれについて前記目標機能の結果を計算する段階と、
前記制御回路によって、少なくとも２つの連続した最適化シークェンスの間、一定に維持された状態を有する動作パラメータを識別する段階と、
前記識別された動作パラメータを以後の少なくとも１つの最適化シークェンスに対して前記動作パラメータから除去する段階と、をさらに有し、
前記最適化シークェンスは、前記制御回路によって、前記電力制限を受信し、前記プロセッサ及び前記複数のメモリの電力消費を測定し、前記プロセッサ及び前記複数のメモリの複数の動作パラメータを反復的に変更して、前記電力消費が前記電力制限と同一であるか又はそれより低い動作状態下で、前記システムと関連した目標機能を最適化する工程であり、
前記目標機能は、前記システムの性能、耐久度、信頼性、入出力数、帯域幅、レイテンシ、容量、及びメモリの性能の内の少なくとも何れか一つであり、
前記プロセッサ及び前記複数のメモリの前記複数の動作パラメータの各々は、前記プロセッサの動作パラメータ、前記複数のメモリの中の第１メモリの動作パラメータ、及び前記複数のメモリの中の第２メモリの動作パラメータを含み、
前記プロセッサは、多重コアを有し、
前記プロセッサの動作パラメータは、前記プロセッサの、動的電圧、周波数スケーリングパラメータ、及び電力ゲーティングパラメータ、前記多重コアの活性化又は非活性化を含み、
前記複数のメモリは、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＮＶＲＡＭ（Ｎｏｎ−Ｖｏｌａｔｉｌｅ  ＲＡＭ）を含み、
前記複数のメモリの動作パラメータは、前記ＤＲＡＭの電力ゲーティング（ｐｏｗｅｒ  ｇａｔｉｎｇ）パラメータ、セルフリフレッシュパラメータ、ランクの数、チャンネルの数、前記ＮＶＲＡＭの読出し再試行（ｒｅａｄ  ｒｅｔｒｙ）パラメータ、単一レベル及びマルチレベルのセルモードスイッチ、消去電圧、及びプログラミング電圧を含むことを特徴とする電力消費を制御する方法。
【請求項７】
前記制御回路によって、第２電力制限を受信する段階と、
前記制御回路によって、前記プロセッサ及び前記複数のメモリの前記複数の動作パラメータを反復的に変更して、前記電力消費が前記第２電力制限と同一であるか又はそれより低い動作状態下で、前記システムと関連した目標機能を最適化する段階と、をさらに有することを特徴とする請求項６に記載の電力消費を制御する方法。
【請求項８】
前記動作パラメータ、前記目標機能、及び前記電力制限を反復的に変更する時に使用する少なくとも１つの反復方法を含むコマンドを受信する段階をさらに有することを特徴とする請求項６に記載の電力消費を制御する方法。
【請求項９】
前記制御回路によって前記最適化する段階は、前記制御回路によってＮｅｌｄｅｒ−Ｍｅａｄ方法及び調整下降方法の内の少なくとも一つに従って前記動作パラメータを反復的に変更する段階を含むことを特徴とする請求項６に記載の電力消費を制御する方法。
【請求項１０】
前記制御回路によって、前記動作パラメータの反複的変更を以前に最適化された動作状態の複数のセットに初期化する段階をさらに有することを特徴とする請求項９に記載の電力消費を制御する方法。
【請求項１１】
前記制御回路によって、前記動作パラメータの反複的変更を動作状態の任意セットに初期化する段階をさらに有することを特徴とする請求項９に記載の電力消費を制御する方法。
【請求項１２】
電力消費を制御するシステムにおいて、
複数の装置と、
前記複数の装置の各々に接続された制御回路と、を有し、
前記制御回路は、電力制限を受信し、前記複数の装置の各々に含まれるプロセッサ及び複数のメモリの電力消費を測定し、前記プロセッサ及び前記複数のメモリの複数の動作パラメータを反復的に変更して、前記電力消費が前記電力制限と同一であるか又はそれより低い動作状態下で、前記システムと関連した目標機能が最適化されるように構成され、
前記制御回路は、前記電力消費が前記電力制限以下である動作パラメータの状態の複数のセットのそれぞれを使用して前記プロセッサ及び前記複数のメモリを動作させ、
前記電力消費が前記電力制限以下である前記動作パラメータの状態の複数のセットのそれぞれについて前記目標機能の結果を計算し、
少なくとも２つの連続した最適化シークェンスの間、一定に維持された状態を有する動作パラメータを識別し、
前記識別された動作パラメータを以後の少なくとも１つの最適化シークェンスに対して前記動作パラメータから除去するように、さらに構成され、
前記最適化シークェンスは、前記制御回路によって、前記電力制限を受信し、前記プロセッサ及び前記複数のメモリの電力消費を測定し、前記プロセッサ及び前記複数のメモリの複数の動作パラメータを反復的に変更して、前記電力消費が前記電力制限と同一であるか又はそれより低い動作状態下で、前記システムと関連した目標機能を最適化する工程であり、
前記目標機能は、前記システムの性能、耐久度、信頼性、入出力数、帯域幅、レイテンシ、容量、及びメモリの性能の内の少なくとも何れか一つであり、
前記プロセッサ及び前記複数のメモリの前記複数の動作パラメータの各々は、前記プロセッサの動作パラメータ、前記複数のメモリの中の第１メモリの動作パラメータ、及び前記複数のメモリの中の第２メモリの動作パラメータを含み、
前記プロセッサは、多重コアを有し、
前記プロセッサの動作パラメータは、前記プロセッサの、動的電圧、周波数スケーリングパラメータ、及び電力ゲーティングパラメータ、前記多重コアの活性化又は非活性化を含み、
前記複数のメモリは、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＮＶＲＡＭ（Ｎｏｎ−Ｖｏｌａｔｉｌｅ  ＲＡＭ）を含み、
前記複数のメモリの動作パラメータは、前記ＤＲＡＭの電力ゲーティング（ｐｏｗｅｒ  ｇａｔｉｎｇ）パラメータ、セルフリフレッシュパラメータ、ランクの数、チャンネルの数、前記ＮＶＲＡＭの読出し再試行（ｒｅａｄ  ｒｅｔｒｙ）パラメータ、単一レベル及びマルチレベルのセルモードスイッチ、消去電圧、及びプログラミング電圧を含むことを特徴とする電力消費を制御するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はシステムにおける電力消費の制御に関し、特に、ストレージシステムにおいて電力消費を制御することのできる電力消費を制御するシステム及びその方法に関する。
【背景技術】
【０００２】
装置の電力消費は、商業及び消費者市場で主要メトリックになっている。
例えば、商業データセンタで冷却費用は全体費用の３分の１まで占める。
また、近来のデータセンササーバは、ＮＶＭｅ（Ｎｏｎ  Ｖｏｌａｔｉｌｅ  Ｍｅｍｏｒｙ  ｅｘｐｒｅｓｓ）装置のような高性能のＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）を採用している。
【０００３】
ＮＶＭｅ装置は、通常的に高性能のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）及び大容量のＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を含み、他のＳＳＤと比較してさらに高い性能を提供する。
このような高性能の装置はさらに多い電力を消費し、これはデータセンタ構成の電力消費の大部分を占める。
同様に、ラップトップのような消費者のモバイル装置も高性能のＳＳＤを採用し始めている。
電力消費は、モバイル装置が電源から分離されたとき（ＡＣ電源等を用いない、内蔵バッテリを使用するような場合）の主要な要因となっている。
ＳＳＤは、最大熱設計電力ＴＤＰ（Ｔｈｅｒｍａｌ  Ｄｅｓｉｇｎ  Ｐｏｗｅｒ）を含むことができる。
【０００４】
しかしながら、ＴＤＰは、装置にダメージが生じることを防止するために設計段階で設定される最大電力消費のスペックである。
温度がＴＤＰに到達すれば、温度をＴＤＰ以下に維持するために実行能力（ｐｅｒｆｏｒｍａｎｃｅ）が抑制されるという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許公開第２０１１−００４７３１６号明細書
【特許文献２】米国特許公開第２０１３−００９７４３３号明細書
【特許文献３】米国特許公開第２０１４−０１７３２４２号明細書
【特許文献４】米国特許公開第２０１４−０２８１６００号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上記従来のストレージシステムの装置における問題点に鑑みてなされたものであって、本発明の目的は、向上した最適化手段を具備し電力消費を好適に制御するシステム及びその方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためになされた本発明による電力消費を制御するシステムは、電力消費を制御するシステムにおいて、プロセッサと、複数のメモリと、前記プロセッサ及び前記メモリに接続される制御回路と、を有し、前記制御回路は、電力制限を受信し、前記プロセッサ及び前記複数のメモリの電力消費を測定し、前記プロセッサ及び前記複数のメモリの複数の動作パラメータを反復的に変更して、前記電力消費が前記電力制限と同一であるか又はそれより低い動作状態下で、前記システムと関連した目標機能（ｏｂｊｅｃｔｉｖｅ  ｆｕｎｃｔｉｏｎ）が最適化されるよう構成され、前記制御回路は、前記電力消費が前記電力制限以下である動作パラメータの状態の複数のセットのそれぞれを使用して前記プロセッサ及び前記複数のメモリを動作させ、前記電力消費が前記電力制限以下である前記動作パラメータの状態の複数のセットのそれぞれについて前記目標機能の結果を計算し、少なくとも２つの連続した最適化シークェンスの間、一定に維持された状態を有する動作パラメータを識別し、前記識別された動作パラメータを以後の少なくとも１つの最適化シークェンスに対して前記動作パラメータから除去するように、さらに構成され、前記最適化シークェンスは、前記制御回路によって、前記電力制限を受信し、前記プロセッサ及び前記複数のメモリの電力消費を測定し、前記プロセッサ及び前記複数のメモリの複数の動作パラメータを反復的に変更して、前記電力消費が前記電力制限と同一であるか又はそれより低い動作状態下で、前記システムと関連した目標機能を最適化する工程であり、前記目標機能は、前記システムの性能、耐久度、信頼性、入出力数、帯域幅、レイテンシ、容量、及びメモリの性能の内の少なくとも何れか一つであり、前記プロセッサ及び前記複数のメモリの前記複数の動作パラメータの各々は、前記プロセッサの動作パラメータ、前記複数のメモリの中の第１メモリの動作パラメータ、及び前記複数のメモリの中の第２メモリの動作パラメータを含み、前記プロセッサは、多重コアを有し、前記プロセッサの動作パラメータは、前記プロセッサの、動的電圧、周波数スケーリングパラメータ、及び電力ゲーティングパラメータ、前記多重コアの活性化又は非活性化を含み、前記複数のメモリは、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＮＶＲＡＭ（Ｎｏｎ−Ｖｏｌａｔｉｌｅ  ＲＡＭ）を含み、前記複数のメモリの動作パラメータは、前記ＤＲＡＭの電力ゲーティング（ｐｏｗｅｒ  ｇａｔｉｎｇ）パラメータ、セルフリフレッシュパラメータ、ランクの数、チャンネルの数、前記ＮＶＲＡＭの読出し再試行（ｒｅａｄ  ｒｅｔｒｙ）パラメータ、単一レベル及びマルチレベルのセルモードスイッチ、消去電圧、及びプログラミング電圧を含むことを特徴とする。
【０００８】
上記目的を達成するためになされた本発明による電力消費を制御する方法は、電力消費を制御するシステムの方法において、制御回路にて電力制限を受信する段階と、前記制御回路によって、プロセッサ及び複数のメモリの電力消費を測定する段階と、前記制御回路によって、前記プロセッサ及び前記複数のメモリの複数の動作パラメータを反復的に変更して、前記電力消費が前記電力制限と同一であるか又はそれより低い動作状態下で、前記プロセッサと関連した目標機能を最適化する段階と、を有し、前記制御回路によって、前記電力消費が前記電力制限以下である動作パラメータの状態の複数のセットのそれぞれを使用して前記プロセッサ及び前記複数のメモリを動作させる段階と、前記制御回路によって、前記電力消費が前記電力制限以下である前記動作パラメータの状態の複数のセットのそれぞれについて前記目標機能の結果を計算する段階と、前記制御回路によって、少なくとも２つの連続した最適化シークェンスの間、一定に維持された状態を有する動作パラメータを識別する段階と、前記識別された動作パラメータを以後の少なくとも１つの最適化シークェンスに対して前記動作パラメータから除去する段階と、をさらに有し、前記最適化シークェンスは、前記制御回路によって、前記電力制限を受信し、前記プロセッサ及び前記複数のメモリの電力消費を測定し、前記プロセッサ及び前記複数のメモリの複数の動作パラメータを反復的に変更して、前記電力消費が前記電力制限と同一であるか又はそれより低い動作状態下で、前記システムと関連した目標機能を最適化する工程であり、前記目標機能は、前記システムの性能、耐久度、信頼性、入出力数、帯域幅、レイテンシ、容量、及びメモリの性能の内の少なくとも何れか一つであり、前記プロセッサ及び前記複数のメモリの前記複数の動作パラメータの各々は、前記プロセッサの動作パラメータ、前記複数のメモリの中の第１メモリの動作パラメータ、及び前記複数のメモリの中の第２メモリの動作パラメータを含み、前記プロセッサは、多重コアを有し、前記プロセッサの動作パラメータは、前記プロセッサの、動的電圧、周波数スケーリングパラメータ、及び電力ゲーティングパラメータ、前記多重コアの活性化又は非活性化を含み、前記複数のメモリは、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＮＶＲＡＭ（Ｎｏｎ−Ｖｏｌａｔｉｌｅ  ＲＡＭ）を含み、前記複数のメモリの動作パラメータは、前記ＤＲＡＭの電力ゲーティング（ｐｏｗｅｒ  ｇａｔｉｎｇ）パラメータ、セルフリフレッシュパラメータ、ランクの数、チャンネルの数、前記ＮＶＲＡＭの読出し再試行（ｒｅａｄ  ｒｅｔｒｙ）パラメータ、単一レベル及びマルチレベルのセルモードスイッチ、消去電圧、及びプログラミング電圧を含むことを特徴とする。
【０００９】
また、上記目的を達成するためになされた本発明による電力消費を制御するシステムは、電力消費を制御するシステムにおいて、複数の装置と、前記複数の装置の各々に接続された制御回路と、を有し、前記制御回路は、電力制限を受信し、前記複数の装置の各々に含まれるプロセッサ及び複数のメモリの電力消費を測定し、前記プロセッサ及び前記複数のメモリの複数の動作パラメータを反復的に変更して、前記電力消費が前記電力制限と同一であるか又はそれより低い動作状態下で、前記システムと関連した目標機能が最適化されるように構成され、前記制御回路は、前記電力消費が前記電力制限以下である動作パラメータの状態の複数のセットのそれぞれを使用して前記プロセッサ及び前記複数のメモリを動作させ、前記電力消費が前記電力制限以下である前記動作パラメータの状態の複数のセットのそれぞれについて前記目標機能の結果を計算し、少なくとも２つの連続した最適化シークェンスの間、一定に維持された状態を有する動作パラメータを識別し、前記識別された動作パラメータを以後の少なくとも１つの最適化シークェンスに対して前記動作パラメータから除去するように、さらに構成され、前記最適化シークェンスは、前記制御回路によって、前記電力制限を受信し、前記プロセッサ及び前記複数のメモリの電力消費を測定し、前記プロセッサ及び前記複数のメモリの複数の動作パラメータを反復的に変更して、前記電力消費が前記電力制限と同一であるか又はそれより低い動作状態下で、前記システムと関連した目標機能を最適化する工程であり、前記目標機能は、前記システムの性能、耐久度、信頼性、入出力数、帯域幅、レイテンシ、容量、及びメモリの性能の内の少なくとも何れか一つであり、前記プロセッサ及び前記複数のメモリの前記複数の動作パラメータの各々は、前記プロセッサの動作パラメータ、前記複数のメモリの中の第１メモリの動作パラメータ、及び前記複数のメモリの中の第２メモリの動作パラメータを含み、前記プロセッサは、多重コアを有し、前記プロセッサの動作パラメータは、前記プロセッサの、動的電圧、周波数スケーリングパラメータ、及び電力ゲーティングパラメータ、前記多重コアの活性化又は非活性化を含み、前記複数のメモリは、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＮＶＲＡＭ（Ｎｏｎ−Ｖｏｌａｔｉｌｅ  ＲＡＭ）を含み、前記複数のメモリの動作パラメータは、前記ＤＲＡＭの電力ゲーティング（ｐｏｗｅｒ  ｇａｔｉｎｇ）パラメータ、セルフリフレッシュパラメータ、ランクの数、チャンネルの数、前記ＮＶＲＡＭの読出し再試行（ｒｅａｄ  ｒｅｔｒｙ）パラメータ、単一レベル及びマルチレベルのセルモードスイッチ、消去電圧、及びプログラミング電圧を含むことを特徴とする。
【発明の効果】
【００１０】
本発明に係る電力消費を制御するシステム及びその方法によれば、プロセッサやメモリの多重動作パラメータを反復的に変化させることにより、短い時間内に電力予算の範囲内で、システムの性能、システムの耐久度、システムの信頼性などの目標機能の最適化を遂行することができ、従って、ストレージシステムなどの動作効率が向上するという効果がある。
【図面の簡単な説明】
【００１１】
【図１Ａ】本発明の実施形態によるシステムの概略構成を示すブロック図である。
【図１Ｂ】本発明の実施形態による制御回路の動作概念図である。
【図２Ａ】本発明の多様な実施形態による反復の概念を説明するための図である。
【図２Ｂ】本発明の多様な実施形態による反復の概念を説明するための図である。
【図２Ｃ】本発明の多様な実施形態による反復の概念を説明するための図である。
【図２Ｄ】本発明の多様な実施形態による反復の概念を説明するための図である。
【図２Ｅ】本発明の多様な実施形態による反復の概念を説明するための図である。
【図２Ｆ】本発明の多様な実施形態による反復の概念を説明するための図である。
【図３】本発明の他の実施形態による揮発性及び不揮発性メモリを具備したシステムの概略を示すブロック図である。
【図４】本発明の他の実施形態による電力測定器を具備したシステムの概略を示すブロック図である。
【図５】本発明の他の実施形態によるシステムの概略を示すブロック図である。
【図６】本発明の他の実施形態によるシステムの概略を示すブロック図である。
【図７】本発明の実施形態による反複の技術を説明するためのフローチャートである。
【図８】本発明の実施形態による反複の技術を説明するためのフローチャートである。
【図９】本発明の実施形態によるサーバの概略を示すブロック図である。
【図１０】本発明の実施形態によるサーバシステムの概略を示すブロック図である。
【図１１】本発明の実施形態によるデータセンタの概略を示すブロック図である。
【発明を実施するための形態】
【００１２】
次に、本発明に係る電力消費を制御するシステム及びその方法を実施するための形態の具体例を図面を参照しながら説明する。
【００１３】
本発明は、システムで電力消費を制御することに関する。後述する説明はこの分野に通常的な知識を有する者（以下、当業者）が実施形態を実施できるように提供する。
実施形態及び一般的な原則及び特性に対する多様な変更が可能なことは明白である。実施形態は主に具体的な具現化で提供される具体的な方法及びシステムの形態として説明する。
しかし、方法及びシステムは他の具現化でも有効に動作することができる。
“実施形態”、“一実施形態”、“他の実施形態”のような用語は多重の実施形態だけでなく、同一の実施形態を参照することができる。
実施形態は、特定の構成要素を具備したシステム、及び／又は装置を参照して説明する。しかし、システム、及び／又は装置は図に示したことより多いか、或いはそれより少ない構成要素を含むことができ、構成要素の多様な配置及びタイプの可変が本発明の技術的思想から遠くならなく実施することができる。実施形態は特定の段階を具備した具体的な方法を参照して説明する。しかし、方法及びシステムは異なる、及び／又は追加的な段階及び実施形態と一致しない異なる順序を有する段階を具備した他の方法にしたがって動作することもできる。したがって、実施形態は図に示した具体的な実施形態に限定されなく、説明された原理及び特性と一致する最も広い範囲に従う。
【００１４】
実施形態は、特定の構成要素を具備した具体的なシステムを参照して説明する。
他の及び／又は追加的な構成要素、及び／又は他の特性を具備したシステムの使用が実施形態と通じることは当業者に明確なことである。また、当業者は他の方法及びシステムが他の構造と一致することを理解することである。また、当業者は方法及びシステムが多重要素を具備したメモリシステム構造の使用に適用されることができることを理解することである。
ここで使用する用語、特に添付した請求範囲に使用する用語は開かれた意味に解析されることとして理解されることである。例えば、“含む”又は“包含する”の用語は“含むが、限定されない”と解析されるべきである。“具備した”又は“有する”の用語は“少なくとも具備した”又は“少なくとも有する”の意味に解析されるべきである。
ここで使用する用語「多重」（ｍｕｌｔｉｐｌｅ）は「複数の」（ｐｌｕｒａｌｉｔｙ）と同義で使用するものとする。
【００１５】
図１Ａは、本発明の実施形態によるシステムの概略構成を示すブロック図である。
図１Ａの実施形態では、システム１００は、ホスト１０２と接続される。
システム１００は、プロセッサ１０４、複数のメモリ１０６、及び制御回路１０８を含む。
【００１６】
一実施形態において、システム１００は、ストレージシステムを含むことができる。
例えば、ストレージシステムは、ＳＡＳ（Ｓｅｒｉａｌ  Ａｔｔａｃｈｅｄ  Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＳＡＴＡ（Ｓｅｒｉａｌ  ＡＴＡ）、ＮＶＭｅ（ＮｏｎＶｏｌａｔｉｌｅ  Ｍｅｍｏｒｙ  ｅｘｐｒｅｓｓ）、ファイバーチャンネル（ｆｉｂｅｒ  ｃｈａｎｎｅｌ）、イーサーネット（登録商標）、ＲＤＭＡ（Ｒｅｍｏｔｅ  Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）等のような通信インターフェイスを介してホスト１０２と接続されるように構成され得る。
【００１７】
他の実施形態として、システム１００はストレージシステムと異なってもよい。
ここで説明するように、システム１００は、電力消費に影響を与える多重動作パラメータを有する構成要素を具備したシステム及びシステムの少なくとも一部であり得る。
【００１８】
プロセッサ１０４は、汎用プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、アプリケーション特化集積回路、マイクロコントローラ、プログラム可能な論理装置、離散回路、又はこれらの組み合わせであってもよい。
プロセッサ１０４は、レジスタ、キャッシュメモリ、プロセッシングコア等のような内部部分、及びアドレス及びデータバスインターフェイス、インタラプトインターフェイス等のような外部インターフェイスを含む。
プロセッサ１０４のみを図に示しているが、多重プロセッサ（ｍｕｌｔｉｐｌｅ  ｐｒｏｃｅｓｓｏｒｓ）が存在し得る。
また、論理チップセット、ハブ、メモリ制御器、通信インターフェイス等のような他のインターフェイス装置がシステム１００の一部であり、プロセッサ１０４を内部又は外部構成要素と接続することができる。
【００１９】
メモリ１０６は、データを格納できる任意の装置である。
ここで、２つのメモリ１０６を図に示しているが、１つより多い数のメモリ１０６がシステム１００に提供され得る。
メモリ１０６の例は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）モジュール、ＤＤＲ（Ｄｏｕｂｌｅ  Ｄａｔａ  Ｒａｔｅ）、ＤＤＲ２、ＤＤＲ３、ＤＤＲ４のような多様な標準によるＤＤＲ  ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ  ＲＡＭ）、フラッシュ、ＳＴＴ−ＭＲＡＭ（Ｓｐｉｎ  Ｔｒａｎｓｆｅｒ  Ｔｏｒｑｕｅ  Ｍａｇｎａｔｏｒｅｇｉｓｔｉｖｅ  ＲＡＭ）又はＰＲＡＭ（Ｐｈａｓｅ−ｃｈａｎｇｅ  ＲＡＭ）等のような不揮発性メモリを含む。
【００２０】
制御回路１０８は、プロセッサ１０４及びメモリ１０６に接続される回路である。
制御回路１０８は、プロセッサ１０４と同様に、汎用プロセッサ、ＤＳＰ、アプリケーション特化集積回路、マイクロコントローラ、プログラム可能な論理装置、離散回路、又はこれらの組み合わせであってもよい。
以下で詳細に説明するように、制御回路１０８はプロセッサ１０４内に具現することができるが、本実施形態ではプロセッサ１０４と分離したものを図に示している。
【００２１】
制御回路１０８は、プロセッサ１０４及びメモリ１０６とインターフェイスで接続するための回路を含む。
例えば、制御回路１０８は、プロセッサ１０４及びメモリ１０６と共に共通バスに接続される。
他の実施形態として、制御回路１０８の入力及び出力は、プロセッサ１０４及びメモリ１０６に対応する入力及び出力に接続させるか、或いは中間装置に接続される。
例えば、制御回路１０８は、１つ又はそれより多いプロセッサ１０４及びメモリ１０６に電源電圧を供給するように構成される１つ又はそれより多い電圧レギュレータ（ｒｅｇｕｌａｔｏｒ）を制御するように構成してもよい。
他の実施形態として、制御回路１０８は、プロセッサ１０４及びメモリ１０６の通信インターフェイスに対応するＩ２Ｃ（Ｉｎｔｅｒ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）インターフェイスのようなインターフェイスを含んでもよい。
他の実施形態として、制御回路１０８は、プロセッサ１０４及びメモリ１０６の入力及び出力に直接接続されてもよい。
【００２２】
制御回路１０８は、プロセッサ１０４、及び／又はメモリ１０６と相互作用するように構成される。
より詳細には、制御回路１０８は、プロセッサ１０４及びメモリ１０６から電力情報を受信し、プロセッサ１０４及びメモリ１０６の多重動作パラメータに影響を与える。
例えば、制御回路１０８は、プロセッサ１０４、及び／又はメモリ１０６の電力消費を測定（又は推定）するよう構成される。
また、制御回路１０８は、プロセッサ１０４及びメモリ１０６の複数の動作パラメータを反復的に変更して、システムと関連した目的機能を電力消費が電力制限と同一であるか、又はそれより小さい動作状態に最適化する。
【００２３】
図１Ｂは、本発明の実施形態による制御回路の動作概念を示す図である。
図１Ａ及び図１Ｂを参照すると、制御回路１０８は、電力測定１１０を受信するよう構成される。
電力測定１１０は、プロセッサ１０４、及び／又はメモリ１０６の電力消費の測定（又は測定値）を示す。
例えば、電力測定１１０は、プロセッサ１０４及びメモリ１０６の各々に対する電力消費の測定（又は測定値）を含む。
【００２４】
制御回路１０８は、電力測定１１０を多様な方法にて受信する。
例えば、制御回路１０８は、プロセッサ１０４及びメモリ１０６への通信インターフェイス、直接接続を利用してプロセッサ１０４及びメモリ１０６の電力、温度、電流、及び／又は電圧の数値を読み出すことができる。
他の実施形態として、制御回路１０８は、プロセッサ１０４及びメモリ１０６の１つ以上の電力消費の測定を計算するように構成された算術論理ユニット（ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）又は他の回路を含む。
【００２５】
制御回路１０８は、電力制限１１２を受信するよう構成される。
例えば、制御回路１０８が別のマイクロコントローラを含めば、マイクロコントローラは通信バスを介して具体的な電力レベルを示す通信を受信する。
このような通信は、プロセッサ１０４から、又はシステム１００外部の装置から受信する。
電力制限１１２は、制御回路１０８の特定の回路にしたがって他の方法にて受信される。
一実施形態において、ホスト１０２で実行されるソフトウェアは、ＩＯＣＴＬ（Ｉｎｐｕｔ  Ｏｕｔｐｕｔ  ＣｏｎＴｒｏＬ）コールのようなシステムコール、又はシステム１００と関連したＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ）を介して現われた他のコールを発令する（ｉｓｓｕｅ）よう構成される。
【００２６】
このようなコールを通じて、ホスト１０２は電力制限を含むコマンドを伝送する。
例えば、コマンドは電力制限に対する値を含む。
他の実施形態として、コマンドは、時間又はクロック情報を電力予算（ｐｏｗｅｒ  ｂｕｄｇｅｔ）又は電力制限と関連をつけるルールのセット、スケジュール等を含む。
また、目標機能及び／又は他の追加的なことがコマンドに含まれる。
具体的な例として、コマンドの各々は、時間、電力制限、及び目標機能を含む多重エントリを含む。
したがって、ホスト１０２は、システム１００の電力制限を制御し、システム１００が従わなければならないルール又はスケジュール、及び目標機能を確立する。
【００２７】
制御回路１０８は、動作パラメータ１１４を出力するよう構成される。
動作パラメータ１１４は、プロセッサ１０４、及び／又はメモリ１０６のパラメータを示し、これらはプロセッサ１０４、及び／又はメモリ１０６の動作を変化させるために変更される。
例えば、動作パラメータ１１４は、性能、及び／又は電力消費に影響を与える制御されるプロセッサ１０４及びメモリ１０６のパラメータを含む。
具体的な例として、制御回路１０８は、プロセッサ１０４、及び／又はメモリ１０６のレジスタに記入されるように構成される。
他の実施形態として、制御回路１０８は、電圧レギュレータに制御信号を伝送して、電圧レギュレータがプロセッサ１０４及びメモリ１０６の内の１つ以上に他の電圧を出力するよう制御する。
【００２８】
上述したように、制御回路１０８は、プロセッサ１０４及びメモリ１０６の多重動作パラメータを反復的に変化させ、目標機能を最適化するよう構成される。
具体的には、このような最適化は、電力制限１１２と同一であるか、又はそれより低い動作パラメータの最適化された状態を利用するシステム１００の動作として遂行される。
このような最適化は実行時間（ｒｕｎ−ｔｉｍｅ）内に遂行される。したがって、目標機能は具体的な電力予算の規則内で最適化される。
【００２９】
目標機能は、最適化される状態の多様なことを示す。
例えば、目標機能は、システム１００の性能、システム１００の耐久度、システム１００の信頼性等を示す。
他の実施形態として、目標機能は、入力及び出力の数、帯域幅、レイテンシ、容量（ｃａｐａｃｉｔｙ）、又はシステム１００の他の側面を示す。
目標機能は、システム１００のすべての側面又はそれより少ない側面を示す。
例えば、目標機能は、メモリ１０６の性能又は他の側面を示す。システム１００の測定置は目標機能又は目標機能の一部として使用される。
【００３０】
一実施形態において、動作パラメータは、プロセッサ１０４の少なくとも１つの動作パラメータ、メモリ１０８の中で第１メモリの少なくとも１つの動作パラメータ、そしてメモリ１０８の中で第２メモリの少なくとも１つの動作パラメータを含む。
即ち、動作パラメータは、プロセッサ１０４及びメモリ１０６の各々からの動作パラメータを含む。
したがって、プロセッサ１０４及びメモリ１０６の各々の動作状態が変更され、目標機能及び電力消費に影響を与える。
他の実施形態として、プロセッサ１０４及びメモリ１０６の一部の動作パラメータは反複のために使用される。
例えば、プロセッサ１０４及びメモリ１０６の中で一部の動作パラメータは反復される。
他の実施形態として、プロセッサ１０４及びメモリ１０６の各々は反複される多重動作パラメータを有する。
【００３１】
多重動作パラメータは反復される。
特に、多重で動作可能な動作パラメータが変更されるので、解答を探すことが難しい。
特に、解答を探すことは、ＮＰ−ｈａｒｄ（Ｎｏｎｄｉｔｅｒｍｉｎｉｓｔｉｃ  Ｐｏｌｙｎｏｍｉａｌ  ｈａｒｄ）問題である。
したがって、動作パラメータを反復的に変化させることで、さらに短い時間内に実質的に最適の解答が達成される。
【００３２】
即ち、一部の実施形態では動作状態は最適状態であるが、他の実施形態で動作状態は与えられた目標機能に対し最適状態ではないこともあり得る。
しかし、動作状態はさらに短い時間内に達成され、実行時間内に最適の解答を検索することができる。
最適の解答を探すさらに短い時間によって、システム１００は電力制限１１２内で、動作の間に可変される電力制限１１２に対応することができ、目標機能を最適化することができる。
【００３３】
具体的な例として、電力制限１１２は１０Ｗに設定される。
より少ない数のアクティブなプロセッサ１０４又はより小さいサイズのメモリ１０６のようなより低い並列度は、より低い電力制限１１２を達成する。
また、ＳＬＣ（Ｓｉｎｇｌｅ  Ｌｅｖｅｌ  Ｃｅｌｌ）プログラムのようなメモリ１０６の異なる動作状態は、電力制限１１２を達成する。
目標機能は、使用されるべき技術を示す。
例えば、目標機能がベストパフォーマンス（最大性能）に対するものであれば、ＳＬＣプログラム構成が使用され、容量が減少される。
アクティブなプロセッサ１０４の数又はメモリ１０６の他の側面は並列度を減らすために変更することはできず、したがって性能が減少されないこともあり得る。
他の実施形態として、目標機能は、さらに高い容量を示すことができ、したがってより低い並列構成が使用され得る。
【００３４】
一実施形態において、目標機能は、特定の技術の使用、又は変更されるべきの特定の動作パラメータの明示を示さない。
上述した例の内の１つを利用して、目標機能は必ずＳＬＣプログラムが使用されることを明示する必要はない。
反対に、目標機能は電力制限１１２内で性能が最大化されることを示す。
使用される具体的なセルレベルプログラム技術を示す動作パラメータを含む動作パラメータの反複を通じて電力制限１１２内の最適の性能が達成される。
一部の実施形態では、動作パラメータはＳＬＣプログラムが使用されることを示し、他の実施形態では性能を最大化しながら、ＳＬＣプログラムを変更しなく、他の動作パラメータを変更することによって充分な量の電力が保存される。
【００３５】
具体的な例として、制御回路１０８は第１の電力制限１１２で動作した後、異なる第２の電力制限１１２を受信するよう構成される。
また、制御回路１０８は、プロセッサ１０４及びメモリ１０６の複数の動作パラメータを反復的に変更して、システムと関連した目的機能を電力消費が電力制限と同一であるか、又はそれより小さい動作状態に最適化する。
【００３６】
一実施形態において、目標機能の最適化は実行時間内に遂行される。
即ち、制御回路１０８は、システム１００が駆動している間に動作パラメータ１１４を反複するよう構成される。
新しい電力制限１１２を受信すれば、制御回路１０８は、システム１００が駆動している間に新しい電力制限１１２内で目標機能が再び最適化されるようにシステム１００の動作状態を変更する動作パラメータを反復する。
したがって、実行時間内に電力制限１１２は動的に変更され、これにしたがってシステム１００の動作が新しい電力制限１１２に適合するように変更される。
【００３７】
一実施形態において、制御回路１０８は、動作パラメータを持続的に反複するよう構成される。
例えば、制御回路１０８は、毎ミリ秒のような周期にしたがって最適化シークェンスを遂行するように構成される。
即ち、制御回路１０８は、毎ミリ秒毎に動作パラメータを反複して最適の状態を探す。
ミリ秒が例示的に言及されたが、他の時間区間が必要によって使用され得る。
例えば、最適の解答を探す予想時間が１０ｍｓであれば、最適化シークェンスは２０ｍｓ毎に反復される。
したがって、新しい電力制限１１２が設定されれば、制御回路１０８は新しい電力制限１１２内で反複を継続する。
【００３８】
他の実施形態として、制御回路１０８は、特定の状態に応答して反複するように構成される。
例えば、制御回路１０８は、開始時にスリープ状態から復帰した後、新しい電力制限１１２を受信した後に特定の時間区間の後に反複を開始するように構成される。
また、一実施形態において、電力制限１１２の効果は除去されなければ、減少することができる。
例えば、電力制限１１２が存在しないか、又はシステム１００が達成することができるより高い値に設定された状態でシステムが動作する。
【００３９】
したがって、ここで説明した最適化は、電力制限１１２に限定されない。
結果として、目標機能は、動作パラメータのみを利用して最適化される。
動作パラメータは、動作パラメータの全体範囲に掛けて反復される。
具体的な例として、目標機能は、電力消費に拘わらず寿命の最大化と関連される。
これによる動作パラメータのセットは、電力消費に拘わらず、性能を最適化する動作パラメータのセットと異なる。
寿命の最適化が電力消費と拘わらず、最適化される目標機能の例として使用したが、他の機能が使用されることもあり得る。
【００４０】
図２Ａ〜図２Ｆは、本発明の多様な実施形態による反復の概念を説明するための図である。
一実施形態において、異なる反復方法が動作パラメータを繰り返すのに使用される。
反復方法の例は、「Ｎｅｌｄｅｒ−Ｍｅａｄ」方法及び調整下降（ｃｏｏｒｄｉｎａｔｅ  ｄｅｓｃｅｎｔ）方法を含む。
しかし、他の反復方法も使用され得る。
【００４１】
「Ｎｅｌｄｅｒ−Ｍｅａｄ」方法が例示的に使用される。
「Ｎｅｌｄｅｒ−Ｍｅａｄ」方法は相対的に速く収束（ｃｏｎｖｅｒｇｅ）する反復方法である。
一実施形態において、経験的（ｈｅｕｒｉｓｔｉｃ）であるため、「Ｎｅｌｄｅｒ−Ｍｅａｄ」方法は、動作パラメータの最適のセットを常には提供しないが、提供される動作パラメータは、相対的に短い時間区間で獲得される十分によい解答である。
【００４２】
「Ｎｅｌｄｅｒ−Ｍｅａｄ」方法は“ｎ＋１”頂点（ｖｅｒｔｉｃｅｓ）を有する初期単信回線（ｓｉｍｐｌｅｘ）で開始し、“ｎ”は動作パラメータの数である。
頂点は動作パラメータのセットを示す。
以後、方法は、中間検索頂点（ｉｎｔｅｒｍｅｄｉａｔｅ  ｓｅａｒｃｈ  ｖｅｒｔｉｃｅｓ）に従う段階を反復する。
検索の最初で、動作パラメータの初期セットは、部分的に既存の最適解答に基づいて、収束に必要な時間を減らすことができる。
【００４３】
しかし、新しい及び／又は任意の動作パラメータのセットがローカルな最適化を回避するために追加される。
一実施形態として、１つのセットは、以前の最適解答に初期化され、他のセットは任意のセットに初期化される。
他の実施形態として、二つ以上のセットが以前の最適解答に初期化され、余りのセットが任意のセットに設定される。
【００４４】
図２Ａを参照すると、２つの動作パラメータを利用する最適化を例示的に説明する。
しかし、動作パラメータのどのような数も最適化され得る。
２つの動作パラメータが最適化されることによって、動作パラメータの３つのセット（２００、２０２、２０４）に対する目標機能が計算される。
目標機能の結果を計算することに加えて、３つのセット（２００、２０２、２０４）に対する電力消費が測定（又は推測）される。
【００４５】
図２Ｂで、最悪のセットが発見される。
ここで、最悪のセットはセット２００である。
残るセット（２０２、２０４）の重心（ｃｅｎｔｅｒ  ｏｆ  ｇｒａｖｉｔｙ）２０６が計算される。
図２Ｃで、最悪のセット２００が重心２０６に対して反射されて（ｒｅｆｌｅｃｔ）（鏡像位置に）新しいセット２０８が生成される。
目標機能は、新しいセット２０８に対して計算され、新しい電力消費が測定（又は推測）される。
【００４６】
図２Ｄで、新しいセット２０８が最悪のセットになる。
そうすると、重心２０６にさらに近い新しいセット２１０が生成される。
また、新しいセット２１０に対する目標機能が計算され、新しい電力消費が測定（又は推測）される。
一方、図２Ｅで、新しいセット２０８が目標機能に対してより最適な結果を有する場合、重心２０６からさらに遠く離れた新しいセット２１２が生成される。
再び、新しいセット２１２に対する目標機能が計算され、新しい電力消費が測定（又は推測）される。
【００４７】
図２Ｆで、セット（２２０、２２２、２２４）の初期グループが生成され、セット（２２０、２２２、２２４）に対する目標機能が計算され、新しい電力消費が測定（又は推測）される。
ここで、セット（２２０、２２２）の目標機能からの最適結果は、セット２２４の目標機能からの最適結果より低い。したがって、セット２２４にさらに近い新しいセット（２２６、２２８）が生成される。
そして再び、セット（２２６、２２８）に対する目標機能が計算され、新しい電力消費が測定（又は推測）される。
【００４８】
新しいセットを選択する具体的な技術を説明したが、他の技術が異なる順序にて使用され得る。
上述された例は、動作パラメータの反復の例を示すためのものであり、限定されない。
また、目標機能からの結果が特定のセットを使用するか、又は捨てるかを判別するのに使用されるが、このようなセットに対する電力測定が用いられても良い。
例えば、特定のセットに対する電力測定が現在の電力制限より大きければ、該当セットは最悪のセットとして扱われる。
他の実施形態として、すべてのセットが現在の電力制限より大きい電力測定を有すれば、電力測定が目標機能の結果の代わりに動作パラメータの新しいセットを決定するのに使用される。
即ち、最も高い電力測定を有するセットが新しいセットに代替される。
【００４９】
他の実施形態として、制御回路１０８は、多様な電力制限に対する予め決定された動作パラメータで構成される。
このような予め決定された動作パラメータが関連した電力制限より低い電力消費を誘発するが、予め決定された動作パラメータは与えられた目標機能に対する最適の動作パラメータではないこともあり得る。
したがって、予め決定された動作パラメータは、反複のための開始点に使用され、電力制限内の目標機能が最適化される。
【００５０】
図１Ａ及び図１Ｂを再び参照すると、一実施形態において、プロセッサ１０４は反複と関連したコマンドを受信するよう構成される。
例えば、ホスト１０２はプロセッサ１０４にコマンドを伝送する。
コマンドは、電力消費及び最適化と関連したシステム１００の多様な動作と関連する。
コマンドは、動作パラメータを反復的に変更する時に使用する反復方法を示す。
【００５１】
他の実施形態として、コマンドは最適化される目標機能を示す。
一実施形態において、動作パラメータの最適の状態が発見された後に目標機能はコマンドに応答して変更される。
反複は、新しい目標機能で継続される。
したがって、同一の電力制限１１２下でも、動作パラメータは目標機能の変化によって異なる最適状態に変更される。
【００５２】
他の実施形態として、コマンドは、上述した電力制限１１２を含む。
反複と関連したどのような態様もコマンドにて受信される。
一実施形態において、反復方法、目標機能等のような反複の一部側面は予め定まれる。
プロセッサ１０４にコマンドを伝送するホスト１０２を例として使用したが、他の実施形態として、コマンドは他の方法で通信され得る。
例えば、システム１００は、制御回路１０８からホスト１０２へのインターフェイスを含む。
したがって、ホスト１０２は、コマンドを制御回路１０８にさらに直接的に通信する。
【００５３】
図３は、本発明の他の実施形態による揮発性及び不揮発性メモリを具備したシステムの概略を示すブロック図である。
この例で、システム１００ａは、図１Ａのシステム１００と類似である。しかし、メモリ１０６は不揮発性メモリ１２０及び揮発性メモリ１２２を含む。
具体的な例として、システム１００ａは、不揮発性メモリ１２０が大容量ストレージ媒体であるＳＳＤとして動作する。
【００５４】
他の実施形態として、揮発性メモリ１２２はＤＲＡＭを含む。
ＤＲＡＭは電力ゲーティングパラメータ、セルフリフレッシュパラメータ、ランクの数、及びチャンネルの数のような動作パラメータを有する。
これらの各々は、目標機能の結果及び電力消費に対するＤＲＡＭの寄与に影響を与える。
不揮発性メモリ１２０は、ＮＡＮＤフラッシュメモリ、ＳＴＴ−ＭＲＡＭ、ＰＲＡＭ等のようなＮＶＲＡＭ（Ｎｏｎ−Ｖｏｌａｔｉｌｅ  ＲＡＭ）を含む。
ＮＶＲＡＭは、読出し再試行パラメータ、単一レベル／マルチレベルセルモードスイッチ、消去電圧、及びプログラム電圧のような動作パラメータを有する。
【００５５】
具体的には、ＮＡＮＤフラッシュ媒体は、非対称のレイテンシ及び電力消費特性を有する。
ＮＡＮＤセルは、読み出しより書き込み（プログラム）又は消去の時にさらに長い時間を必要とする。
また、読み出しは低い電圧動作（例えば、５Ｖ）を使用し、プログラム又は消去は高電圧（例えば、２０Ｖ又は−２０Ｖ）を必要とする。
また、読み出しの時に各ＮＡＮＤセルに対する感知手続と異なり、プログラム又は消去はフローティングゲートへの、又はフローティングゲートからの電荷の注入又は除去を必要とする。
ＦＮ（Ｆｏｗｌｅｒ−Ｎｏｒｄｈｅｉｍ）トンネリングは長い時間を必要とし、したがって、プログラム及び消去は絶対量の側面で読み出しより遅い。
【００５６】
ＮＡＮＤフラッシュ媒体は、ＮＡＮＤセル当たりに多重状態を格納するＭＬＣ（Ｍｕｌｔｉ−Ｌｅｖｅｌ  Ｃｅｌｌｓ）を使用する。
メモリセル当たりさらに高い情報密度によって、ＭＬＣは与えられたメモリでさらに多い論理的容量を提供する。
しかし、ＭＬＣは複雑な読み出し、プログラム及び消去メカニズムを誘発する。
ＭＬＣプログラムは、ＬＳＢ（Ｌｅａｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）及びＭＳＢ（Ｍｏｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ）プログラムの二つのフェーズで構成される。
【００５７】
プログラムは、閾値電圧の微細制御のため、段階的に増加する量の電荷を注入するＩＳＰＰ（Ｉｎｃｒｅｍｅｎｔａｌ  Ｓｔｅｐ  Ｐｕｌｓｅ  Ｐｒｏｇｒａｍ）を使用する。
また、ＭＬＣ  ＮＡＮＤはその他の非対称の特性、即ちさらに多い閾値レベル（ＳＬＣの１個と比較して３個である）によってＭＳＢプログラムはＬＳＢプログラムよりさらに多い時間を必要とし、閾値電圧を適切に設定するさらに微細な制御が使用される特性を誘発する。
多くのＮＡＮＤチップで、ＭＳＢプログラムはＬＳＢプログラムより１０倍ほどさらに遅い。
【００５８】
ＦＮトンネリングは、閾値電圧Ｖｔｈを移動することによって、論理“１”及び論理“０”の表現を可能にする。
これは格納する電荷Ｑに比例する。したがって、適切な電荷がフローティングゲートに対して注入又は流出されると、メモリセルの論理状態を定義する。
フローティングゲート内の電荷量は、閾値電圧Ｖｔｈを決定し、したがって閾値電圧Ｖｔｈが構成又はプログラムされる。
【００５９】
しかし、フローティングゲートと基板との間の酸化膜内の電荷トラップによって、セルの閾値電圧Ｖｔｈの劣化が発生する。
酸化膜内の電荷は、適切な電荷注入及び流出を妨害する。
したがって、コントロールゲートから測定される閾値電圧Ｖｔｈは両状態より高いことがあり得る。したがって、知能的（ｉｎｔｅｌｌｉｇｅｎｔ）プログラム／消去メカニズム、消去／プログラム動作は各セルが劣化されることによってさらに長い時間を消費する。
【００６０】
このような非対称な特徴に加えて、ＮＡＮＤ媒体及びその構造体は、プログラム及び消去におけるＮＡＮＤの高いレイテンシを隠すための並列性を導入し、このような並列性は多重プレーン、インターリーブ、及び多重チャンネル動作を含む。
並列性によって、多重ＮＡＮＤ動作が同時に実行され、異種（ｈｅｔｅｒｏｇｅｎｅｏｕｓ）の並列性が電力制限を合わせるのに適用される。
不揮発性メモリ１２０の多様な特性が説明した。このような特性の各々は、再構成が可能である。
不揮発性メモリ１２０は上述された動作と関連した多様な動作パラメータを有する。
【００６１】
プロセッサ１０４は、多様な動作パラメータを有する。
例えば、動作パラメータは、動的電圧及び周波数スケーリング（ＤＶＦＳ：Ｄｙｎａｍｉｃ  Ｖｏｌｔａｇｅ  ａｎｄ  Ｆｒｅｑｕｅｎｃｙ  Ｓｃａｌｉｎｇ）パラメータ及びプロセッサ１０４の電力ゲーティングパラメータを有する。
他の実施形態として、プロセッサ１０４は多重コアを有する。
他の実施形態として、多重プロセッサ１０４が提供され、アクティブなプロセッサ１０４の数が可変可能である。
【００６２】
具体的な例として、プロセッサ１０４は多様な供給電圧で動作可能である。
供給電圧は第１番目の動作パラメータである。
プロセッサ１０４の各々は、活性化及び非活性化される多重コアを含む。
動作コアの数は、第２番目の動作パラメータである。
揮発性メモリ１２２は、活性化及び非活性化される多数のランク及び可変可能な供給電圧を含む。
これらは２つの追加的な動作パラメータであってもよい。
不揮発性メモリ１２０は、ＳＬＣモード又はＭＬＣモードで動作可能である。
不揮発性メモリ１２０は、可変可能なプログラム電圧を有する。
セルモード及びプログラム電圧は追加的な２つの動作パラメータであってもよい。
【００６３】
上述したように、与えられた電力制限に対して動作パラメータが繰り返して目標機能を最適化する。
解答の例は、１．３５Ｖのプロセッサ１０４の供給電圧、４つのプロセッサコアの中で２つの活性化、揮発性メモリ１２２の１６ランクの中で１０ランクの活性化、１．１Ｖの揮発性メモリ１２２の供給電圧、不揮発性メモリ１２０のＳＬＣモード、不揮発性メモリ１２０の１０Ｖのプログラム電圧を含む。
【００６４】
具体的な例として、システム１００は、多重プロセッサ１０４、多重不揮発性メモリ１２０、及び多重揮発性メモリ１２２を含むＳＳＤである。
プロセッサ１０４は、高性能ＳＳＤの全体電力消費のより大きい部分を消費し、したがってプロセッサ１０４は電力消費を減らす候補としてみなされる。
同様に、ＤＲＡＭ及びＮＶＭ媒体は、電力減少の独立的な候補であり得る。
このような構成要素は、互いに組み合わされて不揮発性メモリ１２０の遅い書き込み特性及びＦＴＬ（Ｆｌａｓｈ  Ｔｒａｎｓｌａｔｉｏｎ  Ｌａｙｅｒ）オーバーヘッドを隠しながら、高性能を提供する。
【００６５】
このようなシステムは相対的に複雜であり、したがって各構成要素を制御する時に性能影響を予測することが相対的に難しい。
したがって、最低の性能低下を示しながら、最高の電力節減を導くような方法として構成要素や構成要素の動作パラメータを変更する方法は明白ではない。
ＳＳＤの複雜性によって、このような問題を解決することは難しく、長い時間を必要とする。
ここに説明するように動作パラメータを繰り返すことは許容可能な時間区間内にさらに最適の解答を導出する。
【００６６】
一実施形態において、制御回路１０８は、少なくとも２つの連続的な最適化シークェンスの間、一定に維持された状態を有する動作パラメータを識別し、識別された動作パラメータを少なくとも１つの未来の最適化シーケンスに対して動作パラメータから除去するように構成される。
例えば、制御回路１０８は、以前の最適化シークェンスからの結果、即ち最適化された解答に対する動作パラメータの状態を格納するよう構成されるメモリを含む。
【００６７】
多重最適化サイクルの間、多重最適解答が発見され、メモリに格納される。
下記に示す表１は、３つの最適化解答に対する動作パラメータの状態を示す。
これら各々は、最適化シークェンス以後の最適結果である。
【表１】
0006788420.tif 000002
【００６８】
この例で、最適化シークェンスの各々の以後に最適化解答の各々のメモリランクの数は同一である。
メモリランクは、一定に維持された動作パラメータとして識別される。
メモリランクを一定に維持された動作パラメータとして識別した結果としてメモリランクは少なくとも数回の未来の反復に対して反複される動作パラメータのグループから除去される。
この例で、新しい動作パラメータセットは「５」から「４」に減少する。
したがって、減少された次元によって、以後の最適化は最適化解答にさらに速く到達する。
これら特定の動作パラメータを例示的に使用したが、十分な最適化サイクル数の間、一定に維持された１つ以上の動作パラメータが除去の候補となる場合、任意の動作パラメータが決定のために分析される。
【００６９】
一実施形態において、制御回路１０８は、多様な動作パラメータを離散値に設定する。
制御回路１０８は、離散値をレジスタに書き込み、離散値を他の構成要素に通信し、動作パラメータを設定する。
例えば、ランクの数は整数のみに設定可能である。
他の実施形態として、プロセッサ電圧は整数ではない値に設定可能であるが、範囲内の離散ステップ値であり得る。
したがって、離散値が変化されなければ、動作パラメータは制御回路１０８によって一定として判別される。
【００７０】
他の実施形態として、制御回路１０８は、除去された動作パラメータを動作パラメータのセットに復元するよう構成される。
例えば、電力制限が変更された場合、予め定められた量の時間が経過すれば、システム１００ａの使用が変化すれば、反複される動作パラメータを示す制御回路１０８のメモリ内のフラッグを設定することによって、除去された動作パラメータが復元される。
システム１００ａの動作を変更する任意のイベントが除去された動作パラメータを復元するトリガーとして使用される。
【００７１】
図４は、本発明の他の実施形態による電力測定器を具備したシステムの概略を示すブロック図である。
一実施形態において、プロセッサ１０４及びメモリ１０６の少なくとも１つは電力を測定するよう構成される電力測定回路（ｐｏｗｅｒ  ｍｅｔｅｒ  ｃｉｒｃｕｉｔ：ＰＭ）１０３を含む。
本例では、プロセッサ１０４及びメモリ１０６の各々が電力測定回路１３０を含む。
【００７２】
電力測定回路（ＰＭ）１３０は多様な形態を有し得る。
例えば、熱センサ又は電力センサが具体的な装置として具現される。
増幅器、アナログデジタル変換器、バッファ、レジスタ等が、物理的影響を制御回路１０８で使用することができるデジタル化された値に変換するための電力測定回路（ＰＭ）１３０の一部である。
例えば、信号はセンサによって感知され、デジタル化され、レジスタに格納される。
レジスタは、電力測定回路（ＰＭ）１３０から電力を読み出すために、制御回路１０８によって読み出されるか、又はプロセッサ１０４によって読み出されて制御回路１０８と通信される。
【００７３】
電力測定回路（ＰＭ）１３０からの読み出しは正規化され、電力消費値に結合される。
したがって、動作の時に制御回路１０８は、動作パラメータの現在セットに対する電力測定を受信する。
動作状態の新しいセットが使用されれば、また別の電力測定が遂行される。
【００７４】
図１Ａを再び参照すると、この実施形態では、制御回路１０８は、動作パラメータの１つ以上に基づいてプロセッサ１０４及びメモリ１０６の少なくとも１つの電力消費を推定するよう構成される。
例えば、電力消費は動作パラメータから推定される。
また、電力消費はプロセッサ１０４及びメモリ１０６の使用から推定される。
具体的な例として、一定時間内の要請（ｒｅｑｕｅｓｔ）又は活動（ａｃｔｉｖｉｔｙ）の数がカウントされる。
動作パラメータ及びシステムの他の推定が個別的又は組み合わされて使用され電力測定（推定）を生成する。
他の実施形態として、図４の電力測定回路１３０と同様な電力測定器が他の装置で使用され、システム１００の一部装置に対し電力消費の推定に用いられる。
電力測定は、与えられた反複に対する電力消費と結合される。
【００７５】
図５は、本発明の他の実施形態によるシステムの概念図である。
この実施形態では、制御回路１０８はプロセッサ１０４の一部である。
例えば、上述した制御回路１０８の動作は、プロセッサ１０４で実行されるプログラムによって遂行される。
例えば、プロセッサ１０４は、プロセッサ１０４がメモリ１０６と通信することを可能にするよう構成される１つ以上のメモリバスインターフェイスを含む。
メモリバスインターフェイスを通じて、プロセッサ１０４はメモリの動作パラメータを設定するよう構成される。
また、プロセッサ１０４で実行されるプログラムは、プロセッサ１０４のレジスタにアクセス、又はプロセッサ１０４への電力供給システムにアクセスして、反復の間にプロセッサ１０４の動作パラメータを変更する。
【００７６】
図６は、本発明の他の実施形態によるシステムの概略を示すブロック図である。
この実施形態では、システム１００ｄは、図１Ａのシステム１００と同様である。
しかし、この実施形態では、システム１００ｄは、多重の装置（ｍｕｌｔｉｐｌｅ  ｄｅｖｉｃｅｓ）１０７を含む。
装置１０７の各々は、制御回路１０８によって変更される１つ以上の動作パラメータを有する。
制御回路１０８は、電力制限を受信し、装置の電力消費を測定し、そして装置の動作パラメータを反復的に変更して、システム１００ｄと関連した目標機能を電力消費が電力制限と同一であるか、又はそれより小さい動作状態に最適化する。
言い換えれば、メモリ１０６を参照して説明した電力制限内の最適化は、動作パラメータを構成できる一般的な装置にも適用され得る。
【００７７】
図７は、本発明の実施形態による反複の技術を説明するためのフローチャートである。
図１Ａ、図１Ｂ、及び図７を参照すると、まず、Ｓ６００段階で動作パラメータを特定な状態に設定する。
例えば、制御回路１０８は、プロセッサ１０４に対する供給電圧、第１メモリ１０６のランクの数、他のメモリ１０６のプログラム電圧を設定する。
制御回路１０８は、１つ以上の電圧レギュレータと通信して多様な電圧を設定し、第１メモリ１０６と通信してランクの数を設定する。
【００７８】
次に、Ｓ６０２段階で、電力消費を測定する。
例えば、制御回路１０８は、プロセッサ１０４及びメモリ１０６と通信して電力レジスタ、温度レジスタ等を読み出す。
制御回路１０８は、プロセッサ１０４及びメモリ１０６からの値を電力消費測定に組み合わせる。
【００７９】
次に、Ｓ６０４段階で、動作パラメータの現在状態に対する目標機能を計算する。
例えば、制御回路１０８は、プロセッサ１０４及びメモリ１０６と通信して目標機能に寄与する値を判別する。
例えば、プロセッサ１０４は、時間の経過にしたがって読み出し／書き込み要請、要請のレイテンシ等を追跡する。
データの収集は、プロセッサ１０４及びメモリ１０６によって遂行されるか、或いは制御回路１０８によって遂行されるか、或いはこれらの組み合わせによって遂行される。
制御回路１０８は、目標機能に対する値を取得する。
【００８０】
次に、Ｓ６０６段階で、制御回路１０８は、動作パラメータのセットの充分な数に対して測定が遂行されたか否かを判断する。
「いいえ」であれば、動作パラメータの他のセットが選択され、Ｓ６００段階に戻って設定が遂行され、Ｓ６０２段階で測定が遂行され、Ｓ６０４段階で計算が遂行される。
例えば、「Ｎｅｌｄｅｒ−Ｍｅａｄ」方法を使用する時、動作パラメータが変更された回数が１０であれば、測定は制御回路１０８によって動作パラメータ状態の１１セットに対して反復される。
【００８１】
充分な数のセットが測定されれば（Ｓ６０６段階で「はい」）、Ｓ６０８段階で制御回路１０８は最適状態の判断を遂行する。
例えば、制御回路１０８は、反復が最適状態に収束するか否かを判断する。
「いいえ」であれば、現行の反復方法にしたがって新しい反複が遂行されて、動作パラメータ状態の１つ以上のセットで測定が遂行される。
【００８２】
次に、Ｓ６１０段階で、動作パラメータ状態の最適セットが識別される（Ｓ６０８段階で「はい」）と、その他の最適シーケンスに対する初期セットに対する動作パラメータが設定される。
例えば、制御回路１０８は、動作パラメータ状態の初期セットの中で１つを以前の最適セットに設定し、他の初期セットを任意セットに設定する。
動作パラメータは再び反復される。
【００８３】
図８は、本発明の実施形態による反複の技術を説明するためのフローチャートである。
図１Ａ、図１Ｂ、及び図８を参照すると、本実施形態での方法は図７と同様である。
しかし、Ｓ６０８段階で動作パラメータの最適のセットが発見された後に動作パラメータの該当セット及び以前の最適セットが分析され、充分な数の最適化シークェンスの間、一定に維持された動作パラメータが１つ以上あるか否かを判断する。
そしてＳ６０８段階で「はい」であれば、該当パラメータは、Ｓ６１２段階で以後の反復に対して動作状態のセットから除去される。
例えば、制御回路１０８は、除去される動作パラメータを制御回路１０８のメモリに格納されたデータ構造で除去されたこととして表示する。
上述したように、反複はＳ６０８段階で継続される。
【００８４】
図１Ａ及び図１Ｂを再び参照すると、システム１００は、ホスト１０２に対する新しい制御メカニズムを許用する。
例えば、ホスト１０２は、システム１００に対する電力制限を変更する。
ホスト１０２は、装置の目標機能を変更する。
ホスト１０２で実行されるシステム管理ソフトウェアは、新しいシステムコール又は拡張されたシステムコールを実行して、システム１００のこのようなパラメータを変更する。
上述したように、システム１００はこのようなパラメータと関連したパラメータを受信する。
このようなシステムコールを通じて、ホスト１０２はコマンドを生成し、これらをシステム１００に伝送する。
【００８５】
図９は、本発明の実施形態によるサーバの概略を示すブロック図である。
この実施形態では、サーバ９００は独立（ｓｔａｎｄ−ａｌｏｎｅ）サーバ、ラック実装（ｒａｃｋ−ｍｏｕｎｔｅｄ）サーバ、ブレード（ｂｌａｄｅ）サーバ等を含む。
サーバ９００は、システム９０２及びプロセッサ９０４を含む。
プロセッサ９０４はシステム９０２と結合される。
１つのシステム９０２のみを図に示しているが、任意の数のシステム９０２が存在することができる。
システム９０２は、システム（１００、１００ａ、１００ｂ、１００ｃ、１００ｄ）等のような上述したシステムの中のいずれかであり得る。
例えば、システム９０２はＳＳＤである。ＳＳＤはサーバ９００に対するデータストレージを提供する。
【００８６】
図１０は、本発明の実施形態によるサーバシステムの概略を示すブロック図である。
この実施形態では、サーバシステム１０００は、多重のサーバ（１００２−１〜１００２−Ｎ）を含む。
サーバ（１００２−１〜１００２−Ｎ）の各々はマネージャ（ｍａｎａｇｅｒ）１００４に接続される。
サーバ（１００２−１〜１００２−Ｎ）の１つ以上は上述したサーバ９００と同様である。
マネージャ１００４は、サーバ（１００２−１〜１００２−Ｎ）及びサーバシステム１０００の他の構成要素を管理するよう構成される。
【００８７】
一実施形態において、マネージャ１００４は、サーバ１００２の電力消費を管理するよう構成される。
例えば、サーバ１００２の各々が上述したシステム（１００、１００ａ、１００ｂ、１００ｃ、１００ｄ）のようなシステムを含むので、マネージャ１００４はシステムと通信して電力制限を設定する。
具体的な例として、マネージャ１００４は、サーバシステム１０００の電力消費を減らして特定レベルの性能を維持するようシステム管理者（ａｄｍｉｎｉｓｔｒａｔｏｒ）によって構成される。
【００８８】
ＳＳＤのＴＤＰ（Ｔｈｅｒｍａｌ  Ｄｅｓｉｇｎ  Ｐｏｗｅｒ）のみで、マネージャ１００４は、サーバ（１００２−１〜１００２−Ｎ）のシステムをスリープ状態又は他の非活性状態に制御するオプションのみを有する。
しかし、本発明の実施形態によるシステムに電力制限及び動作状態の詳細な単位が達成される。
例えば、マネージャ１００４は、サーバ（１００２−１〜１００２−Ｎ）のプロセッサと通信してコマンドをサーバ（１００２−１〜１００２−Ｎ）のシステムに伝送し、電力制限を設定して目標機能を最適性能に設定する。
したがって、サーバシステム１０００のシステムは、動作パラメータを反復的に変更して、マネージャ１００４によって設定された具体的な電力制限内で性能を最適化する。
【００８９】
図１１は、本発明の実施形態によるデータセンタの概略を示すブロック図である。
この実施形態では、データセンタ１１００は、多重のサーバシステム（１１０２−１〜１１０２−Ｎ）を含む。
サーバシステム（１１０２−１〜１１０２−Ｎ）は、図１０を参照して説明したサーバシステム１０００と同様である。
サーバシステム（１１０２−１〜１１０２−Ｎ）は、インタ−ネットのようなネットワーク１１０４と結合される。
したがって、サーバシステム（１１０２−１〜１１０２−Ｎ）はネットワーク１１０４を通じて多様なノード（１１０６−１〜１１０６−Ｍ）と通信する。
例えば、ノード（１１０６−１〜１１０６−Ｍ）はクライアントコンピュータ、他のサーバ、遠隔データセンタ、ストレージシステム等である。
【００９０】
尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【００９１】
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ、９０２    システム
１０２    ホスト
１０４、９０４    プロセッサ
１０６    メモリ
１０７    装置
１０８    制御回路
１１０    電力測定
１１２    電力制限
１１４    動作パラメータ
１２０    不揮発性メモリ
１２２    揮発性メモリ
１３０    電力測定回路（ＰＭ）
９００    サーバ
１０００    サーバシステム
１００２−１〜１００２−Ｎ    サーバ
１００４    マネージャ
１１００    データセンタ
１１０２−１〜１１０２−Ｎ    サーバシステム
１１０４    ネットワーク
１１０６−１〜１１０６−Ｍ    ノード
【図１Ａ】
0006788420.tif 000003
【図１Ｂ】
0006788420.tif 000004
【図２Ａ】
0006788420.tif 000005
【図２Ｂ】
0006788420.tif 000006
【図２Ｃ】
0006788420.tif 000007
【図２Ｄ】
0006788420.tif 000008
【図２Ｅ】
0006788420.tif 000009
【図２Ｆ】
0006788420.tif 000010
【図３】
0006788420.tif 000011
【図４】
0006788420.tif 000012
【図５】
0006788420.tif 000013
【図６】
0006788420.tif 000014
【図７】
0006788420.tif 000015
【図８】
0006788420.tif 000016
【図９】
0006788420.tif 000017
【図１０】
0006788420.tif 000018
【図１１】
0006788420.tif 000019