(57)【特許請求の範囲】
【請求項１】
コンピューティング環境において、少なくとも１つのプロセッサによって少なくとも部分的に実行される、複数のショットで構成される入力ビデオを処理するステップを含む方法であって、該処理するステップは、該ショットが同一の場所で撮影されたかどうかを示すショット間の類似度を求めるステップ（３０６）と、背景を前景に対して強調するように該類似度を重み付けするステップと、ショット間の類似度に基づいて凝集クラスタリングを用いて全域エネルギー関数を最適化することにより、場所によってショットを共にクラスタリングするステップ（３１４）とを含む方法。
【請求項２】
前記全域エネルギー関数を最適化することは、ショットを共にクラスタリングするコストを表す最小全域木を処理するステップを含む請求項１に記載の方法。
【請求項３】
前記全域エネルギー関数は、時間事前確率項を含み、時間シーケンスにおける異なるクラスターにある近傍ショットにペナルティーを科すために該時間事前確率項を適用するステップをさらに含む請求項１に記載の方法。
【請求項４】
前記入力ビデオを複数のフレームのセットに分離するステップと、各フレームのセットから該セットを代表する前記１つ又は複数のショットとして少なくとも１つのキーフレームを選択するステップとをさらに含む請求項１に記載の方法。
【請求項５】
前記セットの前記キーフレームは、前記フレームのセット内の時間的に中心又は実質的に中心にあるフレームを含む請求項４に記載の方法。
【請求項６】
少なくとも１つのキーフレームを選択するステップは、前記フレームのセットから複数のキーフレームをサンプリングするステップを含み、該セットからサンプリングされた該複数のキーフレームを最初に共にクラスタリングするステップをさらに含む請求項４に記載の方法。
【請求項７】
前記ショット間の前記類似度を求めるステップは、該ショットの各々のテクストンヒストグラムを求めるステップを含む請求項１に記載の方法。
【請求項８】
前記ショット間の前記類似度を求めるステップは、該ショットの各々を代表するベクトルを計算するステップを含み、該ベクトルは、該ショット内の背景情報を該ショット内の前景情報に対して強調する請求項１に記載の方法。
【請求項９】
前記クラスタリングするステップは、クラスター対を選択するステップと、各対を結合された候補クラスターに結合するステップと、最小コストを有する該結合された候補クラスターを維持するステップと、１つ又は複数の終了基準を満たすまでクラスターをさらに結合するように繰り返すステップとを含む請求項１に記載の方法。
【請求項１０】
コンピューティング環境において、ショット対間の類似度スコア（１１４）に基づいて凝集クラスタリングを用いて全域エネルギー関数（１１８）を最適化することによりクラスタリングすることを含む、ビデオフレームを代表するショットを同様の場所を有するショットのクラスター（１０６）へとクラスタリングする、クラスタリングメカニズム（１０４）を備えるシステムであって、前記類似度スコアは背景を前景に対して強調するように重み付けされるシステム。
【請求項１１】
前記クラスタリングメカニズムは、ショット間の時間的整合性に基づいて前記全域エネルギー関数をさらに最適化する請求項１０に記載のシステム。
【請求項１２】
前記全域エネルギー関数は、類似度スコアデータ及び時間的整合性データの合計に基づいており、該全域エネルギー関数において、重み係数を用いて、該類似度スコアデータ及び時間的整合性データが互いに相対的に該合計に寄与する度合いを制御する請求項１１に記載のシステム。
【請求項１３】
前記クラスタリングメカニズムは、前記ショットを、重み付きのエッジを有する最小全域木のノードとして配置し、該重みは、それぞれのノードによって表される前記ショット間の前記類似度スコアに少なくとも部分的に基づく請求項１０に記載のシステム。
【請求項１４】
コンピューター実行可能な命令を有する１つ又は複数のコンピューター記憶媒体であって、該コンピューター実行可能な命令は、実行されると、
ショット境界検出に基づいてビデオをフレームのセットに分離するステップ（３０２）と、
各フレームのセットから少なくとも１つのキーフレームを選択するステップ（３０４）と、
各セットの１つ又は複数の前記キーフレーム間の類似度に基づき類似度スコアを計算するステップ（３０６）と、
背景を前景に対して強調するように前記類似スコアを重み付けするステップと、
キーフレームが他のキーフレームと時間的に整合するかどうかに基づき時間データを計算するステップ（３１４）と、
前記類似度スコア及び前記時間データを用いて、それぞれのキーフレームによって表されるショットを共にクラスタリングするステップ（３１４）と
を含むステップを実行する、１つ又は複数のコンピューター記憶媒体。
【請求項１５】
キーフレーム対の前記類似度スコア及び前記時間データは、コストに対応し、前記類似度スコア及び前記時間データを用いてショットをクラスタリングするステップは、クラスター対を選択するステップと、各対を結合された候補クラスターに結合するステップと、最小コストを有する該結合された候補クラスターを維持するステップと、１つ又は複数の終了基準を満たすまでクラスターをさらに結合するように繰り返すステップとを含む請求項１４に記載の１つ又は複数のコンピューター記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、場所によるビデオのクラスタリングに関する。
【背景技術】
【０００２】
[0001]例えば或る特定の所望のセグメントを選択するためにビデオを見る場合、場所は様々なタスクに有用な情報源となり得る。例えば、ユーザーは、子供の遊び部屋で撮ったホームビデオが、親戚に送りたい特定のシーンを含むことを思い出すことがある。そのため、その場所で撮ったビデオのビデオセグメント（又は代表画像）を速く見つけ出すことは有用であるだろう。一般にユーザーは、ビデオを場所によって閲覧又は検索し、場所に注釈を付け、及び／又は場所固有の編集物を作成したい場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
[0002]場所に基づくクラスタリングアルゴリズムは、このようなタスクにおいてユーザーを補助しようとするものである。しかし、場所に基づくクラスタリングアルゴリズムの１つの大きな難題は、単一の場所に存在する多様な外観である。例えば、或る家の同じ部屋内で撮ったビデオを考える。各ショットを撮った場所に関する視点によって、外観は多様であり得る。
【課題を解決するための手段】
【０００４】
[0003]本概要は、発明を実施するための形態においてさらに後述することになる代表的な概念のうちの選択したものを簡略化した形で導入すべく提供される。本概要は、特許を請求する主題の重要な特徴又は必須の特徴を特定することを意図せず、特許を請求する主題の範囲を限定するいかなる目的で使用することも意図しない。
【０００５】
[0004]簡単に言えば、本明細書中に記載する主題の様々な態様は、ビデオフレームを代表するショットを、例えば凝集クラスタリング（agglomerative clustering）を用いて全域エネルギー関数（global energy function）を最適化することにより、同様の場所を有することに基づいてクラスタリングする技術を対象としている。ショット対間の類似度スコア及びショット間の時間的整合性を示す値を計算する。全域エネルギー関数は、ショットの（相対的な寄与度について重み付けした）類似度スコアデータ及び時間的整合性データを合計する。一実施態様において、ショットは、重み付きのエッジ（枝、辺、edge）を有する最小全域木（minimum spanning tree）のノードによって表され、重みは、それぞれのノードによって表されるショット間の類似度スコアに少なくとも部分的に基づく。
【０００６】
[0005]凝集クラスタリングは、１つのショットを代表する１つのキーフレーム（又は同一のショットから取得した複数のキーフレーム）によりクラスターを初期化し、クラスター対を選択することによって行われる。各対を結合して１つの候補クラスターとし、最小コストを有する結合候補クラスターを新たなクラスターとして維持する。クラスター同士を、１つ又は複数の終了基準を満たす（例えば、或る数のクラスターのみが残る）まで繰り返し結合する。
【０００７】
[0006]他の利点は、以下の詳細な説明を図面と併せると明らかとなる。
[0007]本発明は、例示として図示され、添付の図面に限定されない。添付の図面において同様の参照番号は同様の要素を示す。
【図面の簡単な説明】
【０００８】
【図１】[0008]場所に基づいてビデオをクラスタリングする構成要素の例を示すブロック図である。
【図２】[0009]エネルギー関数によりモデル化した中間クラスターの表現である。
【図３】[0010]場所に基づいてビデオをクラスタリングするステップの例を示すフロー図である。
【図４】[0011]本発明の様々な態様を組み込むことができるコンピューティング環境の説明的な例である。
【発明を実施するための形態】
【０００９】
[0012]本明細書中で説明する技術の様々な態様は、一般に、例えば、クラスターコスト（データ項）及び時間事前確率（temporal prior）を含む全域エネルギー関数を最適化することによる、場所によるビデオのクラスタリングを対象としている。一態様において、クラスタリングは本明細書中で説明するように最適化され、これは、ショット及びショット間の距離測度の表現が決まった後に行われる。
【００１０】
[0013]本明細書中で説明する、場所によるクラスタリングは、「ホーム」ビデオに良好に機能するが、これはビデオの一種に過ぎないことを理解されたい。プロが撮影した、例えばテレビ又は映画で公開されるビデオもまた、場所によるクラスタリングがいつどこで行われるか（例えば、スタジオで、又は視聴者が個人的に収集した中で）に関係なく、本明細書中で説明する技術が同様に役立つことができる。そのため、本発明は、本明細書中で説明するいかなる特定の実施形態、態様、概念、構造、機能又は例にも限定されない。それどころか、本明細書中で説明する実施形態、態様、概念、構造、機能又は例はいずれも非限定的であり、本発明は、計算処理及びビデオ処理全般に利益及び利点を与える様々な方法で使用することができる。
【００１１】
[0014]図１は、場所によるビデオのクラスリングに関する様々な態様を示す。一般に、任意の適切なソースからの入力ビデオ１０２は、クラスタリングメカニズム１０４によってショットのクラスター１０６に処理される。この目的で、ショット分離器１０８はビデオ１０２を、１つ又は複数のフレームをそれぞれ含むショット１１０に分離する。一般に、ショット境界は、カメラがオフからオンになった時、又はさもなければ取り込み中のものが急激に変化した時に決定される。これは、既知の技術を含む任意の適切な検出手段によって達成することができ、例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｍｏｖｉｅ  Ｍａｋｅｒがそのような機能を提供する。
【００１２】
[0015]ショット１１０に分離されると、次に、図１において類似度計算メカニズム１１２によって表されるように、各ショットの間の類似度スコアが計算される。一実施態様において、ショット間の類似度は、後述する対毎の距離関数によって求められる。
【００１３】
[0016]一つの代替形態では、ショットを構成する一連のフレームのフレーム毎にスコアを計算する代わりに、ショットの中心フレームをキーフレームとして選択し、類似度の比較を行うことができる。別の代替形態として、固定サンプリングレート、例えば１０フレーム目毎にサンプリングすることによって、ショットのうちの或る削減した数のフレームを複数のキーフレームとして選択することができる（或る最小数のフレームより少ない場合は、おそらくは中心フレームを用いられる）。後述するように、単一のショットの複数のキーフレームを自動的にクラスタリングしてまとめることができる。様々なフレームに基づいてモザイクを計算することが可能であるが、（例えば人の）ズーム及び移動は、この手法では問題を呈することに留意されたい。
【００１４】
[0017]後に類似度を比較することのできるキーフレームの数値表現を確立するために、一実施態様は、例えばランダムにサンプリングされた５×５のパッチ及びｋ平均クラスタリング（k-means clustering）を用いてオフラインで構築された１２８個のテクストン（texton）を有するようなテクストンの語彙に対して評価するテクストンのヒストグラムを計算する。より詳細には、ショットのキーフレーム毎に、５×５のパッチを密なグリッドで抽出する。次に、各パッチを最も近いテクストンに割り当て、キーフレーム全体にわたって集約することにより、テクストンにわたるヒストグラムを作成する。一対のテクストンヒストグラム間の距離を計算して、これによりフレーム間の類似度を求めるには、既知のカイ二乗距離計算を用いることができる。代替形態は、潜在的ディリクレ割り当て（Latent Dirichlet Allocation）を用いることであることに留意されたい。
【００１５】
[0018]代替的なメカニズムを用いて類似度を求めることも可能であることに留意されたい。例えば、一つの代替的なキーフレーム間距離関数は特徴に基づく。既知の技法を用いてアフィン不変な特徴（affine invariant feature）のセットを見つける。視覚的な語を、（例えば約１００万個の葉ノードの）語彙木を用いて特徴により抽出した各画像パッチに割り当てる。画像間の類似度スコアは、よく知られた単語の出現頻度−逆文書頻度（term frequency-inverse document frequency：ＴＦ−ＩＤＦ）によるスコアリングの概念を用いて求められる。
【００１６】
[0019]Ｎ個のキーフレームの類似度スコアは、基本的に、図１に示されるようにスコアのグリッド１１４を形成する。後述するように、これらのスコアから、クラスターが生成され、最小全域木１１６のセットとして配置される。一般に、これらの最小全域木１１６は、全域エネルギー関数１１８によって処理されて、ショットのクラスター１０６が得られる。
【００１７】
[0020]一実施態様において、全域エネルギー関数１１８は、クラスターコスト（又はデータ）項及び時間事前確率項を含む２つの項を含む。
【００１８】
【数１】
0005404908.tif 000002
【００１９】
式中、ＥＣｌｕｓｔｅｒはクラスター（データ項）のモデルであり、ＥＴｅｍｐｏｒａｌは時間事前確率項であり、λは重みである。
[0021]クラスターモデルにおいて、同じ場所で撮影されたショットのセットは、特徴的な構造を有する可能性が高い。いくつかのショット対は根本的に異なる視点を有する場合がある一方、他のショット対は非常に似ている場合がある。しかし、全体的には、クラスターは、適度に密で良好に接続されていることが直感的に予期される。一般に、これらの概念は、クラスターコストＥＣｌｕｓｔｅｒに組み込まれている。
【００２０】
[0022]クラスタリングメカニズムは、既知の凝集クラスタリング技法を用いて式（１）の全域エネルギーＥＧｌｏｂａｌを最適化する。一般に、凝集クラスタリングはまず、各ショットを各自のクラスターに割り当てる。しかしながら、ショット毎に複数のキーフレームを許容する代替形態では、同一ショットのフレームが初めは同一クラスターを構成するようにクラスタリングアルゴリズムを初期化することに留意されたい。
【００２１】
[0023]初期化されると、クラスター対が繰り返し結合される。繰り返し毎に、２つのクラスターＣｉ及びＣｊの全ての可能な結合の全域コストへの変化を考慮し、最小の全域コストＥＧｌｏｂａｌとなる結合を用いる。これを続け、ショットを含む単一のクラスターのみが残った（又は何らかの他の数、例えば１０個のクラスターが残った）時点で終了する。言い換えれば、複数の最小全域木を計算することによって、視覚的なデータの構造をモデル化するクラスターコスト／データ項を得ることができる。最小全域木において、クラスターのモデルは、ｋ−１個の最小全域木を除去してｋ番目の最小全域木を計算した後の、ｋ番目の最小全域木の全長である（ここでｋはショット数に比例する）。
【００２２】
[0024]その結果、視覚的なデータにほとんど適用できない長く細いクラスター又は小さなクラスターの代わりに、（図２の中間クラスターのような）中間クラスターのモデルを、次式の中間クラスターに適したエネルギー関数の形で用いる。
【００２３】
【数２】
0005404908.tif 000003
【００２４】
式中、ＭＳＴは最小全域木を示し、ｋ＝α（｜Ｃｉ｜−１）は任意の所与のノードの近傍の数の分数（α∈  [０，１］）であり、
【００２５】
【数３】
0005404908.tif 000004
【００２６】
は再帰的な定義であり、これにより、Ｃｉｋ−１からＭＳＴのエッジを除去することによってＣｉｋ−１を計算することができる。すなわち、Ｃｉｋは、Ｃｉからｋ−１個のＭＳＴを順に除去した後に得られるグラフである。グラフが途切れる可能性を回避するためには、エッジを除去する代わりに、エッジをショットの一致スコアの最大値に置き換えることも可能であることに留意されたい。上述したように、２つのショット間の対毎の距離関数ｄ（ｓｔ１，ｓｔ２）は、クラスターＣｉにおける該ショット間のマッチングコスト、すなわち、時刻ｔ１及びｔ２における２つのショットｓｔ１及びｓｔ２のベクトル表現間の距離である。
【００２７】
[0025]パラメータαの値の選択は、クラスターをどの程度長く及び細くすることができるかに対する制御を与え、これにより、αの適切な値に対して、式（２）のクラスターコストは、長く細いクラスターではなく中間のクラスターを可能にする。部屋の異なる部分の外観は大きく異なる可能性があるため、クラスターは比較的長くなることが予期される。同時に、可能なカメラ視点及び同様の（好みの）視点を有する複数のショットの連続体が予期され、それによって、クラスターは、かなり密であるとも予期される。一実施態様では、α＝０．３の中間値を用いる。
【００２８】
[0026]時間事前確率項（重み係数としてのλを有するＥＴｅｍｐｏｒａｌ）に関して、以降のショットは、同一の場所を示す可能性がより高い。一般に、時間事前確率項は、ビデオ内の２つの以降のショットが同一の場所で撮影された可能性が、そうでない可能性よりも高い尤度に基づく。したがって、ビデオからの時間シーケンスにおける近傍ショットの各対が考慮され、異なるクラスターにある対毎にペナルティーが科され（例えば、図１の時間的一定性メカニズム１２０により）、他の場合には加算されない。
【００２９】
[0027]ビデオを同一の場所で撮影されたシーンに分割するために、以前は厳しい時間分割が試みられたが、ホームビデオの低い時間的整合性により、このような厳しい判定は不適切となる。その代わりに、穏やかな時間事前確率を用いて、より高い時間的整合性を結果に与える。
【００３０】
【数４】
0005404908.tif 000005
【００３１】
式中、δ（ｓｔ，ｓｔ＋１）は、ショットｓｔ及びｓｔ＋１が異なるクラスターにあるか否かを判定する指標関数（indicator function）である。
【００３２】
【数５】
0005404908.tif 000006
【００３３】
[0028]式（４）及び式（５）は、そのような時間的に近傍のショットが異なるクラスターに属する回数を数える。マルコフ確率場の用語では、これらの式は、異なる場所に生じた場合に近傍フレーム間にペナルティーが付加されたポッツモデルを説明する。
【００３４】
[0029]別の態様に目を向けると、場所によるクラスタリングの別の問題は、一時的な前景物体、主に時として或る場所に現われ、時として同一ショット内でその場所で動き回る人々の存在である。さらに、同じ服を着た同じ人々が多くの場合に異なる場所に現れ、テクストン／（潜在的ディリクレ割り当て）トピック（topic）距離及び特徴距離の両方の妨げとなる。このようなイベントは、ホームビデオ及びプロが編集したコンテンツの両方で生じる。
【００３５】
[0030]一実施態様において、ガウス事前確率（ガウス検出器の差）を用いて、前景ではなく背景である可能性が高い画像の部分に余分に重みを与えることができる。このようにして、例えば、ヒストグラムをガウス空間事前確率により重み付けすることができる。一般に、人々は画像の中央に来ることが多いため、中央には他の部分よりも少ない重みを与えることも可能である。
【００３６】
[0031]概略として、図３は、ビデオを処理して場所に基づくクラスターにする際のステップの例を示すフロー図である。ステップ３０２は、ビデオをショットに分離することを表し、ステップ２０４は、ショット毎の１つ又は複数のキーフレームの選択を表す。
【００３７】
[0032]ステップ３０６は、類似ショットを共にクラスタリングする際に用いる類似度スコアの計算を表す。ステップ３０８（オプションであるため、破線の枠で示す）は、背景の場所を強調することにより、ショット内の人々のような前景物体を明らかにするための重みの調整を表す。
【００３８】
[0033]ステップ３１０〜３１２は、クラスターの初期化を対象としている。一般に、フレームのセットのうちの１つのフレームを用いる場合、初めはクラスター毎に１つのキーフレームがある（ステップ３１１）。あるいは、クラスター毎に１つ又は複数のキーフレームがあり（ステップ３１２）、同一ショットからのフレームが共にクラスタリングされるようにする。
【００３９】
[0034]ステップ３１４は、上述したクラスターの結合を表す。一般に、クラスターのセットが与えられると、クラスターのあり得る各対を結合して、結合された候補クラスターとし、候補毎に（あらゆる時間事前確率ペナルティーを含む）結合コストを計算する。最小コストの結合された候補クラスターを維持する。
【００４０】
[0035]ステップ３１６は次に、何らかの１つ又は複数の終了基準を満たすまで繰り返しループバックすることにより、クラスター数を減らす。１つの例の終了基準は、或る特定の数の（最も少ない場合には１つの）クラスターが残るまで結合し、ユーザーが次に各クラスターを見て所望のショットの組を探せるようにすることを含む。例えば、ユーザーは、特定の部屋で撮ったビデオを素早く見つけることができる。ユーザーは、この終了数を変更する、例えば、ショットが望んだ通りにクラスタリングされていない場合は、戻ってクラスターの総数を増減することができるようにすることも可能である。別の例の基準は、特定のコストに達したことに基づくことができる。
【００４１】
[0036]ステップ３１８は、クラスタリングされたショットを出力する。これは、クラスター毎の代表画像（representative image）若しくは代表画像セット、又はビデオの一部若しくは全部とすることができることに留意されたい。各キーフレームは、共にクラスタリングされたキーフレームに対応するソースビデオにおいてアプリケーションがショットを素早く見つけることを可能にする適切な識別子等を有することができる。
例示的な動作環境
[0037]図４は、図１〜図３の例を実施することのできる適切なコンピューティング及びネットワーク環境４００の例を示す。このコンピューティングシステム環境４００は、適切なコンピューティング環境の一例に過ぎず、本発明の使用範囲又は機能に関する限定を示唆することを意図しない。また、コンピューティング環境４００は、例示的な動作環境４００に示した構成要素のいかなる１つ又は組み合わせに関するいかなる依存性又は要件も持つものとして解釈されるべきではない。
【００４２】
[0038]本発明は、様々な他の汎用又は専用のコンピューティングシステム環境又はコンピューティングシステム構成と共に動作する。本発明との使用に適した、よく知られたコンピューティングシステム、コンピューティング環境、及び／又はコンピューティング構成の例は、パーソナルコンピューター、サーバーコンピューター、ハンドヘルドデバイス又はラップトップデバイス、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブルコンシューマー電子機器、ネットワークＰＣ、ミニコンピューター、メインフレームコンピューター、上記システム又はデバイスのいずれかを含む分散コンピューティング環境等を含むが、これらに限定されない。
【００４３】
[0039]本発明は、コンピューターにより実行されるコンピューター実行可能命令、例えばプログラムモジュールの一般的な文脈で説明することができる。一般に、プログラムモジュールは、特定のタスクを行うか、又は特定の抽象的なデータ型を実施するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。本発明はまた、通信ネットワークにより接続された遠隔処理デバイスによりタスクを行う分散コンピューティング環境において実行することができる。分散コンピューティング環境において、プログラムモジュールは、メモリー記憶デバイスを含むローカル及び／又はリモートのコンピューター記憶媒体に配置することができる。
【００４４】
[0040]図４を参照すると、本発明の様々な態様を実施する例示的なシステムは、コンピューター４１０の形態の汎用コンピューティングデバイスを含むことができる。コンピューター４１０の構成要素は、処理装置４２０、システムメモリー４３０、及びシステムメモリーを含む様々なシステム構成要素を処理装置４２０へ結合するシステムバス４２１を含むが、これらに限定されない。システムバス４２１は、様々なバスアーキテクチャのいずれかを用いるメモリーバス又はメモリーコントローラ、周辺機器バス、及びローカルバスを含むいくつかの種類のバス構造のいずれかとすることができる。例として、非制限的に、このようなアーキテクチャは、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ電子規格協会（ＶＥＳＡ）ローカルバス、及びメザニンバスとしても知られる周辺機器相互接続（ＰＣＩ）バスを含む。
【００４５】
[0041]コンピューター４１０は通常、様々なコンピューター可読媒体を備える。コンピューター可読媒体は、コンピューター４１０によりアクセス可能な任意の利用可能な媒体とすることができ、揮発性媒体及び不揮発性媒体の双方、並びにリムーバブル媒体及び非リムーバブル媒体を含む。非限定的な例として、コンピューター可読媒体は、コンピューター記憶媒体及び通信媒体を含むことができる。コンピューター記憶媒体は、コンピューター可読命令、データ構造、プログラムモジュール又は他のデータ等の情報を記憶する任意の方法又は技術で実施される揮発性及び不揮発性のリムーバブル媒体及び非リムーバル媒体を含む。コンピューター記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー若しくは他のメモリー技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくは他の光学ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ若しくは他の磁気記憶デバイス、又は所望の情報を記憶するために用いることができ、コンピューター４１０によってアクセスできる任意の他の媒体を含むが、これらに限定されない。通信媒体は、通常、搬送波又は他の伝送メカニズム等の変調されたデータ信号中のコンピューター可読命令、データ構造、プログラムモジュール又は他のデータを具現化し、任意の情報搬送媒体を含む。「変調されたデータ信号」という用語は、信号に情報を符号化するように設定又は変更された特徴のうちの１つ又は複数を有する信号を意味する。非限定的な例として、通信媒体は、有線ネットワーク又は直接配線接続等の有線媒体、並びに音響、ＲＦ、赤外線及び他の無線媒体等の無線媒体を含む。上記のいずれかの組み合わせも、コンピューター可読媒体の範囲に含まれることができる。
【００４６】
[0042]システムメモリー４３０は、読み出し専用メモリー（ＲＯＭ）４３１及びランダムアクセスメモリー（ＲＡＭ）４３２等の揮発性及び／又は不揮発性メモリーの形のコンピューター記憶媒体を含む。コンピューター４１０内の要素間の、例えば起動時の情報の移送を助ける基本ルーチンを含む基本入出力システム４３３（ＢＩＯＳ）は通常、ＲＯＭ４３１に記憶される。ＲＡＭ４３２は通常、処理装置４２０が即座にアクセスでき、且つ／又は現在操作しているデータモジュール及び／又はプログラムモジュールを含む。非限定的な例として、図４は、オペレーティングシステム４３４、アプリケーションプログラム４３５、他のプログラムモジュール４３６及びプログラムデータ４３７を示す。
【００４７】
[0043]コンピューター４１０は、他のリムーバブル／非リムーバブルな揮発性／不揮発性コンピューター記憶媒体も含むことができる。例示のみを目的として、図４は、非リムーバブルな不揮発性磁気媒体に対して読み出し又は書き込みを行うハードディスクドライブ４４１、リムーバブルな不揮発性の磁気ディスク４５２に対して読み出し又は書き込みを行う磁気ディスクドライブ４５１、及びＣＤ  ＲＯＭ又は他の光学媒体等のリムーバブルな不揮発性の光学ディスク４５６に対して読み出し又は書き込みを行う光学ディスクドライブ４５５を示す。例示的な動作環境において用いることができる他のリムーバブル／非リムーバブルな揮発性／不揮発性コンピューター記憶媒体は、磁気テープカセット、フラッシュメモリーカード、デジタル多用途ディスク、デジタルビデオテープ、固体ＲＡＭ、固体ＲＯＭ等を含むが、これらに限定されない。ハードディスクドライブ４４１は通常、インタフェース４４０等の非リムーバブルメモリーンタフェースを介してシステムバス４２１に接続され、磁気ディスクドライブ４５１及び光学ディスクドライブ４５５は通常、インタフェース４５０等のリムーバブルメモリーンタフェースによってシステムバス４２１に接続される。
【００４８】
[0044]上述し図４に示したドライブ及びその関連するコンピューター記憶媒体は、コンピューター可読命令、データ構造、プログラムモジュール及び他のデータのストレージをコンピューター４１０に提供する。図４において、例えば、ハードディスクドライブ４４１は、オペレーティングシステム４４４、アプリケーションプログラム４４５、他のプログラムモジュール４４６及びプログラムデータ４４７を記憶するものとして示される。これらの構成要素は、オペレーティングシステム４３４、アプリケーションプログラム４３５、他のプログラムモジュール４３６、及びプログラムデータ４３７と同じであっても、異なっていてもよいことに留意されたい。オペレーティングシステム４４４、アプリケーションプログラム４４５、他のプログラムモジュール４４６、及びプログラムデータ４４７は、本明細書中では、少なくとも異なるコピーであることを示すために異なる符号を付す。ユーザーは、タブレット、又は電子デジタイザ４６４、マイク４６３、キーボード４６２、及び一般にマウス、トラックボール又はタッチパッドと呼ばれるポインティングデバイス４６１等の入力デバイスを介してコマンド及び情報をコンピューター４１０に入力することができる。図４に示さない他の入力デバイスとして、ジョイスティック、ゲームパッド、パラボラアンテナ、スキャナ等を含むことができる。これら及び他の入力デバイスは多くの場合、システムバスに結合されたユーザー入力インタフェース４６０を介して処理装置４２０に接続されるが、パラレルポート、ゲームポート又はユニバーサルシリアルバス（ＵＳＢ）等の他のインタフェース構造及びバス構造によっても接続されることができる。モニター４９１又は他のタイプのディスプレイデバイスも、ビデオインタフェース４９０等のインタフェースを介してシステムバス４２１に接続される。モニター４９１はまた、タッチスクリーンパネル等と一体化されることができる。モニター及び／又はタッチスクリーンパネルは、コンピューティングデバイス４１０が組み込まれるハウジングに、例えばタブレット型のパーソナルコンピューター内に物理的に結合することができることに留意されたい。さらに、コンピューティングデバイス４１０等のコンピューターは、出力周辺機器インタフェース４９４等を介して接続することができるスピーカー４９５及びプリンター４９６等の他の周辺出力デバイスも含むことができる。
【００４９】
[0045]コンピューター４１０は、リモートコンピューター４８０等の１つ又は複数のリモートコンピューターへの論理接続を用いたネットワーク環境で動作することができる。リモートコンピューター４８０は、パーソナルコンピューター、サーバー、ルーター、ネットワークＰＣ、ピアデバイス又は他の一般的なネットワークノードとすることができ、図４にはメモリーストレージデバイス４８１のみを示しているが、通常、コンピューター４１０に関して上述した要素の多く又は全てを含む。図４に示す論理接続は、１つ又は複数のローカルエリアネットワーク（ＬＡＮ）４７１及び１つ又は複数のワイドエリアネットワーク（ＷＡＮ）４７３を含むが、他のネットワークも含むことができる。このようなネットワーク環境は、オフィス、企業全体のコンピューターネットワーク、イントラネット及びインターネットで一般的なものである。
【００５０】
[0046]ＬＡＮネットワーク環境で用いる場合、コンピューター４１０は、ネットワークインタフェース又はネットワークアダプタ４７０を介してＬＡＮ４７１に接続される。ＷＡＮネットワーク環境で用いる場合、コンピューター４１０は通常、インターネット等のＷＡＮ４７３を介した接続を確立するためのモデム４７２又は他の手段を含む。内部又は外部とすることができるモデム４７２は、ユーザー入力インタフェース４６０又は他の適切なメカニズムを介してシステムバス４２１に接続することができる。インタフェース及びアンテナを備えるような無線ネットワークコンポーネント４７４は、アクセスポイント又はピアコンピューター等の適切なデバイスを介してＷＡＮ又はＬＡＮに結合されることができる。ネットワーク環境において、コンピューター４１０と関連して示されるプログラムモジュール又はその一部は、リモートメモリー記憶デバイスに記憶することができる。非限定的な例として、図４は、リモートアプリケーションプログラム４８５をメモリーデバイス４８１に存在するものとして示す。図示したネットワーク接続は例示的なものであり、コンピューター間の通信リンクを確立する他の手段を使用することができることが理解されるであろう。
【００５１】
[0047]（例えば、内容の補助表示のための）補助サブシステム４９９を、ユーザインタフェース４６０を介して接続することができ、コンピューターシステムの主要部分が低電力状態にあっても、プログラムの内容、システムの状態及びイベント通知等のデータをユーザーに提供することを可能にする。この補助サブシステム４９９は、モデム４７２及び／又はネットワークインタフェース４７０に接続して、メイン処理装置４２０が低電力状態にある間、これらのシステム間の通信を可能にすることができる。
結論
[0048]本発明は様々な変更及び代替構成が可能であるが、本発明の特定の例示的な実施形態を図面に示し、上記で詳細に説明してきた。しかし、本発明を開示した特定の形態に限定する意図はなく、反対に、本発明の精神及び範囲に入る全ての変更、代替構成、及び均等物を網羅することが意図されることを理解すべきである。
【図１】
0005404908.tif 000007
【図２】
0005404908.tif 000008
【図３】
0005404908.tif 000009
【図４】
0005404908.tif 000010