(57)【要約】  本発明は、ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するためのシステムおよび方法であって、（ａ）ストリーミングサーバ上で実行される一つないし複数のビデオストリームと、（ｂ）前記一つないし複数のビデオストリームの画像を、一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、キャプチャするための画像キャプチャソフトウェアコンポーネントと、（ｃ）ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機と、（ｄ）一つないし複数のルールの集合のうちの第２のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、（ｄ．１．）キャプチャした画像内の一つないし複数のオブジェクトまたは画像片を特定し、（ｄ．２．）前記キャプチャした画像内の前記オブジェクトまたは画像片を追跡し、（ｄ．３．）前記キャプチャした画像を、処理するためのエキストラレイヤソフトウェアコンポーネントと、（ｅ）前記エキストラレイヤソフトウェアコンポーネントによって処理された画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントと、（ｆ）一つないし複数のルールの集合の諸グループを前記画像キャプチャソフトウェアコンポーネント、前記エキストラレイヤソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントと、（ｇ）前記圧縮した画像をモバイル機器に送信するための送信機とを備えるシステムおよび方法に関する。本システムおよび方法はさらに、一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、（ａ）前記一つないし複数のビデオストリームの各画像内の一つないし複数のオブジェクトまたは画像片を特定し、（ｂ）前記一つないし複数のビデオストリームの前記各画像内の前記オブジェクトまたは画像片を追跡し、（ｃ）前記各画像を処理するための再レイアウトソフトウェアコンポーネントを含む。【特許請求の範囲】
【請求項１】
ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するためのシステムであって、
ａ．ストリーミングサーバ上で実行される一つないし複数のビデオストリームと、
ｂ．前記一つないし複数のビデオストリームの画像を、一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、キャプチャするための画像キャプチャソフトウェアコンポーネントと、
ｃ．ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機と、
ｄ．一つないし複数のルールの集合のうちの第２のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、
ｄ．１．キャプチャされた画像内の一つないし複数のオブジェクトまたは画像片を特定し、
ｄ．２．前記キャプチャされた画像内の前記オブジェクトまたは画像片を追跡し、
ｄ．３．前記キャプチャされた画像を処理する
ためのエキストラレイヤソフトウェアコンポーネントと、
ｅ．前記エキストラレイヤソフトウェアコンポーネントによって処理された画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントと、
ｆ．一つないし複数のルールの集合の諸グループを前記画像キャプチャソフトウェアコンポーネント、前記エキストラレイヤソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントと、
ｇ．前記圧縮された画像をモバイル機器に送信するための送信機と
を備えるシステム。
【請求項２】
ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するためのシステムであって、
ａ．ストリーミングサーバ上で実行される一つないし複数のビデオストリームと、
ｂ．ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機と、
ｃ．一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、
ｃ．１．前記一つないし複数のビデオストリームの各画像内の一つないし複数のオブジェクトまたは画像片を特定し、
ｃ．２．前記一つないし複数のビデオストリームの前記各画像内の前記オブジェクトまたは画像片を追跡し、
ｃ．３．前記各画像を処理する
ための再レイアウトソフトウェアコンポーネントと、
ｄ．モバイル機器の画面上に表示する前記対応する画像を一つないし複数のルールの集合のうちの第２のグループのルールにしたがってキャプチャするための画像キャプチャソフトウェアコンポーネントと、
ｅ．モバイル機器の画面上に表示する前記対応する画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントと、
ｆ．一つないし複数のルールの集合の諸グループを前記再レイアウトソフトウェアコンポーネント、前記画像キャプチャソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントと、
ｇ．前記圧縮された画像をモバイル機器に送信するための送信機と
を備えるシステム。
【請求項３】
前記画像がビデオゲームの画像であることを特徴とする請求項１または２のいずれか一項に記載のシステム。
【請求項４】
前記圧縮された画像が、前記モバイル機器で復元されてから当該モバイル機器の画面上に表示されることを特徴とする請求項１または２のいずれか一項に記載のシステム。
【請求項５】
各画像内の前記一つないし複数のオブジェクトまたは前記一つないし複数の画像片の追跡が、リアルタイムで実行されることを特徴とする請求項１または２のいずれか一項に記載のシステム。
【請求項６】
前記データソフトウェアコンポーネント内に格納された前記ルールの集合のグループまたは前記ユーザによって生成された前記一つないし複数のコマンドが、
ａ．前記モバイル機器の画面上に表示された前記一つないし複数の対応する画像内のオブジェクトまたは画像片の選択、
ｂ．前記一つないし複数の対応する画像内のオブジェクトまたは画像片の拡大または縮小、
ｃ．前記表示された画像の前記モバイル機器の画面内の任意の方向への移動、
ｄ．前記一つないし複数の対応する画像への一つないし複数の画像処理フィルタの適用、
ｅ．各対応する画像を圧縮するため、または該各対応する画像の一部を圧縮するための、一つないし複数の画像圧縮パラメータの決定
のうちの一つないし複数に関連するものであることを特徴とする請求項１または２のいずれか一項に記載のシステム。
【請求項７】
前記エキストラレイヤソフトウェアコンポーネントが、前記データソフトウェアコンポーネントにより提供された前記第２のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、一つないし複数の画像をさらにトリミングすることを特徴とする請求項１に記載のシステム。
【請求項８】
前記再レイアウトソフトウェアコンポーネントが、前記データソフトウェアコンポーネントにより提供された前記第１のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、一つないし複数の画像をさらにトリミングすることを特徴とする請求項２に記載のシステム。
【請求項９】
前記エキストラレイヤソフトウェアコンポーネントが、前記データソフトウェアコンポーネントにより提供された前記第２のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、各キャプチャされた画像のレイアウトを変更して前記モバイル機器の画面上に表示する対応する画像を生成することを特徴とする請求項１に記載のシステム。
【請求項１０】
前記再レイアウトソフトウェアコンポーネントが、前記データソフトウェアコンポーネントにより提供された前記第１のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、前記ビデオストリーム内の各画像のレイアウトを変更して前記モバイル機器の画面上に表示する対応する画像を生成することを特徴とする請求項２に記載のシステム。
【請求項１１】
ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するための方法であって、
ａ．ストリーミングサーバ上で実行される一つないし複数のビデオストリームを用意し、
ｂ．前記一つないし複数のビデオストリームの画像を、一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、キャプチャするための画像キャプチャソフトウェアコンポーネントを用意し、
ｃ．ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機を用意し、
ｄ．一つないし複数のルールの集合のうちの第２のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、
ｄ．１．キャプチャされた画像内の一つないし複数のオブジェクトまたは画像片を特定し、
ｄ．２．前記キャプチャされた画像内の前記オブジェクトまたは画像片を追跡し、
ｄ．３．前記キャプチャされた画像を処理する
ためのエキストラレイヤソフトウェアコンポーネントを用意し、
ｅ．前記エキストラレイヤソフトウェアコンポーネントによって処理された画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントを用意し、
ｆ．一つないし複数のルールの集合の諸グループを前記画像キャプチャソフトウェアコンポーネント、前記エキストラレイヤソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントを用意し、
ｇ．前記圧縮された画像をモバイル機器に送信するための送信機を用意する
ことを特徴とする方法。
【請求項１２】
ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するための方法であって、
ａ．ストリーミングサーバ上で実行される一つないし複数のビデオストリームを用意し、
ｂ．ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機を用意し、
ｃ．一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、
ｃ．１．前記一つないし複数のビデオストリームの各画像内の一つないし複数のオブジェクトまたは画像片を特定し、
ｃ．２．前記一つないし複数のビデオストリームの前記各画像内の前記オブジェクトまたは画像片を追跡し、
ｃ．３．前記各画像を処理する
ための再レイアウトソフトウェアコンポーネントを用意し、
ｄ．モバイル機器の画面上に表示する前記対応する画像を一つないし複数のルールの集合のうちの第２のグループのルールにしたがってキャプチャするための画像キャプチャソフトウェアコンポーネントを用意し、
ｅ．モバイル機器の画面上に表示する前記対応する画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントを用意し、
ｆ．一つないし複数のルールの集合の諸グループを前記再レイアウトソフトウェアコンポーネント、前記画像キャプチャソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントを用意し、
ｇ．前記圧縮された画像をモバイル機器に送信するための送信機を用意する
ことを特徴とする方法。
【請求項１３】
ビデオゲームの画像を提供することをさらに含む請求項１１または１２のいずれか一項に記載の方法。
【請求項１４】
前記モバイル機器に復元された画像をさらに含み、そして当該モバイル機器の画面上に該画像を表示することを特徴とする請求項１１または１２のいずれか一項に記載の方法。
【請求項１５】
各画像内の前記一つないし複数のオブジェクトまたは前記一つないし複数の画像片を、リアルタイムで追跡することをさらに含む請求項１１または１２のいずれか一項に記載の方法。
【請求項１６】
前記データソフトウェアコンポーネント内に格納された前記ルールの集合のグループまたは前記ユーザによって生成された前記一つないし複数のコマンドにおいて、
ａ．前記モバイル機器の画面上に表示された前記一つないし複数の対応する画像内のオブジェクトまたは画像片の選択、
ｂ．前記一つないし複数の対応する画像内のオブジェクトまたは画像片の拡大または縮小、
ｃ．前記表示された画像の前記モバイル機器の画面内の任意の方向への移動、
ｄ．前記一つないし複数の対応する画像への一つないし複数の画像処理フィルタの適用、
ｅ．各対応する画像を圧縮するため、または該各対応する画像の一部を圧縮するための、一つないし複数の画像圧縮パラメータの決定
のうちの一つないし複数に関連するものを提供することをさらに含む請求項１１または１２のいずれか一項に記載の方法。
【請求項１７】
前記エキストラレイヤソフトウェアコンポーネントによって、前記データソフトウェアコンポーネントにより提供された前記第２のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、一つないし複数の画像をさらにトリミングすることをさらに含む請求項１１に記載の方法。
【請求項１８】
前記再レイアウトソフトウェアコンポーネントによって、前記データソフトウェアコンポーネントにより提供された前記第１のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、一つないし複数の画像をさらにトリミングすることさらに含む請求項１２に記載の方法。
【請求項１９】
前記エキストラレイヤソフトウェアコンポーネントによって、前記データソフトウェアコンポーネントにより提供された前記第２のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、各キャプチャされた画像のレイアウトを変更して、前記モバイル機器の画面上に表示する対応する画像を生成することをさらに含む請求項１１に記載の方法。
【請求項２０】
前記再レイアウトソフトウェアコンポーネントによって、前記データソフトウェアコンポーネントにより提供された前記第１のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、前記ビデオストリーム内の各画像のレイアウトを変更して、前記モバイル機器の画面上に表示する対応する画像を生成することさらに含む請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モバイル機器上でゲームをプレイするための方法およびシステムに関する。より詳しくは、本発明は、もともとパーソナルコンピュータやプレイステーション（PlayStation  登録商標）など、大画面を使用するシステム上でプレイするものとして設計されたゲームを、ユーザが、ディスプレイの比較的小さいモバイル機器上でリアルタイムでプレイできるようにするための方法およびシステムに関する。
【０００２】
［定義、頭字語および略語］
本明細書を通じて、次の定義を用いる：
「ＤｉｒｅｃｔＸ」：マイクロソフト（Microsoft  登録商標）のプラットフォーム上で、マルチメディア関連のタスク、特にゲームプログラミングを扱うためのＡＰＩ（Application Programming Interfaces）の集まりである。マイクロソフトウィンドウズ（Microsoft Windows  登録商標）オペレーティングシステム用コンピュータゲームの開発に広く用いられている。
【０００３】
「カーネル（kernel）」：ほとんどのコンピュータのオペレーティングシステム（ＯＳ）の中心的なコンポーネントである。その担っている役割には、システムリソースの管理やハードウェアコンポーネントとソフトウェアコンポーネントとの間の通信が含まれる。オペレーティングシステムの基本的なコンポーネントとして、カーネルは、アプリケーションがその機能を果たすために制御しなければならないリソース（特に、メモリ、プロセッサおよび入出力デバイス）のための抽象化レイヤの最下層を提供している。
【特許文献１】国際公開（ＷＯ）第２００４／０５９９７９号
【特許文献２】米国（ＵＳ）特許出願公開第２００６／０００７３１８号
【特許文献３】米国（ＵＳ）特許出願公開第２００２／００９２０２９
【特許文献４】国際公開（ＷＯ）第２００５／１１６９２２号
【特許文献５】国際公開（ＷＯ）第２００５／０７５０３８号
【発明の背景】
【０００４】
この十年の間で、携帯電話やＰＤＡ（Personal Digital Assistant）等のモバイル機器の世界各地での使用が劇的に増加した。最近のモバイル機器は、様々なサイズの画像を撮像したり受信したりすることができる。また、ビデオフィルムやビデオクリップを撮影したり受信したり、テレビコンテンツを表示したりすることも可能であって、画像やビデオのデータをそのモバイル機器のディスプレイ上で閲覧可能とすることが必要とされている。また、携帯電話のようなモバイル機器上でゲームをプレイすることも非常にポピュラーになりつつある。
【０００５】
普通、モバイル機器のディスプレイの物理寸法は小さい。また、モバイル機器のディスプレイの備える画素数も比較的少ない。したがって、オリジナルの画像やビデオフィルムは通常大きすぎて小さなモバイル機器のディスプレイ上にはフルに表示することができない。そのため、ディスプレイにあわせて画像やビデオフィルムのサイズを小さくしなければならないが、それにはダウンスケーリングが必要である。画像中、関心の対象となる情報を含むのは、ほんの一部にすぎない場合もあるので、関心の対象となる領域を詳細表示するために、異なるレベルの拡大／縮小が必要となる。拡大は、たとえばアップスケーリングや補間法を用いて実行される。ダウンスケーリングおよびアップスケーリングは、エイリアス効果などの「ノイズ」を防ぐため、同等の品質のものとすべきである。しかし、先行技術には、ストリーミングビデオフィルムやビデオゲーム（ユーザのモバイル機器にリアルタイムでストリーミング配信されるもの）の画像を拡大および縮小することについて教示するものはない。
【０００６】
また、モバイルプラットフォームは、画像やビデオの処理および画質向上に割り当てられるメモリや処理のためのリソースの量に制限を設けている。大きな画像やビデオフィルムは大量のメモリや処理リソースを必要とするが、これらは、各画像またはビデオシーンの画素数に直接関係してくる。先行技術によれば、モバイル機器のディスプレイ上でビデオフィルムの大きな画像を閲覧することは、しばしば不可能なタスクとなる。少ないメモリや少ない処理リソースという課題に対する先行技術による解決手法は、モバイル機器上に表示される画像やビデオフィルムのサイズを制限することである。しかし、その場合、メモリや処理リソースが不足したときに、まったく表示できない画像やビデオフィルムがでてきてしまうことになる。また、オフラインで動作させるときには、画像やビデオフィルムを起動時にダウンスケールすることも可能である。復号中に画像やビデオフィルムのサイズを減小させることで、より大きな画像やビデオフィルムをモバイル機器のディスプレイ上に表示させることができる。しかし、この手法は、著しい遅延を伴うため、リアルタイムのアプリケーションには不向きである。
【０００７】
最近の技術動向にともない、様々な用途において、携帯電話やＰＤＡのようなモバイル機器がしばしばパーソナルコンピュータ（ＰＣ）に取って代わる場合がある。モバイル機器はますます高性能になっており、複雑なタスクを扱うことができる。また、ＰＣやプレイステーション（登録商標）の代わりにモバイル機器上でゲームをプレイするユーザもますます増加している。しかし、モバイル機器のディスプレイ寸法が小さいこと、および上述の諸問題のせいで、前記モバイル機器上でプレイされるものとして開発された従来のゲームは、画像／ビデオの品質が劣悪で、従来のＰＣやプレイステーション（登録商標）のゲームとは比較にならない。先行技術には、これらの欠点を克服する手段を提供するものはなく、特に、モバイル機器のユーザが、昨今ＰＣやプレイステーション（登録商標）上でプレイされている３Ｄ（三次元）ゲームのような最近のゲームをプレイすることができるようにするものはない。
【０００８】
モバイル機器上に画像またはビデオデータを表示するための解決手段としていくつかの手法が提案されてきた。たとえば、国際公開（ＷＯ）第２００４／０５９９７９号パンフレットには、カメラやビデオ店からフルフレーム画像として画像を受信するリモートクライアント（たとえば携帯電話クライアント）と通信するファイルサーバが開示されている。選択・圧縮プログラムによって、モバイルクライアントの比較的小さい画面上に、圧縮された画像を定義するビットストリームの送信内容を表示させ、ユーザが、仮想ズームおよびフレーム領域選択して閲覧することが可能である。他の特許出願としての米国（ＵＳ）特許出願公開第２００６／０００７３１８号明細書においては、監視カメラによって撮像された画像が、監視システムセンター装置内の画像データベースに格納されて、後で、完全な画像として携帯電話に送信される。そして、ユーザが携帯電話上に表示された画像をチェックして、拡大して表示したい対象があると判断したら、センター装置によって提供されているウェブページにアクセスして拡大表示メニューを表示するよう指示する。米国（ＵＳ）特許出願公開第２００２／００９２０２９には、リモートサーバから携帯型機器に画像を送信して、観視者たるヒトが送信された画像を携帯型機器のディスプレイ上で動的に閲覧することが開示されている。リモートサーバ上では、グラフィック画像を表すデータのマスター集合を処理して、当該グラフィック画像の一部を表すデータの第１部分集合を形成する。データは、携帯型機器に送信されてディスプレイ上に描画される。ユーザが、画像のさらに拡大したい部分を選択すると、マスターデータベースが再度処理にかけられて、当該画像の選択された部分を表すデータの第２部分集合を形成する。データの第２部分集合は、携帯型機器に送信されてディスプレイ上に描画される。
【０００９】
国際公開（ＷＯ）第２００５／１１６９２２号パンフレットは、ディスプレイ、メモリおよびビット画像処理手段ならびにビット画像を入力するための入力手段を含むモバイル機器のディスプレイ上で画像を閲覧するとともにその画質を向上させるための方法およびシステムに関する。ビット画像は、入力されると、前もって選択しておいたスケーリングアルゴリズムを用いて、２段階の縮小スケーリング処理にかけられる。表示されるビット画像は画質向上される。他の特許出願としての国際公開（ＷＯ）第２００５／０７５０３８号パンフレットは、ゲームに依存するユーザインターフェースを備える機器、たとえばゲームイベントの依存関係を変化させるよう構成されたユーザインターフェースを備える携帯電話などのモバイル機器に関する。この機器は、ユーザインターフェースと制御ユニットとを備え、該制御ユニットは、そのユーザインターフェースの変更可能なパラメータを含むとともにゲームを実行するためのゲームプラットフォームをさらに有する当該機器の動作を制御する。しかし、国際公開（ＷＯ）第２００５／０７５０３８号パンフレットによれば、ゲームの処理が実行されるのは当該機器上のみであり、該機器は高い処理リソースと大容量メモリ手段を備える必要があり、その要件が満たされなければ、該機器上で比較的高い品質のゲームをプレイすることはできない。
【００１０】
先行技術は、今に至るまで、小さな携帯型機器のディスプレイ上に高品質なビデオを表示するというニーズに応える手法を提供してこなかった。したがって、前記先行技術の欠点を克服するニーズが依然として存在する。
【００１１】
本発明は、ユーザが比較的小さなディスプレイを備えるモバイル機器上で高品質のビデオを再生またはゲームをプレイすることができるようにするための方法およびシステムを提供することを目的とする。高品質のビデオまたはゲームはさまざまに異なる配給元から提供されるものであってもよいのであり、たとえば、元来、大画面を利用するパーソナルコンピュータやプレイステーション（登録商標）などの機器で再生ないしプレイされることを前提に設計されたビデオストリームであってもよい。
【００１２】
また、本発明は、ユーザのモバイル機器上で表示される各画像内の一つないし複数のオブジェクトおよび／または画像片を特定し追跡するための方法およびシステムを提供することを目的とする。
【００１３】
さらに、本発明は、高い処理リソースと大容量メモリ手段を内蔵している必要のないモバイル機器上でゲームをプレイするための方法およびシステムを提供することを目的とする。
【００１４】
さらにまた、本発明は、ユーザがモバイル機器上でリアルタイムでゲームをプレイすることができるようにすることを目的とする。
【００１５】
本発明のさらなる目的は、モバイル機器上でゲームをプレイするユーザが、そのモバイル機器の画面上に表示する画像片およびオブジェクトを選択し、表示された画像片およびオブジェクトを拡大または縮小し、それらを当該モバイル機器画面内で任意の方向に移動し、画像の輝度レベルやガンマレベルやコントラクトレベルやフレームレートなどの制御のような各ゲーム画像上にさまざまな画像処理フィルタを適用することを制御することによって、当該ゲームを完全に制御することができるようにすることである。
【００１６】
また、ユーザフレンドリーな方法およびシステムを提供することも、本発明のさらなる目的である。
【００１７】
また、比較的安価に利用できる方法およびシステムを提供することも、本発明の目的である。
【００１８】
本発明の他の目的および利点は、以下の説明にしたがって明らかになるだろう。
【００１９】
［発明の概要］
本発明は、ユーザが比較的小さなディスプレイを備えるモバイル機器上でリアルタイムに、もともとパーソナルコンピュータやプレイステーション（登録商標）などで大画面を利用して再生ないしプレイされることを前提に設計されたビデオまたはゲームを、プレイすることができるようにするための方法およびシステムに関する。
【００２０】
以下、特に「ゲーム」について言及しつつ説明することとなるが、モバイル機器の画面のような小型画面上で扱うことが可能ないし望まれるビデオであればどのようなタイプのビデオであっても、本発明の利点を享受するものであって、本発明の範囲に含まれることは、当業者であれば理解されるであろう。
【００２１】
ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するためのシステムは、（ａ）ストリーミングサーバ上で実行される一つないし複数のビデオストリームと、（ｂ）前記一つないし複数のビデオストリームの画像を、一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、キャプチャするための画像キャプチャソフトウェアコンポーネントと、（ｃ）ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機と、（ｄ）一つないし複数のルールの集合のうちの第２のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、（ｄ．１．）キャプチャした画像内の一つないし複数のオブジェクトまたは画像片を特定し、（ｄ．２．）前記キャプチャした画像内の前記オブジェクトまたは画像片を追跡し、（ｄ．３．）前記キャプチャした画像を処理するためのエキストラレイヤソフトウェアコンポーネントと、（ｅ）前記エキストラレイヤソフトウェアコンポーネントによって処理された画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントと、（ｆ）一つないし複数のルールの集合の諸グループを前記画像キャプチャソフトウェアコンポーネント、前記エキストラレイヤソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントと、（ｇ）前記圧縮した画像をモバイル機器に送信するための送信機とを備える。
【００２２】
ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するためのシステムは、（ａ）ストリーミングサーバ上で実行される一つないし複数のビデオストリームと、（ｂ）ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機と、（ｃ）一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、（ｃ．１．）前記一つないし複数のビデオストリームの各画像内の一つないし複数のオブジェクトまたは画像片を特定し、（ｃ．２．）前記一つないし複数のビデオストリームの前記各画像内の前記オブジェクトまたは画像片を追跡し、（ｃ．３．）前記各画像を処理するための再レイアウトソフトウェアコンポーネントと、（ｄ）モバイル機器の画面上に表示する前記対応する画像を一つないし複数のルールの集合のうちの第２のグループのルールにしたがってキャプチャするための画像キャプチャソフトウェアコンポーネントと、（ｅ）モバイル機器の画面上に表示する前記対応する画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントと、（ｆ）一つないし複数のルールの集合の諸グループを前記再レイアウトソフトウェアコンポーネント、前記画像キャプチャソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントと、（ｇ）前記圧縮された画像をモバイル機器に送信するための送信機とを備える。
【００２３】
好ましくは、前記画像は、ビデオゲームの画像である。
【００２４】
好ましくは、前記圧縮された画像は、前記モバイル機器で復元されてから当該モバイル機器の画面上に表示される。
【００２５】
好ましくは、各画像内の前記一つないし複数のオブジェクトまたは前記一つないし複数の画像片の追跡は、リアルタイムで実行される。
【００２６】
好ましくは、前記データソフトウェアコンポーネント内に格納された前記ルールの集合のグループまたは前記ユーザによって生成された前記一つないし複数のコマンドは、（ａ）前記モバイル機器の画面上に表示された前記一つないし複数の対応する画像内のオブジェクトまたは画像片の選択、（ｂ）前記一つないし複数の対応する画像内のオブジェクトまたは画像片の拡大または縮小、（ｃ）前記モバイル機器の画面内の任意の方向への前記表示された画像の移動、（ｄ）前記一つないし複数の対応する画像への一つないし複数の画像処理フィルタの適用、（ｅ）各対応する画像を圧縮するため、または該各対応する画像の一部を圧縮するための、一つないし複数の画像圧縮パラメータの決定のうちの一つないし複数に関連するものである。
【００２７】
好ましくは、前記エキストラレイヤソフトウェアコンポーネントは、前記データソフトウェアコンポーネントにより提供された前記第２のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、一つないし複数の画像をさらにトリミングする。
【００２８】
好ましくは、前記再レイアウトソフトウェアコンポーネントは、前記データソフトウェアコンポーネントにより提供された前記第１のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、一つないし複数の画像をさらにトリミングする。
【００２９】
好ましくは、前記エキストラレイヤソフトウェアコンポーネントは、前記データソフトウェアコンポーネントにより提供された前記第２のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、各キャプチャされた画像のレイアウトを変更して前記モバイル機器の画面上に表示する対応する画像を生成する。
【００３０】
好ましくは、前記再レイアウトソフトウェアコンポーネントは、前記データソフトウェアコンポーネントにより提供された前記第１のグループの集合のルールにしたがって、または前記ユーザによって生成され前記受信機によって受信された前記一つないし複数のコマンドにしたがって、前記ビデオストリーム内の各画像のレイアウトを変更して前記モバイル機器の画面上に表示する対応する画像を生成する。
【００３１】
ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するための方法は、（ａ）ストリーミングサーバ上で実行される一つないし複数のビデオストリームを用意し、（ｂ）前記一つないし複数のビデオストリームの画像を、一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、キャプチャするための画像キャプチャソフトウェアコンポーネントを用意し、（ｃ）ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機を用意し、（ｄ）一つないし複数のルールの集合のうちの第２のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、（ｄ．１．）キャプチャされた画像内の一つないし複数のオブジェクトまたは画像片を特定し、（ｄ．２．）前記キャプチャされた画像内の前記オブジェクトまたは画像片を追跡し、（ｄ．３．）前記キャプチャされた画像を処理するためのエキストラレイヤソフトウェアコンポーネントを用意し、（ｅ）前記エキストラレイヤソフトウェアコンポーネントによって処理された画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントを用意し、（ｆ）一つないし複数のルールの集合の諸グループを前記画像キャプチャソフトウェアコンポーネント、前記エキストラレイヤソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントを用意し、（ｇ）前記圧縮された画像をモバイル機器に送信するための送信機を用意することを特徴とする。
【００３２】
ユーザのモバイル機器上で表示するビデオストリームの各画像内における一つないし複数のオブジェクトもしくは一つないし複数の画像片を特定して追跡するための方法は、（ａ）ストリーミングサーバ上で実行される一つないし複数のビデオストリームを用意し、（ｂ）ユーザによって生成された一つないし複数のコマンドを受信して、該コマンドをエキストラレイヤソフトウェアコンポーネントに転送するための受信機を用意し、（ｃ）一つないし複数のルールの集合のうちの第１のグループのルールにしたがって、そして前記受信機によって受信したユーザのコマンドにしたがって、モバイル機器の画面上に表示する対応する画像を生成するために、（ｃ．１．）前記一つないし複数のビデオストリームの各画像内の一つないし複数のオブジェクトまたは画像片を特定し、（ｃ．２．）前記一つないし複数のビデオストリームの前記各画像内の前記オブジェクトまたは画像片を追跡し、（ｃ．３．）前記各画像を処理するための再レイアウトソフトウェアコンポーネントを用意し、（ｄ）モバイル機器の画面上に表示する前記対応する画像を一つないし複数のルールの集合のうちの第２のグループのルールにしたがってキャプチャするための画像キャプチャソフトウェアコンポーネントを用意し、（ｅ）モバイル機器の画面上に表示する前記対応する画像を、一つないし複数のルールの集合のうちの第３のグループのルールにしたがって、圧縮するための圧縮ソフトウェアコンポーネントを用意し、（ｆ）一つないし複数のルールの集合の諸グループを前記再レイアウトソフトウェアコンポーネント、前記画像キャプチャソフトウェアコンポーネントおよび前記圧縮ソフトウェアコンポーネントに提供するためのデータソフトウェアコンポーネントを用意し、（ｇ）前記圧縮された画像をモバイル機器に送信するための送信機を用意することを特徴とする。
【００３３】
［好適な実施形態の詳細な説明］
図１Ａは、本発明の好適な実施形態による、ユーザが自身のモバイル機器上でリアルタイムでビデオゲームをプレイできるようにするためのシステムの概略説明図である。セルラーサービスプロバイダ１０５は、従来型のセルラーサービス（携帯電話の呼び出し、セルラー端末によるインターネット、ＳＭＳ（ショートメッセージサービス）など）をモバイル機器ユーザに提供するためのサーバ１１０と、該ユーザにゲームを提供するためのゲームサーバ１１５と、各ユーザのモバイル機器に、そのモバイル機器上でプレイするための該各ユーザによって選択された対応するゲームのサウンドおよび／または部分をアップロードするためのリソースサーバ１１４とを備える。
【００３４】
ゲームサーバ１１５は、携帯電話１２１、１４１、ＰＤＡ（Personal Digital Assistant）１３１等のユーザのモバイル機器上でプレイする一つないし複数のゲームのインスタンスを含む。自分のモバイル機器上でゲームをプレイしたいと考えるユーザは、ゲームサーバ１１５に接続し、望ましいゲームを選択する。そして、ユーザは、自身のモバイル機器上で選択したゲームをリアルタイムにプレイすることになるが、そのとき、該ゲームのインスタンスは、ストリーミングサーバである前記ゲームサーバ１１５上で物理的に実行されている。したがって、当該ユーザのモバイル機器は、高い処理リソースおよび大容量のメモリ手段を有するものでなくてもよい。
【００３５】
ゲームをプレイしている間の伝送帯域幅を節約するために、本発明の好適な実施形態によって、当該ゲームのサウンドおよび／または部分を、ゲームをプレイする前にリソースサーバ１１４によって各モバイル機器にアップロードする。ユーザが自身のモバイル機器上でプレイする望ましいゲームを選択すると、リソースサーバ１１４は、そのゲームのサウンドおよび／または部分のそのモバイル機器へのアップロードを開始する。したがって、ゲームをプレイするときには、利用可能な全伝送帯域幅がゲームサーバ１１５から対応するモバイル機器へのリアルタイムビデオストリームに割り当てられることになるので、ビデオ品質の向上が提供される。
【００３６】
ゲームサーバ１１５は、ユーザがゲームのプロセスを完全に制御することができるようにするための画像／オブジェクト検出追跡システム１１６を備える。自身のモバイル機器１２１のキーパッド１２３を使用してゲームをプレイするユーザは、該モバイル機器１２１の画面（ディスプレイ）１２２上に表示するゲームオブジェクトまたはゲーム画像片を選択し、その選択したオブジェクトまたは画像片を拡大／縮小したり、該モバイル機器の画面内で任意の方向へ移動したり、各ゲーム画像上へのさまざまな画像処理フィルタの適用を制御、たとえば、画像の輝度レベルやガンマレベルやコントラクトレベルやフレームレートなどを制御したりすることができる。
【００３７】
図１Ｂは、本発明の他の好適な実施形態による、ユーザが自身のモバイル機器上でリアルタイムでビデオゲームをプレイできるようにするためのシステムの他の概略説明図である。この好適な実施形態によって、ゲームサーバ１１５および／またはリソースサーバ１１４はセルラーサービスプロバイダ１０５からは分離され、ゲームプロバイダ１０６内に配置されている。セルラーサービスプロバイダ１０５は、そのユーザが自身のモバイル機器上でゲームをプレイすることができるようにするために、ゲームプロバイダ１０６のサービスを利用する。自分のモバイル機器上でゲームをプレイしたいユーザはゲームサーバ１１５に接続し、望ましいゲームを選択する。そして、ユーザは、自身のモバイル機器上で選択したゲームをリアルタイムにプレイすることになるが、そのとき、該ゲームのインスタンスは、前記ゲームサーバ１１５上で物理的に実行されている。選択したゲームのサウンドおよび／または部分は、ゲームをプレイする前にリソースサーバ１１４によって各モバイル機器にアップロードされる。
【００３８】
図１Ｃは、本発明の好適な実施形態による、モバイル機器上でゲームのプレイを開始する工程を示す概略フローチャートである。モバイル機器ユーザは、自身のモバイル機器上でプレイするゲームを、そのモバイル機器のキーパッドによって選択する。ゲームを選択すると、ユーザは選択サーバに自動的に接続され、この選択サーバが選択する対応するゲームサーバ１１５（図１Ａ）から、選択したゲームのビデオストリームがユーザのモバイル機器にさらに提供されることになる。たとえば、選択サーバは、選択されたビデオゲームをユーザのモバイル機器にストリーミング配信するためにゲームサーバ１を選択するものとする。すると、モバイル機器は、ゲームをプレイ開始する前に、選択したゲームのサウンドおよび／または部分をリソースサーバ１１４（図１Ａ）からダウンロードする。これは、ゲームをプレイしている最中に伝送帯域幅を節約するために実行することができる処理である。したがって、ゲームをプレイするときには、利用可能な全伝送帯域幅がゲームサーバ１１５から対応するモバイル機器へのリアルタイムビデオストリームに割り当てられることになるので、その結果ビデオ品質の向上が達成される。前記リソースサーバからの選択したゲームのサウンドおよび／または部分のダウンロードが完了すると、モバイル機器はゲームサーバ１１５にリアルタイムでゲームのビデオストリームを配信することを開始するよう指示し、ユーザがゲームをプレイ開始する。ゲーム中に、ユーザは、自身のモバイル機器のキーパッド上の一つないし複数のボタン（キー）を押すことによって、ゲームコマンド（たとえば、「左折せよ」「ジャンプせよ」「運転速度アップ」等）を入力する。そして、ゲームサーバ１１５は、ユーザのコマンドを受信して、それらを命令通りに処理する。
【００３９】
図２Ａは、本発明の好適な実施形態による、各モバイル機器上でのプレイ用に一つないし複数の従来型ＰＣ／プレイステーション（登録商標）ゲーム２０１を準備する工程を示す概略説明図である。従来型ＰＣ／プレイステーション（登録商標）ゲームはそれぞれ、モバイル機器上でプレイされる前に、（ゲーム／リソースサーバプロバイダの）ゲームプロバイダのゲームデザイナー１６１によって前処理される。ゲームデザイナー１６１は、各リアルタイムゲームをプレイするための一つないし複数のルールの集合を決定する。たとえば、ユーザのモバイル機器の比較的小さな画面上に表示するために全体画面内のオブジェクトまたは画像片を選択し、当該画像片を拡大／縮小し、表示された画像片を前記モバイル機器の画面上で任意の方向に移動し、各ゲーム画像に画像輝度レベル、ガンマレベル、コントラクトレベル、フレームレート等さまざまな画像処理フィルタを適用し、（ａ）画像全体の、または当該画像の一部の、所望の画質や（ｂ）前記各画像をエンコードするために割り当てられた利用可能な伝送帯域および利用可能なビット数などによって各ゲーム画像を圧縮するための圧縮パラメータを決定することなどに、所定のルールを関連付けることができる。ルールの集合のグループは、ゲームサーバ１１５（図１Ａ）内の既定データソフトウェアコンポーネント２３５内に格納されている。たとえば、ルールの集合のうちの第１のグループを、ゲームウィンドウサイズやフレームレート等を定義するなどのゲーム画像キャプチャに関連付けることができ、ルールの集合のうちの第２のグループを、各ゲーム画像に一つまたは複数の（画像の輝度、コントラスト、ガンマレベル等を定義する）画像処理フィルタを適用するなどの画像処理に関連付けることができ、ルールの集合のうち第３のグループを、各ゲーム画像を圧縮するための、または前記各画像の一部を圧縮するための対応する画像圧縮パラメータを決定することに関連付けることができる、などである。
【００４０】
前処理１７１は、従来型ＰＣ／プレイステーション（登録商標）ゲームを、対応するモバイル機器ゲーム（比較的小さな画面のモバイル機器上でプレイ可能なゲーム）に変換するために必要とされることに留意されたい。
【００４１】
図２Ｂは、本発明の好適な実施形態による、ゲームサーバ１１５内に配置された画像／オブジェクト検出追跡システム１１６の概略ブロック図である。画像／オブジェクト検出追跡システム１１６は、一つないし複数の従来型ＰＣ／プレイステーション（登録商標）ゲームインスタンスと、当該ゲームインスタンス２０１と通信するための（カーネル２０６およびＤｉｒｅｃｔＸ（またはＯｐｅｎＧＬ（Open Graphics Library）、ＧＤＩ（Graphics Device Interface）、ＧＤＩ＋等）２０７ソフトウェアコンポーネントを含む）従来型オペレーティングシステム（ＯＳ）ソフトウェアコンポーネント２０１と、各ゲームを処理およびレンダリングするための従来型グラフィックカード２０４と、ゲーム画像をキャプチャするための画像キャプチャソフトウェアコンポーネント２１０と、キャプチャされた画像内の一つないし複数のオブジェクトまたは特定の画像片を（ゲームをプレイしている時に）リアルタイムで決定し、当該オブジェクトまたは画像片をリアルタイムで追跡して該画像をそれにしたがって処理し、各ゲーム画像に一つないし複数の（画像輝度、コントラスト、ガンマレベル等を定義する）画像処理フィルタを適用するなど処理のためのエキストラレイヤソフトウェアコンポーネント２１５と、前記画像キャプチャソフトウェアコンポーネント、前記エキストラレイヤソフトウェアコンポーネント２１５および圧縮ソフトウェアコンポーネントに所定のルール（コマンド／インストラクション）の集合のグループを提供するための既定データソフトウェアコンポーネント２３５と、ユーザが自身のモバイル機器１２１のキーパッド１２３によって送信したコマンドを受信するための受信機２２０と、たとえばＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ−４（Moving Picture Experts Group）等の、従来のあるいは専用の圧縮標準によって、前記処理された画像を圧縮するための圧縮ソフトウェアコンポーネント２２５と、前記圧縮された画像をユーザのモバイル機器１２１に送信するための送信機２３０と、を備える。
【００４２】
元来コンピュータやテレビの大画面を利用するパーソナルコンピュータやプレイステーション（登録商標）等上でプレイされるよう設計された各ゲームは、比較的小さなディスプレイのユーザのモバイル機器上でプレイされる前に前処理される必要がある。ゲームをプレイするに先立ち、当該ゲーム内の各画像に対して、ルックアップテーブルまたはマップを構築し、エキストラレイヤソフトウェアコンポーネント２１５内に格納しておく。このルックアップテーブルまたはマップには、特定のオブジェクトまたは画像片の表現（たとえば、拡大／縮小したり、表示されたオブジェクトまたは画像片をモバイル機器画面内で任意の方向に移動したり、画像の輝度／コントラストレベル等を調整したり、等々）に関する考えられるすべてのコマンド（インストラクション）が含まれている。これらのインストラクションは、ユーザがゲームをプレイしている間に生成することができるものであるか、あるいは、前記エキストラレイヤソフトウェアコンポーネント２１５が生成することができるものである。ゲームをプレイしようと望むユーザは、ゲームサーバ１１５（図１Ａ）上に配置された画像／オブジェクト検出追跡システム１１６内でゲームインスタンスを起動する。そして、画像キャプチャソフトウェアコンポーネント２１０が、既定データソフトウェアコンポーネント２３５によって提供された所定ルールの集合のうちのあるグループのルールにしたがって、リアルタイムで対応する（従来型ＰＣ／プレイステーション（登録商標）ゲームインスタンス２０１の）ゲーム画像をキャプチャする。すると、エキストラレイヤソフトウェアコンポーネント２１５は、（画像キャプチャソフトウェアコンポーネント２１０によってキャプチャされた）各オリジナルゲーム画像内の一つないし複数のオブジェクトまたは特定の画像片を従来の画像／オブジェクト認識アルゴリズム／技法を用いることによって決定（検出）し、当該オブジェクトまたは画像片を既定データソフトウェアコンポーネント２３５からまたは受信機２２０を介してモバイル機器ユーザから受信したコマンド（ルール）にしたがって追跡し、各ゲーム画像に対して（たとえば、輝度、ガンマまたはコントラストレベル等を調整する等）さまざまな画像処理フィルタを適用して当該画像をひいてはそれにしたがって前記オブジェクトまたは画像片を処理する。エキストラレイヤソフトウェアコンポーネント２１５は、受信機２２０を介してモバイル機器ユーザから、および、既定データソフトウェアコンポーネント２３５から、の双方からコマンドを受信する。既定データソフトウェアコンポーネント２３５内に格納されたデータは、ゲームデザイナー１６１（図２Ａ）によって、ゲームをプレイする前に、前処理（あらかじめ定義）されたものであり、たとえば、ユーザのモバイル機器の比較的小さな画面上で表示するために画面全体の中のオブジェクトまたは画像片を選択すること、当該画像片を拡大／縮小し、表示された画像片を前記モバイル機器画面上で任意の方向に移動すること、各ゲーム画像に、前記画像の輝度レベルやガンマレベルやコントラクトレベル等、さまざまな画像処理フィルタを適用すること、各ゲーム画像を、（ａ）全体画像の、あるいは前記画像の一部の所望の画質や（ｂ）前記各画像をエンコーディングするために割り当てられた利用可能な伝送帯域幅および利用可能なビット数にしたがって圧縮するための圧縮パラメータを決定すること、等々に関するデータである。この所定の処理データは、モバイル機器ユーザが前記画像全体の中の一つないし複数のオブジェクトまたは画像片を自動的に検出し追跡できるようにするために、ゲームをプレイしている間に、（リアルタイムで）エキストラレイヤソフトウェアコンポーネント２１５内に入力される。その結果、元来、大型ディスプレイを利用するパーソナルコンピュータやプレイステーション（登録商標）等のために設計されたゲームを、比較的小さなディスプレイのモバイル機器上でプレイすることができる。また、既定データソフトウェアコンポーネント２３５によって提供された所定の処理データに基づき、エキストラレイヤソフトウェアコンポーネント２１５が元画像を、ユーザのモバイル機器画面上に表示する必須の画像片またはオブジェクトのみを残してトリミングすることができる。相対的に重要度の低い画像片またはオブジェクトは表示されなくてもよい。
【００４３】
たとえば、エキストラレイヤソフトウェアコンポーネント２１５が、ゲームプレイ中に、画像キャプチャソフトウェアコンポーネント２１０によってキャプチャされた画像であるゲーム画像内に、イベント（車の動き等）を検出し、当該イベントに関連する対応する画像片またはオブジェクトのＸ１、Ｘ２、Ｙ１、Ｙ２座標を既定データソフトウェアコンポーネント２３５から受信するものとする。そして、前記エキストラレイヤソフトウェアコンポーネント２１５は、前記Ｘ１、Ｘ２、Ｙ１、Ｙ２座標によって画定された矩形の画像片のサイズをユーザのモバイル機器画面にぴったり収まるように変更する。また、エキストラレイヤソフトウェアコンポーネント２１５は、当該矩形の画像片を、サイズ変更する前に、トリミングすることもできる。前記エキストラレイヤソフトウェアコンポーネント２１５は、Ｘ１、Ｘ２、Ｙ１、Ｙ２座標によって画定された前記矩形の画像片を比較的小さなモバイル機器画面上に表示するために、該画像片のレイアウトを変更する操作であれば、他のどんな操作も行うことができることに留意されたい。他の例を挙げれば、エキストラレイヤソフトウェアコンポーネント２１５は、ゲーム中に、既定データソフトウェアコンポーネント２３５から、前記Ｘ１、Ｘ２、Ｙ１、Ｙ２座標を、前記のＸ１、Ｘ２、Ｙ１、Ｙ２座標内のオブジェクトの位置を定義する追加のＸ３、Ｘ４、Ｙ３、Ｙ４座標とともに受信する。そして、エキストラレイヤソフトウェアコンポーネント２１５は、前記Ｘ１、Ｘ２、Ｙ１、Ｙ２座標によって画定された矩形画像片内の前記オブジェクトの位置を決定し、その後、前記矩形画像片のみを残して画像全体をトリミングする。そして、エキストラレイヤソフトウェアコンポーネント２１５は、その残された矩形画像片をユーザのモバイル機器画面にぴったり収まるようにサイズ変更する。さらに他の例を挙げると、エキストラレイヤソフトウェアコンポーネント２１５は、ゲーム中に、既定データソフトウェアコンポーネント２３５から画像全体の中のいくつかの画像片に関する座標の集合を受信する。そして、エキストラレイヤソフトウェアコンポーネント２１５は、画像全体の中の前記画像片をトリミングし、その後、既定データソフトウェアコンポーネント２３５から受信した対応するコマンドにしたがって、それらを結合（統合）する。最後に、エキストラレイヤソフトウェアコンポーネント２１５は、結合した画像を、ユーザのモバイル機器画面にぴったり収まるようにサイズ変更する。
【００４４】
ユーザは、たとえば、画像全体の中において、自身のモバイル機器画面上に表示するための画像片を選択し、該画像片を拡大／縮小して表示された画像片を前記モバイル機器画面上任意の方向に移動する等の、一つないし複数の対応するアクションを実行するために、自身のモバイル機器１２１のキーパッド１２３上の一つないし複数のボタンを押すことによって、画像／オブジェクト検出追跡システム１１６に指示する。（ゲームをプレイする）ユーザが、たとえば、特定の画像片を拡大したいと思い、自身のモバイル機器１２１のキーパッド１２３上の対応するボタンを押すと、エキストラレイヤソフトウェアコンポーネント２１５が、それにしたがって、（ユーザのモバイル機器画面上に表示された）画像のサイズを変更する。また、エキストラレイヤソフトウェアコンポーネント２１５は、ユーザから対応するコマンドを受信すると、前記エキストラレイヤソフトウェアコンポーネント２１５内に格納されているルックアップテーブルまたはマップの値にしたがって、画像全体をトリミングすることができる。そして、トリミングされた画像は、圧縮されてモバイル機器ユーザに送信される。
【００４５】
本発明の好適な実施形態により、各モバイル機器ゲーム画像は、ゲームデザイナー１６１（図２Ａ）によってオフラインで（ゲームをプレイする前に）あらかじめ定義され既定データソフトウェアコンポーネント２３５内に格納されたルールの集合のグループにしたがって、従来型ＰＣ／プレイステーション（登録商標）ゲーム画像を再レイアウトすることによって、生成することができる。前記ＰＣ／プレイステーション（登録商標）ゲーム画像内のオブジェクトおよび／または画像片は、比較的小さいモバイル機器画面上にぴったり収まるように、それらの元の場所から前記画像内の新しい場所に移転することができる。オブジェクトおよび／または画像片のあるものは前記ＰＣ／プレイステーション（登録商標）ゲーム画像から削除可能であり、特定の新しいオブジェクトおよび／または画像片を前記ＰＣ／プレイステーション（登録商標）ゲーム画像内に挿入可能である。その結果、モバイル機器画面上に表示することができる（対応するモバイル機器ゲームレイアウトを有する）モバイル機器ゲーム画像が生成される。
【００４６】
図２Ｃは、本発明の他の好適な実施形態による、ゲームサーバ１１５内に配置された画像／オブジェクト検出追跡システム１１６の他の概略ブロック図である。この好適な実施形態によれば、既定データソフトウェアコンポーネント２３５は、モバイル機器ゲームのレイアウトを比較的小さな画面を有するユーザのモバイル機器上に表示されるように定義するゲームデザイナー１６１（図２Ａ）によってあらかじめ定義されたルールの集合のグループをさらに含む。ルールは、前記一つないし複数の従来型ＰＣ／プレイステーション（登録商標）ゲームインスタンス２０１をエキストラレイヤソフトウェアコンポーネント２１５（図２Ｂ）と同様に前記ルールにしたがって処理する再レイアウトソフトウェアコンポーネントに提供される。前記ルールの集合のグループは、（モバイル機器上でプレイできる）モバイル機器ゲームの定義に関連するものであり、従来型ＰＣ／プレイステーション（登録商標）ゲームに関連するものではないことに留意されたい。前記再レイアウトソフトウェアコンポーネント２０２に対応するルールを提供することによって、ゲームデザイナー１６１は、ＤｉｒｅｃｔＸソフトウェアコンポーネント２０７により起動されるＡＰＩの呼び出しをフィルタリングし、呼び出しパラメータを変更して、前記ＤｉｒｅｃｔＸソフトウェアコンポーネント２０７により起動される新規の呼び出しを追加することにより、ゲーム画像／シーンを編集する（各画像内の画像片／オブジェクトを削除、変更または追加する）ことができる。
【００４７】
本発明の他の好適な実施形態によれば、既定データソフトウェアコンポーネント２３５から画像キャプチャソフトウェアコンポーネント２１０、エキストラレイヤソフトウェアコンポーネント２１５（図２Ｂ）、圧縮ソフトウェアコンポーネント２２５または再レイアウトソフトウェアコンポーネント２０２に提供されるルールは、リアルタイムで決定され、あらかじめ定義されない。
【００４８】
また、本発明の好適な実施形態によれば、エキストラレイヤソフトウェアコンポーネント２１５（図２Ｂ）を使用するときには、画像はバイナリ形式のビット画像として提供され処理されるものとすることができることに留意されたい。本発明の他の好適な実施形態によれば、再レイアウトソフトウェアコンポーネント２０２を使用するときには、画像は、ポリゴン形式で提供され処理されるものとすることができる。
【００４９】
図２Ｄは、本発明の好適な実施形態による、各モバイル機器にあらかじめ定義されたルールを適用する工程を示す概略説明図である。たとえば、携帯電話１２１のディスプレイは３２０×２４０ピクセルの解像度を有し、携帯電話１４１のディスプレイは１７６×２０２ピクセルの解像度を有すると仮定する。エキストラレイヤソフトウェアコンポーネント２１５（図２Ｂ）は、ユーザがゲームをプレイ開始したいと思ったときに、各モバイル機器に対して適切なルールをリアルタイムで選択する。したがって、携帯電話１２１に対しては、集合Ｓ１およびＳ２からルール２６１、２６３および２７１が選択され、携帯電話１４１に対しては、当該集合Ｓ１およびＳ２からルール２６２および２７２が選択される。ルールのあらかじめ定義された集合から適切なルール（たとえば、集合Ｓ１、Ｓ２およびＳ３）を選択することによって、（従来型ＰＣ／プレイステーション（登録商標）ゲームから変換された）各モバイル機器ビデオゲーム２２４が、異なるディスプレイ解像度を備えるさまざまなモバイル機器上でプレイ可能である。
【００５０】
本発明の好適な実施形態によれば、各モバイル機器ゲーム画像は、ゲームデザイナー１６１（図２Ａ）によって（ゲームをプレイする前に）オフラインであらかじめ定義され既定データソフトウェアコンポーネント２３５内に格納されたルールの集合のグループにしたがって、従来型ＰＣ／プレイステーション（登録商標）ゲーム画像を再レイアウトすることによって生成することができる。前記ＰＣ／プレイステーション（登録商標）ゲーム画像内のオブジェクトおよび／または画像片は、比較的小さなモバイル機器画面上にぴったり収まるように、当該画像内で、それらの元の位置から新しい位置に、配置換えすることができる。前記ＰＣ／プレイステーション（登録商標）ゲーム画像からいくつかのオブジェクトおよび／または画像片を削除することが可能であり、前記ＰＣ／プレイステーション（登録商標）ゲーム画像にいくつかの新しいオブジェクトおよび／または画像片を挿入することも可能である。その結果、モバイル機器画面上に表示できる（対応するモバイル機器ゲームレイアウトを有する）モバイル機器ゲーム画像が生成される。
【００５１】
図３Ａは、本発明の好適な実施形態による、ユーザが自身のモバイル機器上でゲームをプレイできるようにするためのサーバ側フローチャート３００である。ステップ３０５において、画像／オブジェクト検出追跡システム１１６は、ゲームを実行開始するためにモバイル機器ユーザからコマンドを受信する。そして、ステップ３１０で、画像キャプチャパラメータが再始動される。ゲームは、ステップ３１５において、ゲームサーバ１１５（図１Ａ）上で始動される（ゲームは物理的にゲームサーバ１１５上で実行される）。ゲームの各画像は、ステップ３２０で、画像キャプチャパラメータにしたがってキャプチャされる。そして、ステップ３２５において、ゲームの各キャプチャされた画像は、モバイル機器ユーザに送信される。ステップ３３０において、一つないし複数のコマンドをユーザからモバイル機器キーパッド１２３（図２）および受信機２２０（図２）を介して受信すると、エキストラレイヤソフトウェアコンポーネント２１５は、ステップ３３５で、当該一つないし複数のコマンドを分析し、ステップ３４５で、それにしたがって画像キャプチャパラメータを更新する。ステップ３３０においてユーザからコマンドを受信しなかった場合には、エキストラレイヤソフトウェアコンポーネント２１５は、ステップ３４０において、画像キャプチャパラメータを既定データソフトウェアコンポーネント２３５から入力したあらかじめ定義されたデータにしたがって変更すべきか否かをチェックする。画像キャプチャパラメータを変更すべき場合には、エキストラレイヤソフトウェアコンポーネント２１５は、ステップ３４５において、それにしたがって画像キャプチャパラメータを更新する。そうでない場合には、ステップ３２０で、ゲームの次の画像をキャプチャする。
【００５２】
図３Ｂは、本発明の好適な実施形態による、ユーザが自身のモバイル機器上でゲームをプレイできるようにするためのユーザ側フローチャート３５０である。ステップ３５５において、ユーザは、ゲームを始動するためにゲームサーバ１１５（図１Ａ）にリクエストを送信する。リクエストされたゲームは、ゲームサーバ１１５上で始動され、ステップ３６０で、ユーザはゲーム画像を受信開始する。ステップ３６５において、各画像は、ユーザのモバイル機器、たとえばモバイル機器１２１、１３１または１４１等によって、当該モバイル機器内にインストールされている対応する復元ソフトウェアコンポーネント（Ｊａｖａ（商標）ソフトウェアコンポーネントなど）を用いて復元される。そして、ステップ３７０において、復元された画像が前記モバイル機器の画面上に表示される。ユーザがステップ３７５で（画像片を選択したり拡大／縮小したりなどするために）モバイル機器キーパッド上の一つないし複数のボタンを押すと、ステップ３８０で、対応する一つないし複数のコマンドが、画像／オブジェクト検出追跡システム１１６（図２）の受信機２２０（図２）に送信される。そして、ステップ３６０で、ユーザは、自身のインストラクションにしたがって、ゲームサーバ１１５から新しい画像を受信する。ステップ３７５でボタンが押されなかった場合には、ユーザは、ステップ３６０で、ゲームサーバ１１５から新しい画像を受信する。
【００５３】
図４は、本発明の好適な実施形態による、ゲーム画像のスクリーンショットのサンプルを示す。画像４０５は、（パーソナルコンピュータやプレイステーション（登録商標）などの）大画面上で表示される完全な元画像である。ユーザのモバイル機器画面１２２（図２）上に表示するために、完全な元画像４０５のサイズを変更することによって、画像４１０が作成される。エキストラレイヤソフトウェアコンポーネント２１５（図２）を用いて、または再レイアウトソフトウェアコンポーネント２０２（図２Ｃ）を用いて、前記完全な元画像４０５をトリミングおよび処理することによって、比較的小さなモバイル機器画面１２２上で表示される画像４１５が作成される。
【００５４】
画像４１５のような各モバイル機器画像は、完全な元のＰＣ／プレイステーション（登録商標）画像４０５にルールを適用することによって生成される。ルールの集合のグループは、既定データソフトウェアコンポーネント２３５（図２Ｂ）によって（モバイル機器ゲームをプレイするときに）リアルタイムで提供され、画像キャプチャソフトウェアコンポーネント２１０（図２Ｂ）、エキストラレイヤソフトウェアコンポーネント２１５（図２Ｂ）、圧縮ソフトウェアコンポーネント２２５（図２Ｂ）および／または再レイアウトソフトウェアコンポーネント２０２（図２Ｃ）に適用される。本発明の好適な実施形態によれば、ルールの集合のグループは、ゲームをプレイする前に、ゲームデザイナー１６１（図２Ａ）によってオフラインで、または前記エキストラレイヤソフトウェアコンポーネント２１５によってリアルタイムで、決定される。その結果、画像４１５のような各モバイル機器画像は、対応するモバイル機器レイアウトを有し、モバイル機器画面上に表示可能である。
【００５５】
図５は、本発明の他の好適な実施形態による、ゲーム画像のスクリーンショットの追加サンプルを示す。画像５０５は大画面上に表示される完全な元画像である。オブジェクト（トラクタを運転する男性）を決定し、前記オブジェクトを含む対応する画像片を前記完全な元画像からトリミングし、前記画像片内で前記オブジェクトを中央に配置することによって、画像５１０が作成される。画像５１０のレイアウトをエキストラレイヤソフトウェアコンポーネント２１５（図２）によって、または再レイアウトソフトウェアコンポーネント２０２（図２Ｃ）によって変更（編集）し、当該画像５１０にユーザのゲームスコアなどの必要なゲームのパラメータを表すパネルを追加することによって、画像５１５が作成される。
【００５６】
本発明の好適な実施形態によれば、各モバイル機器ゲーム画像は、ゲームデザイナー１６１（図２Ａ）により（ゲームをプレイする前に）オフラインであらかじめ定義され、既定データソフトウェアコンポーネント２３５内に格納されているルールの集合のグループにしたがって、従来型ＰＣ／プレイステーション（登録商標）ゲーム画像を再レイアウトすることによって、生成可能である。前記ＰＣ／プレイステーション（登録商標）ゲーム画像内のオブジェクトおよび／または画像片は、比較的小さいモバイル機器画面上にぴったり収まるように、その画像内でそれらの元の位置から新しい位置へ配置変更される。いくつかのオブジェクトおよび／または画像片を前記ＰＣ／プレイステーション（登録商標）ゲーム画像から削除することが可能であり、いくつかの新しいオブジェクトおよび／または画像片を前記ＰＣ／プレイステーション（登録商標）ゲーム画像に挿入することも可能である。その結果、ＰＣ／プレイステーション（登録商標）ゲームレイアウトの代わりに、モバイル機器画面上で表示可能な対応するモバイル機器ゲームレイアウトを備えるモバイル機器ゲーム画像が生成される。
【００５７】
本発明のいくつかの実施形態について例示として説明してきたが、本発明が、幾多の修正や変形や改造を伴っての実施、および、本発明の趣旨を逸脱したり特許請求の範囲を超えたりすることなく当業者の想到される範囲内で無数の均等物または代替可能な解決手段を利用しての実施をすることが可能であることは明らかであろう。
【図面の簡単な説明】
【００５８】
図面において、
【図１Ａ】図１Ａは、本発明の好適な実施形態による、ユーザが自身のモバイル機器上でリアルタイムでビデオゲームをプレイできるようにするためのシステムの概略説明図である。
【図１Ｂ】図１Ｂは、本発明の他の好適な実施形態による、ユーザが自身のモバイル機器上でリアルタイムでビデオゲームをプレイできるようにするためのシステムの他の概略説明図である。
【図１Ｃ】図１Ｃは、本発明の好適な実施形態による、モバイル機器上でゲームのプレイを開始する工程を示す概略フローチャートである。
【図２Ａ】図２Ａは、本発明の好適な実施形態による、各モバイル機器上でのプレイ用に一つないし複数の従来型ＰＣ／プレイステーション（登録商標）ゲームを準備する工程を示す概略説明図である。
【図２Ｂ】図２Ｂは、本発明の好適な実施形態による、ゲームサーバ（Games Server）内に配置された画像／オブジェクト（Image/Object）検出追跡システムの概略ブロック図である。
【図２Ｃ】図２Ｃは、本発明の他の好適な実施形態による、ゲームサーバ内に配置された画像／オブジェクト検出追跡システムの他の概略ブロック図である。
【図２Ｄ】図２Ｄは、本発明の好適な実施形態による、各モバイル機器にあらかじめ定義されたルールを適用する工程を示す概略説明図である。
【図３Ａ】図３Ａは、本発明の好適な実施形態による、ユーザが自身のモバイル機器上でゲームをプレイできるようにするためのサーバ側フローチャートである。
【図３Ｂ】図３Ｂは、本発明の好適な実施形態による、ユーザが自身のモバイル機器上でゲームをプレイできるようにするためのユーザ側フローチャートである。
【図４】図４は、本発明の好適な実施形態による、ゲーム画像のスクリーンショットのサンプルを示す。
【図５】図５は、本発明の他の好適な実施形態による、ゲーム画像のスクリーンショットの他のサンプルを示す。
【図１Ａ】
2009518103.tif 000002
【図１Ｂ】
2009518103.tif 000003
【図１Ｃ】
2009518103.tif 000004
【図２Ａ】
2009518103.tif 000005
【図２Ｂ】
2009518103.tif 000006
【図２Ｃ】
2009518103.tif 000007
【図２Ｄ】
2009518103.tif 000008
【図３Ａ】
2009518103.tif 000009
【図３Ｂ】
2009518103.tif 000010
【図４】
2009518103.tif 000011
【図５】
2009518103.tif 000012
【国際調査報告】
2009518103.tif 000013