(57)【要約】【課題】  複数のユーザの動画像を用いて画面表示を制御すること。【解決手段】  複数のユーザの各動画像を取得して、取得される前記各動画像を画面に表示する。そして、前記各動画像の内容に応じて前記画面の表示内容を制御する。このとき、前記画面における前記各動画像の表示位置と、前記各動画像の内容と、に応じて、前記画面において所定の移動画像を移動させるようにしてもよいし、前記各動画像の内容に応じて、前記画面における該動画像の表示領域を変形させるようにしてもよい。【選択図】        図４
2006319818.tif 000002
【特許請求の範囲】
【請求項１】
複数のユーザの各動画像を取得する動画像取得手段と、
前記動画像取得手段により取得される前記各動画像を画面に表示する動画像表示手段と、
前記各動画像の内容に応じて前記画面の表示内容を制御する制御手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記制御手段は、前記画面における前記各動画像の表示位置と、前記各動画像の内容と、に応じて、前記画面において所定の移動画像を移動させる、
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記制御手段は、前記各動画像のうち少なくとも１つの前記画面における表示位置を始点とし、他の少なくとも１つの前記画面における表示位置を終点として、前記移動画像を移動させる、
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記制御手段は、前記始点又は前記終点に係る動画像を乱数に基づいて決定する、
ことを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置において、
前記制御手段は、前記始点又は前記終点に係る動画像を前記複数のユーザのうち一部又は全部からの指示に従って決定する、
ことを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置において、
前記制御手段は、前記終点に係る動画像を前記始点に係る動画像の内容に応じて決定する、
ことを特徴とする画像処理装置。
【請求項７】
請求項２乃至６のいずれかに記載の画像処理装置において、
前記制御手段は、前記始点に係る動画像の変化量に応じて前記移動画像の数を制御する、
ことを特徴とする画像処理装置。
【請求項８】
請求項１又は２に記載の画像処理装置において、
前記制御手段は、前記各動画像の内容に応じて、前記画面における該動画像の表示領域を変形させる、
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記制御手段は、前記画面における前記各動画像の表示領域と、他の画像の表示位置と、に応じて前記画面の表示内容を制御する、
ことを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記制御手段は、前記画面における前記各動画像の表示領域に応じて、前記他の画像の表示位置を移動させる、
ことを特徴とする画像処理装置。
【請求項１１】
請求項８に記載の画像処理装置において、
前記制御手段は、前記各動画像における所定内容が映し出された位置に応じて、前記画面における該動画像の表示領域を変形させる、
ことを特徴とする画像処理装置。
【請求項１２】
複数のユーザの各動画像を取得する動画像取得ステップと、
前記動画像取得ステップで取得される前記各動画像を画面に表示する動画像表示ステップと、
前記各動画像の内容に応じて前記画面の表示内容を制御する制御ステップと、
を含むことを特徴とする画像処理方法。
【請求項１３】
複数のユーザの各動画像を取得する動画像取得手段、
前記動画像取得手段により取得される前記各動画像を画面に表示する動画像表示手段、及び
前記各動画像の内容に応じて前記画面の表示内容を制御する制御手段
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特にユーザの動画像を含む画面を表示する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
下記特許文献１には、コンピュータで作成した画像にユーザの動画像を合成し、ユーザの動画像の内容に基づいて画面表示を制御する画像処理装置が開示されている。この画像処理装置によれば、コンピュータで作成した画像中の登場人物のようにユーザを演出することができ、ゲームソフト等の面白さを倍加させることができる。
【特許文献１】特許第３２９８８７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術は、１人のユーザの動画像を、コンピュータで作成した画像の固定された位置に合成するものであり、複数のユーザの動画像を用いて画面表示を制御することができない。このため、複数のユーザによるゲームやコミュニケーションに適用することができないという問題があった。
【０００４】
本発明は上記課題に鑑みてなされたものであって、その目的は、複数のユーザの動画像を用いて画面表示を制御することができる画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る画像処理装置は、複数のユーザの各動画像を取得する動画像取得手段と、前記動画像取得手段により取得される前記各動画像を画面に表示する動画像表示手段と、前記各動画像の内容に応じて前記画面の表示内容を制御する制御手段と、を含むことを特徴とする。
【０００６】
また、本発明に係る画像処理方法は、複数のユーザの各動画像を取得する動画像取得ステップと、前記動画像取得ステップで取得される前記各動画像を画面に表示する動画像表示ステップと、前記各動画像の内容に応じて前記画面の表示内容を制御する制御ステップと、を含むことを特徴とする。
【０００７】
また、本発明に係るプログラムは、複数のユーザの各動画像を取得する動画像取得手段、前記動画像取得手段により取得される前記各動画像を画面に表示する動画像表示手段、及び前記各動画像の内容に応じて前記画面の表示内容を制御する制御手段として、例えば家庭用ゲーム機、携帯用ゲーム機、業務用ゲーム機、パーソナルコンピュータ、サーバコンピュータ、携帯電話機、携帯情報端末等のコンピュータを機能させるためのプログラムである。このプログラムは、例えばＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ＲＯＭカートリッジ等のコンピュータ読み取り可能な情報記憶媒体に格納されてよい。
【０００８】
本発明によれば、複数のユーザの動画像を用いて画面表示を制御することができる。このため、複数のユーザによるゲームやコミュニケーションに適用することができる。
【０００９】
また、前記制御手段は、前記画面における前記各動画像の表示位置と、前記各動画像の内容と、に応じて、前記画面において所定の移動画像を移動させるようにしてもよい。こうすれば、移動画像を通じて、ユーザ間のコミュニケーションを演出することができるようになる。
【００１０】
例えば、前記制御手段は、前記各動画像のうち少なくとも１つの前記画面における表示位置を始点とし、他の少なくとも１つの前記画面における表示位置を終点として、前記移動画像を移動させてもよい。始点の動画像に係るユーザと終点の動画像に係るユーザとの間におけるコミュニケーションを演出することができる。
【００１１】
このとき、前記制御手段は、前記始点又は前記終点に係る動画像を乱数に基づいて決定するようにしてもよいし、前記始点又は前記終点に係る動画像を前記複数のユーザのうち一部又は全部からの指示に従って決定するようにしてもよい。
【００１２】
また、前記制御手段は、前記終点に係る動画像を前記始点に係る動画像の内容（例えば動画像に映し出されるユーザの動きの方向や動きの大きさ）に応じて決定するようにしてもよい。こうすれば、ユーザは、自分の動作により移動画像の終点を決定することができる。
【００１３】
例えば、前記制御手段は、前記始点に係る動画像の各部分領域における変化量と、該動画像の各部分領域の位置と、に応じて、前記終点に係る動画像を前記各動画像の中から決定するようにしてもよい。こうすれば、始点の動画像に係るユーザは、自らの動作により終点の動画像を決定することができる。
【００１４】
また、前記制御手段は、前記始点に係る動画像の変化量に応じて前記移動画像の数を制御するようにしてもよい。こうすれば、移動画像の数により動画像の変化量、すなわちユーザの動きを示すことができる。
【００１５】
また、前記制御手段は、前記各動画像の内容に応じて、前記画面における該動画像の表示領域を変形させるようにしてもよい。こうすれば、ユーザらは、自分たちの動作により、各動画像の表示領域を変形させることができる。このため、例えばゲーム等のエンタテインメントシステムに適用した場合に、より興趣を増すシステムとすることができる。
【００１６】
この場合、前記制御手段は、前記画面における前記各動画像の表示領域と、他の画像の表示位置と、に応じて前記画面の表示内容を制御するようにしてもよい。例えば、前記制御手段は、前記画面における前記各動画像の表示領域に応じて、前記他の画像の表示位置を移動させてもよい。こうすれば、ユーザは、自らの動作により他の画像の表示位置を移動させることができるようになる。
【００１７】
また、前記制御手段は、前記各動画像における所定内容が映し出された位置に応じて、前記画面における該動画像の表示領域を変形させてもよい。所定内容が映し出された位置は、例えば顔認識技術により認識される顔の位置である。こうすれば、ユーザは、所定内容が映し出される位置を変化させるよう動作することで、動画像の表示領域を任意に変形させることができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態について図面に基づき詳細に説明する。
【００１９】
実施形態１．
図１は、本実施形態１に係るエンタテインメントシステム（画像処理装置）を用いて構成されたネットワークシステムの構成図である。同図に示すように、このシステムはインターネットやＬＡＮ等のネットワーク５０に接続された複数のエンタテインメントシステム１０からなる。各エンタテインメントシステム１０は、ユーザの動画像を撮影するカメラユニット４６が接続されたコンピュータを含んで構成されており、ネットワーク５０を介してユーザの動画像を示すデータを授受することで、各エンタテインメントシステム１０において、多数のユーザの動画像が含まれる共通の画面を表示させることができるようになっている。
【００２０】
図２は、本実施形態１に係るエンタテインメントシステム（画像処理装置）のハードウェア構成を示す図である。同図に示すように、エンタテインメントシステム１０は、ＭＰＵ（Micro Processing Unit）１１と、メインメモリ２０と、画像処理部２４と、モニタ２６と、入出力処理部２８と、音声処理部３０と、スピーカ３２と、光ディスク読み取り部３４と、光ディスク３６と、ハードディスク３８と、インタフェース（Ｉ／Ｆ）４０，４４と、コントローラ４２と、カメラユニット４６と、ネットワークインタフェース４８と、を含んで構成されるコンピュータシステムである。
【００２１】
図３は、ＭＰＵ１１の構成を示す図である。同図に示すように、ＭＰＵ１１は、メインプロセッサ１２と、サブプロセッサ１４ａ，１４ｂ，１４ｃ，１４ｄ，１４ｅ，１４ｆ，１４ｇ，１４ｈと、バス１６と、メモリコントローラ１８と、インタフェース（Ｉ／Ｆ）２２と、を含んで構成される。
【００２２】
メインプロセッサ１２は、図示しないＲＯＭ（Read Only Memory）に記憶されるオペレーティングシステム、例えばＤＶＤ（Digital Versatile Disk）−ＲＯＭ等の光ディスク３６から読み出されるプログラム及びデータや、通信ネットワークを介して供給されるプログラム及びデータ等に基づいて、各種情報処理を行ったり、サブプロセッサ１４ａ乃至１４ｈに対する制御を行ったりする。
【００２３】
サブプロセッサ１４ａ乃至１４ｈは、メインプロセッサ１２からの指示に従って、各種情報処理を行ったり、エンタテインメントシステム１０の各部を、例えばＤＶＤ−ＲＯＭ等の光ディスク３６から読み出されるプログラム及びデータや、通信ネットワークを介して供給されるプログラム及びデータ等に基づいて制御したりする。
【００２４】
バス１６は、アドレス及びデータをエンタテインメントシステム１０の各部でやり取りするためのものである。メインプロセッサ１２、サブプロセッサ１４ａ乃至１４ｈ、メモリコントローラ１８、インタフェース２２は、バス１６を介して相互にデータ授受可能に接続される。
【００２５】
メモリコントローラ１８は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈからの指示に従って、メインメモリ２０へのアクセスを行う。
【００２６】
メインメモリ２０には、光ディスク３６やハードディスク３８から読み出されたプログラム及びデータや、通信ネットワークを介して供給されたプログラム及びデータが必要に応じて書き込まれる。メインメモリ２０はメインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈの作業用としても用いられる。
【００２７】
インタフェース２２には画像処理部２４及び入出力処理部２８が接続される。メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈと、画像処理部２４又は入出力処理部２８と、の間のデータ授受はインタフェース２２を介して行われる。
【００２８】
画像処理部２４は、ＧＰＵ（Graphical Processing Unit）とフレームバッファとを含んで構成される。ＧＰＵは、メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈから供給される画像データに基づいてフレームバッファに各種画面を描画する。フレームバッファに形成された画面は、所定のタイミングでビデオ信号に変換されてモニタ２６に出力される。なお、モニタ２６には例えば家庭用テレビ受像機が用いられる。
【００２９】
入出力処理部２８には、音声処理部３０、光ディスク読み取り部３４、ハードディスク３８、インタフェース４０,４４が接続される。入出力処理部２８は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈと、音声処理部３０、光ディスク読み取り部３４、ハードディスク３８、インタフェース４０,４４、ネットワークインタフェース４８と、の間のデータ授受を制御する。
【００３０】
音声処理部３０は、ＳＰＵ（Sound Processing Unit）とサウンドバッファとを含んで構成される。サウンドバッファには、光ディスク３６やハードディスク３８から読み出されたゲーム音楽、ゲーム効果音やメッセージなどの各種音声データが記憶される。ＳＰＵは、これらの各種音声データを再生してスピーカ３２から出力させる。なお、スピーカ３２には例えば家庭用テレビ受像機の内蔵スピーカが用いられる。
【００３１】
光ディスク読み取り部３４は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈからの指示に従って、光ディスク３６に記憶されたプログラムやデータを読み取る。なお、エンタテインメントシステム１０は、光ディスク３６以外の他の情報記憶媒体に記憶されたプログラムやデータを読み取り可能に構成してもよい。
【００３２】
光ディスク３６は例えばＤＶＤ−ＲＯＭ等の一般的な光ディスク（コンピュータ読み取り可能な情報記憶媒体）である。また、ハードディスク３８は一般的なハードディスク装置である。光ディスク３６やハードディスク３８には各種プログラムやデータがコンピュータ読み取り可能に記憶される。
【００３３】
インタフェース（Ｉ／Ｆ）４０，４４は、コントローラ４２やカメラユニット４６等の各種周辺機器を接続するためのインタフェースである。このようなインタフェースとしては、例えばＵＳＢ（Universal Serial Bus）インタフェースが用いられる。なお、図１では省略されているが、エンタテインメントシステム１０には、エンタテインメントシステム１０を通信ネットワークに接続するためのインタフェースが含まれるようにしてもよい。
【００３４】
コントローラ４２は汎用操作入力手段であり、ユーザが各種操作（例えばゲーム操作）を入力するために用いられる。入出力処理部２８は、所定時間（例えば１／６０秒）ごとにコントローラ４２の各部の状態をスキャンし、その結果を表す操作信号をメインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈに供給する。メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈは、ユーザによって行われた操作の内容をその操作信号に基づいて判断する。なお、エンタテインメントシステム１０は複数のコントローラ４２を接続可能に構成されており、各コントローラ４２から入力される操作信号に基づいて、メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈが各種処理を実行するようになっている。
【００３５】
カメラユニット４６は、例えば公知のデジタルカメラを含んで構成され、白黒、グレイスケール又はカラーの撮影画像を所定時間（例えば１／６０秒）ごとに入力する。本実施の形態におけるカメラユニット４６は、撮影画像をＪＰＥＧ（Joint Photographic Experts Group）形式の画像データとして入力するようになっている。また、カメラユニット４６は、例えばレンズをプレイヤに向けた状態でモニタ２６の上に設置され、所定のケーブルを介してインタフェース４４に接続される。ネットワークインタフェース４８は入出力処理部２８とネットワーク５０とに接続されており、エンタテインメントシステム１０がネットワーク５０を介して他のエンタテインメントシステム１０とデータ通信するのを中継するようになっている。
【００３６】
図４は、本実施形態１に係る１つのエンタテインメントシステム１０において、モニタ２６に表示される画面を示している。同図（ａ）に示すように、モニタ２６に表示される画面には、ネットワーク５０を介して通信接続された他のエンタテインメントシステム１０から送信される他のユーザの動画像、及び当該モニタ２６とともにエンタテインメントシステム１０に接続されたカメラユニット４６により撮影されるユーザの動画像が（同図（ａ）では合計１６の動画像）含まれている。本実施形態１では、これら複数の動画像から１又は複数が始点動画像として選択されるとともに、他の１又は複数が終点動画像として選択されるようになっている。同図（ａ）では、始点動画像５２ａ，５２ｂと終点動画像５２ｃが選択された様子が示されている。始点動画像及び終点動画像は、画面に含まれている複数の動画像の中から乱数により選択されてもよいし、当該エンタテインメントシステム１０又はネットワーク５０を介して通信接続された他のエンタテインメントシステム１０に備えられたコントローラ４２の入力に従って選択されてもよい。
【００３７】
その後、始点動画像の内容からユーザの動きが検知されると、該始点動画像の表示位置から終点動画像の表示位置に向けて、移動画像が移動するようになっている。ここでは、始点動画像５２ａから終点動画像５２ｃに向けて、多数の星形の移動画像５４ａが移動するとともに、始点動画像５２ｂから終点動画像５２ｃに向けて、多数の六角形の移動画像５４ｂが移動するようにしている。
【００３８】
図５は、エンタテインメントシステム１０による画像処理を示すフロー図である。エンタテインメントシステム１０では、他のエンタテインメントシステム１０に備えられたカメラユニット４６にて撮影されたユーザの動画像をＪＰＥＧストリーム形式でネットワーク５０を介して受信する。そして、受信されるＪＰＥＧストリーム形式の動画像データは、サブプロセッサ１４ａ〜１４ｈのうち一部によりデコードされ、ラスタ形式に変換される。ラスタ形式に変換されたデータはメインメモリ２０に格納される。そして、上述した始点動画像については、サブプロセッサ１４ａ〜１４ｈのうち他により、動画像データがメインメモリ２０から読み出され、動き検出処理が行われるようになっている。動き検出処理では、ラスタ形式の動画像データを構成する各タイミング（例えば時間が連続する）のフレーム画像の差分を演算し、その差分画像又は該差分を適宜フィルタ処理した画像の画素値の総和を算出する。この値は、始点動画像の変化量（ユーザの動き量）を示すものであり、これもまた、メインメモリ２０に格納される。
【００３９】
そして、サブプロセッサ１４ａ〜１４ｈのうち、さらに他のサブプロセッサにより、メインメモリ２０に格納されたラスタ形式に変換済みの動画像がモニタ２６に映し出される画面に配置される（Ｓ１０１）。また、例えば乱数により、画面に配置された複数の動画像の中から始点動画像及び終点動画像が選択される（Ｓ１０２）。
【００４０】
その後、上記のようにしてサブプロセッサ１４ａ〜１４ｈのうち一部によって算出される始点動画像の変化量を、メインメモリ２０から読み出す（Ｓ１０３）。そして、読み出した値が所定値を超えていれば、該始点動画像の表示位置から、Ｓ１０２で決定された終点動画像の表示位置に向けて移動するよう、移動画像５４ａや５４ｂを画面に表示する（Ｓ１０４）。
【００４１】
本実施形態１に係るエンタテインメントシステム１０によれば、始点動画像に映し出されたユーザから、終点動画像に映し出されたユーザに向けて、メッセージやエネルギーを送っているかのような映像をモニタ２６に映し出すことができる。
【００４２】
なお、終点動画像、或いは移動画像５４ａ，５４ｂの移動方向を、始点動画像の内容に応じて決定してもよい。例えば、図６に示すように、始点動画像におけるユーザの動きの方向に移動画像５４ａ，５４ｂを移動させてもよい。この場合、移動画像５４ａ，５４ｂの移動方向上にあるユーザ動画像を終点動画像に選択すればよい。
【００４３】
ユーザの動きの方向は、例えば、始点動画像の差分画像（異なるタイミングにおけるフレーム画像の差分）を生成し、差分画像において所定値を超える画素値を持つ画素群の位置に基づいて判断すればよい。この際、ユーザの動きの大きさ、すなわち上記差分画像において所定値を超える画素群を持つ画素群の位置の広がりにより、移動画像５４ａ，５４ｂの移動速度を変化させるようにしてもよい。こうすれば、ユーザが大きく手等を動かすことにより、移動画像５４ａ，５４ｂを早く移動させることができるようになる。また、動画像に表れるユーザの動き量に応じて、該動画像から発せられる移動画像５４の数を制御するようにしてもよい。
【００４４】
実施形態２．
図７は、本発明の実施形態２に係るエンタテインメントシステム１０において、モニタ２６に表示される画面の一例を示している。なお、本実施形態２及び後述する実施形態３乃至６においても、図１乃至３に示されるシステム構成が採用されており、光ディスク３６に格納され、ＭＰＵ１１で実行されるプログラムのみが実施形態１とは異なる。
【００４５】
図７に示すように、実施形態２では画面に複数の立方体が表示される。この立方体は、メインメモリ２０に構築される仮想３次元空間に配置された方形オブジェクト６０を示しており、同図に示される画面は、この仮想３次元空間を所与の視点から見た様子を示している。各方形オブジェクト６０の上面には、ネットワーク５０を介して通信接続された他のエンタテインメントシステム１０から送信されるユーザの動画像、及び当該画面を表示するモニタ２６とともにエンタテインメントシステム１０に接続されたカメラユニット４６により撮影されたユーザの動画像がテクスチャとして貼付されている。また、仮想３次元空間には球状の球形オブジェクト６４も配置されており、この球形オブジェクト６４は仮想３次元空間において放物運動を行い、方形オブジェクト６０等の他のオブジェクトに衝突したときには、運動方向を変えるようになっている。
【００４６】
本実施形態２では、ユーザがカメラユニット４６の前で動き（例えば手等を動かし）、動画像の内容を変化させることにより、その動画像がテクスチャとして貼付された方形オブジェクト６０の上面が変形するようになっている。すなわち、図８に示すように、方形オブジェクト６０の上面は複数の矩形領域に区分けされており、各矩形領域の角部にはポリゴン頂点が設けられている。そして、各矩形領域に写し出されたユーザの動きの量を、ユーザ動画像の差分画像のうち当該矩形領域の部分に基づいて算出し、最も大きな動きが現れている領域の角部に配されたポリゴン頂点が、方形オブジェクト６０から離れる向きに移動するようになっている。この移動量は、例えば矩形領域に映し出されたユーザの動きの量に基づいて決定される。そして、他の矩形領域の角部に配されたポリゴン頂点は、それよりも短い距離だけ、同じ向きに移動する。これにより、ユーザの動きに応じて、該ユーザの動画像がテクスチャとして貼付された方形オブジェクト６０の上面が変形するようになっている。この方形オブジェクト６０の変形はリアルタイムに計算され、画面に表示される。
【００４７】
本実施形態２では、各時刻での方形オブジェクト６０の形状に応じて、球形オブジェクト６４の跳ね返り方向が算出されるので、ユーザは自らカメラユニット４６の前で動くことにより、球形オブジェクト６４を任意の方向に跳ねさせることができる。なお、方形オブジェクト６０の変形速度に基づいて球形オブジェクト６４が跳ね返る際の速度を決定するようにしても好適である。
【００４８】
本実施形態２によれば、ユーザらは、それぞれカメラユニット４６の前で動くことにより、仮想３次元空間において球形オブジェクト６４を用いたバレーボールを行うことができる。これにより、例えばゲーム等に適用した場合に、非常に興趣を高めることができる。
【００４９】
実施形態３．
図９（ａ）（ｂ）は、本発明の実施形態３に係るエンタテインメントシステム１０において、モニタ２６に映し出される画面の一例を示している。同図（ａ）に示すように、本実施形態では、画面に複数のユーザの動画像が映し出されている。これらユーザの動画像には、当該画面を映し出すモニタ２６とともにエンタテインメントシステム１０に接続されているカメラユニット４６により映し出される動画像と、ネットワーク５０を介して接続されたエンタテインメントシステム１０から受信する動画像と、が含まれている。
【００５０】
本実施形態では、同図（ｂ）に示すように、ユーザがカメラユニット４６の前で動くと、その動きが現れた画像領域の近傍から、他の動画像が離れるようになっている。すなわち、ユーザの動きが現れた動画像の部分領域から離れるよう、他の動画像の表示位置が移動するようになっている。こうしても、複数のユーザの動画像を含む画面を用いて、ユーザはゲーム等を楽しむことができる。
【００５１】
実施形態４．
図１０（ａ）（ｂ）は、本発明の実施形態４に係るエンタテインメントシステム１０において、モニタ２６に映し出される画面の一例を示している。実施形態３では、ユーザの動きが現れた動画像の表示領域は変形しなかったが、同図（ａ）に示すように、ある動画像に映し出されたユーザが大きく動くと、同図（ｂ）に示すように、その動きに応じて動画像の表示領域が変形し、それに伴って他の動画像がはじき飛ばされるようにしてもよい。
【００５２】
実施形態５．
図１１は、本発明の実施形態５に係るエンタテインメントシステム１０において、モニタ２６に映し出される画面の一例を示している。本実施形態では、ユーザの動画像に該ユーザの動きが現れると、それに応じて動画像の表示領域が変形する。そして、この表示領域が画面に表示された他の画像に接すると、該画像に対応する処理が実行され、画面が更新される。例えば、画面に各種操作ボタンの画像を表示しておき、ユーザが動画像の表示領域を自らの動きにより変形させ、任意の操作ボタンの画像に該表示領域を接触させることにより、その操作ボタンの画像に対応した処理を実行して、画面を更新することができる。
【００５３】
実施形態６．
以上の説明では、動画像に現れたユーザの動きにより、モニタ２６に映し出される画面の表示内容を制御するようにしたが、図１２に示すように、動画像中の顔等の身体部分を映し出した位置に関して動画像の表示領域を変形させ、これにより、他の動画像の位置を移動させるようにしてもよい。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施形態に係るエンタテインメントシステム（画像処理装置）を用いたネットワークシステムの構成図である。
【図２】本発明の実施形態に係るエンタテインメントシステムのハードウェア構成図である。
【図３】ＭＰＵの内部構成図である。
【図４】本発明の実施形態１に係るエンタテインメントシステムにおいて、モニタに映し出される画面の一例を示す図である。
【図５】本発明の実施形態１に係るエンタテインメントシステムの画像処理を示すフロー図である。
【図６】表示画面の変形例を示す図である。
【図７】本発明の実施形態２に係るエンタテインメントシステムにおいて、モニタに映し出される画面の一例を示す図である。
【図８】実施形態２に係る表示画面を生成するための画像処理を説明する図である。
【図９】本発明の実施形態３に係るエンタテインメントシステムにおいて、モニタに映し出される画面の一例を示す図である。
【図１０】本発明の実施形態４に係るエンタテインメントシステムにおいて、モニタに映し出される画面の一例を示す図である。
【図１１】本発明の実施形態５に係るエンタテインメントシステムにおいて、モニタに映し出される画面の一例を示す図である。
【図１２】本発明の実施形態６に係るエンタテインメントシステムにおいて、モニタに映し出される画面の一例を示す図である。
【符号の説明】
【００５５】
１０  エンタテインメントシステム、１１  ＭＰＵ、１２  メインプロセッサ、１４ａ〜１４ｈ  サブプロセッサ、１６  バス、１８  メモリコントローラ、２０  メインメモリ、２２，４０，４４  インタフェース、２４  画像処理部、２６  モニタ、２８  入出力処理部、３０  音声処理部、３２  スピーカ、３４  光ディスク読み取り部、３６  光ディスク、３８  ハードディスク、４２  コントローラ、４６  カメラユニット、４８  ネットワークインタフェース、５０  ネットワーク、５２ａ，５２ｂ  始点動画像、５２ｃ  終点動画像、５４ａ，５４ｂ  移動画像、６２  矩形領域、６０  方形オブジェクト、６４  球状オブジェクト。
【図１】
2006319818.tif 000003
【図２】
2006319818.tif 000004
【図３】
2006319818.tif 000005
【図４】
2006319818.tif 000006
【図５】
2006319818.tif 000007
【図６】
2006319818.tif 000008
【図７】
2006319818.tif 000009
【図８】
2006319818.tif 000010
【図９】
2006319818.tif 000011
【図１０】
2006319818.tif 000012
【図１１】
2006319818.tif 000013
【図１２】
2006319818.tif 000014