(57)【要約】【課題】ユーザによる速やかな切替操作を可能とする。【解決手段】撮像部１００が接続される画像処理装置１０が、複数の処理のうち、いずれかを実行する処理実行部１０４と、撮像部１００により順次取得される画像の差分に従って、前記画像内においてユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得部１０６と、領域特定データ取得部１０６により取得される領域特定データにより特定される領域の縁部の位置に応じて、処理実行部１０４により実行される処理を切り替える処理切替部１０８と、を含む。【選択図】図３
2008004045.tif 000002
【特許請求の範囲】
【請求項１】
ユーザを順次撮像する撮像手段が接続される画像処理装置において、
前記撮像手段により順次取得される画像のうち少なくとも１つに基づいて行われる複数の処理のうち、いずれかを実行する処理実行手段と、
前記撮像手段により順次取得される画像の差分に従って、前記画像内において前記ユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得手段と、
前記領域特定データ取得手段により取得される前記領域特定データにより特定される前記領域の縁部の位置に応じて、前記処理実行手段により実行される処理を切り替える処理切替手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記領域特定データ取得手段は、
前記領域の縁部に設定される複数の制御点の位置座標を前記領域特定データとして記憶する位置座標記憶手段と、
前記各制御点の位置座標を前記撮像手段により順次取得される画像の差分に基づいて更新する位置座標更新手段と、を含む、
ことを特徴とする画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置において、
前記処理切替手段は、
前記領域特定データにより特定される前記領域の縁部の位置と前記画像の一辺との距離に基づいて所定条件が満足されているか否かを判定する第１判定手段を含み、該第１判定手段の判定結果に応じて前記処理実行手段により実行される処理を切り替える、
ことを特徴とする画像処理装置。
【請求項４】
請求項１乃至３のいずれかに記載の画像処理装置において、
前記処理切替手段は、
前記領域特定データにより特定される前記領域が前記画像の端に生じたか否かを判定する第２判定手段を含み、該第２判定手段の判定結果に応じて前記処理実行手段により実行される処理を切り替える、
ことを特徴とする画像処理装置。 
【請求項５】
ユーザを順次撮像する撮像手段が接続されるコンピュータの制御方法において、
前記撮像手段により順次取得される画像のうち少なくとも１つに基づいて行われる複数の処理のうち、いずれかを実行する処理実行ステップと、
前記撮像手段により順次取得される画像の差分に従って、前記画像内において前記ユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得ステップと、
前記領域特定データ取得ステップにより取得される前記領域特定データにより特定される前記領域の縁部の位置に応じて、前記処理実行ステップにより実行される処理を切り替える処理切替ステップと、
を含むことを特徴とするコンピュータの制御方法。
【請求項６】
ユーザを順次撮像する撮像手段が接続されるコンピュータを機能させるためのプログラムにおいて、
前記撮像手段により順次取得される画像のうち少なくとも１つに基づいて行われる複数の処理のうち、いずれかを実行する処理実行手段、
前記撮像手段により順次取得される画像の差分に従って、前記画像内において前記ユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得手段、及び、
前記領域特定データ取得手段により取得される前記領域特定データにより特定される前記領域の縁部の位置に応じて、前記処理実行手段により実行される処理を切り替える処理切替手段、
としてコンピュータを機能させるためのプログラム。
【請求項７】
ユーザを順次撮像する撮像手段と、画像処理装置と、を含む画像処理システムにおいて、
前記画像処理装置は、
前記撮像手段により順次取得される画像のうち少なくとも１つに基づいて行われる複数の処理のうち、いずれかを実行する処理実行手段と、
前記順次取得される画像が、前記ユーザのどの部位を撮像したものであるかを判定する撮像部位判定手段と、
前記撮像部位判定手段により判定される部位に応じて、前記処理実行手段により実行される処理を切り替える処理切替手段と、
を含むことを特徴とする画像処理システム。
【請求項８】
請求項７に記載の画像処理システムにおいて、
前記撮像手段は、撮像方向を調整する撮像方向調整機構を含み、
前記撮像部位判定手段は、
前記撮像方向調整機構により調整された前記撮像手段の撮像方向を検出する撮像方向検出手段を含み、前記撮像方向検出手段により検出される撮像方向に応じて、前記撮像される画像が、前記ユーザのどの部位を撮像したものであるかを判定する、
ことを特徴とする画像処理システム。
【請求項９】
撮像手段が接続される画像処理装置において、
複数の処理のうち、いずれかを実行する処理実行手段と、
前記撮像手段により順次取得される画像の差分に従って、前記画像内においてユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得手段と、
前記領域特定データ取得手段により取得される前記領域特定データにより特定される前記領域の縁部の位置に応じて、前記処理実行手段により実行される処理を切り替える処理切替手段と、
を含むことを特徴とする画像処理装置。
【請求項１０】
撮像手段が接続されるコンピュータの制御方法において、
複数の処理のうち、いずれかを実行する処理実行ステップと、
前記撮像手段により順次取得される画像の差分に従って、前記画像内においてユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得ステップと、
前記領域特定データ取得ステップにより取得される前記領域特定データにより特定される前記領域の縁部の位置に応じて、前記処理実行ステップにより実行される処理を切り替える処理切替ステップと、
を含むことを特徴とするコンピュータの制御方法。
【請求項１１】
撮像手段が接続されるコンピュータを機能させるためのプログラムにおいて、
複数の処理のうち、いずれかを実行する処理実行手段、
前記撮像手段により順次取得される画像の差分に従って、前記画像内においてユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得手段、及び、
前記領域特定データ取得手段により取得される前記領域特定データにより特定される前記領域の縁部の位置に応じて、前記処理実行手段により実行される処理を切り替える処理切替手段、
としてコンピュータを機能させるためのプログラム。
【請求項１２】
撮像手段と、画像処理装置とを含む画像処理システムにおいて、
前記画像処理装置は、
複数の処理のうち、いずれかを実行する処理実行手段と、
前記撮像手段により順次取得される画像の差分に従って、前記画像内においてユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得手段と、
前記領域特定データ取得手段により取得される前記領域特定データにより特定される前記領域の縁部の位置に応じて、前記処理実行手段により実行される処理を切り替える処理切替手段と、を含む、
ことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラにより撮像したユーザの画像を処理に供する画像処理装置、画像処理システム、コンピュータの制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、複数のアプリケーションプログラムを提供したり、１つのアプリケーションプログラムの中で複数の機能を提供したりするコンピュータが知られている。このようなコンピュータを使用する場合、ユーザは、キーボードやコントローラ、マウス等の入力装置を操作することで、アプリケーションプログラムや機能を切り替える。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明者は、このようなアプリケーションプログラムや機能の切替操作を改良し、より速やかな切替操作を実現するための技術を想到するに至った。本発明はこうした状況に鑑みてなされたものであって、その目的は、ユーザによる速やかな切替操作を可能とする画像処理装置、画像処理システム、コンピュータの制御方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明に係る画像処理装置は、ユーザを順次撮像する撮像手段が接続される画像処理装置において、前記撮像手段により順次取得される画像のうち少なくとも１つに基づいて行われる複数の処理のうち、いずれかを実行する処理実行手段と、前記撮像手段により順次取得される画像の差分に従って、前記画像内において前記ユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得手段と、前記領域特定データ取得手段により取得される前記領域特定データにより特定される前記領域の縁部の位置に応じて、前記処理実行手段により実行される処理を切り替える処理切替手段と、を含むことを特徴とする。
【０００５】
また、本発明に係るコンピュータ（例えばパーソナルコンピュータ、サーバコンピュータ、ゲーム機、携帯情報端末等である。以下、同様。）の制御方法は、ユーザを順次撮像する撮像手段が接続されるコンピュータの制御方法において、前記撮像手段により順次取得される画像のうち少なくとも１つに基づいて行われる複数の処理のうち、いずれかを実行する処理実行ステップと、前記撮像手段により順次取得される画像の差分に従って、前記画像内において前記ユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得ステップと、前記領域特定データ取得ステップにより取得される前記領域特定データにより特定される前記領域の縁部の位置に応じて、前記処理実行ステップにより実行される処理を切り替える処理切替ステップと、を含むことを特徴とする。
【０００６】
また、本発明に係るコンピュータを機能させるためのプログラムは、ユーザを順次撮像する撮像手段が接続されるコンピュータを機能させるためのプログラムにおいて、前記撮像手段により順次取得される画像のうち少なくとも１つに基づいて行われる複数の処理のうち、いずれかを実行する処理実行手段、前記撮像手段により順次取得される画像の差分に従って、前記画像内において前記ユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得手段、及び、前記領域特定データ取得手段により取得される前記領域特定データにより特定される前記領域の縁部の位置に応じて、前記処理実行手段により実行される処理を切り替える処理切替手段、としてコンピュータを機能させるためのプログラムである。プログラムは、ＣＤ−ＲＯＭ（Compact Disk - Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk - Read Only Memory）、メモリーカードその他のあらゆるコンピュータ読み取り可能な情報記憶媒体に格納することとしてもよい。
【０００７】
本発明に係る画像処理装置は、カメラ等の撮像手段が接続される。画像処理装置は、撮像手段により順次撮像した画像を受信する。そして、画像処理装置は、受信した画像に基づいて、画像中にユーザが写し出された領域の位置を特定する。特定される領域は、ユーザの全体でも、一部でもよい。画像処理装置は、特定した領域の位置に応じて、複数の処理のうち実行する処理を切り替える。
【０００８】
本発明によると、画像処理装置は、撮像画像の中にユーザが写し出された領域の位置に応じて、実行する処理を切り換える。こうして、ユーザは撮像画像において自らが写し出された位置により画像処理装置に対する速やかな切替操作が可能となる。
【０００９】
また、本発明の一態様では、前記領域特定データ取得手段は、前記領域の縁部に設定される複数の制御点の位置座標を前記領域特定データとして記憶する位置座標記憶手段と、前記各制御点の位置座標を前記撮像手段により順次取得される画像の差分に基づいて更新する位置座標更新手段と、を含む、ことを特徴とする。これによって、撮像画像におけるユーザが写し出された領域の位置を、当該領域の縁部に設定した制御点の位置により簡易に取得することができる。
【００１０】
また、本発明の一態様では、前記処理切替手段は、前記領域特定データにより特定される前記領域の縁部の位置と前記画像の一辺との距離に基づいて所定条件が満足されているか否かを判定する第１判定手段を含み、該第１判定手段の判定結果に応じて前記処理実行手段により実行される処理を切り替える、ことを特徴とする。これによって、撮像画像におけるユーザが写し出された領域の縁部の位置と、画像の一辺との距離が所定の範囲にあるか否かで、画像処理装置により実行される処理を切り替えることができる。こうすれば、ユーザは、撮像画像におけるユーザが写し出された領域の縁部と画像の一辺との距離を変更することで、速やかな切替操作が可能となる。
【００１１】
また、本発明の一態様では、前記処理切替手段は、前記領域特定データにより特定される前記領域が前記画像の端に生じたか否かを判定する第２判定手段を含み、該第２判定手段の判定結果に応じて前記処理実行手段により実行される処理を切り替える、ことを特徴とする。これによって、画像処理装置は、撮像画像においてユーザが写し出された領域が撮像画像の端に生じた場合に処理を切り替えることができる。こうすれば、ユーザは、撮像画像にユーザの少なくとも一部を進入させることで、速やかな切替操作が可能となる。
【００１２】
また、本発明に係る画像処理システムは、ユーザを順次撮像する撮像手段と、画像処理装置と、を含む画像処理システムにおいて、前記画像処理装置は、前記撮像手段により順次取得される画像のうち少なくとも１つに基づいて行われる複数の処理のうち、いずれかを実行する処理実行手段と、前記順次取得される画像が、前記ユーザのどの部位を撮像したものであるかを判定する撮像部位判定手段と、前記撮像部位判定手段により判定される部位に応じて、前記処理実行手段により実行される処理を切り替える処理切替手段と、を含むことを特徴とする。こうすることで、画像処理システムでは、撮像画像においてユーザのどの部位が写し出されているのかを判定する。そして、その判定結果に応じて、処理を切り替えることができる。
【００１３】
また、本発明の一態様では、前記撮像手段は、撮像方向を調整する撮像方向調整機構を含み、前記撮像部位判定手段は、前記撮像方向調整機構により調整された前記撮像手段の撮像方向を検出する撮像方向検出手段を含み、前記撮像方向検出手段により検出される撮像方向に応じて、前記撮像される画像が、前記ユーザのどの部位を撮像したものであるかを判定する、ことを特徴とする。こうすることで、画像処理システムでは、撮像手段の撮像方向に基づいてユーザのどの部位を写しているのかを判定する。そして、その判定結果に応じて、処理を切り替えることができる。
【００１４】
また、本発明に係る画像処理装置は、撮像手段が接続される画像処理装置において、複数の処理のうち、いずれかを実行する処理実行手段と、前記撮像手段により順次取得される画像の差分に従って、前記画像内においてユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得手段と、前記領域特定データ取得手段により取得される前記領域特定データにより特定される前記領域の縁部の位置に応じて、前記処理実行手段により実行される処理を切り替える処理切替手段と、を含むことを特徴とする。
【００１５】
また、本発明に係るコンピュータの制御方法は、撮像手段が接続されるコンピュータの制御方法において、複数の処理のうち、いずれかを実行する処理実行ステップと、前記撮像手段により順次取得される画像の差分に従って、前記画像内においてユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得ステップと、前記領域特定データ取得ステップにより取得される前記領域特定データにより特定される前記領域の縁部の位置に応じて、前記処理実行ステップにより実行される処理を切り替える処理切替ステップと、を含むことを特徴とする。
【００１６】
また、本発明に係るコンピュータを機能させるためのプログラムは、撮像手段が接続されるコンピュータを機能させるためのプログラムにおいて、複数の処理のうち、いずれかを実行する処理実行手段、前記撮像手段により順次取得される画像の差分に従って、前記画像内においてユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得手段、及び、前記領域特定データ取得手段により取得される前記領域特定データにより特定される前記領域の縁部の位置に応じて、前記処理実行手段により実行される処理を切り替える処理切替手段、としてコンピュータを機能させるためのプログラムであることを特徴とする。
【００１７】
また、本発明に係る画像処理システムは、撮像手段と、画像処理装置とを含む画像処理システムにおいて、前記画像処理装置は、複数の処理のうち、いずれかを実行する処理実行手段と、前記撮像手段により順次取得される画像の差分に従って、前記画像内においてユーザが映し出された領域を特定する領域特定データを取得する領域特定データ取得手段と、前記領域特定データ取得手段により取得される前記領域特定データにより特定される前記領域の縁部の位置に応じて、前記処理実行手段により実行される処理を切り替える処理切替手段と、を含む、ことを特徴とする。
【００１８】
本発明によると、画像処理装置は、撮像手段によって写し出された対象物の位置に応じて、実行する処理を切り替える。たとえば、ユーザは撮像手段の前で手を振りかざすことで、画像処理装置が提供する複数の機能の切替操作を行うことができるようになる。処理実行手段が実行する処理は、画像処理装置が保持する各アプリケーションプログラムであってもよく、また、アプリケーションプログラムが含む各機能であってもよく、処理の単位はどのような大きさであってもよい。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の好適な実施形態について図面を参照しつつ詳細に説明する。
【００２０】
図１には、本願発明に係る画像処理装置の動作を説明するための概念図を示す。図１において示す破線で囲まれた枠はそれぞれ、画像処理装置に接続されるカメラにより撮像された撮像画像である。
【００２１】
本願発明に係る画像処理装置は、撮像画像の中からユーザが写し出された領域の位置を、カメラにより順次撮像する画像の差分や背景画像との差分とに基づいて特定する。そして、画像処理装置は、特定したユーザの写し出された領域の位置に応じて、処理を切り替える。本実施形態では、一例として以下のように処理の切替を行うこととする。
【００２２】
画像処理装置は、撮像画像が図１（Ａ）である場合には、特定したユーザ領域Ｕ１の位置が、画像の上端よりも下にある状態であるので、ユーザの頭部が写し出されているものと判定する。そして、この場合に、画像処理装置は、ユーザの頭部に対応するアプリケーションを起動するモード（以下、このモードのことをコミュニケーションモードとする）に処理を切り替える。コミュニケーションモードでは、例えば、撮像画像からユーザの口元の動きを認識して、ユーザに対応するアバターにユーザの口元の動きを模倣させるアプリケーションやチャットのアプリケーション等を実行することとする。
【００２３】
次に、図１（Ｂ）は、画面の左右の端からユーザ領域Ｕ２が進入してきた状態の撮像画像を示している。撮像画像が図１（Ｂ）のように、特定したユーザ領域Ｕ２が画像の端から進入してきた場合には、ユーザの手が写し出されているものと判定する。そして、この場合に、画像処理装置は、ユーザの手に対応するアプリケーションを起動するモード（以下、このモードのことを操作モードとする）に処理を切り替える。操作モードでは、例えば、撮像画像からユーザの手の動きを認識して、手の位置と移動量とに基づいて画像内のオブジェクト（例えば、アイコンやボールオブジェクト等）を移動させるアプリケーション等の、ユーザの手の部位に応じたアプリケーションが動作することとする。
【００２４】
そして、撮像画像においてユーザ領域Ｕ３が存在するが、ユーザ領域Ｕ３が画像の上端にまで達しており、上記（Ａ）、（Ｂ）のどちらにも該当しない図１（Ｃ）の場合には、ユーザの胴体や足が写し出されているものと判定する。そして、この場合に、画像処理装置は、ユーザの足の動きに対応するアプリケーションを起動するモード（以下、このモードのことを移動モードとする）に処理を切り替える。移動モードでは、例えば、ユーザの足元の動きを認識して、ユーザの左右方向と奥行き方向への移動量に基づいて、ユーザに対応するアバターの仮想空間上の位置を移動させるアプリケーション等の、ユーザの足の部位に応じたアプリケーションが動作することとする。
【００２５】
なお、本実施形態では、ユーザの写し出された領域の位置に応じて、上述したように、画像処理装置の処理モードを切り替えることとしている。しかし、画像処理装置の行う処理の切替は、これに限られるものではなく、画像処理装置にて動作するアプリケーションを切り替えたり、画像処理装置の設定を切り替えたり、画像処理装置の出力表示を切り替えたりすることとしてもよい。
【００２６】
上記の処理を実現するために、本実施形態に係る画像処理装置が備える構成について以下に説明する。
【００２７】
図２は、本発明の実施の形態に係る画像処理装置を含む画像処理システムの物理的な構成図である。図２に示されるように、画像処理システム１は、画像処理装置１０、カメラ３０とディスプレイ４０を含む。
【００２８】
そして、画像処理装置１０は、物理的な構成として、プロセッサ１２、媒体読取装置１３、メモリ１４、カメラ入力インターフェース１６とグラフィックインターフェース１８を含む。各部は、バス２０を介して相互に通信可能に接続される。
【００２９】
プロセッサ１２は、図示しないＲＯＭやハードディスクに格納されるオペレーティングシステムやメモリ１４から読み出されるプログラムに基づいて、画像処理装置１０の各部を制御する。メモリ１４は、プログラムやデータが必要に応じて書き込まれるとともに、プロセッサ１２の作業用としても用いられる。
【００３０】
カメラ入力インターフェース１６は、カメラ３０と接続し、カメラ３０で撮像された画像データなどのデータ信号を受信する。カメラ３０は、撮像方向を調整する撮像方向調整部３０ａを備える。
【００３１】
グラフィックインターフェース１８は、ビデオメモリを含んで構成され、ビデオメモリに作成されたイメージデータをディスプレイ４０に転送する。そして、ディスプレイ４０では、転送されたイメージデータに基づいて画面にイメージが描画される。
【００３２】
媒体読み取り装置１３は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体を受け入れて、該媒体に記憶されたプログラムを読み出す。こうして読み出されるプログラムは、プロセッサ１２により実行される。
【００３３】
図３は、画像処理システム１の機能ブロック図である。図３に示されるように、画像処理システム１は、機能的な構成として、撮像部１００、制御部１０２、処理実行部１０４、領域特定データ取得部１０６、処理切替部１０８と表示部１１０を含む。これらの機能は、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムが、媒体読み取り装置１３を用いて、コンピュータシステムたる画像処理装置１０に読み込まれ、該画像処理装置１０により実行されることで実現されることとしてもよい。なお、ここでは情報記憶媒体によってプログラムが画像処理装置１０に供給されることとしたが、インターネット等のデータ通信ネットワークを介して遠隔地からプレゼンテーション用プログラムが画像処理装置１０にダウンロードされることとしてもよい。各部の詳細について、以下に説明する。
【００３４】
撮像部１００は、ユーザ等の被写体を撮像する機能を有する。撮像部１００は、カメラ３０を含み構成される。カメラ３０は、例えばカラーの撮影画像を所定時間おき（例えば１／６０秒等）に画像処理装置１０に入力するための公知のデジタルカメラであることとしてもよい。
【００３５】
制御部１０２は、画像処理装置１０の各部の制御や各処理のタイミングの制御を行うものである。制御部１０２は、画像処理装置１０のプロセッサ１２、メモリ１４とオペレーティングシステムにより実現される機能である。
【００３６】
処理実行部１０４は、撮像部１００により順次取得される画像に基づいて処理を実行する機能を有する。また、処理実行部１０４は、複数の処理を実行するものである。処理実行部１０４は、メモリ、情報記憶媒体やハードディスク等の記憶手段から読み出されたプログラムに基づいて、プロセッサ１２が動作することにより実現される機能である。上記読み出されるプログラムは、例えば、ゲーム、チャット等のアプリケーションプログラムであることとしてもよい。本実施形態では、処理実行部１０４は、複数の処理モード（コミュニケーションモード、操作モード、移動モード等）を有し、これらのモードに応じた複数の処理を実行するものとする。
【００３７】
領域特定データ取得部１０６は、撮像部１００（カメラ）により順次取得される画像の差分に従って、撮像画像内においてユーザが写し出された領域を特定する機能を有する。本実施形態では、領域特定データ取得部１０６は、位置記憶部１０６Ａと位置座標更新部１０６Ｂを含み、位置記憶部１０６Ａと位置座標更新部１０６Ｂの各機能に基づいて、上記ユーザが写し出された領域を特定するデータ（以下、領域特定データとする）の取得を実現する。以下、各部の機能の詳細を説明する。
【００３８】
位置記憶部１０６Ａは、画像処理装置１０に接続されるカメラにより順次取得される画像の差分に従って、撮像画像内においてユーザが映し出された領域として特定される領域の縁部に設定される複数の制御点の位置座標を前記領域特定データとして記憶する機能を有する。本実施形態において、位置記憶部１０６Ａに記憶される複数の制御点について、図４及び図５を参照しつつ、具体的に説明する。
【００３９】
本実施形態では、まず、ユーザが映し出された領域の上方の周縁部に沿って制御点を配置する。本実施形態においては、これらの制御点の位置を、ユーザの頭部の周縁部の位置とみなす。以下、これらの制御点をまとめて第１制御点群とする。
【００４０】
図４には、第１制御点群の一例を示す。図４（Ａ）には、初期状態として設定される第１制御点群を示す。本実施形態における第１制御点群は、両端を固定点とした１９点の制御点から構成されることとするが、これに限られるものではない。第１制御点群の位置座標の初期値は、以下のように決定される。まず、ユーザは撮像されたユーザ自身の画像が画面の枠内に収まるように立ち位置やカメラ角度等を調整する。そして、画像処理装置１０は、ユーザの頭部が枠内に収まった状態で、エッジ検出を行い、エッジとして検出された線上に所定間隔で、制御点を配置する。制御点間の間隔は、Ｘ座標について等分間隔で配置したものであってもよいし、両端付近の制御点の間隔を狭くして、中央付近については間隔を広くとるようにしたものであってもよい。
【００４１】
次に、撮像画像の端からユーザが映し出された領域が現れた場合に、その領域の端を追跡する制御点を配置する。本実施形態においては、これらの制御点の位置を、ユーザの手の位置とみなす。以下、これらの制御点をまとめて第２制御点群とする。
【００４２】
図５には、第２制御点群の一例を示す。図５（Ａ）に示されるように、第２制御点群は、初期状態で画面の左右の両端に沿って配置した複数の制御点により構成される。本実施形態における第２制御点群は、制御点を左端９点、右端９点の計１８点から構成されることとしているが、これに限られるものではない。また、図５における制御点間の間隔は、Ｙ座標について等間隔に配置したものとしている。そして、図５（Ｂ）は、ユーザの手が画面の右端から進入してきた場合の制御点の一例を示している。このように、第２制御点群は、画面の端から進入してくる被写体の位置を追跡するように位置が更新される。制御点の位置座標の更新処理については後述する。
【００４３】
なお、本実施形態において、制御点の位置座標は、画面の左右をＸ座標、上下をＹ座標として指定されるものとする。座標は、画面の左端をＸｍｉｎ、右端をＸｍａｘ、下端をＹｍｉｎ、上端をＹｍａｘとする。そして、各制御点の位置座標が画面の端に達した場合には、各制御点の位置座標はその端の座標値を保つこととする。また、位置記憶部１０６Ａは、メモリ１４等の記憶手段により実現される機能である。
【００４４】
位置座標更新部１０６Ｂは、位置記憶部１０６Ａに記憶される各制御点の位置座標を撮像部１００により順次取得される画像の差分に基づいて更新する機能を有する。位置座標更新部１０６Ｂにおいては、カメラ入力インターフェース１６を介して順次入力される画像データに基づいて、制御点毎に設定された比較領域に含まれる移動先候補に対して順位付けを行う。そして、位置座標更新部１０６Ｂにおいては、その順位付け結果に基づいて、各制御点の移動先を決定する。制御点の移動先候補に対する順位付けの方法の一例として、以下の方法を用いることができる。
【００４５】
第１の順位付け方法は、比較領域として設定した制御点の周囲の、例えばＮ×Ｎ画素についてフレーム間の差分値を計算し、その差分の絶対値に基づいた順位付けを行う方法である。この方法では、差分の絶対値が大きい画素の順位をより高くすることとしてもよい。また、フレーム間の差分値は、例えば比較領域を濃淡画像に変換してから計算を行うこととしてもよい。
【００４６】
第２の順位付け方法は、第１の順位方法と同様に、比較領域として設定した制御点の周囲の、例えばＮ×Ｎ画素についてフレーム間の差分の絶対値を計算する。そして、計算した差分の絶対値を、対象画素と制御点との距離で重み付けを行った値に基づいて順位付けを行う方法である。重み付けは、例えば、比較領域の差分値の分布から計算される制御点の推定移動距離に近い画素については順位を上げるように行うこととしてもよい。
【００４７】
第３の順位付け方法は、第１の順位方法と同様に、比較領域として設定した制御点の周囲の、例えばＮ×Ｎ画素についてフレーム間の差分の絶対値を計算する。そして、現在のフレーム画像に対してエッジ検出処理を行い、エッジが検出された画素については差分値に重み付けを加重して順位付けを行う方法である。例えば、エッジが検出された画素の差分値には重み付け係数として１．０を乗算し、エッジが検出されなかった画素の差分値には０．２を乗算して、順位付けを行うこととしてもよい。
【００４８】
第４の順位付け方法は、現在のフレーム画像と背景画像との差分を用いて、順位付けを行う方法である。初期状態で、ユーザの背景画像を撮像し、メモリ１４に記憶する。そして、背景画像と現在のフレーム画像との差分画像に対してエッジ検出処理を行い、前のフレーム画像のエッジ位置と現在のフレーム画像とのエッジ位置とから制御点の推定移動距離を算出する。そして、エッジの検出された画素のうち、制御点からの距離が、推定移動距離に近いものについては重み付けを加重して、順位付けを行うこととしてもよい。
【００４９】
第５の順位付け方法は、制御点毎にパターンマッチングに用いる基準画像を予め登録しておき、制御点の周囲の所定範囲について基準画像との一致度を計算し、その値に基づいて移動先の順位付けを行う方法である。例えば、基準画像は、制御点を頂点とし、第１制御点群の内部に領域を持つ三角形、四角形等の多角形やその他任意の形状としてもよい。
【００５０】
以上のいずれかの順位付け方法又はそれらを組み合わせた方法を用いて、全ての制御点について移動先候補の順位付けを生成する。そして、各制御点のうち順位の高いものから順に、制御点について定められた制約条件を満たすか否かを判定し、最初に制約を満たしたものを制御点の移動先として決定する。制御点についての制約条件としては、例えば、制御点間の距離について最大値と最小値を定めておいて、この範囲内に各制御点の距離があることとしてもよい。
【００５１】
また、図６に示すように、ユーザの胴体と手とが重なった場合に、重なった部分の制御点の位置については以下のように決定することができる。なお、図６においては、手が胴体の前にある状態であることとする。ユーザの体の部位が重なった場合の、隠れた部位に関する制御点の位置は、当該制御点に関して最後に記憶されている位置をそのまま維持することとしてもよいし、当該制御点に近接する制御点群の座標により補間して求めてもよい。近接する制御点群とは、図６を用いて説明すると、手によって隠れた胴体の制御点Ｂ１５、Ｂ１６に対して、少なくとも、Ｂ１４、Ｂ１７などのＢ１５、Ｂ１６に隣接する位置にある制御点を含む複数の制御点のことである。補間方法は、線形補間やスプライン補間など、公知の補間方法を適用することができる。また、補間位置を決定する際に用いる制御点の数は、２つに限られるものではなく、それ以上であっても構わない。そして、各制御点の位置は、上記補間により定められる線上であって、制御点間について定められた距離等の制約を満たす位置とする。また、隠れた部分の制御点の位置を、通常は最後に記憶された位置をそのまま維持することとしておき、例外として制御点間の距離の制約を満さない場合にのみ、近接する制御点の座標により補間することとしてもよい。
【００５２】
プロセッサ１２は、上述した方法に基づいたアルゴリズムで作成されたプログラムに従って、全ての制御点の移動先を決定する。そして、プロセッサ１２は、決定した各画素の位置座標の値により、メモリ１４内の制御点の位置座標の値を上書きして、制御点の座標位置を更新する。
【００５３】
処理切替部１０８は、領域特定データ取得部１０６により取得される領域特定データにより特定される領域の縁部の位置に応じて、処理実行部１０４により実行される処理を切り替える機能を有する。
【００５４】
本実施形態においては、一例として、画像処理装置１０が撮像した画像を処理する際の処理モードには、操作モード、コミュニケーションモード、移動モードの３つがあることとする。そして、画像処理装置１０は、領域特定データにより特定される領域の縁部の位置に応じて、これらの処理モードの切替を行うこととする。
【００５５】
また、処理切替部１０８は、第１判定部１０８Ａと第２判定部１０８Ｂとを含み、領域特定データにより特定される領域の位置に応じた第１判定部１０８Ａと第２判定部１０８Ｂとの判定に基づいて、処理（処理モード）の切替を行うものである。以下、各部の詳細について説明する。
【００５６】
第１判定部１０８Ａは、領域特定データにより特定される領域の縁部の位置と撮像画像の一辺との距離に基づいて所定条件が満足されているか否かを判定する機能を有する。本実施形態では、位置記憶部１０６Ａに記憶される第１制御点群の位置座標に基づいて、前記判定を行う。第１判定部１０８Ａにおける処理を、以下具体的に説明する。
【００５７】
第１判定部１０８Ａにおいて判定される所定条件とは、例えば、位置記憶部１０６Ａに記憶された第１制御点群に含まれる制御点の位置座標により特定される領域と、画面の上端との距離が所定の範囲内にあるという条件としてもよい。そして、第１判定部１０８Ａにおいて、前記所定条件が満たされる（つまり、前記距離が所定の範囲内にある）と判定される場合には、撮像画像はユーザの頭部を撮像したものではないことを示す。また、第１判定部１０８Ａにおいて、前記所定条件が満たされない（つまり、前記距離が所定の範囲内にない）と判定される場合には、撮像画像がユーザの頭部を撮像したものであることを示す。そして、第１判定部１０８Ａは、画像処理装置１０のハードウェアを用いて、例えば以下のように実現されるものである。なお、本実施形態では、具体例として、第１制御点群に含まれる各制御点のＹ座標が上端に重なったものの数が１つでもあれば、前記所定条件を満たし、０であれば前記所定条件を満たさないものとする。
【００５８】
プロセッサ１２は、メモリ１４に格納された第１制御点群の各制御点の位置座標を取得する。プロセッサ１２は、第１制御点群に含まれる制御点のうち、そのＹ座標が上端のＹｍａｘであるものがいくつあるかをカウントする。そして、プロセッサ１２は、そのカウントした値が０である場合には、第１条件を満たすもの、すなわち、撮像画像はユーザの頭部を撮像したもの、と判定する。ここで、図４（Ａ）の状態は、第１判定部１０８Ａにより前記所定条件が満たされているものと判定されるが、図４（Ｂ）の状態は、前記所定条件が満たされていないものと判定される。図４（Ｂ）の状態では、第１制御点群に含まれる制御点のうちＹ座標がＹｍａｘの制御点の数が３つあるためである。
【００５９】
第２判定部１０８Ｂは、領域特定データにより特定される前記領域が前記画像の端に生じたか否かを判定する機能を有する。本実施形態では、位置記憶部１０６Ａに記憶される第２制御点群の位置座標に基づいて、前記判定を行う。第２判定部１０８Ｂにおける処理を、以下具体的かつ詳細に説明する。
【００６０】
本実施形態において、領域特定データにより特定される領域が画像の端に生じたか否かの判定は、第２制御点群に含まれる左端に配置された制御点のうち、予め定められた左端領域よりも右側に移動したものが所定数を超えたか否かで判定するものとする。また、同様に、第２制御点群に含まれる右端に配置された制御点のうち、予め定められた右端領域よりも左側に移動したものが所定数を超えたか否かによっても判定することとする。第２判定部１０８Ｂは、画像処理装置１０のハードウェアを用いて、以下のように実現される。なお、本実施形態では、具体例として、第２制御点群に含まれる各制御点のＸ座標が両端から内側に移動してきたものが１つでもあれば、前記領域が画像の端に生じたと判定することとする。
【００６１】
プロセッサ１２は、メモリ１４に格納された第２制御点群の各制御点の位置座標を取得する。そして、プロセッサ１２は、左端に配置された制御点群のＸ座標のうち、左端の座標値Ｘｍｉｎより大きいものがいくつあるかをカウントする。そして、プロセッサ１２は、そのカウントした値が１つでもあれば、撮像画像の端に被写体であるユーザの手が進入してきたものと判定する。また、右端に配置された制御点群についても、各制御点のＸ座標のうち、右端のＸ座標の値Ｘｍａｘより小さいものがいくつあるかをカウントし、その数が１つでもあれば値を、撮像画像の端に被写体であるユーザの手が進入してきたものと判定する。
【００６２】
上記の具体例の下では、図５（Ａ）の状態は、第２判定部１０８Ｂによりユーザの手が端から進入していない状態であると判定され、図５（Ｂ）の状態は、ユーザの手が端から進入してきた状態であると判定される。図５（Ｂ）では、第２制御点群の右端に配置された制御点のうち、Ｘ座標値がＸｍａｘより小さい点が６点あるためである。
【００６３】
なお、上記の具体例では、第２判定部１０８Ｂにおいて、左端の制御点群と右端の制御点群とを分けて、それぞれの位置座標に基づいて、撮像画像がユーザの手を撮像したものか否かを判断しているが、両者をまとめて判断することとしてもよい。その場合には、第２制御点群に含まれる制御点のうち、Ｘ座標が予め定められた左部基準値（例えばＸｍｉｎ）よりも大きく、右部基準値（例えばＸｍａｘ）よりも小さい点の数が閾値を超えた場合に、ユーザの手が画像の端から進入してきたものと判定することとしてもよい。
【００６４】
そして、本実施形態では、第１判定部１０８Ａと第２判定部１０８Ｂにおける判定結果に従って、以下のように処理モードの切り換えが行われる。
【００６５】
画像処理装置１０は、第１判定部１０８Ａにおいて所定条件が満たされていると判定する場合には、処理モードを移動モードに設定し、所定条件が満たされていないと判定する場合には、処理モードをコミュニケーションモードに設定する。また、画像処理装置１０は、第２判定部１０８Ｂにおいて、撮像画像の端から被写体（ユーザの手）が進入してきたものと判定する場合には、処理モードを操作モードに設定する。なお、本実施形態では、処理モードが操作モードとしても判定される場合には、操作モードを優先することとするがこれに限られるものではない。
【００６６】
また、画像処理装置１０には、上記設定した処理モードを初期化する手段があってもよい。ここでいう処理モードの初期化とは、すべてのモードをＯＦＦに設定することとする。そして、処理モードの初期化は、例えば、第２制御点群のうち、左側の制御点群で構成される領域と、右側の制御点群で構成される領域が重なりあった場合に、行うこととしてもよい。
【００６７】
処理切換部は、画像処理装置１０のハードウェアを用いて、以下のように実現される。画像処理装置１０のメモリ１４に、各処理モードについてフラグとして１ビットの記憶領域を確保し、フラグの値が０の場合にはＯＦＦ、１の場合にはＯＮを示すこととする。そして、プロセッサ１２は、第１判定部１０８Ａと第２判定部１０８Ｂによる判定結果に基づいて、上記フラグの値を更新する。本実施形態では、プロセッサ１２は、初めに操作モードフラグの値を更新し、他の処理モードのフラグを更新する際には、操作モードフラグの値を参照し、操作モードフラグの値がＯＦＦの場合にのみ、当該フラグの更新処理を行うこととする。
【００６８】
そして、画像処理装置１０においては、プロセッサ１２がメモリ１４内の各処理モードの値を参照し、ＯＮになっている処理のモードに対応するアプリケーションを動作させることとする。
【００６９】
表示部１１０は、画像処理装置１０における画像処理により生成された画像を出力するものである。表示部１１０は、ディスプレイ４０を含み実現される機能である。
【００７０】
以下、本発明の実施の形態に係る画像処理装置１０における処理の流れについて説明する。
【００７１】
図７には、本発明の実施形態に係る画像処理装置１０における切替処理のフロー図を示す。図７に示されるように、画像処理装置１０は、制御点の初期座標を設定するための初期化処理を行う（Ｓ１０１）。初期化処理は、画像処置装置がユーザの撮像画像に基づいてエッジ検出をして制御点の初期値を設定することとしてもよいし、ユーザがディスプレイ４０に表示されたユーザ画像に基づいて制御点位置を調整することとしてもよい。また、画面上部と、左端と右端付近の背景画像を記憶することとしてもよい。そして、画像処理装置１０は、カメラ３０を用いて撮像処理を行い（Ｓ１０２）、撮像した画像に基づいて制御点の更新処理を行う（Ｓ１０３）。制御点の更新処理の詳細については、後述する。画像処理装置１０は、制御点の更新処理が終了すると、第２制御点群に含まれる制御点のＸ座標に基づいて、撮像画像の左右の少なくとも一端から被写体が進入してきたか否かを判断し（Ｓ１０４）、端から進入してきたと判断される場合には（Ｓ１０４Ｙ）、撮像画像を操作モードで処理する（Ｓ１０５）。また、Ｓ１０４で被写体の進入がないと判断される場合には（Ｓ１０４Ｎ）、第１制御点群に含まれる制御点のＹ座標に基づいて、ユーザの頭部と画像の上端との距離が所定範囲内にあるか否かを判断し（Ｓ１０６）、所定範囲内にあると判断される場合には撮像画像をコミュニケーションモードで処理する（Ｓ１０７）。また、Ｓ１０６において、所定範囲内にないと判断される場合には（Ｓ１０６Ｎ）、撮像画像を移動モードで処理する（Ｓ１０８）。以上の処理をカメラ３０で順次撮像される毎に繰り返す。
【００７２】
図８には、制御点の位置座標を更新する処理のフロー図を示す。図８に示されるように、画像処理装置１０は、制御点の周囲の比較領域について、順次撮像される画像により、フレーム間差分値を演算する（Ｓ２０１）。そして、画像処理装置１０は、比較領域の画素について、所定の順位付け方法に基づいて、移動先候補の順位付けを行う（Ｓ２０２）。次に、画像処理装置１０は、各制御点について移動先候補の順位付けを行った後に、順位付けの高い制御点群のうち、制御点間の距離、位置の制約を満たすものを移動先として決定する（Ｓ２０３）。画像処理装置１０は、こうして決定した制御点の移動先の位置座標に、制御点の位置座標を更新する（Ｓ２０４）。
【００７３】
以上説明した本発明の実施形態に係る画像処理装置によれば、画像処理装置は、撮像画像の中にユーザが写し出された領域の位置に応じて、実行する処理を切り換える。こうして、ユーザは撮像画像において自らが写し出された位置により画像処理装置に対する速やかな切替操作が可能となる。
【００７４】
なお、本発明は上記実施形態に限定されるものではない。
【００７５】
上記の実施形態では、撮像される画像が、ユーザのどの部位を撮像したものであるかを撮像画像の処理によって判定する方法を記載したが、これに限られるものではない。ユーザの撮像された部位を、撮像手段から得られる情報に基づいて判定することとしてもよい。例えば、カメラ３０の撮像方向調整部３０ａにより調整された撮像方向を検出し、その撮像方向に応じて撮像部位の判定を行うこととしてもよい。撮像方向調整部３０ａで調整された撮像方向の検出は、例えば、カメラ３０が向いている上下、左右の角度を検出するセンサにより行うことができる。そして、カメラ３０が向いている撮像角度の範囲にユーザの部位を対応付けておくことで、検出した角度に基づいてユーザのどの部位を撮像しているのかを判定することができる。例えば、図９に示されるように、カメラ３０の上下方向の撮像角度が、角度範囲ａにある場合には、ユーザの顔を撮像しているものと判定し、角度範囲ｂにある場合には、ユーザの手を撮像しているものと判定し、角度範囲ｃにある場合には、ユーザの足を撮像しているもの等と判定することとしてもよい。また、上下方向だけでなく、左右方向に対してもカメラの撮像角度に、ユーザの部位を対応付けておいて、上下、左右の角度の組み合わせにより、ユーザのどの部位が撮像されているのかを判定することとしてもよい。
【図面の簡単な説明】
【００７６】
【図１】本発明に係る画像処理装置の動作を説明する概念図である。
【図２】画像処理システムの物理的な構成図である。
【図３】画像処理システムの機能ブロック図である。
【図４】第１制御点群の一例を示す図である。
【図５】第２制御点群の一例を示す図である。
【図６】ユーザの胴体と手が重なった場合の制御点群を示す図である。
【図７】画像処理装置における切替処理のフロー図である。
【図８】制御点の位置座標を更新する処理のフロー図である。
【図９】カメラの撮像方向に応じた画像処理装置の切替処理を説明する図である。
【符号の説明】
【００７７】
１  画像処理システム、１０  画像処理装置、１２  プロセッサ、１３  媒体読取装置、１４  メモリ、１６  カメラ入力インターフェース、１８  グラフィックインターフェース、２０  バス、３０  カメラ、４０  ディスプレイ、１００  撮像部、１０２  制御部、１０４  処理実行部、１０６  領域特定データ取得部、１０６Ａ  位置記憶部、１０６Ｂ  位置座標更新部、１０８  処理切替部、１０８Ａ  第１判定部、１０８Ｂ  第２判定部、１１０  表示部、Ｕ１，Ｕ２，Ｕ３  ユーザ領域。
【図１】
2008004045.tif 000003
【図２】
2008004045.tif 000004
【図３】
2008004045.tif 000005
【図４】
2008004045.tif 000006
【図５】
2008004045.tif 000007
【図６】
2008004045.tif 000008
【図７】
2008004045.tif 000009
【図８】
2008004045.tif 000010
【図９】
2008004045.tif 000011