(57)【要約】【課題】インタラクティブシステム、リモコン及びその操作方法を提供する。【解決手段】本発明のインタラクティブシステムはリモコンを備える。当該リモコンは、人体画像及び背景画像を含む動作画像をキャプチャするためのビデオカメラと、当該動作画像を分析して当該動作画像中の当該人体画像に属する人体画像領域及び当該背景画像に属する背景画像領域を取得するための処理ユニットとを有する。当該処理ユニットは当該人体画像領域及び当該背景画像領域の輝度分布に基づいて当該リモコンの移動情報を発生させる。【選択図】図１
2016143414.tif 000002
【特許請求の範囲】
【請求項１】
リモコンを備えるインタラクティブシステムであって、
前記リモコンは、
人体画像及び背景画像を有する動作画像をキャプチャするのに用いられるビデオカメラと、
前記動作画像を受信し、前記動作画像を分析して前記動作画像中の前記人体画像に属する人体画像領域及び前記背景画像に属する背景画像領域を取得し、且つ前記人体画像領域及び前記背景画像領域の輝度分布に基づいて前記リモコンの移動情報を発生する処理ユニットと、
を備えることを特徴とするインタラクティブシステム。
【請求項２】
前記インタラクティブシステムは表示装置をさらに備え、前記リモコンは、ビームを前記表示装置に投射させて現在の操作座標を提示するための指示灯をさらに含むことを特徴とする、請求項１に記載のインタラクティブシステム。
【請求項３】
前記ビデオカメラ及び前記指示灯は前記リモコンの対応する二つの側面に設置されることを特徴とする、請求項２に記載のインタラクティブシステム。
【請求項４】
前記処理ユニットは、前記動作画像と複数の予測動作画像との近似度を比較し、前記動作画像の現在座標を決定することを特徴とする、請求項１に記載のインタラクティブシステム。
【請求項５】
前記複数の予測動作画像は、初期動作画像の予定位置情報及び予定深度情報が改変されることで得られることを特徴とする、請求項４に記載のインタラクティブシステム。
【請求項６】
前記リモコンは、前記予定位置情報及び前記予定深度情報を保存するための保存ユニットをさらに備え、前記処理ユニットはさらに、前記現在座標に基づいて前記予定深度情報の更新を行うことを特徴とする、請求項５に記載のインタラクティブシステム。
【請求項７】
前記インタラクティブシステムは表示装置をさらに備え、前記リモコンは、前記移動情報を出力させて前記表示装置のカーソルの動作の制御を行うための伝送インターフェースをさらに含むことを特徴とする、請求項１に記載のインタラクティブシステム。
【請求項８】
人体画像及び背景画像を有する初期動作画像及び現在の動作画像をキャプチャするために用いられるビデオカメラと、
前記初期動作画像、前記初期動作画像に対する予定深度図及び予定位置情報を保存するための保存ユニットと、
前記予定位置情報及び前記予定深度図を改変させて前記初期動作画像に基づいて複数の予測画像を生成し、前記複数の予測画像と前記現在の動作画像とを比較して最大近似度を獲得し、且つ前記最大近似度が対応する最適予測画像の位置情報を前記リモコンの現在位置情報とする処理ユニットと、
を備えることを特徴とするリモコン。
【請求項９】
前記予定位置情報及び前記現在位置情報は、三次元座標及び三次元傾角を含むことを特徴とする、請求項８に記載のリモコン。
【請求項１０】
前記処理ユニットは、前記現在位置情報に基づいて前記予定深度図の更新をさらに行うことを特徴とする、請求項８に記載のリモコン。
【請求項１１】
前記処理ユニットは、前記初期動作画像及び前記現在の動作画像中の人体画像領域及び背景画像領域の区分を行うことを特徴とする、請求項８に記載のリモコン。
【請求項１２】
前記処理ユニットは、前記現在の動作画像中の前記人体画像領域及び前記背景画像領域の内の少なくとも何れか１つと前記複数の予測画像中の対応する領域との近似度の比較を行うことを特徴とする、請求項１１に記載のリモコン。
【請求項１３】
前記リモコンは相互に対応し合う第一側及び第二側を備え、前記ビデオカメラは前記第一側に設置され、光源は前記第二側に設置されることを特徴とする、請求項８に記載のリモコン。
【請求項１４】
ビデオカメラを備えるリモコンの操作方法であって、
前記ビデオカメラにより人体画像及び背景画像を有する初期動作画像及び現在の動作画像のキャプチャを行う工程と、
前記初期動作画像に対する予定位置情報及び予定深度図を改変させて複数の予測画像を生成する工程と、
前記複数の予測画像と前記現在の動作画像とを比較して最適予測画像を獲得する工程と、
前記最適予測画像の対応する位置情報を出力させて前記リモコンの現在位置情報とする工程と、
を含むことを特徴とするリモコンの操作方法。
【請求項１５】
前記現在位置情報に基づいて前記予定深度図の更新を行う工程をさらに含むことを特徴とする、請求項１４に記載のリモコンの操作方法。
【請求項１６】
前記初期動作画像及び前記現在の動作画像中の人体画像領域及び背景画像領域の区分を行う工程をさらに含むことを特徴とする、請求項１４に記載のリモコンの操作方法。
【請求項１７】
前記現在の動作画像中の前記人体画像領域及び前記背景画像領域の内の少なくとも何れか１つと前記複数の予測画像中の対応する領域との近似度の比較を行う工程をさらに含むことを特徴とする、請求項１６に記載のリモコンの操作方法。
【請求項１８】
前記近似度は、前記現在の動作画像中の前記人体画像領域及び前記背景画像領域の内の少なくとも何れか１つと前記複数の予測画像中の対応する領域との相関性の計算であることを特徴とする、請求項１７に記載のリモコンの操作方法。
【請求項１９】
前記最適予測画像は、前記複数の予測画像の内の前記現在の動作画像との最高近似度を有する予測画像であることを特徴とする、請求項１４に記載のリモコンの操作方法。
【請求項２０】
リモコンを備えるインタラクティブシステムであって、
前記リモコンは、
少なくとも１つの人体画像を有する動作画像をキャプチャするためのビデオカメラと、
前記動作画像を受信し、前記動作画像中から顔の画像を抽出し、前記顔の画像と顔の特徴データベースとを照会して顔の特徴情報を発生し、前記顔の特徴情報と顔の幾何データベースとを照会して前記ビデオカメラのビデオカメラ姿勢を獲得する処理ユニットと、
を備えることを特徴とするインタラクティブシステム。
【請求項２１】
前記顔の特徴情報は複数の顔の特徴の二次元位置を含み、前記顔の幾何データベースは前記複数の顔の特徴の三次元位置を含み、且つ前記ビデオカメラ姿勢は三次元座標及び三次元傾角を含むことを特徴とする、請求項２０に記載のインタラクティブシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インタラクティブシステムに関し、特にリモコンと人体との相対的な位置関係に基づいてインタラクティブ情報を生成させるインタラクティブシステム、リモコン及びその操作方法に関する。
【背景技術】
【０００２】
従来のインタラクティブシステムの指向装置は、画像中での特定の物体の位置を検知することで実現している。特定の物体自体が環境及び表示装置に対して動作していない場合、特定の物体と表示装置との間には固定の空間位置関係を有するため、画像中の特定の物体の位置に基づいてビデオカメラが指向する方向を算出する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述の方法はテレビ、ゲーム機等の指向に広く応用されるが、しかしながら、前述した従来の技術では、ビデオカメラ自体の位置を算出できない。ゲーム機を例にすると、使用者はゲーム機のリモコンのビデオカメラを利用してスクリーン上の物体に照準を合わせるが、ただし、ゲーム機は使用者が照準を合わせるスクリーンの座標位置のみ算出し、ビデオカメラによりキャプチャされる画像に基づいて使用者とその手の運動軌跡との間の関係を算出することができず、ゲームの種類が制限された。そこで、本発明者は上記の欠点を改善できると考え、鋭意検討を重ねた結果、合理的な設計で上記の課題を効果的に改善する本発明の提案を行うこととする。
【０００４】
本発明は、上記の事情を考慮してなされたもので、上記課題解決のため、本発明は、リモコンと使用者との間の相互の位置の変化を検知させることで使用者の手の運動軌跡を計算するインタラクティブシステム、リモコン及びその操作方法を提供することを主目的とする。即ち、顔認識技術と組み合わせて動作画像中の人体画像領域及び背景画像領域を区別させ、且つリモコン座標の計算時に動作画像の一部の画像領域のみに基づいて計算を行い、他の画像領域は無視する。
【課題を解決するための手段】
【０００５】
本発明に係るインタラクティブシステムは、リモコンを備える。前記リモコンは、人体画像及び背景画像を有する動作画像をキャプチャするのに用いられるビデオカメラと、前記動作画像を受信し、前記動作画像を分析して前記動作画像中の前記人体画像に属する人体画像領域及び前記背景画像に属する背景画像領域を取得し、且つ前記人体画像領域及び前記背景画像領域の輝度分布に基づいて前記リモコンの移動情報を発生する処理ユニットとを備えることを特徴とする。
【０００６】
また、本発明に係るリモコンは、人体画像及び背景画像を有する初期動作画像及び現在の動作画像をキャプチャするために用いられるビデオカメラと、前記初期動作画像、前記初期動作画像に対する予定深度図及び予定位置情報を保存するための保存ユニットと、前記予定位置情報及び前記予定深度図を改変させて前記初期動作画像に基づいて複数の予測画像を生成し、前記複数の予測画像と前記現在の動作画像とを比較して最大近似度を獲得し、且つ前記最大近似度が対応する最適予測画像の位置情報を前記リモコンの現在位置情報とする処理ユニットとを備えることを特徴とする。
【０００７】
さらに、本発明に係るビデオカメラを備えるリモコンの操作方法は、前記ビデオカメラにより人体画像及び背景画像を有する初期動作画像及び現在の動作画像のキャプチャを行う工程と、前記初期動作画像に対する予定位置情報及び予定深度図を改変させて複数の予測画像を生成する工程と、前記複数の予測画像と前記現在の動作画像とを比較して最適予測画像を獲得する工程と、前記最適予測画像の対応する位置情報を出力させて前記リモコンの現在位置情報とする工程とを含むことを特徴とする。
【０００８】
なお、本発明に係るインタラクティブシステムは、リモコンを備える。前記リモコンは、少なくとも１つの人体画像を有する動作画像をキャプチャするためのビデオカメラと、前記動作画像を受信し、前記動作画像中から顔の画像を抽出し、前記顔の画像と顔の特徴データベースとを照会して顔の特徴情報を発生し、前記顔の特徴情報と顔の幾何データベースとを照会して前記ビデオカメラのビデオカメラ姿勢を獲得する処理ユニットとを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、顔認識技術と組み合わせて動作画像中の人体画像領域及び背景画像領域を区別させ、且つリモコン座標の計算時に動作画像の部分画像領域にのみ基づいて計算を行い、他の画像領域は無視する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係るシステム組織図である。
【図２】本発明の一実施形態に係るリモコンを示す概念図である。
【図３】本発明の一実施形態において、キャプチャされた映像を示す概念図である。
【図４】本発明の一実施形態において、ビデオカメラの三次元座標空間を示す概念図である。
【図５】本発明の一実施形態におけるビデオカメラ座標及び物体の距離を計算、更新するフローチャートである。
【図６】本発明の一実施形態におけるビデオカメラ座標を計算、更新する概念図である。
【図７】本発明の一実施形態におけるビデオカメラの物体距離を計算、更新する概念図である。
【図８】本発明の一実施形態における顔分析により三次元位置情報を作るフローチャートである。
【図９】本発明の一実施形態における使用者に２つのリモコンを同時に把持させる概念図である。
【発明を実施するための形態】
【００１１】
以下に図面を参照して、本発明を実施するための形態について、詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。
【００１２】
本発明には新たなフレームワークを採用し、ビデオカメラがハンドヘルド装置に設置される。ビデオカメラの設置位置は使用者の頭部及び／又は肩や身体の他の部位（以下、人体と略称する）を観察するのに適した位置であり、使用者がゲームを行う際に、使用者の手の運動に合わせてビデオカメラが使用者の人体及びその後の背景領域の変化を観察し、これにより使用者の手の運動軌跡を計算することで、ゲーム体験を向上させる。本発明に係るビデオカメラは表示装置の方向の画像をキャプチャせず、表示装置やその付近に参照光源を設置させる必要はない。
【００１３】
図１は本発明の実施形態に係るインタラクティブシステムを示すシステム概念図である。図１に示すように、前記インタラクティブシステムは、使用者の画像を検知させるためのリモコン１０００を備え、異なる角度から前記人体及び背景領域の画像を観察し、前記リモコン１０００と人体及び／又は背景領域との相対的な位置の変化を計算することで運動情報を生成し、前記運動情報に基づいて表示装置３０００の操作の制御を行う(例えば、前記表示装置３０００のカーソルの移動の制御)。
【００１４】
また、図２に示すように、前記リモコン１０００は、本体１１００と、ビデオカメラ１２００と、光源１３００とを有する。前記本体１１００は、好ましくは前記使用者に把持させるための長軸を有し、前記本体１１００には複数のボタン(図示せず)が設置されて信号の入力ユニットの制御に使用される。前記ビデオカメラ１２００は前記本体１１００の第一側に設置され、使用者により前記リモコン１０００が把持されて操作が行われると、前記第一側は好ましくは前記使用者に対向し、前記ビデオカメラ１２００により人体及び／又は背景領域の部分的な画像がキャプチャされる。前記光源１３００は前記第一側に対応する第二側に設置され、前記使用者が指向を入力するための視覚標示(システムの需要に応じて設置の有無が決まる)となる指示灯として使用され、鮮明な視覚標示を提供する。前記光源１３００は好ましくはレーザーで投影される光源であり、ビームが前記表示装置３０００に投射されて現在の操作座標が提示される。
【００１５】
例えば、前記リモコン１０００は、マイクロコントローラーユニット(MCU)又は中央処理装置(CPU)等の処理ユニットを備え、前記ビデオカメラ１２００によりキャプチャされた動作画像を受信し、前記動作画像を分析して前記動作画像中の人体画像に属する人体画像領域及び背景画像に属する背景画像領域を取得し、且つ前記人体画像領域及び前記背景画像領域に基づいて前記リモコン１０００の移動情報を生成する。前記リモコン１０００は、有線又は無線伝送方式で前記移動情報を出力させて制御前記表示装置３０００のカーソルに対応する動作を行わせる伝送インターフェースをさらに備える。ある実施形態では、前記リモコン１０００の座標の計算時に、人体画像領域又は背景画像領域の内の１つのみを使用して計算することができる。
【００１６】
図３に示すように、前記ビデオカメラ１２００は動作画像１５００のキャプチャ時に、同時に前記使用者の人体画像１５１０及び背景領域を有する１つ又は複数の背景画像１５２１／１５２２をキャプチャする。理解すべき点は、図３には２つの背景画像１５２１及び１５２２が図示されるが、これは説明のためのものであり、本発明をこれに限定させるものではない。使用者により前記ビデオカメラ１２００が操作されると、手が持続的に移動するため、前記ビデオカメラ１２００は前記人体及び背景領域に対する異なる視角から複数の動作画像を取得し、前後の時間にキャプチャされた異なる視角の２つの動作画像を利用して使用者の人体及び／又は背景領域に関係する立体視覚をシミュレートし、これにより前記ビデオカメラ１２００、前記使用者の人体及び前記背景領域の間の三次元位置関係を構築する。
【００１７】
前記動作画像１５００が人体画像１５１０及び背景画像１５２１／１５２２を備えることで、使用者が手を移動させると、人体画像１５１０及び背景画像１５２１／１５２２は前記動作画像１５００での結像位置が改変されるため、前記リモコン１０００は人体画像１５１０及び背景画像１５２１／１５２２の結像位置の変化に基づいて前記リモコン１０００自体の移動情報を計算する。より詳しくは、前記動作画像１５００中の結像位置の変化が輝度分布中に表示される。使用者の前記リモコン１０００を把持する手が移動しておらず、使用者の上半身が回転動作を行う場合、例えば、ガンシューティングゲーム中のゲームキャラクターが銃を持ち左右に回転するのを観察する場合、前記人体画像１５１０の前記動作画像１５００中での結像位置は変化しないが、ただし、前記背景画像１５２１／１５２２が前記動作画像１５００中で変化するため、前記リモコン１０００は前記背景画像１５２１／１５２２のみに基づいて使用者の回転運動情報を算出できる。ある実施形態では、背景領域にある物体が移動する場合、人体画像領域及び背景画像領域を区分した後、前記リモコン１０００は前記人体画像１５１０のみに基づいて使用者の運動情報を算出する。換言すれば、本発明の説明において、前記リモコン１０００ (例えば、処理ユニット)はキャプチャされた動作画像１５００中の人体画像領域及び背景画像領域を区分させ、且つ異なる条件下でその内の少なくとも何れか１つを選択して前記リモコン１０００の現在位置情報を計算する。
【００１８】
ある実施形態では、前記リモコン１０００は前記動作画像１５００の分析時に、画像全体を直接判断し、前記人体画像１５１０及び／又は前記背景画像１５２１／１５２２をさらに識別させずとも、前記動作画像１５００の全ての画素の輝度分布の変化を直接判断し、さらに各画素と前記ビデオカメラ１２００との間の距離及び相対的な位置の変化を判断する。
【００１９】
他の実施形態では、前記リモコン１０００は前記動作画像１５００の分析において、まず、前記動作画像１５００の輝度分布又は他の画素情報に基づいて人体画像１５１０ (例えば、顔認識技術により顔を判断し、顔と同じ深度を有する画像領域を前記人体画像１５１０であると識別する)及び／又は前記背景画像１５２１／１５２２(例えば、前記人体画像１５１０以外の画像領域を前記背景画像１５２１／１５２２であると判断する)を識別させ、人体画像１５１０及び／又は背景画像１５２１／１５２２の結像位置の変化に基づいて人体及び／又は背景領域と前記ビデオカメラ１２００との間の距離、傾角及び相対的な位置の変化を判断する。
【００２０】
図４は前記ビデオカメラ１２００、前記人体及び／又は背景領域の間の三次元位置関係の概念図を示す。ある実施形態では、起動(又は操作開始)後の時間ｔ０で第一画像(例えば、初期動作画像と呼ばれる)をキャプチャする際の前記ビデオカメラ１２００の位置Ｐ４０が三次元座標空間の原点Ｏとして設定され、次の時間ｔ１での前記ビデオカメラ１２００の位置Ｐ４１で第二画像(例えば、現在の動作画像と呼ばれる)をキャプチャする際の座標位置が前記位置Ｐ４０を原点Ｏとする三次元座標空間に表示される。前記リモコン１０００は２つの画像間の輝度分布に基づいて前記位置Ｐ４１の三次元座標を計算する。前記２つの画像が二連続の画像である場合、時間ｔ０とｔ１との時間差はサンプリング周期となり、前記２つの画像は非連続の２つの画像でもよい。
【００２１】
前記三次元位置関係の計算時に、前記人体及び／又は背景領域と前記リモコン１０００との間の相対的な関係及び距離は共に未知であり、よって先に１組の基本的なパラメータ(例えば、予定深度図及び予定位置情報を含む)を仮定し、動作画像を複数回キャプチャすることで反復計算を行い、これにより、より精確な三次元位置関係を取得する。例えば、図５は、反復計算に用いられると共に前記ビデオカメラ１２００の三次元座標空間の位置及び各画素が対応する使用者の人体及び背景領域とビデオカメラとの間の距離の更新の説明である(以下、物体距離と略称する)。
【００２２】
工程５１００では、前記ビデオカメラ１２００により初期の第一動作画像(初期動作画像と呼ばれる)がキャプチャされ、前記ビデオカメラ１２００の位置Ｐ４０は三次元座標空間の原点Ｏと仮定され、且つキャプチャされた前記第一動作画像中の各画素の物体距離全てに１つの予定値(例えば、全てが１と設定される)が設定される。各画素に設定される物体距離の予定は前記リモコン１０００又は前記ビデオカメラ１２００の保存ユニット(例えば、メモリー、緩衝器等)に予め保存されてもよい。
【００２３】
換言すれば、前記初期動作画像のキャプチャ時に、前記保存ユニットには前記初期動作画像の予定深度図、輝度図(即ち、前記初期動作画像)、前記ビデオカメラ１２００の予定位置情報(例えば、限定するわけではないが、三次元座標及び三次元傾角)及び画像取得焦点距離等が少なくとも保存される。前記予定深度図は各画素に対する物体距離(例えば、限定するわけではないが、共に１に設定される)を含む。前記輝度図は各画素のグレースケールを含む。前記三次元座標は(０、０、０)等に設定される。前記三次元傾角は第一軸方向傾角、第二軸方向傾角及び第三軸方向傾角を含み、これらは共に０に設定される。ただし、本発明の明細書中の予定値の設定はこれに制限するわけではない。
【００２４】
工程５３００では、前記ビデオカメラ１２００により動作周波数に基づいて現在の動作画像(例えば、第二動作画像)がキャプチャされる。前記動作周波数はフレームレート(frame rate)とも呼称される。即ち、工程５１００及び工程５３００では、前記ビデオカメラ１２００により人体画像及び背景画像を有する初期動作画像及び現在の動作画像がそれぞれキャプチャされる。
【００２５】
工程５５００では、現在の各画素が対応する物体距離及び前記ビデオカメラ１２００によりキャプチャされた前回の動作画像と現在の動作画像との間の画像の変化に基づいて計算を行うと共に前記ビデオカメラ１２００の現在座標の更新を行う。図４に示すように、例えば、第一時間ｔ０での前記ビデオカメラ１２００の予定座標Ｐ４０を原点Ｏ(０、０、０)とし、これは工程５１００でキャプチャされる初期動作画像に基づいて決定される。より詳しくは、前記原点座標Oは、前記リモコン１０００又は前記ビデオカメラ１２００の人体に対する初期三次元空間関係である。第二時間ｔ１で第二画像がキャプチャされると、計算を行い前記ビデオカメラ１２００の座標をＰ１’(ｘ１’、 ｙ１’、 ｚ１’)に更新し、これは工程５２００でキャプチャされた現在の動作画像に基づいて決定される。より詳しくは、前記現在座標Ｐ１’は前記リモコン１０００又は前記ビデオカメラ１２００の人体に対する現在の三次元空間関係である。例えば、ある実施形態では、前記リモコン１０００は処理ユニットを備え、画像処理方式により前記予定位置情報及び前記予定深度図を改変させて、前記初期動作画像に基づいて複数の予測画像(例えば、１組の三次元座標、三次元傾角及び深度により１枚の予測画像を生成)を生成し、これら前記予測画像と前記現在の動作画像とを比較して最大近似度を獲得し、且つ前記最大近似度が対応する最適予測画像の位置情報を前記リモコンの現在位置情報とし、例えば、三次元座標及び三次元傾角等を含む。
【００２６】
より詳しくは、前記リモコン１０００が前記現在の動作画像に基づいて前記リモコン１０００又は前記ビデオカメラ１２００の前記原点Ｏに対する現在座標を取得する方式とは、前記処理ユニットは異なる座標(即ち、位置情報及び深度情報の改変)を順に発生させて前記現在の動作画像の輝度分布状況を予測画像とし、何れか１つの予測画像と前記ビデオカメラ１２００により実際にキャプチャされた現在の動作画像との近似度が最高である場合、前記予測画像を最適予測画像とする。理解できる点は、前記リモコン１０００は画像比較方式により前記最適予測画像を確認するため、前記最適予測画像の輝度分布は前記現在の動作画像と完全に同じではなく、又は閾値を利用して比較工程を中止するか否かを確認し、近似度が前記閾値より大きい予測画像を前記最適予測画像とすることもある。
【００２７】
工程５７００では、前記ビデオカメラ１２００により更新された座標(例えばＰ１’)に基づいて再計算を行うと共に人体又は背景領域とビデオカメラ１２００との間の物体距離(例えば、前記予定深度図の更新)の更新を行い、再度工程５３００に戻る。
【００２８】
理解できる点は、工程５５００において、前記ビデオカメラ１２００の各画素の物体距離は保存された物体距離の数値(例えば、第二動作画像をキャプチャする際に予め保存された各画素に設定された物体距離の予定値が読み取られ、第三動作画像又は後続の動作画像がキャプチャされると更新された物体距離が読み取られる)を直接読み取り、実際の各画素が対応する使用者の人体又は背景領域と前記ビデオカメラ１２００との間の距離ではなく、これにより計算された前記ビデオカメラ１２００の新しい座標Ｐ１’(ｘ１’、ｙ１’、ｚ１’)と実際の前記ビデオカメラ１２００の座標Ｐ１(ｘ１、ｙ１、ｚ１)との間には一定のギャップが存在する。工程５３００／５５００／５７００が複数回行われた後に複数回の更新により計算された前記ビデオカメラ１２００の座標Ｐｎ’と実際の前記ビデオカメラ１２００の座標Ｐｎとの間のギャップは徐々に減少する。前記リモコン１０００は、例えば座標Ｐ１’(ｘ１’、ｙ１’、ｚ１’)をホスト計算機に出力させて対応する制御を行う。
【００２９】
当然ながら、一実施形態に係る前記リモコン１０００は距離測定ユニット(図示せず)をさらに備え、これにより、前記リモコン１０００により前記ビデオカメラ１２００の全ての画素の実際の物体距離を取得し、工程５７００は無視される。
【００３０】
前記ビデオカメラ１２００により動作画像(例えば第三動作画像)が再度キャプチャされ、工程５５００及び工程５７００で前記ビデオカメラ１２００の座標及び各画素の物体距離を獲得して更新を行う。これにより、前記ビデオカメラ１２００により動作画像が複数回キャプチャされ、工程５５００及び５７００を反復して行うことで、前記ビデオカメラ１２００により計算された座標と実際の座標とがより近接し、計算された各画素の物体距離(例えば、予定深度図)と実際の物体距離とがより近接する。このため、ある実施形態では、前記ビデオカメラ１２００は較正段階を有し、これは起動、スリープ終了、又は使用者が選択した際に実行され、正式な操作の際の精度を高める。
【００３１】
ちなみに、操作の安定性を向上させるため、リモコン１０００の操作の後に所定時間毎に工程５１００に戻るように設定され、又は各画素に対する算出された物体距離と前回の画像(又は初期画像)で取得された物体距離との間の変化が閾値を超過するか又は有効な物体距離が算出できない画素数が一定比率を超える場合、前記ビデオカメラ１２００の操作状態を再設定して工程５１００に戻る。
【００３２】
図６は工程５５００で前記ビデオカメラ１２００の座標が更新される概念図である。前記工程５５００では、前記ビデオカメラ１２００の各画素の物体距離(例えば、予定深度図)が読み取られた後、これら物体距離は前記ビデオカメラ１２００により前回の動作画像(又は初期画像)がキャプチャされた際の各画素の物体距離となり、これら物体距離に基づいて前記ビデオカメラ１２００の新しい座標が計算される。
【００３３】
ある実施形態では、前記ビデオカメラ１２００は前後の時間(例えば、ｔ０、ｔ１)でＣ６１及びＣ６２の２つの位置で２つの動作画像Ｉ６１／Ｉ６２をそれぞれキャプチャすると、キャプチャされた動作画像Ｉ６１／Ｉ６２は共に人体６５１０及び背景領域６５２１／６５２２を含み (処理ユニットを利用して人体画像領域及び背景画像領域を識別することは説明済み)、前記使用者の人体６５１０の特徴点Ｐ６０は前記２つの動作画像Ｉ６１／Ｉ６２の結像位置でそれぞれＰ６１／Ｐ６２となる。前記処理ユニットは、演算法等により前記初期動作画像(例えば、Ｉ６１)に対する予定位置情報及び予定深度情報(保存ユニットに保存される)を改変させて複数の予測動作画像を生成し、前記動作画像Ｉ６２が異なる位置にある場合の輝度分布をシミュレートする。前記処理ユニットは、これら予測動作画像と前記動作画像Ｉ６２との近似度を比較し、例えば、相関性(correlation)を計算することで、最高近似度を有する最適予測動作画像が対応する位置情報を前記動作画像Ｉ６２の現在位置情報とする。前述のように、前記処理ユニットにより前記現在の動作画像中の前記人体画像領域及び前記背景画像領域の内の少なくとも何れか１つとこれら予測画像中の対応する領域(即ち、人体画像領域及び背景画像領域)の近似度とが比較され、例えば、対応する領域間の相関性が計算される。
【００３４】
また、上述から分かるように、結像位置の変化を判断する特徴点Ｐ６０は通常キャプチャされた動作画像中から容易に区分できる点であり、例えば、閾値を超える輝度値を有する画素が対応する特徴点である。又は、一群の特徴点の組み合わせであり、例えば、同じか類似する輝度値を有する画素の集合が対応する特徴点の集合である。
【００３５】
判断に用いられる特徴点が多いほど、算出される前記ビデオカメラ１２００の位置の変化がより精確になり、判断に用いられる特徴点が対応する画素数が一定の閾値より少ない場合、前記リモコン１０００は工程５１００に戻って初期動作画像を再度キャプチャする。当然ながら、この初期動作画像の各画素の物体距離は、予め保存された予定値(例えば、１)又は前回のビデオカメラ１２００の位置の変化の計算に用いられた有効な動作画像が対応する最後の一回に更新された物体距離の値を使用する。
【００３６】
他の実施形態では、まず、前後の動作画像Ｉ６１／Ｉ６２から１つ又は複数の特徴点Ｐ６０ないしは特徴点の集合を識別させ、これら特徴点Ｐ６０又は他の特徴点の集合の近似度に基づいて前記ビデオカメラ１２００により前記２つの動作画像Ｉ６１／Ｉ６２がキャプチャされた際の位置Ｃ６１／Ｃ６２の座標の変化を計算する。
【００３７】
図７は工程５７００の前記ビデオカメラ１２００の各画素の物体距離が更新される(即ち、保存された深度情報が更新される)概念図である。前記工程５７００において、１つ前の工程５５００で、前記ビデオカメラ１２００によりキャプチャされた現在の動作画像の座標が取得されているため、前記ビデオカメラ１２００により前後の動作画像がキャプチャされた際の座標の変化に基づいて保存された前記ビデオカメラ１２００の各画素の物体距離の計算及び更新を行う。
【００３８】
ビデオカメラ１２００により座標Ｃ７１(例えば、図６の位置Ｃ６１に対応する)で前回の動作画像Ｉ７１がキャプチャされた際に、特徴点Ｐ７０は前記動作画像Ｉ７１での結像位置がＰ７１となり、前記ビデオカメラ１２００により現在の動作画像Ｉ７２(例えば、図６の位置Ｃ６２に対応する)がキャプチャされた際の座標はＣ７２に移動しており、１つ前の工程５５００に基づいてＣ７１／Ｃ７２の座標及び位置の変化を取得する。
【００３９】
前記リモコン１０００は保存された前回更新された物体距離を有するため、前記特徴点Ｐ７０が前記動作画像Ｉ７１で対応する画素が更新された物体距離に基づいて捜索距離Ｓ７１(例えば、現在更新された物体距離の前後に向けた所定距離)を設定させ、且つ前記ビデオカメラ１２００の現在座標Ｃ７２がすでに分かっているため、前記捜索距離Ｓ７１及び前記座標Ｃ７２から三角法を利用して前記動作画像Ｉ７２中の前記捜索距離Ｓ７１に対応する１つの捜索範囲Ｓ７２を定義し、且つ前記捜索範囲Ｓ７２から前記特徴点Ｐ７０に対応する結像の画素Ｐ７２を調べる。このため、Ｃ７１／Ｃ７２の前後の座標の変化、前回の動作画像Ｉ７１中の前記特徴点Ｐ７０が対応する物体距離及び現在の動作画像Ｉ７２中の前記特徴点Ｐ７０が対応する画素位置Ｐ７２に基づいて前記特徴点Ｐ７０と前記ビデオカメラ１２００の前記座標Ｃ７１との間の物体距離を算出し、これにより、前記リモコン１０００は保存された前記特徴点Ｐ７０が対応する物体距離を更新させる。続いて、前記リモコン１０００は、新しい現在の動作画像に基づいて前記保存ユニット内に保存された物体距離(即ち、深度図)の更新を行う。
【００４０】
ある実施形態では、前後の動作画像Ｉ７１／Ｉ７２から１つ又は複数の特徴点Ｐ７０ないしは特徴点の集合を識別し、これら特徴点Ｐ７０又はその特徴点の集合の結像位置の変化に基づいて前記ビデオカメラ１２００により現在の動作画像Ｉ７２がキャプチャされた際に対応する前記特徴点Ｐ７０又はその特徴点の集合とビデオカメラ１２００との間の物体距離を計算する。
【００４１】
上述のように、使用者が前記リモコン１０００の本体１１００を把持させて連続的に移動すると、前記ビデオカメラ１２００によりキャプチャされた連続の動作画像に基づいて前記ビデオカメラ１２００の相対的な移動を計算する。即ち、前記リモコン１０００の相対的な移動が算出される。
【００４２】
ある実施形態では、較正工程を実行する。即ち、使用者が前記リモコン１０００のレーザー光源１３００により投射されるビームの照準を表示装置３０００の１つの特定の目標点に合わせることで、前記ビデオカメラ１２００の三次元座標空間及び前記使用者の人体と前記表示装置３０００との間の１つの座標空間の連結を構築し、使用者が直接指向の制御を行えるようにする。
【００４３】
ある実施形態では、キャプチャされた動作画像中の使用者の人体と背景領域とをさらに分離させ、例えば、動作画像中の各画素点の輝度値に基づいて分割し、これにより、前景(使用者の人体)及び背景(背景領域)を区分し、使用者の人体をキャプチャされた動作画像中で独立させ、末端のアプリケーションプログラムにより判断を行い、例えば、使用者の顔の分析や、ビデオカメラ１２００と人体との間の相対関係のみを利用して前記ビデオカメラ１２００の位置を計算する。
【００４４】
図８は本発明の一実施形態における顔分析により、三次元位置情報を作るフローチャートであり、画像キャプチャ(工程Ｓ８１)と、顔検知(工程Ｓ８２)と、顔の特徴検知(工程Ｓ８３)と、ビデオカメラ姿勢予測(工程Ｓ８４)と、及び応用制御(工程Ｓ８５)とを含む。これら工程は、例えば、前記ビデオカメラ１２００内の処理ユニット１２１０により実行される。前述のように、前記三次元位置情報(即ち、ビデオカメラ姿勢)は、三次元座標及び三次元傾角等を含む。本実施形態において、前記処理ユニット１２１０は１つの動作画像に基づいて三次元位置情報を獲得する。前記処理ユニット１２１０は顔データベース、顔の特徴データベース及び顔の幾何データベースを有し、メモリーや緩衝器等の前記処理ユニット１２１０に予め保存される。前述のように、前記処理ユニット１２１０は、例えば、マイクロコントローラーユニット又は中央処理装置である。
【００４５】
工程Ｓ８１では、前記リモコン１０００のビデオカメラ１２００により少なくとも１つの人体画像を含む動作画像がキャプチャされ(図３参照)、且つ前記動作画像が処理ユニット１２１０に伝送されて後処理が施される。理解できることは、前記動作画像は人体画像以外の物体画像を含む点である。
【００４６】
工程Ｓ８２では、まず、前記処理ユニット１２１０により前記動作画像と前記顔データベースとの照会が行われ、前記動作画像中から顔の画像を抽出し、且つ前記顔の画像範囲以外の画像データ(即ち、画素データ)は無視し、例えばレジスタ中から削除されるか、計算時に計算しない。前記処理ユニット１２１０は、例えば、顔検知エンジン(ソフトウェア及び／又はハードウェアで実現される)を含み、顔検知演算法により前記動作画像と前記顔データベースとの照会が行われて前記顔の画像が生成される。使用された顔検知演算法には特に制限はなく、例えば２０１３年１１月１日付で公告されたＴＷ Ｉ４１４１７９Ｂ、２０１４年１１月２１日付で公告されたＴＷ Ｉ４６２０２９Ｂ及び２０１３年７月１１日付で公告されたＴＷ Ｉ４０１９６３Ｂ１等の特許文献を参照する。他の実施形態では、前記処理ユニット１２１０には顔検知演算法が使用されず、面積及び／又は形状等のパラメータを利用して前記動作画像中から前記顔の画像を抽出する。例えば、画像領域の面積が予定面積の閾値より大きく、及び／又は画像領域の形状が予定形状に符合する等である。前記画像領域は、例えば、予定グレースケール範囲にある画素領域である。
【００４７】
工程Ｓ８３では、続いて、前記処理ユニット１２１０により前記顔の画像と前記顔の特徴データベースとの照会が行われて顔の特徴情報が生成される。前記顔の特徴は、特徴、眉毛、顎、輪郭等の内の少なくとも一部分の二次元位置を含む。前記処理ユニット１２１０は顔の特徴検知エンジン(ソフトウェア及び／又はハードウェアで実現される)を有し、前記顔の画像中の複数の顔の特徴の照会を行って対応する二次元位置を求める。換言すれば、前記顔の特徴情報は、前記顔の画像中の複数の顔の特徴の二次元位置を含む。これら前記顔の特徴は前記顔の特徴検知エンジンに使用される演算法又は前記顔の特徴データベースに予め保存された顔の特徴に基づいて決定され、特に制限はない。
【００４８】
工程Ｓ８４では、次に、前記処理ユニット１２１０により前記顔の特徴情報と前記顔の幾何データベースとの照会が行われて前記ビデオカメラ１２００の三次元位置情報等のビデオカメラ姿勢が求められる。換言すれば、前記顔の幾何データベースは、これら前記顔の特徴の三次元位置を含む。なお、前記処理ユニット１２１０は、姿勢予測エンジン(ソフトウェア及び／又はハードウェアで実現される)を有し、三次元ポジション予測(三次元 pose estimation)演算法を利用して前記ビデオカメラ姿勢を求める。三次元姿勢予測演算法は、以下の論文を参照する：”Ｓｙｎｔｈｅｓｉｚｉｎｇ  ｓｔｅｒｅｏ  ３Ｄ  ｖｉｅｗｓ  ｆｒｏｍ  ｆｏｃｕｓ  ｃｕｅｓ  ｉｎ  ｍｏｎｏｓｃｏｐｉｃ  ２Ｄ  ｉｍａｇｅｓ”、Ｒａｍｏｎ  Ｍ．  Ｒｏｄｒｉｇｕｅｚ−Ｄａｇｎｉｎｏ、”Ｇｌｏｂａｌｌｙ  Ｏｐｔｉｍａｌ  Ｏ（ｎ）  Ｓｏｌｕｔｉｏｎ  ｔｏ  ｔｈｅ  ＰｎＰ  Ｐｒｏｂｌｅｍ  ｆｏｒ  Ｇｅｎｅｒａｌ  Ｃａｍｅｒａ  Ｍｏｄｅｌｓ”、Ｇｅｒａｌｄ  Ｓｃｈｗｅｉｇｈｏｆｅｒ、  “Ｓｙｎｔｈｅｓｉｚｉｎｇ  ｓｔｅｒｅｏ  ３Ｄ  ｖｉｅｗｓ  ｆｒｏｍ  ｆｏｃｕｓ  ｃｕｅｓ  ｉｎ  ｍｏｎｏｓｃｏｐｉｃ  ２Ｄ  ｉｍａｇｅｓ”、  Ｒａｍｏｎ  Ｍ．  Ｒｏｄｒｉｇｕｅｚ−Ｄａｇｎｉｎｏ、ただし、これらに限定するわけではない。
【００４９】
工程Ｓ８５では、前記処理ユニット１２１０は最後に、単一の動作画像の位置情報又は連続の動作画像の位置情報の変化に基づいて後続の応用制御を行う。例えば、カーソルの移動、ゲームのパラメータ等の制御であるが、特定の制限があるわけではない。
【００５０】
ある実施形態では、使用者に２つのリモコン８１００及び８３００を同時に把持させ、各リモコン８１００及び８３００は共に上述の方法(図５又は図８)に基づいて前記使用者の人体及び／又は背景領域との間の１つの三次元座標空間を構築させる。これにより、マトリックス変換により２つのリモコン８１００及び８３００の三次元座標空間を結合させ、２つのリモコン８１００及び８３００が互いの相対的な位置関係を認知することで、使用者は両手対話式の、又はジェスチャーにより操作を行う（図９参照）。
【００５１】
ちなみに、上述の説明では、ビデオカメラ１２００はリモコン１０００に内設されるため、前記リモコン１０００の位置情報が前記ビデオカメラ１２００の位置情報となる。
【００５２】
上述の実施形態は本発明の技術思想及び特徴を説明するためのものにすぎず、当該技術分野の知識を有する当業者に本発明の内容を理解させると共に、これをもって実施させることを目的としており、本発明の特許請求の範囲を限定するものではない。従って、本発明の精神を逸脱せずに行うことのできる各種の同様の効果をもつ改良又は変更は、後述の請求項に含まれるものとする。
【符号の説明】
【００５３】
１０００、８１００、８３００  リモコン
１１００  本体
１２００  ビデオカメラ
１２１０  処理ユニット
１３００  光源
１５００  動作画像
１５１０  人体画像
１５２１、１５２２  背景画像
３０００  表示装置
５１００、５３００、５５００、５７００  工程
６５１０  人体
６５２１、６５２２  背景領域
Ｃ６１、Ｃ６２  物体位置
Ｃ７１、Ｃ７２  ビデオカメラ座標
【図１】
2016143414.tif 000003
【図２】
2016143414.tif 000004
【図３】
2016143414.tif 000005
【図４】
2016143414.tif 000006
【図５】
2016143414.tif 000007
【図６】
2016143414.tif 000008
【図７】
2016143414.tif 000009
【図８】
2016143414.tif 000010
【図９】
2016143414.tif 000011