(57)【要約】  比較的簡易な構成により、電子ミラー装置等の遠隔操作を実現することができる遠隔操作装置を提供する。  第１及び第２の３次元モデルから第１及び第２のユーザ像を生成する３次元レンダリング部（２３）と、メニュー画像と第２のユーザ像とが重なるか否かを判定する第１の操作判定部（２４）と、第２のユーザ像の表示画面と垂直な方向への移動量に基づいて、ユーザが指定した位置を示す表示画面上の座標を特定する第２の操作判定部（２４）と、メニュー画像と第２のユーザ像とが重なると判定された場合であって、特定された座標がメニュー画像の表示される領域に含まれる場合に、メニュー画像に対応する操作情報を出力する操作情報出力部（２５）とを備え、第２の操作判定部（２４）は、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、第１のユーザ像の奥行き値と第２のユーザ像の奥行き値との差分値を移動量として算出する。
2009147806.tif 000002
【特許請求の範囲】
【請求項１】
表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための遠隔操作装置であって、
第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成部と、
前記３次元モデル生成部によって生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリング部と、
前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定部と、
前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定部と、
前記第１の操作判定部によって前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定部によって特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力部とを備え、
前記第２の操作判定部は、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する
遠隔操作装置。
【請求項２】
前記３次元レンダリング部は、第１の射影行列を用いて前記第１及び第２の３次元モデルを３次元レンダリングすることにより、前記第１及び第２のユーザ像を生成し、さらに、第１の射影行列とは異なる第２の射影行列を用いて、前記第２の３次元モデルを３次元レンダリングすることにより、第３のユーザ像を生成し、
前記３次元レンダリング部によって生成された第３のユーザ像が前記表示画面に表示される
請求項１に記載の遠隔操作装置。
【請求項３】
前記第１の射影行列は、正射影行列であり、
前記第２の射影行列は、透視射影行列である
請求項２に記載の遠隔操作装置。
【請求項４】
前記第１の射影行列は、前記ユーザの大きさ及び前記表示画面の大きさに応じてユーザ像の大きさを変化させる射影行列である
請求項２に記載の遠隔操作装置。
【請求項５】
表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための遠隔操作方法であって、
第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成ステップと、
前記３次元モデル生成ステップにおいて生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリングステップと、
前記３次元レンダリングステップにおいて生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定ステップと、
前記３次元レンダリングステップにおいて生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定ステップと、
前記第１の操作判定ステップにおいて前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定ステップにおいて特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力ステップとを含み、
前記第２の操作判定ステップでは、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する
遠隔操作方法。
【請求項６】
表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための集積回路であって、
第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成部と、
前記３次元モデル生成部によって生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリング部と、
前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定部と、
前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定部と、
前記第１の操作判定部によって前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定部によって特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力部とを備え、
前記第２の操作判定部は、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する
集積回路。
【請求項７】
表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するためのプログラムであって、
第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成ステップと、
前記３次元モデル生成ステップにおいて生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリングステップと、
前記３次元レンダリングステップにおいて生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定ステップと、
前記３次元レンダリングステップにおいて生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定ステップと、
前記第１の操作判定ステップにおいて前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定ステップにおいて特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力ステップとをコンピュータに実行させ、
前記第２の操作判定ステップでは、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの３次元人体形状モデル（以下、単に「３次元モデル」という。）を生成し、生成した３次元モデルを任意の位置の視点から３次元レンダリングしたときのユーザ像を表示する装置を遠隔操作するための遠隔操作装置及び遠隔操作方法に関する。
【背景技術】
【０００２】
ユーザの３次元モデルを生成して任意視点表示する図１に示すような電子ミラー装置がある。一般的に、電子ミラー装置は、３次元人体形状計測装置１０２（図１ではカメラ）によって計測された計測データを用いて、ユーザ１０１の３次元モデルを生成する。そして、電子ミラー装置は、３次元モデルをレンダリングすることによりユーザの投影像１０４を生成し、生成したユーザの投影像１０４を表示画面１０３に表示する。【０００３】
電子ミラー装置において、表示画面１０３から離れた位置にいるユーザ１０１が表示画面１０３に表示されたメニュー画像を選択及び決定することにより、電子ミラー装置を遠隔操作する方法が考えられる。このような電子ミラー装置の遠隔操作方法では、表示画面上に表示されるユーザの投影像を利用して、電子ミラー装置を遠隔操作する。【０００４】
具体的には、図２に示すように、電子ミラー装置は、表示画面２０２に映るユーザ２０１の投影像２０３と重なるメニュー画像２０４を、ユーザ２０１に「選択」されたメニュー画像と判定する（ステップＳ１）。次に、電子ミラー装置は、ユーザ２０１に「選択」されたメニュー画像のうち、表示画面２０２と垂直な方向におけるユーザの移動量が最も大きい位置を含むメニュー画像を、ユーザ２０１に「決定」されたメニュー画像と判定する（ステップＳ２）。【０００５】
このような遠隔操作方法を、プロジェクタに適用した例が特許文献１に開示されている。特許文献１の遠隔操作方法では、プロジェクタの投影像及びプロジェクタと投影面との距離（＝奥行き方向の情報）を用いてメニュー操作を行う遠隔操作方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３２２０５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の技術では、奥行き方向の情報を取得するために別途距離センサが必要となる。すなわち、上記従来の技術では、投影像を表示するための装置に加えて、奥行き方向の情報を計測するための装置が必要となるという問題がある。【０００８】
そこで、本発明は上記課題に鑑みてなされたものであり、比較的簡易な構成により、電子ミラー装置等の遠隔操作を実現することができる遠隔操作装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の遠隔操作装置の一態様は、表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための遠隔操作装置であって、第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成部と、前記３次元モデル生成部によって生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリング部と、前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定部と、前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定部と、前記第１の操作判定部によって前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定部によって特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力部とを備え、前記第２の操作判定部は、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する。【００１０】
これにより、デプスバッファを参照することにより、投影面と垂直な方向におけるユーザ像の移動量を算出することができるので、距離センサなどの装置を用いてユーザと表示画面との距離を検知することなく、操作情報を出力することが可能となる。すなわち、比較的簡易な構成により、電子ミラー装置等の遠隔操作を実現することが可能となる。【００１１】
また、前記３次元レンダリング部は、第１の射影行列を用いて前記第１及び第２の３次元モデルを３次元レンダリングすることにより、前記第１及び第２のユーザ像を生成し、さらに、第１の射影行列とは異なる第２の射影行列を用いて、前記第２の３次元モデルを３次元レンダリングすることにより、第３のユーザ像を生成し、前記３次元レンダリング部によって生成された第３のユーザ像が前記表示画面に表示されることが好ましい。【００１２】
これにより、表示用のユーザ像とは異なる操作用のユーザ像を用いてユーザが指定したメニュー画像を判定することができるので、ユーザは、ユーザの位置又は大きさなどに関わらず一定の操作感覚でメニュー画像を指示することが可能となる。【００１３】
また、前記第１の射影行列は、正射影行列であり、前記第２の射影行列は、透視射影行列であることが好ましい。【００１４】
これにより、表示用のユーザ像は正射影行列を用いて生成されるので、ユーザは、ユーザと表示画面との位置関係によらず、一定の操作感覚でメニュー画像を指示することが可能となる。【００１５】
また、前記第１の射影行列は、前記ユーザの大きさ及び前記表示画面の大きさに応じてユーザ像の大きさを変化させる射影行列であることが好ましい。【００１６】
これにより、ユーザの大きさに関わらず、ユーザは、一定の操作感覚でメニュー画像を指示することが可能となる。【００１７】
また、本発明の集積回路の一態様は、表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための集積回路であって、第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成部と、前記３次元モデル生成部によって生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリング部と、前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定部と、前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定部と、前記第１の操作判定部によって前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定部によって特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力部とを備え、前記第２の操作判定部は、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する。【００１８】
なお、本発明は、このような遠隔操作装置として実現することができるだけでなく、このような遠隔操作装置が備える特徴的な構成部の動作をステップとする遠隔操作方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。
【発明の効果】
【００１９】
本発明によれば、デプスバッファを参照することにより、投影面と垂直な方向におけるユーザ像の移動量を算出することができるので、距離センサなどの装置を用いてユーザと表示画面との距離を検知することなく、操作情報を出力することが可能となる。すなわち、比較的簡易な構成により、電子ミラー装置等の遠隔操作を実現することが可能となる。【００２０】
（本願の技術的背景に関する情報）
２００８年６月２日に出願された出願番号２００８−１４４４５８の日本出願の明細書、図面及び特許請求の範囲における開示の全体は、参照用として本願に取り込まれる。
【図面の簡単な説明】
【００２１】
【図１】図１は、従来の電子ミラー装置の概要を表す図である。
【図２】図２は、従来の電子ミラー装置における好適な遠隔操作方法を説明するための図である。
【図３】図３は、本発明の実施の形態１における遠隔操作装置を備える電子ミラー装置の機能構成を示すブロック図である。
【図４Ａ】図４Ａは、本発明の実施の形態１における遠隔操作装置による処理の流れを示すフローチャートである。
【図４Ｂ】図４Ｂは、本発明の実施の形態１における遠隔操作装置による処理の流れを示すフローチャートである。
【図５】図５は、本発明の実施の形態１における遠隔操作装置による処理の流れを説明するための図である。
【図６】図６は、本発明の実施の形態２における遠隔操作装置を備える電子ミラー装置の機能構成を示すブロック図である。
【図７】図７は、本発明の実施の形態２における遠隔操作装置による処理の流れを示すフローチャートである。
【図８】図８は、本発明の実施の形態２における遠隔操作装置による処理の流れを説明するための図である。
【図９】図９は、ユーザと表示画面との位置関係による投影像の違いを表す図である。
【図１０】図１０は、透視射影を説明するための図である。
【図１１】図１１は、正射影を説明するための図である。
【図１２】図１２は、本発明の実施の形態２の変形例を説明するための図である。
【図１３】図１３は、本発明の変形例を説明するための図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２３】
（実施の形態１）
図３は、本発明の実施の形態１における遠隔操作装置を備える電子ミラー装置の機能構成を示すブロック図である。図３に示すように、電子ミラー装置１０は、３次元人体形状計測部１１と、表示部１２と、電子ミラー制御部１３と、遠隔操作装置２０とを備える。
【００２４】
３次元人体形状計測部１１は、ユーザの３次元人体形状を計測し、計測データを遠隔操作装置２０の３次元モデル生成部２１へ出力する。３次元人体形状計測部１１は、ステレオ計測法又は光切断法など、一般的に３次元人体形状を計測する際に利用される方法を用いて、ユーザの３次元人体形状を計測すれば良い。
【００２５】
表示部１２は、液晶ディスプレイなどの表示画面を有し、表示画像合成部２６によって出力された表示用画像を表示する。
【００２６】
電子ミラー制御部１３は、電子ミラー装置１０を構成する各構成要素の動作を制御する。また、電子ミラー制御部１３は、操作情報出力部２５によって出力された操作情報に応じて、各構成要素の動作を制御する。例えば、操作情報が輝度ＵＰを示す場合、電子ミラー制御部１３は、表示する画像の輝度を所定の値だけ大きくさせる。
【００２７】
遠隔操作装置２０は、表示画面から離れた位置にいるユーザの動きに応じて、表示画面に表示されたメニュー画像に対応する操作情報を出力する装置である。遠隔操作装置２０は、３次元モデル生成部２１と、データ記憶部２２と、３次元レンダリング部２３と、操作判定部２４と、操作情報出力部２５と、表示画像合成部２６と、制御部２７とを備える。
【００２８】
３次元モデル生成部２１は、３次元人体形状計測部１１によって計測された計測データから、ユーザの３次元モデルを順次生成する。具体的には、３次元モデル生成部２１は、例えば、ドロネー三角形分割法、あるいはマーチングキューブズ法など３次元モデルを生成する際に一般的に利用される方法を用いて、３次元モデルを生成する。
【００２９】
データ記憶部２２は、メモリ等の記憶媒体であり、射影行列を含むレンダリングパラメータを記憶している。
【００３０】
３次元レンダリング部２３は、３次元モデル生成部２１によって生成された３次元モデルを、データ記憶部２２に記憶されたレンダリングパラメータを用いて３次元レンダリングすることにより、２次元の投影像（以下、単に「ユーザ像」という。）を生成する。具体的には、３次元レンダリング部２３は、モデリング変換、光源計算、射影変換、ビューポート変換、テクスチャマッピング等の一連のレンダリング処理を実行することにより、ユーザ像を生成する。このレンダリング処理において、３次元レンダリング部２３は、図示しないバッファメモリであるカラーバッファ及びデプスバッファに色情報及び奥行き情報を格納する。
【００３１】
ここで、カラーバッファに格納される色情報とは、３次元モデルが投影面に投影されたときの投影面上の位置と色との関係を示す情報である。また、デプスバッファに格納される奥行き情報とは、３次元モデルが投影面に投影されたときの位置と奥行き値との関係を示す情報である。
【００３２】
操作判定部２４は、第１及び第２の操作判定部の一例であり、３次元レンダリング部２３によってカラーバッファ及びデプスバッファに格納された色情報及び奥行き情報を参照することにより、第１の操作判定及び第２の操作判定を実行する。
【００３３】
具体的には、操作判定部２４は、３次元レンダリング部２３によって生成されたユーザ像が表示画面に表示された場合に、メニュー画像とユーザ像とが重なるか否かを、カラーバッファに格納された色情報を用いて判定する（第１の操作判定）。
【００３４】
また、操作判定部２４は、３次元レンダリング部２３によって生成されたユーザ像が表示画面に表示された場合における、表示画面と垂直な方向へのユーザ像の移動量を算出する。そして、操作判定部２４は、算出した移動量に基づいて、ユーザによって指示された表示画面上の座標を特定する（第２の操作判定）。具体的には、操作判定部２４は、例えば、最も大きな移動量となる投影面上の位置に対応する表示画面上の座標を、ユーザによって指示された座標として特定する。なお、操作判定部２４は、デプスバッファを参照し、現在のユーザ像と過去のユーザ像との奥行き値の差分値を移動量として算出する。
【００３５】
操作情報出力部２５は、操作判定部２４によってメニュー画像と第２のユーザ像と重なると判定された場合であって、操作判定部２４によって特定された座標がメニュー画像の表示される領域に含まれる場合に、メニュー画像に対応する操作情報を表示画像合成部２６及び電子ミラー制御部１３等へ出力する。メニュー画像に対応する操作情報は、例えば、メニュー画像と操作情報とが対応づけて格納された操作情報テーブルなどから取得されれば良い。
【００３６】
表示画像合成部２６は、操作情報出力部２５によって出力された操作情報に基づいて表示用メニュー画像を生成する。そして、表示画像合成部２６は、生成した表示用メニュー画像と３次元レンダリング部２３によって生成されたユーザ像とを合成することにより表示用画像を生成する。そして、表示画像合成部２６は、生成した表示用画像を表示部１２へ出力する。
【００３７】
制御部２７は、遠隔操作装置２０の各構成要素の動作を制御する。
【００３８】
なお、３次元モデル生成部２１によって生成された３次元モデル、又は３次元レンダリング部２３によって生成されたユーザ像等は、図示しない記憶部に格納されても良い。その場合、各構成要素は、記憶部に格納された３次元モデル又はユーザ像を読み出し、読み出した３次元モデル又はユーザ像を用いて処理を実行する。
【００３９】
次に、上記のように構成された遠隔操作装置２０の各種動作について説明する。
【００４０】
図４Ａ及び図４Ｂは、本発明の実施の形態１における遠隔操作装置による処理の流れを示すフローチャートである。また、図５は、本発明の実施の形態１における遠隔操作装置による処理の流れを説明するための図である。
【００４１】
はじめに、図４Ａを用いて、遠隔操作装置２０における全体の処理の流れについて説明する。
【００４２】
まず、３次元モデル生成部２１は、ユーザの３次元人体計測データから３次元モデルを生成する（Ｓ１０１）。
【００４３】
次に、３次元レンダリング部２３は、３次元モデルを３次元レンダリングすることにより、表示画面に表示するためのユーザ像を生成する。ここで、３次元レンダリング部２３は、ユーザ像を生成する際に、色情報及び奥行き情報を生成し、生成した色情報及び奥行き情報をレンダリングバッファ４０１に格納する（Ｓ１０２）。図５に示すように、レンダリングバッファ４０１は、ユーザの表示画面上の投影像である色情報を格納するカラーバッファ４０２と、ユーザの表示画面からの距離を表す奥行き情報を格納するデプスバッファ４０３とから構成される。
【００４４】
続いて、操作判定部２４は、操作判定の対象となるメニュー画像であって、まだ選択されていないメニュー画像を選択する（Ｓ１０３）。
【００４５】
次に、操作判定部２４は、カラーバッファ４０２に格納された色情報及びデプスバッファ４０３に格納された奥行き情報を用いて、操作判定処理を実行する（Ｓ１０４）。なお、操作判定処理についての詳細は、図４Ｂを用いて後述する。
【００４６】
そして、操作判定部２４は、表示画面に表示されたすべてのメニュー画像がステップＳ１０３において選択されたか否かを判定する（Ｓ１０５）。ここで、すべてのメニュー画像が選択されていない場合（Ｓ１０５のＮｏ）、操作判定部２４は、ステップＳ１０３〜Ｓ１０４の処理を繰り返す。一方、すべてのメニュー画像が選択されている場合（Ｓ１０５のＹｅｓ）、操作情報出力部２５は、決定情報が示す、ユーザに「決定」されたメニュー画像に対応する操作情報を出力する（Ｓ１０６）。
【００４７】
次に、表示画像合成部２６は、出力された操作情報に基づいて表示用メニュー画像４０４を生成する。具体的には、表示画像合成部２６は、例えば、操作情報が示すメニュー画像の色を変更した表示用メニュー画像４０４を生成する。そして、表示画像合成部２６は、生成した表示用メニュー画像４０４とユーザ像とを合成した表示用画像４０５を表示部１２へ出力する（Ｓ１０７）。最後に、表示部１２は、表示用画像４０５を表示画面に表示する（Ｓ１０８）。
【００４８】
次に、図４Ｂを用いて、遠隔操作装置２０における操作判定処理の流れについて説明する。ユーザが選択及び決定したメニュー画像を特定するための操作判定処理では、レンダリングバッファ４０１が参照される。また、操作判定処理は、ユーザが「選択」したメニュー画像を特定する第１の操作判定と、ユーザが「決定」したメニュー画像を特定する第２の操作判定とに分けることができる。
【００４９】
まず、第１の操作判定（Ｓ１１１及びＳ１１２）について説明する。操作判定部２４は、ステップＳ１０３において選択されたメニュー画像の表示領域の色情報をカラーバッファ４０２から取得する（Ｓ１１１）。次に、操作判定部２４は、メニュー画像の表示領域内にユーザ像が含まれているか否かを判定する（Ｓ１１２）。具体的には、操作判定部２４は、例えば、メニュー画像の表示領域に対応する位置の色情報が初期値とは異なる値である場合に、当該メニュー画像の表示領域内にユーザ像が含まれていると判定する。
【００５０】
ここで、メニュー画像の表示領域内にユーザ像が含まれている場合は（Ｓ１１２のＹｅｓ）、操作判定部２４は、当該メニュー画像がユーザに選択されていると判断し、第２の操作判定を実行する。一方、メニュー画像の表示領域内にユーザ像が含まれていない場合は（Ｓ１１２のＮｏ）、操作判定部２４は、当該メニュー画像がユーザに選択されていないと判断し、第２の操作判定を実行しない。
【００５１】
次に、第２の操作判定（Ｓ１２１〜Ｓ１２４）について説明する。操作判定部２４は、ステップＳ１０３において選択されたメニュー画像の表示領域の奥行き情報をデプスバッファ４０３から取得する（Ｓ１２１）。ここで、操作判定部２４は、現在及び過去の奥行き情報をデプスバッファ４０３から取得する。具体的には、操作判定部２４は、例えば、ステップＳ１０１において生成された３次元モデルに基づいて生成された奥行き情報と、当該３次元モデルよりも１つ前に生成された３次元モデルに基づいて生成された奥行き情報とを、デプスバッファ４０３から取得する。
【００５２】
次に、操作判定部２４は、取得した奥行き情報が示す奥行き値の差分値を、投影面上の位置ごとに算出する（Ｓ１２２）。続いて、操作判定部２４は、算出した差分値の最大値が、他のメニュー画像においてすでに算出された差分値の最大値よりも大きいか否か判定する（Ｓ１２３）。
【００５３】
ここで、算出した差分値の最大値が、他のメニュー画像においてすでに算出された差分値の最大値よりも大きい場合（Ｓ１２３）、操作判定部２４は、ユーザに「決定」されたメニュー画像を示すための決定情報を、当該メニュー画像を示す情報に更新する（Ｓ１２４）。
【００５４】
以上のように、本実施の形態における遠隔操作装置２０は、カラーバッファ及びデプスバッファに格納された色情報及び奥行き情報を用いて、ユーザが「選択」及び「決定」したメニュー画像を特定することができる。つまり、遠隔操作装置２０は、第１の操作判定において使用する表示画面に対して水平方向の情報及び第２の操作判定において使用する表示画面に対して垂直方向の情報は、それぞれ、表示するユーザ像を生成するための３次元レンダリング処理により、カラーバッファ及びデプスバッファに格納される色情報及び奥行き情報として得ることができるため、別の計測処理あるいは認識処理を必要としない。すなわち、遠隔操作装置２０は、比較的簡易な構成により電子ミラー装置１０の遠隔操作を実現することができる。
【００５５】
なお、操作判定部２４が参照する色情報には可視カラー値（ＲＧＢ又はＨＳＶなど）だけでなく、透明度を表すα値（Ａ）など該当する位置の画素の制御情報が含まれても良い。その場合、操作判定部２４は、例えば、メニュー画像の表示領域に対応する位置の色情報のうち上記の制御情報が初期値とは異なる値である場合に、当該メニュー画像の表示領域内にユーザ像が含まれていると判定しても良い。
【００５６】
なお、操作判定部２４は、奥行き値の差分値の最大値が所定の閾値に達しなかった場合、又は表示画面方向の移動でなかった場合は、決定情報を更新しなくても良い。これにより、遠隔操作装置は、ユーザの意図しない動作による誤操作を避けることができる。
【００５７】
また、操作判定部２４によって算出された奥行き値の差分値に応じて、表示画像合成部２６は、メニュー画像あるいはユーザ像の色を変更しても良い。これにより、ユーザは、自身が決定したメニュー画像を確認することができる。
【００５８】
（実施の形態２）
次に、本発明の実施の形態２における遠隔操作装置について説明する。
【００５９】
本実施の形態における遠隔操作装置４０は、操作判定処理を実行するためのユーザ像と表示画面に表示するためのユーザ像とを生成する点が実施の形態１における遠隔操作装置２０と異なる。
【００６０】
図６は、本発明の実施の形態２における遠隔操作装置を備える電子ミラー装置３０の機能構成を示すブロック図である。本実施の形態における遠隔操作装置４０と実施の形態１における遠隔操作装置２０とは、３次元レンダリング部及び表示画像合成部の処理の一部とデータ記憶部に格納されるデータの一部とが異なるが、その他の部分は同じである。なお、図６において、図３と同一の構成要素については同一の符号を付し、説明を省略する。
【００６１】
データ記憶部４２は、正射影行列を含む第１のレンダリングパラメータ（以下、「操作用レンダリングパラメータ」という。）と、透視射影行列を含む第２のレンダリングパラメータ（以下、「表示用レンダリングパラメータ」という。）とを記憶している。
【００６２】
３次元レンダリング部４３は、３次元モデル生成部２１によって生成された３次元モデルを、データ記憶部４２に記憶された操作用レンダリングパラメータを用いて３次元レンダリングすることにより、色情報と奥行き情報とを生成する。そして、３次元レンダリング部４３は、色情報をカラーバッファに格納し、奥行き情報をデプスバッファに格納する。
【００６３】
さらに、３次元レンダリング部４３は、３次元モデル生成部２１によって生成された３次元モデルを、データ記憶部４２に記憶された表示用レンダリングパラメータを用いて３次元レンダリングすることにより、表示用のユーザ像を生成する。
【００６４】
なお、３次元レンダリング部４３は、表示用のユーザ像を生成する第１の３次元レンダリング部と操作用のユーザ像を生成する第２の３次元レンダリング部との２つの３次元レンダリング部によって構成されても良い。また、制御部２７が、表示用のユーザ像を生成する処理と操作用のユーザ像を生成する処理とで時分割制御をしても良い。
【００６５】
表示画像合成部４６は、操作情報出力部２５によって出力された操作情報に基づいて表示用メニュー画像を生成する。そして、表示画像合成部４６は、生成した表示用メニュー画像と３次元レンダリング部４３によって生成された表示用のユーザ像とを合成することにより表示用画像を生成する。そして、表示画像合成部４６は、生成した表示用画像を表示部１２へ出力する。
【００６６】
次に、上記のように構成された遠隔操作装置４０の各種動作について説明する。
【００６７】
図７は、本発明の実施の形態２における遠隔操作装置による処理の流れを示すフローチャートである。また、図８は、本発明の実施の形態２における遠隔操作装置による処理の流れを説明するための図である。なお、図７において、図４Ａと同一の処理については同一の符号を付し、説明を省略する。
【００６８】
ステップＳ１０１の処理が実行された後、３次元レンダリング部４３は、３次元モデルを、操作用レンダリングパラメータを用いて３次元レンダリングすることにより、操作用のユーザ像（色情報及び奥行き情報）を生成する（Ｓ２０１）。そして、３次元レンダリング部４３は、生成した色情報及び奥行き情報を操作用レンダリングバッファ６０１に格納する。なお、３次元レンダリング部４３は、ステップＳ２０２において表示用のユーザ像を生成するときとは異なる射影行列を用いて、操作用のユーザ像を生成する。
【００６９】
次に、操作判定部２４及び操作情報出力部２５は、実施の形態１と同様に、ステップＳ１０３〜Ｓ１０６の処理を実行する。ここで、ステップＳ１０４の操作判定処理では、操作判定部２４は、操作用レンダリングバッファ６０１に格納された色情報及び奥行き情報を用いて操作判定処理を実行する。具体的には、操作判定部２４は、操作用カラーバッファ６０２に格納された色情報を用いて第１の操作判定を行う。また、操作判定部２４は、操作用デプスバッファ６０３に格納された奥行き情報を用いて、第２の操作判定を行う。
【００７０】
次に、３次元レンダリング部４３は、ステップＳ２０１において操作用のユーザ像を生成したときと同じ３次元モデルを、表示用レンダリングパラメータを用いて３次元レンダリングすることにより、表示用のユーザ像を生成する（Ｓ２０２）。そして、３次元レンダリング部４３は、生成した色情報及び奥行き情報を表示用レンダリングバッファ６０４に格納する。なお、３次元レンダリング部４３は、ステップＳ２０１において操作用のユーザ像を生成するときとは異なる射影行列を用いて、表示用のユーザ像を生成する。
【００７１】
そして、表示画像合成部４６は、出力された操作情報に基づいて表示用メニュー画像６０５を生成する。そして、表示画像合成部４６は、生成した表示用メニュー画像４０４と表示用のユーザ像とを合成した表示用画像６０６を、表示部１２へ出力する（Ｓ２０３）。最後に、表示部１２は、表示用画像６０６を表示画面へ表示する（Ｓ１０６）。
【００７２】
以上のように、本実施の形態における遠隔操作装置４０は、同じ３次元モデルから操作用のユーザ像と表示用のユーザ像を生成しているが、その好適な例を図９及び図１０を用いて説明する。
【００７３】
図９の上段に示すように、ユーザ７０１と表示画面７０２との距離が近い場合は、ユーザ像７０３は大きく表示される。したがって、ユーザ７０１は、ユーザ像７０３が各メニュー画像７０４に届くので、各メニュー画像７０４を指示することができる。
【００７４】
一方、図９の下段に示すように、ユーザ７０５と表示画面７０６との距離が遠い場合は、ユーザ像７０７は小さく表示される。したがって、ユーザ７０５は、ユーザ像７０７がメニュー画像７０８に届かないことがある。この場合、ユーザ７０５は、メニュー画像７０８を指示するために移動が必要となる。
【００７５】
このように、ユーザと表示画面との距離に応じてユーザ像の大きさが変わるのは、表示画面に表示するユーザ像が、一般的には遠近感を考慮した透視射影により生成されるためである。図１０に示すように、透視射影では、視点８０１とオブジェクト８０２とを結ぶ投射線８０４が投影面８０３と交差する位置に投影像８０５が生成される。したがって、オブジェクト８０２と投影面８０３との距離に応じて投影像８０５の大きさが変化する。透視射影行列による投影式は、式（１）のように表される。
【００７６】
【数１】
2009147806.tif 000003
【００７７】
式（１）において、ｘ、ｙ、ｚは投影前の３次元座標、ｘ’、ｙ’、ｚ’、ｗ’は投影後の同次座標、ｌ、ｒ、ｂ、ｔ、ｎ、ｆはそれぞれ３次元空間の境界を表す定数を示す。式（１）から明らかなように、画面に対して水平方向（ＸＹ方向）の座標は、垂直方向（Ｚ方向）に依存して変化する。
【００７８】
これに対して、操作用のユーザ像が正射影によって生成された場合、ユーザと表示画面との距離に応じてユーザ像の大きさが変わらない。図１１に示すように、正射影では、視点８０６側からオブジェクト８０７に向かって伸びる、投影面８０８に垂直な互いに平行な投射線８０９が、投影面８０８と交差する位置に投影像８１０が生成される。したがって、オブジェクト８０７と投影面８０８の距離によらず投影像８１０の大きさは一定である。正射影行列による投影式は、式（２）のように表される。
【００７９】
【数２】
2009147806.tif 000004
【００８０】
式（２）から明らかなように、画面に対して水平方向（ＸＹ方向）の座標は、垂直方向（Ｚ方向）に依存しない。そのため、水平方向の情報と垂直方向の情報とが正確に分離されて操作用カラーバッファ６０２及び操作用デプスバッファ６０３に格納される。
【００８１】
３次元レンダリング部４３は、正射影行列により操作用レンダリングバッファに格納される色情報及び奥行き情報を生成することで、表示画面と垂直な方向におけるユーザの位置関係によらず、ユーザは、一定の操作感覚でメニュー画像を指示することができる。
【００８２】
なお、実施の形態２において、３次元レンダリング部４３は、正射影行列を用いて操作用のユーザ像を生成したが、他の射影行列を用いて操作用のユーザ像を生成しても良い。図１２は、本発明の実施の形態２の変形例を説明するための図である。図１２に示すように、ユーザ９０１と表示画面９０２との大きさの関係によっては、３次元レンダリング部４３が上記の正射影行列により操作用のユーザ像を生成しても、ユーザ像がメニューに届かなかったり、すぐに触れたりするために、ユーザがメニュー画像を指示しにくい場合がある。そこで、３次元レンダリング部４３は、ユーザ９０１と表示画面９０２との大きさ（例えば計測済みの高さあるいは横幅など）に応じて、ユーザ像９０３の大きさを変化させる射影行列を用いて、操作用のユーザ像を生成しても良い。具体的には、３次元レンダリング部４３は、ユーザ像９０３を、例えば点（Ｃｘ、Ｃｙ）を中心にｓ倍に拡大又は縮小する射影行列を用いて、操作用のユーザ像を生成しても良い。ユーザ像をｓ倍に拡大又は縮小する射影行列による投影式は、式（３）のように表される。
【００８３】
【数３】
2009147806.tif 000005
【００８４】
このように、変形例における遠隔操作装置は、ユーザ像をｓ倍に拡大又は縮小する射影行列を用いて操作用のユーザ像を生成することにより、ユーザ９０１及び表示画面９０２の大きさによらず、常にユーザ９０１がメニュー画像を指示しやすいユーザ像９０４を生成することができる。
【００８５】
なお、本実施の形態で示した操作用のユーザ像を生成するための射影行列は一例であり、本発明に係る遠隔操作装置は、他の射影行列を用いて操作用のユーザ像を生成しても良い。例えば、遠隔操作装置が、ユーザの３次元モデルを任意の位置の視点から３次元レンダリングしたユーザ像を生成する、又は左右反転したユーザ像を生成する場合などには、表示用のユーザ像を生成するための射影行列は変化する。しかし、このような場合であっても、操作用のユーザ像を生成するときに用いる射影行列は一定にしても良い。これにより、ユーザは、同じ操作感覚でメニュー画像を指示することができる。
【００８６】
また、操作用のユーザ像を生成する場合に生成する色情報は、実際のユーザの色を示す情報である必要はなく、ユーザ像の有無を示す情報（例えば、１ビットのデータ）であれば良い。これは、操作用のユーザ像は、表示部１２に表示される必要がないからである。これにより、遠隔操作装置は、使用メモリ領域を削減することができる。
【００８７】
さらに、本実施の形態では表示画面に表示する表示用のユーザ像と操作判定処理に用いる操作用のユーザ像とが異なるので、操作用のユーザ像の輪郭を表示したり、操作用のユーザ像の色を半透明で表示したりしても良い。これにより、ユーザは、操作が分かりやすくなる。
【００８８】
以上、本発明に係る遠隔操作装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したもの、又は異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【００８９】
例えば、上記実施の形態における遠隔操作装置は、第１の操作判定を実行した後に第２の操作判定を実行していたが、第２の操作判定を実行した後に第１の操作判定を実行しても良い。具体的には、遠隔操作装置は、表示画面と垂直な方向への移動量が所定の閾値以上となる座標を特定し、当該座標がメニュー画像の表示領域に含まれるか否かを判定しても良い。所定の閾値は、例えば、あらかじめ定められた値であっても良いし、算出される移動量の最大値であっても良い。
【００９０】
また、上記実施の形態における遠隔操作装置は、表示画面が実際の鏡である場合と同様のユーザの像を３次元レンダリング処理により生成していたが、実際の鏡に映る鏡像とは異なるユーザ像を生成し、表示部に出力しても良い。具体的には、遠隔操作装置は、表示画面と平行な方向が視線となるように３次元レンダリングすることにより、例えば、ユーザの側面を映すユーザ像を生成しても良い。
【００９１】
また、上記実施の形態の遠隔操作装置が備える各機能ブロックは典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）としても実現される。つまり、図３又は図６に示すように、遠隔操作装置は、典型的には、ＬＳＩ５１又はＬＳＩ５２から構成される。なお、これらの機能ブロックは、個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。また、データ記憶部は、集積回路の内部又は外部に備えられても良く、単体又は複数のメモリによって構成されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、又はウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現されても良い。また、ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続あるいは設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。
【００９２】
また、上記実施の形態では、電子ミラー装置が遠隔操作装置を備える例を示したが、ユーザの３次元モデルを生成して任意視点表示する機能を有する他の装置が遠隔操作装置を備えても良い。具体的には、図１３に示すように、電子ミラー装置１１０３に加えて、例えば、テレビ１１０４、レコーダー／プレーヤー１１０５、又はゲーム機１１０６等の様々な機器が遠隔操作装置を備えても良い。この場合、各機器は、遠遠隔操作装置が備える各機能ブロックが実現されたシステムＬＳＩ１１０１を搭載したモジュール基板１１０２を備えれば良い。
【００９３】
また、本発明は、遠隔操作装置が備える特徴的な構成要素の動作をステップとする遠隔操作方法として実現してもよい。また、そのような遠隔操作方法に含まれるステップを、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、メモリ等を備えるコンピュータに実行させるプログラムとして実現してもよい。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体又はインターネット等の伝送媒体を介して配信されてもよい。
【産業上の利用可能性】
【００９４】
本発明の遠隔操作装置は、ユーザの３次元モデルを生成し、生成した３次元モデルに基づいて任意視点のユーザ像を表示する電子ミラー装置、テレビ、レコーダー／プレーヤー、又はゲーム機等の様々な機器のユーザインターフェースとして用いることができる。
【符号の説明】
【００９５】
１０、３０、１１０３    電子ミラー装置
１１    ３次元人体形状計測部
１２    表示部
１３    電子ミラー制御部
２０、４０    遠隔操作装置
２１    ３次元モデル生成部
２２、４２    データ記憶部
２３、４３    ３次元レンダリング部
２４    操作判定部
２５    操作情報出力部
２６、４６    表示画像合成部
２７    制御部
５１、５２    ＬＳＩ
１０１、２０１、７０１、７０５、９０１    ユーザ
１０２    ３次元人体形状計測装置
１０３、２０２、７０２、７０６、９０２    表示画面
１０４、２０３    ユーザの投影像
２０４、７０４、７０８    メニュー画像
４０１    レンダリングバッファ
４０２    カラーバッファ
４０３    デプスバッファ
４０４、６０５    表示用メニュー画像
４０５、６０６    表示用画像
６０１    操作用レンダリングバッファ
６０２    操作用カラーバッファ
６０３    操作用デプスバッファ
６０４    表示用レンダリングバッファ
７０３、７０７、９０３、９０４  ユーザ像
８０１、８０６    視点
８０２、８０７    オブジェクト
８０３、８０８    投影面
８０４、８０９    投射線
８０５、８１０    投影像
１１０１    システムＬＳＩ
１１０２    モジュール基板
１１０４    テレビ
１１０５    レコーダー／プレーヤー
１１０６    ゲーム機
【図１】
2009147806.tif 000006
【図２】
2009147806.tif 000007
【図３】
2009147806.tif 000008
【図４Ａ】
2009147806.tif 000009
【図４Ｂ】
2009147806.tif 000010
【図５】
2009147806.tif 000011
【図６】
2009147806.tif 000012
【図７】
2009147806.tif 000013
【図８】
2009147806.tif 000014
【図９】
2009147806.tif 000015
【図１０】
2009147806.tif 000016
【図１１】
2009147806.tif 000017
【図１２】
2009147806.tif 000018
【図１３】
2009147806.tif 000019
【手続補正書】
【提出日】平成22年1月20日(2010.1.20)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの３次元人体形状モデル（以下、単に「３次元モデル」という。）を生成し、生成した３次元モデルを任意の位置の視点から３次元レンダリングしたときのユーザ像を表示する装置を遠隔操作するための遠隔操作装置及び遠隔操作方法に関する。
【背景技術】
【０００２】
ユーザの３次元モデルを生成して任意視点表示する図１に示すような電子ミラー装置がある。一般的に、電子ミラー装置は、３次元人体形状計測装置１０２（図１ではカメラ）によって計測された計測データを用いて、ユーザ１０１の３次元モデルを生成する。そして、電子ミラー装置は、３次元モデルをレンダリングすることによりユーザの投影像１０４を生成し、生成したユーザの投影像１０４を表示画面１０３に表示する。
【０００３】
電子ミラー装置において、表示画面１０３から離れた位置にいるユーザ１０１が表示画面１０３に表示されたメニュー画像を選択及び決定することにより、電子ミラー装置を遠隔操作する方法が考えられる。このような電子ミラー装置の遠隔操作方法では、表示画面上に表示されるユーザの投影像を利用して、電子ミラー装置を遠隔操作する。
【０００４】
具体的には、図２に示すように、電子ミラー装置は、表示画面２０２に映るユーザ２０１の投影像２０３と重なるメニュー画像２０４を、ユーザ２０１に「選択」されたメニュー画像と判定する（ステップＳ１）。次に、電子ミラー装置は、ユーザ２０１に「選択」されたメニュー画像のうち、表示画面２０２と垂直な方向におけるユーザの移動量が最も大きい位置を含むメニュー画像を、ユーザ２０１に「決定」されたメニュー画像と判定する（ステップＳ２）。
【０００５】
このような遠隔操作方法を、プロジェクタに適用した例が特許文献１に開示されている。特許文献１の遠隔操作方法では、プロジェクタの投影像及びプロジェクタと投影面との距離（＝奥行き方向の情報）を用いてメニュー操作を行う遠隔操作方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３２２０５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の技術では、奥行き方向の情報を取得するために別途距離センサが必要となる。すなわち、上記従来の技術では、投影像を表示するための装置に加えて、奥行き方向の情報を計測するための装置が必要となるという問題がある。
【０００８】
そこで、本発明は上記課題に鑑みてなされたものであり、比較的簡易な構成により、電子ミラー装置等の遠隔操作を実現することができる遠隔操作装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の遠隔操作装置の一態様は、表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための遠隔操作装置であって、第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成部と、前記３次元モデル生成部によって生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリング部と、前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定部と、前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定部と、前記第１の操作判定部によって前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定部によって特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力部とを備え、前記第２の操作判定部は、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する。
【００１０】
これにより、デプスバッファを参照することにより、投影面と垂直な方向におけるユーザ像の移動量を算出することができるので、距離センサなどの装置を用いてユーザと表示画面との距離を検知することなく、操作情報を出力することが可能となる。すなわち、比較的簡易な構成により、電子ミラー装置等の遠隔操作を実現することが可能となる。
【００１１】
また、前記３次元レンダリング部は、第１の射影行列を用いて前記第１及び第２の３次元モデルを３次元レンダリングすることにより、前記第１及び第２のユーザ像を生成し、さらに、第１の射影行列とは異なる第２の射影行列を用いて、前記第２の３次元モデルを３次元レンダリングすることにより、第３のユーザ像を生成し、前記３次元レンダリング部によって生成された第３のユーザ像が前記表示画面に表示されることが好ましい。
【００１２】
これにより、表示用のユーザ像とは異なる操作用のユーザ像を用いてユーザが指定したメニュー画像を判定することができるので、ユーザは、ユーザの位置又は大きさなどに関わらず一定の操作感覚でメニュー画像を指示することが可能となる。
【００１３】
また、前記第１の射影行列は、正射影行列であり、前記第２の射影行列は、透視射影行列であることが好ましい。
【００１４】
これにより、表示用のユーザ像は正射影行列を用いて生成されるので、ユーザは、ユーザと表示画面との位置関係によらず、一定の操作感覚でメニュー画像を指示することが可能となる。
【００１５】
また、前記第１の射影行列は、前記ユーザの大きさ及び前記表示画面の大きさに応じてユーザ像の大きさを変化させる射影行列であることが好ましい。
【００１６】
これにより、ユーザの大きさに関わらず、ユーザは、一定の操作感覚でメニュー画像を指示することが可能となる。
【００１７】
また、本発明の集積回路の一態様は、表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための集積回路であって、第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成部と、前記３次元モデル生成部によって生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリング部と、前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定部と、前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定部と、前記第１の操作判定部によって前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定部によって特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力部とを備え、前記第２の操作判定部は、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する。
【００１８】
なお、本発明は、このような遠隔操作装置として実現することができるだけでなく、このような遠隔操作装置が備える特徴的な構成部の動作をステップとする遠隔操作方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。
【発明の効果】
【００１９】
本発明によれば、デプスバッファを参照することにより、投影面と垂直な方向におけるユーザ像の移動量を算出することができるので、距離センサなどの装置を用いてユーザと表示画面との距離を検知することなく、操作情報を出力することが可能となる。すなわち、比較的簡易な構成により、電子ミラー装置等の遠隔操作を実現することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】図１は、従来の電子ミラー装置の概要を表す図である。
【図２】図２は、従来の電子ミラー装置における好適な遠隔操作方法を説明するための図である。
【図３】図３は、本発明の実施の形態１における遠隔操作装置を備える電子ミラー装置の機能構成を示すブロック図である。
【図４Ａ】図４Ａは、本発明の実施の形態１における遠隔操作装置による処理の流れを示すフローチャートである。
【図４Ｂ】図４Ｂは、本発明の実施の形態１における遠隔操作装置による処理の流れを示すフローチャートである。
【図５】図５は、本発明の実施の形態１における遠隔操作装置による処理の流れを説明するための図である。
【図６】図６は、本発明の実施の形態２における遠隔操作装置を備える電子ミラー装置の機能構成を示すブロック図である。
【図７】図７は、本発明の実施の形態２における遠隔操作装置による処理の流れを示すフローチャートである。
【図８】図８は、本発明の実施の形態２における遠隔操作装置による処理の流れを説明するための図である。
【図９】図９は、ユーザと表示画面との位置関係による投影像の違いを表す図である。
【図１０】図１０は、透視射影を説明するための図である。
【図１１】図１１は、正射影を説明するための図である。
【図１２】図１２は、本発明の実施の形態２の変形例を説明するための図である。
【図１３】図１３は、本発明の変形例を説明するための図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２２】
（実施の形態１）
図３は、本発明の実施の形態１における遠隔操作装置を備える電子ミラー装置の機能構成を示すブロック図である。図３に示すように、電子ミラー装置１０は、３次元人体形状計測部１１と、表示部１２と、電子ミラー制御部１３と、遠隔操作装置２０とを備える。
【００２３】
３次元人体形状計測部１１は、ユーザの３次元人体形状を計測し、計測データを遠隔操作装置２０の３次元モデル生成部２１へ出力する。３次元人体形状計測部１１は、ステレオ計測法又は光切断法など、一般的に３次元人体形状を計測する際に利用される方法を用いて、ユーザの３次元人体形状を計測すれば良い。
【００２４】
表示部１２は、液晶ディスプレイなどの表示画面を有し、表示画像合成部２６によって出力された表示用画像を表示する。
【００２５】
電子ミラー制御部１３は、電子ミラー装置１０を構成する各構成要素の動作を制御する。また、電子ミラー制御部１３は、操作情報出力部２５によって出力された操作情報に応じて、各構成要素の動作を制御する。例えば、操作情報が輝度ＵＰを示す場合、電子ミラー制御部１３は、表示する画像の輝度を所定の値だけ大きくさせる。
【００２６】
遠隔操作装置２０は、表示画面から離れた位置にいるユーザの動きに応じて、表示画面に表示されたメニュー画像に対応する操作情報を出力する装置である。遠隔操作装置２０は、３次元モデル生成部２１と、データ記憶部２２と、３次元レンダリング部２３と、操作判定部２４と、操作情報出力部２５と、表示画像合成部２６と、制御部２７とを備える。
【００２７】
３次元モデル生成部２１は、３次元人体形状計測部１１によって計測された計測データから、ユーザの３次元モデルを順次生成する。具体的には、３次元モデル生成部２１は、例えば、ドロネー三角形分割法、あるいはマーチングキューブズ法など３次元モデルを生成する際に一般的に利用される方法を用いて、３次元モデルを生成する。
【００２８】
データ記憶部２２は、メモリ等の記憶媒体であり、射影行列を含むレンダリングパラメータを記憶している。
【００２９】
３次元レンダリング部２３は、３次元モデル生成部２１によって生成された３次元モデルを、データ記憶部２２に記憶されたレンダリングパラメータを用いて３次元レンダリングすることにより、２次元の投影像（以下、単に「ユーザ像」という。）を生成する。具体的には、３次元レンダリング部２３は、モデリング変換、光源計算、射影変換、ビューポート変換、テクスチャマッピング等の一連のレンダリング処理を実行することにより、ユーザ像を生成する。このレンダリング処理において、３次元レンダリング部２３は、図示しないバッファメモリであるカラーバッファ及びデプスバッファに色情報及び奥行き情報を格納する。
【００３０】
ここで、カラーバッファに格納される色情報とは、３次元モデルが投影面に投影されたときの投影面上の位置と色との関係を示す情報である。また、デプスバッファに格納される奥行き情報とは、３次元モデルが投影面に投影されたときの位置と奥行き値との関係を示す情報である。
【００３１】
操作判定部２４は、第１及び第２の操作判定部の一例であり、３次元レンダリング部２３によってカラーバッファ及びデプスバッファに格納された色情報及び奥行き情報を参照することにより、第１の操作判定及び第２の操作判定を実行する。
【００３２】
具体的には、操作判定部２４は、３次元レンダリング部２３によって生成されたユーザ像が表示画面に表示された場合に、メニュー画像とユーザ像とが重なるか否かを、カラーバッファに格納された色情報を用いて判定する（第１の操作判定）。
【００３３】
また、操作判定部２４は、３次元レンダリング部２３によって生成されたユーザ像が表示画面に表示された場合における、表示画面と垂直な方向へのユーザ像の移動量を算出する。そして、操作判定部２４は、算出した移動量に基づいて、ユーザによって指示された表示画面上の座標を特定する（第２の操作判定）。具体的には、操作判定部２４は、例えば、最も大きな移動量となる投影面上の位置に対応する表示画面上の座標を、ユーザによって指示された座標として特定する。なお、操作判定部２４は、デプスバッファを参照し、現在のユーザ像と過去のユーザ像との奥行き値の差分値を移動量として算出する。
【００３４】
操作情報出力部２５は、操作判定部２４によってメニュー画像と第２のユーザ像と重なると判定された場合であって、操作判定部２４によって特定された座標がメニュー画像の表示される領域に含まれる場合に、メニュー画像に対応する操作情報を表示画像合成部２６及び電子ミラー制御部１３等へ出力する。メニュー画像に対応する操作情報は、例えば、メニュー画像と操作情報とが対応づけて格納された操作情報テーブルなどから取得されれば良い。
【００３５】
表示画像合成部２６は、操作情報出力部２５によって出力された操作情報に基づいて表示用メニュー画像を生成する。そして、表示画像合成部２６は、生成した表示用メニュー画像と３次元レンダリング部２３によって生成されたユーザ像とを合成することにより表示用画像を生成する。そして、表示画像合成部２６は、生成した表示用画像を表示部１２へ出力する。
【００３６】
制御部２７は、遠隔操作装置２０の各構成要素の動作を制御する。
【００３７】
なお、３次元モデル生成部２１によって生成された３次元モデル、又は３次元レンダリング部２３によって生成されたユーザ像等は、図示しない記憶部に格納されても良い。その場合、各構成要素は、記憶部に格納された３次元モデル又はユーザ像を読み出し、読み出した３次元モデル又はユーザ像を用いて処理を実行する。
【００３８】
次に、上記のように構成された遠隔操作装置２０の各種動作について説明する。
【００３９】
図４Ａ及び図４Ｂは、本発明の実施の形態１における遠隔操作装置による処理の流れを示すフローチャートである。また、図５は、本発明の実施の形態１における遠隔操作装置による処理の流れを説明するための図である。
【００４０】
はじめに、図４Ａを用いて、遠隔操作装置２０における全体の処理の流れについて説明する。
【００４１】
まず、３次元モデル生成部２１は、ユーザの３次元人体計測データから３次元モデルを生成する（Ｓ１０１）。
【００４２】
次に、３次元レンダリング部２３は、３次元モデルを３次元レンダリングすることにより、表示画面に表示するためのユーザ像を生成する。ここで、３次元レンダリング部２３は、ユーザ像を生成する際に、色情報及び奥行き情報を生成し、生成した色情報及び奥行き情報をレンダリングバッファ４０１に格納する（Ｓ１０２）。図５に示すように、レンダリングバッファ４０１は、ユーザの表示画面上の投影像である色情報を格納するカラーバッファ４０２と、ユーザの表示画面からの距離を表す奥行き情報を格納するデプスバッファ４０３とから構成される。
【００４３】
続いて、操作判定部２４は、操作判定の対象となるメニュー画像であって、まだ選択されていないメニュー画像を選択する（Ｓ１０３）。
【００４４】
次に、操作判定部２４は、カラーバッファ４０２に格納された色情報及びデプスバッファ４０３に格納された奥行き情報を用いて、操作判定処理を実行する（Ｓ１０４）。なお、操作判定処理についての詳細は、図４Ｂを用いて後述する。
【００４５】
そして、操作判定部２４は、表示画面に表示されたすべてのメニュー画像がステップＳ１０３において選択されたか否かを判定する（Ｓ１０５）。ここで、すべてのメニュー画像が選択されていない場合（Ｓ１０５のＮｏ）、操作判定部２４は、ステップＳ１０３〜Ｓ１０４の処理を繰り返す。一方、すべてのメニュー画像が選択されている場合（Ｓ１０５のＹｅｓ）、操作情報出力部２５は、決定情報が示す、ユーザに「決定」されたメニュー画像に対応する操作情報を出力する（Ｓ１０６）。
【００４６】
次に、表示画像合成部２６は、出力された操作情報に基づいて表示用メニュー画像４０４を生成する。具体的には、表示画像合成部２６は、例えば、操作情報が示すメニュー画像の色を変更した表示用メニュー画像４０４を生成する。そして、表示画像合成部２６は、生成した表示用メニュー画像４０４とユーザ像とを合成した表示用画像４０５を表示部１２へ出力する（Ｓ１０７）。最後に、表示部１２は、表示用画像４０５を表示画面に表示する（Ｓ１０８）。
【００４７】
次に、図４Ｂを用いて、遠隔操作装置２０における操作判定処理の流れについて説明する。ユーザが選択及び決定したメニュー画像を特定するための操作判定処理では、レンダリングバッファ４０１が参照される。また、操作判定処理は、ユーザが「選択」したメニュー画像を特定する第１の操作判定と、ユーザが「決定」したメニュー画像を特定する第２の操作判定とに分けることができる。
【００４８】
まず、第１の操作判定（Ｓ１１１及びＳ１１２）について説明する。操作判定部２４は、ステップＳ１０３において選択されたメニュー画像の表示領域の色情報をカラーバッファ４０２から取得する（Ｓ１１１）。次に、操作判定部２４は、メニュー画像の表示領域内にユーザ像が含まれているか否かを判定する（Ｓ１１２）。具体的には、操作判定部２４は、例えば、メニュー画像の表示領域に対応する位置の色情報が初期値とは異なる値である場合に、当該メニュー画像の表示領域内にユーザ像が含まれていると判定する。
【００４９】
ここで、メニュー画像の表示領域内にユーザ像が含まれている場合は（Ｓ１１２のＹｅｓ）、操作判定部２４は、当該メニュー画像がユーザに選択されていると判断し、第２の操作判定を実行する。一方、メニュー画像の表示領域内にユーザ像が含まれていない場合は（Ｓ１１２のＮｏ）、操作判定部２４は、当該メニュー画像がユーザに選択されていないと判断し、第２の操作判定を実行しない。
【００５０】
次に、第２の操作判定（Ｓ１２１〜Ｓ１２４）について説明する。操作判定部２４は、ステップＳ１０３において選択されたメニュー画像の表示領域の奥行き情報をデプスバッファ４０３から取得する（Ｓ１２１）。ここで、操作判定部２４は、現在及び過去の奥行き情報をデプスバッファ４０３から取得する。具体的には、操作判定部２４は、例えば、ステップＳ１０１において生成された３次元モデルに基づいて生成された奥行き情報と、当該３次元モデルよりも１つ前に生成された３次元モデルに基づいて生成された奥行き情報とを、デプスバッファ４０３から取得する。
【００５１】
次に、操作判定部２４は、取得した奥行き情報が示す奥行き値の差分値を、投影面上の位置ごとに算出する（Ｓ１２２）。続いて、操作判定部２４は、算出した差分値の最大値が、他のメニュー画像においてすでに算出された差分値の最大値よりも大きいか否か判定する（Ｓ１２３）。
【００５２】
ここで、算出した差分値の最大値が、他のメニュー画像においてすでに算出された差分値の最大値よりも大きい場合（Ｓ１２３）、操作判定部２４は、ユーザに「決定」されたメニュー画像を示すための決定情報を、当該メニュー画像を示す情報に更新する（Ｓ１２４）。
【００５３】
以上のように、本実施の形態における遠隔操作装置２０は、カラーバッファ及びデプスバッファに格納された色情報及び奥行き情報を用いて、ユーザが「選択」及び「決定」したメニュー画像を特定することができる。つまり、遠隔操作装置２０は、第１の操作判定において使用する表示画面に対して水平方向の情報及び第２の操作判定において使用する表示画面に対して垂直方向の情報は、それぞれ、表示するユーザ像を生成するための３次元レンダリング処理により、カラーバッファ及びデプスバッファに格納される色情報及び奥行き情報として得ることができるため、別の計測処理あるいは認識処理を必要としない。すなわち、遠隔操作装置２０は、比較的簡易な構成により電子ミラー装置１０の遠隔操作を実現することができる。
【００５４】
なお、操作判定部２４が参照する色情報には可視カラー値（ＲＧＢ又はＨＳＶなど）だけでなく、透明度を表すα値（Ａ）など該当する位置の画素の制御情報が含まれても良い。その場合、操作判定部２４は、例えば、メニュー画像の表示領域に対応する位置の色情報のうち上記の制御情報が初期値とは異なる値である場合に、当該メニュー画像の表示領域内にユーザ像が含まれていると判定しても良い。
【００５５】
なお、操作判定部２４は、奥行き値の差分値の最大値が所定の閾値に達しなかった場合、又は表示画面方向の移動でなかった場合は、決定情報を更新しなくても良い。これにより、遠隔操作装置は、ユーザの意図しない動作による誤操作を避けることができる。
【００５６】
また、操作判定部２４によって算出された奥行き値の差分値に応じて、表示画像合成部２６は、メニュー画像あるいはユーザ像の色を変更しても良い。これにより、ユーザは、自身が決定したメニュー画像を確認することができる。
【００５７】
（実施の形態２）
次に、本発明の実施の形態２における遠隔操作装置について説明する。
【００５８】
本実施の形態における遠隔操作装置４０は、操作判定処理を実行するためのユーザ像と表示画面に表示するためのユーザ像とを生成する点が実施の形態１における遠隔操作装置２０と異なる。
【００５９】
図６は、本発明の実施の形態２における遠隔操作装置を備える電子ミラー装置３０の機能構成を示すブロック図である。本実施の形態における遠隔操作装置４０と実施の形態１における遠隔操作装置２０とは、３次元レンダリング部及び表示画像合成部の処理の一部とデータ記憶部に格納されるデータの一部とが異なるが、その他の部分は同じである。なお、図６において、図３と同一の構成要素については同一の符号を付し、説明を省略する。
【００６０】
データ記憶部４２は、正射影行列を含む第１のレンダリングパラメータ（以下、「操作用レンダリングパラメータ」という。）と、透視射影行列を含む第２のレンダリングパラメータ（以下、「表示用レンダリングパラメータ」という。）とを記憶している。
【００６１】
３次元レンダリング部４３は、３次元モデル生成部２１によって生成された３次元モデルを、データ記憶部４２に記憶された操作用レンダリングパラメータを用いて３次元レンダリングすることにより、色情報と奥行き情報とを生成する。そして、３次元レンダリング部４３は、色情報をカラーバッファに格納し、奥行き情報をデプスバッファに格納する。
【００６２】
さらに、３次元レンダリング部４３は、３次元モデル生成部２１によって生成された３次元モデルを、データ記憶部４２に記憶された表示用レンダリングパラメータを用いて３次元レンダリングすることにより、表示用のユーザ像を生成する。
【００６３】
なお、３次元レンダリング部４３は、表示用のユーザ像を生成する第１の３次元レンダリング部と操作用のユーザ像を生成する第２の３次元レンダリング部との２つの３次元レンダリング部によって構成されても良い。また、制御部２７が、表示用のユーザ像を生成する処理と操作用のユーザ像を生成する処理とで時分割制御をしても良い。
【００６４】
表示画像合成部４６は、操作情報出力部２５によって出力された操作情報に基づいて表示用メニュー画像を生成する。そして、表示画像合成部４６は、生成した表示用メニュー画像と３次元レンダリング部４３によって生成された表示用のユーザ像とを合成することにより表示用画像を生成する。そして、表示画像合成部４６は、生成した表示用画像を表示部１２へ出力する。
【００６５】
次に、上記のように構成された遠隔操作装置４０の各種動作について説明する。
【００６６】
図７は、本発明の実施の形態２における遠隔操作装置による処理の流れを示すフローチャートである。また、図８は、本発明の実施の形態２における遠隔操作装置による処理の流れを説明するための図である。なお、図７において、図４Ａと同一の処理については同一の符号を付し、説明を省略する。
【００６７】
ステップＳ１０１の処理が実行された後、３次元レンダリング部４３は、３次元モデルを、操作用レンダリングパラメータを用いて３次元レンダリングすることにより、操作用のユーザ像（色情報及び奥行き情報）を生成する（Ｓ２０１）。そして、３次元レンダリング部４３は、生成した色情報及び奥行き情報を操作用レンダリングバッファ６０１に格納する。なお、３次元レンダリング部４３は、ステップＳ２０２において表示用のユーザ像を生成するときとは異なる射影行列を用いて、操作用のユーザ像を生成する。
【００６８】
次に、操作判定部２４及び操作情報出力部２５は、実施の形態１と同様に、ステップＳ１０３〜Ｓ１０６の処理を実行する。ここで、ステップＳ１０４の操作判定処理では、操作判定部２４は、操作用レンダリングバッファ６０１に格納された色情報及び奥行き情報を用いて操作判定処理を実行する。具体的には、操作判定部２４は、操作用カラーバッファ６０２に格納された色情報を用いて第１の操作判定を行う。また、操作判定部２４は、操作用デプスバッファ６０３に格納された奥行き情報を用いて、第２の操作判定を行う。
【００６９】
次に、３次元レンダリング部４３は、ステップＳ２０１において操作用のユーザ像を生成したときと同じ３次元モデルを、表示用レンダリングパラメータを用いて３次元レンダリングすることにより、表示用のユーザ像を生成する（Ｓ２０２）。そして、３次元レンダリング部４３は、生成した色情報及び奥行き情報を表示用レンダリングバッファ６０４に格納する。なお、３次元レンダリング部４３は、ステップＳ２０１において操作用のユーザ像を生成するときとは異なる射影行列を用いて、表示用のユーザ像を生成する。
【００７０】
そして、表示画像合成部４６は、出力された操作情報に基づいて表示用メニュー画像６０５を生成する。そして、表示画像合成部４６は、生成した表示用メニュー画像４０４と表示用のユーザ像とを合成した表示用画像６０６を、表示部１２へ出力する（Ｓ２０３）。最後に、表示部１２は、表示用画像６０６を表示画面へ表示する（Ｓ１０６）。
【００７１】
以上のように、本実施の形態における遠隔操作装置４０は、同じ３次元モデルから操作用のユーザ像と表示用のユーザ像を生成しているが、その好適な例を図９及び図１０を用いて説明する。
【００７２】
図９の上段に示すように、ユーザ７０１と表示画面７０２との距離が近い場合は、ユーザ像７０３は大きく表示される。したがって、ユーザ７０１は、ユーザ像７０３が各メニュー画像７０４に届くので、各メニュー画像７０４を指示することができる。
【００７３】
一方、図９の下段に示すように、ユーザ７０５と表示画面７０６との距離が遠い場合は、ユーザ像７０７は小さく表示される。したがって、ユーザ７０５は、ユーザ像７０７がメニュー画像７０８に届かないことがある。この場合、ユーザ７０５は、メニュー画像７０８を指示するために移動が必要となる。
【００７４】
このように、ユーザと表示画面との距離に応じてユーザ像の大きさが変わるのは、表示画面に表示するユーザ像が、一般的には遠近感を考慮した透視射影により生成されるためである。図１０に示すように、透視射影では、視点８０１とオブジェクト８０２とを結ぶ投射線８０４が投影面８０３と交差する位置に投影像８０５が生成される。したがって、オブジェクト８０２と投影面８０３との距離に応じて投影像８０５の大きさが変化する。透視射影行列による投影式は、式（１）のように表される。
【００７５】
【数１】
2009147806.tif 000020
【００７６】
式（１）において、ｘ、ｙ、ｚは投影前の３次元座標、ｘ’、ｙ’、ｚ’、ｗ’は投影後の同次座標、ｌ、ｒ、ｂ、ｔ、ｎ、ｆはそれぞれ３次元空間の境界を表す定数を示す。式（１）から明らかなように、画面に対して水平方向（ＸＹ方向）の座標は、垂直方向（Ｚ方向）に依存して変化する。
【００７７】
これに対して、操作用のユーザ像が正射影によって生成された場合、ユーザと表示画面との距離に応じてユーザ像の大きさが変わらない。図１１に示すように、正射影では、視点８０６側からオブジェクト８０７に向かって伸びる、投影面８０８に垂直な互いに平行な投射線８０９が、投影面８０８と交差する位置に投影像８１０が生成される。したがって、オブジェクト８０７と投影面８０８の距離によらず投影像８１０の大きさは一定である。正射影行列による投影式は、式（２）のように表される。
【００７８】
【数２】
2009147806.tif 000021
【００７９】
式（２）から明らかなように、画面に対して水平方向（ＸＹ方向）の座標は、垂直方向（Ｚ方向）に依存しない。そのため、水平方向の情報と垂直方向の情報とが正確に分離されて操作用カラーバッファ６０２及び操作用デプスバッファ６０３に格納される。
【００８０】
３次元レンダリング部４３は、正射影行列により操作用レンダリングバッファに格納される色情報及び奥行き情報を生成することで、表示画面と垂直な方向におけるユーザの位置関係によらず、ユーザは、一定の操作感覚でメニュー画像を指示することができる。
【００８１】
なお、実施の形態２において、３次元レンダリング部４３は、正射影行列を用いて操作用のユーザ像を生成したが、他の射影行列を用いて操作用のユーザ像を生成しても良い。図１２は、本発明の実施の形態２の変形例を説明するための図である。図１２に示すように、ユーザ９０１と表示画面９０２との大きさの関係によっては、３次元レンダリング部４３が上記の正射影行列により操作用のユーザ像を生成しても、ユーザ像がメニューに届かなかったり、すぐに触れたりするために、ユーザがメニュー画像を指示しにくい場合がある。そこで、３次元レンダリング部４３は、ユーザ９０１と表示画面９０２との大きさ（例えば計測済みの高さあるいは横幅など）に応じて、ユーザ像９０３の大きさを変化させる射影行列を用いて、操作用のユーザ像を生成しても良い。具体的には、３次元レンダリング部４３は、ユーザ像９０３を、例えば点（Ｃｘ、Ｃｙ）を中心にｓ倍に拡大又は縮小する射影行列を用いて、操作用のユーザ像を生成しても良い。ユーザ像をｓ倍に拡大又は縮小する射影行列による投影式は、式（３）のように表される。
【００８２】
【数３】
2009147806.tif 000022
【００８３】
このように、変形例における遠隔操作装置は、ユーザ像をｓ倍に拡大又は縮小する射影行列を用いて操作用のユーザ像を生成することにより、ユーザ９０１及び表示画面９０２の大きさによらず、常にユーザ９０１がメニュー画像を指示しやすいユーザ像９０４を生成することができる。
【００８４】
なお、本実施の形態で示した操作用のユーザ像を生成するための射影行列は一例であり、本発明に係る遠隔操作装置は、他の射影行列を用いて操作用のユーザ像を生成しても良い。例えば、遠隔操作装置が、ユーザの３次元モデルを任意の位置の視点から３次元レンダリングしたユーザ像を生成する、又は左右反転したユーザ像を生成する場合などには、表示用のユーザ像を生成するための射影行列は変化する。しかし、このような場合であっても、操作用のユーザ像を生成するときに用いる射影行列は一定にしても良い。これにより、ユーザは、同じ操作感覚でメニュー画像を指示することができる。
【００８５】
また、操作用のユーザ像を生成する場合に生成する色情報は、実際のユーザの色を示す情報である必要はなく、ユーザ像の有無を示す情報（例えば、１ビットのデータ）であれば良い。これは、操作用のユーザ像は、表示部１２に表示される必要がないからである。これにより、遠隔操作装置は、使用メモリ領域を削減することができる。
【００８６】
さらに、本実施の形態では表示画面に表示する表示用のユーザ像と操作判定処理に用いる操作用のユーザ像とが異なるので、操作用のユーザ像の輪郭を表示したり、操作用のユーザ像の色を半透明で表示したりしても良い。これにより、ユーザは、操作が分かりやすくなる。
【００８７】
以上、本発明に係る遠隔操作装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したもの、又は異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【００８８】
例えば、上記実施の形態における遠隔操作装置は、第１の操作判定を実行した後に第２の操作判定を実行していたが、第２の操作判定を実行した後に第１の操作判定を実行しても良い。具体的には、遠隔操作装置は、表示画面と垂直な方向への移動量が所定の閾値以上となる座標を特定し、当該座標がメニュー画像の表示領域に含まれるか否かを判定しても良い。所定の閾値は、例えば、あらかじめ定められた値であっても良いし、算出される移動量の最大値であっても良い。
【００８９】
また、上記実施の形態における遠隔操作装置は、表示画面が実際の鏡である場合と同様のユーザの像を３次元レンダリング処理により生成していたが、実際の鏡に映る鏡像とは異なるユーザ像を生成し、表示部に出力しても良い。具体的には、遠隔操作装置は、表示画面と平行な方向が視線となるように３次元レンダリングすることにより、例えば、ユーザの側面を映すユーザ像を生成しても良い。
【００９０】
また、上記実施の形態の遠隔操作装置が備える各機能ブロックは典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）としても実現される。つまり、図３又は図６に示すように、遠隔操作装置は、典型的には、ＬＳＩ５１又はＬＳＩ５２から構成される。なお、これらの機能ブロックは、個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。また、データ記憶部は、集積回路の内部又は外部に備えられても良く、単体又は複数のメモリによって構成されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、又はウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現されても良い。また、ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続あるいは設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。
【００９１】
また、上記実施の形態では、電子ミラー装置が遠隔操作装置を備える例を示したが、ユーザの３次元モデルを生成して任意視点表示する機能を有する他の装置が遠隔操作装置を備えても良い。具体的には、図１３に示すように、電子ミラー装置１１０３に加えて、例えば、テレビ１１０４、レコーダー／プレーヤー１１０５、又はゲーム機１１０６等の様々な機器が遠隔操作装置を備えても良い。この場合、各機器は、遠遠隔操作装置が備える各機能ブロックが実現されたシステムＬＳＩ１１０１を搭載したモジュール基板１１０２を備えれば良い。
【００９２】
また、本発明は、遠隔操作装置が備える特徴的な構成要素の動作をステップとする遠隔操作方法として実現してもよい。また、そのような遠隔操作方法に含まれるステップを、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、メモリ等を備えるコンピュータに実行させるプログラムとして実現してもよい。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体又はインターネット等の伝送媒体を介して配信されてもよい。
【産業上の利用可能性】
【００９３】
本発明の遠隔操作装置は、ユーザの３次元モデルを生成し、生成した３次元モデルに基づいて任意視点のユーザ像を表示する電子ミラー装置、テレビ、レコーダー／プレーヤー、又はゲーム機等の様々な機器のユーザインターフェースとして用いることができる。
【符号の説明】
【００９４】
１０、３０、１１０３    電子ミラー装置
１１    ３次元人体形状計測部
１２    表示部
１３    電子ミラー制御部
２０、４０    遠隔操作装置
２１    ３次元モデル生成部
２２、４２    データ記憶部
２３、４３    ３次元レンダリング部
２４    操作判定部
２５    操作情報出力部
２６、４６    表示画像合成部
２７    制御部
５１、５２    ＬＳＩ
１０１、２０１、７０１、７０５、９０１    ユーザ
１０２    ３次元人体形状計測装置
１０３、２０２、７０２、７０６、９０２    表示画面
１０４、２０３    ユーザの投影像
２０４、７０４、７０８    メニュー画像
４０１    レンダリングバッファ
４０２    カラーバッファ
４０３    デプスバッファ
４０４、６０５    表示用メニュー画像
４０５、６０６    表示用画像
６０１    操作用レンダリングバッファ
６０２    操作用カラーバッファ
６０３    操作用デプスバッファ
６０４    表示用レンダリングバッファ
７０３、７０７、９０３、９０４  ユーザ像
８０１、８０６    視点
８０２、８０７    オブジェクト
８０３、８０８    投影面
８０４、８０９    投射線
８０５、８１０    投影像
１１０１    システムＬＳＩ
１１０２    モジュール基板
１１０４    テレビ
１１０５    レコーダー／プレーヤー
１１０６    ゲーム機
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための遠隔操作装置であって、
第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成部と、
前記３次元モデル生成部によって生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリング部と、
前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定部と、
前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定部と、
前記第１の操作判定部によって前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定部によって特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力部とを備え、
前記第２の操作判定部は、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する
遠隔操作装置。
【請求項２】
前記３次元レンダリング部は、第１の射影行列を用いて前記第１及び第２の３次元モデルを３次元レンダリングすることにより、前記第１及び第２のユーザ像を生成し、さらに、第１の射影行列とは異なる第２の射影行列を用いて、前記第２の３次元モデルを３次元レンダリングすることにより、第３のユーザ像を生成し、
前記３次元レンダリング部によって生成された第３のユーザ像が前記表示画面に表示される
請求項１に記載の遠隔操作装置。
【請求項３】
前記第１の射影行列は、正射影行列であり、
前記第２の射影行列は、透視射影行列である
請求項２に記載の遠隔操作装置。
【請求項４】
前記第１の射影行列は、前記ユーザの大きさ及び前記表示画面の大きさに応じてユーザ像の大きさを変化させる射影行列である
請求項２に記載の遠隔操作装置。
【請求項５】
表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための遠隔操作方法であって、
第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成ステップと、
前記３次元モデル生成ステップにおいて生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリングステップと、
前記３次元レンダリングステップにおいて生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定ステップと、
前記３次元レンダリングステップにおいて生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定ステップと、
前記第１の操作判定ステップにおいて前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定ステップにおいて特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力ステップとを含み、
前記第２の操作判定ステップでは、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する
遠隔操作方法。
【請求項６】
表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するための集積回路であって、
第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成部と、
前記３次元モデル生成部によって生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリング部と、
前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定部と、
前記３次元レンダリング部によって生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定部と、
前記第１の操作判定部によって前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定部によって特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力部とを備え、
前記第２の操作判定部は、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する
集積回路。
【請求項７】
表示画面に表示されたメニュー画像であって前記表示画面から離れた位置にいるユーザにより指定されたメニュー画像に対応する操作情報を出力するためのプログラムであって、
第１の時刻及び前記第１の時刻より後の第２の時刻における前記ユーザの形状の外観を示す３次元モデルである第１及び第２の３次元モデルを生成する３次元モデル生成ステップと、
前記３次元モデル生成ステップにおいて生成された第１及び第２の３次元モデルを３次元レンダリングすることにより、第１及び第２のユーザ像を生成する３次元レンダリングステップと、
前記３次元レンダリングステップにおいて生成された第２のユーザ像が前記表示画面に表示された場合に、前記メニュー画像と前記第２のユーザ像とが重なるか否かを判定する第１の操作判定ステップと、
前記３次元レンダリングステップにおいて生成された第２のユーザ像が前記表示画面に表示された場合における、前記第２のユーザ像の前記表示画面と垂直な方向への移動量を算出し、算出した移動量に基づいて、前記ユーザが指定した位置を示す前記表示画面上の座標を特定する第２の操作判定ステップと、
前記第１の操作判定ステップにおいて前記メニュー画像と前記第２のユーザ像とが重なると判定された場合であって、前記第２の操作判定ステップにおいて特定された座標が前記メニュー画像の表示される領域に含まれる場合に、前記メニュー画像に対応する操作情報を出力する操作情報出力ステップとをコンピュータに実行させ、
前記第２の操作判定ステップでは、前記第１及び第２の３次元モデルが３次元レンダリングされる際に生成される、投影面上の座標と奥行き値との関係を示す奥行き情報が格納されるデプスバッファを参照し、前記第１のユーザ像の奥行き値と前記第２のユーザ像の奥行き値との差分値を前記移動量として算出する
プログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009147806.tif 000023
【図２】
2009147806.tif 000024
【図３】
2009147806.tif 000025
【図４Ａ】
2009147806.tif 000026
【図４Ｂ】
2009147806.tif 000027
【図５】
2009147806.tif 000028
【図６】
2009147806.tif 000029
【図７】
2009147806.tif 000030
【図８】
2009147806.tif 000031
【図９】
2009147806.tif 000032
【図１０】
2009147806.tif 000033
【図１１】
2009147806.tif 000034
【図１２】
2009147806.tif 000035
【図１３】
2009147806.tif 000036
【国際調査報告】
2009147806.tif 000037
2009147806.tif 000038