(57)【要約】【課題】ユーザが映像中の操作対象に触れる動作を行ったか否かの判断における処理負荷を軽減させる。【解決手段】ミラーシステムは、映像をユーザに視認可能に表示する表示部２４と、表示部２４の表示面に重ね合わされたハーフミラーと、ユーザを撮像するカメラ３０と、カメラ３０により撮像された画像上におけるユーザの目の位置を検出する目位置検出部４１ａと、カメラ３０により撮像された画像上におけるユーザの手の位置を検出する手位置検出部４１ｂと、表示部２４に表示される映像のうち、ユーザによる操作の対象（操作対象）の表示位置を制御値に基づいて制御する表示位置制御部４１ｃと、目位置検出部４１ａにより検出された画像上における目の位置と手位置検出部４１ｂにより検出された画像上における手の位置との中間位置と制御値との対応関係からユーザ自身の鏡像の手が操作対象に触れたか否かを判断する接触判断部４１ｄとを有する。【選択図】図３
2010266918.tif 000002
【特許請求の範囲】
【請求項１】
映像をユーザに視認可能に表示する表示部と、
前記表示部の表示面に重ね合わされたハーフミラーと、
ユーザを撮像するカメラと、
前記カメラにより撮像された画像上におけるユーザの目の位置を検出する目位置検出手段と、
前記カメラにより撮像された画像上におけるユーザの手の位置を検出する手位置検出手段と、
前記表示部に表示される映像のうち、ユーザによる操作の対象となる操作対象の表示位置を制御値に基づいて制御する表示位置制御手段と、
前記目位置検出手段により検出された画像上における目の位置と、前記手位置検出手段により検出された画像上における手の位置との中間位置と、前記制御値との対応関係から、ユーザ自身の鏡像の手が前記操作対象に触れたか否かを判断する接触判断手段と
を有することを特徴とするミラーシステム。
【請求項２】
前記接触判断手段は、前記カメラにより撮像された画像上における前記中間位置の座標値を座標変換して前記表示部上における第１座標値とすると共に、この第１座標値と、前記制御値が示す前記表示部上における第２座標値との差が所定値以内である場合に、ユーザ自身の鏡像の手が前記操作対象に触れたと判断する
ことを特徴とする請求項１に記載のミラーシステム。
【請求項３】
ユーザ自身の鏡像の手が前記操作対象に触れたと前記接触判断手段が判断した場合に、予め定められた制御を実行する対応制御手段を更に備える
ことを特徴とする請求項１又は請求項２のいずれかに記載のミラーシステム。
【請求項４】
前記対応制御手段は、前記表示部に向き合った状態でユーザにコンテンツを選択させる操作対象を表示させ、ユーザ自身の鏡像の手が前記操作対象に触れたと前記接触判断手段が判断した場合、前記コンテンツを実行する
ことを特徴とする請求項１から請求項３のいずれか１項に記載のミラーシステム。
【請求項５】
前記コンテンツは、ユーザ以外から与えられた動力によって動作する他動運動器具をユーザが使用している際に、ユーザに運動を促すエクササイズコンテンツであって、
前記対応制御手段は、前記エクササイズコンテンツの実行中において、前記表示部に前記操作対象を表示させ、この操作対象にユーザ自身の鏡像の手が触れたと前記接触判断手段が判断した場合、ユーザに報知する
ことを特徴とする請求項４に記載のミラーシステム。
【請求項６】
前記対応制御手段は、前記コンテンツの実行中において、ユーザの手の位置を動かす経路を示す操作対象を表示させ、この操作対象に沿ってユーザの手が動いていると前記接触判断手段が判断した場合、ユーザに報知する
ことを特徴とする請求項４に記載のミラーシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示部とハーフミラーとを重ね合わせたミラーシステムに関する。
【背景技術】
【０００２】
従来、ユーザの鏡像を映し出すハーフミラーと、ハーフミラーのユーザ反対側に設けられた拡散層に投射光を投射して情報等を表示する情報表示機能付きミラーシステムが知られている。このミラーシステムによると、鏡像の他に、鏡像として映るユーザに対応して、小鳥や犬などの映像を映し出すことができ、ユーザ自身の鏡像と映像とが一体となった表示を行うことができる（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３００１１号公報（段落
【０００４】
から
【０００５】
参照）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、特許文献１に記載のシステムは、カメラにより撮影された人の形と大きさから、表示装置に対する人の位置と距離とを計算して鏡に反射されている人の鏡像を推定し、推定された鏡像に応じて、小鳥や犬などの映像の位置や大きさを決定している。このため、特許文献１に記載のシステムは、ユーザの鏡像を推定するという複雑な処理が必要となってしまう。
【０００７】
また、特許文献１に記載のシステムを含む従来のミラーシステムは、ユーザの鏡像の手が、映像光によって示される映像に触れる（すなわちユーザから重なって見える）動作を行ったとしても、その動作は何ら反映されることがなかった。また、特許文献１に記載のシステムの技術を応用し、ユーザが操作対象映像光によって映し出される操作対象に触れる動作を行ったときに何らかの制御を行うシステムを提供しようとした場合、処理が非常に複雑となってしまう。すなわち、特許文献１に記載のシステムの技術を応用した場合、ユーザの鏡像を推定し、ユーザの鏡像のうち、手の位置が操作対象映像光の投射位置に合致することを演算等により求める必要がある。このため、激しく動かすことが可能な手について手が動くごとに鏡像を推定する必要があり、処理が非常に複雑となってしまう。
【０００８】
本発明は、上記問題点を解決するために成されたものであり、その目的とするところは、ユーザが映像中の操作対象に触れる動作を行ったか否かの判断における処理負荷を軽減させることが可能なミラーシステムを提供することである。
【課題を解決するための手段】
【０００９】
本発明の特徴は、映像をユーザに視認可能に表示する表示部と、前記表示部の表示面に重ね合わされたハーフミラーと、ユーザを撮像するカメラと、前記カメラにより撮像された画像上におけるユーザの目の位置を検出する目位置検出手段と、前記カメラにより撮像された画像上におけるユーザの手の位置を検出する手位置検出手段と、前記表示部に表示される映像のうち、ユーザによる操作の対象となる操作対象の表示位置を制御値に基づいて制御する表示位置制御手段と、前記目位置検出手段により検出された画像上における目の位置と、前記手位置検出手段により検出された画像上における手の位置との中間位置と、前記制御値との対応関係から、ユーザ自身の鏡像の手が前記操作対象に触れたか否かを判断する接触判断手段とを有するミラーシステムであることを要旨とする。
【００１０】
ユーザから表示部との距離に拘わらず、ユーザとユーザの鏡像との中間に表示部が常に存在する。そして、ユーザの目と鏡像の手との中間にも表示部が存在するといえ、ユーザの視点からすると、ユーザの目の位置と鏡像の手の位置との中間地点に操作対象が位置していれば、ユーザには手が操作対象に触れたように認識される。このように、ユーザが操作対象に触れたか否かを判断するにあたり、鏡像の推定は必要なく、ユーザの目の位置の情報と、ユーザの手の位置の情報と、操作対象の表示位置を示す制御値の情報があれば足りる。従って、ユーザが操作対象に触れる動作を行ったか否かの判断における処理負荷を軽減させることができる。
【００１１】
本発明の特徴において、前記接触判断手段は、前記カメラにより撮像された画像上における前記中間位置の座標値を座標変換して前記表示部上における第１座標値とすると共に、この第１座標値と、前記制御値が示す前記表示部上における第２座標値との差が所定値以内である場合に、ユーザ自身の鏡像の手が前記操作対象に触れたと判断してもよい。これにより、中間位置を求めた後は、既存技術である座標値の変換と、制御値が示す座標値との比較のみで、操作対象に触れたか否かを判断でき、処理負荷を軽減させることができる。
【００１２】
本発明の特徴において、ミラーシステムは、ユーザ自身の鏡像の手が前記操作対象に触れたと前記接触判断手段が判断した場合に、予め定められた制御を実行する対応制御手段を更に備えていてもよい。これにより、ユーザが操作対象を操作することにより機器等を制御するという新たな機器操作を提案することができる。
【００１３】
本発明の特徴において、前記対応制御手段は、前記表示部に向き合った状態でユーザにコンテンツを選択させる操作対象を表示させ、ユーザ自身の鏡像の手が前記操作対象に触れたと前記接触判断手段が判断した場合、前記コンテンツを実行してもよい。これにより、表示部の前から移動しないまま、操作対象に触れてコンテンツを実行させることができるので、コンテンツを実行するにあたり、ユーザは各機器のスイッチ操作等を行うために、表示部の前から離れ、その後表示部の前に移動し、運動を行うという煩わしさがなくなる。
【００１４】
本発明の特徴において、上記したコンテンツとは、ユーザ以外から与えられた動力によって動作する他動運動器具をユーザが使用している際に、ユーザに運動を促すエクササイズコンテンツであって、前記対応制御手段は、前記エクササイズコンテンツの実行中において、前記表示部に前記操作対象を表示させ、この操作対象にユーザ自身の鏡像の手が触れたと前記接触判断手段が判断した場合、ユーザに報知してもよい。これにより、単に他動運動器具を使用しているだけでなく、他動運動器具の使用に加えて、エクササイズコンテンツによるエクササイズを行うことができ、一層エクササイズ効果を高めることができる。さらに、ユーザに報知するため、ゲーム感覚を与えることができる。
【００１５】
本発明の特徴において、前記対応制御手段は、前記エクササイズコンテンツの実行中において、ユーザの手の位置を動かす経路を示す操作対象を表示させ、この操作対象に沿ってユーザの手が動いていると前記接触判断手段が判断した場合、前記操作対象の色を変化させてもよい。これにより、ユーザの手の位置を動かす経路を示す操作対象を表示部に表示させるため、ユーザが行うべき動きを表現することができる。また、操作対象に沿ってユーザの手が動いていると判断した場合、例えば操作対象の色を変化させること等によりユーザに報知してもよい。
【発明の効果】
【００１６】
本発明に係るミラーシステムよれば、ユーザが映像中の操作対象に触れる動作をユーザが行ったか否かの判断における処理負荷を軽減させることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係るミラーシステムを示す外観構成図である。
【図２】図１のフラットパネルディスプレイ２４及びハーフミラー２１を含む表示ユニット１５の詳細な構成を示す斜視図である。
【図３】図１に示したコンピュータ４０の構成を示すブロック図である。
【図４】図３に示した接触判断部４１ｄによる接触判断方法を説明する側面図である。
【図５】距離に応じた手の位置を説明する簡略図であり、（ａ）は距離が短い場合を示し、（ｂ）は距離が長い場合を示している。
【図６】本実施形態に係るミラーシステムの動作を示すフローチャートである。
【図７】本実施形態に係るミラーシステムの変形例を示す構成図である。
【図８】アイコンの指定操作画面の一例を示す図である。
【図９】ユーザＨが第１サブアイコン映像に触れたと判断した場合に実行されるエクササイズコンテンツを示す図である。
【図１０】ユーザＨが第２サブアイコン映像に触れたと判断した場合に実行される矯正コンテンツを示す図であり、（ａ）が矯正運動前の状態を示し、（ｂ）は矯正運動中の状態を示している。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施の形態を説明する。図１は、本発明の実施形態に係るミラーシステムを示す外観構成図である。ミラーシステム１は、ユーザＨの鏡像を映し出すと共に、映像を表示するものである。このミラーシステム１は、映像をユーザＨに視認可能に表示するフラットパネルディスプレイ２４（表示部）と、フラットパネルディスプレイ２４の表示面に重ね合わされたハーフミラー２１と、フラットパネルディスプレイ２４の表側ＦＳに居るユーザＨの画像を撮像する正面カメラ（カメラ）３０と、コンピュータ４０とを備えている。なお、図１では、ユーザＨがフラットパネルディスプレイ２４の表示面に対して正対している例を図示している。
【００１９】
フラットパネルディスプレイ２４として、例えば、プラズマディスプレイパネル（ＰＤＰ）又は液晶表示装置（ＬＣＤ）を用いる。ハーフミラー２１は、入射する光の一部を反射し、一部を透過する性質を有する。フラットパネルディスプレイ２４及びハーフミラー２１は表示ユニット１５を構成している。ハーフミラー２１は、半透過膜シートを透明板の表面に貼り付けて形成してもよいし、金属膜を金属蒸着させて形成してもよい。フラットパネルディスプレイ２４は、コンピュータ４０から映像ケーブル或いは無線通信により映像データを受信し、映像データを解析して映像を表示する。
【００２０】
ハーフミラー２１の上記性質を利用することにより、ハーフミラー２１の裏側ＢＳに配置された正面カメラ３０は、ハーフミラー２１を介してユーザＨの画像を撮像することができる。また、ハーフミラー２１の表側ＦＳにおいてハーフミラー２１が反射する光により作り出されるユーザＨの鏡像と、フラットパネルディスプレイ２４に表示される映像とがフラットパネルディスプレイ２４の表側ＦＳへ向けて表示される。よって、フラットパネルディスプレイ２４の表側ＦＳに居るユーザＨは、自己の鏡像及び映像を視認することができる。
【００２１】
正面カメラ３０は、ユーザＨを撮像するものである。正面カメラ３０は、例えば、ＵＳＢケーブルにより通信が可能なＵＳＢカメラにより構成されている。この場合、正面カメラ３０は、コンピュータ４０とＵＳＢケーブルにより接続されることとなる。
【００２２】
コンピュータ４０は、正面カメラ３０により撮像された画像に応じてフラットパネルディスプレイ２４に表示される映像を制御するものである。
【００２３】
なお、本実施形態では、正面カメラ３０は表示ユニット１５の裏側ＢＳに設置されているが、設置位置はこれに限らず、表示ユニット１５の表側ＦＳに設置されていてもよい。また、正面カメラ３０のように、ユーザを正面から撮像するものでなくともよく、側方や上方等から撮像するものであってもよい。
【００２４】
図２を参照して、図１のフラットパネルディスプレイ２４及びハーフミラー２１を含む表示ユニット１５の詳細な構成を説明する。表示ユニット１５は、ハーフミラー２１と、フラットパネルディスプレイ２４と、フラットパネルディスプレイ２４の形状に合わせて切り欠き部２５ａが形成された表示枠部２５と、フラットパネルディスプレイ２４の表示面に対向する面に接続される取付け金具２６と、取付け金具２６を通じてフラットパネルディスプレイ２４が取付けられる取付け台２７と、取付け台２７とフラットパネルディスプレイ２４の間に挿入されるスペーサ２８ａ、２８ｂとを備える。
【００２５】
フラットパネルディスプレイ２４の表示面はハーフミラー２１の面に直接重ね合わされ、フラットパネルディスプレイ２４の外周は切り欠き部２５ａが形成された表示枠部２５によって取り囲まれている。フラットパネルディスプレイ２４は、その表示面に対向する面が取付け金具２６を通じて取付け台２７に固定されることにより、取付け台２７に支持されている。また、縦横自在に配置可能なスペーサ２８ａ、２８ｂを用いて、フラットパネルディスプレイ２４の表示面の向きをハーフミラー２１の面に平行になるように調整して、フラットパネルディスプレイ２４とハーフミラー２１との密着性を高めている。この密着性を高めることにより、フラットパネルディスプレイ２４に表示された映像のハーフミラー２１による反射を抑制することができる。
【００２６】
図２では、スペーサ２８ａ、２８ｂが水平方向に向けて配置された例を示すが、フラットパネルディスプレイ２４の表示面の傾きによっては、スペーサ２８ａ、２８ｂを垂直方向に向けて配置しても構わない。また、フラットパネルディスプレイ２４に表示された映像のハーフミラー２１による反射を更に抑制するために、フラットパネルディスプレイ２４とハーフミラー２１との間に液体を注入した部材を挿入して重ね合わせても構わない。また、フラットパネルディスプレイ２４をその長辺が水平方向に向けて設置する場合を示すが、もちろん、長辺を垂直方向に向けて配置しても構わない。
【００２７】
図３は、図１に示したコンピュータ４０の詳細を示す構成図である。コンピュータ４０は、データの演算処理機能を備える処理演算部（ＣＰＵ）４１と、データを格納するデータベース４２と、フラットパネルディスプレイ２４及び正面カメラ３０との間でデータの入出力を制御する入出力部４３とを備える。
【００２８】
処理演算部４１は、正面カメラ３０により撮像された画像上におけるユーザＨの目の位置を検出する目位置検出部（目位置検出手段）４１ａと、正面カメラ３０により撮像された画像上におけるユーザＨの手の位置を検出する手位置検出部（手位置検出手段）４１ｂと、フラットパネルディスプレイ２４に表示される映像のうちユーザによる操作の対象となる操作対象の表示位置を制御値に基づいて制御する表示位置制御部（表示位置制御手段）４１ｃと、ユーザＨ自身の鏡像の手が操作対象に触れたか否かを判断する接触判断部（接触判断手段）４１ｄと、接触判断部４１ｄによりユーザＨ自身の鏡像の手が操作対象に触れたと判断された場合に予め定められた制御を実行する対応制御部（対応制御手段）４１ｅとを備えている。
【００２９】
データベース４２は、映像データ格納部４２ａと、プログラムデータ部４２ｂとを備えている。映像データ格納部４２ａは、フラットパネルディスプレイ２４に表示される映像のデータを格納しており、例えば後述するアイコン映像のデータや、丸形の映像のデータなどを格納している。プログラムデータ部４２ｂは、処理演算部４１が行う演算処理のアルゴリズムを規定したコンピュータプログラムのデータを格納したものである。コンピュータプログラムには、正面カメラ３０で撮影した映像をフラットパネルディスプレイ２４に表示するためのアプリケーションソフトウェア（ＦＬＡＳＨ、Ｃ＋＋などのプログラミング言語で記述されたもの）やオペレーティングシステム（ＯＳ）等の基本ソフトウェアが含まれる。
【００３０】
次に、処理演算部４１の各部について詳細に説明する。目位置検出部４１ａは、正面カメラ３０により撮像された画像を処理し、画像内から目を抽出して画像上における目の位置を検出する。具体的に、目位置検出部４１ａは、まず画像内からユーザＨの顔を特定する。次いで、目位置検出部４１ａは、顔の画像を２値化処理し、顔の暗い部分（例えば、眉、アイライン、鼻の穴、上唇と下唇との境界）を抽出する。その後、目位置検出部４１ａは、顔の暗い部分の配置関係から、目の位置を検出する。なお、目の位置の検出については、種々の方法があり、目位置検出部４１ａは、テンプレートマッチングや濃淡画像マッチングなど他の方法により、目の位置を検出してもよい。
【００３１】
手位置検出部４１ｂは、正面カメラ３０により撮影された画像から手を抽出して画像上におけるユーザＨの手の位置を検出するものである。例えば、手位置検出部４１ｂは、ユーザの身体画像のうち、肌色の部分や、体の輪郭などを利用して手の位置を検出する。
【００３２】
表示位置制御部４１ｃは、操作対象のフラットパネルディスプレイ２４上における表示位置を制御するものである。この表示位置制御部４１ｃは、操作対象を表示させる際、データベース４２からフラットパネルディスプレイ２４上のどの位置に表示するかを示す制御値の情報を読み出し、読み出した制御値に従って表示位置を決定する。そして、表示位置制御部４１ｃは、決定した表示位置に操作対象が表示されるように、フラットパネルディスプレイ２４の表示動作を制御することとなる。
【００３３】
接触判断部４１ｄは、目位置検出部４１ａにより検出された画像上における目の位置と、手位置検出部４１ｂにより検出された画像上における手の位置との中間位置と、制御値との対応関係から、ユーザＨ自身の手の鏡像が操作対象に触れたか否かを判断するものである。
【００３４】
図４は、図３に示した接触判断部４１ｄによる接触判断方法を説明する側面図である。図４に示すように、ユーザＨは、ユーザＨの目からハーフミラー２１の反射面までの距離αの２倍離れた位置に鏡像Ｍにおける自己の目の位置を視認することができる。また、ユーザＨは、ユーザＨの目からハーフミラー２１の反射面までの距離α’の２倍離れた位置に鏡像Ｍにおける自己の手の位置を視認することができる。このとき、ユーザＨは、ハーフミラー像における自己の手をハーフミラー２１上において点Ｓの位置で視認することとなる。
【００３５】
そして、ハーフミラー２１上における点Ｓの位置は、ユーザＨの目及び手の位置が一定である場合、ユーザＨのハーフミラー２１に対する距離に拘わらず、ほぼ不変となっている。
【００３６】
ここで「ハーフミラー像」とは、ハーフミラー２１が反射する光により作り出されるユーザＨの鏡像Ｍのハーフミラー面上における像を示し、ユーザＨの目からハーフミラー２１の反射面までの距離の２倍離れた位置において視認される自己の「鏡像」Ｍとは異なる概念である。
【００３７】
図５は、ユーザＨのハーフミラー２１に対する距離に応じた手の位置を説明する簡略図であり、（ａ）はこの距離が短い場合を示し、（ｂ）はこの距離が長い場合を示している。図５（ａ）に示すように、ユーザＨの目の位置ｅとし、ユーザＨの手の位置ｈとし、鏡像における目の位置ｅ’とし、鏡像における手の位置ｈ’とした場合、ユーザＨは、ハーフミラー２１上において、点ｅ，ｈ’の中間位置である点Ｓの位置において自らの手のハーフミラー像を確認することとなる。一方、図５（ｂ）に示すように、ハーフミラー２１に対する距離が離れた場合、ユーザＨは、ハーフミラー２１上において、点ｅ，ｈ’の中間位置である点Ｓの位置において自らの手のハーフミラー像を確認することとなる。この点Ｓは、図５（ａ）及び図５（ｂ）に示すように、地面から点Ｓまでの距離がγであり、一致している。
【００３８】
このように、ユーザＨのハーフミラー２１に対する距離に拘わらず、点Ｓは同じ位置となる。より数学的に説明すると、点Ｓの位置は、図４から明らかなように、ユーザＨの目の位置とユーザＨの手の位置とを結ぶ線分Ｌの中点ｍからハーフミラー２１に対して法線を引いた時の当該法線とハーフミラー２１とが交わる位置に該当し、ユーザＨの目と手の位置にのみ依存することがわかる。このため、ユーザＨの目の位置や手の位置が変わらない限り、ユーザＨがハーフミラー２１に対して離れたり近寄ったりしても、点Ｓの位置は不変となる。そして、点Ｓの位置は、ユーザＨの目の位置や手の位置が変化した場合のみ、他の位置に変位することとなる。よって、本実施形態では、ユーザＨの目の位置と手の位置とを検出し、点Ｓに該当する位置を求める。そして、操作対象の表示位置が点Ｓの位置と重なっていれば、操作対象とハーフミラー像におけるユーザの手とが重なっていることになるので、ユーザＨ自身の手の鏡像が操作対象に触れていると判断することができる。
【００３９】
この点Ｓを求めるにあたり、接触判断部４１ｄは、まず、正面カメラ３０により撮像された画像上における目の位置と手の位置との情報を取得し、画像上においてこれらの中間位置の座標値を求める。そして、接触判断部４１ｄは、求めた座標値を座標変換して、ハーフミラー２１上における第１座標値（すなわち図４でいうところの点Ｓの位置）を求める。
【００４０】
具体的に説明すると、画像上における目の位置が座標（ｘ０，ｙ０）にあり、手の位置が座標（ｘ１，ｙ１）であるとすると、接触判断部４１ｄは、中間位置である座標値（（ｘ１＋ｘ０）／２，（ｙ１＋ｙ０）／２）を算出する。そして、接触判断部４１ｄは、座標変換を行って、例えばハーフミラー２１上における第１座標値（例えば（ｘ２，ｙ２））を算出する。
【００４１】
また、操作対象の表示位置は表示位置制御部４１ｃからの制御値に基づいて判断できる。このため、接触判断部４１ｄは、表示位置制御部４１ｃから制御値の情報を読み込んで、制御値からハーフミラー２１上における第２座標値（例えば（ｘ２’，ｙ２’））を求める。そして、接触判断部４１ｄは、第１座標値と第２座標値との差が所定値以内である場合（すなわち（ｘ２，ｙ２）と（ｘ２’，ｙ２’）との距離が所定値よりも近い場合）、ユーザＨ自身の手の鏡像が操作対象に触れたと判断する。
【００４２】
以上から、本実施形態に係る接触判断部４１ｄは、ユーザＨの鏡像を推定することなく、簡易にユーザＨが操作対象映像光に触れた状態を判断することとなる。
【００４３】
なお、上記実施形態ではユーザＨを撮影するものとして正面カメラ３０が１つだけ設けられているが、これに限らず、複数のカメラを備えていてもよい。
【００４４】
次に、本実施形態に係るミラーシステム１の動作について説明する。図６は、本実施形態に係るミラーシステム１の動作を示すフローチャートである。図６に示すように、まず、表示位置制御部４１ｃは、操作対象の表示位置を決定する（Ｓ１）。このとき、表示位置制御部４１ｃは、制御値を求めることにより表示位置を決定する。次に、処理演算部４１は、制御値に基づいてフラットパネルディスプレイ２４上の表示位置に操作対象を表示させる（Ｓ２）。
【００４５】
その後、目位置検出部４１ａは、正面カメラ３０により撮影された画像上におけるユーザＨの目の位置を検出する（Ｓ３）。次に、手位置検出部４１ｂは、正面カメラ３０により撮影された画像上におけるユーザＨの手の位置を検出する（Ｓ４）。
【００４６】
次いで、接触判断部４１ｄは、ステップＳ３において検出した目の位置、及び、ステップＳ４において検出した手の位置から、画像上における目と手との中間位置を算出する（Ｓ５）。その後、接触判断部４１ｄは、中間位置の座標値を座標変換してハーフミラー２１上における第１座標値を算出する（Ｓ６）。その後、接触判断部４１ｄは、制御値の情報を入力し（Ｓ７）、第２座標値を求める（Ｓ８）。
【００４７】
次いで、接触判断部４１ｄは、ステップＳ６において算出した第１座標値、及び、ステップＳ８において算出した第２座標値に基づいて、ユーザＨの手が操作対象に触れたか否かを判断する（Ｓ９）。このとき、接触判断部４１ｄは、第１座標値と第２座標値との距離が所定距離以内であるかに基づいて、ユーザＨ自身の手の鏡像が操作対象に触れたか否かを判断することとなる。
【００４８】
ユーザＨ自身の手の鏡像が操作対象に触れていないと判断した場合（Ｓ９：ＮＯ）、処理はステップＳ３に移行する。一方、ユーザＨ自身の手の鏡像が操作対象に触れたと判断した場合（Ｓ９：ＹＥＳ）、対応制御部４１ｅは、予め定められた制御を実行する（Ｓ１０）。このときの制御は、図８を参照して後述するアイコン映像１０１〜１０４及びサブアイコン映像１０１ａ，１０１ｂの指定制御であったり、図９を参照して後述する得点の加減算制御であったりする。また、図１０を参照して後述する制御であってもよい。
【００４９】
そして、予め定められた制御の実行後、図６に示す処理は終了する。なお、図６に示す処理は、ミラーシステム１の電源がオフとなるまで、繰り返し実行される。
（変形例）
【００５０】
図７は、本実施形態に係るミラーシステム１の変形例を示す構成図である。図７に示すように、変形例に係るミラーシステム１は、ハーフミラー２１の裏側ＢＳに２つのカメラ３０ａ，３０ｂを有している。これらのカメラ３０ａ，３０ｂは、フラットパネルディスプレイ２４により遮られることなくハーフミラー２１を通じてユーザＨを撮像できる位置、具体的にはハーフミラー２１の左右両端位置に設けられている。この構成により、ステレオ立体視の原理を用いて、ユーザＨの目及び手について、より詳細に求めることができる。すなわち、正面カメラ３０が１つだけであると、正面カメラ３０に対して真っ直ぐに手を近づけたり離したりしても、画像上における手の位置は同じ位置に検出されてしまう。このため、座標を変換して点Ｓの位置を求めようとしても、不正確となってしまう可能性がある。ところが、複数のカメラ３０ａ，３０ｂを備える場合、ハーフミラー２１からユーザＨの手までの距離を求めることができ、点Ｓの位置を正確に求めることができる。なお、上記では手の位置について説明したが、目の位置についても同様であり、ハーフミラー２１からユーザＨの目までの距離を求めることで、点Ｓの位置を正確に求めることができる。また、上記では複数のカメラ３０ａ，３０ｂを備える場合を説明したが、これに限らず、距離画像カメラや距離センサ（レーザ方式及び超音波方式など）を用いてもよい。
（対応制御例）
【００５１】
次に、図６のステップ１０において対応制御部４１ｅが実行する対応制御の例を説明する。
【００５２】
図２に示す対応制御部４１ｅは、接触判断部４１ｄによりユーザＨ自身の手の鏡像が操作対象に触れたと判断された場合に予め定められた制御を実行する。例えば、先ず、図８に示すようなアイコン映像（操作対象の一例）がフラットパネルディスプレイ２４上に表示される。この状態において、ユーザＨ自身の手の鏡像がアイコン映像に触れたと接触判断部４１ｄが判断した場合に、対応制御部４１ｅは、アイコンの指定操作の制御を行う構成となっている。この対応制御部４１ｅについて詳細に説明する。
【００５３】
図８は、アイコンの指定操作画面の一例を示す図である。図８に示すように、フラットパネルディスプレイ２４上にアイコン映像１０１〜１０４が表示されている。第１アイコン映像１０１は、ユーザＨに運動を促すコンテンツを選択させるための操作対象である。第２アイコン映像１０２は、ユーザＨの身体特徴（体重、身長及び体脂肪率など）を表示するための操作対象である。第３アイコン映像１０３は、ユーザＨが過去に行ったエクササイズの履歴を参照するための操作対象である。第４アイコン映像１０４は、ユーザＨのエクササイズや身体的特徴について、より詳細に参照させるための詳細表示用の操作対象である。
【００５４】
このようなアイコン映像１０１〜１０４が表示されている状態において、ユーザＨの手が鏡像上において第１アイコン映像１０１と重なるように移動させられたとする。この場合、接触判断部４１ｄは、図４及び図５に示した理論に基づいて、ユーザＨ自身の手の鏡像が操作対象である第１アイコン映像１０１に触れたと判断する。そして、対応制御部４１ｅは、フラットパネルディスプレイ２４上にサブアイコン映像１０１ａ，１０１ｂ（操作対象の他の例）を表示させる。
【００５５】
第１サブアイコン映像１０１ａは、他動運動器具をユーザＨが使用している際に、ユーザＨに運動を促すエクササイズコンテンツを実行するための操作対象である。ここで、他動運動器具とは、ユーザＨ以外から与えられた動力によって動作する器具である。また、第２サブアイコン映像１０１ｂは、ユーザＨのバランスを矯正するための矯正コンテンツを実行するための操作対象である。
【００５６】
このようなサブアイコン映像１０１ａ，１０１ｂが表示されている状態において、ユーザＨの鏡像の手がサブアイコン映像１０１ａ又はサブアイコン映像１０１ｂと重なるように移動させられたとする。この場合、接触判断部４１ｄは、図４及び図５に示した理論に基づいて、ユーザＨ自身の手の鏡像がサブアイコン映像１０１ａ又はサブアイコン映像１０１ｂに触れたと判断する。そして、対応制御部４１ｅは、エクササイズコンテンツ又は矯正コンテンツを実行する。
【００５７】
図９は、ユーザＨ自身の手の鏡像が第１サブアイコン映像１０１ａに触れたと判断した場合に実行されるエクササイズコンテンツの一例を示す図である。図９に示すように、エクササイズコンテンツにおいては、丸形の操作対象１１０ａ〜１１０ｆがハーフミラー像Ｒにおけるユーザの周囲に表示される。また、ユーザは、他動運動器具１１１の一例である乗馬型振動マシーンに乗っており、そのハーフミラー像Ｒがハーフミラー２１上に現れている。
【００５８】
このような状態において、ユーザの手が操作対象１１０ａ〜１１０ｆの位置と重なるように移動させられると、接触判断部４１ｄは、図４及び図５に示した理論に基づいて、ユーザＨ自身の手の鏡像が操作対象１１０ａ〜１１０ｆに触れたと判断する。そして、対応制御部４１ｅは、その旨をユーザに報知する。例えば、得点を加算又は減算させていき、ユーザＨのエクササイズ結果を得点により示すように制御する。これにより、ユーザＨにゲーム性を感じさせつつ、エクササイズを促すようにしている。
【００５９】
なお、エクササイズコンテンツでは、複数の操作対象１１０ａ〜１１０ｆのうち、いずれか１つを順次表示させ、ユーザＨ自身の手の鏡像が順番に各操作対象１１０ａ〜１１０ｆに触れるように促してもよい。さらに、触れるべき操作対象１１０ａ〜１１０ｆについてのみ色を変更して表示するようにしてもよい。
【００６０】
図１０は、ユーザＨが図８の第２サブアイコン映像１０１ｂに触れたと接触判断部４１ｄが判断した場合に実行される矯正コンテンツの一例を示す図であり、（ａ）が矯正運動前の状態を示し、（ｂ）は矯正運動中の状態を示している。図１０（ａ）に示すように、ユーザのハーフミラー像Ｒがハーフミラー２１上に現れている。そして、矯正コンテンツにおいては、丸形の操作対象１２０がユーザのハーフミラー像Ｒの左側に表示されている。
【００６１】
このような状態において、ハーフミラー像Ｒにおけるユーザ自身の手が丸形の操作対象１２０の位置と重なるように移動させられると、接触判断部４１ｄは、図４及び図５に示した理論に基づいて、ユーザ自身の手の鏡像が操作対象１２０に触れたと判断する。そして、対応制御部４１ｅは、フラットパネルディスプレイ２４上に図１０（ｂ）に示す８の字型の操作対象１２１を表示させる。
【００６２】
これにより、ユーザは８の字型の操作対象１２１に沿って手を動かすようにしむけられることとなる。そして、腕の振り、体重移動、腰の向きの変化、及び膝の動きなどから、バランスが矯正されることとなる。なお、矯正コンテンツにおいて接触判断部４１ｄが操作対象１２１に沿ってユーザの手が動いていると判断した場合、対応制御部４１ｅは、操作対象１２１の色を変化させる。これにより、ユーザＨが正確に手を動かしたことをユーザＨに告知することとなる。このときの接触判断についても、図４及び図５に示した理論に基づくこととなる。特に、操作対象１２１が長い距離を有するため、接触判断部４１ｄは、所定距離毎にポイントを設け、ユーザＨ自身の手の鏡像が各ポイントに触れたか否かを判断するようにしている。
【００６３】
以上説明したように、本発明の実施の形態によれば、以下の作用効果が得られる。
【００６４】
本実施形態に係るミラーシステム１によれば、目位置検出部４１ａにより検出された画像上における目の位置と、手位置検出部４１ｂにより検出された画像上における手の位置との中間位置と、制御値との対応関係から、ユーザＨ自身の鏡像の手が操作対象に触れたか否かを判断する。ここで、ユーザＨは、ユーザＨからハーフミラー２１までの距離の約２倍の位置に自己の鏡像Ｍを視認する。すなわち、ユーザＨとユーザＨの鏡像Ｍとの中間にハーフミラー２１が存在するような状態ともいえる。しかも、ハーフミラー２１は、ユーザＨからハーフミラー２１との距離に拘わらず、常にユーザＨとユーザＨの鏡像Ｍとの中間に位置している。そして、ユーザＨの目と鏡像Ｍの手との中間地点Ｓもハーフミラー２１上に存在するといえ、ユーザＨの視点からすると、ユーザＨの目の位置と鏡像Ｍの手の位置との中間地点Ｓに、操作対象の表示位置が位置していれば、ユーザＨには手が操作対象に触れたように認識される。このように、ユーザＨが操作対象に触れたか否かを判断するにあたり、鏡像Ｍの推定は必要なく、ユーザＨの目の位置の情報と、ユーザＨの手の位置の情報と、操作対象の表示位置を示す制御値の情報があれば足りる。従って、ユーザＨが映像中の操作対象に触れる動作を行ったか否かの判断における処理負荷を軽減させることができる。
【００６５】
また、画像上における目と手の中間位置の座標値を座標変換してハーフミラー２１上における第１座標値を求め、この第１座標値と制御値が示す第２座標値との差が所定値以内である場合に、ユーザＨ自身の鏡像Ｍの手が操作対象に触れたと判断する。このため、目と手の中間位置を求めた後は、既存技術である座標値の変換と、制御値が示す座標値との比較のみで、操作対象に触れたか否かを判断でき、処理負荷を軽減させることができる。
【００６６】
また、ユーザＨ自身の鏡像Ｍの手が操作対象に触れたと判断した場合、予め定められた制御を実行するため、ユーザＨが操作対象を操作して機器等を制御させるという新たな機器操作を提案することができる。
【００６７】
また、表示ユニット１５に向き合った状態でユーザに運動を促すコンテンツを選択させるアイコン映像１０１，１０１ａ，１０１ｂを表示させ、ユーザＨ自身の鏡像Ｍの手がアイコン映像１０１，１０１ａ，１０１ｂに触れたと判断した場合、このコンテンツを実行する。このため、ユーザＨに運動を促すコンテンツを実行するにあたり、表示ユニット１５の前から移動しないまま、アイコン映像１０１，１０１ａ，１０１ｂに触れてエクササイズコンテンツを実行させることができる。よって、ユーザＨは各機器のスイッチ操作等を行うために、表示ユニット１５の前から離れ、その後、表示ユニット１５の前に移動し、エクササイズを行うという煩わしさがなくなる。
【００６８】
また、他動運動器具１１１をユーザＨが使用している際にフラットパネルディスプレイ２４に操作対象１１０ａ〜１１０ｆを表示させ、この操作対象１１０ａ〜１１０ｆにユーザＨ自身の鏡像Ｍの手が触れたと判断した場合、得点を加算又は減算させることでユーザに触れたか否かを報知する。これにより、単に他動運動器具１１１を使用しているだけでなく、他動運動器具１１１の使用に加えて、エクササイズを行うことができ、一層エクササイズ効果を高めることができる。さらに、得点の加減算を行っているため、ゲーム感覚を与えることができる。
【００６９】
また、ユーザＨの手の位置を動かす経路を示す操作対象１２１をフラットパネルディスプレイ２４に表示させるため、ユーザＨが行うべき動きを表現することができる。また、操作対象１２１に沿ってユーザの手が動いていると判断した場合、操作対象１２１の色を変化させる。このため、ユーザが適切な動きを行った場合に、その旨をユーザに報知することができるため、ユーザにゲーム感覚を与えることができる。なお、ユーザに報知する方法は、操作対象１２１の色を変化させる以外にも、操作対象１２１を大きく表示する、或いは点滅させる等の方法であっても構わない。
【００７０】
以上、本発明に係るミラーシステムを実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。
【００７１】
例えば、上記した対応制御例では、図８〜図１０を参照して説明したが、これらに限らず、図２に示す対応制御部４１ｅは、接触判断部４１ｄによりユーザＨ自身の手の鏡像が操作対象に触れたと判断された場合に、その他の予め定められた制御を実行しても構わない。
【００７２】
また、上記実施形態において接触判断部４１ｄは座標変換を行っているが、この座標変換の精度を向上させるため、以下のような制御を行ってもよい。すなわち、フラットパネルディスプレイ２４上の予め定めた座標値（ｘ３，ｙ３）の位置に操作対象を表示する。そして、ユーザＨに、音声や表示によって操作対象に触れる旨を提示する。これにより、ユーザＨの鏡像Ｍの手は操作対象に触れることとなり、触れたときの目と手の位置の中間位置と、座標値（ｘ３，ｙ３）とが対応関係にあることが明らかとなる。そして、接触判断部４１ｄは、この対応関係を基準に座標変換式を構築し、以後の座標変換処理に用いるようにするとよい。
【００７３】
なお、この場合、画像の歪みなどを考慮して、フラットパネルディスプレイ２４上における各位置に操作対象を表示させる。例えばフラットパネルディスプレイ２４を１６分割して１６個の操作対象を表示させる。そして、ユーザＨにそれぞれの操作対象に触れる旨を提示する。これにより、画像の歪みを考慮して、より詳細な座標変換式を構築することができ、一層精度を高めることができる。
【００７４】
さらに、上記の処理は、定期的に行うことが望ましい。これにより、ミラーシステム１を長期に使用して、フラットパネルディスプレイ２４や正面カメラ３０の設置位置にずれが生じたとしても、ズレを補正するような座標変換式を構築でき、一層精度を高めることができる。
【符号の説明】
【００７５】
１  ミラーシステム
１５  表示ユニット
２１  ハーフミラー
２４  プラズマディスプレイパネルや液晶表示装置などのフラットパネルディスプレイ（表示部）
２５  表示枠部
２５ａ  切り欠き部
２６  取付け金具
２７  取付け台
２８ａ、２８ｂ  スペーサ
３０、３０ａ、３０ｂ  正面カメラ（カメラ）
４０  コンピュータ
４１  処理演算部
４１ａ  目位置検出部（目位置検出手段）
４１ｂ  手位置検出部（手位置検出手段）
４１ｃ  表示位置制御部（表示位置制御手段）
４１ｄ  接触判断部（接触判断手段）
４１ｅ  対応制御部（対応制御手段）
４２  データベース
４２ａ  映像データ格納部
４２ｂ  プログラムデータ部
４３  入出力部
１０１  第１アイコン映像（操作対象）
１０１ａ  第１サブアイコン映像（操作対象）
１０１ｂ  第２サブアイコン映像（操作対象）
１０２  第２アイコン映像（操作対象）
１０３  第３アイコン映像（操作対象）
１０４  第４アイコン映像（操作対象）
１１１  他動運動器具
１２０、１２１  操作対象
ＢＳ  裏側
ＦＳ  表側
Ｈ  ユーザ
Ｌ  線分
Ｍ  鏡像
Ｒ  ハーフミラー像
【図１】
2010266918.tif 000003
【図２】
2010266918.tif 000004
【図３】
2010266918.tif 000005
【図４】
2010266918.tif 000006
【図５】
2010266918.tif 000007
【図６】
2010266918.tif 000008
【図７】
2010266918.tif 000009
【図８】
2010266918.tif 000010
【図９】
2010266918.tif 000011
【図１０】
2010266918.tif 000012
【手続補正書】
【提出日】平成21年5月12日(2009.5.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示部とハーフミラーとを重ね合わせたミラーシステムに関する。
【背景技術】
【０００２】
従来、ユーザの鏡像を映し出すハーフミラーと、ハーフミラーのユーザ反対側に設けられた拡散層に投射光を投射して情報等を表示する情報表示機能付きミラーシステムが知られている。このミラーシステムによると、鏡像の他に、鏡像として映るユーザに対応して、小鳥や犬などの映像を映し出すことができ、ユーザ自身の鏡像と映像とが一体となった表示を行うことができる（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３００１１号公報（段落[００４３]から[００４４]参照）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、特許文献１に記載のシステムは、カメラにより撮影された人の形と大きさから、表示装置に対する人の位置と距離とを計算して鏡に反射されている人の鏡像を推定し、推定された鏡像に応じて、小鳥や犬などの映像の位置や大きさを決定している。このため、特許文献１に記載のシステムは、ユーザの鏡像を推定するという複雑な処理が必要となってしまう。
【０００５】
また、特許文献１に記載のシステムを含む従来のミラーシステムは、ユーザの鏡像の手が、映像光によって示される映像に触れる（すなわちユーザから重なって見える）動作を行ったとしても、その動作は何ら反映されることがなかった。また、特許文献１に記載のシステムの技術を応用し、ユーザが操作対象映像光によって映し出される操作対象に触れる動作を行ったときに何らかの制御を行うシステムを提供しようとした場合、処理が非常に複雑となってしまう。すなわち、特許文献１に記載のシステムの技術を応用した場合、ユーザの鏡像を推定し、ユーザの鏡像のうち、手の位置が操作対象映像光の投射位置に合致することを演算等により求める必要がある。このため、激しく動かすことが可能な手について手が動くごとに鏡像を推定する必要があり、処理が非常に複雑となってしまう。
【０００６】
本発明は、上記問題点を解決するために成されたものであり、その目的とするところは、ユーザが映像中の操作対象に触れる動作を行ったか否かの判断における処理負荷を軽減させることが可能なミラーシステムを提供することである。
【課題を解決するための手段】
【０００７】
本発明の特徴は、映像をユーザに視認可能に表示する表示部と、前記表示部の表示面に重ね合わされたハーフミラーと、ユーザを撮像するカメラと、前記カメラにより撮像された画像上におけるユーザの目の位置を検出する目位置検出手段と、前記カメラにより撮像された画像上におけるユーザの手の位置を検出する手位置検出手段と、前記表示部に表示される映像のうち、ユーザによる操作の対象となる操作対象の表示位置を制御値に基づいて制御する表示位置制御手段と、前記目位置検出手段により検出された画像上における目の位置と、前記手位置検出手段により検出された画像上における手の位置との中間位置と、前記制御値との対応関係から、ユーザ自身の鏡像の手が前記操作対象に触れたか否かを判断する接触判断手段とを有するミラーシステムであることを要旨とする。
【０００８】
ユーザから表示部との距離に拘わらず、ユーザとユーザの鏡像との中間に表示部が常に存在する。そして、ユーザの目と鏡像の手との中間にも表示部が存在するといえ、ユーザの視点からすると、ユーザの目の位置と鏡像の手の位置との中間地点に操作対象が位置していれば、ユーザには手が操作対象に触れたように認識される。このように、ユーザが操作対象に触れたか否かを判断するにあたり、鏡像の推定は必要なく、ユーザの目の位置の情報と、ユーザの手の位置の情報と、操作対象の表示位置を示す制御値の情報があれば足りる。従って、ユーザが操作対象に触れる動作を行ったか否かの判断における処理負荷を軽減させることができる。
【０００９】
本発明の特徴において、前記接触判断手段は、前記カメラにより撮像された画像上における前記中間位置の座標値を座標変換して前記表示部上における第１座標値とすると共に、この第１座標値と、前記制御値が示す前記表示部上における第２座標値との差が所定値以内である場合に、ユーザ自身の鏡像の手が前記操作対象に触れたと判断してもよい。これにより、中間位置を求めた後は、既存技術である座標値の変換と、制御値が示す座標値との比較のみで、操作対象に触れたか否かを判断でき、処理負荷を軽減させることができる。
【００１０】
本発明の特徴において、ミラーシステムは、ユーザ自身の鏡像の手が前記操作対象に触れたと前記接触判断手段が判断した場合に、予め定められた制御を実行する対応制御手段を更に備えていてもよい。これにより、ユーザが操作対象を操作することにより機器等を制御するという新たな機器操作を提案することができる。
【００１１】
本発明の特徴において、前記対応制御手段は、前記表示部に向き合った状態でユーザにコンテンツを選択させる操作対象を表示させ、ユーザ自身の鏡像の手が前記操作対象に触れたと前記接触判断手段が判断した場合、前記コンテンツを実行してもよい。これにより、表示部の前から移動しないまま、操作対象に触れてコンテンツを実行させることができるので、コンテンツを実行するにあたり、ユーザは各機器のスイッチ操作等を行うために、表示部の前から離れ、その後表示部の前に移動し、運動を行うという煩わしさがなくなる。
【００１２】
本発明の特徴において、上記したコンテンツとは、ユーザ以外から与えられた動力によって動作する他動運動器具をユーザが使用している際に、ユーザに運動を促すエクササイズコンテンツであって、前記対応制御手段は、前記エクササイズコンテンツの実行中において、前記表示部に前記操作対象を表示させ、この操作対象にユーザ自身の鏡像の手が触れたと前記接触判断手段が判断した場合、ユーザに報知してもよい。これにより、単に他動運動器具を使用しているだけでなく、他動運動器具の使用に加えて、エクササイズコンテンツによるエクササイズを行うことができ、一層エクササイズ効果を高めることができる。さらに、ユーザに報知するため、ゲーム感覚を与えることができる。
【００１３】
本発明の特徴において、前記対応制御手段は、前記エクササイズコンテンツの実行中において、ユーザの手の位置を動かす経路を示す操作対象を表示させ、この操作対象に沿ってユーザの手が動いていると前記接触判断手段が判断した場合、前記操作対象の色を変化させてもよい。これにより、ユーザの手の位置を動かす経路を示す操作対象を表示部に表示させるため、ユーザが行うべき動きを表現することができる。また、操作対象に沿ってユーザの手が動いていると判断した場合、例えば操作対象の色を変化させること等によりユーザに報知してもよい。
【発明の効果】
【００１４】
本発明に係るミラーシステムよれば、ユーザが映像中の操作対象に触れる動作をユーザが行ったか否かの判断における処理負荷を軽減させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係るミラーシステムを示す外観構成図である。
【図２】図１のフラットパネルディスプレイ２４及びハーフミラー２１を含む表示ユニット１５の詳細な構成を示す斜視図である。
【図３】図１に示したコンピュータ４０の構成を示すブロック図である。
【図４】図３に示した接触判断部４１ｄによる接触判断方法を説明する側面図である。
【図５】距離に応じた手の位置を説明する簡略図であり、（ａ）は距離が短い場合を示し、（ｂ）は距離が長い場合を示している。
【図６】本実施形態に係るミラーシステムの動作を示すフローチャートである。
【図７】本実施形態に係るミラーシステムの変形例を示す構成図である。
【図８】アイコンの指定操作画面の一例を示す図である。
【図９】ユーザＨが第１サブアイコン映像に触れたと判断した場合に実行されるエクササイズコンテンツを示す図である。
【図１０】ユーザＨが第２サブアイコン映像に触れたと判断した場合に実行される矯正コンテンツを示す図であり、（ａ）が矯正運動前の状態を示し、（ｂ）は矯正運動中の状態を示している。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施の形態を説明する。図１は、本発明の実施形態に係るミラーシステムを示す外観構成図である。ミラーシステム１は、ユーザＨの鏡像を映し出すと共に、映像を表示するものである。このミラーシステム１は、映像をユーザＨに視認可能に表示するフラットパネルディスプレイ２４（表示部）と、フラットパネルディスプレイ２４の表示面に重ね合わされたハーフミラー２１と、フラットパネルディスプレイ２４の表側ＦＳに居るユーザＨの画像を撮像する正面カメラ（カメラ）３０と、コンピュータ４０とを備えている。なお、図１では、ユーザＨがフラットパネルディスプレイ２４の表示面に対して正対している例を図示している。
【００１７】
フラットパネルディスプレイ２４として、例えば、プラズマディスプレイパネル（ＰＤＰ）又は液晶表示装置（ＬＣＤ）を用いる。ハーフミラー２１は、入射する光の一部を反射し、一部を透過する性質を有する。フラットパネルディスプレイ２４及びハーフミラー２１は表示ユニット１５を構成している。ハーフミラー２１は、半透過膜シートを透明板の表面に貼り付けて形成してもよいし、金属膜を金属蒸着させて形成してもよい。フラットパネルディスプレイ２４は、コンピュータ４０から映像ケーブル或いは無線通信により映像データを受信し、映像データを解析して映像を表示する。
【００１８】
ハーフミラー２１の上記性質を利用することにより、ハーフミラー２１の裏側ＢＳに配置された正面カメラ３０は、ハーフミラー２１を介してユーザＨの画像を撮像することができる。また、ハーフミラー２１の表側ＦＳにおいてハーフミラー２１が反射する光により作り出されるユーザＨの鏡像と、フラットパネルディスプレイ２４に表示される映像とがフラットパネルディスプレイ２４の表側ＦＳへ向けて表示される。よって、フラットパネルディスプレイ２４の表側ＦＳに居るユーザＨは、自己の鏡像及び映像を視認することができる。
【００１９】
正面カメラ３０は、ユーザＨを撮像するものである。正面カメラ３０は、例えば、ＵＳＢケーブルにより通信が可能なＵＳＢカメラにより構成されている。この場合、正面カメラ３０は、コンピュータ４０とＵＳＢケーブルにより接続されることとなる。
【００２０】
コンピュータ４０は、正面カメラ３０により撮像された画像に応じてフラットパネルディスプレイ２４に表示される映像を制御するものである。
【００２１】
なお、本実施形態では、正面カメラ３０は表示ユニット１５の裏側ＢＳに設置されているが、設置位置はこれに限らず、表示ユニット１５の表側ＦＳに設置されていてもよい。また、正面カメラ３０のように、ユーザを正面から撮像するものでなくともよく、側方や上方等から撮像するものであってもよい。
【００２２】
図２を参照して、図１のフラットパネルディスプレイ２４及びハーフミラー２１を含む表示ユニット１５の詳細な構成を説明する。表示ユニット１５は、ハーフミラー２１と、フラットパネルディスプレイ２４と、フラットパネルディスプレイ２４の形状に合わせて切り欠き部２５ａが形成された表示枠部２５と、フラットパネルディスプレイ２４の表示面に対向する面に接続される取付け金具２６と、取付け金具２６を通じてフラットパネルディスプレイ２４が取付けられる取付け台２７と、取付け台２７とフラットパネルディスプレイ２４の間に挿入されるスペーサ２８ａ、２８ｂとを備える。
【００２３】
フラットパネルディスプレイ２４の表示面はハーフミラー２１の面に直接重ね合わされ、フラットパネルディスプレイ２４の外周は切り欠き部２５ａが形成された表示枠部２５によって取り囲まれている。フラットパネルディスプレイ２４は、その表示面に対向する面が取付け金具２６を通じて取付け台２７に固定されることにより、取付け台２７に支持されている。また、縦横自在に配置可能なスペーサ２８ａ、２８ｂを用いて、フラットパネルディスプレイ２４の表示面の向きをハーフミラー２１の面に平行になるように調整して、フラットパネルディスプレイ２４とハーフミラー２１との密着性を高めている。この密着性を高めることにより、フラットパネルディスプレイ２４に表示された映像のハーフミラー２１による反射を抑制することができる。
【００２４】
図２では、スペーサ２８ａ、２８ｂが水平方向に向けて配置された例を示すが、フラットパネルディスプレイ２４の表示面の傾きによっては、スペーサ２８ａ、２８ｂを垂直方向に向けて配置しても構わない。また、フラットパネルディスプレイ２４に表示された映像のハーフミラー２１による反射を更に抑制するために、フラットパネルディスプレイ２４とハーフミラー２１との間に液体を注入した部材を挿入して重ね合わせても構わない。また、フラットパネルディスプレイ２４をその長辺が水平方向に向けて設置する場合を示すが、もちろん、長辺を垂直方向に向けて配置しても構わない。
【００２５】
図３は、図１に示したコンピュータ４０の詳細を示す構成図である。コンピュータ４０は、データの演算処理機能を備える処理演算部（ＣＰＵ）４１と、データを格納するデータベース４２と、フラットパネルディスプレイ２４及び正面カメラ３０との間でデータの入出力を制御する入出力部４３とを備える。
【００２６】
処理演算部４１は、正面カメラ３０により撮像された画像上におけるユーザＨの目の位置を検出する目位置検出部（目位置検出手段）４１ａと、正面カメラ３０により撮像された画像上におけるユーザＨの手の位置を検出する手位置検出部（手位置検出手段）４１ｂと、フラットパネルディスプレイ２４に表示される映像のうちユーザによる操作の対象となる操作対象の表示位置を制御値に基づいて制御する表示位置制御部（表示位置制御手段）４１ｃと、ユーザＨ自身の鏡像の手が操作対象に触れたか否かを判断する接触判断部（接触判断手段）４１ｄと、接触判断部４１ｄによりユーザＨ自身の鏡像の手が操作対象に触れたと判断された場合に予め定められた制御を実行する対応制御部（対応制御手段）４１ｅとを備えている。
【００２７】
データベース４２は、映像データ格納部４２ａと、プログラムデータ部４２ｂとを備えている。映像データ格納部４２ａは、フラットパネルディスプレイ２４に表示される映像のデータを格納しており、例えば後述するアイコン映像のデータや、丸形の映像のデータなどを格納している。プログラムデータ部４２ｂは、処理演算部４１が行う演算処理のアルゴリズムを規定したコンピュータプログラムのデータを格納したものである。コンピュータプログラムには、正面カメラ３０で撮影した映像をフラットパネルディスプレイ２４に表示するためのアプリケーションソフトウェア（ＦＬＡＳＨ、Ｃ＋＋などのプログラミング言語で記述されたもの）やオペレーティングシステム（ＯＳ）等の基本ソフトウェアが含まれる。
【００２８】
次に、処理演算部４１の各部について詳細に説明する。目位置検出部４１ａは、正面カメラ３０により撮像された画像を処理し、画像内から目を抽出して画像上における目の位置を検出する。具体的に、目位置検出部４１ａは、まず画像内からユーザＨの顔を特定する。次いで、目位置検出部４１ａは、顔の画像を２値化処理し、顔の暗い部分（例えば、眉、アイライン、鼻の穴、上唇と下唇との境界）を抽出する。その後、目位置検出部４１ａは、顔の暗い部分の配置関係から、目の位置を検出する。なお、目の位置の検出については、種々の方法があり、目位置検出部４１ａは、テンプレートマッチングや濃淡画像マッチングなど他の方法により、目の位置を検出してもよい。
【００２９】
手位置検出部４１ｂは、正面カメラ３０により撮影された画像から手を抽出して画像上におけるユーザＨの手の位置を検出するものである。例えば、手位置検出部４１ｂは、ユーザの身体画像のうち、肌色の部分や、体の輪郭などを利用して手の位置を検出する。
【００３０】
表示位置制御部４１ｃは、操作対象のフラットパネルディスプレイ２４上における表示位置を制御するものである。この表示位置制御部４１ｃは、操作対象を表示させる際、データベース４２からフラットパネルディスプレイ２４上のどの位置に表示するかを示す制御値の情報を読み出し、読み出した制御値に従って表示位置を決定する。そして、表示位置制御部４１ｃは、決定した表示位置に操作対象が表示されるように、フラットパネルディスプレイ２４の表示動作を制御することとなる。
【００３１】
接触判断部４１ｄは、目位置検出部４１ａにより検出された画像上における目の位置と、手位置検出部４１ｂにより検出された画像上における手の位置との中間位置と、制御値との対応関係から、ユーザＨ自身の手の鏡像が操作対象に触れたか否かを判断するものである。
【００３２】
図４は、図３に示した接触判断部４１ｄによる接触判断方法を説明する側面図である。図４に示すように、ユーザＨは、ユーザＨの目からハーフミラー２１の反射面までの距離αの２倍離れた位置に鏡像Ｍにおける自己の目の位置を視認することができる。また、ユーザＨは、ユーザＨの目からハーフミラー２１の反射面までの距離α’の２倍離れた位置に鏡像Ｍにおける自己の手の位置を視認することができる。このとき、ユーザＨは、ハーフミラー像における自己の手をハーフミラー２１上において点Ｓの位置で視認することとなる。
【００３３】
そして、ハーフミラー２１上における点Ｓの位置は、ユーザＨの目及び手の位置が一定である場合、ユーザＨのハーフミラー２１に対する距離に拘わらず、ほぼ不変となっている。
【００３４】
ここで「ハーフミラー像」とは、ハーフミラー２１が反射する光により作り出されるユーザＨの鏡像Ｍのハーフミラー面上における像を示し、ユーザＨの目からハーフミラー２１の反射面までの距離の２倍離れた位置において視認される自己の「鏡像」Ｍとは異なる概念である。
【００３５】
図５は、ユーザＨのハーフミラー２１に対する距離に応じた手の位置を説明する簡略図であり、（ａ）はこの距離が短い場合を示し、（ｂ）はこの距離が長い場合を示している。図５（ａ）に示すように、ユーザＨの目の位置ｅとし、ユーザＨの手の位置ｈとし、鏡像における目の位置ｅ’とし、鏡像における手の位置ｈ’とした場合、ユーザＨは、ハーフミラー２１上において、点ｅ，ｈ’の中間位置である点Ｓの位置において自らの手のハーフミラー像を確認することとなる。一方、図５（ｂ）に示すように、ハーフミラー２１に対する距離が離れた場合、ユーザＨは、ハーフミラー２１上において、点ｅ，ｈ’の中間位置である点Ｓの位置において自らの手のハーフミラー像を確認することとなる。この点Ｓは、図５（ａ）及び図５（ｂ）に示すように、地面から点Ｓまでの距離がγであり、一致している。
【００３６】
このように、ユーザＨのハーフミラー２１に対する距離に拘わらず、点Ｓは同じ位置となる。より数学的に説明すると、点Ｓの位置は、図４から明らかなように、ユーザＨの目の位置とユーザＨの手の位置とを結ぶ線分Ｌの中点ｍからハーフミラー２１に対して法線を引いた時の当該法線とハーフミラー２１とが交わる位置に該当し、ユーザＨの目と手の位置にのみ依存することがわかる。このため、ユーザＨの目の位置や手の位置が変わらない限り、ユーザＨがハーフミラー２１に対して離れたり近寄ったりしても、点Ｓの位置は不変となる。そして、点Ｓの位置は、ユーザＨの目の位置や手の位置が変化した場合のみ、他の位置に変位することとなる。よって、本実施形態では、ユーザＨの目の位置と手の位置とを検出し、点Ｓに該当する位置を求める。そして、操作対象の表示位置が点Ｓの位置と重なっていれば、操作対象とハーフミラー像におけるユーザの手とが重なっていることになるので、ユーザＨ自身の手の鏡像が操作対象に触れていると判断することができる。
【００３７】
この点Ｓを求めるにあたり、接触判断部４１ｄは、まず、正面カメラ３０により撮像された画像上における目の位置と手の位置との情報を取得し、画像上においてこれらの中間位置の座標値を求める。そして、接触判断部４１ｄは、求めた座標値を座標変換して、ハーフミラー２１上における第１座標値（すなわち図４でいうところの点Ｓの位置）を求める。
【００３８】
具体的に説明すると、画像上における目の位置が座標（ｘ０，ｙ０）にあり、手の位置が座標（ｘ１，ｙ１）であるとすると、接触判断部４１ｄは、中間位置である座標値（（ｘ１＋ｘ０）／２，（ｙ１＋ｙ０）／２）を算出する。そして、接触判断部４１ｄは、座標変換を行って、例えばハーフミラー２１上における第１座標値（例えば（ｘ２，ｙ２））を算出する。
【００３９】
また、操作対象の表示位置は表示位置制御部４１ｃからの制御値に基づいて判断できる。このため、接触判断部４１ｄは、表示位置制御部４１ｃから制御値の情報を読み込んで、制御値からハーフミラー２１上における第２座標値（例えば（ｘ２’，ｙ２’））を求める。そして、接触判断部４１ｄは、第１座標値と第２座標値との差が所定値以内である場合（すなわち（ｘ２，ｙ２）と（ｘ２’，ｙ２’）との距離が所定値よりも近い場合）、ユーザＨ自身の手の鏡像が操作対象に触れたと判断する。
【００４０】
以上から、本実施形態に係る接触判断部４１ｄは、ユーザＨの鏡像を推定することなく、簡易にユーザＨが操作対象映像光に触れた状態を判断することとなる。
【００４１】
なお、上記実施形態ではユーザＨを撮影するものとして正面カメラ３０が１つだけ設けられているが、これに限らず、複数のカメラを備えていてもよい。
【００４２】
次に、本実施形態に係るミラーシステム１の動作について説明する。図６は、本実施形態に係るミラーシステム１の動作を示すフローチャートである。図６に示すように、まず、表示位置制御部４１ｃは、操作対象の表示位置を決定する（Ｓ１）。このとき、表示位置制御部４１ｃは、制御値を求めることにより表示位置を決定する。次に、処理演算部４１は、制御値に基づいてフラットパネルディスプレイ２４上の表示位置に操作対象を表示させる（Ｓ２）。
【００４３】
その後、目位置検出部４１ａは、正面カメラ３０により撮影された画像上におけるユーザＨの目の位置を検出する（Ｓ３）。次に、手位置検出部４１ｂは、正面カメラ３０により撮影された画像上におけるユーザＨの手の位置を検出する（Ｓ４）。
【００４４】
次いで、接触判断部４１ｄは、ステップＳ３において検出した目の位置、及び、ステップＳ４において検出した手の位置から、画像上における目と手との中間位置を算出する（Ｓ５）。その後、接触判断部４１ｄは、中間位置の座標値を座標変換してハーフミラー２１上における第１座標値を算出する（Ｓ６）。その後、接触判断部４１ｄは、制御値の情報を入力し（Ｓ７）、第２座標値を求める（Ｓ８）。
【００４５】
次いで、接触判断部４１ｄは、ステップＳ６において算出した第１座標値、及び、ステップＳ８において算出した第２座標値に基づいて、ユーザＨの手が操作対象に触れたか否かを判断する（Ｓ９）。このとき、接触判断部４１ｄは、第１座標値と第２座標値との距離が所定距離以内であるかに基づいて、ユーザＨ自身の手の鏡像が操作対象に触れたか否かを判断することとなる。
【００４６】
ユーザＨ自身の手の鏡像が操作対象に触れていないと判断した場合（Ｓ９：ＮＯ）、処理はステップＳ３に移行する。一方、ユーザＨ自身の手の鏡像が操作対象に触れたと判断した場合（Ｓ９：ＹＥＳ）、対応制御部４１ｅは、予め定められた制御を実行する（Ｓ１０）。このときの制御は、図８を参照して後述するアイコン映像１０１〜１０４及びサブアイコン映像１０１ａ，１０１ｂの指定制御であったり、図９を参照して後述する得点の加減算制御であったりする。また、図１０を参照して後述する制御であってもよい。
【００４７】
そして、予め定められた制御の実行後、図６に示す処理は終了する。なお、図６に示す処理は、ミラーシステム１の電源がオフとなるまで、繰り返し実行される。
（変形例）
【００４８】
図７は、本実施形態に係るミラーシステム１の変形例を示す構成図である。図７に示すように、変形例に係るミラーシステム１は、ハーフミラー２１の裏側ＢＳに２つのカメラ３０ａ，３０ｂを有している。これらのカメラ３０ａ，３０ｂは、フラットパネルディスプレイ２４により遮られることなくハーフミラー２１を通じてユーザＨを撮像できる位置、具体的にはハーフミラー２１の左右両端位置に設けられている。この構成により、ステレオ立体視の原理を用いて、ユーザＨの目及び手について、より詳細に求めることができる。すなわち、正面カメラ３０が１つだけであると、正面カメラ３０に対して真っ直ぐに手を近づけたり離したりしても、画像上における手の位置は同じ位置に検出されてしまう。このため、座標を変換して点Ｓの位置を求めようとしても、不正確となってしまう可能性がある。ところが、複数のカメラ３０ａ，３０ｂを備える場合、ハーフミラー２１からユーザＨの手までの距離を求めることができ、点Ｓの位置を正確に求めることができる。なお、上記では手の位置について説明したが、目の位置についても同様であり、ハーフミラー２１からユーザＨの目までの距離を求めることで、点Ｓの位置を正確に求めることができる。また、上記では複数のカメラ３０ａ，３０ｂを備える場合を説明したが、これに限らず、距離画像カメラや距離センサ（レーザ方式及び超音波方式など）を用いてもよい。
（対応制御例）
【００４９】
次に、図６のステップ１０において対応制御部４１ｅが実行する対応制御の例を説明する。
【００５０】
図２に示す対応制御部４１ｅは、接触判断部４１ｄによりユーザＨ自身の手の鏡像が操作対象に触れたと判断された場合に予め定められた制御を実行する。例えば、先ず、図８に示すようなアイコン映像（操作対象の一例）がフラットパネルディスプレイ２４上に表示される。この状態において、ユーザＨ自身の手の鏡像がアイコン映像に触れたと接触判断部４１ｄが判断した場合に、対応制御部４１ｅは、アイコンの指定操作の制御を行う構成となっている。この対応制御部４１ｅについて詳細に説明する。
【００５１】
図８は、アイコンの指定操作画面の一例を示す図である。図８に示すように、フラットパネルディスプレイ２４上にアイコン映像１０１〜１０４が表示されている。第１アイコン映像１０１は、ユーザＨに運動を促すコンテンツを選択させるための操作対象である。第２アイコン映像１０２は、ユーザＨの身体特徴（体重、身長及び体脂肪率など）を表示するための操作対象である。第３アイコン映像１０３は、ユーザＨが過去に行ったエクササイズの履歴を参照するための操作対象である。第４アイコン映像１０４は、ユーザＨのエクササイズや身体的特徴について、より詳細に参照させるための詳細表示用の操作対象である。
【００５２】
このようなアイコン映像１０１〜１０４が表示されている状態において、ユーザＨの手が鏡像上において第１アイコン映像１０１と重なるように移動させられたとする。この場合、接触判断部４１ｄは、図４及び図５に示した理論に基づいて、ユーザＨ自身の手の鏡像が操作対象である第１アイコン映像１０１に触れたと判断する。そして、対応制御部４１ｅは、フラットパネルディスプレイ２４上にサブアイコン映像１０１ａ，１０１ｂ（操作対象の他の例）を表示させる。
【００５３】
第１サブアイコン映像１０１ａは、他動運動器具をユーザＨが使用している際に、ユーザＨに運動を促すエクササイズコンテンツを実行するための操作対象である。ここで、他動運動器具とは、ユーザＨ以外から与えられた動力によって動作する器具である。また、第２サブアイコン映像１０１ｂは、ユーザＨのバランスを矯正するための矯正コンテンツを実行するための操作対象である。
【００５４】
このようなサブアイコン映像１０１ａ，１０１ｂが表示されている状態において、ユーザＨの鏡像の手がサブアイコン映像１０１ａ又はサブアイコン映像１０１ｂと重なるように移動させられたとする。この場合、接触判断部４１ｄは、図４及び図５に示した理論に基づいて、ユーザＨ自身の手の鏡像がサブアイコン映像１０１ａ又はサブアイコン映像１０１ｂに触れたと判断する。そして、対応制御部４１ｅは、エクササイズコンテンツ又は矯正コンテンツを実行する。
【００５５】
図９は、ユーザＨ自身の手の鏡像が第１サブアイコン映像１０１ａに触れたと判断した場合に実行されるエクササイズコンテンツの一例を示す図である。図９に示すように、エクササイズコンテンツにおいては、丸形の操作対象１１０ａ〜１１０ｆがハーフミラー像Ｒにおけるユーザの周囲に表示される。また、ユーザは、他動運動器具１１１の一例である乗馬型振動マシーンに乗っており、そのハーフミラー像Ｒがハーフミラー２１上に現れている。
【００５６】
このような状態において、ユーザの手が操作対象１１０ａ〜１１０ｆの位置と重なるように移動させられると、接触判断部４１ｄは、図４及び図５に示した理論に基づいて、ユーザＨ自身の手の鏡像が操作対象１１０ａ〜１１０ｆに触れたと判断する。そして、対応制御部４１ｅは、その旨をユーザに報知する。例えば、得点を加算又は減算させていき、ユーザＨのエクササイズ結果を得点により示すように制御する。これにより、ユーザＨにゲーム性を感じさせつつ、エクササイズを促すようにしている。
【００５７】
なお、エクササイズコンテンツでは、複数の操作対象１１０ａ〜１１０ｆのうち、いずれか１つを順次表示させ、ユーザＨ自身の手の鏡像が順番に各操作対象１１０ａ〜１１０ｆに触れるように促してもよい。さらに、触れるべき操作対象１１０ａ〜１１０ｆについてのみ色を変更して表示するようにしてもよい。
【００５８】
図１０は、ユーザＨが図８の第２サブアイコン映像１０１ｂに触れたと接触判断部４１ｄが判断した場合に実行される矯正コンテンツの一例を示す図であり、（ａ）が矯正運動前の状態を示し、（ｂ）は矯正運動中の状態を示している。図１０（ａ）に示すように、ユーザのハーフミラー像Ｒがハーフミラー２１上に現れている。そして、矯正コンテンツにおいては、丸形の操作対象１２０がユーザのハーフミラー像Ｒの左側に表示されている。
【００５９】
このような状態において、ハーフミラー像Ｒにおけるユーザ自身の手が丸形の操作対象１２０の位置と重なるように移動させられると、接触判断部４１ｄは、図４及び図５に示した理論に基づいて、ユーザ自身の手の鏡像が操作対象１２０に触れたと判断する。そして、対応制御部４１ｅは、フラットパネルディスプレイ２４上に図１０（ｂ）に示す８の字型の操作対象１２１を表示させる。
【００６０】
これにより、ユーザは８の字型の操作対象１２１に沿って手を動かすようにしむけられることとなる。そして、腕の振り、体重移動、腰の向きの変化、及び膝の動きなどから、バランスが矯正されることとなる。なお、矯正コンテンツにおいて接触判断部４１ｄが操作対象１２１に沿ってユーザの手が動いていると判断した場合、対応制御部４１ｅは、操作対象１２１の色を変化させる。これにより、ユーザＨが正確に手を動かしたことをユーザＨに告知することとなる。このときの接触判断についても、図４及び図５に示した理論に基づくこととなる。特に、操作対象１２１が長い距離を有するため、接触判断部４１ｄは、所定距離毎にポイントを設け、ユーザＨ自身の手の鏡像が各ポイントに触れたか否かを判断するようにしている。
【００６１】
以上説明したように、本発明の実施の形態によれば、以下の作用効果が得られる。
【００６２】
本実施形態に係るミラーシステム１によれば、目位置検出部４１ａにより検出された画像上における目の位置と、手位置検出部４１ｂにより検出された画像上における手の位置との中間位置と、制御値との対応関係から、ユーザＨ自身の鏡像の手が操作対象に触れたか否かを判断する。ここで、ユーザＨは、ユーザＨからハーフミラー２１までの距離の約２倍の位置に自己の鏡像Ｍを視認する。すなわち、ユーザＨとユーザＨの鏡像Ｍとの中間にハーフミラー２１が存在するような状態ともいえる。しかも、ハーフミラー２１は、ユーザＨからハーフミラー２１との距離に拘わらず、常にユーザＨとユーザＨの鏡像Ｍとの中間に位置している。そして、ユーザＨの目と鏡像Ｍの手との中間地点Ｓもハーフミラー２１上に存在するといえ、ユーザＨの視点からすると、ユーザＨの目の位置と鏡像Ｍの手の位置との中間地点Ｓに、操作対象の表示位置が位置していれば、ユーザＨには手が操作対象に触れたように認識される。このように、ユーザＨが操作対象に触れたか否かを判断するにあたり、鏡像Ｍの推定は必要なく、ユーザＨの目の位置の情報と、ユーザＨの手の位置の情報と、操作対象の表示位置を示す制御値の情報があれば足りる。従って、ユーザＨが映像中の操作対象に触れる動作を行ったか否かの判断における処理負荷を軽減させることができる。
【００６３】
また、画像上における目と手の中間位置の座標値を座標変換してハーフミラー２１上における第１座標値を求め、この第１座標値と制御値が示す第２座標値との差が所定値以内である場合に、ユーザＨ自身の鏡像Ｍの手が操作対象に触れたと判断する。このため、目と手の中間位置を求めた後は、既存技術である座標値の変換と、制御値が示す座標値との比較のみで、操作対象に触れたか否かを判断でき、処理負荷を軽減させることができる。
【００６４】
また、ユーザＨ自身の鏡像Ｍの手が操作対象に触れたと判断した場合、予め定められた制御を実行するため、ユーザＨが操作対象を操作して機器等を制御させるという新たな機器操作を提案することができる。
【００６５】
また、表示ユニット１５に向き合った状態でユーザに運動を促すコンテンツを選択させるアイコン映像１０１，１０１ａ，１０１ｂを表示させ、ユーザＨ自身の鏡像Ｍの手がアイコン映像１０１，１０１ａ，１０１ｂに触れたと判断した場合、このコンテンツを実行する。このため、ユーザＨに運動を促すコンテンツを実行するにあたり、表示ユニット１５の前から移動しないまま、アイコン映像１０１，１０１ａ，１０１ｂに触れてエクササイズコンテンツを実行させることができる。よって、ユーザＨは各機器のスイッチ操作等を行うために、表示ユニット１５の前から離れ、その後、表示ユニット１５の前に移動し、エクササイズを行うという煩わしさがなくなる。
【００６６】
また、他動運動器具１１１をユーザＨが使用している際にフラットパネルディスプレイ２４に操作対象１１０ａ〜１１０ｆを表示させ、この操作対象１１０ａ〜１１０ｆにユーザＨ自身の鏡像Ｍの手が触れたと判断した場合、得点を加算又は減算させることでユーザに触れたか否かを報知する。これにより、単に他動運動器具１１１を使用しているだけでなく、他動運動器具１１１の使用に加えて、エクササイズを行うことができ、一層エクササイズ効果を高めることができる。さらに、得点の加減算を行っているため、ゲーム感覚を与えることができる。
【００６７】
また、ユーザＨの手の位置を動かす経路を示す操作対象１２１をフラットパネルディスプレイ２４に表示させるため、ユーザＨが行うべき動きを表現することができる。また、操作対象１２１に沿ってユーザの手が動いていると判断した場合、操作対象１２１の色を変化させる。このため、ユーザが適切な動きを行った場合に、その旨をユーザに報知することができるため、ユーザにゲーム感覚を与えることができる。なお、ユーザに報知する方法は、操作対象１２１の色を変化させる以外にも、操作対象１２１を大きく表示する、或いは点滅させる等の方法であっても構わない。
【００６８】
以上、本発明に係るミラーシステムを実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。
【００６９】
例えば、上記した対応制御例では、図８〜図１０を参照して説明したが、これらに限らず、図２に示す対応制御部４１ｅは、接触判断部４１ｄによりユーザＨ自身の手の鏡像が操作対象に触れたと判断された場合に、その他の予め定められた制御を実行しても構わない。
【００７０】
また、上記実施形態において接触判断部４１ｄは座標変換を行っているが、この座標変換の精度を向上させるため、以下のような制御を行ってもよい。すなわち、フラットパネルディスプレイ２４上の予め定めた座標値（ｘ３，ｙ３）の位置に操作対象を表示する。そして、ユーザＨに、音声や表示によって操作対象に触れる旨を提示する。これにより、ユーザＨの鏡像Ｍの手は操作対象に触れることとなり、触れたときの目と手の位置の中間位置と、座標値（ｘ３，ｙ３）とが対応関係にあることが明らかとなる。そして、接触判断部４１ｄは、この対応関係を基準に座標変換式を構築し、以後の座標変換処理に用いるようにするとよい。
【００７１】
なお、この場合、画像の歪みなどを考慮して、フラットパネルディスプレイ２４上における各位置に操作対象を表示させる。例えばフラットパネルディスプレイ２４を１６分割して１６個の操作対象を表示させる。そして、ユーザＨにそれぞれの操作対象に触れる旨を提示する。これにより、画像の歪みを考慮して、より詳細な座標変換式を構築することができ、一層精度を高めることができる。
【００７２】
さらに、上記の処理は、定期的に行うことが望ましい。これにより、ミラーシステム１を長期に使用して、フラットパネルディスプレイ２４や正面カメラ３０の設置位置にずれが生じたとしても、ズレを補正するような座標変換式を構築でき、一層精度を高めることができる。
【符号の説明】
【００７３】
１  ミラーシステム
１５  表示ユニット
２１  ハーフミラー
２４  プラズマディスプレイパネルや液晶表示装置などのフラットパネルディスプレイ（表示部）
２５  表示枠部
２５ａ  切り欠き部
２６  取付け金具
２７  取付け台
２８ａ、２８ｂ  スペーサ
３０、３０ａ、３０ｂ  正面カメラ（カメラ）
４０  コンピュータ
４１  処理演算部
４１ａ  目位置検出部（目位置検出手段）
４１ｂ  手位置検出部（手位置検出手段）
４１ｃ  表示位置制御部（表示位置制御手段）
４１ｄ  接触判断部（接触判断手段）
４１ｅ  対応制御部（対応制御手段）
４２  データベース
４２ａ  映像データ格納部
４２ｂ  プログラムデータ部
４３  入出力部
１０１  第１アイコン映像（操作対象）
１０１ａ  第１サブアイコン映像（操作対象）
１０１ｂ  第２サブアイコン映像（操作対象）
１０２  第２アイコン映像（操作対象）
１０３  第３アイコン映像（操作対象）
１０４  第４アイコン映像（操作対象）
１１１  他動運動器具
１２０、１２１  操作対象
ＢＳ  裏側
ＦＳ  表側
Ｈ  ユーザ
Ｌ  線分
Ｍ  鏡像
Ｒ  ハーフミラー像