(57)【要約】【課題】ユーザの利用時、特に後方からの画像表示時に、ユーザが感じる違和感を低減するデジタルミラーを実現するための画像処理装置を提供する【解決手段】  本発明の画像処理装置は、視覚センサより得たユーザの動画像（１１０）が入力される動画入力部（１０２）と、前記ユーザを所定の向きからとらえた動画像を取得するためのユーザ操作が入力される操作入力部（１０１）と、前記ユーザ操作に基づいて、取得された前記動画像を鏡像または正像のいずれで表示するかを決定する鏡像正像決定部（１０３）と、前記決定に基づいて、取得された前記動画像から前記鏡像または前記正像を生成する画像生成部（１０４）と、生成された前記鏡像または前記正像を表示装置（１２０）に出力する出力部（１０５）とを有する。【選択図】図３
2015005823.tif 000002
【特許請求の範囲】
【請求項１】
視覚センサより得たユーザの動画像が入力される動画入力部と、
前記ユーザを所定の向きからとらえた動画像を取得するためのユーザ操作が入力される操作入力部と、
前記ユーザ操作に基づいて、取得された前記動画像を鏡像または正像のいずれで表示するかを決定する鏡像正像決定部と、
前記決定に基づいて、取得された前記動画像から前記鏡像または前記正像を生成する画像生成部と、
生成された前記鏡像または前記正像を表示装置に出力する出力部と、
を備えた画像処理装置。
【請求項２】
前記鏡像正像決定部は、さらに、取得された前記動画像におけるユーザの向きに基づいて、取得された前記動画像を鏡像または正像のいずれで表示するかを決定する、請求項１記載の画像処理装置。
【請求項３】
請求項１または２記載の前記画像処理装置に、
前記動画入力部に接続された一つまたは複数の前記視覚センサと、
前記出力部に接続された前記表示装置と、
を有するデジタルミラーシステム。
【請求項４】
前記一つの視覚センサは、前記ユーザの周囲を移動するロボットアームに設置されている、請求項３記載のデジタルミラーシステム。
【請求項５】
前記操作入力部に入力される前記ユーザ操作はユーザのタッチパネル上でのスワイプ操作量であり、前記スワイプ操作量に応じて前記複数の視覚センサから入力される前記動画像を切り替える、請求項３〜４のいずれかに記載のデジタルミラーシステム。
【請求項６】
前記鏡像正像決定部は、複数の前記視覚センサのうち前記表示装置の方向を向くように設置されている前記視覚センサから入力された前記動画像の場合は正像を表示し、それ以外の前記視覚センサから入力された前記動画像の場合は鏡像を表示すると決定する、請求項３〜５のいずれかに記載のデジタルミラーシステム。
【請求項７】
前記鏡像正像決定部は、前記ユーザの向きを検出し、前記ユーザの向きに対してユーザの正面側にある前記視覚センサから入力された動画像の場合は鏡像を表示し、前記ユーザの向きに対してユーザの背面側にある前記視覚センサから入力された動画像の場合は正像を表示すると決定する、請求項３〜６のいずれかに記載のデジタルミラーシステム。
【請求項８】
前記鏡像正像決定部は、前記ユーザの頭部上方から下向きに俯瞰する前記視覚センサからの前記動画像について、前記ユーザの向きに対してユーザの正面側にある前記視覚センサから切り替わった場合は鏡像を表示し、前記ユーザの向きに対してユーザの背面側にある前記視覚センサから切り替わった場合は正像を表示するよう決定する、請求項３〜７のいずれかに記載のデジタルミラーシステム。
【請求項９】
前記鏡像正像決定部は、取得された前記動画像における決定が一サイクル前に取得された前記動画像における決定と結果が異なる場合は、取得された前記動画像に代えてまず前記ユーザを特定の向きからとらえた前記動画像を表示するよう決定する、請求項３〜８のいずれかに記載のデジタルミラーシステム。
【請求項１０】
前操作入力部は、前記正像と前記鏡像との間の切り替えが起こった場合、一時的にそれまで行ってきた前記ユーザ入力の方向と同じ方向の入力を受け付けないようにする、請求項３〜９のいずれかに記載のデジタルミラーシステム。
【請求項１１】
視覚センサより得たユーザの動画像が入力される動画入力ステップと、
前記ユーザを所定の向きからとらえた動画像を取得するためのユーザ操作が入力される操作入力ステップと、
前記ユーザ操作に基づいて、前記取得された動画像を鏡像または正像のいずれで表示するかを決定する鏡像正像決定ステップと、
前記決定に基づいて、取得された前記動画像の鏡像または正像を生成する画像生成ステップと、
生成された前記鏡像または正像を表示装置に出力する出力ステップと、
を備えた画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法をコンピュータに実行させるよう記述したコンピュータ用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザを撮像した画像を電子化して、ユーザが視認できる位置に設置された表示装置に鏡のように表示させる画像処理装置、デジタルミラーシステム、および画像処理方法に関する。
【背景技術】
【０００２】
画像処理技術の適用先の一つとして、近年、センサと表示装置でシステムを構成し、鏡の代わりに利用する、いわゆるデジタルミラーの技術が提案されてきている。実際の鏡には重畳できない情報の重畳表示や、実際の鏡では不可能な表示ができるといったメリットがあり、研究が進められている。
【０００３】
日常一般的な鏡の利用目的は、「鏡を見ながら身だしなみを整える」という用途である。この際、通常の鏡では見えない角度を含めたさまざまな方向から、自分の姿を確認できれば非常に便利である。そこで、カメラを複数設置する等によって自由視点鏡像表示を実現する従来技術が提案されている。
【０００４】
特許文献１では、人間の顔等の物体の左右に設けたカメラで撮影した画像を合成し、ユーザ正面のディスプレイ上にミラーを見ているような画像を表示するデジタルミラー装置が提案されている。複数カメラから撮影したユーザの三次元画像データを推定し、別の視点からレンダリングを行うことで、利用者を特定の方向からとらえた画像を表示することを実現している。
【０００５】
また、特許文献２においても同様に、複数カメラで撮影したユーザ画像に対してビューモーフィングを行い、中間画像を合成することで、任意の視点から見たユーザ画像を鏡像として表示する電子鏡システムが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２９０９６４
【特許文献２】特開２００４−２９７７３４
【発明の概要】
【発明が解決しようとする課題】
【０００７】
これらの特許文献の実施例および図面には、おもにユーザの正面から数十度水平方向へ視点を移動してユーザを写したような画像が掲載されているが、例えばカメラが後方まで設置されていれば、ユーザの背中が映る視点まで視点を移動することも可能である。この際、従来法では常に鏡像を表示することになるため、鏡像を表示したまま背中が映る視点（後方視点）に到達することになる。そして、後方視点で鏡像を表示した場合、ユーザの左右と鏡像の左右が逆になってしまう。つまり、ユーザの右手が鏡像上では左側に表示され、ユーザの左手が鏡像上で右側に表示されるようなことになる。ここで、身だしなみを整えるといった鏡を見ながらの作業をユーザがスムーズに行うにはユーザの上下、左右が鏡像内の上下、左右と合致している必要がある。つまり、後方視点で鏡像を表示すると、鏡を見ながらの作業が非常に難しくなる。
【０００８】
このように、従来の方法によると任意視点からの鏡像表示を実現でき、たとえば身だしなみを確認するという点では役立つ。しかし、表示された鏡像が、「確認した身だしなみを、整える作業」がしやすいかどうかまでは、検討されていない。
【０００９】
つまり、鏡を見ながら、身だしなみを整える等の「作業を行う」際に、ユーザが違和感なくスムーズに作業が行えるかどうかといった点が考慮されていないため、実際に上記のシステムによって実現された自由視点デジタルミラーをユーザが利用した際に、使いづらさを感じさせる点が存在する。言い換えれば、上記の課題は、自由視点デジタルミラーにおいて、鏡像と、その左右逆像である正像を適切に切り替えて表示する仕組みがないためにおこる。
【００１０】
本発明は、上述の課題を解決するためになされたものであり、ユーザが自由視点デジタルミラーを利用しながら作業を行う際に、より作業を行いやすく、使いやすい自由視点デジタルミラー装置および方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本願の第１の発明は、以下の手段を有する発明である。なお、本項において、発明とは出願時の明細書に記載した発明をいう。
視覚センサより得たユーザの動画像が入力される動画入力部と、
前記ユーザを所定の向きからとらえた動画像を取得するためのユーザ操作が入力される操作入力部と、
前記ユーザ操作に基づいて、取得された前記動画像を鏡像または正像のいずれで表示するかを決定する鏡像正像決定部と、
前記決定に基づいて、取得された前記動画像から前記鏡像または前記正像を生成する画像生成部と、
生成された前記鏡像または前記正像を表示装置に出力する出力部と、
を備えた画像処理装置。
【００１２】
「視覚センサ」とは、動画像を検出するセンサであり、ＣＣＤ、ＣＭＯＳなどの部品（素子）はもちろん、当該部品を用いた完成品も含む。視覚センサの例として、ＣＣＤを用いた部品ないし完成品としてのカメラが挙げられる。
「ユーザ操作」とは、ユーザが入力装置を直接操作する場合はもちろん、ユーザの動きや視線、音声、脳波、などを検出装置で検出して処理することによりユーザの意思を間接的に伝達する場合も含む。
「鏡像」とは、実際の像と比較した場合、左右または上下が反転した像をいう。例えば、鏡の前に正立したユーザが視認するユーザの像や、正立するユーザを一般的なカメラなどで撮影した像を左右反転表示した像などが鏡像に含まれる。
「正像」とは、実際の像と比較した場合、左右または上下が反転していない像をいう。例えば、ユーザを一般的なカメラなどで撮影した像をそのまま表示した像や、上記鏡像を反転させた像などが正像に含まれる。
【００１３】
上下左右は相対的な概念になりえるため、図１７に具体的な例を示す。図１７（ａ）のようにミラーの前に人物が正立するような場合、実際の像は図１７（ｂ）に示すようになり、鏡像は図１７（ｃ）に示すように左右が反転し、正像は図１７（ｄ）のように左右反転しないもの（実際の像と同じ）となる。一方、ミラーの前に人物が寝ころぶような場合には、実際の像は図１７（ｅ）に示すようになり、鏡像は図１７（ｆ）に示すように、人物の上下が反転し、正像は図１７（ｄ）のように上下が反転しないもの（実際の像と同じ）となる。そのため、ここでは上下または左右と説明しているが、図１７に示す例と同様の思想をもてば、この説明に限らない。
【００１４】
本願の第２の発明は、以下の手段を有する発明である。
前記鏡像正像決定部は、さらに、取得された前記動画像におけるユーザの向きに基づいて、取得された前記動画像を鏡像または正像のいずれで表示するかを決定する、第１の発明に記載の画像処理装置。
【００１５】
「ユーザの向き」とは、デジタルミラー装置に対するユーザの向きをいう。基準としてのデジタルミラー装置の例として、例えば表示装置や、カメラが挙げられる。また、ユーザの向きとはユーザの上半身の水平方向への向きや、ユーザの頭や上半身の上方への傾きとしてもよい。
【００１６】
本願の第３の発明は、以下の手段を有する発明である。
第１の発明または第２の発明に記載の前記画像処理装置に、
前記動画入力部に接続された一つまたは複数の前記視覚センサと、
前記出力部に接続された前記表示装置と、
を有するデジタルミラーシステム。
【００１７】
本願の第４の発明は、以下の手段を有する発明である。
前記一つの視覚センサは、前記ユーザの周囲を移動するロボットアームに設置されている第３の発明に記載のデジタルミラーシステム。
【００１８】
本願の第５の発明は、以下の手段を有する発明である。
前記操作入力部に入力される前記ユーザ操作はユーザのタッチパネル上でのスワイプ操作量であり、前記スワイプ操作量に応じて前記複数の視覚センサから入力される前記動画像を切り替える、第３〜４の発明のいずれかに記載のデジタルミラーシステム。
【００１９】
本願の第６の発明は、以下の手段を有する発明である。
前記鏡像正像決定部は、複数の前記視覚センサのうち前記表示装置の方向を向くように設置されている前記視覚センサから入力された前記動画像の場合は正像を表示し、それ以外の前記視覚センサから入力された前記動画像の場合は鏡像を表示すると決定する、第３〜５の発明のいずれかに記載のデジタルミラーシステム。
【００２０】
本願の第７の発明は、以下の手段を有する発明である。
前記鏡像正像決定部は、前記ユーザの向きを検出し、前記ユーザの向きに対してユーザの正面側にある前記視覚センサから入力された動画像の場合は鏡像を表示し、前記ユーザの向きに対してユーザの背面側にある前記視覚センサから入力された動画像の場合は正像を表示すると決定する、第３〜６の発明のいずれかに記載のデジタルミラーシステム。
【００２１】
本願の第８の発明は、以下の手段を有する発明である。
前記鏡像正像決定部は、前記ユーザの頭部上方から下向きに俯瞰する前記視覚センサからの前記動画像について、前記ユーザの向きに対してユーザの正面側にある前記視覚センサから切り替わった場合は鏡像を表示し、前記ユーザの向きに対してユーザの背面側にある前記視覚センサから切り替わった場合は正像を表示するよう決定する、第３〜７の発明のいずれかに記載のデジタルミラーシステム。
【００２２】
本願の第９の発明は、以下の手段を有する発明である。
前記鏡像正像決定部は、取得された前記動画像における決定が一サイクル前に取得された前記動画像における決定と結果が異なる場合は、取得された前記動画像に代えてまず前記ユーザを特定の向きからとらえた前記動画像を表示するよう決定する、第３〜８の発明のいずれかに記載のデジタルミラーシステム。
【００２３】
本願の第１０の発明は、以下の手段を有する発明である。
前操作入力部は、前記正像と前記鏡像との間の切り替えが起こった場合、一時的にそれまで行ってきた前記ユーザ入力の方向と同じ方向の入力を受け付けないようにする、第３〜９の発明のいずれかに記載のデジタルミラーシステム。
【００２４】
本願の第１１の発明は、以下のステップを有する発明である。
視覚センサより得たユーザの動画像が入力される動画入力ステップと、
前記ユーザを所定の向きからとらえた動画像を取得するためのユーザ操作が入力される操作入力ステップと、
前記ユーザ操作に基づいて、前記取得された動画像を鏡像または正像のいずれで表示するかを決定する鏡像正像決定ステップと、
前記決定に基づいて、取得された前記動画像の鏡像または正像を生成する画像生成ステップと、
生成された前記鏡像または正像を表示装置に出力する出力ステップと、
を備えた画像処理方法。
【００２５】
本願の第１２の発明は、以下の発明である。
第１１の発明に記載の画像処理方法をコンピュータに実行させるよう記述したコンピュータ用プログラム。
【発明の効果】
【００２６】
本発明によると、利用時にユーザがより作業を行いやすい自由視点デジタルミラーを実現することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施形態のデジタルミラーの構成を示す説明図
【図２】本発明の第１の実施形態のデジタルミラーの構成を示す説明図
【図３】本発明の第１の実施形態の画像処理装置の構成を示すブロック図
【図４】本発明の第１の実施形態の画像処理装置のコンピュータによる構成を示すブロック図
【図５】本発明の第１の実施形態の画像処理装置の動作を示すフローチャート
【図６】本発明の第１の実施形態のデジタルミラーの動作を説明する説明図
【図７】本発明の第１の実施形態のデジタルミラーの動作を説明する説明図
【図８】本発明の第１の実施形態のデジタルミラーの動作を説明する説明図
【図９】本発明の第１の実施形態のデジタルミラーの動作を説明する説明図
【図１０】本発明の第１の実施形態のデジタルミラーの動作を説明する説明図
【図１１】本発明の第１の実施形態のデジタルミラーの他の動作を説明する説明図
【図１２】本発明の第１の実施形態のデジタルミラーの他の動作を説明する説明図
【図１３】本発明の第１の実施形態のデジタルミラーの他の動作を説明する説明図
【図１４】本発明の第１の実施形態のデジタルミラーの他の動作を説明する説明図
【図１５】本発明の第１の実施形態のデジタルミラーの他の動作を説明する説明図
【図１６】本発明の第１の実施形態のデジタルミラーの他の動作を説明する説明図
【図１７】本発明の第１の実施形態のデジタルミラーの他の動作を説明する説明図
【図１８】本発明の第１の実施形態のデジタルミラーの構成を示す説明図
【図１９】本発明の第２の実施形態のデジタルミラーの構成を示す説明図
【図２０】本発明の鏡像および正像と実際の像との関係を説明する説明図
【発明を実施するための形態】
【００２８】
以下、本発明の一態様に係る画像処理装置およびデジタルミラーについて、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００２９】
（実施の形態１）
【００３０】
図１に、本実施の形態の対象であるデジタルミラーシステムのうち、操作入力系・表示系の構成例を示す。表示系は図１（ａ）に示すように、ユーザが視認できる位置に設置された表示装置であればよく、通常の鏡に映しだされるようなユーザの鏡像を映し出せるだけでなく、図１（ｂ）に示すように、操作入力系を備えユーザの操作（タッチ、ジェスチャ等）に応じて、自由に視点を変えたミラー動画像を表示できるデジタルミラーシステムを一例として、説明に用いる。図１で示すような、ユーザの操作を受け付けることができる操作入力系を備えた表示装置は、タッチパネルやジェスチャセンサを備えたディスプレイや、ジェスチャセンサを備えたプロジェクタ等を用いて実現できる。なおユーザの操作を受け付ける操作入力系に関しては上記の表示装置と一体化した形態（タッチやジェスチャ）にかぎるものではなく、自由視点画像を操作可能なデバイス、たとえばキーボード、マウス、ボタン、リモコン等によって実現されていてもよい。
【００３１】
図２に、本実施の形態の対象であるデジタルミラーシステムのうち、センサ（撮像）系についても表示した構成例を示す。たとえば、被写体を取り囲むように、図２（ａ）のように複数の視覚センサであるカメラを設置し、ユーザの操作に応じて、表示する画像を取得するカメラを切り替えることで、複数の視点から自由にミラー画像を取得する。特に、カメラの台数を十分増やすことで、３Ｄモデルとレンダリング等による自由視点画像に対して遜色がないスムーズな切り替えを実現することもできる。また、先に挙げた特許文献１、２等で開示されている方法により、３Ｄモデルやモーフィングを用いてよりシームレスな自由視点画像を生成してもよい。
【００３２】
また、上記の例以外に、図２（ｂ）のように、操作入力系からの入力を受け付けてユーザの周囲を移動可能なロボットアームの先に視覚センサを設けることで、自由視点デジタルミラーを実現してもよい。
【００３３】
この他、図１８のような収納可能なカメラセットを用いてもよい。図１８（ａ）および（ｃ）は、カメラセットを上から見た図、図１８（ｂ）は表示装置を正面から見た図である。このカメラセットは、図１８（ａ）のように、パンタグラフ状の構造物４０１の各辺や頂点、中央に複数のカメラ４０２が設置されている。そして、これを水平に設け、図１８（ｂ）のように表示装置４０３の上部の収納部４０４に収納可能に配置する。収納時は、構造物４０１は図１８（ｃ）のように閉じることにより収納部４０４に収納が可能となる。このような構成の場合、普段は表示装置４０３の上部に収納しておくことができるので邪魔にならず、使用時だけ表示装置４０３の上部から引き出して使用することができる。
【００３４】
その他、表示装置の上部、および左右の壁、後方の壁、天井にカメラを埋め込むようにして設置するなど、様々な設置態様が考えられる。カメラについても、図２のような完成品形態を有するカメラの他、ＣＣＤ、ＣＭＯＳ等の撮像素子を用いた部品としてのカメラを用いることも可能である。また、異なる焦点を持つ多数のマイクロレンズからなるライトフィールドカメラを用いることもできる。ライトフィールドカメラを用いることにより、注視したい部分に焦点を合わせることができるとともに、カメラの台数を少なくすることもできる。
なお、自動車の車内に設置する例は、第２の実施形態として後述する。また、ＰＣやタブレット、スマートフォン、等を用いた例は、第３の実施形態として後述する。
【００３５】
なお、以下の説明で動画像という場合には、動画像データまたは動画像データが示す動画像を指しうるものとする。もちろん、動画像を構成するそれぞれの静止画（ピクチャ）の集合も動画像に含まれる。また、本開示では、表示装置上に表示する動画像を、鏡像正像に関係なく、ミラー動画像と呼ぶものとする。
【００３６】
図３は、本実施の形態における画像処理装置１００の機能的な構成を示すブロック図である。図３に示されるように、画像処理装置１００は操作入力部１０１、動画入力部１０２、鏡像正像決定部１０３、画像生成部１０４、出力部１０５を備える。
【００３７】
画像処理装置１００は、動画像１１０および、ユーザ操作１１１を入力とし、ユーザが指定した角度である所定の向きから撮影されたユーザの動画像に画像処理を施し、結果得られる動画像をミラー動画像として表示装置１２０に出力する。
【００３８】
操作入力部１０１は、ミラー動画像を閲覧するユーザが利用する端末から、ミラー動画像の視点角度の変更に関するユーザ操作１１１を受け付ける。先に説明したとおり、ユーザが利用する端末としては、タッチパネルを備えた表示装置などであってもよいし、キーボード、マウス、ボタン、リモコン等であってもよい。操作入力部１０１は、例えば、ジェスチャまたはタッチパネルへのタッチ等のユーザ操作１１１を直接、または通信経路を介して読み出すインタフェースであっても良い。
【００３９】
動画入力部１０２は、動画像、または動画像を構成する複数枚のピクチャ（「画像」とも言う）の入力を受け付ける。動画入力部１０２は、視覚センサであるカメラから動画像を、直接、または通信経路を介して読み出すインタフェースであっても良い。
【００４０】
鏡像正像決定部１０３は、動画入力部１０２で受け付けた動画像１１０について、操作入力部１０１で受け付けたユーザ操作１１１に基づき、出力するミラー動画像の表示様態を決定する。特に、ミラー動画像として鏡像、ないし正像のどちらを出力するかの決定を行う。決定の方法については後述する。
【００４１】
画像生成部１０４は、鏡像正像決定部１０３によって決定されたミラー動画像の表示様態に基づき、動画像１１０に対して画像変換を施し、ミラー動画像を生成する。
【００４２】
出力部１０５は、画像生成部１０４によって生成されたミラー動画像を、表示装置１２０で表示可能な形態にし、表示装置１２０へ出力する。
【００４３】
なお、画像処理装置１００を構成する各構成要素は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。図４は、コンピュータによって構成された本実施の形態における画像処理装置１００のハードウェア構成を示す図である。
【００４４】
図４において、カメラ２１０ａで取得した動画像１１０はＩ／Ｆ（インタフェース）２０１ａを通じて画像処理装置であるコンピュータ２００へ入力される。ユーザからの入力を受け付ける操作部２１０ｂは、ユーザ操作１１１をＩ／Ｆ２０１ｂへ出力し、Ｉ／Ｆ２０１ｂを通じて画像処理装置であるコンピュータ２００へ入力される。コンピュータ２００は、動画像１１０とユーザ操作１１１を取得して、画像生成処理を行う。
【００４５】
表示装置２２０は、コンピュータ２００で生成されたミラー動画像を表示する。
【００４６】
コンピュータ２００は、Ｉ／Ｆ２０１ａ、Ｉ／Ｆ２０１ｂ、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、ＨＤＤ２０５およびＩ／Ｆ２０６を含む。コンピュータ２００を動作させるプログラムは、ＲＯＭ２０３またはＨＤＤ２０５にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ２０２によって、ＲＯＭ２０３またはＨＤＤ２０５からＲＡＭ２０４に読み出されて展開される。ＣＰＵ２０２は、ＲＡＭ２０４に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ２０１ａおよびＩ／Ｆ２０１ｂは、プログラムの実行に応じて、動画像１１０およびユーザ操作１１１をＲＡＭ２０４へそれぞれ取り込む。Ｉ／Ｆ２０６は、生成したミラー動画像を表示装置２２０に出力する。
なお、コンピュータプログラムは、半導体であるＲＯＭ２０３またはＨＤＤ２０５に限らず、例えばＣＤ−ＲＯＭ等の外部記憶装置に格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ２０４に取り込まれてもよい。
【００４７】
次に、本実施の形態における画像処理装置１００の動作を、図５を用いて説明する。図５は、本実施の形態における画像処理装置１００の動作を表すフローチャートである。図５において、５つのステップＳ３０１〜Ｓ３０５は、それぞれ図３の各処理部１０１〜１０５に対応している。すなわち、操作入力部１０１では操作入力ステップＳ３０１、動画入力部１０２では動画入力ステップＳ３０２、鏡像正像決定部１０３では鏡像正像決定ステップＳ３０３、画像生成部１０４では画像生成ステップＳ３０４、出力部１０５では出力ステップＳ３０５の各動作を実行する。なお、これらのステップは、上述のコンピュータプログラムで実現できる。
【００４８】
（１）操作入力ステップＳ３０１（操作入力部１０１）
最初に、操作入力ステップＳ３０１が操作入力部１０１により実行される。操作入力部１０１は、ユーザ操作１１１を取得し、カメラ又は視点としてのカメラ位置を選択する。かかるカメラ又はカメラ位置の選択は、ユーザを所定の向きからとらえた動画像を取得するために行われる。
【００４９】
取得するユーザ操作１１１はユーザの像に対する自由視点移動、特に図１（ｂ）に示すような、ユーザの左右方向の自由視点移動を実現するため、少なくともＸ方向（鏡の、地面と表示面に対して水平な方向）の移動成分の情報を含む。本実施の形態では、さらにユーザの上下方向にも自由視点移動を実現するため、Ｙ方向（鏡の、地面に対して垂直な方向）の移動成分の情報も含むものとする。例として、タッチパネルへの入力の場合に取得されるユーザ操作１１１を図６（ａ）に示す。スワイプ操作によるタッチ開始点から終了点までの差分ベクトルがユーザ操作１１１として取得される。差分ベクトルのＸ成分がミラー画像の視点のＸ方向への回転、Ｙ成分がミラー画像の視点のＹ方向への回転に対応する。そして、操作量である差分ベクトルの大きさに応じて、後述の選択するカメラ位置を決定する。
【００５０】
なお、ユーザの手の動きは不正確になることが多く、たとえばＸ方向の回転のみを意図して手を動かしたとしても、結果得られるベクトルにはＹ成分が含まれていることが多い。そこで、よりユーザの意図を酌んだ視点移動を実現するため、一度に動かせるのはＸ方向、ないしＹ方向のどちらかのみ、というルールを採用してもよい。この場合、Ｘ成分、Ｙ成分のうち大きい方の成分のみをユーザ操作１１１として取得する。たとえば、図６（ｂ）に示す実線のユーザ操作１１１が得られた場合、差分ベクトルはＸ成分の方が大きいため、点線で示すユーザ操作１１１を取得する。図６（ｃ）に示す実線のユーザ操作１１１が得られた場合、差分ベクトルはＹ成分の方が大きいため、点線で示すユーザ操作１１１を取得すればよい。さらに、ユーザ操作１１１の不安定さを除去するために、あえて差分ベクトルの大きさによらず、一度操作入力があるごとに、常に一定の角度回転させる、としてもよい。この場合、細かい角度の操作はできないが、意図しない手の動きのブレなどに起因する角度変化を除去できる。
【００５１】
なお、移動成分は座標値の代わりに、画面の縦および横の値域が１になるように正規化した値などであってもよい。
【００５２】
これらのユーザ操作１１１は、画像処理装置１００を備えたデジタルミラーなどの機器上のユーザインタフェースを通じて行なわれてもよいし、画像処理装置１００を備えていないリモコンとして一般的なＰＣまたは携帯端末などの機器上のユーザインタフェースを利用して行なわれた操作から有線ないし無線を介して受け付けるようにしてもよい。
【００５３】
なお、本実施形態ではタッチパネルのスワイプ動作をユーザ操作１１１に割り当てたが、その他の動作を割り当ててもよい。例えば、開始点と終了点の２点をタップ動作で選択することにより、前述の差分ベクトルを生成してもよい。
【００５４】
取得したユーザ操作１１１に基づくカメラ又はカメラ位置の選択に関して、図７を用いて説明する。例として、ユーザの周囲を１２台のカメラが取り囲む例を考える。なお図示していないが、ユーザにミラー動画像を提示する表示装置、ないし操作入力系を備えた表示装置は、たとえばカメラ３の下部に設置することで、表示装置に正対して立つユーザの正面をカメラ３が、ユーザの背面をカメラ９がとらえることができる。
【００５５】
カメラ３により撮影されたユーザの正面からの画像が表示されているとき、Ｘ方向の操作Ａがユーザ操作１１１として入力された場合、ユーザの意図は「ミラー画像に映る自分像の向きを少し右に向けて、自分の像の、より左側を見たい」ということになる。すなわち、ユーザの正面にあるカメラ３から、よりユーザの左にあるカメラ４の画像に切り替わることが望ましい。さらに頭部の左側を見たいときは、例えばカメラ３の状態から操作Ａを３回行うことで、カメラ６が選択される。
【００５６】
Ｘ方向の操作Ｂがユーザ操作１１１として入力された場合、ユーザの意図は「ミラー画像に映る頭部を少し左に向けて、頭部の右側を見たい」ということになる。すなわち、ユーザの正面にあるカメラ３から、よりユーザの右にあるカメラ２の画像に切り替わることが望ましい。さらに頭部の右側を見たいときは、例えばカメラ３の状態から操作Ｂを３回行うことで、カメラ１２を選択することができる。このようにして得られたカメラの位置、ないし、別途カメラの番号と位置が対応付けられたリストを鏡像正像決定部１０３が参照可能な状態でメモリに保持している場合は、カメラの番号を、鏡像正像決定部１０３に受け渡す。
【００５７】
なお、デジタルミラーにおいては、初期状態としてカメラ３により撮影されたユーザの正面からの映像が鏡像表示されていることが最も自然である。このような状態にあるとき、ユーザの意図が「ユーザの正面を見たい」という場合は、ユーザはデジタルミラーに対して直接操作を行う必要はないが、このような場合もユーザは何も操作しないことで「ユーザの正面を見る」というユーザの意思を伝達しているといえるので、本発明のユーザ操作があると観念できる。
【００５８】
なお、操作入力部１０１の動作は、このようにカメラの視点選択が離散的でなく、連続的である場合（従来文献１、２の例や図２（ｂ）の例）は、たとえば、上記操作により得られたＸ成分、Ｙ成分の移動情報（Ｘ、Ｙ）と、操作入力前に表示されているカメラ位置・視点に関する情報に基づき、新たなカメラ位置・視点を求める、としてもよい。
【００５９】
（２）動画入力ステップＳ３０２（動画入力部１０２）
次に、動画入力ステップＳ３０２が、動画入力部１０２により実行される。動画入力部１０２は、動画像１１０を取得する。
【００６０】
動画入力部１０２は、有線や無線のネットワークを介して一つまたは複数のカメラより動画像１１０を取得する。動画像は３０フレーム／秒とする。なお、本実施形態においては、図２（ａ）に示すような、複数のカメラにより自由視点ミラーを実現するとしたためにカメラの台数を複数としたが、図２（ｂ）のような可動カメラの場合は一台でもよい。
【００６１】
動画入力部１０２は、もっともシンプルには、操作入力部１０１で選択されたカメラ位置、ないし番号に対応するカメラの動画像を取得する。もちろん、すべてのカメラからの動画像を取得し、ユーザ操作に基づき特定のカメラからの動画像を取得してもよい。なお、先の例同様に、カメラの視点選択が離散的でなく、連続的である場合（従来文献１、２の例）は、すべてのカメラの動画像を取得しておくのが望ましい。ないし、前述したとおり、取得した複数の動画像から、操作入力部１０１で求められたカメラ位置・視点に相当する画像を画像合成などにより生成してもよい。
【００６２】
なお、操作入力ステップＳ３０１および動画入力ステップＳ３０２はそれぞれ独立に処理することも可能であり、その場合は、順序は上記説明と逆であってもよいし、同時並行して処理を進めてもよい。
【００６３】
（３）鏡像正像決定ステップＳ３０３（鏡像正像決定部１０３）
次に、鏡像正像決定ステップＳ３０３が鏡像正像決定部１０３により実行される。鏡像正像決定ステップＳ３０３は、ユーザ操作としての操作入力部１０１で求めたカメラ位置や選択されたカメラ、あるいは取得された動画像に基づき、動画入力部１０２で受け付けた動画像に対し、最終的に表示するミラー動画像の表示様態を決定する。
【００６４】
もっとも単純なケースとしては、図８のように、ユーザはミラー動画像を視認するため、表示装置の前に正対して立つことが想定できる。この場合、図７で言えばカメラ３の画像は、鏡像でなければ利用しているユーザと左右が正反対になり、ミラー動画像を見ながらの作業が困難である。また同様に、カメラ９の画像は、正像でなければ左右が正反対になり、ミラー動画像を見ながらの作業が困難である。したがって、カメラ３（ユーザ正面側）の画像が取得された場合は鏡像、カメラ９（ユーザ背面側）の画像が取得された場合は正像と決定するのが望ましい。
【００６５】
また、発明者らの実験によれば、ユーザの側面に位置するカメラ１２の画像、およびカメラ６の画像については、正像であっても、鏡像であっても、どちらでも同様に違和感がなかった。これは鏡像と正像の境目は、人の視野角（約２００度）で定まるものであると考えられる。よって、カメラ１２、１〜６の位置内に視点移動がある限りは鏡像、カメラ６〜１２の位置内に視点移動がある限りは正像、と決定してもよい。または、ユーザの正面を中心にして人の視野角である左右約１００度まで（合計約２００度まで）の範囲を正像と決定するようにしてもよい。あるいは、カメラ６とカメラ１２の位置ではどちらを表示するとしてもよい。その他、カメラ１２、１〜６は正像（カメラ７〜１１は鏡像）を表示する、またはカメラ１〜５は正像（カメラ６〜１２は鏡像）を表示する、またはカメラ６、１２の位置内で正像と鏡像の表示を切り替える、などとしてもよい。
【００６６】
図９は、カメラ６、１２の位置内で正像と鏡像の表示を切り替える例を示した図である。図７でカメラ３からカメラ６を経由してカメラ９まで連続的にカメラが選択される場合を考える。カメラ３からカメラ９の各カメラは、図９（ａ）で示すような動画を撮影している。このような動画像の入力に対して、表示部に表示されるミラー画像は、図９（ｂ）のように、カメラ３、４、５については鏡像を、カメラ７、８、９は正像となる。そして、カメラ６の動画については、当初は鏡像で表示されているが、途中で反転し正像が表示される。
【００６７】
なお、上記説明は図７のカメラ配置の例で説明したが、鏡像正像決定部１０３の適用先は、図７のカメラ配置に限らない。つまり、ユーザの周囲でユーザを視野に含む視点選択が可能なカメラ配置であればよい。ユーザはミラー動画像が表示されている表示装置の画面に正対していることが主とみなせる場合は、ミラー動画像が表示される表示装置の方向を向くように設置されたカメラから得られる画像に関しては正像、それ以外のカメラから得られる画像に関しては鏡像と決定するとしてもよい。
【００６８】
さらには、ユーザが表示装置に対して正対していない場合でも、ユーザが作業しやすい、つまりミラー動画像とユーザの左右が常に一致した、ミラー動画像を生成できるような鏡像正像決定を行えることが望ましい。ユーザが鏡を見ながら作業をする場合、作業を行う「手」の位置、およびそのベースとなる体の向きがミラー画像上で逆であった際に、違和感に対する影響が大きいことが、発明者らの実験でも知見として得られている。
【００６９】
そこで、ユーザ操作に加え、取得された動画像におけるユーザの向きに基づき、最終的に表示するミラー動画像の表示態様を決定することもできる。ここでいうユーザの向きとは、デジタルミラー装置に対するユーザの向きである。たとえば、図７や図８の例では、実際の空間や地面に対して固定されている表示装置やカメラに対して、ユーザの体が向いている向きに相当する。
【００７０】
図１０を一例として説明する。ユーザがカメラ１１〜カメラ５の方向に沿うように肩を向けていた場合、カメラ２がユーザの正面、カメラ８がユーザの背面にあたる。したがってユーザの向きに対して正面側にあるカメラ２（広義にはカメラ１１、１２、１〜５）に対しては鏡像、ユーザの向きに対して背面側にあるカメラ８（広義にはカメラ６〜１０）に対しては正像と決定するのが望ましい。同様に、発明者らの実験によれば、カメラ１１の画像、およびカメラ５の画像については、正像であっても、鏡像であっても、どちらでも同様に違和感がなかったため、図７で説明したのと同様の基準でカメラ５、１１からの動画像に対して正像、鏡像の決定を行うことにしてもよい。
【００７１】
上記の処理は、本システムに対するユーザの体向きがわかれば容易に実現できる。例えば、顔と体の向きが同じ場合や、上下方向の顔の向きを求める場合、画像中の顔のパーツの有無や顔のパーツの見え方から、顔や顔の向きを検出する方法で実現できる。また、画像からユーザの姿勢を判定することでユーザ向きを推定可能な技術は、数多く提案されている。たとえば、非特許文献１に示されるように、輪郭線を形状特徴とみなして学習することで、三次元姿勢推定を行う手法が提案されている。また、動画入力部１０２で、あらかじめ複数カメラからの動画像を取得しておけば、さらに精度よくユーザの体向きを求めることが可能である。たとえば、非特許文献２のように、複数カメラから取得したシルエットに基づき精度よく体向きを求める方法が提案されている。
（非特許文献１）Agarwal, A. and Triggs, B.: 3D Human Pose from Silhouettes by
Relevance Vector Regression, IEEE International Conference on Computer Vision
and Pattern Recognition, Vol. 2, pp.882-888 (2004)
（非特許文献２）Kehl, R., Bray, M. and Gool, L.V.: Full Body Tracking from Multiple
Views Using Stochastic Sampling, IEEE International Conference on Computer
Vision and Pattern Recognition, Vol.2, pp.129-136 (2005)
詳細な手順は文献に記載されているので、ここでは説明を省略する。
【００７２】
なおこのようにユーザの姿勢や体向きに基づいて鏡像正像決定を行う場合、鏡像正像決定部１０３は、所定時間毎にユーザの姿勢判定を行い、鏡像を表示するか正像を表示するかの決定結果をアップデートし、画像生成部１０４に出力するとしてもよい。ユーザが、  表示視点を変更するような操作をしないまま、体向きのみを変える可能性があるからである。上記は、たとえば、通常のビデオレートにあわせて30回/秒のタイミングで判定を行ってもよい。なお、所定時間は一定時間に限らない。例えば、画像中に何らかの動きを検出したときに姿勢判定を行うようにしてもよい。
【００７３】
以上の手順により、操作入力部１０１で求められた特定のカメラ位置・視点からの動画像について、鏡像を表示すればよいか、正像を表示すればよいかを決定できる。
【００７４】
（４）画像生成ステップＳ３０４（画像生成部１０４）
次に、画像生成ステップＳ３０４が画像生成部１０４により実行される。画像生成部１０４は、鏡像正像決定部１０３によって決定された結果が鏡像であれば、操作入力部１０１で求められた特定のカメラ位置・視点について、その視点からの動画像を生成し、さらに左右を反転して鏡像を生成し、出力部１０５へ受け渡す。鏡像正像決定部１０３によって決定された結果が正像であれば、操作入力部１０１で求められた特定のカメラ位置・視点について、その視点からの動画像を生成し、鏡像への変換は行わずそのまま出力部１０５へ受け渡す。
【００７５】
（５）出力ステップＳ３０５（出力部１０５）
最後に、出力ステップＳ３０５が、出力部１０５により実行される。出力部１０５は、画像生成部１０４より受け付けた動画像を、ディスプレイ等の表示装置において視認可能な形式に変換し、表示装置１２０にミラー動画像として出力する。
【００７６】
以上、本実施形態によれば、ユーザがユーザ操作により意図した通りの動画像を取得することができるとともに、取得した動画像に対してユーザがより作業を行いやすい像に変換して出力することができる。
【００７７】
（実施の形態１の他の動作例１）
【００７８】
なお、カメラの配置によっては、ユーザの上方や下方からの視点も選択可能となるような構成とすることもできる。この場合、自然なユーザ操作と視点選択の関係は、図１１に示すようになる。操作入力部１０１で説明したユーザ操作１１１に関して、差分ベクトルのＹ方向の成分が大きい場合（図６（ｃ））は、上下方向の視点移動となるが、上方向に手を動かす場合は、ユーザはより頭部の下部をよく見たいという意図があるため、ユーザに対して下から見上げたカメラ位置・視点を選択する。同様に、下方向に手を動かす場合は、ユーザはより頭部の上部（頭頂部）をよく見たいという意図があるため、ユーザに対して上から俯瞰するようなカメラ位置・視点を選択する。
【００７９】
ユーザが上方向（俯瞰）への視点選択操作を行う際に、元となる状態がユーザの正面側からの視点であるか、ユーザの背面側からの視点であるかによって、図１２に示す二通りの俯瞰画像が得られるため、鏡像正像決定ステップＳ３０３は、先に説明を行ったと同様に、ユーザの左右が一致するよう鏡像正像の選択を行う必要がある。図１２（ａ）は、ユーザの正面側にある視覚センサから切り替わった場合、すなわち、ユーザの正面側の視点（鏡像）から、俯瞰状態にカメラ視点を移動させた例である。この場合、鏡像のまま表示し続けることで、ユーザの左右と合致したミラー動画像が得られる。図１２（ｂ）は、ユーザの背面側にある視覚センサから切り替わった場合、すなわち、ユーザの背面側の視点（正像）から俯瞰状態にカメラ視点を移動させた例である。この場合、正像のまま表示し続けることで、ユーザの左右と合致したミラー動画像が得られる。したがって、カメラがユーザの上方に設置された場合も、前方後方の場合と同様、ユーザの向きに応じた切り替えを行えばよい。
【００８０】
（実施の形態１の他の動作例２）
【００８１】
さらに、よりインタラクティブ性を重視する場合、特にユーザが連続的に視点を変更しているような場合に、たとえば図７の例ではカメラ６、１２に視点が至った際に急に正像／鏡像が切り替わると、見た目上の違和感が生じる可能性がある。さらに、鏡像と正像では、後述するように、操作の方向が逆になるため、正像／鏡像切り替え時に生じる、操作上の急激な不連続が、それまでユーザが行っていた連続的な操作に対して悪影響を与える可能性がある。すなわち、正像／鏡像の表示が切り替わるときに、ユーザが意図する動作と逆の結果が生じる可能性がある。
【００８２】
ここで、図１３（ａ）は、ユーザ１３０２に対して、ミラー動画像を表示する表示装置の表示面（ミラー表示面）１３０３を挟んで表示されるミラー動画像１３０１における前後左右を説明するため、仮想的にミラー動画像１３０１を上方からみた俯瞰図としてあらわした図である。実際にはミラー表示面１３０３のユーザから見た向こう側にはこのような実体は存在しないが、説明のため、このような表現を用いるものとする。ミラー動画像１３０１としては、ここでは鏡像を示す。左手を前に出しているユーザ１３０２の鏡像の前後左右は、図に示すとおりである。
【００８３】
ここでまず、すべて表示が鏡像であったと仮定したときに（自動的に正像には切り替わらないとする）、ユーザ１３０２が鏡像（ミラー動画像）１３０１を回転させて表示させるときのことを考える。図１３（ｂ）に、ユーザの操作によってミラー動画像１３０１の方向が変わる様子を示す（ユーザ１３０２は表示を省略するが、図１３（ａ）同様に、各ミラー動画像１３０４〜１３０７の図面上での下部からミラー動画像を見ているものとする）。ミラー動画像１３０４は前方鏡像、１３０５は右方鏡像、１３０６は後方鏡像、１３０７は左方鏡像を表示している様子を示す。ここで太二重矢印はユーザ操作の方向を示しており、細矢印は表示が変化する順を示す。以上に示すように、ユーザはミラー面に対して左方向への操作を行い続けるだけで、なめらかに前方→右方→後方→左方→前方、の像を見ることができる。
【００８４】
なお、ユーザの操作方向について、図１３（ｃ）に示す。太二重破線矢印１３０８は鏡像上左方向へのユーザ操作、太二重破線矢印１３０９は鏡像上右方向のユーザ操作、太二重矢印１３１０は正像上左方向へのユーザ操作、太二重矢印１３１１は正像上右方向のユーザ操作とし、図中の細矢印（長鎖線も含む）が、ミラー動画像の表示が変化する順を示すことと合わせ、以降の図でも用いる。
【００８５】
また、すべて表示が正像であったと仮定したときも、鏡像の場合となめらかさが類似したユーザ操作となる。図１４（ａ）は、図１３（ａ）同様に、表示が正像である場合に、仮想的にミラー動画像１３１２を上方からみた俯瞰図としてあらわした図である。実際にはミラー表示面１３０３の向こう側にはこのような実体は存在しないが、説明のため用いるものとする。左手を前に出しているユーザ１３０２の正像の前後左右は、図に示すとおりである。ユーザ１３０２が正像を回転させて表示させる場合、図１４（ｂ）に示すように、ユーザはミラー面に対して右方向への操作を行い続けるだけで、なめらかに前方→右方→後方→左方→前方、の像を見ることができる。（ユーザ１３０２は表示を省略するが、図１４（ａ）同様に、各ミラー動画像１３１３〜１３１６の図面上での下部からミラー動画像を見ているものとする）。ミラー動画像１３１３は前方正像、１３１４は右方正像、１３１５は後方正像、１３１６は左方正像を表示している様子を示す。
【００８６】
一方、本発明の提案においては、ユーザをさまざまな視点から見たミラー動画像を表示時に、正像と鏡像が適切に切り替わることを特徴としている。先に説明したように、同様に前方→右方→後方→左方→前方を見る場合であっても、鏡像と正像では操作方向が異なるため、図１５（ａ）に示すように、ユーザの左右表示時に突然鏡像と正像が切り替わってしまう（この例では、鏡像右方１３０５から正像右方１３１４、および正像左方１３１６から鏡像右方１３０６への自動的な遷移）と、たとえば鏡像前方１３０４→鏡像右方１３０５までの表示方向変更は、左方向へのユーザ操作によっていたものが、引き続き正像右方１３１４→正像後方１３１５への表示方向変更を行う際は、右方向へのユーザ操作を行わなければならなくなり、ここでなめらかに操作できない可能性がある。
【００８７】
ここで、図１５（ｂ）に、より望ましいユーザ操作と表示方向の関係を実現する操作フローを示す。正像右方１３１４、および鏡像左方１３０７から伸びる長鎖線で示す部分は、特定の方向のユーザ操作に対しては同じ方向のミラー動画像を、正像ないし鏡像のまま表示し続けるループを形成している。つまり、鏡像右方１３０５より遷移してきた場合、正像右方１３１４では、それまでどおり左へのユーザ操作を行い続ける限り、それ以上方向を変えることができず、逆の方向へのユーザ操作をしなければ、表示方向が変化せず、正像左方１３１６より遷移してきた場合、鏡像左方１３０７では、それまでどおり右へのユーザ操作を行い続ける限り、それ以上方向を変えることができず、どちらの場合も逆の方向へのユーザ操作をしなければ、表示方向が変化しない、としてもよい。
【００８８】
なお、ここでは長鎖線で示す、正像右方１３１４、および鏡像左方１３０７から伸びるループに遷移するトリガーとして特定の遷移からの特定のユーザ操作を説明したが、初回の遷移に関しては、それまで別の角度であったものが特定の角度（≒ユーザに対して９０°前後の角度）に達したときに、たとえば一定時間がたった後、自動的に遷移する、としてもよい。上記のようにすることで、操作方向が変化する点であることを容易にユーザに示すことができ、ユーザの違和感を低減できる。
【００８９】
さらに、図１６（ａ）に、より望ましいユーザ操作と表示方向の関係を実現する別のフローを示す。鏡像右方１３０５、正像右方１３１４、および正像左方１３１６、鏡像左方１３０７から伸びる長鎖線で示す部分で、鏡像と正像が反転し続けるループを形成している。すなわち正像／鏡像右方まわりのループでは、正像右方１３１４から正像後方１３１５へ移動する右方向へのユーザ操作が正像右方１３１４の上でなければ、図に示すように鏡像・正像の反転を繰り返すとしてもよい。正像／鏡像左方まわりのループでも同様である。なお、ここでは長鎖線で示すループに遷移するトリガーとして特定のユーザ操作が存在するケースを説明したが、初回の遷移に関しては、それまで別の角度であったものが特定の角度（≒ユーザに対して９０°前後の角度）に達したときに、たとえば一定時間がたった後、自動的に遷移する、としてもよい。上記のようにすることで、操作方向が変化する点であることを容易にユーザに示すことができ、ユーザの違和感を低減できる。
【００９０】
さらに、図１６（ｂ）に、より望ましいユーザ操作と表示方向の関係を実現する別のフローを示す。すなわち、長鎖線で示す部分のとおり、正像／鏡像の切り替えが起こる際に、一旦、ユーザの正面・後方視点に移動するものとしてもよい。たとえば、鏡像右方１３０５から直接正像右方１３１４へ遷移するのではなく、左方向の操作を受け付けるといったん正像後方１３１５へ遷移する。さらに左方向への操作を行うと、正像後方１３１５から正像右方１３１４へ方向が変更される。この間に、ユーザは正像上での操作に慣れることができるため、この後容易に右方向への操作を行い、正像後方１３１５、正像左方１３１６へと表示を変更できる。正像／鏡像左方に関しても、同様である。なお、ここでは長鎖線で示すループに遷移するトリガーとして特定のユーザ操作がある例を説明したが、初回の遷移に関しては、それまで別の角度であったものが特定の角度（≒ユーザに対して９０°前後の角度）に達したときに自動的に遷移する、としてもよい。このようにすることで、鏡像・正像が変化、つまり操作方向の基準が、それまでの基準から逆転したことをユーザに示すことができ、ユーザの違和感を低減できる。
【００９１】
なお、上記は正像、鏡像の切り替えが、図７のカメラ６、１２に相当するカメラで起きる例を説明したものであるが、これ以外にも、選択したカメラが変わる場合に正像、鏡像の切り替えが起こるような場合においてもその時点でのユーザ向きなどに応じて同様の処理を行なうことができる。
【００９２】
また、各カメラの正像／鏡像をユーザの姿勢に応じて都度決定する場合は、鏡像正像決定部１０３において図１７のような動作を行ってもよい。つまり、一サイクル前のカメラ位置、鏡像／正像の決定結果が現在のサイクルのカメラ位置、鏡像／正像の決定結果と異なる場合は、現在のサイクルの決定がたとえば鏡像であった場合は、ユーザを特定の向きからとらえたカメラとしてのユーザの正面に位置するカメラに、現在のサイクルの決定がたとえば正像であった場合は、ユーザを特定の向きからとらえたカメラとしてのユーザの背面に位置するカメラに、カメラ位置を変更する。
【００９３】
たとえば、図１７では、一サイクル前のカメラ位置、決定結果が（カメラＡ、鏡像）、現在のサイクルのカメラ位置、決定結果が（カメラＢ、正像）となっている。カメラＡとＢは隣接ないし近接しているとする。この場合、近接したカメラにおける鏡像から正像への変化であるので、正像のカメラの中心である（カメラＣ、正像）を、現サイクルのカメラ位置として、後段の画像生成部１０４に出力する。
【００９４】
このようにすることで、一度操作がリセットされたという印象を与えることができ、ユーザがそれまでもっていた体性感覚をリセットすることで、カメラの視点が連続しているのに、見えや操作に急激な不連続が見られるという状態を回避することができる。
【００９５】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【００９６】
（実施の形態２）
実施の形態１では、図２や図１８のように、主に住居内に設置して用いることを想定したハードウェアを用いて本発明を実施する例を説明した。本実施形態では、自動車の室内に設置して用いることを想定したハードウェア構成について説明する。
【００９７】
図１９は、自動車の室内に本発明のデジタルミラーシステムを設置する例を示す構成図である。自動車５００の室内には、カーナビゲーション装置のモニタ５０１、バックミラー５０２、フロントガラス５０３、ハンドル５０４、シートベルト支点５０５、運転席５０６、助手席５０７、後部座席５０８、ダッシュボード５０９が設けられている。
【００９８】
本実施形態のハードウェア構成例は、図４で示したコンピュータ２００を用いたものと同じである。そして、本発明の機能を実現するプログラムがＲＯＭ２０３やＨＤＤ２０５に格納され、必要に応じてＲＡＭ２０４に読み出され、実行される。
【００９９】
コンピュータ２００としては、例えばカーナビゲーション装置を構成する制御装置を用いることができる。また、操作部２１０ｂとしては図１９でモニタ５０１と記載している位置に設置してよく、ここにカーナビゲーション装置が既に設置されている場合は、カーナビゲーション装置のタッチパネルやジョイステック等の入力装置を用いることができる。もちろん、動作センサや音声認識装置を用いることも可能である。表示装置２２０としては、図１９でモニタ５０１と記載している位置に設置してよく、ここにカーナビゲーション装置が既に設置されている場合は、カーナビゲーション装置の液晶パネルを用いることができるほか、フロントガラス５０３に投影するプロジェクタを設け、これを用いることも可能である。
【０１００】
カメラ２１０ａとしては、バックミラー５０２にカメラＡ１、および後部座席５０８上部にカメラＡ２を設け、これらのカメラの組を用いることができる。既にこれらの位置に、ドライブレコーダのカメラや後退時の後方確認用カメラが設置されている場合もあり、このような場合は、既設の上記カメラのプログラムを変更する等により、本発明のカメラとして兼用してもよい。
【０１０１】
あるいは、ハンドル上部にカメラＢ１、および運転席５０６のヘッドレスト部にカメラＢ２を設け、これらのカメラの組を用いることもできる。ハンドル上部のカメラＢ１の位置には、既にドライバの状態をモニタリングするためのカメラが設置されている場合もあり、このような場合は既設の上記カメラのプログラムを変更する等により、本発明のカメラとして兼用してもよい。これらのカメラの組の位置はユーザが運転席５０６に着座した時にユーザの正面と背面にあたるので、ユーザは自然な体勢でもって本発明のデジタルミラーシステムを利用することが可能である。この場合、表示装置２２０として、フロントガラス５０３に投影するプロジェクタを設けこれを用いることにより、ユーザの正面に表示を行うことができる。
なお、助手席５０７のユーザが用いる場合は、ダッシュボード５０９上部にカメラＣ１、および助手席５０７のヘッドレスト部にカメラＣ２を設け、これらの組を用いるとよい。表示装置２２０としては、助手席前方のフロントガラス５０３に投影するプロジェクタを設け、これを用いるとよい。
【０１０２】
さらに、カーナビゲーション装置のモニタ５０１付近にカメラＤ１、および運転席５０６のシートベルト支点５０５にカメラＤ２を設け、これらのカメラの組を用いることもできる。表示装置２２０としてカーナビゲーション装置のモニタ５０１を用いる際には、ユーザはモニタ５０１の方に頭や体を回転させるので、ちょうどカメラＤ１の位置がユーザの正面、カメラＤ２の位置がユーザの背面にあたる。なお、ユーザが助手席５０７に着座している場合は、カメラＤ１と助手席５０７のシートベルト支点５０５にカメラＤ３を設け、これらの組を用いてもよい。
【０１０３】
なお、実施の形態２はユーザの前後のカメラの組で説明したが、３つ以上のカメラを用いるようにしてもよい。例えば、図１９のカメラすべてを設けてこれを用いるようにすれば、これらのカメラの画像を切り替えることにより様々な方向からの動画像を得ることができる。
また、ユーザの頭上にカメラを設けてこれを用いるようにすれば、ユーザの上方からの視点も選択可能となる。
【０１０４】
以上、自動車の室内で本発明を実現する例を説明したが、自動車の室内は住居よりは狭く、ユーザの前後左右および上部に視覚センサを配置しやすい。また、自動車の室内はプライベート空間であるので身だしなみを整えるのに適しており、本発明と親和性が高いといえる。
【０１０５】
（実施の形態３）
【０１０６】
実施の形態１および実施の形態２では、図２、図１８や図１９のような専用のハードウェアを用いて本発明を実現する例を説明した。本実施形態では、汎用のハードウェアを用いて本発明を実現する例を説明する。
【０１０７】
本実施形態のハードウェア構成例も、図４で示したコンピュータ２００を用いたものと同じである。そして、本発明の機能を実現するプログラムがＲＯＭ２０３やＨＤＤ２０５に格納され、必要に応じてＲＡＭ２０４に読み出され、実行される。
【０１０８】
コンピュータ２００としては、デスクトップ型ＰＣやノート型ＰＣ、タブレット型コンピュータ、スマートフォンや携帯電話を用いることができる。そして、これらの端末にはユーザ操作１１１を入力する操作部２１０ｂや表示装置２２０、そしてユーザを正面から撮影するカメラ２１０ａが搭載されている。
【０１０９】
ただし、ユーザの後方や側方を撮影するカメラは搭載されていないので、別途後方や側方を撮影するカメラを準備する必要がある。例えば、外付けのＣＣＤカメラ等のカメラをＵＳＢ等の有線、あるいはＷｉＦｉ等の無線で前記本発明の機能を実現する端末に接続するようにして、ユーザの後方や側方に設置ないし手で保持して撮影するようにすればよい。つまり、撮像装置と通信装置とを備えたものであれば何でもよい。例えば、デジタルカメラや、借用した他人のスマートフォンや携帯電話なども用いることができる。さらに、近年のスマートフォンや携帯電話は、外カメラと内カメラの２つを備えているものが多いが、外カメラを取り外し可能に構成して無線で通信できるようにすれば、これを後方や側方を撮影するカメラとして用いることができる。
【０１１０】
このように、汎用のハードウェアで構成すれば、本発明の機能を実現するプログラムをダウンロードして実行するだけで、手軽に本発明のデジタルミラーシステムを実現することができる。さらには、持ち運び可能なデジタルミラーシステムを実現することができる。
【産業上の利用可能性】
【０１１１】
本発明は、画像処理技術に際し、デジタルミラーなどの装置、特にインタラクティブな自由視点ミラーに利用できる。また、本発明は、ユーザ画像の取得および閲覧が可能なタブレットＰＣ、スマートフォン、ＰＣ、カーナビゲーションシステム、ビデオカメラまたはＴＶ等のＡＶ機器に内蔵させる装置としても利用することができる。
【符号の説明】
【０１１２】
１００    画像処理装置
１０１    操作入力部
１０２    動画入力部
１０３    鏡像正像決定部
１０４    画像生成部
１０５    出力部
１１０    動画像
１１１    ユーザ操作
１２０    表示装置
２００    コンピュータ
２０１ａ、２０１ｂ、２０６    Ｉ／Ｆ
２０２    ＣＰＵ
２０３    ＲＯＭ
２０４    ＲＡＭ
２０５    ＨＤＤ
２１０ａ  カメラ
２１０ｂ  操作部
２１０ｃ  表示装置
【図１】
2015005823.tif 000003
【図２】
2015005823.tif 000004
【図３】
2015005823.tif 000005
【図４】
2015005823.tif 000006
【図５】
2015005823.tif 000007
【図６】
2015005823.tif 000008
【図７】
2015005823.tif 000009
【図８】
2015005823.tif 000010
【図９】
2015005823.tif 000011
【図１０】
2015005823.tif 000012
【図１１】
2015005823.tif 000013
【図１２】
2015005823.tif 000014
【図１３】
2015005823.tif 000015
【図１４】
2015005823.tif 000016
【図１５】
2015005823.tif 000017
【図１６】
2015005823.tif 000018
【図１７】
2015005823.tif 000019
【図１８】
2015005823.tif 000020
【図１９】
2015005823.tif 000021
【図２０】
2015005823.tif 000022