(57)【要約】【課題】  顔や体の正面以外を鏡に映すには、顔や体を捩じり視線だけを鏡面に向けるので、身体的な負荷が大きい。【解決手段】  カメラとディスプレイを用いて鏡の機能を提供する際に、ディスプレイに対する被写体の傾きを増幅させた映像を生成して、ディスプレイに表示させることにより、顔や体の正面以外を鏡に映したいときにユーザの身体的な負荷を減らすことができる。【選択図】  図１
2017022622.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイに対面している被写体を少なくとも１つの撮像装置が撮像した、少なくとも１つの映像を取得する映像取得手段と、
前記ディスプレイに対する前記被写体の傾きを、前記映像取得手段で取得した映像のうちの第１の映像における前記被写体の顔画像の情報から取得する傾き取得手段と、
前記被写体が前記ディスプレイに対して前記傾きより大きく傾いている第２の映像を生成する生成手段と、
前記第２の映像を前記ディスプレイに表示させる制御をする制御手段とを備えることを特徴とする映像処理装置。
【請求項２】
前記傾き取得手段は、前記被写体の顔領域の幅と、前記被写体の顔領域の中央を通る線と前記被写体の顔の中心線との間の幅とを用いて前記被写体の垂直軸まわりの回転角から前記傾きを取得することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記生成手段は、前記映像取得手段が取得した複数の映像から前記第２の映像を合成することを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
前記映像取得手段は、可動式の第１の撮像装置で撮像した映像を取得し、
前記生成手段は、前記被写体が前記ディスプレイに対して前記傾きより大きく傾いている映像を撮影可能な位置に、前記第１の撮像手段を移動させ、移動後の撮像位置において前記第１の撮像手段に撮像させて、第２の映像を生成することを特徴とする請求項１または２記載の映像処理装置。
【請求項５】
前記生成手段は、前記被写体が前記ディスプレイに対して、前記傾きの角度よりＮ倍傾いている第２の映像を生成することを特徴とする請求項１乃至４の何れか１項に記載の映像処理装置。
【請求項６】
前記第１の映像における、前記ディスプレイに対する前記被写体の傾きを第１の傾きとし、前記第２の映像における、前記ディスプレイに対する前記被写体の傾きを第２の傾きとし、
前記生成手段は、前記第１の傾きが大きくなるほど、前記第１の傾きよりも前記第２の傾きを大きくさせる量を抑制することを特徴とする請求項１乃至４の何れか１項に記載の映像処理装置。
【請求項７】
前記傾き取得手段は、前記映像取得手段が取得した映像のフレーム画像を用いて前記傾きを取得することを特徴とする請求項１乃至６の何れか１項に記載の映像処理装置。
【請求項８】
前記映像取得手段は、ＴＣＰ／ＩＰネットワークを用いて映像を取得することを特徴とする請求項１乃至７の何れか１項に記載の映像処理装置。
【請求項９】
ディスプレイに対面している被写体を少なくとも１つの撮像装置で撮像した、少なくとも１つの映像を取得する映像取得手段と、
前記ディスプレイに対する前記被写体の傾きを、前記映像取得手段で取得した映像のうちの第１の映像における前記被写体の視線の情報から取得する傾き取得手段と、
前記被写体が前記ディスプレイに対して前記傾きより大きく傾いている第２の映像を生成する生成手段と、
前記第２の映像を前記ディスプレイに表示させる制御をする制御手段とを備えることを特徴とする映像処理装置。
【請求項１０】
前記傾き取得手段は、前記被写体の顔領域の幅と、前記被写体の顔領域の中央を通る線の位置と前記被写体が視ていると推定される前記ディスプレイにおける位置との間の幅と、を用いて前記被写体の垂直軸まわりの回転角から前記傾きを取得することを特徴とする請求項９記載の映像処理装置。
【請求項１１】
前記制御手段は、前記生成手段が生成した第２の映像を、前記被写体の視線方向の前記ディスプレイにおける位置に表示させる制御をすることを特徴とする請求項９記載の映像処理装置。
【請求項１２】
ディスプレイに対面している被写体を少なくとも１つの撮像装置が撮像した、少なくとも１つの映像を取得する映像取得工程と、
前記ディスプレイに対する前記被写体の傾きを、前記映像取得工程で取得した映像のうちの第１の映像における前記被写体の顔画像の情報から取得する傾き取得工程と、
前記被写体が前記ディスプレイに対して前記傾きより大きく傾いている第２の映像を生成する生成工程と、
前記第２の映像を前記ディスプレイに表示させる制御をする制御工程とを備えることを特徴とする映像処理方法。
【請求項１３】
ディスプレイに対面している被写体を少なくとも１つの撮像装置で撮像した、少なくとも１つの映像を取得する映像取得工程と、
前記ディスプレイに対する前記被写体の傾きを、前記映像取得工程で取得した映像のうちの第１の映像における前記被写体の視線の情報から取得する傾き取得工程と、
前記被写体が前記ディスプレイに対して前記傾きより大きく傾いている第２の映像を生成する生成工程と、
前記第２の映像を前記ディスプレイに表示させる制御をする制御工程とを備えることを特徴とする映像処理方法。
【請求項１４】
コンピュータを、
ディスプレイに対面している被写体を少なくとも１つの撮像装置が撮像した、少なくとも１つの映像を取得する映像取得手段と、
前記ディスプレイに対する前記被写体の傾きを、前記映像取得手段で取得した映像のうちの第１の映像における前記被写体の顔画像の情報から取得する傾き取得手段と、
前記被写体が前記ディスプレイに対して前記傾きより大きく傾いている第２の映像を生成する生成手段と、
前記第２の映像を前記ディスプレイに表示させる制御をする制御手段として機能させるためのプログラム。
【請求項１５】
コンピュータを、
ディスプレイに対面している被写体を少なくとも１つの撮像装置で撮像した、少なくとも１つの映像を取得する映像取得手段と、
前記ディスプレイに対する前記被写体の傾きを、前記映像取得手段で取得した映像のうちの第１の映像における前記被写体の視線の情報から取得する傾き取得手段と、
前記被写体が前記ディスプレイに対して前記傾きより大きく傾いている第２の映像を生成する生成手段と、
前記第２の映像を前記ディスプレイに表示させる制御をする制御手段として機能させるためのプログラム。
【請求項１６】
ディスプレイと、
前記ディスプレイに対面している被写体を撮像する少なくとも１つの撮像装置と、
映像処理装置と、から構成される映像処理システムであって、
前記映像処理装置は、
前記少なくとも１つの撮像装置から少なくとも１つの映像を取得する映像取得手段と、
前記ディスプレイに対する前記被写体の傾きを、前記映像取得手段で取得した映像のうちの第１の映像における前記被写体の顔画像の情報から取得する傾き取得手段と、
前記被写体が前記ディスプレイに対して前記傾きより大きく傾いている第２の映像を生成する生成手段と、
前記第２の映像を前記ディスプレイに表示させる制御をする制御手段とを備えることを特徴とする映像処理システム。
【請求項１７】
ディスプレイと、
前記ディスプレイに対面している被写体を撮像する少なくとも１つの撮像装置と、
映像処理装置とから構成される映像処理システムであって、
前記映像処理装置は、
前記少なくとも１つの撮像装置から少なくとも１つの映像を取得する映像取得手段と、
前記ディスプレイに対する前記被写体の傾きを、前記映像取得手段で取得した映像のうちの第１の映像における前記被写体の視線の情報から取得する傾き取得手段と、
前記被写体が前記ディスプレイに対して前記傾きより大きく傾いている第２の映像を生成する生成手段と、
前記第２の映像を前記ディスプレイに表示させる制御をする制御手段とを備えることを特徴とする映像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラとディスプレイとを用いて鏡の機能を提供する映像処理方法に関する。
【背景技術】
【０００２】
カメラやディスプレイは低価格化・小型化・軽量化に伴って広範に普及し、利用目的も多様化している。その一例として、鏡の機能を、カメラとディスプレイとで代替する技術が登場している。
【０００３】
例えば、スマートフォンにおいては、ユーザに対して、ディスプレイと同じ向きに設置されているカメラ（所謂、自分撮り用のインカメラ）で撮影した映像をディスプレイに表示する手鏡アプリケーションが数多く存在する。特許文献１では、インカメラの撮影の対象となった人物とカメラとの間の距離が閾値以下であれば、画像データの左右を反転した鏡像を生成して表示し、距離が閾値を超えていれば、画像データの左右を反転させないで表示している。撮影の対象となった人物の正面の画像を、鏡像として表示するときと撮像画像そのまま表示するときとで切り替えて、違和感なく自然に表示する工夫をしている。
【０００４】
また、非特許文献１においては、従来の鏡に相当する機能をカメラとディスプレイで実現した電脳化粧鏡が提案されている。これは、単に人物の鏡像を表示するだけでなく、化粧の仕方のヒントを表示するなど、従来の鏡には無い機能性を持たせることで、鏡の利便性を向上させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２３６２５２号公報
【特許文献２】特開２００９−１４０４２３号公報
【特許文献３】特開平１１−２１３１３２号公報
【非特許文献１】Ｅｒｉｋｏ  Ｉｗａｂｕｃｈｉ，  Ｍａｋｉ  Ｎａｋａｇａｗａ，  ａｎｄ  Ｉｔｉｒｏ  Ｓｉｉｏ．  ”Ｓｍａｒｔ  Ｍａｋｅｕｐ  Ｍｉｒｒｏｒ：  Ｃｏｍｐｕｔｅｒ−Ａｕｇｍｅｎｔｅｄ  Ｍｉｒｒｏｒ  ｔｏ  Ａｉｄ  Ｍａｋｅｕｐ  Ａｐｐｌｉｃａｔｉｏｎ．”  Ｈｕｍａｎ−Ｃｏｍｐｕｔｅｒ  Ｉｎｔｅｒａｃｔｉｏｎ  ２００９
【発明の概要】
【発明が解決しようとする課題】
【０００６】
鏡の前で化粧や整髪をする際に、ユーザは顔や体の正面だけではなく、側面や背面の姿も鏡に映して確認を行う。それには、側面や背面を鏡に正対させて映す必要があるため、必然的に顔や体を捻じり視線だけを鏡面に向けることになる。その体勢で化粧をしたり服を直したりするのは身体的に負荷が大きい。
【０００７】
本発明は上記の課題に鑑みてなされたものであり、顔や体の正面以外を鏡に映したいときのユーザの身体的な負荷を減らす映像処理装置を提供することを目的とする。また、その方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る映像処理装置は以下の構成を備える。即ち、ディスプレイに対面している被写体を少なくとも１つの撮像装置が撮像した、少なくとも１つの映像を取得する映像取得手段と、前記ディスプレイに対する前記被写体の傾きを、前記映像取得手段で取得した映像のうちの第１の映像における前記被写体の顔画像の情報から取得する傾き取得手段と、前記被写体が前記ディスプレイに対して前記傾きより大きく傾いている第２の映像を生成する生成手段と、前記第２の映像を前記ディスプレイに表示させる制御をする制御手段。
【発明の効果】
【０００９】
ディスプレイに対する被写体の傾きを増幅させた映像を生成して、ディスプレイに表示させることにより、顔や体の正面以外を鏡に映したいときにユーザの身体的な負荷を減らすことができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１における鏡システムの構成図である
【図２】実施形態１における映像処理装置の機能モジュール構成図である
【図３】実施形態１における被写体傾き取得部の機能モジュール構成図である
【図４】実施形態１における表示映像生成部の機能モジュール構成図である
【図５】実施形態１における映像処理装置の処理手順を説明するフローチャートである
【図６】実施形態１における顔中心線検出部の処理の説明図である
【図７】実施形態１における顔傾き計測部の処理の説明図である
【図８】実施形態２における表示映像生成部の機能モジュール構成図である
【図９】実施形態２における表示映像傾き算出部の処理の説明図である
【図１０】実施形態３における表示制御部の機能モジュール構成図である
【図１１】実施形態３における表示映像の表示例である
【図１２】本実施形態１−３の鏡システムのハードウェア構成図である
【発明を実施するための形態】
【００１１】
以下、図を参照しながら本発明を実施する形態を説明する。
【００１２】
＜実施形態１＞
本発明の実施形態１である鏡の機能を実現するための、カメラ（撮像装置）とディスプレイ（表示装置）と映像処理装置とからなる映像処理システム（以下、「鏡システム」とも記載する。）について説明する。
【００１３】
本システムは、ユーザの映像をカメラで撮影する。そして、リアルタイムに、カメラで撮影したユーザの映像をディスプレイに表示することで鏡としての機能を提供する。また、ユーザの姿勢の傾きに応じて、ディスプレイに表示する表示映像の傾きをより大きく増大させることにより視認性を向上させた鏡の機能を提供するものである。ユーザの姿勢の傾きから、ユーザの意図を推定して、ディスプレイに表示する表示映像を生成する。
【００１４】
図１は本鏡システムの構成の説明図である。
【００１５】
メインカメラ１０１、サブカメラ１０２、１０３、ディスプレイ１０４、映像処理装置１０５、ネットワーク１０６を備える。
【００１６】
メインカメラ１０１は、ディスプレイに対面している被写体の正面映像を撮影する。本システムでは、メインカメラ１０１で撮影した映像を用いて、ディスプレイ１０４に対する被写体の傾きを計測する。それゆえ、メインカメラ１０１はディスプレイ１０４の中心線上に設置され、なおかつディスプレイ１０４に対するメインカメラ１０１の設置位置や設置角度は予め定められているものとする。なお、図に示すようにディスプレイ１０４上部に設置した場合、厳密な被写体の正面映像ではなく斜め上からの歪んだ映像が撮影されることになるが、この歪みがあることは公知なので、以降、説明を省略する。サブカメラ１０２、１０３はディスプレイ１０４の両端に設置され、被写体の側面映像を撮影する。ただし、被写体を真横から撮影するわけではなく、メインカメラ１０１との比較で側面寄りの映像を撮影するものである。
【００１７】
ディスプレイ１０４はメインカメラ１０１およびサブカメラ１０２，１０３で撮影した映像を表示する。ここで、各カメラ１０１−１０３は動画撮影用のカメラであり、ディスプレイ１０４には撮影した動画がリアルタイムに表示されるものとする。
【００１８】
映像処理装置１０５は各カメラが撮影した映像を用いて、ディスプレイ１０４に表示する映像を生成する。また、カメラ１０１およびディスプレイ１０４の制御を行う。映像処理装置１０５とメインカメラ１０１、サブカメラ１０２，１０３、ディスプレイ１０４とは、それぞれネットワーク１０６を介して接続される。
【００１９】
ネットワーク１０６は映像データと制御データの送受信を行う。本システムでは一般的なＴＣＰ／ＩＰネットワークを用いる場合を例に説明するが、通信手段はこれに限られない。
【００２０】
図２は映像処理装置１０５の機能モジュール構成図である。
【００２１】
カメラ接続部２０１はメインカメラ１０１およびサブカメラ１０２、１０３とのインタフェースである。ネットワーク１０６を介してカメラ１０１−１０３と接続し、カメラ１０１−１０３から映像データを受信してカメラ制御部２０２に提供する機能（映像取得機能）と、カメラ制御部２０２からカメラ制御データを受け取ってカメラ向けに送信する機能を有する。本鏡システムでは、映像データの形式としてはＭＰＥＧを用い、またカメラ制御データの形式としてはＯＮＶＩＦを用いるが、他の形式を用いても実施可能である。
【００２２】
カメラ制御部２０２は、メインカメラ１０１およびサブカメラ１０２，１０３の撮影動作の制御と、映像データの復号化等の処理を行うモジュールである。
【００２３】
被写体傾き取得部２０３は、ディスプレイ１０４に対する被写体の傾きを計測するモジュールである。カメラ接続部２０２を介して取得した画像（第１の画像）を解析する。尚、カメラ側で画像を解析して計測した、ディスプレイに対する被写体の傾きを映像処理装置１０５が取得しても良い。一般に物体の傾きは直交する３軸に関する回転角で表されるものであるが、ここでは説明を簡単にするため被写体の頭部の垂直軸まわりの回転角のみを用いることとする。また、前提として被写体の頭部の垂直軸とディスプレイ１０４の垂直方向は常に一致しているものとする。
【００２４】
表示映像傾き算出部２０４は、被写体傾き取得部２０３で計測された被写体の傾きに基づいてディスプレイ１０４に表示する被写体の表示映像の傾き角を算出するモジュールである。本システムの表示映像傾き算出部２０４は、被写体の傾きよりも被写体の表示映像の傾きをより大きく増大させるものであるとする。すなわち、本モジュールは被写体の傾きθに対して、φ＞θなる表示映像の傾きφを算出する。
【００２５】
表示映像生成部２０５は、表示映像傾き算出部２０４が算出した表示映像の傾きに基づいて、メインカメラ１０１とサブカメラ１０２，１０３が撮影した映像を用いて表示映像（第２の画像）を生成するモジュールである。
【００２６】
本実施形態では、動画を撮影・表示して、鏡の機能を実現している。もちろん動画に限らず、静止画を表示して、鏡の機能を実現しても良い。ディスプレイに写る映像を静止させることで映像中の確認したい対象部分を特定して視認し易くなる場合に有効である。静止画を表示する場合には、撮影のタイミングをユーザが指示する。鏡に映る静止画を動画に切り替えるときには、静止画の表示を終了する指示をユーザが行う。
【００２７】
表示制御部２０６はディスプレイ１０４の表示を制御するモジュールである。
【００２８】
ディスプレイ接続部２０７はディスプレイ１０４とのインタフェースである。ネットワーク１０６を介してディスプレイ１０４と接続し、表示映像データやディスプレイ制御データをディスプレイ１０４向けに送信する機能を有する。
【００２９】
記憶装置２０８は処理中の各種データを記録する。
図３は被写体傾き取得部２０３の機能モジュール構成図である。
【００３０】
被写体顔領域抽出部３０１は撮影映像から被写体の顔領域を識別して抽出し、顔画像データを生成するモジュールである。顔領域の抽出には種々の既存技術が存在し、任意の手法を用いて実現が可能である。
【００３１】
顔中心線検出部３０２は、被写体顔領域抽出部３０１で抽出した被写体の顔の中心線を検出するモジュールである。ここで、顔の中心線を検出する手法としては、例えば、特許文献２で開示されている手法を用いることが可能である。顔の中心線のことを正中線とも呼ぶ。
【００３２】
顔傾き計測部３０３は、ディスプレイ１０４に対する被写体の顔の傾きを計測するモジュールである。前述したように、本システムでは被写体の頭部の垂直軸周りの回転角のみを傾きとして用いる。顔傾き計測部３０３は、被写体顔領域抽出部３０１が抽出した顔領域の中央を通る中心線と、顔中心線検出部３０２が検出した顔中心線の間の距離ｄ（図７を用いて後述する）により、顔の回転角を計測する。
【００３３】
図４は表示映像生成部２０５の機能モジュール構成図である。
被写体顔領域抽出部４０１は被写体顔領域抽出部３０１と同様である。
【００３４】
映像合成部４０２は、メインカメラおよびサブカメラの１フレーム分の画像データから、所望する傾き角度をもった被写体映像を生成するモジュールである。ここで、複数の顔画像データから任意角度の顔画像データを生成する手法としては、例えば、特許文献３で開示されている手法を用いることが可能である。
【００３５】
図１２は、本実施形態の鏡システムのハードウェア構成図である。ＣＰＵ１２０１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）および各種アプリケーションプログラムを実行し、コンピュータ装置各部の制御を行う。ＲＯＭ１２０２は、ＣＰＵ１２０１が実行するプログラムや演算用のパラメタのうちの固定的なデータを格納する。ＲＡＭ１２０３は、ＣＰＵ１２０１の作業領域やデータの一時記憶領域を提供する。ＲＯＭ１２０２およびＲＡＭ１２０３、バス１２０４を介してＣＰＵ１２０１に接続される。キーボードや、カメラ１０１〜１０３などの入力装置１２０５、ＣＲＴ、液晶ディスプレイ１０４などの表示装置１２０６、ハードディスク装置、ＭＯ、ＣＤ−ＲＯＭ等の外部記憶装置１２０７は、インタフェース１２０８を介してバス１２０４に接続されている。また、バス１２０４は通信部１２０９を介してネットワークと接続される。図１に示すように、映像処理装置１０５は、カメラ１０１〜１０３、ディスプレイ１０４と分離した単体の装置として本実施形態では説明する。もちろん、図１の構成に限らず、映像処理装置がカメラ、ディスプレイを備える構成としてもよい。
【００３６】
引き続いて、本鏡システムにおける表示映像の生成処理について図５〜図７を参照して詳しく説明する。なお、以下の各処理に先立って、全てのカメラおよびディスプレイは映像処理装置とのＴＣＰ／ＩＰ接続を確立し、相互に通信可能な状態になっているものとする。
【００３７】
図５は映像処理装置１０５の処理手順を説明するフローチャートである。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
【００３８】
まず、カメラ接続部２０１がメインカメラ１０１からデータパケットを受信する（ステップＳ５０１）。ＭＰＥＧ動画１フレーム分のデータパケットを受信したら（ステップＳ５０２）、ＭＰＥＧデータを再構成してカメラ制御部２０２に渡す（ステップＳ５０３）。カメラ制御部２０２は、カメラ接続部２０１から受け取ったＭＰＥＧデータを復号化してフレーム画像データを生成し（ステップＳ５０４）、これを被写体傾き取得部２０３に引き渡す。被写体傾き取得部２０３は受け取ったフレーム画像データから被写体の傾きを計測する。まず、被写体顔領域抽出部３０１を使って画像中の顔領域を抽出し（ステップＳ５０５）、顔領域画像データとして記憶装置２０８に記録する（ステップＳ５０６）。続いて顔領域に外接する矩形領域を求め、その座標を記録する（ステップＳ５０７）。次に、顔中心線検出部３０２を使って顔の中心線を検出し、その座標を記録する（ステップＳ５０８）。図６に顔領域と顔の中心線の座標の例を示す。この例では水平方向の座標のみを表しており、矩形左端座標６０１が（３０，０）、矩形右端座標６０２が（５０，０）、顔中心線座標６０３が（４２，０）となっている。以上の座標が記録できたら、続いて顔傾き計測部３０３を使って顔の傾きを計測する。顔傾き計測部３０３は、まずステップＳ５０７で記録した矩形領域の幅Ｗおよび中央座標を求め、ついで中央座標とステップＳ５０８で求めた顔中心線の座標の差Ｄを計算する（ステップＳ５０９）。この例ではＷ＝２０、Ｄ＝２となる。次に、これを被写体の傾き角θに変換する（ステップＳ５１０）。
【００３９】
図７にステップＳ５０９、ステップＳ５１０の処理方法を示す。ここでは、説明を簡単にするために、被写体の頭部は円筒形であり、顔領域の両端がなす角は１８０度（すなわち、ディスプレイ側の顔領域は半円）、頭部の回転軸は円筒の中心と一致しているものとする。図７において、太線で示す部分が顔領域である。また、顔領域端の座標は、メインカメラ１０１で撮影可能な顔領域の最小値と最大値に対応する。図７に示す状態では、左端の座標は顔領域の左端座標に一致し、右端の座標は頭部の右端座標と一致している。頭部の円筒半径をｒとしている。この前提の下、ＷとＤとθは、以下の式１の関係を満たす。ただし、本システムでは被写体の傾きの計測にメインカメラの映像だけを用いるとしたのでユーザが真横を向いて顔中心線が計測できなくなると傾きが算出できない。そのため、θの計測限界は±９０度とする。
【００４０】
（ｃｏｓθ＋ｓｉｎθ）／（１  ＋  ｃｏｓθ）  ＝  （Ｗ  ＋  ２ｄ）
／２Ｗ    ・・・（１）
−９０  ＜  θ  ＜  ９０
図６、７に示すＷ＝２０、Ｄ＝２の状態では、式１よりｃｏｓθ≒０．８１１１９となり、θ＝３５．４７度が算出される。
【００４１】
式１に基づき｜θ｜＞０なる被写体の傾き角θが計測できたら、次に表示映像傾き算出部２０４が生成すべき表示映像の傾きを算出する（ステップＳ５１１，  ステップＳ５１２）。前述の通り、本システムの表示映像傾き算出部２０４は表示映像の傾きをより大きく増大させるために被写体の傾き角θに対しφ＞θなる表示映像の傾き角φを算出する。ここでは単純にφ＝２θ（２倍傾いている）の場合を例に説明するが、これに限定されるものではない。Ｎ倍であれば良い。図６の状態では、φ＝２θ＝７０．９度が算出される。なお、θの計測限界が９０度であるので、φの上限は１８０度である。表示映像の傾きを算出したら、次に表示映像生成部２０５がディスプレイに表示する被写体映像を生成する。まず、表示映像生成部２０５はカメラ制御部２０２を介して、サブカメラが撮影した映像を取得する（ステップＳ５１３）。カメラ制御部２０２はステップＳ５０１〜ステップＳ５０２と同様の手順でサブカメラから映像データを受信してフレーム画像データを生成する。次に表示映像生成部２０５は被写体顔領域抽出部４０１を使って、カメラ制御部２０２が生成したフレーム画像データから被写体の顔領域画像データを抽出する（ステップＳ５１４）。次に、この顔領域画像データと、ステップＳ５０６で記録したメインカメラから抽出した顔領域画像データと、ステップＳ５１２で算出した表示映像の傾き角φを用いて、表示用の被写体画像データを合成する（ステップＳ５１５）。最後に表示制御部２０６が被写体画像データやディスプレイ制御データをデータパケットに加工し、ディスプレイ接続部２０７を介してディスプレイ向けにパケットを送信する（ステップＳ５１６）。ディスプレイと映像処理装置１０５とが一体型の場合は、ステップＳ５１５で合成した画像データを、ディスプレイに表示させる制御を行う。なお、ステップＳ５１０で傾き検出されたθがθ≦０の場合はサブカメラの映像は用いず、φ＝０としてステップＳ５１５の処理を実行する。
【００４２】
以上の処理をメインカメラ１０１から映像を受信する毎に繰り返し実行することにより、本鏡システムは被写体映像をディスプレイ１０４に表示する。
【００４３】
以上、本実施形態における映像処理装置１０５の処理についての説明を行った。
【００４４】
以上の説明では、被写体の傾きを頭部の垂直軸まわりの回転角を用いて説明したが、直交３軸の周りの回転を用いて３次元の傾きを計測して、ディスプレイに対する被写体の傾きを取得しても良い。各軸に関する被写体の傾き計測および表示映像の傾き算出は独立して実行することが可能であるため、前述の方法を軸毎に実施すれば３次元の傾きを考慮したシステムを構築することが可能である。
【００４５】
本実施形態では、顔の傾き角を算出する際に顔の中心線を用いたが、これ以外の方法を用いてもよい。例えば顔の各パーツの左右の大きさの比を用いる方法や、顔の奥行き方向を計測する方法などを用いて顔の傾きを計測しても良い。顔画像から得られる情報から顔の傾きを計測する。そのための装置や手段を含んだ実施形態も本発明の範疇に含まれる。
【００４６】
顔の傾きについて、メインカメラ１０１で撮影した映像だけを用いて顔の傾きを計測していたが、サブカメラも含めた複数の映像から傾きを計測する方法を用いても良い。その場合、複数の映像を用いて位置のキャリブレーションを行うことが可能であるので、メインカメラをディスプレイの中心に設置するとした前述の制限は必要なくなる。
【００４７】
表示映像の傾き角φの算出方法はφ＝２θで固定としていたが、φの算出方法はこれに限定されるものではない。例えば、θの大きさに応じて加速度的にφを大きくしたい場合は、θの２次関数や指数関数を用いることができる。また、別の例として被写体の動く速さに応じてφを算出する場合は、θの時間微分値を用いることができる。これら以外にもθを利用してφを算出する任意の方法を用いて本発明は実施可能である。さらに、被写体の動きに対して表示映像の傾き角が過敏に反応するのを抑制する方法として、θの変動量に対するφの変動量を、θの絶対値の大きさに反比例するように求める方法も用いることが可能である。具体例を示すと、θ＝１０°の場合はθの変動量が１°を超えた時にφを再計算し、θ＝３０°の場合はθの変動量が３°を超えた時にφを再計算する。この方法によれば、顔の傾きが大きい時ほど表示映像が安定するため、視認性の改善に効果が見込める。
【００４８】
ディスプレイ１０４に表示する被写体の背景として表示する映像については言及しなかったが、例えばメインカメラ１０１の被写体以外の領域の映像をそのまま表示するといった方法を用いて、背景映像を表示することも可能である。そのための装置や手段を含んだ実施形態も本発明の範疇に含まれる。
【００４９】
実施形態１の処理の説明は以上である。
【００５０】
以上述べた様に、本実施形態における鏡システムは、化粧や整髪を行うユーザの頭部の傾きを計測し、傾きをより大きく増大させた映像を表示させることで、側面や背面をディスプレイに映す際にユーザが顔や体を捻る量を少なくすることが可能となる。同時に、視線の傾斜量を抑制することも可能となる。特に、ディスプレイの左右に設置したサブカメラを用いて斜め方向から撮影した映像を用いることにより、少ない捻れ量でも側面や背面を映すことが可能となる。それにより、ユーザは鏡の機能を持つディスプレイと、正対した状態に近い楽な姿勢で、化粧や整髪を行える効果が得られる。また鏡面（ディスプレイ面）の方向に視線を向けやすくなるため、視認性の向上にも効果が期待できる。
【００５１】
また、本実施形態と同等の方法で実施可能なその他のシステムとしては、背面の閲覧を容易にする試着室システムや、顕微鏡手術や遠隔手術における術者の視線移動補助システムがある。さらには、運転者の横や後方の目視確認を補助する車載カメラシステム、会議参加者の顔映像の方向を一致させるＴＶ会議システムなども想定される。
【００５２】
＜実施形態２＞
以上の実施形態においては、表示映像の傾きを算出する際にユーザの視線方向については考慮していなかった。本実施形態は、ユーザの視線方向を利用して表示映像の傾きの算出値を補正するものである。
【００５３】
本実施形態のシステム構成は実施形態１に準じるので説明は省略する。
【００５４】
図８は本実施形態における表示映像傾き算出部２０４の機能モジュール構成図である。閲覧者視線計測部８０１、視線位置算出部８０２、傾き算出部８０３を有する。また、本実施形態のシステムは実施形態１で説明した鏡システムを前提として、以下の説明では被写体と閲覧者は同一であるものとする。
【００５５】
図９を参照して本実施形態の表示映像傾き算出処理を説明する。
【００５６】
本実施形態では、前述のステップＳ５１２の処理において、表示映像傾き算出部２０４がステップＳ５０６で記録された顔領域画像データを取得する。続いて、閲覧者視線計測部８０１が顔領域画像データから閲覧者の視線方向９０１を算出する。次に、視線位置算出部８０２が顔領域外接矩形の座標と視線方向から、ディスプレイ上で視線が当っている個所の座標として視線位置座標９０２を算出する。次に、視線位置座標と外接矩形の中央座標との差ｄと、矩形領域の幅Ｗとの比ｒを算出する。図９の状態において、ｄ＝＋５、Ｗ＝２０、ｒ＝０．２５である。最後に、傾き算出部８０３が視線方向を用いずに算出した表示映像の傾き角φに対し、
φ´  ＝  （１＋ｒ）φ    ・・・（２）
として新たな表示映像の傾き角  φ´  を算出する。
【００５７】
実施形態１の説明で述べたように、Ｗ＝２０の状態においてφ＝７０．９度となるので、式２によりφ´＝８８．６度となる。
【００５８】
本実施形態によれば、ユーザの視線方向に合わせて表示映像の傾きをより大きく増大あるいは低減させることが可能となり、視認性の向上に効果が期待できる。特に、頭頂部を表示するような、顔を上下方向に傾ける動作が必要な場合において、視線を縦方向に移動させることに起因して視認性が大きく劣化するのを防ぐのに効果的である。
【００５９】
＜実施形態３＞
以上の実施形態において、被写体の表示映像はディスプレイの中心に表示されることを前提としていた。本実施形態は、表示領域の大きなディスプレイを用いる際に、ユーザの視線方向に応じて被写体の表示映像の表示位置を変化させるものである。
【００６０】
本実施形態のシステム構成は実施形態１に準じるので説明は省略する。
【００６１】
図１０は本実施形態における表示制御部２０６の機能モジュール構成図である。実施形態２と同様の閲覧者視線計測部８０１と視線位置算出部８０２、および表示位置算出部１００１、制御部１００２を有する。
【００６２】
視線位置座標の算出方法の説明は実施形態２において前述したのでここでは省略する。表示位置算出部１００１は算出された視線位置座標と顔領域外接矩形の中央座標が一致する表示位置を算出する。制御部１００２は算出した表示位置に表示映像が表示されるようディスプレイの表示を制御する。図１１に本実施形態の被写体の表示映像の例を示す。
【００６３】
本実施形態によれば、ユーザが顔や目を向けている方向に被写体の表示映像が表示されるため、視線を傾ける量を少なくすることが可能となり、視認性の向上に効果が期待できる。特に、試着室や大型のゲーム機のように、閉空間においてユーザを囲むようにディスプレイを設置可能なシステムに適用した際に効果的である。
【００６４】
＜実施形態４＞
実施形態１では、複数のカメラで撮影した複数の映像から表示映像を生成する方法を用いた。本実施形態は、可動式のカメラを用いて表示させたい映像を撮影可能な位置にカメラを移動して撮影を行うものである。
【００６５】
本実施形態のカメラは駆動装置を包含し、またカメラ制御部２０２は、カメラの位置制御のためのＯＮＶＩＦデータを管理する機能を有する。
【００６６】
前述の方法で被写体の傾き角θと表示映像の傾き角φを算出する。カメラ制御部２０２はθ＋ξ＝φを満たす撮影角度ξを算出し、当該撮影角度の位置までカメラを移動する指令を表わすＯＮＶＩＦデータを生成し、カメラ接続部２０１を介してＯＮＶＩＦデータをカメラに送信する。
【００６７】
また、本実施形態の表示映像生成部２０５は表示映像の合成は行わず、移動後の撮像位置において被写体を撮像したカメラから取得した映像をそのまま用いる。
【００６８】
本実施形態によれば、表示映像を合成する処理が不要で、撮影したままの映像を表示できるため、計算機資源を省力化することが可能となる。また映像処理が簡便であるため映像品質の向上効果も期待できる。
【００６９】
＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７０】
２０１  カメラ接続部
２０２  カメラ制御部
２０３  被写体傾き取得部
２０４  表示映像傾き算出部
２０５  表示映像生成部
２０６  表示制御部
２０７  ディスプレイ接続部
２０８  記憶装置
【図１】
2017022622.tif 000003
【図２】
2017022622.tif 000004
【図３】
2017022622.tif 000005
【図４】
2017022622.tif 000006
【図５】
2017022622.tif 000007
【図６】
2017022622.tif 000008
【図７】
2017022622.tif 000009
【図８】
2017022622.tif 000010
【図９】
2017022622.tif 000011
【図１０】
2017022622.tif 000012
【図１１】
2017022622.tif 000013
【図１２】
2017022622.tif 000014