(57)【要約】【課題】実際の鏡に映し出した像と同じように画像表示を行うことができ、しかも画像の加工、アレンジ、伝送を行うことができる電子鏡システムを提供すること。【解決手段】撮像した画像を表示する表示手段であるディスプレイ１１と、被撮像体である利用者１４を撮像する撮像手段である２つのカメラ１２，１３と、カメラ１２，１３で撮像した画像を用いて、利用者１４が正面を向いた画像を作成し、この合成画像をディスプレイ１１に表示させる制御部１５とから主に構成されている。【選択図】    図１
2004297734.tif 000002
【特許請求の範囲】
【請求項１】
被撮像体の正面に配置される表示手段と、
前記表示手段の配置位置以外の位置に設置され、前記被撮像体をそれぞれ異なる視点から撮像する少なくとも２つの撮像手段と、
前記撮像手段によりそれぞれ撮像された画像から、前記画像における視点と異なる視点の前記被撮像体の画像を前記表示手段で表示させる制御手段とを具備することを特徴とする電子鏡システム。
【請求項２】
前記制御手段は、前記表示手段の両側近傍に配置した２つの撮像手段により撮像した異なる視点の前記被撮像体の画像を用いて、正面を向いた前記被撮像体の画像を得ることを特徴とする請求項１記載の電子鏡システム。
【請求項３】
前記制御手段は、撮像した画像及び／又は得られた画像に画像処理を施す画像処理手段を有することを特徴とする請求項１又は請求項２記載の電子鏡システム。
【請求項４】
前記制御手段は、画像を他の装置に伝送する通信制御手段を有することを特徴とする請求項１から請求項３のいずれかに記載の電子鏡システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像した画像を電子化して、被撮像体の前に位置する表示装置に鏡のように表示させる電子鏡システムに関する。
【０００２】
【従来の技術】
従来より、人の顔を撮像し、撮像した画像をディスプレイに表示させる電子鏡システムがある。このシステムは、例えば、特開２００１−２５００４公報に記載されている。この従来の電子鏡システムは、図５に示すように、被撮像体である利用者５１の前と背後にそれぞれカメラ５２，５３を設置し、それぞれのカメラ５２，５３で撮像した画像をモニター５４に表示させる。これらのカメラ５２，５３の操作は、利用者５１の足元のリモートコントローラ５５により行う。これにより、カメラ５２，５３のズーム、仰角、水平角の操作を行うことができるようになっている。モニター５４は、２画面に分割されており、それぞれのカメラ５２，５３で撮像した画像を分割された画面に個々に表示するようになっている。
また、特開２００１−３３１５４９公報には、利用者の顔をカメラにより撮像し、この撮像した画像の瞳孔間の距離に応じてフレーム画像の大きさを合わせる技術が開示されている。
【０００３】
【特許文献】
特開２００１−２５００４公報
【特許文献】
特開２００１−３３１５４９公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来技術においては、カメラにより撮像された画像のみを表示することしかできず、また、撮像した画像を加工したりアレンジしたり、さらに伝送することはできない。
【０００５】
本発明はかかる点に鑑みてなされたものであり、実際の鏡に映し出した像と同じように画像表示を行うことができ、しかも画像の加工、アレンジ、伝送を行うことができる電子鏡システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の電子鏡システムは、被撮像体の正面に配置した表示手段（ディスプレイ）と、表示手段の配置位置以外の位置に設置され、前記被撮像体をそれぞれ異なる視点から撮像する少なくとも２つの撮像手段（カメラ）と、撮像手段によりそれぞれ撮像された画像から前記撮像における視点と異なる視点の前記被撮像体の画像を前記表示手段で表示させる制御手段（制御部）と、を具備することを特徴とする。
この構成によれば、さまざまな視点における画像を作成することができ、種々の角度の画像を表示させることができる。
【０００７】
本発明の電子鏡システムにおいては、制御手段は、前記表示手段の両側近傍に配置した２つの撮像手段により撮像した異なる視点の前記被撮像体の画像を用いて、正面を向いた前記被撮像体の画像を得ることが好ましい。
この構成によれば、カメラを被撮像体の正面に配置しなくても、被撮像体の正面の画像を表示することが可能となり、鏡として機能させることが可能となる。
【０００８】
本発明の電子鏡システムにおいては、前記制御手段は、撮像した画像及び／又は得られた画像に画像処理を施す画像処理手段を有することが好ましい。
この構成によれば、被撮像体を撮像した画像及び／又は撮像画像を用いて得られた画像を任意に加工、アレンジすることが可能となる。
【０００９】
本発明の電子鏡システムにおいては、前記制御手段は、画像を他の装置に伝送する通信制御手段（通信制御部）を有することが好ましい。
この構成によれば、撮像した画像や加工した画像を自由に他の装置に伝送することが可能となる。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
本実施の形態においては、表示手段の両側に設置された２つのカメラにより撮像した画像を用いて、利用者が正面を向いた状態の画像を作成し、その得られた画像を表示手段に表示させる場合について説明する。なお、カメラの台数は２台に限定されず、３台以上であっても良く、カメラを設置する位置についても、表示手段の両側に限定されない。
【００１１】
図１は、本発明の実施の形態に係る電子鏡システムの概略構成を示す図である。図１に示すシステムは、撮像した画像を表示する表示手段であるディスプレイ１１と、被撮像体である利用者１４を撮像する撮像手段である２つのカメラ１２，１３と、カメラ１２，１３で撮像した画像を用いて、利用者１４が正面を向いた画像を作成し、この画像をディスプレイ１１に表示させる制御部１５とから主に構成されている。
【００１２】
ディスプレイ１１としては、発光型や受光型の表示装置を挙げることができる。例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）デバイス、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）デバイス、電導高分子表示デバイスなどが挙げられる。
【００１３】
カメラ１２としては、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｉｏｄｅ）カメラを挙げることができるが、撮像した画像をディジタル化できるものであれば、特にＣＣＤカメラに限定されない。
【００１４】
制御部１５は、詳細には、図２に示す構成を有する。図２は、図１に示す電子鏡システムの制御部１５の内部構成を示すブロック図である。この制御部１５は、カメラ１２，１３で撮像された画像を取り込む画像取得部１５１と、取り込んだ画像に対して所定の画像処理を行う画像処理部１５２と、取り込んだ画像を格納する画像格納部１５３と、表示すべき画像に対応して表示を制御する表示制御部１５４と、画像を他の装置との間で送受信する通信制御部１５５とを含む。
上記制御部１５においては、カメラ１２，１３で撮像された画像は、画像取得部１５１に送られ、そのまま画像処理部１５２に送られるか、あるいは画像格納部１５３に送られ、格納される。画像格納部１５３は、画像取得部１５１で取得された画像を格納し、必要に応じて画像処理部１５２に出力する。
【００１５】
画像処理部１５２は、画像格納部１５３又は画像取得部１５１から送られた画像に対して所定の画像処理を行う。この画像処理部１５２には、図３に示すような画像作成を行う構成が含まれる。この画像作成を行う構成は、複数の画像における特徴点を抽出する特徴点抽出部１５２１と、それぞれの画像から抽出された特徴点間の関係を解析し、その解析結果に基づいて立体形状を認識する立体形状認識部１５２２と、認識された立体形状に基づいて目的とする画像を作成する演算部１５２３とを有する。
また、画像処理部１５２では、例えば、被撮像体の画像の色を任意の色に調整する処理、得られた画像を横方向について反転する処理、得られた画像に架空のアイテム（例えば、眼鏡、アクセサリー、衣装）を付加する処理なども適宜行うことができる。これらの画像処理は、例えば、ディスプレイ１１の操作部１１ａ，１１ｂを操作することにより行うことができる。画像処理部１５２で画像処理された画像又は画像取得部１５１で取得されたままの画像は、表示制御部１５４に出力され、必要に応じて通信制御部１５５に出力される。
【００１６】
表示制御部１５４は、画像処理部１５２から出力された画像に応じてディスプレイ１１の駆動を制御する。すなわち、表示すべき画像に基づいて、ディスプレイ１１の各画素の駆動制御を行う。
【００１７】
通信制御部１５５は、画像処理部１５２で画像処理された画像やカメラ１２，１３で撮像された画像や画像処理部１５２で画像処理及び／又は作成された画像を他の装置に送る制御を行う。例えば、画像をプリンタから出力する場合には、画像をプリンタに伝送し、画像を他の場所に送信する場合には、画像を回線を通じて伝送する。伝送形態としては、有線であっても、無線であっても良く、また赤外線やブルートゥースなどを用いても良い。
【００１８】
次に、上記構成を有する電子鏡システムの動作について説明する。
利用者１４は、利用者１４の正面に配置されたディスプレイ１１を見る。このとき、ディスプレイ１１の両側近傍に配置された２つのカメラ１２，１３で利用者１４を撮像する。すなわち、カメラ１２では、利用者１４からみて左側から利用者１４を撮像し、カメラ１３では、利用者１４からみて右側から利用者１４を撮像する。図１に示すように、カメラ１２の視点とカメラ１３の視点は異なるので、図４に示すように、カメラ１２で撮像した画像（図４（ｂ））と、カメラ１３で撮像した画像（図４（ａ））は異なる。
カメラ１２，１３で撮像した画像は、制御部１５の画像取得部１５１で取得され、画像格納部１５３に格納される。画像格納部１５３に格納された画像は、必要に応じて画像処理部１５２において、所定の画像処理が施される。
【００１９】
画像処理部１５２では、まずカメラ１２で撮像した画像（画像１）と、カメラ１３で撮像した画像（画像２）とから利用者１４が正面を向いた画像を作成する。画像処理部１５２は、画像格納部１５２に格納されたカメラ１２で撮像した画像及びカメラ１３で撮像した画像を抽出する。そして、これらの２つの画像に対してビューモーフィングを行う。このビューモーフィングは、視点位置が異なる複数の物体画像に基づいて、画像間の任意の視点位置の物体画像を生成する技術である。この技術は、”Ｖｉｅｗ  Ｍｏｒｐｈｉｎｇ”  １９９６  ＳＩＧＧＲＡＰＨ  Ｓｔｅｖｅｎ  Ｍ．Ｓｅｉｔｚ（ＣＭＵ）などにおいて開示されている技術である。この内容はすべてここに含めておく。
画像処理部１５２でビューモーフィング処理する場合、特徴点抽出部１５２１で画像１及び画像２における特徴点を抽出する。この特徴点は、例えば鼻の頭のように顔の中で一番高い部分などを選択する。そしてこの特徴点は、画像１と画像２で同じ部分とする。
【００２０】
このようにして特徴点を抽出した後に、立体形状認識部１５２２において、利用者１４の立体的形状を認識する。具体的には、画像１と画像２とを比較し、両者の相対位置変化量を求める。この相対位置変化量は、利用者１４とカメラ１２，１３との間の距離に関係するため、この相対位置変化量に基づいて、幾何学的計算処理を行って立体形状を認識する。この立体形状に基づいて、演算部１５２３において画像を作成する。このように、ビューモーフィング処理により、奥行き情報を用いることなく、三次元空間画像を適切に再現する。
【００２１】
上述のようにして作成された画像は、表示制御部１５４に送られると共に、画像格納部１５３に格納される。表示制御部１５４では、作成された画像に対応して画素制御を行って、ディスプレイ１１に画像を表示させる。
このようにして、カメラ１２，１３の視点とは異なる視点からみた画像を作成し、表示することができる。すなわち、図１及び図４に示すように、右側からみた顔の画像（図４（ｂ））と、左側からみた顔の画像（図４（ａ）とから、正面からみた顔の画像（図４（ｃ））を作成して表示することができる。
【００２２】
なお、できるだけ自然な状態の画像を作成するために、例えば、プログラム起動時に画面に上下左右に移動する点を表示し、その点の移動を追ってもらい、その際の利用者をカメラで撮像してその画像をあらかじめ取得しておき、適宜その画像を用いて画像作成を行っても良い。これにより、より自然な画像を得ることが可能となる。
【００２３】
本実施の形態によれば、さまざまな視点における画像を作成することができ、種々の角度の画像を表示させることができ、カメラを被撮像体の正面に配置しなくても、被撮像体の正面の画像を表示することが可能となり、鏡として機能させることが可能となる。
【００２４】
画像処理部１５２で作成した、正面を向いた利用者１４の画像をディスプレイ１１上に表示し、そこで、利用者１４が画像を加工、アレンジする場合には、例えば、ディスプレイ１１の操作部１１ａ，１１ｂを用いて画像処理の指示を行う。なお、この画像処理の指示については、ディスプレイ１１の操作部１１ａ，１１ｂを用いて行っても良く、キーボードによるキー入力、マウスによるドラッグ、電子ペンによるペン入力で行っても良い。
【００２５】
この指示は、画像処理部１５２に送られ、画像処理部１５２は、画像格納部１５３から撮像した画像を抽出し、この画像に所定の画像処理を行う。具体的には、画像処理としては、この画像の顔色や髪色を任意の色に変更したり、この画像に架空のアイテム、例えば眼鏡、アクセサリー、衣装などを付加する処理、あらかじめ画像格納部１５３に格納しておいた他の画像（人物や背景など）とこの画像とを合成する処理、この画像、例えば顔の部位（目、鼻、口、耳、輪郭など）や体の部位（手、足、胸、腹など）を変形する処理などが挙げられる。
【００２６】
このように画像処理された画像が表示制御部１５４の制御により、ディスプレイ１１上に表示される。利用者１４は、この画像を見ながらさらに画像処理の指示を行っても良く、必要に応じて他の装置に伝送しても良い。他の装置に画像を伝送する場合には、通信制御部１５５が他の装置に回線を通じて伝送を行う。例えば、プリンタに画像を伝送してプリントアウトするようにしても良く、インターネットのようなネットワークを介して他の装置（サーバやパーソナルコンピュータなど）に伝送しても良い。これにより、撮像した画像や加工した画像を自由に他の装置に伝送することが可能となる。
【００２７】
このように本実施の形態に係る電子鏡システムは、異なる視点で撮像した画像を用いて、実際の鏡に映し出した像と同じように画像表示を行うことができ、しかも画像の加工、アレンジ、伝送を行うことができる。
【００２８】
このようなシステムにより、例えば、化粧品会社との間で画像の送受信を行って、メイクアップの指導を受けたり、肌の悩みの相談をすることも可能である。また、インターネットショッピングで衣装を試着して合わせることも容易となる。さらに、背景画像と合成することにより、旅行写真なども作成することが可能となる。また、画像解析ソフトを用いて人相占いを行うことも可能となる。
【００２９】
本発明は上記実施の形態に限定されず、種々変更して実施することが可能である。上記実施の形態では、画像が静止画である場合について説明しているが、本発明においては、画像が動画である場合にも適用することができる。
【００３０】
また、上記実施の形態においては、左右の視点から撮像した画像を用いて正面を向いた画像を作成する場合について説明しているが、本発明においては、複数の異なる視点の画像から新しい仮想の画像を作成する場合全般に適用することが可能である。例えば、カメラを利用者の背後にも設置し、そのカメラで撮像した画像も利用することにより、利用者の後姿の画像も作成することができ、これにより髪型のチェックなどを行うことが可能となる。
【００３１】
【発明の効果】
以上説明したように本発明の電子鏡システムは、異なる視点で撮像した画像を用いて、実際の鏡に映し出した像と同じように画像表示を行うことができる。さらに画像処理手段を具備することにより、画像の加工、アレンジ、伝送を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る電子鏡システムの概略構成を示す図である。
【図２】図１に示す電子鏡システムの制御部の内部構成を示すブロック図である。
【図３】図２に示す画像処理部に含まれる処理部を説明するための図である。
【図４】本発明の実施の形態に係る電子鏡システムにより撮像され、合成された画像を示す図である。
【図５】従来の電子鏡システムの概略構成を示す図である。
【符号の説明】
１１  ディスプレイ
１１ａ，１１ｂ  操作部
１２，１３  カメラ
１４  利用者
１５  制御部
１５１  画像取得部
１５２  画像処理部
１５３  画像格納部
１５４  表示制御部
１５５  通信制御部
１５２１  特徴点抽出部
１５２２  立体形状認識部
１５２３  演算部
【図１】
2004297734.tif 000003
【図２】
2004297734.tif 000004
【図３】
2004297734.tif 000005
【図４】
2004297734.tif 000006
【図５】
2004297734.tif 000007