(57)【要約】【課題】ハーフミラーの反射像と表示部に表示されている画像とを重ね合わせた結果が不自然とならない画像表示装置を提供すること。【解決手段】表示制御部１に入力された表示画像データの表示画像範囲が抽出され、この抽出された表示画像範囲の情報が反射率制御部４に送られる。反射率制御部４において、入力された表示画像範囲に対応する部分のハーフミラー３の反射率が制御された後、表示制御部１により表示画像が表示部２に表示される。【選択図】図１
2007279445.tif 000002
【特許請求の範囲】
【請求項１】
表示部の表示面側に反射率可変のハーフミラーを設け、該ハーフミラーによる反射像と前記表示部の表示画像とを重ね合わせて表示する画像表示装置であって、
前記表示部に表示される表示画像に対応する部分の前記ハーフミラーの反射率を制御する反射率制御部を具備することを特徴とする画像表示装置。
【請求項２】
表示部の表示面側に反射率可変のハーフミラーを設け、該ハーフミラーによる反射像と前記表示部の表示画像とを重ね合わせて表示する画像表示装置であって、
前記ハーフミラーに映っている被写体を認識する被写体認識部と、
前記被写体認識部により認識された被写体から、前記ハーフミラーの反射率制御範囲を算出する反射率制御範囲算出部と、
前記反射率制御範囲算出部により算出された反射率制御範囲に対応する部分の前記ハーフミラーの反射率を制御する反射率制御部と、
を具備することを特徴とする画像表示装置。
【請求項３】
前記被写体認識部は、前記ハーフミラーの前面の被写体を検出するセンサ部を含むことを特徴とする請求項２に記載の画像表示装置。
【請求項４】
前記センサ部は、前記ハーフミラーの前面を撮像する撮像部であることを特徴とする請求項３に記載の画像表示装置。
【請求項５】
前記反射率制御範囲算出部は、前記被写体認識部により認識された被写体の範囲と一致する範囲を前記反射率制御範囲として算出することを特徴とする請求項２に記載の画像表示装置。
【請求項６】
前記反射率制御範囲算出部は、前記被写体認識部により認識された被写体の範囲及びその周囲の範囲を前記反射率制御範囲として算出することを特徴とする請求項２に記載の画像表示装置。
【請求項７】
前記反射率制御部は、前記表示画像の範囲よりも前記被写体認識部により認識された被写体の範囲が小さいときに、前記反射率制御範囲において、前記被写体が前記ハーフミラーに映る部分の反射率を制御することを特徴とする請求項２に記載の画像表示装置。
【請求項８】
前記反射率制御部は、前記表示画像の範囲よりも前記被写体認識部により認識された被写体の範囲が小さいときに、前記反射率制御範囲において、前記表示画像が前記ハーフミラーに映る部分の反射率を制御することを特徴とする請求項２に記載の画像表示装置。
【請求項９】
前記反射率制御部は、前記表示画像の範囲と前記被写体認識部により認識された被写体の範囲とがほぼ同一のときに、前記反射率制御範囲において、前記被写体が前記ハーフミラーに映る部分の反射率を制御することを特徴とする請求項２に記載の画像表示装置。
【請求項１０】
前記反射率制御部は、前記表示画像の範囲よりも前記被写体認識部により認識された被写体の範囲が大きいときに、前記反射率制御範囲において、前記被写体が前記ハーフミラーに映る部分の反射率を制御することを特徴とする請求項２に記載の画像表示装置。
【請求項１１】
前記反射率制御部は、前記表示画像の範囲よりも前記被写体認識部により認識された被写体の範囲が大きいときに、前記表示画像が前記ハーフミラーに映る部分の反射率を制御することを特徴とする請求項２に記載の画像表示装置。
【請求項１２】
前記表示部は、前記表示画像の範囲よりも前記被写体認識部により認識された被写体の範囲が大きい部分の背景画像を表示することを特徴とする請求項１１に記載の画像表示装置。
【請求項１３】
前記表示部は、前記表示画像の範囲と前記被写体認識部により認識された被写体の範囲とが異なるときに、前記表示画像の大きさを前記被写体の範囲に近づけるように処理してから表示することを特徴とする請求項２に記載の画像表示装置。
【請求項１４】
前記表示画像を記録している画像記録部を更に具備することを特徴とする請求項１又は２に記載の画像表示装置。
【請求項１５】
前記画像記録部に記録されている表示画像を通信により前記表示部に送る通信部を更に具備することを特徴とする請求項１４に記載の画像表示装置。
【請求項１６】
前記表示画像は、人物像であることを特徴とする請求項１又は２に記載の画像表示装置。
【請求項１７】
前記表示部に表示させる表示画像を選択する表示データ選択部を更に具備し、
前記表示部は、前記表示データ選択部により選択された表示画像を表示することを特徴とする請求項１又は２に記載の画像表示装置。
【請求項１８】
前記表示部は、前記被写体認識部により被写体を認識された被写体と対応関係にある表示画像を選択して表示することを特徴とする請求項２に記載の画像表示装置。
【請求項１９】
時間を検出する時間検出部を更に具備し、
前記表示部は、前記時間検出部によって検出された時間に基づいて前記表示画像を表示することを特徴とする請求項１又は２に記載の画像表示装置。
【請求項２０】
被写体の形状を検出する被写体形状検出部を更に具備し、
前記被写体形状検出部により検出された被写体の形状に近づけるように前記表示画像を処理してから前記表示画像を表示することを特徴とする請求項２に記載の画像表示装置。
【請求項２１】
被写体の視線を検出する視線検出部を更に具備し、
前記表示部は、前記視線検出部により検出された視線の情報を用いて前記表示画像を処理してから前記表示画像を表示することを特徴とする請求項２に記載の画像表示装置。
【請求項２２】
被写体の顔の向きを検出する顔方向検出部を更に具備し、
前記顔方向検出部により検出された顔の向きの情報を用いて前記表示画像を処理してから前記表示画像を表示することを特徴とする請求項１又は２に記載の画像表示装置。
【請求項２３】
被写体の目の位置を検出する目位置検出部を更に具備し、
前記目位置検出部により検出された目の位置の情報を用いて前記表示画像を処理してから前記表示画像を表示することを特徴とする請求項１又は２に記載の画像表示装置。
【請求項２４】
被写体の表情を認識する表情認識部を更に具備し、
前記表情認識部により認識された表情の情報を用いて前記表示画像を処理してから前記表示画像を表示することを特徴とする請求項１又は２に記載の画像表示装置。
【請求項２５】
前記被写体認識部は、前記ハーフミラーに映っている被写体の中で最も近い被写体を前記被写体として認識することを特徴とする請求項２に記載の画像表示装置。
【請求項２６】
前記被写体認識部は、前記ハーフミラーに映っている被写体の中で最も面積の広い被写体を前記被写体として認識することを特徴とする請求項２に記載の画像表示装置。
【請求項２７】
音声を入力するための音声入力部と、
前記音声入力部により入力された音声を認識する音声認識部と、
音声データを生成する音声データ生成部と、
前記音声データ生成部により生成された音声データを前記音声認識部により認識された音声を用いて加工する音声データ加工部と、
前記音声データ加工部により加工された音声データを出力する音声出力部と、
を更に具備することを特徴とする請求項１又は２に記載の画像表示装置。
【請求項２８】
前記音声データ加工部は、前記音声認識部により認識された音声をキャンセルするように前記音声データを加工することを特徴とする請求項２７に記載の画像表示装置。
【請求項２９】
前記音声データを記録した音声データ記録部を更に具備し、
前記音声データ加工部は、前記音声データ記録部に記録された音声データを加工することを特徴とする請求項２７に記載の画像表示装置。
【請求項３０】
前記音声データ記録部に記録されている音声データを通信により前記音声データ加工部に送る通信部を更に具備することを特徴とする請求項２９に記載の画像表示装置。
【請求項３１】
音声データ記録部に記録されている音声データを選択して取得する音声データ取得部を更に具備し、
前記音声データ加工部は、前記音声データ取得部により取得された音声データを用いて前記音声データ生成部により生成された音声データを加工することを特徴とする請求項２９に記載の画像表示装置。
【請求項３２】
前記被写体を撮像する撮像部を更に具備し、
前記表示部は、前記撮像部により撮像された画像における被写体の照度と前記表示画像の照度とを比較し、前記表示画像の照度を、前記被写体の照度に近づけるように処理してから表示することを特徴とする請求項２に記載の画像表示装置。
【請求項３３】
前記被写体を撮像する撮像部を更に具備し、
前記表示部は、前記撮像部により撮像された画像における被写体の周辺照度と前記表示画像の照度とを比較し、前記表示画像の照度を、前記被写体の周辺照度に近づけるように処理してから表示することを特徴とする請求項２に記載の画像表示装置。
【請求項３４】
前記被写体を撮像する撮像部を更に具備し、
前記反射率制御部は、前記撮像部により撮像された画像における被写体の照度と前記表示画像の照度とを比較し、前記表示画像の照度を前記被写体の照度に近づけるように、前記ハーフミラーの反射率を変更することを特徴とする請求項２に記載の画像表示装置。
【請求項３５】
前記被写体を撮像する撮像部を更に具備し、
前記反射率制御部は、前記撮像部により撮像された画像における被写体の周辺照度と前記表示画像の照度とを比較し、前記表示画像の照度を前記被写体の周辺照度に近づけるように、前記ハーフミラーの反射率を変更することを特徴とする請求項２に記載の画像表示装置。
【請求項３６】
前記被写体を撮像する撮像部を更に具備し、
前記表示部は、前記撮像部により撮像された画像における被写体及び背景の照度と前記表示画像の照度とを比較し、前記表示画像の照度を、前記被写体及び背景の照度に近づけるように処理してから表示することを特徴とする請求項２に記載の画像表示装置。
【請求項３７】
前記被写体を撮像する撮像部を更に具備し、
前記反射率制御部は、前記撮像部により撮像された画像における被写体及び背景の照度と前記表示画像の照度とを比較し、前記表示画像の照度を前記被写体及び背景の照度に近づけるように、前記ハーフミラーの反射率を変更することを特徴とする請求項２に記載の画像表示装置。
【請求項３８】
前記表示画像と前記ハーフミラーによる反射像とが重ね合わされた画像を撮像する撮像部と、
前記撮像部により撮像された画像を記録する画像記録部と、
を更に具備することを特徴とする請求項２に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハーフミラーの反射像と表示部に表示されている画像とを重ね合わせて表示可能な画像表示装置に関する。
【背景技術】
【０００２】
ハーフミラーの反射像と表示部に表示されている画像とを重ね合わせて表示可能な画像表示装置に関する提案として、例えば特許文献１においては、前面から入射した光を前方に反射し、背面から入射した光を前方に透過させるような特性を持つハーフミラーの背面に、プラズマディスプレイパネル（ＰＤＰ）や液晶ディスプレイ（ＬＣＤ）等の画像表示部を配置することで、ハーフミラーの前に存在するユーザの眼にハーフミラーからの反射像と表示部に表示された画像とを重ね合わせた画像を見せることができる技術が提案されている。
【特許文献１】特開２００４−３５７１０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、特許文献１の手法では、ハーフミラーの反射像と表示部に表示されている画像とが重なる部分において両画像が共にハーフミラー上に映ることになる。この場合、重ね合わせ後の画像が不自然なものとなり易い。
【０００４】
本発明は、上記の事情に鑑みてなされたもので、ハーフミラーの反射像と表示部に表示されている画像とを重ね合わせた結果が不自然とならない画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の第１の態様による画像表示装置は、表示部の表示面側に反射率可変のハーフミラーを設け、該ハーフミラーによる反射像と前記表示部の表示画像とを重ね合わせて表示する画像表示装置であって、前記表示部に表示される表示画像に対応する部分の前記ハーフミラーの反射率を制御する反射率制御部を具備することを特徴とする。
【０００６】
また、上記の目的を達成するために、本発明の第２の態様による画像表示装置は、表示部の表示面側に反射率可変のハーフミラーを設け、該ハーフミラーによる反射像と前記表示部の表示画像とを重ね合わせて表示する画像表示装置であって、前記ハーフミラーに映っている被写体を認識する被写体認識部と、前記被写体認識部により認識された被写体から、前記ハーフミラーの反射率制御範囲を算出する反射率制御範囲算出部と、前記反射率制御範囲算出部により算出された反射率制御範囲に対応する部分の前記ハーフミラーの反射率を制御する反射率制御部とを具備することを特徴とする。
【０００７】
これら第１及び第２の態様によれば、表示画像に対応する部分のハーフミラーの反射率を制御することにより、ハーフミラーの反射像と表示部に表示されている画像とを重ね合わせた結果が不自然とならないように重ね合わせ表示を行うことが可能である。
【発明の効果】
【０００８】
本発明によれば、ハーフミラーの反射像と表示部に表示されている画像とを重ね合わせた結果が不自然とならない画像表示装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。  
［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像表示装置の要部構成を示すブロック図である。図１に示す画像表示装置は、表示制御部１と、表示部２と、ハーフミラー３と、反射率制御部４とから構成されている。また、表示制御部１には表示画像データが入力される。この表示画像データは、例えば人物像やキャラクター像等の画像データであり、その表示内容は特に限定されるものではない。
【００１０】
図１において、表示制御部１は、表示画像データを表示部２に表示させる際の表示制御等を行う。表示部２は、一般的な画像表示装置を用いれば良く、例えばＰＤＰ、ＬＣＤ、ＣＲＴディスプレイ、有機ＥＬディスプレイなどを用いることができる。
【００１１】
ハーフミラー３は、表示部２の表示面の前面に配置されており、当該ハーフミラー３の前面から入射した光を前方に反射し、背面から入射した光を前方に透過させる特性を有しているものである。反射率制御部４は、ハーフミラー３の反射率を制御する。
【００１２】
ここで、第１の実施形態のハーフミラー３の前面には、例えば図示しない液晶層が配置されている。このような構成において、液晶層に印加する電圧を反射率制御部４により変化させることにより、ハーフミラー３に入射する光の量を制御することができる。これにより、ハーフミラー３の反射率を制御することができる。なお、ハーフミラー３の反射率制御の手法は、ハーフミラー３の前面に液晶層を配置する手法に限るものではない。例えば、液晶層の代わりに偏光板を配置し、この偏光板の角度を調整することでハーフミラー３の反射率を制御しても良いし、ハーフミラー３への光の入射角を制御することでハーフミラー３の反射率を制御しても良い。
【００１３】
以下、図１の構成の画像表示装置の動作について説明する。図２は、図１の画像表示装置による画像表示がなされるときの例を示す図である。図１の画像表示装置は、通常時は図２（ａ）のように、ハーフミラー３の前面に存在する被写体１０１の像１０２を映す画像表示装置として機能する。これに対し、重ね合わせ表示時には、被写体１０１の像１０２ではなく、図２（ｂ）のようにハーフミラー３の背面に配置された表示部２に表示される表示画像１０３を映す画像表示装置として機能する。この際、ハーフミラー３はハーフミラーであるため、実際には、ハーフミラー３上には被写体１０１の像１０２と表示画像１０３とが重ね合わされた画像が映ることになるが、第１の実施形態では、以下のような処理を行うことにより、重ね合わせ後の画像が不自然にならないようにする。
【００１４】
図３は、第１の実施形態における重ね合わせ表示に係る処理について示すフローチャートである。ここでは、図４に示す、反射像１０２と表示画像１０３とを重ね合わせる例について説明する。
【００１５】
まず、表示制御部１において表示画像データが取得されると（ステップＳ１）、取得された表示画像データに対して例えば２値化処理等が施されて表示画像データの表示画像範囲１０３ａが抽出される。この表示画像範囲１０３ａの情報は反射率制御部４に送られる（ステップＳ２）。その後、反射率制御部４において表示制御部１から送られた表示画像範囲１０３ａの情報に基づき、ハーフミラー３の反射率が制御される（ステップＳ３）。具体的には、表示画像範囲１０３ａに対応する部分のハーフミラー３の反射率を低下させるような制御がなされる。ハーフミラー３の反射率制御がなされた後、ステップＳ１において表示制御部１に入力された表示画像１０３が表示部２に表示される（ステップＳ４）。
【００１６】
このような第１の実施形態の処理により、図５に示すように、表示画像１０３の表示画像範囲１０３ａに対応する部分の像１０２のみがハーフミラー３から反射しないため、画像の重ね合わせの際に、ユーザに余り不自然さを感じさせない。なお、第１の実施形態の場合、表示画像１０３の表示画像範囲外において像１０２が映ることになるが、この部分の処理については後の実施形態で説明する。
【００１７】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図６は、第２の実施形態に係る画像表示装置の要部の構成を示すブロック図である。ここで、図１と同様の構成については図１と同様の参照符号を付すことで説明を省略する。図６に示す画像表示装置は、図１に示す構成に加えて、撮像部５と、被写体認識部６と、反射率制御範囲算出部７とが設けられている。
【００１８】
図６において、撮像部５は、被写体１０１を撮像して画像データを生成する。被写体認識部６は、撮像部５において生成された画像データから、被写体１０１に相当する部分を認識する。反射率制御範囲算出部７は、被写体認識部６において認識された被写体範囲から、ハーフミラー３の反射率制御範囲を算出し、算出した範囲を反射率制御部４に出力する。
【００１９】
図７は、第２の実施形態における重ね合わせ表示に係る処理について示すフローチャートである。ここでは、図８に示す、被写体１０１の像１０２と表示画像１０３とを重ね合わせる例について説明する。
【００２０】
まず、撮像部５により被写体１０１が撮像されて画像データ（ここでは背景の画像データも含む）が生成され、この画像データが被写体認識部６に入力される（ステップＳ１１）。次に、撮像部５から入力された画像データにおける被写体１０１の認識が行われ、この認識結果が反射率制御範囲算出部７に送られる（ステップＳ１２）。なお、ステップＳ１２における被写体認識は、例えばパターンマッチングや輪郭検出等の周知の手法により行われる。
【００２１】
その後に、被写体認識部６の認識結果に基づいて被写体範囲１０２ａが抽出される（ステップＳ１３）。そして、被写体範囲１０２ａから、ハーフミラー３の反射率低下範囲が算出され、算出された反射率低下範囲が反射率制御部４に入力される（ステップＳ１４）。ここで、反射率低下範囲は、例えば被写体範囲１０２ａと一致している。
【００２２】
その後に、反射率制御部４により、反射率制御範囲算出部７から入力された反射率制御範囲に対応する部分のハーフミラー３の反射が制御される（ステップＳ１５）。つまり、被写体範囲１０２ａに対応する部分のハーフミラー３の反射率を低下させるように制御される。
【００２３】
ハーフミラー３の反射率制御がなされた後、表示制御部１において表示画像データが取得される（ステップＳ１６）。そして、表示制御部１の制御の下、表示画像１０３が表示部２に表示される（ステップＳ１７）。
【００２４】
このような第２の実施形態の処理により、図９に示すように、被写体範囲１０２ａに対応する部分において被写体１０１の像１０２がハーフミラー３から反射しないため、画像の重ね合わせの際に、ユーザに余り不自然さを感じさせない。なお、図９では、被写体範囲１０２ａの範囲外１０３ｂの部分においては、反射率制御が行われない。この部分の処理については後の実施形態で説明する。
【００２５】
［第３の実施形態］
次に、本発明の第３の実施形態について説明する。図１０は、第３の実施形態に係る画像表示装置の要部の構成を示すブロック図である。ここで、図１又は図６と同様の構成については同様の参照符号を付すことで説明を省略する。
【００２６】
図１０に示す画像表示装置は、制御部８と、データベース（図ではＤＢと記している）１０と、表示画像データ生成部９と、表示部２と、ハーフミラー３と、被写体検出部５ａと、被写体認識部６と、反射率制御範囲算出部７と、表示画像範囲選択部１１と、表示画像データ選択部１２とから構成されている。なお、図１及び図６と同様の構成については同様の参照符号を付している。
【００２７】
制御部８は、図１及び図６の表示制御部１と反射率制御部４の機能を有し、図１０の画像表示装置の処理を統括的に制御する。
【００２８】
データベース１０は、表示画像データが記録されている画像記録部である。なお、データベース１０を構成するための記録媒体は特に限定されるものではない。また、データベース１０は、画像表示装置とは別途に設けられた記録媒体を利用して構成するようにしても良い。表示画像データ生成部９は、データベース１０に記録された表示画像データを取得して所定の背景画像を合成する等の各種のデータ加工処理を行う。
【００２９】
被写体検出部５ａは、ハーフミラー３の前面に存在する被写体を検出するためのセンサ部である。この被写体検出部５ａには、例えば図６で説明した撮像部５を用いることができる。この他にも、距離センサや温度センサ等の、少なくとも被写体の輪郭情報が得られるようなセンサであれば被写体検出部５ａとして用いることが可能である。
【００３０】
表示画像範囲選択部１１は、表示画像の表示画像範囲を選択するために設けられている。これにより例えば、表示画像が人物像である場合、その一部（例えば顔の部分）のみを選択して表示させることも可能である。表示画像データ選択部１２は、データベース１０に複数の表示画像データが記録されている場合に、表示部２に表示させる表示画像データを選択するために設けられている。
【００３１】
なお、表示画像範囲選択部１１及び表示画像データ選択部１２における選択は、例えば所定の操作部材を設けておき、使用者による操作部材の操作を受けて実行するようにすれば良い。ここで、使用者とは被写体となっている人物だけでなく、この画像表示装置の表示部２を見ている第３者でも良い。あるいは、種々の条件に応じて自動的に選択が行われるようにしても良い。例えば、ハーフミラー３の前面に存在する被写体が人物の場合には、この人物に対応する表示画像データを１つ又は複数選択して表示させるようにしても良い。
【００３２】
図１１は、第３の実施形態における重ね合わせ表示における処理の流れについて説明するための図である。ここでは、被写体１０１の像１０２と表示画像１０３とを重ね合わせる例について説明する。
【００３３】
まず、被写体検出部５ａにおいて、被写体１０１の検出に必要な、画像の撮像、距離検出、温度検出等の何れかの処理が行われ、その結果が被写体認識部６に入力される。被写体認識部６では、被写体検出部５ａからの情報に基づいて被写体１０１の認識が行われ、その認識結果が反射率制御範囲算出部７に入力される。反射率制御範囲算出部７では、被写体認識の結果を２値化する等して被写体範囲１０２ａが抽出される。そして、この被写体範囲１０２ａの情報が制御部８に入力される。
【００３４】
また、表示画像データ生成部９では、表示画像範囲選択部１１及び表示画像データ選択部１２における選択に従って制御部８から指示された表示画像データが取得される。この取得された表示画像データは制御部８に入力される。ここで、表示画像データ生成部９における表示画像データの取得タイミングは特に限定されるものではない。例えば、表示画像データ生成部９にタイマを内蔵しておき、所定時間経過毎に表示画像データの取得を行うようにしても良い。
【００３５】
制御部８は、反射率制御範囲算出部７において算出された反射率制御範囲（＝被写体範囲１０２ａ）と、表示画像データの表示画像範囲１０３ａとを比較してその差分を求め、その差分に応じてハーフミラー３の反射率制御及び表示画像の表示制御を行う。
【００３６】
ここで、被写体範囲１０２ａをＡ、表示画像範囲１０３ａをＢとすると、（Ａ−Ｂ）＝０で、ＡもＢも０でない部分においては反射率を低下させる。この部分は、被写体１０１の像１０２と表示画像１０３とが重なる部分である。
【００３７】
また、（Ａ−Ｂ）＜０の部分においては反射率を低下させる。この部分は、被写体範囲１０２ａの範囲外の部分であり、第２の実施形態の図９において参照符号１０３ｂで示した部分に相当する。この部分については反射率を低下させることにより、この部分の表示画像が適正に映るようにする。
【００３８】
また、（Ａ−Ｂ）＞０の部分、又はＡとＢとが共に０の部分においてはハーフミラー３の反射率を低下させ、かつ表示画像データ生成部９において（Ａ−Ｂ）＞０の部分に背景画像１０４を合成する。これにより、第１の実施形態の図５において参照符号１０２で示した部分が背景画像１０４に隠れて見えなくなる。
【００３９】
第１の実施形態及び第２の実施形態では（Ａ−Ｂ）＞０の部分にＡの画像が表示されてしまっていたが、第３の実施形態の処理により、被写体１０１の像１０２の形状と表示画像１０３の形状とが異なっていても重ね合わせ後の画像が不自然とならない。
【００４０】
以下、第３の実施形態の変形例について説明する。上述した第３の実施形態においては被写体の範囲１０２ａと表示画像の表示画像範囲１０３ａとがほぼ同じ大きさの例について説明しているが、被写体範囲１０２ａと表示画像範囲１０３ａとが明らかに異なる場合（つまり、ＡとＢとの差が０でない部分が多い場合）には、図１２に示すようにして被写体範囲１０２ａと表示画像範囲１０３ａとをほぼ同じ大きさにしてから、上述した被写体範囲１０２ａと表示画像範囲１０３ａとの比較を行うようにしても良い。
【００４１】
また、上述した第１〜第３の実施形態においては、被写体範囲１０２ａ或いは表示画像範囲１０３ａと反射率制御範囲とを一致させていたが、必ずしもこれらを一致させる必要はない。例えば、図１３（ａ）に示すように、被写体１０１の像１０２が映る部分のハーフミラー３の反射率を高くし、それ以外の部分の反射率を低下させるようにしても良い。このような制御を行うことにより、被写体１０１の像１０２と表示画像１０３とを同時にハーフミラー３上に鮮明に映すことが可能となる。
【００４２】
また、上述した各実施形態においては、被写体の像１０２と表示画像１０３とが重なる部分において表示画像１０３の部分のハーフミラーの反射率を低下させ、図１３（ｂ）に示すように表示画像１０３のほうが表示されるような制御を行っている。これに対し、図１３（ｃ）に示すように、被写体１０１の像１０２がハーフミラー３上に映るように制御しても良い。この場合には、対応する部分において表示画像１０３を表示させないような制御を制御部８において行えば良い。
【００４３】
［第４の実施形態］
次に、本発明の第４の実施形態について説明する。図１４は、第４の実施形態に係る画像表示装置の要部の構成を示すブロック図である。第４の実施形態は、基本的には第２及び第３の実施形態の構成に類似しているが、表情認識部１３が設けられている点が異なる。ここで、データベース１０に記録されている表示画像データは、人物像等の顔を有する画像であるとする。
【００４４】
第４の実施形態において、表情認識部１３は、撮像部５で生成された画像データから、被写体１０１の表情を認識し、その認識結果を、表示制御部１を介して表示画像データ生成部９に入力する。表示画像データ生成部９は、データベース１０から表示画像データを読み出し、読み出した表示画像データにおける人物像等の表情を表情認識部１３の認識結果に対応した表情に加工する。その後に表示制御部１は、加工後の画像を表示部２に表示させる。或いは、表情に応じた複数種類の表示画像データを記録しておき、表情認識部１３の認識結果に対応した表情の表示画像データを選択して表示するようにしても良い。
【００４５】
これにより、例えば、ハーフミラー３の前面の被写体１０１の表情が怒っている表情であり、データベース１０に記録されている表示画像１０３における人物等の表情が笑っている場合等、ハーフミラー３の像１０２における表情と表示画像１０３における表情とが異なっている場合に両者を一致させることが可能である。
【００４６】
なお、第４の実施形態においては、被写体１０１の表情を認識するようにしているが、被写体１０１の視線や、顔の向き、目の位置等を認識し、それに応じて表示画像データの加工を行っても良い。また、被写体１０１の視線の変化を検出し、その変化に応じて表示画像１０３の表示位置を移動させたりするようにしても良い。
【００４７】
更には、被写体１０１の表情ではなく、被写体１０１の姿勢を検出するようにし、姿勢の検出結果に応じて表示画像データの加工を行うようにしても良い。
【００４８】
［第５の実施形態］
次に、本発明の第５の実施形態について説明する。図１５は、第５の実施形態に係る画像表示装置の要部の構成を示すブロック図である。図１５に示す画像表示装置は、データベース（図ではＤＢと記している）１０と、表示画像データ生成部９と、表示部２と、ハーフミラー３と、撮像部５と、被写体検出部５ａと、被写体・背景認識部６ａと、反射率制御範囲算出部７と、反射率制御部４と、マイク１４と、音声入力部１５と、音声データ生成部１７と、音声制御部１８と、音声出力部１９と、スピーカー２０と、通信部２１とから構成されている。そして、この画像表示装置には、通信部２２を介してデータベース１０及びデータベース２３が接続されている。
【００４９】
以下、上述した各実施形態と同様の構成については同様の参照符号を付すことで説明を省略する。  
図１５において、被写体・背景認識部６ａは、撮像部５で撮像された画像データの中に複数の被写体が存在する場合に、被写体検出部５ａの結果に基づき、主被写体と背景被写体とを認識する。
【００５０】
マイク１４は、被写体１０１から入力された音声を電気信号に変換する。音声入力部１５はマイク１４からの音声信号をデジタル化して音声認識部１６に入力する。音声認識部１６は、音声入力部１５からの音声信号の認識を行い、その認識結果を音声データ生成部１７に入力する。音声データ生成部１７は、データベース２３から音声データを取得し、この取得した音声データと音声認識部１６における認識結果とから再生用の音声データを生成する。音声制御部１８は、音声データ生成部１７において生成された音声データに対し、再生のための各種処理を行う。音声出力部１９は、音声制御部１８で処理された音声データをアナログ化してスピーカー２０に出力する。スピーカー２０は、音声出力部１９からの出力に基づいて音声を再生する。
【００５１】
通信部２１は通信部２２に接続され、図１５の画像表示装置と、データベース１０及びデータベース２３との間でデータ通信を行うためのインターフェースである。なお、この際の通信方式については特に限定されるものではない。
【００５２】
図１６（ａ）は第５の実施形態における重ね合わせ表示に係る処理について示すフローチャートである。まず、撮像部５により被写体が撮像されて画像データ（ここでは背景の画像データも含む）が生成される。この生成された画像データは被写体・背景認識部６ａに入力される。次に、被写体検出部５ａにより上述したような主被写体検出のための処理が行われ、その結果が被写体・背景認識部６ａに入力される。被写体・背景認識部６ａでは、被写体検出部５ａの結果に基づき、撮像部５からの画像データにおける主被写体１０１及び背景被写体の認識が行われ、この認識結果が反射率制御範囲算出部７及び表示画像データ生成部９に入力される（ステップＳ２１）。ここで、ステップＳ２１の主被写体１０１と背景被写体の認識においては、被写体検出部５ａが撮像部である場合には、例えば撮像して得られた画像データにおいて肌色の最も広い被写体を主被写体であると認識するようにすれば良い。また、被写体検出部５ａが距離センサである場合には最近の被写体を主被写体であると認識し、被写体検出部５ａが温度センサである場合には最も温度が高い被写体を主被写体であると認識するようにすれば良い。また、被写体の検出は、被写体に持たせた電波発振器からの電波を受信して、認識された被写体を主被写体として認識し、その主被写体に対応する画像データをデータベース１０から取得して表示しても良い。勿論この他の手法によって主被写体の認識を行うようにしても良い。
【００５３】
次に、反射率制御範囲算出部７において、被写体・背景認識部６ａの認識結果に基づいて被写体範囲１０２ａが抽出される（ステップＳ２２）。また、表示画像データ生成部９では、被写体・背景認識部６ａにおいて認識された主被写体１０１に対応する表示画像データが選択され（ステップＳ２３）、この選択された表示画像データが通信部２１、通信部２２を介してデータベース１０から取得される（ステップＳ２４）。そして、取得された表示画像データが反射率制御範囲算出部７に出力される。
【００５４】
以上の処理の後、反射率制御範囲算出部７において、被写体範囲１０２ａと表示画像１０３の表示画像範囲１０３ａとに基づいてハーフミラー３の反射率低下範囲が算出され、この算出された反射率低下範囲は反射率制御部４に出力される（ステップＳ２５）。そして、反射率制御部４において、反射率制御範囲算出部７から出力された反射率制御範囲に対応する部分のハーフミラー３の反射率が制御される（ステップＳ２６）。
【００５５】
図１６（ｂ）は第５の実施形態における音声出力処理について示すフローチャートである。図１６（ｂ）において、音声入力部１５においてマイク１４からの音声信号がデジタル化されて音声認識部１６に入力される。次に、音声認識部１６において、音声入力部１５からの音声信号の認識が行われ、その認識結果が音声データ生成部１７に入力される（ステップＳ３１）。また、音声データ生成部１７において、データベース２３から音声データが取得される（ステップＳ３２）。
【００５６】
そして、音声データ生成部１７において、データベース２３から取得した音声データと音声認識部１６における認識結果とから再生用の音声データが生成され、生成された再生用の音声データが音声制御部１８に入力される（ステップＳ３３）。この際の処理としては、データベース２３から取得した音声データと音声認識部１６により認識された音声データとを合成したり、音声認識部１６により認識された音声データをキャンセルし、データベース２３から取得した音声データを再生用の音声データとして用いる等の種々の処理が考えられる。
【００５７】
次に、音声制御部１８においては、音声データ生成部１７から入力された生成された音声データに対し、再生のための各種処理（例えば、ノイズ除去のためのフィルタ処理等）が行われ、処理後の音声データが音声出力部１９に入力される。そして、音声出力部１９において、入力された音声データがアナログ化されてスピーカー２０を介して外部に音声として出力される（ステップＳ３４）。
【００５８】
このような第５の態様によれば、重ね合わせ表示と共に音声再生を行うことも可能である。
【００５９】
［第６の実施形態］
次に、本発明の第６の実施形態について説明する。図１７は、第６の実施形態に係る画像表示装置の要部の構成を示すブロック図である。この第６の実施形態の画像表示装置においては、被写体撮像部５ｃ及び重畳画像撮像部５ｂの２つの撮像部が設けられている。更に、第６の実施形態の画像表示装置には、照度検出部２４と、データ記録部２５と、出力部２６とが更に設けられている。
【００６０】
被写体撮像部５ｃは上述した撮像部５と同様の機能を有しており、被写体１０１を撮像して画像データを取得する。重畳画像撮像部５ｂはハーフミラー３上に重ね合わされた画像を撮像して画像データを取得する。
【００６１】
また、照度検出部２４は、被写体１０１の周辺の照度（明るさ）を検出する。データ記録部２５は、重ね合わせ表示がなされた状態の画像データを記録する。出力部２６は、重ね合わせ表示がなされた状態の画像を印刷や通信等の手法により外部に出力する。
【００６２】
図１８は、照度検出部２４における照度検出の結果を利用した重ね合わせ表示について示したフローチャートである。図１８において、まず、照度検出部２４により、被写体１０１の周辺の照度が検出され、この照度の情報が表示制御部１に入力される（ステップＳ４１）。また、表示画像データ生成部９において表示画像データが取得され、取得された表示画像データが表示制御部１に入力される。照度の情報と表示画像データが表示制御部１に入力されると、表示制御部１において照度の比較が行われる（ステップＳ４２）。そして、この比較の結果に基づいて重ね合わせ表示時の照度が決定される（ステップＳ４３）。その後に、この照度に基づいて表示画像の表示が行われる（ステップＳ４４）。
【００６３】
例えば、被写体撮像部５ｃから取り込んだ画像全体が図１９（ａ）のように暗く、表示画像１０３が図１９（ｂ）のように明るい場合には、表示画像１０３の照度を低くした後で表示画像１０３の表示が行われる。これにより、図１９（ｃ）のように両者の照度が等しくなり、重ね合わせ後の画像が不自然にならない。
【００６４】
なお、ここでは表示画像１０３の照度を被写体の像１０２の照度に合わせる場合について説明したが、表示画像１０３の照度を被写体の像１０２及び背景の像１０４の照度に合わせても良い。
【００６５】
また、被写体の像１０２の照度と表示画像１０３の照度とを一致させる手法としては、表示画像１０３の照度を被写体の像１０２の照度に合わせるだけでなく、ハーフミラー３の反射率を制御することで被写体の像１０２の照度を表示画像１０３の照度に合わせるようにしても良い。また、表示画像１０３の照度を被写体の像１０２及び背景の像１０４の照度に合わせるようにハーフミラー３の反射率を制御しても良い。
【００６６】
次に、重ね合わせ後の画像の出力処理について説明する。つまり、上述した各実施形態における重ね合わせ後にハーフミラー３に映る像を記録したり印刷したりするためには、ハーフミラー３に映る像をデータ化する必要がある。このための手法を図２０（ａ）及び図２０（ｂ）を参照して説明する。
【００６７】
まず、図２０（ａ）について説明する。図２０（ａ）において、まず、被写体撮像部５ｃにおいて被写体の撮像が行われ、この結果に基づき被写体・背景認識部６ａにおいて主被写体と背景被写体とがそれぞれ認識される（ステップＳ５１）。主被写体の情報は、反射率制御範囲算出部７に入力される。また、背景被写体の画像データは、表示制御部１の図示しない記憶部に保存される（ステップＳ５２）。そして、この背景被写体の画像データに対して印刷や記録のための種々の画像処理が施される（ステップＳ５３）。その後に、この背景被写体の画像データと表示画像データとが合成される（ステップＳ５４）。つまり、この画像データは、図１９（ｃ）に示すような重ね合わせ後にハーフミラー３に映る画像に相当する。
【００６８】
画像の合成がなされた後、この画像データがデータ記録部２５又は出力部２６に送られ、記録又は印刷等の出力処理がなされる（ステップＳ５５）。
【００６９】
次に、図２０（ｂ）について説明する。図２０（ｂ）において、まず、上述した各実施形態で説明したような重ね合わせ表示が行われる（ステップＳ６１）。その後に重畳画像撮像部５ｂによりハーフミラー３に映っている像の撮像が行われる（ステップＳ６２）。そして、この画像データに対して印刷や記録のための種々の画像処理が施される（ステップＳ６３）。その後に、この画像データがデータ記録部２５又は出力部２６に送られ、記録又は印刷等の出力処理がなされる（ステップＳ６４）。
【００７０】
以上説明したような図２０（ａ）及び図２０（ｂ）のような手法により、重ね合わせ後の画像を印刷したり記録したりすることが可能となる。
【００７１】
なお、第１の実施形態から第２の実施形態の画像表示装置は、表示する画像が静止画像の場合においても、また動画像の場合においても適用可能である。
【００７２】
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００７３】
更に、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００７４】
【図１】本発明の第１の実施形態に係る画像表示装置の要部構成を示すブロック図である。
【図２】図１の画像表示装置による画像表示がなされるときの例を示す図である。
【図３】第１の実施形態における重ね合わせ表示に係る処理について示すフローチャートである。
【図４】第１の実施形態における重ね合わせ表示に係る処理について説明するための図である。
【図５】第１の実施形態における重ね合わせ表示後の表示例について示す図である。
【図６】本発明の第２の実施形態に係る画像表示装置の要部の構成を示すブロック図である。
【図７】第２の実施形態における重ね合わせ表示に係る処理について示すフローチャートである。
【図８】第２の実施形態における重ね合わせ表示に係る処理について説明するための図である。
【図９】第２の実施形態における重ね合わせ表示後の表示例について示す図である。
【図１０】本発明の第３の実施形態に係る画像表示装置の要部の構成を示すブロック図である。
【図１１】第３の実施形態における重ね合わせ表示における処理の流れについて説明するための図である。
【図１２】表示画像の大きさが異なる場合の処理について説明するための図である。
【図１３】被写体範囲と反射率制御範囲とが異なる場合の処理について説明するための図である。
【図１４】本発明の第４の実施形態に係る画像表示装置の要部の構成を示すブロック図である。
【図１５】本発明の第５の実施形態に係る画像表示装置の要部の構成を示すブロック図である。
【図１６】図１６（ａ）は第５の実施形態における重ね合わせ表示に係る処理について示すフローチャートであり、図１６（ｂ）は第５の実施形態における音声出力処理について示すフローチャートである。
【図１７】本発明の第６の実施形態に係る画像表示装置の要部の構成を示すブロック図である。
【図１８】照度検出部における照度検出の結果を利用した重ね合わせ表示について示したフローチャートである。
【図１９】照度検出部における照度検出の結果を利用した重ね合わせ表示について説明するための図である。
【図２０】重ね合わせ後の画像の出力処理について示すフローチャートである。
【符号の説明】
【００７５】
１…表示制御部、２…表示部、３…ハーフミラー、４…反射率制御部、５…撮像部、５ａ…被写体検出部、５ｂ…重畳画像撮像部、５ｃ…被写体撮像部、６…被写体認識部、６ａ…被写体・背景認識部、７…反射率制御範囲算出部、８…制御部、９…表示画像データ生成部、１０，２３…データベース、１１…表示画像範囲選択部、１２…表示画像データ選択部、１３…表情認識部、１４…マイク、１５…音声入力部、１６…音声認識部、１７…音声データ生成部、１８…音声制御部、１９…音声出力部、２０…スピーカー、２１，２２…通信部、２４…照度検出部、２５…データ記録部、２６…出力部
【図１】
2007279445.tif 000003
【図２】
2007279445.tif 000004
【図３】
2007279445.tif 000005
【図４】
2007279445.tif 000006
【図５】
2007279445.tif 000007
【図６】
2007279445.tif 000008
【図７】
2007279445.tif 000009
【図８】
2007279445.tif 000010
【図９】
2007279445.tif 000011
【図１０】
2007279445.tif 000012
【図１１】
2007279445.tif 000013
【図１２】
2007279445.tif 000014
【図１３】
2007279445.tif 000015
【図１４】
2007279445.tif 000016
【図１５】
2007279445.tif 000017
【図１６】
2007279445.tif 000018
【図１７】
2007279445.tif 000019
【図１８】
2007279445.tif 000020
【図１９】
2007279445.tif 000021
【図２０】
2007279445.tif 000022