(57)【要約】【課題】  観察者に緊張感や疲労感を与えることなく、奥行き感や立体感を与える映像を表示する映像表示システムを得る。【解決手段】  撮像手段（１）で撮影した画像から観察者の顔（ＨＦ）を検出し、検出された顔の、表示画面（６ａ）に対する相対的な位置に基づいて、元映像のうちの、表示画面（６ａ）に表示する部分を変更する。観察者の顔（ＨＦ）の撮像画面上の大きさに基づいて表示倍率を変更するようにしても良い。【選択図】      図２
2007052304.tif 000002
【特許請求の範囲】
【請求項１】
表示画面を有する表示手段と、
映像情報を提供する映像情報提供手段と、
前記映像情報提供手段が提供した映像情報で表される映像の一部分を選択して前記表示手段に表示させる映像処理手段と、
前記表示手段の近傍に配置され、前記表示手段で表示される映像の観察者を撮影する撮像手段と、
前記撮像手段による撮影で得られた撮影画像を解析して、前記観察者の顔の、前記表示画面に対する相対的位置を検出する顔検出手段と、
前記顔検出手段で検出された前記顔の位置に基づいて、前記映像処理手段における選択を制御する表示制御手段と
を備えた映像表示システム。
【請求項２】
前記撮像手段は、前記表示手段の前記表示画面の外縁に隣接する位置に設けられ、前記表示画面の観察者が通常位置する方向に向けられたものであり、撮影された観察者の撮影画像を形成し、
前記顔検出手段は、前記撮像手段による前記撮影画像中の前記顔の位置を検出し、前記撮影画像中の前記顔の位置に基づいて、前記顔の、前記表示画面に対する位置を求める
ことを特徴とする請求項１に記載の映像表示システム。
【請求項３】
前記撮像手段は、前記表示手段の前記表示画面の外縁に隣接する位置に設けられ、前記表示画面の観察者が通常位置する方向に向けられたものであり、撮影された観察者の撮影画像を形成し、
前記顔検出手段は、前記撮像手段による前記撮影画像中の前記顔の大きさを検出し、前記撮影画像中の前記顔の大きさに基づいて、前記顔の、前記表示画面からの距離を求める
ことを特徴とする請求項１に記載の映像表示システム。
【請求項４】
前記顔検出手段は、
前記観察者の顔を囲む矩形を求め、
前記矩形の中心を顔位置、前記矩形の大きさを顔の大きさとして検出することを特徴とする請求項３に記載の映像表示システム。
【請求項５】
前記顔検出手段は、
前記顔を囲む矩形が正方形の場合は矩形の一辺の長さを前記顔の大きさとし、前記顔を囲む矩形が長方形の場合は矩形の二辺の長さの和、あるいは矩形の面積を前記顔の大きさとして検出することを特徴とする請求項４に記載の映像表示システム。
【請求項６】
前記表示制御手段は、前記映像情報提供手段が提供した映像情報で表される映像を、前記表示手段の前記表示画面の背後に位置する仮想平面上に表示したと仮定し、前記表示画面が透視可能な窓であると仮定した場合に、前記仮想平面上の映像のうちの前記観察者に見える部分と概ね一致する部分を、前記映像処理手段に選択させることを特徴とする請求項１に記載の映像表示システム。
【請求項７】
前記表示制御手段は、前記映像情報提供手段が提供した映像情報で表される映像を、前記表示手段の前記表示画面の背後に位置する仮想平面上に表示したと仮定し、前記観察者の顔の位置と、前記表示画面の中心とを結ぶ線が前記仮想平面の交わる点を中心すると映像部分を、前記映像処理手段に選択させることを特徴とする請求項１に記載の映像表示システム。
【請求項８】
前記表示制御手段は、
前記映像情報提供手段が提供した映像の基準位置に、
前記撮影画像の基準位置と前記顔位置の差に定数を掛けた値を加算し、
前記映像情報提供手段が提供した映像のうちの、前記表示手段に表示させる映像部分の中心の位置を算出することを特徴とする請求項１に記載の映像表示システム。
【請求項９】
前記映像処理手段は、映像の表示倍率を変更することができるものであり、
前記表示制御手段は、前記顔検出手段で検出された前記顔の大きさに応じて、前記表示倍率を変更する
ことを特徴とする請求項３に記載の映像表示システム。
【請求項１０】
前記表示制御手段は、
基準となる表示倍率に、前記観察者の顔の大きさと所定の基準値の差に定数を掛けた値を加算し、前記映像の表示倍率を算出することを特徴とする請求項９に記載の映像表示システム。
【請求項１１】
前記映像処理手段は、前記表示手段の前記表示画面のうちの映像表示領域の大きさを変えることができるものであり、
前記表示制御手段は、前記顔検出手段で検出された前記顔の大きさに応じて、前記表示領域の大きさを変化させる
ことを特徴とする請求項３に記載の映像表示システム。
【請求項１２】
前記表示制御手段は、
基準となる表示領域のサイズに、前記観察者の顔の大きさと所定の基準値の比に定数を掛けた値を乗じ、前記表示手段の表示領域のサイズを算出することを特徴とする請求項１１に記載の映像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示システムに関し、特に、映像表示システムに対する観察者の相対的な位置に応じて表示する映像を変化させることで、立体感や奥行き感が得られるような映像表示システムに関するものである。
【背景技術】
【０００２】
観察者に奥行き感や立体感を与えるような映像を表示する表示装置では、立体視の生理的要因である両眼視差や運動視差など利用した技術が用いられている。
両眼視差とは、左右の目が離れた位置にあることによって、それぞれの目で得られる像に生じるずれのことを表す。一方、運動視差とは、観察者の移動や観察しているものの移動による視点の変化に伴って生じる像の違いのことを表し、例えば、観測者が一点を見つめながら移動すると、凝視している点を境に近いものと遠いものとの間の相互の位置が相反する方向に向かって変化するように見えることを指す。人間は、これらのずれや変化を脳内で処理し、奥行きを知覚していると考えられている。
両眼視差を利用して立体感を与える手法として、例えば、次のようなものがある。即ち、赤外線を発光する素子とその反射光を検出する受光素子からなるセンサを用いて観察者の視点位置を検出し、視点の移動に基づく観察方向の変化を反映した左右の眼に対する視差画像を生成し、ストライプ状画素上に交互に表示する。この２つの画像を、レンチキュラレンズを用いて観察者の左右の目に別々に投影することにより、表示装置を観察する位置に関わらず、観察者に立体画像を与えることができる（特許文献１参照）。
【０００３】
【特許文献１】特開平９−２３８３６９号公報（段落００１７〜００１８、図７）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この従来の方法は両眼視差を利用している。観察者は、右眼と左眼に入った異なる画像を頭の中で処理し、位置関係を構成するため、疲れやすい。また観察者に不自然さや緊張感を与えるという問題点がある。特に、閉鎖された集合住宅の浴室や地下街や地下室などに窓のような開放感のある景観を観察者に与える映像表示システムを得ることを目的としている場合には、緊張感を伴うことなく利用できることが重要である。
また、実現のために特殊な装置が必要であると言う問題点もある。
【課題を解決するための手段】
【０００５】
この発明は、表示画面を有する表示手段と、映像情報を提供する映像情報提供手段と、前記映像情報提供手段が提供した映像情報で表される映像の一部分を選択して前記表示手段に表示させる映像処理手段と、前記表示手段の近傍に配置され、前記表示手段で表示される映像の観察者を撮影する撮像手段と、前記撮像手段による撮影で得られた撮影画像を解析して、前記観察者の顔の、前記表示画面に対する相対的位置を検出する顔検出手段と、前記顔検出手段で検出された前記顔の位置に基づいて、前記映像処理手段における選択を制御する表示制御手段とを備えた映像表示システムを提供する。
【発明の効果】
【０００６】
この発明によれば、位置を検出するための装置等を観察者が装着する必要がなく、また、脳内で視差画像を処理する必要もないので、観察者に緊張感、疲労感、違和感といった不快感を与えず、観察者にとって使用性に優れたシステムを提供できる。
また、立体視用に特別に開発した特殊な装置を用いる必要がないので、観察者に奥行き感や立体感を与えるシステムを容易に実現することが出来る。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の実施の形態について説明する。
実施の形態１．
図１はこの発明の実施の形態１の映像表示システムの構成を表すブロック図である。
この映像表示システムは、映像を表示する表示手段に対する観察者の相対的な位置に応じて表示手段に表示する映像を変化させる映像表示システムであって、撮像手段１と、フレームメモリ２と、顔検出手段３と、表示制御手段４と、映像処理手段５、表示手段６と、映像情報提供手段７とを有する。
【０００８】
表示手段６としては、例えば液晶ディスプレイ、プラズマディスプレイパネルなどで構成されるもののほか、ブラウン管で構成されるものを用い得る。表示手段６としては、例えばフラットパネル型のものが望ましい。また、図４に示す表示手段６は、矩形の表示画面６ａを有する。
【０００９】
映像情報提供手段７は、例えば静止画又は動画の映像情報（映像コンテンツ）を提供するものであり、映像蓄積装置で構成されていてもよく、外部の映像情報供給源（例えばウエブサイト）から送信された映像情報を受信するものであっても良い。
【００１０】
映像処理手段５は、映像情報提供手段７が提供した映像情報で表される映像の一部分（部分領域）を選択して、必要に応じて表示倍率を変更して、表示手段６に供給し、表示させる。
【００１１】
撮像手段１は、表示手段６の近傍に配置され、表示手段６で表示される映像の観察者ＨＢを撮影する。撮像手段１は、例えば、表示手段６の表示画面６ａの外縁６ｂに隣接する位置に設けられている。図示の例では、撮像手段１は、表示手段６の表示画面６ａの外縁６ｂのうちの下縁６ｃの下側に、下縁６ｃに隣接した位置に設置されている。撮像手段１は、表示画面６ａに垂直な方向に、観察者ＨＢが通常表示される映像を見るために位置する方向に向けられ、撮影された観察者ＨＢの撮影画像を形成する撮像面を有する。撮像手段１としては、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などのイメージセンサを用いたデジタルスチルカメラやビデオカメラなどが用いられる。
【００１２】
撮像手段１で撮影した画像はフレームメモリ２に格納される。
【００１３】
顔検出手段３は、撮像手段１による撮影で得られ、フレームメモリ２に格納されている画像データを受けて撮影画像を解析し、観察者ＨＢの顔ＨＦの、表示画面６ａに対する相対的位置を検出する。表示画面６ａに対する観察者ＨＢの顔ＨＦの相対的位置のうち、撮像画面上の顔ＨＦの画像の大きさは表示画面６ａから顔までの位置の推定に用いられ、撮像画面上の顔ＨＦの画像の位置は、表示画面６ａ（の中心）から、顔ＨＦを結ぶ直線の、表示画面の垂線に対する角度（水平方向の角度及び垂直方向の角度）を測定するために用いられ、顔が表示画面に平行な平面上にあると仮定した場合の、上記平行な平面上における位置の推定に用いられる。
【００１４】
表示制御手段４は、顔検出手段３で検出された顔ＨＦの位置に基づいて、映像処理手段５における、表示される映像部分の選択（後に図４〜図８を参照して説明する）及び表示倍率の制御（後に図９，図１０を参照して説明する）を行なう。
【００１５】
上記のうち、フレームメモリ２は、コンピュータ８の一部をなすものであり、顔検出手段３と、表示制御手段４と、映像処理手段５はソフトウエアにより、即ちプログラムされたコンピュータ８により実現されている。また、映像情報提供手段７もコンピュータ８の一部をなすものであっても良いが、本実施の形態では、コンピュータ８とは別のものとして図示している。また、撮像手段１と表示手段６は、コンピュータ８の外部に接続されているように図示しているが、コンピュータ８の一部を成すものであっても良い。
【００１６】
図２は、観察者ＨＢの位置と、映像情報提供手段７が提供する映像情報により表される映像を、表示画面６ａの背後に位置する仮想平面２１上に表示したと仮定し、この仮想平面上に表示された映像（以下「元映像」と言うことがある）のうちの、表示手段６に表示される部分（領域）との関係を示した図である。
【００１７】
例えば、図２の実線１３ａで示すように観察者ＨＢがベンチ２０の中央に座っており、表示画面６ａの略正面の位置にある場合、表示手段６には、元映像の中の中央に位置する実線の四角形１５で示した領域の映像部分が表示されている。次に、観察者ＨＢが破線１４ａで示すように、ベンチ２０の右側に移動し、表示画面６ａに向かって右側の位置にずれると、表示手段６には、元映像の中の左側に位置する破線の四角形１６で示した領域の映像部分が表示される。つまり、元映像の中の、表示手段６に表示される映像部分乃至領域が、観察者の移動方向と相反する方向に移動する。
【００１８】
このように、本実施の形態の表示システムは、表示手段６の表示画面６ａを窓であると仮定し、元映像で表される映像が窓の向こうに実在する風景、光景などであると仮定した場合に、観察者の位置に応じて、窓を通して見える部分が変化するのと同じように、表示画面６ａに表示される映像の内容（元映像のうちの表示される部分）を変化させるものである。
【００１９】
撮像手段１は、上記のように、表示手段６側から観察者を撮影している。従って、撮影画像１２中の観察者ＨＢの位置は、図３に示すように、表示画面６ａに向かって見たときの、観察者ＨＢの位置とは左右が逆になっている。即ち、観察者ＨＢが図２に実線１３ａで示すように、表示画面６ａに略正面の位置にあるときは、撮影画像１２中の観察者の画像ＨＣも実線１３ｂで示すように中心に位置するのに対して、観察者ＨＢが図２の破線１４ａで示すように表示画面６ａに向かって右側の位置にあるときは、撮影画像１２中の観察者の画像ＨＣは、破線１４ｂで示すように、左側にずれた位置にある。本願では、撮像画像中の顔の画像を単に「撮像画像中の顔」と言うことがある。
【００２０】
本実施の形態では、撮像手段１による撮影画像の中から、観察者ＨＢの顔の位置を検出し、検出位置に応じて、元映像の中から表示手段６に表示する領域を決定する。
【００２１】
観察者の顔の位置の変化に伴う表示映像（表示手段６に表示される映像）の変化を、更に詳しく説明する。
【００２２】
図４、図５、図６は観察者の水平方向の移動に伴う表示映像の変化を示している。図４は、観察者が表示手段６の表示画面の略中央に整列して位置している場合である。この場合には、撮像手段１で撮影した画像の中央（撮影画像１２（図３）中の中央）に観察者の顔が検出され、元映像の中央部分が表示画面６ａに表示されている。
【００２３】
図５に示すように、観察者が左側に移動すると、撮影画像１２中の右側に観察者の顔が検出され、元映像のうちの、図４の場合よりも右側にずれた部分が表示画面６ａに表示される。
【００２４】
図６に示すように、観察者が右側に移動すると、撮影画像１２中の左側に観察者の顔が検出され、元映像のうちの、図４の場合よりも左側にずれた部分が表示画面６ａに表示される。
【００２５】
図７、図８は観察者ＨＢの顔ＨＦの上下方向の移動に伴う、表示映像の変化を示している。図７に示すように、観察者ＨＢが立ち上がり、顔ＨＦが上側に移動すると、撮影画像１２の上側に観察者の顔の画像が形成され、元映像のうちの、図４の場合よりも下側にずれた部分が表示画面６ａに表示される。図８に示すように、観察者ＨＢがしゃがみ、顔ＨＦが下側に移動すると、撮影画像１２の下側に観察者の顔の画像が形成され、元映像のうちの、図４の場合よりも上側にずれた部分が表示画面６ａに表示される。
【００２６】
図９、図１０は観察者ＨＢ（の顔ＨＦ）と表示手段６の間の距離の変化に伴う表示映像の変化を示している。図９に示すように、観察者ＨＢが表示手段６に近づくと、表示倍率が小さくなり、元映像のうち表示手段６に映し出される部分がより広くなる。図１０に示すように、観察者ＨＢが表示手段６から遠ざかると、表示倍率が大きくなり、元映像のうち表示手段６に映し出される部分がより狭くなる。
このように、観察者ＨＢの位置に応じて表示映像を変化させることで、窓から見える景色の変化を模擬することができる。
【００２７】
次に、顔ＨＦの検出方法について説明する。顔検出手段３は、撮像手段１で撮影した画像の中から、眉、目、鼻、口などの顔を構成する要素乃至部品（パーツ）と判断される部分を抽出し、それぞれの位置関係が顔の配置と一致していれば顔とみなす、或いは、撮影画像中の肌色の領域を顔とみなすなどの手法により、顔を検出する。そして、検出した領域を囲む矩形を作成し、その矩形の中心の位置と矩形の大きさを表すデータを表示制御手段４に渡す。顔が複数検出された場合は、顔を囲む矩形が最も大きいものを選択し、それ以外のものを無視する。顔が検出されなかった場合には全ての値を０とすることで、後段の処理に顔の有無を伝える。この場合には、それまで表示していたのと同じ部分を表示する。
【００２８】
ここで求めた矩形の中心位置を基準とする位置と比較することにより、観察者が上下左右方向にどれだけ偏移しているかを知ることができる。基準位置は任意に設定して差し支えないが、通常は撮影画像の中央とする。
【００２９】
また、矩形の大きさをある所定の基準値と比較することにより、観察者と表示手段６の間の相対的な距離を知ることができる。厳密には、観察者が表示手段６に近づく方向に移動しているか、遠ざかる方向に移動しているかが分かる。
【００３０】
次に、表示制御手段４において、観察者の顔の位置から、元映像のうちの表示映像部分の中心を算出する方法について述べる。ここでは、図２及び図３のように、撮像手段１で撮影した画像が、観察者から見ると左右反転した画像になる場合を例にして説明する。
【００３１】
図１１は仮想平面２１上の元映像を示し、図１２は、撮像手段１で撮影した画像を示している。それぞれの画像中の各画素位置は、横方向をｘ軸、縦方向をｙ軸、左上を原点（０，０）とする座標で表すことができる。これ以降、元映像内の座標は大文字、撮像手段１で撮影した画像内の座標は小文字で表すことにする。
【００３２】
まず、元映像の基準となる位置と、撮影画像の基準となる位置を決める。例えば、それぞれの中心を基準位置としても良いが、ここでは仮に、元映像の基準位置の座標を（Ｘ０，Ｙ０）、撮影画像の基準位置の座標を（ｘ０，ｙ０）と表す。そして、観察者の顔が撮影画像の基準位置（ｘ０，ｙ０）にある場合、元映像の中の基準位置（Ｘ０，Ｙ０）を中心とする領域を表示手段６に表示するものとする。表示する領域のサイズは、表示手段６の表示領域のサイズに合わせて適宜決めればよい。
【００３３】
表示制御手段４は、顔検出手段３が撮影画像の中から検出した顔を囲む矩形の中心座標（ｘｆ，ｙｆ）と、矩形の大きさ（顔の大きさ）を表す値ｄｆを受け取る。顔を囲む矩形は正方形でも長方形でもよいが、ここでは正方形として説明する。正方形の場合、一辺の長さをｄｆとする。長方形とする場合には、二辺の長さの和や矩形の面積などをｄｆとすれば良い。
【００３４】
表示制御手段４は、元映像の中から表示手段６に表示する領域１７の中心座標（Ｘ’，Ｙ’）を式（１）に従い算出する。
Ｘ’＝Ｘ０＋α・（ｘ０−ｘｆ）
Ｙ’＝Ｙ０＋β・（ｙ０−ｙｆ）
…（１）
係数α、βの値は、例えば、α＝１．０、β＝−１．０とする。
【００３５】
それぞれの係数の符号は、撮影画像の方向によって決まる。例えば、撮像手段の撮影画像が図３、図１２に示すように、左右反転している場合、上記のように、係数αを正の値とし、係数βを負の値とすると、観察者が移動した方向と相反する方向に元映像の表示領域が移動する。
【００３６】
それぞれの係数α、βの絶対値は、顔の移動量に対する表示映像の移動量の比や、元映像のサイズと撮像手段１で撮影した画像のサイズの比などにより適宜調整する。例えば、絶対値が「１」の場合、観察者の顔の検出位置が１画素変化したとき、元映像の表示領域も１画素変化する。
【００３７】
ここで、以下のような配慮に基づいて係数の値を定めることとしても良い。即ち、映像情報提供手段７が提供した映像情報で表される映像を、図１３で示すように、表示手段６の表示画面６ａの背後に位置する仮想平面２１上に表示したと仮定し、表示画面６ａが透視可能な窓であると仮定した場合に、仮想平面２１上の映像のうちの観察者ＨＢに見える部分（観察者ＨＢの位置に応じて上記見える部分は変化する）と概ね一致する部分を、映像処理手段５に選択させ、表示画面６ａに表示させる。より具体的に言うと、表示制御手段４は、映像情報提供手段７が提供した映像情報で表される映像を、上記仮想平面上２１に表示したと仮定し、観察者の顔ＨＦの位置と、表示画面６ａの中心とを結ぶ線が仮想平面２１の交わる点を中心すると映像部分を、映像処理手段５に選択させる。
【００３８】
このような考えで処理を行なう場合において、係数α、βの絶対値を１とするのは、図１３の仮想平面２１と、表示画面６ａまでの距離ｓｂが、表示画面６ａから観察者の顔ＨＦまでの距離ｓｆとが等しい場合に対応する。
なお、図１３は、平面図であり、観察者の顔ＨＦの位置と表示される映像部分につき、左右方向の関係を示すが、上下方向にも同様の関係がある。
【００３９】
このような配置において、例えば、図１３に示すように、観察者の顔ＨＦが、表示画面６ａの中心６ｏの正面の位置Ｐ１（表示画面６ａの中心を通り、表示画面６ａに垂直な直線上の位置）にあるとき、観察者の顔ＨＦと表示画面の中心６ｏとを結ぶ直線２２と仮想平面２１とが交わる点Ｑ１を中心する映像部分Ｒ１が、映像処理手段５により選択されて、表示手段６の表示画面６ａに表示される。図１３では、上から見た図であり、映像部分Ｒ１が一次元的に見えるが、実際には、紙面に垂直な方向についても同様であり、みえる範囲は二次元的なものである。上記の映像部分Ｒ１は、位置Ｐ１にある顔ＨＦと表示画面の縁６ｂとを結ぶ面２３が仮想平面２１と交わる線２４を外縁とする領域と略一致する。
【００４０】
また、観察者の顔ＨＦが、表示画面６ａに向かって右側にずれた位置Ｐ２にあるとき、観察者の顔ＨＦと表示画面の中心６ｏとを結ぶ線２５と仮想平面２１とが交わる点Ｑ２を中心する映像部分Ｒ２が、映像処理手段５により選択されて、表示画面６ａに表示される。上記の映像部分Ｒ２は、顔ＨＦと表示画面の縁６ｂとを結ぶ面２６が仮想平面２１と交わる線２７を外縁とする領域と略一致する。
【００４１】
以上のように構成することにより、観察者の顔移動する方向と相反する方向に、表示手段６に表示される映像が移動するため、観察者に、あたかも窓越しに外に広がる風景、光景を見ているかのような感覚を与える。
【００４２】
表示制御手段４は更に、映像の表示倍率Ｚ’を式（２）に従い算出する。
Ｚ’＝Ｚ０＋γ・（ｄ０−ｄｆ）      …（２）
係数γの値は、例えば、０．０２とする。
Ｚ０、ｄ０はそれぞれ基準とする倍率と顔の大きさである。倍率の基準は、例えば１．０とする。基準とする顔の大きさは撮影画像のサイズや、観察者と表示手段６の距離などに応じて決めればよいが、例えば、撮影画像の短辺の長さの１／３とする。
【００４３】
これにより、顔の大きさを表すｄｆが基準ｄ０より大きい場合は表示倍率Ｚ’が低くなるため、表示画面６ａのサイズが一定の場合、より広い範囲の映像が表示画面６ａに表示される。逆に、顔の大きさを表すｄｆが基準ｄ０より小さい場合は表示倍率Ｚ’が高くなり、表示画面６ａのサイズが一定の場合、より狭い範囲の映像が表示画面６ａに表示される。
【００４４】
つまり、観察者が表示画面６ａに近づくと、近づく前と比較して、表示画面６ａに表示される映像の範囲が広がる。その結果、観察者は、擬似的に視野が広がったように感じる。逆に、観察者が表示画面６ａから遠ざかると、遠ざかる前と比較して、表示画面６ａに表示される映像の範囲が狭まる。その結果、観察者は、擬似的に視野が狭まったように感じる。
【００４５】
図１４は、実施の形態１で、撮像手段１で撮影した画像から顔を検出し、検出結果に応じて元映像の表示内容を変更する処理を説明するフローチャートである。
【００４６】
プログラムが起動すると、まず、表示制御手段４で使用する元映像の表示位置Ｘ’、Ｙ’と表示倍率Ｚ’を初期化する（ステップＳＴ１）。次に、顔検出手段３は撮像手段１で撮影した画像をフレームメモリ２から読み出し（ステップＳＴ２）、画像の中から観察者の顔を検出する（ステップＳＴ３）。顔を検出した場合には（ＳＴ４でＹｅｓ）、パラメータＸ’、Ｙ’、Ｚ’を更新する（ＳＴ５、ＳＴ６）が、検出しなかった場合には(ＳＴ４でＮｏ）、パラメータの更新は行わない。制御手段５は、パラメータに応じて元映像を表示手段６に表示する（ステップＳＴ７）。以降、終了の要求が発生しない限り、ステップＳＴ２〜ＳＴ７の処理が繰り返し実行される。
【００４７】
以上のように、本実施の形態によれば、表示画面６ａの観察者ＨＢが位置を変えると、それまで見えなかった範囲の映像が表示画面６ａに表示されることで、視野が変わり、観察者ＨＢに、あたかも窓越しに外に広がる景色の一部を見ているかのような感覚を与える。
【００４８】
また、観察者ＨＢの動きに応じて、表示画面に表示される映像を変化させることにより、表示映像の奥行き感を与えることができる。
【００４９】
この場合、元映像が静止画であっても、観察者の位置の変化に応じて表示画面に表示される部分が変化するので、窓越しの外の風景を見ている感覚を与えることができる。静止画を用いる場合には、映像情報提供手段７として簡易なものを用いることができる。また、元映像として動画を用いて、時間とともにゆっくりと変化する風景、光景（空の色の変化、雲の流れ、木の葉のゆれ、鳥の飛ぶ様、人や車の動き）などを表すこととしても良い。逆に動いている乗り物の窓から外を眺めているときのような、過ぎて行く風景を表す映像を元映像とすることとしても良い。
【００５０】
実施の形態２．
次に実施の形態２の映像表示システムを説明する。実施の形態２のシステムの全体的構成は、図１と同様であるが、表示制御手段４の動作が異なる。即ち、実施の形態１において、表示画面６ａからの観察者に距離に応じて、元画像のうちの、表示画面６ａに表示される部分（領域）の大きさが変えることしているが、その場合に、表示制御手段４として以下のようにして、表示される部分の大きさを変えるものを用いる。即ち、表示制御手段４として、例えば図１５に示すように、映像情報提供手段７が提供した映像情報で表される映像を、表示手段６の表示画面６ａの背後に位置する仮想平面２１上に表示したと仮定し、表示画面６ａが透視可能な窓であると仮定した場合に、仮想平面２１上の映像のうちの、観察者ＨＢに見える部分（観察者の顔の位置におうじて変化する）と概ね一致する部分が、表示画面６ａの全体に表示されるように、映像処理手段５は映像の表示倍率を定めるものを用いる。この場合、観察者の位置は、撮像手段１で検出された観察者の顔の大きさに基づいて推定する。即ち、顔が大きければ、観察者はより近くにいると推定（判断）し、逆に顔が小さければ、観察者はより遠くにいると推定（判断）する。
【００５１】
例えば、観察者の顔ＨＦが符号Ｐ３で示すように表示画面６ａから比較的遠い位置（距離ｓｆ３の位置）にあるときは、仮想平面２１上の映像のうちのより狭い映像部分Ｒ３が表示画面６ａに表示され、観察者ＨＢが符号Ｐ４で示すように表示画面６ａから比較的近い位置（距離ｓｆ４の位置）にあるときは、仮想平面２１上の映像のうちのより広い映像部分Ｒ４が表示画面６ａに表示されるように表示倍率が定められる。
【００５２】
上記の映像部分Ｒ３は、位置Ｐ３にある顔ＨＦと表示画面の縁６ｂとを結ぶ面３３が仮想平面２１と交わる線３４を外縁とする領域と略一致し、上記の映像部分Ｒ４は、位置Ｐ４にある顔ＨＦと表示画面の縁６ｂとを結ぶ面３６が仮想平面２１と交わる線３７を外縁とする領域と略一致する。
【００５３】
この場合、表示倍率Ｚ’を求めるための計算式として、上記の式（２）の代わりに下記の式（３）を用いても良い。
Ｚ’＝Ｚ０×γ・（ｄ０／ｄｆ）      …（３）
この場合係数γの値は、例えば、１とする。
係数が１であることは、図１３の仮想平面２１と、表示画面６ａまでの距離が、表示画面６ａから観察者ＨＢの顔までの距離とが等しい場合に対応する。
【００５４】
実施の形態３．
次に実施の形態３の映像表示システムを説明する。実施の形態３のシステムの全体的構成は、図１と同様であるが、表示制御手段４が検出された顔の大きさに応じて、表示画面６ａの表示領域６ｅの大きさを制御する点が異なる。これは、実施の形態１では、映像の表示倍率を変えることで視野の広がり、狭まりを表現するのに対し、実施の形態３では、表示手段６の表示画面６ａのうちの、外縁６ｂに隣接する枠状の周辺部を非表示部分６ｄとし、この非表示部分６ｄの幅を変化させることで、表示領域６ｅの大きさを変え、これにより、視野の広がり、狭まりを表現する。
【００５５】
以下の説明では、表示倍率は観察者の位置に関わらず一定として説明するが、表示画面（の表示領域）のサイズを変更すると共に、表示倍率を変更するようにしても差し支えない。なお、撮像手段１は、実施の形態３では、表示手段６の上側に設置されている。
【００５６】
図１６、図１７は観察者と表示手段６の間の距離の変化に伴う、表示画面６ａの表示領域６ｅの大きさの変化を示している。図１６に示すように、観察者ＨＢが表示手段６の表示画面６ａに近づくと、表示手段６の非表示部分６ｄの幅が狭くなり、表示画面６ａの表示領域６ｅが広がる。図１７に示すように、観察者ＨＢが表示手段６から遠ざかると、表示手段６の非表示部分６ｄの幅が大きくなり、表示領域６ｅが狭まる。
このように、観察者ＨＢの位置に応じて表示領域６ｅのサイズを変化させることにより、窓から見える景色の変化を模擬することができる。
【００５７】
表示領域６ｅの大きさの決定方法について述べる。表示制御手段４は、表示画面６ａの表示領域６ｅの縦方向のサイズＷ’、横方向のサイズＨ’を式（４）に従い算出する。
Ｗ’＝Ｗ０・δ・（ｄｆ／ｄ０）
Ｚ’＝Ｈ０・δ・（ｄｆ／ｄ０）
…（４）
【００５８】
係数δは例えば１．０とする。Ｗ０、Ｈ０はそれぞれ基準となる表示領域６ｅのサイズである。観察者の顔の大きさｄｆと基準ｄ０の比に応じて表示領域６ｅのサイズが変わる。つまり、観察者の顔が大きくなると表示領域６ｅのサイズが大きくなり、観察者の顔が小さくなると表示領域６ｅのサイズも小さくなる。これにより、観察者が表示手段６に近づくにつれて表示領域６ｅのサイズが大きくなり、観察者が表示手段６から遠ざかるにつれて表示領域６ｅのサイズが小さくなる。そのため、観察者が表示手段６に近づくと視野が広がり、表示手段６から遠ざかると視野が狭まって見える。
【００５９】
図１８は、実施の形態３で、撮像手段１で撮影した画像から顔を検出し、検出結果に応じて映像の表示内容を変更する処理を説明するフローチャートである。
プログラムが起動すると、まず、表示制御手段４で使用する映像の表示位置と表示倍率を初期化する（ステップＳＴ１１）。次に、顔検出手段３は撮像手段１で撮影した画像をフレームメモリ２から読み出し（ステップＳＴ１２）、画像の中から観察者の顔を検出する（ステップＳＴ１３）。顔を検出した場合には(ＳＴ１４でＹｅｓ）、パラメータＸ’、Ｙ’、Ｗ’、Ｈ’を更新する（ＳＴ１５、ＳＴ１６）が、検出しなかった場合には(ＳＴ１４でＮｏ）、パラメータの更新は行わない。制御手段５は、パラメータに応じて映像を表示手段６に表示する（ステップＳＴ１７）。以降、終了の要求が発生しない限り、ステップＳＴ１２〜ＳＴ１７の処理が繰り返し実行される。
【００６０】
上記の実施の形態１、２において、表示手段６は、矩形の表示画面６ａを有し、また実施の形態３において表示手段６が矩形の表示領域６ｅを有するが、これらの表示画面６ａや表示領域６ｅは、建物や乗り物の窓に模した他の形状、例えば円形或いはアーチ型のものであっても良い。
【００６１】
上記の実施の形態１〜３の映像表示システムは、立体視用に特別に開発した特殊な装置を用いる必要がないので、容易に実現することが出来る。
また、観察者が、位置を検出するための装置等を装着する必要がなく、また、脳内で視差画像から立体画像を再構成する必要もないので、観察者にとって使用性に優れたシステムを提供できる。
【図面の簡単な説明】
【００６２】
【図１】この発明の実施の形態１、２、３の映像表示システムの構成を示すブロック図である。
【図２】実施の形態１における、観察者の位置と、元映像の中から表示画面に表示される範囲の関係を模式的に示す説明図である。
【図３】撮像手段による撮影画像中の観察者の画像の位置を示す図である。
【図４】観察者が表示手段の表示画面の正面に位置している場合に、表示画面に表示される元映像の範囲を模式的に示す説明図である。
【図５】観察者が向かって左側から表示画面を見ている場合に、表示画面に表示される元映像の範囲を模式的に示す説明図である。
【図６】観察者が向かって右側から表示画面を見ている場合に、表示画面に表示される元映像の範囲を模式的に示す説明図である。
【図７】観察者が高い位置から表示画面を見ている場合に、表示画面に表示される元映像の範囲を模式的に示す説明図である。
【図８】観察者が低い位置から表示画面を見ている場合に、表示画面に表示される元映像の範囲を模式的に示す説明図である。
【図９】観察者が近い位置から表示画面を見ている場合に、表示画面に表示される元映像の範囲を模式的に示す説明図である。
【図１０】観察者が遠い位置から表示画面を見ている場合に、表示画面に表示される元映像の範囲を模式的に示す説明図である。
【図１１】元映像の座標位置の表し方を模式的に示す説明図である。
【図１２】撮像手段による撮影画像の座標位置の表し方を模式的に示す説明図である。
【図１３】観察者の位置と、元映像の中から表示画面に表示される範囲の関係を模式的に示す説明図である。
【図１４】実施の形態１における映像表示手順を示すフローチャートである。
【図１５】実施の形態２における、観察者の位置と、元映像の中から表示画面に表示される範囲の関係を模式的に示す説明図である。
【図１６】実施の形態３において、観察者が近い位置から表示画面を見ている場合に、映像の表示に用いられる表示領域を示す説明図である。
【図１７】実施の形態３において、観察者が遠い位置から表示画面を見ている場合に、映像の表示に用いられる表示領域を示す説明図である。
【図１８】実施の形態３における映像表示手順を示すフローチャートである。
【符号の説明】
【００６３】
１  撮像手段、  ２  フレームメモリ、  ３  顔検出部、  ４  表示制御手段、  ６  表示手段、  ６ａ  表示画面、  ６ｂ  外縁、  ７  映像情報提供手段、  ８  コンピュータ、  １２  撮影画像、  １３ａ  正面に位置する観察者、  １４ａ  右側に位置する観察者、  １３ｂ，１４ｂ  撮影画像中の観察者の画像、  １５  正面からの観察者に対する表示領域、  １６  右側からの観察者に対する表示領域、  ＨＢ  観察者、  ＨＦ  顔。
【図１】
2007052304.tif 000003
【図２】
2007052304.tif 000004
【図３】
2007052304.tif 000005
【図４】
2007052304.tif 000006
【図５】
2007052304.tif 000007
【図６】
2007052304.tif 000008
【図７】
2007052304.tif 000009
【図８】
2007052304.tif 000010
【図９】
2007052304.tif 000011
【図１０】
2007052304.tif 000012
【図１１】
2007052304.tif 000013
【図１２】
2007052304.tif 000014
【図１３】
2007052304.tif 000015
【図１４】
2007052304.tif 000016
【図１５】
2007052304.tif 000017
【図１６】
2007052304.tif 000018
【図１７】
2007052304.tif 000019
【図１８】
2007052304.tif 000020