(57)【要約】【課題】特別なハードウエアを必要とせず、立体表示用ではない通常の画像を用いて、簡単に立体感のある表示を実現することのできる技術を提供する。【解決手段】サブフレーム生成部は、Ｎ個（Ｎは１より大きい整数）の連続する表示サブフレームにより１つの映像を形成するように、出力映像信号の各表示サブフレームを生成する。このとき、サブフレーム生成部は、映像中の背景の領域の発光強度がＮ個の表示サブフレームの間で相対的に変化せず、かつ、背景に比べて浮き出させる対象物の領域の発光強度がＮ個の表示サブフレームの間で相対的に変化するように、Ｎ個の表示サブフレームにおける領域ごとの発光強度を決定する。【選択図】図１
2012147132.tif 000002
【特許請求の範囲】
【請求項１】
立体感のある映像表示を行うための出力映像信号を生成する映像生成装置であって、
出力映像信号を構成する表示サブフレームを生成するサブフレーム生成部と、
前記表示サブフレームを表示フレーム周波数で表示装置に対し順次出力する出力部と、を有し、
前記サブフレーム生成部は、
Ｎ個（Ｎは１より大きい整数）の連続する表示サブフレームにより１つの映像を形成するように、各表示サブフレームを生成するものであって、
映像中の背景の領域の発光強度がＮ個の表示サブフレームの間で相対的に変化せず、かつ、背景に比べて浮き出させる対象物の領域の発光強度がＮ個の表示サブフレームの間で相対的に変化するように、Ｎ個の表示サブフレームにおける領域ごとの発光強度を決定することを特徴とする映像生成装置。
【請求項２】
前記Ｎ個の表示サブフレームの間における同じ領域の最小の発光強度に対する最大の発光強度の比を発光強度比としたときに、
前記サブフレーム生成部は、背景に比べて浮き出させる度合いが大きいほど発光強度比を大きくすることを特徴とする請求項１に記載の映像生成装置。
【請求項３】
映像中の対象物の奥行き方向の距離を表す距離情報を取得する距離情報抽出部をさらに有し、
前記サブフレーム生成部は、前記距離情報抽出部で取得した各対象物の距離情報を元に、各対象物の発光強度比を決定することを特徴とする請求項２に記載の映像生成装置。
【請求項４】
前記サブフレーム生成部は、ある対象物のＮ個の表示サブフレームでの発光強度の合計が当該対象物の発光強度比によらず同じ値となるように、各表示サブフレームにおける発光強度を決定することを特徴とする請求項２または３に記載の映像生成装置。
【請求項５】
前記サブフレーム生成部は、背景に比べて浮き出させる度合いに応じて、発光強度比を段階的に切り換えることを特徴とする請求項２〜４のうちいずれか１項に記載の映像生成装置。
【請求項６】
前記サブフレーム生成部は、発光強度比の空間的な変化、または、発光強度比の空間的および時間的な変化を緩やかにするためのローパスフィルタを有していることを特徴とする請求項２〜５のうちいずれか１項に記載の映像生成装置。
【請求項７】
前記サブフレーム生成部は、前記表示フレーム周波数のＮ分の１のフレーム周波数の入力映像信号の各フレームからＮ個のサブフレームを生成し、このＮ個のサブフレームの領域ごとの発光強度を調整することによって、前記出力映像信号の表示サブフレームを生成することを特徴とする請求項１〜６のうちいずれか１項に記載の映像生成装置。
【請求項８】
前記出力映像信号は、背景となる第１の映像の上に第２の映像が合成された映像信号であり、
前記サブフレーム生成部は、前記第１の映像の領域の発光強度を表示サブフレーム間で相対的に変化させず、かつ、前記第２の映像の領域の発光強度を表示サブフレーム間で相対的に変化させることを特徴とする請求項１〜６のうちいずれか１項に記載の映像生成装置。
【請求項９】
前記表示装置はインパルス型ディスプレイであることを特徴とする請求項１〜８のうちいずれか１項に記載の映像生成装置。
【請求項１０】
立体感のある映像表示を行うための出力映像信号を生成する映像生成方法であって、
出力映像信号を構成する表示サブフレームを生成するサブフレーム生成ステップと、
前記表示サブフレームを表示フレーム周波数で表示装置に対し順次出力する出力ステップと、を有し、
前記サブフレーム生成ステップでは、
Ｎ個（Ｎは１より大きい整数）の連続する表示サブフレームにより１つの映像を形成するように、各表示サブフレームが生成され、
映像中の背景の領域の発光強度がＮ個の表示サブフレームの間で相対的に変化せず、かつ、背景に比べて浮き出させる対象物の領域の発光強度がＮ個の表示サブフレームの間で相対的に変化するように、Ｎ個の表示サブフレームにおける領域ごとの発光強度が決定されることを特徴とする映像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体感のある表示を行う技術に関する。
【背景技術】
【０００２】
立体感のある表示を行う表示装置については、近年、両眼視差（輻輳角の違い）を利用した立体表示装置が製品化されている。すなわち、左目用と右目用の画像を用意し、左目用の画像は観測者の左目のみに、右目用の画像は観測者の右目のみに見えるようにした表示装置である。
【０００３】
例えば、左右の画像をストライプ状に互い違いに表示し、表示パネル前に配置したストライプ状のレンチキュラーレンズやスリットによって左画像は観測者の左目のみに、右画像は右目のみに入射させる、という方法が液晶表示装置（ＬＣＤ）等で実現されている。
また、表示パネルの前に左右の画像に対応したストライプ状の偏光板を設けることで左右の画像を異なる偏光で表示し、偏光眼鏡を通すことにより観測者の左右の目に対応する画像のみ見えるようにする方法も実現されている。
また、プロジェクタ表示装置においては、表示フレーム周波数を２倍にして左右のフレームを交互に異なる偏光で表示し、偏光眼鏡を通すことにより左右の目に対応する画像のみ見えるようにする方法も実現されている。
また、液晶表示装置（ＬＣＤ）やプラズマ表示装置（ＰＤＰ）では、液晶シャッタ眼鏡を利用する方法がすでに製品化されている。この方法は、左右のフレームを交互に表示し、それに同期してシャッタ眼鏡の左右の液晶シャッタの透過／遮光を切り換えることで、左右の目に対応する画像のみ見えるようにする方法である。
【０００４】
また、特許文献１には、両眼視差に加えて運動視差を利用する立体表示方法が提案されている。この方法は、観測者の視点を動きを検出し、観測者の視点移動速度が大きいときは運動視差のみで両目に同一視点の画像を表示し、視点移動速度が小さいときは両眼視差の画像を表示するというものである。特許文献１では、表示する画像はＣＧ（Computer Graphics）等の技術を用いて形成した仮想空間の画像であり、ヘッドマウンテッドディス
プレイ（ＨＭＤ）等で観測者に表示する表示方法について開示されている。
【０００５】
上述した従来の立体表示方法では、表示装置にレンチキュラーレンズやスリットを設けたり、観測者に偏光眼鏡、シャッタ眼鏡、ＨＭＤを装着させたりするなど、特別なハードウエアが必要となる。また両眼視差や運動視差が設定された特別な画像でなければ、立体表示を行えないという問題もある。すなわち、従来の立体表示方法は、低コストかつ簡単な構成で立体感のある表示を実現できるものではなかった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−３３８４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は上記実情に鑑みてなされたものであり、その目的は、特別なハードウエアを必要とせず、立体表示用ではない通常の画像を用いて、簡単に立体感のある表示を実現することのできる技術を提供することである。
【課題を解決するための手段】
【０００８】
本発明の第１態様は、立体感のある映像表示を行うための出力映像信号を生成する映像生成装置であって、出力映像信号を構成する表示サブフレームを生成するサブフレーム生成部と、前記表示サブフレームを表示フレーム周波数で表示装置に対し順次出力する出力部と、を有し、前記サブフレーム生成部は、Ｎ個（Ｎは１より大きい整数）の連続する表示サブフレームにより１つの映像を形成するように、各表示サブフレームを生成するものであって、映像中の背景の領域の発光強度がＮ個の表示サブフレームの間で相対的に変化せず、かつ、背景に比べて浮き出させる対象物の領域の発光強度がＮ個の表示サブフレームの間で相対的に変化するように、Ｎ個の表示サブフレームにおける領域ごとの発光強度を決定する映像生成装置を提供する。
【０００９】
本発明の第２態様は、立体感のある映像表示を行うための出力映像信号を生成する映像生成方法であって、出力映像信号を構成する表示サブフレームを生成するサブフレーム生成ステップと、前記表示サブフレームを表示フレーム周波数で表示装置に対し順次出力する出力ステップと、を有し、前記サブフレーム生成ステップでは、Ｎ個（Ｎは１より大きい整数）の連続する表示サブフレームにより１つの映像を形成するように、各表示サブフレームが生成され、映像中の背景の領域の発光強度がＮ個の表示サブフレームの間で相対的に変化せず、かつ、背景に比べて浮き出させる対象物の領域の発光強度がＮ個の表示サブフレームの間で相対的に変化するように、Ｎ個の表示サブフレームにおける領域ごとの発光強度が決定される映像生成方法を提供する。
【発明の効果】
【００１０】
本発明によれば、特別なハードウエアを必要とせず、立体表示用ではない通常の画像を用いて、簡単に立体感のある表示を実現することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態を示すブロック図。
【図２】本発明の第１の実施形態の変形例を示すブロック図。
【図３】本発明の第２の実施形態を示すブロック図。
【図４】本発明の第４の実施形態を示すブロック図。
【図５】本発明の第６の実施形態を示すブロック図。
【図６】本発明の第１の実施形態のタイミング図。
【図７】対象物の距離と第１係数の対応テーブルの例を示す図。
【図８】対象物が移動する場合の追従視を説明する図。
【図９】観測者が移動する場合の追従視を説明する図。
【図１０】サブフレーム表示による運動視差の発生原理を模式的に示す図。
【図１１】サブフレーム表示による運動視差の観察実験に用いた映像を示す図。
【図１２】第１の実施形態における画像の例と第１係数ｋ１を模式的に示す図。
【図１３】第２の実施形態における画像の例と第１係数ｋ１を模式的に示す図。
【図１４】第３の実施形態における画像の例と第１係数ｋ１を模式的に示す図。
【発明を実施するための形態】
【００１２】
本発明は、簡易的に立体感のある映像表示を行うための出力映像信号を生成する映像生成装置、映像生成方法に関するものである。本発明は、例えば、ＴＶ装置、コンピュータ用モニタ、ディジタルフォトフレームなどの画像表示装置に搭載される映像処理回路に適用することができる。また、本発明は、画像表示装置に対して映像信号を出力する各種の映像機器（例えば、パーソナルコンピュータ、デジタルカメラ、ビデオカメラ、ビデオレコーダなど）に搭載される映像処理回路に適用することもできる。また、本発明は、ノートパソコン、携帯電話、スマートフォン、タブレット端末のような表示装置一体型の電子機器にも適用可能である。
【００１３】
（運動視差）
初めに、運動視差について説明する。運動視差とは、例えば動いている対象物を観測している場合に、その対象物と他の物体（背景）との位置関係が変化することにより立体感が生じることをいう。また観測者の視点が移動しても同様に、対象物と他の物体（背景）の位置関係が変化するため、観測者は立体感を認識する。
【００１４】
対象物が移動している場合の説明を行う。図８（ａ）は対象物が移動する場合の追従視を模式的に示す図である。図８（ａ）において、１００は観測者の目、１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ，１０１ｅは時刻Ｔｎ−２，Ｔｎ−１，Ｔｎ，Ｔｎ＋１，Ｔｎ＋２における対象物を示している。すなわち、対象物は動いている。１０２ａ，１０２ｂ，１０２ｃ，１０２ｄ，１０２ｅは背景となる他の物体である。本発明の説明では、以降、単に背景と呼ぶことにする。１１０ａ，１１０ｂ，１１０ｃ，１１０ｄ，１１０ｅは、動いている対象物１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ，１０１ｅをそれぞれ追従視している視線を模式的に示した点線である。
【００１５】
図８（ｂ）に移動する対象物が網膜上に結像されたを画像を模式的に示す。図８（ｂ）において、１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ，１０１ｅは、時刻Ｔｎ−２，Ｔｎ−１，Ｔｎ，Ｔｎ＋１，Ｔｎ＋２における対象物を示しており、観測者が追従視を行う結果、時刻Ｔｎ−２，Ｔｎ−１，Ｔｎ，Ｔｎ＋１，Ｔｎ＋２において、対象物は網膜上の中心に位置する。１０２ｃはある背景である。１１１は追従視した対象物１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ，１０１ｅの網膜上の移動を示す線、１１２は対象物１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ，１０１ｅを追従視した結果、ある背景１０２ｃの網膜上の移動を示す直線である。図８（ｂ）を見てわかるように、対象物の運動を追従視することにより、対象物と背景の位置関係が変化するのがわかる。この変化を観測者は経験的に立体感として認識する。
【００１６】
次に、観測者の視点が移動している場合の説明を行う。図９（ａ）は観測者が移動した場合の追従視を模式的に示す図である。図９（ａ）において、１００ａ，１００ｂ，１００ｃ，１００ｄ，１００ｅは、時刻Ｔｎ−２，Ｔｎ−１，Ｔｎ，Ｔｎ＋１，Ｔｎ＋２における観測者の目であり、１０１は対象物を示している。１０２ａ，１０２ｂ，１０２ｃ，１０２ｄ，１０２ｅは背景である。１１０ａ，１１０ｂ，１１０ｃ，１１０ｄ，１１０ｅは、対象物１０１を追従視した場合の視線を模式的に示した点線である。
【００１７】
図９（ｂ）に観測者が移動した場合の網膜上に結像された画像を模式的に示す。図９（ｂ）において、１０１は時刻Ｔｎ−２，Ｔｎ−１，Ｔｎ，Ｔｎ＋１，Ｔｎ＋２における対象物を示しており、観測者が追従視を行う結果、時刻Ｔｎ−２，Ｔｎ−１，Ｔｎ，Ｔｎ＋１，Ｔｎ＋２において、網膜上の中心に位置する。１０２ｃはある背景である。１１１は追従視した対象物１０１の網膜上の移動を示す線、１１２は対象物１０１を追従視した結果、ある背景１０２ｃの網膜上の移動を示す直線である。図９（ｂ）を見てわかるように、観測者が移動し、観測者が対象物を追従視することにより、対象物と背景の位置関係が変化するのがわかる。この変化を観測者は経験的に立体感として認識する。
【００１８】
以上説明したように、運動視差、すなわち背景に対する対象物の網膜上の位置のずれによって、立体感が生じる。運動視差による立体感は、対象物や背景の位置関係の変化により認知されるものであるため、観測者が単眼で見ても立体的に知覚できるという特性がある。
【００１９】
（サブフレーム表示による運動視差）
次に、表示装置で表示する映像を工夫することによって、上述した運動視差による立体感と同様な効果を得る方法について記す。
【００２０】
本発明者がＳＥＤ（Surface-conduction Electron-emitter Display）を用い、１２０
Ｈｚの表示フレーム周波数で映像を表示し、対象物と背景を観察したところ、以下のことがわかった。
【００２１】
図１０（ａ）と図１０（ｂ）に、サブフレーム表示による運動視差の発生原理を模式的に示す。図１０（ａ）において、横軸は空間方向、例えばＸ方向を示す軸、縦軸は時間方向を示す軸である。縦軸はフレーム時刻Ｔｎ−２，Ｔｎ−１，Ｔｎ，Ｔｎ＋１，Ｔｎ＋２における表示を模式的に示している。図１０（ａ）において、１０１は対象物であり、１０２ａ，１０２ｂ，１０２ｄ，１０２ｅは背景である、また１１０はマイクロサッカードと呼ばれる観測者の無意識に発生する微小な視点の移動を模式的に示した線である。図１０（ａ）において対象物１０１は１２０Ｈｚのフレーム周波数で、例えば奇数フレームのみ表示する。背景１０２ａ，１０２ｂ，１０２ｄ，１０２ｅはフレーム周波数１２０Ｈｚで全フレームを表示する。この時、対象物１０１は時間方向に１／２に間引いて表示するので、発光強度を２倍に上げ、間引き無しに１２０Ｈｚで表示した場合と同じ輝度（観測者が見て同じ明るさ）になるよう調整する。
【００２２】
図１０（ｂ）は、観測者の網膜に結像するサブフレーム表示の画像を模式的に示した図である。図１０（ｂ）において、１０１は対象物、１０２ａ，１０２ｂ，１０２ｄ，１０２ｅは背景を示す。そして、時刻Ｔｎ−２，Ｔｎ−１，Ｔｎ，Ｔｎ＋１，Ｔｎ＋２における対象物１０１と背景１０２ａ，１０２ｂ，１０２ｄ，１０２ｅの関係を模式的に示している。１１２は観測者の無意識な微小な視点の移動による生じる背景１０２ｂの網膜上の動きを模式的に示した線、１１１は対象物１０１の残像により見える網膜上の位置を示す線である。
【００２３】
図１０（ｂ）を見てわかるように、観測者の無意識な微小な視点の移動によって、背景１０２ｂは、１１２の線に示すように、網膜上で移動する。一方、対象物１０１は、例えば、時刻Ｔｎ−２で２倍の発光強度で点灯し、時刻Ｔｎ−１で発光しない。そのため１１１の線に示すように、残像により対象物１０１が網膜上で固定して見える。次の時刻Ｔｎでは、対象物１０１が発光するため、背景１０２ｂと１０２ｄの間に対象物１０１が移動したように見える。これにより、観測者は、背景１０２ａ，１０２ｂ，１０２ｄ，１０２ｅと対象物１０１の間に異なった動き（背景と対象物の相対的な動き）が発生したと知覚（錯覚）し、それにより運動視差による立体感が生じる。
【００２４】
このようなサブフレーム表示を行う場合、背景１０２ａ，１０２ｂ，１０２ｄ，１０２ｅは表示装置の額縁と同等の動きとなるため、背景が表示装置の額縁と同じ距離と認識する手がかりになる。そして、背景１０２ａ，１０２ｂ，１０２ｄ，１０２ｅに対して、対象物１０１は手前にあるように認識されることにより立体感が生じる。
【００２５】
また、本発明者が観察したところ、背景が無地の場合は、背景の動きが認識しづらいため、背景と対象物との相対的な動きが認知しにくくなり、立体感が少なくなることがわかった。また、立体感の手助けを行うような模様を背景として選ぶと、背景と対象物との相対的な動きが認知し易くなるため、サブフレーム表示による運動視差の発生が引き起こす立体感が増強できた。
【００２６】
具体的に本発明者がＳＥＤに表示し観察を行った画像を、図１１（ａ）、図１１（ｂ）と、図１１（ｃ）、図１１（ｄ）に示す。これらの画像を用いて、前述した現象を更に詳しく説明する。
図１１（ａ）はサブフレーム表示による観察を行った第１フレームの画像を示す図、図１１（ｂ）は第２フレームの画像を示す図である。以降、本明細書では、このサブフレー
ムを表示サブフレームと呼ぶことにする。
【００２７】
初めに、本発明者は、本発明の効果を確認するために、図１１（ａ）、図１１（ｂ）の画像をフレーム周波数１２０Ｈｚで交互に表示した。図の濃さは表示装置の発光強度に対応する。図１１（ａ）、図１１（ｂ）の画像は、左右の円部分の輝度がフレーム周波数１２０Ｈｚで表示した場合に同じになるように調整したデータを用いた。すなわち、図１１（ａ）、図１１（ｂ）の左右の円部分の明るさが同じになるように設定して観測者が評価した。具体的には、左の円部分の発光強度は第１フレームを１００％、第２フレームを０％、右の円部分の発光強度は第１フレームを５０％、第２フレームを５０％のように設定した。背景の発光強度は、第１フレームと第２フレームで同じ値に設定した。
【００２８】
一方、背景の模様について評価するために、図１１（ｃ）、図１１（ｄ）の画像も作成した。図１１（ｃ）は立体感の手助けを行うような模様を背景に追加しサブフレーム表示による観察を行った第１フレームの画像を示す図、図１１（ｄ）は第２フレームの画像を示す図である。図１１（ａ）、図１１（ｂ）の画像と異なる部分は、左右の円の下に左右の円が立体的に見えるように補助する図形を追加したことである。この補助図形は、奥行きがあるように見える斜線と、円の影に見えるような楕円の図形である。その他の部分は、図１１（ａ）、図１１（ｂ）の画像とまったく同じとした。
【００２９】
このような画像をＳＥＤで１２０Ｈｚのフレーム周波数で表示し、立体感を比較した結果、以下のことがわかった。
図１１（ａ）、図１１（ｂ）の右の円は、背景と同一（背景に書かれている絵）の様に見える。一方、左の円は、右の円と異なって見えた。すなわち、左の円部分は背景とは別のもののように見え、微妙ではあるが左の円が浮き出て見えることがわかった。
一方、図１１（ｃ）、図１１（ｄ）については、図１１（ａ）、図１１（ｂ）を用いた表示に比べより立体的に（円が浮き出て）見える。特に、図１１（ｃ）、図１１（ｄ）の左の円については、円が背景とは別のものに見え、右の円に比べより浮き出て見えることがわかった。
また、別の実験として背景に単に模様（テクスチャ）を追加した場合であっても、図１１（ｃ）、図１１（ｄ）ほどではないが、表示サブフレーム間で発光強度を変えると立体的に見えることがわかった。
【００３０】
すなわち、上記の観察実験の結果、次のことがわかった。表示サブフレーム間で発光強度を変えていない対象物（右の円）は背景と同じものに見える（円が背景に書かれているような絵に見える）。しかし、表示サブフレーム間で発光強度を相対的に変化させた場合、背景と対象物（左の円）は異なったものに見え、背景に対し対象物が浮き出て見える。更に背景に模様、特に立体感を助長する模様があると立体感が大きくなる。
【００３１】
以上まとめると、２つの表示サブフレーム間の発光強度比（大きい発光強度／小さい発光強度）が大きな対象物は、背景に比べて浮き出て見える（発光強度比が１の時は通常の表示となり浮き出て見えない）。そして、表示サブフレームを２フレーム表示した結果得られる輝度は対象物によらず表示すべき輝度になるように各表示サブフレームの発光強度を決定することにより、観測者が見た場合の対象物の明るさが変化することもなく、立体感を出すことが可能となる。
【００３２】
インパルス型ディスプレイであるＳＥＤにおいて、上述した効果がはっきり認知できた。ホールド型ディスプレイであるＬＣＤにおいては、上述した効果が少なくなるが、原理的に同様の効果が得られる。また、ＬＣＤは近年インパルス型ディスプレイの特性に近づけるために、黒挿入やバックライトの発光時間の制御等を行っており、このようなＬＣＤにおいては、本発明の効果が容易に得られる。
【００３３】
以上の検討に基づき、本発明では次のように出力映像信号を生成する。すなわち、本発明に係る映像生成装置は、出力映像信号を構成する表示サブフレームを生成するサブフレーム生成部と、表示サブフレームを表示装置に対し順次出力する出力部と、を有する。サブフレーム生成部は、複数（Ｎ個）の連続する表示サブフレームにより１つの映像を形成するように、各表示サブフレームを生成する。このとき、Ｎ個の表示サブフレームの間で、背景の領域の発光強度は相対的に変化せず、かつ、背景に比べて浮き出させる対象物の領域の発光強度は相対的に変化するように、各表示サブフレームの領域ごとの発光強度を決める。このように生成した出力映像信号を表示装置に出力すれば、観測者の微小な眼球運動により運動視差が知覚され、対象物が背景から浮き出して見える。
本発明では、出力映像信号における「Ｎ個の連続する表示サブフレーム」を便宜的に「フレーム」と呼ぶことにする。また、この１枚のフレームを形成する表示サブフレームの数Ｎを「単位表示フレーム数」と呼ぶ。単位表示フレーム数Ｎは、１より大きい整数であり、例えば２〜４程度が好適である。
【００３４】
（第１の実施形態）
本発明の第１の実施形態は、６０Ｈｚの入力映像信号の各フレームから２つのサブフレームを生成し、映像中の各対象物の距離情報を元に各サブフレームの発光強度を調整することによって、１２０Ｈｚの出力映像信号を生成する、という構成である。
【００３５】
本発明の第１の実施形態のブロック図を図１、タイミング図を図６に示す。
図１において、１は入力された映像信号から対象物の距離情報を抽出する距離情報抽出部、２は距離情報抽出部１の出力である距離情報を元に第１の表示サブフレームの係数を決定する第１係数生成部である。ここで距離情報とは、映像中の各対象物の奥行き方向の距離（つまり観測者もしくは撮影者から対象物までの距離）を表す情報である。３は入力映像信号を輝度と比例する特性の映像信号に変換する逆ガンマ変換部、４ａ、４ｂは乗算器である。５は空間方向、あるいは空間方向および時間方向のローパスフィルタである。ローパスフィルタ５は省略することもできるため、破線で図示している。６は第１の表示サブフレームの係数から、第２の表示サブフレームの係数を算出する第２係数演算部である。７ａ、７ｂは入力されるフレーム周波数を倍速化することで、表示サブフレームを作成するために時間軸を圧縮する時間軸圧縮部である。８は倍速化された映像信号を切り替え出力するスイッチである。９は映像信号の特性を表示装置に対応したガンマ特性に変換するガンマ変換部だる。９９ａは映像信号を入力する入力端子、９９ｂは倍速化された映像信号を出力する出力端子、５００は倍速化された映像信号を表示する表示装置である。本実施形態では、第１係数生成部２、ローパスフィルタ５、第２係数演算部６、乗算器４ａ，４ｂにより本発明のサブフレーム生成部が構成され、時間軸圧縮部７ａ，７ｂ、スイッチ８により本発明の出力部が構成されている。
【００３６】
図６において、横軸は時間、縦軸は信号強度を模式的に示す。図６のＳ１１〜Ｓ１６は、図１にＳ１１〜Ｓ１６で示した配線の信号波形にそれぞれ対応する。
【００３７】
次に、図１、図６を用いて本発明の第１の実施形態の映像生成方法を説明する。図１において入力端子９９ａには、例えば６０Ｈｚのフレーム周波数の映像信号が入力される、この映像信号は、ＣＲＴのガンマ特性を打ち消す例えば（１／２．２）乗のガンマ変換がかけられている信号である。逆ガンマ変換部３は２．２乗の変換テーブルであり、入力端子９９ａに入力された映像信号を輝度に比例する映像信号に変換し出力する。出力された映像信号（Ｓ１１）を、図６に模式的に示す。図６のＳ１１の波形は一例として１フレーム（１／６０秒）の映像信号を示している。Ｓ１１は例えば画面中央部に明るい横帯がある映像信号を示している。もちろん説明のための映像信号であり、どのような映像信号であってもかまわない。
【００３８】
一方、入力端子９９ａに入力された映像信号は距離情報抽出部１により、撮像装置と被写体である対象物との距離情報の信号に変換される。この変換は例えば、特開平０７−２４４７３５号公報や特開２００７−０７８４５４号公報で開示されているような方法によってカメラと被写体の距離を求め距離情報のフレームを生成しても良い。
【００３９】
また、二眼カメラで撮影した２つの画像からブロック毎に検索範囲で移動し他方の画像のブロックとの相関を検出し、相関の高いずらし量から距離情報を作成する方法であっても良い。すなわち、ブロックのずらし量が０の距離は、カメラのセッティングで決まる距離であり、設計者に取っては既知の値である。このずらし量０の距離を元に、ずらし量の大きさ、向き、カメラの撮影画角（レンズの焦点距離、撮像板の大きさ）によってカメラと被写体の距離を計算すればよい。この距離情報のフレームは、距離情報計算に用いた２つの映像信号のうちの一方の映像信号（他方は使用しない）とともに、入力端子９９ａに入力されるものとする。この場合、距離情報抽出部１は単に、距離情報のフレームを分離するだけの機能ブロックとなる。もちろん、二眼カメラで撮影した２つの画像から距離情報を得る上述の処理を、距離情報抽出部１の機能にしてもよい。
【００４０】
また、コンピュータグラフィックの画像の場合は、仮想空間の座標として、カメラの位置、対象物の位置が既知である。それゆえ、映像信号を生成する際に、カメラからの距離を計算し距離情報を持つフレームデータを作成し、映像信号と同時に、入力端子９９ａに出力する。この場合、距離情報抽出部１は単に、距離情報のフレームを分離するだけの機能ブロックとなる。
【００４１】
また、距離情報のフレームは、映像信号の画像サイズと同じ大きさで、必要に応じたデータ幅が望ましい。例えば、後述するように、距離情報の分解能が必要ない場合は、１または２ｂｉｔのデータ幅であっても良い。
【００４２】
距離情報抽出部１の出力は第１係数生成部２に入力され、距離情報に応じた第１表示サブフレームに乗じる係数（以降、単に第１係数と呼ぶ）に変換される。入力される距離情報に対して出力される第１係数の一例を図７（ａ）に示す。図７（ａ）において、横軸は距離情報（対数軸）であり、縦軸は第１係数である。図７（ａ）で示す特性は、１ｍより近い距離では第１係数が最大値１．０をとり、距離を認識し易い１ｍから１０ｍの間では距離が大きくなるほど第１係数が徐々に小さくなり、１０ｍを超える距離では第１係数が最小値０．５をとるテーブルである。もちろん他の特性であってもかまわない。例えば、下に凸の特性とし、１ｍ近傍の立体感を強調しても良い。
【００４３】
第１係数生成部２の出力である第１係数は第２係数演算部６に入力され、第２係数が計算される。第２係数演算部６は、第１係数をｋ１、第２係数をｋ２とすれば、
ｋ２＝１−ｋ１      ・・・式１）
と演算すると好適である。
【００４４】
続いて、逆ガンマ変換部３の出力である、輝度に比例する映像信号に、第１の係数Ｓ１２と第２の係数Ｓ１３をそれぞれ乗じる。その結果、例えば距離１ｍの対象物の発光強度は第１、第２表示サブフレームで１００％，０％であり、例えば距離１０ｍの背景の発光強度は第１、第２表示サブフレームで５０％，５０％となる（Ｓ１４ａ、Ｓ１４ｂ）。ここでは、説明を分かりやすくするために、表示サブフレームの発光強度を絶対値（映像信号の値）ではなく、入力映像信号の発光強度に対する割合で表現している。すなわち、「１００％」というのは、表示サブフレームにおける映像信号の値が入力映像信号の値と同
じであることを意味する。
【００４５】
第１、第２表示サブフレームに対応する映像信号Ｓ１４ａ、Ｓ１４ｂは、６０Ｈｚのフレーム周波数から、時間軸圧縮部７ａ，７ｂによりフレーム時間を圧縮した映像信号Ｓ１５ａ，Ｓ１５ｂに変換される。続いて時間を圧縮した映像信号Ｓ１５ａ，Ｓ１５ｂをスイッチ８が交互に選択することによって１２０Ｈｚのフレーム周波数の映像信号Ｓ１６を得る。この１２０Ｈｚのフレーム周波数の映像信号Ｓ１６は輝度に比例した映像信号であるので、表示する表示装置５００の特性にあわせ、ガンマ変換部９は例えば（１／２．２）乗のガンマ変換を映像信号Ｓ１６に施し出力端子９９ｂに出力する。出力端子９９ｂに出力された映像信号は表示装置５００で表示される。表示装置５００は、１２０Ｈｚのフレーム周波数の映像信号を入力し１２０Ｈｚのフレーム周波数で表示する表示装置である。前述した様に、表示装置５００はインパルス型ディスプレイが本発明には好適であるが、ホールド型ディスプレイであっても、本発明の効果を得ることができる。
【００４６】
式１）の演算は、第１係数と第２係数の和が１であることを示す。これは、対象物の距離、すなわち対象物に設定される発光強度比がいかなる値であっても、第１、第２表示サブフレームの発光強度の合計がつねに同じ値になることを意味する。第１、第２表示サブフレームの発光強度をこのように調整することで、対象物の距離によらず、２つの表示サブフレームを表示した結果観測される輝度が入力映像信号により要求される輝度（表示すべき輝度）に比例する。したがって、映像内における対象物間の輝度比が維持され、良好な品質の映像が表示できる。
【００４７】
図７（ａ）の特性の第１係数生成部２において、背景（この特性では１０ｍ以上）は、通常の１２０Ｈｚの表示である。前述した様に、背景は観測者の目の微小な動きと共に網膜上で移動する。一方、距離が１ｍに近づくにしたがって、第１表示サブフレームの発光強度が上がり、第２表示サブフレームの発光強度が下がるため、網膜上で対象物が固定して見えるようになる。そのため運動視差による立体感が生じる。この立体感は、観測者の微小な目の運動による運動視差により認識されるものであるため、画像によって立体感がわかりにくいことがある。その場合、背景の領域と、背景に比べて浮き出させる対象物の領域との間で、発光強度比を極端に異ならせることによって、立体感を強調することができる。これは、図７（ａ）のように発光強度比を距離に応じて連続的に変化させるのではなく、発光強度比を距離に応じて段階的に（例えば２〜４段階程度）切り換えることで実現できる。
【００４８】
図７（ｂ）、図７（ｃ）に発光強度比を段階的に変えるための第１係数生成部２の特性を示す。図７（ｂ）、図７（ｃ）において、横軸は距離情報であり、縦軸は第１係数である。図７（ｂ）では、距離を三段階に分け、表示サブフレームの発光強度を制御する例である。具体的には、２ｍより小さい距離では第１、第２表示サブフレームの発光強度比は１００％：０％であり、２ｍから１０ｍの距離では７５％：２５％であり、１０ｍを超える距離では５０％：５０％となる。図７（ｃ）は距離３ｍ以上の物を背景とし第１、第２表示サブフレームの発光強度を同じとし、一方３ｍより近い対象物は第１、第２表示サブフレームの発光強度比を１００％：０％とすることによって立体感を極端にする。第１係数生成部２の特性は、映像信号の画像や表示装置のサイズ、表示フレーム周波数等により最適に選択すると良い。
【００４９】
ここまでは、ローパスフィルタ５が無い場合の動作について説明した。しかし、ローパスフィルタ５が無い場合は、観測者の無意識な微小な視点の移動によって、対象物と背景との境界部分が黒く見えたり、明るく見えたりする妨害感が発生する可能性がある。そこで、ローパスフィルタ５により第１係数に対し空間的なローパスフィルタをかけることで、発光強度比の空間的な変化（画面内での変化）を緩やかにすることにより、妨害感を抑
制するとよい。また動画の表示の場合は、動きのある対象物の境界部分などで違和感が生じる可能性があるので、空間的なローパスフィルタに加え時間的なローパスフィルタをかけることで、発光強度比の時間的な変化（フレーム間での変化）を緩やかにするとより好ましい。
【００５０】
本実施形態において重要な特性、すなわち第１、第２表示フレームの発光強度の比を発光強度比Ｈと呼ぶことにする。すなわちＨは、
Ｈ＝ｍａｘ［（ｋ１／ｋ２），（ｋ２／ｋ１）］
＝ｍａｘ［（ｋ１／（１−ｋ１）），（（１−ｋ１）／ｋ１）］    ・・・式２）
と定義する。
【００５１】
この発光強度比Ｈが１のときは、２つの表示サブフレームの発光強度が同じなので浮き出る感じは無い。よって背景の領域ではＨは１または１に近い値であるとよい。一方、発光強度比Ｈが最も大きい（無限大）とき、第２係数が０となり、２つの表示サブフレームの発光強度の差が最大となるので、対象物が最も浮き出して見える。よって、背景に比べて浮き出させる度合いが大きい対象物ほどＨを大きい値にするとよい。
【００５２】
本実施形態では、第１係数ｋ１の範囲を１から０．５として、第１表示サブフレームの乗数を１から０．５、第２表示サブフレームの乗数を０から０．５とした。しかし、第１係数と第２係数の値が逆であっても同様な効果が得られる。すなわち、第１係数ｋ１の範囲を０から０．５として、第１表示サブフレームの乗数を０から０．５、第２表示サブフレームの乗数を１から０．５としても、同様な効果が得られる。そのため、式２）では、（ｋ１／ｋ２）と（ｋ２／ｋ１）の最大値を発光強度比Ｈと定義した。
【００５３】
以上説明してきた第１の実施形態の処理を数式の形で表現する。
入力される映像信号をＳｉとし、出力する映像信号の表示サブフレームの各々の映像信号をＳｏ１，Ｓｏ２とし、第１係数を入力したローパスフィルタ５の出力をｋ１とする（ローパスフィルタ５がない構成であれば、第１係数をｋ１とする）。第１、第２表示サブフレームの映像信号Ｓｏ１，Ｓｏ２は、以下のように表すことができる。
Ｓｏ１＝［ｋ１×Ｓｉ２．２］（１／２．２）      ・・・式３）
Ｓｏ２＝［（１−ｋ１）×Ｓｉ２．２］（１／２．２）
＝［ｋ２×Ｓｉ２．２］（１／２．２）      ・・・式４）
【００５４】
ここで、式３）、式４）の式を変形し、
Ｓｏ１＝（ｋ１）（１／２．２）×Ｓｉ      ・・・式５）
Ｓｏ２＝（１−ｋ１）（１／２．２）×Ｓｉ＝（ｋ２）（１／２．２）×Ｓｉ    ・・・式６）
とも、表すことができる。
【００５５】
式５）、式６）より、第１係数と第２係数に対しガンマ変換を行うことで、映像信号に対する逆ガンマ変換処理と最終的なガンマ変換処理とを省略できることが分かる。この動作を実現した回路構成のブロック図を図２に示す。図２において図１の記号と異なる記号について説明する。図２において３ａ、３ｂは映像信号のガンマと同じ例えば（１／２．２）乗するガンマ変換器である。この図２に示す構成によっても、図１の構成と同じ結果
が得られる。
【００５６】
本発明の第１の実施形態の第１係数ｋ１の例を、図１２（ａ）、図１２（ｂ）を基に、具体的に説明する。図１２（ａ）は、不図示の撮像装置により撮像された画像を模式的に示した図、図１２（ｂ）は本発明の第１の実施形態の第１係数生成部２が出力した第１係数ｋ１を模式的に示した図である。図１２（ａ）において、２０１は画像の領域を示す長方形、２０１ａは近景の対象物、２０１ｂは中距離にある対象物、２０１ｃ、２０１ｄは背景であるところの遠景の対象物である。図１２（ａ）で示される映像信号の距離情報は、例えば、赤外線や超音波により計測して求めても良いし、前述した方法で映像信号から計算しても良い。距離情報から、対象物２０１ａの距離は１ｍ、対象物２０１ｂの距離は５ｍ、背景である対象物２０１ｃ、２０１ｄの距離は１００ｍ以上ということがわかるものとする。例えば、図７（ｂ）に示した第１係数生成部２の特性を持つ場合、対象物２０１ａの第１係数ｋ１は”１”、対象物２０１ｂの第１係数ｋ１は”０．７５”、背景２０１ｃ、２０１ｄの第１係数ｋ１は”０．５”となる。
【００５７】
この第１係数ｋ１を模式的に図１２（ｂ）に示している。図１２（ｂ）において、２１１は第１係数のフレームの領域を示す長方形、２１１ａは近景の対象物２０１ａの第１係数ｋ１、２０１ｂは中距離にある対象物２０１ｂの第１係数ｋ１、２１１ｃは背景の第１係数ｋ１を示しており、図中、黒色で示した部分の第１係数ｋ１は”１”であり、灰色で示した部分の第１係数ｋ１は”０．７５”であり、白色で示した部分の第１係数ｋ１は”０．５”である。第１、第２表示サブフレームの発光強度は、第１係数ｋ１が”１”の領域では１００％，０％、第１係数ｋ１が”０．７５”の領域では７５％，２５％、第１係数ｋ１が”０．５”の領域では５０％，５０％である。つまり、近い対象物ほど発光強度比を大きくし、表示する。
【００５８】
本発明の第１の実施形態では、６０Ｈｚフレーム周波数の映像信号を入力し、１２０Ｈｚフレーム周波数の２つの表示サブフレームにより１枚のフレームを形成した。前述した様に、第１係数ｋ１と第２係数ｋ２の和が１であるように決定するので、表示サブフレームを単位表示フレーム数（ここでは２つ）表示して得られる輝度は入力映像信号が要求する輝度（表示すべき輝度）に比例した値となる。すなわち、表示サブフレームを単位表示フレーム数表示して得られた輝度は、対象物の距離によって変わることが無い。
【００５９】
本発明の第１の実施形態によれば、１フレームを複数の表示サブフレームに分け、表示サブフレーム間の発光強度比を対象物の距離に応じて変える、という表示方法により、簡易的に立体感のある画像表示を行うことができる。この方法は、映像信号処理だけで実現できるため、従来の立体表示装置のように偏光眼鏡、シャッタ眼鏡、ＨＭＤ、レンチキュラーレンズ、スリット、視点移動速度の検出器のような特別なハードウエアは必要ない。また、両眼視差や運動視差の情報を含んだ特別な映像信号も必要ない。したがって、複雑で高価な構成を必要とせず、通常の表示装置と通常の映像信号により立体感のある表示を行うことができる。
【００６０】
また、通常の表示と立体感のある表示の混在や切り換えも容易に実現できる。さらに、本発明の運動視差による立体感は、対象物や背景の位置関係の変化により認知されるので、観測者が単眼で表示装置を見ても立体的に知覚できるという利点がある。
【００６１】
（第２の実施形態）
前述した様に、本発明の立体感は観測者の視点の微小な運動により生じる。そのため、両眼視差を利用する立体表示装置に比較して、立体感が比較的わかりにくい。したがって、本発明の方法は、映画のように現実的な立体感が望まれるコンテンツに対してよりも、簡易的な立体感で十分な用途に向いている。そこで第２の実施形態では、本発明の好まし
い適用例のひとつを説明する。
【００６２】
本発明の第２の実施形態では、通常の映像（第１の映像）の上にテロップ等の付加画像（第２の映像）を合成し表示する表示装置において、付加画像の部分のみを浮き出させて見せる構成について説明する。
【００６３】
図３は本発明の第２の実施形態を実現するブロック図である。図３は、第１の実施形態で説明したブロック図である図１とほぼ同じ構成である。図１と異なる点は、距離情報抽出部１が、映像信号から距離を抽出するのではなく、テロップ画像から直接距離情報を決定する点である。テロップ画像の情報は、テロップ画像が合成された映像信号ではなく、テロップ画像のみの映像信号から抽出すると簡便である。例えば本発明の第２の実施形態では、距離情報抽出部１は、テロップ画像部分を立体的に浮き出てみせるために、テロップ画像領域の距離情報を１ｍ、それ以外（通常の映像信号）の領域は距離情報を例えば１００ｍとして第１係数作成部２に出力する。以降の処理は、第１の実施形態と同様に処理され、背景にあたる通常の画像は第１、第２表示サブフレームの発光強度が５０％，５０％、テロップ画像は第１、第２表示サブフレームの発光強度が１００％，０％となる。もちろん、第１の実施形態で説明した図２の構成を第２の実施形態に適用しても良い。
【００６４】
本発明の第２の実施形態における第１係数ｋ１の決定を、図１３（ａ）、図１３（ｂ）をもとに、具体的に説明する。図１３（ａ）は、不図示の撮像装置が撮像した通常の映像信号にテロップ画像を追加した映像信号の画像を模式的に示した図、図１３（ｂ）は本発明の第２の実施形態の第１係数生成部２が出力した第１係数ｋ１を模式的に示した図である。図１３（ａ）において２０２は画像の領域を示す長方形、２０２ａは通常の映像信号の画像を示す絵、２０２ｂはテロップにより挿入された文字（「ＧＯＡＬ」）である。図１３（ａ）で示される映像信号の距離情報は、距離情報抽出部２が、通常の映像信号が背景となるように例えば１００ｍ、テロップ画像の領域は１ｍと決める。
【００６５】
第１係数生成部２の特性は、例えば、図７（ｃ）の特性とする。この場合、通常の映像信号２０２ａについては、第１係数ｋ１は”０．５”、テロップ画像の領域については、第１係数ｋ１は”１”となる。図１３（ｂ）において、２１２は画像の領域を示す長方形、２１２ａは通常の映像信号の画像を示す領域であり、第１係数ｋ１は”０．５”、２１２ｂはテロップ画像である文字（「ＧＯＡＬ」）を示す領域であり、第１係数ｋ１は”１”である。つまり、第１、第２表示サブフレームの発光強度は、テロップ画像部分では１００％，０％となり、テロップ画像以外の部分では５０％，５０％となる。
【００６６】
第１の実施形態同様に、第１係数ｋ１と第２係数ｋ２の和が１であるように決定するので、表示サブフレームを単位表示フレーム数表示して得られた輝度は入力される映像信号が要求する輝度（表示すべき輝度）に比例した値となる。すなわち、表示サブフレームを単位表示フレーム数表示して得られる輝度は、元映像およびコンテンツ製作者が決定したテロップの表示すべき輝度に比例する。
【００６７】
本発明の第２の実施形態によれば、複雑で高価な構成が必要なく通常の表示装置そのままで、テロップ画像等のコンテンツ製作者が強調したい部分を簡易的に立体的に見せる表示が可能になる。また、必要なテロップ画像についてのみ、立体感のある表示を行うことができるので、疲労感が少ない立体感のある表示を行うことができる。さらに、観測者が単眼で表示装置を見ても立体的に知覚できる利点がある。
【００６８】
（第３の実施形態）
次に、本発明の第３の実施形態を示す。第３の実施形態は、例えば、パーソナルコンピュータ、スマートフォン、タブレットＰＣ、携帯電話、ディジタルフォトフレーム、デジ
タルカメラ、ビデオカムコーダ等（以降、単に「ＰＣ」と記載する）のモニタ表示に好適に適用できる方法である。さらに具体的には、第３の実施形態は、注目させたいアイコンやカーソルや写真画像を、立体的に表示することを可能とする表示装置／方法である。
【００６９】
ＰＣの映像出力は、既存のＴＶの様に規格が厳しく定まっていないため、あらかじめ高いフレーム周波数で映像信号を用意することが可能である。この構成であれば、前述したフレーム周波数を倍速にするブロックが省略できる。また、前述したような構成の映像信号の処理をＰＣのソフトウエアで計算し、映像信号を作成することも可能となる。以降、詳細に説明する。
【００７０】
ＰＣの出力が例えば１２０Ｈｚのフレーム周波数で出力されているとする。本発明の第３の実施形態は、前述した式３）、式４）の処理、または式５）、式６）の処理をＰＣで計算し、ＰＣから出力される映像信号を１２０Ｈｚのフレーム周波数のままで表示するものである。
【００７１】
第１係数ｋ１は距離情報から第１の実施形態と同様に求めることができる。例えば、コンテンツ作成者は、アイコンを立体的に飛び出て見せたい場合は、そのアイコンの距離情報を例えば１ｍに決める。同様に、メニューバーは、やや立体的に見せるために距離情報を５ｍ、背景は距離情報を１００ｍというように、コンテンツ作成者が決定する。
【００７２】
実際のＰＣに表示された画像を図１４（ａ）に、第１係数ｋ１を図１４（ｂ）に模式的に示した。図１４（ａ）において、２０３は表示エリアを示す四角形、２０３ａはデスクトップの背景、２０３ｂはアイコンが置かれるメニューバー、２０３ｃはアイコンを示す。前述したような距離情報をコンテンツ作成者が決定することによって、第１係数ｋ１は図１４（ｂ）の様な値に設定される。図１４（ｂ）において、２１３は表示エリアを示す四角形、２１３ａはデスクトップの背景２０３ａに対応する第１係数ｋ１、２１３ｂはメニューバー２０３ｂに対応する第１係数ｋ１、２１３ｃはアイコン２０３ｃに対応する第１係数ｋ１であり、それぞれ白色、灰色、黒色で示した。図中、黒色で示した部分の第１係数ｋ１は”１”であり、灰色で示した部分の第１係数ｋ１は”０．７５”であり、白色で示した部分の第１係数ｋは”０．５”である。つまり、１２０Ｈｚで順次表示されるフレームの発光強度が、アイコン２０３ｃの部分では１００％と０％で交互に変化し、メニューバー２０３ｂの部分では７５％と２５％で交互に変化する。背景２０３ａの部分の発光強度は５０％のまま変化しない。
【００７３】
本実施形態では、ＰＣで生成し出力される映像信号の各フレームが、前述した第１および第２の実施形態での表示サブフレームに対応している。すなわち、本実施形態において、単位表示フレーム数は２であり、単位表示フレーム数分の表示サブフレームにより形成される合計輝度は第１係数ｋ１の値によらず変化しない。
【００７４】
図１４（ａ）はＰＣのデスクトップ画面を例示したが、本実施形態の方法は、背景となる第１の映像の上に浮き出させたい第２の映像を合成する場合に好適に適用可能である。例えば、ディジタルフォトフレームといわれるディジタル写真専用ディスプレイの画面において、壁紙等の背景画像に対してユーザの写真が浮き出て見えるように表示してもよい。この場合に、図１１（ｃ）、図１１（ｄ）にて説明したように、模様（テクスチャ）や立体感を補助する図形を背景画像に表示することも好ましい。また、表示しているユーザの写真に時刻や日にち等の情報を浮き出て見えるように合成し表示することも可能である。また、デジタルカメラ等の操作モニタにおいて、撮影中の映像の上に、ボタンやスライダ等のＧＵＩ、アラートメッセージ等を立体的に表示することにも利用できる。
【００７５】
本実施形態では、ＰＣ（映像生成装置）において最初から表示フレーム周波数（例えば
１２０Ｈｚ）の映像信号を生成するため、倍速変換等の処理が不要であり、ソフトウエアによる表示データの計算のみで本発明を実現できる。なお、表示フレーム周波数は１２０Ｈｚに限定されない。画面サイズ、第１係数ｋ１にもよるが、フリッカが目立たない範囲のフレーム周波数であればよい。一般的には７５Ｈｚ以上のフレーム周波数の映像信号はフリッカによる妨害感が少ないので、第３の実施形態の方法に好適である。ただし、画面サイズが小さい場合はフリッカ妨害が少ないので、６０Ｈｚ程度のフレーム周波数でも好適に表示を行うことができる。
【００７６】
第３の実施形態においてＰＣが動画を出力することもできる。その場合、第１の実施形態で説明したローパスフィルタ（図１の符号５）を用い、第１係数に空間的・時間的なローパスフィルタをかけると好適である。その際、距離情報はどちらかのフレーム、または複数のフレームの平均から対象物の位置を算出し、コンテンツ作成者が決定すると良い。
【００７７】
入力される映像信号が静止画の場合、表示サブフレームを単位表示フレーム数表示して得られる輝度が入力映像信号の要求する輝度（表示すべき輝度）と同じになるように第１係数、第２係数を決定するとよい。動画の場合は、異なるフレームを表示サブフレームとして表示するので、入力映像信号の要求する輝度（表示すべき輝度）を厳密に再現することはできないが、おおよそ同じになればよい（多少の誤差があっても、画質の劣化は少ない）。
【００７８】
本発明の第３の実施形態によれば、映像生成装置が各フレームの領域ごとの発光強度を計算により調整するだけで、アイコン等のコンテンツ製作者が強調したい部分を簡易的に立体的に見せる表示が実現できる。この立体感は、前述のように、観測者の無意識に起きるマイクロサッカードと呼ばれているような微小な眼球運動による運動視差を利用したものである。さらに、スマートフォン等の可搬型の機器においては、眼球の運動に加え、表示装置自体の動きがあるために、運動視差が発生し更に良好に立体感を出すことも期待できる。また、本実施形態の方法は、アイコン等の必要な部分についてのみ立体感のある表示を行うことができるので、疲労感が少ない立体感のある表示を行うことができる。さらに、観測者が単眼で表示装置を見ても立体的に知覚できる利点がある。
【００７９】
（第４の実施形態）
第３の実施形態で説明したように、フレーム周波数が７５Ｈｚ以上の場合、第１および第２の実施形態で示したフレーム周波数を上げるためのフレーム周波数変換を行わなくてもよい。表示装置の大きさ、輝度にもよるが、おおよそフレーム周波数が７５Ｈｚ以上の場合、フリッカ妨害が少ないためである。
【００８０】
例えば、１２０Ｈｚで撮像された映像信号では、映像信号のフレームを表示サブフレームとして取り扱うと良い。この時、あらかじめ単位表示フレーム数を決定し（例えば”２”）、第１の実施形態で示した処理を行う。もちろん、第３の実施形態で示したように、フレーム周波数を上げる処理は必要が無い。すなわち、図１、図２で示した時間軸圧縮部７ａ、７ｂ、スイッチ８は必要ない。
【００８１】
図４にフレーム周波数変換を行わない第４の実施形態のブロック図を示す。図４において、図１と異なる記号について説明する。図４において、８ａはスイッチである。図４で示したブロック図において、距離情報抽出部１は、単位表示フレーム数内のどちらかのフレーム、または平均から対象物の位置、距離情報を算出する。そして第１係数生成部２の出力はローパスフィルタ５に入力され、空間的・時間的なローパスフィルタがかけられる。第２係数演算部６は第１の実施形態同様に第２係数ｋ２を算出する。そして、スイッチ８ａは第１係数ｋ１、第２係数ｋ２を入力される映像信号のフレームごとに切り換える。スイッチ８ａの出力は、乗算器４ａで輝度に比例した映像信号に乗じられ、第１表示サブ
フレーム、第２表示サブフレームが得られる。
【００８２】
入力される映像信号が静止画の場合、表示サブフレームを単位表示フレーム数表示して得られる輝度が入力映像信号の要求する輝度（表示すべき輝度）と同じになるように第１係数、第２係数を決定するとよい。動画の場合は、異なるフレームを表示サブフレームとして表示するので、表示サブフレームを単位表示フレーム数表示して得られる輝度が、おおよそ入力映像信号の要求する輝度（表示すべき輝度）と同じになるようにする。
【００８３】
また、例えば、６０Ｈｚの映像信号の元フレームの間に補間フレームを挿入し、フレーム周波数を倍にすることで作成された、１２０Ｈｚの映像信号が入力される場合もある。この場合は、元フレームは画質の劣化が少ないので、大きな値（第１係数）が乗じられる第１サブフレームとして、補間フレームは、小さな値（第２係数）が乗じられる第２サブフレームとして使用し、単位表示フレーム数を２とすると好適である。
【００８４】
本発明では、このように、入力された映像信号のフレーム周波数が高い場合は、入力された映像信号をフレームレート変換することなく処理を行うことが可能である。すなわち、入力された映像信号のフレームをそのまま表示サブフレームとして取り扱うことができる。
【００８５】
（第５の実施形態）
第１の実施形態では第１係数ｋ１と第２係数ｋ２の和を１となるように設計した。この場合、第１、第２表示サブフレームをそれぞれ１００％の発光強度（つまり合計２００％）で表示できるにもかかわらず、１００％と０％、５０％と５０％のように合計で１００％の発光強度となるように表示が行われる。すなわち、表示装置の表示能力の１／２の輝度でしか表示できないことを意味している。
【００８６】
そこで輝度を向上するために、以下の様な第１係数、第２係数としても良い。
ｋ２＝Ａ−ｋ１      ・・・式７）
すなわち、
Ａ＝ｋ１＋ｋ２      ・・・式８）
である。ここでＡ＝１の時、第１の実施形態の係数と同じである。
【００８７】
例えば、Ａを１．５とすれば、第１係数ｋ１と第２係数ｋ２の和、すなわち輝度に比例した映像データに乗じる係数の和が１．５になるので、第１の実施形態に比べ１．５倍の輝度が得られる。しかしながら、ｋ１＝１のとき、ｋ２＝０．５となるので、係数間の比すなわち発光強度比が取れず、立体感が少なくなる可能性がある。
この係数Ａは、ユーザの要求する明るさ、立体感により決定すると良い。
【００８８】
（第６の実施形態）
第１の実施形態では、単位表示フレーム数が２の場合について説明した。表示サブフレーム間の発光強度比を変えることによって立体感を得るという本発明の効果は、単位表示フレーム数が２以上であっても、得られる。単位表示フレーム数をＮとした場合、入力映像信号のフレーム周波数は出力映像信号の表示フレーム周波数のＮ分の１である。
【００８９】
例えば、入力映像信号のフレーム周波数が５０Ｈｚの場合は、１５０Ｈｚフレーム周波数の３つの表示サブフレームで１枚のフレームを形成しても良い（単位表示フレーム数が
３）。３つの表示サブフレームで、距離の近い対象物の発光強度比を、１００％，０％，０％とすることで、特にホールド型ディスプレイにおいては、より擬似的な運動視差を生じさせることができる。ホールド型ディスプレイにおいては、表示サブフレームを必要以上に多く設けると、フリッカ妨害が生じるので、フリッカの目立たない範囲で表示サブフレームの数を決定すると良い。
【００９０】
さらに、図５を用い具体的に説明する。図５は３つの表示サブフレームを生成する第６の実施形態を示すブロック図である。図１の第１実施形態と異なる点について説明する。図５において、６ａは第２，３係数演算部、４ｃは乗算器、７ｃは時間軸圧縮部、８ｂはスイッチである。第２，３係数演算部６ａは、第１係数ｋ１から、第２係数ｋ２と第３係数ｋ３を演算する。そして、第１表示サブフレームに第１係数ｋ１を、第２表示サブフレームに第２係数ｋ２を、第３表示サブフレームに第３係数ｋ３を乗じ、時間軸圧縮部７ａ，７ｂ，７ｃとスイッチ８ｂによりフレーム周波数を３倍にする。その映像信号は、ガンマ変換部９によりガンマ変換された後、表示装置５００に出力される。
【００９１】
第１表示サブフレームに乗じる第１係数ｋ１を、第１係数生成部２は決定する。前述した様に、第１係数ｋ１の決定は対象物の距離情報から連続的に変化する特性であっても良いし、離散的に変化する特性であってもよい。
【００９２】
第１係数ｋ１に対して、第２係数ｋ２、第３係数ｋ３を例えば以下のように決定すると好適である。
Ａ＝ｋ１＋ｋ２＋ｋ３      ・・・式９）
【００９３】
ここで、前述した様に、Ａ＝１の場合に入力映像信号の要求する輝度を再現できるため、Ａ＝１の場合について以下説明する。この場合、第１係数生成部２は、第１係数ｋ１の値として、例えば１／３から１で、対象物の距離に応じて変化する値を出力する。対象物の距離が小さいほど第１係数ｋ１は大きい値（１に近い値）となる。
【００９４】
ｋ２，ｋ３は式９）のみでは決定できないため、ｋ２とｋ３の拘束条件を予め定めておく。例えばｋ２＝ｋ３という条件でもよいし、ｋ２＝Ｊ×ｋ３（Ｊは１以上の定数）という条件でもよい。例えば、ｋ２＝ｋ３という条件の場合、
ｋ２＝ｋ３＝（１−ｋ１）／２      ・・・式１０）
と求まる。
【００９５】
ここで、発光強度比Ｈは
Ｈ＝ｋ１／ｍｉｎ（ｋ２，ｋ３）      ・・・式１１）
ただし  ｋ１≧ｋ２、ｋ１≧ｋ３
と定義する。
【００９６】
この発光強度比Ｈが１のときは、第１、第２、第３表示サブフレームの発光強度が同じなので立体感は生じない。この場合、ｋ１＝１／３である。一方、発光強度比Ｈが最も大きい（無限大）のとき、第２係数ｋ２、第３係数ｋ３が０であるので、対応する対象物が最も飛び出て見える。なお、前述したように、第１係数ｋ１を乗じる表示サブフレームは３つの表示サブフレームの中の最初のフレームでなくてもよく、２番目または３番目のフ
レームに第１係数ｋ１を乗じても、同じような立体感を得ることができる。
【００９７】
入力映像信号のフレーム周波数、出力映像信号の表示フレーム周波数、単位表示サブフレームの数などは任意に選ぶことができる。例えば、６０Ｈｚの入力映像信号に対して、３つの表示サブフレームによる１８０Ｈｚ表示を行っても良いし、４つの表示サブフレームによる２４０Ｈｚ表示を行っても良い。各表示サブフレームに乗じる係数は前述した各実施形態に準じて設定すれば良い。このとき、１つの表示サブフレームに輝度が集中するほど立体感が大きくなる。
【００９８】
また、例えば２４０Ｈｚのフレーム周波数の映像信号が直接入力される場合は、入力されるフレームを表示サブフレームとみなし同様の処理を行っても良い。また、単位表示フレーム数を２とし、２フレーム単位で第１の実施形態と同じ処理を行っても良い。
【００９９】
（その他の実施形態）
以上説明したように、本発明の本質は、サブフレーム表示を行い、ある対象物の表示サブフレーム間での発光強度比を大きくすることで、観測者の無意識の微小な眼球運動による運動視差により、その対象物が背景に対して浮き出て見えるようにすることである。そのため、第１の実施形態では、画像中の各対象物の距離情報を取得または計算することで、対象物の距離に応じた発光強度比を設定している。しかし、第２、第３の実施形態で取り扱った映像のように、背景映像の上にテロップやアイコンのような別の映像を合成する場合は、もともと距離という概念が存在しない。したがって、このような合成映像を立体的に見せるだけであれば、距離情報の付加や計算は必要なく、直接発光強度比を設定する処理を行っても良い。
【符号の説明】
【０１００】
１：距離情報抽出部、２：第１係数生成部、４ａ，４ｂ：乗算器、６：第２係数演算部、７ａ，７ｂ：時間軸圧縮部、８：スイッチ、５００：表示装置
【図１】
2012147132.tif 000003
【図２】
2012147132.tif 000004
【図３】
2012147132.tif 000005
【図４】
2012147132.tif 000006
【図５】
2012147132.tif 000007
【図６】
2012147132.tif 000008
【図７】
2012147132.tif 000009
【図８】
2012147132.tif 000010
【図９】
2012147132.tif 000011
【図１０】
2012147132.tif 000012
【図１１】
2012147132.tif 000013
【図１２】
2012147132.tif 000014
【図１３】
2012147132.tif 000015
【図１４】
2012147132.tif 000016