(57)【要約】【課題】従来の立体画像や立体画像の視差調整装置は、立体画像の画面全体を見た際に、立体画像の視差角がどのような範囲にあれば快適に見ることができるのかという点についての開示が無く、どのような視差の範囲であれば立体画像を最も快適に見ることができるのかが不明であるという問題があった。【解決手段】立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理装置（１）において、前記立体画像データを入力する立体画像データ入力部（２）と、視差調整の基準とする視差角である視差調整ベース角に基づき視差調整量を算出する視差調整量算出部（６）と、前記視差調整量に基づき、前記立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整部（７）を備え、前記視差調整量は、前記視差調整ベース角を−０．５度から−０．２度のうちのいずれかの値に移動するものである。【選択図】図１
2014053782.tif 000002
【特許請求の範囲】
【請求項１】
立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理装置において、
前記立体画像データを入力する立体画像データ入力部と、
視差調整の基準とする視差角である視差調整ベース角に基づき視差調整量を算出する視差調整量算出部と、
前記視差調整量に基づき、前記立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整部を備え、
前記視差調整量は、前記視差調整ベース角を−０．５度から−０．２度のうちのいずれかの値に移動するものであることを特徴とする立体画像データ処理装置。
【請求項２】
前記視差調整ベース角は０度であることを特徴とする請求項１に記載の立体画像データ処理装置。
【請求項３】
前記立体画像データから視差マップを算出する視差算出部を備え、
前記視差調整量算出部は、前記視差マップを用いて、前記視差調整ベース角を算出することを特徴とする請求項１に記載の立体画像データ処理装置。
【請求項４】
前記視差調整ベース角は、前記視差マップにおける最遠景の視差角の値と最近景の視差角の値の中央値であることを特徴とする請求項３に記載の立体画像データ処理装置。
【請求項５】
前記視差調整ベース角は、前記視差マップにおける出現頻度の最も高い視差角であることを特徴とする請求項３に記載の立体画像データ処理装置。
【請求項６】
前記視差調整ベース角は、前記視差マップにおける視差角の平均値であることを特徴とする請求項３に記載の立体画像データ処理装置。
【請求項７】
前記視差調整ベース角は、前記立体画像データに対して、前記視差マップにおける各視差角との差分二乗和が最小となるよう定めた視差角であることを特徴とする請求項３に記載の立体画像データ処理装置。
【請求項８】
立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理方法であって、
前記立体画像データを入力する立体画像データ入力ステップと、
視差調整の基準とする視差角である視差調整ベース角に基づき視差調整量を算出する視差調整量決定ステップと、
前記視差調整量に基づき、前記立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整ステップを有し、
前記視差調整量は、前記視差調整ベース角を−０．５度から−０．２度のうちのいずれかの値に移動するものであることを特徴とする立体画像データ処理方法。
【請求項９】
前記視差調整ベース角は０度であることを特徴とする請求項８に記載の立体画像データ処理方法。
【請求項１０】
前記立体画像データから視差マップを算出する視差算出ステップを有し、
前記視差調整量決定ステップは、前記視差マップを用いて、前記視差調整ベース角を算出することを特徴とする請求項８に記載の立体画像データ処理方法。
【請求項１１】
立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理装置において、
前記立体画像データを入力する立体画像データ入力部と、
前記立体画像データから視差マップを算出する視差算出部と、
前記視差マップを用いて、前記立体画像データの最近景の視差角を算出し、前記最近景の視差角に基づき視差調整量を算出する視差調整量算出部と、
前記視差調整量に基づき、前記立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整部を備え、
前記視差調整量は、前記最近景の視差角を＋０．３度から０．０度のうちのいずれかの値に移動するものであることを特徴とする立体画像データ処理装置。
【請求項１２】
立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理方法であって、
前記立体画像データを入力する立体画像データ入力ステップと、
前記立体画像データから視差マップを算出する視差算出ステップと、
前記視差マップを用いて、前記立体画像データの最近景の視差角を算出し、前記最近景の視差角に基づき視差調整量を算出する視差調整量決定ステップと、
前記視差調整量に基づき、前記立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整ステップを有し、
前記視差調整量は、前記最近景の視差角を＋０．３度から０．０度のうちのいずれかの値に移動するものであることを特徴とする立体画像データ処理方法。
【請求項１３】
立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理装置において、
前記立体画像データを入力する立体画像データ入力部と、
前記立体画像データから視差マップを算出する視差算出部と、
前記視差マップを用いて、前記立体画像データの最遠景の視差角を算出し、前記最遠景の視差角に基づき視差調整量を算出する視差調整量算出部と、
前記視差調整量に基づき、前記立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整部を備え、
前記視差調整量は、前記最遠景の視差角を−０．７度から−１．０度のうちのいずれかの値に移動するものであることを特徴とする立体画像データ処理装置。
【請求項１４】
立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理方法であって、
前記立体画像データを入力する立体画像データ入力ステップと、
前記立体画像データから視差マップを算出する視差算出ステップと、
前記視差マップを用いて、前記立体画像データの最遠景の視差角を算出し、前記最遠景の視差角に基づき視差調整量を算出する視差調整量決定ステップと、
前記視差調整量に基づき、前記立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整ステップを有し、
前記視差調整量は、前記最遠景の視差角を−０．７度から−１．０度のうちのいずれかの値に移動するものであることを特徴とする立体画像データ処理方法。
【請求項１５】
立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理装置において、
前記立体画像データを入力する立体画像データ入力部と、
前記立体画像データから視差マップを算出する視差算出部と、
前記視差マップを用いて前記立体画像データの最遠景の視差角を算出し、前記最遠景の視差角に基づき視差調整量を算出する視差調整量算出部と、
前記視差調整量に基づき、前記立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整部を備え、
前記視差調整量算出部は、前記視差マップに含まれる視差角の範囲の幅が−０．１度から０．０度のうちのいずれかの値を超えておらず、かつ前記視差マップに含まれる全ての視差角が負である場合、前記最遠景の視差角を−０．７度から−１．０度のうちのいずれかの値に移動する前記視差調整量を算出することを特徴とする立体画像データ処理装置。
【請求項１６】
立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理方法であって、
前記立体画像データを入力する立体画像データ入力ステップと、
前記立体画像データから視差マップを算出する視差算出ステップと、
前記視差マップを用いて前記立体画像データの最遠景の視差角を算出し、前記最遠景の視差角に基づき視差調整量を算出する視差調整量決定ステップと、
前記視差調整量に基づき、前記立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整ステップを有し、
前記視差調整量決定ステップは、前記視差マップに含まれる視差角の範囲の幅が−０．１度から０．０度のうちのいずれかの値を超えておらず、かつ前記視差マップに含まれる全ての視差角が負である場合、前記最遠景の視差角を−０．７度から−１．０度のうちのいずれかの値に移動する前記視差調整量を算出することを特徴とする立体画像データ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像データ処理装置、および、立体画像データ処理方法に関する。
【背景技術】
【０００２】
従来、立体画像を表示するための様々な方法が提案されてきた。その中でも一般的に用いられているのは、両眼視差を利用する「２眼式」と呼ばれるものである。人間は空間に配置された物体の奥行きを知覚する際、左右眼に投影される像の位置のずれ、すなわち両眼視差をひとつの手がかりとして利用しているが、「２眼式」は、この両眼視差を持った左目用画像と右目用画像を用意し、それぞれ独立に左右の目に投影することにより立体視を行う方式である。このとき、物体の空間的な位置に応じて、左目用画像と右目用画像の間にずれが生じる。これを「視差」と呼ぶ。つまり、２次元画像である左目用画像と右目用画像において、３次元の空間情報は視差として含まれている。視差が異なることは３次元位置が異なることを示す。このことから、左右の画像間の視差を調整することによって、画像上に投影された物体の空間的な位置を仮想的に調整することができるため、結果として、奥行き感を操作することができる。
【０００３】
両眼視差による立体表示は、実際に人間が被写体を見ている場合とは様々な条件が異なり、人間に負担を与える場合がある。このため、立体表示に関する様々な研究結果をまとめ、両眼視差を用いた立体画像データを生成するための安全ガイドラインを定めた非特許文献１が公開されている。
【０００４】
両眼視差による立体表示では、ディスプレイ面とは異なる所に被写体を知覚する。一方、目のピントはディスプレイ面に合う。従って、知覚された被写体までの距離とディスプレイ面までの距離に乖離があると、疲労や不快感の原因となる。ここで、人間の目がディスプレイ面を見たときの目の輻輳角と、知覚された被写体の位置に対する目の輻輳角との差を、「視差角」と呼ぶ。上記非特許文献１では、視差角１．０度以下が快適な視差角の範囲であるとしている。
【０００５】
また、快適な視差角の範囲を超える視差角であっても立体視は可能である。しかし、余りに視差角が大きすぎると、左右の画像が融合せずに二重に見えてしまうなど、立体視が不可能になる。そこで、上記非特許文献１では、視差角２．０度を観察者の立体視の融合限界としている。
【０００６】
また、１画面内に大きく視差角が異なる被写体が混在すると、人間が視線をある被写体から別の被写体に移動させたときに、人間の目のピント調節が視差角の変化に十分追従できないことがある。従って、１画面内の視差角はある一定の幅に収まっていることが望ましい。このため、上記非特許文献１では、１画面内に存在する被写体の視差角の範囲を「奥行き範囲」と呼び、これを１度以内に抑えると見やすいとされている。
【０００７】
さらには、人間の目は外側には開かないため、ディスプレイ上で両眼瞳孔間間隔を超える視差が付かないようにすることが望ましい。特に、子供はより瞳孔間間隔が狭いことに注意が必要である。このため、上記非特許文献１では、瞳孔間隔の調査結果より、６歳児の瞳孔間間隔が５ｃｍ程度であることを示し、安全を考慮してこれを子供の代表値としている。
【０００８】
このような立体画像は、現在テレビ放送の一部で採用されている。また、立体画像のパッケージコンテンツも販売されている。これらの立体画像データは基本的に、上記非特許文献１が示す条件に従い、１画面内の各被写体の視差角が１．０度以下であり、かつ、１画面内の奥行き範囲が１．０度以内となるように制作されている。
【０００９】
しかし、常に上記非特許文献１の条件を満たすように立体映像を作成するのは必ずしも容易ではない。ＣＧによる立体画像であれば予め視差が分かるので対応可能であるが、例えば実写映像において被写体が奥から手前に移動するシーンでは、被写体の視差角や１画面内の視差角の範囲が連続的に変化する。それに追従して、視差角が上記の条件を満たすようにカメラを調整するのは困難である。
【００１０】
また、個人が作成した立体画像が、インターネット等で公開されている。これらは必ずしも、上記非特許文献１の条件を満たすものではない。
【００１１】
これに対し、立体画像を表示する装置において、人間が安全に見られるように自動的に視差を調整する技術が開発されている。
【００１２】
図３３は、特許文献１に記載の従来の立体画像表示装置の構成図である。特許文献１の記載によれば、視差計算部１２９は左右眼用の画像から、視差地図（画面全体についての各座標における視差）を計算する。注視点計算部１３０は、視差地図を元にして、画面全体の視差の平均値ΔＸａｖｅを算出する。視差制御部１３１は、視差の平均値ΔＸａｖｅ分だけ、視差をキャンセルする方向に画像を移動させる。つまり、視差調整後の立体画像の視差の平均値が０となるように立体画像の視差を調整する。このようにすることで、視差がΔＸａｖｅの画像部分が、画像表示部１３２の表示ディスプレイ面上に再生されることになる。この調整より、見やすく疲れにくい立体画像を表示することができる。
【００１３】
また、特許文献１には、視差制御部１３１におけるずらし量を、ΔＸａｖｅ−α（αは任意の値）に変更しても良いことが記載されている。このようにすれば、視差がΔＸａｖｅの画像部分をある一定の両眼視差値αに設定できる。α＝０の場合が画像ディスプレイ表面位置を示し、αの値によってこの位置が画像ディスプレイ表面に対して手前側もしくは後ろ側になる。
【００１４】
このように、視差の平均値ΔＸａｖｅが示す立体画像をディスプレイの表示面上もしくは所定の位置に制御でき、常に観察者が最も広い範囲で被写体の奥行き世界を知覚可能になる、とされている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特許第３０８９３０６号
【非特許文献】
【００１６】
【非特許文献１】“３ＤＣ安全ガイドライン”、［ｏｎｌｉｎｅ］、平成２２年４月２０日、３Ｄコンソーシアム安全ガイドライン部会、［平成２２年９月１５日検索］、インターネット〈URL:http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guideJ_20100420.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、上記非特許文献１は、１画面の中で最近景や最遠景という、両極端の視差角に着目して安全範囲を定めただけである。しかし、観察者が実際に立体画像を見る際は、様々な視差を有する被写体が含まれた画面全体を見る。このように画面全体を見た際に、立体画像の視差角がどのような範囲にあれば快適に見ることができるのかという点について、非特許文献１は言及していない。非特許文献１の条件の範囲内でも、様々な視差角の範囲を設定し得る。従って、非特許文献１の条件に収まる立体画像であっても、必ずしも快適に見ることができないという問題があった。
【００１８】
また、上記特許文献１に記載の立体画像表示装置は、常に観察者が最も広い範囲で被写体の奥行き世界を知覚可能にするよう視差を調整することが開示されているものの、具体的に立体画像の視差がどのような範囲の値であれば快適に見ることができるのかという点についての開示が無い。すなわち、これまでは、どのような視差の範囲であれば立体画像を最も快適に見ることができるのかが不明であるという問題があった。
【００１９】
本発明は、このような問題に鑑みてなされたもので、その目的は、最適な視差角の範囲を提供することにより、立体画像全体として見やすく快適な視差となるよう視差調整を行うことができる立体画像データ処理装置、および、立体画像データ処理方法を提供することにある。
【課題を解決するための手段】
【００２０】
上記の課題を解決するために、本発明の一態様によれば、本発明にかかる立体画像データ処理装置は、立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理装置において、立体画像データを入力する立体画像データ入力部と、視差調整の基準とする視差角である視差調整ベース角に基づき視差調整量を算出する視差調整量算出部と、視差調整量に基づき、立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整部を備え、視差調整量は、視差調整ベース角を−０．５度から−０．２度のうちのいずれかの値に移動するものであることを特徴とする。
【００２１】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理装置において、視差調整ベース角は０度であってもよい。
【００２２】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理装置は、立体画像データから視差マップを算出する視差算出部をさらに備え、視差調整量算出部は、視差マップを用いて、視差調整ベース角を算出してもよい。
【００２３】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理装置において、視差調整ベース角は、視差マップにおける最遠景の視差角の値と最近景の視差角の値の中央値であってもよい。
【００２４】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理装置において、視差調整ベース角は、視差マップにおける出現頻度の最も高い視差角であってもよい。
【００２５】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理装置において、視差調整ベース角は、視差マップにおける視差角の平均値であってもよい。
【００２６】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理装置において、視差調整ベース角は、立体画像データに対して、視差マップにおける各視差角との差分二乗和が最小となるよう定めた視差角であってもよい。
【００２７】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理方法は、立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理方法であって、立体画像データを入力する立体画像データ入力ステップと、視差調整の基準とする視差角である視差調整ベース角に基づき視差調整量を算出する視差調整量決定ステップと、視差調整量に基づき、立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整ステップを有し、視差調整量は、視差調整ベース角を−０．５度から−０．２度のうちのいずれかの値に移動するものであることを特徴とする。
【００２８】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理方法において、視差調整ベース角は０度であってもよい。
【００２９】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理方法は、立体画像データから視差マップを算出する視差算出ステップをさらに有し、視差調整量決定ステップは、視差マップを用いて、視差調整ベース角を算出してもよい。
【００３０】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理装置は、立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理装置において、立体画像データを入力する立体画像データ入力部と、立体画像データから視差マップを算出する視差算出部と、視差マップを用いて、立体画像データの最近景の視差角を算出し、最近景の視差角に基づき視差調整量を算出する視差調整量算出部と、視差調整量に基づき、立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整部を備え、視差調整量は、最近景の視差角を＋０．３度から０．０度のうちのいずれかの値に移動するものであることを特徴とする。
【００３１】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理方法は、立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理方法であって、立体画像データを入力する立体画像データ入力ステップと、立体画像データから視差マップを算出する視差算出ステップと、視差マップを用いて、立体画像データの最近景の視差角を算出し、最近景の視差角に基づき視差調整量を算出する視差調整量決定ステップと、視差調整量に基づき、立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整ステップを有し、視差調整量は、最近景の視差角を＋０．３度から０．０度のうちのいずれかの値に移動するものであることを特徴とする。
【００３２】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理装置は、立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理装置において、立体画像データを入力する立体画像データ入力部と、立体画像データから視差マップを算出する視差算出部と、視差マップを用いて、立体画像データの最遠景の視差角を算出し、最遠景の視差角に基づき視差調整量を算出する視差調整量算出部と、視差調整量に基づき、立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整部を備え、視差調整量は、最遠景の視差角を−０．７度から−１．０度のうちのいずれかの値に移動するものであることを特徴とする。
【００３３】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理方法は、立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理方法であって、立体画像データを入力する立体画像データ入力ステップと、立体画像データから視差マップを算出する視差算出ステップと、視差マップを用いて、立体画像データの最遠景の視差角を算出し、最遠景の視差角に基づき視差調整量を算出する視差調整量決定ステップと、視差調整量に基づき、立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整ステップを有し、視差調整量は、最遠景の視差角を−０．７度から−１．０度のうちのいずれかの値に移動するものであることを特徴とする。
【００３４】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理装置は、立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理装置において、立体画像データを入力する立体画像データ入力部と、立体画像データから視差マップを算出する視差算出部と、視差マップを用いて立体画像データの最遠景の視差角を算出し、最遠景の視差角に基づき視差調整量を算出する視差調整量算出部と、視差調整量に基づき、立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整部を備え、視差調整量算出部は、視差マップに含まれる視差角の範囲の幅が−０．１度から０．０度のうちのいずれかの値を超えておらず、かつ視差マップに含まれる全ての視差角が負である場合、最遠景の視差角を−０．７度から−１．０度のうちのいずれかの値に移動する視差調整量を算出することを特徴とする。
【００３５】
本発明の別の一態様によれば、本発明にかかる立体画像データ処理方法は、立体視用の画像データである立体画像データに対して視差調整を行う立体画像データ処理方法であって、立体画像データを入力する立体画像データ入力ステップと、立体画像データから視差マップを算出する視差算出ステップと、視差マップを用いて立体画像データの最遠景の視差角を算出し、最遠景の視差角に基づき視差調整量を算出する視差調整量決定ステップと、視差調整量に基づき、立体画像データに対して視差調整を行い、視差調整立体画像データを生成する視差調整ステップを有し、視差調整量決定ステップは、視差マップに含まれる視差角の範囲の幅が−０．１度から０．０度のうちのいずれかの値を超えておらず、かつ視差マップに含まれる全ての視差角が負である場合、最遠景の視差角を−０．７度から−１．０度のうちのいずれかの値に移動する視差調整量を算出することを特徴とする。
【発明の効果】
【００３６】
この発明によれば、最適な視差角の範囲を提供することにより、立体画像全体として見やすく快適な視差となるよう視差調整を行うことが可能となる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施形態による立体画像データ処理装置が適用される立体画像データ表示装置の構成を示すブロック図である。
【図２】立体画像データ入力部の撮影の様子を示す図である。
【図３】立体画像データとその視差を示す図である。
【図４】視差の無い画像を視聴者が見た場合の輻輳角について説明する図である。
【図５】被写体が画面よりも手前に見えるような視差を有する立体画像データを視聴者が見た場合の輻輳角について説明する図である。
【図６】被写体が画面よりも奥に見えるような視差を有する立体画像データを視聴者が見た場合の輻輳角について説明する図である。
【図７】立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。
【図８】視差調整の方法の一例を説明する図である。
【図９】視差調整後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。
【図１０】視差調整の方法の別の一例を説明する図である。
【図１１】視差調整後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。
【図１２】本発明の実施形態における立体画像データ処理装置の動作（立体画像データ処理方法）を示したフローチャートである。
【図１３】本発明の実施形態における視差調整量算出部の動作を示すフローチャートである。
【図１４】ノーマルモードによる視差調整量を算出する際の動作についてのフローチャートである。
【図１５】立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。
【図１６】視差調整後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。
【図１７】立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。
【図１８】視差調整後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。
【図１９】強調視差調整モードによる視差調整量を算出する際の動作についてのフローチャートである。
【図２０】視差調整後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。
【図２１】視差調整後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。
【図２２】強調視差調整モードによる視差調整量を算出する際の動作についてのフローチャートである。
【図２３】視差調整後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。
【図２４】視差調整後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。
【図２５】立体画像データとその視差を示す図である。
【図２６】立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。
【図２７】視差調整の方法の一例を説明する図である。
【図２８】視差調整後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。
【図２９】最遠景の視差が開散方向に５ｃｍを超えないように視差調整量を修正する処理についてのフローチャートである。
【図３０】視差調整後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。
【図３１】快適視差の検証実験の様子を上から見た図である。
【図３２】主観評価実験における立体画像データの視差調整前の視差角範囲と視差調整後の視差角範囲、及び快適視差角範囲を模式的に示した図である。
【図３３】従来の立体画像表示装置の構成図である。
【発明を実施するための形態】
【００３８】
以下に添付図面を参照して、本発明に係る立体画像データ処理装置、および、立体画像データ処理方法の好適な実施形態を詳細に説明する。ここで、異なる図面においても同じ符号を付した構成については同様のものであるとして、その説明を省略することとする。
【００３９】
以下の説明では、「２Ｄ」は２次元を意味する用語として用いることとし、立体視用の画像データを立体画像データ、通常の２次元画像データを２Ｄ画像データと称する。また、本説明で述べる「画像」とは、静止画像と動画像の両方を示すものとする。また、立体画像データが、画面より前に飛び出して見えることを「飛び出し」、立体画像データが画面より奥に引っ込んで見えることを「引っ込み」と定義する。
【００４０】
まず、本明細書で用いる文言について、まとめて説明する。
【００４１】
「視差」は、左目用画像と右目用画像からなる立体画像データにおいて、ある被写体に関して、左目用画像と右目用画像の間のずれの量である。視差の値には符号をつけても良い。符号をつける場合は、視差がプラスの場合、その視差で表示される領域の位置は画面よりも手前となる「飛び出し」の映像となり、視差がマイナスの場合、その視差で表示される領域の位置は画面よりも奥となる「引っ込み」の映像となることを示すものとする。
【００４２】
視差の量は、例えば立体画像データにおける画素数で表すことができる。あるいは、視差の量は、立体画像データを表示した表示装置の画面上における距離で表すこともできる。この場合は、画面の大きさによって視差の量が変わる。あるいは、視差の量は、画面の水平方向の画素数に対するパーセンテージで表すこともできる。立体画像データの水平方向の画素数や、表示装置の画面のサイズが分かっていれば、これらの値は相互に変換可能である。本明細書では、画素数で表すものとする。
【００４３】
「視差角」は、人間の目がディスプレイ面を見たときの目の輻輳角と、知覚された被写体の位置に対する目の輻輳角の差である。視差の値と視差角の値は、計算によって互いに変換可能である。変換方法は後述する。
【００４４】
視差角の値にも、符号をつけても良い。視差の符号と同様に、視差角がプラスの場合、その視差角で表示される領域の位置は画面よりも手前となる「飛び出し」の映像となり、視差角がマイナスの場合、その視差角で表示される領域の位置は画面よりも奥となる「引っ込み」の映像となることを示すものとする。
【００４５】
「視差マップ」は、立体画像データの画素ごと、あるいは所定の大きさのブロックごとの視差を、立体画像データ全体に渡って求めたものである。これと同様に、立体画像データの画素ごと、あるいは所定の大きさのブロックごとの視差角を、立体画像データ全体に渡って求めたものを、「視差角マップ」と呼ぶ。
【００４６】
「最遠景」は、ある立体画像データにおいて、視差または視差角が最小の領域が最も引っ込んで見える領域であり、「最近景」は、「最遠景」とは逆に、視差または視差角が最大の領域が最も飛び出して見える領域である。
【００４７】
「視差範囲」は、一画面に存在する立体画像データの最遠景の視差と最近景の視差で定められる範囲である。例えば、最遠景の視差が−５０ピクセル、最近景の視差角が＋５０ピクセルの立体画像データの視差範囲は、−５０ピクセルから＋５０ピクセルである。
【００４８】
また、「視差角範囲」は、最遠景の視差角と最近景の視差角で定められる範囲である。例えば、最遠景の視差角が−１．０度、最近景の視差角が＋１．０度の立体画像データの視差角範囲は、−１．０度から＋１．０度である。
【００４９】
「視差範囲幅」は、視差範囲の幅であり、最近景の視差と最遠景の視差の差分の絶対値である。例えば、視差範囲が−５０ピクセルから＋５０ピクセルの場合、視差範囲幅は１００ピクセルである。
【００５０】
同様に、「視差角範囲幅」は、視差角範囲の幅であり、最近景の視差角と最遠景の視差角の差分の絶対値である。例えば、視差角範囲が−１．０度から＋１．０度の場合、視差角範囲幅は２．０度である。
【００５１】
「視差」と「視差角」は上記のように、互いに変換可能であり、本質的に異なるものではない。画像データの処理に関連する事柄に関しては、画素数で表せる「視差」の文言を使うほうが説明しやすい場合が多い。一方、人間が立体画像データを見た時の快適さ等、知覚に関連する事柄に関しては、目の輻輳角で定義された視差角で議論する方が適切な場合が多い。
【００５２】
また一般に、立体画像データの左目用画像データと右目用画像データにずれがあること自体を「視差がある」というように表現する。
【００５３】
このような違いを踏まえ、本明細書では、状況により「視差」と「視差角」を適宜使い分けることとする。
【００５４】
なお、以下の説明では、説明の簡略化のため、視差を求める際、左目用画像データに対して右目用画像データの対応点の検索をすることにより視差を算出しているが、右目用画像データに対して左目用画像データの対応点の検索をすることにより視差を算出しても構わない。
【００５５】
＜１．本発明の実施形態にかかる立体画像データ処理装置の構成の概略＞
図１は、本発明の実施形態による立体画像データ処理装置１が適用される立体画像データ表示装置７５の構成を示すブロック図である。まず、この図を用いて、立体画像データ表示装置７５の構成の概略を説明する。
【００５６】
立体画像データ表示装置７５は、立体画像データ処理装置１と、画像表示部８と、を具備している。立体画像データ処理装置１は、立体画像データ入力部２と、ユーザ指示入力部３と、視差算出部４と、視差角算出部５と、視差調整量算出部６と、視差調整部７と、を備えている。立体画像データ処理装置１の具体的な例として、例えば、立体画像データの表示を行うことができる、テレビや、モニター、携帯電話機、スマートフォン、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、携帯ゲーム機、電子フォトフレーム、デジタルスチルカメラ、ビデオカメラ等が挙げられる。
【００５７】
立体画像データ入力部２は、立体画像データを入力し、その立体画像データを視差算出部４に出力する。
【００５８】
ユーザ指示入力部３は、ユーザから入力された指示に従って快適視差調整モードＭを視差調整量算出部６に出力する。
【００５９】
視差算出部４は、入力された立体画像データを視差調整部７に送るとともに、立体画像データの視差マップを算出し、視差角算出部５に入力する。
【００６０】
視差角算出部５は、入力された視差マップから視差角マップを算出し、視差調整量算出部６に出力する。
【００６１】
視差調整量算出部６は、入力された、視差角マップと快適視差調整モードＭに基づき、前記視差角マップに対応する立体画像データに対して視差調整を行う際に用いる視差調整量Ｐを算出、出力し、視差調整部７に入力する。
【００６２】
視差調整部７は、入力された立体画像データに対して、視差調整量Ｐに基づき、視差調整処理を行って生成した視差調整立体画像データを出力し、画像表示部８に入力する。
【００６３】
画像表示部８は、視差調整部７から出力された視差調整立体画像データの表示用信号を受け取り、該信号に基づき、画像表示部８が備える画面に立体画像データを表示する。
【００６４】
なお、画像表示部８は、左目用画像データと、右目用画像データを、液晶ディスプレイや、プラズマディスプレイ、プロジェクターなどに交互に表示し、視聴者が掛けている液晶シャッター付メガネの液晶シャッターを、表示のタイミングに同期させて動作させる、一般的にアクティブシャッター方式と呼ばれる立体表示方式による画像表示装置であってもよい。また、ディスプレイに、ライン毎に偏光の異なるようにした特殊な偏光フィルタを装着し、左右の目で異なる偏光の光のみを透過する偏光メガネを通して立体視を行う偏光メガネ方式の画像表示装置であってもよい。さらにまた、視差バリア方式やレンチキュラ方式などの裸眼立体視可能な液晶ディスプレイによる画像表示であってもよい。
【００６５】
また、２眼式だけではなく、複数の視点の画像データを用いる液晶ディスプレイであってもよい。たとえば、複数の視点を同時に表示して裸眼立体視する液晶ディスプレイや、視聴者の目のトラッキングを行い、視聴者の目の位置に応じて視点を切り替えるタイプの２眼式の立体ディスプレイであってもよい。
【００６６】
＜２．構成要素の詳細な説明＞
次に、本実施形態にかかる立体画像データ処理装置１の構成要素のうち、立体画像データ入力部２、視差算出部４、視差角算出部５および視差調整部７に関して、より詳細に説明する。なお、ユーザ指示入力部３および視差調整量算出部６に関しては、後述の＜３．本発明の実施形態における立体画像データ処理装置１の動作（立体画像データ処理方法）＞にて詳細に説明する。
【００６７】
＜２−１．立体画像データ入力部２＞
立体画像データ入力部２は、例えば立体画像データを撮影し、取得する、少なくとも一つ以上の撮像装置を用いることができる。また、ＤＶＤやＢｌｕ−ｒａｙ（登録商標）  Ｄｉｓｋなどに代表される光磁気ディスク、ＵＳＢメモリやＳＤ（登録商標）カードなどに代表される半導体メモリ等の電子媒体から、立体画像データを読み込む装置であってもよい。また、立体放送の放送波を受信するテレビ信号受信装置、インターネットや、その他の通信回線から配信される立体画像データを受信する装置であってもよい。あるいは、ブルーレイ（Ｂｌｕ−ｒａｙ（登録商標））ディスクプレイヤーなどの外部機器からの画像信号を受け付けるＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）レシーバなどで構成しても構わない。すなわち、立体画像データを入力するための装置であれば、どのような装置であっても構わない。
【００６８】
また、立体画像データの形式は、例えば、トップアンドボトム形式（左目用画像と右目用画像が縦に並ぶように１フレームの画像として格納されている形式）やサイドバイサイド形式（左目用画像と右目用画像が横に並ぶように１フレームの画像として格納されている形式）、フレームシーケンシャル形式（左画像、右画像が経時的に入力される形式）など、種々の形式が存在する。これらのいずれの形式であっても構わない。
【００６９】
以下では、説明を簡易にするため、立体画像データ入力部２として２台のカメラを用いる場合について説明する。
【００７０】
図２は、２台のカメラで構成された立体画像データ入力部２が、左右２視点の立体画像データを撮影する様子を説明する図である。図２に示すように、水平方向に所定の距離だけ離して並べられた、左目用画像データを撮影する左カメラ９Ｌと、右目用画像データを撮影する右カメラ９Ｒが、近景にある被写体１０と遠景にある被写体１１を含む場面を、それぞれ撮影する。被写体１０は自動車である。被写体１１は、波のある海の上に雲が浮かび、太陽が出ている情景である。
【００７１】
このときのカメラ間の所定の距離は、一般に基線長と呼ばれる。基線長は、例えば、人間の両眼間隔と同じ６３ｍｍ程度としても良いし、全体の視差を小さくするために、基線長の長さを３０ｍｍ程度にしても良い。逆に、遠景を撮影する際に、視差を大きくしたい場合は、例えば、基線長を数ｍに設定しても構わない。本発明の実施形態では基線長を６３ｍｍとする。
【００７２】
また、各カメラの光軸は交差していても平行であってもかまわない。本発明の実施形態では、平行とする。
【００７３】
なお、上記の説明では、立体画像データ入力部２を構成するカメラは２台としているが、３台以上であっても構わない。また、１台のカメラをスライドして動かして異なる位置から撮影することにより、立体画像データを得るような構成であっても構わない。
【００７４】
＜２−２．視差算出部４＞
まず、立体画像データと視差の関係について説明する。
【００７５】
図３は、立体画像データとその視差を示した図である。図３（ａ）は左目用画像データ１２Ｌを示し、図３（ｂ）は左目用画像データ１２Ｒを示す。このように、左目用画像データ１２Ｌと右目用画像データ１２Ｒでは、被写体１０や被写体１１の位置がずれている。このずれが視差である。また、被写体１０と被写体１１とでは、位置のずれ方が異なる。左目用画像データ１２Ｌに比べて右目用画像データ１２Ｒでは、被写体１０は左側にずれている一方、被写体１１は右側にずれている。これは、カメラから被写体までの距離によって視差が変わるためである。
【００７６】
左目用画像データ１２Ｌにおいて、立体表示をした際に最も近くに見える領域を最近点１３Ｌとし、最も遠くに見える領域を最遠点１４Ｌとする。図３（ａ）では、車のドアミラーの部分を最近点１３Ｌ、背景の太陽の部分を最遠点１４Ｌとしている。また、左目用画像データ１１Ｒにおいて、最近点１３Ｌに対応する点を最近点１３Ｒ、最遠点１４Ｌに対応する点を最遠点１４Ｒとする。なお以下では、左目用画像データ１２Ｌか右目用画像データ１２Ｒかを問わず、最近点を指すときは「最近点１３」と呼び、同様に最遠点を指すときは「最遠点１４」と呼ぶ。
【００７７】
このような立体画像に対して、視差は以下のように表される。
【００７８】
左目用画像データ１２Ｌの左端から、最近点１３Ｌまでの距離をｄｎＬ１、最遠点１４Ｌまでの距離をｄｆＬ１とする。また、右目用画像データ１２Ｒの左端から、最近点１３Ｒまでの距離をｄｎＲ１、最遠点１４Ｒまでの距離をｄｆＲ１とする。すると、最近点１２の視差は、ｄｎＬ１−ｄｎＲ１と表される。また、最遠点１３の視差は、ｄｆＬ１−ｄｆＲ１と表される。
【００７９】
視差算出部４は、左目用画像と右目用画像の対応点探索処理により探索した各対応点に対し、上記の方法で視差を算出し、視差マップを算出する。対応点探索処理の単位はブロック単位とするが、ブロックの大きさに規定は特になく、画素単位としても良いし、画面全体を１ブロックとしても良い。対応点探索処理は具体的には、例えば、左目用画像データと右目用画像データに対して、画素単位でステレオマッチングを行う。なお、対応点検索処理は、他のどのような方法であっても構わない。
【００８０】
＜２−３．視差角算出部５＞
次に、図４〜図６を用いて、視差角算出部５における処理について、説明する。
【００８１】
図４は、視差の無い画像を視聴者が見た場合の輻輳角について説明する図である。画面１６上には視差の無い画像が表示されている。視聴者（図示せず）は画面１６に正対しており、左目１５Ｌと右目１５Ｒを通して、画面１６に表示された画像の１点である点１７を見ている。なお、点１７は、視聴者の正面に位置するものとする。
【００８２】
点１７と左目１５Ｌとの２点を直線で結んだ際にその直線が左目１５Ｌと交わる点を点１８Ｌとし、点１７と右目１５Ｒとの２点を直線で結んだ際にその直線が右目１５Ｒと交わる点を点１８Ｒとする。また、点１８Ｌと点１８Ｒとを結んだ線分に対して点１７から降ろした垂線の交点を点１９とする。上記の通り、点１７は視聴者の正面にあることから、点１９の位置は、点１８Ｌと点１８Ｒで結ばれた線分の中央に位置する。点１７と点１８Ｌとを結んだ線分と、点１７と点１８Ｒとを結んだ線分がなす角が、輻輳角である。図４における輻輳角を輻輳角αとする。
【００８３】
ここで、点１８Ｌと点１８Ｒを結んだ線分は、左眼と右眼の間の距離である両眼間隔を表す。その長さをＴとする。また、点１７と点１９を結んだ線分は、視聴者から画面までの視聴距離を表す。その長さをＬとする。すると、両眼間隔Ｔ、視聴距離Ｌ、輻輳角αの間には式（１）のような関係が導かれる。
【００８４】
【数１】
2014053782.tif 000003
【００８５】
式（１）より、輻輳角αは、式（２）のように表される。
【００８６】
【数２】
2014053782.tif 000004
【００８７】
図５は、被写体が画面よりも手前に見えるような視差を有する立体画像データを視聴者が見た場合の輻輳角について説明する図である。立体画像データのうち、左目１５Ｌ用の画像においては点２０Ｌの位置に被写体があり、右目１５Ｒ用の画像においては点２０Ｒの位置に被写体がある。点２０Ｌと点２０Ｒの間の距離が視差である。これをｄ１とする。視聴者（図示せず）は画面１６に正対している。視聴者が表示された立体画像を左目１５Ｌ及び右目１５Ｒを通して見ると、被写体が画面１６より手前の点２１の位置にあるかのように見える。なお、点２１が視聴者の正面に位置するよう立体画像が作られているものとする。
【００８８】
図４と同様に点１８Ｌ、点１８Ｒ、点１９を取る。点２１と点１９を結んだ線分は、視聴者から見掛け上の被写体の位置までの距離を表す。その長さをｍとする。視聴者から画面までの視聴距離は、図４と同様にＬとする。点２１と点１８Ｌとを結んだ線分と、点２１と点１８Ｒとを結んだ線分がなす角が、輻輳角である。図５における輻輳角を、輻輳角β１とする。すると、両眼間隔Ｔ、視聴距離Ｌ、被写体までの距離ｍ、輻輳角β１の間には式（３）のような関係が導かれる。
【００８９】
【数３】
2014053782.tif 000005
【００９０】
式（３）より、輻輳角β１は、式（４）のように表される。
【００９１】
【数４】
2014053782.tif 000006
【００９２】
また、三角形の相似の関係から、式（５）のような関係が導かれる。
【００９３】
【数５】
2014053782.tif 000007
【００９４】
式（４）、式（５）より、輻輳角β１は、式（６）のように表される。
【００９５】
【数６】
2014053782.tif 000008
【００９６】
ここで、画面より手前に飛出す方向の視差に対する視差角γ１は、視聴者が画面を見た際の輻輳角αと、画面より手前に飛出す方向の視差をもつ立体画像データを見た際の輻輳角β１の差分の絶対値であるので、視差角γ１は式（７）のように表される。
【００９７】
【数７】
2014053782.tif 000009
【００９８】
図６は、被写体が画面よりも奥に見えるような視差を有する立体画像データを視聴者が見た場合の輻輳角について説明する図である。立体画像データのうち、左目１５Ｌ用の画像においては点２２Ｌの位置に被写体があり、右目１５Ｒ用の画像においては点２２Ｒの位置に被写体がある。点２２Ｌと点２２Ｒの間の距離が視差である。これをｄ２とする。視聴者（図示せず）は画面１６に正対している。視聴者が表示された立体画像を左目１５Ｌ及び右目１５Ｒを通して見ると、被写体が画面１６より奥の点２３の位置にあるかのように見える。なお、点２３が視聴者の正面に位置するよう立体画像が作られているものとする。
【００９９】
図４と同様に点１８Ｌ、点１８Ｒ、点１９を取る。点２３と点１９を結んだ線分は、視聴者から見掛け上の被写体の位置までの距離を表す。その長さをｎとする。視聴者から画面までの視聴距離は、図４と同様にＬとする。点２３と点１８Ｌとを結んだ線分と、点２３と点１８Ｒとを結んだ線分がなす角が、輻輳角である。図６における輻輳角を、輻輳角β２とする。すると、両眼間隔Ｔ、視聴距離Ｌ、被写体までの距離ｎ、輻輳角β２の間には式（８）のような関係が導かれる。
【０１００】
【数８】
2014053782.tif 000010
【０１０１】
式（８）より、輻輳角β２は、式（９）のように表される。
【０１０２】
【数９】
2014053782.tif 000011
【０１０３】
また、三角形の相似の関係から、式（１０）のような関係が導かれる。
【０１０４】
【数１０】
2014053782.tif 000012
【０１０５】
式（９）、式（１０）より、輻輳角β２は、式（１１）のように表される。
【０１０６】
【数１１】
2014053782.tif 000013
【０１０７】
ここで、画面より奥に引っ込む方向の視差に対する視差角γ２は、視聴者が画面を見た際の輻輳角αと、画面より奥に引っ込む方向の視差をもつ立体画像データを見た際の輻輳角β２の差分の絶対値であるので、視差角γ２は式（１２）のように表される。
【０１０８】
【数１２】
2014053782.tif 000014
【０１０９】
視差角の値が小さい程、立体画像データはスクリーンの近くに見える。逆に、視差角の値が大きくなる程、立体画像データの見える位置がより飛び出して見えたり、より引っ込んで見えたりする。
【０１１０】
本実施形態においては、説明をわかりやすくするため、上記で定義した絶対値の視差角に対し、前記の通りさらに符号を加え、画面より奥に引っ込む方向の視差に対する視差角はマイナスの値、画面より手前に飛び出す方向の視差に対する視差角はプラスの値とする。これにより、視差角の値の符号を参照すれば、立体画像データの見える位置が飛び出しなのか引っ込みなのかが明確にわかるようになる。例えば、視差角の符号がマイナスの場合は、その被写体は画面より奥に引っ込んで見え、その値が小さくなる程、奥に引っ込んで見える。また逆に、視差角の符号がプラスの場合は、その被写体は画面より手前に飛び出して見え、その値が大きくなる程、手前に飛び出して見える。
【０１１１】
さらに、上記の説明では、視差ｄ１とｄ２をいずれも絶対値として説明したが、視差角と同様に、ｄ１は飛び出し方向の視差なのでプラスの値、ｄ２は引っ込み方向の視差なのでマイナスの値と、符号を付けることができる。このように視差の符号まで考慮すれば、式６と式１１は同じ式となる。そこで、符号を含めた視差角をγ、符号を含めた視差をｄとすると、視差角γは式（１３）のように表せる。
【０１１２】
【数１３】
2014053782.tif 000015
【０１１３】
また、逆に視差角γからそれに対応する視差ｄを求めるには、式（１３）をｄについて解いた式（１４）を用いる。
【０１１４】
【数１４】
2014053782.tif 000016
【０１１５】
視差角算出部５は、上記の式１３を用いて、視差マップから視差角マップを算出する。
【０１１６】
なお、視差ｄと視差角γの関係は式１３のように、両眼間隔Ｔ、視聴距離Ｌによって一意に決まる。また、ハイビジョンテレビは、画面の高さの３倍の距離が最適な視聴距離と定められている。つまり、視差ｄと視差角γの関係は、両眼間隔Ｔと画面のサイズによって一意に決めることができる。従って、実際に式１３を用いて変換する代わりに、予め変換テーブルを用意し、その値を参照して視差を視差角に変換して用いても構わない。
【０１１７】
また、視差マップから視差角マップへと変換は、視差算出部４で行っても良い。この場合は、視差角算出部５は不要であり、視差調整量算出部６には、直接視差角マップを入力すればよい。
【０１１８】
以下では、説明の簡易化のため、視差角算出部５を有し、視差角を用いて処理する場合について説明する。
【０１１９】
＜２−４．視差調整部７＞
次に、視差調整部７における視差調整処理について、より詳細に説明する。
【０１２０】
まず、視差調整処理の前提として、立体画像データの被写体の視差角とその被写体の見かけの位置の関係について説明する。
【０１２１】
図７は、立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。画面２４に表示された立体画像データを、視聴者２５が見ている様子を示している。画面２４に表示している立体画像データは、図３で示した左目用画像データ１２Ｌと右目用画像データ１２Ｒからなる立体画像データであり、最近景に被写体１０、最遠景に被写体１１が写っている。ここでは、被写体１０の視差角は＋０．５度、被写体１１の視差角は−０．５度であるとする。
【０１２２】
図７の横軸は視差角であり、便宜上、左側をプラス、右側をマイナスとしている。被写体の視差角がプラスの値であると被写体が画面２４から視聴者２５の方向に飛び出して見え、被写体の視差角がマイナスの値であると被写体が画面２４より引っ込んで見えることから、被写体の視差角の値とその被写体の見かけの位置の関係を、模式的に示している。より具体的には、最近景の被写体１０は点線２６の位置に、最遠景にある被写体１１は点線２７の位置に見える。
【０１２３】
次に、視差調整処理の具体的方法について説明する。
【０１２４】
本実施形態では、視差の調整方法として、立体画像データを構成する左目用画像データと右目用画像データを、それぞれ水平方向に一様にずらす方法を用いる。本明細書ではこの方法を「一様ずらし」と呼ぶ。
【０１２５】
まず、視差調整前よりも、視聴者から遠くなる位置に立体画像データを提示する場合の視差調整の方法について説明する。
【０１２６】
図８は、図３で説明した左目用画像データを左に一様にずらし、右目用画像データを右に一様にずらすことにより、視差調整を行う方法について説明する図である。ここで、左目用画像データと右目用画像データのずらし量は同一で、Ｐ／２とする。Ｐの値は、例えば、ずらした後の立体画像データの最近点の視差角が０．０度、最遠点の視差角が−１．０度となるように設定する。
【０１２７】
図８（ａ）は、図３（ａ）で説明した左目用画像データ１２Ｌを左にずらすことにより生成した左目用画像データ２８Ｌを示す。図３（ａ）の最近点１３Ｌ、最遠点１４Ｌは、それぞれ、図８（ａ）では最近点２９Ｌ、最遠点３０Ｌにずれている。また、図８（ｂ）は、図３（ｂ）で説明した右目用画像データ１２Ｒを右にずらすことにより生成した右目用画像データ２８Ｒを示す。図３（ｂ）の最近点１３Ｒ、最遠点１４Ｒは、それぞれ、図８（ｂ）では最近点２９Ｒ、最遠点３０Ｒにずれている。
【０１２８】
なお、以下では、左目用画像データ２８Ｌか右目用画像データ２８Ｒかを問わず、最近点を指すときは「最近点２８」と呼び、同様に最遠点を指すときは「最遠点２９」と呼ぶ。
【０１２９】
また、図８では、図３で説明した画像データをずらしたことにより画面からはみ出す領域、例えば図８（ａ）の画像の左端の領域を、そのまま示しているが、実際はこの領域は表示されなくなる。また逆に、図３で説明した画像データをずらしたことで画像が無くなった領域、例えば図８（ａ）の画像の右端の領域は、黒く示している。
【０１３０】
ここで、ずらす前の左目用画像データ２８Ｌの左端から、ずらした後の最近点２９Ｌまでの距離をｄｎＬ２とし、ずらした後の最遠点３０Ｌまでの距離をｄｆＬ２とする。また、ずらす前の右目用画像データ２８Ｒの左端から、ずらした後の最近点２９Ｒまでの距離をｄｎＲ２とし、ずらした後の最遠点３０Ｒまでの距離をｄｆＲ２とする。すると、最近点２８の視差はｄｎＬ２−ｄｎＲ２となり、最遠点２９の視差はｄｆＬ２−ｄｆＲ２となる。
【０１３１】
また、左目用画像データ２８Ｌは図３（ａ）の左目用画像データ１２Ｌを左にＰ／２ずらした画像であることから、ｄｎＬ２＝ｄｎＬ１−Ｐ／２、ｄｆＬ２＝ｄｆＬ１−Ｐ／２である。同様に、右目用画像データ２８Ｒは図３（ｂ）の右目用画像データ１２Ｒを右にＰ／２ずらした画像であることから、ｄｎＲ２＝ｄｎＲ１＋Ｐ／２、ｄｆＲ２＝ｄｆＲ１＋Ｐ／２である。ここから、最近点２８の視差はｄｎＬ２−ｄｎＲ２＝ｄｎＬ１−ｄｎＲ１−Ｐ、最遠点２９の視差はｄｆＬ２−ｄｆＲ２＝ｄｆＬ１−ｄｆＲ１−Ｐである。すなわち、最近点２８も最遠点２９も、視差がＰだけマイナスされた。
【０１３２】
このように、左目用画像データを左に一様にずらし、右目用画像データを右に一様にずらすことにより、立体画像データの視差はマイナス方向にずれ、立体画像中の被写体は視聴者からより遠い位置に移動する。
【０１３３】
図９は、図８のように視差調整を行った後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。図９において、図８で説明した左目用画像データ２８Ｌと、右目用画像データ２８Ｒを画像表示部８の画面２４に表示し、視聴者２５が画面２４を見て立体視を行う場合、最近景にある被写体１０は、視差角が０．０度である点線３１の位置に、最遠景にある被写体１１は、視差角が−１．０度である点線３２の位置に見える。
【０１３４】
次に、視差調整前よりも、視聴者から近くなる位置に立体画像データを提示する場合の視差調整の方法について説明する。
【０１３５】
図１０は、図３で説明した左目用画像データを右に一様にずらし、右目用画像データを左に一様にずらすことにより、視差調整を行う方法について説明する図である。ここで、左目用画像データと右目用画像データのずらし量は同一で、Ｐ／２とする。Ｐの値は、例えば、ずらした後の立体画像データの最近点の視差角が＋１．０度、最遠点の視差角が０．０度となるように設定する。
【０１３６】
図１０（ａ）は、図３（ａ）で説明した左目用画像データ１２Ｌを右にずらすことにより生成した左目用画像データ３３Ｌを示す。図３（ａ）の最近点１３Ｌ、最遠点１４Ｌは、それぞれ、図１０（ａ）では最近点３４Ｌ、最遠点３５Ｌにずれている。また、図１０（ｂ）は、図３（ｂ）で説明した左目用画像データ１１Ｒを左にずらすことにより生成した右目用画像データ３３Ｒを示す。図３（ｂ）の最近点１３Ｒ、最遠点１４Ｒは、それぞれ、図１０（ｂ）では最近点３４Ｒ、最遠点３５Ｒにずれている。
【０１３７】
なお、以下では、左目用画像データ３３Ｌか右目用画像データ３３Ｒかを問わず、最近点を指すときは「最近点３３」と呼び、同様に最遠点を指すときは「最遠点３４」と呼ぶ。
【０１３８】
また、図１０では、図３で説明した画像データをずらしたことにより画面からはみ出す領域、例えば図１０（ａ）の画像の右端の領域を、そのまま示しているが、実際はこの領域は表示されなくなる。また逆に、図３で説明した画像データをずらしたことで画像が無くなった領域、例えば図１０（ａ）の画像の左端の領域は、黒く示している。
【０１３９】
ここで、上記で図８に関して説明したのと同様に、最近点３３の視差はｄｎＬ３−ｄｎＲ３となり、最遠点３４の視差はｄｆＬ３−ｄｆＲ３となる。
【０１４０】
また、左目用画像データ３３Ｌは図３（ａ）の左目用画像データ１２Ｌを右にＰ／２ずらした画像であることから、ｄｎＬ３＝ｄｎＬ１＋Ｐ／２、ｄｆＬ３＝ｄｆＬ１＋Ｐ／２である。同様に、右目用画像データ３３Ｒは図３（ｂ）の右目用画像データ１２Ｒを左にＰ／２ずらした画像であることから、ｄｎＲ３＝ｄｎＲ１−Ｐ／２、ｄｆＲ３＝ｄｆＲ１−Ｐ／２である。ここから、最近点３３の視差はｄｎＬ３−ｄｎＲ３＝ｄｎＬ１−ｄｎＲ１＋Ｐ、最遠点３４の視差はｄｆＬ３−ｄｆＲ３＝ｄｆＬ１−ｄｆＲ１＋Ｐである。すなわち、最近点３３も最遠点３４も、視差がＰだけプラスされた。
【０１４１】
このように、左目用画像データを右に一様にずらし、右目用画像データを左に一様にずらすことにより、立体画像データの視差はプラス方向にずれ、立体画像中の被写体は視聴者により近い位置に移動する。
【０１４２】
図１１は、図１０のように視差調整を行った後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。図１１において、図１０で説明した左目用画像データ３３Ｌと、右目用画像データ３３Ｒを画像表示部８の画面２４に表示し、視聴者２５が画面２４を見て立体視を行う場合、最近景にある被写体１０は、視差角が＋１．０度である点線３６の位置に、最遠景にある被写体１１は、視差角が０．０度である点線３７の位置に見える。
【０１４３】
なお、一様ずらしによる視差調整を行った場合、視差は一様に増減するが、視差角は調整前の視差角によって変化量が異なる。これは、式６、７および式１１、１２に示したように、視差と視差角がｔａｎ−１という非線形な関数で結ばれた関係にあるためである。従って、一様ずらしによる視差調整を行うと、視差角範囲幅が変化する。
【０１４４】
ただし、ｔａｎ−１は、角度が小さければ線形近似可能である。本発明のように視差角が−２．０度から＋２．０度程度にある場合は、線形近似して問題は無い。従って本説明では、視差調整による視差角範囲幅の変化は無く、一定であるとして取り扱うものとする。
【０１４５】
また、上記説明では、左目用画像データと右目用画像データのずらし量は同一で、Ｐ／２としたが、左右のずらし量の和がＰでさえあれば、同様に視差調整される。ただし、例えば左目用画像だけをＰずらすとすると、一様ずらしにより画面からはみ出す領域が左目用画像だけに集中して、バランスが悪くなる。従って、左目用画像データと右目用画像データのずらし量は均等、もしくは均等に近いずらし幅であることが望ましい。
【０１４６】
さらにまた、上記のような画像のずらしを行う際、ずらす方向と反対側にある、表示する画像がなくなる領域、すなわち図８、図１０において黒く塗られている領域については、黒色など所定の色の画像で埋める、もしくは、周辺の画素から補間して埋めるようにしても構わない。
【０１４７】
＜３．本発明の実施形態における立体画像データ処理装置１の動作（立体画像データ処理方法）＞
次に、本発明の実施形態における立体画像データ処理装置１の動作について説明する。
【０１４８】
＜３−１．全体動作＞
図１２は、立体画像データ処理装置１の動作を示したフローチャートである。
【０１４９】
ステップＳ１において、立体画像データ入力部２は、立体画像データを撮影し、撮影した立体画像データを視差算出部４に出力し、判定ステップＳ２に進む。
【０１５０】
判定ステップＳ２において、ユーザ指示入力部３は、ユーザの第１の入力によって快適視差調整を行うか否かを判定する。快適視差調整を行う、すなわちＹｅｓの場合は、ステップＳ３に進み、Ｎｏの場合は、ステップＳ８に進む。
【０１５１】
ここで、「快適視差調整」とは、ユーザが立体画像データを快適に見ることができるよう視差調整を行うことを指す。また、快適視差調整を行う際の手法は複数用意しており、これらを「快適視差調整モード」と呼ぶ。本実施形態では、ノーマルモード、飛び出しモード、引っ込みモード、拡張飛び出しモード、拡張引っ込みモードの、５種類の異なる快適視差調整モードを有する。飛び出しモードと引っ込みモードをまとめて、「強調視差調整モード」と呼ぶ。また、拡張飛び出しモードと拡張引っ込みモードをまとめて、「拡張視差調整モード」と呼ぶ。各モードの詳細な処理内容は後述する。
【０１５２】
ステップＳ３において、ユーザ指示入力部３は、ユーザの第２の入力によってどの快適視差調整モードを選択するかを決定し、選択された快適視差調整モードＭを視差調整量算出部６に出力し、ステップＳ４に進む。なお、前記５種類のモードのうちのいずれかが、初期設定値としてあらかじめ設定されており、ユーザが第２の指示を入力しない場合は、初期設定値を快適視差調整モードＭとして出力する。
【０１５３】
ステップＳ４において、視差算出部４は、入力された立体画像データを用いて視差を算出し、視差マップを生成する。そして、立体画像データを視差調整部７に、視差マップを視差角算出部５に出力して、ステップＳ５に進む。
【０１５４】
ステップＳ５において視差角算出部５は、入力された視差マップの各視差から視差角を算出することにより、視差角マップに変換する。視差角マップを視差調整量算出部６に出力して、ステップＳ６に進む。
【０１５５】
ステップＳ６において、視差調整量算出部６は、視差角マップと、入力された快適視差調整モードＭを参照し、入力された立体画像データの視差を所定の視差に調整するための視差調整量Ｐを算出し、視差調整部７に出力して、ステップＳ７へ進む。視差調整量算出部６の動作の詳細については後述する。
【０１５６】
ステップＳ７において、視差調整部７は、入力された視差調整量Ｐを用いて、入力された立体画像データに視差調整を行い、視差調整後の立体画像データを生成する。生成した立体画像データを画像表示部８に出力して、ステップＳ８に進む。
【０１５７】
ステップＳ８において、画像表示部８は、入力された立体画像データを立体表示し、処理を終了する。
【０１５８】
＜３−２．ステップＳ６の処理＞
次に、ステップＳ６における、視差調整量算出部６の動作について、詳細に説明する。
【０１５９】
図１３は、ステップＳ６における、視差調整量算出部６の動作を示すフローチャートである。
【０１６０】
判定ステップＳ６１において、視差調整量算出部６は、視差角マップを参照し、その視差角マップに含まれる視差角の値がすべてマイナスの値であり、かつ、視差角範囲幅がＴ１度以下か否かを判定する。視差角の値がすべてマイナスの値であり、かつ、Ｔ１度以下、すなわちＹｅｓの場合は判定ステップＳ６７に進み、Ｎｏの場合はステップＳ６２に進む。
【０１６１】
ここで、Ｔ１の値は、０度を超え、かつ、＋０．１度以内の値とする。以下の説明では、例えば、Ｔ１の値を０．１とする。
【０１６２】
立体画像データの視差角の値がすべてマイナスの値であり、かつ、視差角範囲幅がＴ１度以下であることは、立体画像中の被写体が引っ込んで見え、かつ、その距離に差があまりないことを示す。つまり、その立体画像データは遠景のみが含まれることを意味する。逆に、視差角にプラスの部分がある場合は、立体画像中の被写体が飛び出して見えることを意味する。また、視差角範囲幅が広い場合は、その立体画像データに遠景と近景の両方が含まれている可能性が高いことを意味する。これらの立体画像は、適した視差調整処理が異なるため、ステップＳ６１で場合分けしている。
【０１６３】
判定ステップＳ６２において、視差調整量算出部６は、入力された快適視差調整モードＭを参照し、快適視差調整モードＭがノーマルモード、すなわちＹｅｓの場合、ステップＳ６３に進み、Ｎｏの場合は判定ステップＳ６４に進む。
【０１６４】
ステップＳ６３において、視差調整量算出部６は、ノーマルモードの処理により、視差調整量Ｐを算出し、ステップＳ６８に進む。
【０１６５】
次にステップ６２の判定がＮｏの場合を説明する。判定ステップＳ６４において、視差調整量算出部６は、視差マップを参照し、その視差角範囲幅が１．０度を超えているか 、または、快適視差調整モードＭが強調視差調整モードのいずれかがＹｅｓである場合、ステップＳ６５に進み、両方がＮｏの場合は、ステップＳ６６に進む。つまり、ステップＳ６６に進むのは、拡張視差調整モードで視差角範囲幅が１．０度以下の場合のみである。
【０１６６】
ここで、「強調視差調整モード」とは、立体画像データを快適に見ることができる視差角範囲内において、できるだけ立体画像データの被写体が飛び出して見える感覚（飛び出し感）を強調したり、被写体が画面の奥方向に向かって広がって見える感覚（引っ込み感）を強調したりする視差調整を行うモードである。前記の通り、飛び出しモードと引っ込みモードが、強調視差調整モードである。
【０１６７】
また、「拡張視差調整モード」とは、立体画像データを快適に見ることができる視差角範囲を超えて、許容限界ぎりぎりまで飛び出し感や引っ込み感を強調する視差調整を行うモードである。前記の通り、拡張飛び出しモードと拡張引っ込みモードが、拡張視差調整モードである。
【０１６８】
拡張視差調整モードは上記のように、快適さを犠牲にする視差調整処理である。このため、処理対象とする立体画像データ自体は、視聴者の目に負担の少ないもの、具体的には視差角範囲幅が１．０度以下のものに限定した。上記判定ステップＳ６４で、視差角範囲幅に関する条件が入っているのは、このためである。
【０１６９】
ステップＳ６５において、視差調整量算出部６は、強調視差調整モードの処理により、視差調整量Ｐを算出し、ステップＳ６８に進む。
【０１７０】
一方、ステップＳ６６において、視差調整量算出部６は、拡張視差調整モードの処理により、視差調整量Ｐを算出し、ステップＳ６８に進む。
【０１７１】
また、ステップＳ６７において、視差調整量算出部６は、入力された視差マップを参照し、最遠景の視差角がＴ４度となるような視差調整量Ｐを算出し、ステップＳ６８に進む。
【０１７２】
ステップＳ６８において、視差調整量算出部６は、視差調整量の最終確認として、算出した視差調整量Ｐに基づき視差調整を行った際に、最遠景の視差が画像表示部８の画面上において開散方向に５ｃｍを超えないように視差調整量Ｐを再度修正し、最終的な視差調整量Ｐとして出力する。なお、「開散方向」とは、立体視を行う際、視聴者の両眼がそれぞれ正面よりも外側に向く方向を示す。
【０１７３】
以上の処理により、ステップＳ６の処理を終了する。次に、ステップＳ６内の処理のいくつかについて、さらに詳細に説明する。
【０１７４】
＜３−３．ステップＳ６３：ノーマルモードによる視差調整量Ｐの算出＞
図１４は、ステップＳ６３において、視差調整量算出部６が、ノーマルモードによる視差調整量Ｐを算出する際の動作についてのフローチャートである。
【０１７５】
ステップＳ１０１において、視差調整量算出部６は、入力された視差マップを参照して、視差調整の基準とする視差角を決定する。本発明ではこの視差角を「視差調整ベース角」と呼ぶ。
【０１７６】
次に、ステップＳ１０２において、視差調整量算出部６は、視差調整ベース角を、第２の所定の値であるＴ２度へと移動するような視差調整量Ｐを算出する。
【０１７７】
以上の処理により、ステップＳ６３の処理を終了する。
【０１７８】
＜３−３−１．視差調整ベース角の決定方法の第１の例：０度＞
ステップＳ１０１における、視差調整ベース角の決定方法は、様々な方法が考えられる。ここでは、視差調整ベース角の決定方法の第１の例として、視差調整ベース角を０度とした場合について説明する。
【０１７９】
図１５は、視差角範囲幅が１．０度の立体画像データに対して、視差調整ベース角を視差角０度と設定した場合の、立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。図１５において、画面２４に表示される立体画像データは、図７で説明した立体画像データと同じものを表示したとする。このうち、視差角０度、つまり点線３８の位置の視差角を視差調整ベース角とする。
【０１８０】
続いて上記の通り、ステップＳ１０２において、視差調整量算出部６は、視差調整ベース角を、第２の所定の値であるＴ２度へと移動するような視差調整量Ｐを算出する。ここで、Ｔ２は、−０．２度から−０．５度の範囲の値が望ましく、−０．２度から−０．３度の範囲の値がより望ましい。Ｔ２は、発明者らの実験によって得られた、最も快適に見ることができる視差角の値である。以下では、Ｔ２の値を、例えば−０．２５度として説明する。なお、Ｔ２の値の根拠については後述する。
【０１８１】
図１６は、図１５で示した視差調整ベース角がＴ２度となるように視差調整を行った後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。図１６において、視差角０度、つまり視差角の軸上で点線３８の位置である視差調整ベース角を、視差角−０．２５度となる点線３９の位置に提示させるには、視差調整ベース角が０．２５度分マイナスとなるように視差調整を行う必要がある。このときに必要な視差調整量を視差調整量Ｐとして、視差調整量算出部６は出力する。
【０１８２】
視差調整量Ｐは、具体的には以下のようにして算出する。
【０１８３】
視差調整ベース角をγｂａｓｅ、Ｔ２をγｎｅｗとする。これらはいずれも視差角である。また、γｂａｓｅに対応する視差をｄｂａｓｅ、γｎｅｗに対応する視差をｄｎｅｗとする。γｂａｓｅがγｎｅｗへと調整されるような視差調整量がＰであることから、Ｐは式（１５）で表される。
【０１８４】
【数１５】
2014053782.tif 000017
【０１８５】
ｄｂａｓｅとｄｎｅｗは、式（１４）により求めることができることから、Ｐは式（１６）によって求めることができる。
【０１８６】
【数１６】
2014053782.tif 000018
【０１８７】
なお、図１６にも示すように、このときの最近景の被写体は、点線４０の位置に提示され、その視差角は＋０．２５度となり、また、最遠景の被写体は、点線４１の位置に提示され、その視差角は−０．７５度となる。
【０１８８】
以上の説明では、画面位置に相当する視差角０度を、視差調整ベース角として設定し、視差調整ベース角の視差角をＴ２度へと移動するように視差調整を行うことについて説明した。
【０１８９】
ところで、視聴者は、画像中の主要な被写体を注視することが多い。従って、主要な被写体の視差角が最も快適に見ることができる視差角であることが望ましい。
【０１９０】
従来の技術の欄で述べたように、従来の立体画像データは基本的には、主要被写体を、目に最も負担の少ない視差角０度に配置し、視差角０度を中心として、＋０．５度〜−０．５度の範囲に視差角が収まるよう制作される場合が多くみられる。
【０１９１】
これらの立体画像データは、視差角０度が、目に最も負担の少ない、すなわち、最も見やすい視差角であるとの想定の下、主要な被写体の視差角が視差角０度付近になるようにすると同時に、主要被写体のある位置を中心にした奥行き感を表現するため、視差角０度を視差角範囲の中央値となるように制作されている。
【０１９２】
しかし、後で詳述する発明者らの実験によれば、被写体の視差角がＴ２度である場合が最も快適に見ることができ、Ｔ２度を中心に前後０．５度の視差角範囲の立体画像データが、最も快適に見ることができることが明らかとなった。従って、上記のように視差調整ベース角の視差角を、主要被写体の視差角である可能性の高い視差角０度に設定し、その視差調整ベース角の視差角をＴ２度へと移動するように視差調整を行うことによって、従来の立体画像における主要な被写体の視差角は、最も見やすい視差角へと調整される。さらに、立体画像データ全体としても、最も快適な視差角範囲へと調整される。これにより、視聴者はより快適に立体画像データを見ることができる。
【０１９３】
また、映像によっては、２Ｄ画像と立体画像が混在する場合がある。このような映像を視聴する場合、視聴者は、立体表示装置で立体画像データを見ていると認識しているにもかかわらず、２Ｄ画像が表示されると、通常の２Ｄ画像の視聴と同じく、立体表示装置の画面上に平面画像が表示されるため、違和感があるという問題があった。
【０１９４】
しかし、上記のように、視差調整ベース角として視差角０度を用い、それをＴ２度へと移動するよう視差調整を行うことにより、立体画像を表示中に、通常の２Ｄ画像のシーンを表示しても、前記２Ｄ画像は、平面画像として立体表示装置の画面上に提示されるのではなく、画面よりも少し奥の位置に提示される。これにより視聴者は、前記２Ｄ画像を、平面画像が奥に表示されるタイプの立体画像データと認識し、その結果、立体画像データを継続して視聴しているように感じるため、視聴時の違和感がなく、快適に視聴することができる。
【０１９５】
また、通常、立体映像は０度が視差角範囲の中心になるように制作されるが、上記で説明したように、視差角０度の位置を、視差調整ベース角として設定して視差調整を行うことにより、視差調整後の視差角範囲の中心はＴ２度となる。これは、立体画像を表示中に通常の２Ｄ画像のシーンを表示した場合において、立体画像の視差角範囲の中心と２Ｄ画像の視差角が同じＴ２度に表示されることを意味し、これにより、立体画像のシーンと２Ｄ画像のシーンの境界において視聴者が感じる立体感の変化に対する印象が視差調整前後で変わらず、視聴者は、視差調整を行った場合でも、違和感なく視聴することができる。
【０１９６】
さらにまた、上記では、従来の立体画像データの基本例の視差角の範囲を、＋０．５度〜−０．５度としたが、視差角０度を含み、かつ、１画面内の奥行き範囲が、視差角１度以内であれば、＋０．５度〜−０．５度以外の範囲でも構わない。この場合であっても、上述のように従来の立体画像データでは、主要被写体は視差角０度付近に設定されていることが多いので、視差調整ベース角がＴ２度となるように視差調整を行うことによって、人が注視する可能性が高い主要被写体の視差角を、最も見やすい視差角に調整することができる。
【０１９７】
なお、このように視差調整ベース角として視差角０度を用いる場合は、視差調整量算出部６において、視差マップを用いる必要はない。さらには、視差算出部４や視差角算出部５も無くても良い。このようにすることで、より簡略な構成で本発明を実施することが可能である。
【０１９８】
＜３−３−２．視差調整ベース角の決定方法の第２の例：中央値＞
ステップＳ１０１における、視差調整ベース角の決定方法の第２の例について説明する。ここでは、立体画像データの画面全体の視差角のうち、最遠景の視差角と最近景の視差角の値の中央値を、視差調整ベース角として用いる。
【０１９９】
図１７は、視差角範囲幅が０．６度、かつ、視差調整ベース角が最遠景の視差角と最近景の視差角の値の中央値である際の、立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。図１７において、視差角が＋０．５度の最近景の被写体と、視差角が−０．１度の最遠景の被写体とで構成される立体画像データが、画面２４に表示されている。このとき、点線４２の位置にある最近景の被写体の視差角と、点線４３の位置にある最遠景の被写体の視差角の中央値が視差調整ベース角となる。つまり、図１７においては、最近景の被写体の視差角は＋０．５度であり、最遠景の被写体の視差角は−０．１度であることから、視差角＋０．２度となる点線４４の位置の視差角が、視差調整ベース角となる。
【０２００】
この場合も、ステップＳ１０２で説明した場合と同様にして、視差調整量Ｐを算出する。
【０２０１】
図１８は、図１７で示した視差調整ベース角をＴ２度へと移動するように視差調整を行った後の、視差調整後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。Ｔ２の値は−０．２５度としている。図１７において、視差調整ベース角を、視差角＋０．２度となる点線４４の位置から、視差角−０．２５度となる点線４５の位置に提示させるには、視差調整ベース角が０．４５度分マイナスとなるように視差調整する必要がある。このときに必要な視差調整量を視差調整量Ｐとして、視差調整量算出部６は出力する。
【０２０２】
なお、図１７にも示すように、このときの最近景の被写体は視差角＋０．０５度となる点線４６の位置に、最遠景の被写体の視差角は−０．５５度となる点線４７の位置に、それぞれ提示される。
【０２０３】
以上の説明では、画面全体の視差角のうち、最遠景の視差角と最近景の視差角の値の中央値を視差調整ベース角として設定し、視差調整ベース角がＴ２度となるように視差調整を行うことについて説明した。
【０２０４】
このように視差調整ベース角を設定した場合、視差角が０度を中心として＋０．５度〜−０．５度の範囲の立体画像データに対しては、前記の視差調整ベース角の設定の第１の例と同様の効果を奏する。
【０２０５】
一方、従来の技術の欄で述べたように、上記非特許文献１の条件を満たさない立体画像データもある。そのような立体画像データであっても、立体画像データ内の視差の中央値を、最も快適な視差角であるＴ２度へと移動するように視差調整を行うことによって、Ｔ２度を中心としその前後に視差が均等に存在する立体画像へと調整される。すなわち、立体画像全体として、最も快適な視差角範囲へと調整される。これにより、視聴者はより快適に立体画像データを見ることができる。
【０２０６】
また、画面中の主要な被写体、すなわち視聴者が注視する可能性の高い領域の視差角は、視差角範囲の中央に位置する場合が多いと考えられることから、以上の処理により、注視領域の視差角は最も見やすい視差角へと調整される。これにより、視聴者はより快適に立体画像データを見ることができる。
【０２０７】
＜３−３−３．視差調整ベース角の決定方法の第３の例：出現頻度の最も高い視差角＞
ステップＳ１０１における、視差調整ベース角の決定方法の第３の例について説明する。ここでは、画面全体の視差角のうち出現頻度の最も高い視差角を視差調整ベース角として用いる。より具体的には、視差角マップから視差ヒストグラムを生成し、度数が最大の視差角を求め、その視差角を視差調整ベース角として用いる。
【０２０８】
このように視差調整ベース角を設定した場合、視差角が０度を中心として＋０．５度〜−０．５度の範囲の立体画像データに対しては、前記の視差調整ベース角の設定の第１の例と同様の効果を奏する。
【０２０９】
また、そのような立体画像データでは無い場合も、出現頻度の最も高い視差角は、立体画像データにおいて最も面積の大きい、主要な被写体であって、視聴者が注視する可能性の高い領域の視差角であると考えられる。その視差角を最も快適な視差角であるＴ２度へと移動するように視差調整を行うことによって、注視領域が最も快適な視差角で提示されることとなり、視聴者はより快適に立体画像データを見ることができる。
【０２１０】
＜３−３−４．視差調整ベース角の決定方法の第４の例：平均値＞
ステップＳ１０１における、視差調整ベース角の決定方法の第４の例について説明する。ここでは、視差調整ベース角として、画面全体の視差角の平均値を用いる。より具体的には、視差マップの全ての視差の平均値を求め、その視差角を視差調整ベース角として用いる。
【０２１１】
このように視差調整ベース角を設定した場合、視差角が０度を中心として＋０．５度〜−０．５度の範囲の立体画像データに対しては、前記の視差調整ベース角の設定の第１の例と同様の効果を奏する。
【０２１２】
また、そのような立体画像データでは無い場合も、このように画面全体の視差角の平均値を最も快適な視差角であるＴ２度へと移動するように視差調整を行うことによって、立体画像データの各画素の視差角が快適な視差角範囲幅となるように提示することができ、視聴者はより快適に立体画像データを見ることができる。
【０２１３】
特に、立体画像データの視差角範囲幅が、快適な視差角範囲幅よりも小さい時などは、より、多くの画素の視差角が、最も快適な視差角であるＴ２度に近い値となるため、効果がある。
【０２１４】
＜３−３−５．視差調整ベース角の決定方法の第５の例：視差マップの各視差角との差分二乗和が最小となるよう定めた視差角＞
ステップＳ１０１における、視差調整ベース角の決定方法の第５の例について説明する。ここでは、視差調整ベース角として、視差マップの各視差角との差分二乗和が最小となるよう定めた視差角を用いる。このような視差角は、立体画像データの平均的な視差角を表す。
【０２１５】
このように視差調整ベース角を設定した場合、視差角が０度を中心として＋０．５度〜−０．５度の範囲の立体画像データに対しては、前記の視差調整ベース角の設定の第１の例と同様の効果を奏する。
【０２１６】
また、そのような立体画像データでは無い場合も、このように視差マップの各視差角との差分二乗和が最小となるよう定めた視差角を最も快適な視差角であるＴ２度へと移動するように視差調整を行うことによって、視差調整ベース角として、画面全体の視差角の平均値を用いた場合と同様に、立体画像データの各画素の視差角が快適な視差角範囲幅となるように提示することができ、視聴者はより快適に立体画像データを見ることができる。
【０２１７】
特に、立体画像データの視差角範囲幅が、快適な視差角範囲幅よりも小さい時などは、より、多くの画素の視差角が、最も快適な視差角であるＴ２度に近い値となるため、効果がある。
【０２１８】
＜３−３−６．視差調整ベース角の決定方法の第６の例：最遠景の視差角＞
ステップＳ１０１における、視差調整ベース角の決定方法の第６の例について説明する。ここでは、視差調整ベース角として、画面全体の視差角のうち最遠景の視差角の値を用いる。
【０２１９】
最遠景の被写体を注視する視聴者にとっては、最遠景の視差角を最も快適な視差角であるＴ２度へと移動するように視差調整を行うことによって、より快適に立体画像データを見ることができる。
【０２２０】
＜３−３−７．視差調整ベース角の決定方法の第７の例：最近景の視差角＞
ステップＳ１０１における、視差調整ベース角の決定方法の第７の例について説明する。ここでは、視差調整ベース角として、画面全体の視差角のうち最近景の視差角の値を用いる。
【０２２１】
最近景の被写体を注視する視聴者にとっては、最近景の視差角を最も快適な視差角であるＴ２度へと移動するように視差調整を行うことによって、より快適に立体画像データを見ることができる。
【０２２２】
＜３−３−８．ノーマルモードの処理のまとめ＞
このように、ノーマルモードの処理は、画面中の主要な被写体、すなわち視聴者が注視する可能性の高い領域の視差角がＴ２度へと移動するように視差調整することにより、注視領域を快適に見ることができるようにするものである。このため、注視領域の視差角と考えられる視差角を視差調整ベース角と設定し、視差調整ベース角をＴ２度へと移動するよう視差調整する処理を行っている。これにより、立体画像データをより見やすく提示することが可能となる。
【０２２３】
なお、注視領域の視差角の選び方は何通りか考えられるため、上記のように複数の例を挙げて説明した。
【０２２４】
＜３−４．ステップＳ６５：強調視差調整モードによる視差調整量Ｐの算出＞
図１９は、ステップＳ６５において、視差調整量算出部６が、強調視差調整モードによる視差調整量Ｐを算出する際の動作についてのフローチャートである。
【０２２５】
判定ステップＳ１０３において、視差調整量算出部６は、快適視差調整モードＭが飛び出しモードか否かを判定し、飛び出しモード、すなわちＹｅｓの場合は、ステップＳ１０４に進み、引っ込みモード、すなわちＮｏの場合はステップＳ１０５に進む。
【０２２６】
なお、判定ステップＳ６４において、快適視差調整モードＭは拡張飛び出しモードか拡張引っ込みモードのいずれかであったが、視差角範囲幅が１度を超えていたためにステップＳ６５に進んだ場合は、拡張飛び出しモードの場合はステップＳ１０４に、拡張引っ込みモードの場合はステップ１０５に進むようにすればよい。
【０２２７】
ステップＳ１０４に進んだ場合、すなわち快適視差調整モードＭが飛び出しモードであった場合は、視差調整量算出部６は、視差マップを参照して、最近景の視差角をＴ３度へと移動するような視差調整量Ｐを算出する。ここで、Ｔ３の値は視差角＋０．３度から０．０度の間の値が望ましく、＋０．３度から＋０．２度の範囲の値がより望ましい。これは、発明者らの実験によって得られた、快適な視差角範囲内で最も近景側の視差角の値である。以下では、Ｔ３の値を、例えば＋０．２５度として説明する。なお、Ｔ３の値の根拠については後述する。
【０２２８】
一方、上記の判定ステップＳ１０３の判定処理でステップＳ１０５に進んだ場合、すなわち快適視差調整モードＭが引っ込みモードであった場合は、視差調整量算出部６は、視差マップを参照して、最遠景の視差角をＴ４度へと移動するような視差調整量Ｐを算出する。ここで、Ｔ４は視差角−０．７度から−１．０度の範囲の値が望ましく、−０．７度から−０．８度の範囲の値がより望ましい。これは、発明者らの実験によって得られた、快適な視差角範囲内で最も遠景側の視差角の値である。以下では、Ｔ４の値を、例えば−０．７５度として説明する。なお、Ｔ４の値の根拠については後述する。
【０２２９】
図２０は、ステップＳ１０４の処理において、図１７で示した立体画像データの最近景の視差角をＴ３度へと移動するように視差調整を行った後の、立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。図２０において、視差調整前には視差角が＋０．５度である点線４２の位置にあった最近景の被写体を、視差角＋０．２５度となる点線４８の位置に提示させるには、最近景の被写体の視差角を０．２５度分マイナスとなるように視差調整する必要がある。このときに必要な視差調整量を視差調整量Ｐとして、視差調整量算出部６は出力する。なお、図２０に示すように、この時の最遠景の被写体は、視差角−０．３５度となる点線４９の位置に提示される。
【０２３０】
このようにして、立体画像データの最近景の被写体の視差角を、快適な視差角範囲内で最も近景側の視差角Ｔ３度へと移動するように視差調整を行うことにより、飛び出しを強調した立体表示を行いながら、安全かつ快適に視聴することができる。
【０２３１】
図２１は、ステップＳ１０５の処理において、図１７で示した立体画像データの最遠景の視差角をＴ４度へと移動するように視差調整を行った後の、立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。図２１において、視差調整前には視差角が−０．１度である点線４３の位置にあった最遠景の被写体を、視差角−０．７５度となる点線５１の位置に提示させるには、最遠景の被写体の視差角を０．６５度分マイナスとなるように視差調整する必要があり、このときに必要な視差調整量を視差調整量Ｐとして、視差調整量算出部６は出力する。なお、図２１に示すように、この時の最近景の被写体は、視差角−０．１５度となる点線５０の位置に提示される。
【０２３２】
このようにして、立体画像データの最遠景の被写体の視差角を、快適な視差角範囲内で最も遠景側の視差角Ｔ４度へと移動するように視差調整を行うことにより、引っ込みを強調した立体表示を行いながら、安全かつ快適に視聴することができる。
【０２３３】
＜３−５．ステップＳ６６：拡張視差調整モードによる視差調整量Ｐの算出＞
図２２は、ステップＳ６６において、視差調整量算出部６が、拡張視差調整モードによる視差調整量Ｐを算出する際の動作についてのフローチャートである。
【０２３４】
判定ステップＳ１０６において、視差調整量算出部６は、快適視差調整モードＭが拡張飛び出しモードか否かを判定し、拡張飛び出しモード、すなわちＹｅｓの場合は、ステップＳ１０７に進み、拡張引っ込みモード、すなわちＮｏの場合はステップＳ１０８に進む。
【０２３５】
ステップＳ１０７に進んだ場合、すなわち快適視差調整モードＭが拡張飛び出しモードであった場合は、視差調整量算出部６は、視差マップを参照して、最近景の視差角をＴ５度へと移動するような視差調整量Ｐを算出する。
【０２３６】
一方、上記の判定ステップＳ１０６でステップＳ１０８に進んだ場合、すなわち快適視差調整モードＭが拡張引っ込みモードであった場合は、視差調整量算出部６は、視差マップを参照して、最遠景の視差角をＴ６度へと移動するような視差調整量Ｐを算出する。
【０２３７】
非特許文献１に記載のように、人間の眼の視差角の融合限界の許容値は、±約２．０度とされている。これは、立体視の融合限界以下の視差であれば、個人差もあるが、立体視できる可能性が高いことを意味する。しかし、視差角が±２．０度以内であっても、視差角範囲幅が１．０度以上になると、負担が大きい。よって、視差角範囲幅が１．０度以内の立体画像に限って、拡張視差調整モードを適用する。立体画像データの視差角範囲幅が１．０度以内であれば、視差角の融合限界の許容値まで視差調整を行っても、立体画像データの表示時間を短時間としたり、視差の時間的変化を急激としない等の眼に対する配慮を同時に行えば、疲労なく視聴できる可能性が高いためである。
【０２３８】
そして、拡張飛び出しモードによる処理（ステップＳ１０７の処理）の場合、最近景を融合限界ぎりぎりまで飛び出させるためには、視差調整後の最近景の視差角であるＴ５の値を、＋２．０度に設定することが望ましい。
【０２３９】
ただし、飛び出しの効果と安全性はトレードオフの関係であり、より安全性に重点を置く場合は、Ｔ５の値を視差角＋１．０度よりも大きく、かつ、＋２．０度以下の範囲の値と設定することが望ましい。以下の説明では、Ｔ５の値を、例えば＋２．０度とする。
【０２４０】
図２３は、ステップＳ１０７の処理において、図７で示した立体画像データの最近景の視差角をＴ５度へと移動するように視差調整を行った後の、立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。図２３に示すように、視差調整後、最近景の被写体は視差角＋２．０度となる点線５２の位置に、最遠景の被写体は視差角＋１．０度となる点線５３の位置に、それぞれ提示される。
【０２４１】
一方、ステップＳ１０８の処理の場合、すなわち拡張引っ込みモードによる処理の場合も同様に、最遠景を融合限界ぎりぎりまで引っ込み方向に表示させるためには、視差調整後の最近景の視差角であるＴ６の値を、−２．０度に設定することが望ましい。
【０２４２】
ただし、引っ込みの効果と安全性はトレードオフの関係であり、より安全性に重点を置く場合は、Ｔ６の値を視差角−１．０度よりも小さく、かつ、−２．０度以下の範囲の値と設定することが望ましい。以下の説明では、Ｔ６の値を、例えば−２．０度とする。
【０２４３】
図２４は、ステップＳ１０８の処理において、図７で示した立体画像データの最遠景の視差角をＴ６度へと移動するように視差調整を行った後の、立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。図２４に示すように、視差調整後、最近景の被写体は視差角−１．０度となる点線５４の位置に、最遠景の被写体は視差角−２．０度となる点線５５の位置に、それぞれ提示される。
【０２４４】
このように、拡張飛び出しモードは、飛び出し方向に立体視の融合限界となる視差角まで、視差調整を行うことにより、飛び出しをさらに強調した立体表示を行うことができる。また、拡張引っ込みモードは、引っ込み方向に立体視の融合限界となる視差角まで、視差調整を行うことにより、引っ込みをさらに強調した立体表示を行うことができる。
【０２４５】
なお、Ｔ５あるいはＴ６の値は、視差の表示時間に合わせて変動させてもよい。例えば、Ｔ５について、表示する時間が短時間であれば、Ｔ５の値を＋２．０度に設定し、表示する時間が長時間になるにつれ、Ｔ５の値を＋１．０度に近づくように設定してやれば、効果的に立体感の強調を行いつつ、同時に安全な表示も行うことができる。Ｔ６についても同様である。
【０２４６】
＜３−６．ステップＳ６７：最遠景の視差角がＴ４度となるような視差調整量Ｐの算出＞
次に、前記の判定ステップＳ６１で、立体画像データの視差角の値がすべてマイナスの値であり、かつ、視差角範囲幅がＴ１度以下であった場合の処理、すなわちステップＳ６７の処理について説明する。ステップＳ６７において、視差調整量算出部６は、入力された視差マップを参照し、最遠景の視差角がＴ４度となるような視差調整量を算出する。このＴ４度は、上記の強調視差調整モードにおける、引っ込み強調モードでの処理に用いた値と同じ値である。
【０２４７】
視差調整量算出部６に入力された視差マップの視差角の値がすべてマイナスの値であり、かつ、その視差角範囲幅がＴ１度以下の場合の一例として、視差角の値が−０．５度、かつ、視差角範囲幅が０．０度の場合について説明する。この場合、立体画像データは、遠景の被写体のみとなり、視差マップの視差もすべて同じ値となる。
【０２４８】
図２５は、このときの立体画像データの視差を説明する図である。図２５（ａ）は左目用画像データ５８Ｌを示し、このうち、立体表示をした際に、最も遠くに見える領域を最遠点５９Ｌとする。また、図２５（ｂ）は、右目用画像データ５８Ｒを示し、左目用画像データの最遠点５９Ｌの対応点を最遠点５９Ｒとする。また、左目用画像データ５８Ｌの左端から最遠点５９Ｌまでの距離をｄｆＬ４、右目用画像データ５８Ｒの左端から最近点５８Ｒまでの距離をｄｆＲ４とする。
【０２４９】
ここで、左目用画像データ５８Ｌと、右目用画像データ５８Ｒを用いて立体表示をした際の最遠景視差は、ｄｆＬ４−ｄｆＲ４となる。
【０２５０】
図２６は、このときの立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。図２６において、図２５で説明した左目用画像データ５８Ｌと、右目用画像データ５８Ｒを画像表示部８の画面２４に表示し、視聴者２５が画面２４を見て立体視を行う場合、立体画像データ全体が、点線６０の位置に立体画像データとして提示される。
【０２５１】
図２７は、図２５で説明した左目用画像データを左に一様にずらし、右目用画像データを右に一様にずらすことにより、視差調整を行う方法について説明する図である。
【０２５２】
図２７（ａ）は、図２５（ａ）で説明した左目用画像データ５８Ｌを左にずらすことにより生成した左目用画像データ６１Ｌを示す。立体表示をした際に、最も遠くに見える領域を最遠点６２Ｌとする。また、図２７（ｂ）は、図２５（ｂ）で説明した右目用画像データ５８Ｒを右にずらすことにより生成した右目用画像データ６１Ｒを示す。左目用画像データの最遠点６２Ｌの対応点を最遠点６２Ｒとする。
【０２５３】
このとき、左目用画像データ６１Ｌの左端から、最遠点６２Ｌまでの距離をｄｆＬ５、右目用画像データ６１Ｒの左端から、最遠点６２Ｒまでの距離をｄｆＲ５とすると、左目用画像データ６１Ｌと、右目用画像データ６１Ｒを用いて立体表示を行った際の最遠景視差はｄｆＬ５−ｄｆＲ５となる。なお、このときの左目用画像のずらし幅と、右目用画像のずらし幅はそれぞれ、均等、もしくは均等に近いずらし幅となるようにする。
【０２５４】
また、ここで、図２７における画像のずらし幅は、例えば、視差調整立体画像データの、最遠景視差の視差角をＴ４度へと移動するようにする。前述したように、Ｔ４は視差角−０．７度から−１．０度の範囲の値が望ましく、−０．７度から−０．８度の範囲の値がより望ましい。これは、発明者らの実験によって得られた、快適な視差角範囲内で最も遠景側の視差角の値である。以下では上記の説明同様に、Ｔ４の値を、例えば−０．７５度として説明する。
【０２５５】
図２８は、図２７で示した視差調整後の立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。図２８に示すように、視差調整後、最遠景の被写体は視差角−０．７５度となる点線６３の位置に提示される。このようにして、視差調整量算出部６は、立体画像データの視差角の値がすべてマイナスの値であり、かつ、視差角範囲幅がＴ１度以下であった場合、最遠景の視差角が−０．７５度になるような視差調整量Ｐを算出する。
【０２５６】
以上のように、立体画像データ内の被写体が遠景のみの場合は、最遠景の被写体の視差角を、快適な視差角範囲内で最も遠景側の視差角Ｔ４度へと移動するように視差調整を行うことにより、遠景に対して、引っ込みを強調した立体表示を行いながら、快適に視聴することができる。
【０２５７】
＜３−７．ステップＳ６８：視差調整量の最終確認＞
図２９は、ステップＳ６８において、視差調整量算出部６が、最遠景の視差が画像表示部８の画面上において、開散方向に５ｃｍを超えないように視差調整量Ｐを修正し、最終的な視差調整量を決定する際の動作についてのフローチャートである。
【０２５８】
ステップＳ１０９において、視差調整量算出部６は、入力された視差角マップに対して、ステップＳ６３、Ｓ６５、Ｓ６６、Ｓ６７のいずれかで算出した視差調整量Ｐを用いて視差調整を行った場合に、最遠景に表示される被写体の視差、例えば図３における背景の太陽の部分である最遠点１４の視差が、画像表示部８の画面上において、開散方向に５ｃｍを超えるか否かを判定し、５ｃｍを超える、すなわちＹｅｓの場合はステップＳ１１０に進み、Ｎｏの場合は、何も行わずステップＳ６８を終了する。
【０２５９】
ステップＳ１１０において、最遠景に表示される被写体の視差が、画像表示部８の画面上において、開散方向に５ｃｍを超えないように（言い換えれば−５ｃｍ以上となるように）、視差調整量Ｐを修正する。
【０２６０】
一般的に、眼の幅よりも大きい視差の映像を視聴した場合、斜視や斜位などの症状を引き起こす可能性があり、最遠景に表示される被写体の視差が開散方向に５ｃｍを超える場合は、子供の眼の幅よりも広くなるような視差の立体映像が表示される可能性があるため、安全性に問題がある。しかし、上記のように最遠景の視差が、眼の幅よりも小さくなるような視差の調整量を算出することにより、快適かつ安全な立体視聴をすることができる。
【０２６１】
例えば、上記のステップＳ１０８における拡張引っ込み強調モードにおいて、最遠景の視差角が−２．０度となるような視差調整量Ｐを算出した場合であっても、その後、ステップＳ６８の処理により、視差調整量算出部６が最終的に算出する視差調整量Ｐは、視差調整後の立体画像データの最遠景の視差が、画像表示部８の画面上において、開散方向に５ｃｍを超えないようにすることができる。
【０２６２】
例えば、上記の図２４で示した、拡張引っ込みモードの処理により設定された視差調整量Ｐが、ステップＳ６８の処理によりさらに調整されることを説明する。
【０２６３】
図３０は、ステップＳ６８の処理によりさらに視差調整された後の、立体画像データの被写体の視差角とその被写体の見かけの位置を模式的に示した図である。ここで、Ｔ７は、最遠景の視差が画像表示部８の画面上において開散方向に５ｃｍを超えない場合の視差角の値を示し、画像表示部８の視聴距離や、画面サイズに応じて、その値は変化する。例えば、以下の説明では、Ｔ７の値を、約−１．４９度とする。この値は、５２インチの画面サイズの画像表示部８を３Ｈ（画面高の３倍の距離）の視聴距離で見た場合に、最遠景の視差が開散方向に５ｃｍとなる場合の視差角の値である。
【０２６４】
図３０に示すように、視差調整後、最近景の被写体は、視差角−０．４９度となる点線５６の位置に、最遠景の被写体は、視差角−１．４９度となる点線５７の位置に、それぞれ提示される。
【０２６５】
以上のようにして、視差調整量算出部６は、視差調整後の立体画像データの最遠景の視差が、画像表示部８の画面上において、開散方向に５ｃｍを超えないように視差調整量Ｐを算出することができる。
【０２６６】
＜４．主観評価実験＞
次に、上記で説明した、Ｔ２、及び、Ｔ３、Ｔ４の値の根拠について説明する。
【０２６７】
上記Ｔ２、及び、Ｔ３、Ｔ４の値は、視聴者が最も快適に感じる視差角に対して、主観評価実験を行い、その実験結果に基づいて、設定した値である。
【０２６８】
＜４−１．実験の内容＞
立体画像データの快適な視差の検証を目的として、主観的評価尺度を用いて、快適視差の検証実験を行った。
【０２６９】
本実験の対象は、軽度屈折異常以外に眼科的疾患のない健常青年３０名としており、対象者に屈折異常のある場合は、ソフトコンタクトレンズにて屈折矯正し、対象者が、全例遠方視力１．２以上、近方視力１．０以上の良好な視力を有し、両眼視機能は正常であることを確認した上で、実験を行った。
【０２７０】
図３１は、快適視差の検証実験の様子を上から見た図である。本実験では、アクティブシャッターメガネ６４をかけた被験者６５が、映像再生装置６６に接続された５２インチサイズの３Ｄテレビ６７を、３Ｄテレビ６７の画面の高さの３倍の視聴距離で視聴する。そして、被験者６４は、３Ｄテレビ６７の画面に提示された飛び出しの立体画像データＩ１と、引っ込みの立体画像データＩ２のそれぞれの立体画像データに対し、被験者６４が快適と感じる視差となるように視差調整を行った。
【０２７１】
表１は、実験に用いた立体画像データＩ１とＩ２の視差の設定を示したものである。
【０２７２】
【表１】
2014053782.tif 000019
【０２７３】
表１のように、立体画像データＩ１は、最近景にある被写体の視差角が＋１．５度、最遠景にある被写体の視差角が＋０．５度であり、全体的に飛び出して見える立体画像データである。立体画像データＩ２は、最近景にある被写体の視差角が−０．４８度、最遠景にある被写体の視差角が−１．４８度であり、全体として引っ込んで見える立体画像データである。これら２つの立体画像データは、被写体は同じであり、視差角範囲のみが異なる。また、いずれの立体画像データも、視差角範囲幅が１．０度である。
【０２７４】
視差調整量は０〜±２８段階としており、１段階ごとに、視差角で０．０７０７５５度、視差が変化するように設定した。従って、視差調整の最大変化量は±１．９８１１４度となる。
【０２７５】
実験では、立体画像データＩ１とＩ２をそれぞれランダムな順で３回ずつ、計６回表示し、かつ、各表示の間を、グレー画像が表示されるようにした。また、実験結果の再現性を確認するため、２回の実験を行った。以下では、１回目の実験を実験１、２回目の実験を実験２とする。
【０２７６】
＜４−２．実験結果＞
表２に実験１の結果を、表３に実験２の結果を、それぞれ示す。
【０２７７】
【表２】
2014053782.tif 000020
【表３】
2014053782.tif 000021
【０２７８】
表２および表３には、立体画像データＩ１とＩ２について、被験者ごとに、３回の表示における被験者による視差調整量と、その平均を記載している。平均は、単位の異なる２通りの値を記載している。１回目〜３回目の視差調整量と左側の平均は、「段階」を単位とした値である。右側の平均は、視差調整量の平均値を視差角に変換した値であり、単位は「度」である。また、表の下部には、視差調整量の平均を全被験者で平均した値を示している。
【０２７９】
＜４−２−１．立体画像データＩ１に関する実験結果＞
表２に示した実験１の結果において、飛び出しの立体画像データＩ１を視聴した際の視差調整量の平均は、−１７．０７８段階となり、これを視差角に換算すると、−１．２０８度となる。従って、被験者が快適になるように視差調整を行った後の立体画像データＩ１の視差は、視差調整前の＋１．５度から＋０．５度の範囲から、＋０．２９２度から−０．７０８度の範囲に変化している。これは、視差が引っ込み方向へ調整されたことを意味している。
【０２８０】
表３に示した実験２の結果において、飛び出しの立体画像データＩ１を視聴した際の視差調整量の平均は、−１８．０５６段階となり、これを視差角に換算すると、−１．２７８度となる。従って、被験者が快適になるように視差調整を行った後の立体画像データＩ１の視差は、視差調整前の＋１．５度から＋０．５度の範囲から、＋０．２２２度から−０．７７８度の範囲に変化している。これも実験１の結果と同様に、視差が引っ込み方向へ調整されたことを意味している。
【０２８１】
また、立体画像データＩ１に対する各被験者の視差調整量の平均値に関して、実験１と実験２の結果の相関係数は０．６９５であり、中程度の正の相関が認められた。従って、本実験結果は再現性のある測定値であると考えられる。
【０２８２】
＜４−２−２．立体画像データＩ２に関する実験結果＞
表２に示した実験１の結果において、引っ込みの立体画像データＩ２を視聴した際の視差調整量の平均は、６．６３３段階となり、これを視差角に換算すると、＋０．４６９度となる。従って、被験者が快適になるように視差調整を行った後の立体画像データＩ２の視差は、視差調整前の−０．４８度〜−１．４８度の範囲から、−０．０１１度〜−１．０１１度の範囲に変化している。これは、視差が飛び出し方向へ調整されたことを意味している。
【０２８３】
表３に示した実験２の結果において、引っ込みの立体画像データＩ２を視聴した際の視差調整量の平均は、７．０００段階となり、これを視差角に換算すると、＋０．４９５度となる。従って、被験者が快適になるように視差調整を行った後の立体画像データＩ２の視差は、視差調整前の−０．４８度〜−１．４８度の範囲から、＋０．０１５度〜−０．９８５度の範囲に変化している。これも実験１の結果と同様に、視差が飛び出し方向へ調整されたことを意味している。
【０２８４】
また、立体画像データＩ２に対する各被験者の視差調整量の平均値に関して、実験１と実験２の結果の相関係数は０．８１７であり、強い正の相関が認められた。従って、本実験結果は再現性のある測定値であると考えられる。
【０２８５】
＜４−２−３．実験結果のまとめ＞
上記実験の結果より、立体画像データＩ１に関する実験で得られた２つの視差調整後の視差角範囲（＋０．２９２度から−０．７０８度、＋０．２２２度から−０．７７８度）と、立体画像データＩ１に関する実験で得られた２つの視差調整後の視差角範囲（−０．０１１度〜−１．０１１度、＋０．０１５度〜−０．９８５度）から、これらの視差角範囲の和集合を取ると、＋０．２９２度〜−１．０１１度の視差角範囲、大まかには＋０．３度〜−１．０度の視差角範囲となる。この視差角範囲は、視差角範囲幅が１度の立体画像データに対して、被験者が快適と感じるような視差角範囲であると考えられる。本発明ではこれを「快適視差角範囲」と呼ぶ。
【０２８６】
図３２は、主観評価実験における立体画像データの視差調整前の視差角範囲と視差調整後の視差角範囲、および快適視差角範囲を模式的に示した図である。立体画像データＩ１の視差調整前の視差角範囲６８は、実験１の視差調整により立体画像データＩ１の視差調整後の視差角範囲６９へと調整され、実験２の視差調整により立体画像データＩ１の視差調整後の視差角範囲７０へと調整された。また、立体画像データＩ２の視差調整前の視差角範囲７１は、実験１の視差調整により立体画像データＩ２の視差調整後の視差角範囲７２へと調整され、実験２の視差調整により立体画像データＩ２の視差調整後の視差角範囲７３へと調整された。そして、立体画像データＩ１の視差調整後の視差角範囲６９および７０、立体画像データＩ２の視差調整後の視差角範囲７２および７３の和集合をとったのが、快適視差角範囲７４である。
【０２８７】
この実験結果によると、視聴者にとっては、視差角範囲が引っ込み方向に少し偏った立体画像データの方が見やすいものと考えられる。これは、表示装置の画面より奥に位置する被写体は、窓の向こうの被写体を見る状況と類似し、視聴者にとって違和感がないものの、表示装置の画面より手前に位置する被写体は、いわば窓から被写体が手前に飛び出している状況であり、視聴者に違和感を与える場合があるものと思われる。さらに、表示装置の画面より手前に位置する被写体が画面の縁に接している場合、画面の縁は表示装置の距離にあるように知覚される一方、それに接する被写体は、画面より手前に飛び出して見えるような視差を有することから、そのギャップのために手前にあるように知覚されにくい場合がある。このような理由により、上記の実験結果のように、視聴者は立体画像の視差角範囲が引っ込み方向に少し偏るように調整したものと考えられる。
【０２８８】
＜５．視差調整処理に用いる各基準値の設定＞
上記の実験結果を踏まえ、本発明では、視差調整処理に用いる各基準値を、以下のように設定した。
【０２８９】
上記非特許文献１によれば、立体画像データは、１画面内の視差角の範囲を−１．０度から＋１．０度の範囲内に、視差角範囲幅を１．０度以内にすることが推奨されている。一方、上記実験により得られた快適視差角範囲は、視差角範囲が引っ込み方向に少し偏った立体画像データの方が見やすいことを示唆している。従って、上記非特許文献１の推奨内において、視差角範囲を引っ込み方向に少し移動させる視差調整を行うと、より快適に観賞できると考えられる。
【０２９０】
上記の通り、視差角範囲幅が１度の立体画像データに対する快適視差角範囲は、視差角で約＋０．３度〜−１．０度となる。その視差角範囲幅は、１．３度である。
【０２９１】
ここで、非特許文献１に記載のように、１画面内の視差角範囲幅は１．０度以内に抑えると見やすいことから、上記の快適視差角範囲内で、視差角範囲幅が１．０度となる範囲を設定することを考える。本発明では、この範囲を「標準快適視差角範囲」と呼ぶ。標準快適視差角範囲を最も近景側寄りに設定した場合は＋０．３度〜−０．７度であり、最も遠景側に設定した場合は０．０度〜−１．０度である。このように、標準快適視差角範囲の設定には０．３度の幅がある。
【０２９２】
さらに、標準快適視差角範囲に対する最近景の視差角を標準最近景視差角、最遠景の視差角を標準最遠景視差角、範囲の中心の視差角を標準中心視差角と定義すると、その値は以下のような値になる。
・標準最近景視差角：＋０．３度〜０．０度
・標準最遠景視差角：−０．７度〜−１．０度
・標準中心視差角：−０．２度〜−０．５度
【０２９３】
ここで、標準中心視差角は、標準快適視差角範囲の中心であることから、最も快適に立体視できる視差角であると考えられる。そこで、立体画像中の主要な被写体、すなわち視聴者が注視する可能性の高い領域の視差角が標準中心視差角となるように視差調整を行おうとするのが、前記のステップＳ６３におけるノーマルモードによる視差調整処理の思想である。従って、ノーマルモードにおけるＴ２の値としては、上記の標準中心視差角の値である−０．２度〜−０．５度が適している。
【０２９４】
また、前記の通り、ステップＳ６５における強調視差調整モード（飛び出しモードあるいは引っ込みモード）は、立体画像データを快適に見ることができる視差角範囲内において、できるだけ立体画像データの被写体が飛び出して見える感覚（飛び出し感）を強調したり、被写体が画面の奥方向に向かって広がって見える感覚（引っ込み感）を強調したりする視差調整を行うモードである。そこで、飛び出しモードにおけるＴ３の値としては、上記の標準最近景視差角の値である＋０．３〜０．０度が適している。また、引っ込みモードにおけるＴ４の値としては、上記の標準最遠景視差角の値である−０．７度〜−１．０度が適している。
【０２９５】
さらに、上記の通り、ステップＳ６７の処理、すなわち立体画像データが遠景画像のみであった場合の処理においても、最遠景の視差角がＴ４度となるように調整することが適している。Ｔ４は上記の通り、標準最遠景視差角の値であることから、遠景画像をＴ４度に調整することが最も見やすくなると考えられるためである。
【０２９６】
一方、立体画像の視差角範囲が引っ込み方向に偏りすぎると、飛び出して見える被写体が全く無くなり、快適ではあっても立体感が乏しくなるおそれがある。従って、立体画像の迫力や面白さを出すという観点からは、視差角範囲は飛び出し方向にも広がっていることが望ましいとも考えられる。
【０２９７】
以上を考慮すると、上記実験で得られた快適視差角範囲（視差角で＋０．２９２度〜−１．０１１度）のうち、近景寄りで視差角範囲幅１．０度程度の範囲を、標準快適視差角範囲と定めることが、より適している。具体的には、標準最近景視差角等およびＴ２〜Ｔ４を、以下のような値とすることがより適している。
・標準最近景視差角、Ｔ３：＋０．３度〜＋０．２度
・標準最遠景視差角、Ｔ４：−０．７度〜−０．８度
・標準中心視差角、Ｔ２：−０．２度〜−０．３度
【０２９８】
＜６．その他＞
なお、上記の説明では、視差調整量算出部６における処理は視差角の値を用いて行っていたが、これに相当する視差の値により行ってもかまわない。この場合は、例えば、上記の標準最近景視差角、標準最遠景視差角、標準中心視差角等の値を、これに相当する視差の値で定めれば良い。また、この場合は、視差算出部４から視差調整量算出部６に直接視差マップを入力すれば良く、視差角算出部５は不要である。
【０２９９】
また、上記で説明した視差調整量Ｐは、視差調整部７において、直接、視差調整量として使うのではなく、視差調整量の最大値として用いても構わない。例えば、自動視差調整において、一度に視差を調整するのではなく、所定の時間の経過に合わせて、視差調整量を所定の値ずつ増減させて視差調整を行う場合の、視差調整量の最大値として、視差調整量を用いても構わない。立体画像データのフレームごとに視差調整量Ｐを求めると、立体画像データの視差の状況により、あるいは視差調整量Ｐを算出する処理のエラーにより、視差調整量Ｐが急激に変化する場合がある。それをそのまま用いて視差調整を行った場合、視差が急激に変化して、かえって見難くなる。これに対して、上記のように、所定の時間の経過に合わせて、視差調整量を所定の値ずつ増減させれば、これを防止することができる。
【０３００】
また、視差調整量Ｐを、ユーザが手入力により、所定の単位の視差調整量ごとに視差調整をする場合における、調整量の最大値として用いても構わない。ユーザ自身による自由な視差調整と、視差調整量Ｐを調整量の最大値とすることによる快適さの確保の両立を図ることができる。
【０３０１】
また、上記ステップＳ７では、視差調整部７における視差調整を、画面全体に一様にずらすことにより実現しているが、視差の等しい被写体をグループに分け、グループごとに画像をずらすことにより、視差調整を行ってもよい。
【０３０２】
この際、本発明の立体画像データ処理装置は、上記の説明で行った動作に加え、下記の動作を追加して行う。
【０３０３】
例えば、視差算出部４において、視差マップを算出する際に、視差の等しい被写体をグループに分け、視差マップとともにグループ情報を出力する。
【０３０４】
また、視差調整量算出部６は、視差調整ベース角自体の視差調整量である視差調整量Ｐに加え、視差調整ベース角を中心とした全体の視差角範囲を設定するための、調整後の最近景視差角と、調整後の最遠景視差角、あるいは調整後の視差角範囲のいずれかを、視差調整量Ｐの追加パラメータとして出力しても良く、ここでは、調整後の最近景視差角と、調整後の最遠景視差角を出力するものとする。
【０３０５】
なお、調整後の最近景視差角と、調整後の最遠景視差角、あるいは調整後の視差角範囲は、外部からユーザが入力してもよいし、あらかじめ機器ごとに設定された値を用いてもよく、例えば、視差角範囲幅を１．０度以内とする場合は、調整後の最近景視差角の値を＋０．２５度、調整後の最遠景視差角を−０．７５度としてもよい。
【０３０６】
なお、立体視聴の安全性を考慮し、基本的に視差角範囲幅が１．０度以内の値を設定することを推奨するが、例外として、視差角範囲幅が１度を超えた値を設定しても構わない。ただし、この場合は、調整後の最近景視差角の値を＋０．２９２度、調整後の最遠景視差角を−１．０１１度とするものとする。
【０３０７】
さらにまた、視差調整部７は、グループ情報と、視差調整量Ｐと、調整後の最近景視差角と、調整後の最遠景視差角を入力とし、まず、視差調整ベース角と視差調整量Ｐに基づき、画像全体に対する視差調整を行い、次に、視差調整後の全体の視差角範囲が、調整後の最近景視差角と、調整後の最遠景視差角に等しくなるように、視差の大きさを拡大もしくは縮小して、拡大もしくは縮小した視差の大きさとなるように、再度グループごとに画像をずらすことにより、個別のグループに対する視差調整を行う。
【０３０８】
このときの拡大もしくは縮小は、線形で行ってもよいし、値の大きさに応じて重みづけを行ってもよい。
【０３０９】
また、このときの個別のグループに対する視差調整において、個別のグループを、飛び出し方向の視差をもつグループと、引っ込み方向の視差をもつグループに分け、視差調整を行ってもよい。
【０３１０】
以上のようにして、視差の等しい被写体をグループに分け、グループごとに視差調整を行うことにより、最も快適に見ることができる視差角Ｔ２を中心とすると同時に、所望の視差角範囲となるような視差調整を行うことができ、さらに、目に負担が少ない、安全で、快適な立体画像データの視聴を行うことができる。
【０３１１】
また、上記では、立体画像データを撮影する場合について説明したが、２Ｄ画像を撮影した場合、各装置において処理を行わず、そのまま画像表示部８に出力し、平面画像を表示するようにしても良い。
【０３１２】
また、立体画像データ入力部２が、撮影した２Ｄ画像に対し、２Ｄ画像から立体画像データを作り出す処理である２Ｄ−３Ｄ変換処理を行うことによって、立体画像データの画像データを新たに生成しても良い。
【０３１３】
また、上記では、立体画像データ入力部２として、カメラを設置し、立体画像データを撮影する場合について説明したが、立体画像データ入力部２に、カメラからの撮像画像の代わりに、各種記録メディアや、インターネット配信、放送波の受信等、外部から画像データを直接入力できるようにしてもかまわない。なお、このとき、立体画像データ入力部２は、受け付けた画像データを、既定の形式の画像データに変換し、視差算出部４に出力する。
【０３１４】
また、上記では、左右２視点の画像の場合について説明しているが、例えば、多眼撮像システムによって撮影されたような、多視点の立体画像データであってもよく、各視点画像に、左右の画像それぞれに対して処理を行った際と同様にして、視差や、視差調整量の算出、及び視差調整等を行えばよい。
【０３１５】
また、本発明は、上記で説明した、例えば立体テレビのような立体画像データ表示装置７５だけでなく、立体デジタルカメラ、立体デジタルムービー、立体デジタルビデオレコーダー、立体携帯型ムービープレイヤー、立体携帯電話、立体カーナビゲーションシステム、立体携帯型ＤＶＤプレイヤー、立体ＰＣ等、立体画像データを扱う装置に広く適用可能である。また、これらの装置は、装置自体が画像表示部を備えず、外部の立体画像表示装置を用いる、立体画像データ処理装置であっても良い。また、立体画像データ処理装置と外部の立体画像表示装置を含む、立体画像データ表示システムであっても良い。
【０３１６】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【０３１７】
１  …  立体画像データ処理装置、
２  …  立体画像データ入力部、
３  …  ユーザ指示入力部、
４  …  視差算出部、
５  …  視差角算出部、
６  …  視差調整量算出部、
７  …  視差調整部、
８  …  画像表示部、
９Ｌ  …  左カメラ、
９Ｒ  …  右カメラ、
１０、１１  …  被写体、
１２Ｌ、２８Ｌ、３３Ｌ、５８Ｌ、６１Ｌ  …  左目用画像データ、
１２Ｒ、２８Ｒ、３３Ｒ、５８Ｒ、６１Ｒ  …  右目用画像データ、
１３Ｌ、１３Ｒ、２９Ｌ、２９Ｒ、３４Ｌ、３４Ｒ  …  最近点、
１４Ｌ、１４Ｒ、３０Ｌ、３０Ｒ、３５Ｌ、３５Ｒ、５９Ｌ、５９Ｒ、６２Ｌ、６２Ｒ  …  最遠点、
１５Ｌ  …  左目、
１５Ｒ  …  右目、
１６、２４  …  画面、
１７、１８Ｌ、１８Ｒ、１９、２０Ｌ、２０Ｒ、２０、２２Ｌ、２２Ｒ、２３  …  点、
２５  …  視聴者、
２６、２７、３１、３２、３６、３７、３８、３９、４０、４１、４２、４３、４４、４５、４６、４７、４８、４９、５０、５１、５２、５３、５４、５５、５６、５７、６０、６３  …  点線、
６４  …  アクティブシャッターメガネ、
６５  …  被験者、
６６  …  映像再生装置、
６７  …  ３Ｄテレビ、
６８  …  立体画像データＩ１の視差調整前の視差角範囲、
６９、７０  …  立体画像データＩ１の視差調整後の視差角範囲、
７１  …  立体画像データＩ２の視差調整前の視差角範囲、
７２、７３  …  立体画像データＩ２の視差調整後の視差角範囲、
７４  …  快適視差角範囲、
７５  …  立体画像データ表示装置
【図１】
2014053782.tif 000022
【図２】
2014053782.tif 000023
【図３】
2014053782.tif 000024
【図４】
2014053782.tif 000025
【図５】
2014053782.tif 000026
【図６】
2014053782.tif 000027
【図７】
2014053782.tif 000028
【図８】
2014053782.tif 000029
【図９】
2014053782.tif 000030
【図１０】
2014053782.tif 000031
【図１１】
2014053782.tif 000032
【図１２】
2014053782.tif 000033
【図１３】
2014053782.tif 000034
【図１４】
2014053782.tif 000035
【図１５】
2014053782.tif 000036
【図１６】
2014053782.tif 000037
【図１７】
2014053782.tif 000038
【図１８】
2014053782.tif 000039
【図１９】
2014053782.tif 000040
【図２０】
2014053782.tif 000041
【図２１】
2014053782.tif 000042
【図２２】
2014053782.tif 000043
【図２３】
2014053782.tif 000044
【図２４】
2014053782.tif 000045
【図２５】
2014053782.tif 000046
【図２６】
2014053782.tif 000047
【図２７】
2014053782.tif 000048
【図２８】
2014053782.tif 000049
【図２９】
2014053782.tif 000050
【図３０】
2014053782.tif 000051
【図３１】
2014053782.tif 000052
【図３２】
2014053782.tif 000053
【図３３】
2014053782.tif 000054