(57)【要約】【課題】従来の方式では、立体映像の視差量を推奨される視差量範囲に調整するためには注目するオブジェクトを視聴者が指定する必要があり、煩雑な手間がかかっていた。【解決手段】本発明は、立体映像情報の注目領域を取得し、注目領域と所定相関関係を有する立体映像の各領域の視差量のうち最大視差量を示す最大視差情報を立体映像から取得し、最大視差量が許容最大視差量よりも小さい範囲内で前記所定相関関係に基づいて注目領域視差量が小さくなるように立体映像情報の視差量を変更するための視差量変更情報を取得し、当該視差量変更情報に基づいて入力された立体映像の視差を調整することを特徴とする。【選択図】図６
2013135337.tif 000002
【特許請求の範囲】
【請求項１】
立体映像情報を取得する映像取得部と、
取得した立体映像情報の注目領域を取得する注目領域取得部と、
取得した注目領域の注目領域視差量を示す視差情報である注目領域視差情報を取得する注目領域視差情報取得部と、
取得した立体映像から注目領域と所定相関関係を有する立体映像の各領域の視差量のうち最大視差量を示す最大視差情報を取得する最大視差情報取得部と、
立体映像の表示サイズを取得する表示サイズ取得手段と、
前記表示サイズで表示される映像で許容される許容最大視差量を取得する許容最大視差量取得手段と、
最大視差量が許容最大視差量よりも小さい範囲内で前記所定相関関係に基づいて注目領域視差量が小さくなるように立体映像情報の視差量を変更するための視差量変更情報を取得する視差量変更情報取得手段と、
を有する視差量変更情報取得部と、
取得された視差量変更情報に基づいて入力された立体映像の視差を調整する視差調整部と、を有する立体映像表示装置。
【請求項２】
視差調整部にて視差調整するための視聴者からの入力を受付ける視聴者入力受付部を有する請求項１に記載の立体映像表示装置。
【請求項３】
映像取得部が取得する立体映像情報は、注目領域を示す注目領域メタデータを含み、
注目領域取得部は、取得した注目領域メタデータから注目領域を取得するメタデータ依存注目領域取得手段を有する請求項１又は２に記載の立体映像表示装置。
【請求項４】
注目領域取得部は、取得された立体映像情報から立体映像のフォーカス領域の座標の周辺を含む一定領域を注目領域として取得するフォーカス取得手段を有する請求項１から３のいずれか一に記載の立体映像表示装置。
【請求項５】
映像取得部が取得する立体映像情報は、最大視差量を示す最大視差メタデータを含み、
前記最大視差情報取得部は、入力画像の最大視差メタデータから最大視差情報を取得する最大視差取得手段を有する請求項１から４のいずれか一に記載の立体映像表示装置。
【請求項６】
前記最大視差情報取得部は、
映像情報取得部が取得する立体映像情報と関連付けられた撮像装置であるカメラの属性情報であるカメラ属性情報を取得するカメラ属性情報取得手段と、
カメラ属性情報取得手段にて取得されたカメラ属性情報にて示されるカメラの基線長と輻輳距離と画角情報から最大視差情報を取得するカメラ最大視差量算出手段を有する請求項１から５のいずれか一に記載の立体映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、どのような表示サイズであっても、視聴者の眼に負担のかからない視差の範囲で、注目領域の視差が自動で低減された見やすい立体映像を生成する立体映像表示装置に関する。
【背景技術】
【０００２】
立体映像表示装置にて立体映像を表示する場合、視聴者の左眼と右眼の視点に合った映像を表示する必要がある。この立体映像は、視差をもって撮影された左眼用画像と右眼用画像からなる。そして、視聴者が左眼で左眼用画像を視て右眼で右眼用画像を視ることによって、左眼用画像と右眼用画像の視差量に応じた立体視が可能となる。以下、左眼用画像と右眼用画像を合わせて左右画像と称する。
【０００３】
左右画像の視差量は、立体映像を立体視する際にディスプレイ面よりどの程度手前方向に飛び出させるか、またはディスプレイ面よりどの程度奥行き方向に引っ込ませるかを定める基準となる。例えば、被写体がディスプレイ面の手前に飛び出したように立体視させるには、右眼用画像での被写体を相対的に左側にずらして表示し、左眼用画像での被写体を相対的に右側にずらして表示させる。逆に、ディスプレイ面の奥行き方向に引っ込んだように立体視させるには、右眼用画像での被写体を相対的に右側にずらして表示し、左眼用画像での被写体を相対的に左側にずらして表示させる。なお、左右画像の視差量、つまり被写体の相対的なずれ量が大きいほど飛び出し量又は引っ込み量は大きくなる。また、左右画像の視差量がない場合は、映像はディスプレイ面上に表示されているように見える。
【０００４】
上記のように、立体映像は表示された左右画像の視差量に応じて、飛び出し量又は引っ込み量が変化することになる。そして、立体映像の視差量が大きい場合には、眼精疲労の原因になったり、立体映像を融合できなかったりする（融合限界）場合がある。このような立体映像表示時の視差量に関する注意事項に関しては、３Ｄコンソーシアムから発行されている「３ＤＣ安全ガイドライン」においても提起されている。特に、奥行き方向に引っ込ませて表示する場合には、視聴者の両眼間隔以上の視差がつくと左右の眼球が開放方向を向くことになり、特に眼精疲労の原因になり易い。
【０００５】
また、同じ立体映像データを表示する場合であっても、ディスプレイの表示サイズが大きくなるほどディスプレイ上での視差量が大きくなるため、大画面で立体映像を視聴する場合は必然的に視差量が大きくなってしまうという問題がある。
【０００６】
表示サイズにおける視差の問題に関して図１を用いて説明する。図１（ａ）、（ｂ）はそれぞれ表示サイズの異なる立体映像表示装置を視聴している状況を示した概要図である。図１（ａ）、（ｂ）では表示サイズ以外の視聴条件は同一のものとしており、両眼間隔０１０１の視聴者Ａが共に同じ左右画像を表示した立体映像表示装置を視聴している。図１（ａ）では立体映像表示装置の画面幅はＷ１、図１（ｂ）では画面幅はＷ２であり、Ｗ１<Ｗ２の関係である。
【０００７】
図１（ａ）における左眼用画像中の被写体の位置０１０２Ｌと右眼用画像中の被写体の位置０１０２Ｒは、図１（ｂ）においてそれぞれ表示サイズの大きさに比例した位置０１０３Ｌ、０１０３Ｒに表示される。したがって、被写体を立体視したときの視差量は図１（ａ）では視差量ｄ１であるが、図１（ｂ）では表示サイズの大きさに比例して視差量がｄ２のように拡大される。立体表示装置の表示サイズによっては、両眼間隔０１０１以上の視差が生じる場合もある。このように同じ左右画像からなる映像データであっても、表示サイズによって被写体の表示上の視差量は異なる。
【０００８】
立体画像が見やすくなるようにその視差を調整する技術としては、例えば特許文献１に記載の技術がある。特許文献１に記載の立体画像処理装置では、ユーザ自身が視聴の際に注目すべきオブジェクトを指定し、そのオブジェクトの視差が推奨される視差範囲内となるように立体画像を表示することを特徴とする。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００４−２２０１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１では視差調整を行うにあたって、視聴者自身が視聴の際に注目すべきオブジェクトを指定する必要があり、視聴者に余分な操作負担をかけていた。また、視聴者は、立体画像の撮影者などが注目してほしい領域を短時間で把握できない場合もあり、その場合は本来得られるべき立体感や臨場感を得られなくなってしまうという問題がある。本発明は、当該実情に鑑みてなされたものであり、視聴者に操作負担をかけることなく、視認しやすい立体映像調整装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、以下の立体映像表示装置を提案する。すなわち、第一の発明として、立体映像情報を取得する映像取得部と、取得した立体映像情報の注目領域を取得する注目領域取得部と、取得した注目領域の注目領域視差量を示す視差情報である注目領域視差情報を取得する注目領域視差情報取得部と、取得した立体映像から注目領域と所定相関関係を有する立体映像の各領域の視差量のうち最大視差量を示す最大視差情報を取得する最大視差情報取得部と、立体映像の表示サイズを取得する表示サイズ取得手段と、前記表示サイズで表示される映像で許容される許容最大視差量を取得する許容最大視差量取得手段と、最大視差量が許容最大視差量よりも小さい範囲内で前記所定相関関係に基づいて注目領域視差量が小さくなるように立体映像情報の視差量を変更するための視差量変更情報を取得する視差量変更情報取得手段と、を有する視差量変更情報取得部と、取得された視差量変更情報に基づいて入力された立体映像の視差を調整する視差調整部と、を有する立体映像表示装置を提案する。
【００１２】
第二の発明として、視差調整部にて視差調整するための視聴者からの入力を受付ける視聴者入力受付部を有する第一の発明に記載の立体映像表示装置を提案する。
【００１３】
第三の発明として、映像取得部が取得する立体映像情報は、注目領域を示す注目領域メタデータを含み、注目領域取得部は、取得した注目領域メタデータから注目領域を取得するメタデータ依存注目領域取得手段を有する第一又は第二の発明に記載の立体映像表示装置を提案する。
【００１４】
第四の発明として、注目領域取得部は、取得された立体映像情報から立体映像のフォーカス領域の座標の周辺を含む一定領域を注目領域として取得するフォーカス取得手段を有する第一から第三の発明のいずれか一に記載の立体映像表示装置を提案する。
【００１５】
第五の発明として、映像取得部が取得する立体映像情報は、最大視差量を示す最大視差メタデータを含み、前記最大視差情報取得部は、入力画像の最大視差メタデータから最大視差情報を取得する最大視差取得手段を有する第一から第四の発明のいずれか一に記載の立体映像表示装置を提案する。
【００１６】
第六の発明として、前記最大視差情報取得部は、映像情報取得部が取得する立体映像情報と関連付けられた撮像装置であるカメラの属性情報であるカメラ属性情報を取得するカメラ属性情報取得手段と、カメラ属性情報取得手段にて取得されたカメラ属性情報にて示されるカメラの基線長と輻輳距離と画角情報から最大視差情報を取得するカメラ最大視差量算出手段を有する第一から第五の発明のいずれか一に記載の立体映像表示装置を提案する。
【発明の効果】
【００１７】
本発明によれば、視聴者によるオブジェクトの指定などの煩雑な作業が不要となる。また、立体映像の撮影者などが注目してほしい領域と鑑賞者に注視させる領域を略一致させることができる。また、注目領域を基準として飛び出しや引っ込みなどの立体構成を表示するため、立体感や臨場感を視聴者に与えやすくなる。
【図面の簡単な説明】
【００１８】
【図１】表示サイズの異なる立体映像表示装置を視聴している状況を示した概要図。
【図２】輻輳角をもつ撮像装置のうち左撮像装置の光学系の概念図。
【図３】輻輳角をもつ撮像装置のうち左撮像装置の光学系の概念図の左撮像装置付近の拡大図。
【図４】輻輳角をもつ撮像装置の光学系の概念図。
【図５】表示画面上での視差量をあらわす図。
【図６】実施形態１の機能ブロックの一例を示す図。
【図７】Ｄ≦０であり、ｄａが飛び出し視差量の場合の、立体映像の視差量を調整する一例の前後の概念図。
【図８】Ｄ>ｄａであり、ｄａが飛び出し視差量の場合の、立体映像の視差量を調整する一例の前後の概念図。
【図９】０<Ｄ<ｄａであり、ｄａが飛び出し視差量の場合の、立体映像の視差量を調整する一例の前後の概念図。
【図１０】Ｄ>０であり、ｄａが引っ込み視差量の場合の、立体映像の視差量を調整する一例の前後の概念図。
【図１１】Ｄ>０であり、ｄａが引っ込み視差量の場合、立体映像の視差量を調整する一例の前後の概念図。
【図１２】実施形態１のハードウェア構成の一例を示す図。
【図１３】実施形態１のフローチャートの一例を示す図。
【図１４】実施形態２の機能ブロックの一例を示す図。
【図１５】実施形態２のフローチャートの一例を示す図。
【図１６】実施形態３の機能ブロックの一例を示す図。
【図１７】実施形態３のフローチャートの一例を示す図。
【図１８】実施形態４の機能ブロックの一例を示す図。
【図１９】実施形態４のフローチャートの一例を示す図。
【図２０】実施形態５の機能ブロックの一例を示す図。
【図２１】被写体Ｏの距離Ｌｏの値を変化させた場合の画像幅に対する視差の割合の変
【図２２】実施形態５のフローチャートの一例を示す図。
【００１９】
ここで、各実施形態の立体映像表示装置の説明に入る前に、発明のポイントとなる輻輳角をもつ撮像装置で撮影された映像の視差量に関して図を用いて説明する。なお、本明細書中で、視差量というときは、立体映像が表示される表示サイズ上での視差を意味し、視差情報というときは、画像幅に対する視差の割合を意味する。ただし、視差とは、左右画像それぞれの画像中における、立体視したときに同一の点として認識される対応点の間のずれ幅である。また「輻輳角をもつ撮像装置」とは、左右撮像装置の光軸が交わるような構成である撮像装置のことをいう。
【００２０】
図２は、輻輳角をもつ撮像装置で撮影した場合の光学系に関して上方から見た場合の２次元の概略図である。なお、図２では２つの撮像装置のうち片側の撮像装置のみ説明する。左撮像装置０２０１Ｌ、右撮像装置０２０１Ｒが距離Ｗｂの間隔で基準面０２０２上に配置されている。図２に示すように左撮像装置０２０１Ｌ、右撮像装置０２０１Ｒはそれぞれ内側に傾いており、その時の左撮像装置０２０１Ｌの光学中心を中心軸ＣＬとする。また、左撮像装置０２０１Ｌの撮影範囲は撮影画角０２０３で決まり、その場合の撮影範囲の両端が左画角端０２０４Ｌと右画角端０２０４Ｒである。左撮像装置０２０１Ｌでは撮影画角（０２０４Ｌ、０２０４Ｒの間の領域）に配置されている被写体が撮影される。
【００２１】
ここで、基準面０２０２から距離Ｌｏだけ離れたところにある被写体Ｏの視差について説明する。被写体Ｏを通り中心軸ＣＬに対して垂直でかつ撮影画角０２０３の範囲内にある平面を被写体平面０２０５とする。また、図３は図２の左撮像装置付近の拡大図である。この図に示すように左撮像装置０２０１Ｌから焦点距離ｆだけ離れた位置にあり、中心軸ＣＬに対して垂直でかつ撮影画角０２０３の範囲内にある平面を仮想のセンサー面０２０６とする。なお、見やすさのため仮想のセンサー面を左撮像装置０２０１Ｌの手前に図示しているが、現実の光学系では左撮像装置０２０１Ｌの奥側に折り返した地点に配置される。ここで、被写体Ｏはセンサー面０２０６上の結像点Ｏ´に結像される。センサー面０２０６の幅をｗｏ´、中心軸ＣＬと結像点Ｏ'の間の距離をｄＬ´とする。また、図２において、被写体平面０２０５の幅をｗｏ、中心軸ＣＬと被写体Ｏの間の距離をｄＬとする。このとき、ｄＬ´／ｗｏ´とｄＬ／ｗｏは等価となる。よって、距離Ｌｏでの画像幅に対する視差の割合ＤＬ＝ｄＬ／ｗｏ＝ｄＬ´／ｗｏ´となる。そして、左撮像装置０２０１Ｌで撮影された映像をそのまま調整することなく表示すると表示画面幅Ｗに対して「Ｗ×ＤＬ」分だけ中心よりずれた位置に被写体Ｏが表示される。
【００２２】
同様に、右撮像装置０２０１Ｒについても考えると、右撮像装置０２０１Ｒで撮影された映像をそのまま調整することなく表示すると表示画面幅Ｗに対して「Ｗ×ＤＲ」分だけ中心よりずれた位置に被写体Ｏが表示される。図４は、輻輳角をもつ撮像装置の光学系の概念図である。なお、図２と同じ記号に関しては同様のものを示す。図４では、左右の撮像装置の光軸が輻輳角をもつように配置されている状態を示している。この図において、左撮像装置０２０１Ｌと右撮像装置０２０１Ｒは距離Ｗｂの間隔で配置され、左撮像装置０２０１Ｌの中心軸をＣＬ、右撮像装置０２０１Ｒの中心軸をＣＲとする。２つの中心軸ＣＬとＣＲの交点は輻輳点Ｐであり、基準面０２０２から輻輳点Ｐまでの距離を輻輳点距離Ｌｐ、光軸ＣＬ，ＣＲのなす角を輻輳角θとする。ここで、基準面０２０２から距離Ｌｏ離れたところに被写体Ｏが存在する場合、図２で説明したように、左撮像装置０２０１Ｌと右撮像装置０２０１Ｒのそれぞれの撮影画像において、被写体Ｏの画像幅に対する視差の割合ＤＬ，ＤＲは、被写体Ｏとそれぞれの光軸ＣＬ、ＣＲとの距離ｄＬ，ｄＲを用いて、
ＤＬ＝ｄＬ／ｗｏ
ＤＲ＝ｄＲ／ｗｏ
と表される。厳密には左右の撮像装置での被写体平面の幅（左撮像装置では被写体平面０２０５）は異なるが、ここでは輻輳角θは被写体までの距離Ｌｏに対して十分小さいものとしており、近似的に左右の撮像装置で同一の値ｗｏとしている。
【００２３】
図５は、表示画面上での視差量をあらわす図である。この図において、２つの撮像装置で撮影された画像を立体視用の画像として表示した場合、被写体Ｏが左撮像装置０２０１Ｌの画像ではＯＬ´に表示され、右撮像装置０２０１Ｒの画像ではＯＲ´に表示され、左右画像で異なった位置に被写体が表示されることを示している。このときの表示上の視差量をｄとすると、視差量ｄは視差の割合ＤＬ，ＤＲに応じた視差の合計で決まり、表示画面の画面幅がＷの場合には
ｄ＝（ＤＬ＋ＤＲ）×Ｗ
で示される。つまり、図４にて示される距離Ｌｏ上に存在する被写体Ｏは画面幅Ｗで表示される場合には上記の視差量ｄとして表示される。
【００２４】
なお、上記では撮像装置から取得した取得画像をそのまま表示させた場合を例として説明した。しかし、左右映像の切り出しなどを行なって表示させた場合は、画像幅に対する視差の割合が変わってしまうので、切り出し位置やサイズに応じた補正を行い、切り出し後の視差量を決める必要がある。その場合は、光学中心や切り出し中心の位置、切り出しサイズの割合を係数として視差量ｄを補正することになる。また、撮影した画像に含まれる歪みを補正した場合にも、視差量ｄを補正する必要がある。この場合は、画像に含まれる歪みを補正するときに使用した変換パラメータを用いて、視差量ｄを補正することになる。以上のように、画像幅に対する視差の割合と表示画面サイズによって、視差量を算出している。
【発明を実施するための形態】
【００２５】
以下、本発明に係わる立体映像表示装置について実施形態ごとに図面を参照しながら説明する。実施形態と請求項の相互の関係は、以下のとおりである。実施形態１ではおもに請求項１、２について説明し、実施形態２ではおもに請求項３について説明し、実施形態３ではおもに請求項４について説明し、実施形態４ではおもに請求項５について説明し、実施形態５ではおもに請求項６について説明し、実施形態６ではおもに請求項７について説明する。なお、本発明はこれらの実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲内において、種々なる態様で実施しうる。
【００２６】
<<実施形態１>>
【００２７】
<概要>
本実施形態の立体映像表示装置は、立体映像データから注目領域視差量と最大視差量を取得し、立体映像の表示サイズと許容最大視差量に基づいて、視差調整を行う。これにより、視聴者の目に負担が少なく、臨場感のある立体映像を視聴することが可能になる。
<構成>
【００２８】
図６は、本実施形態の立体映像表示装置の機能ブロックの一例を示す図である。この図のように「立体映像表示装置」０６００は、「映像取得部」０６０１と、「注目領域取得部」０６０２と、「注目領域視差情報取得部」０６０３と、「最大視差情報取得部」０６０４と、「視差量変更情報取得部」０６０５と「視差調整部」０６０９とを有することを特徴とする。なお、前記視差量変更情報取得部０６０５は、「表示サイズ取得手段」０６０６と、「許容最大視差量取得手段」０６０７と、「視差量変更情報取得手段」０６０８とを有することを特徴とする。
【００２９】
「映像取得部」は、立体映像情報を取得する機能を有する。ここで、立体映像情報とは、視差をもつ左眼用映像と右眼用映像からなる情報である。このような立体映像情報は、例えば、立体映像を撮像する装置から取得したり、記憶装置や他の再生装置から取得したり、さらには通信・ネットワークを介して所定のサーバなどから取得したりする。
【００３０】
「注目領域取得部」は、取得した立体映像情報の注目領域を取得する機能を有する。「注目領域」とは、視聴の際に注目すべき領域をいう。例えば、立体映像の撮影時における撮影者の視点位置であったり、立体映像の編集時に編集者の視点位置であったりする。注目領域を取得する手段として、立体映像情報に含まれる注目領域を示すメタデータから注目領域を取得する手段や、フォーカス領域を示すメタデータから注目領域を算出する手段、主要な被写体領域を示すメタデータから注目領域を算出する手段、画像の一定領域の生データを解析して注目領域を算出する手段、などが挙げられる。なお、通常撮影時には中央に撮影したい主要被写体を配置して撮影する場合が多く、動画の場合であればセンターフォーカスのものが多いため、中心領域を注目領域とみなしてもよい。
【００３１】
画像の一定領域の生データを解析して注目領域を算出する手段として、例えば画像を構成する画素の輝度の高さにより画像中の領域を注目領域として算出する手段が考えられる。このとき、注目領域を画素単位で算出する場合、画像中の輝度分布が複数のピークをもつような状況があると正確に注目領域を特定できない場合もあり得る。そこで、複数の画素を含む一定領域ごとに輝度の平均値をとり、その平均値がピークをもつ一定領域の中心を画像中の注目領域として取得することができる。また、平均値がピークをもつ一定領域を注目領域として注目領域視差情報取得部に出力してもよい。この場合、以下で述べる注目領域視差情報取得部は、一定領域のすべての画素位置での視差量を算出し、算出された視差量を平均した値を、一定領域の視差量として取得する。
【００３２】
「注目領域視差情報取得部」は、取得した注目領域の注目領域視差量を示す視差情報である注目領域視差情報を取得する機能を有する。例えば、視差情報の取得には既存の技術であるブロックマッチング法を用いる。ブロックマッチング法では、ブロック単位での類似度により２つの画像間で同じ被写体の特徴点位置を検出し、そのずれ量（視差情報）を算出する。この特徴点に係る左右画像中の２つの点を対応点と呼ぶ。対応点の探索を行うために評価関数としてはＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を用いる。ＳＡＤでは左眼用画像、右眼用画像のそれぞれで注目画素を中心にウィンドウを設定し、設定したウィンドウ間の各画素の輝度の差を求め、その各画素間から得られた輝度の差の和を算出する。同様な処理をウィンドウの組み合わせを変えながら行い、輝度の差の和が最も小さい注目画素が対応点であるとする。そして、左眼用画像と右眼用画像の各対応点の位置の差を視差情報とする。なお、評価関数はＳＡＤに限定されるものではなく、他の評価関数でも構わない。また、ブロックマッチング法以外の視差算出方法を用いても構わない。
【００３３】
上記方法では、左右画像から視差情報を算出しているが、撮影時に立体映像データに視差情報が記録されている場合は、当該情報を用いてもよい。例えば、立体映像撮像装置による撮影時に注目領域とその領域の視差量がメタデータとして画像データに記録されている場合は、注目領域取得部と注目領域視差情報取得部にてその情報を読み出して利用してもよい。この場合、注目領域取得部と注目領域視差情報取得部での演算量を低減させることが可能である。 このようにして取得した注目領域視差情報は視差量変更情報取得部へと出力される。
【００３４】
「最大視差情報取得部」は、取得した立体映像から注目領域と所定相関関係を有する立体映像の各領域の視差量のうち最大視差量を示す最大視差情報を取得する機能を有する。ここで、注目領域と所定相関関係を有する立体映像の各領域とは、注目領域の視差量と立体映像の各領域の視差量が相関関係を有することをいう。例えば、注目領域の視差量を低減させると立体映像の他の領域の視差量も低減される場合は正の相関関係があり、注目領域の視差量を低減させると立体映像の他の領域の視差量が増加する場合は負の相関関係があるという。
【００３５】
立体映像の各領域の視差量のうち最大視差量を示す情報を取得する手段としては、例えば、左右画像のマッチングを取って最大視差量を取得する手段が考えられる。具体的には、画像中の複数の領域についてブロックマッチングに代表される視差量算出処理を行い、その中で最も大きな視差量を最大視差量とする。この手段では被写体に応じた最大視差量を正確に求めることができるという特徴がある。なお、最大視差情報を取得する他の手段としては、立体映像情報に関連付けられた撮像装置（カメラ）の属性情報から取得してもよいし、立体映像情報に含まれるメタデータから取得してもよい。このようにして取得した左右画像の最大視差情報を視差量変更情報取得部に出力する。
【００３６】
「視差量変更情報取得部」は、上述のように「表示サイズ取得手段」と、「許容最大視差量取得手段」と、「視差量変更情報取得手段」を有する。視差量変更情報取得部は、注目領域視差情報取得部と最大視差情報取得部によって得られた視差情報と、表示サイズ情報、許容最大視差量から、表示サイズ情報に応じた視差の変更量を取得する。
【００３７】
「表示サイズ取得手段」は、立体映像の表示サイズを取得する機能を有する。「表示サイズ」とは、出力される画像が表示される画面サイズを示し、実際に表示される画面幅である。例えば、立体映像表示装置に付属のディスプレイに出力される場合には、表示サイズ取得手段はディスプレイの画面サイズを取得する。また、マルチウィンドウディスプレイに出力される場合には、表示サイズ取得手段は立体映像を表示する子ウィンドウの画面サイズを取得する。また、記録装置への保存や通信・ネットワークに出力される場合には、表示サイズ取得手段は想定される表示画面サイズを取得する。想定する表示画面サイズは操作入力手段を介してユーザが指定してもよい。
【００３８】
「許容最大視差量取得手段」は、取得した表示サイズで立体映像が表示された場合の許容最大視差量を取得する機能を有する。例えば、引っ込み方向の視差量は両眼間隔以上では眼精疲労の原因になりやすいため、許容最大視差量は子供の視聴も考慮して子供の平均両眼間隔である５０ｍｍ以下とすることが考えられる。具体的には、許容最大視差量を５０ｍｍと設定して、左右画像を表示サイズ取得手段で取得した表示サイズで表示した場合に最大視差量が５８ｍｍとなるとすると、８ｍｍ以上視差を低減させて５０ｍｍ以下として表示されるようにする。また、許容最大視差量は操作入力手段を介してユーザが自由に指定可能としてもよい。この場合、ユーザの好み、個人差を反映させることが可能になる。
【００３９】
「視差量変更情報取得手段」は、最大視差量が許容最大視差量よりも小さい範囲内で所定相関関係に基づいて注目領域視差量が小さくなるように立体映像情報の視差量を変更するための視差量変更情報を取得する機能を有する。具体的には、注目領域視差量を低減させた場合にそれに伴って最大視差量が増加する場合は、最大視差量が許容最大視差量以上とならないように注目領域視差量を低減させる。つまり、注目領域視差量を０としても最大視差量が許容最大視差量以上とならない場合は注目領域視差量を０としてもよいが、注目領域視差量を０とすると最大視差量が許容最大視差量以上となってしまう場合は許容最大視差量を超えない範囲で注目領域視差量を０よりも大きい値まで低減するに留めることになる。
【００４０】
例えば、以下のような条件にしたがって、視差量変更情報（調整視差量）を算出する。ここで、以下の説明では調整前の注目領域視差量をｄａ、調整前の最大視差量をｄｂとし、調整後の注目領域視差量をｄａ´、調整後の最大視差量をｄｂ´とする。また、許容最大視差量をｄＬｉｍとして、許容最大視差量ｄＬｉｍと最大視差量ｄｂの差を判定値Ｄとする。つまりｄＬｉｍ−ｄｂ＝Ｄである。また、許容最大視差量ｄＬｉｍと注目領域視差量ｄａの差分をΔｄとする。つまりｄＬｉｍ−ｄａ＝Δｄである。なお、ｄｂは引っ込み視差量である。ここで、Ｄ≦０である場合は、最大視差量ｄｂが許容最大視差量ｄＬｉｍよりも大きくなっている場合であり、Ｄ>０である場合は、最大視差量ｄｂが許容最大視差量ｄＬｉｍよりも小さくなっている場合である。
【００４１】
<（１）Ｄ≦０であり、ｄａが飛び出し視差量の場合>
（１）の条件の場合は、最大視差量ｄｂが許容最大視差量ｄＬｉｍよりも大きい場合である。この場合、視聴者の目に負担がかからないようにｄｂ´＝ｄｂ＋Ｄ＝ｄＬｉｍとする。したがって、ｄａは飛び出し視差量であるため、ｄａ´＝ｄａ−Ｄとなる。なお、ｄｂ´は、ｄＬｉｍよりもさらに小さい値としてもよい。
【００４２】
図７（ａ）は、最大視差量ｄｂが許容最大視差量ｄＬｉｍよりも大きい場合の概念図を示し、図７（ｂ）は、最大視差量ｄｂ´を許容最大視差量ｄＬｉｍよりも小さく調整した後の概念図を示す。視聴者の右眼０７０１Ｒと左眼０７０１Ｌは、ディスプレイ面０７０２上で右眼用画像０７０３と左眼用画像０７０４を同時または交互に認識している。参考のため、右側に右眼用画像０７０３と左眼用画像０７０４をそれぞれ別々に示している。注目領域にある被写体をＡとし、最大視差量を有する位置にある被写体をＢとする。なお、図中には遠方に結像された被写体Ｂは省略している。図６（ａ）では、被写体Ａの視差量が飛び出し視差量ｄａであり、被写体Ｂの引っ込み視差量ｄｂが許容最大視差量ｄＬｉｍより大きくなっている。このとき被写体Ａは、右眼用画像０７０３上の被写体Ａ（０７０５Ｒ）と視聴者の右眼０７０１Ｒを結ぶ線と、左眼用画像０７０４上の被写体Ａ（０７０５Ｌ）と視聴者の左眼０７０１Ｌを結ぶ線との交点上に立体視される。また、被写体Ｂは、右眼用画像０７０３上の被写体Ｂ（０７０６Ｒ）と視聴者の右眼０７０１Ｒを結ぶ線と、左眼用画像０７０４上の被写体Ｂ（０７０６Ｌ）と視聴者の左眼０７０１Ｌを結ぶ線とが交わらないため、立体視しづらくなっている。図７（ｂ）は、調整後の最大視差量ｄｂ´が許容最大視差量ｄＬｉｍよりも小さく調整されている。つまり、右眼用画像０７０３は左方向に調整され、左眼用画像０７０４は右方向に調整されている。これにより被写体Ｂは許容最大視差量以下の視差量をもつことになり、立体視しやすく視聴者の目に負担がかからなくなっている。被写体Ａは、視差量調整によって飛び出し量が大きくなっている。
【００４３】
以下の図８から図１１について、図７と同じ構成に対しては、図中の下二桁番号は同一としている。
【００４４】
<（２）Ｄ≦０であり、ｄａが引っ込み視差量の場合>
（２）の条件の場合は、（１）と同様に最大視差量が許容最大視差量よりも大きい場合である。この場合、視聴者の目に負担がかからないようにｄｂ´＝ｄｂ＋Ｄ＝ｄＬｉｍとする。また、ｄａが引っ込み視差量の場合であるのでｄａ´＝ｄａ＋Ｄとなる。なお、ｄｂ´は、ｄＬｉｍよりもさらに小さい値としてもよい。
【００４５】
<（３）Ｄ>ｄａであり、ｄａが飛び出し視差量の場合>
（３）の条件の場合は、図８（ａ）のように、ｄａが飛び出し視差量であり、Ｄ＝ｄＬｉｍ−ｄｂ>ｄａが成り立つと、注視領域視差を０近傍まで調整しても最大視差量が許容最大視差量を超えることはない。よって、図８（ｂ）のように注視領域視差ｄａの調整後の視差ｄａ'を０とすることができる。つまり、ｄａ´＝０、ｄｂ´＝ｄｂ＋ｄａとなる。
【００４６】
<（４）０<Ｄ<ｄａであり、ｄａが飛び出し視差量の場合>
（４）の条件の場合は、図９（ａ）のように、ｄａが飛び出し視差量であり、Ｄ＝ｄＬｉｍ−ｄｂ<ｄａが成り立つと、注目領域視差量ｄａの調整後の視差ｄａ'を０とすると、最大視差量が許容最大視差量を超えてしまう。そこで、図９（ｂ）のように許容最大視差量を超えない範囲で注目領域視差量の調整後の値を算出する。よって、ｄａ´＝ｄａ−Ｄ、ｄｂ´＝ｄｂ＋Ｄとなる。
【００４７】
<（５）Ｄ>０であり、ｄａが引っ込み視差量の場合>
（５）の条件の場合は、図１０（ａ）のように、ｄａが引っ込み視差量であれば、注目領域視差量ｄａを０近傍まで調整しても最大視差量ｄｂも低減される方向に調整される。したがって、図１０（ｂ）のように調整後の視差ｄａ´を０としても最大視差量ｄｂ´が許容最大視差量ｄＬｉｍを超えることはない。よって、調整後の値はそれぞれ、ｄａ´＝０、ｄｂ´＝ｄｂ−ｄａとなる。
【００４８】
さらに（５）の条件の場合は、より十分な立体感を得るようにするために、被写体の配置によってその調整量を変化させることが望ましい。例えば遠方の景色を撮影した場合、全体が奥行き方向に広がった映像となる。この場合、図１１（ａ）のように、注目領域である被写体Ａは引っ込み方向の視差が付き、最大視差に近い視差量となっている。このような映像において注目領域の視差をｄａ´＝０として、ディスプレイ面上まで調整すると、背景の被写体Ｂの視差も大きく低減されるため、全体がディスプレイ面近傍に表示されてしまい、立体視時に十分な臨場感が得られない。そのため、注目領域が引っ込み視差の場合には許容最大視差量と注目領域視差量の差分ΔｄをΔｄ＝ｄＬｉｍ−ｄａとして、このΔｄの値に応じて調整量を変化させることが望ましい。つまり、Δｄが大きな値であれば近くの被写体を撮影した映像であり、被写体をディスプレイ面近傍に表示するように視差を低減させ、Δｄが小さければ遠くの被写体を撮影した映像をみなすことができるため、視差が大きく低減されないようにする。そこで、０≦α≦1となる係数αを用いて、低減する視差調整量をα×ｄａとする。ここで、係数αはΔｄに比例した係数であり、例えばα＝Δｄ／ｄＬｉｍとする。このようにすることで、被写体位置を考慮した調整量を算出することができる。図１１（ｂ）は、Δｄが小さい値の場合の調整後の状態を示している。以上から、調整後の視差量ｄａ´はｄａ´＝（１−α）×ｄａ、ｄｂ´＝ｄｂ−α×ｄａとなる。
【００４９】
上記では調整視差量をΔｄに比例する値としたが、Δｄを閾値とした調整方法でも構わない。この場合、例えば、Δｄが定数ｋ未満（０<ｋ<ｄＬｉｍ）であれば一定の視差量（<ｄａ）だけ注視領域の視差量を低減させるように調整し、ｋ以上であれば低減する視差量をｄａとして注視領域の視差が０近傍となるように調整するようにしてもよい。
【００５０】
以上、（１）から（５）の条件の場合の視差調整量について説明した。調整前の視差量はすべて正の値をとるものとして説明しているが、調整後の視差量が負になる場合は、飛び出し視差量から引っ込み視差量へ、またはその逆へ視差量が変化しているものとする。このように視差量変更情報取得部では指定最大視差を超えない範囲で注視領域視差を低減させる視差量を算出してその調整量を視差量変更情報として視差調整部へと出力する。
【００５１】
「視差調整部」は、視差量変更情報取得部から入力された視差量変更情報に応じて視差調整した変換映像を生成する。視差調整時には受け取った視差量変更情報にしたがって左右画像の相対位置を変化させる。このようにして映像変換した左右映像データをディスプレイなどへ出力する。また、表示装置の記録装置やネットワークへ出力してもよい。
【００５２】
ここで、上記構成の他に、「視聴者入力受付部」をさらに設けることも可能である。「視聴者入力受付部」は、視差調整するための視聴者からの入力を受け付ける機能を有する。例えば、視聴者が立体映像を視聴中に視差調整量を変更したいときなどに使用することが可能である。視差調整量を変更したいときとしては、例えば、おとなが一人で視聴しているときに、途中からこどもと一緒に視聴するときなどがある。このようなとき、おとなが一人で視聴しているときは、自分の両眼間隔を許容最大視差量として設定していたが、途中から自分より両眼間隔が狭いこどもと一緒に視聴することになったので、こどもの目に負担がかからないようにこどもの両眼間隔を許容最大視差量として設定する。視聴者入力受付部で入力された調整視差量情報は、視差調整部へと出力され、視差調整部は、視聴者入力によって取得した調整視差量情報に基づいて、調整していた左右画像をさらに調整することができる。このように、視聴者入力受付部を設けることによって、視聴中でも視聴者の好みや視聴者の変更などに応じて視差調整を行うことが可能である。  
【００５３】
<具体的な構成>
図１２は、本実施形態の立体映像表示装置の具体的なハードウェア構成の一例を示す図である。この図にあるように、立体映像表示装置は、「ＣＰＵ」１２０１、「ＲＡＭ」１２０２、「長期記憶装置（ＲＯＭ、ハードディスク、不揮発性メモリ等）」１２０３、「通信Ｉ／Ｆ」１２０４、「操作Ｉ／Ｆ」１２０５、「表示装置」１２０６、等から構成される。各ハードウェアは、「システムバス」１２０７によって連結され、相互に信号のやり取りを行うことが可能である。
【００５４】
長期記憶装置には、映像取得部、注目領域取得部、注目領域視差情報取得部、最大視差情報取得部、視差量変更情報取得部、視差調整部の機能を実現する映像取得プログラム、注目領域取得プログラム、注目領域視差情報取得プログラム、最大視差情報取得プログラム、視差量変更情報取得プログラム、視差調整プログラムなどが保持されており、必要に応じてＲＡＭに読み出され、ＣＰＵにてその処理が実行される。また、通信Ｉ／Ｆは、映像取得部の機能を実現するものであり、外部装置から立体映像のデータ入力を受け付けたり、その他、処理に必要な情報の入力を受け付けたりする。また、操作Ｉ／Ｆは、必要に応じてユーザからの操作の入力を受け付ける。例えば、視聴者の両眼の間隔情報や、視聴者から画面までの距離の情報を数値の入力又は選択操作によって受け付けることが考えられる。また、表示装置は、立体画像を表示することができる。なお、上記の構成は必須の構成ではなく、操作Ｉ／Ｆを省略することも可能である。
【００５５】
<処理の流れ>
図１３は、立体映像表示方法の処理の流れの一例を示す図である。まず、ステップＳ１３０１において、立体映像情報を取得する（映像取得ステップ）。次に、ステップＳ１３０２において、取得した立体映像情報の注目領域を取得する（注目領域取得ステップ）。次に、ステップＳ１３０３において、取得した注目領域の注目領域視差量を示す視差情報である注目領域視差情報を取得する（注目領域視差情報取得ステップ）。次に、ステップＳ１３０４において、取得した立体映像から注目領域と所定相関関係を有する立体映像の各領域の視差量のうち最大視差量を示す最大視差情報を取得する（最大視差情報取得ステップ）。次に、ステップＳ１３０５において、立体映像の表示サイズを取得する（視差量変更情報取得ステップ：表示サイズ取得サブステップ）。次に、ステップＳ１３０６において、前記表示サイズで表示される映像で許容される最大視差量を取得する（視差量変更情報取得ステップ：許容最大視差量取得サブステップ）。次に、ステップＳ１３０７において、最大視差量が許容最大視差量よりも小さい範囲内で前記所定相関関係に基づいて注目領域視差量が小さくなるように立体映像情報の視差量を変更するための視差量変更情報を取得する（視差量変更情報取得ステップ：視差量変更情報取得サブステップ）。次に、ステップＳ１３０８において、取得された視差量変更情報に基づいて入力された立体映像の視差を調整する（視差調整ステップ）。
【００５６】
<効果>
本実施形態の立体映像表示装置では、注目領域の視差情報と最大視差情報を取得し、最大視差量が許容最大視差量を超えない範囲で注目領域視差量を低減させた映像を生成することができる。したがって、注目領域を中心として優れた立体感を示し、疲労感の低減された立体映像を得ることができる。
【００５７】
<<実施形態２>>
【００５８】
<概要>
本実施形態の立体映像表示装置は、基本的に実施形態１に記載の立体映像表示装置と同様であるが、立体映像情報に含まれるメタデータから注目領域を取得することを特徴とする。
【００５９】
<構成>
図１４は、本実施形態の立体映像表示装置の機能ブロックの一例を示す図である。この図にあるように、「立体映像表示装置」１４００は、「映像取得部」１４０１と、「注目領域取得部」１４０２と、「注目領域視差情報取得部」１４０３と、「最大視差情報取得部」１４０４と、「視差量変更情報取得部」１４０５と「視差調整部」１４０９とを有する。なお、前記視差量変更情報取得部は、「表示サイズ取得手段」１４０６と、「許容最大視差量取得手段」１４０７と、「視差量変更情報取得手段」１４０８とを有する。さらに「注目領域取得部」１４０３は、「メタデータ依存注目領域取得手段」１４１０を有することを特徴とする。
【００６０】
「映像取得部」は、注目領域を示す注目領域メタデータを含む立体映像情報を取得する機能を有する。また、「メタデータ依存注目領域取得手段」は、取得した注目領域メタデータから注目領域を取得する機能を有する。「注目領域メタデータ」は、注目領域の位置や、範囲、大きさなどの情報が挙げられる。また、その他に注目領域の視差や画素値や輝度値、色相、注目領域に含まれる被写体のカテゴリー（人間、動物、植物、背景など）の情報などが含まれていてもよい。また、注目領域は一つである必要はなく、複数設けられていてもよい。その場合、各注目領域と優先度が関連付けられ、当該優先度に応じて各注目領域の視差量の調整幅を算出することが考えられる。例えば、優先度が高い注目領域は、優先度が低い注目領域の見やすさを多少犠牲にしてでも調整幅を多くし、優先度が低い注目領域は優先度が高い注目領域の見やすさを損なわない範囲で調整してもよい。注目領域メタデータの具体例としては、注目領域を示すタグを立体映像情報中に記録することが考えられる。なお、注目領域を示すタグは、主要な被写体の領域を示すタグであってもよいし、立体映像の撮影者や編集者が注目してほしい領域を示すタグであってもよい。
【００６１】
<処理の流れ>
図１５は、立体映像表示方法の処理の流れの一例を示す図である。まず、ステップＳ１５０１において、注目領域を示す注目領域メタデータを含む立体映像情報を取得する（映像取得ステップ）。次に、ステップＳ１５０２において、取得した注目領域メタデータから注目領域を取得する（注目領域取得ステップ：メタデータ依存注目領域取得サブステップ）。次に、ステップＳ１５０３において、取得した注目領域の注目領域視差量を示す視差情報である注目領域視差情報を取得する（注目領域視差情報取得ステップ）。次に、ステップＳ１５０４において、取得した立体映像から注目領域と所定相関関係を有する立体映像の各領域の視差量のうち最大視差量を示す最大視差情報を取得する（最大視差情報取得ステップ）。次に、ステップＳ１５０５において、立体映像の表示サイズを取得する（視差量変更情報取得ステップ：表示サイズ取得サブステップ）。次に、ステップＳ１５０６において、前記表示サイズで表示される映像で許容される許容最大視差量を取得する（視差量変更情報取得ステップ：許容最大視差量取得サブステップ）。次に、ステップＳ１５０７において、最大視差量が許容最大視差量よりも小さい範囲内で前記所定相関関係に基づいて注目領域視差量が小さくなるように立体映像情報の視差量を変更するための視差量変更情報を取得する（視差量変更情報取得ステップ：視差量変更情報取得サブステップ）。次に、ステップＳ１５０８において、取得された視差量変更情報に基づいて入力された立体映像の視差を調整する（視差調整ステップ）。
【００６２】
<効果>
本実施形態の立体映像表示装置は、取得した立体映像情報に含まれる注目領域メタデータから注目領域を取得するため、立体映像表示装置での処理が少なくなる。このため装置の回路を簡素化することが可能であり、視聴者にも快適な立体映像を提供することが可能となる。
【００６３】
<<実施形態３>>
【００６４】
<概要>
本実施形態の立体映像表示装置は、基本的に実施形態１又は２に記載の立体映像表示装置と同様であるが、取得した立体映像情報から立体映像のフォーカス領域の座標の周辺を含む一定領域を注目領域として取得することを特徴とする。
【００６５】
<構成>
図１６は、本実施形態の立体映像表示装置の機能ブロックの一例を示す図である。この図にあるように、「立体映像表示装置」１６００は、「映像取得部」１６０１と、「注目領域取得部」１６０２と、「注目領域視差情報取得部」１６０３と、「最大視差情報取得部」１６０４と、「視差量変更情報取得部」１６０５と「視差調整部」１６０９とを有する。なお、前記視差量変更情報取得部は、「表示サイズ取得手段」１６０６と、「許容最大視差量取得手段」１６０７と、「視差量変更情報取得手段」１６０８とを有する。さらに「注目領域取得部」１６０２は、「フォーカス取得手段」１６１０を有することを特徴とする。
【００６６】
「映像取得部」は、フォーカス領域を示すフォーカス領域メタデータを含む立体映像情報を取得する機能を有する。また、「フォーカス取得手段」は、取得したフォーカス領域メタデータからフォーカス領域の座標の周辺を含む一定領域を注目領域として取得する機能を有する。撮影時では注目する被写体に合わせてカメラのフォーカスを調整して撮影することが多いため、フォーカス位置と撮影者の注目領域は一致する可能性が高い。フォーカスにはカメラに応じて様々な設定があり、例えば一般的なフォーカス設定であるセンターフォーカスや複数点でのフォーカスなどがある。複数点の領域からフォーカス領域を設定する場合には代表領域をフォーカス領域とする。例えば、一般的なカメラでは画像ファイルのヘッダ領域に撮影時の情報が記録されることが多く、その中のフォーカスに関する情報からフォーカス領域を判定することが可能である。具体的には、画像データ中のＥｘｉｆ付属情報のＭａｋｅｒＮｏｔｅタグには各カメラ固有の撮影条件情報が記録されていることが多く、その中のフォーカス設定情報を基に注目領域を判定することが挙げられる。
【００６７】
なお、フォーカス領域の座標の周辺を含む一定領域として、どれくらいの範囲を取るかは任意であるが、例えば画像領域の縦横幅の１０分の１〜５分の１程度の範囲を取ることが考えられる。また、フォーカス領域の座標に存在する被写体のサイズ程度の範囲を取ることも可能である。なお、被写体のサイズがメタデータに含まれていない場合は、画像の生データから被写体のサイズを算出してもよい。
【００６８】
<処理の流れ>
図１７は、立体映像表示方法の処理の流れの一例を示す図である。まず、ステップＳ１７０１において、フォーカス領域を示すフォーカス領域メタデータを含む立体映像情報を取得する（映像取得ステップ）。次に、ステップＳ１７０２において、フォーカス領域メタデータからフォーカス領域の座標の周辺を含む一定領域を注目領域として取得する（注目領域取得ステップ：フォーカス取得サブステップ）。次に、ステップＳ１７０３において、取得した注目領域の注目領域視差量を示す視差情報である注目領域視差情報を取得する（注目領域視差情報取得ステップ）。次に、ステップＳ１７０４において、取得した立体映像から注目領域と所定相関関係を有する立体映像の各領域の視差量のうち最大視差量を示す最大視差情報を取得する（最大視差情報取得ステップ）。次に、ステップＳ１７０５において、立体映像の表示サイズを取得する（視差量変更情報取得ステップ：表示サイズ取得サブステップ）。次に、ステップＳ１７０６において、前記表示サイズで表示される映像で許容される許容最大視差量を取得する（視差量変更情報取得ステップ：許容最大視差量取得サブステップ）。次に、ステップＳ１７０７において、最大視差量が許容最大視差量よりも小さい範囲内で前記所定相関関係に基づいて注目領域視差量が小さくなるように立体映像情報の視差量を変更するための視差量変更情報を取得する（視差量変更情報取得ステップ：視差量変更情報取得サブステップ）。次に、ステップＳ１７０８において、取得された視差量変更情報に基づいて入力された立体映像の視差を調整する（視差調整ステップ）。
【００６９】
<効果>
本実施形態の立体映像表示装置は、取得した立体映像情報から立体映像のフォーカス領域の座標の周辺を含む一定領域を注目領域として取得するため、フォーカス領域の周辺まで含めた視差量に基づいて視差量を調整することが可能となる。
【００７０】
<<実施形態４>>
【００７１】
<概要>
本実施形態の立体映像表示装置は、基本的に実施形態１から３のいずれか一に記載の立体映像表示装置と同様であるが、取得した立体映像情報に含まれる最大視差メタデータから最大視差情報を取得することを特徴とする。
【００７２】
<構成>
図１８は、本実施形態の立体映像表示装置の機能ブロックの一例を示す図である。この図にあるように、「立体映像表示装置」１８００は、「映像取得部」１８０１と、「注目領域取得部」１８０２と、「注目領域視差情報取得部」１８０３と、「最大視差情報取得部」１８０４と、「視差量変更情報取得部」１８０５と「視差調整部」１８０９とを有する。なお、前記視差量変更情報取得部は、「表示サイズ取得手段」１８０６と、「許容最大視差量取得手段」１８０７と、「視差量変更情報取得手段」１８０８とを有する。さらに「最大視差情報取得部」１８０４は、「最大視差取得手段」１８１０を有することを特徴とする。
【００７３】
「映像取得部」は、最大視差量を示す最大視差メタデータを含む立体映像情報を取得する手段を有する。また、「最大視差取得手段」は、入力画像の最大視差メタデータから最大視差情報を取得する機能を有する。ここで、最大視差量を示す最大視差メタデータとしては、最大視差量とその最大視差量を有する画素の位置が挙げられる。これは立体映像の左右画像ごとに決まる最大視差量である。つまり、左右画像を解析して視差を算出し、その中から最大の視差を最大視差量とすることから、対応する画素位置も決まる。
【００７４】
なお、上記最大視差メタデータは、最大視差量に対応する画素位置を含まないものであってもよい。これは、撮像装置の構成や光学的な使用によって最大視差情報が決まるもので、立体映像の左右画像ごとに決まるものではない。したがって、撮像装置の種々の設定を変えないで撮像した一連の左右画像については、同じ値の最大視差情報が対応することになる。この場合、一連の左右画像の解析が必要でなくなる。また、メタデータから必要な情報が得られない場合は、撮影した機器情報から必要なデータを参照する構成としてもよい。例えば、最大視差情報取得部において、機器名と各パラメータを対応付けたパラメータ参照テーブルを保持することによって、パラメータテーブルからその機器情報に対応したパラメータを抽出することが可能である。
【００７５】
なお、機器情報は画像ファイルのＥｘｉｆやＨＤＭＩで接続した際にＥＤＩＤなどから取得できる。また、機器情報とパラメータはネットワークや放送波などを利用して更新することも可能である。なお、パラメータ参照テーブルは最大視差情報取得部に保持しているものとして説明したが、テーブルが外部にあり、ネットワークを通じて参照する構成としてもよい。このように、撮像装置の情報を取得することによって最大視差量を取得する構成とすることができる。
【００７６】
上記のように撮像装置の情報から最大視差を取得することは可能であるが、撮像装置で決まる最大視差は撮影時に映像ファイル中へ記録しておくことが望ましい。その場合、ファイルからその値を読み込むだけでよいため、装置の簡素化が図れる。例えば、ＥｘｉｆのＭａｋｅｒＮｏｔｅには自由に情報を記録することが可能であるが、この領域に撮影時に最大視差量を記録しておいて最大視差取得手段によって読み出す構成とすることが考えられる。また、撮像装置と最大視差量のデータベースを最大視差情報取得部などが保持しておいて、撮像装置の種別から最大視差量を取得してもよい。
【００７７】
<処理の流れ>
図１９は、立体映像表示方法の処理の流れの一例を示す図である。まず、ステップＳ１９０１において、最大視差量を示す情報を含む最大視差メタデータを含む立体映像情報を取得する（映像取得ステップ）。次に、ステップＳ１９０２において、取得した立体映像情報の注目領域を取得する（注目領域取得ステップ）。次に、ステップＳ１９０３において、取得した注目領域の注目領域視差量を示す視差情報である注目領域視差情報を取得する（注目領域視差情報取得ステップ）。次に、ステップＳ１９０４において、取得した立体映像から注目領域と所定相関関係を有する立体映像の各領域の視差量のうち最大視差量を示す最大視差情報を入力画像の最大視差メタデータから取得する（最大視差情報取得ステップ：最大視差取得サブステップ）。次に、ステップＳ１９０５において、立体映像の表示サイズを取得する（視差量変更情報取得ステップ：表示サイズ取得サブステップ）。次に、ステップＳ１９０６において、前記表示サイズで表示される映像で許容される許容最大視差量を取得する（視差量変更情報取得ステップ：許容最大視差量取得サブステップ）。次に、ステップＳ１９０７において、最大視差量が許容最大視差量よりも小さい範囲内で前記所定相関関係に基づいて注目領域視差量が小さくなるように立体映像情報の視差量を変更するための視差量変更情報を取得する（視差量変更情報取得ステップ：視差量変更情報取得サブステップ）。次に、ステップＳ１９０８において、取得された視差量変更情報に基づいて入力された立体映像の視差を調整する（視差調整ステップ）。
【００７８】
<効果>
本実施形態の立体映像表示装置は、取得した立体映像情報に含まれる最大視差メタデータから最大視差情報を取得するため、立体映像表示装置での処理がより少なくなり、より快適に立体映像の視聴が可能となる。
【００７９】
<<実施形態５>>
【００８０】
<概要>
本実施形態の立体映像表示装置は、基本的に実施形態１から４のいずれか一に記載の立体映像表示装置と同様であるが、立体映像情報と関連付けられた撮像装置であるカメラの属性情報を取得し、カメラの属性情報にて示されるカメラの基線長と輻輳距離と画角情報から最大視差情報を取得することを特徴とする。
【００８１】
<構成>
図２０は、本実施形態の立体映像表示装置の機能ブロックの一例を示す図である。この図にあるように、「立体映像表示装置」２０００は、「映像取得部」２００１と、「注目領域取得部」２００２と、「注目領域視差情報取得部」２００３と、「最大視差情報取得部」２００４と、「視差量変更情報取得部」２００５と「視差調整部」２００９とを有し、前記視差量変更情報取得部は、「表示サイズ取得手段」２００６と、「許容最大視差量取得手段」２００７と、「視差量変更情報取得手段」２００８とを有し、「最大視差情報取得部」２００４は、「カメラ属性情報取得手段」２０１０と、「カメラ最大視差情報算出手段」２０１１を有することを特徴とする。
【００８２】
「カメラ属性情報取得手段」は、映像情報取得部が取得する立体映像情報と関連付けられた撮像装置であるカメラの属性情報を取得する機能を有する。カメラの属性情報とは、外部パラメータと内部パラメータとからなり、外部パラメータは、左右映像を撮影した左右撮像装置間隔を示す基線長や左右撮像装置のそれぞれの光軸間の角度を示す輻輳角などの撮像装置の空間的な位置情報であり、内部パラメータは、左右撮像装置の撮影範囲である画角情報と撮影解像度などのことである。なお、輻輳角は輻輳点までの距離情報と基線長から算出してもよい。また、撮影画角は撮像装置の焦点距離と撮像素子の情報を用いることで算出してもよい
【００８３】
例えば、基線長や輻輳角を取得する方法としては、立体映像の左右画像がマルチピクチャフォーマット（ＭＰＦ）のデータ形式で記録されている場合にはＭＰＦファイルのメタデータから取得することができる。「ＭＰＦ」とは、複数の画像や、複数のカメラで撮影された一連の画像をひとつのファイルとして記録するための規格である。ＭＰＦファイルのメタデータには基線長や輻輳角情報を入力する領域が存在するため、そのメタデータから必要なパラメータを取得することができる。また、撮影画角などの撮像装置の光学情報は各画像のＥｘｉｆデータより取得する。撮影画角に関しては立体表示時の画角を基準とし、切り出しなどされている場合は、切り出しサイズ分の補正が必要である。
【００８４】
「カメラ最大視差情報算出手段」は、カメラ属性情報取得手段にて取得されたカメラの属性情報にて示されるカメラの基線長と輻輳距離と画角情報から最大視差情報を取得する機能を有する。例えば、図４において、撮像装置間隔Ｗｂを６５ｍｍ、撮像装置の画角を５２度、輻輳角θを２．５度とした場合、輻輳点Ｐまでの距離ＬｐはＬｐ＝Ｗｂ／［２×ｔａｎ（θ／２）］＝約１．５ｍになる。ここで、被写体Ｏの距離Ｌｏの値を変化させた場合の画像幅に対する視差の割合の変位を図２１に示す。画角に対して輻輳角が小さい時、図２１からも分かるように被写体が無限遠にある場合には画像幅Ｗに対する視差量の割合Ｄはある一定の値の約４．４％に収束する。ここで、例えば画面幅Ｗが１３２．９ｃｍである映像表示装置に表示した場合、最大視差ｄｍａｘはｄｍａｘ＝Ｗ×Ｄｍａｘ＝１３２．９×０．０４４＝５．８ｃｍとなり、子供の平均的両眼間隔の５ｃｍよりも大きな視差となる。
【００８５】
この収束値は輻輳角や基線長、撮像装置の画角によっても変化する。このような収束値を遠方の最大視差の割合Ｄｍａｘとする。このとき、輻輳角をもつ撮像装置で撮影された映像を画面幅Ｗのディスプレイで表示した場合、引っこみ方向の視差として最大でＷ×Ｄｍａｘの視差がつく場合がある。前述したように立体視において、引っ込み方向の視差を視聴者の両眼間隔以下にするなど、ある規定値以下に抑えて表示する必要がある。
【００８６】
図２１で示すように、画像幅に対する視差の割合は被写体の距離の変化に応じて急激に増加する。したがって、輻輳角をもつ撮像装置で撮影した場合には、背景の視差が最大視差の割合Ｄｍａｘに近い視差となる可能性は高く、左右映像の最大視差をＤｍａｘとみなしても問題ない。そして、左右映像の最大視差量の割合Ｄｍａｘを基準とすることで画面全体の視差量の制御を行うことが可能となる。
【００８７】
また、上記では輻輳角をもつ撮像装置に関して説明したが、撮像装置の光軸が輻輳角をもたないような撮像装置でも構わない。このとき、無限遠の被写体の視差が０となり、カメラ側に近づくほど飛び出し視差になる。このままでは全て飛び出しの立体画像となるため一般的には左右画像の位置を変更し、視差０の位置を変更して保存する場合が多い。このとき、奥行き方向の視差は左右画像の変移量分となる。この値は撮像装置の光学的、画像処理仕様によって決まる値であるためどのような撮影条件でもあっても超えることのない視差量である。言い換えれば、この撮像装置で撮影された画像の視差はどのような画像であってもこの最大視差以下となる。  
【００８８】
<処理の流れ>
図２２は、立体映像表示方法の処理の流れの一例を示す図である。まず、ステップＳ２２０１において、立体映像情報を取得する（映像取得ステップ）。次に、ステップＳ２２０２において、取得した立体映像情報の注目領域を取得する（注目領域取得ステップ）。次に、ステップＳ２２０３において、取得した注目領域の注目領域視差量を示す視差情報である注目領域視差情報を取得する（注目領域視差情報取得ステップ）。次に、ステップＳ２２０４において、映像情報取得ステップにて取得した立体映像情報と関連付けられた撮像装置であるカメラの属性情報を取得する（最大視差情報取得ステップ：カメラ属性情報取得サブステップ）。次に、ステップＳ２２０５において、カメラ属性情報取得サブステップにて取得したカメラの属性情報にて示されるカメラの基線長と輻輳距離と画角情報から最大視差情報を取得する（最大視差情報取得ステップ：カメラ最大視差量算出サブステップ）。次に、ステップＳ２２０６において、立体映像の表示サイズを取得する（視差量変更情報取得ステップ：表示サイズ取得サブステップ）。次に、ステップＳ２２０６において、前記表示サイズで表示される映像で許容される許容最大視差量を取得する（視差量変更情報取得ステップ：許容最大視差量取得サブステップ）。次に、ステップＳ２２０７において、最大視差量が許容最大視差量よりも小さい範囲内で前記所定相関関係に基づいて注目領域視差量が小さくなるように立体映像情報の視差量を変更するための視差量変更情報を取得する（視差量変更情報取得ステップ：視差量変更情報取得サブステップ）。次に、ステップＳ２２０８において、取得された視差量変更情報に基づいて入力された立体映像の視差を調整する（視差調整ステップ）。
【００８９】
<効果>
本実施形態の立体映像表示装置は、最大視差情報をカメラの属性情報から取得するため、左右画像を解析する必要がなくなり、立体映像表示装置での処理が少なくなる。
【符号の説明】
【００９０】
０１０１…両眼間隔、０１０２Ｌ…左眼用画像中の被写体位置、０１０２Ｒ…右眼用画像中の被写体位置、０１０３Ｌ…左眼用画像中の被写体位置、０１０３Ｒ…右眼用画像中の被写体位置、０２０１Ｌ…左撮像装置、０２０２…基準面、０２０３…撮影画角、０２０４Ｌ…左画角端、０２０４Ｒ…右画角端、０２０５…被写体面、０２０６…センサー面、０６００…立体映像表示装置、０６０１…映像取得部、０６０２…注目領域取得部、０６０３…注目領域視差情報取得部、０６０４…最大視差情報取得部、０６０５…視差量変更情報取得部、０６０６…表示サイズ取得手段、０６０７…許容最大視差量取得手段、０６０８…視差量変更情報取得手段、０６０９…視差調整部、１４１０…メタデータ依存注目領域取得手段、１６１０…フォーカス取得手段、１８１０…最大視差取得手段、２０１０…カメラ属性情報取得手段、２０１１…カメラ最大視差情報算出手段
【図１】
2013135337.tif 000003
【図２】
2013135337.tif 000004
【図３】
2013135337.tif 000005
【図４】
2013135337.tif 000006
【図５】
2013135337.tif 000007
【図６】
2013135337.tif 000008
【図７】
2013135337.tif 000009
【図８】
2013135337.tif 000010
【図９】
2013135337.tif 000011
【図１０】
2013135337.tif 000012
【図１１】
2013135337.tif 000013
【図１２】
2013135337.tif 000014
【図１３】
2013135337.tif 000015
【図１４】
2013135337.tif 000016
【図１５】
2013135337.tif 000017
【図１６】
2013135337.tif 000018
【図１７】
2013135337.tif 000019
【図１８】
2013135337.tif 000020
【図１９】
2013135337.tif 000021
【図２０】
2013135337.tif 000022
【図２１】
2013135337.tif 000023
【図２２】
2013135337.tif 000024