(57)【要約】【課題】立体画像中の繰り返し模様を検出し、視差量の調整量を適切に補正する。【解決手段】立体画像の各視点画像間の相違を演算する視点画像差演算部と、前記演算結果を基に調整量を演算する調整量演算部と、前記調整量に基づき立体画像の視点画像間の特性差の調整を行う調整部と、立体画像から繰り返し模様に関する情報を検出する繰り返し模様情報検出部と、前記繰り返し模様情報に基づき、前記調整量を補正する調整量補正部とを備えることを特徴とした立体画像処理装置。【選択図】図１
2013055619.tif 000002
【特許請求の範囲】
【請求項１】
立体画像の各視点画像間の相違を演算する視点画像差演算部と、
前記演算結果を基に調整量を演算する調整量演算部と、
前記調整量に基づき立体画像の視点画像間の特性差の調整を行う調整部と、
立体画像から繰り返し模様に関する情報を検出する繰り返し模様情報検出部と、
前記繰り返し模様情報に基づき、前記調整量を補正する調整量補正部と
を備えることを特徴とした立体画像処理装置。
【請求項２】
さらに、ユーザの入力を取得する外部入力データ取得部を有し、
前記調整量補正部は、前記繰り返し模様情報と前記外部入力データとに基づき、前記調整量を補正することを特徴とする請求項１に記載の立体画像処理装置。
【請求項３】
前記調整量補正部は、
前記繰り返し模様に関する情報およびユーザの入力のいずれか、もしくは両方に基づき、前記調整量を補正することを特徴とする請求項２に記載の立体画像処理装置。
【請求項４】
前記繰り返し模様に関する情報は、
繰り返し模様の有無および繰り返し模様の強度のいずれか、もしくは両方を含むことを特徴とする請求項１から３までのいずれか１項に記載の立体画像処理装置。
【請求項５】
前記繰り返し模様情報検出部は、同一視点画像全体をずらしながら、ずらし量に関する相関値を求め、当該の相関値に基づき繰り返し模様の有無の判断を行うことを特徴とする、
請求項１又は２に記載の立体画像処理装置。
【請求項６】
前記繰り返し模様情報検出部は、同一視点画像の注目画素と注目画素から任意にずれた画素とのマッチングを行うことで、ずれ量に関する相関値を求め、当該の相関値に基づき繰り返し模様の有無の判断を行うことを特徴とする、
請求項１又は２に記載の立体画像処理装置。
【請求項７】
前記調整量補正手段が、補正後の調整量を０にすることを特徴とする、
請求項１から６までのいずれか１項に記載の立体画像処理装置。
【請求項８】
前記調整量補正手段が、補正後の調整量を０に向けて平滑化することを特徴とする、
請求項１から６までのいずれか１項に記載の立体画像処理装置。
【請求項９】
前記調整量補正手段が、補正後の調整量を、前のフレームの調整量を現フレームの調整量とすることを特徴とする、
請求項１から６までのいずれか１項に記載の立体画像処理装置。
【請求項１０】
前記調整量補正手段が、過去数フレームの調整量に基づき予測された調整量とすることを特徴とする、
請求項１から６までのいずれか１項に記載の立体画像処理装置。
【請求項１１】
前記調整量補正手段は、補正方法選択手段を有し、前記繰り返し模様情報に基づいて補正手段を選択することを特徴とする、請求項１から１０までのいずれか１項に記載の立体画像処理装置。
【請求項１２】
前記調整量補正手段は、補正方法選択手段を有し、
前記外部入力データ取得部からの調整量補正方法に係わるデータに基づいて補正手段を選択することを特徴とする、請求項２から１０までのいずれか１項に記載の立体画像処理装置。
【請求項１３】
立体画像処理装置において、
立体画像から繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方を検出し、繰り返し模様情報を出力する手段
を備えることを特徴とする立体画像処理装置。
【請求項１４】
前記繰り返し模様情報を、立体画像の視差を調整するための視差調整量を補正する視差調整量補正手段に出力することを特徴とする請求項１３に記載の立体画像処理装置。
【請求項１５】
前記繰り返し模様情報が、
立体画像のうち１視点の画像における繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方であることを特徴とする
請求項１３又は１４に記載の立体画像処理装置。
【請求項１６】
前記繰り返し模様情報が、
立体画像のうち複数視点の画像における繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方であることを特徴とする
請求項１３又は１４に記載の立体画像処理装置。
【請求項１７】
前記繰り返し模様情報が、
立体画像のうち複数視点の画像における繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方による組み合わせによって判断された繰り返し模様情報であることを特徴とする請求項１３又は１４に記載の立体画像処理装置。
【請求項１８】
立体画像の各視点画像間の相違を演算する視点画像差演算ステップと、
前記演算結果を基に調整量を演算する調整量演算ステップと、
前記調整量に基づき立体画像の視点画像間の特性差の調整を行う調整ステップと、
立体画像から繰り返し模様に関する情報を検出する繰り返し模様情報検出ステップと、
前記繰り返し模様情報に基づき、前記調整量を補正する調整量補正ステップ
を備えることを特徴とする立体画像処理方法。
【請求項１９】
立体画像の各視点画像間の相違を演算する視点画像差演算ステップと、
前記演算結果を基に調整量を演算する調整量演算ステップと、
前記調整量に基づき立体画像の視点画像間の特性差の調整を行う調整ステップと、
立体画像から繰り返し模様に関する情報を検出する繰り返し模様情報検出ステップと、
ユーザの入力を取得する外部入力データ取得ステップと、
前記繰り返し模様情報および前記外部入力データに基づき、前記調整量を補正する調整量補正ステップとを備えることを特徴とする立体画像処理方法。
【請求項２０】
前記調整量補正ステップは、
前記繰り返し模様に関する情報およびユーザの入力のいずれか、もしくは両方に基づき、前記調整量を補正することを特徴とする、
請求項１８又は１９に記載の立体画像処理方法。
【請求項２１】
前記繰り返し模様に関する情報は、
繰り返し模様の有無および繰り返し模様の強度のいずれか、もしくは両方であることを特徴とする、
請求項１８から２０までのいずれか１項に記載の立体画像処理方法。
【請求項２２】
立体画像から繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方を検出する検出ステップと、
検出された前記繰り返し模様情報を出力するステップと
を備えることを特徴とする立体画像処理方法。
【請求項２３】
前記繰り返し模様情報を、立体画像の視差を調整するための視差調整量を補正する視差調整量補正手段に出力することを特徴とする請求項２２に記載の立体画像処理方法。
【請求項２４】
コンピュータに、請求項１８から２３までのいずれか１項に記載の立体画像処理方法を実行させるためのプログラム。
【請求項２５】
請求項２４に記載のプログラムを記録するコンピュータ読み取り可能な記録媒体。
【請求項２６】
請求項１から１７までのいずれか１項に記載の立体画像処理装置と、
処理された立体画像を表示する表示装置と
を有することを特徴とする立体画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像情報処理装置、立体画像情報処理方法、立体画像情報処理方法をコンピュータに実行させるためのプログラムおよびそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
我々は空間に配置された物体の奥行きを知覚する際、左右眼に投影される像の位置のずれ、すなわち両眼視差をひとつの手がかりとして利用している。
【０００３】
この両眼視差の仕組みを利用したシステムの例として、立体画像表示システムがあげられる。立体画像表示システムにおいては、左右それぞれに対応した画像をそれぞれの眼に(のみ)提示することにより立体視を実現する（奥行きを表現する）。
【０００４】
このとき、両眼視差とは、立体画像の左右画像における各々の対応点のズレのことである。この対応点が、眼球の外転方向にずれるほど、表示面よりも後方に立体画像が表示されることとなり、眼球の内転方向にずれるほど、表示面よりも前方に立体画像が表示されることとなる。
【０００５】
この両眼視差が非常に大きい場合には、視聴者に対して、視覚的に大きな負担を強いることとなる。たとえば、外転方向へのズレの場合、無限遠を見ているときの視差、すなわち瞳孔間距離、を超えた視差が提示された場合、現実には起こりにくい状態となり、立体視不能もしくは外斜視に近い状態となる。同様に、内転方向へのズレの場合、極度な寄り目となり、立体視不能もしくは内斜視に近い状態となる。さらに、視差が大きくなるほど輻輳（右眼の光軸と左眼の光軸の交差）距離と眼の焦点調節距離との乖離が大きくなり、不自然な立体映像となると言われている。
【０００６】
このような状態は、例えば、立体画像を撮影した時に想定していたディスプレイサイズよりもサイズが大きなディスプレイで表示した場合や瞳孔間距離よりも基線長の長いステレオカメラで撮影を行った場合などに生じうる。
【０００７】
そのため、撮影環境や表示環境、コンテンツなどに応じて視差を調整する機能が必要である。また、コンテンツごと、シーンごとに最適な調整量が異なる等の理由から、その都度調整量を視聴者が手動で指定するのは現実的ではないため、自動で調整できることが望ましい。先行技術の一例として、特許文献１乃至特許文献２が開示されている。
【０００８】
特許文献１においては、同一の立体画像であっても、画面サイズ（表示サイズ）、解像度などが変わることにより、表示される画像の視差が変化するため、立体視しにくく疲れやすい画像となるという課題を解決するための手段についての記載がある。特許文献１の発明によれば、まず、画像表示部（ウィンドウ）のサイズと左右画像の視差を計算し、その最大値または最小値を計算する。前記視差と観察者の視距離と解像度から両眼視差の大きさを計算し、それが両眼融合範囲内に入るように左右画像を水平に平行移動することにより、同一の立体画像であっても、画面サイズに応じて自動的に両眼視差を調整し、観察し易く、より自然な立体視を可能とする。
【０００９】
特許文献２においては、クロストークが発生している場合、左右画像の一致していない画素において、2重像が視認されることとなり、立体画像として知覚することができないだけでなく、頭痛等生じる可能性があるという課題を解決するための手段についての記載がある。特許文献３の発明によれば、所定の調整量によって視差量を変更した左右画像間の輝度値の差分を演算し、前記演算量が最小となる調整量から最適調整量を決定し、それに基づき左右画像の視差量を調整することにより、クロストークをより低減した立体画像を表示させる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許第２８４８２９１号  立体ＴＶ装置
【特許文献２】特開２０１０−２００２１３  画像処理装置、画像処理方法、プログラム、および立体画像表示装置
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上記の各特許文献の方法によれば、立体画像の視差量を調整することができる。しかしながら、立体画像中に繰り返し模様（例えば、チェッカーボードや千鳥格子などのように、柄が繰り返された模様）が写りこんだ場合に、同じ模様の異なる位置でマッチングが取れてしまう（差分値が小さくなる）ことにより視差量の推定を誤ることがある。
【００１２】
左右画像の視差量の推定を誤ると適切に視差を調整できず、立体画像の品質を劣化させてしまう可能性がある。
【００１３】
本発明は、以上の課題に鑑みてなされたものであり、立体画像中の繰り返し模様を検出し、視差量の調整量を適切に補正することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の一観点によれば、立体画像の各視点画像間の相違を演算する視点画像差演算部と、前記演算結果を基に調整量を演算する調整量演算部と、前記調整量に基づき立体画像の視点画像間の特性差の調整を行う調整部と、立体画像から繰り返し模様に関する情報を検出する繰り返し模様情報検出部と、前記繰り返し模様情報に基づき、前記調整量を補正する調整量補正部と、を備えることを特徴とした立体画像処理装置が提供される。
【００１５】
さらに、ユーザの入力を取得する外部入力データ取得部を有し、前記調整量補正部は、前記繰り返し模様情報と前記外部入力データとに基づき、前記調整量を補正するようにしても良い。
【００１６】
前記繰り返し模様に関する情報は、繰り返し模様の有無および繰り返し模様の強度のいずれか、もしくは両方を含むことを特徴とする。
【００１７】
前記調整量補正部は、前記繰り返し模様に関する情報およびユーザの入力のいずれか、もしくは両方に基づき、前記調整量を補正することを特徴とする。
【００１８】
前記繰り返し模様有無判断部が、同一視点画像全体をずらしながら、ずらし量に関する相関値を求め、当該の相関値に基づき繰り返し模様の有無の判断を行うことを特徴とする。
【００１９】
前記繰り返し模様有無判断手段が、同一視点画像の注目画素と注目画素から任意にずれた画素とのマッチングを行うことで、ずれ量に関する相関値を求め、当該の相関値に基づき繰り返し模様の有無の判断を行うことを特徴とする。
【００２０】
前記調整量補正手段が、補正後の調整量を０にするようにしても良い。
前記調整量補正手段が、補正後の調整量を０に向けて平滑化するようにしても良い。
【００２１】
前記調整量補正手段が、補正後の調整量を、前のフレームの調整量を現フレームの調整量とするようにしても良い。
【００２２】
前記調整量補正手段が、過去数フレームの調整量に基づき予測された調整量としても良い。
【００２３】
前記調整量補正手段は、補正方法選択手段を有し、前記繰り返し模様情報に基づいて補正手段を選択することを特徴とする。
【００２４】
前記調整量補正手段は、補正方法選択手段を有し、前記外部入力データ取得部からの調整量補正方法に係わるデータに基づいて補正手段を選択することを特徴とする。
【００２５】
また、本発明は、立体画像処理装置において、立体画像から繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方を検出し、繰り返し模様情報を出力する手段を備えることを特徴とする立体画像処理装置である。
【００２６】
前記繰り返し模様情報が、立体画像のうち１視点の画像における繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方であることが好ましい。
【００２７】
前記繰り返し模様情報が、立体画像のうち複数視点の画像における繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方であることが好ましい。
【００２８】
前記繰り返し模様情報が、立体画像のうち複数視点の画像における繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方による組み合わせによって判断された繰り返し模様情報であることを特徴とする。
【００２９】
本発明の他の観点によれば、立体画像の各視点画像間の相違を演算する視点画像差演算ステップと、前記演算結果を基に調整量を演算する調整量演算ステップと、前記調整量に基づき立体画像の視点画像間の特性差の調整を行う調整ステップと、立体画像から繰り返し模様に関する情報を検出する繰り返し模様情報検出ステップと、前記繰り返し模様情報に基づき、前記調整量を補正する調整量補正ステップとを備えることを特徴とする立体画像処理方法が提供される。
【００３０】
また、本発明は、立体画像の各視点画像間の相違を演算する視点画像差演算ステップと、前記演算結果を基に調整量を演算する調整量演算ステップと、前記調整量に基づき立体画像の視点画像間の特性差の調整を行う調整ステップと、立体画像から繰り返し模様に関する情報を検出する繰り返し模様情報検出ステップと、ユーザの入力を取得する外部入力データ取得ステップと、前記繰り返し模様情報および前記外部入力データに基づき、前記調整量を補正する調整量補正ステップとを備えることを特徴とする立体画像処理方法である。
【００３１】
前記繰り返し模様に関する情報は、繰り返し模様の有無および繰り返し模様の強度のいずれか、もしくは両方であることを特徴とする。
【００３２】
前記調整量補正ステップは、前記繰り返し模様に関する情報およびユーザの入力のいずれか、もしくは両方に基づき、前記調整量を補正することを特徴とする。
【００３３】
本発明は、立体画像から繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方を検出ステップと、検出された前記繰り返し模様情報を出力するステップとを備えることを特徴とする立体画像処理方法である。
【００３４】
また、本発明は、コンピュータに、上記のいずれか１項に記載の立体画像処理方法を実行させるためのプログラムであっても良く、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。
【００３５】
また、上記のいずれか１に記載の立体画像処理装置と、処理された立体画像を表示する表示装置とを有することを特徴とする立体画像表示装置であっても良い。
【発明の効果】
【００３６】
本発明によれば、繰り返し模様を検出し、視差調整処理における視差調整量を補正することにより、繰り返し模様による視差量の誤推定に起因する誤った視差調整がなされることを抑制・緩和することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の第１の実施の形態による立体画像情報処理装置の一構成例を示す図である。
【図２】本実施の形態における立体画像処理の全体の処理の一例を示すフローチャート図である。
【図３】繰り返し模様有無判定部１．０４の詳細な構成例を示す機能ブロック図である。
【図４】画像相関演算部における処理の様子を示す図である。
【図５】画像相関演算部における処理の流れを示すフローチャート図である。
【図６】画像相関値のパターン例を示す図である。
【図７】フラグ値の一例を示す図である。
【図８】調整量補正部の詳細な構成例を示す図である。
【図９】本発明の第２の実施の形態の画像相関部の処理の様子を示す図である。
【図１０】本発明の第２の実施の形態の画像相関部の処理の流れを示すフローチャート図である。
【図１１】本発明の第３の実施の形態による調整量補正部の詳細な構成例を示す図である。
【図１２】本発明の第５の実施の形態による調整量補正部の詳細な構成例を示す図である。
【図１３】本発明の第６の実施の形態による立体画像情報処理装置の一構成例を示す図である。
【図１４】本発明の第６の実施の形態による繰り返し模様情報検出部の一構成例を示す図である。
【図１５】本明の第６の実施の形態における調整量補正部の一構成例を示す図である。
【図１６】本明の第６の実施の形態における繰り返し模様強度と補正方法との対応を示す図である。
【図１７】本発明の第７の実施の形態による立体画像情報処理装置の一構成例を示す図である。
【図１８】本発明の第７の実施の形態による調整量補正部の一構成例を示す図である。
【発明を実施するための形態】
【００３８】
本明細書において、「繰り返し模様」のうち、「模様」の定義として、「装飾として施す絵や形。また、ものの表面にみられる図柄（三省堂  大辞林）」である。そして、「繰り返し模様」は、上記の模様が繰り返したものと定義する。その一例として、市松模様、チェッカーボード（四角模様が繰り返す）、ストライプ（縞が繰り返す）、水玉模様などが挙げられる。但し、必ずしも周期的にパターンが現れるものに限定されない。
【００３９】
繰り返し模様であるか否かの、判断基準としては、上記の定義の要件を満たすものは、繰り返し模様であると判断する。
【００４０】
以下、本発明に係わる実施の形態を、図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態による立体画像情報処理装置の一構成例を示す図である。本実施の形態における画像処理装置１．００は、視点画像差演算部１．０１と、調整量演算部１．０２と、調整部１．０３と、立体画像データ中の繰り返し模様の有無を判断する繰り返し模様有無判断部１．０４と、その判断結果を基に調整量演算部１．０２から得られた調整量を補正する調整量補正部１．０５と、を有して構成される。この画像処理装置１．００において、立体画像データを入力とし、調整後の立体画像データが出力される。
【００４１】
図２は、本実施の形態における立体画像処理の全体の処理の一例を示すフローチャート図である。ステップＳ２．０１において、繰り返し模様有無判断部１．０４は、立体画像データを受け取り、繰り返し模様の有無を検出する。ステップＳ２．０２において、「繰り返し模様なし」と判定された場合は（Ｓ２．０２でＮｏ）、調整量演算部１．０２から受け取った調整量データをそのまま調整部１．０３に送る（ステップＳ２．０３）。ステップＳ２．０２において、「繰り返し模様あり」と判定された場合は（Ｓ２．０２でＹｅｓ）、調整量補正部１．０５は調整量データを０として、調整部１．０３に調整量データを送る（ステップＳ２．０４）。
【００４２】
次に、繰り返し模様有無判断部１．０４における具体的な動作について図３を用いて説明する。図３は、繰り返し模様有無判断部１．０４の詳細な構成例を示す機能ブロック図である。図３に示すように、繰り返し模様有無判断部１．０４は、画像変換部３．０１と、画像相関演算部３．０２と、判定部３．０３と、を有して構成されている。
【００４３】
画像変換部３．０１は、立体画像データを受け取り、後段の画像相関演算部３．０２で処理するための画像形式に変換し、画像相関演算部３．０２に変換後画像データを送る。変換する画像形式は、例えば、ＲＧＢ画像、輝度画像、エッジ画像、特徴点画像および、以上の画像に対し、平滑化などのフィルタ処理や拡大・縮小処理を施したものを含む。
【００４４】
画像相関演算部３．０２は、画像変換部３．０１から受け取った変換後画像データを基に、画像相関値Ｃｏｒｒ（ｓ）を計算する。画像相関値Ｃｏｒｒ（ｓ）は、立体画像の１つ視点画像から求めることができる。
【００４５】
図４および図５にその処理の一例を示す。まずＬ画像中の注目画素Ｌ（ｘ，ｙ）と注目画素とｓ画素ずれた画素Ｌ（ｘ−ｓ，ｙ）とのマッチングを行う（ステップＳ５．０１）。このとき、図４に示すように、周辺画素をマッチング評価に用いても良い。マッチング評価は、例えば、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）などのブロックマッチングに用いられる評価関数を用いてよい。（２ｎ＋１）×（２ｍ＋１）のブロックサイズにおけるＳＡＤの評価式は、次のようになる。
【００４６】
【数１】
2013055619.tif 000003
【００４７】
ここで、評価値ＳＡＤ（ｘ，ｙ；ｓ）は、ずらし量ｓのときの画素位置（ｘ，ｙ）における評価値である。ステップＳ５．０２において、ＳＡＤ（ｘ，ｙ；ｓ）が所定の閾値以下である場合（Ｓ５．０２Ｙｅｓ），ステップＳ５．０３が実行される。一方、ＳＡＤ（ｘ，ｙ；ｓ）が所定の閾値を越える場合（Ｓ５．０２Ｎｏ）、ステップＳ５．０３をスキップする。ステップＳ５．０３において、画像相関値Ｃｏｒｒ（ｓ）は+１カウントされる。ステップＳ５．０４において、以上の処理を処理対象領域内の全ての画素に対して行い、ステップＳ５．０５において、ずらし量ｓにおける画像相関値Ｃｏｒｒ（ｓ）が算出される（図４の下図参照）。
【００４８】
以上の処理を、最大探索範囲のＮ画素目まで算出する。また、ずらし量が大きくなるにつれて、マッチングの評価が可能な領域が減る。そこで、画像相関値Ｃｏｒｒ（ｓ）をマッチングの対象となる領域の画素数（例えば、画面幅−ｓ）で割ることにより正規化しても良い。
【００４９】
上記の説明では、Ｌ画像とＬ画像でのマッチングの例を示したが、Ｒ画像とＲ画像でのマッチングでも良いし、Ｌ画像とＬ画像、Ｒ画像とＲ画像の両方でマッチングを行い、それぞれの画像相関値Ｃｏｒｒ＿Ｌ（ｓ）およびＣｏｒｒ＿Ｒ（ｓ）を判定部３．０３に送っても良い。
【００５０】
以上の方法によれば、繰り返し模様の画像中の位置を同定せずに、簡易な処理によって繰り返し模様を検出することができる。
【００５１】
判断部３．０３は、画像相関演算部３．０２から受け取った画像相関値を基に繰り返し模様の有無を判断する。図６に画像相関値の例を示す。図６（ａ）は、繰り返し模様がない場合の画像相関の例であり、図６（ｂ）は繰り返し模様がある場合の画像相関の一例であり、繰り返し模様がない場合に比べ、繰り返し模様がある場合には、周期的に特徴的なピークが生じやすい。判断部３．０３は、この周期的なピークを捉える（検出する）ことにより、繰り返し模様の有無の判断を行う。
【００５２】
この周期的なピークは、例えば、閾値処理にすることにより検出する。例えば、ピークの有無を判別できるような閾値を設定する。閾値の設定方法は、固定値もしくは、カウント数の平均値や最大値、最小値などの代表値を求め、それらの組み合わせから閾値を動的に設定するようにしても良い。もし閾値を越えるピークが存在した場合、判断部３．０３は、「繰り返し模様あり」として、繰り返し模様判定フラグを調整量補正部１．０５に送る。一方、ピークが存在しなかった場合、判断部３．０３は、「繰り返し模様なし」として、繰り返し模様判定フラグを調整量補正部１．０５に送る。
【００５３】
ここで、画像相関演算部３．０２から、Ｌ画像の繰り返し模様検出の相関値Ｃｏｒｒ＿Ｌ（ｓ）とＲ画像の繰り返し模様検出の相関値Ｃｏｒｒ＿Ｒ（ｓ）の両方が与えられた場合には、図７の表に示すように、それぞれの繰り返し模様の有無の判定を行い、それぞれの判定結果を基に、繰り返し模様判定フラグを「繰り返し模様あり」もしくは「繰り返し模様なし」に設定するようにしてもよい。図７においては、フラグ値１乃至３を「繰り返し模様あり」、フラグ値０を「繰り返し模様なし」としているが、フラグ値３のみを「繰り返し模様あり」、フラグ値０乃至２を「繰り返し模様なし」としてもよく、組み合わせに限定はされない。
【００５４】
次に、調整量補正部１．０５における具体的な動作について図８を用いて説明する。図８に示すように、調整量補正部１．０５は、調整量平滑化部８．０１と、前調整値保持バッファ８．０２と、補正部８．０３と、を有している。
【００５５】
調整量平滑化部８．０１は、調整量演算部１．０２から受け取った調整量データを平滑化する。平滑化は例えばＩＩＲ（Ｉｎｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタによる平滑化を行う。ＩＩＲフィルタによる平滑化の例を以下に示す。
【００５６】
【数２】
2013055619.tif 000004
【００５７】
ここで、ＡＤ＿ｓは平滑化された調整量、ＡＤ＿ｃｕｒは現フレームにおいて調整量演算部１．０２から取得した調整量、ＡＤ＿ｐｒｅは前フレームにおける平滑化後の調整量（前調整値保持バッファ８．０２からデータを受け取る）、αは平滑化パラメータである。
【００５８】
平滑化処理を行うことにより、調整量演算部１．０１で算出された調整量の画像フレーム間の揺らぎを緩和することができる。
【００５９】
調整量平滑化部８．０１は、平滑化した調整量データを補正部８．０３に送る。
補正部８．０３は、調整量平滑化部８．０１からの平滑化した調整量データと繰り返し模様有無判断部１．０４からの繰り返し模様判定フラグを受け取り、調整量データを補正する。
【００６０】
補正部８．０３は、繰り返し模様判断フラグが「繰り返し模様なし」であった場合、調整量平滑化部８．０１から受け取った平滑化した調整量データＡＤ＿ｓを、補正後調整量データAD（ＡＤ＝ＡＤ＿ｓ）として調整部１．０３に送り、前調整値保持バッファ８．０２の値を更新する。一方、繰り返し模様有無判定フラグが「繰り返し模様あり」であった場合、補正後調整量をＡＤ＝０として、調整量データを調整部１．０３に送り、前調整値保持バッファ８．０２の値を更新する。
【００６１】
調整部１．０３は、調整量補正部１．０５から受け取った調整量データに基づき、立体画像の視差を調整し、出力する。
【００６２】
以上の構成により、繰り返し模様を検出することができ、視差調整処理における視差の調整量を補正することにより、繰り返し模様に起因する誤った視差調整がなされることを抑制・緩和することができる。
【００６３】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。本発明の第２の実施の形態では、画像相関演算部３．０２で繰り返し模様を検出する別の例を示す。
【００６４】
第２の実施の形態における画像相関演算部３．０２の動作を、図９および図１０を用いて説明する。ステップＳ１０．０１において、図９に示すマッチング評価コストの小さいものを格納するマッチング候補格納バッファの初期化を行う。マッチング候補格納バッファは、マッチング評価値（後述の式（３）で算出される）およびマッチング評価値の順位番号、さらにマッチング位置の３つの情報を保持する。初期化は、マッチング評価値（ＳＡＤ）＝無限（とりうる最大値）とし、マッチング位置（Ｏ＋ｓ）＝０として格納される。ステップＳ１０．０２において、Ｌ画像中の注目画素Ｌ（ｘ，ｙ）と注目画素とＯ（オフセット）＋ｓ（探索位置、s=0，・・・，Ｎ）画素ずれた画素Ｌ（ｘ＋Ｏ＋ｓ，ｙ）とのマッチングを行う。マッチング手法に関しては、実施の形態１と同様であり、例えば、ＳＡＤなどのブロックマッチングに用いられる評価関数を用いてよい。
【００６５】
【数３】
2013055619.tif 000005
【００６６】
ここで、評価値ＳＡＤ（ｘ，ｙ；Ｏ＋ｓ）は、探索位置ｓにおける評価値である。ステップＳ１０．０３において、ＳＡＤ（ｘ，ｙ；Ｏ＋ｓ）が所定の閾値以下である場合（Ｓ１０．０３Ｙｅｓ）、ステップＳ１０．０４が実行される。一方、ＳＡＤ（ｘ，ｙ；Ｏ＋ｓ）が所定の閾値を越えた場合（Ｓ１０．０３Ｎｏ）、ステップＳ１０．０４はスキップされる。ステップＳ１０．０４において、マッチング候補格納バッファに格納された値との比較・更新が行われる。マッチング候補格納バッファのマッチング評価値と比較を行い、ステップＳ１０．０２で求めた評価値の方が小さい値であった場合に、順位番号の低いバッファを更新し、順位番号の並べ替えを行う。ステップＳ１０．０５において、探索範囲ｓの終了判定を行い、探索が終了したらステップＳ１０．０６を実行する。ステップＳ１０．０６において、マッチング候補格納バッファに格納されているマッチング位置情報に基づき、画像相関値Ｃｏｒｒ（Ｏ＋ｓ）は＋１カウントされる。ここで、マッチングする画素がマッチング制限数よりも少なかった場合（繰り返し模様がなかった場合）、Ｃｏｒｒ（０）が＋１カウントされる。以上の処理を処理対象領域内の全ての画素に対して行うことで、探索位置ｓにおける画像相関値Ｃｏｒｒ（Ｏ＋ｓ）が算出される。
【００６７】
以上の方法によれば、繰り返し模様の画像中の位置を同定せずに、簡易な処理によって繰り返し模様を検出することができ、更に、マッチングしうる画素数を制限することで、ピーク位置以外でのマッチングの可能性を減らすことにより、画像相関値Ｃｏｒｒ（ｓ）に対し、図９に示すような先鋭なピークを得ることができる。
【００６８】
（第３の実施の形態）
第３の実施の形態では、調整量補正部１．０５における調整量の補正方法の別の例として、調整量演算部１．０２からの調整値を0とし平滑化処理する方法について説明する。
【００６９】
本実施の形態において、調整量補正部１．０５は、図１１のような構成となる。
調整量平滑化部８．０１は、調整量演算部１．０２から受け取った調整量データを平滑化する。平滑化は例えば、実施の形態1と同様にＩＩＲフィルタによる平滑化（（２）式）を行う。補正部８．０３は、調整量演算部１．０２から受け取った調整量データと調整量平滑化部８．０１からの平滑化後調整量と繰り返し模様有無判断部１．０４からの繰り返し模様判定フラグを基に、調整量の補正を行う。繰り返し模様判定フラグが「繰り返し模様なし」であった場合、調整量平滑化部８．０１から受け取った平滑化した調整量データＡＤ＿ｓを、補正後調整量データ（ＡＤ＝ＡＤ＿ｓ）として調整部１．０３に送り、前調整値保持バッファ８．０２の値を更新する。一方、繰り返し模様判定フラグが「繰り返し模様あり」であった場合、（４）式によって補正を行う。
【００７０】
【数４】
2013055619.tif 000006
【００７１】
これは、すなわち（２）式におけるＡＤ＿ｃｕｒの項を相殺し、調整量演算部１．０２からの調整値を0とし平滑化処理した値と同値となる。調整量平滑化部８．０１は以上の補正処理によって得られた補正後調整量データＡＤを調整部１．０３に送り、前調整値保持バッファ８．０２の値を更新する。
【００７２】
以上の構成にすることによって、調整量が０に不連続に変化するのではなく、調整量０に向かって連続的に変化させることができる。
【００７３】
（第４の実施の形態）
本発明の第４の実施の形態では、調整量補正部１．０５における調整量の補正方法の別の例として、前フレームにおける調整値を使用する（前フレーム値ホールド）方法について説明する。
【００７４】
本実施の形態においても、調整量補正部１．０５は、図１１のような構成となる。
調整量平滑化部８．０１は、調整量演算部１．０２からの調整量データを受け取り、調整量の平滑化を行う。平滑化は例えば、実施の形態1と同様にＩＩＲフィルタによる平滑化（（２）式））を行う。補正部８．０３は、繰り返し模様判定フラグが「繰り返し模様なし」であった場合、調整量平滑化部８．０１から受け取った平滑化した調整量データＡＤ＿ｓを、補正後調整量データ（ＡＤ＝ＡＤ＿ｓ）として調整部１．０３に送り、前調整値保持バッファ８．０２の値を更新する。一方、繰り返し模様判定フラグが「繰り返し模様あり」であった場合、補正部８．０３は前調整値保持バッファ８．０２から、前フレームの調整値を読み込み、前値をホールドすることで補正を行う（（５）式）。
【００７５】
【数５】
2013055619.tif 000007
【００７６】
ここで、ＡＤ＿ｐｒｅは、前フレームにおける平滑化後の調整量（前調整値保持バッファ８．０２からデータを受け取る）である。補正部８．０３は以上の平滑化処理によって得られた補正後調整量データを調整部１．０３に送り、前調整値保持バッファ８．０２の値を更新する。
【００７７】
以上の構成にすることによって、繰り返し模様が検出された場合においても調整量を保持することができる。
【００７８】
（第５の実施の形態）
本発明の第５の実施の形態では、調整量補正部１．０５における調整量の補正方法の別の例として、過去数フレームの値から予測した調整値にする方法について説明する。
【００７９】
本実施の形態において、調整量補正部１．０５は図１２のような構成となる。
調整量平滑化部８．０１は、調整量演算部１．０２からの調整量データを受け取り、調整量の平滑化を行う。平滑化は例えば、実施の形態1と同様にＩＩＲフィルタによる平滑化（（２）式）を行う。補正部８．０３は、繰り返し模様判定フラグが「繰り返し模様なし」であった場合、調整量平滑化部８．０１から受け取った平滑化した調整量データＡＤ＿ｓを、補正後調整量データ（ＡＤ＝ＡＤ＿ｓ）として調整部１．０３に送り、前調整値保持キュー１２．０１の値を更新（プッシュ）する。一方、繰り返し模様判定フラグが「繰り返し模様あり」であった場合、例えば線形予測により、補正を行う。本補正方法においては、前調整値の保持はサイズＮのキュー（バッファアレイ）を用い、過去Ｎフレームの補正後調整値を保持する。
【００８０】
【数６】
2013055619.tif 000008
【００８１】
ここで、ＡＤ＿ｐｒｅ＿ｉはｉ番目の過去フレームにおける補正後調整量（前調整値保持キュー１２．０１からデータを受け取る）である。α＿ｉは、ｉ番目の過去フレームに対する平滑化パラメータである。補正部８．０３は、以上の平滑化処理によって得られた補正後調整量データを調整部１．０３に送り、前調整値保持キュー１２．０１の値を更新する。キューのサイズＮ＝１であった場合には、本補正方法は、第３の実施の形態の補正方法と同等の処理となる。
【００８２】
（第６の実施の形態）
上記第１から第５までの実施の形態において、いくつかの調整量の補正方法について示した。第６の実施の形態においては、これらの調整量の補正方法の選択方法について説明する。
【００８３】
調整量の選択方法について、例えば、繰り返し模様の強度を利用する方法が考えられる。本選択方法における画像処理装置１．００は、図１３に示すように、繰り返し模様有無判断部１．０４に代わり、繰り返し模様情報検出部１３．０１を有する。繰り返し模様情報検出部１３．０１は、図１４に示すように、画像変換部３．０１と画像相関演算部３．０２と繰り返し模様情報判定部１４．０１からなる。
【００８４】
画像変換部３．０１および画像相関演算部３．０２の動作は、第１の実施の形態と同様である。繰り返し模様情報判定部１４．０１は、画像相関演算部３．０２から受け取った画像相関値を基に、図３における判定部３．０３と同様に繰り返し模様の有無を検出する。更に、繰り返し模様情報判定部１４．０１は、繰り返し模様の強度を判定し、その結果を出力する。ここで、繰り返し模様の強度は、例えば、画像相関値のピークの周期やそのカウント数（ピークの先鋭具合）などのように、立体画像中に繰り返し模様があった場合に、画像相関値に変化が生じることにより観測できる値を基に算出される。また、繰り返し模様の有無の検出処理から、閾値を越えたピークの数やそのずらし量のデータを受け取り、それらの情報を基に強度データを算出するようにしても良いし、例えば、各視点画像の繰り返し模様の有無の判定において、「繰り返し模様あり」であった視点画像の数を繰り返し模様強度として利用しても良い。繰り返し模様強度は、前述のように定量的な値をそのまま用いても良いが、「なし（０）」、「弱（１）」、「中（２）」、「強（３）」などのように数段階に値を丸めても良い。
【００８５】
本実施の形態における調整量補正部１．０５は、図１５に示すように、調整量平滑化部８．０１と補正部８．０２と前調整値保持キュー１２．０１と補正方法選択部１５．０１と、を有している。補正方法選択部１５．０１は、繰り返し模様情報検出部１３．０１から、繰り返し模様判定フラグおよび繰り返し模様強度データを受け取り、これらのデータに基づき、補正方法を決定し、補正方法情報を補正部８．０２に送る。補正部８．０２は、補正方法選択部から受け取った補正方法情報を基に、第１〜第５までの実施の形態に記載の補正方法によって、調整量を補正する。補正方法選択部１５．０１における補正方法の決定方法は、例えば、繰り返し強度データと補正方法のテーブルを用意しておき、その対応関係に基づいて、補正方法を決定するようにする（図１６参照）。図１６は、繰り返し模様強度と補正方法との対応を示す図であり、例えば、繰り返し模様強度が強い場合には、０に向けて平滑化する。また、補正方法選択部１５．０１は、繰り返し模様強度データに基づき、調整量平滑化部８．０１および補正部８．０２における平滑化パラメータαおよびα＿ｉの値を変更させることによって、繰り返し模様強度に応じて調整量を適応的に変化させる補正方法としても良い。
以上の構成によって、繰り返し模様強度に応じて、自動的に補正方法が選択される。
【００８６】
（第７の実施の形態）
本発明の第７の実施の形態においては、これらの調整量の補正方法の選択方法の別の例として、外部入力データに基づく選択方法について説明する。
【００８７】
図１７に示すように、本実施の形態における画像処理装置１．００は、図１３の構成に加え、外部入力データ取得部１７．０１を有する。ここで外部入力データは、例えば、ユーザインタフェース（リモコン、キーボードなど）による視聴者からの入力情報（補正方法選択データ、平滑化パラメータなど）である。外部入力データ取得部１７．０１は、外部入力データのうち、調整量補正方法に係わるデータ（補正方法選択データ、平滑化パラメータなど）を補正方法選択部１５．０１に送る。
【００８８】
図１８に示すように、本実施の形態における調整量補正部１．０５において、補正方法選択部１５．０１は、繰り返し模様情報検出部１３．０１からの繰り返し模様判定フラグおよび繰り返し模様強度データと外部入力データ取得部１７．０１からの調整量補正方法に係わるデータを受け取り、これらのデータに基づき、補正方法を決定し、補正方法情報を補正部８．０２に送る。ここで、入力される補正方法選択データは、実施の形態１乃至実施の形態５に記載の補正方法を選択できるだけでなく、「自動モード」として実施の形態６に記載の方法を選択することもできる。
【００８９】
以上の構成によって、ユーザの好みに応じた補正方法を選択することができる。  また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００９０】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００９１】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００９２】
本発明は、テレビジョン受信装置、形態電話、スマートフォンなどの立体表示にも利用できる。
【産業上の利用可能性】
【００９３】
本発明は、立体画像生成装置に利用可能である。
【符号の説明】
【００９４】
１．００  画像処理装置
１．０１  視点画像差演算部
１．０２  調整量演算部
１．０３  調整部
１．０４  繰り返し模様有無判断部
１．０５  調整量補正部
３．０１  画像変換部
３．０２  画像相関演算部
３．０３  判定部
【図１】
2013055619.tif 000009
【図２】
2013055619.tif 000010
【図３】
2013055619.tif 000011
【図４】
2013055619.tif 000012
【図５】
2013055619.tif 000013
【図６】
2013055619.tif 000014
【図７】
2013055619.tif 000015
【図８】
2013055619.tif 000016
【図９】
2013055619.tif 000017
【図１０】
2013055619.tif 000018
【図１１】
2013055619.tif 000019
【図１２】
2013055619.tif 000020
【図１３】
2013055619.tif 000021
【図１４】
2013055619.tif 000022
【図１５】
2013055619.tif 000023
【図１６】
2013055619.tif 000024
【図１７】
2013055619.tif 000025
【図１８】
2013055619.tif 000026