(57)【要約】【課題】立体映像において、位置によって画像処理強度が極端に変わることを抑制し、ひいては、立体感を向上することのできる技術を提供する。【解決手段】本発明の画像処理装置は、立体映像を構成する左眼画像と右眼画像の所定数のライン毎に、一致領域と不一致領域とを検出する領域検出手段と、一致領域の画素毎に、左眼画像と右眼画像の間の視差を検出する視差検出手段と、一致領域の画素毎に、その画素に対して検出された視差に応じて画像処理強度を決定し、不一致領域の画素毎に、その不一致領域の一方の端に隣接する一致領域の画素に対して決定された画像処理強度から、他方の端に隣接する一致領域の画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度を決定する決定手段と、左眼画像と右眼画像の各画素に対し、その画素に対して決定された画像処理強度で画像処理を施す画像処理手段と、を有する。【選択図】図１
2012049920.tif 000002
【特許請求の範囲】
【請求項１】
立体映像を構成する左眼画像と右眼画像の所定数のライン毎に、前記左眼画像と前記右眼画像の両方に存在する領域である一致領域と、一方の画像には存在し、他方の画像では死角となる領域である不一致領域とを検出する領域検出手段と、
前記一致領域の画素毎に、前記左眼画像と前記右眼画像の間の視差を検出する視差検出手段と、
前記一致領域の画素毎に、その画素に対して検出された視差に応じて画像処理の度合いを表す画像処理強度を決定し、前記不一致領域の画素毎に、その不一致領域の一方の端に隣接する一致領域の画素に対して決定された画像処理強度から、他方の端に隣接する一致領域の画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度を決定する決定手段と、
前記左眼画像と前記右眼画像の各画素に対し、その画素に対して決定された画像処理強度で画像処理を施す画像処理手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記不一致領域の中から、物体の境界を検出する境界検出手段を更に有し、
前記決定手段は、
前記境界検出手段で境界が検出され、且つ、前記不一致領域の一方の端に隣接する一致領域の画素である第１画素の視差より、他方の端に隣接する一致領域の画素である第２画素の視差が大きい場合に、
前記一方の端から前記境界までの各画素に対し、前記第１画素に対する画像処理強度を割り当て、
前記境界から前記他方の端までの各画素に対し、前記第１画素に対する画像処理強度から前記第２画素に対する画像処理強度へ徐々に変化するように画像処理強度を決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像処理強度の変化の仕方をユーザに選択させる選択手段を更に有し、
前記決定手段は、前記不一致領域の各画素に対し、ユーザによって選択された変化の仕方で徐々に変化するように画像処理強度を決定する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
立体映像を構成する左眼画像と右眼画像の所定数のライン毎に、前記左眼画像と前記右眼画像の両方に存在する領域である一致領域と、一方の画像には存在し、他方の画像では死角となる領域である不一致領域とを検出するステップと、
前記一致領域の画素毎に、前記左眼画像と前記右眼画像の間の視差を検出するステップと、
前記一致領域の画素毎に、その画素に対して検出された視差に応じて画像処理の度合いを表す画像処理強度を決定し、前記不一致領域の画素毎に、その不一致領域の一方の端に隣接する一致領域の画素に対して決定された画像処理強度から、他方の端に隣接する一致領域の画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度を決定するステップと、
前記左眼画像と前記右眼画像の各画素に対し、その画素に対して決定された画像処理強度で画像処理を施すステップと、
を有することを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
視差のある右眼画像（右眼用の画像）と左眼画像（左眼用の画像）を表示装置で表示することにより立体映像を再現する３Ｄ画像装置が知られている。
また、立体映像の立体感を向上するために、物体が手前にあるほど画像処理の度合い（以下、画像処理強度）を強くする方法が特許文献１に開示されている。具体的には、特許文献１には、手前にある物体ほど、輪郭補正の補正強度を強くしたり、コントラストを高めたり、色を濃くしたりする方法が開示されている。
また、右眼画像と左眼画像とで対応が取れている領域（奥行き（視差）が正しく検出された領域；一致領域）と取れていない領域（奥行きが正しく検出されなかった領域；不一致領域）を検出する方法が特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１５６８７５号公報
【特許文献２】特開２００１−１８４４９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示の技術では、不一致領域に対して画像処理強度を決定することができない。なぜならば、奥行きは左眼画像と右眼画像の視差により判断することができるが、不一致領域は一方の画像にしか映っていない領域（他方の画像では死角となっている領域）であるため、その領域の奥行きを判断できないからである。図１２を用いて詳しく説明する。
【０００５】
図１２は、左眼画像と右眼画像を得るための装置及び被写体の一例を示す模式図である。具体的には、図１２は、左眼用撮影装置１２０１と右眼用撮影装置１２０２により背景１２０３と物体１２０４を撮影している様子を表している。物体１２０４は、背景１２０３より手前（撮影装置側）にある物体である。左眼用撮影装置１２０１は左眼画像を得るための撮影装置であり、右眼用撮影装置１２０２は右眼画像を得るための撮影装置である。図中、Ｃ，Ｄ，Ｅ領域は物体の領域であり、Ａ，Ｂ，Ｆ，Ｇ領域は背景の領域である。
【０００６】
Ａ〜Ｇ領域のそれぞれについて以下に示す。
・Ａ領域：右眼用撮影装置及び左眼用撮影装置で撮影される背景の領域
・Ｂ領域：右眼用撮影装置によってのみ撮影される背景の領域
・Ｃ領域：右眼用撮影装置によってのみ撮影される物体の領域
・Ｄ領域：右眼用撮影装置及び左眼用撮影装置で撮影される物体の領域
・Ｅ領域：左眼用撮影装置によってのみ撮影される物体の領域
・Ｆ領域：左眼用撮影装置によってのみ撮影される背景の領域
・Ｇ領域：右眼用撮影装置及び左眼用撮影装置で撮影される背景の領域
ここで、Ａ，Ｄ，Ｇ領域は両方の撮影装置で撮影されるため、視差（奥行き）を判断することができる。しかし、Ｂ，Ｃ，Ｅ，Ｆ領域は一方の撮影装置によってのみ撮影される領域（他方の撮影装置の位置からは死角となる領域）であるため、視差を判断することができない。
そして、不一致領域に対して一様な画像処理強度を割り当てると、不一致領域と一致領
域との間で画像処理強度が極端に変わる虞がある。例えば、不一致領域であるＥ，Ｆ領域に対して、Ｇ領域に対する画像処理強度を割り当てると、不一致領域のＥ，Ｆ領域と一致領域のＤ領域との間で画像処理強度が極端に変化してしまう。その結果、画像に違和感が生じ、立体感が低減してしまう。
【０００７】
本発明は、立体映像において、位置によって画像処理強度が極端に変わることを抑制し、ひいては、立体感を向上することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、立体映像を構成する左眼画像と右眼画像の所定数のライン毎に、前記左眼画像と前記右眼画像の両方に存在する領域である一致領域と、一方の画像には存在し、他方の画像では死角となる領域である不一致領域とを検出する領域検出手段と、前記一致領域の画素毎に、前記左眼画像と前記右眼画像の間の視差を検出する視差検出手段と、前記一致領域の画素毎に、その画素に対して検出された視差に応じて画像処理の度合いを表す画像処理強度を決定し、前記不一致領域の画素毎に、その不一致領域の一方の端に隣接する一致領域の画素に対して決定された画像処理強度から、他方の端に隣接する一致領域の画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度を決定する決定手段と、前記左眼画像と前記右眼画像の各画素に対し、その画素に対して決定された画像処理強度で画像処理を施す画像処理手段と、を有する。
【０００９】
本発明の画像処理装置の制御方法は、立体映像を構成する左眼画像と右眼画像の所定数のライン毎に、前記左眼画像と前記右眼画像の両方に存在する領域である一致領域と、一方の画像には存在し、他方の画像では死角となる領域である不一致領域とを検出するステップと、前記一致領域の画素毎に、前記左眼画像と前記右眼画像の間の視差を検出するステップと、前記一致領域の画素毎に、その画素に対して検出された視差に応じて画像処理の度合いを表す画像処理強度を決定し、前記不一致領域の画素毎に、その不一致領域の一方の端に隣接する一致領域の画素に対して決定された画像処理強度から、他方の端に隣接する一致領域の画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度を決定するステップと、前記左眼画像と前記右眼画像の各画素に対し、その画素に対して決定された画像処理強度で画像処理を施すステップと、を有する。
【発明の効果】
【００１０】
本発明によれば、立体映像において、位置によって画像処理強度が極端に変わることを抑制し、ひいては、立体感を向上することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る画像処理装置の機能構成の一例を示すブロック図。
【図２】１ライン分の左眼画像と右眼画像の一例を示す図。
【図３】左眼境界検出部の処理の流れの一例を示すフローチャート。
【図４】左眼画像処理強度決定部の処理の流れの一例を示すフローチャート。
【図５】左眼画像処理強度の一例を示す図。
【図６】右眼画像処理強度の一例を示す図。
【図７】左眼画像と右眼画像を得るための装置及び被写体の一例を示す模式図。
【図８】左眼画像処理強度の一例を示す図。
【図９】右眼画像処理強度の一例を示す図。
【図１０】左眼画像処理強度の一例を示す図。
【図１１】右眼画像処理強度の一例を示す図。
【図１２】左眼画像と右眼画像を得るための装置及び被写体の一例を示す模式図。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、本発明の実施形態に係る画像処理装置及びその制御方法について説明する。図１に示すように、本実施形態に係る画像処理装置は、画素マッチング検出部１０３、左眼境界検出部１０４、右眼境界検出部１０５、左眼画像処理強度決定部１０６、右眼画像処理強度決定部１０７、左眼画像処理部１０８、右眼画像処理部１０９などを有する。
【００１３】
画素マッチング検出部１０３は、立体映像を構成する左眼画像と右眼画像の所定数のライン毎に、一致領域と不一致領域を検出し、検出結果を一致／不一致領域情報として出力する（領域検出手段）。一致領域は、左眼画像と右眼画像の両方に存在する領域（右眼画像と左眼画像とで対応が取れている領域）である。不一致領域は、一方の画像には存在し、他方の画像では死角となる領域（右眼画像と左眼画像とで対応が取れていない領域）である。
また、画素マッチング検出部１０３は、一致領域の画素毎に、左眼画像と右眼画像の間の視差を検出し、検出結果を視差情報として出力する（視差検出手段）。
【００１４】
図１２に示す左眼用撮影装置１２０１及び右眼用撮影装置１２０２で得られた各画像の１ライン分を図２に示す。図２のＡ〜Ｇ領域は、それぞれ、図１２のＡ〜Ｇ領域に対応している（即ち、Ａ，Ｂ，Ｆ，Ｇ領域は背景１２０３の領域、Ｃ，Ｄ，Ｅ領域は物体１２０４の領域である）。そして、図２に示すように、左眼画像では、左から順番にＧ，Ｆ，Ｅ，Ｄ，Ａ領域が撮影されており、右眼画像では、左から順番にＧ，Ｄ，Ｃ，Ｂ，Ａ領域が撮影されている。
【００１５】
画素マッチング検出部１０３は、１ライン分の左眼画像と右眼画像を画素毎に比較し、画像の一致／不一致領域の検出と対応する領域間の視差の検出を行う。
画素マッチング検出部１０３は、まず、左眼画像の一致領域及び不一致領域を検出する。一致／不一致領域は、例えば、特許文献２に開示の方法のようにブロックマッチングにより、画素毎に検出すれば良い。以下では画像の一致／不一致領域の検出は１ライン毎に行う場合について説明するが、数ライン毎に行ってもよい。また、本実施形態ではライン方向が水平方向である場合について説明するが、ライン方向は垂直方向であってもよい。水平方向、垂直方向の両方について、それぞれ、ライン毎に画像の一致／不一致領域の検出を行ってもよい。
例えば、特許文献２に開示の方法により、左眼画像のＧ領域の画素毎に、右眼画像の各画素と比較すると、左眼画像のＧ領域が右眼画像のＧ領域と一致することが検出できる。即ち、左眼画像のＧ領域が、右眼画像のＧ領域に対応する一致領域として検出される。同様に、左眼画像のＤ，Ａ領域が、それぞれ、右眼画像のＤ，Ａ領域に対応する一致領域として検出される。また、左眼画像のＦ，Ｅ領域が不一致領域として検出される。
画素マッチング検出部１０３は、同様に、右眼画像の一致領域及び不一致領域を検出する。その結果、右眼画像のＧ，Ｄ，Ａ領域が、それぞれ、左眼画像のＧ，Ｄ，Ａ領域に対応する一致領域として検出され、Ｂ，Ｃ領域が不一致領域として検出される。
【００１６】
次に、左眼画像と右眼画像の一致領域の検出結果に基づいて、視差を検出する。図２の例では、Ｇ，Ａ領域の画素位置は左眼画像と右眼画像とで同じ位置となり、Ｄ領域の画素位置は左眼画像と右眼画像とで異なる位置となる。本実施形態では、一致領域の画素位置が左眼画像と右眼画像とで同じ場合、該画素位置の視差として０を設定する。また、一致領域の画素位置が左眼画像と右眼画像とで異なる場合、視差として画素位置のずれ量（左眼画像と右眼画像の間でずれている画素数）を設定する。
【００１７】
但し、画素位置間の位置関係から、その画素位置が、立体視した際に、視差が０の位置よりも手前となるのか否かを判断し、手前となる場合には視差を正の値とし、そうでない場合には視差を負の値とするものとする。
例えば、右眼画像のＤ領域の画素位置が左眼画像の対応する画素位置（Ｄ領域の画素位置）に対し左側へ５画素ずれている場合には、それらの画素位置が立体視した際にＧ，Ａ領域（視差が０の領域）よりも手前となると判断し、視差として＋５を設定する。右眼画像のＤ領域の画素位置が左眼画像の対応する画素位置に対し左側へ１０,３０画素ずれて
いる場合には、視差として＋１０，＋３０を設定する。右眼画像のＤ領域の画素位置が左眼画像の対応する画素位置に対し右側へ５画素ずれている場合には、Ｄ領域の部分の画像は立体視した際にＧ，Ａ領域よりも奥の位置に知覚されると判断し、視差として−５を設定する。
【００１８】
左眼境界検出部１０４及び右眼境界検出部１０５は、不一致領域の中から物体の境界を検出する。即ち、本実施形態では、左眼境界検出部１０４と右眼境界検出部１０５により、本発明の境界検出手段が実現される。以下、左眼境界検出部１０４及び右眼境界検出部１０５の機能について詳しく説明する。
【００１９】
左眼境界検出部１０４は、左眼画像の一致／不一致領域情報（左眼一致／不一致領域情報）を用いて、左眼画像の不一致領域の中から物体の境界を検出し、検出結果を左眼境界位置情報として出力する。図２の例では、左眼境界検出部１０４により、不一致領域内に存在するＥ領域とＦ領域との境界が検出される。境界の検出方法について、図２及び図３を用いて説明する。図３は、左眼境界検出部１０４の処理の流れの一例を示すフローチャートである。
【００２０】
まず、左眼境界検出部１０４は、不一致領域の画素毎に、その画素の値（画素値）と、その画素に隣接する画素（隣接画素）の値との差分の絶対値を算出する。画素値としては例えば輝度値やＲ値、Ｇ値、Ｂ値等があげられる。そして、算出された絶対値の最大値を抽出する（Ｓ３０１）。図２の例では、左眼画像のＦ領域とＥ領域を併せた領域の画素毎に、その画素の値と隣接画素の値との差分の絶対値が算出され、算出された絶対値の最大値ｂが抽出される。
【００２１】
次に、左眼境界検出部１０４は、最大値ｂと所定の閾値ａを比較する（Ｓ３０２）。最大値ｂが閾値ａより大きい場合には（Ｓ３０２：ＹＥＳ）、左眼境界検出部１０４は、不一致領域内に境界が存在すると判断し、最大値ｂが算出された画素位置を物体の境界の位置（左眼境界位置）として検出する（Ｓ３０３）。図２の例では、背景１２０３と物体１２０４の境界である、Ｆ領域とＥ領域の境界の位置が左眼境界位置として検出される。最大値ｂが閾値ａ以下である場合には（Ｓ３０２：ＮＯ）、左眼境界検出部１０４は、境界が存在しないと判断する（Ｓ３０４）。
【００２２】
右眼境界検出部１０５は、右眼画像の一致／不一致領域情報（右眼一致／不一致領域情報）を用いて、右眼画像の不一致領域の中から物体の境界を検出し、検出結果を右眼境界位置情報として出力する。境界の検出方法は左眼境界検出部１０４による検出方法（図３）と同様であるため、その説明は省略する。図２の例では、背景１２０３と物体１２０４の境界である、Ｂ領域とＣ領域の境界の位置が物体の境界の位置（右眼境界位置）として検出される。
【００２３】
左眼画像処理強度決定部１０６及び右眼画像処理強度決定部１０７は、一致領域の画素毎に、その画素に対して検出された視差に応じて画像処理の度合いを表す画像処理強度を決定する。また、不一致領域の画素毎に、その不一致領域の一方の端に隣接する一致領域の画素に対して決定された画像処理強度から、他方の端に隣接する一致領域の画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度を決定する。即ち、本実施形態では、左眼画像処理強度決定部１０６と右眼画像処理強度決定部１０７により、本発明の決定手段が実現される。
【００２４】
更に、本実施形態では、不一致領域内の境界が検出され、且つ、不一致領域の一方の端に隣接する一致領域の画素（第１画素）の視差より、他方の端に隣接する一致領域の画素（第２画素）の視差が大きい場合に、以下の処理を行う。
・一方の端から境界までの各画素に対し、第１画素に対する画像処理強度を割り当てる。
・境界から他方の端までの各画素に対し、第１画素に対する画像処理強度から第２画素に対する画像処理強度へ徐々に変化するように画像処理強度を決定する。
以下、左眼画像処理強度決定部１０６及び右眼画像処理強度決定部１０７の機能について詳しく説明する。
【００２５】
左眼画像処理強度決定部１０６は、視差情報、左眼境界位置情報、及び、左眼一致／不一致領域情報より、左眼画像の画像処理強度（左眼画像処理強度）を決定する。左眼画像処理強度の決定方法について、図４及び図５を用いて説明する。図４は、左眼画像処理強度決定部１０６の処理の流れの一例を示すフローチャートである。図５は、図２に示す左眼画像に対して決定された左眼画像処理強度の一例を示す図である。
【００２６】
まず、左眼画像処理強度決定部１０６は、視差情報と左眼一致／不一致領域情報を用いて、立体視した際に手前になるほど強くなるように、一致領域の各画素に対して画像処理強度を決定する（Ｓ４０１）。図５の例では、Ａ領域とＧ領域の各画素の画像処理強度は、視差が０であるため、０とされる。また、Ｄ領域の各画素の画像処理強度は、視差が＋５であるため、＋５とされる。視差が＋１００以上の場合は、画像処理強度は＋１００とされ、視差−１００以下の場合は、画像処理強度は−１００とされる。
なお、画像処理強度の決定方法はこれに限らない。視差と画像処理強度は異なる値であってもよい。本実施形態では、立体視した際に手前になるほど強くなるように画像処理強度を決定しているが、立体視した際に手前になるほど弱くなるように、画像処理強度が決定されてもよい。
【００２７】
そして、左眼画像処理強度決定部１０６は、左眼境界検出部１０４で検出された左眼境界位置をα点として設定する（Ｓ４０２）。左眼境界位置は、左眼画像の不一致領域内の境界位置であり、図５の例ではＦ領域とＥ領域の境界（物体１２０４と背景１２０３の境界）の位置である。この左眼境界位置がα点として設定される。また、左眼境界位置が検出されなかった場合には、左眼画像処理強度決定部１０６は、α点を設定しない。
【００２８】
次に、左眼画像処理強度決定部１０６は、左眼境界位置（α点）によって分けられた２つの不一致領域にそれぞれ隣接する２つの一致領域の画素の視差を比較し、視差が大きい画素と不一致領域との境界の位置をβ点として設定する（Ｓ４０３）。図５の例では、Ｆ領域に隣接するＧ領域の画素（第１画素）の視差は０であり、Ｅ領域に隣接するＤ領域の画素（第２画素）の視差は＋５である。そのため、Ｅ領域とＤ領域の境界の位置がβ点として設定される。
【００２９】
そして、左眼画像処理強度決定部１０６は、視差情報と左眼一致／不一致領域情報、及び、α点とβ点の情報を用いて、不一致領域の画像処理強度を決定する（Ｓ４０４）。
具体的には、左眼画像処理強度決定部１０６は、Ｆ領域を背景１２０３の領域と判断し、Ｆ領域の各画素に対し、第１画素に対する画像処理強度（０）を設定する。また、α点からβ点までの領域（Ｅ領域）を物体１２０４の側面の領域であると判断し、Ｅ領域の各画素に対し、第１画素に対する画像処理強度（０）から第２画素に対する画像処理強度（＋５）へ線形に変化するように画像処理強度を決定する。これは、Ｅ領域が物体の側面の領域であり、α点からβ点に向かって視差が第１画素の視差から第２画素の視差へ徐々に変化していく領域であると考えられるからである。
また、α点やβ点が設定されなかった場合には、不一致領域の画素毎に、第１画素に対して決定された画像処理強度から、第２画素に対して決定された画像処理強度へ線形に変化するように画像処理強度を決定する。
【００３０】
右眼画像処理強度決定部１０７は、視差情報、右眼境界位置情報、及び、右眼一致／不一致領域情報より、右眼画像の画像処理強度（右眼画像処理強度）を決定する。右眼境界位置は、右眼画像の不一致領域内の境界位置であり、図６の例ではＣ領域とＤ領域の境界（物体１２０４と背景１２０３の境界）の位置である。右眼画像処理強度の決定方法は左眼画像処理強度の決定方法（図４）と同様のため、その説明は省略し、処理結果（図２に示す右眼画像に対する右眼画像処理強度の決定結果）の一例について図６を用いて説明する。
【００３１】
図６に示すように、一致領域であるＡ領域とＧ領域の各画素の画像処理強度は、視差が０であるため、０とされる。一致領域であるＤ領域の各画素の画像処理強度は、視差が＋５であるため、＋５とされる。
そして、不一致領域であるＣ領域とＢ領域の境界の位置（右眼境界位置）がα点とされる。また、図６の例では、Ｂ領域に隣接するＡ領域の画素（第１画素）の視差は０であり、Ｃ領域に隣接するＤ領域の画素（第２画素）の視差は＋５である。そのため、Ｄ領域とＣ領域の境界の位置がβ点とされる。Ｂ領域は背景１２０３の領域であると判断され、Ｂ領域の各画素に対し、第１画素に対する画像処理強度（０）が設定される。α点からβ点までの領域（Ｃ領域）は物体１２０４の側面の領域であると判断され、Ｃ領域の各画素に対し、第１画素に対する画像処理強度（０）から第２画素に対する画像処理強度（＋５）へ線形に変化するように画像処理強度が決定される。
【００３２】
左眼画像処理部１０８及び右眼画像処理部１０９は、左眼画像と右眼画像の各画素に対し、その画素に対して決定された画像処理強度で画像処理を施す（画像処理手段）。即ち、本実施形態では、左眼画像処理部１０８と右眼画像処理部１０９により、本発明の決定手段が実現される。以下、左眼画像処理部１０８及び右眼画像処理部１０９の機能について詳しく説明する。
【００３３】
左眼画像処理部１０８は、左眼画像の各画素に対し、左眼画像処理強度決定部１０６でその画素に対して決定された画像処理強度で画像処理を施す。画像処理は、例えば、立体映像の立体感を増幅するための輪郭強調処理であることが好ましいが、これに限らず、コントラストや色の濃淡を補正する処理であってもよい。画像に施される処理であればどのような処理であってもよい。
【００３４】
本実施形態では、左眼画像の画素毎に、その画素に対する画像処理強度から輪郭強調の度合い（輪郭強調度合い）が決定される。輪郭強調度合いは、以下の式１で決定される。式１において、基準輪郭強調度合いは、予め定められた輪郭強調度合いの基準値である。輪郭強調度合い＝基準輪郭強調度合い×（１＋画像処理強度／１００）      （式１）
左眼画像処理部１０８は、左眼画像の各画素に対し、その画素に対して決定された輪郭強調度合いで輪郭強調処理を施す。
【００３５】
右眼画像処理部１０９は、右眼画像処理強度決定部１０７で決定した画像処理強度で、右眼画像に対し画像処理を施す。画像処理方法は左眼画像処理部１０８と同様のため、説明は省略する。
なお、本実施形態では、画像処理強度から輪郭強調度合いを決定するものとしたが、画像処理強度が輪郭強調度合いそのものであってもよい。
【００３６】
以上述べたように、本実施形態によれば、不一致領域の画素毎に、第１画素に対して決
定された画像処理強度から、第２画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度が決定される。それにより、立体映像において、位置によって画像処理強度が極端に変わることを抑制することができる。具体的には、一致領域と不一致領域との間で画像処理強度が極端に変わることを抑制することができる。ひいては立体感を向上することが可能となる。
【００３７】
また、本実施形態によれば、境界が検出され、且つ、第１画素の視差より第２画素の視差が大きい場合に、一方の端から境界までの領域と境界から他方の端までの領域とで異なるにより画像処理強度が決定される。それにより、不一致領域の各画素に対してより適切な画像処理強度を決定することができる。具体的には、不一致領域内において、背景の領域と物体の側面の領域とを区別して画像処理強度を決定することができる。
【００３８】
なお、本実施形態では、図１２に示すように物体の表面が平面である場合の例について説明したが、物体の形状は特に限定されない。図７は、左眼用撮影装置７０１と右眼用撮影装置７０２により背景７０３と物体７０４を撮影していることを表している。図７に示すように、物体７０４の表面は曲面である。図８は、左眼用撮影装置で得られた左眼画像（１ライン分）に対して決定された左眼画像処理強度の一例を示す。図９は、右眼用撮影装置で得られた左眼画像（１ライン分）に対して決定された右眼画像処理強度の一例を示す。図８，９に示すように、物体の表面が曲面であったとしても、左眼画像においてはＥ領域とＦ領域の境界、右眼画像においてはＢ領域とＣ領域の境界が検出され、その境界を基点に画像処理強度が決定される。それにより、上記効果を得ることができる。
【００３９】
なお、本実施形態では、図５，６に示すように、画像処理強度が位置に対して線形に変化するものとしたが、画像処理強度の変化の仕方はこれに限らない。単調に変化していれば非線形に変化してもよい。
例えば、図１０，１１に示すように、画像処理強度Ａ１〜Ａ３，Ｂ１〜Ｂ３のように画像処理強度が変化してもよい。画像処理強度Ａ２，Ｂ２は、線形に変化する画像処理強度である。画像処理強度Ａ１は、画像処理強度Ａ２よりもＤ領域の画像処理強度の重みが大きい非線形に変化する画像処理強度である。画像処理強度Ａ３は、画像処理強度Ａ２よりもＦ領域の画像処理強度の重みが大きい非線形に変化する画像処理強度である。画像処理強度Ｂ１は、画像処理強度Ｂ２よりもＤ領域の画像処理強度の重みが大きい非線形に変化する画像処理強度である。画像処理強度Ｂ３は、画像処理強度Ｂ２よりもＢ領域の画像処理強度の重みが大きい非線形に変化する画像処理強度である。
また、画像処理装置が、画像処理強度の変化の仕方をユーザに選択させる選択部（選択手段）を更に有していてもよい。その場合には、左眼画像処理強度決定部１０６及び右眼画像処理強度決定部１０７は、不一致領域の各画素に対し、ユーザによって選択された変化の仕方で徐々に変化するように画像処理強度を決定すればよい。例えば、画像処理強度Ａ１〜Ａ３と画像処理強度Ｂ１〜Ｂ３から、それぞれ、使用する画像処理強度をユーザに選択させる構成であってもよい。
【００４０】
なお、本実施形態では、不一致領域の中から物体の境界を検出する構成としたが、境界の検出は行わなくてもよい。境界の有無によらず、不一致領域の画素毎に、第１画素に対して決定された画像処理強度から、第２画素に対して決定された画像処理強度へ徐々に変化するように画像処理強度を決定してもよい。そのような方法であっても、立体映像において、位置によって画像処理強度が極端に変わることを抑制することができる。
【符号の説明】
【００４１】
１０３：画素マッチング検出部，１０６：左眼画像処理強度決定部，１０７：右眼画像処理強度決定部，１０８：左眼画像処理部，１０９：右眼画像処理部
【図１】
2012049920.tif 000003
【図２】
2012049920.tif 000004
【図３】
2012049920.tif 000005
【図４】
2012049920.tif 000006
【図５】
2012049920.tif 000007
【図６】
2012049920.tif 000008
【図７】
2012049920.tif 000009
【図８】
2012049920.tif 000010
【図９】
2012049920.tif 000011
【図１０】
2012049920.tif 000012
【図１１】
2012049920.tif 000013
【図１２】
2012049920.tif 000014