(57)【要約】【課題】深度の存在頻度がほぼ一様な画像の場合でも、被写体内の深度分布を保ったまま深度範囲を縮小する。【解決手段】深度画像の深度範囲を縮小する画像処理装置であって、前記深度画像を二つの領域に分割する領域分割部と、前記二つの領域の少なくとも一方において深度を所定の量だけ変更する深度変更部と、を有することを特徴とする画像処理装置。【選択図】図１
2015142260.tif 000002
【特許請求の範囲】
【請求項１】
深度画像の深度範囲を縮小する画像処理装置であって、
前記深度画像を二つの領域に分割する領域分割部と、
前記二つの領域の少なくとも一方において深度を所定の量だけ変更する深度変更部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記領域分割部は、前記深度画像を変換して隣接する画素間で連続した値をもつ切断面画像を生成する切断面画像生成部と、前記深度画像と前記切断面画像の画素値を対応する各画素において比較し、前記深度画像の画素値が前記切断面画像の画素値より大きい画素を抽出することで前記深度画像を二つの領域に分割する切断処理部とを有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
さらに、前記深度画像から３次元の深度構造マップを生成する深度構造マップ生成部を有し、
前記切断面画像生成部は、すべての画素において前記深度構造マップの値の和が最小となる深度値を求めることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記深度が立体画像の奥行きを表わすことを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記深度が画像の輝度値を表わすことを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深度情報を処理する画像処理技術に関する。
【背景技術】
【０００２】
例えば、画像表示装置により立体画像を表示するために用いられている技術では、人間の左右の目に異なる映像を提示することで立体表示を実現しており、左右目用画像内の物体のずれである視差により奥行きを再現している。再現可能な奥行きの範囲は表示装置の仕様に依存し、表示装置に入力される画像の奥行き範囲が再現可能な奥行き範囲よりも広い場合は、奥行き範囲を変換してから表示する必要がある。
【０００３】
特許文献１には、再現可能な奥行き範囲内でより良好な奥行き感を得られるように、画像内の奥行きの存在頻度を用いて奥行きマップを変換するマップ変換方法が示されている。奥行きマップとは各画素に奥行き値を保持した画像である。
【０００４】
図６は、奥行きの存在頻度（度数）を示すヒストグラムの例である。図６（Ａ）は入力画像の画素毎の奥行きの存在頻度を示すヒストグラムの例を示す図である。縦軸が度数、横軸が階級値である。図６（Ａ）は双峰性のグラフになっており、二つの山の間には頻度が０となる奥行きの範囲がある。例えば、画像内に２つの被写体があり、一方が手前に、他方が奥に位置する場合にこのようなヒストグラムとなる。以下では、被写体が手前に位置するほど奥行き値が大きく、被写体が奥に位置するほど奥行き値が小さいと表わすことにする。右の山（ピーク）が手前の被写体による値であり、左の山（ピーク）が奥の被写体による値である。奥行き範囲に相当するピークの裾間の階級値の差はＷ１である。
【０００５】
図６（Ｂ）は、図６（Ａ）のヒストグラムに対して奥行き変換を行った後の奥行きの存在頻度を示すヒストグラムである。図６（Ｂ）の奥行きの最小値は図６（Ａ）と同じであるが、最大値を図６（Ａ）よりも小さくしたものである。左側の山の位置はＡと同じであるが、右側の山を左方にずらし、二つの山を隙間なく付けたことで最大値が小さくなっている。つまり、２つの被写体のうち、奥の被写体をそのままにして手前の被写体の位置を奥側に移動させている。このように変換することで、各被写体内部の奥行き変化を保ったまま、全体の奥行き範囲を縮小することができる（Ｗ１＞Ｗ２）。
【０００６】
また、奥行きの変換とは異なり、画像の輝度値の範囲を変換するトーンマッピングにおいても、画像における画素毎の輝度値の存在頻度を用いた変換方法が用いられている。トーンマッピングとは、ダイナミックレンジの広い画像からダイナミックンレンジの狭い画像に変換する処理である。特許文献２には、輝度値のヒストグラムを用いて生成したマッピング関数による変換方法が示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−１３４８８１号公報
【特許文献２】特開２００７−３１０８８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、奥行き変換処理において、奥行きの頻度がほぼ一様となる奥行きマップの場合、ヒストグラムを用いた従来の奥行き変換方法では効率よく奥行き範囲を縮小することが困難であった。図６（Ｃ）は入力画像の奥行きの存在頻度がほぼ一様となる場合のヒストグラムの例である。
【０００９】
また、画像の輝度値の範囲を変換するトーンマッピング処理についても、奥行き変換処理と同様の課題を有し、入力画像の輝度値の存在頻度がほぼ一様となる場合は、ヒストグラムを用いた従来の変換方法では効率よく輝度値の範囲を縮小することが困難であった。
【００１０】
本明細書では、奥行きマップを構成する各画素の奥行き値、輝度画像を構成する各画素の輝度値などの、画像の各画素に割り当てられた数値を深度と総称する。ヒストグラムでいえば、階級値の値が深度に相当する。深度画像とは、深度をパラメータとして有する画像である。
【００１１】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、例えば、深度の存在頻度（度数）がほぼ一様な画像の場合でも、被写体内の深度分布を保ったまま深度範囲を縮小することが可能な画像処理方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、深度画像の深度範囲を縮小する画像処理装置であって、前記深度画像を二つの領域に分割する領域分割部と、前記二つの領域の少なくとも一方において深度を所定の量だけ変更する深度変更部と、を有することを特徴とする画像処理装置である。
【００１３】
前記領域分割部は、前記深度画像を変換して隣接する画素間で連続した値をもつ切断面画像を生成する切断面画像生成部とし、前記深度画像と前記切断面画像の画素値を対応する各画素において比較し、前記深度画像の画素値が前記切断面画像の画素値より大きい画素を抽出することで前記深度画像を二つの領域に分割する切断処理部とを有することを特徴とする。
【００１４】
さらに、前記深度画像から３次元の深度構造マップを生成する深度構造マップ生成部を有し、前記切断面画像生成部は、すべての画素において前記深度構造マップの値の和が最小となる深度値を求めることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、深度の存在頻度がほぼ一様な画像の場合でも、被写体内の深度分布を保ったまま深度範囲を縮小することが可能な画像処理技術を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態に係る画像処理装置の一構成例を示す機能ブロック図である。
【図２Ａ】切断面を説明する図である。
【図２Ｂ】式（５）の概要を説明する図である。
【図３】本発明の第１の実施形態に係る画像処理方法を示すフロー図である。
【図４】本発明の第２の実施形態に係る画像処理装置の一構成例を示す機能ブロック図である。
【図５】本発明の第２の実施形態に係る画像処理方法を示すフロー図である。
【図６】奥行きの存在頻度を示すヒストグラムの例を示す図である。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照しながら本発明の一実施形態について詳細に説明する。
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。本実施形態の画像処理装置１０は、奥行きマップを入力し、奥行き変換処理を行い、変換後奥行きマップを出力する。図１で示したように、画像処理装置１０は、奥行きマップ入力部１１と、奥行き変換量算出部１２と、奥行き変換部１３と、出力部１４とを有している。
【００１９】
以下、画像処理装置１０における各部の詳細を説明する。奥行きマップ入力部１１は、奥行きマップを入力し、奥行き変換量算出部１２へ出力する。ここで入力される奥行きマップの値は、画素ごとの奥行きが取得できる測距カメラにより得られるカメラから被写体までの距離でもよいし、ステレオカメラで撮影された画像から画像処理によって生成される視差もしくは視差から算出したステレオカメラと被写体間の距離であってもよい。
【００２０】
奥行き変換量算出部１２は、まず、奥行きマップから奥行きの最小値と最大値を算出し、それぞれ入力奥行き最小値ｐｍｉｎ、入力奥行き最大値ｐｍａｘとする。次に、入力奥行き最大値ｐｍａｘと入力奥行き最小値ｐｍｉｎから次式で奥行き変換量ｋを算出する。
【００２１】
2015142260.tif 000003
【００２２】
式（１）において、ｑｍａｘ、ｑｍｉｎはそれぞれ出力奥行き最大値、出力奥行き最小値であり、それぞれ予め定めた定数である。ここで、出力奥行き最大値と出力奥行き最小値はそれぞれ、本画像処理装置の出力する奥行きマップの最大値と最小値を示す。それらの値は、例えば、表示装置が再生可能な奥行き範囲によって予め定められても良いし、ユーザが個別に設定しても良い。そして、奥行き変換量算出部１２は奥行きマップ、入力奥行き最小値、出力奥行き最小値、奥行き変換量を奥行き変換部１３へ出力する。
【００２３】
奥行き変換部１３は、奥行き構造マップ生成部１３１と、切断面画像生成部１３２と、切断処理部１３３とを備える。奥行き構造マップ生成部１３１は、奥行きマップＰ（ｘ，ｙ）から奥行き構造マップＺ（ｘ，ｙ，ｄ）を生成する。（ｘ，ｙ）は画素の位置座標を示し、ｄはその画素の奥行きを示す。ｍ、ｎをそれぞれ奥行きマップの横画素数、縦画素数とすると、奥行き構造マップＺ（ｘ，ｙ，ｄ）は、０≦ｘ≦ｍ−１、０≦ｙ≦ｎ−１、ｐｍｉｎ≦ｄ≦ｐｍａｘの範囲で定義される３次元配列である。
【００２４】
奥行き構造マップＺ（ｘ，ｙ，ｄ）は次式で算出され、座標（ｘ，ｙ）の画素とその近傍に、奥行きがｄである画素が存在する頻度を表すものである。ただし、頻度そのものではなく、ｇ（ｉ，ｊ）による重みづけを行っている。
【００２５】
2015142260.tif 000004
【００２６】
ｗ１、ｗ２、σは予め定めた正の定数である。奥行き構造マップ生成部１３１は、得られた奥行き構造マップＺ（ｘ，ｙ，ｄ）を切断面画像生成部１３２に出力する。
【００２７】
切断面画像生成部１３２は切断面の位置を表わす画像である切断面画像を生成する。切断面とは、奥行き構造マップＺ（ｘ，ｙ，ｄ）をｄ軸と垂直方向の面で切断する面である。
【００２８】
図２Ａは切断面の例を示す図であり、符号２１は奥行き構造マップが存在する範囲、符号２２は切断面である。切断面は平面である必要はなく、各座標（ｘ，ｙ）について１つのｄの位置を通り、座標（ｘ，ｙ）によって異なるｄの位置を通ってよい。ただし、座標（ｘ，ｙ）の画素とそれに隣接する画素の間では、切断面が通るｄの値の差分絶対値が閾値以下であるという条件を満たすものとする。
【００２９】
この条件のもとで、全ての（ｘ，ｙ）での奥行き構造マップＺ（ｘ，ｙ，ｄ）の値の和が最も小さくなるように切断面を算出する。すなわち、（ｘ，ｙ）とその近傍に奥行きｄを持つ画素が存在する頻度が少ないｄを通るように切断面を算出する。
【００３０】
なお、切断面を算出するとは、各座標（ｘ，ｙ）について切断面が通るｄの値を求めることである。各座標（ｘ，ｙ）について切断面が通るｄの値を保持した画像を切断面画像Ａ（ｘ，ｙ）とする。切断面画像の生成はまずｙ＝０について行い、その後ｙ＝１からｎ−１まで順に行う。各ｙについて評価値Ｕ（ｘ，ｙ，ｄ）を求め、動的計画法を用いて切断面画像を生成する。
【００３１】
ｙ＝０における処理は以下のように行う。まず、評価値Ｕ（ｘ，０，ｄ）をｘ＝０から順にｘ＝ｍ−１まで次式で算出する。
【００３２】
2015142260.tif 000005
【００３３】
このとき、ｍｉｎで最小を与えたｄ’の値を配列Ｂ（ｘ，ｙ，ｄ）に保存しておく。α、βは正の定数である。次に、ｘ＝ｍ−１についてＵ（ｍ−１，０，ｄ）の中から最小の値を与えるｄをδとし、δを座標（ｍ−１，０）での切断面とする。つまり、Ａ（ｍ−１，０）＝δとする。そして、ｘ＝ｍ−２からｘ＝０まで順にＡ（ｘ，０）＝Ｂ（ｘ−１，０，Ａ（ｘ−１，０））によって切断面を算出する。
【００３４】
ｙ＞０における処理は以下のように行う。まず、評価値Ｕ（ｘ，ｙ，ｄ）をｘ＝０から順にｘ＝ｍ−１まで次式で算出する。
【００３５】
2015142260.tif 000006
【００３６】
Ｃは無限大とみなせる大きい定数である。このとき、ｍｉｎで最小をとったｄ’の値を配列Ｂ（ｘ，ｙ，ｄ）に保存しておく。次に、ｘ＝ｍ−１についてＵ（ｍ−１，ｙ，ｄ）の中から最小の値を与えるｄをδとし、δを座標（ｍ−１，ｙ）での切断面とする。つまり、Ａ（ｍ−１，ｙ）＝δとする。そして、ｘ＝ｍ−２からｘ＝０まで順にＡ（ｘ，ｙ）＝Ｂ（ｘ−１，ｙ，Ａ（ｘ−１，ｙ））によって切断面を算出する。
【００３７】
この手順を各ｙについて順に行うことで、全ての座標（ｘ，ｙ）について切断面画像Ａ（ｘ，ｙ）の値が算出される。最後に、奥行き構造マップＺ（ｘ，ｙ，ｄ）に対し、ｄ＝Ａ（ｘ，ｙ）を満たす全ての（ｘ，ｙ，ｄ）についてＺ（ｘ，ｙ，ｄ）＝Ｃとする。Ｃは無限大とみなせる大きい定数である。
【００３８】
このようにして得られた切断面画像は、各座標（ｘ，ｙ）について、Ａ（ｘ，ｙ）とＡ（ｘ−１，ｙ）との差分絶対値がα以下になっている。これは、式（３）、（４）において、ｍｉｎをとる範囲をｄ＋α≦ｄ’≦ｄ−αに制限したことによる効果である。また、各座標（ｘ，ｙ）について、Ａ（ｘ，ｙ）とＡ（ｘ，ｙ−１）との差分絶対値がα以下になっている。これは、式（４）において、｜ｄ−Ａ（ｘ，ｙ−１）｜＞αの場合に評価値をＣとしたことによる効果である。つまり、このようにして得られた切断面画像は、隣接する画素間で連続した値をもつという性質をもつ。
【００３９】
以上で説明した切断面画像生成部１３２の処理は、奥行き変換量ｋが１の場合のものである。ｋ＞１の場合は、この処理をｋ回繰り返し、ｋ枚の切断面画像を算出する。そして、得られたｋ枚の切断面画像を切断処理部１３３へ出力する。
【００４０】
切断処理部１３３では、奥行きマップＰ（ｘ，ｙ）から変換後奥行きマップＱ（ｘ，ｙ）を算出する。ｋ＝１の場合は、次式を用いて算出する。
【００４１】
2015142260.tif 000007
【００４２】
図２Ｂは、式（５）の概要を説明するための図である。（ａ）は、ｙ＝ｙ１の時、（ｂ）はｙ＝ｙ２のときの図面である。この図では、それぞれｙ＝ｙ１、ｙ＝ｙ２の場合のＰ（ｘ、ｙ）とＡ（ｘ、ｙ）およびＱ（ｘ、ｙ）との関係の２次元図を示す。本実施の形態では、Ｐ（ｘ、ｙ）がＡ（ｘ、ｙ）によって分けられた２つ領域Ｘ（ハッチを付した領域）,Ｙ（ハッチが付されていない領域）において異なる処理が行われ、上記の式（５）では領域Ｙに存在するＰ（ｘ、ｙ）はｄ＝１だけ変化してＱ（ｘ，ｙ）となることが示されている。尚、図２Ｂにおいて、●はＰ（ｘ，ｙ）を、▲はＱ（ｘ、ｙ）を、×はＡ（ｘ、ｙ）をそれぞれ示しており、ｘ，ｙは、それぞれの画素の座標を示している。このように、連続的な値は取らず離散的な値となる。
【００４３】
ｋ＞１の場合は、まず１枚目の切断面画像を式（５）のＡ（ｘ，ｙ）に入力してＱ（ｘ，ｙ）を算出する。そして、得られたＱ（ｘ，ｙ）を式（５）のＰ（ｘ，ｙ）に代入し、２枚目の切断面画像を式（５）のＡ（ｘ，ｙ）に代入して再度Ｑ（ｘ，ｙ）を算出する。この処理を繰り返し、ｋ枚の切断面画像を用いて式（５）の計算をｋ回行う。これにより、奥行きの最大値がｋだけ小さくなる。
【００４４】
切断処理部１３３では最後に、得られたＱ（ｘ，ｙ）について、全ての座標（ｘ，ｙ）において、ｑｍｉｎ−ｐｍｉｎを加算する。これにより、最小値と最大値がそれぞれｑｍｉｎとｑｍａｘになる変換後奥行きマップＱ（ｘ，ｙ）が生成される。
【００４５】
上記の式（５）を用いた処理により、奥行きマップにおいて、切断面画像における同じ座標の画素の値より奥行き値が大きい画素の奥行き値を変更することで奥行きマップの奥行き範囲が縮小される。なお、式（５）の代わりに式（６）を用いてもよい。
【００４６】
2015142260.tif 000008
【００４７】
式（６）の場合、奥行きの最小値を１だけ大きくする効果がある。奥行きマップにおいて、切断面画像における同じ座標の画素の値より奥行き値が小さい画素の奥行き値を変更することで奥行きマップの奥行き範囲が縮小される。ｋ＞１の場合は式（６）の処理をｋ回行った後、得られたＱ（ｘ，ｙ）について、全ての座標（ｘ，ｙ）において、ｑｍａｘ−ｐｍａｘを加算する。これにより、最小値と最大値がそれぞれｑｍｉｎとｑｍａｘになる変換後奥行きマップＱ（ｘ，ｙ）が生成される。
【００４８】
最後に、奥行き変換部１３は生成した変換後奥行きマップＱ（ｘ，ｙ）を出力部１４に出力する。出力部１４は、変換後奥行きマップＱ（ｘ，ｙ）を画像処理装置１０から出力する。
【００４９】
なお、切断処理部１３３の式（５）において、Ｐ（ｘ，ｙ）から１を引いてＰ（ｘ，ｙ）−１としているが、引く量は１に限定するものではなく、予め定めた所定の量ｒを引いてＰ（ｘ，ｙ）−ｒとしてもよい。同様に式（６）において、Ｐ（ｘ，ｙ）に１を加えてＰ（ｘ，ｙ）＋１としているが、加える量は１に限定するものではなく、予め定めた所定の量ｒを加えてＰ（ｘ，ｙ）＋ｒとしてもよい。このようにｒを用いる場合は、切断面画像生成部１３２の処理を繰り返す回数はｋ／ｒ回とし、ｋ／ｒ枚の切断面画像を生成する。また、切断処理部１３３の処理を繰り返す回数をｋ／ｒ回とする。
【００５０】
次に、本実施形態の画像処理装置１０が行う画像処理の手順について図３を用いて説明する。画像処理装置１０は、奥行きマップ入力部１１の機能により、奥行きマップの入力を受け付けると（ステップＳ１）、奥行き変換量算出部１２の機能により奥行き変換量を算出する（ステップＳ２）。次に、奥行き構造マップ生成部１３１の機能により奥行き構造マップを生成する（ステップＳ３）。そして、切断面画像生成部１３２の機能により奥行き変換量で定められた枚数だけ切断面画像を算出する（ステップＳ４）。その後、切断処理部１３３の機能により切断処理を実行し、変換後奥行きマップを算出する（ステップＳ５）。最後に、出力部１４の機能により変換後奥行きマップを出力する（ステップＳ６）。
【００５１】
以上、本実施形態によれば、奥行きの存在頻度がほぼ一様な画像の場合でも、奥行き範囲を縮小することが可能である。近傍にその奥行き値をもつ画素が存在する頻度が小さい奥行き値として生成された切断面画像を用いるため、被写体内の奥行き分布への影響が小さく、被写体内の奥行き分布を保つことができる。さらに、隣接する画素間で連続した値をもつ切断面画像を用いるため、奥行きマップの局所的な変化への影響が小さく、被写体内の奥行き分布を保つことができる。本実施形態による画像処理装置は、例えば表示装置の特性に合わせた立体表示を行うための奥行き変換に用いることができる。
【００５２】
本実施形態において、切断処理部１３３の式（５）の中で、奥行きマップＰ（ｘ，ｙ）と切断面画像Ａ（ｘ，ｙ）の画素値を各画素において比較して場合分けを行っている。この、場合分けによって奥行きマップの画素値が切断面画像の画素値よりも大きい画素を抽出する処理は、奥行きマップを二つの領域に分割する領域分割に相当する。なお、奥行きは深度の一例であり、奥行きマップは深度画像に相当する。奥行き構造マップ生成部１３１と切断面画像生成部１３２と、切断処理部１３３の式（５）または（６）で場合分けを行うまでの部分が、本実施形態による画像処理装置の領域分割手段であり、切断処理部１３３の式（５）または（６）で奥行きを所定の量だけ変更する部分が深度変更手段に相当する。
【００５３】
尚、深度（奥行き等）の変更に関しては、下記（７）式のように、二つの領域の少なくともいずれか一方において深度を所定の量だけ変更することができるようにしてもよい。
【００５４】
2015142260.tif 000009
【００５５】
また、本実施形態に係る画像処理装置の変形例として、奥行きマップ入力部１１において、奥行きマップと同じ領域の被写体の輝度値を記した輝度画像Ｉ（ｘ，ｙ）をさらに入力してもよい。輝度画像と奥行きマップの画像サイズが異なる場合は、予め輝度画像のサイズを奥行きマップのサイズと同じになるように変換しておく。そして、輝度画像Ｉ（ｘ，ｙ）を奥行きマップと共に奥行き変換部１３へ出力する。奥行き構造マップ生成部１３１において、奥行き構造マップＺ（ｘ，ｙ，ｄ）を生成する際に、式（２）の代わりに次式を用いる。
【００５６】
2015142260.tif 000010
【００５７】
ｆ（ｘ，ｙ，ｄ）とｇ（ｉ，ｊ）は式（２）と同様であり、式（８）のｈ（ｘ，ｙ）は輝度画像のエッジの強さを表わすものである。このようにして得られた奥行き構造マップＺ（ｘ，ｙ，ｄ）を用いて、切断面画像生成部１３２と切断処理部１３３で上述した処理と同じ処理を行う。このように輝度画像のエッジを用いることで、エッジの近傍領域において奥行きマップの局所的な変化への影響をさらに小さくすることができる。
【００５８】
（第２の実施形態）
本発明の第２の実施形態は、輝度値の範囲を変換する輝度変換処理に関するものである。図４は、本発明の第２の実施形態に係る画像処理装置の一構成例を示す機能ブロック図である。本実施形態の画像処理装置４０は輝度画像を入力し、輝度変換処理を行い、変換後輝度画像を出力する。図４で示したように、画像処理装置４０は、輝度画像入力部４１と、輝度変換量算出部４２と、輝度変換部４３と、出力部４４とを有している。第一の実施形態の画像処理装置に対して入力を奥行きマップから輝度画像に置きかえたものであり、処理の内容は同様である。
【００５９】
以下、画像処理装置４０における各部の詳細を説明する。輝度画像入力部４１は、輝度画像を入力し、輝度変換量算出部４２へ出力する。
【００６０】
輝度変換量算出部４２は、まず、輝度画像から輝度の最小値と最大値を算出し、それぞれ入力輝度最小値ｐｍｉｎ、入力輝度最大値ｐｍａｘとする。次に、入力輝度最大値ｐｍａｘと入力輝度最小値ｐｍｉｎから次式で輝度変換量ｋを算出する。
【００６１】
2015142260.tif 000011
【００６２】
ここでｑｍａｘ、ｑｍｉｎはそれぞれ出力輝度最大値、出力輝度最小値である。出力輝度最大値、出力輝度最小値はそれぞれ予め定めた定数である。そして、輝度変換量算出部４２は輝度画像、入力輝度最小値、出力輝度最小値、輝度変換量を輝度変換部４３へ出力する。
【００６３】
輝度変換部４３は、輝度構造マップ生成部４３１と、切断面画像生成部４３２と、切断処理部４３３とを備える。輝度構造マップ生成部４３１は、輝度画像Ｐ（ｘ，ｙ）から輝度構造マップＺ（ｘ，ｙ，ｄ）を生成する。（ｘ，ｙ）は画素の座標を示し、ｄはその画素の輝度値を示す。ｍ、ｎをそれぞれ輝度画像の横画素数、縦画素数とすると、輝度構造マップＺ（ｘ，ｙ，ｄ）は、０≦ｘ≦ｍ−１、０≦ｙ≦ｎ−１、ｐｍｉｎ≦ｄ≦ｐｍａｘの範囲で定義される３次元配列である。
【００６４】
輝度構造マップＺ（ｘ，ｙ，ｄ）は式（２）で算出され、座標（ｘ，ｙ）の画素とその近傍に、輝度がｄである画素が存在する頻度を表すものである。輝度構造マップ生成部４３１は、得られた輝度構造マップＺ（ｘ，ｙ，ｄ）を切断面画像生成部４３２に出力する。
【００６５】
切断面画像生成部４３２は切断面の位置を表わす画像である切断面画像を生成する。切断面とは、輝度構造マップＺ（ｘ，ｙ，ｄ）をｄ軸と垂直方向の面で切断する面である。実施形態１の切断面と同様に、切断面は平面である必要はなく、各座標（ｘ，ｙ）について１つのｄの位置を通り、座標（ｘ，ｙ）によって異なるｄの位置を通ってよい。ただし、座標（ｘ，ｙ）の画素とそれに隣接する画素の間では、切断面が通るｄの値の差分絶対値が閾値以下であるという条件を満たすものとする。
【００６６】
この条件のもとで、全ての（ｘ，ｙ）での輝度構造マップＺ（ｘ，ｙ，ｄ）の値の和が最も小さくなるように切断面を算出する。すなわち、（ｘ，ｙ）とその近傍に輝度値ｄを持つ画素が存在する頻度が少ないｄを通るように切断面を算出する。
【００６７】
次に、第１の実施形態と同様の処理によって切断面画像Ａ（ｘ，ｙ）をｋ枚生成する。このようにして得られた切断面画像は、実施形態１の切断面画像と同様、隣接する画素間で連続した値をもつという性質をもつ。そして、得られたｋ枚の切断面画像を切断処理部４３３へ出力する。
【００６８】
切断処理部４３３では、輝度マップＰ（ｘ，ｙ）から変換後輝度マップＱ（ｘ，ｙ）を算出する。実施形態１と同様の手法で行い、式（５）を用いた場合は、輝度画像において、切断面画像における同じ座標の画素の値より輝度が大きい画素の輝度を変更することで輝度画像の輝度範囲が縮小される。一方、式（６）を用いた場合は、輝度画像において、切断面画像における同じ座標の画素の値より輝度が小さい画素の輝度を変更することで輝度画像の輝度範囲が縮小される。
【００６９】
最後に、輝度変換部４３は生成した変換後輝度画像Ｑ（ｘ，ｙ）を出力部４４に出力する。出力部４４は、変換後輝度画像Ｑ（ｘ，ｙ）を画像処理装置４０から出力する。
【００７０】
次に、本実施形態の画像処理装置４０が行う画像処理の手順について図５を用いて説明する。画像処理装置４０は、輝度画像入力部４１の機能により、輝度画像の入力を受け付けると（ステップＳ１）、輝度変換量算出部４２の機能により輝度変換量を算出する（ステップＳ２）。次に、輝度構造マップ生成部４３１の機能により輝度構造マップを生成する（ステップＳ３）。そして、切断面画像生成部４３２の機能により輝度変換量で定められた枚数だけ切断面画像を算出する（ステップＳ４）。その後、切断処理部４３３の機能により切断処理を実行し、変換後輝度画像を算出する（ステップＳ５）。最後に、出力部４４の機能により変換後輝度画像を出力する（ステップＳ６）。
【００７１】
以上、本実施形態によれば、輝度の存在頻度がほぼ一様な画像の場合でも、輝度範囲を縮小することが可能である。近傍にその輝度値をもつ画素が存在する頻度が小さい輝度値として生成された切断面画像を用いるため、被写体内の輝度分布への影響が小さく、被写体内の輝度分布を保つことができる。さらに、隣接する画素間で連続した値をもつ切断面画像を用いるため、輝度画像の局所的な変化への影響が小さく、被写体内の輝度分布を保つことができる。本装置は例えば表示装置の特性に合わせた画像表示を行うための輝度変換に用いることができる。
【００７２】
本実施形態において、切断処理部４３３の式（５）の中で、輝度画像Ｐ（ｘ，ｙ）と切断面画像Ａ（ｘ，ｙ）の画素値を各画素において比較して場合分けを行っている。この、場合分けによって輝度画像の画素値が切断面画像の画素値よりも大きい画素を抽出する処理は、輝度画像を二つの領域に分割する領域分割に相当する。なお、輝度は深度の一つであり、輝度画像は深度画像に相当する。
【００７３】
また、輝度構造マップ生成部４３１と切断面画像生成部４３２と、切断処理部４３３の式（５）または（６）で場合分けを行うまでの部分が、本画像処理装置の領域分割手段であり、切断処理部４３３の式（５）または（６）輝度を所定の量だけ変更する部分が深度変更手段に相当する。
【００７４】
尚、第１の実施形態の変形例の内容は、第２の実施形態にも適用可能である。
【００７５】
以上に説明したように、本実施の形態によれば、深度の存在頻度がほぼ一様な画像の場合でも、被写体内の深度分布を保ったまま深度範囲を縮小することができる。
【００７６】
本明細書では、奥行きマップを構成する各画素の奥行き値、輝度画像を構成する各画素の輝度値を例にして説明したが、本発明は、これらに限定されることはなく、画像の各画素に割り当てられた数値を対象とすることができる。また、深度の縮小のほかに拡大などの調整に利用することも可能である。
【００７７】
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
【００７８】
上記の処理および制御は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）によるソフトウェア処理、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）によるハードウェア処理によって実現することができる。
【００７９】
また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。  
【００８０】
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００８１】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００８２】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。
【００８３】
本発明は、以下の開示を含む。
【００８４】
（付記）
（１）深度画像の深度範囲を縮小する画像処理装置であって、前記深度画像を二つの領域に分割する領域分割部と、前記二つの領域の少なくとも一方において深度を所定の量だけ変更する深度変更部と、を有することを特徴とする画像処理装置。
【００８５】
上記によれば、深度画像を、深度を適切に低減することができる。
【００８６】
（２）前記領域分割部は、前記深度画像を変換して隣接する画素間で連続した値をもつ切断面画像を生成する切断面画像生成部と、前記深度画像と前記切断面画像の画素値を対応する各画素において比較し、前記深度画像の画素値が前記切断面画像の画素値より大きい画素を抽出することで前記深度画像を二つの領域に分割する切断処理部とを有する  ことを特徴とする（１）に記載の画像処理装置。
【００８７】
上記により、切断面画像を適切に生成することができる。また、切断面画像により分割した領域を簡単に結合することができる。
【００８８】
（３）さらに、前記深度画像から３次元の深度構造マップを生成する深度構造マップ生成部を有し、前記切断面画像生成部は、すべての画素において前記深度構造マップの値の和が最小となる深度値を求めることを特徴とする（２）に記載の画像処理装置。
【００８９】
（４）前記深度が立体画像の奥行きを表わすことを特徴とする（１）から（３）までのいずれか１に記載の画像処理装置。
【００９０】
（５）前記深度が画像の輝度値を表わすことを特徴とする（１）から（３）までのいずれか１に記載の画像処理装置。
【００９１】
（６）深度画像の深度範囲を縮小する画像処理方法であって、領域分割部手段が、前記深度画像を二つの領域に分割するステップと、深度変更手段部が、前記二つの領域の少なくとも一方において深度を所定の量だけ変更するステップと、を有することを特徴とする画像処理方法。
【００９２】
（７）コンピュータに（６）に記載の画像処理方法を実行させるためのプログラム。
【産業上の利用可能性】
【００９３】
本発明は、画像処理装置に用いることができる。
【符号の説明】
【００９４】
１０：画像処理装置
１１：奥行きマップ入力部
１２：奥行き変換量算出部
１３： 奥行き変換部
１４： 出力部
１３１：奥行き構造マップ生成部
１３２：切断面画像生成部
１３３：切断処理部
２１：奥行き構造マップの範囲
２２：切断面
４０：画像処理装置
４１：輝度画像入力部
４２：輝度変換量算出部
４３： 輝度変換部
４４： 出力部
４３１：輝度構造マップ生成部
４３２：切断面画像生成部
４３３：切断処理部
【図１】
2015142260.tif 000012
【図２Ａ】
2015142260.tif 000013
【図２Ｂ】
2015142260.tif 000014
【図３】
2015142260.tif 000015
【図４】
2015142260.tif 000016
【図５】
2015142260.tif 000017
【図６】
2015142260.tif 000018