(57)【要約】【課題】複数の画像を合成して得られる合成画像に対しても、合成画像上において複数の画像の各々に対応する画像部分が相互に影響することなく、適切な画像変換を行うことができる画像変換装置を提供する。【解決手段】本発明に係る画像変換装置１０００は、合成画像における画像変換処理の処理単位である各単位エリアに、単位エリアが合成画像中の複数の画像部分のいずれに属するのかを識別するための識別情報を付加する空間識別情報付加部３と、画像変換処理の対象となる注目エリアを含む局所領域内の複数の単位エリアのうち、注目単位エリアと同じ識別情報を有する単位エリアの画素情報のみを用いて、画像変換用の情報を算出する画像変換情報算出部４と、画像変換用の情報に基づいて、注目単位エリアに対して画像変換処理を行う画像変換部６とを備えている。【選択図】図１
2009253739.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を合成することにより得られ、前記複数の画像の各々に対応した複数の画像部分からなる合成画像に対して、画像変換処理を行う画像変換装置であって、
前記合成画像における画像変換処理の処理単位である各単位エリアに、前記単位エリアが前記複数の画像部分のいずれに属するのかを識別するための識別情報を付加する識別情報付加部と、
画像変換処理の対象となる注目単位エリアを含む局所領域内の複数の単位エリアのうち、前記注目単位エリアと同じ識別情報を有する単位エリアの画素情報のみを用いて、画像変換用の情報を算出する画像変換情報算出部と、
前記画像変換用の情報に基づいて、前記注目単位エリアに対して画像変換処理を行う画像変換部とを備えたことを特徴とする画像変換装置。
【請求項２】
前記識別情報付加部は、前記複数の画像部分のうちで隣接する画像部分間で被写体が連続する各画像部分に対して、同一の前記識別情報を付加することを特徴とする請求項１に記載の画像変換装置。
【請求項３】
前記識別情報付加部、前記画像変換情報算出部および前記画像変換部は、前記合成画像の画素を前記画像変換処理の処理単位として処理を行うことを特徴とする請求項１または２に記載の画像変換装置。
【請求項４】
前記合成画像を縮小して縮小画像を生成する画像縮小部を備え、
前記識別情報付加部は、前記縮小画像の各単位エリアに前記識別情報を付加し、
前記画像変換情報算出部は、前記縮小画像を用いて、前記画像変換用の情報を算出することを特徴とする請求項１乃至３に記載の画像変換装置。
【請求項５】
複数の画像を合成することにより得られ、前記複数の画像の各々に対応した複数の画像部分からなる合成画像に対して、画像変換処理をコンピュータに実行させる画像変換プログラムであって、
前記合成画像における画像変換処理の処理単位である各単位エリアに、前記単位エリアが前記複数の画像部分のいずれに属するのかを識別するための識別情報を付加するステップと、
画像変換処理の対象となる注目単位エリアを含む局所領域内の複数の単位エリアのうち、前記注目単位エリアと同じ識別情報を有する単位エリアの画素情報のみを用いて、画像変換用の情報を算出するステップと、
前記画像変換用の情報に基づいて、前記注目単位エリアに対して画像変換処理を行うステップとを前記コンピュータに実行させることを特徴とする画像変換プログラム。
【請求項６】
請求項５に記載された画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項７】
複数の画像を合成することにより得られ、前記複数の画像の各々に対応した複数の画像部分からなる合成画像に対して、画像変換処理を行う画像変換方法であって、
前記合成画像における画像変換処理の処理単位である各単位エリアに、前記単位エリアが前記複数の画像部分のいずれに属するのかを識別するための識別情報を付加するステップと、
画像変換処理の対象となる注目単位エリアを含む局所領域内の複数の単位エリアのうち、前記注目単位エリアと同じ識別情報を有する単位エリアの画素情報のみを用いて、画像変換用の情報を算出するステップと、
前記画像変換用の情報に基づいて、前記注目単位エリアに対して画像変換処理を行うステップとを有することを特徴とする画像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成画像の局所領域内の画素情報を参照して画像変換処理を行う画像変換装置に関する。
【背景技術】
【０００２】
従来、複数のカメラの撮影画像を合成することにより１枚の合成画像を生成する画像合成技術が知られている。例えば、特許文献１では、複数のカメラを車両に設置して、これらのカメラにより撮影された画像を合成して画面上に表示する技術が提案されている。特許文献１で開示された例では、車両が見通しの悪い交差点に進入した際に、車両の左右前方に設置された２台のカメラの撮影画像を横に並べて画面上に表示する（特に図８参照）。また、特許文献２には、主画面の周囲に縮小した複数の副画面を並べて画面上に表示する技術が提案されている（特に図２参照）。
【０００３】
また、例えば、視認性を向上するために画像の明るさを補正する階調補正など、画質改善のために画像に対して行う画像処理技術が知られている。階調補正に関して、画像全体の画像情報を用いて階調補正を行うより、画像中の注目画素を中心とした局所領域内の画像情報を用いて階調補正を行う方が、より補正効果が高いことが広く知られている。ここでは、局所領域内の画像情報を用いた画像処理を局所参照型画像処理と呼ぶ。従来の局所参照型画像処理は、１台のカメラで撮影された入力画像のように、画面中の被写体が実空間の一部分を撮影したそのままの状態であるという空間連続性を有することを前提に考えられていた。
【特許文献１】特開平１１−７８６９２号公報
【特許文献２】特開平１１−６９２５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１および特許文献２に記載の画像合成技術を用いて生成される合成画像は、画面中の被写体が空間連続性を有さず、合成画像中で複数画像が互いに接する境界部で被写体が連続しない。このような合成画像に対して従来の局所参照型画像処理を適用した場合、被写体が連続しない境界部が参照中の局所領域内に含まれてしまうことがあり、局所領域内の一方の画像部分が他方の画像部分に対する画像処理に影響してしまうという問題があった。
【０００５】
例えば、２台のカメラで撮影された画像を合成した合成画像に対して、従来の局所参照型画像処理を適用した場合であって、１台のカメラの撮影画像がもう１台のカメラの撮影画像に対する画像処理に影響する例について説明する。仮に、一方のカメラの撮影画像が連続的に変化し、もう一方のカメラの撮影画像が静止していたとする。この場合において、合成画像上の両撮影画像間の境界部を含んだ局所領域に対して局所参照型画像処理を行ったとき、後者の撮影画像は前者の撮影画像の変化の影響を受け、後者の撮影画像は本来、静止した画像であるにも関わらず、画像処理結果として連続的に変化する画像となってしまうという問題があった。
【０００６】
本発明は、上記従来の問題を解決するためになされたもので、複数の画像を合成して得られる合成画像に対しても、合成画像上において複数の画像の各々に対応する画像部分が相互に影響することなく、適切な画像変換を行うことができる画像変換装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像変換装置は、複数の画像を合成することにより得られ、前記複数の画像の各々に対応した複数の画像部分からなる合成画像に対して、画像変換処理を行う画像変換装置であって、前記合成画像における画像変換処理の処理単位である各単位エリアに、前記単位エリアが前記複数の画像部分のいずれに属するのかを識別するための識別情報を付加する識別情報付加部と、画像変換処理の対象となる注目単位エリアを含む局所領域内の複数の単位エリアのうち、前記注目単位エリアと同じ識別情報を有する単位エリアの画素情報のみを用いて、画像変換用の情報を算出する画像変換情報算出部と、前記画像変換用の情報に基づいて、前記注目単位エリアに対して画像変換処理を行う画像変換部とを備えた構成を有している。
【０００８】
この構成により、合成画像の各単位エリアに、単位エリアが複数の画像部分のいずれに属するのかを識別するための識別情報を付加し、画像変換処理の対象となる注目単位エリアを含む局所領域内の複数の単位エリアのうち、注目単位エリアと同じ識別情報を有する単位エリアの画素情報のみを用いて、画像変換用の情報を算出する。これにより、識別情報に基づき、局所領域内の各単位エリアが注目単位エリアと同じ画像部分に属するか否かを識別して、注目単位エリアと同じ画像部分に属する単位エリアの画素情報のみを用いて、注目単位エリアに対する画像変換用の情報を算出することができる。この結果、複数の画像を合成して得られる合成画像に対しても、合成画像上において複数の画像の各々に対応する画像部分が相互に影響することなく、適切な画像変換を行うことができる。
【０００９】
また、本発明に係る画像変換装置において、前記識別情報付加部は、前記複数の画像部分のうちで隣接する画像部分間で被写体が連続する各画像部分に対して、同一の前記識別情報を付加する構成を有している。
【００１０】
この構成により、隣接する画像部分間で互いに被写体が連続する各画像部分の各エリアに同一の識別情報を付加するので、各画像部分間で被写体が連続しているか否かを識別した上で、局所領域内の画素情報から画像変換用の情報を算出できる。この結果、隣接する画像部分間で互いに被写体が連続する画像部分が合成画像中に存在する場合であっても、適切な画像変換を行うことができる。
【００１１】
また、本発明に係る画像変換装置において、前記識別情報付加部、前記画像変換情報算出部および前記画像変換部は、前記合成画像の画素を前記画像変換処理の処理単位として処理を行う構成を有している。これにより、画素単位で適切な画像変換を行うことができる。
【００１２】
また、本発明に係る画像変換装置は、前記合成画像を縮小して縮小画像を生成する画像縮小部を備え、前記識別情報付加部は、前記縮小画像の各単位エリアに前記識別情報を付加し、前記画像変換情報算出部は、前記縮小画像を用いて、前記画像変換用の情報を算出する構成を有している。
【００１３】
この構成により、合成画像が縮小された縮小画像上で、識別情報の付加処理および画像変換用の情報の算出処理を行うことができるので、各処理量を低減することができる。また、縮小画像上で識別情報を付加することで、合成画像上で識別情報を付加する場合と比較して、付加する識別情報の数を減らすことができ、識別情報を記憶するために必要な記憶容量を削減できる。このように、縮小画像を用いることで、処理量および記憶容量を低減でき、より好適な画像処理を実現できる。
【００１４】
また、本発明に係る画像変換プログラムは、複数の画像を合成することにより得られ、前記複数の画像の各々に対応した複数の画像部分からなる合成画像に対して、画像変換処理をコンピュータに実行させる画像変換プログラムであって、前記合成画像における画像変換処理の処理単位である各単位エリアに、前記単位エリアが前記複数の画像部分のいずれに属するのかを識別するための識別情報を付加するステップと、画像変換処理の対象となる注目単位エリアを含む局所領域内の複数の単位エリアのうち、前記注目単位エリアと同じ識別情報を有する単位エリアの画素情報のみを用いて、画像変換用の情報を算出するステップと、前記画像変換用の情報に基づいて、前記注目単位エリアに対して画像変換処理を行うステップとを前記コンピュータに実行させる構成を備えている。この構成によっても、上述した本発明の利点が得られる。
【００１５】
また、本発明の別の態様は、上述の画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体である。この構成によっても、上述した本発明の利点が得られる。
【００１６】
また、本発明に係る画像変換方法は、複数の画像を合成することにより得られ、前記複数の画像の各々に対応した複数の画像部分からなる合成画像に対して、画像変換処理を行う画像変換方法であって、前記合成画像における画像変換処理の処理単位である各単位エリアに、前記単位エリアが前記複数の画像部分のいずれに属するのかを識別するための識別情報を付加するステップと、画像変換処理の対象となる注目単位エリアを含む局所領域内の複数の単位エリアのうち、前記注目単位エリアと同じ識別情報を有する単位エリアの画素情報のみを用いて、画像変換用の情報を算出するステップと、前記画像変換用の情報に基づいて、前記注目単位エリアに対して画像変換処理を行うステップとを有するものである。この方法によっても、上述した本発明の画像変換装置と同様の利点が得られる。
【発明の効果】
【００１７】
本発明は、合成画像の各単位エリアに、単位エリアが複数の画像部分のいずれに属するのかを識別するための識別情報を付加し、画像変換処理の対象となる注目単位エリアを含む局所領域内の複数の単位エリアのうち、注目単位エリアと同じ識別情報を有する単位エリアの画素情報のみを用いて、画像変換用の情報を算出する。これにより、複数の画像を合成して得られる合成画像に対しても、合成画像上において複数の画像の各々に対応する画像部分が相互に影響することなく、適切な画像変換を行うことができる。
【発明を実施するための最良の形態】
【００１８】
（第１の実施の形態）
以下、本発明の第１の実施の形態に係る画像変換装置について、図面を用いて説明する。本発明の第１の実施の形態の画像変換装置の構成を示すブロック図を図１に示す。図１において、画像変換装置１０００は、複数のカメラ１と、画像合成部２と、空間識別情報付加部３と、局所参照処理部４と、画像変換情報算出部５と、画像変換部６と、画像合成用の記憶装置７と、空間識別情報付加用の記憶装置８とを備えている。また、画像処理部１００には、空間識別情報付加部３、局所参照処理部４、画像変換情報算出部５および画像変換部６が含まれる。空間識別情報付加部３は本発明の識別情報付加部に対応する。
【００１９】
カメラＡ、カメラＢ、・・・、カメラＮで例示する複数のカメラ１は、被写体を撮影することで撮影画像を生成する。画像合成部２は、複数のカメラ１により撮影された複数の画像を合成して複数の画像部分からなる合成画像を生成する。このとき、画像合成部２は、記憶装置７に記憶される合成マップに基づいて、複数の画像の各々を合成画像上の複数の画像部分に対応させる処理をして、複数の画像を合成する。空間識別情報付加部３は、画像合成部２で合成して得られる合成画像の各画素に、記憶装置８に記憶される空間識別情報を付加する。空間識別情報は本発明の識別情報に対応する。空間識別情報の詳細については後述する。なお、本実施の形態では、合成画像の画素を画像変換処理の処理単位としている。後述するように、複数の画素からなるエリアを画像変換処理の処理単位としてもよい。本発明の単位エリアには、単数または複数の画素からなるエリアの双方が含まれる。
【００２０】
局所参照処理部４は、画像変換処理の対象である注目画素を中心とした局所領域内の複数の画素のうち、注目画素と同じ空間識別情報を有する画素の画素情報のみを参照対象とする処理を行う。画像変換情報算出部５は、局所参照処理部４で参照対象とされた画素情報を用いて、画像変換用の情報を算出する。画像変換用の情報は画像変換部６の処理で用いられる。
【００２１】
画像変換部６は、画像変換情報算出部５により算出された画像変換用の情報に基づいて、合成画像中の注目画素に対して画像変換を行う。画像変換処理の例としては、後で詳しく説明するように、階調変換処理等が挙げられる。画像合成用の記憶装置７には、画像合成部２が複数の画像を合成する際に用いる合成マップが記憶されている。合成マップには合成画像上の各画像の配置情報が含まれており、合成前の複数の画像の各々を合成画像上の複数の画像部分に対応させる座標変換データなどが含まれる。
【００２２】
空間識別情報付加用の記憶装置８には、空間識別情報が記憶される。空間識別情報は、空間識別情報付加部３により合成画像の各画素に対して付加される。空間識別情報は、画素が合成画像中の複数の画像部分のいずれに属するのかを識別するための情報であって、合成マップに連携されている。
【００２３】
次に、本発明の第１の実施の形態に係る画像変換装置１０００の動作について説明をする。図２はカメラの設置例を示す。図２の例では、２台のカメラが車両Ｘの前方左右に取り付けられており、カメラＡは車両Ｘの進行方向の左側、カメラＢは車両Ｘの進行方向の右側を撮影できるように設置されている。
【００２４】
図３はカメラの使用例を説明する図である。カメラＡおよびカメラＢは、車両ＸがＴ字路に進入した際に車両Ｘの前方左右の状況を運転者に提供するために使用される。画像変換装置１０００は、カメラＡの撮影画像ａおよびカメラＢの撮影画像ｂの２画面分の画像を取得し、これらの撮影画像ａ、ｂを合成した合成画像αを生成して１画面上に表示し、運転者に提供する。このとき、画像合成部２は、記憶装置７に記憶される合成マップに基づいて、撮影画像ａおよび撮影画像ｂを合成して合成画像αを生成する。
【００２５】
図４は、合成画像の表示例を示す図である。図４に例示される合成画像αでは、合成マップに基づいて、撮影画像ａが画面左側の画像部分に、撮影画像ｂが画面右側の画像部分に配置されている。ここで、撮影画像ａおよび撮影画像ｂを実空間上で考えたとき、撮影画像ａは画像空間ａ１を被写体として撮影したものであり、撮影画像ｂは画像空間ｂ１を被写体として撮影したものである。
【００２６】
図４に例示したように、撮影画像ａおよび撮影画像ｂにおいて、同じ被写体を共通して撮影している箇所はなく、画像空間ａ１および画像空間ｂ２は非連続の空間である。このため、画像空間ａ１を撮影した画像ａと、画像空間ｂ１を撮影した画像ｂとを合成して得られた合成画像αは、空間連続性を有しない複数の画像空間が混在する画像となり、合成画像のうち、画像ａに対応する画像部分と画像ｂに対応する画像部分との間の境界部で被写体が連続しない。
【００２７】
図５は、空間識別情報の付加処理を説明する図である。空間識別情報付加部３は、合成画像の各画素に対して、空間識別情報を付加する。図５に示される例では、空間識別情報付加部３は、合成画像α上において、画像空間ａ１を撮影した画像ａに対応する画像部分中の全画素に空間識別情報ａ２を付加し、画像空間ｂ１を撮影した画像ｂに対応する画像部分中の全画素に空間識別情報ｂ２を付加している。空間識別情報ａ２と空間識別情報ｂ２は、互いに異なる情報で構成されており、合成マップに連携して予め記憶装置８に記憶されている。このため、後述の局所参照処理部４は空間識別情報ａ２、ｂ２に基づいて、合成画像α中の各画素が画像ａまたは画像ｂのいずれに対応する画像領域に属しているのかを識別することができる。
【００２８】
なお、本実施の形態では、合成マップを記憶する記憶装置７と、空間識別情報を記憶する記憶装置８とを別装置で構成したが、１つの記憶装置で構成してもよい。この場合、画像合成部２および空間識別情報付加部３の双方が１つの記憶装置を共用する。
【００２９】
図６〜図８は、本発明の第１の実施の形態の画像変換装置の局所参照処理部による処理を説明する図である。図６は、合成画像αにおける注目画素を中心としたｔ×ｔ画素の局所領域を参照している状態を示す図である。ｔ×ｔ画素の局所領域は、注目画素の位置に対応して定められる。
【００３０】
図７は、空間連続性を有しない画像空間ａ１および画像空間ｂ１が混在する局所参照領域に対して、局所参照型画像処理を行う例を示す図である。図７に示されるように、注目画素は画像空間ａ１に属するが、当該注目画素を含む局所参照領域は画像空間ａ１に留まらず、画像空間ｂ１にまで伸びている。すなわち、注目画素は合成画像中の画像ａに対応する画像部分に属するが、当該注目画素を含む局所参照領域には合成画像中の画像ａに対応する画像部分と画像ｂに対応する画像部分の双方が含まれる。
【００３１】
このような状態で、空間識別情報を付加しないで局所参照領域に対して画像変換処理を行った場合、合成画像中の画像ａに対応する画像部分中の注目画素を対象とした局所参照型画像処理に対して、画像ｂに対応する画像部分が影響を及ぼしてしまう。このような影響を無くすために、本実施の形態では図８に示される処理を行う。
【００３２】
図８は、空間識別情報を付加して、空間連続性を有しない画像空間ａおよび画像空間ｂが混在する局所参照領域に対して、局所参照型画像処理を行った例を示す図である。局所参照処理部４は、まず、注目画素に付加されている空間識別情報に基づいて、注目画素が画像空間ａ１を撮影した合成前の画像ａ、または、画像空間ｂ１を撮影した合成前の画像ｂのいずれに対応する画像部分のどちらに属するのかを判断する。図８に示される例では、注目画素には空間識別情報ａ２が付加されているので、局所参照処理部４は注目画素が画像ａに対応する画像部分に属していると判断する。
【００３３】
次に、局所参照処理部４は、注目画素を含む局所参照領域内の画素のうち、注目画素と同じ空間識別情報を有する画素のみを参照対象とする。具体的には、局所参照処理部４は空間識別情報ａ２、ｂ２に基づいて、合成画像α中の各画素が画像ａまたは画像ｂのいずれに対応する画像部分に属しているのかを識別して、参照対象を設定する。図８に示される例では、注目画素は空間識別情報ａ２を有しているので、局所参照処理部４は局所参照領域内の画素のうち、注目画素と同じ空間識別情報ａ２を有する画素のみを参照対象とし、空間識別情報ｂ２を有する画素は参照対象としない。従って、局所参照処理部４は、局所参照領域内の画像のうち、画像空間ａ１を撮影した合成前の画像ａに対応する画像部分に属する画素のみを参照対象とすることができる。
【００３４】
次に、画像変換情報算出部５は、局所参照処理部４が参照対象とする画素に基づいて、画像変換用の情報を算出し、画像変換部６は、画像変換用の情報に基づいて、合成画像に対して画像変換を行い、変換後の画像α’を出力する。
【００３５】
以上のように、複数の画像ａ、ｂを合成して得られる合成画像αに対しても、注目画素が合成前の画像ａに対応する画像部分に属する場合には、局所参照領域の画素のうちで画像ａに対応する画像部分に属する画素のみを用いて画像変換することができ、注目画素が合成前の画像ｂに対応する画像部分に属する場合には、局所参照得領域の画素のうちで画像ｂに対応する画像部分に属する画素のみを用いて画像変換することができる。この結果、複数の画像を合成して得られる合成画像に対しても、合成画像上において複数の画像の各々に対応する各画像部分が相互に影響することなく、適切な画像変換（局所参照型画像処理）を行うことができる。特に、各画像に撮影された画像空間ａ１および画像空間ｂ１が互いに空間連続性を有しない場合、すなわち、画像空間ａ１を撮影した画像ａに対応する画像部分と、画像空間ｂ１を撮影した画像ｂに対応する画像部分との間の境界部で被写体が連続しない場合において効果的である。
【００３６】
次に、本発明の第１の実施の形態の画像変換装置による局所参照型画像処理の一例として、局所ヒストグラム均等化に基づいた階調変換処理について図に基づいて説明する。図９および図１０は、局所ヒストグラム均等化に基づいた階調変換処理を説明する図である。
【００３７】
図９を参照して、局所ヒストグラム生成部４１は図１の局所参照処理部４に、ヒストグラム整形部５１および階調変換カーブ生成部５２は図１の変換情報算出部５に、階調変換部６１は画像変換部６に対応する。局所ヒストグラム生成部４１は、画像変換処理の対象である注目画素を中心とする局所参照領域内の画素値に基づいて、画素値別の出現頻度を表す局所ヒストグラムを生成する。ヒストグラム整形部５１は、局所ヒストグラム生成部４１により生成された局所ヒストグラムに対して、頻度のクリップ処理などの整形を行う。階調変換カーブ生成部５２は、ヒストグラム整形部５１により整形された局所ヒストグラムから画素ごとの階調変換カーブを生成する。
【００３８】
次に、局所ヒストグラム均等化に基づいた階調変換処理方法について説明をする。上記にて図１を用いて説明したように、局所ヒストグラム生成部４１には、空間識別情報付加部３により空間識別情報が付加された合成画像αが入力される。
【００３９】
局所ヒストグラム生成部４１は、画像変換の対象である注目画素を中心とする局所参照領域内の画素値に基づいて、画素値別の出現頻度を表す局所ヒストグラムを生成する。局所ヒストグラムの生成方法について図１０を用いて具体的に説明する。
【００４０】
図１０に、空間識別情報が付加された合成画像を例示する。図１０の例では、合成画像は水平６４０画素、垂直４８０画素の画像であって、合成画像の左半分の画像部分中の各画素には空間識別情報ａ２が付加され、右半分の画像部分中の各画素には空間識別情報ｂ２が付加されている。局所ヒストグラム生成部４１は、ある注目画素を中心に水平１１画素、垂直１１画素の局所参照領域内の画素を参照して、局所ヒストグラムを生成する。
【００４１】
図１０の例では、注目画素を中心とする局所参照領域内には、空間識別情報ａ２が付加された画素と空間識別情報ｂ２が付加された画素とが混在している。このとき、注目画素は空間識別情報ａ２を有するため、局所ヒストグラム生成部４１は局所参照領域内の画素のうち、空間識別情報ａ２を有する画素、すなわち、画像ａに対応する画像部分に属する画素の画素値のみを参照対象とし、空間識別情報ｂ２を有する画素、すなわち、画像ｂに対応する画像部分に属する画素の画素値を参照対象としない。図１０において、局所ヒストグラム生成部４１は、局所参照領域と空間識別情報ａ２の付加領域とが重なり合う水平９画素、垂直１１画素の領域（図１０で右上がりの斜線のハッチング部分）内の画素の画素値のみを参照対象として、画素値別の出現頻度を表す局所ヒストグラムを生成する。
【００４２】
次に、ヒストグラム整形部５１は、局所ヒストグラム生成部４１により生成された局所ヒストグラムに対して、頻度のクリップ処理などの整形を行う。そして、階調変換カーブ生成部５２は、ヒストグラム整形部５１により整形された局所ヒストグラムから画素ごとの階調変換カーブを生成する。具体的には、階調変換カーブ生成部５２は、局所ヒストグラムを下位階調から積算して累積化して、階調変換カーブを生成する。階調変換カーブは本発明の画像変換用の情報に含まれる。そして、階調変換部６１は、階調変換カーブ生成部５２により生成された階調変換カーブに基づいて、合成画像の注目画素に対して階調変換を行う。
【００４３】
上記実施の形態の説明では、合成画像の画素を画像変換処理の処理単位として説明したが、複数の画素からなる単位エリアを画像変換処理の処理単位としてもよい。この場合、画像変換情報算出部は、画像変換処理の対象である注目単位エリアを含む局所領域内の複数の単位エリアのうち、注目単位エリアと同じ識別情報を有する単位エリアの画素情報のみを用いて、画像変換用の情報を算出する。ここで単位エリアの画素情報とは、単位エリア内の画素値に関する代表情報をいい、例えば、エリアに含まれる全画素値の平均値や中央値を用いることができる。ただし、平均値や中央値と異なる値を算出して、これを単位エリアの画素情報としてもよい。
【００４４】
以上の通り、本発明の第１の実施の形態に係る画像変換装置によれば、合成画像の各単位エリアに、単位エリアが複数の画像部分のいずれに属するのかを識別するための識別情報を付加し、画像変換処理の対象となる注目単位エリアを含む局所領域内の複数の単位エリアのうち、注目単位エリアと同じ識別情報を有する単位エリアの画素情報のみを用いて、画像変換用の情報を算出する。これにより、識別情報に基づき、局所領域内の各単位エリアが注目単位エリアと同じ画像部分に属するか否かを識別して、注目単位エリアと同じ画像部分に属する単位エリアの画素情報のみを用いて、注目単位エリアに対する画像変換用の情報を算出することができる。この結果、複数の画像を合成して得られる合成画像に対しても、合成画像上において複数の画像の各々に対応する画像部分が相互に影響することなく、適切な画像変換を行うことができる。
【００４５】
また、本発明の第１の実施の形態に係る画像変換装置によれば、識別情報付加部、画像変換情報算出部および画像変換部は、合成画像の画素を画像変換処理の処理単位として処理を行う構成を有している。これにより、画素単位で適切な画像変換を行うことができる。
【００４６】
なお、上記実施の形態では、画像合成部は、２台のカメラにより撮影された画像を左右に並べて合成しているが、例えば２台のカメラの撮像画像を上下に並べて合成してもよく、合成画像における各画像の配置は本実施の形態に限定されない。また、カメラの台数も２台に限定されず、２台以上のカメラの画像を合成した合成画像に対しても、空間識別情報をカメラの台数分用意すれば、上述した処理と同じように局所参照型画像処理を実現することができる。
【００４７】
また、画像合成部は、１台のカメラにより撮影された画像を用いて合成画像を生成してもよい。図１１は、１台のカメラの撮影画像から合成画像を生成する処理を説明する図である。図１１（ａ）はカメラにより撮影された画像の一例を示す図であり、図１１（ｂ）は図１１（ａ）に示される撮影画像を用いて生成した合成画像の一例を示す図である。
【００４８】
図１１（ｂ）に例示される合成画像では、撮影画像を縮小した画像が当該撮像画像の上中央部に重畳されている。このような合成画像も、上述の説明と同様に、予め合成マップを記憶装置７に用意しておき、合成マップに基づいて画像合成部で座標変換処理を行って、撮像画像とその縮小画像を合成することにより、生成される。この合成画像は、１台のカメラの撮影画像から生成されているが、座標変換後の合成画像に含まれる画像部分間で空間連続性を有さない。すなわち、合成画像において、縮小画像に対応する画像空間ａ１と、元の撮影画像に対応する画像空間ｂ１とは空間連続性を有さず、元の撮像画像の画像部分と縮小画像の画像部分との間の境界部で被写体が連続しない。このような合成画像に対しても、各画素に識別情報を付加して、局所領域内の画素のうちで注目画素と同じ識別情報を有する画素の画素情報のみを用いて、画像変換用の情報を算出することで、上記と同様の効果が得られる。
【００４９】
（第２の実施の形態）
以下、本発明の第２の実施の形態に係る画像変換装置について、図面を用いて説明する。図１２は本発明の第２の実施の形態の画像変換装置の構成を示すブロック図である。図１２は、図１と比較して、画像縮小部１１と画像変換情報拡大部１２が追加されている点で相違する。
【００５０】
図１２において、画像変換装置２０００は、複数のカメラ１と、画像合成部２と、空間識別情報付加部３と、局所参照処理部４と、画像変換情報算出部５と、画像変換部６と、画像合成用の記憶装置７と、空間識別情報付加用の記憶装置８と、画像縮小部１１と、画像変換情報拡大部１２とを備えている。また、画像処理部１０１には、画像縮小部１１、空間識別情報付加部３、局所参照処理部４、画像変換情報算出部５、画像変換情報拡大部１２および画像変換部６が含まれている。
【００５１】
画像縮小部１１は、空間識別情報付加部３の前段部に設けられており、画像合成部２で得られる合成画像αのサイズを縮小して縮小画像を生成する。ここでは、サイズは画素数を意味する。画像変換情報拡大部１２は、合成画像αの大きさに対応するように、画像変換情報算出部５により算出される画像変換用の情報を拡大する。空間識別情報付加部３、局所参照処理部４および画像変換情報算出部５による一連の処理は、画像縮小部１１により縮小された縮小画像に対して行われる。また、記憶装置８は、縮小画像に対応した空間識別情報を記憶する。
【００５２】
次に、本発明の第２の実施の形態に係る画像変換装置２０００の動作について説明をする。まず、画像合成部２は、記憶装置７に記憶される合成マップに基づいて、複数のカメラ１の撮影画像を合成して合成画像αを生成する。次に、画像縮小部１１は、画像合成部２で得られる合成画像αのサイズを縮小して縮小画像を生成する。
【００５３】
図１３は、画像縮小部による画像縮小処理を説明する図である。ここでは、合成画像は水平６４０画素、垂直４８０画素の画像であって、この合成画像を水平８０画素、垂直６０画素の画像サイズに縮小する例を示している。図１３（ａ）は縮小前の合成画像、図１３（ｂ）は縮小後の縮小画像を示す。
【００５４】
図１３（ａ）および図１３（ｂ）に示されるように、画像縮小部１１は、水平６４０画素、垂直４８０画素の合成画像を縮小して、水平８０画素、垂直６０画素の縮小画像を生成する。これにより、水平方向および垂直方向で１／８のサイズに縮小され、総画素数としては縮小前の１／６４に削減される。
【００５５】
このとき、画像縮小部１１は、水平８画素、垂直８画素を１画素に置き換える処理を行う。置き換え処理後の縮小画像の各画素値には、縮小前の水平８画素、垂直８画素の画素値の平均値や中央値を用いる。ただし、平均値や中央値と異なる値を算出して、これを縮小画像の各画素値としてもよい。
【００５６】
次に、空間識別情報付加部３は、縮小画像の各画素に対して、記憶装置８に記憶されている空間識別情報を付加する。記憶装置８には、縮小画像の各画素に対応した空間識別情報が記憶される。このように、画像縮小部１１により合成画像を縮小することで、縮小画像上の各画素に対応する情報量だけを空間識別情報として、記憶装置８に記憶させておけばよい。図１３の例では、８０×６０画素分の情報量のみを記憶装置８に記憶すればよい。すなわち、合成画像を縮小しない場合と比較して、空間識別情報の情報量を１／６４に削減でき、この結果、記憶装置８に必要な記憶容量を削減することができる。
【００５７】
局所参照処理部４は、縮小画像において、注目画素を含む局所参照領域内の複数の画素のうち、注目画素と同じ空間識別情報を有する画素の画素情報のみを参照対象とする。次に、画像変換情報算出部５は、局所参照処理部４が参照対象とする画素情報に基づいて、画像変換用の情報を算出して、これを画像変換情報拡大部１２へ出力する。なお、空間情報付加部３、局所参照処理部４および画像変換情報算出部５による各処理は、縮小画像に対して行う点を除いて、第１の実施の形態における説明と同様である。
【００５８】
ここで、画像変換情報算出部５から出力される画像変換用の情報は、縮小画像上の画素数に対応する情報量分しかない。このため、次に画像変換情報拡大部１２は、合成画像αの大きさに対応するように、画像変換情報算出部５により算出される画像変換用の情報を拡大して、縮小前の画像サイズに対応する画像変換用の情報を生成する。
【００５９】
図１４は、画像変換用の情報を拡大する処理を説明する図である。ここでは、縮小画像を水平８０画素、垂直６０画素、縮小前の合成画像を水平６４０画素、垂直４８０画素とし、縮小画像上の画像変換用の情報を水平方向８倍、垂直方向８倍の６４倍に拡大する。
【００６０】
図１４（ａ）は縮小画像上の画像変換の情報を説明する図である。縮小画像上の座標値（ｕ，ｖ）を画素１、座標値（ｕ＋１，ｖ）を画素２、座標値（ｕ，ｖ＋１）を画素３、座標値（ｕ＋１，ｖ＋１）を画素４とする。画素１〜画素４にそれぞれに対応する画像変換用の情報は、画像変換情報算出部５により算出され、画像情報拡大部１２に入力される。画像情報拡大部１２は、画素１〜画素４を利用して、縮小前の合成画像α上の座標値（ｕ’，ｖ’）を左上頂点、（ｕ’＋７、ｖ’＋７）を右下頂点とする合計６４画素の画像変換用の情報を生成する。
【００６１】
ｕとｕ’、ｖとｖ’の関係は次の式（１）の通りとなる。式（１）において、ｋｈは水平方向の拡大率、ｋｖは垂直方向の拡大率を表す変数であり、図１４の例では、ｋｈ＝ｋｖ＝８である。
【数１】
2009253739.tif 000003
【００６２】
図１４（ｂ）は画像変換用の情報の拡大を行う際の計算処理を説明する図である。画像情報拡大部１２は、画素１〜画素４の４画素に基づいて６４画素に対応する画像変換用の情報に拡大するために、４点線形補間を利用する。縮小前の合成画像上の座標値（ｕ’＋ｐ，ｖ’＋ｑ）に対応する画像変換用の情報Ｇは、次の式（２）の通りとなる。
【数２】
2009253739.tif 000004
【００６３】
なお、ｐおよびｑの取り得る数値範囲は、０≦ｐ≦（ｋｈ−１）、０≦ｑ≦（ｋｖ−１）であり、図１４の例では、ｋｈ＝ｋｖ＝８であるから、０≦ｐ≦７、０≦ｑ≦７となる。このようにして、縮小画像上の上下左右に隣接する４画素を線形補間することで、縮小前の合成画像上の全画素に対応する画像変換用の情報を算出することができる。
【００６４】
図１４（ｃ）は、画像情報拡大部により拡大された後の画像変換用の情報を説明する図である。図１４（ｃ）に示されるように、縮小画像上の画素１〜画素４を線形補間することで、座標値（ｕ’，ｖ’）を左上頂点、（ｕ’＋７、ｖ’＋７）を右下頂点とする合計６４画素の画像変換用の情報が生成される。以上のようにして、画像情報拡大部１２は、画像変換情報算出部５により算出される画像変換用の情報を拡大して、縮小前の画像サイズに対応する画像変換用の情報を生成する。
そして、画像変換部６は、画像情報拡大部１２で拡大された画像変換用の情報に基づいて合成画像αに対して画像変換を行い、変換後の画像α’を出力する。
【００６５】
以上の通り、本発明の第２の実施の形態に係る画像変換装置によれば、合成画像が縮小された縮小画像上で、識別情報の付加処理および画像変換用の情報の算出処理を行うことができるので、各処理量を低減することができる。また、縮小画像上で識別情報を付加することで、合成画像上で識別情報を付加する場合と比較して、付加する識別情報の数を減らすことができ、識別情報を記憶するために必要な記憶容量を削減できる。このように、縮小画像を用いることで、処理量および記憶容量を低減でき、より好適な画像処理を実現できる。
【００６６】
上記実施の形態の説明では、縮小前の合成画像を水平６４０画素、垂直４８０画素とし、縮小画像を水平８０画素、垂直６０画素とし、画像縮小率を水平方向１／８、垂直方向１／８としたが、いずれもこれに限定されない。
【００６７】
また、上記実施の形態では、４点線形補間を利用して画像変換用の情報の拡大処理を行う説明をしたが、この方法に限られない。最も簡単な処理方法として、最近傍法による拡大処理を利用することができる。一方、より精度のよい拡大処理を必要とする場合には、４点以上の線形補間を利用すればよい。
【００６８】
なお、上記実施の形態の説明では、画像変換処理の処理単位を縮小画像上の画素として説明したが、第１の実施の形態での説明と同様に、縮小画像上の複数の画素からなる単位エリアを画像変換処理の処理単位としてもよい。単位エリアの画素情報には、第１の実施の形態での説明と同様に、例えば、エリアに含まれる全画素の平均値や中央値等を用いることができる。これにより、合成画像が縮小された縮小画像の単位エリアに対して識別情報の付加処理および画像変換用の情報の算出処理を行うことができるので、各処理量を更に低減することができる。
【００６９】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００７０】
上記実施の形態では、注目画素を中心としたｔ×ｔ画素を局所参照領域としたが、局所参照領域の形状はこれに限定されない。例えば、半径ｒの円状の画素を局所参照領域としてもよい。
【００７１】
上記実施の形態では、局所参照型画像処理の例示として、局所ヒストグラム均等化による階調変換処理について説明したが、局所参照型画像処理は上記の階調変換処理に限定されず、階調変換処理も上記の処理に限定されない。
【００７２】
上記実施の形態では、本発明に係る画像変換装置および画像変換方法について具体的に説明した。しかし、本発明はこれらに限定されない。本発明は、上述した画像変換方法の各処理をコンピュータに実行させる画像変換プログラムであってもよく、また、この画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。
【産業上の利用可能性】
【００７３】
以上のように、本発明は、複数の画像を合成して得られる合成画像に対しても、合成画像上において複数の画像の各々に対応する各画像部分が相互に影響することなく、適切な画像変換を行うことができるという効果を有し、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に用いる画像変換装置等に有用である。
【図面の簡単な説明】
【００７４】
【図１】本発明の第１の実施の形態の画像変換装置の構成を示すブロック図
【図２】本発明の第１の実施の形態の画像変換装置に用いられるカメラの設置例を示す図
【図３】本発明の第１の実施の形態の画像変換装置に用いられるカメラの使用例を説明する図
【図４】合成画像の表示例を示す図
【図５】空間識別情報の付加処理を説明する図
【図６】本発明の第１の実施の形態の画像変換装置の局所参照処理部による処理を説明する図
【図７】本発明の第１の実施の形態の画像変換装置の局所参照処理部による処理を説明する図
【図８】本発明の第１の実施の形態の画像変換装置の局所参照処理部による処理を説明する図
【図９】本発明の第１の実施の形態の画像変換装置の局所参照型画像処理の一例として、局所ヒストグラム均等化に基づいた階調変換処理を説明する図
【図１０】本発明の第１の実施の形態の画像変換装置の局所参照型画像処理の一例として、局所ヒストグラム均等化に基づいた階調変換処理を説明する図
【図１１】（ａ）  １台のカメラの撮影画像から合成画像を生成する処理を説明する図  （ｂ）  １台のカメラの撮影画像から合成画像を生成する処理を説明する図
【図１２】本発明の第２の実施の形態の画像変換装置の構成を示すブロック図
【図１３】（ａ）  画像縮小部による画像縮小処理を説明する図  （ｂ）  画像縮小部による画像縮小処理を説明する図
【図１４】（ａ）  画像変換用の情報を拡大する処理を説明する図  （ｂ）  画像変換用の情報を拡大する処理を説明する図  （ｃ）  画像変換用の情報を拡大する処理を説明する図
【符号の説明】
【００７５】
１  カメラ
２  画像合成部
３  空間識別情報付加部
４  局所参照処理部
５  画像変換情報算出部
６  画像変換部
７  記憶装置
８  記憶装置
１１  画像縮小部
１２  画像変換情報算出部
４１  局所ヒストグラム生成部
５１  ヒストグラム整形部
５２  階調変換カーブ生成部
６１  階調変換部
１００、１０１  画像処理部
１０００、２０００  画像変換装置
【図１】
2009253739.tif 000005
【図２】
2009253739.tif 000006
【図３】
2009253739.tif 000007
【図４】
2009253739.tif 000008
【図５】
2009253739.tif 000009
【図６】
2009253739.tif 000010
【図７】
2009253739.tif 000011
【図８】
2009253739.tif 000012
【図９】
2009253739.tif 000013
【図１０】
2009253739.tif 000014
【図１１】
2009253739.tif 000015
【図１２】
2009253739.tif 000016
【図１３】
2009253739.tif 000017
【図１４】
2009253739.tif 000018