(57)【特許請求の範囲】
【請求項１】
被写領域の一部が重複する複数の撮像画像を用いて、前記撮像画像から切り出された部分画像（１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃ）が環状に連続して配置された合成画像（１０Ｃ）を生成する画像生成装置（３０）であって、
複数の前記部分画像のうち少なくとも一つを基準部分画像とし、前記基準部分画像以外を対象部分画像として、前記対象部分画像を、前記合成画像において当該対象部分画像に対して両側から隣接する前記部分画像である第１の隣接部分画像及び第２の隣接部分画像のうち少なくとも一方を基準として補正する補正手段（Ｓ１０３〜Ｓ１１１）を備え、
前記補正手段は、
前記対象部分画像の濃度特性を前記第１の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第１の変換テーブルと、前記対象部分画像の濃度特性を前記第２の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第２の変換テーブルと、を生成する生成手段（Ｓ１０５〜Ｓ１０６）と、
前記第１の変換テーブル及び前記第２の変換テーブルの両方を用いて前記対象部分画像の濃度を変換する混合変換手段（Ｓ１１１）と、
を備え、
前記生成手段は、
前記対象部分画像の元となる前記撮像画像である対象撮像画像と、前記第１の隣接部分画像の元となる前記撮像画像である第１の隣接撮像画像と、の被写領域が共通する第１の共通領域における前記対象撮像画像の濃度特性を、前記第１の共通領域における前記第１の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第１の変換テーブルとして生成し、
前記対象撮像画像と、前記第２の隣接部分画像の元となる前記撮像画像である第２の隣接撮像画像と、の被写領域が共通する第２の共通領域における前記対象撮像画像の濃度特性を、前記第２の共通領域における前記第２の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第２の変換テーブルとして生成し、
前記混合変換手段は、前記対象部分画像における位置が前記第１の隣接部分画像に近い画素ほど、前記第１の変換テーブルによる影響が前記第２の変換テーブルによる影響と比較して大きくなり、前記対象部分画像における位置が前記第２の隣接部分画像に近い画素ほど、前記第２の変換テーブルによる影響が前記第１の変換テーブルによる影響と比較して大きくなるように、前記対象部分画像の濃度を変換する
ことを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置であって、
前記補正手段は、複数の前記部分画像のうち画像の濃度特性が所定の条件を満たす前記部分画像を、前記基準部分画像に設定する設定手段（Ｓ１０３）を更に備える
ことを特徴とする画像生成装置。
【請求項３】
請求項２に記載の画像生成装置であって、
前記補正手段は、複数の前記部分画像の中に、前記所定の条件を満たす前記部分画像が存在しない場合には、前記部分画像の補正を行わない（Ｓ１０４）
ことを特徴とする画像生成装置。
【請求項４】
請求項１から請求項３までのいずれか１項に記載の画像生成装置であって、
前記補正手段は、
前記第１の変換テーブル及び前記第２の変換テーブルのうち一方を用いて前記対象部分画像の濃度を変換する固定変換手段（Ｓ１１０）を更に備え、
前記第１の隣接部分画像及び前記第２の隣接部分画像が、前記基準部分画像及び濃度変換後の前記対象部分画像のうちいずれか一方、及び、濃度変換前の前記対象部分画像、である場合には、前記固定変換手段により前記対象部分画像の濃度を変換し、
前記第１の隣接部分画像及び前記第２の隣接部分画像が共に、前記基準部分画像及び濃度変換後の前記対象部分画像のうちいずれかである場合には、前記混合変換手段により前記対象部分画像の濃度を変換する
ことを特徴とする画像生成装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載の画像生成装置であって、
複数の前記撮像画像は、車両に搭載された複数の撮像装置によって撮像され、
前記合成画像は、車両の周囲を上面視した画像である
ことを特徴とする画像生成装置。
【請求項６】
被写領域の一部が重複する複数の撮像画像を用いて、前記撮像画像から切り出された部分画像（１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃ）が環状に連続して配置された合成画像（１０Ｃ）を生成する画像生成装置（３０）で用いられる画像生成方法であって、
複数の前記部分画像のうち少なくとも一つを基準部分画像とし、前記基準部分画像以外を対象部分画像として、前記対象部分画像を、前記合成画像において当該対象部分画像に対して両側から隣接する前記部分画像である第１の隣接部分画像及び第２の隣接部分画像のうち少なくとも一方を基準として補正する補正ステップ（Ｓ１０３〜Ｓ１１１）を備え、
前記補正ステップは、
前記対象部分画像の濃度特性を前記第１の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第１の変換テーブルと、前記対象部分画像の濃度特性を前記第２の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第２の変換テーブルと、を生成する生成ステップ（Ｓ１０５〜Ｓ１０６）と、
前記第１の変換テーブル及び前記第２の変換テーブルの両方を用いて前記対象部分画像の濃度を変換する混合変換ステップ（Ｓ１１１）と、
を備え、
前記生成ステップでは、
前記対象部分画像の元となる前記撮像画像である対象撮像画像と、前記第１の隣接部分画像の元となる前記撮像画像である第１の隣接撮像画像と、の被写領域が共通する第１の共通領域における前記対象撮像画像の濃度特性を、前記第１の共通領域における前記第１の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第１の変換テーブルとして生成し、
前記対象撮像画像と、前記第２の隣接部分画像の元となる前記撮像画像である第２の隣接撮像画像と、の被写領域が共通する第２の共通領域における前記対象撮像画像の濃度特性を、前記第２の共通領域における前記第２の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第２の変換テーブルとして生成し、
前記混合変換ステップでは、前記対象部分画像における位置が前記第１の隣接部分画像に近い画素ほど、前記第１の変換テーブルによる影響が前記第２の変換テーブルによる影響と比較して大きくなり、前記対象部分画像における位置が前記第２の隣接部分画像に近い画素ほど、前記第２の変換テーブルによる影響が前記第１の変換テーブルによる影響と比較して大きくなるように、前記対象部分画像の濃度を変換する
ことを特徴とする画像生成方法。
【請求項７】
被写領域の一部が重複する複数の撮像画像を用いて、前記撮像画像から切り出された部分画像（１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃ）が環状に連続して配置された合成画像（１０Ｃ）を生成する画像生成装置（３０）としてコンピュータを機能させるための画像生成プログラムであって、
複数の前記部分画像のうち少なくとも一つを基準部分画像とし、前記基準部分画像以外を対象部分画像として、前記対象部分画像を、前記合成画像において当該対象部分画像に対して両側から隣接する前記部分画像である第１の隣接部分画像及び第２の隣接部分画像のうち少なくとも一方を基準として補正する補正手段（Ｓ１０３〜Ｓ１１１）としてコンピュータを機能させ、
前記補正手段は、
前記対象部分画像の濃度特性を前記第１の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第１の変換テーブルと、前記対象部分画像の濃度特性を前記第２の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第２の変換テーブルと、を生成する生成手段（Ｓ１０５〜Ｓ１０６）と、
前記第１の変換テーブル及び前記第２の変換テーブルの両方を用いて前記対象部分画像の濃度を変換する混合変換手段（Ｓ１１１）と、
を備え、
前記生成手段は、
前記対象部分画像の元となる前記撮像画像である対象撮像画像と、前記第１の隣接部分画像の元となる前記撮像画像である第１の隣接撮像画像と、の被写領域が共通する第１の共通領域における前記対象撮像画像の濃度特性を、前記第１の共通領域における前記第１の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第１の変換テーブルとして生成し、
前記対象撮像画像と、前記第２の隣接部分画像の元となる前記撮像画像である第２の隣接撮像画像と、の被写領域が共通する第２の共通領域における前記対象撮像画像の濃度特性を、前記第２の共通領域における前記第２の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、前記第２の変換テーブルとして生成し、
前記混合変換手段は、前記対象部分画像における位置が前記第１の隣接部分画像に近い画素ほど、前記第１の変換テーブルによる影響が前記第２の変換テーブルによる影響と比較して大きくなり、前記対象部分画像における位置が前記第２の隣接部分画像に近い画素ほど、前記第２の変換テーブルによる影響が前記第１の変換テーブルによる影響と比較して大きくなるように、前記対象部分画像の濃度を変換する
ことを特徴とする画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像画像を用いて合成画像を生成するための画像処理の技術に関する。
【背景技術】
【０００２】
１つのカメラによる撮像範囲を超える広い被写領域を表す画像を、複数の撮像画像を合成して生成する技術が知られている。例えば特許文献１には、互いに隣接する画像Ａ，Ｂの重複部分における画像Ａ，Ｂそれぞれの濃度特性に基づいて、一方の画像Ｂの濃度特性を他方の画像Ａの濃度特性に近づける補正を行う技術が記載されている。
【０００３】
具体的には、特許文献１の記載によれば、まず、画像Ａにおける画像Ｂとの重複部分が合成部ａとして切り出され、画像Ｂにおける画像Ａとの重複部分が合成部ｂとして切り出される。次に、合成部ａ，ｂの画素値から、合成部ａ，ｂそれぞれについてのヒストグラムＨａ（ｘ），Ｈｂ（ｘ）が生成される。次に、各ヒストグラムＨａ（ｘ），Ｈｂ（ｘ）に対して、ヒストグラムイコライゼーション（ヒストグラム均一化）を実行可能な階調変換テーブルＬＵＴａ，ＬＵＴｂがそれぞれ生成される。次に、階調変換テーブルＬＵＴｂを利用して画像Ｂ全域に対して階調変換が実行され、階調変換後の画像に対して更に、階調変換テーブルＬＵＴａを利用して逆階調変換が実行される。つまり、合成部ｂのヒストグラムＨｂ（ｘ）を合成部ａのヒストグラムＨａ（Ｘ）に近づけるための階調変換処理が、画像Ｂ全域に対して施される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１１０２４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述した特許文献１に記載の技術は、複数の画像が帯状に（一定方向に）連続して配置される合成画像に対して適用される。したがって、複数の撮像画像のうち１つを基準として他の撮像画像を順に補正すれば、合成画像におけるすべての境界部分（画像同士が隣接する部分）において、隣接する画像間の濃度特性のずれを抑制することができる。
【０００６】
一方、合成画像としては、例えば車両の周囲を上面視した画像（いわゆるトップビュー画像）のように、複数の画像が環状に連続して配置される合成画像も存在する。この場合、特許文献１に記載の技術では、合成画像における１つ以上の境界部分において、隣接する画像間の濃度特性のずれを抑制することができないといった問題が生じ得る。
【０００７】
すなわち、例えば、４つの画像Ａ，Ｂ，Ｃ，Ｄが順に帯状に連続して配置される場合、画像Ａを基準に画像Ｂを補正し、補正後の画像Ｂを基準に画像Ｃを補正し、補正後の画像Ｃを基準に画像Ｄを補正すればよい。
【０００８】
これに対し、４つの画像Ａ，Ｂ，Ｃ，Ｄが順に環状に連続して配置される場合には、帯状の場合と同様に画像Ｂ，Ｃ，Ｄを順に補正しただけでは、画像Ａと補正後の画像Ｄとが隣接する境界部分において、濃度特性のずれが生じてしまう。なお、補正後の画像Ｄを基準に画像Ａを補正すれば、画像Ａと画像Ｄとの間の濃度特性のずれは抑制されるが、代わりに補正後の画像Ａと画像Ｂとの間に濃度特性のずれが生じるため、問題は解消されない。また、このような問題は、車両の周囲を上面視した画像に限らず、複数の画像が環状に連続して配置された合成画像であれば生じ得る問題である。
【０００９】
本発明は、こうした問題に鑑みてなされたものであり、複数の画像が環状に連続して配置された合成画像におけるすべての境界部分において、濃度特性のずれを抑制するための技術を提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明の画像生成装置（３０）は、被写領域の一部が重複する複数の撮像画像を用いて、撮像画像から切り出された部分画像（１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃ）が環状に連続して配置された合成画像（１０Ｃ）を生成する装置である。
【００１１】
画像生成装置は、補正手段（Ｓ１０３〜Ｓ１１１）を備える。補正手段は、複数の部分画像のうち少なくとも一つを基準部分画像とし、基準部分画像以外を対象部分画像として、対象部分画像を、合成画像において当該対象部分画像に対して両側から隣接する部分画像である第１の隣接部分画像及び第２の隣接部分画像のうち少なくとも一方を基準として補正する。
【００１２】
補正手段は、生成手段（Ｓ１０５〜Ｓ１０６）と、混合変換手段（Ｓ１１１）と、を備える。生成手段は、対象部分画像の濃度特性を第１の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第１の変換テーブルと、対象部分画像の濃度特性を第２の隣接部分画像の濃度特性に近づける補正を行うための濃度変換テーブルである第２の変換テーブルと、を生成する。混合変換手段は、第１の変換テーブル及び第２の変換テーブルの両方を用いて対象部分画像の濃度を変換する。
【００１３】
具体的には、生成手段は、対象部分画像の元となる撮像画像である対象撮像画像と、第１の隣接部分画像の元となる撮像画像である第１の隣接撮像画像と、の被写領域が共通する第１の共通領域における対象撮像画像の濃度特性を、第１の共通領域における第１の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、第１の変換テーブルとして生成する。
【００１４】
また、生成手段は、対象撮像画像と、第２の隣接部分画像の元となる撮像画像である第２の隣接撮像画像と、の被写領域が共通する第２の共通領域における対象撮像画像の濃度特性を、第２の共通領域における第２の隣接撮像画像の濃度特性に、近づける補正を行うための濃度変換テーブルを、第２の変換テーブルとして生成する。
【００１５】
そして、混合変換手段は、対象部分画像における位置が第１の隣接部分画像に近い画素ほど、第１の変換テーブルによる影響が第２の変換テーブルによる影響と比較して大きくなり、対象部分画像における位置が第２の隣接部分画像に近い画素ほど、第２の変換テーブルによる影響が第１の変換テーブルによる影響と比較して大きくなるように、対象部分画像の濃度を変換する。
【００１６】
このような構成によれば、複数の部分画像が環状に連続して配置された合成画像におけるすべての境界部分において、濃度特性のずれを抑制することができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００１７】
【図１】トップビュー画像生成装置の構成を示すブロック図である。
【図２】車両に設置されたカメラの撮像範囲を示す図である。
【図３】トップビュー画像生成処理のフローチャートである。
【図４】（Ａ）は上面視の画像に変換された撮像画像を示す図、（Ｂ）はトップビュー画像を構成する部分画像を示す図である。
【図５】（Ａ）は処理対象濃度Ａに処理対象濃度Ｂを対応付ける手順を示す図、（Ｂ）はＬＵＴを生成する手順を示す図である。
【図６】第２の濃度変換処理を示す図である。
【図７】実施形態の画素の位置とＬＵＴの重みとの関係を示すグラフである。
【図８】変形例の画素の位置とＬＵＴの重みとの関係を示すグラフである。
【発明を実施するための形態】
【００１８】
以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．構成］
図１に示すトップビュー画像生成装置１は、車両９（図２参照）に搭載された装置であって、車両９を上面視した画像（上空から見下ろしたような画像）であるトップビュー画像を生成し、運転者の視認のために表示する装置である。本実施形態のトップビュー画像生成装置１は、撮像部１０と、記憶部２０と、画像生成部３０と、表示部４０と、を備える。
【００１９】
撮像部１０は、車両９の周囲を撮像する。具体的には、撮像部１０は、図２に示す４つのカメラ１１，１２，１３，１４を備える。第１のカメラ１１は、車両９の前部に設けられ、車両９の前方領域における下方（地表面）の撮像範囲１１Ａを撮像する。カメラ１２は、車両９の左側部（例えば左側ドアミラー）に設けられ、車両９の左側方領域における下方の撮像範囲１２Ａを撮像する。カメラ１３は、車両９の後部に設けられ、車両９の後方領域における下方の撮像範囲１３Ａを撮像する。カメラ１４は、車両９の右側部（例えば右側ドアミラー）に設けられ、車両９の右側方領域における下方の撮像範囲１４Ａを撮像する。
【００２０】
これら４つのカメラ１１，１２，１３，１４は、１８０度の画角で撮像可能な広角カメラであり、これら４つのカメラ１１，１２，１３，１４による４つの撮像範囲１１Ａ，１２Ａ，１３Ａ，１４Ａによって、車両９の全周がカバーされる。具体的には、車両９の周方向において互いに隣り合う撮像範囲同士には、図２においてハッチングで示すように、互いに重複する部分（重複領域）１１２，１２３，１３４，１４１が存在する。つまり、４つのカメラ１１，１２，１３，１４による４つの撮像画像は、被写領域（被写体）の一部が重複する。
【００２１】
図１に示す記憶部２０は、４つのカメラ１１，１２，１３，１４の車両９に対する設置状態の固有データ（キャリブレーションデータ）を記憶する。具体的には、記憶部２０は、キャリブレーションデータがあらかじめ記憶された記憶装置を備える。
【００２２】
４つのカメラ１１，１２，１３，１４による撮像画像は、後述する処理により、車両９を取り囲むように環状に連続して配置された一続きの画像（トップビュー画像）として合成（接合）される。合成された画像において、異なるカメラにより撮像された画像同士が隣接する境界部分は、できるだけ正確に位置が整合していることが好ましい。そこで、車両９の出荷前の段階において、車両９ごとに、４つのカメラ１１，１２，１３，１４のキャリブレーションが行われ、車両９の個体差（カメラの設置状態の個体差）に応じたキャリブレーションデータが記憶部２０に記憶される。ここでいうキャリブレーションは、例えば、一定の模様（合成画像における画像同士のずれ量を特定するために適した模様）が描かれた路面を、４つのカメラ１１，１２，１３，１４で実際に撮像して行われる。すなわち、実際に画像を撮像してトップビュー画像を生成することで、トップビュー画像における画像同士のずれ量が特定されるため、そのずれ量を０に近づけるようにキャリブレーションデータが設定される。なお、本実施形態では、４つのカメラ１１，１２，１３，１４のそれぞれについてのある点を基準とした３次元空間での座標位置、ピッチ角、ヨー角及びロール角の情報が、キャリブレーションデータとして記憶部２０にあらかじめ記憶されている。
【００２３】
図１に示す画像生成部３０は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３等を備えたマイコンを用いて構成され、ＲＯＭ３２等の記録媒体に記録されているプログラムに従った処理を処理主体（コンピュータ）としてのＣＰＵ３１が実行する。具体的には、画像生成部３０は、４つのカメラ１１，１２，１３，１４による撮像画像に対し、キャリブレーションデータに基づく位置補正と画像の濃度補正（濃度変換）とを行い、トップビュー画像を生成する。
【００２４】
表示部４０は、画像生成部３０により生成されたトップビュー画像を、車両の乗員（例えば運転者）に表示する。具体的には、表示部４０は、車両の乗員に画像を表示するための表示装置（ディスプレイ）を備える。
【００２５】
［２．処理］
次に、画像生成部３０（具体的にはＣＰＵ３１）がプログラムに従い実行するトップビュー画像生成処理（トップビュー画像生成方法）について、図３のフローチャートを用いて説明する。なお、図３のトップビュー画像生成処理は、４つのカメラ１１，１２，１３，１４による撮像周期（例えば１秒間に複数回撮像可能な短い周期）ごとに定期的に実行される。
【００２６】
まず、画像生成部３０は、４つのカメラ１１，１２，１３，１４による撮像画像を撮像部１０から取得する（Ｓ１０１）。なお、４つのカメラ１１，１２，１３，１４による撮像は、同時に（同期して）行われる。
【００２７】
続いて、画像生成部３０は、キャリブレーションデータに基づいて、各カメラ１１，１２，１３，１４による撮像画像を、上面視の画像（あたかも上面から見たような画像であって、広角撮像による歪みが補正された画像）に変換する（Ｓ１０２）。
【００２８】
具体的には、図４（Ａ）に示すように、画像生成部３０は、第１のカメラ１１、第２のカメラ１２、第３のカメラ１３、第４のカメラ１４による撮像画像をそれぞれ上面視に変換した第１の上面視画像１１Ｂ、第２の上面視画像１２Ｂ、第３の上面視画像１３Ｂ、第４の上面視画像１４Ｂ、を生成する。なお、図４（Ａ）では、各上面視画像１１Ｂ，１２Ｂ，１３Ｂ，１４Ｂを見やすくするため、第１の上面視画像１１Ｂ及び第３の上面視画像１３Ｂの組と、第２の上面視画像１２Ｂ及び第４の上面視画像１４Ｂの組と、に分けて示している。
【００２９】
第１の上面視画像１１Ｂの左端部は、第２の上面視画像１２Ｂの前端部と重複し、第１の上面視画像１１Ｂの右端部は、第４の上面視画像１４Ｂの前端部と重複する。また、第３の上面視画像１３Ｂの左端部は、第２の上面視画像１２Ｂの下端部と重複し、第３の上面視画像１３Ｂの右端部は、第４の上面視画像１４Ｂの下端部と重複する。
【００３０】
図４（Ｂ）に示すように、トップビュー画像１０Ｃは、車両９を中心とする４つの部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃが、互いに重複しない形で環状に連続して配置されて構成される。このため、画像生成部３０は、図４（Ｂ）に示すトップビュー画像１０Ｃの形状に従い、４つの上面視画像１１Ｂ，１２Ｂ，１３Ｂ，１４Ｂのそれぞれから、互いに重複しない４つの部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃを切り出す。
【００３１】
続いて、画像生成部３０は、４つの部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃのうち、画像の濃度特性が所定の条件を満たすものを基準部分画像に設定するための基準画像設定処理を実行する（Ｓ１０３）。基準部分画像とは、４つの部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃのうち、後述する濃度変換の基準となる画像であって、濃度変換の対象とならない画像のことである。
【００３２】
具体的には、画像生成部３０は、４つの部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの中から、あらかじめ設定された濃度範囲（濃度ＴＨ１〜ＴＨ２の範囲）に存在する画素の数Ｎが最も多い部分画像を選択する。本実施形態では、図４（Ｂ）に示すように、部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃのそれぞれにおいて、歪みの小さい中央寄りの位置に解析対象領域１１Ｒ，１２Ｒ，１３Ｒ，１４Ｒが設定されており、これら各領域に含まれる画素を基準に判定される。濃度範囲（濃度ＴＨ１〜ＴＨ２）は、濃度がとり得る最小濃度から最大濃度までの範囲における中央部に設定される。つまり、濃度範囲は、最小濃度側や最大濃度側へ濃度の偏った画像が選択されにくいように設定されている。なお、濃度は、画素値、階調値、輝度などと言い換えることができる。
【００３３】
そして、画像生成部３０は、選択した画像についての画素数Ｎが、あらかじめ設定されたしきい値以上である場合に、その画像を基準部分画像として設定する。つまり、最大で１つの基準部分画像が設定される。換言すれば、４つの部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの中に、画像の濃度特性が前述した所定の条件を満たすものが存在しない場合には、基準部分画像が設定されない。この場合、後述するように、部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの補正（濃度変換処理）が行われない（Ｓ１０４：ＮＯ）。
【００３４】
続いて、画像生成部３０は、Ｓ１０３の基準画像設定処理で基準部分画像が設定されたか否かを判定する（Ｓ１０４）。画像生成部３０は、基準部分画像が設定されたと判定した場合には（Ｓ１０４：ＹＥＳ）、部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃのうち、基準部分画像以外の画像（以下「対象部分画像」という。）の濃度を変換する処理（Ｓ１０５〜Ｓ１１１）を行う。
【００３５】
すなわち、画像生成部３０は、まず、各カメラ１１，１２，１３，１４による撮像画像における一部（この例では両端部）の画像であって、前述した重複領域１１２，１２３，１３４，１４１（図２）を形成する画像である重複画像を特定する。本実施形態では、前述した上面視画像１１Ｂ，１２Ｂ，１３Ｂ，１４Ｂにおいて、重複画像が特定される。そして、画像生成部３０は、各重複画像についての濃度特性を表す情報として、濃度（画素値）と頻度（度数）との関係を表すヒストグラムを生成する（Ｓ１０５）。具体的には、４つの重複領域１１２，１２３，１３４，１４１のそれぞれに２つの重複画像が存在することから、８つの重複画像が存在し、８つのヒストグラムが生成される。
【００３６】
続いて、画像生成部３０は、同一の重複領域を形成する２つの重複画像からなる組ごとに、一方の重複画像ＡのヒストグラムＡ（濃度特性Ａ）に他方の重複画像ＢのヒストグラムＢ（濃度特性Ｂ）を近づけるための濃度変換テーブルを生成する（Ｓ１０６）。ここでいうヒストグラムＢをヒストグラムＡに近づけるとは、ヒストグラムＢをヒストグラムＡに等しくすることが好ましいが、完全には等しくならない場合も含む。また、以下の説明では、濃度変換テーブル（ルックアップテーブル）を「ＬＵＴ」という。ＬＵＴは、４つの重複領域１１２，１２３，１３４，１４１のそれぞれについて生成される。つまり、４つのＬＵＴが生成される。
【００３７】
ヒストグラムＢをヒストグラムＡに近づけるためのＬＵＴ生成方法としては、種々の方法が公知であるが、本実施形態では、次の［Ｍ１］〜［Ｍ４］の手順によりＬＵＴが生成される。
【００３８】
［Ｍ１］ヒストグラムＡの最小濃度を処理対象濃度Ａとし、ヒストグラムＢの最小濃度を処理対象濃度Ｂとする。
［Ｍ２］図５（Ａ）に示すように、処理対象濃度Ａに処理対象濃度Ｂを対応付ける。
【００３９】
［Ｍ３］下記式（１）が満たされない場合、処理対象濃度Ｂを、次に高い濃度に変更し、上記［Ｍ２］へ戻る。
処理対象濃度Ａの頻度  ≦  対応付けられた処理対象濃度Ｂの総頻度  …式（１）
［Ｍ４］上記式（１）が満たされた場合、現在の処理対象濃度Ａに対応付けられた処理対象濃度Ｂで確定し、処理対象濃度Ａ及び処理対象濃度Ｂをそれぞれ次に高い濃度に変更した後、上記［Ｍ２］へ戻る。
【００４０】
以上の手順を繰り返すことにより、ヒストグラムＡの各濃度に対応するヒストグラムＢの濃度が決定される。そして、図５（Ｂ）に示すように、ヒストグラムＢの濃度を入力濃度、それらの濃度に対応するヒストグラムＡの濃度を出力濃度として、決定された対応する点同士を結ぶことで、ＬＵＴが生成される。
【００４１】
図３へ戻り、画像生成部３０は、すべての対象部分画像について後述する濃度変換処理（Ｓ１１０又はＳ１１１）が完了したか否かを判定する（Ｓ１０７）。画像生成部３０は、すべての対象部分画像について濃度変換処理が完了していない（濃度変換前の対象部分画像が１つ以上存在する）と判定した場合には（Ｓ１０７：ＮＯ）、濃度変換前の対象部分画像のうち１つを処理対象として選択する（Ｓ１０８）。ここで選択された対象部分画像を、以下「処理対象画像」という。処理対象画像を選択する順序は、基準部分画像の位置に応じてあらかじめ設定されている。例えば、トップビュー画像１０Ｃにおいて、基準部分画像に対して左回りの方向に隣接する対象部分画像から順に周方向（左回り）に選択するような順序が設定されている。この順序は一例であり、特に限定されないが、少なくとも、基準部分画像及び濃度変換後の対象部分画像のうちいずれにも隣接しない対象部分画像は、処理対象画像として選択されないような順序に設定されている。
【００４２】
続いて、画像生成部３０は、トップビュー画像１０Ｃにおいて処理対象画像に対して両側から隣接する２つの部分画像（以下「第１の隣接部分画像」及び「第２の隣接部分画像」という。）のうち一方が、濃度変換前の対象部分画像であるか否かを判定する（Ｓ１０９）。画像生成部３０は、第１の隣接部分画像及び第２の隣接部分画像のうち一方が濃度変換前の対象部分画像であると判定した場合には（Ｓ１０９：ＹＥＳ）、第１の濃度変換処理を実行した後（Ｓ１１０）、Ｓ１０７へ戻る。一方、画像生成部３０は、第１の隣接部分画像及び第２の隣接部分画像のうちいずれも濃度変換前の対象部分画像でない（基準部分画像及び濃度変換後の対象部分画像のうちいずれかである）と判定した場合には（Ｓ１０９：ＮＯ）、第２の濃度変換処理を実行した後（Ｓ１１１）、Ｓ１０７へ戻る。
【００４３】
ここで、第１の濃度変換処理及び第２の濃度変換処理について説明する。
第１の濃度変換処理は、第１の隣接部分画像及び第２の隣接部分画像のうちの一方である基準部分画像又は濃度変換後の対象部分画像（ここでは単に「隣接部分画像」という。）を用いて（基準として）、処理対象画像の濃度を変換する処理である。具体的には、第１の濃度変換処理では、処理対象画像と隣接部分画像との境界に対応する重複領域に基づいて生成されたＬＵＴ（処理対象画像を隣接部分画像に近づける濃度変換処理を行うためのＬＵＴ）を用いて、処理対象画像の濃度が一律に変換される。その結果、処理対象画像と隣接部分画像との境界における濃度面での不連続性（濃度特性のずれ）が抑制される。
【００４４】
一方、第２の濃度変換処理は、第１の隣接部分画像及び第２の隣接部分画像の両方を用いて（基準として）、処理対象画像の濃度を変換する処理である。ここでいう第１の隣接部分画像及び第２の隣接部分画像は、共に、基準部分画像及び濃度変換後の対象部分画像のうちいずれかである。
【００４５】
具体的には、例えば図６に示すように、処理対象画像１４Ｃにおいて、第１の隣接部分画像１１Ｃ寄りの画素と、第２の隣接部分画像１３Ｃ寄りの画素と、で濃度変換処理に用いるＬＵＴを異ならせる。
【００４６】
本実施形態では、処理対象画像１４Ｃに含まれる画素のうち、第１の隣接部分画像１１Ｃに隣接する画素については、処理対象画像１４Ｃと第１の隣接部分画像１１Ｃとの境界（線分（Ｐ１，Ｐ３））に対応する重複領域に基づいて生成されたＬＵＴが用いられる。このＬＵＴは、処理対象画像１４Ｃの濃度特性を第１の隣接部分画像１１Ｃの濃度特性に近づける補正を行うためのＬＵＴであり、以下「第１のＬＵＴ」という。また、ここでいう重複領域とは、処理対象画像１４Ｃ及び第１の隣接部分画像１１Ｃの元となる（切り出し元の）上面視画像（以下「対象撮像画像１４Ｂ」及び「第１の隣接撮像画像１１Ｂ」という。）の被写領域が共通する領域（以下「第１の共通領域」という。）である。つまり、第１のＬＵＴは、第１の共通領域における対象撮像画像１４Ｂの濃度特性を、第１の共通領域における第１の隣接撮像画像１１Ｂの濃度特性に、近づける補正を行うためのＬＵＴである。
【００４７】
一方、処理対象画像１４Ｃに含まれる画素のうち、第２の隣接部分画像１３Ｃに隣接する画素については、処理対象画像１４Ｃと第２の隣接部分画像１３Ｃとの境界（線分（Ｐ２，Ｐ４））に対応する重複領域に基づいて生成されたＬＵＴが用いられる。このＬＵＴは、処理対象画像１４Ｃの濃度特性を第２の隣接部分画像１３Ｃの濃度特性に近づける補正を行うためのＬＵＴであり、以下「第２のＬＵＴ」という。また、ここでいう重複領域とは、対象撮像画像１４Ｂと、第２の隣接部分画像１３Ｃの元となる（切り出し元の）上面視画像（以下「第２の隣接撮像画像１３Ｂ」という。）と、の被写領域が共通する領域（以下「第２の共通領域」という。）である。つまり、第２のＬＵＴは、第２の共通領域における対象撮像画像１４Ｂの濃度特性を、第２の共通領域における第２の隣接撮像画像１３Ｂの濃度特性に、近づける補正を行うためのＬＵＴである。
【００４８】
そして、処理対象画像１４Ｃを構成する残りの画素については、第１のＬＵＴと第２のＬＵＴとを合成した合成ＬＵＴが用いられる。具体的には、処理対象画像１４Ｃにおける位置が第１の隣接部分画像１１Ｃに近い画素ほど、第１のＬＵＴによる影響が第２のＬＵＴによる影響と比較して大きくなるように、処理対象画像１４Ｃの濃度を変換する合成ＬＵＴが設定される。換言すれば、処理対象画像１４Ｃにおける位置が第２の隣接部分画像１３Ｃに近い画素ほど、第２のＬＵＴによる影響が第１のＬＵＴによる影響と比較して大きくなるように、処理対象画像１４Ｃの濃度を変換する合成ＬＵＴが設定される。つまり、合成ＬＵＴは、処理対象画像１４Ｃにおける画素の位置に応じて異なる。例えば、第１の隣接部分画像１１Ｃ及び第２の隣接部分画像１３Ｃに対して中間に位置する画素については、第１のＬＵＴと第２のＬＵＴとを等しい重みで平均した合成ＬＵＴが用いられる。
【００４９】
具体的には、図７に示すように、線分（Ｐ１，Ｐ２）上の画素については、当該線分上における位置（点Ｐ１，Ｐ２に対する距離）に応じて、第１のＬＵＴの重みＷ１と、第２のＬＵＴの重みＷ２と、をリニアに変更すればよい。また、当該線分上以外の画素のうち、線分（Ｐ３，Ｐ４）を一辺とし、線分（Ｐ１，Ｐ２）の一部である線分（Ｐ５，Ｐ６）を対辺とする長方形領域に含まれる画素については、線分（Ｐ３，Ｐ５）に平行な直線上の画素がすべて同じ重みとなるように重みを設定してもよい。そして、残りの２つの三角形領域（三角形（Ｐ１，Ｐ３，Ｐ５）及び三角形（Ｐ２，Ｐ４，Ｐ６））に含まれる画素については、点Ｐ３又は点Ｐ４を通る直線上の画素がすべて同じ重みとなるように重みを設定してもよい。
【００５０】
図３へ戻り、画像生成部３０は、前述したＳ１０７で、すべての対象部分画像について濃度変換処理が完了したと判定した場合には（Ｓ１０７：ＹＥＳ）、処理をＳ１１２へ移行させる。また、画像生成部３０は、前述したＳ１０４で基準部分画像が設定されなかったと判定した場合には（Ｓ１０４：ＮＯ）、濃度変換のための処理（Ｓ１０５〜Ｓ１１１）をスキップして、処理をＳ１１２へ移行させる。
【００５１】
Ｓ１１２で、画像生成部３０は、４つの部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃ（濃度変換が行われた場合には濃度変換後の画像）が環状に連続して配置されたトップビュー画像を生成する。そして、画像生成部３０は、生成したトップビュー画像を表示部４０に表示させた後（Ｓ１１３）、図３のトップビュー画像生成処理を終了する。
【００５２】
［３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
［３Ａ］本実施形態のトップビュー画像生成装置１において、画像生成部３０は、対象部分画像の濃度特性を第１の隣接部分画像の濃度特性に近づける補正を行うための第１のＬＵＴと、対象部分画像の濃度特性を第２の隣接部分画像の濃度特性に近づける補正を行うための第２のＬＵＴと、を生成する（Ｓ１０５〜Ｓ１０６）。そして、画像生成部３０は、少なくとも１つの対象部分画像の濃度を、第１のＬＵＴ及び第２のＬＵＴの両方を用いて変換する（Ｓ１１１）。具体的には、画像生成部３０は、対象部分画像における位置が第１の隣接部分画像に近い画素ほど、第１のＬＵＴによる影響が第２のＬＵＴによる影響と比較して大きくなるように、対象部分画像の濃度を変換する。換言すれば、画像生成部３０は、対象部分画像における位置が第２の隣接部分画像に近い画素ほど、第２のＬＵＴによる影響が第１のＬＵＴによる影響と比較して大きくなるように、対象部分画像の濃度を変換する。
【００５３】
したがって、本実施形態によれば、複数の部分画像が環状に連続して配置された合成画像（トップビュー画像）におけるすべての境界部分において、濃度特性のずれを抑制することができる。特に、画像自体をデジタル補正するため、例えばカメラのゲインをアナログ的に補正するような構成と比較して、高精度に調整することができる。
【００５４】
［３Ｂ］画像生成部３０は、複数の部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃのうち画像の濃度特性が所定の条件を満たすものを、基準部分画像に設定する（Ｓ１０３）。したがって、本実施形態によれば、基準部分画像が固定されている（あらかじめ設定されている）場合と比較して、部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの補正を適切に行うことができる。すなわち、基準部分画像とすべき部分画像は、車両周囲の環境（昼間と夜間、対向車両の有無など、車両周囲への光の当たり方）によって異なり得る。このため、基準部分画像が固定されている場合、基準部分画像として適切でない部分画像（例えば全体的に暗すぎる画像や明るすぎる画像）であっても、基準部分画像として用いられてしまう。これに対し、本実施形態では、画像の濃度特定が所定の条件を満たすものを基準部分画像に設定するため、複数の部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの中で基準部分画像に適している部分画像が選択されるようにすることができる。
【００５５】
［３Ｃ］画像生成部３０は、複数の部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの中に、基準部分画像に設定するための所定の条件を満たすものが存在しない場合には、部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの補正を行わない（Ｓ１０４）。したがって、本実施形態によれば、複数の部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃの中に、基準部分画像として適切な部分画像が存在しないにもかかわらず補正を行うことにより、適切でない合成画像が生成されてしまうことを抑制することができる。
【００５６】
［３Ｄ］画像生成部３０は、第１の隣接部分画像及び第２の隣接部分画像が、基準部分画像又は濃度変換後の対象部分画像と、濃度変換前の対象部分画像と、である場合、第１のＬＵＴ及び第２のＬＵＴのうち一方を用いて対象部分画像の濃度を変換する（Ｓ１１０）。一方、画像生成部３０は、第１の隣接部分画像及び第２の隣接部分画像が共に基準部分画像及び濃度変換後の対象部分画像のうちいずれかである場合、第１のＬＵＴ及び第２のＬＵＴの両方を用いて対象部分画像の濃度を変換する（Ｓ１１１）。したがって、本実施形態によれば、第１のＬＵＴ及び第２のＬＵＴの両方を用いた対象部分画像の濃度の変換を、必要最小限の対象部分画像に対して行うことが可能となり、処理負荷を抑えることができる。
【００５７】
［３Ｅ］画像生成部３０は、車両９に搭載された複数のカメラ１１，１２，１３，１４によって車両９の周囲を撮像した複数の撮像画像を用いて、車両９の周囲を上面視した画像であるトップビュー画像１０Ｃを生成する。したがって、本実施形態によれば、より自然なトップビュー画像を運転者に提示することができる。
【００５８】
なお、本実施形態では、画像生成部３０が画像生成装置の一例に相当し、Ｓ１０３〜Ｓ１１１が補正手段としての処理及び補正ステップの一例に相当する。また、Ｓ１０３が設定手段としての処理の一例に相当し、Ｓ１０５〜Ｓ１０６が生成手段としての処理及び生成ステップの一例に相当する。また、Ｓ１１０が固定変換手段としての処理の一例に相当し、Ｓ１１１が混合変換手段としての処理及び混合変換ステップの一例に相当する。また、カメラ１１，１２，１３，１４が撮像装置の一例に相当し、トップビュー画像１０Ｃが合成画像の一例に相当し、第１のＬＵＴが第１の変換テーブルの一例に相当し、第２のＬＵＴが第２の変換テーブルの一例に相当する。
【００５９】
［４．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
【００６０】
［４Ａ］ＬＵＴ生成方法は、上記実施形態で例示した方法に限定されるものではなく、他の公知の方法を利用してもよい。例えば、前述した特許文献１に記載のように、ヒストグラムに対して、ヒストグラムイコライゼーションを実行可能なＬＵＴを生成し、同様の補正処理を行うようにしてもよい。
【００６１】
［４Ｂ］合成ＬＵＴを用いた濃度変換方法は、上記実施形態で例示した方法に限定されるものではない。例えば、図７に示す処理対象画像１４Ｃに含まれるすべての画素について、線分（Ｐ１，Ｐ２）上の画素を基準として、線分（Ｐ３，Ｐ５）に平行な直線上の画素がすべて同じ重みとなるように重みを設定してもよい。つまり、２つの三角形領域（三角形（Ｐ１，Ｐ３，Ｐ５）及び三角形（Ｐ２，Ｐ４，Ｐ６））に含まれる画素についての重みの設定方法が、上記実施形態と異なる。また、処理対象画像１４Ｃにおいて、線分（Ｐ１，Ｐ２）に平行な直線ごとに、当該直線の両端を図７でいうＰ１，Ｐ２に置き換えて、当該直線上の画素についての重みを設定してもよい。
【００６２】
また、図８に示すように、線分（Ｐ５，Ｐ６）上の画素については、当該線分上における位置（点Ｐ５，Ｐ６に対する距離）に応じて、第１のＬＵＴの重みＷ１と、第２のＬＵＴの重みＷ２と、をリニアに変更してもよい。そして、長方形領域（Ｐ３，Ｐ４，Ｐ６，Ｐ５）に含まれる画素については、線分（Ｐ３，Ｐ５）に平行な直線上の画素がすべて同じ重みとなるように重みを設定してもよい。そして、残りの２つの三角形領域（三角形（Ｐ１，Ｐ３，Ｐ５）及び三角形（Ｐ２，Ｐ４，Ｐ６））に含まれる画素については、重みが最大になるように重みを設定してもよい。
【００６３】
また、処理対象画像１４Ｃを複数の領域に区分し、領域別に重みを設定してもよい。
［４Ｃ］基準部分画像を設定するタイミング（基準部分画像が変更され得るタイミング）は、撮像周期ごとに限定されるものではなく、基準部分画像が頻繁に変更されることが抑制されるようにしてもよい。例えば、一定期間は基準部分画像を固定としてもよい。また例えば、基準部分画像を変更する際は、現時点における基準部分画像がその後一定期間連続して基準部分画像として選択される基準を満たさないなど、同一の基準部分画像が選択される条件よりも厳しい条件を設定してもよい。なお、基準部分画像が同一とは、トップビュー画像１０Ｃにおける配置が同一であることを意味し、基準部分画像を変更するとは、トップビュー画像１０Ｃにおける配置が異なる部分画像を基準部分画像として選択することを意味する。
【００６４】
［４Ｄ］上記実施形態では、部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃのそれぞれにおいて設定された解析対象領域１１Ｒ，１２Ｒ，１３Ｒ，１４Ｒが設定されており、これら各領域に含まれる画素を基準に判定するようにしているが（Ｓ１０３）、これに限定されるものではない。例えば、部分画像１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃに含まれるすべての画素を基準に判定してもよい。
【００６５】
［４Ｅ］上記実施形態では、最大１つの基準部分画像を設定するようにしているが（Ｓ１０３）、これに限定されるものではなく、複数の基準部分画像が設定され得るようにしてもよい。例えば、前述したＳ１０３において、画素数Ｎが１番目に多い画像と２番目に多い画像とが、基準部分画像として選択されるようにしてもよい。
【００６６】
［４Ｆ］基準部分画像が設定されない場合（濃度変換処理が行われない場合）には、その旨（又はその理由）を運転者に報知するようにしてもよい。
［４Ｇ］上記実施形態では、基準部分画像が設定されない場合も生じ得るようにしているが（Ｓ１０３）、これに限定されるものではなく、１つ以上の基準部分画像が必ず設定され、設定された基準部分画像に基づいて濃度変換処理が行われるようにしてもよい。
【００６７】
［４Ｈ］上記実施形態では、基準部分画像を変更可能としているが、これに限定されるものではなく、トップビュー画像１０Ｃにおけるあらかじめ決められた位置の部分画像を常に基準部分画像としてもよい。
【００６８】
［４Ｉ］カメラの位置や数は、上記実施形態で例示したものに限定されない。また、本発明は、トップビュー画像以外の合成画像にも適用可能である。
［４Ｊ］上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
【００６９】
［４Ｋ］本発明は、画像生成装置、画像生成方法、画像生成プログラムの他、画像生成プログラムを記録した記録媒体、画像生成装置を構成要素とするシステムなど、種々の形態で実現することができる。
【符号の説明】
【００７０】
１…トップビュー画像生成装置、９…車両、１０…撮像部、１０Ｃ…トップビュー画像、１１…第１のカメラ、１１Ｂ…第１の上面視画像、１１Ｃ，１２Ｃ，１３Ｃ，１４Ｃ…部分画像、１２…第２のカメラ、１２Ｂ…第２の上面視画像、１３…第３のカメラ、１３Ｂ…第３の上面視画像、１４…第４のカメラ、１４Ｂ…第４の上面視画像、２０…記憶部、３０…画像生成部、３１…ＣＰＵ、３２…ＲＯＭ、３３…ＲＡＭ、４０…表示部、１１２，１２３，１３４，１４１…重複領域。
【図１】
0005929849.tif 000002
【図２】
0005929849.tif 000003
【図３】
0005929849.tif 000004
【図４】
0005929849.tif 000005
【図５】
0005929849.tif 000006
【図６】
0005929849.tif 000007
【図７】
0005929849.tif 000008
【図８】
0005929849.tif 000009