(57)【要約】【課題】撮像手段を介して得られる画像を効率的に用いて、撮像手段の視線方向の変化が生じた場合にも意図する画像を適切に表示すること【解決手段】本発明による画像提供装置は、撮像手段１０と、前記撮像手段を介して得られる画像を記憶する記憶手段と、前記撮像手段を介して得られる画像に基づいて、表示用の画像を生成する表示画像生成手段１２０と、前記撮像手段の視線方向の変化を検出する視線方向変化検出手段１１２とを備え、前記表示画像生成手段は、撮像手段の視線方向の変化が検出された場合には、該視線方向の変化が検出される以前に前記撮像手段を介して得られた過去画像を用いて、表示用の画像を生成する。【選択図】図５
2007235528.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段を介して得られる画像を記憶する記憶手段と、
前記撮像手段を介して得られる画像に基づいて、表示用の画像を生成する表示画像生成手段と、
前記撮像手段の視線方向の変化を検出する視線方向変化検出手段とを備え、
前記表示画像生成手段は、撮像手段の視線方向の変化が検出された場合には、該視線方向の変化が検出される以前に前記撮像手段を介して得られた過去画像を用いて、表示用の画像を生成する、画像提供装置。
【請求項２】
前記撮像手段は、移動可能な可動部材に取り付けられ、
前記視線方向変化検出手段は、前記可動部材の移動を検出することで前記撮像手段の視線方向の変化を検出する、請求項１に記載の画像提供装置。
【請求項３】
前記可動部材は、回転部材である、請求項２に記載の画像提供装置。
【請求項４】
前記可動部材は、車両の開閉自在なドアを構成するドア構成部材である、請求項２又は３に記載の画像提供装置。
【請求項５】
前記表示画像生成手段は、前記撮像手段の視線方向の変化が検出された場合には、該視線方向の変化により撮像不能となった撮像領域の画像を、前記過去画像を用いて生成する、請求項１〜４のいずれかに記載の画像提供装置。
【請求項６】
前記撮像手段は、複数個、それぞれ視線方向が異なる態様で設置され、
前記表示用の画像は、前記各撮像手段を介して得られる画像を合成して生成される合成画像である、請求項１〜５のいずれかに記載の画像提供装置。
【請求項７】
前記表示画像生成手段は、前記各撮像手段を介して得られる画像に基づいて、俯瞰表示用の合成画像を生成する、請求項６に記載の画像提供装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段を介して得られる画像に基づいて表示用の画像を提供する画像提供装置に関する。
【背景技術】
【０００２】
従来から、車両周囲の映像を表示手段に表示する車両周辺監視装置であって、ドアミラーに設置された撮像手段（カメラ）と、車両の前後方向に平行な前後方向マークの画像を生成するマーク発生器と、前記撮像手段により撮像された映像と前記マーク発生器で生成されたマークの画像とを重ね合わせて前記表示手段に表示することを特徴とする車両周辺監視装置が知られている（例えば、特許文献１参照）。
【０００３】
また、車両に設置した複数の撮影手段と、前記撮影手段によって撮影された複数の画像データを合成する合成手段と、前記合成されたデータを表示する表示手段と、前記車両の開閉体の開閉により前記撮影手段の撮影範囲に死角が生じる場合、前記合成のための前記撮影手段の担当範囲を変更する変更手段とを有することを特徴とする画像合成装置が知られている（例えば、特許文献２参照）。
【特許文献１】特開２００３−２５９３５６号公報
【特許文献２】特開２００４−４８６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、冒頭部に記述した種の画像提供装置においては、撮像手段の視線方向が変化すると、撮像手段により捕捉される領域（撮像範囲）が変化する。従って、かかる撮像手段の視線方向の変化が生ずると、意図する画像を生成するのに必要な撮像範囲の画像を取得できないため、意図する画像を適切に表示できない虞がある。
【０００５】
これに対して、上述の特許文献２に記載の発明を用いる場合には、一の撮像手段の視線方向が変化した場合であっても、他の撮像手段により得られる画像により、意図する画像を表示することが可能となりうる。しかしながら、かかる構成では、撮像範囲が重複する複数の撮像手段を設置する必要があるので、設置する撮像手段の数が必要以上に増えてしまうという欠点がある。
【０００６】
そこで、本発明は、撮像手段を介して得られる画像を効率的に用いて、撮像手段の視線方向の変化が生じた場合にも意図する画像を適切に表示することが可能な画像提供装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、第１の発明に係る画像提供装置は、撮像手段と、
前記撮像手段を介して得られる画像を記憶する記憶手段と、
前記撮像手段を介して得られる画像に基づいて、表示用の画像を生成する表示画像生成手段と、
前記撮像手段の視線方向の変化を検出する視線方向変化検出手段とを備え、
前記表示画像生成手段は、撮像手段の視線方向の変化が検出された場合には、該視線方向の変化が検出される以前に前記撮像手段を介して得られた過去画像を用いて、表示用の画像を生成することを特徴とする。
【０００８】
第２の発明は、第１の発明に係る画像提供装置において、
前記撮像手段は、移動可能な可動部材に取り付けられ、
前記視線方向変化検出手段は、前記可動部材の移動を検出することで前記撮像手段の視線方向の変化を検出することを特徴とする。これにより、可動部材に取り付けられた撮像手段の視線が可動部材の移動に伴って変化した場合でも、過去画像を用いることで、意図する画像を適切に表示することが可能となる。尚、可動部材とは、撮像手段が搭載される搭載物に対して可動な部材を意味し、例えば、撮像手段が車両に搭載される場合、可動部材とは、車体に対して可動な部材を意味する。
【０００９】
第３の発明は、第２の発明に係る画像提供装置において、前記可動部材が回転部材であることを特徴とする。これにより、回転部材に設置された撮像手段の視線が回転部材の回転に伴って変化した場合でも、過去画像を用いることで、意図する画像を適切に表示することが可能となる。
【００１０】
第４の発明は、第２又は３の発明に係る画像提供装置において、前記可動部材は、車両の開閉自在なドアを構成するドア構成部材であることを特徴とする。ドア構成部材とは、例えば、ドアのパネル部材や艤装品、ドアに一体的に取り付けられる部材（例えば、典型的には、ドアミラー）等を含む。これにより、車両のドアに設置された撮像手段の視線がドアの開閉に伴って変化した場合でも、過去画像を用いることで、意図する画像を適切に表示することが可能となる。
【００１１】
第５の発明は、第１〜４のいずれかの発明に係る画像提供装置において、
前記表示画像生成手段は、撮像手段の視線方向の変化が検出された場合には、該視線方向の変化により撮像不能となった撮像領域の画像を、前記過去画像を用いて生成することを特徴とする。これにより、撮像手段の視線方向が変化して、意図する画像を生成するのに必要な撮像領域の画像が取得できない場合でも、過去画像を用いることで、意図する画像を適切に表示することが可能となる。
【００１２】
第６の発明は、第１〜５のいずれかの発明に係る画像提供装置において、
前記撮像手段は、複数個、それぞれ視線方向が異なる態様で設置され、
前記表示用の画像は、前記各撮像手段を介して得られる画像を合成して生成される合成画像であることを特徴とする。これにより、ユーザの視界を多方位に亘って支援することが可能となり、また、複数の撮像手段のいずれかの撮像手段の視線方向が変化しても、過去画像を用いることで、合成される各画像の境界部での適切な連続性を維持することが可能となる。
【００１３】
第７の発明は、第６の発明に係る画像提供装置において、
前記表示画像生成手段は、前記各撮像手段を介して得られる画像に基づいて、俯瞰表示用の合成画像を生成することを特徴とする。これにより、ユーザが周辺物を把握しやすい俯瞰表示用の合成画像を生成することが可能となり、また、複数の撮像手段のいずれかの撮像手段の視線方向が変化しても、過去画像を用いることで、俯瞰表示用の合成画像の境界部での適切な連続性を維持することが可能となる。
【発明の効果】
【００１４】
本発明によれば、撮像手段を介して得られる画像を効率的に用いて、撮像手段の視線方向の変化が生じた場合にも意図する画像を適切に表示することが可能な画像提供装置が得られる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。以下では、代表的な実施例として、本発明による画像提供装置が車両に搭載された場合について説明する。
【００１６】
図１は、本発明による画像提供装置の一実施例を示すシステム構成図である。本実施例の画像提供装置は、画像合成装置１００を備える。画像合成装置１００は、車両に搭載されたカメラ１０から得られる撮像画像に基づいて、車両に搭載されるディスプレイ２０を介して、車両周辺の画像（映像）を表示する。ディスプレイ２０は、例えば液晶ディスプレイであってよく、乗員が視認しやすい位置（例えばインストルメントパネル内）に設置される。
【００１７】
図２は、カメラ１０の設置態様及びその撮像領域の一例を示す平面図である。カメラ１０は、図２に示すように、車両の前部、両側部及び後部の計４箇所に設置される。各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）は、ＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により路面を含む周囲画像を取得する。各カメラ１０は、魚眼レンズを備える広角カメラであってよい。
【００１８】
前方カメラ１０ＦＲは、図２に概略的に示すように、車両前方の路面を含む周囲画像を取得するように、車体の前部（例えばバンパ付近）に設置される。左側方カメラ１０ＳＬは、図２に概略的に示すように、車両左側方の路面を含む周囲画像を取得するように、左側のドアミラーに設置される。右側方カメラ１０ＳＲは、図２に概略的に示すように、車両右側方の路面を含む周囲画像を取得するように、右側のドアミラーに設置される。後方カメラ１０ＲＲは、図２に概略的に示すように、車両後方の路面を含む周囲画像を取得するように、車体の後部（例えば後部バンパ付近やバックドア）に設置される。
【００１９】
図２には、各カメラ１０の撮像領域の一例が概略的に示されている。図２に示す例では、各カメラ１０は、広角カメラであり、各カメラ１０の撮像領域は略扇形で示されている。図２には、前方カメラ１０ＦＲの撮像領域Ｒｆと、右側方カメラ１０ＳＲの撮像領域Ｒｒとが、ハッチングにより強調して示されている。これらの各撮像領域は、図２に示すように、互いに重複する領域（例えば図２のＲｒｆ）を有してもよい。このように図２に示す例では、車両の全周囲の風景が、４つのカメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲにより協働して捕捉される。
【００２０】
図３は、ディスプレイ２０上に表示される表示画像の一例を概略的に示す図である。表示画像は、４つのカメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲを介して得られる画像を合成して生成される。図３に示す例では、表示画像の中央領域に、車両を模した画像（車両画像）が組み込まれている。かかる車両画像は、予め作成され、所定のメモリ（後述の車両画像記憶部１１５）に記憶しておいたものが利用されてよい。表示画像は、中央領域に車両画像を配置し、その他の領域に、各カメラ１０から得られる画像を配置することにより得られる。各カメラ１０から得られる画像は、路面を上空から俯瞰した俯瞰（鳥瞰）表示用の画像となるように適切な前処理（例えば座標変換、歪補正や遠近補正等）を受けてから、ディスプレイ２０上に表示される（図中のハッチング部分が路面ないし路上物体を俯瞰した画像部分を表す）。これにより、乗員は、車両を中心として全方位に亘って、路面の状態ないし路上物体の状態（例えば、各種道路区画線や各種障害物の位置等）を把握することができる。尚、図２に示したように、各カメラ１０の撮像領域が重複する領域（例えば図２のＲｒｆ）については、何れかの一方の画像を選択して当該重複領域に関する最終的な表示画像が生成されてもよく、或いは、双方の画像を協働的に用いて当該重複領域に関する最終的な表示画像が生成されてもよい。
【００２１】
図４は、本実施例の画像合成装置１００の主要機能を示す機能ブロック図である。画像合成装置１００のハードウェア構成は、マイクロコンピュータを中心に構成されている。即ち、画像合成装置１００は、所与の実行プログラムに従って各種処理を行うCPU、このCPUの実行プログラム、画像データ、演算結果等を格納するメモリ（例えばROM、ＲＡＭ，ＥＥＰＲＯＭ等）、タイマ、カウンタ、入出力インターフェイス等を有している。これらCPU、メモリ、及び入出力インターフェイスは、データバスにより相互に接続されている。尚、以下で説明する画像合成装置１００の各部は、CPUがアクセス可能なメモリや、CPUによって実行されるプログラムによって実現される。
【００２２】
本実施例の画像合成装置１００は、ドア開閉認識部１１２、通常時表示画像生成部１１４、車両画像記憶部１１５、過去画像記憶部１１６、及び、ドア開時表示画像生成部１２０を備える。
【００２３】
画像合成装置１００には、車両LAN（Local  Area  Network）等の通信回線を介して、各種の必要な情報がリアルタイムに入力される。かかる情報としては、車速センサに基づいて得られる車速情報や、後述のドア開閉認識処理に必要な情報（例えばドアスイッチ３０のＯＮ／ＯＦＦ信号）がある。
【００２４】
画像合成装置１００には、適切な通信回線を介して、各カメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲを介して得られる画像が、リアルタイムに入力される。この場合、各画像は、適切なフレームレートのストリーム形式で画像合成装置１００に供給されてよい。画像合成装置１００は、フレーム毎に、以下で説明する処理に従って、図３に示したような表示画像を生成する。従って、ディスプレイ２０上に表示される表示画像は、フレーム毎に更新されることになる（即ち、動画表示となる）。
【００２５】
ドア開閉認識部１１２は、側方カメラ１０ＳＲ、ＳＬが取り付くドアの開閉状態を認識する。ドア開閉認識部１１２は、少なくとも、側方カメラ１０ＳＲ、ＳＬが取り付けられる左前のドア及び右前のドアに対してそれぞれのドアの開閉状態を認識し、好ましくは、開閉されうる全てのドアに対して各ドアの開閉状態を認識する。
【００２６】
例えば、ドア開閉認識部１１２は、通常的にドアに設けられるドアスイッチ３０（ドアが開放された際にＯＮ信号を出力する警告用スイッチ）の出力に基づいて、ドアの開閉状態を認識してよい（開又は閉の２段階の認識）。
【００２７】
或いは、ドア開閉認識部１１２は、側方カメラ１０ＳＲ、ＳＬから得られる画像に基づいて、ドアの開閉状態を認識してもよい。これは、側方カメラ１０ＳＲ、ＳＬの視線（光軸）は、ドアの開閉状態に応じて変化し、それに伴って、側方カメラ１０ＳＲ、ＳＬにより捕捉される対象物の位置ないし方向が変化するためである。例えば、ドア開閉認識部１１２は、側方カメラ１０ＳＲ、ＳＬから得られる画像に対して、エッジ処理等を行って特定対象物に係る特徴点（例えば道路区画線に係る特徴点）を抽出し、同一の特定対象物に係る特徴点の位置ないし方向のフレーム間での変化態様を監視する。そして、同一の特定対象物に係る特徴点の位置ないし方向が、車両位置が変化していないにも拘らずフレーム間で変化した場合には、ドアの開閉が行われたと判定する。この際、ドア開閉認識部１１２は、特徴点の位置ないし方向の変化量に応じて、ドアの開度を推定してもよい。かかる構成では、後述の如く、ドアの開度に応じて適切な表示画像を生成することが可能となる。
【００２８】
或いは、ドア開閉認識部１１２は、ドアのヒンジ等に設けられるロータリーエンコーダー（回転角センサの類）に基づいて、ドアの開閉状態を認識してもよい。この場合、ドア開閉認識部１１２は、ドアの開閉状態の認識に加えて、ドアの開度を推定してもよい。かかる構成では、後述の如く、ドアの開度に応じて適切な表示画像を生成することが可能となる。
【００２９】
尚、上述の如く、ドア開閉認識部１１２は、主にドアのドア開閉状態の変化を認識するものであるため、ドア開閉が行われる可能性のある状況下のみ動作するものであってよい。例えば、ドア開閉認識部１１２は、車速がゼロとなり、ドアロックがアンロックとなった際に起動され、ドアが閉じられ、ドアロックがアンロックからロックになった際に作動停止されてよい。
【００３０】
車両画像記憶部１１５は、図３に示したような表示画像の略中央領域に重畳される車両画像を記憶する。車両画像は、図３に示したように、車両の俯瞰図を模式的に表す画像である。車両画像は、好ましくは、ドアの開閉状態に応じて複数種類用意される。即ち、全てのドアが閉じた状態の車両画像、左前のドアが開いた状態の車両画像、右前のドアが開いた状態の車両画像、左前及び右前のドアが開いた状態の車両画像等々が、例えばテンプレート形式で用意され、記憶される。
【００３１】
過去画像記憶部１１６は、ドア開閉認識部１１２の認識結果に基づいて、ドアが閉状態にあるときに側方カメラ１０ＳＲ、ＳＬを介して得られる側方画像を記憶・保持する。この際、過去画像記憶部１１６は、上述の如く時間の経過と共に随時供給される側方画像の全てを記憶する必要はなく、ドアが閉状態にあるときの最新の側方画像のみを記憶・保持してよい。即ち、今回のフレーム周期において、ドア開閉認識部１１２によりドアが開放されていないと認識された場合には、以前に記憶した側方画像（前回以前のフレーム周期に係る側方画像）を消去し、今回のフレーム周期の側方画像を、記憶・保持してよい。ドア開閉認識部１１２により例えば右前のドアが開放されたと認識されると、以後、右側の側方カメラ１０ＳＲから得られる画像は、他の記憶領域に一時的に記憶されることはあっても、過去画像記憶部１１６に記憶・保持されることはない。このようにして過去画像記憶部１１６に記憶された側方画像は、後述の如く、ドア開時表示画像生成部１２０により利用される。尚、側方カメラ１０ＳＲ、ＳＬを介して得られる側方画像は、車両側方の路面を俯瞰した俯瞰表示用の画像となるように適切な前処理を受けてから、過去画像記憶部１１６に記憶される。
【００３２】
通常時表示画像生成部１１４は、ドア開閉認識部１１２の認識結果に基づいて、ドアが閉状態にあるときに動作する。通常時表示画像生成部１１４は、フレーム毎に随時供給される各カメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲの撮像画像に基づいて、図３に示したような表示画像を生成・更新する。具体的には、通常時表示画像生成部１１４は、車両画像記憶部１１５に記憶された“全てのドアが閉じた状態の車両画像”を読み出して、表示画像用の画像領域の中央に描画し、各カメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲから得られる画像を、表示画像用の画像領域における車両画像の周辺の適切な場所に描画することで、図３に示したような表示画像を生成する。尚、各カメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲから得られる画像が合成される位置（領域）は、ドアが閉状態にあるときの各カメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲの撮像領域（図２参照）を基準として、予め決定される。かくして生成される表示画像は、上述の如く、ディスプレイ２０上に表示されることになる（図３参照）。
【００３３】
ドア開時表示画像生成部１２０は、ドア開閉認識部１１２の認識結果に基づいて、ドアが開状態にあるときに動作する。以下、ドア開時表示画像生成部１２０の動作を、図５以降を参照して説明する。
【００３４】
図５は、ドア開時表示画像生成部１２０により実現される機能を示すブロック図である。ドア開時表示画像生成部１２０は、死角補間部１２２、カメラ回転補正部１２４、及び、画像合成部１２８を備える。
【００３５】
ここでは、ドア開閉認識部１１２により、右側の前部ドアの開状態が認識された場合を説明する。また、後方カメラ１０ＲＲは、バックドア等の回転部材に取り付けられておらず、前方カメラ１０ＦＲと同様、その視線方向は、ドアの開閉状態に如何に拘らず、変化しないものとする。
【００３６】
死角補間部１２２は、過去画像記憶部１１６から右側の側方カメラ１０ＳＲに係る側方画像を読み出し、側方画像のうちの所定領域の画像データを画像合成部１２８に供給する。即ち、右側の側方カメラ１０ＳＲの開状態が認識された場合には、死角補間部１２２は、今回のフレーム周期で右側の側方カメラ１０ＳＲから得られる画像を用いることなく、画像記憶部１１６内に記憶された側方カメラ１０ＳＲの側方画像を用いて、表示画像の一部を生成する。画像記憶部１１６内に記憶された側方カメラ１０ＳＲの側方画像は、上述の如く、右前のドアが閉じた状態であったときの過去のフレーム周期で取得された側方画像であり、以下、「過去画像」という。
【００３７】
図６は、死角補間部１２２により実現される処理の説明図であり、右前のドアが開いた状態における表示画像を示す。
【００３８】
図６に示すように、側方カメラ１０ＳＲが取り付く右前のドアが開かれると、それに伴って側方カメラ１０ＳＲの視線方向が変化するので、以後、右前のドアが閉じられない限り、右前のドアの後方領域Ｒｒ１の画像を取得することができない状態となる。即ち、右前のドアの後方領域Ｒｒ１が死角となる。
【００３９】
従って、このような右前のドアが開かれた状態で側方カメラ１０ＳＲにより取得される画像を用いると、後方領域Ｒｒ１の画像が欠けた表示画像しか生成することができなくなる。
【００４０】
これに対して、本実施例では、かかる右前のドアの後方領域Ｒｒ１の画像は、過去画像を用いて補完される。即ち、死角補間部１２２は、過去画像における後方領域Ｒｒ１に対応する領域の画像を、合成用の画像として画像合成部１２８に供給する。ここで、過去画像は、上述の如く、右前のドアが閉じた状態であったときに取得された最新の画像（右前のドアが開放される直前の画像）であるため、過去画像が取得された時点と現時点との間に、後方領域Ｒｒ１の状態に大きな変化が生ずる可能性は少ない。従って、このようにして過去画像により死角領域Ｒｒ１が補完された表示画像は、上述の如く通常時表示画像生成部１１４により生成される表示画像と同様、ユーザ（乗員）に対して信頼性の高い情報を提供することができる。
【００４１】
また、例えば上述の如くロータリーエンコーダーを搭載しており、ドア開閉認識部１１２により右前のドアの開度が推定される場合には、右前ドアが開かれた状態での死角領域Ｒｒ１の範囲が高精度に把握できる。このため、死角補間部１２２は、ドアの開度に応じて、合成用画像として抽出する過去画像の領域を、適切に決定してもよい。即ち、図６（Ａ）に示すように、ドア開度が９０度であると検出された場合と、図６（Ｂ）に示すように、ドア開度が６０度であると検出された場合とで、合成用画像として抽出する過去画像の領域を変化させてよい。これにより、表示画像に含まれる過去画像の領域を、ドアの開度に応じて可能な限り小さくすることができ、ユーザ（乗員）に対してより信頼性の高い情報を提供することができる。
【００４２】
カメラ回転補正部１２４は、今回のフレーム周期で供給される側方カメラ１０ＳＲの側方画像（≠過去画像）を用いて、側方カメラ１０ＳＲの視線変化分を補償した補正画像を生成し、当該補正画像を、合成用の画像として画像合成部１２８に供給する。
【００４３】
図７は、カメラ回転補正部１２４により実現される処理の説明図であり、右前のドアが開いた状態における側方カメラ１０ＳＲの撮像領域Ｒｒ’を示す。尚、上述の死角領域Ｒｒ１は、右前のドアが閉じた状態における側方カメラ１０ＳＲの撮像領域Ｒｒ（図２参照）から、撮像領域Ｒｒ’を差分した領域に対応する。図８は、カメラ回転補正部１２４による補正処理を行わない場合の表示画像を概略的に示す図である。
【００４４】
図７に示すように、側方カメラ１０ＳＲが取り付く右前のドアが開かれると、それに伴って側方カメラ１０ＳＲの視線方向が変化する。従って、このような右前のドアが開かれた状態で側方カメラ１０ＳＲにより取得される画像を、通常時（通常時表示画像生成部１１４により行われる態様）と同様の態様で座標変換して、表示画像を生成すると、図８に示すように、例えば車両の前部（右前のバンパ周辺）の画像が、車両画像の斜め前方の路面を表す位置に表示されてしまう。
【００４５】
これに対して、本実施例では、側方カメラ１０ＳＲの撮像領域Ｒｒ’の画像は、側方カメラ１０ＳＲの視線の変化に応じて、適切に補正される。これにより、ドアが閉じた状態のときには車両斜め後方の路面を表す位置に配置される画像が、回転補正（回転を伴う座標変換）されて、車両斜め前方の路面を表す位置に適切に配置される。この際、車両の前部の画像は除去されてよい。このように、カメラ回転補正部１２４による補正処理によれば、側方カメラ１０ＳＲの視線の変化量に応じて適切に座標変換された補正画像が得られる。
【００４６】
また、例えば上述の如くロータリーエンコーダーを搭載しており、ドア開閉認識部１１２により右前のドアの開度が推定される場合には、右前ドアが開かれた状態での側方カメラ１０ＳＲの撮像領域Ｒｒ’の範囲（右前ドアが開かれた状態での側方カメラ１０ＳＲの視線）が高精度に把握できる。このため、カメラ回転補正部１２４は、ドアの開度に応じて、適切な補正パラメータ（例えば座標回転角）を決定してもよい。これにより、ドアの開度の相違に起因した補正誤差を小さくすることができ、ユーザ（乗員）に対して信頼性の高い情報を提供することができる。尚、かかる構成の場合、変換テーブル（ドア開度と補正パラメータとの対応関係）を予め作成しておくことで、計算処理負担を低減することが望ましい。
【００４７】
尚、カメラ回転補正部１２４は、側方カメラ１０ＳＲの撮像領域Ｒｒ’と前方カメラ１０ＦＲの撮像領域が重複する領域Ｒ’ｒｆについては、上述の回転補正を行わないこととしてもよい（即ち、処理対象範囲から除外してもよい）。この場合、当該領域Ｒ’ｒｆに関する表示画像は、前方カメラ１０ＦＲを介して得られる画像のみによって生成されることになる。
【００４８】
画像合成部１２８は、上述の如く死角補間部１２２により抽出された過去画像（過去画像の一部）と、上述の如くカメラ回転補正部１２４により生成された補正画像とに基づいて、側方カメラ１０ＳＲに対して割り当てられた領域に関する表示画像を生成する。その他の領域に関する表示画像は、今回のフレーム周期で取得された側方カメラ１０ＬＲ、前方カメラ１０ＦＲ及び後方カメラ１０ＲＲの各画像（≠過去画像）を用いて生成される。即ち、画像合成部１２８は、これらの各画像を合成して、右前ドアが開かれた状態に対する表示画像を生成する。
【００４９】
より具体的には、画像合成部１２８は、車両画像記憶部１１５に記憶された“右前のドアが開いた状態の車両画像”を読み出して、表示画像用の画像領域の中央に描画し、各カメラ１０ＦＲ，１０ＳＬ，１０ＲＲから得られる画像を、画像領域における車両画像の前後左方の各領域に描画し、更に、上述の如く供給された過去画像及び補正画像を、画像領域における車両画像の右方の領域に描画することで、表示画像を生成する（図９参照）。
【００５０】
また、同様に、例えば上述の如くロータリーエンコーダーを搭載しており、ドア開閉認識部１１２により右前のドアの開度が推定される場合には、画像合成部１２８は、ドア開度に応じた“右前のドアが開いた状態の車両画像”を読み出して、表示画像を生成してもよい。この目的のため、車両画像記憶部１１５には、ドアのチェック角度（ドアチェッカーの保持角度）に応じて複数種類の開度でドアが開いた状態の車両画像を予め作成して記憶しておいてよい。これにより、ドア開度に応じた適切な車両画像を含む表示画像を表示することが可能となる。或いは、ドア開度に応じて、複数フレームに亘って車両画像をきめ細かく変更していくことで、ドアが開いていく態様をリアルタイム（動画的）に表現してもよい。
【００５１】
図９は、ドア開時表示画像生成部１２０により生成される表示画像を概略的に示す図である。尚、図９に示す表示画像においては、説明の都合上、過去画像を用いて生成された画像領域と、補正画像を用いて生成された画像領域とが、他の領域と異なる態様でハッチングされている。
【００５２】
画像合成部１２８は、表示画像における過去画像の部分が、他の部分と識別可能な態様で強調表示されるように、表示画像を生成してもよい。これにより、ユーザは、表示画像における当該部分が過去画像であり、従って、リアルタイムの映像でないことを容易に認識することができる。かかる強調表示は、過去画像の部分を淡く表示するや、過去画像の部分に特定の色を付すこと、過去画像の部分の枠を表示すること、過去画像の部分を点滅させること等により実現されてよい。
【００５３】
以上のように本実施例によれば、側方カメラ１０ＳＲを介して得られる過去画像を用いて、側方カメラ１０ＳＲの視線方向の変化が生じた場合にも、死角の少ない表示画像を適切に表示することが可能となる。
【００５４】
また、本実施例においては、カメラ回転補正部１２４により補正画像を生成することで、右前ドアが開かれた状態で取得される側方カメラ１０ＳＲの画像を有効に利用して、過去画像の含む領域を最小限にした表示画像を生成することを可能としている。しかしながら、本実施例において、例えば上述の如くロータリーエンコーダーを搭載しておらず、ドア開閉認識部１１２によりドアの開度の推定が不能な場合等には、カメラ回転補正部１２４を省略して、側方カメラ１０ＳＲに対して割り当てられた全領域に対して、過去画像を組み入れることとしてもよい。この場合、カメラ回転補正部１２４による処理負担が削減され、また、ロータリーエンコーダー等によりドアの開度をセンシングする必要がなくなり、簡易な構成を実現することができる。また、かかる構成の場合、例えば図１０に示すように、カメラ１０が取り付けられていない後部ドアが開放された場合であっても、過去画像により、後部ドアにより遮断されて死角となる領域Ｒ３が補完されるので、死角発生の影響を受けない表示画像を生成することが可能となる。
【００５５】
尚、図５以降の説明は、右側の前部ドアの開状態が認識された場合に関するものであるが、左側の前部ドアの開状態が認識された場合には、側方カメラ１０ＳＬの過去画像を用いて同様の処理を行えばよい。また、双方のドアが開放された場合には、双方の側方カメラ１０ＳＲ、１０ＳＬの過去画像を用いて同様の処理を行えばよい。
【００５６】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００５７】
例えば、上述の実施例では、車両の全方位に亘ってユーザの視覚を支援すべく、視線の異なる４つのカメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲを設置し、それらにより得られる画像を合成して、車両の全方位に亘る路面状態を俯瞰表示しているが、本発明は、例えば側方カメラ１０ＳＲ以外が省略され、車両の左側方のみの表示画像を提供するようなアプリケーション（即ち合成画像を生成しないアプリケーション）に対しても適用可能である。
【００５８】
また、上述の実施例では、魚眼レンズを備えるカメラ１０を採用することで、４つのカメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲにより効率的に車両の全方位をカバーする表示画像（合成画像）を生成しているが、車両の全方位に亘ってユーザの視覚を支援するアプリケーションにおいて、かかる広角カメラを用いない場合（狭角カメラを用いる場合）には、5つ以上のカメラを設置してもよい。
【００５９】
また、上述の実施例では、前部ドアに側方カメラ１０ＳＲ、１０ＳＬが取り付けられているが、本発明は、後部ドアに側方カメラが取り付けられた場合に対しても同様に適用可能である。また、本発明は、開閉可能なバックドアに後方カメラ１０ＲＲが取り付けられた場合に対しても同様に適用可能である。
【００６０】
また、上述の実施例では、側方カメラ１０ＳＲ、１０ＳＬが取り付けられるドアが回動により開閉されるタイプである場合について説明しているが、スライド式に開閉されるタイプである場合についても同様に適用可能である。かかる場合にも、側方カメラが取り付くドアがスライド式に開放されることで、側方カメラの撮像領域が変化して死角が生ずる場合があるからである。この場合、同様の態様で、ドアが閉じた状態で取得された過去画像を用いて、死角となった撮像領域を補完すればよい。
【００６１】
また、上述の実施例では、メモリの容量の効率的利用や、信頼性向上の観点から、ドアが閉じた状態であったときに取得された最新の画像を、過去画像記憶部１１６に保持・記憶させている。しかしながら、ドアが開放される状況は車両が停止した状態であり、同一の停車状態のドア閉状態で取得された画像は、フレーム間で大きな変化が生じない場合もあるので、それらの画像のいずれかを過去画像として用いることとしてもよい。
【００６２】
また、上述の実施例では、側方カメラ１０ＳＲ、ＳＬを介して得られる側方画像は、車両側方の路面を俯瞰した俯瞰表示用の画像となるように適切な前処理を受けてから、過去画像記憶部１１６に記憶されているが、死角補間部１２２により同処理が代行されてもよい。
【図面の簡単な説明】
【００６３】
【図１】本発明による画像提供装置の一実施例を示すシステム構成図である。
【図２】カメラ１０の設置態様及びその撮像領域の一例を概略的に示す平面図である。
【図３】ディスプレイ２０上に表示される表示画像の一例を概略的に示す図である。
【図４】本実施例の画像合成装置１００の主要機能を示す機能ブロック図である。
【図５】ドア開時表示画像生成部１２０により実現される機能を示すブロック図である。
【図６】本実施例の死角補間部１２２により実現される処理の説明図であり、右前のドアが開いた状態における表示画像を概略的に示す図である。
【図７】カメラ回転補正部１２４により実現される処理の説明図であり、右前のドアが開いた状態における側方カメラ１０ＳＲの撮像領域Ｒｒ’を概略的に示す平面図である。
【図８】カメラ回転補正部１２４による補正処理を行わない場合の表示画像を概略的に示す図である。
【図９】ドア開時表示画像生成部１２０により生成される表示画像を概略的に示す図である。
【図１０】カメラ１０が取り付けられていないドアが開放された場合の表示画像の一例を概略的に示す図である。
【符号の説明】
【００６４】
１０    カメラ
２０    ディスプレイ
３０    ドアスイッチ
１００    画像合成装置
１１２    ドア開閉認識部
１１４    通常時表示画像生成部
１１５    車両画像記憶部
１１６    過去画像記憶部
１２０    ドア開時表示画像生成部
１２２    死角補間部
１２４    カメラ回転補正部
１２８    画像合成部
【図１】
2007235528.tif 000003
【図２】
2007235528.tif 000004
【図３】
2007235528.tif 000005
【図４】
2007235528.tif 000006
【図５】
2007235528.tif 000007
【図６】
2007235528.tif 000008
【図７】
2007235528.tif 000009
【図８】
2007235528.tif 000010
【図９】
2007235528.tif 000011
【図１０】
2007235528.tif 000012