(57)【要約】【課題】撮像部で撮像した画像に画像処理を施して表示する場合に、表示される物体等が実際の位置に対応するように映すことができる画像処理装置を提供する。【解決手段】画像処理装置は、車両の外面の一部に設定され、予め記憶された第一の参照位置を取得する取得部と、車両に設けられた撮像部で取得された撮像画像データ上で第一の参照位置に対応する第二の参照位置を検出する検出部と、第二の参照位置が第一の参照位置に一致するように画像処理上の上記撮像部の認識位置を補正する補正部と、を備える。【選択図】図３
2019114965.tif 000002
【特許請求の範囲】
【請求項１】
車両の外面の一部に設定され、予め記憶された第一の参照位置を取得する取得部と、
前記車両に設けられた撮像部で取得された撮像画像データ上で前記第一の参照位置に対応する第二の参照位置を検出する検出部と、
前記第二の参照位置が前記第一の参照位置に一致するように画像処理上の前記撮像部の認識位置を補正する補正部と、
を備える画像処理装置。
【請求項２】
前記補正部は、前記第一の参照位置と前記第二の参照位置との変位量に基づき前記撮像部の認識位置を補正する請求項１に記載の画像処理装置。
【請求項３】
前記補正部は、補正した前記撮像部の認識位置に基づき投影変換パラメータを補正する請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記第一の参照位置は前記車両の前輪の接地する位置である請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記撮像部は、前記車両の側方領域を撮像する第一の撮像部と、前記車両の進行方向領域を撮像する第二の撮像部とを備え、
前記補正部は、前記第一の撮像部と前記第二の撮像部とのいずれか一方の撮像部の認識位置を補正し、
前記認識位置が補正された前記一方の撮像部の撮像画像データに基づく画像に、他方の撮像部の撮像画像データを連結する場合に、画像内容の連続性が保たれるように、前記他方の撮像部の撮像画像データを補正する画像処理部を備える、請求項１から請求項４のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
従来、車両に設けられた複数の撮像部（カメラ）により車両周囲の状況を撮像し、撮像した複数の画像の画像処理（例えば視点変換）を行うとともに、各画像を繋げて周辺画像（例えば俯瞰画像）を生成する画像処理装置が知られている。このような画像処理装置では、各撮像部の取り付け誤差や取り付け後の衝撃等により撮像位置のずれが生じている場合があり、画像の繋ぎ目が不連続になってしまう場合がある。そこで、例えば、俯瞰画像を構成する隣接する画像に同一と認められる物体が映っているか否かを確認し、同一の物体が映っている場合には、その物体の輪郭を検出している。そして、隣接する撮像部の画像間で輪郭が繋がるように画像を補正することで、複数の画像を繋ぎ合わせた場合の連続性を確保するようにする技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＷＯ２０１５／１２９２８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら従来技術の場合、物体の輪郭が繋がるように各画像の補正を行っているため、その物体の位置が実際の位置と対応していない場合がある。つまり、物体の輪郭を繋ぐために一方の画像または双方の画像に対して回転処理や平行移動処理、拡縮補正等の画像処理を施している。その結果、実際の物体の位置からずれている画像を基準に繋ぎ合わせが行われたり、双方の画像が互いに移動して実際の物体の位置とは異なる位置で繋ぎ合わせが行われたりする場合があった。このような場合、生成された画像を見た運転者が物体までの距離を誤って認識してしまう虞があった。
【０００５】
そこで、本発明の課題の一つは、撮像部で撮像した画像に画像処理を施して表示する場合に、表示される物体等が実際の位置に対応するように映すことができる画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の実施形態にかかる画像処理装置は、例えば、車両の外面の一部に設定され、予め記憶された第一の参照位置を取得する取得部と、上記車両に設けられた撮像部で取得された撮像画像データ上で上記第一の参照位置に対応する第二の参照位置を検出する検出部と、上記第二の参照位置が上記第一の参照位置に一致するように画像処理上の上記撮像部の認識位置を補正する補正部と、を備える。この構成によれば、例えば、撮像した撮像画像データに視点変換等の画像処理を施して表示する場合に、撮像部の取り付け誤差等に基づく画像のずれが、車両の一部に定められ、予め記憶された第一の参照位置を基準として補正されるので、表示される画像の位置が車両基準で一定に定められる。その結果、画像に写っている物体等が実際の位置からずれて表示されてしまうことが軽減できる。
【０００７】
本発明の実施形態にかかる画像処理装置の上記補正部は、例えば、上記第一の参照位置と上記第二の参照位置との変位量に基づき上記撮像部の認識位置を補正してもよい。この構成によれば、例えば、第一の参照位置と第二の参照位置との位置関係に基づき、撮像部の認識位置の補正を実施することができる。
【０００８】
本発明の実施形態にかかる画像処理装置の上記補正部は、例えば、補正した上記撮像部の認識位置に基づき投影変換パラメータを補正してもよい。この構成によれば、例えば、撮像部が撮像した画像の投影処理をスムーズに実施することができる。
【０００９】
本発明の実施形態にかかる画像処理装置において、上記第一の参照位置は、例えば上記車両の前輪の接地する位置としてもよい。この構成によれば、例えば、撮像部が撮像した撮像画像データに基づく画像上で補正のときに基準とする位置が認識しやすくなる。その結果、補正処理が容易になると共に補正精度を向上することができる。
【００１０】
本発明の実施形態にかかる画像処理装置の上記撮像部は、例えば、上記車両の側方領域を撮像する第一の撮像部と、上記車両の進行方向領域を撮像する第二の撮像部とを備え、上記補正部は、例えば上記第一の撮像部と上記第二の撮像部とのいずれか一方の撮像部の認識位置を補正し、上記認識位置が補正された上記一方の撮像部の撮像画像データに基づく画像に、他方の撮像部の撮像画像データを連結する場合に、画像内容の連続性が保たれるように、上記他方の撮像部の撮像画像データを補正する画像処理部を備えるようにしてもよい。この構成によれば、例えば、物体等が実際の位置に対応する位置に映っている画像を基準に他の画像を繋ぎ合わせるので、繋ぎ合わせられた画像も認識位置の補正が行われた撮像部で撮像された画像に倣って位置合わせが行われる。その結果、画像のずれが全体としても解消され、合成画像（例えば俯瞰画像）の品質の向上ができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施形態にかかる画像処理装置を搭載可能な車両の一例を示す模式的な上面図である。
【図２】図２は、実施形態にかかる画像処理装置を含む画像処理システムの構成の例示的なブロック図である。
【図３】図３は、実施形態にかかる画像処理装置のＣＰＵの構成の例示的なブロック図である。
【図４】図４は、実施形態にかかる画像処理装置で用いる第一の参照位置の一例を示す俯瞰視図である。
【図５】図５は、実施形態にかかる画像処理装置で用いる第一の参照位置の一例を示す右側方の撮像部で撮像した画像例を示す模式図である。
【図６】図６は、実施形態にかかる画像処理装置において、撮像画像（カメラ画）上の座標系と路面上の座標系との関係を説明する例示的な模式図である。
【図７】図７は、実施形態にかかる画像処理装置において、画像処理上の撮像部の認識位置のずれ補正を説明する例示的な模式図である。
【図８】図８は、実施形態にかかる画像処理装置において、撮像部の実際の位置と画像処理上の撮像部の認識位置とがずれた結果、その状態で俯瞰画像を生成した場合に車両の周辺に存在する白線の位置が実際の位置からずれて表示される例を説明する模式図である。
【図９】図９は、実施形態にかかる画像処理装置による撮像部の画像処理上の認識位置のずれ補正を行い、俯瞰画像を生成した場合に、白線の位置が実際の位置と一致する例を説明する模式図である。
【図１０】図１０は、実施形態にかかる画像処理装置により俯瞰画像を生成する場合の処理手順の一例を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
【００１３】
図１は、本実施形態の画像処理装置が搭載される車両１０の模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
【００１４】
図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ〜１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＩＳ（CMOS  image  sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１４の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１４は、車両１０が移動可能な路面や路面に付されたマーク（矢印や区画線、駐車スペースを示す線、車線分離線等を含む）や物体（障害物として、例えば、歩行者、車両等）を含む車両１０の外部の周辺環境を逐次撮影し、撮像画像データとして出力する。
【００１５】
撮像部１４は、車両１０の外周部に設けられている。撮像部１４ａは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ａに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像可能である。撮像部１４ｂは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｂに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ｃやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ｃ）を含む前方画像を撮像可能である。撮像部１４ｄは、例えば、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ｄに設けられて、車両１０の後端部（例えばリヤバンパ１０ｄ）を含む後方領域を撮像可能である。なお、撮像部１４ａおよび撮像部１４ｂは、車両１０の側方領域を撮像する第一の撮像部と称することができる。また、撮像部１４ｃ、撮像部１４ｄは、車両１０の進行方向領域を撮像する第二の撮像部と称することができる。
【００１６】
複数の撮像部１４で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１０を上方から見た仮想的な俯瞰画像（平面画像)を生成したりすることができる。なお、各撮像部１４が撮像する撮像画像データ（画像）には、互いに重複する重複領域を設けてもよい。例えば、撮像部１４ａの撮像した撮像画像データの前方側の端部と撮像部１４ｃが撮像した撮像画像データの右側の端部とが重複する。そして、二つの画像を繋げる（合成する）場合、右側方画像の撮像画像データと前方画像の撮像画像データのそれぞれａ％を利用して画像を合成するブレンド処理を実行してもよい。ブレンド処理を実行することにより、右側方画像と前方画像とが、徐々に変化するように合成され、明るさや色合いの違いによって生じる境界線を目立ちにくくすることができる。同様に、前方画像と左側方画像、左側方画像と後方画像、後方画像と右側方画像についてもブレンド処理を施すことで、合成した周辺画像全体において境界線を目立ちにくくすることができる。
【００１７】
図２は、車両１０に搭載される画像処理装置を含む画像処理システム１００の構成の例示的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（liquid  crystal  display）や、ＯＥＬＤ（organic  electroluminescent  display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。乗員（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、乗員は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
【００１８】
また、図２に例示されるように、画像処理システム１００（画像処理装置）は、撮像部１４（１４ａ〜１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（electronic  control  unit）が含まれる。画像処理システム１００（画像処理装置）では、ＥＣＵ２４やモニタ装置２２は、電気通信回線としての車内ネットワーク２６を介して電気的に接続されている。車内ネットワーク２６は、例えば、ＣＡＮ（controller  area  network）として構成されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、各種システムの制御が実行できる。また、ＥＣＵ２４は、車内ネットワーク２６を介して、操作入力部２０や各種スイッチの操作信号等や図示を省略している各種センサの検出信号等を、受け取ることができる。
【００１９】
ＥＣＵ２４は、撮像部１４から撮像画像データを取得する。ＥＣＵ２４は、撮像画像等に基づいて生成した周辺画像や音声に関するデータをモニタ装置２２へ送信する。ＥＣＵ２４は、例えば、ＣＰＵ２４ａ（central  processing  unit）や、ＲＯＭ２４ｂ（read  only  memory）、ＲＡＭ２４ｃ（random  access  memory）、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ２４ｆ（solid  state  drive、フラッシュメモリ）等を有している。
【００２０】
ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＣＰＵ２４ａは、例えば、図３に示すような各種モジュールを備え、表示装置１６で表示される画像に関連した処理を実行する。例えば、ＣＰＵ２４ａは、撮像部１４が撮像した撮像画像データに補正処理や演算処理、画像処理等を実行して、複数の画像を繋ぎ合わせた周辺画像（例えば、俯瞰画像）を生成する。ＣＰＵ２４ａの詳細は後述する。
【００２１】
ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、表示装置１６で表示させる表示用の画像のデータ変換等を実行する。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声データの処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（digital  signal  processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（hard  disk  drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。
【００２２】
本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、車両１０の画像生成処理を司る。ＥＣＵ２４は、撮像部１４が撮像した撮像画像データ（画像）を画像処理、例えば視点変換処理等を施して表示装置１６に表示させる場合に、車両１０（自車）に対して周囲の物体等が正しい位置（実際の位置に対応する位置）に表示されるように、画像処理上の撮像部１４の認識位置を補正した上で画像処理を実行して表示画像を出力する。例えば、各撮像部１４（１４ａ〜１４ｄ）で撮像した複数の撮像画像データ（画像）を繋ぎ合わせて周辺画像（例えば、俯瞰画像）を表示させる場合、車両１０（自車）に対して周囲の物体等が正しい位置に表示されるように撮像画像データを補正した上で繋ぎ合わせて周辺画像を生成する。なお、本実施形態において、撮像部１４の画像処理上の認識位置の補正は、いずれか一つの撮像部１４に対して実施してもよいし、複数の撮像部１４に対して実施してもよい。以下の説明では、車両１０の撮像部１４のうち例えば右側方を撮像する撮像部１４ａの設置位置や姿勢が設計上の位置や姿勢からずれていた場合に、画像処理上の撮像部１４ａの認識位置を補正することで、表示する画像全体の補正を実施する例を説明する。
【００２３】
ＥＣＵ２４に含まれるＣＰＵ２４ａは、上述したような補正処理を実行するための各種モジュールを備える。各種モジュールは、ＣＰＵ２４ａがＲＯＭ２４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、ＣＰＵ２４ａは、図３に示されるように、取得部２８、投影処理部３０、検出部３２、補正部３４、画像処理部３６等のモジュールを備える。また、取得部２８は、画像取得部２８ａ、第一の参照位置取得部２８ｂ、パラメータ取得部２８ｃ等を含み、補正部３４は、変位取得部３４ａ、認識位置補正部３４ｂ、パラメータ補正部３４ｃ等を含む。
【００２４】
取得部２８は、撮像部１４の画像処理上の認識位置を補正する処理を実行するために必要な各種情報を取得する。
【００２５】
画像取得部２８ａは、表示制御部２４ｄを介して各撮像部１４(１４ａ〜１４ｄ)が撮像した撮像画像データを逐次取得する。
【００２６】
第一の参照位置取得部２８ｂは、車両１０の外面の一部に設定される第一の参照位置を取得する。車両１０の外面の一部に設定される第一の参照位置は、例えばＲＯＭ２４ｂに後述する路面上の座標系（Ｘ，Ｙ，Ｚ）上の位置として予め記憶されている。図４は、第一の参照位置Ｐの一例を示す俯瞰視図である。また、図５は、第一の参照位置Ｐの一例を示す撮像部１４ａ（右側方撮像部）で撮像した画像例を示す模式図である。第一の参照位置Ｐは、図４、図５に示すように、例えば、右側の前輪１２Ｆの外面側の接地点とすることができる。第一の参照位置Ｐは、前輪１２Ｆの外周面に限らず、補正対象となる撮像部１４（例えば、撮像部１４ａ）の撮像範囲に含まれる車両１０の外面であれば、いずれの位置でもよい。別の実施形態では、第一の参照位置Ｐを車両１０のボディの一部、例えば、ドアの下端コーナー部等に設定してもよく、同様な効果を得ることができる。なお、上述したように、撮像部１４ａで撮像する場合、第一の参照位置Ｐを撮像部１４ａからの距離が比較的近く、画像認識する場合でも容易に認識可能な前輪１２Ｆの接地位置とすることで認識精度を向上することができる。
【００２７】
なお、第一の参照位置Ｐは、車両１０に設定された基準位置Ｏを基準に定められてもよい。基準位置Ｏを設定しておくことにより、現実空間での第一の参照位置Ｐの位置や画像上での第一の参照位置Ｐの位置を認識させやすくすることができるとともに、座標系を用いた演算を行う場合に処理が容易になる。基準位置Ｏは、例えば、車両１０の左右の後輪１２Ｒを支持する後輪軸１２ａの長手方向（車幅方向）の中心位置とすることができる。また別の実施形態では、基準位置Ｏは、例えば、車両１０の前後方向に延びる車両中心ＣＬ上の位置としてもよい。この場合、例えば、第一の参照位置Ｐから車両中心ＣＬに下ろした垂線の交点を基準位置Ｏとしてもよい。なお、基準位置Ｏから第一の参照位置Ｐまでの実際の距離は既知であるため、基準位置Ｏおよび第一の参照位置Ｐを画像上に投影したときの画像上の離間距離（ドット数）を検出することにより、画像上の１ドットのずれと現実空間での距離のずれとの対応付けが容易になる。例えば、画像上で１０ドットずれている場合は、現実空間では、１０ｃｍずれている等に対応付けを行うことができる。なお、画像上の１ドットに対応する距離を予めＲＯＭ２４ｂ等に記憶しておくことで、画像上の１ドットのずれと現実空間での距離のずれとの対応付けを行うようにしてもよい。
【００２８】
パラメータ取得部２８ｃは、撮像部１４が撮像した画像を投影変換する際に用いる投影変換パラメータを例えばＲＯＭ２４ｂやＳＳＤ２４ｆ等の記憶部から取得する。例えば、図６に示すように、路面上の座標系を（Ｘ，Ｙ，Ｚ）、撮像部１４ａのカメラ画上の座標系（カメラ座標系）を（Ｘ０，Ｙ０，Ｚ０）とし、路面上の座標とカメラ画上の座標系の距離、角度が極座標（ρ，θ，φ）で表されるとき、座標系の変換は、以下の式１で表すことができる。なお、ρは、路面上の座標系の原点（例えば、図４の基準位置Ｏに相当）からカメラ座標系の原点Ｔ０までの距離である。また、θは、路面上の座標系の原点とカメラ座標系の原点Ｔ０を路面上の座標系のＸＹ平面に投影した点Ｔの位置とを結んだ直線とＸ軸のなす角度である。また、φは、路面上の座標系の原点とカメラ座標系の原点Ｔ０とを結んだ直線とＺ軸のなす角度である。
【数１】
2019114965.tif 000003
この場合、式１における係数部分が投影変換パラメータとなる。ＲＯＭ２４ｂまたはＳＳＤ２４ｆには、現在の撮像部１４ａの画像処理上の認識位置（例えば原点）に対応する極座標（ρ，θ，φ）が保存されてもよいし、式１にρ，θ，φを代入した係数とした投影変換パラメータとして記憶しておいてもよい。
【００２９】
投影処理部３０は、パラメータ取得部２８ｃが取得した投影パラメータを適用することにより、撮像部１４（例えば撮像部１４ａ）が撮像した撮像画像データの各画素（カメラ座標系（Ｘ０，Ｙ０，Ｚ０）上の画素）を逐次路面上の座標系（Ｘ，Ｙ，Ｚ）に投影することができる。例えば、カメラ座標系（Ｘ０，Ｙ０，Ｚ０）の原点Ｔ０に位置する画素を路面上の座標系（Ｘ，Ｙ，Ｚ）上の点Ｔに投影することができる。この場合、撮像部１４は車両１０に対して固定されている。例えば、撮像部１４ａは右側のドアミラー１０ａの下面に固定されているので、撮像部１４ａの画像処理上の認識位置を一定の位置に定めることができる。したがって、撮像部１４ａの設置位置や取り付け姿勢が設計上の位置や姿勢に維持されている場合、撮像した撮像画像データに映っている例えば、前輪１２Ｆの接地位置に対応する画素は、路面上の座標系（Ｘ，Ｙ，Ｚ）上で、第一の参照位置取得部２８ｂが取得した第一の参照位置Ｐと一致する位置に投影変換される。
【００３０】
一方、撮像部１４ａの設置位置や取り付け姿勢が何らかの原因、例えば、車両１０が走行することにより与えられる振動や他の物体との接触等が原因で、設計上の位置や姿勢に対してずれてしまう場合がある。このような場合、例えば実際の前輪１２Ｆの接地位置（第一の参照位置Ｐと実質的に同じ位置）に対応する画像は、図７に示すように、カメラ座標系（Ｘ０，Ｙ０，Ｚ０）からずれたカメラ座標系（Ｘ１，Ｙ１，Ｚ１）上で、撮像されることになる。この場合、画像処理上では、撮像部１４ａの認識位置は、カメラ座標系（Ｘ０，Ｙ０，Ｚ０）上での認識位置のままのため、撮像部１４ａの位置や姿勢がずれた状態で撮像された撮像画像データは、極座標（ρ，θ，φ）に対応する投影変換パラメータを適用した式１を用いて投影変換される。その結果、前輪１２Ｆの接地位置に対応する画素は、撮像部１４ａの設置位置や姿勢のずれに対応する量だけ移動した状態で路面上の座標系（Ｘ，Ｙ，Ｚ）に投影されることになる。つまり、第一の参照位置Ｐからずれた第二の参照位置Ｑに投影される。図８は、撮像部１４ａの設置位置や姿勢がずれた状態で、撮像された撮像画像データに基づき、俯瞰画像（車両１０の右側の俯瞰画像）を生成した例であり、表示される白線Ｌの位置が実際の白線Ｌ０の位置からずれてしまう例を説明する模式図である。このような俯瞰画像に基づき運転者が車両１０の周辺状況の認識を行った場合、車両１０の側方に存在する白線Ｌの位置は、例えば画像中心位置に表示される自車アイコン４０に対して実際より例えば遠くに表示される。つまり、実際の白線Ｌ０までの距離とは異なる距離感を運転者に与えてしまう場合がある。その結果、車両１０の幅寄せ等がイメージ通りにできなかったり、障害物との距離を誤って認識して接触したりしてしまう場合がある。
【００３１】
そこで、本実施形態の画像処理システム１００の検出部３２は、設置位置や姿勢がずれてしまっている撮像部１４（例えば撮像部１４ａ）で取得された撮像画像データ上で第一の参照位置Ｐに対応する第二の参照位置Ｑを検出する。例えば、設置位置や姿勢がずれた撮像部１４ａのカメラ座標系（Ｘ１，Ｙ１，Ｚ１）上で、ずれが無い状態で定められた投影変換パラメータ（初期値）を（Ｘ０，Ｙ０，Ｚ０）を（Ｘ１，Ｙ１，Ｚ１）に読み替えた式１に適用する。そして、撮像部１４ａで撮像された前輪１２Ｆの接地位置を路面上の座標系（Ｘ，Ｙ，Ｚ）に投影する。つまり、検出部３２は、第一の参照位置取得部２８ｂが取得した第一の参照位置Ｐ（撮像部１４ａの設置位置や姿勢のずれがなければ前輪１２Ｆの接地位置となる位置）に対応する位置である第二の参照位置Ｑを検出することができる。
【００３２】
そして、補正部３４は、検出部３２が検出した第一の参照位置Ｐと第二の参照位置Ｑとのずれ、すなわち変位量（差分、差分距離）に基づき、撮像部１４（例えば撮像部１４ａ）の画像処理上の認識位置を補正する。認識位置の補正は、例えば、投影変換するときの投影変換パラメータを補正することで実行することができる。
【００３３】
変位取得部３４ａは、例えば、路面上の座標系（Ｘ，Ｙ，Ｚ）に投影された第一の参照位置Ｐと第二の参照位置Ｑとの変位量（ずれ）を検出する。ＲＯＭ２４ｂは、例えば、撮像部１４ａで物体を撮像して、本実施形態の画像処理システム１００を用いて路面上の座標系（Ｘ，Ｙ，Ｚ）に投影した場合に、例えば１０ドットで表示できる大きさ（長さ、距離等）を示す変位基準値データを第一の参照位置Ｐのデータと共に記憶する。変位取得部３４ａは、変位基準値データに基づき、第一の参照位置Ｐと第二の参照位置Ｑとの変位量を取得することができる。なお、変位基準値データは、図４で説明したように、基準位置Ｏと第一の参照位置Ｐとの現実の距離と画面上での距離（ドット数）との関係で定めてもよい。
【００３４】
認識位置補正部３４ｂは、変位取得部３４ａが取得した変位量に基づき、例えば、図７に示すように、設置位置や姿勢がずれた撮像部１４ａで用いているカメラ座標系（Ｘ１，Ｙ１，Ｚ１）を補正する。例えば、第二の参照位置Ｑが第一の参照位置Ｐに一致するように画像処理上の撮像部１４ａの認識位置に補正する。つまり、カメラ座標系（Ｘ１，Ｙ１，Ｚ１）をカメラ座標系（Ｘ２，Ｙ２，Ｚ２）に補正する。このとき、第一の参照位置Ｐと第二の参照位置Ｑとの変位量が１０ドットの場合、第二の参照位置Ｑが第一の参照位置Ｐに一致するように、撮像部１４ａの認識位置を１０ドットに相当する量だけ移動することで撮像部１４ａの認識位置を補正することができる。
【００３５】
パラメータ補正部３４ｃは、路面上の座標系を（Ｘ，Ｙ，Ｚ）、認識位置が補正された結果得られたカメラ座標系を（Ｘ２，Ｙ２，Ｚ２）とし、路面上の座標とカメラ画上の座標系の距離、角度を示す補正後の極座標（ρ２，θ２，φ２）を算出する。そして、（Ｘ０，Ｙ０，Ｚ０）を（Ｘ２，Ｙ２，Ｚ２）に読み替えた式１に極座標（ρ２，θ２，φ２）を適用した場合、係数部分が補正後の投影変換パラメータとなる。つまり、例えば、ＳＳＤ２４ｆの投影変換パラメータが更新されることになる。この場合、補正後の撮像部１４ａの画像処理上の認識位置に対応する極座標（ρ２，θ２，φ２）をＳＳＤ２４ｆに保存してもよいし、（Ｘ０，Ｙ０，Ｚ０）を（Ｘ２，Ｙ２，Ｚ２）に読み替えた式１にρ２，θ２，φ２を代入した係数とした補正後の投影変換パラメータを記憶してＳＳＤ２４ｆに保存してもよい。
【００３６】
そして、投影処理部３０は、補正された投影変換パラメータを用いて撮像部１４ａが撮像した撮像画像データを投影変換することにより、第一の参照位置Ｐと第二の参照位置Ｑとが一致した投影画像を得ることができる。
【００３７】
画像処理部３６は、認識位置が補正されて得られた例えば撮像部１４ａが撮像した撮像画像データに基づく画像と、他方の撮像部１４（例えば、前方用の撮像部１４ｃ）の撮像した撮像画像データに基づく画像とを連結する処理を行う。その場合に、補正された撮像部１４ａの画像内容と撮像部１４ｃの画像内容との連続性が保たれるように、撮像部１４ｃの撮像画像データの補正を行う。例えば、画像処理部３６は、図９に示すように、各撮像部１４（１４ａ〜１４ｄ）で撮像した撮像画像データの視点変換を行い、繋ぎ合わせることで車両１０（自車アイコン４０）の周囲を俯瞰視する俯瞰画像を生成する。この場合、撮像部１４ａが撮像した撮像画像データを補正部３４による補正後の投影変換パラメータを用いて補正した領域Ｒ１と、投影変換パラメータの補正を行わず、当初設定の投影変換パラメータを用いて投影変換した領域Ｒ２（撮像部１４ｃの撮像画像データ）、領域Ｒ３（撮像部１４ｂの撮像画像データ）、領域Ｒ４（撮像部１４ｄの撮像画像データ）を合成する。
【００３８】
前述したように、投影変換パラメータが補正されて投影変換された撮像部１４ａの撮像画像データによる画像が描画される領域Ｒ１に映っている白線Ｌ１は、現実の白線Ｌ０が存在する位置に対応して存在する。一方、投影変換パラメータが補正されずに投影変換された撮像部１４ｃの撮像画像データによる画像が描画される領域Ｒ２に映っている右側の白線Ｌ２Ｒは、現実の位置からずれて描画されている可能性があり、白線Ｌ１と連続性が維持されない場合がある。この場合、白線Ｌ２Ｒは、回転処理や平行移動、拡縮処理等を施すことにより、補正された白線Ｌ１と一致させることができる。すなわち、白線Ｌ２Ｒも正しい位置に描画されるように処理されたことになる。この場合、領域Ｒ２に含まれる白線Ｌ２Ｌは、撮像部１４ｃで撮像された同一領域中に存在するため、白線Ｌ２Ｌの描画位置も白線Ｌ１の補正の影響を受け、正確な位置に描画されていることになる。同様に、白線Ｌ１に基づき正確な位置に描画された領域Ｒ２の白線Ｌ２Ｌを基準に領域Ｒ３を回転処理や平行移動、拡縮処理等を施して描画することにより正確な位置に描画される。正確な位置に描画された領域Ｒ３の白線Ｌ３を基準に領域Ｒ４に回転処理や平行移動、拡縮処理等を施すことにより領域Ｒ４もまた正確な位置に描画することができる。その結果、白線Ｌ４Ｒは白線Ｌ３と一致し、白線Ｌ４Ｌは白線Ｌ１と一致する。
【００３９】
このように、撮像部１４で撮像された撮像画像データについて、投影変換パラメータの補正を一カ所の撮像部１４に対して行うことで、車両１０（自車アイコン４０）を中心とする正確な位置関係を示す俯瞰画像を容易な処理により生成することができる。なお、上述の例では、いずれか一つの撮像部１４に対して、画像処理上の認識位置の補正（投影変換パラメータの補正）を行い、他の撮像部１４の画像を補正された画像に合わせるように処理する例を示した。他の実施形態では、複数の撮像部１４に対して画像処理上の認識位置の補正（投影変換パラメータの補正）を行ってもよい。この場合、合成される俯瞰画像の描画精度を向上することができる。
【００４０】
図１０は、上述した画像処理システム１００（画像処理装置）により俯瞰画像を生成する場合の画像処理の一例を説明するフローチャートである。なお、撮像部１４の設置位置や姿勢は、頻繁にずれるものではなく、例えば、車両１０の振動が大きくなる不整地路を長時間走行した場合や、撮像部１４の設置位置（例えばドアミラー１０ａやドアミラー１０ｂ）が外部の物体と接触した場合、修理や交換を行った場合、または経時変化等で発生するのみで、基本的にはずれない。したがって、本実施形態において、投影変換パラメータの補正による撮像部１４の画像処理上の認識位置の補正は、比較的長い間隔で例えば、定期的または不定期で実施することができる。
【００４１】
まず、ＣＰＵ２４ａは、俯瞰画像の表示（作成）が要求されているか否かを確認する。表示装置１６には、通常画面として、ナビゲーション画面やオーディオ画面が表示されているが、運転者が例えば、操作入力部２０を操作して、俯瞰画像の表示を要求した場合、ＣＰＵ２４ａは、俯瞰画像表示モードに移行する（Ｓ１００のＹｅｓ）。俯瞰画像の表示要求がなされた場合、画像取得部２８ａは、表示制御部２４ｄを介して各撮像部１４（１４ａ〜１４ｄ）が撮像した撮像画像データ（周辺画像）を取得する（Ｓ１０２）。このとき、画像処理上の撮像部１４の認識位置の再調整（補正）タイミングである場合（Ｓ１０４のＹｅｓ）、第一の参照位置取得部２８ｂは、例えばＲＯＭ２４ｂに記憶されている第一の参照位置Ｐに関する情報を取得する（Ｓ１０６）。なお、画像処理上の認識位置の再調整（補正）タイミングは、例えば、イグニッションスイッチがＯＮされた場合や、前回の再調整から一定期間（例えば、１ヶ月）以上経過した場合、運転者が再調整を要望した場合等である。
【００４２】
撮像部１４の画像処理上の認識位置の再調整のタイミングになった場合、投影処理部３０は、パラメータ取得部２８ｃを介して現在有効な投影変換パラメータをＲＯＭ２４ｂまたはＳＳＤ２４ｆから取得し、仮の俯瞰画像を描画する（Ｓ１０８）。例えば、処理対象の撮像画像データが撮像部１４ａにより撮像されている場合、右側方の俯瞰画像を生成する。このとき、補正対象の撮像部１４（例えば撮像部１４ａ）の設置位置や姿勢がずれていた場合、図７に示すように、路面上の座標系（Ｘ，Ｙ，Ｚ）における第一の参照位置Ｐとは異なる位置に第二の参照位置Ｑが投影（描画）される。検出部３２は、仮の俯瞰画像（路面上の座標系（Ｘ，Ｙ，Ｚ））に表示された第二の参照位置Ｑ（前輪１２Ｆの接地位置）を検出する（Ｓ１１０）。なお、補正対象の撮像部１４（例えば撮像部１４ａ）の設置位置や姿勢がずれていない場合、第一の参照位置Ｐと第二の参照位置Ｑとは実質的に一致するように描画される。
【００４３】
続いて、変位取得部３４ａは、路面上の座標系（Ｘ，Ｙ，Ｚ）上で第一の参照位置Ｐと第二の参照位置Ｑとの変位量を算出（取得）し（Ｓ１１２）、認識位置補正部３４ｂは、変位取得部３４ａが取得した変位量に基づき、第一の参照位置Ｐと第二の参照位置Ｑが一致するように、画像処理上の撮像部１４ａの認識位置を、図７に示すように例えばカメラ座標系（Ｘ２，Ｙ２，Ｚ２）に補正する（Ｓ１１４）。そして、パラメータ補正部３４ｃは、補正された認識位置（カメラ座標系（Ｘ２，Ｙ２，Ｚ２））における極座標（ρ２，θ２，φ２）を算出し、（Ｘ０，Ｙ０，Ｚ０）を（Ｘ２，Ｙ２，Ｚ２）に読み替えた式１を用いて、撮像部１４ａ用の投影変換パラメータを変更（更新）する（Ｓ１１６）。変更された投影変換パラメータは、例えば、ＳＳＤ２４ｆに保存され、次回投影変換パラメータが更新されるまで、撮像部１４ａが撮像した撮像画像データの投影変換に利用される。
【００４４】
続いて、投影処理部３０は、側方の俯瞰画像を描画する（Ｓ１１８）。この場合、例えば右側方俯瞰画像は、パラメータ補正部３４ｃが補正した最新の投影変換パラメータを撮像部１４ａが撮像した撮像画像データの各画素に適用して投影変換することで画像全体が描画される。一方、左側方俯瞰画像は、ＲＯＭ２４ｂ等に記憶されている撮像部１４ｂが設置されたときに定められた投影変換パラメータを撮像部１４ｂが撮像した撮像画像データの各画素に適用して投影変換することで描画される。また、投影処理部３０は、前後の俯瞰画像を描画する（Ｓ１２０）。この場合、前方の俯瞰画像は、ＲＯＭ２４ｂ等に記憶されている撮像部１４ｃが設置されたときに定められた投影変換パラメータを撮像部１４ｃが撮像した撮像画像データの各画素に適用して投影変換することで描画される。同様に、後方の俯瞰画像は、ＲＯＭ２４ｂ等に記憶されている撮像部１４ｄが設置されたときに定められた投影変換パラメータを撮像部１４ｄが撮像した撮像画像データの各画素に適用して投影変換することで描画される。
【００４５】
そして、画像処理部３６は、描画された各俯瞰画像に映っている連続性のある共通点を抽出する（Ｓ１２２）。例えば、図９に示すように、撮像部１４ａで撮像した撮像画像データに基づく領域Ｒ１の俯瞰画像に写っている白線Ｌ１と撮像部１４ｃで撮像した撮像画像データに基づく領域Ｒ２の俯瞰画像に写っている白線Ｌ２Ｒとを抽出する。同様に、撮像部１４ｃで撮像した撮像画像データに基づく領域Ｒ２の俯瞰画像に写っている白線Ｌ２Ｌ、撮像部１４ｂで撮像した撮像画像データに基づく領域Ｒ３の俯瞰画像に写っている白線Ｌ３、撮像部１４ｄで撮像した撮像画像データに基づく領域Ｒ４の俯瞰画像に写っている白線Ｌ４Ｌ，Ｌ４Ｒ等を抽出する。
【００４６】
そして、画像処理部３６は、各撮像部１４で撮像した撮像画像データに基づく俯瞰画像を合成して表示装置１６に表示させる（Ｓ１２４）。具体的には、まず、画像処理部３６は、白線Ｌ１と白線Ｌ２Ｒとが連続するように、白線Ｌ１に対して領域Ｒ２に表示される前方の俯瞰画像の回転処理や平行移動処理、拡縮処理等を施し描画位置の調整を行う。続いて画像処理部３６は、白線Ｌ２Ｌと白線Ｌ３とが連続するように、白線Ｌ２Ｌに対して領域Ｒ３に表示される左側方の俯瞰画像の回転処理や平行移動処理、拡縮処理等を施し描画位置の調整を行う。同様、画像処理部３６は、白線Ｌ３と白線Ｌ４Ｌとが連続するように、白線Ｌ３に対して領域Ｒ４に表示される後方の俯瞰画像の回転処理や平行移動処理、拡縮処理等を施し描画位置の調整を行う。その結果、図９に示すような、自車アイコン４０に対して正確な位置に描画された白線Ｌ１を基準として、各俯瞰画像の位置合わせが実行されて、正確な描画が実現される。つまり、自車アイコン４０（車両１０）の周囲の表示物までの距離感と現実の物体までの距離感とが対応した、正確な俯瞰画像を表示装置１６に表示させることができる。
【００４７】
表示装置１６に俯瞰画像が表示されたら、ＣＰＵ２４ａは、俯瞰画像の表示を終了させる要求がなされているか否かの確認を行う（Ｓ１２６）。例えば、操作入力部２０が操作され、俯瞰画像の表示終了要求がなされた場合（Ｓ１２６のＹｅｓ）、ＣＰＵ２４ａは、表示装置１６の表示内容を現在表示されている俯瞰画像の表示画面から通常画面であるナビゲーション画面やオーディオ画面に切り替えて（Ｓ１２８）、このフローを一旦終了する。
【００４８】
Ｓ１２６において、俯瞰画像の表示終了要求がなされていない場合（Ｓ１２６のＮｏ）、ＣＰＵ２４ａは、Ｓ１０２の処理に戻り、次の処理周期で利用する周辺画像の取得を画像取得部２８ａを介して行い、以降の処理を繰り返し実行する。なお、この場合、Ｓ１０４で、画像処理上の認識位置の再調整（補正）タイミングでない場合（Ｓ１０４のＮｏ）、Ｓ１０６〜Ｓ１１６の処理をスキップして、現在ＳＳＤ２４ｆに更新記憶された撮像部１４ａ用の最新の投影変換パラメータと、ＲＯＭ２４ｂに記憶されている撮像部１４ｂ、撮像部１４ｃ、撮像部１４ｄ用の設定当初の投影変換パラメータとを用いて、Ｓ１１８以降の俯瞰画像の描画を行う。つまり、過剰に投影変換パラメータの更新処理が実施されることを抑制して、ＣＰＵ２４ａの処理負荷の軽減に寄与している。なお、Ｓ１００において、俯瞰画像の作成（表示装置１６での表示）が要求されない場合（Ｓ１００のＮｏ）、Ｓ１０２〜Ｓ１２６の処理をスキップして、通常画面（ナビゲーション画面やオーディオ画面）の表示を継続する。
【００４９】
なお、図１０に示すフローチャートは、一例であり、実質的に同様な処理が実行できれば、適宜処理ステップの増減、入れ替え、変更が可能で同様な効果を得ることができる。上述の例では、撮像部１４ａの画像処理上の認識位置を補正することにより撮像部１４ａが撮像した撮像画像データに対する投影変換パラメータの補正を行った。別の実施形態では、他の撮像部１４の画像処理上の認識位置を同様に補正して撮像した撮像画像データに対する投影変換パラメータの補正を併せて実行するようにしてもよいし、補正処理の度に補正対象とする撮像部１４を変更するようにしてもよい。補正処理の度に対象とする撮像部１４を変更する場合、Ｓ１０４の再調整（補正）タイミングで、まず撮像部１４ａの認識位置の補正を行い、次の処理周期で、撮像部１４ｂの認識位置の補正を行う。そして、次の処理周期で撮像部１４ｃの認識位置の補正を行い、次の処理周期で、撮像部１４ｄの認識位置の補正を行う。つまり、各撮像部１４の認識位置の補正が全て完了した時点で、再調整（補正）タイミングでの処理が完了したと見なす。この場合、各撮像部１４の認識位置の補正が行われるので、より正確な俯瞰画像の生成ができる。
【００５０】
なお、前方の領域を撮像する撮像部１４ｃの場合、撮像部１４ｃの撮像領域に含まれるフロントバンパ１０ｃ上に例えばマーク等を形成したり添付したりすることで第一の参照位置Ｐとしてもよい。同様に、後方の領域を撮像する撮像部１４ｄの場合、撮像部１４ｄの撮像領域に含まれるリヤバンパ１０ｄ上に例えばマーク等を形成したり添付したりすることで第一の参照位置Ｐとしてもよい。
【００５１】
また、第一の参照位置Ｐに対応する第二の参照位置Ｑの認識性を向上させるため、例えば、車両１０の一部に検出用のマーク、例えばシールやＬＥＤ等を設けてもよい。マークとしてＬＥＤ等の発光体を用いることにより、第二の参照位置Ｑの位置の検出精度が向上し、撮像部１４の画像処理上の認識位置の補正精度を向上することができる。また、車両１０の周囲が暗い状況（例えば夜間等）でも精度のよい補正処理を実行することができる。
【００５２】
本実施形態のＣＰＵ２４ａで実行される画像処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５３】
さらに、画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００５４】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５５】
１０…車両、１２…車輪、１２Ｆ…前輪、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ…撮像部、１６…表示装置、２０…操作入力部、２４…ＥＣＵ、２４ａ…ＣＰＵ、２４ｂ…ＲＯＭ、２４ｄ…表示制御部、２４ｆ…ＳＳＤ、２８…取得部、２８ａ…画像取得部、２８ｂ…第一の参照位置取得部、２８ｃ…パラメータ取得部、３０…投影処理部、３２…検出部、３４…補正部、３４ａ…変位取得部、３４ｂ…認識位置補正部、３４ｃ…パラメータ補正部、３６…画像処理部、４０…自車アイコン、１００…画像処理システム、Ｌ…白線、Ｐ…第一の参照位置、Ｑ…第二の参照位置。
【図１】
2019114965.tif 000004
【図２】
2019114965.tif 000005
【図３】
2019114965.tif 000006
【図４】
2019114965.tif 000007
【図５】
2019114965.tif 000008
【図６】
2019114965.tif 000009
【図７】
2019114965.tif 000010
【図８】
2019114965.tif 000011
【図９】
2019114965.tif 000012
【図１０】
2019114965.tif 000013