(57)【要約】【課題】感覚的な違和感をドライバにもたらすことのない視界補助画像をドライバに提供することを課題とする。【解決手段】画像処理装置は、自車両に搭載された搭載位置の異なる複数の車載カメラごとに、自車両の置かれる状況に対応付けて、ドライバの視線の起点となる位置と自車両の複数の所定箇所を結ぶ複数の方向、ドライバの視線の起点となる位置からの俯角およびドライバに視認させる範囲の値を、自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして予め記憶しておく。各車載カメラで撮影された画像を表示出力させる表示出力条件の入力をドライバから受け付けると、自車両が現在置かれている状況を判定する。さらに、表示出力条件および自車両が現在置かれている状況に基づいて画像変換パラメータを取得し、取得された画像変換パラメータを用いて、各車載カメラにより撮影された画像を変換して表示出力する。【選択図】        図４
2010130673.tif 000002
【特許請求の範囲】
【請求項１】
自車両に搭載された搭載位置の異なる複数の車載カメラごとに、自車両の置かれる状況に対応付けて、ドライバの視線の起点となる位置と自車両の複数の所定箇所を結ぶ複数の方向、ドライバの視線の起点となる位置からの俯角およびドライバに視認させる範囲の値を、自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして予め記憶する画像変換パラメータ記憶手段と、
自車両が現在置かれている状況を判定する状況判定手段と、
前記状況判定手段による状況判定結果および前記画像変換パラメータ記憶手段に記憶されている前記画像変換パラメータに基づいて、各車載カメラにより撮影された画像を座標変換する画像変換手段と、
前記画像変換手段により変換された画像を表示出力する表示出力手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記状況判定手段は、車両の運転操作に関する情報、車速の情報およびナビゲーション情報のいずれか一つ又は複数を用いて、自車両が現在置かれている状況を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
各車載カメラで撮影された画像を表示出力させる表示出力条件の入力をドライバから受け付ける表示出力条件入力受付手段と、
前記表示出力条件入力受付手段により、前回とは異なる新たな前記表示出力条件の入力が受け付けられた場合に、自車両全体を俯瞰した俯瞰画像を一時的に表示する俯瞰画像表示手段とをさらに有し、
前記表示出力手段は、前記俯瞰画像表示手段により前記俯瞰画像の表示終了とともに、前記画像変換手段により変換された画像を表示出力することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
自車両の車格、ハンドルの設置位置、ドライバの体格およびシート位置に基づいて、前記画像変換パラメータ記憶手段に記憶されている前記画像変換パラメータを設定変更するパラメータ設定変更手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像変換パラメータ記憶手段に記憶されている前記画像変換パラメータについて、ドライバからの設定変更を受け付けるパラメータ設定変更受付手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記画像変換手段により変換された画像に自車両の位置関係を示す情報を挿入する自車両情報挿入手段をさらに有し、
前記表示出力手段は、前記自車両情報挿入手段により自車両の位置関係を示す情報が挿入された画像を表示出力することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
自車両が現在置かれている状況を判定する状況判定ステップと、
自車両に搭載された搭載位置の異なる複数の車載カメラごとに、自車両の置かれるシーンに対応付けて、ドライバの視線の起点となる位置と自車両の複数の所定箇所を結ぶ複数の方向、ドライバの視線の起点となる位置からの俯角およびドライバに視認させる範囲の値を、自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータおよび前記状況判定ステップによる状況判定結果に基づいて、車載カメラにより撮影された画像を座標変換する画像変換ステップと、
前記画像変換手段により変換された画像を表示出力する表示出力ステップと
を含んだことを特徴とする画像処理装置に適用される画像処理方法。
【請求項８】
自車両が現在置かれている状況を判定する状況判定手順と、
自車両に搭載された搭載位置の異なる複数の車載カメラごとに、自車両の置かれるシーンに対応付けて、ドライバの視線の起点となる位置と自車両の複数の所定箇所を結ぶ複数の方向、ドライバの視線の起点となる位置からの俯角およびドライバに視認させる範囲の値を、自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータおよび前記状況判定手順による状況判定結果に基づいて、車載カメラにより撮影された画像を座標変換する画像変換手順と、
前記画像変換手順により変換された画像を表示出力する表示出力手順と
を画像処理装置に搭載されたコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項９】
自車両に搭載された搭載位置の異なる複数の車載カメラで撮影された撮影画像に、自車両の外郭を示す情報を挿入する自車両情報挿入手段と、
前記自車両情報挿入手段により自車両の外郭を示す情報が挿入された画像を表示出力する表示出力手段と
有することを特徴とする画像処理装置。
【請求項１０】
自車両のステアリング操作の情報に基づいて、現時点のタイヤ角度が反映されたタイヤの情報を生成するタイヤ情報生成手段をさらに有し、
前記自車両情報挿入手段は、前記自車両の外郭を示す情報とともに、前記タイヤ情報生成手段により生成されたタイヤ情報を前記撮影画像に挿入し
前記自車両情報挿入手段により自車両の外郭を示す情報およびタイヤの情報が挿入された画像を表示出力する表示出力手段と
を有することを特徴とする請求項９に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
近年、ドライバの視界を補助する目的で、車両に搭載されたカメラにより撮影した画像を車載ディスプレイなどに表示出力して、ドライバに提供する技術の開発が盛んに行われている（例えば、特許文献１参照）。
【０００３】
上記技術において車両に搭載されるカメラとしては、車両前方を撮影するためのフロントカメラ、車両後方を撮影するためのバックカメラ、あるいはドアミラーには映らないドライバの死角を撮影するためのサイドカメラなどがある。そして、例えば、後進で車両を駐車する場合には、バックカメラにより撮影された車両後方の画像を車載ディスプレイに表示出力してドライバに提供する。
【０００４】
【特許文献１】特開２００７−３２９６１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した従来の技術において、ドライバに提供される画像は、感覚的な違和感をドライバにもたらすという問題点があった。
【０００６】
例えば、バックカメラで撮影され、車載ディスプレイに表示出力される車両後方の画像は、バックカメラの設置位置や角度などにより、表示態様が一様な画像となっている。このようなことから、ドライバに提供される画像は、ドライバが振り返って実際に車両後方を見たような、ドライバが自然に受け入れられるような表示態様とはなっていないので、距離感などの面で感覚的な違和感をもたらす結果となっている。
【０００７】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、感覚的な違和感をドライバにもたらすことのない視界補助画像を提供することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するため、本発明は、自車両に搭載された搭載位置の異なる複数の車載カメラごとに、自車両の置かれる状況に対応付けて、ドライバの視線の起点となる位置と自車両の複数の所定箇所を結ぶ複数の方向、ドライバの視線の起点となる位置からの俯角およびドライバに視認させる範囲の値を、自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして予め記憶する画像変換パラメータ記憶手段と、自車両が現在置かれている状況を判定する状況判定手段と、前記状況判定手段による状況判定結果および前記画像変換パラメータ記憶手段に記憶されている前記画像変換パラメータに基づいて、取得された画像変換パラメータを用いて、各車載カメラにより撮影された画像を座標変換する画像変換手段と、前記画像変換手段により変換された画像を表示出力する表示出力手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、感覚的な違和感をドライバにもたらすことない視界補助画像をドライバに提供できる。
【発明を実施するための最良の形態】
【００１０】
以下に添付図面を参照して、この発明に係る画像処理装置、画像処理方法および画像処理プログラムの一実施形態を詳細に説明する。なお、以下では、本発明に係る画像処理装置が車両に搭載されている場合の実施形態を実施例１として説明した後に、本発明に含まれる他の実施形態について説明する。
【実施例１】
【００１１】
以下の実施例１では、実施例１に係る画像処理装置の概要および特徴、かかる画像処理装置の構成および処理を順に説明し、最後に実施例１による効果を説明する。
【００１２】
［画像処理装置の概要および特徴（実施例１）］
実施例１に係る画像処理装置は、ドライバの視界を補助する目的で、車両に搭載されたカメラにより撮影した画像を車載ディスプレイなどに表示出力することを概要とする。
【００１３】
そして、実施例１に係る画像処理装置は、以下に説明する点に特徴がある。すなわち、実施例１に係る画像処理装置は、自車両に搭載された搭載位置の異なる複数の車載カメラごとに、自車両の置かれる状況に対応付けて、ドライバの視線の起点となる位置と自車両の複数の所定箇所を結ぶ複数の方向、ドライバの視線の起点となる位置からの俯角およびドライバに視認させる範囲の値を、自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして予め記憶しておく。
【００１４】
さらに、実施例１に係る画像処理装置は、各車載カメラで撮影された画像を表示出力させる表示出力条件の入力をドライバから受け付けると、自車両が現在置かれている状況を判定する。さらに、表示出力条件および自車両が現在置かれている状況に基づいて画像変換パラメータを取得し、取得された画像変換パラメータを用いて、各車載カメラにより撮影された画像を変換して表示出力する。
【００１５】
このようにして、実施例１に係る画像処理装置は、図１〜３に示すように、感覚的な違和感をドライバにもたらすことのないドライバ視点の画像を視界補助画像として提供する。
【００１６】
例えば、図１の（Ａ）に示すように、車載のフロントカメラにより撮影された画像をドライバ視点の画像に変換してディスプレイに表示する。なお、図１の（Ｂ）に示すように、車体やタイヤの位置関係を示すデータをドライバ視点の画像に合成してディスプレイに表示することもできる。このとき、車体およびタイヤは透過的に表示される。
【００１７】
また、図２の（Ａ）に示すように、車載のサイドカメラにより撮影された画像をドライバ視点の画像に変換してディスプレイに表示する。なお、図１の（Ｂ）と同様にして、図２の（Ｂ）に示すように、車体やタイヤの位置関係を示すデータをドライバ視点の画像に合成してディスプレイに表示することもできる。
【００１８】
また、図３の（Ａ）に示すように、車載のバックカメラにより撮影された画像をドライバ視点の画像に変換してディスプレイに表示する。なお、図１の（Ｂ）と同様にして、図３の（Ｂ）に示すように、車体やタイヤの位置関係を示すデータをドライバ視点の画像に合成してディスプレイに表示することもできる。図１〜図３は、実施例１に係る画像処理装置を説明するための図である。
【００１９】
［画像処理装置の構成（実施例１）］
次に、図４を用いて、実施例１に係る画像処理装置の構成を説明する。図４は、実施例１に係る画像処理装置の構成を示す図である。
【００２０】
同図に示すように、実施例１に係る画像処理装置２００は、フロントカメラ１１０（図５の（１）参照）、サイドカメラ１２０（図５の（２）参照）、バックカメラ１３０（図５の（３）参照）、ナビゲーション装置１４０、車両状態情報取得部１５０、表示出力条件入力受付部１６０およびディスプレイ１７０とともに、車両１００に搭載される。なお、図５は、車載カメラの配置位置を示す図である。
【００２１】
フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０は、ドライバの視界を補助するための画像を撮影して画像処理装置２００に送出する。
【００２２】
ナビゲーション装置１４０は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、内部に有する地図データなどを用いて作成したナビ情報（例えば、現在位置、移動方向、移動速度、出発地や目的地など）を画像処理装置２００に送出する。
【００２３】
車両状態情報取得部１５０は、シフトレバー、スピードメータあるいはステアリングなどから取得する車両状態情報を画像処理装置２００に送出する。例えば、車両状態情報取得部１５０は、シフトレバーからシフトレンジの情報（例えば、オートマチック車であれば、ドライブ（前進）を示す「Ｄ」やバック（後進）を示す「Ｒ」、駐停車を示す「Ｐ」）を取得して画像処理装置２００に送出する。また、スピードメータから走行速度の情報を取得して画像処理装置２００に送出する。また、ステアリングからステアリング角の情報を取得して画像処理装置２００に送出する。
【００２４】
表示出力条件入力受付部１６０は、車載カメラで撮影された画像の表示出力指示の入力をドライバから受け付けて画像処理装置２００へ送出する。例えば、フロントカメラ１１０で撮影された画像の表示出力指示の入力や、バックカメラで撮影された画像の表示出力指示の入力などを受け付ける。
【００２５】
ディスプレイ１７０は、ドライバからの表示出力条件に応じて、画像処理装置２００から送出された画像を表示出力する。また、ナビゲーション装置１４０からのナビ情報などを表示する。
【００２６】
画像処理装置２００は、図４に示すように、マイコン２１０を有する。マイコン２１０は、フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０の画像を加工して、ドライバ視点に変換する処理を実行する。マイコン２１０は、同図に示すように、画像変換パラメータ記憶部２１１、自車両情報記憶部２１２、状況判定部２１３、画像変換部２１４、自車両情報挿入部２１５および画像出力制御部２１６を有する。
【００２７】
画像変換パラメータ記憶部２１１は、フロントカメラ１１０などの車載カメラごとに、自車両の置かれる状況に対応付けて、ドライバの視線の起点となる位置と自車両の複数の所定箇所を結ぶ複数の方向（例えば、図６の（１）〜（６）参照）を自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして予め記憶する。
【００２８】
さらに、画像変換パラメータ記憶部２１１は、自車両の置かれる状況に対応付けて、ドライバの視線の起点となる位置からの俯角（例えば、図６の（７）〜（１０）参照）を自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして予め記憶する。
【００２９】
さらに、画像変換パラメータ記憶部２１１は、自車両の置かれる状況に対応付けて、ドライバに視認させる範囲（視野範囲）の値を自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして予め記憶する。ここで、自車両の置かれる状況とは、例えば、見通しの悪い交差点に差し掛かっている状況や、駐車場で駐停車を行おうとしている状況などをいう。なお、図６は、実施例１に係る画像変換パラメータを説明するための図である。
【００３０】
自車両情報記憶部２１２は、自車両の形状や大きさ、タイヤの形状や大きさなど、車体に関する車体データを予め記憶する。
【００３１】
状況判定部２１３は、表示出力条件入力受付部１６０からの表示出力条件、ナビゲーション装置１４０からのナビ情報や、車両状態情報取得部１５０からの車両状態情報に基づいて、自車両が現在置かれている状況を判定し、画像変換部２１４へ判定結果を送出する。具体的には、状況判定部２１３は、表示出力条件入力受付部１６０から、バックカメラ１３０で撮影された画像を表示出力するという表示出力条件を受け付けると、ナビ情報や車両状態情報に基づいて、自車両が現在置かれている状況を判定する。例えば、状況判定部２１３は、ナビ情報から自車両が駐車場内に位置し、車両状態情報として取得されたスピードメータの情報から徐行中である場合には、駐停車を行おうとしている状況であると判定する。
【００３２】
自車両の状況判定後、状況判定部２１３は、バックカメラ１３０で撮影された画像を表示出力するという表示出力条件、および駐停車を行おうとしているという状況を画像変換部２１４に送出する。
【００３３】
画像変換部２１４は、状況判定部２１３から、バックカメラ１３０で撮影された画像を表示出力するという表示出力条件、および駐停車を行おうとしているという状況を受け付けると、この表示出力条件および状況に対応した画像変換パラメータを画像変換パラメータ記憶部２１１から取得する。
【００３４】
例えば、画像変換部２１４は、図６に示すように、ドライバの視線起点位置の座標＝（４０，２４００，１６００）、向き（方向）＝２２５ｄｅｇ（同図（３）の方向に対応する角度）、俯角＝２２５ｄｅｇ（同図（９）の方向に対応する角度）、視野範囲＝１９０ｄｅｇ（同図（Ａ）に対応する角度）を含む画像変換パラメータを画像変換パラメータ記憶部２１１から取得する。画像変換部２１４により取得された画像変換パラメータは、フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０で各々撮影された画像が加工された加工画像を、ドライバ位置から車体左後方を見た画像に座標変換して、ドライバ視点の画像を生成するためのパラメータとなっている。
【００３５】
そして、画像変換部２１４は、画像変換パラメータ記憶部２１１から取得した画像変換パラメータを用いて、フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０で各々撮影された画像が加工された加工画像を座標変換して、ドライバ視点の画像を生成する。そして、画像変換部２１４は、ドライバ視点の画像を自車両情報挿入部２１５に送出する。
【００３６】
自車両情報挿入部２１５は、画像変換部２１４からドライバ視点の画像を受け付けると、自車両の形状や大きさ、タイヤの形状や大きさなどの車体データを車両情報記憶部２１２から取得する。そして、自車両情報挿入部２１５は、車体やタイヤの位置関係を示すデータをドライバ視点の画像に合成して、画像出力制御部２１６に送出する。なお、自車両情報挿入部２１５は、ドライバ視点の画像にタイヤの位置関係を合成する場合には、車両状態情報取得部１５０からステアリング角の情報を取得して、現在のタイヤの向きが反映された状態のタイヤデータを合成する。
【００３７】
画像出力制御部２１６は、車体やタイヤの位置関係を示すデータが合成されたドライバ視点の画像を自車両情報挿入部２１５から受け付けると、ディスプレイ１７０を介して、ドライバ視点の画像を表示出力してドライバに提供する。
【００３８】
［画像処理装置による処理（実施例１）］
続いて、図７を用いて、実施例１に係る画像処理装置による処理の流れを説明する。図７は、実施例に係る画像処理装置による処理の流れを示す図である。
【００３９】
同図に示すように、状況判定部２１３は、表示出力条件入力受付部１６０から、表示出力条件の入力が受け付けられるまで待機状態をとる（ステップＳ１）。そして、状況判定部２１３は、バックカメラ１３０で撮影された画像を表示出力するという表示出力条件を受け付けると（ステップＳ１肯定）、ナビ情報や車両状態情報に基づいて、自車両が現在置かれている状況を判定する（ステップＳ２）。例えば、状況判定部２１３は、ナビ情報から自車両が駐車場内に位置し、車両状態情報として取得されたスピードメータの情報から徐行中である場合には、駐停車を行おうとしている状況であると判定する。
【００４０】
自車両の状況判定後、状況判定部２１３は、バックカメラ１３０で撮影された画像を表示出力するという表示出力条件、および駐停車を行おうとしているという状況を画像変換部２１４に送出する。
【００４１】
画像変換部２１４は、状況判定部２１３から、バックカメラ１３０で撮影された画像を表示出力するという表示出力条件、および駐停車を行おうとしているという状況を受け付けると、この表示出力条件および状況に対応した画像変換パラメータを画像変換パラメータ記憶部２１１から取得する（ステップＳ３）。
【００４２】
例えば、画像変換部２１４は、図６に示すように、ドライバの視線起点位置の座標＝（４０，２４００，１６００）、向き（方向）＝２２５ｄｅｇ（同図（３）の方向に対応する角度）、俯角＝２２５ｄｅｇ（同図（９）の方向に対応する角度）、視野範囲＝１９０ｄｅｇ（同図（Ａ）に対応する角度）を含む画像変換パラメータを画像変換パラメータ記憶部２１１から取得する。画像変換部２１４により取得された画像変換パラメータは、フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０で各々撮影された画像が加工された加工画像を、ドライバ位置から車体左後方を見た画像に座標変換して、ドライバ視点の画像を生成するためのパラメータとなっている。
【００４３】
そして、画像変換部２１４は、画像変換パラメータ記憶部２１１から取得した画像変換パラメータを用いて、フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０で各々撮影された画像が加工された加工画像を座標変換して（ステップＳ４）、ドライバ視点の画像を生成する。そして、画像変換部２１４は、ドライバ視点の画像を自車両情報挿入部２１５に送出する。
【００４４】
自車両情報挿入部２１５は、画像変換部２１４からドライバ視点の画像を受け付けると、自車両の形状や大きさ、タイヤの形状や大きさなどの車体データを自車両情報記憶部２１２から取得する（ステップＳ５）。そして、自車両情報挿入部２１５は、車体やタイヤの位置関係を示すデータをドライバ視点の画像に合成して（ステップＳ６）、画像出力制御部２１６に送出する。
【００４５】
画像出力制御部２１６は、車体やタイヤの位置関係を示すデータが合成されたドライバ視点の画像を自車両情報挿入部２１５から受け付けると、ディスプレイ１７０を介して、ドライバ視点の画像を表示出力し（ステップＳ７）、ドライバに提供する。
【００４６】
［実施例１による効果］
上述してきたように、実施例１によれば、感覚的な違和感をドライバにもたらすことのないドライバ視点の画像を視界補助画像として提供できる。
【００４７】
また、上述してきた実施例１において、前回とは異なる新たな表示出力条件の入力が表示出力条件入力受付部１６０に受け付けられた場合には、以下のように処理を実行する。
【００４８】
例えば、バックカメラ１３０で撮影された画像を表示出力するという表示出力条件とは異なり、フロントカメラ１１０で撮影された画像を表示出力する表示出力条件の入力が受け付けられたとする。この場合、状況判定部２１３において状況判定が改めて実行され、画像変換部２１４により改めて変換処理が施されたドライバ視点の画像をディスプレイに表示することになるが、その前に、例えば、図８に示すような車両１００全体を車両上方から俯瞰した俯瞰画像をディスプレイ１７０に出力表示する。俯瞰画像の表示後、この俯瞰画像から切り替えてドライバ視点の画像を表示する。
【００４９】
このようにすることで、画像の視点が切り替わることに対するドライバの感覚的な錯覚を防止し、ドライバに画像を認識させやすくすることができる。なお、図８は、実施例１に係る俯瞰画像を説明するための図である。なお、上述してきた俯瞰画像の代わりに、車両前方の画像を表示してもよい。この場合も、ドライバの感覚的な錯覚を防止して、ドライバに画像を認識させやすくすることができる。
【００５０】
また、以下に説明するように、画像変換部２１４は、表示出力条件および状況判定結果に応じた画像変換パラメータで、フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０で各々撮影された画像が加工された加工画像を座標変換して、ドライバ視点の画像を生成する。
【００５１】
例えば、サイドカメラの画像を表示出力するという表示出力条件の入力を受け付け、狭い道でのすれ違い走行を行うという状況判定結果を得た場合では、例えば、「向き（方向）」＝自車両の左前端を通る角度（例えば、図６（２））、「俯角」＝１．０ｄｅｇ、「視野範囲」＝５０ｄｅｇ（人の視野に近い）を含む画像変換パラメータを取得する。そして、この画像変換パラメータを用いて、フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０で各々撮影された画像が加工された加工画像を座標変換して、ドライバ視点の画像を生成する。
【００５２】
また、上述してきた実施例１において、ドライバ視点の画像を表示出力中に、ドライバのステアリング操作があった場合には、ステアリング操作に応じてフロントカメラ１１０等で撮影された画像を座標変換してドライバ視点の画像を再生成し、再生成した画像を表示出力するようにしてもよい。
【００５３】
また、上述してきた実施例１では、車体やタイヤの位置関係を示すデータをドライバ視点の画像に合成する場合を説明したが、例えば、ドライバ視点の画像ではなく、車載カメラにより撮影された画像そのものに、車体やタイヤの位置関係を示すデータをドライバ視点の画像に合成するようにしてもよい。
【実施例２】
【００５４】
（１）障害物の検知に応じてドライバ視点の画像を再生成
また、上記の実施例１において、車両１００周辺の障害物を検知して、検知した障害物の方向について、ドライバ視点の画像を表示出力するようにしてもよい。例えば、車両１００の周辺に障害物が接近してきた場合に、それをクリアランスソナーなどのセンサを用いて存在を検知し、障害物が検知された方向の画像変換パラメータを用いて、フロントカメラ１１０等で撮影された画像を座標変換してドライバ視点の画像を生成し、生成した画像を表示出力する。
【００５５】
（２）画像変換パラメータの変更
また、上記の実施例１において、画像変換パラメータ記憶部２１１に記憶される画像変換パラメータを車格（例えば、ミニバン、セダン、ワゴンあるいは軽自動車）やハンドル設置位置（例えば、右ハンドル／左ハンドル）、ドライバの体格（例えば、身長、座高など）やシート位置（例えば、上下方向、前後方向など）に応じて変更するようにしてもよい。また、ドライバから受け付けられた設定変更内容に応じて、画像変換パラメータ記憶部２１１に記憶される画像変換パラメータを変更するようにしてもよい。
【００５６】
（３）装置構成等
また、図４に示した画像処理装置２００の各構成要素は機能概念的なものであり、必ずしも物理的に同図に示すようにして構成されていることを要しない。すなわち、画像処理装置２００の分散・統合の具体的形態は同図に示すものに限られず、例えば、状況判定部２１３と、画像変換部２１４と、自車両情報挿入部２１５とを統合させて構成する。このようにして、同図に示す画像処理装置２００の全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、画像処理装置２００にて行なわれる各処理機能（例えば、図７参照）は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００５７】
（４）画像処理プログラム
また、上記の実施例１で説明した画像処理装置２００の各種の処理（例えば、図７参照）は、あらかじめ用意されたプログラムを車載の制御ＥＣＵに実装されるマイコン等で実行することによって実現することができる。そこで、以下では、図９を用いて、上記の実施例１で説明した画像処理装置２００と同様の機能を有する画像処理プログラムを実行するマイコンの一例を説明する。図９は、画像処理プログラムを実行するマイコンを示す図である。
【００５８】
同図に示すように、マイコン３００は、入力部３１０、出力部３２０、記憶用メモリ３３０、ワーク用メモリ３４０および制御部３５０をバス４００で接続して構成される。
【００５９】
ここで、入力部３１０は、ユーザから各種データの入力を受け付ける。出力部３２０は、各種情報を表示する。記憶用メモリ３３０は、制御部３５０による各種処理の実行に必要な情報を記憶する。ワーク用メモリ３４０は、各種情報を一時的に記憶する。制御部３５０は、各種演算処理を実行する。
【００６０】
そして、記憶用メモリ３３０には、図９に示すように、上記の実施例１に示した画像処理装置２００の各処理部と同様の機能を発揮する画像処理プログラム３３１と、画像処理用データ３３２とがあらかじめ記憶されている。なお、この画像処理プログラム３３１を適宜分散させて、ネットワークを介して通信可能に接続された他のコンピュータの記憶部に記憶させておくこともできる。
【００６１】
そして、制御部３５０が、この画像処理プログラム３３１を記憶用メモリ３３０から読み出してワーク用メモリ３４０に展開することにより、図９に示すように、画像処理プログラム３３１は画像処理プロセス３４１として機能するようになる。すなわち、画像処理プロセス３４１は、画像処理用データ３３２等を記憶用メモリ３３０から読み出して、ワーク用メモリ３４０において自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種処理を実行する。
【００６２】
なお、画像処理プロセス３４１は、図４に示したマイコン２１０の各処理機能部（状況判定部２１３、画像変換部２１４、自車両情報挿入部２１５および画像出力制御部２１６）において実行される処理にそれぞれ対応する。
【００６３】
なお、上記した画像処理プログラム３３１については、必ずしも最初から記憶用メモリ３３０に記憶させておく必要はなく、例えば、マイコン３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておき、マイコン３００がこれらから各プログラムを読み出して実行するようにしてもよい。
【００６４】
（５）画像処理方法
上記の実施例１で説明した画像処理装置２００により、以下のような画像処理方法が実現される。
【００６５】
すなわち、各車載カメラで撮影された画像を表示出力させる表示出力条件の入力をドライバから受け付ける表示出力条件入力受付ステップと（例えば、図７のステップＳ１参照）、自車両が現在置かれている状況を判定する状況判定ステップと（例えば、図７のステップＳ２参照）、自車両に搭載された搭載位置の異なる複数の車載カメラごとに、自車両の置かれるシーンに対応付けて、ドライバの視線の起点となる位置と自車両の複数の所定箇所を結ぶ複数の方向、ドライバの視線の起点となる位置からの俯角およびドライバに視認させる範囲の値を、自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして記憶する画像変換パラメータ記憶手段から、表示出力条件入力受付ステップにより受け付けられた表示出力条件、および状況判定ステップにより判定された状況に対応する画像変換パラメータを取得し、取得された画像変換パラメータを用いて、車載カメラにより撮影された画像を座標変換する画像変換ステップと（例えば、図７のステップＳ３およびステップＳ４参照）、画像変換手段により変換された画像を表示出力する表示出力ステップと（例えば、図７のステップＳ７参照）、を含んだ画像処理方法が実現される。
【産業上の利用可能性】
【００６６】
以上のように、本発明に係る画像処理装置、画像処理方法および画像処理プログラムは、車両に搭載されたカメラにより撮影した画像を車載ディスプレイなどに表示出力する場合に有用であり、特に、感覚的な違和感をドライバにもたらすことない視界補助画像をドライバに提供することに適する。
【図面の簡単な説明】
【００６７】
【図１】実施例１に係る画像処理装置を説明するための図である。
【図２】実施例１に係る画像処理装置を説明するための図である。
【図３】実施例１に係る画像処理装置を説明するための図である。
【図４】実施例１に係る画像処理装置の構成を示す図である。
【図５】車載カメラの配置位置を示す図である。
【図６】実施例１に係る画像変換パラメータを説明するための図である。
【図７】実施例に係る画像処理装置による処理の流れを示す図である。
【図８】実施例１に係る俯瞰画像を説明するための図である。
【図９】画像処理プログラムを実行するマイコンを示す図である。
【符号の説明】
【００６８】
１００  車両
１１０  フロントカメラ
１２０  サイドカメラ
１３０  バックカメラ
１４０  ナビゲーション装置
１５０  車両状態情報取得部
１６０  表示出力条件入力受付部
１７０  ディスプレイ
２００  画像処理装置
２１０  マイコン
２１１  画像変換パラメータ記憶部
２１２  自車両情報記憶部
２１３  状況判定部
２１４  画像変換部
２１５  自車両情報挿入部
２１６  画像出力制御部
３００  マイコン
３１０  入力部
３２０  出力部
３３０  記憶用メモリ
３３１  画像処理プログラム
３３２  画像処理用データ
３４０  ワーク用メモリ
３４１  画像処理プロセス
３５０  制御部
４００  バス
【図１】
2010130673.tif 000003
【図２】
2010130673.tif 000004
【図３】
2010130673.tif 000005
【図４】
2010130673.tif 000006
【図５】
2010130673.tif 000007
【図６】
2010130673.tif 000008
【図７】
2010130673.tif 000009
【図８】
2010130673.tif 000010
【図９】
2010130673.tif 000011