(57)【特許請求の範囲】
【請求項１】
車両の周辺を撮影して得られる画像を処理する画像処理装置であって、
前記車両に取り付けられ、前記車両の周辺を撮影して画像データを生成するカメラと、
前記画像データについて、前記車両の周辺の所定範囲に対応する切り出し範囲を設定する切り出し範囲設定手段と、
前記カメラによって生成された画像データを、前記切り出し範囲設定手段により設定された切り出し範囲にて切り出す画像データ切り出し手段と、
前記画像データ切り出し手段により切り出された画像データに対応する画像を表示ユニットに表示させる画像表示処理手段と、
前記車両の種別を取得する車両種別取得手段と、
前記車両における前記カメラの取り付け位置を取得するカメラ取り付け位置取得手段とを有し、
前記切り出し範囲設定手段は、前記取得された前記車両の種別と、前記カメラの取り付け位置とに基づいて、前記車両の周辺の所定範囲に対応する切り出し範囲を設定することを特徴とする画像処理装置。
【請求項２】
前記切り出し範囲設定手段は、前記カメラの前記車両の周辺の路面からの高さに基づいて、前記車両の周辺の所定範囲に対応する切り出し範囲を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記車両における前記カメラの取り付け角度を取得する取り付け角度取得手段を有し、
前記切り出し範囲設定手段は、前記取得された前記カメラの取り付け角度に基づいて、前記車両の周辺の所定範囲に対応する切り出し範囲を設定することを特徴とする請求項１又は２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺を撮影して得られる画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
近年、車両の安全性を向上させるべく、車両周辺を監視するシステムが提案されている（例えば、特許文献１参照）。このようなシステムでは、車両の後部等の運転者の死角になる位置にカメラを取り付け、当該カメラによって車両周辺を撮影して得られる画像を提供する。運転者は、この画像を見ることで、運転席からの死角をなくし、車両周辺の障害物の存在等を確認することができる。
【特許文献１】特開平１０−１７５４８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、同一の画角を有するカメラを異なる車両に取り付ける場合、車両によって取り付け位置が異なるために、撮影範囲も異なったものとなり、運転者に画像を提供する場合に問題が生じる。例えば、図１３及び図１４に示すように、同一画角のカメラ２００が車両２５０の後部中央付近に取り付けられた場合（図１３）と、車両２５２の後部上端付近に取り付けられた場合（図１４）とを比較すると、図１３においてはカメラ２００の撮影範囲は車両周辺の適切な範囲であるが、図１４においては撮影範囲が広すぎて運転者が見たい部分の画像が小さくなってしまうという問題が生じる。
【０００４】
本発明の目的は、上述した問題を解決するものであり、運転者に車両周辺の適切な範囲の画像を提供することが可能な画像処理装置を提供するものである。
【課題を解決するための手段】
【０００５】
本発明に係る、車両の周辺を撮影して得られる画像を処理する画像処理装置は、前記車両に取り付けられ、前記車両の周辺を撮影して画像データを生成するカメラと、前記画像データについて、前記車両の周辺の所定範囲に対応する切り出し範囲を設定する切り出し範囲設定手段と、前記カメラによって生成された画像データを、前記切り出し範囲設定手段により設定された切り出し範囲にて切り出す画像データ切り出し手段と、前記画像データ切り出し手段により切り出された画像データに対応する画像を表示ユニットに表示させる画像表示処理手段と、前記車両の種別を取得する車両種別取得手段と、前記車両における前記カメラの取り付け位置を取得するカメラ取り付け位置取得手段とを有し、前記切り出し範囲設定手段は、前記取得された前記車両の種別と、前記カメラの取り付け位置とに基づいて、前記車両の周辺の所定範囲に対応する切り出し範囲を設定することを特徴とする。
【０００６】
この構成によれば、カメラが車両の周辺を撮影することによって生成される画像データについて、車両の周辺の所定範囲に対応する切り出し範囲を設定して切り出し、その切り出された画像データに対応する画像を表示ユニットに表示させるようにすることで、運転者は、カメラの撮影範囲にかかわらず、車両周辺の所定範囲の画像のみを見ることができ、当該運転者に車両周辺の適切な範囲の画像を提供することが可能となる。そして、車両の種別や、ルーフトップ、バンパー等のカメラの取り付け位置から、カメラの車両の周辺の路面からの高さが特定可能であり、更には、その高さに基づいて、車両の周辺の所定範囲に対応する切り出し範囲を設定することにより、適切な切り出し範囲を設定することが可能となる。
【０００７】
また、本発明に係る画像処理装置は、前記切り出し範囲設定手段が、前記カメラの前記車両の周辺の路面からの高さに基づいて、前記車両の周辺の所定範囲に対応する切り出し範囲を設定するようにしてもよい。
【０００８】
この構成によれば、カメラの車両の周辺の路面からの高さが高いほど、カメラの撮影範囲が広がることに鑑み、カメラの車両の周辺の路面からの高さに基づいて、車両の周辺の所定範囲に対応する切り出し範囲を設定することにより、適切な切り出し範囲を設定することが可能となる。
【００１１】
また、本発明に係る画像処理装置は、前記車両における前記カメラの取り付け角度を取得する取り付け角度取得手段を有し、前記切り出し範囲設定手段が、前記取得された前記カメラの取り付け角度に基づいて、前記車両の周辺の所定範囲に対応する切り出し範囲を設定するようにしてもよい。
【００１２】
この構成によれば、カメラの取り付け角度が鉛直方向に対して傾いている場合には、当該カメラの取り付け角度をも考慮して、車両の周辺の所定範囲に対応する切り出し範囲を設定することにより、適切な切り出し範囲を設定することが可能となる。
【発明の効果】
【００１３】
本発明によれば、運転者は、カメラの撮影範囲にかかわらず、車両周辺の所定範囲の画像のみを見ることができ、当該運転者に車両周辺の適切な範囲の画像を提供することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して具体的に説明する。図１は、本発明の実施形態に係る画像処理装置の構成を示す図である。
【００１５】
図１に示す画像処理装置１００は、車両に搭載されるナビゲーション装置やオーディオ装置に組み込まれるものであり、電子制御部（ＥＣＵ：Electronic control unit）１０２、メモリ１０６、タッチパネルディスプレイ１１０及びカメラ１５０により構成される。
【００１６】
ＥＣＵ１０２は、切り出し範囲設定手段、画像データ切り出し手段、画像表示処理手段、車両種別取得手段、カメラ取り付け位置取得手段及び取り付け角度取得手段に対応し、車両周辺の画像表示に関して、画像処理装置１００の全体を制御する。メモリ１０６は、車両周辺の画像表示に必要な各種情報を記憶する。タッチパネルディスプレイ１１０は、画像を表示するとともに、タッチパネル式の操作部として機能する。
【００１７】
カメラ１５０は、車両に取り付けられる。このカメラ１５０は、広角レンズ（図示せず）を内蔵し、予め定められた広い画角を有しており、車両周辺を撮影して画像データを生成する。図２は、車両に対するカメラ１５０の取り付け状態の一例を示す図である。図２（ａ）では、カメラ１５０は、車両２５０の後部中央であるテールゲートに取り付けられている。一方図２（ｂ）では、カメラ１５０は、車両２５２の後部上端であるルーフトップに取り付けられている。本実施形態の画像処理装置１００は、このようにカメラ１５０の取り付け位置が異なる場合、換言すれば、カメラ１５０の撮影範囲が異なる場合にも、適切な範囲の画像データを切り出して、当該画像データに対応する画像をタッチパネルディスプレイ１１０に表示させることが可能である。
【００１８】
以下、フローチャートを参照しつつ、画像データの切り出しの動作を説明する。図３は、画像処理装置１００における画像データの切り出しの動作を示すフローチャートである。
【００１９】
画像処理装置１００内のＥＣＵ１０２は、ユーザが画像データの切り出しのモードの設定を指示したか否かを判定する（Ｓ１０１）。具体的には、ＥＣＵ１０２は、メモリ１０６からメニュー画面用の画像データを読み出し、図４（ａ）に示すようなメニュー画面をタッチパネルディスプレイ１１０に表示させる。更に、図４（ａ）に示すメニュー画面においてユーザが「設定変更」の表示領域２０１に指等を接触させると、ＥＣＵ１０２は、その接触位置に基づいて、ユーザが設定変更を指示したことを認識し、メモリ１０６からメニュー画面用の画像データを読み出し、図４（ｂ）に示すようなメニュー画面をタッチパネルディスプレイ１１０に表示させる。更に、図４（ｂ）に示すメニュー画面においてユーザが「切り出しモード」の表示領域２０２に指等を接触させると、ＥＣＵ１０２は、その接触位置に基づいて、ユーザが画像切り出しのモードの設定を指示したと判定する。
【００２０】
ユーザによって画像データ切り出しモードの設定が指示された場合、ＥＣＵ１０２は、その指示に従って画像データ切り出しモードの設定を行う。まず、ＥＣＵ１０２は、カメラ１５０が取り付けられる車両の車種を設定する（Ｓ１０２）。具体的には、ＥＣＵ１０２は、メモリ１０６から設定画面用の画像データを読み出し、図５に示すような設定用画面をタッチパネルディスプレイ１１０に表示させる。更に、この設定用画面において、ユーザが「車種」の表示領域２１１に指等を接触させると、ＥＣＵ１０２は、メモリ１０６から車種の情報を読み出し、当該車種の情報に基づいて、図５に示すように、設定用画面にセダン、コンパクト等の車種の一覧の表示領域２１５を表示させる。その後、ユーザが車種の一覧の表示領域２１５のいずれかに指等を接触させると、ＥＣＵ１０２は、その接触位置に基づいて、車種を設定する。
【００２１】
次に、ＥＣＵ１０２は、カメラ１５０の取り付け位置を設定する（Ｓ１０３）。具体的には、図５に示す設定用画面において、ユーザが「カメラ位置」の表示領域２１２に指等を接触させると、ＥＣＵ１０２は、メモリ１０６からカメラ取り付け位置の情報を読み出し、当該カメラ取り付け位置の情報に基づいて、図６に示すように、設定用画面にルーフトップ、テールゲート等のカメラ取り付け位置の一覧の表示領域２１６を表示させる。その後、ユーザがカメラ取り付け位置の一覧の表示領域２１６のいずれかに指等を接触させると、ＥＣＵ１０２は、その接触位置に基づいて、カメラ取り付け位置を設定する。
【００２２】
次に、ＥＣＵ１０２は、カメラ１５０の取り付け角度（カメラ１５０の撮影方向についての鉛直方向からの傾き）を設定する（Ｓ１０４）。具体的には、図５に示す設定用画面において、ユーザが「カメラ角度」の表示領域２１３に指等を接触させると、ＥＣＵ１０２は、図７に示すように、設定用画面に角度設定の表示領域２１７を表示させる。その後、ユーザが角度設定の表示領域２１７内のボタン領域２２１及び２２２に指等を接触させると、ＥＣＵ１０２は、その接触位置に基づいて、カメラ１５０の取り付け角度を増減させて設定する。
【００２３】
次に、ＥＣＵ１０２は、カメラ１５０の撮影によって得られる画像のうち、タッチパネルディスプレイ１１０に表示させるべき領域（表示エリア）を設定する（Ｓ１０５）。具体的には、図５に示す設定用画面において、ユーザが「表示エリア」の表示領域２１４に指等を接触させると、ＥＣＵ１０２は、図８に示すように、設定用画面に表示エリア設定の表示領域２１８を表示させる。その後、ユーザが角度設定の表示領域２１８内のボタン領域２２３及び２２４に指等を接触させると、ＥＣＵ１０２は、その接触位置に基づいて、表示エリアの横幅を増減させて設定する。
【００２４】
このようにして、車種、カメラ１５０の取り付け位置、カメラ１５０の取り付け角度及び表示エリアが設定されると、次に、ＥＣＵ１０２は、カメラ１５０の路面からの高さを取得する（Ｓ１０６）。カメラ１５０の路面からの高さは、車種とカメラ１５０の取り付け位置とに基づいて、一意に特定される。具体的には、ＥＣＵ１０２は、メモリ１０６から図９に示すような高さ取得用テーブルを読み出し、当該高さ取得用のテーブルと、Ｓ１０２において設定した車種と、Ｓ１０３において設定したカメラ１５０の取り付け位置とに基づいて、カメラ１５０の路面からの高さを取得する。
【００２５】
次に、ＥＣＵ１０２は、カメラ１５０が車両の周辺を撮影して生成する、当該カメラ１５０の撮影範囲全体の画像データについて、切り出し範囲を設定する（Ｓ１０７）。具体的には、ＥＣＵ１０２は、Ｓ１０５において設定した表示エリアの横幅に基づいて、切り出し範囲を設定する。この際、ＥＣＵ１０２は、表示エリアの横幅が大きいほど、切り出し範囲を大きくする。
【００２６】
ここで、Ｓ１０４において設定された、カメラ１５０の撮影方向についての鉛直方向からの傾きが大きいほど、カメラ１５０は遠方を撮影することになるため、当該カメラ１５０の撮影範囲は広くなり、画像上での表示エリアの横幅は狭くなる。従って、ＥＣＵ１０２は、カメラ１５０の撮影方向についての鉛直方向からの傾きが大きいほど、表示エリアの横幅に対応する画像データの切り出し範囲を小さくする必要がある。また、Ｓ１０６において取得したカメラ１５０の路面からの高さが高いほど、カメラ１５０は遠方を撮影することになるため、当該カメラ１５０の撮影範囲は広くなり、画像上での表示エリアの横幅は狭くなる。従って、ＥＣＵ１０２は、カメラ１５０の路面からの高さが高いほど、表示エリアの横幅に対応する画像データの切り出し範囲を小さくする必要がある。
【００２７】
図１０及び図１１は、切り出し範囲の算出の一例を示す図である。図１０及び図１１の場合、予め定められているカメラ１５０の画角θと、カメラ１５０の路面からの高さａと、表示エリア（横幅）ｂとが特定されることにより、これらに基づいて、切り出し範囲が一意に特定可能である。
【００２８】
すなわち、カメラ１５０の画角θと高さａにより、カメラ１５０の撮影範囲（横幅）ｃはｃ＝２ａ×ｔａｎ（θ／２）と表される。そして、画像データの切り出し範囲に対応する画像の横方向の画素数をｘ、カメラ１５０の撮影範囲全体に対応する画像の横方向の画素数をｐとすると、ｘ：ｐ＝ｂ：２ａ×ｔａｎ（θ／２）が成り立つ。ここで、カメラ１５０の撮影範囲全体に対応する画像の横方向の画素数ｐは既知であり、画像データの切り出し範囲に対応する画像の横方向の画素数ｘ＝ｂｐ／（２ａ×ｔａｎ（θ／２））となる。カメラ１５０の撮影方向が鉛直方向に対して傾いていれば、更に、その傾きが大きいほど、画像データの切り出し範囲に対応する画像の横方向の画素数ｘは少なくなる。
【００２９】
画像の縦横比は固定であり、画像データの切り出し範囲に対応する画像の縦方向の画素数をｙ、カメラ１５０の撮影範囲全体に対応する画像の縦方向の画素数（既知）をｑとすれば、横方向と同様に、切り出し範囲に対応する画像の縦方向の画素数ｙ＝ｂｑ／（２ａ×ｔａｎ（θ／２））となる。そして、カメラ１５０の撮影範囲全体に対応する画像の中央部分における、上述した縦の画素数ｘ、横の画素数ｙに対応する領域が画像データの切り出し範囲となる。画像データの切り出し範囲は、カメラ１５０の撮影範囲全体の画像データに対応する画像における、画像データの切り出し範囲の四隅の座標によって特定される。
【００３０】
図１０及び図１１において、カメラ１５０の路面からの高さは、図１０が低く、図１１が高くなっている。従って、カメラ１５０の撮影範囲は、図１０では狭く、図１１では広くなる。この場合、図１０と図１１において設定された表示エリアの横幅が同一である場合には、図１０では、撮影範囲に占める切り出し範囲が大きくなり、図１１では、撮影範囲に占める切り出し範囲が小さくなる。
【００３１】
再び、図３に戻って説明する。画像データの切り出し範囲を設定した後、ＥＣＵ１０２は、カメラ１５０によって生成された画像データを入力する。入力される画像データは、カメラ１５０の撮影範囲全体に対応するものである。更に、ＥＣＵ１０２は、入力した画像データについて、Ｓ１０７において設定した切り出し範囲に対応するものを抽出し、その抽出した画像データに対応する画像（切り出し範囲の画像）をタッチパネルディスプレイ１１０に表示させる（Ｓ１０８）。
【００３２】
次に、ＥＣＵ１０２は、タッチパネルディスプレイ１１０に表示された切り出し範囲の画像を見たユーザによって画像データの切り出し範囲が確定されたか否かを判定する（Ｓ１０９）。例えば、ＥＣＵ１０２は、Ｓ１０８において、切り出し範囲の画像とともに、「確定」、「変更」の表示領域を表示させ、ユーザが「確定」の表示領域に指等を接触させた場合には、ＥＣＵ１０２は、その接触位置に基づいて、画像データの切り出し範囲が確定されたと判定し、ユーザが「変更」の表示領域に指等を接触させた場合には、ＥＣＵ１０２は、その接触位置に基づいて、画像データの切り出し範囲が確定されなかったと判定する。
【００３３】
画像データの切り出し範囲が確定していない場合には、再び、画像データの切り出しモード設定が指示されたか否かの判定（Ｓ１０１）以降の動作が繰り返される。一方、画像データの切り出し範囲が確定した場合には、ＥＣＵ１０２は、Ｓ１０７において設定した画像データの切り出し範囲の情報（カメラ１５０の撮影範囲全体の画像データに対応する画像における、切り出し範囲の四隅の座標）をメモリ１０６に記憶させる（Ｓ１１０）。その後、ＥＣＵ１０２は、カメラ１５０から入力した、当該カメラ１５０の撮影範囲全体の画像データについて、メモリ１０６に記憶された画像データの切り出し範囲の情報に基づいて切り出しを行い、切り出した画像データに対応する画像をタッチパネルディスプレイ１１０に表示させる。
【００３４】
このように、本実施形態の画像処理装置１００は、カメラ１５０が車両の周辺を撮影することによって生成される画像データについて、車両の周辺の表示エリアに対応する切り出し範囲を設定して切り出し、その切り出された画像データに対応する画像をタッチパネルディスプレイ１１０に表示させるようにすることで、運転者は、カメラ１５０の撮影範囲にかかわらず、車両周辺の表示エリアの画像のみを見ることができる。例えば、図１２（ａ）に示すように、カメラ１５０の撮影範囲が広すぎる場合には、運転者が見たい部分の画像が小さくなってしまうことがあるが、本実施形態の画像処理装置１００によれば、切り出しを行うことによって、図１２（ｂ）に示すように、表示エリアのみの画像が表示され、運転者は、車両周辺の表示エリアの画像のみを見ることができ、当該運転者に車両周辺の適切な画像を提供することが可能となる。
【００３５】
なお、上述した実施形態では、カメラ１５０の取り付け角度（カメラ１５０の撮影方向についての鉛直方向からの傾き）に基づいて、画像データの切り出し範囲を設定したが、特に、カメラ１５０の撮影方向が鉛直方向と一致する場合には、カメラ１５０の取り付け角度を考慮せずに画像データの切り出し範囲を設定するようにしてもよい。
【００３６】
また、上述した実施形態では、車種としてセダン、コンパクト等の車両の形式を設定したが、具体的な車名を設定してもよい。この場合には、図９に示す高さ取得用テーブルには、車種としての車名が設定され、高さは、当該車名とカメラ１５０の取り付け位置とによって特定される。更には、車種とカメラ１５０の取り付け位置とに基づいて、カメラ１５０の路面からの高さを求めるのではなく、直接に当該高さを設定するようにしてもよい。この場合には、図３のＳ１０２及びＳ１０３の動作は不要であり、図９に示す高さ取得用テーブルも不要である。
【産業上の利用可能性】
【００３７】
以上、説明したように、本発明に係る画像処理装置は、運転者に車両周辺の適切な範囲の画像を提供することが可能であり、画像処理装置として有用である。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施形態に係る画像処理装置の構成を示す図である。
【図２】車両に対するカメラの取り付け状態の一例を示す図である。
【図３】画像処理装置の動作を示すフローチャートである。
【図４】メニュー画面の一例を示す図である。
【図５】設定用画面の第１の例を示す図である。
【図６】設定用画面の第２の例を示す図である。
【図７】設定用画面の第３の例を示す図である。
【図８】設定用画面の第４の例を示す図である。
【図９】高さ取得用テーブルの一例を示す図である。
【図１０】切り出し範囲の算出の第１の例を示す図である。
【図１１】切り出し範囲の算出の第２の例を示す図である。
【図１２】切り出し前の画像の一例と切り出し後の画像の一例とそ示す図である。
【図１３】従来の車両に対するカメラの取り付け状態の第１の例を示す図である。
【図１４】従来の車両に対するカメラの取り付け状態の第２の例を示す図である。
【符号の説明】
【００３９】
１００  画像処理装置
１０２  ＥＣＵ
１０６  メモリ
１１０  タッチパネルディスプレイ
１５０  カメラ
【図１】
0004947649.tif 000002
【図２】
0004947649.tif 000003
【図３】
0004947649.tif 000004
【図４】
0004947649.tif 000005
【図５】
0004947649.tif 000006
【図６】
0004947649.tif 000007
【図７】
0004947649.tif 000008
【図８】
0004947649.tif 000009
【図９】
0004947649.tif 000010
【図１０】
0004947649.tif 000011
【図１１】
0004947649.tif 000012
【図１２】
0004947649.tif 000013
【図１３】
0004947649.tif 000014
【図１４】
0004947649.tif 000015