(57)【要約】【課題】より安価にステレオカメラ機能とアラウンドビュー機能とを搭載することができる車載カメラシステム及び画像処理方法を提供する。【解決手段】車両２００の左右の側面のサイドミラーの回動に伴って撮像範囲が変化する右サイドカメラ２及び左サイドカメラ３と、車両２００の前方を撮像するフロントカメラ１と、車両２００の後方を撮像するリアカメラ４と、フロントカメラ１、右サイドカメラ２、左サイドカメラ３、リアカメラ４によって撮像された画像を用いて、車両２００の周囲についての俯瞰図を作成する俯瞰図作成部１５Ｂと、右サイドカメラ２と左サイドカメラ３との視差から、車両２００の前方にある障害物までの距離を算出する距離算出部１５Ａと、を備えた。【選択図】図２
2010187161.tif 000002
【特許請求の範囲】
【請求項１】
車両の左右の側面に回動可能に設けられたサイドミラーに設けられ、前記サイドミラーの回動に伴って撮像範囲が変化するサイドカメラと、
前記車両の前方を撮像するフロントカメラと、
前記車両の後方を撮像するリアカメラと、
左右の前記サイドカメラによって撮像された前記車両の側方の画像と、前記フロントカメラによって撮像された前記車両の前方の画像と、前記リアカメラによって撮像された前記車両の後方の画像と、を用いて、前記車両の周囲についての俯瞰図を作成する俯瞰図作成部と、
左側の前記サイドカメラによって撮像された前記車両の前方の画像と、右側の前記サイドカメラによって撮像された前記車両の前方の画像との視差から、前記車両の前方にある障害物までの距離を算出する距離算出部と、
を備える車載カメラシステム。
【請求項２】
前記サイドミラーが開いているとき、左右の前記サイドカメラは前記車両の側方を撮像し、前記サイドミラーが閉じているとき、左右の前記サイドカメラは前記車両の前方を撮像するように、左右の前記サイドカメラは前記サイドミラーに設けられている請求項１に記載の車載カメラシステム。
【請求項３】
左右の前記サイドカメラの倍率は、前記サイドカメラの光軸の方向が前記車両の前方の方向となっているときの方が、前記サイドカメラの光軸の方向が前記車両の側方の方向となっているときより大きい請求項１又は２に記載の車載カメラシステム。
【請求項４】
前記距離算出部は、
左右の前記サイドカメラの位置情報毎に、左右の前記サイドカメラの画像上における座標と、左右の前記サイドカメラの視差と、前記車両と前記座標上に撮像された物体までの距離と、が対応付けられた較正情報を作成し、
左右の前記サイドカメラの位置情報、左右の前記サイドカメラによって撮像された画像中の障害物の座標、左右の前記サイドカメラの視差に基づいて、前記較正情報から、前記障害物までの距離を算出する請求項１乃至３の何れか一項に記載の車載カメラシステム。
【請求項５】
車両の左右の側面に回動可能に設けられたサイドミラーに設けられたサイドカメラの撮像範囲を、前記サイドミラーの回動に伴って変化させ、
フロントカメラによって前記車両の前方を撮像し、
リアカメラによって前記車両の後方を撮像し、
左右の前記サイドカメラによって撮像された前記車両の側方の画像と、前記フロントカメラによって撮像された前記車両の前方の画像と、前記リアカメラによって撮像された前記車両の後方の画像と、を用いて、前記車両の周囲についての俯瞰図を作成する俯瞰図作成処理と、
左側の前記サイドカメラによって撮像された前記車両の前方の画像と、右側の前記サイドカメラによって撮像された前記車両の前方の画像との視差から、前記車両の前方にある障害物までの距離を算出する距離算出処理と、
を備える画像処理方法。
【請求項６】
前記サイドミラーが開いているとき、左右の前記サイドカメラは前記車両の側方を撮像し、前記サイドミラーが閉じているとき、左右の前記サイドカメラは前記車両の前方を撮像する請求項５に記載の画像処理方法。
【請求項７】
左右の前記サイドカメラの倍率は、前記サイドカメラの光軸の方向が前記車両の前方の方向となっているときの方が、前記サイドカメラの光軸の方向が前記車両の側方の方向となっているときより大きい請求項５又は６に記載の画像処理方法。
【請求項８】
前記距離算出処理において、
左右の前記サイドカメラの位置情報毎に、左右の前記サイドカメラの画像上における座標と、左右の前記サイドカメラの視差と、前記車両と前記座標上に撮像された物体までの距離と、が対応付けられた較正情報を作成し、
左右の前記サイドカメラの位置情報、左右の前記サイドカメラによって撮像された画像中の前記障害物の座標、左右の前記サイドカメラの視差に基づいて、前記較正情報から、前記障害物までの距離を算出する請求項５乃至７の何れか一項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラシステム及び画像処理方法に関する。
【背景技術】
【０００２】
近年、車両にカメラを搭載して、運転者の運転を補佐する車載カメラシステムが開発されている。
例えば、特許文献１には、車両にサイドミラーやバックミラーの代わりにカメラを搭載して、運転者の運転を補佐する車載カメラシステムが記載されている。
また、特許文献２には、ステレオカメラ機能を有する車載カメラシステムが記載されている。具体的には、特許文献２には、車両の前方を撮像するカメラを車両の左側と右側に搭載した車載カメラシステムが記載されている。そして、特許文献２には、左右のカメラによって得られる画像の視差から、車両の前方にある障害物までの距離を正確に算出することにより、ステレオカメラ機能を実現することが記載されている。
また、特許文献３には、アラウンドビュー機能を有する車載カメラシステムが記載されている。具体的には、特許文献３には、フロントバンパーにフロントカメラを設置し、左右のサイドミラーに左右のサイドカメラを設置し、リアバンパーにリアカメラを設置した車載カメラシステムが記載されている。また、特許文献３には、フロントカメラ、左右のサイドカメラ、リアカメラを画角１８０度程度の広角カメラによって構成することが記載されている。そして、特許文献３には、各カメラによって車両の周囲の路面を撮影し、各カメラによって得られた画像に適当な画像処理を施して、車両の周囲についての俯瞰図を生成することにより、アラウンドビューカメラ機能を実現することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２２３４８７号公報
【特許文献２】特開平５−１１４０９９号公報
【特許文献３】特開２００７−１８３８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のステレオカメラ機能とアラウンドビュー機能との両方を車両に搭載するためには、車両の前方を撮像するカメラを車両の左側と右側に搭載するとともに、フロントカメラ、左右のサイドカメラ、リアカメラを搭載する必要がある。即ち、車両に少なくとも６台のカメラを搭載することとなり、車載カメラシステムが高価となってしまう。
また、引用文献２に記載の車載カメラシステムでは、車両の前方を撮像するカメラを車両の室内に設置する。そのため、左右の２つのカメラの間隔を大きくすることができない。これにより、車両から車両の前方の障害物までの距離検出精度が制限されてしまう。
【０００５】
本発明は、このような問題点を解決するためになされたものであり、より安価にステレオカメラ機能とアラウンドビュー機能とを搭載することができる車載カメラシステム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様にかかる車載カメラシステムは、左右のサイドカメラ、フロントカメラ、リアカメラ、俯瞰図作成部、距離算出部を備えている。左右の前記サイドカメラは、車両の左右の側面に回動可能に設けられたサイドミラーに設けられ、前記サイドミラーの回動に伴って撮像範囲が変化する。前記フロントカメラは、前記車両の前方を撮像する。前記リアカメラは、前記車両の後方を撮像する。また、前記俯瞰図作成部は、左右の前記サイドカメラによって撮像された前記車両の側方の画像と、前記フロントカメラによって撮像された前記車両の前方の画像と、前記リアカメラによって撮像された前記車両の後方の画像と、を用いて、前記車両の周囲についての俯瞰図を作成する。また、前記距離算出部は、左側の前記サイドカメラによって撮像された前記車両の前方の画像と、右側の前記サイドカメラによって撮像された前記車両の前方の画像との視差から、前記車両の前方にある障害物までの距離を算出する。
【０００７】
本発明の第１の態様においては、左右のサイドカメラの撮像範囲がサイドミラーの回動に伴って変化する。これにより、左右のサイドカメラによって、車両の前方の画像を得るとともに、車両の側方の画像も得ることができる。そのため、車両に搭載するカメラの数をできるだけ低減しながら、車両に、ステレオカメラ機能とアラウンドビュー機能とを搭載することができる。よって、より安価にステレオカメラ機能とアラウンドビュー機能とを車両に搭載することができる。
【０００８】
また、前記サイドミラーが開いているとき、左右の前記サイドカメラは前記車両の側方を撮像し、前記サイドミラーが閉じているとき、左右の前記サイドカメラは前記車両の前方を撮像するように、左右の前記サイドカメラは前記サイドミラーに設けられていることが好ましい。
これにより、サイドミラーを回動する回動機構を利用して、左右のサイドカメラの撮像範囲を変化させることができる。そのため、車両に左右のサイドカメラの撮像範囲を変化させるための駆動機構を新たに設ける必要がない。従って、さらに安価にステレオカメラ機能とアラウンドビュー機能とを車両に搭載することができる。
【０００９】
さらに、左右の前記サイドカメラの倍率は、前記サイドカメラの光軸の方向が前記車両の前方の方向となっているときの方が、前記サイドカメラの光軸の方向が前記車両の側方の方向となっているときより大きいことが好ましい。
これにより、俯瞰図を作成する場合には、左右のサイドカメラの倍率を比較的低くし、距離を算出する場合には、左右のサイドカメラの倍率を比較的高くすることができる。一般に、俯瞰図を作成する場合に比べて、距離を算出する場合の方が、画像の精度が高いことが望まれる。よって、用途によって、左右のサイドカメラの倍率をより適切に調整することができる。
【００１０】
さらに、また、前記距離算出部は、左右の前記サイドカメラの位置情報毎に、左右の前記サイドカメラの画像上における座標と、左右の前記サイドカメラの視差と、前記車両と前記座標上に撮像された物体までの距離と、が対応付けられた較正情報を作成し、左右の前記サイドカメラの位置情報、左右の前記サイドカメラによって撮像された画像中の障害物の座標、左右の前記サイドカメラの視差に基づいて、前記較正情報から、前記障害物までの距離を算出することがより好ましい。
これにより、左右のサイドカメラの位置が、基準とする位置からずれてしまっても、基準とする位置からずれた左右のサイドカメラの位置情報に対応する較正情報を参照することにより、障害物までの距離を正確に算出することができる。
【００１１】
本発明の第２の態様にかかる画像処理方法は、俯瞰図作成処理と、距離算出処理を備えている。また、当該画像処理方法において、車両の左右の側面に回動可能に設けられたサイドミラーに設けられたサイドカメラの撮像範囲を、前記サイドミラーの回動に伴って変化させる。
俯瞰図作成処理では、フロントカメラによって前記車両の前方を撮像する。また、リアカメラによって前記車両の後方を撮像する。そして、左右の前記サイドカメラによって撮像された前記車両の側方の画像と、前記フロントカメラによって撮像された前記車両の前方の画像と、前記リアカメラによって撮像された前記車両の後方の画像と、を用いて、前記車両の周囲についての俯瞰図を作成する。
距離算出処理では、左側の前記サイドカメラによって撮像された前記車両の前方の画像と、右側の前記サイドカメラによって撮像された前記車両の前方の画像との視差から、前記車両の前方にある障害物までの距離を算出する。
【００１２】
本発明の第２の態様においては、左右のサイドカメラの撮像範囲がサイドミラーの回動に伴って変化する。これにより、左右のサイドカメラによって、車両の前方の画像を得るとともに、車両の側方の画像も得ることができる。そのため、車両に搭載するカメラの数をできるだけ低減しながら、車両に、ステレオカメラ機能とアラウンドビュー機能とを搭載することができる。よって、より安価にステレオカメラ機能とアラウンドビュー機能とを車両に搭載することができる。
【００１３】
また、前記サイドミラーが開いているとき、左右の前記サイドカメラは前記車両の前方を撮像し、前記サイドミラーが閉じているとき、左右の前記サイドカメラは前記車両の側方を撮像することが好ましい。
これにより、サイドミラーを回動する回動機構を利用して、左右のサイドカメラの撮像範囲を変化させることができる。そのため、車両に左右のサイドカメラの撮像範囲を変化させるための駆動機構を新たに設ける必要がない。従って、さらに安価にステレオカメラ機能とアラウンドビュー機能とを車両に搭載することができる。
【００１４】
さらに、左右の前記サイドカメラの倍率は、前記サイドカメラの光軸の方向が前記車両の前方の方向となっているときの方が、前記サイドカメラの光軸の方向が前記車両の側方の方向となっているときより大きいことが好ましい。
これにより、俯瞰図を作成する場合には、左右のサイドカメラの倍率を比較的低くし、距離を算出する場合には、左右のサイドカメラの倍率を比較的高くすることができる。一般に、俯瞰図を作成する場合に比べて、距離を算出する場合の方が、画像の精度が高いことが望まれる。よって、用途によって、左右のサイドカメラの倍率をより適切に調整することができる。
【００１５】
さらに、また、前記距離算出処理において、左右の前記サイドカメラの位置情報毎に、左右の前記サイドカメラの画像上における座標と、左右の前記サイドカメラの視差と、前記車両と前記座標上に撮像された物体までの距離と、が対応付けられた較正情報を作成し、左右の前記サイドカメラの位置情報、左右の前記サイドカメラによって撮像された画像中の前記障害物の座標、左右の前記サイドカメラの視差に基づいて、前記較正情報から、前記障害物までの距離を算出することがより好ましい。
これにより、左右のサイドカメラの位置が、基準とする位置からずれてしまっても、基準とする位置からずれた左右のサイドカメラの位置情報に対応する較正情報を参照することにより、障害物までの距離を正確に算出することができる。
【発明の効果】
【００１６】
本発明により、より安価にステレオカメラ機能とアラウンドビュー機能とを搭載することができる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態１にかかる車載カメラシステム及び当該車載カメラシステムが搭載された車両の図である。
【図２】実施の形態１にかかる車載カメラシステムの構成の一例を示すブロック図である。
【図３】実施の形態１にかかる変換テーブルの一例を説明する図である。
【図４】実施の形態１にかかる変換テーブルの一例を説明する図である。
【図５】実施の形態１にかかる画像処理方法の一例を説明するフローチャートである。
【図６】実施の形態１にかかる画像処理方法の一例を説明するフローチャートである。
【図７】実施の形態２にかかる車載カメラシステムの構成の一例を示すブロック図である。
【図８】実施の形態２にかかる画像処理方法の一例を説明するフローチャートである。
【図９】複数の従来の車載カメラシステムを組み合わせて搭載した車両の図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態について説明する。
実施の形態１．
本発明の実施の形態１にかかる車載カメラシステム１００は、図１に示すように、フロントカメラ１、右サイドカメラ２、左サイドカメラ３、リアカメラ４、突起部５を備えている。
フロントカメラ１は、車両２００のフロントバンパーなどのフロント部分に設けられている。また、右サイドカメラ２は、車両２００の右サイドミラーに設けられている。また、左サイドカメラ３は、車両２００の左サイドミラーに設けられている。また、リアカメラ４は、車両２００のリアバンパーなどのリア部分に設けられている。
また、突起部５は、車両２００のフロント部分であって、右サイドカメラ２及び左サイドカメラ３によって撮像可能な位置に設置されている。
【００１９】
左右のサイドミラーは回動可能に車両２００の左右の側面に設けられている。そして、サイドミラーの回動に伴って、右サイドカメラ２と左サイドカメラ３の撮像範囲が変化するようになっている。
例えば、図１（ａ）に示すように、左右のサイドミラーが閉じているとき、右サイドカメラ２及び左サイドカメラ３は、車両２００の側方であって路面を含む範囲を撮像する。また、図１（ｂ）に示すように、左右のサイドミラーが開いているとき、右サイドカメラ２及び左サイドカメラ３は、車両２００の前方を撮像する。なお、図１において、各カメラの撮像範囲を一点鎖線で示す。また、右サイドカメラ２及び左サイドカメラ３は、車両２００の側部に回動可能に取り付けられていればよく、右サイドカメラ２及び左サイドカメラ３の取り付け位置は、右サイドミラー及び左サイドミラーに限られない。
【００２０】
また、本発明の実施形態では、フロントカメラ１及びリアカメラ４は、１３０万ピクセルのＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、画角１７０°のレンズを備えている。また、右サイドカメラ２及び左サイドカメラ３は、５００万ピクセル（２５９２×１９４４ピクセル）のＣＭＯＳセンサ、画角１７０°のレンズを備えている。なお、画像処理にかかる処理時間を短縮するため、フロントカメラ１、右サイドカメラ２、左サイドカメラ３、リアカメラ4によって撮像された画像データに対してモザイク化処理を行って、１２８０×１０２４ピクセルの画像データに変換する。そして、各画像処理では、モザイク化処理後の画像データを用いる。
【００２１】
また、右サイドカメラ２及び左サイドカメラ３の倍率は、右サイドカメラ２及び左サイドカメラ３の光軸の方向が車両２００の前方の方向となっているときの方が、右サイドカメラ２及び左サイドカメラ３の光軸の方向が車両２００の側方の方向となっているときより大きくなっている。
具体的には、本発明の実施形態では、右サイドカメラ２及び左サイドカメラ３の倍率をデジタルズーム機能により実現した。より具体的には、サイドミラーが開いているとき、すなわち、右サイドカメラ２及び左サイドカメラ３によって車両２００の前方を撮像しているときは、右サイドカメラ２及び左サイドカメラ３によって撮像される画像の中心部分、水平画角４０°及び垂直画角３０°の部分の画像を取得する。
なお、右サイドカメラ２及び左サイドカメラ３のズーム機能は、デジタルズーム機能に限られるものではなく、光学ズーム機能によって実現されてもよいし、デジタルズーム機能と光学ズーム機能との組み合わせによって実現されてもよい。
【００２２】
また、図２に示すように、本発明の実施の形態１にかかる車載カメラシステム１００は、さらに、バッファメモリ６、７、８、９、速度制御部１０、入力部１１、バッファメモリ１２、表示部１３、メモリ１４、制御部１５などを備えている。
【００２３】
バッファメモリ６、７、８、９は、それぞれ、フロントカメラ１、右サイドカメラ２、左サイドカメラ３、リアカメラ４によって撮像された画像データを一時的に保存する。
【００２４】
速度制御部１０は、制御部１５から入力される速度制御データに基づいて、車両２００の走行速度を制御する。具体的には、速度制御部１０は、制御部１５から入力される障害物までの距離情報に基づいて、車両２００の走行速度を制御する。
【００２５】
入力部１１は、例えば、車両２００に搭載された液晶タッチパネルなどである。そして、入力部１１は、運転者によって操作されることにより、各種の指示データを制御部１５に入力する。
【００２６】
バッファメモリ１２は、制御部１５の俯瞰図作成部１５Ｂ（後述）によって作成された俯瞰図データを一時的に保存する。また、バッファメモリ１２は、表示部１３に当該俯瞰図データを入力する。
【００２７】
表示部１３は、例えば、液晶パネルなどである。また、表示部１３は、入力部１１と一体として車両２００に設けられてもよい。表示部１３は、例えば、バッファメモリ１２から入力された俯瞰図データに基づいて、俯瞰図を表示する。
【００２８】
メモリ１４は、距離算出部１５Ａ（後述）によって作成された変換テーブル情報（較正情報）を記憶している。
変換テーブル情報は、複数の変換テーブルからなる情報である。変換テーブルは、右サイドカメラ２と左サイドカメラ３の位置情報毎に作成される。そして、各変換テーブルは、当該位置情報に表される位置に右サイドカメラ２と左サイドカメラ３とがあるときの、右サイドカメラ２及び左サイドカメラ３によって撮像される画像上における座標と、右サイドカメラ２と左サイドカメラ３との視差と、車両２００から当該座標上に撮像された物体までの距離と、が対応付けられた表である。
したがって、メモリ１４は、右サイドカメラ２と左サイドカメラ３の位置情報毎に、当該位置情報に表される位置に右サイドカメラ２と左サイドカメラ３とがにあるときの、右サイドカメラ２及び左サイドカメラ３によって撮像される画像上における座標と、右サイドカメラ２と左サイドカメラ３との視差と、車両２００から当該座標上に撮像された物体までの距離と、を対応付けて記憶している。
【００２９】
制御部１５は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を有し、車載カメラシステム１００の各部を制御するための各種プログラムを格納している。そして、制御部１５は、当該各種プログラムを実行することにより、車載カメラシステム１００の各部の制御を行う。なお、制御部１５は、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）などにより構成されてもよい。制御部１５がＦＰＧＡなどにより構成される場合、制御部１５に格納された各種プログラムを書き換えることができる。
制御部１５は、図２に示すように、距離算出部１５Ａ、俯瞰図作成部１５Ｂを備えている。
【００３０】
距離算出部１５Ａは、右サイドカメラ２によって撮像された車両２００の前方の画像と、左サイドカメラ３によって撮像された車両２００の前方の画像との視差から、前記車両２００の前方にある障害物までの距離を算出する。
具体的には、距離算出部１５Ａは、まず、右サイドカメラ２と左サイドカメラ３の位置情報毎に、変換テーブルを作成し、変換テーブル情報として、メモリ１４に記憶させる。そして、右サイドカメラ２及び左サイドカメラ３によって撮像された画像中に障害物があった場合には、そのときの右サイドカメラ２及び左サイドカメラ３の位置に対応する変換テーブルから、当該障害物の座標及び視差に基づいて、車両２００から当該座標に撮像された物体までの距離を検索し、当該距離を車両２００から当該障害物までの距離とする。
【００３１】
なお、距離算出部１５Ａは、右サイドカメラ２及び左サイドカメラ３によって撮像された画像データにモザイク化処理を行って、モザイク化処理後の画像データを用いて距離算出処理を行う。さらに、距離算出部１５Ａは、右サイドカメラ２及び左サイドカメラ３によって撮像される画像の中心部分、水平画角４０°及び垂直画角３０°の部分の画像を取得し、距離算出処理を行う。
【００３２】
より具体的には、距離算出部１５Ａは、まず、車両２００の回動部へ制御信号を入力し、右サイドカメラ２と左サイドカメラ３のキャリブレーションを行う。ここで、キャリブレーションを行った右サイドカメラ２及び左サイドカメラ３の位置を基準位置とする。また、当該基準位置にあるときの右サイドカメラ２及び左サイドカメラ３の位置をカメラ角度θ０又はカメラ位置Ｐ０とする。
なお、キャリブレーションは、例えば、「実吉敬二、"ステレオ法による立体画像認識の基礎と車載カメラへの応用"、日本、トリケップス株式会社、２００７年３月２３日、９３ページ」などに記載された方法など、従来の方法を用いて行う。
そして、距離算出部１５Ａは、右サイドカメラ２と左サイドカメラ３とが基準位置（カメラ角度θ０又はカメラ位置Ｐ０）にあるときの変換テーブルＴ０を作成する。そして、距離算出部１５Ａは、変換テーブルＴ０を変換テーブル情報としてメモリ１４に記憶させる。また、距離算出部１５Ａは、右サイドカメラ２と左サイドカメラ３とが基準位置にあるときに、右サイドカメラ２及び左サイドカメラ３によって撮像された画像中の突起部５の位置（座標）をメモリ１４に記憶させる。
【００３３】
次に、距離算出部１５Ａは、車両２００の回動部へ制御信号を入力し、右サイドカメラ２と左サイドカメラ３の位置を基準位置から所定角度ずつ回動させる。そして、距離算出部１５Ａは、各位置毎に、右サイドカメラ２と左サイドカメラ３とが当該位置（カメラ角度θＮ又はカメラ位置ＰＮ）にあるときの変換テーブルＴＮ（Ｎは、Ｎ≧１を満たす整数。）を作成する。そして、距離算出部１５Ａは、変換テーブルＴＮを変換テーブル情報としてメモリ１４に記憶させる。また、距離算出部１５Ａは、右サイドカメラ２と左サイドカメラ３とが当該位置（カメラ角度θＮ又はカメラ位置ＰＮ）にあるときに、右サイドカメラ２及び左サイドカメラ３によって撮像された画像中の突起部５の位置（座標）をメモリ１４に記憶させる。
【００３４】
変換テーブルＴ０の一例を図３に示す。図３に示すように、変換テーブルＴ０では、基準位置（カメラ角度θ０又はカメラ位置Ｐ０）にある右サイドカメラ２及び左サイドカメラ３によって得られた画像における座標（ｘ１、ｙ１）、（ｘ２、ｙ２）、・・・、（ｘｉ、ｙｊ）毎に（ｉは、ｉ≧１を満たす整数、ｊはｊ≧１を満たす整数。）、視差と車両２００から当該座標に撮像された物体までの距離とを対応付けている。
変換テーブルＴＮの一例を図４に示す。図４に示すように、変換テーブルＴＮでは、カメラ角度θＮ又はカメラ位置ＰＮにある右サイドカメラ２及び左サイドカメラ３によって得られた画像における座標（ｘ１、ｙ１）、（ｘ２、ｙ２）、・・・、（ｘｉ、ｙｊ）毎に（ｉは、ｉ≧１を満たす整数、ｊはｊ≧１を満たす整数。）、視差と車両２００から当該座標に撮像された物体までの距離とを対応付けている。
【００３５】
次に、右サイドカメラ２及び左サイドカメラ３によって撮像された画像中に障害物があった場合には、距離算出部１５Ａは、そのときの右サイドカメラ２及び左サイドカメラ３の位置を算出する。具体的には、距離算出部１５Ａは、右サイドカメラ２及び左サイドカメラ３が基準位置（カメラ角度θ０又はカメラ位置Ｐ０）にあるときに、右サイドカメラ２及び左サイドカメラ３によって撮像された画像中の突起部５の位置（座標）と、現在の右サイドカメラ２及び左サイドカメラ３によって撮像された画像中の突起部５の位置（座標）とのずれから、現在の右サイドカメラ２及び左サイドカメラ３の位置を算出する。そして、距離算出部１５Ａは、当該位置に対応する変換テーブルから、当該障害物の座標及び視差に基づいて、車両２００から当該座標に撮像された物体までの距離を検索し、当該距離を車両２００から当該障害物までの距離とする。
【００３６】
俯瞰図作成部１５Ｂは、右サイドカメラ２及び左サイドカメラ３によって撮像された車両２００の側方の画像データと、フロントカメラ１によって撮像された車両２００の前方の画像データと、リアカメラ４によって撮像された車両２００の後方の画像データと、を用いて、車両２００の周囲についての俯瞰図データを作成する。
【００３７】
なお、俯瞰図作成部１５Ｂは、フロントカメラ１、右サイドカメラ２、左サイドカメラ３、リアカメラ４によって撮像された画像データにモザイク化処理を行って、モザイク化処理後の画像データを用いて俯瞰図作成処理を行う。さらに、俯瞰図作成部１５Ｂは、フロントカメラ１、右サイドカメラ２、左サイドカメラ３、リアカメラ４によって撮像される画像の水平画角１７０°及び垂直画角１２７．５°の部分の画像を取得し、俯瞰図作成処理を行う。
【００３８】
具体的には、俯瞰図作成部１５Ｂは、フロントカメラ１、右サイドカメラ２、左サイドカメラ３、リアカメラ４によって撮像された画像データに対して歪み変換処理を行う。これにより、俯瞰図作成部１５Ｂは、フロントカメラ１、右サイドカメラ２、左サイドカメラ３、リアカメラ４によって撮像された画像データから、車両２００の上方の仮想視点から見下ろした画像に視点変換した画像データを生成する。そして、俯瞰図作成部１５Ｂは、視点変換したフロントカメラ１、右サイドカメラ２、左サイドカメラ３、リアカメラ４の画像を繋ぎ合わせるように合成し、俯瞰図データを作成する。
【００３９】
次に、本実施の形態１にかかる車載カメラシステム１００における画像処理方法のうち、俯瞰図作成方法について、図５に示すフローチャートを参照しながら説明する。
まず、運転者の運転操作によって、車両２００の左右のサイドミラーが閉じられる（ステップＳ１）。これにより、右サイドカメラ２及び左サイドカメラ３の撮像範囲は、車両２００の側方の範囲となる。
【００４０】
次に、俯瞰図作成部１５Ｂは、フロントカメラ１、右サイドカメラ２、左サイドカメラ３、リアカメラ４によって撮像された画像のうち、水平画角１７０度、垂直画角１２７．５度の範囲の画像データを取得する（ステップＳ２）。
【００４１】
次に、俯瞰図作成部１５Ｂは、ステップＳ２において取得した画像データに対して歪み変換処理を行って、視点変換を行った画像データを生成する（ステップＳ３）。
【００４２】
次に、俯瞰図作成部１５Ｂは、ステップＳ３において生成した画像データを合成し、俯瞰図データを作成する（ステップＳ４）。また、俯瞰図作成部１５Ｂは、バッファメモリ１２に当該俯瞰図データを格納する。
【００４３】
次に、表示部１３は、バッファメモリ１２から入力された俯瞰図データに基づいて、俯瞰図を表示する（ステップＳ５）。
なお、俯瞰図作成部１５Ｂにる俯瞰図作成処理の開始は、左右のサイドミラーが閉じられたときに限られない。例えば、運転者が入力部１１を操作して、俯瞰図作成指示が制御部１５に入力されることによって、俯瞰図作成部１５Ｂによる俯瞰図作成処理が開始されてもよい。
【００４４】
次に、本実施の形態１にかかる車載カメラシステム１００を搭載した車両２００における速度制御方法について、図６に示すフローチャートを参照しながら説明する。
まず、車両２００の左右のサイドミラーが開かれる（ステップＳ１０１）。これにより、右サイドカメラ２及び左サイドカメラ３の撮像範囲は、車両２００の前方の範囲となる。
【００４５】
次に、距離算出部１５Ａは、車両２００の回動部に制御信号を入力し、右サイドカメラ２と左サイドカメラ３のキャリブレーションを行う（ステップＳ１０２）。
【００４６】
次に、距離算出部１５Ａは、（カメラ角度θ０又はカメラ位置Ｐ０）における変換テーブルＴ０を作成するとともに、車両２００の回動部へ制御信号を入力し、右サイドカメラ２と左サイドカメラ３の位置を基準位置から所定角度ずつ回動させ、各位置（カメラ角度θＮ又はカメラ位置ＰＮ）における変換テーブルＴＮを作成する（ステップＳ１０３）。
【００４７】
次に、右サイドカメラ２及び左サイドカメラ３によって撮像された画像中の障害物があった場合には、距離算出部１５Ａは、現在の右サイドカメラ２及び左サイドカメラ３の位置に対応する変換テーブルから、当該障害物の座標及び視差に基づいて、車両２００から当該座標に撮像された物体までの距離を検索し、当該距離を車両２００から当該障害物までの距離とする（ステップＳ１０４）。
【００４８】
次に、制御部１５は、距離算出部１５ＡによってステップＳ１０４において算出された距離情報を速度制御データとして速度制御部１０に入力し、速度制御部１０によって、車両２００の走行速度が制御される（ステップＳ１０５）。
なお、距離算出部１５Ａによる距離算出処理の開始は、左右のサイドミラーが開かれたときに限られない。例えば、運転者が入力部１１を操作して、距離算出指示が制御部１５に入力されることによって、距離算出部１５Ａによる距離算出処理が開始されてもよい。
【００４９】
以上に説明した本発明の実施の形態１にかかる車載カメラシステム１００及び画像処理方法によれば、右サイドカメラ２及び左サイドカメラ３の撮像範囲がサイドミラーの回動に伴って変化する。これにより、右サイドカメラ２及び左サイドカメラ３によって、車両２００の前方の画像を得るとともに、車両２００の側方の画像も得ることができる。そのため、車両２００に搭載するカメラの数をできるだけ低減しながら、車両２００に、ステレオカメラ機能とアラウンドビュー機能とを搭載することができる。よって、より安価にステレオカメラ機能とアラウンドビュー機能とを車両２００に搭載することができる。
【００５０】
例えば、従来のステレオカメラ機能とアラウンドビュー機能との両方を車両に搭載するためには、図９に示すように、車両４００の前方を撮像するカメラ４０５、４０６を車両の左側と右側に搭載するとともに、フロントカメラ４０１、左右のサイドカメラ４０２、４０３、リアカメラ４０４を搭載する必要がある。即ち、車両４００に少なくとも６台のカメラを搭載することとなり、車載カメラシステムが高価となってしまう。
これに対し、本発明にかかる車載カメラシステム１００では、最大４台のカメラを搭載すれば、ステレオカメラ機能とアラウンドビュー機能との両方を車両２００に搭載することができる。したがって、より安価にステレオカメラ機能とアラウンドビュー機能とを車両２００に搭載することができる。
【００５１】
また、サイドミラーが開いているとき、右サイドカメラ２及び左サイドカメラ３は車両２００の前方を撮像し、サイドミラーが閉じているとき、右サイドカメラ２及び左サイドカメラ３は車両２００の側方であって路面を含む範囲を撮像するように、右サイドカメラ２及び左サイドカメラ３はサイドミラーに設けられている。
これにより、サイドミラーを回動する回動機構を利用して、右サイドカメラ２及び左サイドカメラ３の撮像範囲を変化させることができる。そのため、車両２００に右サイドカメラ２及び左サイドカメラ３の撮像範囲を変化させるための駆動機構を新たに設ける必要がない。従って、さらに安価にステレオカメラ機能とアラウンドビュー機能とを車両２００に搭載することができる。
【００５２】
さらに、右サイドカメラ２及び左サイドカメラ３の倍率は、右サイドカメラ２及び左サイドカメラ３の光軸の方向が車両２００の前方の方向となっているときの方が、右サイドカメラ２及び左サイドカメラ３の光軸の方向が車両２００の側方の方向となっているときより大きい。
これにより、俯瞰図を作成する場合には、右サイドカメラ２及び左サイドカメラ３の倍率を比較的低くし、距離を算出する場合には、右サイドカメラ２及び左サイドカメラ３の倍率を比較的高くすることができる。一般に、俯瞰図を作成する場合に比べて、距離を算出する場合の方が、画像の精度が高いことが望まれる。よって、用途によって、右サイドカメラ２及び左サイドカメラ３の倍率をより適切に調整することができる。
【００５３】
さらに、また、距離算出部１５Ａは、右サイドカメラ２及び左サイドカメラ３の位置情報毎に、右サイドカメラ２及び左サイドカメラ３の画像上における座標と、右サイドカメラ２及び左サイドカメラ３の視差と、車両２００と当該座標上に撮像された物体までの距離と、が対応付けられた変換テーブル情報を作成し、右サイドカメラ２及び左サイドカメラ３の位置情報、右サイドカメラ２及び左サイドカメラ３によって撮像された画像中の障害物の座標、右サイドカメラ２及び左サイドカメラ３の視差に基づいて、当該変換テーブル情報から、当該障害物までの距離を算出する。
これにより、右サイドカメラ２及び左サイドカメラ３の位置が、基準とする位置からずれてしまっても、基準とする位置からずれた右サイドカメラ２及び左サイドカメラ３の位置情報に対応する変換テーブルを参照することにより、障害物までの距離を正確に算出することができる。
【００５４】
実施の形態２．
図７に、本発明の実施の形態２にかかる車載カメラシステム３００の概略構成を示すブロック図を示す。
図２に示すように、実施の形態２にかかる車載カメラシステム３００は、制御部１５０の構成のみが実施の形態１にかかる車載カメラシステム１００と異なるので、同様の構成については同一の符号を付すとともに、その説明を省略する。
【００５５】
制御部１５は、図７に示すように、距離算出部１５０Ａ、カメラ位置較正部１５０Ｂ、俯瞰図作成部１５Ｂを備えている。
【００５６】
距離算出部１５０Ａは、右サイドカメラ２によって撮像された車両２００の前方の画像と、左サイドカメラ３によって撮像された車両２００の前方の画像との視差から、前記車両２００の前方にある障害物までの距離を算出する。
なお、距離算出部１５０Ａは、右サイドカメラ２及び左サイドカメラ３によって撮像された画像データにモザイク化処理を行って、モザイク化処理後の画像データを用いて距離算出処理を行う。さらに、距離算出部１５０Ａは、右サイドカメラ２及び左サイドカメラ３によって撮像される画像の中心部分、水平画角４０°及び垂直画角３０°の部分の画像を取得し、距離算出処理を行う。
【００５７】
カメラ位置較正部１５０Ｂは、右サイドカメラ２及び左サイドカメラ３の位置が基準位置となるように、右サイドカメラ２及び左サイドカメラ３の位置を較正する。
具体的には、カメラ位置較正部１５０Ｂは、まず、車両２００の回動部へ制御信号を入力し、右サイドカメラ２と左サイドカメラ３のキャリブレーションを行う。ここで、キャリブレーションを行った右サイドカメラ２及び左サイドカメラ３の位置を基準位置とする。また、カメラ位置較正部１５０Ｂは、右サイドカメラ２と左サイドカメラ３とが基準位置にあるときに、右サイドカメラ２及び左サイドカメラ３によって撮像された画像中の突起部５の位置（座標）をメモリ１４に記憶させる。
なお、キャリブレーションは、例えば、「実吉敬二、"ステレオ法による立体画像認識の基礎と車載カメラへの応用"、日本、トリケップス株式会社、２００７年３月２３日、９３ページ」などに記載された方法など、従来の方法を用いて行う。
【００５８】
次に、カメラ位置較正部１５０Ｂは、右サイドカメラ２及び左サイドカメラ３が基準位置にあるときに、右サイドカメラ２及び左サイドカメラ３によって撮像された画像中の突起部５の位置（座標）と、現在の右サイドカメラ２及び左サイドカメラ３によって撮像された画像中の突起部５の位置（座標）とのずれから、右サイドカメラ２及び左サイドカメラ３の位置が基準位置となるために必要な回動角度を算出する。そして、カメラ位置較正部１５０Ｂは、当該回動角度の情報を車両２００の回動部に入力し、回動部に当該回動角度分、右サイドカメラ２及び左サイドカメラ３を回動させる。
【００５９】
次に、本実施の形態２にかかる車載カメラシステム３００を搭載した車両２００における速度制御方法について、図８に示すフローチャートを参照しながら説明する。
まず、運転者の運転操作によって、車両２００の左右のサイドミラーが開かれる（ステップＳ２０１）。これにより、右サイドカメラ２及び左サイドカメラ３の撮像範囲は、車両２００の前方の範囲となる。
【００６０】
次に、カメラ位置較正部１５０Ｂは、右サイドカメラ２と左サイドカメラ３の位置が基準位置から所定の回動角度以上ずれているか否かを判断する（ステップＳ２０２）。
ステップＳ２０２において、右サイドカメラ２と左サイドカメラ３の位置が基準位置から所定の回動角度以上ずれていない場合（ステップＳ２０２；Ｎｏ）、ステップＳ２０４に進む。
ステップＳ２０２において、右サイドカメラ２と左サイドカメラ３の位置が基準位置から所定の回動角度以上ずれている場合（ステップＳ２０２；Ｙｅｓ）、カメラ位置較正部１５０Ｂは、右サイドカメラ２と左サイドカメラ３の位置を較正する（ステップＳ２０３）。
【００６１】
次に、距離算出部１５０Ａは、右サイドカメラ２によって撮像された車両２００の前方の画像と、左サイドカメラ３によって撮像された車両２００の前方の画像との視差から、前記車両２００の前方にある障害物までの距離を算出する。（ステップＳ２０４）。
【００６２】
次に、制御部１５０は、距離算出部１５０ＡによってステップＳ２０４において算出された距離情報を速度制御データとして速度制御部１０に入力し、速度制御部１０によって、車両２００の走行速度が制御される（ステップＳ２０５）。
なお、距離算出部１５０Ａによる距離算出処理の開始は、左右のサイドミラーが開かれたときに限られない。例えば、運転者が入力部１１を操作して、距離算出指示が制御部１５０に入力されることによって、距離算出部１５Ａによる距離算出処理が開始されてもよい。
【００６３】
以上に説明した本発明の実施の形態２にかかる車載カメラシステム３００及び画像処理方法によれば、実施の形態１にかかる車載カメラシステム１００と同様の効果を奏することができる。
【符号の説明】
【００６４】
１  フロントカメラ
２  右サイドカメラ（サイドカメラ）
３  左サイドカメラ（サイドカメラ）
４  リアカメラ
１５Ａ、１５０Ａ  距離算出部
１５Ｂ  俯瞰図作成部
１００、３００  車載カメラシステム
２００  車両
【図１】
2010187161.tif 000003
【図２】
2010187161.tif 000004
【図３】
2010187161.tif 000005
【図４】
2010187161.tif 000006
【図５】
2010187161.tif 000007
【図６】
2010187161.tif 000008
【図７】
2010187161.tif 000009
【図８】
2010187161.tif 000010
【図９】
2010187161.tif 000011