(57)【要約】      （修正有）【課題】１台のカメラを効率よく利用することを可能にする。【解決手段】車載撮像システムは、車両の進行方向側面に設置され当該車両の車室内と周辺とを同時に撮像可能な車載カメラ１を備える。【選択図】図３
2017061216.tif 000002
【特許請求の範囲】
【請求項１】
車両の進行方向側面に設置され当該車両の車室内と周辺とを同時に撮像可能な車載カメラを備える、車載撮像システム。
【請求項２】
請求項１に記載の車載撮像システムにおいて、
前記車載撮像システムはさらに、前記車載カメラの撮像レンズの対物側に設けられた反射光学素子を備え、
前記反射光学素子は、前記車載カメラの撮像領域の一部に前記車両の車室内の被写体像を投影する位置および角度で設置される、
車載撮像システム。
【請求項３】
請求項１または２に記載の車載撮像システムにおいて、
前記車載カメラと前記反射光学素子とは、前記車両の運転者を撮像可能に設置される、車載撮像システム。
【請求項４】
請求項３に記載の車載撮像システムにおいて、
前記車載カメラは、前記運転者の顔の位置、向き、大きさおよび前記運転者の眼全体における瞳孔部分または虹彩部分の位置の少なくとも１つを検出した結果に応じて、前記周辺の撮像画像の任意の領域を切り出して出力する、車載撮像システム。
【請求項５】
車載撮像システムを備えた車両であって、前記車載撮像システムは前記車両の進行方向側面に設置され前記車両の車室内と周辺とを同時に撮像可能な車載カメラを備える、車両。
【請求項６】
車両の進行方向側面に設置された車載カメラを用いて、前記車両の車室内と周辺とを同時に撮像する撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載撮像システム、車両および撮像方法に関する。
【背景技術】
【０００２】
近年車両には多くのカメラが使用されている。例えば、車両の運転者が直接視認できない領域の状況を把握するため、従来使用されているサイドミラーに代えて、カメラを用いて車両の後方および側後方を撮像し、モニタに表示する技術が知られている（例えば特許文献１）。また、車室内に設置されて運転者の瞳孔位置を検出し、良好な瞳孔位置の検出が出来ない場合、眠気によって運転への注意が低下しているものとして警告を行う技術が知られている（例えば特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２２３４８７号公報
【特許文献２】特開２００９−１８３３２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術は車両の後方を撮像するのみであり、特許文献２に記載の技術は運転者の状態を検出するのみである。このため両方の機能を実現するには、個別にカメラを車両に設置する必要がある。このように、様々なカメラが車両に搭載されると、コストや設置場所が問題となる。
【０００５】
かかる事情に鑑みてなされた本発明の目的は、１台のカメラを効率よく利用することができる車載撮像システム、車両および撮像方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る車載撮像システムは、
車両の進行方向側面に設置され当該車両の車室内と周辺とを同時に撮像可能な車載カメラを備える。
【０００７】
本発明の一実施形態に係る車両は、
車載撮像システムを備えた車両であって、前記車載撮像システムは前記車両の進行方向側面に設置され前記車両の車室内と周辺とを同時に撮像可能な車載カメラを備える。
【０００８】
本発明の一実施形態に係る撮像方法は、
車両の進行方向側面に設置された車載カメラを用いて、前記車両の車室内と周辺とを同時に撮像する。
【発明の効果】
【０００９】
本発明の一実施形態に係る車載撮像システム、車両および撮像方法によれば、１台のカメラを効率よく利用することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る車両の図である。
【図２】本発明の実施形態に係る車載撮像システムの機能ブロック図である。
【図３】図１の領域Ａの拡大図である。
【図４】図２に示す車載カメラが、ミラーが設置されないときに撮像する画像の一例である。
【図５】図２に示す車載カメラが、ミラーが設置されるときに撮像する画像の一例である。
【図６】図２に示す車載カメラの制御部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態を説明する。図１は、走行する車両１０を簡略化して示す図である。本実施形態における「車両」は、乗用車、トラック、バス等の、道路上を走行する車両を意味する。運転者Ｂが運転する車両１０は矢印Ｄ１の方向に走行する。図１において、運転者Ｂは矢印Ｄ２の方向を視認する。車両１０の進行方向側面（車両１０の走行方向に沿う方向に見たときの車両１０の側面）には、少なくとも車載カメラ１、ミラー２（反射光学素子）が設置される。また、車両１０の車室内のダッシュボード左端近傍には、表示面を運転者側に向けて表示装置３が設置される。図１では車載カメラ１、ミラー２および表示装置３は車両１０の進行方向左側のみに設置されるが、代替例として右側のみに設置されてもよいし、左右両側に設置されてもよい。
【００１２】
図２の機能ブロック図を参照して、車両１０に設置される車載撮像システム９０の構成を具体的に説明する。車載撮像システム９０は少なくとも車載カメラ１を備え、また、車載カメラ１、ミラー２および表示装置３を備えてもよい。以下に、本実施形態に係る車載撮像システム９０の各機能を説明するが、車載撮像システム９０が有する他の機能を排除することを意図したものではないことに留意されたい。
【００１３】
車載カメラ１は、車両１０の後方および側後方を撮像するカメラであり、光学系１１、撮像素子１２、画像処理部１３、通信部１４および制御部１５を備える。車載カメラ１は、従来サイドミラーが設けられる位置で、車両１０の窓ガラスから所定距離内に近接して設置される。代替例として車載カメラ１は、車両１０の外側のピラー、側面最前部の三角窓、フェンダー部等に設置されてもよい。車載撮像システム９０は、従来のサイドミラーの代替として設けられるものなので、本実施形態においてサイドミラーは車両１０に設けられないが、必要に応じて設けてもよい。車載カメラ１は画像センシング機能付きサイドカメラであり、好適にはＣＣＤまたはＣＭＯＳカメラである。車載カメラ１は、光軸を水平方向または水平よりやや下方に向けて固定され、少なくとも道路端および障害物等の種々の被写体を撮像することができる。
【００１４】
光学系１１は、絞りおよび少なくとも１つの撮像レンズを含んで構成され、被写体像を撮像素子１２に結像させる。本実施形態において光学系１１は広い画角を有している。
【００１５】
撮像素子１２は、例えば車両１０に設置されるＣＣＤ撮像素子またはＣＭＯＳ撮像素子であって、光学系１１によって結像された被写体像を撮像して少なくとも車両１０の周辺の撮像画像を生成する。撮像素子１２がＣＭＯＳ撮像素子である場合には、撮像素子１２は後述するＡＦＥ処理を有してもよい。
【００１６】
画像処理部１３は、撮像素子１２によって生成されたアナログの画像信号に対し、ＣＤＳ、ゲイン調整（ＡＧＣ）、およびＡ／Ｄ変換（ＡＤＣ）等の任意の画像処理（ＡＦＥ処理）を施して画像を生成する。ここで、上述したように光学系１１が広い画角を有するので、広角撮影された撮像画像を生成可能である。また画像処理部１３は、例えばＤＳＰ等の画像処理専用のプロセッサによって、露出調整処理などの通常の画像処理を施してもよい。
【００１７】
通信部１４は、ネットワークを介して表示装置３等に画像を出力するインタフェースである。
【００１８】
制御部１５は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵ（Control Processing Unit）である。制御部１５は、車載カメラ１全体の動作を制御する。制御部１５は、画像処理部１３が処理した画像に対して切り出し等を行って、通信部１４を介して撮像画像として順次ほぼリアルタイムに表示装置３等に出力する。
【００１９】
ミラー２は、例えば平面ミラーであって、車両１０の撮像レンズの対物側（すなわち、被写体側）に設けられる。代替例として、ミラー２は凹面鏡または凸面鏡であってもよい。本実施形態においてミラー２は車載カメラ１と一体であるが、別体であってもよい。
【００２０】
ミラー２が車両１０の外部に設置される場合には、光路に車両１０の窓ガラスがあると当該窓ガラスが光を反射し、車載カメラ１の撮像画像における運転者の画像が不鮮明になる可能性がある。そこで窓ガラスにおける光路と交差する部分は、透明性が高く光を反射し難い部材で構成してもよい。代替例として、車載カメラ１の一部およびミラー２を最前部のピラー（フロントピラー）またはドアに埋め込み、車室内の被写体からの光が窓ガラスを通らずにミラー２に直接入射するように設置してもよい。
【００２１】
表示装置３は、車載カメラ１から取得した車両１０の周辺の画像を含む画像を表示する。このため車両１０の運転者は車両１０の周辺を、少なくとも表示装置３を介して視認可能であり、車両１０はサイドミラーを備える必要がない。本実施形態において表示装置３は、車両１０の車室内に設けられる。代替例として表示装置３は車両１０の外部（例えば従来サイドミラーが設けられる位置）に設けられてもよい。
【００２２】
図３は、図１の領域Ａの拡大図である。図３では説明の簡略化のため、車両１０を図示しない。車載カメラ１は、ミラー２が無いとした場合には、領域Ｒ１を撮像する。領域Ｒ１は境界Ｃによって区分される領域Ｒ２および領域Ｒ３からなる。領域Ｒ２は車両１０の周辺の領域であって、車載カメラ１の用途に応じて任意に設定可能である。領域Ｒ３は領域Ｒ１のうち領域Ｒ２以外の領域であり、車両１０の車体の一部を含む。ミラー２を配置することによって、領域Ｒ３の少なくとも一部からの光の入射が妨げられる。代わりに、図３に示すように、車室内から車載カメラ１に入射する光路Ｌはミラー２において反射されるため、車載カメラ１に対して運転者Ｂが投影される。すなわち、車載カメラ１とミラー２とは、車両１０の運転者Ｂを撮像可能に設置される。
【００２３】
図４は、車両１０にミラー２を設けないときに車載カメラ１によって撮像される画像の一例を示す図である。図４は、後の図５との対比のために示す。当該画像の領域全体が図３の領域Ｒ１に対応し、境界Ｃの右側が図３の領域Ｒ２に対応し、境界Ｃの左側が図３の領域Ｒ３に対応する。図４に示す通り、領域Ｒ３では車両１０の一部が撮像されており、領域Ｒ３は領域Ｒ２と異なり車両１０の周辺の撮像に用いられていない。
【００２４】
図５は、車両１０にミラー２を設けたときに車載カメラ１によって撮像される画像を示す図である。ミラー２は、車載カメラ１の撮像領域の一部（例えば領域Ｒ３の一部）に、車両１０の車室内の被写体像を投影する位置および角度で設置される。図５に示す通り、車載カメラ１は、車両１０の車室内の運転者Ｂを撮像する。制御部１５はミラー２に投影された運転者Ｂを、撮像画像の領域Ｒ３において撮像して監視する。具体的には制御部１５は、運転者Ｂが居眠り等の不注意行為を行っていないかを監視し、不注意行為を行っていると判定されたとき、表示装置３はその旨を表示して警告する。このとき、制御部１５は音声によって警告を行ってもよい。また制御部１５は、運転者Ｂが助手席の物または人等によって遮られ監視できないとき、その旨を表示装置３または他の表示装置に表示させて報知してもよい。制御部１５は領域Ｒ２の撮像画像のみを切り出して表示装置３に出力する。代替例として制御部１５は、領域Ｒ１の撮像画像全体を表示装置３に出力してもよい。
【００２５】
上記実施形態において制御部１５は、画像処理部１３が処理した撮像画像に対して切り出しを行って通信部１４を介して表示装置３等に出力する。このとき制御部１５は、次の通り、運転者の顔の位置、向き、大きさおよび運転者の眼全体における瞳孔部分または虹彩部分の位置の少なくとも１つを検出した結果に応じて、画像処理部１３が処理した撮像画像上の任意の切り出し領域を決定してもよい。制御部１５は当該領域を切り出した画像を表示装置３に出力する。この動作は、例えば撮像素子１２が生成する各フレームの撮像画像について行われる。
【００２６】
はじめに制御部１５は、撮像画像上の運転者の顔および眼を検出する。顔および眼の検出には、例えばパターンマッチングを用いる手法または、撮像画像上の特徴点を抽出する手法など、任意の手法を採用可能である。
【００２７】
続いて制御部１５は、運転者の視線が表示装置３に向いているか否かを判定する。
【００２８】
視線が表示装置３に向いているか否か判定を行う制御部１５の動作の詳細を説明する。例えば、車載カメラ１は、撮像画像上で検出され得る運転者の、撮像画像上の顔の位置を示す第１パラメータ、顔の向きを示す第２パラメータ、および撮像画像上の顔の大きさを示す第３パラメータのうち少なくとも１つと、眼全体における瞳孔部分または虹彩部分の位置を示す第４パラメータと、の多様な組み合わせそれぞれについて、運転者の視線が表示装置３に向いているか否かを示す情報を対応付けた対応情報を予め車載カメラ１等の記憶部に記憶する。当該対応情報は、例えば実験又はシミュレーションによって予め生成可能である。
【００２９】
続いて制御部１５は、撮像画像上で検出された運転者の第１パラメータ乃至第４パラメータを決定する。
【００３０】
ここで、撮像画像上の顔の位置を示す第１パラメータの決定には、例えば顔の輪郭検出を用いる手法が採用可能である。顔の向きを示す第２パラメータの決定には、例えば撮像画像上の運転者の顔の輪郭および鼻を検出し、検出された輪郭と鼻の相対位置関係に基づいて顔の向きを判定する手法が採用可能である。顔の大きさを示す第３パラメータの決定には、第１パラメータの決定と同様に、例えば顔の輪郭検出を用いる手法が採用可能である。眼全体における瞳孔部分または虹彩部分の位置を示す第４パラメータの決定には、例えば、検出された眼全体に対する瞳孔部分または虹彩部分の相対位置を判定する手法が採用可能である。
【００３１】
続いて制御部１５は、決定された第１パラメータ乃至第４パラメータの組み合わせを、予め記憶した対応情報と照合して、運転者の視線が表示装置３に向いているか否かを判定する。このようにして制御部１５は、運転者の視線が表示装置３に向いているか否かを判定する。
【００３２】
続いて制御部１５は、撮像画像の各フレームに対応付けて、第１パラメータ乃至第４パラメータと、判定結果と、を記憶部に記憶する。
【００３３】
続いて制御部１５は、過去フレーム（例えば、直前のフレーム）に対応付けられた判定結果が、運転者の視線が表示装置３に向いていることを示すか否かを判定する。
【００３４】
過去フレームに対応付けられた判定結果が、運転者の視線が表示装置３に向いていないことを示す場合、制御部１５は、撮像画像上の所定の領域（基準領域）を切り出し領域に定める。制御部１５は、切り出し領域を切り出した撮像画像を、基準領域での撮像画像として表示装置３へ出力して表示させる。
【００３５】
一方、過去フレームに対応付けられた判定結果が、運転者の視線が表示装置３に向いていることを示す場合、制御部１５は、過去フレームに対応付けられた第１パラメータ乃至第４パラメータと、現在フレームに対応付けられた第１パラメータ乃至第４パラメータと、の差異に応じて（即ち、過去フレームから現在フレームにおける撮像画像上の運転者の、撮像画像上の顔の位置、向き、大きさ、および眼全体における瞳孔部分または虹彩部分の位置のうち少なくとも１つの変化に応じて）、切り出し領域の位置および大きさの少なくとも一方を変化させる。制御部１５は、位置および大きさの少なくとも一方を変化させた切り出し領域を切り出した撮像画像を、表示装置３へ出力して表示させる。
【００３６】
切り出し領域の位置を変化させる具体例として、運転者が表示装置３に視線を向けたまま体（顔）を任意の方向（例えば、車両１０の進行方向の左方向）に動かすと、制御部１５は、撮像画像に対する切り出し領域を当該方向とは逆の方向（例えば、車両１０の進行方向の右方向）に向かって変化させる。かかる構成によって、運転者が光学式ミラー（実際には表示装置３）を介して車両１０の周辺領域を見ているかのように、表示装置３に表示される領域が変化する。
【００３７】
切り出し領域の位置を変化させる代替例として、運転者が表示装置３に視線を向けたまま体（顔）を任意の方向（例えば、車両１０の進行方向の左方向）に動かすと、制御部１５は、撮像画像に対する切り出し領域を当該方向とは略同一の方向（例えば、車両１０の進行方向の左方向）に向かって変化させてもよい。かかる構成において、運転者が表示装置３に視線を向けたまま体を動かすことによって、撮像画像上の表示装置３に表示される領域が、体が動いた方向に向かって変化する。
【００３８】
切り出し領域の大きさを変化させる具体例として、運転者が表示装置３に視線を向けたまま体（顔）を表示装置３に近づけると、制御部１５は、撮像画像に対する切り出し領域を狭くする。このとき、表示装置３に表示される画像が拡大される。例えば制御部１５は、表示装置３に表示された画像上で運転者の視線が向けられている部分を拡大する。かかる構成において、運転者が光学式ミラーを介して車両１０の周辺領域の一部を拡大して見ているかのように、表示装置３に表示される領域が拡大される。反対に、運転者が表示装置３に視線を向けたまま体（顔）を表示装置３から遠ざけると、制御部１５は撮像画像に対する切り出し領域を広くしてもよい。このとき、表示装置３に表示される画像は縮小される。
【００３９】
切り出し領域の大きさを変化させる代替例として、運転者が表示装置３に視線を向けたまま体（顔）を表示装置３に近づけると、制御部１５は、撮像画像に対する切り出し領域を広くしてもよい。このとき、表示装置３に表示される画像が縮小される。反対に、運転者が表示装置３に視線を向けたまま体（顔）を表示装置３から遠ざけると、制御部１５は撮像画像に対する切り出し領域を狭くしてもよい。
【００４０】
図６は、車載カメラ１の制御部１５が実行する動作を示すフローチャートである。
【００４１】
制御部１５は、車両１０の車室内と周辺とを同時に撮像した撮像画像を撮像素子１２から取得する（ステップＳ１）。続いて制御部１５は、切り出し領域がオフか否かを判定する（ステップＳ２）。ステップＳ２でＹｅｓのとき、制御部１５は後述するステップＳ６を実行する。一方ステップＳ２でＮｏのとき、制御部１５は撮像画像上で運転者の顔および眼を検出して運転者を監視する（ステップＳ３）。
【００４２】
ステップＳ３に続いて制御部１５は、運転者の視線が表示装置３に向いているか否かを判定する（ステップＳ４）。
【００４３】
ステップＳ４でＹｅｓのとき制御部１５は切り出し領域の位置および大きさの少なくとも一方を変化させた撮像画像を表示装置３に表示させる（ステップＳ５）。一方、ステップＳ４でＮｏのとき制御部１５は基準領域での撮像画像を表示する（ステップＳ６）。ステップＳ５またはステップＳ６の後、制御部１５はステップＳ１を実行する。
【００４４】
本実施形態によれば、車載撮像システム９０は、車両１０の進行方向側面に設置され当該車両１０の車室内と周辺とを同時に撮像可能な車載カメラ１を備える。すなわち、運転者または同乗者等の車室内の利用者と車両１０の周辺とを同時に監視することができるため、前者の監視と後者の監視とを行うカメラを別々に設ける必要がない。このため、複数のカメラの配置および配線の必要がなく、もってコストを低減し、カメラ設置のための設計時の不都合を解消することができる。また、前者の監視と後者の監視とを別々のカメラで行う場合には、一方のカメラが故障すると前者および後者の監視を共に行うことが不可能となる。しかしながら、本実施形態のような車載撮像システム９０を複数設け、監視情報を共有すれば、故障リスクを分散することができる。したがって、１台のカメラを効率よく利用することができる。
【００４５】
また本実施形態によれば、ミラー２は車載カメラ１の撮像領域の一部に、車載カメラ１に対して車両１０の車室内を撮影する位置および角度で設置される。このため、画角が比較的狭い撮像レンズを有するカメラを用いる場合であっても、車両１０の車室内と周辺とを同時に撮像して監視することができる。
【００４６】
また本実施形態によれば、車載カメラ１とミラー２とは車両１０の運転者を撮像可能に設置される。このため、運転者の例えば居眠り等の異常運転を監視し、もって事故発生を未然に防止することができる。
【００４７】
また本実施形態によれば、車載カメラ１は、運転者の顔の位置、向き、大きさおよび運転者の眼全体における瞳孔部分または虹彩部分の位置の少なくとも１つを検出した結果に応じて車両１０の周辺の撮像画像の任意の領域を切り出して出力する。このため、例えばあたかも光学式反射ミラーのように、覗き込む視線に応じて撮像画像の表示範囲が可変するので、光学式反射ミラーの代わりに電子式ミラーを用いた場合であっても置き換えによる違和感が生じない。また、表示倍率を下げることなく、顔または眼の移動等によって広範囲に車両１０の周辺を確認することができる。
【００４８】
本発明を諸図面や実施例に基づき説明したが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能である。また、本発明を方法の発明として実施するときにも、複数の部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
【００４９】
例えば、車両１０の車室内を撮像するため、車載カメラ１の撮像レンズの対物側に設けたミラー２に代えて、全反射プリズム等他の反射光学素子を用いても良い。ここで反射光学素子は、光を反射する特性を有する光学素子を意味する。また、車載カメラ１は、十分広い画角を有する撮像レンズを用いることによって、車両１０の車室内および周辺を同時に撮像可能であってもよい。このとき車載カメラ１はミラー２を用いずに車両１０の運転者を撮像可能である。また、車載カメラ１が車両１０の車室内に設置され車室内を直接撮像し、他方で車室内の撮像に必要でない任意の領域（例えば撮像画像の右側、上側等）を、ミラー２を用いて車両１０の周辺を撮像するのに用いてもよい。代替例として車載カメラ１の半分が車両１０の内側に、残りの半分が車両１０の外側に設置されるように、車載カメラ１をピラーに埋め込んで設置してもよい。
【００５０】
本発明に係る車載カメラ１の制御部１５をコンピュータで構成したとき、各機能を実現する処理内容を記述したプログラムを、そのコンピュータの内部または外部の記憶部に格納しておき、そのコンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。また、このようなプログラムは、例えばＤＶＤまたはＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等によって流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することによって、流通させることができる。また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
【符号の説明】
【００５１】
１    車載カメラ
１０  車両
１１  光学系
１２  撮像素子
１３  画像処理部
１４  通信部
１５  制御部
２    ミラー
３    表示装置
【図１】
2017061216.tif 000003
【図２】
2017061216.tif 000004
【図３】
2017061216.tif 000005
【図６】
2017061216.tif 000006
【図４】
2017061216.tif 000007
【図５】
2017061216.tif 000008