(57)【要約】【課題】撮像装置を小型化しつつ複数の視野を同時に撮像する。【解決手段】撮像システムは、複数の撮像画素のうち一部の撮像画素を含む第１の画素領域と、複数の撮像画素のうち第１の画素領域に含まれる撮像画素とは異なる撮像画素を含む第２の画素領域とを有し、第１の画素領域および第２の画素領域のうち、一方の画素領域はカラー画像信号を出力する撮像画素からなり、他方の画素領域は赤外画像信号または白黒画像信号を出力する撮像画素からなる撮像素子と、第１の画素領域に第１の視野から入射する光の像を結像させる第１の光学系と、第２の画素領域に第１の視野とは異なる第２の視野から入射する光の像を結像させる第２の光学系と、第１の画素領域および第２の画素領域から画像信号を読み出す読出制御部とを備える。【選択図】図１
2014107664.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像画素のうち一部の撮像画素を含む第１の画素領域と、前記複数の撮像画素のうち前記第１の画素領域に含まれる撮像画素とは異なる撮像画素を含む第２の画素領域とを有し、前記第１の画素領域および前記第２の画素領域のうち、一方の画素領域はカラー画像信号を出力する撮像画素からなり、他方の画素領域は赤外画像信号または白黒画像信号を出力する撮像画素からなる撮像素子と、
前記第１の画素領域に、第１の視野から入射する光の像を結像させる第１の光学系と、
前記第２の画素領域に、前記第１の視野とは異なる第２の視野から入射する光の像を結像させる第２の光学系と、
前記第１の画素領域および前記第２の画素領域から画像信号を読み出す読出制御部と
を備えることを特徴とする撮像システム。
【請求項２】
前記撮像素子は、
前記第１の画素領域が表示用の画像信号を出力する撮像画素からなり、
前記第２の画素領域が画像からの物体検出用の画像信号を出力する撮像画素からなる
ことを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記撮像素子は、
前記第１の画素領域と、前記２の画素領域との間に、前記第１の光学系と前記第２の光学系のいずれからも前記光の像を結像されない領域を有する
ことを特徴とする請求項１または請求項２に記載の撮像システム。
【請求項４】
前記撮像システムとは、移動体に搭載される撮像システムであって、
前記第１の視野とは、前記移動体の移動方向の視野を含み、
前記第１の光学系は、前記移動体の移動方向の視野を含む前記第１の視野から入射する光の像を前記第１の画素領域に結像させる
ことを特徴とする請求項１から請求項３のいずれか一項に記載の撮像システム。
【請求項５】
前記撮像システムとは、移動体に搭載される撮像システムであって、
前記第２の視野とは、前記移動体の移動方向とは反対方向の視野を含み、
前記第２の光学系は、前記移動体の移動方向とは反対方向の視野を含む前記第２の視野から入射する光の像を前記第２の画素領域に結像させる
ことを特徴とする請求項１から請求項４のいずれか一項に記載の撮像システム。
【請求項６】
前記第１の光学系および前記第２の光学系のうち、少なくとも一方の光学系は、
視野から入射する光を反射して前記撮像素子上に結像させる反射部
を備えることを特徴とする請求項１から請求項５のいずれか一項に記載の撮像システム。
【請求項７】
前記読出制御部が前記第１の画素領域から読み出した第１の画像信号、および前記読出制御部が前記第２の画素領域から読み出した第２の画像信号のうち、少なくとも一方の画像信号に基づく画像を表示する表示部
を備えることを特徴とする請求項１から請求項６のいずれか一項に記載の撮像システム。
【請求項８】
複数の撮像画素のうち一部の撮像画素を含む第１の画素領域と、前記複数の撮像画素のうち前記第１の画素領域に含まれる撮像画素とは異なる撮像画素を含む第２の画素領域とを有し、前記第１の画素領域および前記第２の画素領域のうち、一方の画素領域はカラー画像信号を出力する撮像画素からなり、他方の画素領域は赤外画像信号または白黒画像信号を出力する撮像画素からなる撮像素子と、前記第１の画素領域に第１の視野から入射する光の像を結像させる第１の光学系と、前記第２の画素領域に前記第１の視野とは異なる第２の視野から入射する光の像を結像させる第２の光学系とを備える撮像装置のコンピュータに、
前記第１の画素領域と、前記第２の画素領域とから画像信号をそれぞれ読み出す読出制御ステップ
を実行させるための撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システムおよび撮像プログラムに関する。
【背景技術】
【０００２】
近年、例えば、カメラなどの撮像装置を複数備え、これら複数の撮像装置によって同時に撮像された各画像を加工することによって、１台の撮像装置では撮像することができないような複数の視野の画像データを得る撮像システムがある（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２８７１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような撮像システムには、撮像対象の視野ごとに撮像装置を備えるため、撮像システムを小型化することができないという問題があった。つまり、上記のような撮像システムには、複数の視野を同時に撮像することと、小型化することとの両立ができないという問題があった。
【０００５】
本発明は、上記問題を解決すべくなされたもので、その目的は、撮像装置を小型化しつつ複数の視野を同時に撮像することができる撮像システムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一実施形態は、複数の撮像画素のうち一部の撮像画素を含む第１の画素領域と、前記複数の撮像画素のうち前記第１の画素領域に含まれる撮像画素とは異なる撮像画素を含む第２の画素領域とを有し、前記第１の画素領域および前記第２の画素領域のうち、一方の画素領域はカラー画像信号を出力する撮像画素からなり、他方の画素領域は赤外画像信号または白黒画像信号を出力する撮像画素からなる撮像素子と、前記第１の画素領域に、第１の視野から入射する光の像を結像させる第１の光学系と、前記第２の画素領域に、前記第１の視野とは異なる第２の視野から入射する光の像を結像させる第２の光学系と、前記第１の画素領域および前記第２の画素領域から画像信号を読み出す読出制御部とを備えることを特徴とする撮像システムである。
【０００７】
また、本発明の一実施形態は、複数の撮像画素のうち一部の撮像画素を含む第１の画素領域と、前記複数の撮像画素のうち前記第１の画素領域に含まれる撮像画素とは異なる撮像画素を含む第２の画素領域とを有し、前記第１の画素領域および前記第２の画素領域のうち、一方の画素領域はカラー画像信号を出力する撮像画素からなり、他方の画素領域は赤外画像信号または白黒画像信号を出力する撮像画素からなる撮像素子と、前記第１の画素領域に第１の視野から入射する光の像を結像させる第１の光学系と、前記第２の画素領域に前記第１の視野とは異なる第２の視野から入射する光の像を結像させる第２の光学系とを備える撮像装置のコンピュータに、前記第１の画素領域と、前記第２の画素領域とから画像信号をそれぞれ読み出す読出制御ステップを実行させるための撮像プログラムである。
【発明の効果】
【０００８】
この発明によれば、撮像装置を小型化しつつ複数の視野を同時に撮像することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態における撮像システムの構成の概要の一例を示す模式図である。
【図２】本実施形態の表示部が表示する情報の一例を示す模式図である。
【図３】本実施形態の撮像システムの詳細な構成の一例を示す構成図である。
【図４】本実施形態の撮像素子の構成の一例を示す模式図である。
【図５】本実施形態の撮像素子の詳細な構成の一例を示すブロック図である。
【図６】本実施形態の撮像画素が備える色フィルタの分光特性の一例を示すグラフである。
【図７】本実施形態の赤画素の詳細な構成の一例を示す回路図である。
【図８】本実施形態の撮像システムの動作の一例を示すフローチャートである。
【図９】本実施形態の撮像システムを備えない従来の車両の構成の一例を示す模式図である。
【図１０】本実施形態の変形例である撮像システムの構成の概要の一例を示す模式図である。
【図１１】本発明の第２の実施形態による撮像システムの構成の一例を示す構成図である。
【発明を実施するための形態】
【００１０】
［第１の実施形態]
以下、図面を参照して、本発明の第１の実施形態を説明する。
図１は、本発明の第１の実施形態における撮像システム１０の構成の概要の一例を示す模式図である。この撮像システム１０は、様々な装置に適用することができる。本実施形態においては、一例として、撮像システム１０を車両Ｃに適用する場合について説明する。
【００１１】
各図の説明においてはＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ各部の位置関係について説明する。ここで、車両Ｃの前方向をＺ軸の正の方向とし、当該Ｚ軸方向に垂直な平面上の直交方向をそれぞれＸ軸方向及びＹ軸方向とする。ここでＸ軸方向は、車両Ｃの水平方向とし、Ｙ軸方向は車両Ｃの鉛直上方向とする。ここで、車両Ｃが前方に直進する場合の移動方向とは、＋Ｚ方向である。また、車両Ｃが前方に直進する場合の移動方向と反対方向とは、−Ｚ方向である。
【００１２】
ここで、まず本実施形態の撮像システム１０を備えない従来の車両Ｃ’について、図９を参照して説明する。
図９は、本実施形態の撮像システム１０を備えない従来の車両Ｃ’の構成の一例を示す模式図である。この従来の車両Ｃ’は、サイドミラーＭと、フロントガラスＷＳと、ピラーＰＡ（いわゆるＡピラー）とを備えている。車両Ｃ’の運転者Ｄは、運転席からフロントガラスＷＳ越しに車両Ｃ’の前方である＋Ｚ方向を見ながら車両Ｃ’を運転する。
【００１３】
運転者Ｄが運転席から右斜め前方（＋Ｚ方向から＋Ｘ方向に回転した方向）を見た場合、車両Ｃ’のピラーＰＡが視界を遮るため、死角ＶＦ２’が生じる。すなわち、運転席に座る運転者Ｄからは、ピラーＰＡによる死角ＶＦ２’内の風景を見ることができない。
【００１４】
また、運転者Ｄは、サイドミラーＭを介して車両Ｃ’の後方である（−Ｚ）方向を見ながら車両Ｃ’を運転する。ここで、運転者Ｄが運転席からサイドミラーＭを見た場合、サイドミラーＭには、車両Ｃ’の後方の視野（サイドミラーＭによる視野ＶＦ１’）の風景が映る。
【００１５】
本実施形態の撮像システム１０は、これらサイドミラーＭによる視野ＶＦ１’およびピラーＰＡによる死角ＶＦ２’を同時に撮像し、撮像した画像に基づく情報を運転者Ｄに提供することにより、運転者Ｄの運転支援を行う。この撮像システム１０の具体的な構成について、再び図１を参照して説明する。
【００１６】
本実施形態の撮像システム１０は、撮像部１００を備えている。この撮像部１００は、上述した従来の車両Ｃ’が備えるサイドミラーＭの位置に相当する位置に備えられ、第１の視野ＶＦ１と第２の視野ＶＦ２とを、それぞれ撮像する。ここで、第１の視野ＶＦ１とは、車両Ｃの後方（−Ｚ方向）の視野である。すなわち、第１の視野ＶＦ１とは、従来の車両Ｃ’が備えるサイドミラーＭによる視野ＶＦ１’に相当する視野である。また、第２の視野ＶＦ２とは、車両Ｃの右斜め前方（＋Ｚ方向から＋Ｘ方向に回転した方向）の視野である。すなわち、第２の視野ＶＦ２とは、従来の車両Ｃ’のピラーによる死角ＶＦ２’に相当する視野である。
【００１７】
車両Ｃは、表示部１０６を備えている。この表示部１０６とは、例えば、カーナビゲーションシステムのディスプレイである。表示部１０６は、運転者Ｄから見える位置に備えられ、撮像部１００が撮像した第１の視野ＶＦ１および第２の視野ＶＦ２の画像に基づく情報を表示する。この表示部１０６が表示する情報について、図２を参照して説明する。
【００１８】
図２は、本実施形態の表示部１０６が表示する情報の一例を示す模式図である。表示部１０６は、撮像部１００が撮像した第１の視野ＶＦ１の画像に基づく画像である第１の画像Ｐ１を表示する。ここで、第１の画像Ｐ１とは、従来の車両Ｃ’が備えるサイドミラーＭに映る車両Ｃ’の後方の風景に相当する画像である。この第１の画像Ｐ１には、例えば、車両Ｃの後方を走行する他の車両の画像が含まれる。
【００１９】
また、表示部１０６は、撮像部１００が撮像した第２の視野ＶＦ２の画像に基づく第２の画像Ｐ２を表示する。ここで、第２の画像Ｐ２とは、第２の視野ＶＦ２内に運転の障害になる障害物があることを示す画像（例えば、三角形の中にエクスクラメーションマークを表示する画像）である。
【００２０】
次に、撮像システム１０の詳細な構成について、図３を参照して説明する。
図３は、本実施形態の撮像システム１０の詳細な構成の一例を示す構成図である。撮像システム１０の撮像部１００は、撮像素子１０１と、第１の光学系１０２と、第２の光学系１０３と、読出制御部１０４とを備えている。
【００２１】
撮像素子１０１は、例えば、ＣＣＤ（Charge Coupled Device）や、CMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを備えている。これらのイメージセンサは、複数の撮像画素ＰＸＬを備えており、入射する光の光量に応じた画像信号ＳＩＧを出力する。この撮像素子１０１の構成について、CMOSイメージセンサである場合を例に、図４を参照して説明する。
【００２２】
図４は、本実施形態の撮像素子１０１の構成の一例を示す模式図である。同図に示すように、撮像素子１０１は、複数の撮像画素ＰＸＬを備えている。一例として、撮像素子１０１は、同図のＰｘ方向に１２８０ｐｉｘｅｌ、Ｐｙ方向に９６０ｐｉｘｅｌの２次元に配列された撮像画素ＰＸＬを備えている。
【００２３】
この撮像素子１０１は、第１の画素領域ＰＤ１と、第２の画素領域ＰＤ２との２つの領域を有する。ここで、第１の画素領域ＰＤ１とは、複数の撮像画素ＰＸＬのうち一部の撮像画素ＰＸＬを含む画素領域である。この第１の画素領域ＰＤ１に含まれる撮像画素ＰＸＬの数は、表示部１０６の表示画素数に基づいて定められる。具体的には、表示部１０６が６４０×４８０ｐｉｘｅｌの表示画素を有する場合、第１の画素領域ＰＤ１には、少なくともＰｘ方向に６４０ｐｉｘｅｌ、Ｐｙ方向に４８０ｐｉｘｅｌの撮像画素ＰＸＬが含まれる。
【００２４】
また、第２の画素領域ＰＤ２とは、複数の撮像画素ＰＸＬのうち第１の画素領域ＰＤ１に含まれる撮像画素ＰＸＬとは異なる撮像画素ＰＸＬを少なくとも含む画素領域である。この第２の画素領域ＰＤ２に含まれる撮像画素ＰＸＬの数は、例えば、上述した不図示の画像認識部が、車両Ｃの右斜め前方にある障害物を認識可能な画像の解像度に基づいて定められる。
【００２５】
この撮像画素ＰＸＬは、入射する光の光量に応じたカラー画像信号を出力する。このカラー画像信号を出力する撮像画素ＰＸＬの詳細な構成について、図５を参照して説明する。
【００２６】
図５は、本実施形態の撮像素子１０１の詳細な構成の一例を示すブロック図である。同図に示すように、撮像素子１０１は、２次元に配置された複数の撮像画素ＰＸＬを有する画素部２と、垂直走査回路３と、水平走査回路４と、垂直信号線ＶＬと、ＰＧＡと、ＡＤＣとを有している。この垂直信号線ＶＬとは、撮像画素ＰＸＬの各列に対応して設けられ対応する列の撮像画素ＰＸＬの画像信号が供給される信号線である。また、ＰＧＡとは、プログラマブルゲインアンプ（Programmable-Gain Amplifiers）であり、各垂直信号線ＶＬに接続される。また、ＡＤＣとは、ＰＧＡから出力される信号をＡ／Ｄ（アナログ／デジタル）変換するＡＤコンバータである。なお、同図は、図４に示した複数の撮像画素ＰＸＬのうちの一部である３行×２列の撮像画素ＰＸＬを示している。
【００２７】
ここで、各撮像画素ＰＸＬは、図６に示す分光特性の色フィルタ（赤、緑、青）をそれぞれ有する赤画素（Ｒ）、緑画素（Ｇｒ・Ｇｂ）および青画素（Ｂ）を備えている。
この図６は、本実施形態の撮像画素ＰＸＬが備える色フィルタの分光特性の一例を示すグラフである。
【００２８】
図５において、撮像画素ＰＸＬのうち符号Ｒで示す画素は、赤を感知する赤画素（Ｒ）であり、符号Ｇｒおよび符号Ｇｂで示す画素は、緑を感知する緑画素（Ｇｒ・Ｇｂ）であり、符号Ｂで示す画素は、青を感知する青画素（Ｂ）である。次に、この撮像画素ＰＸＬが備える各画素のうち、赤画素（Ｒ）を例に、画素の詳細な構成について、図７を参照して説明する。
【００２９】
図７は、本実施形態の赤画素の詳細な構成の一例を示す回路図である。同図に示すＶＤＤは電源電位である。なお、赤画素（Ｒ）のトランジスタＳＦ，ＴＸ，ＲＳＴ，ＳＥＬは、全てｎＭＯＳトランジスタである。転送トランジスタＴＸのゲートは行毎に共通に接続される。この転送トランジスタＴＸのゲートには、転送トランジスタＴＸを制御する制御信号φＴＸが垂直走査回路３から供給される。リセットトランジスタＲＳＴのゲートは行毎に共通に接続される。このリセットトランジスタＲＳＴのゲートには、リセットトランジスタＲＳＴを制御する制御信号φＲＳＴが垂直走査回路３から供給される。選択トランジスタＳＥＬのゲートは行毎に共通に接続される。この選択トランジスタＳＥＬのゲートには、選択トランジスタＳＥＬを制御する制御信号φＳＥＬが垂直走査回路３から供給される。
【００３０】
赤画素（Ｒ）のフォトダイオードＰＤは、入射する光の光量に応じて信号電荷を生成する。赤画素（Ｒ）の転送トランジスタＴＸは、制御信号φＴＸのハイレベル期間にオンし、フォトダイオードＰＤの電荷をフローティングディフュージョンＦＤに転送する。リセットトランジスタＲＳＴは、制御信号φＲＳＴのハイレベル期間（電源電位ＶＤＤの期間）にオンし、フローティングディフュージョンＦＤをリセットする。
【００３１】
増幅トランジスタＳＦは、そのドレインが電源電位ＶＤＤに接続され、そのゲートがフローティングディフュージョンＦＤに接続され、そのソースが選択トランジスタＳＥＬのドレインに接続されている。選択トランジスタＳＥＬのソースは、垂直信号線ＶＬに接続されている。定電流源ＴＤは、垂直信号線ＶＬに対応する画素ＰＸの選択トランジスタＳＥＬがオンされたときに、当該垂直信号線ＶＬに電流を流す。
【００３２】
赤画素（Ｒ）の増幅トランジスタＳＦは、フローティングディフュージョンＦＤの電圧値に応じて、選択トランジスタＳＥＬを介して垂直信号線ＶＬに電圧を出力する。選択トランジスタＳＥＬは、制御信号φＳＥＬのハイレベル期間にオンし、増幅トランジスタＳＦのソースを垂直信号線ＶＬに接続する。
【００３３】
このようにして、選択トランジスタＳＥＬを介して垂直信号線ＶＬに出力された電圧は、画像信号ＳＩＧとして、後述する読出制御部１０４に読み出される。
【００３４】
なお、この画素の構成は、緑画素（Ｇｒ・Ｇｂ）および青画素（Ｂ）についても赤画素（Ｒ）と同様であるため、緑画素（Ｇｒ・Ｇｂ）および青画素（Ｂ）についてはその説明を省略する。
【００３５】
図３に戻り、第１の光学系１０２は、第１の視野ＶＦ１から入射する光の像を、第１の画素領域ＰＤ１に結像させる。一例として、第１の光学系１０２はレンズＬＳ（または、レンズ群）を備えている。第１の光学系１０２は、撮像部１００が備える第１の撮像窓Ｗ１から入射する光をレンズＬＳによって集光し、撮像素子１０１の第１の画素領域ＰＤ１に、集光した光による像を結像させる。ここで、第１の撮像窓Ｗ１とは、例えば平板ガラスであり、第１の視野ＶＦ１からの光を第１の光学系１０２に導入する窓である。
【００３６】
第２の光学系１０３は、第２の視野ＶＦ２から入射する光の像を、撮像素子１０１の第２の画素領域ＰＤ２に結像させる。一例として、第２の光学系１０３は、入射する光を反射する反射部１０５を備えている。この第２の光学系１０３は、撮像部１００が備える第２の撮像窓Ｗ２から入射する光を反射部１０５によって反射させる。さらに、第２の光学系１０３は、反射させた光を、第１の光学系１０２を介して撮像素子１０１の第２の画素領域ＰＤ２に導き、入射した光の像を第２の画素領域ＰＤ２に結像させる。ここで、第２の撮像窓Ｗ２とは、例えば平板ガラスであり、第２の視野ＶＦ２からの光を第２の光学系１０３に導入する窓である。
【００３７】
これら第１の光学系１０２および第２の光学系１０３により、第１の視野ＶＦ１から入射する光の像が撮像素子１０１の第１の画素領域ＰＤ１に、第２の視野ＶＦ２から入射する光の像が撮像素子１０１の第２の画素領域ＰＤ２に、それぞれ結像する。すなわち、撮像システム１０は、第１の光学系１０２および第２の光学系１０３により、複数の互いに異なる視野からの光の像を、１つの撮像素子１０１上に結像させる。
【００３８】
ここで、第１の視野ＶＦ１から入射する光の像が結像される画素領域と、第２の視野ＶＦ２から入射する光の像が結像される画素領域とが重なると、２つの視野の像を分離することができない場合がある。このように２つの視野の像が重なることを防ぐため、第１の光学系１０２は、第１の視野ＶＦ１から入射する光の像が第１の画素領域ＰＤ１から第２の画素領域ＰＤ２に、はみ出さないようにして、第１の視野ＶＦ１の像を結像させる。また、第２の光学系１０３は、第２の視野ＶＦ２から入射する光の像が第２の画素領域ＰＤ２から第１の画素領域ＰＤ１に、はみ出さないようにして、第２の視野ＶＦ２の像を結像させる。このような構成の第１の光学系１０２および第２の光学系１０３により、撮像素子１０１には、図４に示すように、第１の光学系１０２と、第２の光学系１０３のいずれからも光の像を結像されない非結像領域ＰＤ３が生じる。このような構成の光学系によれば、画像信号を視野ごとに分離することが容易になる。なお、この非結像領域ＰＤ３とは、第１の画素領域ＰＤ１、第２の画素領域ＰＤ２、または他の画素領域の画素を含む領域であってよく、画素を含まない領域であってもよい。
【００３９】
図３に戻り、読出制御部１０４は、第１の画素領域ＰＤ１に含まれる撮像画素ＰＸＬから第１の画像信号ＳＩＧ１を読み出し、第２の画素領域ＰＤ２に含まれる撮像画素ＰＸＬから第２の画像信号ＳＩＧ２を読み出す。
【００４０】
読出制御部１０４は、第１の画素領域ＰＤ１から読み出した第１の画像信号ＳＩＧ１と、第２の画素領域ＰＤ２から読み出した第２の画像信号ＳＩＧ２とを、それぞれ車両Ｃが備える表示部１０６に供給する。
【００４１】
表示部１０６は、読出制御部１０４から供給される画像信号に基づく画像を表示する。具体的には、表示部１０６は、読出制御部１０４から供給される第１の画像信号ＳＩＧ１に基づいて第１の画像Ｐ１を生成し、生成した第１の画像Ｐ１を表示する。このようにして、表示部１０６は、第１の視野ＶＦ１、すなわち車両Ｃの後方の画像を運転者Ｄに対して表示する。ここで、第１の画像信号ＳＩＧ１とは、表示用の画像信号である。すなわち、撮像素子１０１の第１の画素領域ＰＤ１とは、表示用の画像信号である第１の画像信号ＳＩＧ１を出力する撮像画素からなる画素領域である。
【００４２】
また、表示部１０６は、不図示の画像認識部を備えている。表示部１０６は、読出制御部１０４から供給される第２の画像信号ＳＩＧ２を、この画像認識部によって画像認識した結果を表示する。
【００４３】
具体的には、この画像認識部は、第２の画像信号ＳＩＧ２に基づいて生成された第２の視野ＶＦ２の画像と、予め記憶している障害物の画像とをパターンマッチングによって比較することにより、第２の視野ＶＦ２の画像中に障害物の画像が含まれているか否かを判定する。
【００４４】
表示部１０６は、第２の視野ＶＦ２の画像に障害物の画像が含まれていると画像認識部が判定した場合には、車両Ｃの右斜め前方に障害物があることを示す画像（図２に示す第２の画像Ｐ２）を表示する。このようにして、表示部１０６は、第２の視野ＶＦ２、すなわち車両Ｃの右斜め前方に障害物があること運転者Ｄに対して通知する。ここで、第２の画像信号ＳＩＧ２とは、物体検出用の画像信号である。すなわち、撮像素子１０１の第２の画素領域ＰＤ２とは、物体検出用の画像信号である第２の画像信号ＳＩＧ２を出力する撮像画素からなる画素領域である。
【００４５】
次に、図８を参照して、撮像システム１０の動作について説明する。
図８は、本実施形態の撮像システム１０の動作の一例を示すフローチャートである。ここでは、撮像素子１０１が撮像してから、読出制御部１０４が画像信号を表示部１０６に供給する撮像システム１０の動作に加えて、表示部１０６が第１の画像Ｐ１および第２の画像Ｐ２を表示するまでの一連の動作について説明する。
【００４６】
撮像素子１０１は、第１の視野ＶＦ１および第２の視野ＶＦ２の画像を撮像する（ステップＳ１０）。
【００４７】
次に、読出制御部１０４は、撮像素子１０１がステップＳ１０において撮像した第１の視野ＶＦ１の画像を示す第１の画像信号ＳＩＧ１と、第２の視野ＶＦ２の画像を示す第２の画像信号ＳＩＧ２とを、撮像素子１０１からそれぞれ読み出す（ステップＳ２０）。読出制御部１０４は、ステップＳ２０において読み出した第１の画像信号ＳＩＧ１と第２の画像信号ＳＩＧ２とを表示部１０６に供給する。
【００４８】
次に、表示部１０６は、読出制御部１０４から供給された第１の画像信号ＳＩＧ１に基づく第１の画像Ｐ１を表示する（ステップＳ３０）。
【００４９】
次に、表示部１０６は、読出制御部１０４から供給され第２の画像信号ＳＩＧ２を画像認識部に供給する。画像認識部は、供給された第２の画像信号ＳＩＧ２に基づいて、第２の視野ＶＦ２の画像中に障害物の画像が含まれているか否かを判定する（ステップＳ４０）。
【００５０】
次に、表示部１０６は、画像認識部によって障害物の画像が含まれていると判定された場合（ステップＳ４０：ＹＥＳ）には、車両Ｃの右斜め前方に障害物があることを示す画像（図２に示す第２の画像Ｐ２）を表示して一連の処理を終了する（ステップＳ５０）。また、表示部１０６は、画像認識部によって障害物の画像が含まれていると判定されなかった場合（ステップＳ４０：ＮＯ）には、一連の処理を終了する。
【００５１】
撮像システム１０は、上述のステップＳ１０からステップＳ５０を繰り返し実行することにより、撮像した画像に基づく情報を表示部１０６に順次表示させる。
【００５２】
以上説明したように、撮像システム１０は、第１の光学系１０２および第２の光学系１０３を備えることにより、複数の互いに異なる視野（例えば、第１の視野ＶＦ１および第２の視野ＶＦ２）の像を１つの撮像素子１０１上に結像させる。これにより、撮像システム１０は、撮像対象の視野が複数ある場合であっても、単一の撮像素子１０１によって撮像することができる。よって、この撮像システム１０によれば、複数の視野のそれぞれに撮像素子を備える場合に比較して、撮像部１００を小型化しつつ複数の視野を同時に撮像することができる。また、この撮像システム１０によれば、複数の視野のそれぞれに撮像素子を備える場合に比較して、撮像部１００を省電力化することができる。
【００５３】
また、本実施形態の撮像システム１０において、撮像素子１０１は電子部品である。一方、この撮像システム１０において、第１の光学系１０２および第２の光学系１０３は非電子部品である。一般的に、電子部品は非電子部品に比べて故障頻度が高いことが多いため、電子部品の数を低減することにより、製品の故障頻度を低減することができることがある。本実施形態の撮像システム１０は、非電子部品である光学系を撮像対象の視野の数に応じて備えるとともに、電子部品である撮像素子１０１を１つだけ備える。これにより、撮像システム１０は、撮像対象の視野が複数ある場合であっても、複数の視野のそれぞれに撮像素子を備える場合に比較して、故障頻度を低減することができる。
【００５４】
［変形例］
なお、上述した実施形態においては、一例として、第２の視野ＶＦ２内に運転の障害になる障害物がある場合に、表示部１０６は、障害物があることを示す画像（例えば、三角形の中にエクスクラメーションマークを表示する画像）を表示したが、これに限られない。例えば、表示部１０６は、車両ＣのピラーＰＡ内に備えられており、第２の視野ＶＦ２の画像をそのまま表示する構成であってもよい。この場合には、運転者ＤがピラーＰＡ内の表示部１０６を見ることによって、死角ＶＦ２’内の状況を、そのまま画像として認識することができる。
【００５５】
また、上述した実施形態において、撮像システム１０が表示部１０６を備えておらず、車両Ｃが表示部１０６を備えている構成について説明したが、これに限られない。撮像システム１０は、上述した表示部１０６を備える構成であってもよい。この場合、表示部１０６は、読出制御部１０４が読み出した第１の画像信号ＳＩＧ１および第２の画像信号ＳＩＧ２のうち、少なくとも一方の画像信号ＳＩＧに基づく画像を表示する。一例として、撮像システム１０は、上述した車両ＣのピラーＰＡ内に表示部１０６を備えていてもよい。この場合、表示部１０６は、読出制御部１０４が読み出した第１の画像信号ＳＩＧ１および第２の画像信号ＳＩＧ２のうち、第２の画像信号ＳＩＧ２に基づく画像を表示する。
【００５６】
また、上述した実施形態においては、一例として、第２の視野ＶＦ２とは、車両Ｃの車両Ｃの右斜め前方（＋Ｚ方向から＋Ｘ方向に回転した方向）の視野であるとして説明したが、これに限られない。例えば、第２の視野ＶＦ２とは、図１０に示すような視野であってもよい。
【００５７】
図１０は、本実施形態の変形例である撮像システム１０ａの構成の概要の一例を示す模式図である。同図に示すように、撮像システム１０ａは、撮像部１００ａと、上述した表示部１０６とを備えている。この撮像システム１０ａは、撮像部１００ａが撮像する第２の視野ＶＦ２ａが車両Ｃの右側方である点が、上述の撮像システム１０と異なる。
【００５８】
撮像部１００ａは、第１の視野ＶＦ１と第２の視野ＶＦ２ａとを、それぞれ撮像する。この第２の視野ＶＦ２ａとは、車両Ｃの右側方（＋Ｘ方向）の視野である。このように構成することにより、撮像システム１０ａは、表示部１０６に第１の視野ＶＦ１の画像に加えて、第２の視野ＶＦ２ａの画像を表示することができる。このように構成することにより、撮像システム１０ａは、表示部１０６に表示する視野の範囲を広範囲にすることができる。
【００５９】
なお、この第２の視野ＶＦ２ａの視野の範囲は一例であって、図１０に示す範囲に限られない。例えば、第２の視野ＶＦ２ａとは、車両Ｃの右側面下方の範囲であってもよい。この場合、例えば、撮像システム１０ａは、車両Ｃを駐車場の枠内に移動させる場合に、駐車場の枠を示す白線を撮像することができる。このように構成することにより、撮像システム１０ａは、駐車の際の運転支援システムに適用することができる。
【００６０】
［第２の実施形態］
次に、本発明の第２の実施形態による撮像システム１０ｂについて、図１１を参照して説明する。なお、上述した実施形態および変形例と同一の構成については、同一の符号を付してその説明を省略する。
【００６１】
図１１は、本発明の第２の実施形態による撮像システム１０ｂの構成の一例を示す構成図である。この撮像システム１０ｂは、撮像部１００ｂが撮像する第２の視野ＶＦ２ｂが車両Ｃの車室内である点が、第１の実施形態と異なる。
【００６２】
撮像システム１０ｂは、撮像部１００ｂを備えている。この撮像部１００ｂは、車両Ｃの前方（＋Ｚ方向）を第１の視野ＶＦ１ｂとして撮像するとともに、車両Ｃの車室内を第２の視野ＶＦ２ｂとして撮像する。
【００６３】
この第２の視野ＶＦ２ｂには、運転者Ｄの顔の位置が含まれている。撮像部１００ｂの撮像素子１０１は、運転者Ｄの顔の画像を含む画像を撮像して第２の画像信号ＳＩＧ２として出力する。また、撮像部１００ｂの撮像素子１０１は、第１の視野ＶＦ１ｂを撮像して第１の画像信号ＳＩＧ１として出力する。
【００６４】
読出制御部１０４は、撮像素子１０１が出力する第１の画像信号ＳＩＧ１を読み出して、読み出した第１の画像信号ＳＩＧ１を表示部１０６ｂに供給する。また、読出制御部１０４は、撮像素子１０１が出力する第２の画像信号ＳＩＧ２を読み出して、読み出した第２の画像信号ＳＩＧ２を表示部１０６ｂに供給する。
【００６５】
表示部１０６ｂは、読出制御部１０４から供給される第１の画像信号ＳＩＧ１に基づく第１の画像Ｐ１を表示する。この第１の画像Ｐ１とは、ここでは車両Ｃの前方（＋Ｚ方向）の画像である。
【００６６】
また、表示部１０６ｂは、読出制御部１０４から供給される第２の画像信号ＳＩＧ２に基づく画像を表示する。一例として、表示部１０６ｂは、第２の画像信号ＳＩＧ２に基づく運転者Ｄの顔の画像うち、まぶたの開閉状態に基づく画像を表示する。
【００６７】
具体的には、表示部１０６ｂは、第２の画像信号ＳＩＧ２に基づく画像を認識する不図示の画像認識部を備えている。この画像認識部は、第２の画像信号ＳＩＧ２に基づく画像に含まれる、運転者Ｄのまぶたの画像を認識し、まぶたが閉じられた状態が所定の時間を超えているか否かを判定する。表示部１０６ｂは、画像認識部が、運転者Ｄのまぶたが閉じられた状態が所定の時間を超えていると判定した場合には、運転者Ｄに注意を喚起する画像を表示する。このように構成することにより、撮像システム１０ｂは、運転者Ｄのいねむり検知システムにも適用することができる。
【００６８】
また、表示部１０６ｂは、不図示の音出力部を備えていてもよい。この音出力部は、例えばスピーカーであり、画像認識部が、運転者Ｄのまぶたが所定の時間を超えて閉じられた状態になっていると判定した場合には、運転者Ｄに注意を喚起する音を出力する。
【００６９】
以上説明したように、撮像システム１０ｂは、上述した実施形態と同様に、第１の光学系１０２および第２の光学系１０３を備えている。これにより撮像システム１０ｂは、複数の互いに異なる視野（例えば、第１の視野ＶＦ１ｂおよび第２の視野ＶＦ２ｂ）の像を１つの撮像素子１０１上に結像させる。したがって、撮像システム１０ｂは、撮像対象の視野が複数ある場合であっても、単一の撮像素子１０１によって撮像することができる。よって、この撮像システム１０ｂのように構成しても、上述した実施形態と同様に、複数の視野のそれぞれに撮像素子を備える場合に比較して、撮像部１００ｂを小型化および省電力化することができる。
【００７０】
以上、本発明の各撮像システム（撮像システム１０、１０ａ、１０ｂ。以下、これらを総称して撮像システムと記載する。）の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
【００７１】
例えば、上述した各実施形態において、撮像素子１０１は、第１の画素領域ＰＤ１および第２の画素領域ＰＤ２のいずれについても、カラー画像信号を出力する撮像画素ＰＸＬを備える構成について説明したが、これに限られない。一例として、撮像素子１０１は、第１の画素領域ＰＤ１にはカラー画像信号を出力するカラー画素を、第２の画素領域ＰＤ２には赤外画像信号を出力する赤外画素をそれぞれ備えていてもよい。ここで、撮像画素ＰＸＬが出力する信号を赤外画像信号にする場合には、各撮像画素ＰＸＬが有するフィルタを、図６に示した特性の色フィルタに代えて、赤外線領域を透過する特性を有する赤外フィルタにすればよい。
【００７２】
これにより、撮像システムは、運転者Ｄが直接見る画像である、第１の視野ＶＦ１の画像をカラー画像にするとともに、障害物の検知やいねむり検知に用いられる第２の視野ＶＦ２（または、第２の視野ＶＦ２ａ、ＶＦ２ｂ）の画像を、夜間などの暗闇でも検知可能な赤外画像にすることができる。
【００７３】
また、一例として、撮像素子１０１は、第２の画素領域ＰＤ２には白黒画像信号を出力する白黒画素を備えていてもよい。ここで、撮像画素ＰＸＬが出力する信号を白黒画像信号にする場合には、各撮像画素ＰＸＬが有するフィルタを、図６に示した特性の色フィルタに代えて、可視光の全領域を透過する特性を有する可視光フィルタにすればよい。撮像システムは、カラー画素と同一の密度によって白黒画素を配列することにより、カラー画素の場合に比較して、撮像される画像の精細度を向上させることができる。
【００７４】
なお、上述した各実施形態において、撮像システムは、車両Ｃなどの移動体に搭載される車載型撮像システムである場合について説明したが、これに限られない。撮像システムは、例えば、道路や建物の廊下等に設置される監視用カメラにも適用することができる。この撮像システムを、このような監視用カメラに適用した場合、撮像部１００（または、撮像部１００ａ、１００ｂ）を小型化しつつ、道路や建物の廊下の画像を２視野同時に撮像することができる。
【００７５】
なお、撮像システムが備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
【００７６】
なお、撮像システムが備える各部は、メモリおよびＣＰＵ（中央演算装置）により構成され、撮像システムが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【００７７】
また、撮像システムが備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００７８】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【００７９】
１０・１０ａ・１０ｂ…撮像システム、１００・１００ａ・１００ｂ…撮像部、１０１…撮像素子、１０２…第１の光学系、１０３…第２の光学系、１０４…読出制御部、１０５…反射部、１０６・１０６ｂ…表示部
【図１】
2014107664.tif 000003
【図２】
2014107664.tif 000004
【図３】
2014107664.tif 000005
【図４】
2014107664.tif 000006
【図５】
2014107664.tif 000007
【図６】
2014107664.tif 000008
【図７】
2014107664.tif 000009
【図８】
2014107664.tif 000010
【図９】
2014107664.tif 000011
【図１０】
2014107664.tif 000012
【図１１】
2014107664.tif 000013