(57)【要約】【課題】信号線を削減して簡易な構成の撮像システム等を実現する。【解決手段】撮像装置（１）は、被写体を撮像する撮像部（１２）、発光データを生成する発光データ生成部および複合データを生成する複合データ生成部を備え、表示記録装置（２）は、複合データを映像データと発光データとに分離するデータ分離部、および映像データに係る映像を表示する表示部（１８）を備え、発光部（３）は、データ分離部から出力された発光データに応じた光を発光する。【選択図】図１
2019054452.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と表示記録装置と発光部とを備えた撮像システムであって、
前記撮像装置は、
被写体を撮像する撮像部と、
前記撮像部から出力された前記被写体の映像データを用いて、前記発光部が発光する光を制御するための発光データを生成する発光データ生成部と、
前記映像データと、前記発光データ生成部から出力された前記発光データとを多重化して、複合データを生成する複合データ生成部と、を備え、
前記表示記録装置は、
前記複合データ生成部から出力された前記複合データを、前記映像データと前記発光データとに分離するデータ分離部と、
前記データ分離部から出力された前記映像データに係る映像を表示する表示部と、を備え、
前記発光部は、前記データ分離部から出力された前記発光データに応じた前記光を発光することを特徴とする撮像システム。
【請求項２】
前記撮像装置と前記表示記録装置との間に接続される信号配線を有し、
前記信号配線は、前記複合データ、制御信号およびクロックを供給することを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記発光部が発光する前記光は、不可視光であり、
前記発光部は、前記被写体の周辺が低照度状態となった場合に、補助的に前記不可視光を用いて被写体に照射することを特徴とする請求項１または２に記載の撮像システム。
【請求項４】
前記撮像装置からの前記発光データの出力のタイミングと、前記発光部が前記光を発光するタイミングとを検知する検知部と、
前記検知部によって検知された、前記発光データの出力および前記タイミングを用いて、前記発光データの出力から前記発光部の発光までの所要時間を概算する算出部とをさらに備え、
前記発光データ生成部は、前記算出部によって算出された前記所要時間の長短に応じて、前記発光データを出力するタイミングを変更することを特徴とする請求項１から３のいずれか１項に記載の撮像システム。
【請求項５】
前記発光部を複数備え、
前記発光データ生成部は、前記発光データを複数生成し、
前記複合データ生成部は、前記映像データと複数の前記発光データとを多重化して、前記複合データを生成し、
前記データ分離部は、前記複合データを、前記映像データと複数の前記発光データとに分離し、
複数の前記発光部のそれぞれは、複数の前記発光データのいずれか１つに応じた前記光を発光することを特徴とする請求項１から４のいずれか１項に記載の撮像システム。
【請求項６】
撮像装置と表示記録装置と発光部とを備えた撮像システムに用いられる出力側信号処理装置であって、
前記撮像装置により撮像された被写体の映像データを用いて、前記発光部が発光する光を制御するための発光データを生成する発光データ生成部と、
前記映像データと、前記発光データ生成部から出力された前記発光データとを多重化して、複合データを生成する複合データ生成部と、
前記複合データ生成部にて生成された前記複合データを外部に出力する複合データ出力部と、を備えていることを特徴とする出力側信号処理装置。
【請求項７】
請求項６に記載の出力側信号処理装置を備えていることを特徴とする撮像装置。
【請求項８】
撮像装置と表示記録装置と発光部とを備えた撮像システムに用いられる入力側信号処理装置であって、
前記撮像装置により撮像された被写体の映像データと、前記発光部が発光する光を制御するための発光データとが多重化された複合データが入力される複合データ入力部と、
前記複合データ入力部に入力された前記複合データを、前記映像データと前記発光データとに分離するデータ分離部と、を備えていることを特徴とする入力側信号処理装置。
【請求項９】
請求項８に記載の入力側信号処理装置を備えていることを特徴とする表示記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システム、出力側信号処理装置、撮像装置、入力側信号処理装置および表示記録装置に関する。
【背景技術】
【０００２】
従来、被写体が低照度にある場合、微弱な可視光を撮像装置に取り込み電気的に増幅する方法がとられており、光を電気的に増幅するために撮像装置内部への蓄光（または露光）の期間を長くする必要があった。そのため被写体周辺の急激な光量の変化や被写体の微細な動きに追随できなかった。この課題を克服するために近年、人の目に感度がある光の波長帯域だけではなく、赤外領域の情報を用いた撮像装置が開発されている。監視カメラとして夜間の警備や暗視カメラなど被写体周辺の本来の赤外光を受けて映像化する方法（パッシブ方式）がある。
【０００３】
その他に赤外領域の情報を用いた撮像装置例としては、人の眼は赤外光に対して感度を持たないため、積極的に赤外光を発光して撮像する方法（アクティブ方式）がある。当発明は、このアクティブ方式に関するものである。
【０００４】
例えば自動車運転中であっても赤外光補助光であれば発光したとしても人間の目には感知されないため、運転に悪影響を与えずに、ドライバーの状態の検知や、同乗者をさりげなく見守りすることも可能になる。もし被撮影者に対して可視領域の補助光を照射した場合は照射されていることで被撮影者を眩惑させ、ひいては運転に支障が出る。
【０００５】
これらに関連する手法として、特許文献１には、夜間など暗いところで撮影する場合であっても、撮影映像中の被写体を識別しやすくし視認性を良くする手法が公開されている。また、その他の赤外光の発光手法も提案されており、特許文献２には、赤外光を感知する画素（ＩＲ、Ｗ）を持つ撮像装置に赤外光照射装置を補助的に使用する手法が提案されている。さらに、特許文献３において、赤外光発光器を液晶表示装置の中に組込み、照度ムラを軽減すると共にシステムを簡素にする手法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２０６４３６号公報（２０１０年９月１６日公開）
【特許文献２】特開２０１６−２１３６２８号公報（２０１６年１２月１５日公開）
【特許文献３】特開２０１２−１６８７４８号公報（２０１２年９月６日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
テレビドアホンのように広い空間に撮像装置を設置する場合には、発光器を撮像装置内に組み込むことによりサイズが大きくなっても何ら問題はない。しかしながら、自動車等限られた狭い空間に設置する場合には、撮像装置のサイズを小さく必要がある。
【０００８】
即ち、特許文献１では、撮像装置の中に発光器が組み込まれている為に撮像装置が大きくなり、自動車等サイズが制限された環境においては、使用することが難しい場合があった。また、特許文献２において、赤外光を感知する画素（ＩＲ、Ｗ）を持つ撮像装置で被写体が低照度時に補助的に赤外光を照射するＩＲ照射部を備える撮像装置を開示している。
【０００９】
この発明も特許文献１と同様に、監視カメラとしてＩＲ照射部が撮像装置に設置されており、撮像装置が大きくなる可能性がある。さらに特許文献３において、車載用途としての赤外光発光器を液晶表示装置の中に組込み、撮像装置を小さくできる手法が開示されている。しかしながら赤外光発光の制御信号は表示映像の信号とは別に液晶表示装置に送付する必要があり、赤外光発光器信号線を追加しなければならない。
【００１０】
したがって、電源に映像データとＶＤ（垂直同期信号）、ＶＨ（水平同期信号）、ＰＣＬＫ（画像クロック）などの同期クロックを含む映像信号（図８）を重畳し、撮像装置と表示装置の接続に同軸コネクタおよびケーブルを使っている場合、赤外光発光器を制御する為の信号配線線を別に備える必要があり、量産効果に優れた同軸線は使えず、ハーネス代の上昇や開発リードタイムが延びる要因になっていた。また、赤外光発光制御線が増えることによって信号を通すためのコネクタやハーネスが大きくなり、空間が制限された環境において、使用することが難しい場合があった。
【００１１】
本発明の一態様は、上記の各問題点に鑑みてなされたものであり、その目的は、信号線を増加させずに簡易な構成の撮像システム等を実現することにある。
【課題を解決するための手段】
【００１２】
当発明は撮像部と、被写体が低照度の場合は補助的に発光する発光部を備える撮像システムである。撮像装置では撮像部からの撮像信号を信号処理部にて映像データと発光データとに分けて算出して画像信号の同期信号のＶＤ、ＶＨ、ＰＣＬＫに応じて発光データと映像データを切り替えて表示記録装置へ送出する。この時、発光データは映像信号のブランキング期間中に映像信号部分へ埋め込み多重化することで、映像信号を伝達する信号線を用いて送信することで配線数の増加を防ぐことができる。
【００１３】
また、撮像部で撮影するタイミングと、前記発光部で発光するタイミングとの時間差を調整するため、発光データを多重化して付加するタイミングを測定、変更する手段を有する。表示記録装置に送出した映像信号は表示記録装置内部で分離され、受信した発光データをもとにして光を発光することで発光量を調整する機能を有する。さらには、２つ以上の複数の発光部へ個別に発光データを送信し発光量の調整を行う。
【発明の効果】
【００１４】
本発明の一態様によれば、撮像装置にて映像データと発光データとを多重化し、発光部が表示記録装置から出力された分離後の発光データに応じた光を放射することにより、信号線を削減して簡易な構成の撮像システム等を実現することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第一の実施形態に係る車載用撮像システムの機能的構成を示すブロック図である。
【図２】本発明の第一の実施形態に係る撮像装置が車内に搭載された状態の一例を示す概略図である。
【図３】撮像部の画素の構成を示す概略図である。
【図４】上記撮像部の各画素の波長に対する感度を示す分光感度特性図である。
【図５】本発明の第一の実施形態に係る表示記録装置および発光部の配置の一例を示す概略図である。
【図６】信号処理部の機能的構成を示すブロック図である。
【図７】発光量算出部で算出される、赤外光発光値と輝度平均値との関係を示すグラフである。
【図８】ＭＵＸの動作の一例を示すタイミングチャートである。
【図９】ＭＵＸの動作の他の例を示すタイミングチャートである。
【図１０】表示記録処理部の機能的構成を示すブロック図である。
【図１１】ＤＥＭＵＸの動作を示すタイミングチャートである。
【図１２】本発明の第二の実施形態に係る撮像部画素の構成の一例を示す概略図である。
【図１３】分光感度特性を示す概略図である。
【図１４】本発明の第二の実施形態に係るＭＵＸ動作のタイミングチャートである。
【図１５】撮像装置の露光データ送出から発光部の発光するレイテンシーを示す図である。
【図１６】図１５の発光レイテンシー算出の一例を示すフローである。
【図１７】垂直ラインの毎のライン方向の画素値積算量を示す図である。
【図１８】図１７の積算量に微分フィルタを掛けた図である。
【図１９】垂直ブランキング動作のタイミングチャートを示す図である。
【図２０】本発明の第二の実施形態に係るＤＥＭＵＸ動作を示すタイミングチャートである。
【図２１】本発明の第三の実施形態に係る車載用撮像システム構成図である。
【図２２】本発明の第三の実施形態に係る表示記録装置と発光部配置図である。
【図２３】撮像部１が撮像した映像を表示した図である。
【図２４】本発明の第三の実施形態に係るＭＵＸ動作のタイミングチャートを示す。
【図２５】本発明の第三の実施形態に係る表示記録処理部ブロック図を示す。
【図２６】本発明の第三の実施形態に係るＤＥＭＵＸ動作のタイミングチャートを示す。
【発明を実施するための形態】
【００１６】
〔第一の実施形態〕
以下に、図面を参照しながら本発明の実施形態について詳しく説明する。図１は、本発明の一実施例である車載用撮像システムの構成図である。図１に示すように、車載用撮像システム１００は、撮像装置１、表示記録装置２および発光部３を備えている。
【００１７】
撮像装置１は、レンズ１１、撮像部１２、信号処理部１３およびシリアライザ１４を備えている。一方、表示記録装置２は、デシリアライザ１５、操作部１６、表示記録処理部１７、表示部１８、記録部１９および外部接続部２０を備えている。
【００１８】
撮像装置１は、例えば自動車の車内を撮影する装置である。図２は、撮像装置１の搭載図例である。図２に示すように、撮像装置１は、鏡部２２を有するバックミラー２１に取付けられている。
【００１９】
具体的には、撮像装置１は、車の運転席と助手席の間の上部に配置されたバックミラー２１における鏡部２２の直下の位置に、撮像装置１のレンズ１１（図１参照）の光軸が後部座席方向に向くように配置されている。この位置に配置することによりドライバーはもちろんのこと、助手席や後部座席の人も撮影しやすくなる。
【００２０】
なお、運転シートや助手席シートによって隠れてしまう子供等を撮影したい場合はこの位置によらず、例えばバックミラー２１よりも後方の天井等に配置しても良い。また鏡部２２は単に光を反射する鏡だけではなく、撮像装置の映像や車の進む方角等を表示する電子ミラーであっても良い。
【００２１】
レンズ１１は、撮像装置１に入射した光を撮像部１２のセンサ面上に像として結像させる。このレンズ１１には、特定の波長のみを透過させるバンドパスフィルタや、映像上に疑似輪郭として見えるモアレを軽減するローパスフィルタ等の光学フィルタ、入射する光路を制限する絞り等も含まれる。
【００２２】
また、レンズ１１には、撮影対象に応じた画角のレンズを選択する必要があり、例えば撮像装置１をバックミラー２１に配置し、ドライバーと助手席を撮影する場合には多く撮像装置で使用されている水平画角６０度よりも広角のレンズが必要である。
【００２３】
撮像部１２はレンズ１１が結像させた光を電気信号に変換し、映像信号として信号処理部１３に出力する。撮像部１２には例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを用いる。
【００２４】
図３は、撮像部１２の画素構成図である。この構成図では説明の為にＰ（１、１）を基準にＸ方向８ピクセル、Ｙ方向８ピクセルの合計６４ピクセルについて記載した。実際に使用するイメージセンサは６４ピクセルではなくても良い。また撮像部１２の露光は水平ラインを同時に撮影するフォーカルプレーンシャッター方式を想定しているが、１フレームを同時に撮影するグローバルシャッター方式でも良い。
【００２５】
図４は、各画素（Ｇ、Ｒ、Ｂ、ＩＲ）の波長に対する感度を示した分光感度特性図である。Ｐ（１、１）等の画素に記載したＧ画素は５３０ｎｍ程度を中心にした緑の光に対して感度を持つ画素である。またＰ（２、１）等の画素に記載したＲ画素は６７０ｎｍ程度を中心にした赤の光に対して感度を持つ画素である。またＰ（１、２）等の画素に記載したＢ画素は４７０ｎｍ程度を中心とした青の光に対して感度を持つ画素である。またＰ（２、２）等の画素に記載したＩＲ画素は８５０ｎｍ程度を中心とした赤外光に対して感度を持つ画素である。
【００２６】
この例では、Ｇ画素、Ｂ画素、Ｒ画素は赤外光（８５０ｎｍ）に対しては感度を持たない。したがって赤外光を発光部３から照射しても、Ｇ画素、Ｂ画素、Ｒ画素の三原色に対して影響を与えない。なお、信号処理部１３で赤外光の光成分を除去するアルゴリズムにすればＧ画素、Ｂ画素、Ｒ画素が赤外光に感度を持っていても良い。
【００２７】
信号処理部１３は、撮像部１２から入力された撮像信号にデモザイクやノイズリダクション、歪補正等の処理や、発光部３で発光する赤外光に係る赤外光発光値Ｆ（ｎ）（式（２）〜式（４）参照）の算出を行う。信号処理部１３は、処理を行った映像信号および発光量信号をシリアライザ１４に出力する。
【００２８】
シリアライザ１４は、信号処理部１３から入力された映像データおよび発光データ信号を、入力信号速度よりも高速なシリアル信号に変換し、表示記録装置２に出力する。現在多くの車載カメラ、監視カメラはシリアル信号で伝送し、同軸信号ケーブルや差動信号ケーブルを用いて部品の共通化を図り、部品代の低減や開発リードタイムの短縮を図っている。また、信号線を減らすことでコネクタの小型化やケーブルの軽量化にも繋げている。
【００２９】
表示記録装置２は、例えば多くの車に搭載されているカ―ナビゲーションシステム等の装置である。表示記録装置２内部のデシリアライザ１５は、シリアライザ１４から出力された高速信号をシリアライザ１４に入力した信号に復元し、表示記録処理部１７に出力する。
【００３０】
操作部１６は、プッシュボタンやタッチパネル、ジェスチャーコマンド等で操作が可能なユーザーインターフェースを持ち、カメラの起動や録画の開始、終了等の利用者の操作情報を表示記録処理部１７に出力する。
【００３１】
表示記録処理部１７は、デシリアライザ１５から出力された信号を映像データと発光データに分離し、映像データは表示部１８に、発光データは発光部３に出力する。また、表示記録処理部１７は、映像データをＨ．２６４等の映像圧縮技術を用いて圧縮し、記録部１９へ出力する。
【００３２】
表示部１８はＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などに代表される表示装置であり、撮像映像や地図情報等を表示する。このＬＣＤはタッチパネルに対応して、操作部１６を兼ねていても良い。
【００３３】
記録部１９は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やＳＤカードなどに代表されるフラッシュメモリ、その他を応用した大容量の情報記録部であり、表示記録処理部１７から出力される画像データを動画像または静止画像データとして保存する。また、記録部１９は、保存した動画像または静止画像データを表示記録装置２に出力する。
【００３４】
外部接続部２０は、記録部１９に保存されたデータや撮像装置１の映像データをＵＳＢ通信やＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ：登録商標）通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等で外部機器に出力する。
【００３５】
発光部３は、赤外発光ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）のような発光素子である。赤外発光ＬＥＤの場合のＬＥＤを流れる電流量によって発光部３から出力する赤外光の発光量が変わる。また図４のような分光感度特性を持った撮像装置の場合、赤外光ＬＥＤは８５０ｎｍ程度の波長の赤外光を発光する。
【００３６】
本実施形態では、車内を想定しており、可視光だと運転に支障が出ることから、発光部３から放射される光を赤外光とした。したがってその他の利用シーンにおいては、可視光を発光させても良い。なお、発光する光はセンサの分光感度特性と合わせる必要があり、センサが紫外線に感度を持っていたら紫外線の発光でも良い。
【００３７】
図５は、表示記録装置２および発光部３を車内に配置した配置図である。図５に示す配置は、多くの車でカーナビゲーションシステムが配置されている車のインストルメントパネル上の運転席と助手席の間を想定しているが、他の場所に配置しても良い。表示記録装置２の前面には、カメラ映像や地図情報を表示する表示部１８、および電源ボタン等の操作部１６が配置されている。
【００３８】
発光部３は、表示記録装置２の横に配置しているが、上述の特許文献３の構成のように、表示部１８のバックライト部分に赤外ＬＥＤを配置するなど表示記録装置２の内部に配置したり、また表示記録装置２から離れた場所、例えばスピードメータの横等に配置したりしても良い。
【００３９】
＜信号処理部の詳細説明＞
次に、信号処理部１３について詳細に説明する。図６は、信号処理部１３の内部ブロック図である。信号処理部１３は、映像信号処理部６１、発光量算出部６２およびＭＵＸ（Ｍｕｌｔｉｐｌｅｘｅｒ）６３を備えている。
【００４０】
映像信号処理部６１は、撮像部１２から入力された撮像信号にデモザイクやノイズリダクション、歪補正等の処理を行う。Ｒ、Ｇ、Ｂ、ＩＲ信号からＩＲ信号を除いたカラー映像の生成方法は、例えば上述の特許文献１（特開２０１０−２０６４３６号公報）に記載の生成方法を用いても良い。映像信号処理部６１で生成された映像データは、発光量算出部６２およびＭＵＸ６３に出力される。映像データのカラーフォーマットとしては、ＲＧＢ信号やＹＵＶ信号など、表示記録装置２で受け取れるフォーマットであれば、どのようなフォーマットでも良い。
【００４１】
発光量算出部６２は、映像信号処理部６１から入力された映像データに基づいて、発光部３で発光する赤外光に係る赤外光発光値Ｆ（ｎ）の算出し符号化を行った後、発光データとして出力する。
【００４２】
赤外光発光値Ｆ（ｎ）の算出例を以下に記載する。なお、以下の算出例は、映像信号処理部６１から発光量算出部６２にＹＵＶ信号が出力された場合を想定している。発光量算出部６２では、映像信号処理部６１から出力されたｎフレームにおける画素Ｐ（ｘ、ｙ）の輝度データＹ（ｘ、ｙ）を全ての画素について積算し、当該積算値を画素数で割った結果を輝度平均値Ｘ（ｎ）とする（下記の式１参照）。
［式１］
Ｘ（ｎ）＝ΣＹ（ｘ、ｙ）／６４
ｘ、ｙは図３のセンサを使用の場合は１〜８の正の整数値である。Ｘ（ｎ）が設定値αよりも大きい時は赤外光を発光しなくても充分な明るさがあると考え、赤外光は発光しなくても視認性の良い映像が得られるとして赤外光は発光しない（下記の式２参照）。
［式２］
Ｆ（ｎ）＝０  （Ｘ（ｎ）＞＝α）
またＸ（ｎ）がβよりも小さい時は非常に暗い環境で撮影していると考え、赤外光発光値Ｆ（ｎ）を最大値（Ｆｍａｘ）とする（下記の式３参照）。
［式３］
Ｆ（ｎ）＝Ｆｍａｘ  （Ｘ（ｎ）＜β）
またＸ（ｎ）がαからβの範囲にある場合はＸ（ｎ）の値によって赤外光発光値Ｆ（ｎ）を変更する（下記の式４において、ａ、ｂは定数）。
［式４］
Ｆ（ｎ）＝−ａＸ（ｎ）＋ｂ  （β＝＜Ｘ（ｎ）＜α）
以上のような算出方法で赤外光発光値Ｆ（ｎ）を算出する。
【００４３】
図７は、前述の赤外光発光値Ｆ（ｎ）と輝度平均値Ｘ（ｎ）との特性図例である。なお、上記例では１フレーム分全ての画素（６４個）を加算するとしたが、例えば人の顔の範囲だけを加算するなど、加算する範囲は任意に変更しても良い。
【００４４】
また、赤外光発光値Ｆ（ｎ）の算出方法も上記によらず、別途、記録手段（不図示、半導体メモリなど）内部にＸ（ｎ）を半導体メモリのアドレスに変換して入力とし、対応する赤外光発光値Ｆ（ｎ）を半導体メモリ内部に変換テーブルとして予め用意しておき、半導体メモリから読み出して出力する様に発光部３への発光量を制御する値として出力しても良い。
【００４５】
この変換テーブルを複数個設けておき、環境の状況に応じて適宜切り替えても良い。例えば晴天用、雨天用、あるいは車両周辺が特殊な光源、即ち、夜間の道路やトンネル等でナトリウムランプが使用されている場合用などの変換テーブルを設けておき、適宜切り替えて使用しても良い。
【００４６】
以上の方法で、環境に応じた発光の制御をして低照度の環境においても視認性の良い映像を取得できる。上述の発光量算出部６２は、この赤外光発光値Ｆ（ｎ）を符号化して発光データとしてＭＵＸ６３へ出力する。
【００４７】
次に、ＭＵＸ６３の動作について説明する。図８は、ＭＵＸ６３の動作時の信号およびデータの入出力タイミングチャートである。ＶＤ、ＨＤ、ＰＣＬＫ、映像データは映像信号処理部６１から、また赤外光発光値は発光量算出部６２からＭＵＸ６３に入力される。またＭＵＸ６３からの出力データは映像データと発光データとを時分割多重化したデータが出力される。
【００４８】
映像信号処理部６１から出力されたＶＤ、ＨＤ、ＰＣＬＫは同期信号であり、これを元に映像データ出力期間であるか否か判断でき、また映像データ出力期間中のＰＣＬＫをカウンタ回路などでカウントしておくことで、どこの撮像部の画素のどの位置の映像データを出力しているかを判断できる。
【００４９】
なお、図８では一例としてＶＤ、ＨＤはＨの時に映像データを出力しているが、Ｌの時に出力しても良い。また同期信号としてＤＥ（データイネーブル信号）等を別途用意しても良い。ＶＤ＝Ｌの期間は、Ｖブランク、ＶＤ＝ＨかつＬＤ＝Ｌの期間はＨブランクとする。また、赤外光発光値Ｆ（ｎ）はｎフレーム目の赤外光発光値を示しており、フレーム毎に値を更新して出力する。赤外光発光値Ｆ（ｎ）の算出方法は既に記載した通りである。さらに、図８の例では、更新された赤外光発光値Ｆ（ｎ）を発光データとして出力するタイミングはＶブランクスタート時としたが、例えばＶブランク開始から数クロック後などでも良い。
【００５０】
即ち、ＭＵＸ６３は、最終ピクセルの映像データＰ（ｘ、ｙ）を出力後、Ｖブランクの最初のクロック時に赤外光発光値Ｆ（ｎ）を発光データとして出力する。なお、図８の例では、Ｖブランクの最初に発光データを出力するとしたが、Ｖブランクの最後（先頭ピクセルＰ（１、１）の前）にしても良い。
【００５１】
図９は、データ有効画素範囲に赤外光発光値Ｆ（ｎ）を発光データとして出力する場合の図である。Ｙライン目の映像データを出力し、通常であればＶブランク後、次のフレームの映像データを出力するが、１ラインの映像データを出力するのに相当する期間を追加してＹ＋１番目の期間を設定し、この期間中は映像データを出力しないで、赤外光発光値Ｆ（ｎ）を発光データとしてＭＵＸ６３から出力しても良い。
【００５２】
以上のように、ＭＵＸ６３による時分割多重処理によって、出力データに赤外光発光値Ｆ（ｎ）、即ち、発光データと映像データとを時分割して前述のタイミングで出力することで、撮像装置１と表示記録装置２との間で発光データおよび映像データを共通の配線でデータ転送することが可能となる。
【００５３】
例えば、ＭＵＸ６３はＶＤ、ＨＤ、ＰＣＬＫのレベルを比較することにより発光データを出力するタイミングを解釈するコンパレータと、コンパレータの信号により、映像出力と発光データを切り替えて出力するセレクタと、で構成できる。
【００５４】
またこの他に、メモリを用いても実現できる。具体的には、映像信号（データ）処理部６１や発光量算出部６２から出力されてくる映像データの赤外光発光値Ｆ（ｎ）を一旦メモリに記憶しておき、映像データ出力期間中に映像データを記憶順に出力し、発光データ出力のタイミングで赤外光発光値Ｆ（ｎ）を出力する。
【００５５】
例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）のアドレスをカウンタ回路で発生し、ＶＤ、ＶＨ信号と組み合わせてＤＲＡＭ、ＳＲＡＭへのライト信号、その他の制御信号を発生させるなどして構成できる。
【００５６】
以上のように、映像データと赤外光発光値Ｆ（ｎ）とを時分割多重化して送信することで、撮像装置１から離れた位置に発光部３を設置できかつ表示記録装置２間に別途信号線を追加する必要がない車載用撮像システム１００が実現できる。
【００５７】
＜表示記録処理部の詳細説明＞
次に、表示記録処理部１７について詳細に説明する。図１０は、表示記録処理部１７の内部ブロック図である。表示記録処理部１７は、ＤＥＭＵＸ（Ｄｅｍｕｌｔｉｐｌｅｘｅｒ）８１、出力映像処理部８２、発光制御部８３、操作部ＩＦ（インターフェイス以下ＩＦ）８４、記録部ＩＦ８５、外部接続部ＩＦ８６、制御部８７および接続バス８８を備えている。
【００５８】
ＤＥＭＵＸ８１は、ＭＵＸ６３から出力された出力データを赤外光発光値Ｆ（ｎ）と映像データに再び分離する。図１１は、ＤＥＭＵＸ８１の動作を示したタイミングチャートである。なお、本図では一例として赤外光発光値Ｆ（ｎ）をＶブランク先頭に入れた場合を示している。
【００５９】
ＤＥＭＵＸ８１への入力信号は、ＶＤ、ＨＤ、ＰＣＬＫ、入力データである。また映像データは接続バス８８を介して、出力映像処理部８２に出力される。赤外光発光値Ｆ（ｎ）は、接続バス８８を介して発光制御部８３に出力される。映像データは同期信号ＶＤ、ＨＤの波形から映像データ出力期間であれば出力映像処理部８２に出力する。また、ＤＥＭＵＸ８１は、赤外光発光値Ｆ（ｎ）を、同期信号ＶＤ、ＨＤの波形からＶブランクの最初のクロックであれば、発光制御部８３に出力する。
【００６０】
出力映像処理部８２は、ＤＥＭＵＸ８１から入力された映像データを表示部１８が表示可能な形式に変換し、表示部１８に出力する。例えば、撮像装置１から出力される映像信号としてはＹＵＶフォーマットであり、表示部１８の表示可能形式がＲＧＢフォーマットの場合、ＹＵＶからＲＧＢ変換を行う。また表示部１８の色域に合わせた色変換等を行ってより鮮明に表示できるようにしても良い。
【００６１】
また、出力映像処理部８２は、ＳＳＤやＳＤカードなどの情報記録媒体に保存するデータの変換も行う。上述の例に従えば、撮像装置１から出力される映像信号は、ＹＵＶフォーマットなどのＬＣＤなどのディスプレイ用の表示可能な形式に近い形式であるが、ＳＳＤ、その他媒体に保存する場合は蓄積用の形式としてｍｐ４その他の形式へ変換し、接続バス８８を介して、記録部ＩＦ８５に出力する。
【００６２】
発光制御部８３は、ＤＥＭＵＸ８１から出力された赤外光発光値Ｆ（ｎ）に基づいて、発光部３から放射される赤外光の発光量が所定の発光量になるよう、発光部３の発光を制御する。例えば、発光部３を構成する発光素子が赤外光ＬＥＤの場合は、発光制御部８３は発光部３に対して電流設定値やパルス（ＰＷＭ：Ｐｕｌｓｅ  Ｗｉｄｔｈ  Ｍｏｄｕｌａｔｉｏｎ）制御の場合であれば制御パルスのデューティ比を出力する。
【００６３】
操作部ＩＦ８４は、利用者のカメラの起動や録画の開始、終了等、操作内容を検知し、接続バス８８を介して、制御部８７に出力する。
【００６４】
記録部ＩＦ８５は、出力映像処理部８２に生成された信号を、記録部１９に出力する。また利用者の操作により、記録部１９に保存したデータを外部機器に転送する場合は、記録部ＩＦ８５は記録部１９からデータを受信し、接続バス８８を介して、外部接続部ＩＦ８６に出力する。
【００６５】
外部接続部ＩＦ８６は、ＵＳＢその他の有線通信やＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の無線通信などの通信規格を使って、外部機器に映像データ等を出力する。
【００６６】
制御部８７は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの制御や演算が可能なブロックで、利用者の操作や表示記録処理部１７からの割り込み信号等により、表示記録処理部１７全体を制御する。
【００６７】
接続バス８８は、表示記録処理部１７内の各ブロックを接続するバスである。なお、図１０では表示記録処理部１７内の各部を接続するバスとして記載しているが、特定の２つの部分のみを接続する専用バスでも良い。
【００６８】
以上のように、撮像装置１内に発光部３を設けるのではなく、撮像装置１から離れたころに設置することで撮像装置１の小型化が可能になる。また、撮像装置１で算出した赤外光発光値を、出力する映像データに埋め込むことにより、発光部３の発光を制御するための専用の制御信号が不要となり、車載カメラ、監視カメラで多く使用されている同軸ケーブルや差動信号をそのまま使用することができ、撮像装置１の部品代の削減と共に、開発リードタイムの短縮、小型化が可能になる。
【００６９】
また、低照度（即ち、５ｌｘ以下）の環境において赤外光を発光することにより、被写体をより明るい環境で撮影できるようになり、視認性の良い映像を取得できる。
【００７０】
なお、発光部３が発する光は、赤外光以外の不可視光ならいずれでも良く、あるいは紫外光であっても良い。
【００７１】
〔第二の実施形態〕
以下に、図面を参照しながら本発明の第二の実施形態について詳しく説明する。なお、第一の実施形態と同じ機能の部分については、同じ符号を用いて説明を省略する。
【００７２】
本発明の構成を示す図面は、第一の実施形態と同じである。第一の実施形態では映像信号のＶブランク期間に発光データを出力して、赤外光を発光する例（図８参照）を示した。
【００７３】
一方、第二の実施形態では、図映像信号のＨブランク期間に発光データを出力する例（図１４）について説明する。図１２に示す撮像部１２１の１ライン分の映像データの出力毎に、発光部３の発光量を変化させて発光させることを可能とするものである。特に、次のような特徴を持つＣＭＯＳ、ＣＣＤセンサを採用した撮像部の場合、本実施形態では比較的高速に良好な画像が得ることができる。
【００７４】
通常のＣＭＯＳ、ＣＣＤセンサでは、撮像する周辺が低照度の場合、露光時間を長くすれば良好な画像が得られるが、全画素（即ち、全ライン）同じ露光時間で露光される構成となっている。
【００７５】
しかし、図１２に示すように、複数ラインごとに露光時間を設定できる撮像素子センサが提案されており、このセンサを用いた撮像部１２１でラインの蓄光タイミングごとに発光部３の発光タイミングを制御できれば、発光部３が発光している期間に蓄光するラインを短時間露光ラインとして、発光部３が消灯している期間に蓄光するラインを長時間露光ラインとして設定することができる。
撮像部の場合、当実形態では比較的高速に良好な画像が得ることができる。
【００７６】
撮像する周辺が低照度の場合、一般的に露光時間を長くすれば良好な画像が得られる。通常のＣＭＯＳ、ＣＣＤセンサの場合、全画素（即ち全ライン）同じ露光時間で露光される構成となっている。
【００７７】
図１２の構成を例に挙げ、詳細を説明する。撮像部１２１はＰ（Ｘ、１）と、Ｐ（Ｘ、２）と、Ｐ（Ｘ、５）と、Ｐ（Ｘ、６）は長時間露光可能な水平ライン、またＰ（Ｘ、３）と、Ｐ（Ｘ、４）と、Ｐ（Ｘ、７）と、Ｐ（Ｘ、８）は短時間露光の水平ラインと、２種類の露光時間で撮影が可能であることを示している。
【００７８】
なお、長時間露光ラインと短時間露光ラインの順序は逆であっても良いし、露光時間の長さの設定は２種類以外、例えば３種類や４種類、これより多くても良い。露光時間の設定が増えれば増える程、それぞれの露光量の異なる映像を足し合わせて画像の暗い部分の黒つぶれや明るい部分の白とびが少ない、よりダイナミックレンジが広い映像を取得することができる。
【００７９】
また、撮像部各画素の分光感度特性について、第一の実施形態においては、Ｇ画素は５３０ｎｍ程度を中心にした緑の光に対して、Ｒ画素は、６７０ｎｍ程度を中心にした赤の光に対して、Ｂ画素は、４７０ｎｍ程度を中心にした青の光に対して、ＩＲ画素は、８５０ｎｍ程度を中心にした赤外光に対して感度を持つ画素として説明をした。
【００８０】
第二の実施形態では、図１３に示すように、Ｇ画素は５３０ｎｍ程度を中心にした緑の光と、８５０ｎｍ程度の赤外光と、に対して感度を持つ画素とし、Ｒ画素は６７０ｎｍ程度を中心にした赤の光と、８５０ｎｍ程度の赤外光と、に対して感度を持つ画素とする。
【００８１】
また、Ｂ画素は、４７０ｎｍ程度の青の光と、８５０ｎｍ程度の赤外光と、に対して感度を持つ画素。また、ＩＲ画素は８５０ｎｍ程度の赤外光に対して感度を持つ画素とする。
【００８２】
この撮像部１２１を用いて、短時間露光の時には発光部３が赤外光を発光し、ＩＲ信号から輪郭情報を取得する。一方、長時間露光の時には発光部３をＯＦＦし、色情報を取得する。これらの映像を組み合わせることで、低照度の環境においても視認性の良い映像の取得が可能になる。
【００８３】
図１４は、図８と同様のＭＵＸ６３の動作時の信号およびデータの入出力タイミングチャートである。ＶＤ、ＨＤ、ＰＣＬＫ、映像データは映像信号処理部６１から、また赤外光発光値は発光量算出部６２からＭＵＸ６３に入力される。また、ＭＵＸ６３からの出力データは、映像データと発光データとを時分割多重化したデータが出力される。
【００８４】
第一の実施形態においては、１フレーム当たり１個の発光データであったが、第二の実施形態においては、ライン毎に発光データを転送する。これにより、ライン単位での赤外光発光制御が可能である。
【００８５】
図１４に示すタイミングチャートでは、１ライン分の映像データを送る前に即ち、Ｈブランクの最後に発光データを出力する例を示している。なお、第一の実施形態のＶブランクの期間に発光データを転送していたのと同様、映像データのブランキング期間であればどこでも良く、Ｈブランク期間の最初に送っても良い。
【００８６】
また、発光データはブランク期間ではなく、画像有効期間に送っても良い。この時Ｈ有効期間を延ばして発光データを送る、または本来画像データを送る所を発光データに代えて送っても良い。
【００８７】
次に、露光と発光タイミング調整方法について説明する。発光データ送付から発光部３が発光するタイミングの間には、必ずレイテンシー（遅延）が発生する。システムとしてレイテンシーが既知である場合はこの処理を行う必要ないが、不明な場合はレイテンシーを測定しないと所望のタイミング設定での撮影ができず、ひいては良好な画像が得られない。
【００８８】
図１５は、信号処理部１３が露光データを送付するタイミング、および発光部３が赤外光を発光するタイミングを示し、この差をレイテンシーとしている。なお、図中のＶＤ、ＨＤ、ＰＣＬＫは信号処理部１３に入力されるタイミングを、出力データは信号処理部１３から出力されるタイミングを、発光とは発光部３が赤外光の発光したタイミングを、それぞれ示している。また、レイテンシーとは、図１５にて記載した通り、露光データ出力後から発光を開始するまでの時間である。
【００８９】
次にレイテンシーを算出する方法を説明する。図１６はレイテンシーの算出するフロー図である。
【００９０】
（ステップＳａ０１）
まず発光データを最大値Ｆｍａｘで送出するＨブランキング期間を決める。説明のため、図１５に示すように初期値として１ライン目の直前と設定する。
【００９１】
（ステップＳａ０２）
ステップＳａ０１で指定したライン数の所に発光データとしてＦｍａｘを入れ、他のラインについては０を入れる。図１４のＦ（１）＝Ｆｍａｘでその他のＦ（ｙ）＝０となる。図１５に示す出力となる。
【００９２】
（ステップＳａ０３）
発光データ送付後、撮影する。カメラを暗箱等の低照度環境で撮影する場合以外は、発光部３の発光した赤外光と他の光が混在する。この状況で露光時間が延びると、赤外光発光のピークが相対的に小さくなる。
【００９３】
したがって、露光時間は、１ライン分の発光データ転送期間以下と設定するのが望ましい。また図１２の撮像部１２１を使用している場合、露光時間は、長時間露光および短時間露光は変えずに全て同じ露光時間に設定して撮像する。
【００９４】
（ステップＳａ０４）
水平方向の画素値をライン毎に積算する。なお、当実施形態では、全ての画素は赤外光に対して感度を持っている為、撮像信号、即ち、デモザイク前のＲＡＷ（ＣＭＯＳ、ＣＣＤセンサから読みだしたそのままの）の値（画素値）で確認する。
【００９５】
図１７に垂直ライン数と水平方向を積算値した関係図を示し、縦軸は水平方向の画素値を全て積算した値を示している。
【００９６】
積算値の求め方を以下に示す。
［式５］
垂直１ライン目の積算値Ｉ（１）＝Ｐ（１、１）＋Ｐ（２、１）＋…＋Ｐ（８、１）
［式６］
垂直２ライン目の積算値Ｉ（２）＝Ｐ（１、２）＋Ｐ（２、２）＋…＋Ｐ（８、２）
［式７］
垂直Ｙライン目の積算値Ｉ（Ｙ）＝Ｐ（１、Ｙ）＋Ｐ（２、Ｙ）＋…＋Ｐ（８、Ｙ）
上記のように計算し、積算値Ｉと垂直ライン数Ｙの関係を求める。
【００９７】
なお、（２ｎ−１）番目ラインはＢ画素とＩＲ画素であり、（２ｎ）番目ラインはＧ画素とＲ画素である（ｎは正の整数）。したがって、撮影している被写体や光源によっては、撮像部１２１への入射光が一様であってもＲ、Ｇ、Ｂ、ＩＲ各画素の感度に差があるため（２ｎ−１）番目ラインと（２ｎ）番目ラインの積算値Ｉ差が生じる。
【００９８】
しかし、ここでの目的は、赤外光の発光を図１３で示している赤外領域(８５０ｎｍ程度を中心とする領域)の波長の発光を撮像信号のピークとして検出するものである。このため、暗箱内等でＲ、Ｇ、Ｂの光成分の撮像部１２１への入射を小さく抑える、または、時間経過によらず一定になるようにすれば赤外光発光を撮像信号のピークとしてとらえることができる。
【００９９】
（ステップＳａ０５）
次に、前ステップで求めた積算値から、撮像映像の中に赤外光の発光を検出したラインがあるかを確認する（図１７）。
【０１００】
確認する方法は、図１７に示すように、得られた積算値Ｉ（Ｙ）を垂直ライン順に並べピークを検出する。具体的には、図１７の図にラプラシアンフィルタなどの微分フィルタを掛け、大きく積算値が変わっているラインがあるかを確認する。
【０１０１】
図１８は、図１７の図に微分フィルタを掛けた図である。微分フィルタ後の値がある閾値（ｔｈ）以上であれば赤外光を発光しているとし、閾値以下であれば赤外光は発光していないと考えることができる。図１８の場合には、ｙライン目に赤外光が発光していると確認できる。
【０１０２】
（ステップＳａ０６）
前ステップまでに赤外光の発光が検出されない場合は、発光データを挿入するタイミングを変える。このことは、撮像部１２１の撮像素子の他、一般のＣＭＯＳ、ＣＣＤセンサにおいて内部の電荷転送期間など外部からの入射光を受け付けない期間があり、露光時間が１水平ライン以下の場合、内部の電荷転送期間に発光しても撮影できないためである。
【０１０３】
具体的には、上記のステップＳａ０１においてＮ＝１とし、Ｍを１００とし、Ｎ＝１＋１００として、再度ステップＳａ０２からステップＳａ０５のフローを実行することで赤外光を検出できる可能性がある。
【０１０４】
上記のフローでも確認できなければＮをインクリメントして再度、ステップＳａ０２からステップＳａ０５を繰り返す。
【０１０５】
（ステップＳａ０７）
赤外光検出後、レイテンシーを計算する。撮像装置１から発光データを出力した時間と検出したｙライン目で発光が確認されたとして、この時間との差を計算する。
【０１０６】
次に、実際に撮像装置１から出力する発光データを挿入するタイミングについて説明する。本実施形態では図１２の撮像部１２１を使用し、短時間露光ラインで赤外光を発光するとし、長時間露光ラインでは赤外光発光をしないとしている。
【０１０７】
ここで、このセンサの１（水平）ライン時間が１４．８１μｓｅｃ、レイテンシーが１４．８１μｓｅｃの場合について以下に説明する。短時間露光ラインとは３ライン目、４ライン目、７ライン目、８ライン目になる。
【０１０８】
短時間露光ラインが撮像するのは、映像データを転送する直前になるので、露光時間を１（水平）ラインとすると、２ライン目の映像データ転送時に発光部３が発光して撮像部１２１の内部では３ライン目が撮像している。したがって、１ライン目に赤外光の発光データを送れば、３ライン目が赤外光の発光を撮像していて３ライン目の映像データとして検出される。
【０１０９】
同様に、２ライン目に発光データを転送した場合、３ライン目の映像データを転送している間に発光部３が発光して、撮像部１２１内部で４ライン目が撮像され映像データとして出力される。
【０１１０】
なお、前述は説明を簡便にする為に１（水平）ライン時間＝レイテンシー（１４．８１μｓｅｃ）としたが現実では１（水平）ラインの映像データ転送時間よりレイテンシーが長くなる場合がある。
【０１１１】
この場合、例えば、１番目の水平ラインの映像データの転送開始直前でなくとも、垂直ブランク期間（ＶＤ＝Ｌの期間）中どこにでも移動してもよく、発光データを垂直ブランク期間内で送るタイミングを調整しても良い。
【０１１２】
図１９は、発光データを映像の垂直ブランキング期間に出力するタイミングチャートを示している。垂直ブランキング期間中も撮像装置１から表示記録装置２へＨＤ信号をＬ固定せずに送ることで、垂直ブランキング期間中も発光データを送ることができる。
【０１１３】
次に、ＤＥＭＵＸ８１の動作について説明する。図２０は、第二の実施形態におけるＤＥＭＵＸ８１の動作を示したタイミングチャートである。
【０１１４】
ＤＥＭＵＸ８１への入力信号は、ＶＤ、ＨＤ、ＰＣＬＫ、入力データが入力信号であり、出力データは、映像データ、発光データである。映像データは接続バス８８を介して、出力映像処理部８２に出力される。また、発光データは接続バス８８を介して、発光制御部８３に出力される。
【０１１５】
映像データは、同期信号ＶＤ、ＨＤの波形から映像データが有効であれば出力映像処理部８２に出力する。また、発光データは同期信号ＶＤ、ＨＤの波形からＶブランクの最後の画素であれば、発光制御部８３に出力する。
【０１１６】
以上から、必要な時にのみ赤外光を発光することにより、消費電力の軽減が可能になる。なお、赤外光は人の目では感知できないので、点滅していたとしても問題はない。
【０１１７】
また、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲの分光特性の撮像装置を使用時、色情報が必要な画素の露光時は赤外光を発光せず、輪郭情報が必要な画素には赤外光を発光し、輪郭と色情報とを組み合わせる様な画像処理をすることで、低照度においても視認性の良い映像を取得できる。
【０１１８】
以上のように、赤外光発光をライン単位で制御することにより、短時間露光ラインの露光時に赤外光を発光し、長時間露光ラインの露光時に赤外光を発光しないことで、フレームレートを維持しつつ、ダイナミックレンジの広い、視認性の良い映像を取得することが可能になる。また、発光タイミングを露光タイミングに同期させて動作させることにより、視認性の良い映像を取得することができる。
【０１１９】
〔第三の実施形態〕
以下に、図面を参照しながら本発明の第三の実施形態について詳しく説明する。なお、第一および第二の実施形態と同じ機能の部分については、同じ符号を用いて説明を省略する。
【０１２０】
図２１は、本発明の構成を示す構成図である。第一および第二の実施形態との違いは、前記両実施形態において発光部３が１個であったのに対し、本実施形態では、発光部３の代わりに、運転席用発光部２１１および助手席用発光部２１２の２個とした点である。
【０１２１】
運転席用発光部２１１は、車の運転席の人に向けて発光する発光部である。助手席用発光部２１２は、車の助手席の人に向けて発光する発光部である。また、運転席用発光部２１１および助手席用発光部２１２は、第一および第二の実施形態と同じ赤外光ＬＥＤのような発光素子である。
【０１２２】
図２２に、表示記録装置２と、運転席用発光部２１１と、助手席用発光部２１２と、を配置した配置図を示す。
【０１２３】
これらの位置は、多くの車でナビゲーションシステムが配置されている車のインストルメントパネル上の運転席と助手席の間を想定しているが、他の場所でも良い。表示記録装置２の前面には、カメラ映像や地図情報を表示する表示部１８、および電源ボタン等の操作部１６を配置している。
【０１２４】
運転席用発光部２１１は、表示記録装置２の横に配置しているが、この位置によらず、例えばスピードメータの横等でも良い。また、助手席用発光部２１２は、表示記録装置２の横に配置しているが、この位置によらず、例えば助手席の前のインストルメントパネル上でも良い。
【０１２５】
＜信号処理部の詳細説明＞
次に、信号処理部１３について詳細に説明する。信号処理部１３の内部ブロック図については、第一および第二の実施形態と同じである。
【０１２６】
映像信号処理部６１では、第一および第二の実施形態でのデモザイクやノイズリダクション等に加え、顔検出処理を行う。顔検出処理については、例えば、特開２０１２−１９８７８１号公報に記載の情報処理方法を用いても良い。
【０１２７】
図２３は、撮像装置１で撮影した映像例である。図２３には、運転席の人２３１、および助手席の人２３２が撮影されている。映像信号処理部６１は、図２３の映像から顔検出処理を行い、運転席の人の顔のエリア２３３、および助手席の人の顔のエリア２３４を検出する。
【０１２８】
次に、第一の実施形態にて記載した手法を用いて、発光量算出部６２にて運転席の人の顔のエリア２３３における輝度平均値を求め、赤外光の運転席用発光量Ｆｄを算出する。また同様に、助手席の人の顔のエリア２３４における輝度平均値を求め、赤外光の助手席用発光量Ｆｐを算出する。なお、運転席に人がいない場合は、Ｆｄ＝０として運転席用発光部から発光しない。また同様に、助手席に人がいない場合は、Ｆｐ＝０として助手席用発光部から発光しない。
【０１２９】
次に、ＭＵＸ６３の動作について説明する。第一の実施形態のようにＶブランクに入れる方法でも良いが、以下の説明では、第二の実施形態と同じようにＨブランクに入れる方法で説明する。
【０１３０】
図２４は、ＭＵＸ６３の入出力信号のタイミングを示す図である。ＶＤ、ＨＤ、ＰＣＬＫ、映像データは映像信号処理部６１から、運転席用発光量Ｆｄおよび助手席用発光量Ｆｐは発光量算出部６２から、それぞれＭＵＸ６３に入力する信号である。また、出力データは、ＭＵＸ６３から出力される信号である。
【０１３１】
第一および第二の実施形態では発光データは一種類であったが、本実施形態では、発光データに関し、運転席用発光量Ｆｄは運転席用発光データ（Ｆｄ）として、助手席用発光量Ｆｐは助手席用発光データ（Ｆｐ）としてそれぞれ出力されることから、発光データは二種類となる。
【０１３２】
図２４に示すタイミングチャートでは、１ライン分の映像データを送る前に即ち、Ｈブランクの最後の２クロックに、運転席用発光データ（Ｆｄ）および助手席用発光データ（Ｆｐ）の二種類の発光データを送信することにした。
【０１３３】
なお、第一および第二の実施形態と同様に、映像のブランキング期間であればいつ発光データを送っても良く、Ｈブランクの最初でも、また発光データの送信時もブランクではなく、有効画素として送信しても良い。
【０１３４】
また、この例では、運転席用発光データ（Ｆｄ）および助手席用発光データ（Ｆｐ）の２種類のデータをＭＵＸ６３に送信したが、出力データからの出力順に合わせて順に送信しても良い。
【０１３５】
また、第二の実施形態で示したように、撮像装置１から出力する発光データと実際に発光するまでのレイテンシーは存在する。このレイテンシーを考慮して、表示記録装置２に送信する必要がある。次に、表示記録処理部１７について説明する。
【０１３６】
第一および第二の実施形態との違いは、発光部３が運転席用発光部２１１および助手席用発光部２１２に代わったことに伴い、発光制御部８３に代えて運転席用発光制御部２５１および助手席用発光制御部２５２になった点にある。
【０１３７】
したがって、運転席用発光データ（Ｆｄ）は、運転席用発光制御部２５１において発光するデータに変更され、運転席用発光部２１１に出力される。また、助手席用発光データ（Ｆｐ）は、助手席用発光制御部２５２において発光データに変更され、助手席用発光部２１２に出力される。
【０１３８】
次に、図２６は、第三の実施形態におけるＤＥＭＵＸ８１の動作を示したタイミングチャートで、ＤＥＭＵＸ８１への入力信号はＶＤ、ＨＤ、ＰＣＬＫ、入力データである。
【０１３９】
映像データは、同期信号ＶＤ、ＨＤの波形から映像データが有効であれば、接続バス８８を介して出力映像処理部８２に出力される。また、映像データは、同期信号ＶＤ、ＨＤの波形からＶブランクの最後から２クロックであれば、運転席用発光データとして、接続バス８８を介して運転席用発光制御部２５１に出力される。さらに、映像データは、同期信号ＶＤ、ＨＤの波形からＶブランクの最後から１クロックであれば、発光データ（Ｆｐ）として、接続バス８８を介して助手席用発光制御部２５２に出力される。
【０１４０】
これにより、運転席および助手席について、それぞれの環境に応じた赤外光データを算出し、各発光部が赤外光を発光することで、それぞれの最適な撮影環境になり、低照度においても視認性の良い映像を取得できる。
【０１４１】
なお、本実施形態では、発光部として運転席用発光部２２１および助手席用発光部２１２の２個であったが、例えば後部座席用発光部（不図示）および後部座席用発光制御部（不図示）をさらに追加するなどして、発光部を３個や４個に増やしても良い。
【０１４２】
発光部を３個や４個に増やした場合、例えば、予め各発光部（または各発光制御部）に個別に識別可能な番号（アドレス）を付与しておき、垂直ブランキング期間（ＨＤ＝Ｌ）となった際に発光部のアドレスと発光データを組み合わせて、所望の発光部へ発光データを送信して発光量を制御することも可能である。
【０１４３】
このように、符号分割多重化を行い撮像装置１と表示記録装置２との間の配線を増やすことなく、複数個の発光部の発光量を制御することも可能である。なお、撮像装置１と表示記録装置２との間の配線は、電気信号による接続として説明したが、例えば光信号による光ファイバ接続でも良い。
【０１４４】
以上のように、複数の赤外光補助光を被写体の状況により制御することで被写体毎に最適な露出にすることが可能になり、視認性の良い映像を取得することが可能になる。
【符号の説明】
【０１４５】
１      撮像装置
２      表示記録装置
３      発光部
１１    レンズ
１２    撮像部
１３    信号処理部
１４    シリアライザ
１５    デシリアライザ
１６    操作部
１７    表示記録処理部
１８    表示部
１９    記録部
２０    外部接続部
２１    バックミラー
２２    鏡
６１    映像信号処理部
６２    発光量算出部
６３    ＭＵＸ
８１    ＤＥＭＵＸ
８２    出力映像処理部
８３    発光制御部
８４    操作部ＩＦ
８５    記録部ＩＦ
８６    外部接続部ＩＦ
８７    制御部
８８    接続バス
１００  車載用撮像システム
１２１  第二の実施形態の撮像部
２１１  運転席用発光部
２１２  助手席用発光部
２３１  運転席の人
２３２  助手席の人
２３３  運転席の人の顔のエリア
２３４  助手席の人の顔のエリア
２５１  運転席用発光制御部
２５２  助手席用発光制御部
【図１】
2019054452.tif 000003
【図２】
2019054452.tif 000004
【図３】
2019054452.tif 000005
【図４】
2019054452.tif 000006
【図５】
2019054452.tif 000007
【図６】
2019054452.tif 000008
【図７】
2019054452.tif 000009
【図８】
2019054452.tif 000010
【図９】
2019054452.tif 000011
【図１０】
2019054452.tif 000012
【図１１】
2019054452.tif 000013
【図１２】
2019054452.tif 000014
【図１３】
2019054452.tif 000015
【図１４】
2019054452.tif 000016
【図１５】
2019054452.tif 000017
【図１６】
2019054452.tif 000018
【図１７】
2019054452.tif 000019
【図１８】
2019054452.tif 000020
【図１９】
2019054452.tif 000021
【図２０】
2019054452.tif 000022
【図２１】
2019054452.tif 000023
【図２２】
2019054452.tif 000024
【図２３】
2019054452.tif 000025
【図２４】
2019054452.tif 000026
【図２５】
2019054452.tif 000027
【図２６】
2019054452.tif 000028