(57)【要約】      （修正有）【課題】画像が高解像度の場合や高フレームレートの場合であっても、画像系の信号を処理する高速回路の複雑化を伴うことが無く、低コスト集積回路を利用可能な車載カメラ装置及び車載カメラ調整装置を提供する。【解決手段】画像を撮像する画像センサモジュール１１０Ａ〜１１０Ｂと、画像センサモジュールが撮像した画像の処理を行う画像処理部１２０と、画像処理部が処理した画像情報８００を出力する画像信号送出部１３０と、画像信号送出部が出力した画像情報に基づき、画像処理部が行う画像処理に関する情報を有する制御情報８２０を通信する制御信号通信部１５０と、を備える。制御信号通信部は、画像信号送出部から出力される画像情報に含まれる画像フレーム内の基準信号に基づいて予め設定した時間後に制御情報を通信する。画像処理部は、制御情報に応答して画像処理を行う。【選択図】図１
2018022974.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する画像撮像部と、
上記画像撮像部が撮像した画像の処理を行う画像処理部と、
上記画像処理部が処理した画像情報を出力する画像信号送出部と、
上記画像信号送出部が出力した画像情報に基づき、上記画像処理部が行う画像処理に関する情報を有する制御情報を通信する制御信号通信部と、
を備え、上記制御信号通信部は、上記画像信号送出部から出力される画像情報に含まれる画像フレーム内の基準信号に基づいて予め設定した時間後に上記制御情報を通信し、上記画像処理部は、上記制御情報に応答して画像処理を行うことを特徴とする車両に搭載される車載カメラ装置。
【請求項２】
請求項１に記載の車載カメラ装置において、
上記画像信号送出部から出力される画像情報に含まれる画像フレーム内の上記基準信号に基づいて予め設定した時間後に上記制御情報の通信を行う際に、上記画像処理部は、上記画像処理部が行う画像の処理動作を設定する情報を受け取り、上記制御情報に従った画像処理の結果を上記制御信号通信部に出力することを特徴とする、車載カメラ装置。
【請求項３】
請求項１に記載の車載カメラ装置において、
上記制御信号通信部は、上記制御情報による指示に従い、上記画像フレーム内の基準信号のタイミングとは独立したタイミングで上記制御情報の通信を行う動作となることを特徴とする、車載カメラ装置。
【請求項４】
請求項３に記載の車載カメラ装置において、
上記画像フレーム内の基準信号のタイミングとは独立したタイミングで上記制御情報の通信を行った後に、上記制御情報による指示に従い、上記画像フレーム内の基準信号のタイミングを基準とした動作に戻るために、上記画像フレーム内の基準信号フレーム内の特定の基準信号まで待機し、その後に上記画像フレーム内の基準信号のタイミングを基準とした動作を行うことを特徴とする、車載カメラ装置。
【請求項５】
請求項２から請求項４のうちのいずれかに記載の車載カメラ装置において、
上記画像処理部は、上記画像処理部が行う画像の処理動作を設定する情報の受け取りと同時に、上記制御情報に従った画像処理の結果を上記制御信号通信部に出力することを特徴とする車載カメラ装置。
【請求項６】
請求項４に記載の車載カメラ装置において、
上記画像フレーム内の基準信号のタイミングとは独立したタイミングで上記制御情報の通信を行う動作となる際に、上記独立したタイミングで上記制御情報の通信が可能な状態となったことを、上記制御情報を用いたポーリングにより行う機能を有することを特徴とする、車載カメラ装置。
【請求項７】
請求項２に記載の車載カメラ装置において、
上記制御信号通信部は、上記画像処理部の処理単位ごとに、上記制御情報として処理の完了通知を出力することを特徴とする、車載カメラ装置。
【請求項８】
車載カメラ装置を調整する車載カメラ調整装置であって、
上記車載カメラ装置から画像情報を受信する画像信号受信部と、
上記受信した画像情報に基いて、制御情報を生成する信号処理部と、
上記受信した画像情報に同期して上記車載カメラ装置と制御情報を通信する制御信号通信部と、
を備え、上記制御信号通信部は、上記画像信号受信部が受信した上記画情報に含まれる画像フレーム内の基準信号に基づいて所定時間経過後に、上記車載カメラ装置に制御情報を出力し、上記所定時間は、上記車載カメラ装置が画像情報を処理するのに要する時間に基づいて設定されることを特徴とする車載カメラ調整装置。
【請求項９】
請求項８に記載の車載カメラ調整装置において、
上記画像信号受信部が上記画像情報に含まれる画像フレーム内の上記基準信号を受信してから所定時間経過後に、上記車載カメラ装置に対して上記制御信号通信部は、制御情報を出力し、上記制御情報を出力した後に、特定の時間の経過後に、上記車載カメラ装置が、上記制御信号通信部が出力した制御情報に応答するための信号を出力するために用いるクロックを出力することを特徴とする車載カメラ調整装置。
【請求項１０】
請求項８に記載の車載カメラ調整装置において、
上記画像信号受信部で受信した前記画像情報に含まれる画像フレーム内の基準信号に関わらず、上記制御信号通信部が上記制御情報を通信する通信モードをさらに有することを特徴とする車載カメラ調整装置。
【請求項１１】
請求項１０に記載の車載カメラ調整装置において、
上記画像信号受信部で受信した上記画像情報に含まれる画像フレーム内の基準信号に関わらず、上記制御信号通信部が上記制御情報を通信する通信モードに移行する際に、上記車載カメラ装置が当該通信モードへ移行したことの確認を、上記制御情報を用いてポーリングすることを特徴とする車載カメラ調整装置。
【請求項１２】
請求項８から請求項１１のうちのいずれか一項に記載の車載カメラ調整装置において、
上記画像信号受信部で受信した上記画像情報に含まれる画像フレーム内の基準信号を受信してから所定時間経過後に、上記制御信号通信部が上記車載カメラ装置に対して制御情報を出力する機能と、上記車載カメラ装置が内部処理単位ごとに制御情報を出力する完了通知を用いて、上記車載カメラ装置に対して上記制御情報を出力する機能を併用することを特徴とする車載カメラ調整装置。
【請求項１３】
車載カメラ装置及び車載カメラ調整装置を有する車載カメラ調整システムにおいて、
上記車載カメラ調整装置は、上記車載カメラ装置から画像情報を受信する画像信号受信部と、上記画像情報に同期して制御情報を上記車載カメラ装置に送信する制御信号通信部とを有し、
上記車載カメラ調整装置の上記制御信号通信部は、上記画像信号受信部で上記画像情報に含まれる画像フレーム内の基準信号を受信してから所定時間経過後に、上記車載カメラ装置に対して上記制御情報を前記制御信号へ出力し、上記記所定時間は、上記車載カメラ装置が上記画像情報を処理するのに要する時間に基づいて設定されることを特徴とする車載カメラ調整システム。
【請求項１４】
請求項１３記載の車載カメラ調整システムであって、前記車載カメラは内部処理の単位で前記制御信号へ完了通知を出力する機能を有し、前記車載カメラ調整装置は前記完了通知を用いて前記制御情報を前記制御信号へ出力する機能も併用する、車載カメラ調整システム。
【請求項１５】
車載カメラ装置において、
撮像機能を有する車載カメラユニットと、
上記車載カメラユニットの画像情報出力を受信し、画像認識処理を行う画像処理ユニットと、
を備え、
上記車載カメラユニットと上記画像処理ユニットは制御情報を相互通信し、
上記画像処理ユニットは、上記車載カメラユニットから画像情報を受信する画像信号受信部と、上記画像情報に同期して上記制御情報を送信する制御信号通信部と、を有し、
上記制御信号通信部は、上記画像信号受信部で受信した上記画像情報に含まれる画像フレーム内の基準信号を受信してから所定時間経過後に、上記車載カメラユニットに対して上記制御情報を出力し、上記所定時間は、上記車載カメラユニットが画像情報を処理するのに要する時間に基づいて設定されることを特徴とする車載カメラ。
【請求項１６】
請求項１５に記載の車載カメラにおいて、
上記制御情報を用いて上記車載カメラユニットの露光タイミングを制御する機能を有することを特徴とする車載カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車に搭載する車載カメラ装置、車載カメラ調整装置及び車載カメラ調整システムに関する。
【背景技術】
【０００２】
近年、車載安全装置や運転補助装置の外界認識センサとして車載カメラが用いられることがある。このような車載カメラは撮影した画像を処理することで、車両の外界の障害物や先行車、道路情報などを認識する。この認識結果に基づき車両を適切に制御することで、予防安全や運転補助を実現している。
【０００３】
車両制御に認識結果を用いるには、認識した物体の位置を正確に検出する必要がある。そこで、車載カメラの製造公差を調整する仕組みや、認識結果を評価する仕組みを考慮する必要があり、調整や評価に必要となる制御情報の通信が車載カメラに必要となっている。
【０００４】
車載カメラによる画像処理は、画像１フレーム単位での処理を基本とするので、調整や評価、画像の撮像制御や認識処理の制御情報は、その全部あるいは一部を画像の各フレームに同期させて通信を行うことが通常である。
【０００５】
画像の各フレームに同期して制御情報の通信を行う装置としては、特許文献１に示された装置がある。特許文献１には、画像信号のブランキング期間を用いて画像信号に情報を重畳することが述べられており、情報は画像に同期して伝送される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−７２６０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特に画像が高解像度の場合や高フレームレートの場合、画像信号に制御信号を重畳すると、画像系を取り扱う高速回路に制御情報を取り扱う回路の一部を組み込む必要が生じ、高速回路が複雑化することになる。
【０００８】
この結果、高速回路部分の回路遅延増加や高速回路の最適化の影響などで、取り扱う機能以上に論理の増大を招き、あるいは必要動作周波数での動作が困難になり、安価なＦＰＧＡ（Field-Programmable Gate Array）など低コスト集積回路の利用ができない場合があるという課題があった。
【０００９】
本発明の目的は、高解像度、高フレームレート等の画像を取り扱うことが原因で、画像系の信号を処理する回路が高速となっても、当該高速回路が複雑となることを抑制し、安価なＦＰＧＡ等の低コスト集積回路を利用可能な車載カメラ装置、車載カメラ調整装置及び車載カメラ調整システムを実現することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明は次のように構成される。
【００１１】
（１）車載カメラ装置において、画像を撮像する画像撮像部と、上記画像撮像部が撮像した画像の処理を行う画像処理部と、上記画像処理部が処理した画像情報を出力する画像信号送出部と、上記画像信号送出部が出力した画像情報に基づき、上記画像処理部が行う画像処理に関する情報を有する制御情報を通信する制御信号通信部とを備え、上記制御信号通信部は、上記画像信号送出部から出力される画像情報に含まれる画像フレーム内の基準信号に基づいて予め設定した時間後に上記制御情報を通信し、上記画像処理部は、上記制御情報に応答して画像処理を行う。
【００１２】
（２）車載カメラ装置を調整する車載カメラ調整装置であって、上記車載カメラ装置から画像情報を受信する画像信号受信部と、上記受信した画像情報に基づいて、制御情報を生成する信号処理部と、上記受信した画像情報に同期して上記車載カメラ装置と制御情報を通信する制御信号通信部とを備え、上記制御信号通信部は、上記画像信号受信部が受信した上記画情報に含まれる画像フレーム内の基準信号に基いて所定時間経過後に、上記車載カメラ装置に制御情報を出力し、上記所定時間は、上記車載カメラ装置が画像情報を処理するのに要する時間に基づいて設定される。
【００１３】
（３）車載カメラ装置及び車載カメラ調整装置を有する車載カメラ調整システムにおいて、上記車載カメラ調整装置は、上記車載カメラ装置から画像情報を受信する画像信号受信部と、上記画像情報に同期して制御情報を上記車載カメラ装置に送信する制御信号通信部とを有し、上記車載カメラ調整装置の上記制御信号通信部は、上記画像信号受信部で上記画像情報に含まれる画像フレーム内の基準信号を受信してから所定時間経過後に、上記車載カメラ装置に対して上記制御情報を前記制御信号へ出力し、上記記所定時間は、上記車載カメラ装置が上記画像情報を処理するのに要する時間に基づいて設定される。
【００１４】
（４）車載カメラ装置において、撮像機能を有する車載カメラユニットと、上記車載カメラユニットの画像情報出力を受信し画像認識処理を行う画像処理ユニットと、が分離されている構成では、上記車載カメラユニットと上記画像処理ユニットは制御情報を相互通信し、上記画像処理ユニットは、上記車載カメラユニットから画像情報を受信する画像信号受信部と、上記画像情報に同期して上記制御情報を送信する制御信号通信部とを有し、上記制御信号通信部は、上記画像信号受信部で受信した上記画像情報に含まれる画像フレーム内の基準信号を受信してから所定時間経過後に、上記車載カメラユニットに対して上記制御情報を出力し、上記所定時間は、上記車載カメラユニットが画像情報を処理するのに要する時間に基づいて設定される。
【発明の効果】
【００１５】
本発明によれば、画像が高解像度の場合や高フレームレートの場合であっても、画像系の信号を処理する高速回路の複雑化を伴うことが無く、安価なＦＰＧＡ等の低コスト集積回路を利用可能な車載カメラ装置、車載カメラ調整装置及び車載カメラ調整システムを実現することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施例１による車載カメラ装置及び外部装置（車載カメラ調整装置など）の概略構成図である。
【図２】実施例１における車載カメラ装置の内部処理と外部装置との制御通信の関係を示す図である。
【図３】実施例１において、外部装置が車載カメラ装置と制御信号を用いた通信を行う際のタイミングの一例の説明図である。
【図４】実施例１における車載カメラ装置と外部装置との間で制御信号を送受し、外部装置が車載カメラ装置の内部処理に対して値を設定する際のタイムチャートである。
【図５】外部装置が車載カメラ装置の処理パラメータを設定し、かつ車載カメラ装置の内部処理結果を外部装置が取得する際の制御信号タイムチャートである。
【図６】車載カメラ装置の内部処理結果を外部装置が取得する際の制御信号タイムチャートである。
【図７】実施例１における外部装置が調整データを車載カメラ装置に書き込む際の車載カメラ内部処理と制御通信の関係の一例を示す図である。
【図８】実施例１において外部装置が処理Ｘ要求及び調整データを車載カメラ装置に転送する際の制御信号のタイムチャートである。
【図９】調整データの転送後、車載カメラ装置を画像フレームに同期した動作に戻す際の車載カメラ内部処理と制御通信の関係を示す図である。
【図１０】車載カメラ装置が処理Ｘから通常の処理状態へ移行する際の制御信号を構成する各信号線の動作を示す図である。
【図１１】実施例２における車載カメラ装置の内部処理と外部装置との制御通信の関係を示す図である。
【図１２】実施例２における車載カメラ装置と外部装置との間の制御信号送受のタイムチャートである。
【図１３】実施例２における外部装置が調整データを車載カメラ装置に書き込む際の車載カメラ内部処理と制御通信の関係の一例を示す図である。
【図１４】実施例２において外部装置が処理Ｘ要求及び調整データを車載カメラ装置に転送する際の制御信号のタイムチャートである。
【図１５】実施例３における車載カメラ装置の内部処理と外部装置との制御通信の関係を示す図である。
【図１６】実施例３において外部装置が車載カメラ装置と制御信号を用いた通信を行う際のタイミングの一例の説明図である。
【図１７】車載カメラ装置の画像処理回路Ａの処理結果を外部装置が取得する際の制御信号タイムチャートである。
【図１８】本発明の実施例４による、車載カメラユニット及び画像処理ユニットを備える車載カメラ装置の概略構成図である。
【図１９】実施例４の車載カメラユニットと、画像処理ユニットとの間の制御通信と車載カメラユニットの内部処理の関係を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について添付図面を参照して説明する。
【実施例】
【００１８】
（実施例１）
図１は、本発明の実施例１による車載カメラ装置及び車載カメラ調整装置の概略構成図である。
【００１９】
図１において、車載カメラ装置１００と、車載カメラ調整装置である外部装置５００とにより車載カメラ調整システムが構成される。外部装置５００は車載カメラ装置１００の調整に用いる装置、あるいは動作情報の取得やデバッグに用いる装置などに相当する。
【００２０】
車載カメラ装置１００は、画像を撮像し電気信号に変換する２つの画像センサモジュール（画像撮像部）１１０Ａ、１１０Ｂと、画像処理のアクセラレータとして機能する画像処理回路（画像処理部）Ａ１２０と、画像処理回路Ａ１２０の制御やソフトウェアによる画像処理、及び車載カメラ装置１００の全体制御を行うマイコンＡ１４０と、撮影した画像や画像処理回路Ａ１２０で処理した画像を出力するインタフェースとなる画像信号送出部１３０と、マイコンＡ１４０が必要とする制御情報の通信インタフェースとなる制御信号通信部１５０とを備える。
【００２１】
画像処理回路Ａ１２０は、マイコンＡ１４０で処理すると効率が悪く処理内容に対して実行時間を要する処理、例えば、画像の露光補正や歪み補正、エッジ抽出処理を行う。図１に示す車載カメラ装置１００は、ステレオ視により対象物までの距離を検出する機能を有するカメラ装置であるため、画像センサモジュール１１０を２個有し、画像処理回路Ａ１２０には左右画像から各画素グループ（画素を縦横数ピクセル単位で束ねたもの）に対する視差の大きさを検出する機能（視差画像生成機能）も有する。
【００２２】
マイコンＡ１４０は、ＣＡＮ（Controller Area Network）に接続されており、車両に存在する他の制御装置（図示せず）とＣＡＮ信号で相互通信することができる。
【００２３】
外部装置５００は、車載カメラ装置１００から出力された画像信号８００を受信するインタフェースとなる画像信号受信部Ａ５３０と、車載カメラ装置１００と制御信号８２０を相互通信するインタフェースとなる制御信号通信部Ａ５５０と、画像信号８００を分析処理し車載カメラ装置１００から取得した制御情報も用いて車載カメラ装置１００に出力する制御情報（画像処理回路Ａ１２０が行う画像の露光補正や歪み補正、エッジ抽出処理等の調整に関する情報）を生成する信号処理部５４０と、画像信号８００に含まれる同期情報（垂直同期信号や水平同期信号、あるいは画像信号８００内の特定のデータパターンなど）を元に、画像の１フレーム内の基準となるタイミングを検出し、そのタイミングから特定の時間経過後に信号を出力するタイミング生成部５６０と、タイミング生成部５６０からの信号及び信号処理部５４０からの指示に従い、制御用のコマンドを生成するコマンド生成部５７０とを備える。
【００２４】
外部装置５００を構成する信号処理部５４０は専用機器でもパソコンと専用のソフトウェアを組み合わせた構成でも構わない。
【００２５】
以上のような構成とすることで、外部装置５００は画像信号８００から検出できるタイミングを基準にした画像のフレーム内の特定のタイミングを狙って制御情報の通信を行うことが可能である。
【００２６】
車載カメラ装置１００の調整は、車載カメラ装置１００の製品としての出荷前等において行行われる。これは、２つの画像センサモジュール１１０Ａ、１１０Ｂにより予め定めた、例えば、いくつかの幾何学模様を撮像し、画像処理回路Ａ１２０、画像信号送出部１３０を介して出力された画像信号８００を外部装置５００が受信し、受信した信号から、車載カメラ装置１００の例えば、歪補正やシェーディング補正が必要か否かを判断し、これらの補正が必要な場合は、補正信号を車載カメラ装置１００に出力する。車載カメラ装置１００は、受信した補正信号に従って、歪補正やシェーディング補正を行う。
【００２７】
本発明は、車載カメラ装置１００と、車載カメラ調整装置である外部装置５００との間の制御制情の送受信についての技術である。
【００２８】
図２は、実施例１における車載カメラ装置１００の内部処理と外部装置５００との制御通信の関係を示す図である。図２を用いて本発明の実施例１における車載カメラ装置１００の内部処理と車載カメラ装置１００と外部装置５００との間の制御情報の通信（制御通信）の関係の一例を説明する。
【００２９】
車載カメラ装置１００は、画像信号８００により順次画像フレーム２１０、２２０を出力する。画像フレーム２１０と２２０との間には垂直同期期間２０１が存在する。車載カメラ装置１００は、画像フレームに合わせて内部で画像処理を行う。車載カメラ装置１００の内部処理はフレーム全体単位で実施するため、１フレーム前の画像に対して処理を行う。
【００３０】
車載カメラ装置１００の内部では、順次処理が実行される通常処理と、通常処理に割り込み処理を行う割込処理がある。通常処理は画像処理回路Ａ１２０とマイコンＡ１４０の協調動作により実現し、割込処理はマイコンＡ１４０の割り込み実行機能を用いて対応する。
【００３１】
画像処理回路Ａ１２０とマイコンＡ１４０の協調動作は、マイコンＡ１４０が主体となって、必要なタイミングで画像処理回路Ａ１２０の実行すべき画像処理機能を開始するよう指示することで実現する。
【００３２】
車載カメラ装置１００の通常処理として、処理Ａ２３０（露光補正）、処理Ｂ２４０（歪み補正）、処理Ｃ２５０（物体認識）を実行する。割込処理では制御通信に伴う制御情報のやり取りを実施する。尚、これらの処理は一例であり、通常処理は車載カメラ装置１００の機能により追加・削除・変更が可能であり、割込処理では図２に示す以外の処理を行っても構わない。
【００３３】
処理Ａ２３０（露光補正）は画像センサモジュール１１０の感度ばらつきや画素による感度ばらつきの補正を行う処理である。処理Ｂ２４０（歪み補正）では光学系で発生する画像の変形を補正する。処理Ｃ２５０（物体認識）では画像認識処理により画像の中から物体を検出し、また物体の３次元推定位置を算出する。処理Ｃ２５０では必要に応じて最初にエッジ検出処理や視差画像生成処理も行う。
【００３４】
制御通信では、外部装置５００が車載カメラ装置１００から出力される画像信号８００に含まれる同期情報を元に適切なタイミングで通信動作を指定するコマンドとなる通信要求信号を出力する。外部装置５００は、処理Ｂ２４０の開始に間に合うタイミングで通信要求Ｂ３６０を出力し、引き続き処理Ｂ２４０の動作設定をする処理Ｂ設定３６１を車載カメラ装置１００に出力する。
【００３５】
処理Ａ２３０完了後、かつ処理Ｃの開始に間に合うタイミングで、外部装置５００は、通信要求ａＣ３５０を出し、引き続き処理Ｃ２５０の動作設定をする処理Ｃ設定３５１を車載カメラ装置１００に出力する。この際、車載カメラ装置１００で通信要求指示を処理する処理時間を考慮し、処理Ａ２３０完了後に処理Ａ結果３１５の通信に必要なデータの収集を開始することが保証できれば、処理Ａ２３０の完了前のタイミングから通信要求ａＣ３５０の出力を開始しても構わない。
【００３６】
処理Ｂ２４０の結果取得も同様で、処理Ｂ２４０の完了以降に車載カメラ装置１００が処理Ｂ結果３２５の通信に必要なデータの収集を開始することを保証できるタイミングで、外部装置５００が通信要求ｂ３６５を出力する。
【００３７】
車載カメラ装置１００から処理結果を取得する通信要求、通信要求ａＣ３５０や通信要求ｂ３６５などでは、車載カメラ装置１００の通信処理２９０で通信に必要な処理結果を集め、制御信号通信部Ｂ１５０が自動的に処理結果を出力できるように設定する。車載カメラ装置１００が処理結果を出力可能になったタイミングを見計らって、外部装置５００は制御信号８２０を介して車載カメラ装置１００へ通信要求を出力し、車載カメラ装置１００は通信要求に対応した処理結果、すなわち通信要求ａＣ３５０に対しては処理Ａ結果３１５、通信要求ｂ３６５に対しては処理Ｂ結果３２５を外部装置５００へ送信する。
【００３８】
通信要求ｃＡ３５５は処理Ｃ２５０の結果を取得し処理Ａ２３０の設定を行う要求であるため、車載カメラ装置１００が、処理Ｃ２５０が完了した以降に車載カメラ装置１００が通信要求を処理し、次のフレームの処理Ａ２３０の設定に間に合うタイミングで外部装置５００より出力する。
【００３９】
調整や評価の目的により、一部の制御通信のみを実施しても構わない。また、通信要求ａＣ３５０のように、車載カメラ装置１００への設定と車載カメラ装置１００内部処理の結果取得の両方の要求を出す代わりに、処理Ａ２３０の結果取得のみ実施する要求を出す機能も追加して良い。例えば、露光補正の調整の際には均一の明るさとなっている画像を車載カメラ装置１００で撮影しながら、処理Ａ２３０の設定と結果取得のみを行うことが考えられる。この場合、通信要求ｃＡ３５５の代わりに処理Ａ設定３５６のみを行うための通信要求を用意し、通信要求ａＣ３５０の代わり処理Ａ結果３１５を取得するのみの通信要求を用意して、これらの通信要求を用いることも有り得る。
【００４０】
露光補正の調整処理では、処理Ａ２３０に対し暫定的に輝度補正値を設定し、画像信号８００経由で取得した画像の輝度むらを元に設定値を更新するループ処理を行う。また、処理Ａ２３０で車載カメラ装置１００の画像処理にて取得した統計情報（最高輝度、最低輝度、輝度分布傾向など）を処理Ａ２３０の結果として取得し、設定値の更新制御や調整終了判定に利用する。
【００４１】
歪み補正の調整処理も同様であり、処理Ｂ２４０に対する設定と結果取得のみを行う通信要求を用意して利用することも有り得る。
【００４２】
歪み補正の調整処理では、一定パターンを印刷した画像を車載カメラ装置１００で撮影し、画像信号８００経由で取得した画像と理想画像の差分から、暫定的な歪み補正値を求め、処理Ｂ２４０の設定値を更新するループ処理を行う。処理Ｂ２４０で車載カメラ装置１００の画像処理にて取得した統計情報も参考にして、設定値の更新制御や調整終了判定に利用する。但し、処理Ｂ２４０の車載カメラ装置１００の画像処理結果が不要な場合には、処理Ｂ結果３２５を取得する通信要求も不要となる。
【００４３】
尚、車載カメラ装置１００はフレーム出力開始タイミングと内部処理の開始タイミングが異なっていても構わない。
【００４４】
すなわち、車載カメラ装置１００は、画像信号送出部１３０が出力した画像信号の基準信号とは独立したタイミングで制御信号の通信を行うことができる。外部装置５００のタイミング生成部５６０で基準となるタイミングを適切に設定することで、フレームのタイミングと内部処理のタイミングが異なる車載カメラ装置１００にも対応可能である。
【００４５】
次に、図３を参照して、外部装置５００が車載カメラ装置１００と制御信号８２０を用いた通信を行う際のタイミングを説明する。
【００４６】
図３は、実施例１において、外部装置５００が車載カメラ装置１００と制御信号を用いた通信を行う際のタイミングの一例の説明図である。
【００４７】
図３において、本実施例１においては、車載カメラ装置１００の内部処理それぞれはリアルタイム処理を実現するためにある程度の時間揺らぎＴｆの範囲内で実行されるように制御する。許容時間揺らぎＴｆは、マイコンＡ１４０の処理の揺らぎ時間であり、図示した処理ＡとＢとの間の点線、処理ＢとＣとの間の点線を中心として揺らぐものである。
【００４８】
通信タイミングの設定は、車載カメラ装置１００の画像処理回路Ａ１２０を一定時間で特定の処理を実行する構成にすることや、マイコンＡ１４０で実行するソフト処理の実行打ち切り処理などを行うことで対応する。すなわち、処理Ａ２３０は画像フレームを元に決定した基準となるタイミング（基準タイミング）から時間Ｔａｉ以降Ｔａａ以前に終了し、処理Ｂ２４０は時間Ｔｂｉ以降Ｔｂａ以前に終了することが決められている。他の処理についても終了タイミングに同様の制約をかける。
【００４９】
外部装置５００は予め目的のタイミングで必要な制御通信を行えるように、タイミング生成部５６０の設定を行う。すなわち、通信要求Ｂ及び処理Ｂ設定３６２を行うタイミングＴａｓは時間Ｔａｉ（処理Ａの終了時間）より早いタイミングに設定する。通信要求ａＣ及び処理Ｃ設定３５２を行うタイミングＴｂｓは、車載カメラ装置１００が通信要求を処理する時刻がＴａａ以降Ｔｂｉ以前になるタイミングに設定する。
【００５０】
また、外部装置５００が、車載カメラ装置１００から処理Ａ結果３１５を取り込むタイミングＴｂｒは、車載カメラ装置１００側で通信処理２９０により通信要求を処理し、処理Ａ２３０の結果を外部装置５００に対し送信可能となるのに要する時間が確保できるように、Ｔｂｓから時間を空けたタイミングを設定する。
【００５１】
画像フレームの垂直同期タイミングを基準とする場合の、制御信号８２０を構成する各信号線の動作を図４から図６を用いて説明する。
【００５２】
図４は、実施例１における車載カメラ装置１００と外部装置５００との間で制御信号を送受し、外部装置５００が車載カメラ装置１００の内部処理に対して値を設定する際のタイムチャートであり、図５及び図６は、車載カメラ装置１００の内部処理結果を外部装置５００が取得する際の制御信号タイムチャートである。
【００５３】
図４〜図６において、制御信号８２０は、データ通信のクロックとなる制御信号Ｃ８２１と、外部装置５００から車載カメラ装置１００へ通信するデータ信号である制御信号Ｄｍ８２５と、車載カメラ装置１００から外部装置５００へ通信するデータ信号である制御信号Ｄｓ８２６で構成する。データ通信のクロックは常に外部装置５００から出力する。垂直同期情報８１０は、画像信号８００に含まれる情報で、垂直同期期間２０１を示す部分を便宜的にＨ状態（ハイレベル状態）として記している。
【００５４】
図４は外部装置５００が車載カメラ装置１００の内部処理に対して値を設定する例として、図２に示した通信要求Ｂ３６０に関連する通信を示す図である。図４において、垂直同期期間の立下り時間である基準タイミングからＴａｓ時間経過後に外部装置５００から制御信号Ｃ８２１にクロックが出力され、このクロックに合わせて通信要求Ｂ３６０を示すビット列及び処理Ｂ設定３６１に対応するビット列が制御信号Ｄｍ８２５に出力される。
【００５５】
図５は外部装置５００が車載カメラ装置１００の内部処理に対して値を設定し、さらに車載カメラ装置１００の内部処理から結果を取得する例として通信要求ａＣ３５０に関連する通信を示す図である。図５において、垂直同期期間の立下り時間である基準タイミングからＴｂｓ時間経過後に、外部装置５００から制御信号Ｃ８２１にクロックが出力され、このクロックに合わせて通信要求ａＣ３５０を示すビット列及び処理Ｃ設定３５１に対応するビット列が制御信号Ｄｍ８２５に出力される。一度、制御信号Ｃ８２１のクロックは停止され、基準タイミングからＴｂｒ時間経過後に外部装置５００から制御信号Ｃ８２１に再びクロックを出力する。このクロックに合わせて車載カメラ装置１００は制御信号Ｄｓ８２６に処理Ａ結果３１５に対応するビット列を出力する。
【００５６】
図６は外部装置５００が車載カメラ装置１００の内部処理の結果を取得する例として通信要求Ｂ３６０に関連する通信を示す図である。図６において、Ｔｃｓ、Ｔｃｒは、通信要求ａＣ３５０と同様の考え方で、処理Ｃ２５０の終了時間の揺らぎ範囲を元に決める。垂直同期期間の立下り時間である基準タイミングからＴｃｓ時間経過後に外部装置５００から制御信号Ｃ８２１にクロックが出力され、このクロックに合わせて通信要求ｂ３６５を示すビット列が制御信号Ｄｍ８２５に出力される。一度、制御信号Ｃ８２１のクロックは停止され、基準タイミングからＴｃｒ時間経過後に外部装置５００から制御信号Ｃ８２１に再びクロックを出力する。このクロックに合わせて車載カメラ装置１００は制御信号Ｄｓ８２６に処理Ｂ結果３２５に対応するビット列を出力する。
【００５７】
なお、上述した制御信号８２０の構成は一例であり、他の構成でも同様の機能を実現できれば構わない。また、通信要求に対応するビット長や設定データの通信に用いるビット長、処理結果の通信に用いるビット長も必要なデータ量に応じて変更して構わない。但し、通信要求はビット長を固定にして、設定データのビット長や処理結果のビット長は通信要求の内容から一意に決定できるようにして、車載カメラ装置１００と外部装置５００の間で齟齬が生じないようにする必要がある。
【００５８】
次に、外部装置５００を用いて決定した車載カメラ装置１００の調整データ３８１を車載カメラ装置１００のマイコンＡ１４０に搭載されたフラッシュメモリなどに書き込む際の車載カメラ内部処理と制御通信の関係について図７を用い説明する。
【００５９】
図７は、実施例１における外部装置５００が調整データを車載カメラ装置１００に書き込む際の車載カメラ内部処理と制御通信の関係の一例を示す図である。
【００６０】
図７において、調整データ３８１は、各画素あるいは数個から数十個の画素単位ごとにパラメータ（輝度補正値、歪み補正値）を書き込む必要があり、データ量が多く、通信速度の遅い制御信号８２０では１フレーム内で通信を完了できない可能性がある。そこで、画像フレームのタイミングとは無関係に、独立したタイミングで制御信号８２０を用いて通信する通信モードを用意して対応する。
【００６１】
調整データ３８１を車載カメラ装置１００に書き込むために、外部装置５００は制御信号８２０を用いて処理Ｘ要求３８０を出力する。処理Ｘ要求３８０を受信した車載カメラ装置１００は通信処理２９０で処理Ｘ要求３８０に対応する処理を行い、車載カメラ装置１００の通常処理を処理Ｘ２８０（調整情報書き込み）用に移行するフラグを立てる。車載カメラ装置１００は処理Ａ２３０の区切りに当該フラグを確認し通常処理を処理Ｘ２８０に移行する。
【００６２】
車載カメラ装置１００が処理Ｘ２８０に確実に移行する時刻を待ち、外部装置５００は調整データ３８１の出力を開始し、車載カメラ装置１００は処理Ｘ２８０で受け取った調整データをマイコンＡ１４０内のフラッシュメモリに書き込む。フラッシュメモリの書き込み速度より制御信号８２０のデータ転送速度が高速な場合は、マイコンＡ１４０のＲＡＭに書きこんだり、調整データ３８１を転送する際に、一定データ転送毎に外部装置５００が制御信号Ｃ８２１のクロックを一時停止してフラッシュメモリへの書き込み時間を確保したりして対応する。
【００６３】
次に、図８を用い処理Ｘ要求３８０及び調整データ３８１の転送に伴う制御信号８２０を構成する各信号線の動作を説明する。
【００６４】
図８は、実施例１において外部装置５００が処理Ｘ要求及び調整データを車載カメラ装置１００に転送する際の制御信号のタイムチャートである。
【００６５】
図８において、外部装置５００より車載カメラ装置１００に調整データ３８１を書き込む際には、他の通信を制御信号８２０で行っていない任意のタイミングで外部装置５００より制御信号Ｃ８２１にクロックを出力し、このクロックに合わせて制御信号Ｄｍ８２５に処理Ｘ要求３８０に対応するビット列を出力する。外部装置５００は処理Ｘ要求３８０のビット列を出力後、処理Ｘ要求を開始してからＴｘｗ時間経過後に再び制御信号Ｃ８２１にクロックを出力し、このクロックに合わせて調整データ３８１に対応するビット列を出力する。
【００６６】
車載カメラ装置１００は処理Ｘ２８０実行中には画像フレームに関係なく動作するため、垂直同期情報８１０の垂直同期情報の出力タイミングとは関係なく調整データ３８１の転送を継続できる。
【００６７】
図９は、調整データ３８１の転送後、車載カメラ装置１００を画像フレームに同期した動作に戻す際の車載カメラ内部処理と制御通信の関係を示す図である。
【００６８】
図９において、車載カメラ装置１００は調整データ３８１の受信完了後、処理Ｙ２８５（指示待ち）状態に移行する。この状態で外部装置５００が復帰要求３８５を制御信号８２０経由で出力すると、車載カメラ装置１００は処理Ｚ２８９（モード移行待ち）となる。車載カメラ装置１００は処理Ｚ２８９状態になった後、垂直同期期間２０１の完了（特定のタイミング）を待って、通常の処理状態である処理Ａ（露光補正）２３０に移行する。
【００６９】
図１０は、車載カメラ装置１００が処理Ｘ２８０から通常の処理状態へ移行する際の制御信号８２０を構成する各信号線の動作を示す図である。
【００７０】
図１０に示すように、調整データ３８１の通信完了後、外部装置５００は制御信号Ｃ８２１へのクロック出力を停止する。外部装置５００は車載カメラ装置１００を再度通常の処理状態へ移行させたい場合、任意のタイミングで制御信号Ｃ８２１にクロックを出力し、クロックに合わせて復帰要求３８５に対応するビット列を制御信号Ｄｍ８２５に出力する。その後、次の垂直同期情報８１０は解除されるタイミングを待って、車載カメラ装置１００及び外部装置５００は通常の処理状態（画像フレームに同期した処理状態）へ移行する。
【００７１】
なお、画像フレームに同期した処理状態が垂直同期を基準としない場合は、その基準とするタイミングにて通常の処理状態に移行することも考えられる。
【００７２】
また、外部装置５００から車載カメラ装置１００内部の処理の途中に通信要求を出し、その時の内部状態を結果として取得することで、車載カメラ装置１００の内部で行われる処理のデバッグや処理速度の調査に活用することも考えられる。
【００７３】
さらに、車載カメラ装置１００によっては画像フレーム時間が、フレームにより異なる場合がある。このような場合、例えば垂直同期期間２０１に外部処理装置５００が次の画像フレームのフレーム時間に対応するフレームタイプの情報を取得する通信要求を出し、他の処理結果を取得する手順と同様にフレームタイプの結果を取得し、この情報に基づき、次の通信要求発行タイミング（Ｔａｓ、Ｔｂｓ、Ｔｂｒなど）をフレームタイプに対応するタイミングに変更して対応することも可能である。
【００７４】
外部装置５００による車載カメラ装置１００の調整が終了すると、車載カメラ装置１００と外部装置５００とは分離される。
【００７５】
以上のように、本発明の実施例１によれば、外部装置５００（車載カメラ調整装置）は、車載カメラ装置１００から出力された映像信号を基準タイミングとして、車載カメラ装置１００の処理結果（露光処理、歪補正処理、物体認識処理）情報を出力するように要求信号を車載カメラ装置１００に出力し、車載カメラ装置１００は、通常処理とは異なる割り込み処理により上記処理結果情報を外部装置５００に出力し、調整データ３８１を外部装置５００から車載カメラ装置１００に出力し、車載カメラ装置１００と外部装置と間の上記要求信号、処理結果情報、調整データ等の制御情報の相互通信は、垂直同期期間２０１のみならず、画像フレーム時間２１０、２２０にも実行することが可能となるように構成されている。
【００７６】
したがって、映像信号を基準としたタイミングで動作する制御信号の通信であっても制御信号を画像信号から分離することができ、画像が高解像度の場合や高フレームレートの場合であっても、画像系の信号を処理する高速回路の複雑化を伴うことが無く、安価なＦＰＧＡ等の低コスト集積回路を利用可能な車載カメラ装置１００及び車載カメラ調整装置５００を実現することができる。
【００７７】
また、車載カメラ装置１００と車載カメラ調整装置５００を組み合わせた車載カメラ調整システム（１００、５００）を実現することができる。
【００７８】
また、制御情報の通信タイミングを、車載カメラ装置１００を接続する先の機器側である車載カメラ調整装置５００で調整可能となるため、特定のタイミングで車載カメラ装置１００の内部の状態確認にも利用でき、車載カメラ装置１００のデバッグにも適用することが可能となる。
【００７９】
（実施例２）
次に、本発明の実施例２について説明する。
【００８０】
本発明の実施例２は、外部装置５００から車載カメラ装置１００への設定と結果読み出しを同時に行う通信要求を出した場合の手順、及び処理Ｘ２８０への移行手順が実施例１と異なる。全体構成については、実施例２も図１に示した例と同等の構成であるので、図示及び詳細な説明は省略する。
【００８１】
図１１は、実施例２における車載カメラ装置１００の内部処理と外部装置５００との制御通信の関係を示す図であり、図１２は、実施例２における車載カメラ装置１００と外部装置５００との間の制御信号送受のタイムチャートである。
【００８２】
図１１及び図１２を参照して、外部装置５００から車載カメラ１００への設定と結果読み出しを同時に行う通信要求を出した場合の手順が異なる構成を説明する。
【００８３】
図１１において、通信要求ａＣ３５０及び通信要求ｃＡ３５５の後に続く外部装置５００から車載カメラ装置１００に対する設定と結果取得を同時に行っている。
【００８４】
つまり、通信要求ａＣ３５０の後、処理Ａ結果３１５と処理Ｃ設定３５１の通信を同時に行い、通信要求ｃＡ３５５の後、処理Ｃ結果３３５と処理Ａ設定３５６の通信を同時に行う。
【００８５】
図１１の通信要求ａＣ３５０に対応する制御信号８２０の各信号線の動作を図１２に示す。図１２において、垂直同期信号８１０の立下りである基準タイミングからＴｂｓ時間経過後に外部装置５００から制御信号Ｃ８２１にクロックが出力され、このクロックに合わせて通信要求ａＣ３５０を示すビット列が制御信号Ｄｍ８２５に出力される。一度、制御信号Ｃ８２１のクロックは停止され、基準タイミングからＴｂｂ時間経過後に外部装置５００から制御信号Ｃ８２１に再びクロックを出力する。このクロックに合わせて外部装置５００は制御信号Ｄｍ８２５に処理Ｃ設定３５１に対応するビット列を出力し、車載カメラ装置１００は制御信号Ｄｓ８２６に処理Ａ結果３１５に対応するビット列を出力する。
【００８６】
処理Ｃ設定３５１に対応するビット列と処理Ａ結果３１５に対応するビット列の長さが互いに異なる場合は、制御信号Ｃ８２１に出力するクロックは長いビット長に合わせて出力する。短いビット長のデータを受信した側（車載カメラ装置１００または外部装置５００）はビット列の最後に付加された余分なデータを無視する。実施例２におけるこの手順では、実施例１に対し処理Ｃ３５１の通信に用いる時間を削減できる利点がある。
【００８７】
図１３は、実施例２における外部装置５００が調整データを車載カメラ装置１００に書き込む際の車載カメラ内部処理と制御通信の関係の一例を示す図である。また、図１４は、実施例２において外部装置５００が処理Ｘ要求及び調整データを車載カメラ装置１００に転送する際の制御信号のタイムチャートである。
【００８８】
図１３及び図１４を用い、処理Ｘ２８０への移行手順を説明する。この手順は実施例１で説明した図８の時間Ｔｘｗの決定が困難な場合に用いる。
【００８９】
図１３は車載カメラ内部処理と制御通信の関係を示しており、外部装置５００が処理Ｘ要求３８０を出力した後、車載カメラ装置１００が調整データ３８１を受信可能な状態、すなわち処理Ｘ２８０を実行する状態となったことを、外部装置５００から車載カメラ装置１００に対しポーリングを行うことで確認する。
【００９０】
ポーリングは外部装置５００から状態確認３８７を制御信号８２０に出力し、これに対して車載カメラ装置１００が状態ＮＧ３４５あるいは状態ＯＫ３４６を制御信号８２０経由で応答することで行う。
【００９１】
図１４は、図１３の通信手順に対応する制御信号８２０の各信号線の動作を示す。図１４において、外部装置５００は制御信号Ｃ８２１にクロックを出力し、処理Ｘ要求３８０に対応するビット列を制御信号Ｄｍ８２５に出力する。御信号Ｃ８２１にクロックを出力してから、Ｔｐｆｗ時間経過後、状態確認３８７を出力するために、再び制御信号Ｃ８２１にクロックを出力し、制御信号Ｄｍ８２５に状態確認３８７に対応するビット列を制御信号Ｄｍ８２５に出力する。
【００９２】
状態確認３８７の出力は車載カメラ装置１００から状態ＯＫ３４６を受信するまで、間隔Ｔｐｗで行う。状態確認３８７の出力が完了したら制御信号Ｃ８２１に出力するクロックを停止する。
【００９３】
状態確認３８７出力後、車載カメラ装置１００が応答データの準備に要する時間を確保するためＴｐ時間経過するのを待ち、外部装置５００は再び制御信号Ｃ８２１にクロックを出力し車載カメラ装置１００から状態ＮＧ３４５または状態ＯＫ３４６に対応するビット列を受信する。
【００９４】
外部装置５００は状態ＯＫ３４６に対応するビット列を受信したら、調整データ３８１の車載カメラ装置１００への送信をクロックと共に開始する。
【００９５】
尚、外部装置５００が車載カメラ装置１００に対しポーリングを行い、車載カメラ装置１００の状態を確認する手法は、処理Ｘ２８０へ移行したことを確認するのに限らず、車載カメラ装置１００の内部で想定した状態になっているかの確認にも応用可能である。例えば、状態確認に、処理Ａ２３０の実行中を確認する処理Ａ実行状態確認という機能を用意すれば、処理Ａ２３０の実行中であるか否かを検出することも可能となり、外部装置５００と車載カメラ装置１００の間で想定している制御通信が行われているかの確認に利用することができる。
【００９６】
本発明の実施例２によれば、実施例１と同等な効果を得ることができる他、外部装置５００から車載カメラ装置１００への通信要求に必要な時間を短縮することができる。
【００９７】
（実施例３）
次に、本発明の実施例３について説明する。
【００９８】
本発明の実施例３は、外部装置５００から車載カメラ１００への通信要求を出すタイミングが実施例１とは異なる例である。全体構成については、実施例３も図１に示した例と同等の構成であるので、図示及び詳細な説明は省略する。
【００９９】
実施例３は、車載カメラ装置１００の内部で行われる各処理の実行時間の揺らぎの許容範囲が大きく、画像信号８００を基にした基準タイミングから特定時間経過後に外部装置５００から通信要求を出すのでは狙った設定や結果取得が困難な場合に対応可能な例である。
【０１００】
本実施例３を図１５から図１７を用いて説明する。
【０１０１】
図１５は、実施例３における車載カメラ装置１００の内部処理と外部装置５００との制御通信の関係を示す図である。図１５において、実施例３では、車載カメラ装置１００の制御信号通信部Ｂ１５０から完了通知３４９を外部装置５００へ送信する点が実施例１とは異なる。外部装置５００は完了通知３４９を受信することで次の通信要求が出力されるタイミングを判断可能である。
【０１０２】
図１６は、実施例３において、外部装置５００が車載カメラ装置１００と制御信号を用いた通信を行う際のタイミングの一例の説明図であり、図１５の処理Ａ結果３１５までに対応する信号のタイミングを示している。
【０１０３】
図１６において、通信要求Ｂ及び処理Ｂ設定３６２は処理Ａ２３０の処理時間の揺らぎの範囲が一定に収まるので、基準タイミングからＴａｓ時間経過後に外部装置５００から車載カメラ装置１００に出力する。しかし、通信要求ａＣ及び処理Ｃ設定３５２は、処理Ａ２３０の処理時間揺らぎに加え処理Ｂ２４０の処理時間揺らぎも考慮する必要があり、外部装置５００から特定のタイミングで通信要求を出すのが難しい。
【０１０４】
そこで、車載カメラ１００からの完了通知３４９を確認した後に、通信要求ａＣ及び処理Ｃ設定３５２を出すことで、車載カメラ装置１００の処理の進みに応じて適切なタイミングで制御通信を実施する。
【０１０５】
図１７は、車載カメラ装置１００の画像処理回路Ａ１２０の処理結果を外部装置５００が取得する際の制御信号タイムチャートであり、図１５の通信要求ａＣ３５０に関係する制御信号８２０の各信号線の動作を示す。
【０１０６】
図１７において、車載カメラ装置１００から主体的に完了通知３４９が出力されるため、制御信号Ｃ８２１のクロック停止時に車載カメラ装置１００は制御信号Ｄｓ８２６に完了通知３４９を示すパルスを出力する。完了通知３４９のパルス幅Ｔｆｗは制御信号Ｃ８２１に乗せるクロックの３周期分とし、外部装置５００が制御信号８２０で行う通信の通常のサンプリング速度で２回連続してサンプリング可能とすることで、制御信号Ｄｓ８２６に乗る短時間のノイズをフィルタしながら安定して完了通知３４９を取得できるようにする。
【０１０７】
外部装置５００が車載カメラ装置１００の各内部処理を待って次の通信要求を出す場合、制御信号Ｄｓ８２６の通常の通信（制御信号Ｃ８２１のクロックに同期した通信）との衝突は発生しない。しかし、外部装置５００から車載カメラ装置１００内部の処理の途中に通信要求を出し、その時の内部状態を結果として取得する場合は衝突の可能性があるため、制御信号Ｃ８２１に外部装置５００からクロックが出力されている期間は、車載カメラ装置１００は完了通知３４９の出力をマスクし、クロックに対応する通信を優先する。
【０１０８】
この場合、外部装置５００は完了通知３４９の検出ができない場合が発生するため、外部装置５００からの通信要求に対応した、設定あるいは処理結果を通信する際に、実施例２で示した通信手順を用いて、車載カメラ装置１００の状態を示すビット列を必ず制御信号Ｄｓ８２６で通信するビット列に含め、通常の通信で外部装置５００が車載カメラ装置１００の処理状態を把握できるようにする。
【０１０９】
尚、実施例３では完了通知３４９を用いる以外は実施例１に示した手順で通信を行うが、代わりに実施例２で示した手順で通信を行うことも考えられる。
【０１１０】
本発明の実施例３によれば、実施例１と同様な効果が得られる他、車載カメラ装置１００が行う各処理の実行時間の揺らぎの許容範囲が大きく、狙った設定や結果取得が困難な場合であっても、適切なタイミングで制御通信が可能となる効果を有する。
【０１１１】
（実施例４）
次に、本発明の実施例４について説明する。
【０１１２】
図１８は、本発明の実施例４による車載カメラ装置１００Ａの概略構成図であり、車載カメラユニット１１５Ａと１１５Ｂ及び画像処理ユニット５０５を備える。
【０１１３】
本発明の実施例４は、車載カメラ装置１００を車載カメラユニット１１５Ａと１１５Ｂとに分け、車載カメラユニット１１５Ａ及び１１５Ｂと画像処理ユニット５０５との間の制御信号８２０の通信に実施例１から実施例３のいずれかの通信手順を用いた構成とする例である。
【０１１４】
図１８において、１台の画像処理ユニット５０５には複数の車載カメラユニット１１５Ａ、１１５Ｂを接続可能である。車載カメラユニット１１５Ａ及び１１５Ｂは撮像を主体とするユニットで、軽い画像処理及び画像処理ユニット５０５との相互通信機能を持つ。画像処理ユニット５０５は車載カメラユニット１１５Ａ及び１１５Ｂの制御を制御信号８２０Ａ及び８２０Ｂ経由で行う。また、画像処理ユニット５０５は、車載カメラユニット１１５Ａ及び１１５Ｂから取得した画像データを基に画像認識処理を行う。
【０１１５】
車載カメラユニット１１５Ａ及び１１５Ｂでは、画像センサモジュール１１０Ａ、１１０Ｂの出力が画像処理回路Ｃ１３５に入力されており、簡単な画像処理（露光に関する平均輝度等の統計情報の算出など）を行った後に、画像信号送出部１３０を経由して画像信号８００Ａ、８００Ｂを出力する。また、車載カメラユニット１１５Ａ及び１１５Ｂでは、制御信号通信部Ｆ１５５を用いて画像処理ユニット５０５からの制御信号８２０Ａ、８２０Ｂである通信要求を受け、画像処理回路Ｃ１３５の動作を設定し、また、画像センサモジュール１１０Ａ、１１０Ｂの動作タイミングや露光制御パラメータ等の設定を行い、画像処理ユニット５０５からの通信要求に従い画像処理回路Ｃ１３５で得た情報を画像処理ユニット５０５に返す。
【０１１６】
図１９は、実施例４の車載カメラユニット１１５Ａ及び１１５Ｂと、画像処理ユニット５０５との間の制御通信と車載カメラユニット５０５の内部処理の関係を示す図である。
【０１１７】
図１９において、車載カメラユニット１１５Ａ、１１５Ｂは、処理Ｈ７６０（露光統計）が完了すると、完了通知３４９を出力する。画像処理ユニット５０５は完了通知３４９を受け通信要求ｈ７１０を出力し、車載カメラユニット１１５Ａ、１１５Ｂは、通信処理２９０で応答して処理Ｈ結果７１２を画像処理ユニット５０５に返す。
【０１１８】
画像認識ユニット５０５は車載カメラユニット１１５Ａ、１１５Ｂのいずれか１台からの画像信号８００Ａ又は８００Ｂに含まれる同期情報を基準タイミングとして通信要求Ｉ７２０及びそれに続く処理Ｉ設定７２２に対応するデータを出力する。
【０１１９】
車載カメラユニット５０５は処理Ｉ設定７２２を受信すると、処理Ｉ７７０（露光開始タイミング補正）を実行する。処理Ｉ７７０では、画像処理ユニット５０５が制御信号８２０Ａ、８２０Ｂの制御信号Ｃ８２１に出力するクロックのエッジと処理Ｉ設定７２２のデータに含まれる露光開始までの待ち時間を基に、次のフレームの露光開始時間の調整を行う。特に、車載カメラユニット１１５Ａ、１１５Ｂがステレオ視の左画像と右画像を取得する場合、左右で露光タイミングを合わせる必要があるため、処理Ｉ７７０の処理が必要となる。
【０１２０】
実施例４で示す車載カメラユニット１１５Ａ及び１１５Ｂと画像処理ユニット５０５と間の通信は完了通知３４９を用いるため実施例３で示した手順で制御信号８２０Ａ、８２０Ｂの通信を行う。しかし、処理Ｈ７２０が１フレームの時間とほぼ一致する場合は、通信要求ｈ７１０のタイミングを画像信号８００から決定した基準時間からの経過時間で決めることも可能であるため、実施例１あるいは実施例２で示した手順で対応することも考えられる。
【０１２１】
本発明の実施例４によれば、映像信号を基準としたタイミングで動作する制御信号の通信であっても制御信号を画像信号から分離することができ、画像が高解像度の場合や高フレームレートの場合であっても、画像系の信号を処理する高速回路の複雑化を伴うことが無く、安価なＦＰＧＡ等の低コスト集積回路を利用可能で、車載カメラユニット１１５Ａ、１１５Ｂ及び画像処理ユニット５０５を分離した車載カメラ装置１００Ａを実現することができる。
【０１２２】
また、本発明によれば、画像処理ユニット５０５で制御情報の通信タイミングを、映像信号を基準としたタイミングに調整可能であることを利用することで、車載カメラユニット１１５Ａ、１１５Ｂの露光タイミングの同期制御を行うことも可能となる。
【符号の説明】
【０１２３】
１００、１００Ａ・・・車載カメラ、１１０Ａ、１１０Ｂ・・・画像センサモジュール、１１５Ａ、１１５Ｂ・・・車載カメラユニット、１２０・・・画像処理回路Ａ、１３０・・・画像信号送出部、１３４・・・画像処理回路Ｂ、１３５・・・画像処理回路Ｃ、１４０・・・マイコンＡ、１４５・・・マイコンＢ、１５０・・・制御信号通信部Ｂ、１５５・・・制御信号通信部Ｆ、２０１・・・垂直同期期間、２１０・・・フレーム１、２２０・・・フレーム２、２３０・・・処理Ａ（露光補正）、２４０・・・処理Ｂ（歪み補正）、２５０・・・処理Ｃ（物体認識）、２８０・・・処理Ｘ（調整情報書き込み）、２８５・・・処理Ｙ（指示待ち）、２８９・・・処理Ｚ（モード移行待ち）、２９０・・・通信処理、３１５・・・処理Ａ結果、３２５・・・処理Ｂ結果、３３５・・・結果、３４５・・・Ｇ、３４６・・・Ｋ、３４９・・・完了通知、３５０・・・通信要求ａＣ、３５１・・・処理Ｃ設定、３５２・・・通信要求ａＣ及び処理Ｃ設定、３５５・・・通信要求ｃＡ、３５６・・・処理Ａ設定、３６０・・・通信要求Ｂ、３６１・・・処理Ｂ設定、３６２・・・通信要求Ｂ及び処理Ｂ設定、３８０・・・処理Ｘ要求、３８１・・・調整データ、３８５・・・復帰要求、３８７・・・状態確認、５００・・・外部装置（車載カメラ調整装置）、５３０・・・画像信号受信部Ａ、５３５・・・画像信号受信部Ｂ、５４０・・・信号処理部、５５０・・・制御信号通信部Ａ、５５５・・・制御信号通信部Ｅ、５６０・・・タイミング生成部、５７０・・・コマンド生成部、７１０・・・通信要求ｈ、７１２・・・処理Ｈ結果、７２０・・・通信要求Ｉ、７２２・・・処理Ｉ設定、７６０・・・処理Ｈ（露光統計）、７７０・・・処理Ｉ（露光開始タイミング補正）、８００、８００Ａ、８００Ｂ・・・画像信号、８２０、８２０Ａ、８２０Ｂ・・・制御信号、８１０・・・垂直同期情報、８２１・・・制御信号Ｃ（クロック）、８２５・・・制御信号Ｄｍ、８２６・・・制御信号Ｄｓ
【図１】
2018022974.tif 000003
【図２】
2018022974.tif 000004
【図３】
2018022974.tif 000005
【図４】
2018022974.tif 000006
【図５】
2018022974.tif 000007
【図６】
2018022974.tif 000008
【図７】
2018022974.tif 000009
【図８】
2018022974.tif 000010
【図９】
2018022974.tif 000011
【図１０】
2018022974.tif 000012
【図１１】
2018022974.tif 000013
【図１２】
2018022974.tif 000014
【図１３】
2018022974.tif 000015
【図１４】
2018022974.tif 000016
【図１５】
2018022974.tif 000017
【図１６】
2018022974.tif 000018
【図１７】
2018022974.tif 000019
【図１８】
2018022974.tif 000020
【図１９】
2018022974.tif 000021