(57)【要約】  デジタル画像信号のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響を低減する撮像装置、撮像システム、および車両を提供する。撮像装置１３は、第１のデジタル画像を生成する画像処理部２２と、第１のデジタル画像をアナログ画像に変換して出力するＤＡ変換部２３と、アナログ画像に基づいて生成される第２のデジタル画像の画質特性値を示す参照情報を受信する入出力部１４と、画像処理部２２の動作を制御して、第２のデジタル画像の画質特性値が所定の目標値に近づくように第１のデジタル画像の画質特性の調整を行う制御部２５と、を備える。
2016157873.tif 000002
【特許請求の範囲】
【請求項１】
第１のデジタル画像を生成する画像処理部と、
前記第１のデジタル画像をアナログ画像に変換して出力するＤＡ変換部と、
前記アナログ画像に基づいて生成される第２のデジタル画像の画質特性値を示す参照情報を受信する入出力部と、
前記画像処理部の動作を制御して、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う制御部と、
を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記目標値は、前記第１のデジタル画像の画質特性値である、撮像装置。
【請求項３】
請求項１に記載の撮像装置であって、
前記制御部は、さらに他の撮像装置が出力した他のアナログ画像に基づいて生成される他の第２のデジタル画像の画質特性値を示す他の参照情報を受信し、
前記目標値は、前記他の第２のデジタル画像の画質特性値である、撮像装置。
【請求項４】
請求項１乃至３の何れか一項に記載の撮像装置であって、
前記第１のデジタル画像の画質特性の調整は、露出調整またはホワイトバランス調整を含む、撮像装置。
【請求項５】
請求項１乃至４の何れか一項に記載の撮像装置であって、
前記第１のデジタル画像は、テストパターン画像であり、
前記制御部は、前記第１のデジタル画像上の特定領域と、前記第２のデジタル画像上の前記特定領域と、を比較する、撮像装置。
【請求項６】
請求項５に記載の撮像装置であって、
前記特定領域は、前記テストパターン画像内に予め定められた境界部分を含む領域である、撮像装置。
【請求項７】
請求項５または６に記載の撮像装置であって、
前記入出力部は、前記特定領域を指定する情報を出力する、撮像装置。
【請求項８】
請求項５乃至７の何れか一項に記載の撮像装置であって、
前記制御部は、前記前記第１のデジタル画像上の前記特定領域の色情報と、前記第２のデジタル画像上の前記特定領域の色情報と、を比較する、撮像装置。
【請求項９】
第１のデジタル画像を生成し、前記第１のデジタル画像をアナログ画像に変換して出力する撮像装置と、
前記アナログ画像を受信し、前記アナログ画像を第２のデジタル画像に変換し、該第２のデジタル画像の画質特性値を示す参照情報を前記撮像装置に出力する表示装置と、を備え、
前記撮像装置は、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う、撮像システム。
【請求項１０】
第１のデジタル画像を生成し、前記第１のデジタル画像をアナログ画像に変換して出力する撮像装置と、前記アナログ画像を受信し、前記アナログ画像を第２のデジタル画像に変換し、該第２のデジタル画像の画質特性値を示す情報を前記撮像装置に出力する表示装置と、を有する撮像システムを備え、
前記撮像装置は、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う、車両。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１５年３月２７日に日本国に特許出願された特願２０１５−０６７４６７、および２０１５年４月２４日に日本国に特許出願された特願２０１５−０８９７６２の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
【技術分野】
【０００２】
本発明は、撮像装置、撮像システム、および車両に関する。
【背景技術】
【０００３】
従来、例えば車両に搭載された車載カメラにおいて、露出やホワイトバランスの制御が行われている。例えば特許文献１には、外環境に応じて車載カメラの露出やホワイトバランスの制御を行って画像の視認性を向上させるために、車両の光源の点灯に応じてホワイトバランスの補正や入射光量制御を行う技術が開示されている。【０００４】
また、従来、ＣＣＤカメラからの画像データが所定回数変化しなかったときにカメラの受光素子が故障していると判断して信号を出力する手法が知られている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１５９９１８号公報
【特許文献２】特開平１１−２８７５４９号公報
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の実施形態に係る撮像装置は、第１のデジタル画像を生成する画像処理部と、前記第１のデジタル画像をアナログ画像に変換して出力するＤＡ変換部と、前記アナログ画像に基づいて生成される第２のデジタル画像の画質特性値を示す参照情報を受信する入出力部と、前記画像処理部の動作を制御して、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う制御部と、を備える。【０００７】
また、本発明の実施形態に係る撮像システムは、第１のデジタル画像を生成し、前記第１のデジタル画像をアナログ画像に変換して出力する撮像装置と、前記アナログ画像を受信し、前記アナログ画像を第２のデジタル画像に変換し、該第２のデジタル画像の画質特性値を示す参照情報を前記撮像装置に出力する表示装置と、を備え、前記撮像装置は、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う。【０００８】
また、本発明の実施形態に係る車両は、第１のデジタル画像を生成し、前記第１のデジタル画像をアナログ画像に変換して出力する撮像装置と、前記アナログ画像を受信し、前記アナログ画像を第２のデジタル画像に変換し、該第２のデジタル画像の画質特性値を示す情報を前記撮像装置に出力する表示装置と、を有する撮像システムを備え、前記撮像装置は、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係るカメラシステムを備える車両を上方から見た図である。
【図２】図１の撮像装置の撮像範囲の例を示す図である。
【図３】図１のカメラシステムの概略構成を示すブロック図である。
【図４】図１のカメラシステムの動作を説明するフローチャートである。
【図５】第２の実施形態に係るカメラシステムの動作を説明する第１のフローチャートである。
【図６】第２の実施形態に係るカメラシステムの動作を説明する第２のフローチャートである。
【図７】第２の実施形態に係るカメラシステムの動作を説明する第３のフローチャートである。
【図８】第２の実施形態に係る表示装置の動作を説明するフローチャートである。
【図９】第３の実施形態に係る撮像装置および表示装置の機能ブロック図である。
【図１０】図９の撮像装置が出力するテストパターン画像を示す図である。
【図１１】図９の撮像装置の動作フローを示す図である。
【図１２】図９の撮像装置が行う比較と異常箇所との関係を説明する表である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照して説明する。
【００１１】
（第１の実施形態）
はじめに、図１を参照して、本発明の第１の実施形態に係る移動体である車両１０が備えるカメラシステム（「撮像システム」ともいう。）１１について説明する。カメラシステム１１は、表示装置１２と、少なくとも１つの撮像装置１３と、を備える。本実施形態においてカメラシステム１１は、４つの撮像装置１３を備える。以下、４つの撮像装置１３を特に区別する場合には、それぞれフロントカメラ１３ａ、リアカメラ１３ｂ、左サイドカメラ１３ｃ、および右サイドカメラ１３ｄという。
【００１２】
フロントカメラ１３ａは、車両１０の前方の周辺領域を撮像可能となるように車両１０に配置される。またリアカメラ１３ｂは、車両１０の後方の周辺領域を撮像可能となるように車両１０に配置される。また左サイドカメラ１３ｃは、車両１０の左側方の周辺領域を撮像可能となるように、例えば左ドアミラーにおいて鉛直下向きに配置される。また右サイドカメラ１３ｄは、車両１０の右側方の周辺領域を撮像可能となるように、例えば右ドアミラーにおいて鉛直下向きに配置される。また表示装置１２は、運転席から視認可能な位置に配置される。
【００１３】
撮像装置１３は、例えば魚眼レンズなどの画角の広いレンズを備えており、車両１０の周辺領域を広角撮影可能である。例えば図２に示すように、フロントカメラ１３ａの撮像範囲は、車両１０の前方領域ＦＡ、左前方領域ＦＬＡ、および右前方領域ＦＲＡを含む。またリアカメラ１３ｂの撮像範囲は、車両１０の後方領域ＲｅＡ、左後方領域ＲｅＬＡ、および右後方領域ＲｅＲＡを含む。また左サイドカメラ１３ｃの撮像範囲は、車両１０の左側方領域ＬＡ、左前方領域ＦＬＡ、および左後方領域ＲｅＬＡを含む。また右サイドカメラ１３ｄの撮像範囲は、車両１０の右側方領域ＲＡ、右前方領域ＦＲＡ、および右後方領域ＲｅＲＡを含む。
【００１４】
次に、図３を参照して、カメラシステム１１の各構成要素について具体的に説明する。図３においては説明の簡便のため、撮像装置１３を１つのみ図示している。
【００１５】
表示装置１２は、入出力部１４と、ＡＤ変換部１５と、表示部１６と、表示装置制御部１７と、を備える。
【００１６】
入出力部１４は、アナログビデオ信号線等の専用線１８、およびＣＡＮ（Controller Area Network）等のネットワーク１９を介して情報の入出力を行うインターフェースである。
【００１７】
ＡＤ変換部１５は、例えばＡＤＣ（Analog-to-Digital Converter）であって、専用線１８および入出力部１４を介して撮像装置１３から入力されたアナログ画像信号をＡ／Ｄ変換してデジタル画像信号（第２のデジタル画像信号）を生成する。
【００１８】
表示部１６は、例えばＬＣＤ（Liquid Crystal Display）を含んで構成され、リアルタイムの動画像を表示可能である。また表示部１６は、例えばタッチパネルとして構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。
【００１９】
表示装置制御部１７は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵ（Central Processing Unit）である。表示装置制御部１７は、表示装置１２全体の動作を制御する。
【００２０】
例えば表示装置制御部１７は、ＡＤ変換部１５による第２のデジタル画像信号の生成に応じて、当該第２のデジタル画像信号の画質特性値を示す情報（参照情報）を、入出力部１４およびネットワーク１９を介して撮像装置１３に出力する。ここで画質特性値は、画像信号の画質特性を調整するための任意の画像処理（以下、画質調整処理ともいう。）における制御対象のパラメータであって、画質調整処理に応じて任意に定められる。本実施形態において、画質特性の調整は、例えば露出調整またはホワイトバランス調整であるものとして説明するが、例えば色補正等、任意の画質調整処理を含んでもよい。また画質特性値は、例えばデジタル画像信号に基づく画像の全部領域または一部領域における、色信号成分のゲインの平均値、輝度信号成分のゲインの平均値、または色温度等を含むが、これに限られない。
【００２１】
また表示装置制御部１７は、撮像装置１３から後述する調整終了通知を受信すると、第２のデジタル画像信号に対して例えばガンマ補正、歪み補正、切出処理、および視点変換処理等の所定の画像調整を施し、画像調整が施された第２のデジタル画像信号に基づく画像を表示部１６に表示させる。
【００２２】
撮像装置１３は、光学系２０と、撮像素子２１と、画像処理部２２と、ＤＡ変換部２３と、入出力部２４と、カメラ制御部２５とを備える。
【００２３】
光学系２０は、絞りおよび複数のレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系２０は広い画角を有しており、車両１０の周辺領域の被写体像を結像可能である。
【００２４】
撮像素子２１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子であって、光学系２０によって結像される被写体像を撮像して、アナログ画像信号を生成する。
【００２５】
画像処理部２２は、例えばＡＦＥ（Analog Front End）およびＤＳＰ（Digital Signal Processor）等の画像処理専用のプロセッサを含む。画像処理部２２は、撮像素子２１によって生成されたアナログ画像信号に対して、ＣＤＳ（Correlated Double Sampling）、ゲイン調整（ＡＧＣ：Auto Gain Control）、およびＡ／Ｄ変換等の前段画像処理を施し、デジタル画像信号（第１のデジタル画像信号）を生成する。また画像処理部２２は、第１のデジタル画像信号に対して、露出調整、ホワイトバランス調整、色補間、色補正、およびガンマ補正等の所定の後段画像処理を施す。
【００２６】
また画像処理部２２は、表示装置１２からネットワーク１９および入出力部２４を介して受信した参照信号に応じて、後段画像処理が施された第１のデジタル画像信号に対してさらに露出調整またはホワイトバランス調整等、画質特性の調整を行なう。第１のデジタル画像信号の画質特性の調整の詳細については後述する。
【００２７】
また画像処理部２２は、例えばテストパターン画像等、所定の画質特性値を有するデジタル画像信号を第１のデジタル画像に定めてもよい。
【００２８】
ＤＡ変換部２３は、例えばＤＡＣ（Digital-to-Analog Converter）であって、第１のデジタル画像信号を出力用のアナログ画像信号に変換する。そして画像処理部２２は、入出力部２４および専用線１８を介して、当該アナログ画像信号を表示装置１２に出力する。
【００２９】
入出力部２４は、専用線１８、およびＣＡＮ等のネットワーク１９を介して情報の入出力を行うインターフェースである。
【００３０】
カメラ制御部２５は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵである。カメラ制御部２５は、撮像装置１３全体の動作を制御する。
【００３１】
例えばカメラ制御部２５は、撮像素子２１の動作を制御して、周期的に、例えば３０ｆｐｓでアナログ画像信号を生成する。またカメラ制御部２５は、画像処理部２２の動作を制御して、撮像素子２１によって生成されたアナログ信号に前段画像処理を施して第１のデジタル画像を生成する。またカメラ制御部２５は、画像処理部２２の動作を制御して、第１のデジタル画像に対して後段画像処理を施す。
【００３２】
そしてカメラ制御部２５は、画像処理部２２およびＤＡ変換部２３の動作を制御して、第１のデジタル画像信号の画質特性の調整、本実施形態では露出調整またはホワイトバランス調整を行う。以下、具体的に説明する。
【００３３】
はじめにカメラ制御部２５は、後段画像処理が施された第１のデジタル画像信号の画質特性値を、例えば次フレームのアナログ画像信号を生成するまで、一時的に保持する。本実施形態において、一時的に保持された画質特性値が、後述する目標値に定められる。続いてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、後段画像処理が施された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を、入出力部２４および専用線１８を介して表示装置１２に出力する。続いてカメラ制御部２５は、ＤＡ変換部２３によって生成したアナログ画像信号の出力に応じて、ネットワーク１９および入出力部２４を介して表示装置１２から参照情報を受信する。上述したように、参照情報は、表示装置１２によって生成された第２のデジタル画像信号の画質特性値を示す情報である。
【００３４】
続いてカメラ制御部２５は、参照情報に示される第２のデジタル画像信号の画質特性値が所定の目標値と略一致しているか否かを判定する。画質特性値が目標値と略一致するとは、例えば画質特性値が目標値と実質的に一致しているとみなせる数値範囲内に収まっていることをいう。また、本実施形態において目標値は、一時的に保持された第１のデジタル画像信号の画質特性値である。ここで第１のデジタル画像信号の画質特性値は、第１のデジタル画像信号に基づく画像の全部領域または参照情報に対応する一部領域における画質特性値であってもよい。
【００３５】
画質特性値が目標値と略一致していないときには、カメラ制御部２５は、第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号に対してさらに露出調整またはホワイトバランス調整を行う。続いてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、露出調整またはホワイトバランス調整が行われた第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を、入出力部２４および専用線１８を介して表示装置１２に出力する。そしてカメラ制御部２５は、当該アナログ画像信号の出力に応じて表示装置１２から参照情報を受信し、第１のデジタル画像信号の画質特性の調整を繰り返し実行してフィードバック制御を行う。
【００３６】
一方、第２のデジタル画像信号の画質特性値が目標値と略一致しているときには、カメラ制御部２５は、第１のデジタル画像信号の画質特性の調整を終了して、調整終了通知を表示装置１２に出力する。
【００３７】
このように第１のデジタル画像信号の画質特性の調整によって、参照情報に示される第２のデジタル画像信号の画質特性値が、一時的に保持された目標値、すなわち後段画像処理が施された第１のデジタル画像信号の画質特性値と略一致するようにフィードバック制御される。フィードバック制御は、上述のように第２のデジタル画像信号の画質特性値が目標値に略一致するまで繰り返し行われてもよく、あるいはフィードバックの繰り返し回数に上限（例えば、１回）を設けて行われてもよい。
【００３８】
次に図４に示すフローチャートを参照して、本実施形態に係るカメラシステム１１の動作の例について説明する。本動作は、例えば撮像装置１３がアナログ画像信号を生成する各フレームにおいて実行される。
【００３９】
ステップＳ１００：撮像装置１３は、被写体像を撮像してアナログ画像信号を生成する。
【００４０】
ステップＳ１０１：撮像装置１３は、アナログ画像信号に対して前段画像処理を施し、第１のデジタル画像信号を生成する。
【００４１】
ステップＳ１０２：撮像装置１３は、第１のデジタル画像信号に対して後段画像処理を施す。ここで撮像装置１３は、後段画像処理が施された第１のデジタル画像信号の画質特性値を一時的に保持する。
【００４２】
ステップＳ１０３：撮像装置１３は、第１のデジタル画像信号を出力用のアナログ画像信号に変換する。
【００４３】
ステップＳ１０４：撮像装置１３は、ステップＳ１０３のアナログ画像信号を、専用線１８を介して表示装置１２に出力する。
【００４４】
ステップＳ１０５：表示装置１２は、ステップＳ１０４のアナログ画像信号をＡ／Ｄ変換して第２のデジタル画像信号を生成する。
【００４５】
ステップＳ１０６：表示装置１２は、第２のデジタル画像信号の画質特性値を示す参照情報を、ネットワーク１９を介して撮像装置１３に出力する。
【００４６】
ステップＳ１０７：撮像装置１３は、受信された参照情報に示される第２のデジタル画像信号の画質特性値が所定の目標値と略一致しているか否かを判定する。ここで目標値は、ステップＳ１０２で一時的に保持された画質特性値である。画質特性値が目標値と略一致していないときには（ステップＳ１０７−Ｎｏ）、ステップＳ１０８に進む。一方、画質特性値が目標値と略一致しているときには（ステップＳ１０７−Ｙｅｓ）、ステップＳ１０９に進む。
【００４７】
ステップＳ１０８：ステップＳ１０７において画質特性値が目標値と略一致していないときには（ステップＳ１０７−Ｎｏ）、撮像装置１３は、参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号の画質特性の調整、本実施形態では露出調整またはホワイトバランス調整を行う。そして撮像装置１３は、ステップＳ１０３に戻って第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
【００４８】
ステップＳ１０９：ステップＳ１０７において画質特性値が目標値と略一致しているときには（ステップＳ１０７−Ｙｅｓ）、撮像装置１３は、調整終了通知を表示装置１２に出力する。
【００４９】
ステップＳ１１０：表示装置１２は、調整終了通知を受信すると、ステップＳ１０５で生成された第２のデジタル画像信号に対してガンマ補正等の画像調整を施す。
【００５０】
ステップＳ１１１：表示装置１２は、ステップＳ１１０で画像調整が施された第２のデジタル画像信号に基づく画像を表示する。
【００５１】
車載カメラを用いる一般的な撮像システムにおいて、車載カメラが生成するデジタル画像信号は、例えばビデオ信号などのアナログ画像信号に変換されて、表示装置などの出力先に出力される。このため、例えば車載カメラが生成するデジタル画像信号は、車載カメラのＤ／Ａ変換誤差の影響、およびアナログ画像信号の送信過程における外乱などの影響を受ける可能性がある。このように、車載カメラにおけるＤ／Ａ変換前のデジタル画像信号と、出力先におけるＡ／Ｄ変換後のデジタル画像信号とは、必ずしも一致しない。したがって、デジタル画像信号をアナログ画像信号に変換して出力する撮像システムにおいて、Ｄ／Ａ変換誤差や送信過程における外乱などの影響に関し改善の余地があった。
【００５２】
一方、第１の実施形態に係る撮像装置１３は、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響を受けている第２のデジタル画像信号の画質特性値を示す参照情報を受信する。このため撮像装置１３は、参照情報を用いることによって、撮像装置１３の外部、例えば表示装置１２で生成される第２のデジタル画像信号の画質特性値を目標値に近づけるように制御可能となり、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響を低減可能である。
【００５３】
また、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響を受けていない第１のデジタル画像信号の画質特性値が、一時的に保持される。一時的に保持された当該画質特性値を目標値に定めることによって、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響がさらに低減される。
【００５４】
（第２の実施形態）
概略として、第２の実施形態に係る撮像装置は、車両に備えられる他の撮像装置を基準として、自装置が生成する第１のデジタル画像信号の画質特性の調整を行う点が第１の実施形態と相違する。以下、具体的に説明する。
【００５５】
第２の実施形態に係るカメラシステム１１は、表示装置と、複数の撮像装置１３と、を備える。本実施形態においてカメラシステム１１は、４つの撮像装置１３を備える。以下、４つの撮像装置１３を特に区別する場合には、それぞれフロントカメラ１３ａ、リアカメラ１３ｂ、左サイドカメラ１３ｃ、および右サイドカメラ１３ｄという。
【００５６】
表示装置１２は、入出力部１４と、ＡＤ変換部１５と、表示部１６と、表示装置制御部１７と、を備える。入出力部１４、ＡＤ変換部１５、および表示部１６は第１の実施形態と同一である。
【００５７】
表示装置制御部１７は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵである。表示装置制御部１７は、表示装置１２全体の動作を制御する。
【００５８】
例えば表示装置制御部１７は、ＡＤ変換部１５による第２のデジタル画像信号の生成に応じて、当該第２のデジタル画像信号の画質特性値を示す参照情報を、入出力部１４およびネットワーク１９を介して撮像装置１３に出力する。ここで参照情報に示される第２のデジタル画像信号の画質特性値は、例えば第２のデジタル画像信号に基づく画像の全部領域または一部領域における画質特性値を含んでもよい。参照情報は、第２のデジタル画像信号に基づく画像の、各撮像装置１３が互いに重複して撮像可能な車両１０の周辺領域における画質特性値を示してもよい。ここで周辺領域は、例えば図２に示す左前方領域ＦＬＡ、右前方領域ＦＲＡ、左後方領域ＲｅＬＡ、および右後方領域ＲｅＲＡである。
【００５９】
また表示装置制御部１７は、何れかの撮像装置１３から後述する調整終了通知を受信すると、当該撮像装置１３の参照情報を、当該当該調整終了通知が示す他の撮像装置１３に出力する。撮像装置１３の参照情報を他の撮像装置１３に出力する処理の詳細については後述する。
【００６０】
また表示装置制御部１７は、全ての撮像装置１３から後述する調整終了通知を受信すると、各撮像装置１３の第２のデジタル画像信号に対して、例えばガンマ補正、歪み補正、切出処理、および視点変換処理等の所定の画像調整を施す。そして表示装置制御部１７は、画像調整によって俯瞰画像に変換された複数の第２のデジタル画像信号に基づく画像を結合して、結合画像を生成する。結合画像は、例えば車両１０の全周囲の俯瞰画像である。全周囲の俯瞰画像において、例えば前方領域ＦＡ、左前方領域ＦＬＡ、および右前方領域ＦＲＡにはフロントカメラ１３ａの画像、後方領域ＲｅＡ、左後方領域ＲｅＬＡ、および右後方領域ＲｅＲＡにはリアカメラ１３ｂの画像、左側方領域ＬＡには左サイドカメラ１３ｃの画像、ならびに右側方領域ＲＡには右サイドカメラ１３ｄの画像がそれぞれ用いられる。そして表示装置制御部１７は、結合画像を表示部１６に表示させる。
【００６１】
撮像装置１３は、光学系２０と、撮像素子２１と、画像処理部２２と、ＤＡ変換部２３と、入出力部２４と、カメラ制御部２５とを備える。光学系２０、撮像素子２１、画像処理部２２、ＤＡ変換部２３、および入出力部２４は、第１の実施形態と同一である。
【００６２】
カメラ制御部２５は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵである。カメラ制御部２５は、撮像装置１３全体の動作を制御する。
【００６３】
例えばカメラ制御部２５は、撮像素子２１の動作を制御して、周期的に、例えば３０ｆｐｓでアナログ画像信号を生成する。またカメラ制御部２５は、画像処理部２２の動作を制御して、撮像素子２１によって生成されたアナログ画像信号に前段画像処理を施して第１のデジタル画像を生成する。またカメラ制御部２５は、画像処理部２２の動作を制御して、第１のデジタル画像に対して後段画像処理を施す。またカメラ制御部２５は、後段画像処理が施された第１のデジタル画像信号の画質特性値を、例えば次フレームのアナログ画像信号を生成するまで、一時的に保持する。
【００６４】
またカメラ制御部２５は、撮像素子２１によってアナログ画像信号が生成された時刻における車両１０の制御情報を取得する。制御情報は、時刻情報および車両１０の状態に関する多様な情報が含まれる。車両１０の状態に関する多様な情報には、例えば、車両１０の進行方向（前進または後進）を示す情報、ステアリング舵角を示す情報、ウインカスイッチの状態を示す情報、照明（例えば、ヘッドランプ、テールランプ、およびブレーキランプ）の状態を示す情報、および車両１０の速度を示す情報等が含まれる。カメラ制御部２５は、任意の方法によって制御情報を取得可能である。例えばカメラ制御部２５は、ネットワーク１９および入出力部２４を介して車両１０から取得してもよい。あるいは、カメラ制御部２５は、車両１０に備えられる各種センサ等の他の構成要素が出力する制御情報を有線または無線によって取得してもよい。
【００６５】
またカメラ制御部２５は、車両１０の制御情報に基づいて各撮像装置１３の従属関係を決定する。従属関係は、後述するように各撮像装置１３が第１のデジタル画像信号の画質特性の調整を行う際に基準とする上位の他の撮像装置１３、および上位に対する下位の他の撮像装置１３を定める関係である。従属関係の具体例については後述する。従属関係において、各撮像装置１３は、例えば上位から順に一次装置、二次装置、および三次装置のいずれかに定められる。また従属関係は、車両１０の制御情報に基づいて任意に定められる。本実施形態においてカメラ制御部２５は、車両１０の状態に応じて運転者が注目する蓋然性が高い結合画像上の領域に対応する１つの撮像装置１３を一次装置に定める。またカメラ制御部２５は、一次装置の撮像範囲と重複する領域を撮像可能な他の撮像装置１３を二次装置に定める。またカメラ制御部２５は、二次装置の撮像範囲と重複する領域を撮像可能な他の撮像装置１３を三次装置に定める。例えば表示装置制御部１７は、車両１０の進行方向が前方であること、左折のウインカスイッチがＯＮであること、および速度がゼロ（停車中）であることを示す情報が制御情報に含まれるときに、車両１０が左折しようとしていると判定可能である。このとき、車両１０の運転者は結合画像において車両１０の左前方領域ＦＬＡに注目すると考えられる。このためカメラ制御部２５は、結合画像において左前方領域ＦＬＡに対応するフロントカメラ１３ａを一次装置に定める。またカメラ制御部２５は、フロントカメラ１３ａの撮像範囲と重複する領域を撮像可能な左サイドカメラ１３ｃおよび右サイドカメラ１３ｄを二次装置に定める。またカメラ制御部２５は、左サイドカメラ１３ｃの撮像範囲または右サイドカメラ１３ｄの撮像範囲と重複する領域を撮像可能なリアカメラ１３ｂを三次装置に定める。複数の撮像装置１３のうち１つの撮像装置１３が、従属関係を決定し、決定された従属関係を例えば入出力部２４およびネットワーク１９を介して他の撮像装置１３に通知してもよい。
【００６６】
そしてカメラ制御部２５は、画像処理部２２およびＤＡ変換部２３の動作を制御して、第１のデジタル画像信号の画質特性の調整、本実施形態では露出調整またはホワイトバランス調整を行う。露出調整またはホワイトバランス調整における画質特性値の目標値は、は、従属関係に応じて各撮像装置１３で相違する。以下、例えばフロントカメラ１３ａが一次装置、左サイドカメラ１３ｃおよび右サイドカメラ１３ｄが二次装置、およびリアカメラ１３ｂが三次装置であるものとして説明する。
【００６７】
一次装置（フロントカメラ１３ａ）のカメラ制御部２５は、第１の実施形態と同様に、後段画像処理が施された第１のデジタル画像信号の画質特性値を、目標値に定めて一時的に保持する。続いてカメラ制御部２５は、自装置の参照情報に基づいて、第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号の露出調整またはホワイトバランス調整を行う。
【００６８】
またカメラ制御部２５は、第１のデジタル画像信号の調整が終了すると、調整終了通知を表示装置１２に出力する。ここで調整終了通知には、一次装置の下位である二次装置（左サイドカメラ１３ｃおよび右サイドカメラ１３ｄ）を示す情報が含まれる。そして当該調整終了通知を受信した表示装置１２は、入出力部１４およびネットワーク１９を介して、一次装置の下位である二次装置に、一次装置の参照信号を送信する。当該参照信号には、画質特性の調整が終了した一次装置の第１のデジタル画像信号に基づいて生成された第２のデジタル画像信号の画質特性値を示す情報が含まれる。
【００６９】
二次装置（例えば、左サイドカメラ１３ｃ）のカメラ制御部２５は、上位である一次装置（フロントカメラ１３ａ）の参照情報を待ち受ける。続いてカメラ制御部２５は、一次装置の参照情報を受信すると、当該参照情報に示される一次装置の第２のデジタル画像信号の画質特性値を、目標値に定めて一時的に保持する。続いてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、後段画像処理が施された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を表示装置１２に出力する。続いてカメラ制御部２５は、表示装置１２から自装置の参照情報を受信する。続いてカメラ制御部２５は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が目標値と略一致しているか否かを判定する。
【００７０】
画質特性値が目標値と略一致していないときには、カメラ制御部２５は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、後段画像処理が施された第１のデジタル画像信号の画質特性の調整を行う。具体的には、カメラ制御部２５は、露出調整またはホワイトバランス調整を行う。そしてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、調整された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を表示装置１２に出力し、第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
【００７１】
一方、画質特性値が目標値と略一致しているときには、カメラ制御部２５は、第１のデジタル画像信号の画質特性の調整を終了して、調整終了通知を表示装置１２に出力する。調整終了通知には、二次装置の下位である三次装置（リアカメラ１３ｂ）示す情報が含まれる。
【００７２】
このように二次装置は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が、一次装置の参照情報に示される他の第２のデジタル画像信号の画質特性値に近づくように、自装置の第１のデジタル画像信号の画質特性の調整を行う。
【００７３】
また二次装置である右サイドカメラ１３ｄの動作については、左サイドカメラ１３ｃと同様である。
【００７４】
そして当該調整終了通知を受信した表示装置１２は、入出力部１４およびネットワーク１９を介して、二次装置の下位である三次装置に、二次装置の参照信号を送信する。当該参照信号には、画質特性の調整が終了した二次装置の第１のデジタル画像信号に基づいて生成された第２のデジタル画像信号の画質特性値を示す情報が含まれる。
【００７５】
三次装置（リアカメラ１３ｂ）のカメラ制御部２５は、上位である二次装置（左サイドカメラ１３ｃおよび右サイドカメラ１３ｄの少なくとも一方）の参照情報を待ち受ける。続いてカメラ制御部２５は、二次装置の参照情報を受信すると、当該参照情報に示される二次装置の第２のデジタル画像信号の画質特性値を、目標値に定めて一時的に保持する。続いてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、後段画像処理が施された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を表示装置１２に出力する。続いてカメラ制御部２５は、表示装置１２から自装置の参照情報を受信する。続いてカメラ制御部２５は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が目標値と略一致しているか否かを判定する。
【００７６】
画質特性値が目標値と略一致していないときには、カメラ制御部２５は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、後段画像処理が施された第１のデジタル画像信号の画質特性の調整を行う。具体的には、カメラ制御部２５は、露出調整またはホワイトバランス調整を行う。そしてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、調整された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を表示装置１２に出力し、第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
【００７７】
一方、画質特性値が目標値と略一致しているときには、カメラ制御部２５は、第１のデジタル画像信号の画質特性の調整を終了して、調整終了通知を表示装置１２に出力する。
【００７８】
このように三次装置は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が、二次装置の参照情報に示される他の第２のデジタル画像信号の画質特性値に近づくように、自装置の第１のデジタル画像信号の画質特性の調整を行う。
【００７９】
そして全ての撮像装置１３から調整終了通知を受信した表示装置１２は、上述したように、俯瞰画像に変換された複数の第２のデジタル画像信号に基づく画像を結合した結合画像を表示部１６に表示させる。
【００８０】
次に図５に示すフローチャートを参照して、本実施形態に係る撮像装置１３の動作の例について説明する。本動作は、例えば撮像装置１３がアナログ画像信号を生成する各フレームにおいて実行される。
【００８１】
ステップＳ２００：撮像装置１３は、被写体像を撮像してアナログ画像信号を生成する。
【００８２】
ステップＳ２０１：撮像装置１３は、アナログ画像信号に対して前段画像処理を施し、第１のデジタル画像信号を生成する。
【００８３】
ステップＳ２０２：撮像装置１３は、第１のデジタル画像信号に対して後段画像処理を施す。
【００８４】
ステップＳ２０３：撮像装置１３は、ステップＳ２００でアナログ画像信号が生成された時刻における車両１０の制御情報を取得する。
【００８５】
ステップＳ２０４：撮像装置１３は、車両１０の制御情報に基づいて各撮像装置１３の従属関係を決定する。ここでは、フロントカメラ１３ａが一次装置、左サイドカメラ１３ｃおよび右サイドカメラ１３ｄが二次装置、およびリアカメラ１３ｂが三次装置に定められるものとする。ステップＳ２０４の処理は、複数の撮像装置１３のうちの１つが実行し、決定された従属関係を他の撮像装置１３に通知してもよい。また一次装置に定められたフロントカメラ１３ａは、後段画像処理が施された第１のデジタル画像信号の画質特性値を目標値に定めて一時的に保持する。
【００８６】
ステップＳ２０５：撮像装置１３は、表示装置１２と共に、第１のデジタル画像信号の画質特性の調整処理を行う。画質特性の調整処理の内容は、上述したように従属関係に応じて各撮像装置１３で相違する。
【００８７】
次に図６に示すフローチャートを参照して、表示装置１２および一次装置に定められた撮像装置１３（例えば、フロントカメラ１３ａ）の動作の例について説明する。本動作は、図５のステップＳ２０５に示す第１のデジタル画像信号の画質特性の調整処理に相当する。
【００８８】
ステップＳ３００：フロントカメラ１３ａは、第１のデジタル画像信号を出力用のアナログ画像信号に変換する。
【００８９】
ステップＳ３０１：フロントカメラ１３ａは、ステップＳ３００のアナログ画像信号を、専用線１８を介して表示装置１２に出力する。
【００９０】
ステップＳ３０２：表示装置１２は、ステップＳ３０１のアナログ画像信号をＡ／Ｄ変換して第２のデジタル画像信号を生成する。
【００９１】
ステップＳ３０３：表示装置１２は、フロントカメラ１３ａの第２のデジタル画像信号の画質特性値を示す参照情報を、ネットワーク１９を介してフロントカメラ１３ａに出力する。
【００９２】
ステップＳ３０４：フロントカメラ１３ａは、受信された参照情報に示される第２のデジタル画像信号の画質特性値が所定の目標値と略一致しているか否かを判定する。ここで目標値は、図５に示すステップＳ２０４で一時的に保持された、後段画像処理が施された第１のデジタル画像信号の画質特性値である。画質特性値が目標値と略一致していないときには（ステップＳ３０４−Ｎｏ）、ステップＳ３０５に進む。一方、画質特性値が目標値と略一致しているときには（ステップＳ３０４−Ｙｅｓ）、ステップＳ３０６に進む。
【００９３】
ステップＳ３０５：ステップＳ３０４において画質特性値が目標値と略一致していないときには（ステップＳ３０４−Ｎｏ）、フロントカメラ１３ａは、参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号の画質特性の調整、ここでは露出調整またはホワイトバランス調整を行う。そしてフロントカメラ１３ａは、ステップＳ３００に戻って第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
【００９４】
ステップＳ３０６：ステップＳ３０４において画質特性値が目標値と略一致しているときには（ステップＳ３０４−Ｙｅｓ）、フロントカメラ１３ａは、調整終了通知を表示装置１２に出力する。調整終了通知には、一次装置の下位である二次装置（左サイドカメラ１３ｃおよび右サイドカメラ１３ｄ）を示す情報が含まれる。
【００９５】
次に図７に示すフローチャートを参照して、表示装置１２および二次装置または三次装置に定められた撮像装置１３（例えば、左サイドカメラ１３ｃ）の動作の例について説明する。本動作は、図５のステップＳ２０５に示す第１のデジタル画像信号の画質特性の調整処理に相当する。
【００９６】
ステップＳ４００：二次装置である左サイドカメラ１３ｃは、上位の一次装置である他の撮像装置１３の他の参照情報、ここではフロントカメラ１３ａの参照情報を待ち受ける。左サイドカメラ１３ｃが表示装置１２からフロントカメラ１３ａの参照情報を取得すると、当該参照情報に示されるフロントカメラ１３ａの第２のデジタル画像信号の画質特性値を目標値に定めて一時的に保持し、ステップＳ４０１に進む。
【００９７】
ステップＳ４０１：左サイドカメラ１３ｃは、第１のデジタル画像信号を出力用のアナログ画像信号に変換する。
【００９８】
ステップＳ４０２：左サイドカメラ１３ｃは、ステップＳ４０１のアナログ画像信号を、専用線１８を介して表示装置１２に出力する。
【００９９】
ステップＳ４０３：表示装置１２は、ステップＳ４０２のアナログ画像信号をＡ／Ｄ変換して第２のデジタル画像信号を生成する。
【０１００】
ステップＳ４０４：表示装置１２は、左サイドカメラ１３ｃの第２のデジタル画像信号の画質特性値を示す参照情報を、ネットワーク１９を介して左サイドカメラ１３ｃに出力する。
【０１０１】
ステップＳ４０５：左サイドカメラ１３ｃは、ステップＳ４０４で受信された参照情報に示される第２のデジタル画像信号の画質特性値が所定の目標値と略一致しているか否かを判定する。ここで目標値は、ステップＳ４００で一時的に保持された、一次装置（フロントカメラ１３ａの第２のデジタル画像信号の画質特性値である。画質特性値が目標値と略一致していないときには（ステップＳ４０５−Ｎｏ）、ステップＳ４０６に進む。一方、画質特性値が目標値と略一致しているときには（ステップＳ４０５−Ｙｅｓ）、ステップＳ４０７に進む。
【０１０２】
ステップＳ４０６：ステップＳ４０５において画質特性値が目標値と略一致していないときには（ステップＳ４０５−Ｎｏ）、左サイドカメラ１３ｃは、左サイドカメラ１３ｃの参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号の画質特性の調整、ここでは露出調整またはホワイトバランス調整が行われる。そして左サイドカメラ１３ｃは、ステップＳ４０１に戻って第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
【０１０３】
ステップＳ４０７：ステップＳ４０５において画質特性値が目標値と略一致しているときには（ステップＳ４０５−Ｙｅｓ）、撮像装置１３は、調整終了通知を表示装置１２に出力する。調整終了通知には、二次装置の下位である三次装置（リアカメラ１３ｂ）示す情報が含まれる。
【０１０４】
次に図８に示すフローチャートを参照して、表示装置１２が結合画像を表示する動作の例について説明する。
【０１０５】
ステップＳ５００：表示装置１２は、全ての撮像装置１３からの調整終了通知を待ち受ける。表示装置１２が全ての撮像装置１３から調整終了通知を取得すると、ステップＳ５０１に進む。
【０１０６】
ステップＳ５０１：表示装置１２は、各撮像装置１３の第２のデジタル画像信号に対して所定の画像調整を施した画像を結合して、結合画像を生成する。
【０１０７】
ステップＳ５０２：表示装置１２は、結合画像を表示する。
【０１０８】
このように、第２の実施形態に係る撮像装置１３は、他の撮像装置１３の他の参照情報を受信し、当該他の参照情報に示される他の第２のデジタル画像信号の画質特性値を目標値に定める。撮像装置１３は、他の参照情報を用いることによって、撮像装置１３の外部、例えば表示装置１２で生成される自装置の第２のデジタル画像信号の画質特性値を他の撮像装置１３の第２のデジタル画像信号の画質特性値に近づけるように制御可能となる。このため、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響が低減されるとともに、撮像装置１３と他の撮像装置１３との間で第２のデジタル画像信号の色または明るさ等の画質特性が略一致する。色または明るさが略一致した複数の画像は、例えば複数の画像を結合して生成される結合画像の視認性向上に好適である。
【０１０９】
（第３の実施形態）
図９は、第３の実施形態に係る撮像装置を備える異常判定システム（「撮像システム」ともいう。）の機能ブロック図の一例を示す図である。異常判定システムは、撮像装置１００、表示装置２００、第１の伝送路３００、第２の伝送路４００および第３の伝送路５００を含んで、構成される。撮像装置１００が撮像する撮像画像を表示装置２００は表示する。また、撮像装置１００は、撮像画像の出力経路上に異常が発生しているか否かを判定する。
【０１１０】
次に、撮像装置１００および表示装置２００の各機能を説明するが、撮像装置１００および表示装置２００が備える他の機能を排除することを意図したものではないことに留意されたい。本実施形態に係る撮像装置１００および表示装置２００は例えば車両に設置される。撮像装置１００は車両以外の移動体に設置されてもよい。撮像装置１００は電子機器関連の要素と通信するが、以下の説明においては、他の機能部を構成する要素の図示および説明は省略する。
【０１１１】
撮像装置１００は、制御部１１００、撮像部１２００、第１の出力部１３００、第２の出力部１４００および取得部１５００を備える。
【０１１２】
制御部１１００は、撮像装置１００の各種動作を制御するコンピュータである。例えば制御部１１００は、撮像部１２００から取得した画像に対して任意の画像処理（Ａ／Ｄ変換、Ｄ／Ａ変換等）を行う。また、制御部１１００は、画像を符号化する。また、制御部１１００は、後述する取得部１５００が取得した画像を、後述する第１の出力部１３００が出力したテストパターン画像の対応領域と比較する。テストパターン画像の画像信号は、例えば所定のカラーバー信号であるが、これに限定されない。テストパターン画像はカラー画像であってもモノクロ画像であってもよい。
【０１１３】
撮像部１２００は、光学系および撮像素子を有する。光学系はレンズなどの光学素子によって構成され、撮像装置１が設置される車両の周辺の画像を結像する。撮像素子は、例えばＣＭＯＳまたはＣＣＤ撮像素子であり、光学系が結像する画像を、カラー画像またはモノクロ画像として撮像する。
【０１１４】
第１の出力部１３００は例えば、コネクタである。第１の出力部１３００は、撮像部１２００が撮像した撮像画像と所定のテストパターン画像とを切替えて、第１の伝送路３００を介して表示装置２００へ出力可能である。
【０１１５】
第２の出力部１４００は例えば、コネクタである。第２の出力部１４００は、テストパターン画像の少なくとも一部の領域を指定する情報を第２の伝送路４００を介して表示装置２００に出力する。
【０１１６】
取得部１５００は例えば、コネクタである。取得部１５００は、表示装置２００から、テストパターン画像の少なくとも一部の領域の画像を取得する。取得部１５００は、取得した画像を制御部１１００に出力する。
【０１１７】
表示装置２００は、制御部２１００、取得部２２００、復号部２３００、駆動部２４００、表示部２５００および通信制御部２６００を備える。
【０１１８】
制御部２１００は、表示装置２００の各種動作を制御するコンピュータである。例えば制御部２１００は、後述する取得部２２００が取得したテストパターン画像から、その少なくとも一部の領域の画像を、後述する通信制御部２６００に抽出させる。
【０１１９】
取得部２２００は例えば、コネクタである。取得部２２００は、第１の出力部１３００から、撮像画像またはテストパターン画像の少なくとも一方を取得する。取得部２２００はまた、第２の出力部１４００から、テストパターン画像の少なくとも一部の領域を指定する情報を取得する。取得部２２００は、取得した情報を復号部２３００へ出力する。後述する第４の実施形態では、取得部２２００は、取得した画像を通信制御部２６００へ出力する。
【０１２０】
復号部２３００は、取得部２２００が取得した撮像画像またはテストパターン画像の少なくとも一方の画像信号を復号する。復号部２３００は例えば、画像処理を行うＤＳＰである。復号部２３００は、復号した画像を駆動部２４００に出力する。
【０１２１】
駆動部２４００は、例えば、ＬＣＤドライバである。駆動部２４００は、復号部２３００から取得した画像に基づいて、表示部２５００を駆動する。
【０１２２】
表示部２５００は、例えば、液晶ディスプレイであり、駆動部２４００の駆動によって撮像画像を表示する。表示部２５００は、テストパターン画像を表示してもよい。表示部２５００は、例えばタッチパネルで構成され、ユーザから入力を受付けるインターフェースとして機能してもよい。
【０１２３】
通信制御部２６００は、例えば、ゲートアレイのＣＡＮコントローラである。通信制御部２６００は、復号部２３００が復号した後のテストパターン画像を取得する。通信制御部２６００は、取得したテストパターン画像から、取得部２２００が取得した、テストパターン画像の少なくとも一部の領域を指定する情報に対応する領域の画像を抽出する。通信制御部２６００は、抽出した画像を、第３の伝送路５００を介して撮像装置１００に出力する。
【０１２４】
第１の伝送路３００は例えば専用線である。第１の伝送路３００は、第１の出力部１３００が出力した画像を表示装置２００へ伝送する。第２の伝送路４００は例えば専用線であるが、バスであってもよい。第２の伝送路４００は、第２の出力部１４００が出力した情報を表示装置２００へ伝送する。後述する第３の伝送路５００が、第２の伝送路４００の代わりに、第２の出力部１４００が出力した情報を表示装置２００へ伝送してもよい。
【０１２５】
第３の伝送路５００は例えばバスである。第３の伝送路５００は、通信制御部２６００が出力した画像をＣＡＮ通信によって撮像装置１００へ伝送する。第３の伝送路５００の本数は２本以上であってもよい。
【０１２６】
［異常判定システムが行う処理］
制御部１１００は、撮像装置１００が設置される車両のエンジンが起動し撮像装置１００が起動したことを検出する。制御部１１００は、撮像装置１００が起動したことを検出すると、所定のテストパターン画像を表示装置２００へ出力する。制御部１１００は、撮像装置１００が起動したことを検出した時点ではなく、車両に対して任意の運転操作がなされた時点でテストパターン画像を表示装置２００へ出力してもよい。運転操作には、例えば車両の運転者がギアをリバースに入れる操作が含まれてもよい。表示装置２００において取得部２２００はテストパターン画像を取得し、復号部２３００へ出力する。
【０１２７】
復号部２３００はテストパターン画像を復号する。次いで、復号部２３００は、復号したテストパターン画像を通信制御部２６００へ出力する。
【０１２８】
通信制御部２６００は、取得したテストパターン画像のうち少なくとも一部の領域の画像を抽出する。例えば、通信制御部２６００は、図１０に示すテストパターン画像３０００全体から、少なくとも一部の領域の画像３１００または３２００等を抽出する。図１０に示す通り、少なくとも一部の領域は例えば、テストパターン画像内に予め定められた境界３３００、すなわち変位に伴い画素値が変わる境界部分を含む領域である。
【０１２９】
通信制御部２６００は、抽出した画像を、第３の伝送路５００を介して撮像装置１００へ出力する。
【０１３０】
通信制御部２６００がテストパターン画像内で抽出する領域は、例えば、撮像装置１００の制御部１１００によって指定される。具体的には制御部１１００は、抽出する領域を、例えば、その領域の画像を構成する１以上の画素の座標によって指定する。制御部１１００は、テストパターン画像を表示装置２００に出力する時またはその前後に、テストパターン画像の少なくとも一部の領域を指定する情報を、第２の伝送路４００を介して表示装置２００に出力する。
【０１３１】
取得部１５００は、表示装置２における通信制御部２６００から出力される、テストパターン画像の少なくとも一部の領域の画像を取得する。撮像装置１００の制御部１１００は、取得部１５００が取得した画像を、第１の出力部１３００が出力したテストパターン画像の、取得した画像が示す領域に対応する領域の画像と比較（照合）する。すなわち、撮像装置１００の制御部１１００は、２つの画像の画素情報を比較する。対応する領域とは、比較する２つの画像における、撮像装置１００が指定した領域である。
【０１３２】
比較した２つの画像の画素情報が同一でないと制御部１１００が判定した場合、撮像装置１００と表示装置２００との間または表示装置２００内に異常があると推定される。この場合、制御部１１００は、異常がある旨の報知を、例えば第３の伝送路５００を介して表示装置２００に行わせる。この場合、制御部１１００は、車両の特定の機能を停止させ得る情報を、表示装置２００を含む車載機器に出力してもよい。
【０１３３】
一方、比較した２つの画像が同一であると制御部１１００が判定した場合、撮像装置１００と表示装置２００との間や表示装置２００内は正常であると推定される。
【０１３４】
［動作フロー］
図１１に示すように、撮像装置１００は、撮像装置１００が設置される車両のエンジンが起動したことを検出する（ステップＳ６０１）。撮像装置１００は、テストパターン画像を表示装置２００に出力する（ステップＳ６０２）。撮像装置１００は、ステップＳ６０２で出力したテストパターン画像の少なくとも一部の領域を指定する情報を表示装置２００へ出力する（ステップＳ６０３）。ステップＳ６０３は、ステップＳ６０２と同時に行ってもよいし、ステップＳ６０２の前後で行ってもよい。撮像装置１００は、表示装置２００から出力される、テストパターン画像の少なくとも一部の領域の画像を取得する（ステップＳ６０４）。撮像装置１００は、ステップＳ６０４で取得した画像を、ステップＳ６０２で出力したテストパターン画像の、ステップＳ６０４で取得した画像が示す領域に対応する領域の画像と比較する（ステップＳ６０５）。撮像装置１００は、比較結果から、異常あるか否かを判定する（ステップＳ６０６）。撮像装置１００は、異常があると判定した場合（ステップＳ６０６のＹＥＳ）、異常がある旨の報知を表示装置２００に行わせる（ステップＳ６０７）。また、撮像装置１００は、車両の特定の機能を停止させ得る情報を車載機器に出力してもよい。撮像装置１００は、正常であると判定した場合（ステップＳ６０６のＮＯ）、ステップＳ６０７を行わない。
【０１３５】
上記実施形態の通り、制御部１１００は、取得部１５００が取得した画像を、第１の出力部１３００が出力したテストパターン画像の、取得した画像が示す領域に対応する領域の画像と比較する。これによって、撮像装置１００と表示装置２００との間または表示装置２００内に異常があるか否かを判定することが可能となる。
【０１３６】
また、少なくとも一部の領域は例えば、テストパターン画像として予め定められた境界部分の領域である。境界部分の領域においては、例えば、進行波と反射波とによって発生する定在波等の影響による同期信号の位相ずれが生じているときに、画像の乱れが発生しやすい。それゆえ、このような構成によって、カメラと表示装置との間または表示装置内に異常があるか否かを判定することが容易となる。
【０１３７】
更に、テストパターン画像は、色情報を有するカラー画像であってもよい。異常によって、画像からまず色情報から失われることがある。従って、このような構成によって、異常があるか否かの判定をすることが容易となる。
【０１３８】
（第４の実施形態）
上記の第３の実施形態では、通信制御部２６００が、復号部２３００が復号した後のテストパターン画像を取得する。他方、第４の実施形態では、通信制御部２６００が、復号部２３００が復号する前のテストパターン画像を取得する。この点以外の、異常判定システムが行う処理は上記の実施形態の処理と同様である。
【０１３９】
本実施形態の場合、通信制御部２６００が取得し撮像装置１００に出力する画像は、復号部２３００が復号を行っていない画像である。従って、比較した２つの画像が同一でないと制御部１１００が判定した場合、撮像装置１００と表示装置２００との間に異常があると推定される。
【０１４０】
本実施形態では、このような構成によって、撮像装置１００と表示装置２００との間に異常があるか否かを判定することができる。
【０１４１】
（第５の実施形態）
第５の実施形態は、第３の実施形態と第４の実施形態とを組み合わせる。すなわち、通信制御部２６００は、復号部２３００が復号する前のテストパターン画像および復号した後のテストパターン画像の両方を取得する。更に、通信制御部２６００は、両方のテストパターン画像を撮像装置１００に出力し、取得部１５００はそれらを取得して制御部１１００に出力する。制御部１１００は、復号部２３００が復号する前のテストパターン画像を、第１の出力部１３００が出力したテストパターン画像の、取得した画像が示す領域に対応する領域の画像と比較する。更に、制御部１１００は、復号部２３００が復号した後のテストパターン画像を、第１の出力部１３００が出力したテストパターン画像の、取得した画像が示す領域に対応する領域の画像と比較する。
【０１４２】
このように２回の比較を行ったときの、異常箇所の判定結果を図１２に示す。「○」は比較した画像が同一であることを示し、「Ｘ」は比較した画像が異なることを示す。
【０１４３】
本実施形態においては、このような構成によって、制御部１１００が異常箇所を詳細に判定することができる。
【０１４４】
（第６の実施形態）
上記第３の実施形態では、通信制御部２６００がテストパターン画像内で抽出する領域を、撮像装置１００の制御部１１００が指定する。他方、第６の実施形態では、通信制御部２６００がテストパターン画像内で抽出する領域を、通信制御部２６００が任意に決定する。従って、本実施形態では、異常判定システムは第２の出力部１４００を備える必要がない。
【０１４５】
本実施形態では、通信制御部２６００は、どの領域の画像を抽出したかを、例えば、その領域の画像を構成する１以上の画素の座標によって示す。通信制御部２６００は、どの領域の画像を抽出したかを示す情報を、撮像装置１００に出力する。制御部１１００が比較する対応する領域は、比較する２つの画像における、通信制御部２６００が決定した領域である。
【０１４６】
（第７の実施形態）
上記第３の実施形態では、通信制御部２６００がテストパターン画像内で抽出する領域を、制御部１１００が指定する。他方、第７の実施形態では、通信制御部２６００がテストパターン画像内で抽出する領域は、予め定められている。従って、本実施形態では、異常判定システムは第２の出力部１４００を備える必要がない。
【０１４７】
本実施形態では、通信制御部２６００は、予め定められた所定の領域を抽出し、撮像装置１００へ出力する。予め定められた所定の領域は、テストパターン画像の一部の領域であってもよいし、全部の領域であってもよい。
【０１４８】
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。
【０１４９】
例えば、上述した第１の実施形態および第２の実施形態において、撮像装置１３（第２の実施形態においては一次装置）は後段画像処理が施された現在フレームの第１のデジタル画像信号の画質特性値を目標値に定める構成について説明したが、実施形態の構成はこれに限られない。例えば後段画像処理が施された過去フレームの第１のデジタル画像信号の画質特性値を目標値に定めてもよい。同様に、上述した第２の実施形態において、例えば二次装置に定められた撮像装置１３は、過去のフレームの他の参照信号に示される第２のデジタル画像信号の画質特性値を目標値に定めてもよい。
【０１５０】
また、上述した第１の実施形態または第２の実施形態と、第３の実施形態と、が組み合わされてもよい。例えば、第１の実施形態または第２の実施形態に係る第１のデジタル画像信号として、第３の実施形態に係るテストパターン画像が採用されてもよい。また例えば、第１の実施形態または第２の実施形態において、第１のデジタル画像信号の少なくとも一部の領域の画質特性値と、第２のデジタル画像信号の少なくとも一部の領域の画質特性値と、の比較に基づいて、撮像装置１３と表示装置１２との間に、または、表示装置１２内に、異常があるか否かを判定してもよい。
【０１５１】
また、上述の実施形態に係るシステムの構成要素の一部は、車両の外部に設けられてもよい。例えば、表示装置１２、２００、および撮像装置１３、１００等は、携帯電話等の通信機器として実現され、システムの他の構成要素と有線または無線によって接続されてもよい。
【０１５２】
また、撮像装置１３、１００または表示装置１２、２００の少なくとも一方をコンピュータで構成した場合、各機能を実現する処理内容を記述したプログラムを、そのコンピュータの内部または外部の記憶部に格納しておき、そのコンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。また、このようなプログラムは、例えばＤＶＤまたはＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等によって流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することによって、流通させることができる。また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
【符号の説明】
【０１５３】
１０    車両
１１    カメラシステム
１２    表示装置
１３    撮像装置
１３ａ    フロントカメラ
１３ｂ    リアカメラ
１３ｃ    左サイドカメラ
１３ｄ    右サイドカメラ
１４    入出力部
１５    ＡＤ変換部
１６    表示部
１７    表示装置制御部
１８    専用線
１９    ネットワーク
２０    光学系
２１    撮像素子
２２    画像処理部
２３    ＤＡ変換部
２４    入出力部
２５    カメラ制御部
１００    撮像装置
２００    表示装置
３００    第１の伝送路
４００    第２の伝送路
５００    第３の伝送路
１１００  制御部
１２００  撮像部
１３００  第１の出力部
１４００  第２の出力部
１５００  取得部
２１００  制御部
２２００  取得部
２３００  復号部
２４００  駆動部
２５００  表示部
２６００  通信制御部
【図１】
2016157873.tif 000003
【図２】
2016157873.tif 000004
【図３】
2016157873.tif 000005
【図４】
2016157873.tif 000006
【図５】
2016157873.tif 000007
【図６】
2016157873.tif 000008
【図７】
2016157873.tif 000009
【図８】
2016157873.tif 000010
【図９】
2016157873.tif 000011
【図１０】
2016157873.tif 000012
【図１１】
2016157873.tif 000013
【図１２】
2016157873.tif 000014
【国際調査報告】
2016157873.tif 000015
2016157873.tif 000016
2016157873.tif 000017
2016157873.tif 000018