(57)【要約】【課題】撮像装置と外部装置との間で伝送される設定用データの情報量を増大させる技術を提供する。【解決手段】埋込部２１４は、撮像装置２を構成する撮像部２１，２１の状態を表す状態データＩａ，Ｉｂを、イメージャ２１１が出力する画像データＡ，Ｂに埋め込んで出力する。つまり、撮像部２１，２１の設定に必要な設定用データである状態データＩａ，Ｉｂが、画像データの伝送に使用する高速な通信チャネルを用いて送信されるため、多くの設定用データを画像処理装置３に提供することができる。その結果、画像処理装置３の撮像制御部３４では、取得した状態データに基づき、撮像部２１の設定を、その時々に応じて的確に変更することができ、品質のよい画像データが得られる。【選択図】図１
2018078519.tif 000002
【特許請求の範囲】
【請求項１】
設定に従って撮像を実行する撮像部（２１，２１ａ）と、
前記撮像部から取得される画像データに、前記撮像部の状態を表す状態データを埋め込んだ埋込画像データを生成する画像加工部（２１４，２２，２５，２６）と、
外部装置（３，３ａ）との間のシリアル通信により、前記撮像部の動作を制御する設定データの受信、および前記画像加工部にて生成された前記埋込画像データの送信を行う通信部（２４）と、
を備える撮像装置。
【請求項２】
前記撮像部（２１）を複数備え、
前記画像加工部は、
前記複数の撮像部から取得される複数の画像データのそれぞれに対して、取得元の前記撮像部の状態を表す状態データを埋め込む個別埋込部（２１４）と、
前記個別埋込部にて前記状態データが埋め込まれた前記複数の画像データを、それぞれ一定データ量毎に分割し、分割されたデータを順番に混ぜ合わせることで、前記埋込画像データを生成する混合部（２２）と、
を備える、請求項１に記載の撮像装置。
【請求項３】
前記撮像部（２１ａ）を複数備え、
前記画像加工部は、
前記複数の撮像部から取得される画像データを合成して、輝度に対する出力画素値の関係が前記輝度の領域毎に異なる一つの合成画像データを生成する合成部（２５）と、
前記合成部にて生成された合成画像データに、前記複数の撮像部についての前記状態データを埋め込むことで、前記埋込画像データを生成する一括埋込部（２６）と、
を備える、請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置と外部装置との間でデータを伝送する技術に関する。
【背景技術】
【０００２】
車両等に搭載される撮像装置は、外部装置との間でシリアル通信を行うことにより、画像データの伝送や、撮像装置の動作を制御するための設定データの書き込みや状態データの読み取り等を行っている。
【０００３】
そして、特許文献１には、設定データや状態データの伝送を、１枚の画像データの伝送が終了する毎に挿入される垂直ブランキング期間、即ち、画像データの伝送が行われていない期間を利用して伝送する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１３／０４３６６１号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、垂直ブランキング期間を使用して設定データやを伝送する場合、期間が短く伝送可能なデータ量が制限される。このため、例えば、設定データを読み取ることで撮像装置の状態をチェックする場合、そのチェックできる状態の範囲が制限されてしまうという問題があった。
【０００６】
本開示は、撮像装置と外部装置との間で伝送される設定用データの情報量を増大させる技術を提供する。
【課題を解決するための手段】
【０００７】
本開示の撮像装置は、撮像部（２１，２１ａ）と、画像加工部（２１４，２２，２５，２６）と、通信部（２４）とを備える。撮像部は、設定に従って撮像を実行する。画像加工部は、撮像部から取得される画像データに、撮像部の状態を表す状態データを埋め込んだ埋込画像データを生成する。通信部は、外部装置との間のシリアル通信により、撮像部の動作を制御する設定データの受信、および画像加工部にて生成された埋込画像データの送信を行う。
【０００８】
このような構成によれば、状態データ、即ち、撮像部の設定に使用される設定用データが、画像データの一部として、即ち、画像データ転送用の高速な通信チャンネルを用いて外部装置に伝送される。このため、比較的低速な制御用の通信チャンネルを使用する場合と比較して、伝送量の制限を受けることなく、設定用データを伝送することができる。
【０００９】
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態の画像処理システムの構成を示すブロック図である。
【図２】撮像装置と外部装置との間で送受信されるデータの伝送タイミングや埋込部での処理内容を示す説明図である。
【図３】混合部での処理内容を示す説明図である。
【図４】混合部による効果を示す説明図である。
【図５】第２実施形態の画像処理システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本開示の実施形態を説明する。
［１．第１実施形態］。
［１−１．構成］
図１に示す画像処理システム１は、撮像装置２と、画像処理装置３と、伝送線路４とを備える。伝送線路４は、撮像装置２と画像処理装置３とを接続し、両者間で行われるシリアル通信の信号を伝送する。なお、伝送線路４は、例えば、同軸ケーブルまたはシールドツイストペアケーブルを用いて構成することができる。
【００１２】
［１−１−１．撮像装置］
撮像装置２は、一対の撮像部２１，２１と、混合部２２と、設定処理部２３と、通信部２４とを備える。
【００１３】
一対の撮像部２１，２１は同様の構成をしているため、一方の撮像部２１について説明する。撮像部２１は、イメージャ２１１、画像インタフェース部（以下、画像ＩＦ部）２１２、設定インタフェース部（以下、設定ＩＦ部）２１３、埋込部２１４を備える。
【００１４】
イメージャ２１１は、公知のＣＣＤイメージセンサ、あるいはＣＭＯＳイメージセンサに加え、増幅部及びＡ／Ｄ変換部を内蔵している。これら増幅部及びＡ／Ｄ変換部は、イメージセンサによって画像を撮像したとき、その画像の各画素の輝度（明るさ）を示すアナログ信号を所定のゲインで増幅し、かつ増幅したアナログ値をデジタル値に変換する。画像ＩＦ部２１２は、イメージャ２１１によって生成されたデジタル値を画像データとして画像のラインごとに出力するためのインタフェースである。設定ＩＦ部２１３は、シャッタ時間やホワイトバランス等のイメージャ２１１の動作を決める設定データの変更等に使用されるインタフェースである。これらイメージャ２１１、画像ＩＦ部２１２、設定ＩＦ部２１３は撮像装置２において周知のものである。埋込部２１４は、イメージャ２１１の状態を表す状態データを、画像ＩＦ部２１２が出力する画像データに埋め込むように構成されている。具体的には、画像の周辺部に位置する画像データの一部を状態データで置換する。画像の周辺部に位置する画像データとして、例えば画像の先頭（即ち、画面上端部分）や末尾（即ち、画面下端部分）の複数ライン分の画像データを用いることができる。なお、画像データの一部を状態データで置換する代わりに、画像データの先頭や末尾に状態データを挿入するようにしてもよい。以下では、一対の撮像部２１，２１のうち、一方の撮像部２１のイメージャ２１１が出力する画像データをＡ、そのイメージャ２１１に関する状態データをＩａで表し、他方の撮像部２１のイメージャ２１１が出力する画像データをＢ、そのイメージャ２１１に関する状態データをＩｂで表すものとする。
【００１５】
混合部２２は、一対の撮像部２１，２１のそれぞれから、画像ＩＦ部２１２を介して出力される状態データが埋め込まれた画像データＡ＋Ｉａ，Ｂ＋Ｉｂを混ぜ合わせることによって埋込画像データＭ１，Ｍ２を生成し、その埋込画像データＭ１，Ｍ２を通信部２４に供給する。具体的には、図２に示すように、撮像部２１，２１が出力する画像データＡ＋Ｉａ，Ｂ＋Ｉｂを、それぞれ一定数のライン毎の部分画像データＡ１〜Ａ６，Ｂ１〜Ｂ６に分割する。ここでは、各画像データを６分割しているがこれに限定されるものではない。そして分割した部分画像データを、Ａ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３，…のように交互に選択して混合することにより、二つの埋込画像データＭ１，Ｍ２を生成する。
【００１６】
設定処理部２３は、通信部２４を介して受信する撮像部２１に対する設定指令に従い、設定ＩＦ部２１３を介して設定データを設定，変更する。また、通信部２４を介して受信する読出要求に従い、該読出要求にて指定された撮像部２１の状態データを、制御ＩＦ部２１３を介して読み出して、通信部２４に供給する。
【００１７】
通信部２４は、伝送線路４を介して画像処理装置３との間でシリアル通信を実行する。通信部２４は、予め設定されたフレーム間隔の周期で受信される設定指令を、設定処理部２３に転送する。なお設定処理部２３は、設定指令に従い撮像部２１に設定データを書き込む。その後、撮像部２１，２１にて撮像された画像データに基づく埋込画像データＭ１，Ｍ２を混合部２２から取得して、これをフレーム間隔毎に送信する。なお、図３に示すように、フレーム間隔は、一つの埋込画像データの送信に要する時間に、垂直ブランキング期間を加えた長さに設定されている。なお、垂直ブランキング期間はＶＢｌａｎｋとも表記される。そして、通信部２４は、この垂直ブランキング期間を利用して、設定指令や、読出要求および読出要求に対する応答の送受信を行うように構成されている。なお、上記読出要求に関する機能は省略されていてもよい。
【００１８】
本実施形態において、埋込部２１４および混合部２２が画像加工部に相当し、特に埋込部２１４は個別埋込部に相当する。
［１−１−２．画像処理装置］
画像処理装置３は、通信部３１と、分離部３２と、合成部３３と、撮像制御部３４とを備える。
【００１９】
通信部３１は、伝送線路４を介して撮像装置２との間でシリアル通信を実行する。通信部３１は、埋込画像データＭ１，Ｍ２を受信した場合は、分離部３２に転送する。また、通信部３１は、撮像制御部３４から設定指令や読出要求の供給を受けた場合は、これらを、垂直ブランキング期間を利用して撮像装置２に送信する。また、撮像装置２から読出要求に対する応答を受信した場合は、撮像制御部３４に転送する。
【００２０】
分離部３２は、通信部３１から転送されてくる埋込画像データＭ１，Ｍ２を、部分画像データＡ１，Ｂ１，Ａ２，Ｂ２，…毎に分離し、画像データＡに属する部分画像データＡ１，Ａ２，…と、画像データＢに属する部分画像データＢ１，Ｂ２，…とに分けて合成部３３に順次供給する。また、分離部３２は、部分画像データ（例えば、Ａ１，Ｂ１，Ａ６，Ｂ６）から、画像データＡに埋め込まれた状態データＩａ、画像データＢに埋め込まれた状態データＩｂを分離して、撮像制御部３４に供給する。なお、合成部３３には、状態データＩａ，Ｉｂが除去された部分画像データを供給するようにしてもよい。また、分離部３２は、分離された部分画像データに基づき、画像データＡ，Ｂの画面全体の平均的な明るさ等、撮像部２１の設定データに影響を与える画像情報を抽出し、状態データと共に撮像制御部３４に供給するように構成されていてもよい。
【００２１】
合成部３３は、分離部３２から順次供給される画像データＡ，Ｂに基づき、輝度に対する出力画素値の関係が輝度の領域毎に異なるように合成して元の画像より広いダイナミックレンジを有する一つの合成画像を生成する、いわゆるハイダイナミックレンジ合成を実行する。但し、この処理は、図４に示すように、分離部３２から一対の部分画像データＡｉ，Ｂｉが供給される毎に、その部分画像データＡｉ，Ｂｉが示す部分についての処理を逐次実行する。なお、ｉは１〜６の整数である。
【００２２】
撮像制御部３４は、分離部３２から供給される状態データＩａ，Ｉｂや画像情報に基づき、次回の撮像時で採用する撮像部２１の設定内容を決定し、その決定した設定内容を表す設定指令を、通信部３１を介して撮像装置２に送信する。また、撮像制御部３４は、必要に応じて読出要求を、通信部３１を介して撮像装置２に送信することで、適宜、必要な情報を収集する。
【００２３】
なお、上述した撮像装置２や画像処理装置３を構成する各部の機能は、一つあるいは複数のハードウェアを用いて実現することができる。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。また、上記機能の一部の要素については、ＣＰＵやメモリを用いて構成された一つあるいは複数の周知のマイクロコンピュータによって実現してもよい。その場合、ＣＰＵが非遷移的実体的記録媒体としてのメモリに格納されたプログラムを実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。
【００２４】
［１−２．効果］
以上詳述した第１実施形態によれば、以下の効果を奏する。
（１ａ）画像処理システム１によれば、撮像装置２を構成する撮像部２１，２１の状態を表す状態データＩａ，Ｉｂを、画像データＡ，Ｂに埋め込んで送信している。このため、撮像部２１，２１の設定に必要な設定用データである状態データＩａ，Ｉｂが、画像データの伝送に使用する高速な通信チャネルを用いて送信されるため、多くの設定用データを画像処理装置３に提供することができる。その結果、画像処理装置３の撮像制御部３４では、取得した状態データに基づき、撮像部２１の設定を、その時々に応じて的確に変更することができ、品質のよい画像データを得ることができる。
【００２５】
（１ｂ）画像処理システム１によれば、撮像装置２は、各撮像部２１，２１で取得された二つの画像データＡ，Ｂを、一つずつ順番に送信するのではなく、両画像データを混合し、時自分割多重したような形式で送信している。このため、画像処理装置３側では、ハイダイナミックレンジ合成等の処理を、画像データＡ，Ｂの全てを受信しなくても、対になる部分画像データＡｉ，Ｂｉを受信したタイミングで逐次実行することができる。その結果、画像処理装置３では、埋込画像データＭ１，Ｍ２の受信からハイダイナミックレンジ合成までの総合的な処理時間を短縮することができる。
【００２６】
［２．第２実施形態］
［２−１．第１実施形態との相違点］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
【００２７】
前述した第１実施形態では、撮像装置２は、状態データが埋め込まれた画像データＡ＋Ｉａ，Ｂ＋Ｉｂを混合することで生成された埋込画像データＭ１，Ｍ２を送信している。これに対し、第２実施形態では、撮像装置２ａは、画像データＡ，Ｂをハイダイナミックレンジ合成したものに状態データＩ（即ち、Ｉａ＋Ｉｂ）を埋め込むことで生成された埋込画像データＣを送信する点で、第１実施形態と相違する。
【００２８】
［２−２．構成］
図５に示す画像処理システム１ａは、撮像装置２ａと、画像処理装置３ａと、伝送線路４とを備える。
【００２９】
［２−２−１．撮像装置］
撮像装置２ａは、一対の撮像部２１ａ，２１ａと、設定処理部２３と、通信部２４と、合成部２５と、埋込部２６とを備える。設定処理部２３、通信部２４については説明を省略する。
【００３０】
一対の撮像部２１ａ，２１ａは同様の構成をしているため、一方の撮像部２１ａについて説明する。撮像部２１ａは、イメージャ２１１、画像インタフェース部（以下、画像ＩＦ部）２１２、設定インタフェース部（以下、設定ＩＦ部）２１３を備える。つまり、埋込部２１４が省略されている以外は、撮像部２１と同様に構成されている。従って、撮像部２１ａから出力される画像データＡ，Ｂは、第１実施形態の場合とは異なり、状態データＩａ，Ｉｂが埋め込まれていないものとなる。
【００３１】
合成部２５は、撮像部２１ａ，２１ａから供給される画像データＡ，Ｂに対してハイダイナミックレンジ合成を実行することで、合成画像データＣを生成する。
埋込部２６は、撮像部２１ａ，２１ａのそれぞれから、イメージャ２１１の状態を表す状態データＩａ，Ｉｂを、設定ＩＦ部２１３を介して取得し、その取得した状態データＩａ，Ｉｂを、ＨＤＲ合成部２５にて生成された合成画像データＣに埋め込むことで、埋込画像データＣ＋Ｉを生成するように構成されている。なお、合成画像データＣへの状態データＩの具体的な埋め込み方法は、第１実施形態の埋込部２１４にて説明した、画像データに状態データを埋め込む方法と同様である。
【００３２】
本実施形態において、合成部２５および埋込部２６が画像加工部に相当し、特に埋込部２６は一括埋込部に相当する。
［２−２−２．画像処理装置］
画像処理装置３ａは、通信部３１と、分離部３２ａと、撮像制御部３４とを備える。  通信部３１および撮像制御部３４については、説明を省略する。
【００３３】
分離部３２ａは、通信部３１から供給される埋込画像データＣ＋Ｉから状態データＩを分離する。そして、分離した状態データを撮像制御部３４に供給し、状態データＩが除去された合成画像データＣを外部に出力する。また、分離部３２ａは、第１実施形態における分離部３２と同様に画像情報を撮像制御部３４に供給するように構成されていてもよい。
【００３４】
［２−３．効果］
以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１ａ）を奏し、さらに、以下の効果を奏する。
【００３５】
（２ａ）画像処理システム１ａによれば、撮像装置２ａにてハイダイナミックレンジ合成を行うことで、複数の画像データを一つの合成画像データにして、画像処理装置３ａに送信している。このため、伝送線路４を介した撮像装置２ａと画像処理装置３ａとの間の通信における伝送量を大幅に削減することができる。
【００３６】
［３．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【００３７】
（３ａ）上記第１実施形態では、埋込部２１４が撮像部２１と一体に構成されているが、これを撮像部２１とは別体に構成してもよい。この場合、撮像部２１，２１と混合部２２との間に、埋込部２１４，２１４を設ければよい。
【００３８】
（３ｂ）上記実施形態では、撮像装置２，２ａがそれぞれ一対の撮像部２１，２１ａを備えているが、撮像部２１，２１ａの数は、これに限定されるものではない。例えば、それぞれ３個以上の撮像部２１，２１ａを備えていてもよい。特に、第１実施形態の場合、撮像装置２が備える撮像部２１は１個であってもよい。この場合、撮像装置２は、混合部２２を省略した構成とすればよい。
【００３９】
（３ｃ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【００４０】
（３ｃ）上述した撮像装置２，２ａの他、当該撮像装置２，２ａおよび画像処理装置３，３ａを構成要素とする各種システム、当該撮像装置２，２ａを構成する混合部２２、合成部２５、埋込部２６としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、データ伝送方法など、種々の形態で本開示を実現することもできる。
【符号の説明】
【００４１】
１，１ａ…画像処理システム、２，２ａ…撮像装置、３，３ａ…画像処理装置、４…伝送線路、２１，２１ａ…撮像部、２２…混合部、２３…設定処理部、２４，３１…通信部、２５…合成部、２６，２１４…埋込部、３２，３２ａ…分離部、３３…合成部、３４…撮像制御部、２１１…イメージャ、２１２…画像ＩＦ部、２１３…設定ＩＦ部。
【図１】
2018078519.tif 000003
【図２】
2018078519.tif 000004
【図３】
2018078519.tif 000005
【図４】
2018078519.tif 000006
【図５】
2018078519.tif 000007