(57)【要約】【課題】接続されるべき映像信号送信装置の個数の変化に柔軟に対応することができる映像信号受信モジュール等を提供する。【解決手段】映像信号送受信システム１は、映像信号受信モジュール１０内の第１映像信号受信装置１１Ａおよび第２映像信号受信装置１１Ｂと、カメラモジュール２０内の映像信号送信装置２１とを備える。映像信号受信モジュール１０は、第１映像信号受信装置１１Ａ、第２映像信号受信装置１１Ｂおよび中央演算プロセッサ１２を含む。第１映像信号受信装置１１Ａにおいて生成されたフレーム信号は、第１群の映像信号送信装置２１へ送出されるとともに、第２映像信号受信装置１１Ｂへ出力される。また、第１映像信号受信装置１１Ａにおいて生成されたフレーム信号は、第２映像信号受信装置１１Ｂに入力されて、第２映像信号受信装置１１Ｂから第２群の映像信号送信装置２１へ送出される。【選択図】図１
2019125839.tif 000002
【特許請求の範囲】
【請求項１】
各々カメラによる撮像により取得された映像信号を送出する複数の映像信号送信装置と信号線により接続され、前記複数の映像信号送信装置それぞれから送出された映像信号を受信するモジュールであって、
フレーム信号を生成するフレーム信号生成部と、前記フレーム信号生成部により生成されたフレーム信号を前記複数の映像信号送信装置のうちの第１群の映像信号送信装置へ送出するフレーム信号送信部と、前記フレーム信号生成部により生成されたフレーム信号を出力する出力部と、を含む第１映像信号受信装置と、
前記第１映像信号受信装置の前記出力部から出力されたフレーム信号を入力する入力部と、前記入力部が入力したフレーム信号を前記複数の映像信号送信装置のうちの第２群の映像信号送信装置へ送出するフレーム信号送信部と、を含む第２映像信号受信装置と、
を備える映像信号受信モジュール。
【請求項２】
前記第１映像信号受信装置は、クロックを生成する内部オシレータを含み、
前記フレーム信号生成部は、前記内部オシレータが生成したクロックに基づいてフレーム信号を生成する、
請求項１に記載の映像信号受信モジュール。
【請求項３】
前記第１映像信号受信装置は、クロックを入力するクロック入力部を含み、
前記フレーム信号生成部は、前記クロック入力部が入力したクロックに基づいてフレーム信号を生成する、
請求項１に記載の映像信号受信モジュール。
【請求項４】
前記第１映像信号受信装置は、クロックを生成する内部オシレータと、クロックを入力するクロック入力部とを含み、
前記フレーム信号生成部は、前記内部オシレータが生成したクロックおよび前記クロック入力部が入力したクロックのうちの何れかのクロックに基づいて生成したフレーム信号を出力する、
請求項１に記載の映像信号受信モジュール。
【請求項５】
各々カメラによる撮像により取得された映像信号を送出する複数の映像信号送信装置と、
前記複数の映像信号送信装置それぞれから送出された映像信号を受信するとともに、フレーム信号を送出する請求項１〜４の何れか１項に記載の映像信号受信モジュールと、
を備え、
前記複数の映像信号送信装置それぞれは、前記映像信号受信モジュールから送出されたフレーム信号を受信して、そのフレーム信号を対応するカメラへ出力する、
映像信号送受信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号受信モジュールおよび映像信号送受信システムに関するものである。
【背景技術】
【０００２】
複数のカメラを用いて同時に取得した複数の映像を解析する技術の開発が行われている。例えば、事故などが発生する可能性を事前に検知してこれを回避する先進運転支援システム（Advanced  Driver  Assistance  System、ＡＤＡＳ）では、自動運転を実現するために、自動車に搭載された多数のカメラにより取得された映像情報をリアルタイム処理し、深層学習技術を適当することにより、カメラ映像情報から車両、歩行者および車間距離などの周辺環境情報を抽出する。深層学習技術を用いてパターンマッチング処理を行うＧＰＵ（Graphic  Processor  Unit）が開発されており、このＧＰＵを用いることで例えば１２チャネルのカメラ映像信号を処理できるプラットフォームを構築することができるとされている（非特許文献１参照）。
【０００３】
このようなシステムでは、多数のカメラは実質的に同時に映像を取得することが重要である。例えば、ドイツのアウトバーンを速度２５０ｋｍ／ｈで合法的に走行している自動車に搭載されている複数のカメラが同期せずにフレームレート３０ｆｐｓ（Frame  Per  Second）で周辺環境の情報を取得したと仮定すると、これら複数のカメラの間では最大１６.７ｍｓの撮像時刻がずれることになり、各カメラが撮影した空間的位置は最大１.２ｍほど互いに異なることになる。このような映像の取得時刻の差異に対処した上で周辺環境情報を抽出する為には、本来の周辺環境情報抽出処理とは別の追加処理が必要になる。
【０００４】
したがって、各カメラは実質的に同時に映像を取得することが重要である。例えば、自動車が速度２５０ｋｍ／ｈで走行している場合に、各カメラが１５０μｓ以下の時差で映像を取得すれば、各カメラが撮影した空間的位置の差異は１０ｍｍとなり、前述の追加処理は不要であるとされている。
【０００５】
通常、カメラモジュールの内部には、レンズ系およびイメージセンサ（例えばＣＭＯＳイメージセンサ）に加えて、このイメージセンサにクロックを供給してイメージセンサを駆動するオシレータが配置されている。しかし、オシレータの発振特性には個体偏差がある。複数のカメラモジュールそれぞれにおいて内蔵オシレータから出力されるクロックを基準として撮像タイミングを生成する場合、これら複数のカメラモジュールの撮像動作は非同期とならざるをえない。
【０００６】
外部オシレータから共通のクロックを複数のカメラモジュールに供給すれば、複数のカメラモジュールの撮像タイミングを実質的に同じにすることができる（非特許文献２参照）。しかし、自動車内に搭載される場合には、外部オシレータとカメラモジュールとの間で長さ１０ｍを超えるクロック供給線が必要となる場合がある。そのクロック供給線の重量は自動車の燃費の悪化の要因となる。また、長距離のクロック供給線はアンテナとして作用して不要電磁波を放射する要因となる。したがって、外部オシレータから共通のクロックを複数のカメラモジュールに供給するのは好ましくない。
【０００７】
共通クロックに替えて共通の撮像開始タイミング指示信号を外部から複数のカメラモジュールに供給することによっても、複数のカメラモジュールの撮像タイミングを実質的に同じにすることができる（非特許文献３参照）。一般に、カメラモジュールは、撮像開始タイミング指示信号を受けて撮像を開始する機能を有している。カメラモジュールは、撮像開始後には内蔵オシレータから出力されるクロックに基づいて動作するので、１フレーム撮像終了時刻に差異が生じる。しかし、その差異が大きくなって問題となるより前に再び共通の撮像開始タイミング指示信号を複数のカメラモジュールに供給することを周期的に繰り返すことにより、複数のカメラモジュールの間の動作タイミングの差異を或る一定時間差以下にすることができる。
【０００８】
このように複数のカメラモジュールに対して共通に且つ周期的に供給される撮像開始タイミング指示信号として、各フレームの撮像開始タイミングを表すフレーム信号がある。フレームレートが３０ｆｐｓである場合、フレーム信号は約３３ｍｓ間隔で供給される。カメラモジュールに内蔵されるオシレータの発振周波数の偏差は一般に１００ｐｐｍである。この場合、或るフレーム信号のタイミングから次のフレーム信号のタイミングまでの１フレームの期間（３３ｍｓ）に複数のカメラモジュールの間で生じる動作タイミングの差異は最大で３.３μｓとなるが、この差異は前述の許容値（１５０μｓ）より小さい。
【０００９】
共通のフレーム信号を複数のカメラモジュールに供給する為の信号線は、前述のクロック供給線の場合と同様に１０ｍを超える場合がある。中央演算プロセッサがフレーム信号を生成することができるが、一般に、中央演算プロセッサおよびイメージセンサは、長距離の信号線を介して映像信号およびフレーム信号を送受信する能力を有していない。
【００１０】
そこで、専用のインターフェースとして、長距離の信号線を介して信号を送受信する能力を有する映像信号送信装置および映像信号受信装置が用いられる（非特許文献４，５参照）。映像信号送信装置および映像信号受信装置それぞれは半導体集積回路として構成される。映像信号送信装置は、イメージセンサ等とともにカメラモジュールを構成している。映像信号受信装置は、中央演算プロセッサとともに映像信号受信モジュールを構成している。
【００１１】
映像信号送信装置は、イメージセンサにより取得された映像信号を映像信号受信装置へ送出する。そして、映像信号受信装置は、映像信号送信装置から送出された映像信号を受信し、その映像信号を中央演算プロセッサへ与える。また、映像信号受信装置は、中央演算プロセッサにより生成されたフレーム信号等の制御信号を映像信号送信装置へ送出する。そして、映像信号送信装置は、映像信号受信装置から送出された制御信号を受信して、そのフレーム信号をイメージセンサへ与える。映像信号送信装置および映像信号受信装置それぞれにおいて、制御信号を送受信する端子として汎用の端子を用いることができる。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】“NVIDIA、自動運転・自動認識の最前線を紹介する「ディープラーニングセミナー」  ヘテロジニアスラーニングによる歩行者検出精度向上などを発表”、［online］、２０１５年８月２６日、Impress Corporation、［平成２９年１２月１１日検索］、インターネット〈URL：https://car.watch.impress.co.jp/docs/topics/717652.html〉
【非特許文献２】“イメージセンシングプロダクツ / Image SensingProducts”、［online］、ソニー、［平成２９年１２月１１日検索］、インターネット〈URL：https://www.sony.co.jp/Products/ISP/interview/vol01.html〉
【非特許文献３】“カメラ接続のためのボード設定方法（外部トリガ編）−AIPToolを使って外部トリガ同期撮像をしよう！−”、［online］、AVAL  DATA  CORPORATION、［平成２９年１２月１１日検索］、インターネット〈URL：http://www.avaldata.co.jp/solution_imaging/cameralink_tips/aiptool_ex_trg.html〉
【非特許文献４】“New MotorVuTM 360reference design enables four-channel HD surround view and recording”、［online］、Ambarella、［平成２９年１２月１１日検索］、インターネット〈URL：https://www.ambarella.com/news/48/122/Ambarella-Unveils-HD-360-View-Automotive-Camera-Solution〉
【非特許文献５】“B5Video Serializer/De-Serializer Companion Chips”、［online］、Ambarella、［平成２９年１２月２５日検索］、インターネット〈URL：https://www.ambarella.com/uploads/docs/MotorVu-360-product-brief.pdf>
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかし、中央演算プロセッサにより生成されたフレーム信号が映像信号受信装置および映像信号送信装置を経てイメージセンサへ送られる構成は、次のような問題点を有している。すなわち、様々な処理を行わなければならない中央演算プロセッサにおいて、時間的に高精度のタイミングでフレーム信号を生成して汎用の端子から送出する処理を行うことは容易ではない。また、中央演算プロセッサにおいて、そのようなフレーム信号の生成および送出の処理が可能であっても、処理能力には限度があることから、フレーム信号送出処理が他の重要な処理に悪影響を及ぼす場合がある。
【００１４】
このような問題を解消するために、中央演算プロセッサにおいてフレーム信号を生成することに替えて、映像信号受信装置においてフレーム信号を生成することが考えられる。映像信号受信装置においてフレーム信号を生成すれば、中央演算プロセッサの処理量が軽減される。
【００１５】
ところが、略同一のタイミングで撮像することが要求されるカメラモジュールの個数（すなわち、映像信号送信装置の個数）は、一定ではなく、システムによって様々であり、また、今後は増加していくことも予想される。これら複数の映像信号送信装置と１つの映像信号受信装置との間で映像信号および制御信号などを送受信することができればよいが、１つの映像信号受信装置との間で映像信号および制御信号などを送受信することができる映像信号送信装置の個数には制限がある。また、接続されるべき映像信号送信装置の個数に応じて様々な映像信号受信装置を設計・製造して製品ラインアップとして用意しておくことは非効率的である。
【００１６】
本発明は、上記のような本発明者の検討の結果に基づいて、上記問題点を解消する為になされたものであり、接続されるべき映像信号送信装置の個数の変化に柔軟に対応することができる映像信号受信モジュール、ならびに、このような映像信号受信モジュールおよび映像信号送信装置を備える映像信号送受信システムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の映像信号受信モジュールは、各々カメラによる撮像により取得された映像信号を送出する複数の映像信号送信装置と信号線により接続され、複数の映像信号送信装置それぞれから送出された映像信号を受信するモジュールであって、(1) フレーム信号を生成するフレーム信号生成部と、フレーム信号生成部により生成されたフレーム信号を複数の映像信号送信装置のうちの第１群の映像信号送信装置へ送出するフレーム信号送信部と、フレーム信号生成部により生成されたフレーム信号を出力する出力部と、を含む第１映像信号受信装置と、(2) 第１映像信号受信装置の出力部から出力されたフレーム信号を入力する入力部と、入力部が入力したフレーム信号を複数の映像信号送信装置のうちの第２群の映像信号送信装置へ送出するフレーム信号送信部と、を含む第２映像信号受信装置と、を備える。
【００１８】
第１映像信号受信装置は、クロックを生成する内部オシレータを含み、フレーム信号生成部は、内部オシレータが生成したクロックに基づいてフレーム信号を生成する。或いは、第１映像信号受信装置は、クロックを入力するクロック入力部を含み、フレーム信号生成部は、クロック入力部が入力したクロックに基づいてフレーム信号を生成する。或いは、第１映像信号受信装置は、クロックを生成する内部オシレータと、クロックを入力するクロック入力部とを含み、フレーム信号生成部は、内部オシレータが生成したクロックおよびクロック入力部が入力したクロックのうちの何れかのクロックに基づいて生成したフレーム信号を出力する。
【００１９】
本発明の映像信号送受信システムは、(1) 各々カメラによる撮像により取得された映像信号を送出する複数の映像信号送信装置と、(2) 複数の映像信号送信装置それぞれから送出された映像信号を受信するとともに、フレーム信号を送出する請求項１に記載の映像信号受信モジュールと、を備える。そして、複数の映像信号送信装置それぞれは、映像信号受信モジュールから送出されたフレーム信号を受信して、そのフレーム信号を対応するカメラへ出力する。
【発明の効果】
【００２０】
本発明によれば、接続されるべき映像信号送信装置の個数の変化に柔軟に対応することができる。
【図面の簡単な説明】
【００２１】
【図１】図１は、映像信号送受信システム１の構成を示す図である。
【図２】図２は、カメラモジュール２０の構成を示す図である。
【図３】図３は、第１映像信号受信装置１１Ａの構成を示す図である。
【図４】図４は、第１映像信号受信装置１１Ａの変形例の構成を示す図である。
【図５】図５は、第１映像信号受信装置１１Ａの他の変形例の構成を示す図である。
【図６】図６は、第２映像信号受信装置１１Ｂの構成を示す図である。
【発明を実施するための形態】
【００２２】
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００２３】
図１は、映像信号送受信システム１の構成を示す図である。映像信号送受信システム１は、映像信号受信モジュール１０内の第１映像信号受信装置１１Ａおよび第２映像信号受信装置１１Ｂと、カメラモジュール２０内の映像信号送信装置２１とを備える。映像信号受信モジュール１０は、第１映像信号受信装置１１Ａ、第２映像信号受信装置１１Ｂおよび中央演算プロセッサ１２を含む。カメラモジュール２０は、図２に示されるとおり、映像信号送信装置２１およびカメラ２２を含む。
【００２４】
図１では映像信号受信モジュール１０は１個の第１映像信号受信装置１１Ａおよび２個の第２映像信号受信装置１１Ｂを含む構成であるが、映像信号受信モジュール１０に含まれる第２映像信号受信装置１１Ｂの個数は任意である。また、第１映像信号受信装置１１Ａおよび第２映像信号受信装置１１Ｂそれぞれに接続されるカメラモジュール２０の個数は、図１では４であるが、任意である。映像信号送受信システム１が自動車に搭載される場合、映像信号受信モジュール１０および各カメラモジュール２０は、長距離（例えば長さ１０ｍ以上）の信号線により接続されており、そのような長距離の信号の送受信が可能である。
【００２５】
各カメラモジュール２０において、カメラ２２は、レンズ系およびイメージセンサ（例えばＣＭＯＳイメージセンサ）を含み、また、このイメージセンサにクロックを供給してイメージセンサを駆動するオシレータを含む。各カメラモジュール２０において、映像信号送信装置２１は、第１映像信号受信装置１１Ａまたは第２映像信号受信装置１１Ｂから送出されたフレーム信号をフレーム信号受信部２１０により受信して、そのフレーム信号を出力部２２０によりカメラ２２へ出力する。カメラ２２は、映像信号送信装置２１からフレーム信号が供給されると撮像を行い、その撮像により取得された映像信号を映像信号送信装置２１へ出力する。映像信号送信装置２１は、カメラ２２による撮像により取得された映像信号をカメラ２２から受け取り、その映像信号を第１映像信号受信装置１１Ａまたは第２映像信号受信装置１１Ｂへ送出する。
【００２６】
第１映像信号受信装置１１Ａおよび第２映像信号受信装置１１Ｂそれぞれは、カメラモジュール２０へフレーム信号を送出し、カメラモジュール２０から送出された映像信号を受信する。第１映像信号受信装置１１Ａおよび第２映像信号受信装置１１Ｂそれぞれは、その受信した映像信号を中央演算プロセッサ１２へ出力する。中央演算プロセッサ１２は、第１映像信号受信装置１１Ａおよび第２映像信号受信装置１１Ｂから受け取った映像信号に基づいて所要の処理を行う。
【００２７】
図３は、第１映像信号受信装置１１Ａの構成を示す図である。第１映像信号受信装置１１Ａは、内部オシレータ１１０、フレーム信号生成部１２０、フレーム信号送信部１３０および出力部１４０を含む。内部オシレータ１１０は、クロックを生成する。フレーム信号生成部１２０は、内部オシレータ１１０が生成したクロックに基づいてフレーム信号を生成する。フレーム信号送信部１３０は、フレーム信号生成部１２０により生成されたフレーム信号を、複数の映像信号送信装置２１のうちの第１群の映像信号送信装置２１（すなわち、第１映像信号受信装置１１Ａと信号線により接続された４個の映像信号送信装置２１）へ送出する。出力部１４０は、フレーム信号生成部１２０により生成されたフレーム信号を、第２映像信号受信装置１１Ｂへ出力する。
【００２８】
図４は、第１映像信号受信装置１１Ａの変形例の構成を示す図である。この第１映像信号受信装置１１Ａは、内部オシレータ１１０に替えてクロック入力部１１１を含む。クロック入力部１１１は、外部からクロックを入力する。クロック入力部１１１は、クロックを入力するための専用のものであってもよいし、クロックに加えて他の信号をも入力する汎用のものであってもよい。クロック入力部１１１が入力するクロックは、映像信号受信モジュール１０内のオシレータが生成したものであってもよいし、何れかのカメラモジュール２０から送られてきた映像信号クロックであってもよい。フレーム信号生成部１２０は、クロック入力部１１１が入力したクロックに基づいてフレーム信号を生成する。
【００２９】
図５は、第１映像信号受信装置１１Ａの他の変形例の構成を示す図である。この第１映像信号受信装置１１Ａは、内部オシレータ１１０に加えてクロック入力部１１１および選択部１１２を含む。選択部１１２は、内部オシレータ１１０が生成したクロックおよびクロック入力部１１１が入力したクロックのうちの何れか一方のクロックを選択して、その選択したクロックをフレーム信号生成部１２０へ出力する。フレーム信号生成部１２０は、選択部１１２により選択されて出力されたクロックに基づいてフレーム信号を生成する、なお、内部オシレータ１１０が生成したクロックに基づいてフレーム信号を生成する第１フレーム信号生成部と、クロック入力部１１１が入力したクロックに基づいてフレーム信号を生成する第２フレーム信号生成部とを設けて、第１フレーム信号生成部が生成したフレーム信号および第２フレーム信号生成部が生成したフレーム信号のうちの何れか一方のフレーム信号を選択して出力してもよい。
【００３０】
図６は、第２映像信号受信装置１１Ｂの構成を示す図である。第２映像信号受信装置１１Ｂは、フレーム信号送信部１３０および入力部１５０を含む。入力部１５０は、第１映像信号受信装置１１Ａの出力部１４０から出力されたフレーム信号を入力する。フレーム信号送信部１３０は、入力部１５０が入力したフレーム信号を、複数の映像信号送信装置２１のうちの第２群の映像信号送信装置２１（すなわち、第２映像信号受信装置１１Ｂと信号線により接続された４個の映像信号送信装置２１）へ送出する。
【００３１】
これら第１映像信号受信装置１１Ａおよび第２映像信号受信装置１１Ｂを備える映像信号受信モジュール１０では、第１映像信号受信装置１１Ａにおいて、フレーム信号生成部１２０により生成されたフレーム信号は、フレーム信号送信部１３０により第１群の映像信号送信装置２１へ送出されるとともに、出力部１４０により第２映像信号受信装置１１Ｂへ出力される。また、第１映像信号受信装置１１Ａにおいてフレーム信号生成部１２０により生成されたフレーム信号は、第２映像信号受信装置１１Ｂの入力部１５０に入力されて、第２映像信号受信装置１１Ｂのフレーム信号送信部１３０により第２群の映像信号送信装置２１へ送出される。
【００３２】
本実施形態では、映像信号受信モジュール１０に含まれる第２映像信号受信装置１１Ｂの個数を任意とすることができる。映像信号受信モジュール１０が実質的に同じタイミングでフレーム信号を供給すべき映像信号送信装置２１の個数に応じて、映像信号受信モジュール１０に含まれる第２映像信号受信装置１１Ｂの個数を調整すればよい。このように、本実施形態の映像信号受信モジュール１０は、接続されるべき映像信号送信装置２１の個数の変化に柔軟に対応することができる。
【００３３】
また、本実施形態では、中央演算プロセッサ１２がフレーム信号を生成するのではなく、第１映像信号受信装置１１Ａがフレーム信号を生成する。中央演算プロセッサ１２がフレーム信号を生成する場合には、様々な処理を行わなければならない中央演算プロセッサにおいて、時間的に高精度のタイミングでフレーム信号を生成して汎用の端子から送出する処理を行うことは容易ではなく、また、このようなフレーム信号の生成および送出の処理が可能であっても、処理能力には限度があることから、フレーム信号送出処理が他の重要な処理に悪影響を及ぼす場合がある。これに対して、第１映像信号受信装置１１Ａがフレーム信号を生成する本実施形態では、このような中央演算プロセッサ１２の負荷の問題が軽減される。
【符号の説明】
【００３４】
１…映像信号送受信システム、１０…映像信号受信モジュール、１１Ａ…第１映像信号受信装置、１１Ｂ…第２映像信号受信装置、１２…中央演算プロセッサ、２０…カメラモジュール、２１…映像信号送信装置、２２…カメラ、１１０…内部オシレータ、１１１…クロック入力部、１１２…選択部、１２０…フレーム信号生成部、１３０…フレーム信号送信部、１４０…出力部、１５０…入力部、２１０…フレーム信号受信部、２２０…出力部。
【図１】
2019125839.tif 000003
【図２】
2019125839.tif 000004
【図３】
2019125839.tif 000005
【図４】
2019125839.tif 000006
【図５】
2019125839.tif 000007
【図６】
2019125839.tif 000008