(57)【要約】【課題】フリッカ現象が生じている場合であっても、対象物を認知することができるような適切な撮像画像を得ることが可能な撮像装置及び機器を提供する。【解決手段】点滅する対象物又は点滅する照射体に照らされた対象物を検出する検出部と、検出された前記対象物に対してトラッキングを行うトラッキング部と、トラッキングされた前記対象物の複数の撮像フレームに基づいて、前記点滅の周期情報を推定する推定部と、推定結果に基づいて、前記対象物の撮像のためのタイミング信号を生成する信号生成部と、を備える、撮像装置を提供する。【選択図】図２
2019036907.tif 000002
【特許請求の範囲】
【請求項１】
点滅する対象物又は点滅する照射体に照らされた対象物を検出する検出部と、
検出された前記対象物に対してトラッキングを行うトラッキング部と、
トラッキングされた前記対象物の複数の撮像フレームに基づいて、前記点滅の周期情報を推定する推定部と、
推定結果に基づいて、前記対象物の撮像のためのタイミング信号を生成する信号生成部と、
を備える、
撮像装置。
【請求項２】
前記対象物を撮像する第１及び第２の撮像部をさらに備え、
前記第１の撮像部は、第１のフレームレートで撮像し、
前記第２の撮像部は、前記第１のフレームレートよりも低速な第２のフレームレートで撮像する、
請求項１に記載の撮像装置。
【請求項３】
前記対象物を撮像する、複数の撮像素子からなる撮像部をさらに備え、
前記撮像部は、第１のフレームレートで撮像する第１の撮像素子群と、前記第１のフレームレートよりも低速な第２のフレームレートで撮像する第２の撮像素子群とを有する、
請求項１に記載の撮像装置。
【請求項４】
前記検出部は、前記第１のフレームレートで取得された前記対象物の複数の撮像フレームに基づいて、前記対象物を検出する、請求項２に記載の撮像装置。
【請求項５】
前記検出部は、前記撮像フレームの各画素の色情報に基づいて、前記対象物を検出する、請求項４に記載の撮像装置。
【請求項６】
前記検出部は、前記撮像フレームの特徴点に基づいて、前記対象物を検出する、請求項４に記載の撮像装置。
【請求項７】
前記撮像装置の位置を測位する測位部をさらに備え、
前記検出部は、前記撮像装置の位置情報に基づいて、前記対象物を検出する、
請求項１に記載の撮像装置。
【請求項８】
前記トラッキング部は、前記第１のフレームレートで取得された前記対象物の複数の撮像フレームのうちの前後の前記撮像フレームの比較に基づいて、前記対象物に対してトラッキングを行う、請求項２に記載の撮像装置。
【請求項９】
前記推定部は、前記第１のフレームレートで取得された前記対象物の複数の撮像フレームにおける前記対象物の輝度の変化に基づいて、前記点滅の周波数、点灯時間、及び点灯間隔の少なくともいずれか１つを推定する、請求項２に記載の撮像装置。
【請求項１０】
前記信号生成部は、前記第２の撮像部の露光開始のタイミングを制御する信号、もしくは、露光終了のタイミングを制御する信号を生成する、請求項２に記載の撮像装置。
【請求項１１】
前記検出部は、複数の前記対象物を検出し、
前記トラッキング部は、前記各対象物に対してトラッキングを行い、
前記推定部は、前記各対象物に関する前記点滅の周期情報を推定し、
前記信号生成部は、推定結果に基づいて、前記各対象物の撮像のための各タイミング信号を生成する、
請求項１に記載の撮像装置。
【請求項１２】
点滅する対象物又は点滅する照射体に照らされた対象物を検出する検出部と、
検出された前記対象物に対してトラッキングを行うトラッキング部と、
トラッキングされた前記対象物の複数の撮像フレームに基づいて、前記点滅の周期情報を推定する推定部と、
推定結果に基づいて、前記対象物の撮像のためのタイミング信号を生成する信号生成部と、
を有する撮像装置が搭載された、
空間移動可能な、又は、前記対象物の解析可能な機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置及び機器に関する。
【背景技術】
【０００２】
近年、安心、安全な自動車を実現させるべく、運転手の運転を支援する安全運転支援システムや自動運転の開発が進められている。このような開発においては、車載の撮像装置等により、車両の周囲に存在する交通標識、車両、通行人等の様々な対象物を認知することが求められている。例えば、認知する対象物の１つとして、ＬＥＤ（ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）を用いた自発光式交通標識を挙げることができる。
【０００３】
ところで、ＬＥＤは、ＬＥＤに電力を供給する交流電源の周波数等により、人間には感じられない程度ではあるが、周期的なちらつきが存在する。このようなちらつきはフリッカ現象と呼ばれている。このようなフリッカ現象を持つ対象物を撮像する撮像装置の一例が、下記特許文献１に開示されている。
【０００４】
また、上記フリッカ現象に起因して、車載の撮像装置により自発光式交通標識を撮像した際には、ＬＥＤが消灯した瞬間に上記自発光式交通標識を撮像し、得られた撮像画像からは自発光式交通標識のＬＥＤによって示される標識の内容が認知できない場合がある。そこで、上述の現象に対する対策として、撮像装置の露光時間をＬＥＤのフリッカ現象の周期の整数倍にまで長くすることにより、ＬＥＤの点灯時に確実にＬＥＤを撮像しようとする方法が考えられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２１１４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、車載の撮像装置において、露光時間をＬＥＤのフリッカ現象の周期の整数倍にまで長くした場合、撮像画像にモーションブラーが生じたり（「被写体ぶれ」とも呼ぶ）、飽和したり(「白とび」とも呼ぶ)することから、標識内容が認識できるような適切な撮像画像を得ることができないことがある。
【０００７】
そこで、上記事情を鑑みて、本開示では、フリッカ現象が生じている場合であっても、対象物を認知することができるような適切な撮像画像を得ることが可能な、新規且つ改良された撮像装置及び機器を提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、点滅する対象物又は点滅する照射体に照らされた対象物を検出する検出部と、検出された前記対象物に対してトラッキングを行うトラッキング部と、トラッキングされた前記対象物の複数の撮像フレームに基づいて、前記点滅の周期情報を推定する推定部と、推定結果に基づいて、前記対象物の撮像のためのタイミング信号を生成する信号生成部と、を備える、撮像装置が提供される。
【０００９】
さらに、本開示によれば、点滅する対象物又は点滅する照射体に照らされた対象物を検出する検出部と、検出された前記対象物に対してトラッキングを行うトラッキング部と、トラッキングされた前記対象物の複数の撮像フレームに基づいて、前記点滅の周期情報を推定する推定部と、推定結果に基づいて、前記対象物の撮像のためのタイミング信号を生成する信号生成部と、を有する撮像装置が搭載された、空間移動可能な、又は、前記対象物の解析可能な機器が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、フリッカ現象が生じている場合であっても、対象物を認知することができるような適切な撮像画像を得ることが可能な、撮像装置及び機器を提供することができる。
【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の背景を説明するための説明図である。
【図２】本開示の第１の実施形態に係る撮像装置１０、２０のブロック図である。
【図３】同実施形態に係る撮像方法のシーケンス図である。
【図４】同実施形態に係る対象物の検出を説明するための説明図である。
【図５】同実施形態に係るタイミング信号の一例を説明するための説明図（その１）である。
【図６】同実施形態に係るタイミング信号の一例を説明するための説明図（その２）である。
【図７】同実施形態に係るタイミング信号の一例を説明するための説明図（その３）である。
【図８】同実施形態に係るタイミング信号の一例を説明するための説明図（その４）である。
【図９】同実施形態における撮像シーンの一例を説明するための説明図である。
【図１０】同実施形態の変形例１に係る撮像装置１０、２０のブロック図である。
【図１１】同実施形態の変形例１に係るタイミング信号の一例を説明するための説明図である。
【図１２】同実施形態の変形例２に係る撮像装置１０ａ、２０ａのブロック図である。
【図１３】本開示の第２の実施形態に係る撮像装置１０ｂのブロック図である。
【図１４】同実施形態に係る撮像部１００ｂの固体撮像素子アレイ３００の配列例を説明するための説明図である。
【図１５】同実施形態の変形例３に係る撮像装置１０ｂ、２０のブロック図である。
【図１６】本開示の第３の実施形態に係る撮像装置の搭載例を説明する説明図（その１）である。
【図１７】同実施形態に係る撮像装置の搭載例を説明する説明図（その２）である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．本発明者が本開示に係る実施形態を創作するに至る背景
２．第１の実施形態
２．１  撮像装置の構成
２．２  撮像方法の概略
２．３  対象物の検出（ステップＳ１００）
２．４  対象物のトラッキング（ステップＳ２００）
２．５  周期情報の推定（ステップＳ３００）
２．６  タイミング信号の生成（ステップＳ４００）
２．７  変形例１
２．８  変形例２
３．第２の実施形態
３．１  撮像装置の構成
３．２  変形例３
４．第３の実施形態
５．まとめ
６．補足
【００１６】
＜＜１．  本発明者が本開示に係る実施形態を創作するに至る背景＞＞
まずは、本開示に係る実施形態を説明する前に、本発明者が本開示に係る実施形態を創作するに至る背景について説明する。
【００１７】
近年、安心、安全な自動車を実現させるべく、運転手の運転を支援する安全運転支援システムや自動運転の開発が進められている。このような開発においては、車載の撮像装置等により、車両の周囲に存在する交通標識等の様々な対象物を認知することが求められている。例えば、認知する対象物の１つとして、本開示の背景を説明するための説明図である図１に示すような、ＬＥＤを用いた自発光式交通標識１を挙げることができる。このような自発光式交通標識１は、例えば、規制速度に対応する数字をＬＥＤの発光により表示することができ、従って、夜間等の視認性の悪い状況においても運転手が容易に上記規制速度を視認することが可能となる。
【００１８】
しかしながら、上記自発光式交通標識１のＬＥＤは、ＬＥＤに電力を供給する交流電源の周波数や、ＬＥＤの明るさを調整する制御装置により制御された電源の周波数等により、人間には感じられない程度ではあるが、周期的なちらつき（フリッカ現象）が存在する。当該ＬＥＤのフリッカ現象の周期は、供給される交流電源の周波数や、交通標識を設置する施工業者又は管理者が視認性を考慮して設定した周波数に依存する。従って、全国の道路等に設置された多数の自発光式交通標識１においては、ＬＥＤのフリッカ現象の周期は一定ではない。
【００１９】
そして、車載の撮像装置により上記自発光式交通標識１を撮像した際には、フリッカ現象によってＬＥＤが消灯した瞬間に上記自発光式交通標識１を撮像したために、撮像画像からは自発光式交通標識１によって示される標識内容（例えば、規制速度）を認知することができない場合がある。例えば、上記自発光式交通標識１のＬＥＤは、一般的には１００〜２５０Ｈｚのフリッカ周波数を持っている。しかしながら、安心、安全な自動車運転を確立するためには、車載の撮像装置において、フリッカ現象を原因として自発光式交通標識１の標識内容が認知できないといった事態を避けることが求められる。
【００２０】
そこで、このような対策の１つとして、交通規制等を無線信号によって車両に通知するようなシステムの構築が考えられる。しかしながら、この場合、全国の道路網にこのようなシステムを構築することとなることから、システム構築のコストが膨大となり、現実的な対策とは言えない。
【００２１】
また、上記特許文献１には、フリッカ現象を持つ対象物（信号機）を撮像する撮像装置の一例が開示されている。当該特許文献１の撮像装置は、信号機の点滅周期を測定し、測定した周期を閾値と比較することにより、信号機が意図した点滅状態にあるのか、もしくはフリッカ現象により点滅状態にあるのかを判断し、判断結果に基づいて記憶する撮像画像を選択する。すなわち、上記特許文献１は、信号機の点滅状態のみを判定し、点滅状態に応じて信号機の状態を示す代表的画像を選択するだけに過ぎず、対象物の詳細（例えば、対象物が表示する内容の詳細）を認知することができる適切な撮像画像を取得する技術ではない。
【００２２】
また、撮像装置によるフリッカ現象の対策としては、撮像装置の露光時間をフリッカ現象の周期の整数倍にまで長くすることにより、対象物の点灯時において対象物を撮像する方法が考えられる。しかしながら、車載の撮像装置においてこのような対策を適用した場合には、露光時間が長くなることに起因して、撮像画像が飽和する場合がある(「白とび」とも呼ぶ)。さらには、長い露光時間の間に、撮像装置が搭載された車両が移動することから、撮像画像にモーションブラーが生じる場合がある（「被写体ぶれ」とも呼ぶ）。このような撮像画像においては、捉えられた対象物の画像が不鮮明であることから、対象物の詳細（例えば、対象物が表示する内容の詳細）を認知することが難しい。すなわち、このような場合、例えば標識内容を認知することが難しいことから、撮像画像に基づく認知により、安心、安全な自動車の運転の確立を行うことは難しい。
【００２３】
そこで、本発明者は、上記事情を鑑みて、フリッカ現象が生じている場合であっても、対象物を認知することができるような適切な撮像画像を得ることが可能な、本開示の実施形態を創作するに至った。例えば、以下に説明する本開示の実施形態によれば、例えば、フリッカ現象を有する自発光式交通標識１であっても、自発光式交通標識１によって示される標識内容を認知することができる撮像画像を得ることができる。その結果、認知した標識内容を利用することで、安心、安全な自動車の運転を確立することができる。以下、このような本開示の実施形態の詳細を順次詳細に説明する。
【００２４】
以下の説明においては、本開示の実施形態を、ＬＥＤ等の発光により表示を行う対象物の撮像画像を取得するための撮像装置に適用した場合を例に説明するが、本開示の実施形態は、上述のような撮像装置に適用されることに限定されるものではない。例えば、本開示の実施形態は、蛍光灯（フリッカ周波数が１００Ｈｚ又は１２０Ｈｚである）等の照明装置（照射体）の下で撮像する際に用いる撮像装置に適用されてもよい。
【００２５】
＜＜２.  第１の実施形態＞＞
＜２.１  撮像装置の構成＞
以下に説明する本開示の第１の実施形態においては、２つ以上の撮像装置１０、２０を用いて、フリッカ現象を有する対象物を撮像する。まずは、本実施形態に係る撮像装置１０、２０の詳細構成について、図２を参照して説明する。図２は、本実施形態に係る撮像装置１０、２０のブロック図である。
【００２６】
（撮像装置１０）
まずは、撮像装置１０について、図２を参照して説明する。図２に示すように、本実施形態に係る撮像装置１０は、撮像部（第１の撮像部）１００、Ａ／Ｄコンバータ部１０２、検出部１０４、露光量制御部１０６、トラッキング部１０８、推定部１１０、信号生成部１１２、及び送信部１１４を主に有する。以下に、撮像装置１０の各機能部の詳細について説明する。
【００２７】
−撮像部１００−
撮像部１００は、対象物の撮像を行う機能を持つ。後述する撮像装置２０においても、撮像部１００と同様の撮像部２００が設けられているが、当該撮像部１００は、撮像部２００の撮像フレームレート（第２のフレームレートに比べて高速フレームレート（第１のフレームレート）（例えば、１０００ｆｐｓ）で撮像を行うことができる。より具体的には、撮像部１００は、１００〜１００００ｆｐｓ程度の撮像フレームレートで撮像することが可能である。なお、以下の説明においては、撮像フレームレートは、単位時間（１秒）当たりの撮像フレーム（静止画像）の数のことを意味し、ｆｐｓ（ｆｒａｍｅｓ  ｐｅｒ  ｓｅｃｏｎｄ）という単位で示される。また、撮像部１００は、撮像レンズ、絞り機構、ズームレンズ及びフォーカスレンズ等により構成される光学系機構（図示省略）、上記光学系機構で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ３００（図１４  参照）、及び上記光学系機構を制御する駆動系機構（図示省略）を主に有する。
【００２８】
詳細には、上記光学系機構は、上記レンズを用いて、対象物（被写体）からの入射光を光学像として固体撮像素子アレイ３００上に集光させる。固体撮像素子アレイ３００は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイ等により実現される。固体撮像素子アレイ３００は、結像された光学像を画素単位で光電変換し、各画素の信号を撮像信号として読み出して、後述するＡ／Ｄコンバータ部１０２へ出力する。なお、固体撮像素子アレイ３００における画素配列は、特に限定されるものではなく、例えば、Ｂａｙｅｒ配列、全てがクリア画素で構成されたＢＷ配列（Ｍｏｎｏ配列）等を選択することができる。しかしながら、夜間時の赤色光の信号や車両のテールランプ（赤色光）の認知を向上させるために、画素配列としては、赤色画素及びクリア画素で構成されたＲＣＣＣ配列を選択することが好ましい。また、上記駆動系機構は、レンズ等を駆動させるステッピングモータ等を有する。
【００２９】
−Ａ／Ｄコンバータ部１０２−
Ａ／Ｄコンバータ部１０２は、撮像部１００の固体撮像素子アレイ３００からの撮像信号をアナログ信号からデジタル信号に変換し、後述する検出部１０４へ出力する。Ａ／Ｄコンバータ部１０２は、例えば電子回路から実現される。
【００３０】
−検出部１０４−
検出部１０４は、Ａ／Ｄコンバータ部１０２から出力されたデジタル信号に対して所定の画像処理を行い、取得された撮像画像に基づいて対象物を検出する。例えば、検出部１０４は、撮像装置１０内に設けられた、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のハードウェアを中心に構成されている。なお、検出部１０４における対象物の検出の詳細については後述する。
【００３１】
−露光量制御部１０６−
露光量制御部１０６は、上記撮像画像全体又は当該撮像画像中の対象物の輝度を検出し、検出結果に基づいて、撮像画像の輝度が適切になるように、上述した撮像部１００を制御する。例えば、露光量制御部１０６は、撮像部１００の固体撮像素子アレイ３００における受光量を検知することにより、上記輝度を検知することができる。例えば、撮像部１００の制御に用いる輝度としては、上記撮像画像全体の各画素の輝度の積分値、平均値、最大値又は最小値等を用いることができる。また、露光量制御部１０６は、撮像装置１０内に設けられた、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアを中心に構成されている。
【００３２】
−トラッキング部１０８−
トラッキング部１０８は、撮像部１００で連続的に高速撮像された複数の撮像フレーム（静止画像）において、上述した検出部１０４で検出した対象物をトラッキングする。例えば、トラッキング部１０８は、撮像装置１０内に設けられた、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアを中心に構成されている。なお、トラッキング部１０８における対象物のトラッキングの詳細については後述する。
【００３３】
−推定部１１０−
推定部１１０は、トラッキングされた対象物の複数の撮像フレームに基づいて、対象物のフリッカ現象の周期情報を推定する。例えば、推定部１１０は、撮像装置１０内に設けられた、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアを中心に構成されている。なお、推定部１１０における推定の詳細については後述する。
【００３４】
−信号生成部１１２−
信号生成部１１２は、上述した推定部１１０の推定結果に基づいて、後述する撮像装置２０における対象物の撮像のためのタイミング信号を生成する。言い換えると、信号生成部１１２は、撮像装置２０のための同期信号を生成する。当該タイミング信号は、撮像装置２０へ出力され、撮像装置２０が対象物の撮像を実行するタイミングの基準となる。例えば、信号生成部１１２は、撮像装置１０内に設けられた、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアを中心に構成されている。なお、信号生成部１１２におけるタイミング信号の生成の詳細については後述する。
【００３５】
−送信部１１４−
送信部１１４は、撮像装置２０へタイミング信号等を送信するための通信モジュールである。例えば、当該送信部１１４は、後述する撮像装置２０の受信部２１４との間で、パルス信号を送信することにより同期を確立する。もしくは、当該送信部１１４は、後述する撮像装置２０の受信部２１４との間で、Ｅｔｈｅｒｎｅｔ  ＡＶＢ（ＩＥＥＥ  ８０２．１  Ａｕｄｉｏ/Ｖｉｄｅｏ  Ｂｒｉｄｇｉｎｇ）等の技術を用いて、時刻の同期を取る事でタイミング信号の送受信を確立してもよい。この場合、Ｅｔｈｅｒｎｅｔ  ＡＶＢの構成要素の１つであるＩＥＥＥ８０２．１ＡＳの技術により、撮像装置１０、２０における時刻同期が精度よく確立され、タイミング信号を、パケットを介して撮像装置１０から撮像装置２０へ出力することができる。
【００３６】
撮像装置１０は、上述の他に、撮像装置１０の位置を測位する測位部（図示省略）を有していてもよく、もしくは、撮像装置１０と別体のものとして設けられた上記測位部のセンシングデータを利用してもよい。具体的には、測位部は、例えばＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）測位部により実現され、ＧＰＳ衛星からの電波を受信して、撮像装置１０が存在する位置を検知する。また、上記測位部は、ＧＰＳの他、例えばＷｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ、登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ‐ｐｈｏｎｅ  Ｓｙｓｔｅｍ）・スマートフォン等との送受信、又は、近距離通信等により位置を検知するデバイスであってもよい。
【００３７】
さらに、撮像装置１０は、上述の機能部の他に、撮像装置１０が撮像した撮像画像や、撮像装置１０が各機能を実行するためのプログラムやパラメータを格納する記憶部（図示省略）を有してもよい。当該記憶部１２２は、例えば、ＲＡＭ等により構成される。さらに、撮像装置１０は、上述の機能部の他に、撮像装置１０が撮像した撮像画像をユーザに対して表示し、さらに、ユーザの入力操作を受けつける操作表示部（図示省略）を有していてもよい。この場合、当該操作表示部の表示機能は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置により実現される。また、当該操作表示部の操作受付機能は例えばタッチパネルにより実現される。
【００３８】
（撮像装置２０）
次に、撮像装置２０について、図２を参照して説明する。図２に示すように、本実施形態に係る撮像装置２０は、撮像部（第２の撮像部）２００、Ａ／Ｄコンバータ部２０２、露光量制御部２０６、受信部２１４、処理部２１６、及び露光タイミング制御部２１８を主に有する。以下に、撮像装置２０の各機能部の詳細について説明する。なお、撮像装置２０においては、撮像部２００、Ａ／Ｄコンバータ部２０２、及び露光量制御部２０６は、撮像装置１０の撮像部１００、Ａ／Ｄコンバータ部１０２、及び露光量制御部１０６と共通するため、ここでは説明を省略する。
【００３９】
−受信部２１４−
受信部２１４は、撮像装置１０からのタイミング信号等を受信するための通信モジュールである。先に説明したように、受信部２１４は、例えば、上記送信部１１４との間で、パルス信号を送信することにより同期を確立する。もしくは、受信部２１４は、上記送信部１１４との間で、Ｅｔｈｅｒｎｅｔ  ＡＶＢ（ＩＥＥＥ  ８０２．１  Ａｕｄｉｏ/Ｖｉｄｅｏ  Ｂｒｉｄｇｉｎｇ）等の技術を用いて、時刻の同期を取る事でタイミング信号の送受信を確立してもよい。
【００４０】
−処理部２１６−
処理部２１６は、Ａ／Ｄコンバータ部２０２からの撮像信号に対して、例えば、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正などの各種の信号処理を行い、撮像画像を取得する。例えば、処理部２１６により取得された撮像画像からは自発光式交通標識１の画像が抽出され、抽出された画像を解析することにより、自発光式交通標識１の標識内容を認知することができる。また、処理部２１６は、撮像装置２０内に設けられた、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアを中心に構成されている。
【００４１】
−露光タイミング制御部２１８−
露光タイミング制御部２１８は、撮像装置１０からのタイミング信号に基づき、撮像部２００の撮像のタイミングを制御する。例えば、露光タイミング制御部２１８は、現状の撮像フレームを取得する露光の開始タイミングと、上記タイミング信号とのずれを検出し、検出結果に基づいて、上記開始タイミングを上記タイミング信号に合わせるように、撮像部２００を制御する。また、露光タイミング制御部２１８は、撮像装置２０内に設けられた、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアを中心に構成されている。
【００４２】
なお、本実施形態においては、撮像部１００及び撮像部２００が有する各固体撮像素子アレイ３００については、画角や画素配列が互いに同一であってもよく、もしくは、異なっていてもよい。例えば、撮像部１００及び撮像部２００が有する各固体撮像素子アレイ３００は、Ｂａｙｅｒ配列又はＢＷ配列とすることできる。
【００４３】
さらに、撮像装置２０は、撮像装置１０と同様に、上述の他に、撮像装置１０が撮像した撮像画像や、撮像装置１０が各機能を実行するためのプログラムやパラメータを格納する記憶部（図示省略）を有してもよい。
【００４４】
＜２．２  撮像方法の概略＞
以上、本実施形態に係る撮像装置１０、２０の構成について詳細に説明した。次に、本実施形態に係る撮像方法の概略について、図３を参照して説明する。図３は、本実施形態に係る撮像方法のシーケンス図である。図３に示すように、本実施形態に係る撮像方法には、ステップＳ１００からステップＳ７００までの複数のステップが含まれている。以下に、本実施形態に係る撮像方法に含まれる各ステップの概略を説明する。なお、ここでは、本実施形態に係る撮像方法の概略のみを説明し、各ステップの詳細については後述する。
【００４５】
（ステップＳ１００）
撮像装置１０は、高速フレームレート（例えば、１０００ｆｐｓ）で対象物(例えば、自発光式交通標識１等)を連続的に撮像し、取得した複数の撮像フレームから対象物を検出する。なお、撮像装置１０のフレームレート（高速フレームレート）（第１のフレームレート）は、フリッカ光源の周期とデューティ比の逆数の２倍の数値を乗算して得た値以上であることが好ましい。このようにすることで、撮像フレーム毎に対象物を的確にとらえることができる。例えば、フリッカ現象においてパルス幅１ｍｓ、パルス周期が４ｍｓであった場合には、当該フリッカ現象のデューティ比は０．２５となる。従って、この場合、上記高速フレームレートは、上記デューティ比の０．２５の逆数である４に２を乗じ、更にフリッカ周波数の２５０Ｈｚを乗算して得られる２０００ｆｐｓ以上に設定されることが好ましい。また、対象物の検出の詳細については後述する。
【００４６】
（ステップＳ２００）
撮像装置１０は、高速フレームレートにて連続して取得された複数の撮像フレームにおいて、検出された対象物に対するトラッキングを行う。なお、対象物のトラッキングの詳細については後述する。
【００４７】
（ステップＳ３００）
撮像装置１０は、トラッキングされている対象物の撮像フレームに基づき、対象物のフリッカ現象の周期情報（周波数、点灯時間、点灯間隔等）を推定する。具体的には、撮像装置１０は、複数の撮像フレーム上の対象物の輝度の変化に基づいて、上記周期情報を推定する。なお、周期情報の推定の詳細については後述する。
【００４８】
（ステップＳ４００）
撮像装置１０は、推定された周期情報に基づいて、上記対象物の撮像のタイミングを定めるタイミング信号を生成する。
【００４９】
（ステップＳ５００）
撮像装置１０は、タイミング信号を撮像装置２０へ送信する。
【００５０】
（ステップＳ６００）
撮像装置２０は、撮像装置１０からのタイミング信号を受信する。
【００５１】
（ステップＳ６００）
撮像装置２０は、受信したタイミング信号に基づき、撮像部２００における撮像タイミングを制御する。さらに、撮像装置２０は、撮像部２００で得た撮像信号を処理することにより、対象物の撮像画像を得ることができる。この際、撮像装置２０は、撮像装置１０に比べて低速の低速フレームレート（第２のフレームレート）（例えば、３０ｆｐｓ、６０ｆｐｓ）で撮像を行う。
【００５２】
このように、本実施形態においては、対象物をトラッキングすることにより、複数の撮像フレームにおける対象物の輝度の変化を検出し、検出した輝度の変化により、対象物のフリッカ現象（点滅）の周期情報を推定する。本実施形態によれば、対象物をトラッキングすることから、対象物の輝度の変化を精度よく捕捉することができ、さらには精度よく周期情報を推定することができる。そして、本実施形態においては、推定した周期情報に基づいて、対象物を適切に撮像するためのタイミング信号を生成する。その結果、本実施形態によれば、撮像装置２０は、上記タイミング信号に基づいて対象物を撮像することから、対象物をより確実に認知することができる最適な撮像画像を取得することができる。さらに、本実施形態においては、高速フレームレートで得られた撮像フレームを用いて迅速に周期情報を推定し、タイミング信号を生成していることから、撮像装置２０は、対象物をリアルタイムで撮像することができる。次に、このような撮像方法における各ステップの詳細について説明する。
【００５３】
＜２．３  対象物の検出（ステップＳ１００）＞
まずは、上述のステップＳ１００における対象物の検出の一例について、図４を参照して説明する。図４は、本実施形態に係る対象物の検出を説明するための説明図である。図４に示す例においては、高速フレームレートで撮像された複数の撮像フレームから、トラッキングの対象となる対象物を検出する方法を示す。図４では、わかりやすくするために、対象物は、自発光式交通標識１ではなく、人間の手であるとする。また、当該手は、キーボードに対するタイピングのために、狭い領域において微小に移動しているものとする。なお、本実施形態においては、対象物は、このような人間の手であることに限定されるものではなく、例えば、車窓からは移動して見える自発光式交通標識１であってもよく、特に限定されるものではない。
【００５４】
まずは、図４の左側に示すような撮像したカラーの撮像フレームに対して、所定の条件の下で処理することにより、グレースケール化された撮像フレームを生成する。詳細には、本実施形態において、例えば、赤色（Ｒ）についてグレースケール化された撮像フレームを生成する場合には、カラーの撮像フレームにおける各画素の赤色（Ｒ）画素値（色情報）を抽出する。この場合、例えば、グレースケール化された撮像フレームにおいては、Ｒ画素値が高い画素は白くなり、Ｒ画素値が低い場合には黒くなる。そして、本実施形態においては、グレースケール化された撮像フレームの各画素のＲ画素値を所定の閾値と比較し、例えば、所定の閾値以上の画素の画素値を１に変換し、所定の閾値未満の画素の画素値を０に変換する。このようにすることで、図４の中央に示されるような２値化された撮像フレームを生成することができる。
【００５５】
なお、グレースケール化された撮像フレームを生成する際には、赤色、緑色、青色（ＲＧＢ）のいずれかの要素値を抽出してもよく、３つの要素値の平均値を用いてもよく、もしくは、各要素値に重み付けした後に、各要素値を積算した値を用いてもよい。また、グレースケール化された撮像フレームを生成する際には、検出しようとする対象物の特徴（交通標識ならば赤色）に応じて、好適な色、方法を選択することが好ましい。
【００５６】
また、対象物として人物を検出しようとする場合には、人物の肌色に基づいて当該人物を検出することができる。具体的には、３つの色の要素値が下記のような関係式（１）が成立する画素のみを抽出することにより、人間の肌色にあたる画素を抽出する。そして、肌色の抽出結果に基づいて、人物を検出することが可能である。
【００５７】
【数１】
2019036907.tif 000003
【００５８】
なお、上記関係式（１）においては、Ｒ、Ｇ、Ｂが、各色の要素値を示す。また、γＭＡＸとγＭＩＮとは、各色の要素値のうちの最大の値と、最小の値とを示す。さらに、上記関係式（１）においては、α、β、γＭＡＸ、γＭＩＮは、ユーザが任意に設定することができる係数である。
【００５９】
また、肌色の検出は、例えば、カラーの撮像フレームにおける各画素の３つの要素値を所定の数式で処理し、各画素における指標値を算出し、算出した指標値が所定の範囲内にある画素のみを抽出することによって行ってもよい。例えば、各画素の３つの要素値を、色相、彩度、明度で表現するＨＳＶモデルによる指標値に変換してもよい。
【００６０】
さらに、本実施形態においては、図４の中央列上段及び中段に示される２値化された複数の撮像フレームを比較し、撮像フレーム間の差分を抽出することにより、図４の中央列下段に示されるように、動きによる特定の領域（ターゲット）を抽出する。
【００６１】
なお、本実施形態においては、対象物の検出は上述の方法に限定されるものではなく、例えば、対象物の特徴点を予め記憶しておき、撮像フレームから記憶した特徴点を抽出することにより、対象物の検出を行ってもよい。例えば、この場合、対象物が人物の顔であった場合には、人物の顔の特徴点（目、鼻、口）に基づいて、人物の検出を行う。
【００６２】
また、撮像装置１０に、撮像装置１０の位置を検出する測位部（図示省略）が設けられていた場合には、上記測位部のセンシングデータに基づいて対象物の検出を行ってもよい。具体的には、撮像装置１０が車両に搭載されており、対象物が信号機であった場合には、信号機の撮像画像は、撮像装置１０（車両）に対して固定された領域（例えば、車両の左前方の領域）に現れることが明らかである。すなわち、信号機は、撮像装置１０の画角に対して固定された領域に存在することとなる。従って、あらかじめ記憶した当該信号機の位置情報が含まれる地図情報と、測位部のセンシングデータとを参照することにより、撮像装置１０は、信号機が現れる位置をあらかじめ認識することができることから、認識結果に基づき、信号機を検出することができる。
【００６３】
また、本実施形態においては、対象物の検出は上述の方法に限定されるものではなく、例えば、最初に撮像した撮像フレームをユーザに表示し、ユーザが当該撮像フレーム中の所望の対象物を選択することにより、対象物の検出を行ってもよい。
【００６４】
＜２．４  対象物のトラッキング（ステップＳ２００）＞
次に、上述のステップＳ２００における対象物のトラッキングについて説明する。本ステップＳ２００においては、図４の右側に示すように、上述のステップＳ１００にて検出された対象物（図４では、手）に対して、トラッキング（追跡）を行う。
【００６５】
例えば、本実施形態においては、セルフウィンドウ法を用いて、高速フレームレートで撮像された連続した複数の撮像フレームにおいて、対象物をトラッキングし続ける。
【００６６】
詳細には、セルフウィンドウ法は、高速フレームレートで撮像された撮像フレームにおいて対象物をトラッキングするアルゴリズムの一種である。高速フレームレートで撮像した場合、複数の撮像フレームにおける対象物の移動距離（差分）は小さい。従って、前の撮像フレームにおける対象物の周囲の領域に、当該対象物を抽出するための抽出ウィンドウを設定した場合、次の撮像フレームにおいても、当該対象物は上記抽出ウィンドウの中に含まれることとなる。より具体的には、上記抽出ウィンドウは、前の撮像フレームにおける対象物を示す画素領域に対して１画素分だけ外側に膨らませた画素領域として設定される。もし、次の撮像フレームレートにおいて対象物が設定した抽出ウィンドウに含まれていない場合には、フレームレートを更に高速にすることにより、対象物を抽出ウィンドウに含まれるようにすることができる。そして、対象物の移動距離が小さいことから、対象物を探査する範囲である抽出ウィンドウの面積を狭くすることができることから、抽出ウィンドウ内で画像のマッチング等を行うことにより、対象物を容易に検出することが可能となる。なお、上述においては、上記抽出ウィンドウは、前の撮像フレームにおける対象物を示す画素領域に対して１画素分だけ外側に膨らませた画素領域として設定されるとして説明したが、本実施形態においては１画素分だけ膨らませることに限定されるものではない。例えば、本実施形態においては、２以上の画素分だけ膨らませた画素領域を上記抽出ウィンドウとして設定してもよい。膨らませる画素の数は、例えば、フレームレートと対象物の速度等に応じて適宜選択することができる。また、上述においては、次の撮像フレームレートにおいて対象物が設定した抽出ウィンドウに含まれていない場合には、フレームレートを更に高速にするとして説明したが、本実施形態においてはこのような方法に限定されるものではない。例えば、抽出ウィンドウの設定の際に膨らせる画素の数を調整することにより、対象物を当該抽出ウィンドウに含まれるようにしてもよい。
【００６７】
さらに、セルフウィンドウ法は、前の撮像フレームから計算される抽出ウィンドウと、次の２値化された対象物の画像の間での論理積を計算することにより、ターゲット抽出画像を生成し、対象物をトラッキングする。また、セルフウィンドウ法によれば、前後の撮像フレームのターゲット抽出画像との間での対象物の画像を比較することにより、対象物の位置情報、面積（形状）情報だけでなく、対象物の移動方向、移動速度等の情報も取得することができる。以上の説明から明らかなように、セルフウィンドウ法を用いる場合、対象物をトラッキングする際に用いる撮像フレームは、高速フレームレートにて撮像されていることが好ましい。
【００６８】
なお、本実施形態においては、対象物のトラッキングは、上述の例に限定されるものではなく、他の方法を用いてもよい。例えば、本実施形態においては、前後の撮像フレームに共通する特徴点に基づいて、対象物のトラッキングを行ってもよい。
【００６９】
＜２．５  周期情報の推定（ステップＳ３００）＞
次に、上述のステップＳ３００における周期情報の推定について説明する。例えば、本実施形態においては、トラッキングされた対象物の画像の輝度の平均値を複数の撮像フレームごとに格納しておき、格納したデータに対して離散フーリエ変換（Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ:ＤＦＴ）を用いることにより、周波数、点灯時間の幅、点灯間隔等のフリッカ現象の周期情報を推定する。
【００７０】
詳細には、対象物がフリッカ現象を持つＬＥＤによって点滅している場合、もしくは、対象物が点滅しているＬＥＤに照射されている場合においては、複数の撮像フレームにおける対象物の輝度は、上記フリッカ現象の周期に従って変化するはずである。そこで、本実施形態においては、所定のフレームレートで取得された複数の撮像フレームごとに対象物の画像に対応する複数の画素の輝度の平均値を取得し、ＤＦＴを適用することにより、輝度の時間変化、すなわち、輝度の時間変化における周波数成分（周波数、点灯時間の幅、点灯間隔等）を推定する。なお、周期情報を推定する際に用いる撮像フレームは、上記フリッカ現象の周期に比べて高速のフレームレートで取得されていることから、ＤＦＴを適用することにより、上記フリッカ現象の周期情報を推定することが可能である。
【００７１】
なお、本実施形態においては、周期情報の推定は、上述の例に限定されるものではなく、他の方法を用いてもよい。例えば、本実施形態においては、所定の期間における複数の撮像フレームを解析し、対象物が点灯している撮像フレームの数と、対象物が消灯している撮像フレームの数とをカウントすることにより、上記周期情報を推定してもよい。
【００７２】
＜２．６  タイミング信号の生成（ステップＳ４００）＞
次に、上述のステップＳ４００におけるタイミング信号の生成について、図５から図８を参照して説明する。図５から図８は、本実施形態に係るタイミング信号の一例を説明するための説明図である。なお、図５から図８においては、上段に撮像装置１０における撮像のタイミングを縦線で示している。さらに、中段においては、撮像装置１０から撮像装置２０へ送信されたタイミング信号を縦線で示し、併せて、横方向に延びる帯により、撮像装置２０における露光時間を示している。また、下段においては、対象物であるＬＥＤの点灯時間を横方向に延びる帯により示している。
【００７３】
本実施形態においては、信号生成部１１２は、上述のステップＳ３００で推定された周期情報に基づき、撮像装置２０において露光開始のタイミングを制御する信号、もしくは、露光終了のタイミングを制御するタイミング信号を生成する。どちらの信号を生成する場合であっても、生成されたタイミング信号は、以下のような条件を満たしている。詳細には、本実施形態においては、上記タイミング信号の周波数は、撮像装置１０の撮像フレームレート（高速フレームレート）が、撮像装置２０の撮像フレームレート（低速フレームレート）の整数倍になるように設定される。さらに、上記タイミング信号の周波数は、フリッカ現象の周波数（ＬＥＤの点滅の周波数）が、撮像装置２０の撮像フレームレートの整数倍となるように設定される。
【００７４】
詳細には、図５は、撮像装置２０における露光終了のタイミングを制御するタイミング信号を生成した場合であって、さらに、フリッカ現象の周波数（ＬＥＤの点滅の周波数）と撮像装置２０のフレームレートが同一である場合を示す。すなわち、図５に示される例においては、撮像装置２０は、タイミング信号を受信したことにより露光を終了するように制御されている。図５の例においては、例えば、撮像装置１０の撮像フレームレートが１２００ｆｐｓとした場合、撮像装置２０の撮像フレームレートが１２０ｆｐｓとなり、ＬＥＤの点滅の周波数が１２０Ｈｚとなる。
【００７５】
図６は、撮像装置２０における露光終了のタイミングを制御するタイミング信号を生成した場合であって、さらに、フリッカ現象の周波数（ＬＥＤの点滅の周波数）が撮像装置２０の撮像フレームレートの倍となる場合を示す。図６の例においては、例えば、撮像装置１０の撮像フレームレートが１２００ｆｐｓとした場合、撮像装置２０の撮像フレームレートが６０ｆｐｓとなり、ＬＥＤの点滅の周波数が１２０Ｈｚとなる。
【００７６】
図７は、撮像装置２０における露光開始のタイミングを制御するタイミング信号を生成した場合であって、さらに、フリッカ現象の周波数（ＬＥＤの点滅の周波数）と撮像装置２０のフレームレートが同一である場合を示す。すなわち、図７に示される例においては、撮像装置２０は、タイミング信号を受信したことにより露光を開始するように制御されている。図７の例においては、例えば、撮像装置１０の撮像フレームレートが１２００ｆｐｓとした場合、撮像装置２０の撮像フレームレートが１２０ｆｐｓとなり、ＬＥＤの点滅の周波数が１２０Ｈｚとなる。
【００７７】
図８は、撮像装置２０における露光開始のタイミングを制御するタイミング信号を生成した場合であって、さらに、フリッカ現象の周波数（ＬＥＤの点滅の周波数）が撮像装置２０の撮像フレームレートの倍となる場合を示す。図８の例においては、例えば、撮像装置１０の撮像フレームレートが１２００ｆｐｓとした場合、撮像装置２０の撮像フレームレートが６０ｆｐｓとなり、ＬＥＤの点滅の周波数が１２０Ｈｚとなる。
【００７８】
なお、撮像装置２０によって、撮像フレーム毎に対象物を撮像することを所望する場合には、タイミング信号の周波数は、フリッカ光源の周期とデューティ比の逆数とを乗算して得た値以上に設定されることが好ましい。また、本実施形態においては、生成されるタイミング信号は、図５から図８に示されるような信号に限定されるものではない。例えば、タイミング信号は、撮像装置２０の露光期間をＬＥＤの点灯期間の少なくとも一部にオーバラップさせることができるように、撮像装置２０を制御することができる信号であれば特に限定されない。
【００７９】
なお、フリッカ現象の周期（ＬＥＤの点滅の周波数）と、撮像装置２０の撮像フレームレートとは、微小な誤差のため整数倍の関係にならないことがある。その場合には、時間が経過すると周期がずれて、撮像装置２０により点灯する対象物を撮像することができないことがある。そこで、本実施形態においては、数回に１回、好ましくは毎回、フリッカ現象の周期情報を推定し、推定結果に基づいてタイミング信号を生成することにより、上述のような周期ずれを避けることができる。
【００８０】
また、撮像装置２０の撮像部２００は、グローバルシャッタ、すなわち、同時露光一括読み出しであることが好ましいが、ローリングシャッタ、すなわち、ライン露光順次読み出しであってもよい。詳細には、グローバルシャッタとは、撮像部２００の固体撮像素子アレイ３００の各画素３０２（図１４  参照）が、同時に露光し、同時に読み出されるような制御のことをいう。また、ローリングシャッタとは、撮像部２００の固体撮像素子アレイ３００の各画素３０２が、ラインごとに順次露光され、読み出されるような制御のことをいう。本実施形態において、撮像装置２０の撮像部２００がローリングシャッタである場合には、ラインごとの露光時間／読み出し時間のずれを考慮したタイミング信号を生成することにより、点灯する対象物を撮像することができる。もしくは、上述の場合には、撮像部２００を、上述のずれを考慮して制御することにより、点灯する対象物を撮像することができる。
【００８１】
以上のように、本実施形態においては、対象物をトラッキングすることにより、複数の撮像フレームにおける対象物の輝度の変化を検出し、検出した輝度の変化により、対象物のフリッカ現象（点滅）の周期情報を推定する。本実施形態によれば、対象物をトラッキングすることから、対象物の輝度の変化を精度よく捕捉することができ、さらには精度よく周期情報を推定することができる。そして、本実施形態においては、推定した周期情報に基づいて、対象物を適切に撮像するためのタイミング信号を生成することにより、対象物をより確実に認知することができる最適な撮像画像を取得することができる。さらに、本実施形態においては、高速フレームレートで得られた撮像フレームを用いて迅速に周期情報を推定し、タイミング信号を生成していることから、撮像装置２０は、対象物をリアルタイムで撮像することができる。具体的には、例えば、本実施形態に係る撮像装置１０、２０が車両に搭載され、自発光式交通標識１を撮像する場合には、上記撮像装置２０は、点灯状態の自発光式交通標識１を撮像することができることから、自発光式交通標識１の標識内容（制限速度）を確実に認識するができる。その結果、本実施形態によれば、撮像画像を用いた、運転手の運転を支援する安全運転支援システム、さらには自動運転の構築が可能となる。
【００８２】
なお、本実施形態は、車両に搭載された撮像装置２０により、上述の自発光式交通標識１を撮像することに限定するものではなく、走行する車両の周囲に存在する、点滅する照明装置等を持つ建築物やイルミネーションを撮像することも可能である。また、本実施形態は、後述するように、互いに異なる点滅周期を持つ複数の対象物を撮像する際にも適用することができ、この場合、点滅状態にある複数の対象物を同時に撮像したり、一部の対象物を除外して撮像したりすることもできる。
【００８３】
さらに、本実施形態においては、蛍光灯下での撮像にも適用することもできる。例えば、本実施形態における撮像シーンの一例を説明するための説明図である図９に示すように、体育館３等の屋内において、フリッカ現象により点滅する照明装置８０の下で、スポーツ選手９０を撮像する撮像装置にも適用することができる。具体的には、蛍光灯のようなフリッカ現象を持つ照明装置８０によって照らされているスポーツ選手９０が、バスケットボールにように素早く動くスポーツを行っている場合であっても、本実施形態によれば、当該スポーツ選手９０の動きを撮像することができる。
【００８４】
＜２．７  変形例１＞
上述した第１の実施形態においては、１つの対象物を撮像することを目的としていた。しかしながら、本実施形態においては、先に説明したように、複数の対象物の撮像を目的としてもよい。以下に、図１０及び図１１を参照して、本変形例の詳細について説明する。図１０は、本実施形態の変形例１に係る撮像装置１０、２０のブロック図である。図１１は、本実施形態の変形例１に係るタイミング信号の一例を説明するための説明図である。なお、図１１においては、上段に撮像装置１０における撮像のタイミングを縦線で示している。さらに、上から２段目及び４段目においては、撮像装置１０から撮像装置２０−１及び撮像装置２０−ｎへ送信されたタイミング信号を縦線で示し、併せて、横方向に延びる帯により、撮像装置２０−１、２０−ｎにおける露光時間を示している。そして、上から３段目及び５段目においては、撮像装置２０−１の対象物であるＬＥＤ（１）の点灯時間と、撮像装置２０−ｎの対象物であるＬＥＤ（ｎ）の点灯時間とを横方向に延びる帯により示している。
【００８５】
図１０に示すように、本変形例においては、上述の撮像装置２０が複数個（ｎ個）設けられている。また、本変形例においては、撮像装置１０の検出部１０４、トラッキング部１０８、及び推定部１１０は、複数の対象物を検出し、トラッキングし、各対象物のフリッカ現象の周期情報を推定する。さらに、撮像装置１０の信号生成部１１２は、推定した周期情報に基づき、各対象物を撮像するための複数のタイミング信号を生成する。そして、撮像装置１０で生成された複数のタイミング信号は、複数の撮像装置２０のそれぞれへ送信され、各撮像装置２０は、対応する対象物を撮像する。従って、例えば、各対象物のフリッカ現象の周期情報が互いに異なる場合には、撮像装置１０は、異なる周期の複数のタイミング信号を生成することとなる。
【００８６】
詳細には、図１１に示すように、撮像装置１０は、異なる周期のタイミング信号を撮像装置２０−１、撮像装置２０−ｎに送信する。図１１の例では、撮像装置１０は、撮像装置２０−１、２０−ｎにおける露光終了のタイミングを制御するタイミング信号を生成する。図１１からわかるように、撮像の対象となるＬＥＤ（１）及びＬＥＤ（ｎ）の点滅の周期が互いに異なっていても、各点滅周期にあわせて撮像装置２０−１、２０−ｎが露光することから、点灯状態のＬＥＤ（１）及びＬＥＤ（ｎ）を撮像することができる。図１１の例においては、例えば、撮像装置１０の撮像フレームレートが１２００ｆｐｓとした場合、撮像装置２０−１と撮像装置２０−ｎの撮像フレームレートは１００ｆｐｓであるものの、撮像装置２０−１、２０−ｎは、異なるタイミングで露光を行うこととなる。また、当該例においては、例えば、ＬＥＤ（１）とＬＥＤ（ｎ）は、点滅の周波数が１００Ｈｚであるものの、異なるタイミングで点灯している。
【００８７】
また、本変形例においては、各対象物の周期情報を推定することができることから、例えば、対象物の点灯のタイミングが互いにずれている場合には、推定した周期情報に基づいて、撮像装置２０が、特定の対象物のみを撮像するように制御することもできる。ここで、具体的には、撮像装置２０により、設置された２つのイルミネーションをうちの一方のイルミネーションを撮像しようとする場合を検討する。なお、この場合、これらイルミネーションの点滅は、互いに同期していないものとする。このような撮像を行う場合には、撮像装置１０は、２つのイルミネーションの点滅の周期情報を推定し、一方のイルミネーションのみを撮像するための周期を算出し、算出結果に基づいて、撮像装置２０を制御する。
【００８８】
また、本変形例においては、２つの撮像装置２０を用いた場合には、両者の視差情報に基づいて同一の対象物に対して測距を行うことができる。この場合には、２つの撮像装置２０は、同時に同一の対象物を撮像することが求められることから、撮像装置１０は、２つの撮像装置２０を同時に露光させるようなタイミング信号を両者に送信する。また、このような場合、例えば車両に設けられたミリ波レーダー５０（図１６  参照）の制御タイミングと、２つの撮像装置２０が撮像するタイミングを精度よく同期させてもよい。このようにすることで、対象物の認識精度をより向上させることができる。
【００８９】
＜２．８  変形例２＞
上述した第１の実施形態においては、撮像装置１０は、撮像装置２０の露光のタイミングを制御するタイミング信号を生成して、送信していた。しかしながら、本実施形態においては、撮像装置１０は、撮像装置２０の露光タイミングを制御するタイミング信号だけでなく、撮像装置２０の撮像部２００の絞りやシャッタースピードを制御する信号も送信してもよい。以下に、図１２を参照して、本変形例の詳細について説明する。図１２は、本実施形態の変形例に係る撮像装置１０ａ、２０ａのブロック図である。
【００９０】
（撮像装置１０ａ）
まずは、図１２を参照して、本変形例に係る撮像装置１０ａを説明する。図１２に示すように、本変形例に係る撮像装置１０ａは、撮像装置１０と同様に、撮像部１００、Ａ／Ｄコンバータ部１０２、検出部１０４、露光量制御部１０６ａ、トラッキング部１０８、推定部１１０、信号生成部１１２、及び送信部１１４を主に有する。ここでは、撮像部１００、Ａ／Ｄコンバータ部１０２、検出部１０４、トラッキング部１０８、推定部１１０、信号生成部１１２、及び送信部１１４は、上述の撮像装置１０と共通するため、説明を省略し、露光量制御部１０６ａのみを説明する。
【００９１】
−露光量制御部１０６ａ−
露光量制御部１０６ａは、対象物の撮像画像における輝度を検出し、検出結果に基づいて、撮像画像の対象物の輝度が適切になるように、上述した撮像部１００の露光量、すなわち、絞り、シャッタ時間等を制御する。さらに、露光量制御部１０６ａは、撮像装置２０ａの撮像部２００を撮像部１００と同様に露光量を制御するための露光制御信号を生成し、生成した露光制御信号を送信部１１４に出力する。
【００９２】
（撮像装置２０ａ）
次に、図１２を参照して、本変形例に係る撮像装置２０ａを説明する。図１２に示すように、本変形例に係る撮像装置２０ａは、撮像装置２０と同様に、撮像部２００、Ａ／Ｄコンバータ部２０２、露光量制御部２０６、受信部２１４ａ、処理部２１６、及び露光タイミング制御部２１８を主に有する。ここでは、撮像部２００、Ａ／Ｄコンバータ部２０２、露光量制御部２０６、処理部２１６、及び露光タイミング制御部２１８は、上述の撮像装置２０と共通するため、説明を省略し、受信部２１４ａのみを説明する。
【００９３】
−受信部２１４ａ−
受信部２１４ａは、撮像装置１０ａからのタイミング信号を露光タイミング制御部２１８に出力するだけでなく、撮像装置１０ａからの露光制御信号を露光量制御部２０６に出力する。
【００９４】
本変形例によれば、撮像装置２０における露光量の算出は撮像装置１０において行われることから、撮像装置２０において露光量の算出が不要となる。従って、本変形例によれば、撮像装置２０をコンパクトにすることや、撮像装置２０における消費電力を抑えることが可能となる。
【００９５】
＜＜３．  第２の実施形態＞＞
上述した第１の実施形態においては、撮像装置１０、２０と２台以上の撮像装置により実施することが前提となっていた。しかしながら、本実施形態においては、２台以上の撮像装置で実施することに限定されるものではなく、１台の撮像装置で実施されてもよい。そこで、１台の撮像装置１０ｂによる、本開示の第２の実施形態を説明する。
【００９６】
＜３.１  撮像装置の構成＞
以下に説明する本開示の第２の実施形態においては、撮像装置１０ｂを用いて、フリッカ現象を有する対象物を撮像する。まずは、本実施形態に係る撮像装置１０ｂの詳細構成について、図１３及び図１４を参照して説明する。図１３は、本実施形態に係る撮像装置１０ｂのブロック図である。図１４は、本実施形態に係る撮像部１００ｂの固体撮像素子アレイ３００の配列例を説明するための説明図である。なお、図１４においては、Ｒが赤色を検出する画素を示し、Ｇが緑色を検出する画素を示し、Ｂが青色を検出する画素を示す。
【００９７】
図１３に示すように、本実施形態に係る撮像装置１０ｂは、撮像部１００ｂ、Ａ／Ｄコンバータ部１０２、検出部１０４、露光量制御部１０６、トラッキング部１０８、推定部１１０、信号生成部１１２、処理部１１６、及び露光タイミング制御部１１８を主に有する。なお、撮像装置１０ｂにおいては、各機能部は、上述した第１の実施形態に係る撮像装置１０、２０の同一名称を持つ機能部と共通するため、ここでは各機能部の説明を省略する。
【００９８】
また、図１４に示されるように、本実施形態においては、上記固体撮像素子アレイ３００において、高速フレームレートで撮像する画素群（短時間露光用画素群）（第１の撮像素子群）３０２ａと、低速フレームレートで撮像する画素群（長時間露光用画素群）（第２の撮像素子群）３０２ｂとを設けることにより、撮像装置１０、２０の機能を１台の撮像装置１０ｂで実現することができる。言い換えると、本実施形態においては、１つの固体撮像素子アレイ３００において、撮像装置１０のように高速フレームレートで撮像する画素３０２ａと、撮像装置２０のように低速フレームレートで撮像する画素３０２ｂとが存在する。そして、画素３０２ａと画素３０２ｂとが、それぞれ上述の第１の実施形態に係る撮像装置１０と撮像装置２０とのように機能することにより、１台の撮像装置１０ｂでの実現が可能となる。
【００９９】
詳細には、図１４の左側には、高速フレームレート用の画素３０２ａと低速フレームレート用の画素３０２ｂとが２行ずつ交互に設けられている例が示されている。また、図１４に右側には、高速フレームレート用の画素３０２ａと低速フレームレート用の画素３０２ｂとがランダムに設けられている例が示されている。なお、図１４の例では、ＲＧＢ用の画素配列を示しているが、本実施形態においてはＢＷ配列に置き換えてもよい。この場合、ＢＷ配列に置き換えられる画素３０２は、高速フレームレート用の画素３０２ａであってもよく、低速フレームレート用の画素３０２ｂであってもよく、もしくは、両方の画素３０２であってもよい。また、本実施形態に係る上記固体撮像素子アレイ３００は、図１４に示される例に限定されるものではなく、２種類の画素３０２ａ、３０２ｂが含まれていれば様々な配列を用いることができる。
【０１００】
そして、上述のような画素配列における固体撮像素子アレイ３００の高速フレームレート用の画素３０２ａは、第１の実施形態における撮像装置１０の撮像部１００と同様に機能する。すなわち、撮像装置１０ｂは、高速フレームレート用の画素３０２ａで取得した画像信号に基づいて撮像フレームを生成し、対象物の検出、トラッキングを行い、フリッカ現象の周期情報を推定し、タイミング信号を生成する。また、固体撮像素子アレイ３００の低速フレームレート用の画素３０２ｂは、上述のタイミング信号により制御されて撮像を行うことにより、第１の実施形態における撮像装置２０の撮像部２００と同様に、点灯する対象物の撮像を行うことができる。
【０１０１】
なお、本実施形態においては、最終的な対象物の撮像画像は、すなわち、第１の実施形態における撮像装置２０による対象物の撮像画像は、低速フレームレート用の画素３０２ｂで取得した画像信号を用いて生成される。もしくは、上記撮像画像は、高速フレームレート用の画素３０２ａ及び低速フレームレート用の画素３０２ｂの両方の画像信号を用いて生成してもよい。この場合、得られた最終的な対象物の撮像画像は、広いコントラストを持つハイダイナミックレンジ（ＨＤＲ）の撮像画像となる。
【０１０２】
以上のように、本実施形態においては、１つの固体撮像素子アレイ３００において、高速フレームレート用の画素３０２ａと低速フレームレート用の画素３０２ｂとを設けることにより、撮像装置１０ｂは、単独であっても、点灯する対象物を撮像することができる。
【０１０３】
＜３．２  変形例３＞
上述した第２の実施形態においては、１つの対象物を撮像することを目的としていた。しかしながら、本実施形態においては、第１の実施形態の変形例１と同様に、複数の対象物の撮像を目的としてもよい。以下に、図１５を参照して、本変形例の詳細について説明する。図１５は、本実施形態の変形例に係る撮像装置１０ｂ、２０のブロック図である。
【０１０４】
図１５に示すように、本変形例においては、撮像装置１０ｂは、第２の実施形態に係る撮像装置１０ｂと同様に構成される。さらに、本変形例においては、第１の実施形態に係る撮像装置２０が複数個（ｎ個）設けられる。詳細には、撮像装置１０ｂの検出部１０４、トラッキング部１０８、推定部１１０、及び信号生成部１１２は、各対象物を検出し、トラッキングし、周期情報を推定し、推定結果に基づいてタイミング信号を生成する。そして、撮像装置１０ｂで生成された各タイミング信号は、各撮像装置２０、２０−ｎへそれぞれ送信される。
【０１０５】
なお、本変形例においては、最終的な複数の対象物の撮像画像は、撮像装置１０ｂ、及び各撮像装置２０−１〜２０−ｎにおいて取得されることとなる。
【０１０６】
＜＜４．  第３の実施形態＞＞
以下に、本開示の第３の実施形態として、上述した第１及び第２の実施形態に係る撮像装置１０、２０を車両等の機器に搭載する適用例について、図１６及び図１７を参照して説明する。図１６及び図１７は、本開示の第３の実施形態に係る撮像装置の搭載例を説明する説明図である。
【０１０７】
まずは、図１６を参照して、乗用車２に本実施形態に係る撮像装置１０、２０を搭載した例を説明する。例えば、乗用車２のフロントガラスの上部中央には、本実施形態に係る撮像装置１０が設けられ、当該撮像装置１０を挟むように、２台の本実施形態に係る撮像装置２０が設けられている。さらに、当該乗用車２には、測位センサ３０、加速度センサ４０、ミリ波レーダー５０、及び照度センサ６０等が設けられている。詳細には、加速度センサ４０は、乗用車２の動きによって生じた加速度を検出する。ミリ波レーダー５０は、車両の周囲にミリ波（例えば、波長が１〜１０ｍｍ程度の電波）を放射し、反射波を検出することにより、例えば、乗用車２の周囲の物体の距離等を検出する。照度センサ６０は、乗用車２の外界の明るさを検出する。
【０１０８】
例えば、乗用車２においては、撮像装置１０で対処物を検出し、トラッキングを行い、さらに、フリッカ現象の周期情報を推定し、タイミング信号を生成して、２台の撮像装置２０に当該タイミング信号を送信する。これら２台の撮像装置２０は、上記タイミング信号を受信し、受信したタイミング信号に基づいて対象物を撮像する。詳細には、各撮像装置２０が撮像する対象物が異なる場合には、各タイミング信号は異なる周期を持つ信号となる。また、２台の撮像装置２０により、１つの対象物の測距を行う場合には、２台の撮像装置２０が同時に対象物を撮像することができるようなタイミング信号（同期信号）となる。さらに、必要に応じて、測位センサ３０、加速度センサ４０、ミリ波レーダー５０、及び照度センサ６０等のセンシングデータを用いて、撮像装置２０における撮像を制御してもよい。
【０１０９】
また、図１６においては、撮像装置１０、２０は乗用車２のフロントガラスの上部に設けられているが、本実施形態においては、このような位置に設置されること限定されるものではなく、乗用車２の後ろ側や左右側に設けられていてもよい。例えば、撮像装置１０、２０を乗用車２の後ろ側に設けた場合には、これら撮像装置１０、２０は、バックミラーの代わりに乗用車２の後ろを撮像するモニタリングシステムとして機能することができ、運転手の運転を支援することができる。
【０１１０】
次に、図１７を参照して、ドローン７０に本実施形態に係る撮像装置１０、１０ｂ、２０を搭載した例を説明する。ここで、ドローン７０とは、小型飛行機であって、構造上操縦者が乗らず、自立飛行機能及び自立姿勢制御機能等を有し、三次元空間を飛行することができる装置のことをいう。例えば、図１７の左側には、第２の実施形態に係る撮像装置１０ｂが４個搭載されたドローン７０を示す。また、図１７の中央には、第１の実施形態に係る撮像装置１０が４個と、同実施形態に係る撮像装置２０が８個搭載されたドローン７０を示す。さらに、図１７の右側には、第１の実施形態に係る撮像装置１０が１個と、同実施形態に係る撮像装置２０が８個搭載されたドローン７０を示す。
【０１１１】
詳細には、図１７の左側のドローン７０においては、ドローン７０の各側面の中央に撮像装置１０ｂが設けられており、ドローン７０から見て各方向に位置する対象物を各撮像装置１０ｂにより撮像することができる。
【０１１２】
また、図１７の中央のドローン７０においては、撮像装置１０は、１８０度近く画角がある広角の撮像部１００を持ち、ドローン７０の各側面の中央に設けられている。さらに、各撮像装置１０は、各撮像装置１０を挟むように位置する１対の撮像装置２０を制御する。例えば、この１対の撮像装置２０は、撮像装置１０により互いに同期するように制御され、対象物に対して測距を行うことができる。
【０１１３】
また、図１７の右側のドローン７０においては、撮像装置１０は、３６０度近く画角がある広角の撮像部１００を持ち、ドローン７０の上部中央に設けられている。さらに、撮像装置１０は、撮像装置１０を取り囲むように位置する８個の撮像装置２０を制御する。
【０１１４】
以上のように、本開示の実施形態に係る撮像装置は、乗用車２、ドローン７０、操縦者によって遠隔操作される、もしくは、自立的に移動することができる産業用又は家庭用ロボット等といった空間移動可能な機器に、周囲状況のモニタリング装置として搭載することができる。さらに、当該撮像装置は、このような機器に搭載されることに限定されることに限定されるものではなく、例えば、高速撮像が可能であることから、人間の目では観察し難い高速で変化する現象を解析するといった、対象物を解析可能な解析機器に搭載されてもよい。より具体的には、上記解析機器としては、物体の落下や衝撃試験や、爆発試験等の解析や、スポーツ選手の動作解析等に用いられる計測装置を挙げることができる。
【０１１５】
＜＜５．  まとめ＞＞
以上のように、本開示の実施形態においては、対象物をトラッキングすることにより、複数の撮像フレームにおける対象物の輝度の変化を検出し、検出した輝度の変化により、対象物のフリッカ現象（点滅）の周期情報を推定する。本実施形態によれば、対象物をトラッキングすることから、対象物の輝度の変化を精度よく捕捉することができ、さらには精度よく周期情報を推定することができる。そして、本実施形態においては、推定した周期情報に基づいて、対象物を適切に撮像するためのタイミング信号を生成し、上記タイミング信号に基づいて対象物を撮像することから、対象物をより確実に認知することができる最適な撮像画像を取得することができる。さらに、本実施形態においては、高速フレームレートで得られた撮像フレームを用いて迅速に周期情報を推定し、タイミング信号を生成していることから、撮像装置２０は、対象物をリアルタイムで撮像することができる。
【０１１６】
なお、上述した第１から第３の実施形態、及び変形例は、単独で実施されてもよく、互いに組み合わせて実施されてもよい。
【０１１７】
＜＜６．  補足＞＞
上述した実施形態の撮像方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能ブロックによって他の方法で処理されていてもよい。
【０１１８】
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１９】
さらに、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１２０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
点滅する対象物又は点滅する照射体に照らされた対象物を検出する検出部と、
検出された前記対象物に対してトラッキングを行うトラッキング部と、
トラッキングされた前記対象物の複数の撮像フレームに基づいて、前記点滅の周期情報を推定する推定部と、
推定結果に基づいて、前記対象物の撮像のためのタイミング信号を生成する信号生成部と、
を備える、
撮像装置。
（２）
前記対象物を撮像する第１及び第２の撮像部をさらに備え、
前記第１の撮像部は、第１のフレームレートで撮像し、
前記第２の撮像部は、前記第１のフレームレートよりも低速な第２のフレームレートで撮像する、
上記（１）に記載の撮像装置。
（３）
前記対象物を撮像する、複数の撮像素子からなる撮像部をさらに備え、
前記撮像部は、第１のフレームレートで撮像する第１の撮像素子群と、前記第１のフレームレートよりも低速な第２のフレームレートで撮像する第２の撮像素子群とを有する、
上記（１）に記載の撮像装置。
（４）
前記検出部は、前記第１のフレームレートで取得された前記対象物の複数の撮像フレームに基づいて、前記対象物を検出する、上記（２）又は（３）に記載の撮像装置。
（５）
前記検出部は、前記撮像フレームの各画素の色情報に基づいて、前記対象物を検出する、上記（４）に記載の撮像装置。
（６）
前記検出部は、前記撮像フレームの特徴点に基づいて、前記対象物を検出する、上記（４）に記載の撮像装置。
（７）
前記撮像装置の位置を測位する測位部をさらに備え、
前記検出部は、前記撮像装置の位置情報に基づいて、前記対象物を検出する、
上記（１）〜（３）のいずれか１つに記載の撮像装置。
（８）
前記トラッキング部は、前記第１のフレームレートで取得された前記対象物の複数の撮像フレームのうちの前後の前記撮像フレームの比較に基づいて、前記対象物に対してトラッキングを行う、上記（２）又は（３）に記載の撮像装置。
（９）
前記推定部は、前記第１のフレームレートで取得された前記対象物の複数の撮像フレームにおける前記対象物の輝度の変化に基づいて、前記点滅の周波数、点灯時間、及び点灯間隔の少なくともいずれか１つを推定する、上記（２）又は（３）に記載の撮像装置。
（１０）
前記信号生成部は、前記第２の撮像部の露光開始のタイミングを制御する信号、もしくは、露光終了のタイミングを制御する信号を生成する、上記（２）に記載の撮像装置。
（１１）
前記検出部は、複数の前記対象物を検出し、
前記トラッキング部は、前記各対象物に対してトラッキングを行い、
前記推定部は、前記各対象物に関する前記点滅の周期情報を推定し、
前記信号生成部は、推定結果に基づいて、前記各対象物の撮像のための各タイミング信号を生成する、
上記（１）に記載の撮像装置。
（１２）
点滅する対象物又は点滅する照射体に照らされた対象物を検出する検出部と、
検出された前記対象物に対してトラッキングを行うトラッキング部と、
トラッキングされた前記対象物の複数の撮像フレームに基づいて、前記点滅の周期情報を推定する推定部と、
推定結果に基づいて、前記対象物の撮像のためのタイミング信号を生成する信号生成部と、
を有する撮像装置が搭載された、
空間移動可能な、又は、前記対象物の解析可能な装置。
【符号の説明】
【０１２１】
１    自発光式交通標識
２    乗用車
３    体育館
１０、１０ａ、１０ｂ、１０ｃ、２０、２０ａ、２０−１〜２０−ｎ    撮像装置
３０    測位センサ
４０    加速度センサ
５０    ミリ波レーダー
６０    照度センサ
７０    ドローン
８０    照明装置
９０    スポーツ選手
１００、１００ｂ、２００    撮像部
１０２、２０２    Ａ／Ｄコンバータ部
１０４    検出部
１０６、１０６ａ、２０６    露光量制御部
１０８    トラッキング部
１１０    推定部
１１２    信号生成部
１１４    送信部
１１６、２１６    処理部
１１８、２１８    露光タイミング制御部
２１４、２１４ａ    受信部
３００    固体撮像素子アレイ
３０２、３０２ａ、３０２ｂ    画素
【図１】
2019036907.tif 000004
【図２】
2019036907.tif 000005
【図３】
2019036907.tif 000006
【図４】
2019036907.tif 000007
【図５】
2019036907.tif 000008
【図６】
2019036907.tif 000009
【図７】
2019036907.tif 000010
【図８】
2019036907.tif 000011
【図９】
2019036907.tif 000012
【図１０】
2019036907.tif 000013
【図１１】
2019036907.tif 000014
【図１２】
2019036907.tif 000015
【図１３】
2019036907.tif 000016
【図１４】
2019036907.tif 000017
【図１５】
2019036907.tif 000018
【図１６】
2019036907.tif 000019
【図１７】
2019036907.tif 000020