(57)【要約】【課題】画像フレームに撮像された物体の移動方向を認識すること。【解決手段】画像生成装置が、イメージセンサが出力する、単一露光で撮像された単一露光フレームと当該単一露光フレームの後に多重露光で撮像された多重露光フレームとを受信する受信部と、単一露光フレーム内における物体の位置と多重露光フレーム内における物体と同一の物体の位置とに基づいて当該多重露光フレーム内における当該物体の移動軌跡の始点を特定する制御部と、を備える。【選択図】図１
2018160784.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサが出力する、単一露光で撮像された単一露光フレームと、当該単一露光フレームの後に多重露光で撮像された多重露光フレームとを受信する受信部と、
前記単一露光フレーム内における物体の位置と、前記多重露光フレーム内における前記物体と同一の物体の位置とに基づいて、前記多重露光フレーム内における当該物体の移動軌跡の始点を特定する制御部と、
を備える画像生成装置。
【請求項２】
前記多重露光フレームの各露光タイミングにおける感度は同一である、
請求項１に記載の画像生成装置。
【請求項３】
前記イメージセンサが高感度セルと当該高感度セルよりも低感度であるが電荷蓄積容量が大きい高飽和セルとを有しており、前記単一露光フレーム及び前記多重露光フレームは、前記高飽和セルによって撮像されたものである、
請求項１又は２に記載の画像生成装置。
【請求項４】
前記単一露光フレーム及び前記多重露光フレームは、前記イメージセンサのグローバルシャッター機能を用いて撮像されたものである、
請求項１から３の何れか１項に記載の画像生成装置。
【請求項５】
前記単一露光フレームと前記多重露光フレームとのフレームレートが同じである、
請求項１から４の何れか１項に記載の画像生成装置。
【請求項６】
イメージセンサによって単一露光で撮像された単一露光フレームと、当該単一露光フレームの後に多重露光で撮像された多重露光フレームとが入力されるステップと、
前記単一露光フレーム内における物体の位置と、前記多重露光フレーム内における前記物体と同一の物体の位置とに基づいて、前記多重露光フレーム内における当該物体の移動軌跡の始点を特定するステップと、
を備える画像生成方法。
【請求項７】
コンピュータに、
イメージセンサが出力する、単一露光で撮像された単一露光フレームと、当該単一露光フレームの後に多重露光で撮像された多重露光フレームとを受信するステップと、
前記単一露光フレーム内における物体の位置と、前記多重露光フレーム内における前記物体と同一の物体の位置とに基づいて、前記多重露光フレーム内における当該物体の移動軌跡の始点を特定するステップと、
を実行させるプログラム。
【請求項８】
コンピュータに、
イメージセンサが出力する、単一露光で撮像された単一露光フレームと、当該単一露光フレームの後に多重露光で撮像された多重露光フレームとを受信するステップと、
前記単一露光フレーム内における物体の位置と、前記多重露光フレーム内における前記物体と同一の物体の位置とに基づいて、前記多重露光フレーム内における当該物体の移動軌跡の始点を特定するステップと、
を実行させるプログラムを記録した非一過性の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像生成方法、プログラム及びそれを記録した記録媒体に関する。
【背景技術】
【０００２】
移動する物体を多重露光により連続撮像し、異なる位置にある同一物体を１枚の画像に収めることにより、その物体の動きを表現する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２３０６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、多重露光により連続撮像された１枚の画像からは、物体が何れの方向へ移動しているかを認識することができない。また、多重露光の各露光タイミングにおいて感度を高い方から低い方に（又はその逆に）変更させて濃度を変化させることにより、物体の移動方向を認識する方法も考えられるが、この場合、感度を低下させた露光タイミングで撮像された物体自体の認識が困難となる。
【０００５】
そこで、本発明は、物体の認識及び物体の移動方向の認識を可能とする画像生成装置、画像生成方法、プログラム及びそれを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施の形態に係る画像生成装置は、イメージセンサが出力する、単一露光で撮像された単一露光フレームと、当該単一露光フレームの後に多重露光で撮像された多重露光フレームとを受信する受信部と、前記単一露光フレーム内における物体の位置と、前記多重露光フレーム内における前記物体と同一の物体の位置とに基づいて、前記多重露光フレーム内における当該物体の移動軌跡の始点を特定する制御部と、を備える。
【０００７】
上記一実施の形態は、方法、プログラム、及びプログラムを記録した非一過性の有形の記録媒体の何れかであってもよい。
【発明の効果】
【０００８】
本発明によれば、物体自体の認識及び物体の移動方向の認識が可能である。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る画像生成装置を含む撮像装置の構成の一例を示すブロック図。
【図２】イメージセンサが出力する画像フレームの一例を示す図。
【図３】制御部の動作の一例を示すフローチャート。
【図４】イメージセンサが出力する画像フレームの変形例を示す図。
【図５】実施の形態２に係る画像生成装置を含む撮像装置の構成の一例を示すブロック図。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、実施の形態を説明する。
【００１１】
なお、同種の要素を区別して説明する場合には、「物体２００Ａ」、「物体２００Ｂ」のように参照符号を使用し、同種の要素を区別しないで説明する場合には、「物体２００」のように参照符号のうちの共通番号のみを使用することがある。
【００１２】
また、以下の実施形態において、その構成要素（要素ステップなどを含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合などを除き、必ずしも必須のものではない。
【００１３】
＜実施の形態１＞
図１は、実施の形態１に係る画像生成装置を含む撮像装置の構成を示すブロック図である。図２は、イメージセンサが出力する画像フレームを示す図である。
【００１４】
撮像装置１０は、イメージセンサ１２と、受信部１４と、制御部１６とを備える。なお、受信部１４及び制御部１６に係る機能は、マイクロプロセッサやデジタルシグナルプロセッサ等の画像生成装置１１によって実現されてよい。又は、当該機能は、少なくともメモリ及びプロセッサを備えるコンピュータで実行されるプログラムによって実現されても良いし、当該プログラムを記録した記録媒体がコンピュータに読み取られることによって実現されても良い。
【００１５】
イメージセンサ１２は、光電変換素子を備える複数の画素（画素アレイ）を有しており、各画素への入射光を光電変換して得られた信号に基づいて画像フレームを生成し、受信部１４へ出力する。
【００１６】
イメージセンサ１２は、例えば、有機薄膜を用いたＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。なお、イメージセンサは、これに限られず、他のＣＭＯＳイメージセンサやＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサであってもよい。
【００１７】
イメージセンサ１２は、グローバルシャッター機能を備える。グローバルシャッター機能は、画素アレイ中の全画素において露光の開始および終了を共通とする機能である。グローバルシャッター機能により、比較的動きの速い物体を歪み無く撮像することができる。また、イメージセンサ１２は、画像フレーム毎に、露光時間及び露光回数を変えることができる。
【００１８】
１回の露光回数で生成された画像フレームを、単一露光フレーム１００と呼ぶ。すなわち、単一露光フレーム１００は、グローバルシャッターが１回切られて撮像された画像フレームである。図２において、物体（他車両）２００は、図面の左から右へ移動している。単一露光フレーム１００内には、１回の露光タイミングのときに撮像された物体２００Ａが含まれている。
【００１９】
２回以上の露光回数で生成された画像フレームを、多重露光フレーム１２０と呼ぶ。すなわち、多重露光フレーム１２０は、グローバルシャッターが２回以上切られて撮像された（多重露光された）画像フレームである。多重露光フレーム１２０に撮像されている物体２００Ｂ、２００Ｃ、２００Ｄと、単一露光フレーム１００に撮像されている物体２００Ａとは同一の物体２００である。多重露光フレーム１２０Ａ内には、３回の露光タイミングのそれぞれのときに撮像された物体２００Ｂ、２００Ｃ、２００Ｄが含まれている。この物体２００Ｂ、２００Ｃ、２００Ｄは少しずつずれて多重に撮像されている。なぜなら、グローバルシャッターが切られる間に、物体２００が移動しているからである。なお、図２の多重露光フレーム１２０Ａにおいて背景が多重に撮像されているのは、自車も前方に向かって走行しているためである。
【００２０】
イメージセンサ１２は、単一露光フレーム１００と多重露光フレーム１２０とを交互に生成し、それらを受信部１４へ入力する。すなわち、イメージセンサ１２は、単一露光フレーム１００を生成した後（次フレーム）で多重露光フレーム１２０を生成し、その後（次フレーム）にはまた単一露光フレーム１００を生成するという処理を繰り返す。イメージセンサ１２は、単一露光フレーム１００と多重露光フレーム１２０とを同じフレームレートで出力してよい。これにより、制御部１６の処理負荷が軽減される。
【００２１】
受信部１４は、イメージセンサ１２から出力される単一露光フレーム１００を受け取り、それを制御部１６へ渡す。また、受信部１４は、その単一露光フレーム１００の次に出力される多重露光フレーム１２０を受け取り、それを制御部１６へ渡す。
【００２２】
制御部１６は、受信部１４から、多重露光フレーム１２０及び単一露光フレーム１００を受け取る。そして、制御部１６は、単一露光フレーム１００における物体２００の位置と、多重露光フレーム１２０内における同じ物体２００の位置とに基づいて、多重露光フレーム１２０内における物体２００の移動軌跡の始点を特定する。以下、図２を参照しながら更に説明する。
【００２３】
図２に示すように、多重露光フレーム１２０Ａには、複数の物体２００Ｂ、２００Ｃ、２００Ｄが含まれている。制御部１６は、多重露光フレーム１２０Ａに含まれている複数の物体２００Ｂ、２００Ｃ、２００Ｄの位置関係に基づいて、物体２００の移動軌跡を特定する。しかし、多重露光フレーム１２０Ａだけでは、物体２００の移動軌跡の始点がわからない。すなわち、物体２００がどちらの方向へ移動しているのかがわからない。
【００２４】
そこで、制御部１６は、多重露光フレーム１２０の前フレームである単一露光フレーム１００を用いて、当該多重露光フレーム１２０内における物体２００Ａの移動軌跡の始点を特定する。
【００２５】
例えば、制御部１６は、多重露光フレーム１２０Ａに含まれる複数の物体２００Ｂ、２００Ｃ、２００Ｄの中から、単一露光フレーム１００に含まれる物体２００Ａの位置２１０Ａと最も近い物体２００Ｂの位置２１０Ｂを特定し、それを物体２００の移動軌跡の始点とする。なぜなら、単一露光フレーム１００が撮像されたタイミングと、その次のフレームである多重露光フレーム１２０Ａが撮像されたタイミングとの間の時間差は比較的短いため、その間に物体２００が移動する量は比較的小さいと想定できるからである。
【００２６】
なお、画像フレーム内における物体２００の位置２１０は、当該物体２００の撮像領域の中心座標であってよい。また、物体２００の移動軌跡は、始点から各物体の座標を結ぶ方向ベクトルであってよい。
【００２７】
また、制御部１６は、イメージセンサ１２の動作を制御するために、イメージセンサ１２に対して次の（Ｃ１）又は（Ｃ２）の制御コマンド（又は制御信号）１６０を発行することができる。
【００２８】
（Ｃ１）単一露光フレーム１００と多重露光フレーム１２０とを交互に生成するように指示する制御コマンド１６０。
【００２９】
（Ｃ２）多重露光フレーム１２０の各露光タイミングにおける感度を同一にするように指示する制御コマンド１６０。感度を比較的高感度に同一にすることにより、低感度で撮像されて物体２００が認識できなくことを防止することができる。
【００３０】
図３は、制御部１６の処理を示すフローチャートである。次に、図２及び図３を参照しながら、制御部１６の処理を説明する。
【００３１】
制御部１６は、受信部１４から、単一露光フレーム１００と、その単一露光フレーム１００の次フレームである多重露光フレーム１２０Ａとを受け取る（ＳＴ１００）。
【００３２】
次に、制御部１６は、単一露光フレーム１００内から物体２００Ａを特定する。また、制御部１６は、単一露光フレーム１００内における当該物体２００Ａの位置２１０Ａを特定する（ＳＴ１０２）。例えば、制御部１６は、所定のパターンマッチング手法によって物体２００Ａを特定する。
【００３３】
次に、制御部１６は、多重露光フレーム１２０Ａ内から、ＳＴ１０２で特定した物体２００Ａと同一の物体２００Ｂ、２００Ｃ、２００Ｄを特定する。また、制御部１６は、多重露光フレーム１２０Ａ内における当該物体２００Ｂ、２００Ｃ、２００Ｄの位置２１０Ｂ、２１０Ｃ、２１０Ｄを特定する（ＳＴ１０４）。
【００３４】
次に、制御部１６は、ＳＴ１０２で特定した物体２００Ａの位置２１０Ａに基づき、ＳＴ１０４で特定した多重露光フレーム１２０内における同一の物体２００Ｂ、２００Ｃ、２００Ｄの位置２１０Ｂ、２１０Ｃ、２１０Ｄの中から、位置２１０Ｂを、物体２００の移動軌跡の始点に特定する（ＳＴ１０６）。ここでは、位置２１０Ｂ、２１０Ｃ、２１０Ｄのうち、位置２１０Ａと最も近い位置２１０Ｂを、始点に特定している。
【００３５】
次に、制御部１６は、ＳＴ１０６で特定した物体２００の始点位置２１０Ｂと、ＳＴ１０４で特定した各物体２００Ｂ、２００Ｃ、２００Ｄの位置２１０Ｂ、２１０Ｃ、２１０Ｄとの位置関係に基づいて、物体２００の移動軌跡（位置２１０Ｂから２１０Ｄの順に進む方向ベクトル）を生成する（ＳＴ１０８）。
【００３６】
次に、制御部１６は、ＳＴ１０８で生成した物体２００の移動軌跡に係る情報１４０を、後段の所定の装置に出力する（ＳＴ１１０）。後段の所定の装置は、例えば、車両に搭載された自動運転や運転支援を制御するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）である。なお、制御部１６は、移動軌跡に係る情報１４０と共に又は当該情報１４０に代えて、単一露光フレーム１００及び多重露光フレーム１２０を、後段の所定の装置に出力してもよい。このとき、制御部１６は、単一露光フレーム１００と多重露光フレーム１２０とを同じフレームレートで出力してよい。これにより、後段の所定の装置における処理負荷が軽減される。
【００３７】
制御部１６は、上記のＳＴ１００からＳＴ１１０の処理を繰り返す。
【００３８】
なお、制御部１６は、ＳＴ１０２で複数の異なる物体２００を特定した場合、それぞれの物体２００に対してＳＴ１０４からＳＴ１１０の処理を実行する。これにより、複数の異なる物体２００について、それぞれ移動軌跡を生成することができる。
【００３９】
また、制御部１６は、ＳＴ１０２で特定した各物体２００にＩＤを付与し、２回目以降の繰り返し処理において同一の物体２００を特定した場合、当該同一の物体２００に同じＩＤを付与する。これにより、同一の物体２００の移動を連続して追跡することができる。
【００４０】
以上の処理によれば、物体２００の移動軌跡の始点を認識することができる。すなわち、物体２００の移動方向を認識することができる。また、感度を変化させて移動方向を特定する場合と比較して、比較的高感度で撮像可能となるので、物体の認識精度が向上する。
【００４１】
＜変形例＞
図４は、イメージセンサ１２が出力する画像フレームの変形例を示す図である。以下、図４を参照しながら、イメージセンサ１２が、単一露光フレーム１００を生成し、その後、複数の多重露光フレーム１２０Ａ、１２０Ｂを生成するという処理を繰り返す場合について説明する。
【００４２】
受信部１４は、単一露光フレーム１００と、その後に続く、複数の多重露光フレーム１２０Ａ、１２０Ｂを、制御部１６に渡す。
【００４３】
制御部１６は、上記で説明したように、単一露光フレーム１００を用いて、当該単一露光フレーム１００の次フレームの多重露光フレーム１２０Ａから、物体２００の始点位置２１０Ｂを特定する。
【００４４】
次に、制御部１６は、単一露光フレーム１００の後に続く、複数の多重露光フレーム１２０Ａ、１２０Ｂ内に撮像されている物体２００Ｂ乃至２００Ｇの位置２１０Ｂ乃至２１０Ｇに基づいて、物体２００の始点位置２１０Ｂからの移動軌跡（位置２１０Ｂから２１０Ｇの順に進む方向ベクトル）を生成する。
【００４５】
なお、この場合、制御部１６は、イメージセンサ１２の動作を制御するために、イメージセンサ１２に対して、上述の（Ｃ１）、（Ｃ２）に加えて、次の（Ｃ３）の制御コマンド（制御信号）を発行することができる。
【００４６】
（Ｃ３）単一露光フレーム１００の後にＮ個（Ｎは２以上の整数）の多重露光フレーム１２０を生成するよう指示する制御コマンド１６０。
【００４７】
以上の処理によれば、１つの単一露光フレーム１００の後に複数の多重露光フレーム１２０が続く構成においても、物体２００の移動軌跡の始点及び移動方向を認識することができる。
【００４８】
＜実施の形態２＞
実施の形態２では、イメージセンサの各画素が高感度セルと高飽和セルとを備える構成について説明する。なお、図１と同様の構成要素については同じ符号を付して説明を省略する。
【００４９】
図５は、実施の形態２に係る画像生成装置３１を含む撮像装置１３の構成を示すブロック図である。
【００５０】
イメージセンサ３２は、画素毎に高感度セル３１０と高飽和セル３１２とを備える。
【００５１】
高感度セル３１０は、感度が比較的高く、電荷の蓄積容量が比較的小さいセルである。したがって、高感度セル３１０には、夜間やトンネル内等の暗所においても、標識、信号機、歩行者又は他車両等を撮像することができる。
【００５２】
これに対して、高飽和セル３１２は、高感度セル３１０よりも感度が低く電荷の蓄積容量が大きいセルである。したがって、高飽和セル３１２は、暗所において、他車両のヘッドライトやテールライト、及び、信号機や街灯のライト等、おもに物体が発するライトを撮像することができる。
【００５３】
高感度セル３１０は単一露光による撮像を行って高感度な単一露光フレーム３２０を出力し、高飽和セル３１２は多重露光による撮像を行って高飽和な多重露光フレーム３２２を出力する。
【００５４】
制御部３６は、イメージセンサ３２から受け取った、高感度な単一露光フレーム３２０と高飽和な多重露光フレーム３２２とを用いて、実施の形態１と同様の処理を行うことにより、物体の移動軌跡を特定する。例えば、制御部３６は、高感度な単一露光フレーム３２０によって移動物体の始点を特定し、高飽和な多重露光フレーム３２２によってその移動物体の軌跡を特定する。これにより、自車周辺が暗所の場合であっても移動物体の軌跡を特定することができる。
【００５５】
なお、イメージセンサ３２は、高感度セル３１０及び高飽和セル３１２のそれぞれについて、露光時間及び露光回数を変えることができてよい。また、制御部３６は、所定のコマンド１６０によって、これらの露光時間及び露光回数を設定できてよい。
【００５６】
また、イメージセンサ３２は、高感度セル３１０から出力される単一露光フレーム３２０と、高飽和セル３１２から出力される多重露光フレーム３２２とを同じフレームレートにしてもよい。これにより、制御部３６における処理負荷が軽減される。
【００５７】
また、高飽和セル３１２は、単一露光による撮影と多重露光による撮影とを交互に行って画像フレームを出力してもよい。これにより、制御部３６は、高飽和セル３１２から出力された画像フレームからも、移動物体の始点を特定することができる。
【００５８】
また、制御部３６は、移動軌跡に係る情報１４０と共に又は当該情報１４０に代えて、高感度セル３１０から出力された単一露光フレーム３２０及び高飽和セル３１２から出力された多重露光フレーム３２２を、後段の所定の装置に出力してもよい。このとき、制御部３６は、単一露光フレーム３２０と多重露光フレーム３２２とを同じフレームレートで出力してよい。これにより、後段の所定の装置における処理負荷が軽減される。
【００５９】
上述した実施形態は、本発明の説明のための例示であり、本発明の範囲を実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
【産業上の利用可能性】
【００６０】
本発明に係る画像生成装置、画像処理方法、プログラム及び記録媒体は、移動物体の移動方向を認識可能であり、撮像装置又は車載機器等への利用に好適である。
【符号の説明】
【００６１】
１０  撮像装置
１１  画像生成装置
１２  イメージセンサ
１４  受信部
１６  制御部
１００  単一露光フレーム
１２０  多重露光フレーム
２００  物体
【図１】
2018160784.tif 000003
【図２】
2018160784.tif 000004
【図３】
2018160784.tif 000005
【図４】
2018160784.tif 000006
【図５】
2018160784.tif 000007