(57)【要約】【課題】複雑な演算回路を用いず、簡単な方式で任意の向きに移動する被写体の像の歪みを軽減することができるローリングシャッター方式の撮像装置を提供する。【解決手段】撮像装置１１は、第１周波数のクロック信号に同期して電荷を転送し、１フレーム分の電荷の転送を第１時間で完了させる際に、撮像素子１２で撮像される画像内で移動する被写体の像を含むライン上の画素について第１周波数よりも高い第２周波数のクロック信号に同期して電荷を転送し、画像内で移動する被写体の像を含む画素ライン以外のライン上の画素について第１周波数よりも低い第３周波数のクロック信号に同期して電荷を転送する制御部を備える。１フレームの電荷の転送の開始から、次の１フレームの電荷の転送開始までの時間を第１時間とする。【選択図】図１
2018164234.tif 000002
【特許請求の範囲】
【請求項１】
クロック信号に同期して画素ごとに電荷を順次転送する撮像素子を備えた撮像装置であって、
前記撮像素子で撮像される画像内で被写体の像の移動を検出する移動検出部と、
第１周波数のクロック信号に同期して電荷を転送し、１フレーム分の電荷の転送を第１時間で完了させる際に、前記撮像素子で撮像される画像内で移動する被写体の像を含むライン上の画素について前記第１周波数よりも高い第２周波数のクロック信号に同期して電荷を転送し、前記画像内で移動する前記被写体の前記像を含む前記ライン以外のライン上の画素について第１周波数よりも低い第３周波数のクロック信号に同期して電荷を転送する制御部とを備え、
１フレームの電荷の転送の開始から、次の１フレームの電荷の転送開始までの時間を前記第１時間とすることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、前記制御部は、前記移動検出部が検出した前記画像内での前記被写体の像の移動速度に応じて前記第２周波数を変更することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、前記撮像素子で撮像される画像内で前記被写体の像の高さを検出する高さ検出部をさらに備え、前記制御部は、移動する前記被写体の像の高さに応じて前記第２周波数を変更することを特徴とする撮像装置。
【請求項４】
請求項２または３に記載の撮像装置において、前記制御部は、前記被写体の移動が検出されると、前記第２周波数を所定の時定数で上昇させることを特徴とする撮像装置。
【請求項５】
請求項２または３に記載の撮像装置において、前記制御部は、前記第２周波数に応じて個々の画素ごとにゲインを設定することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はローリングシャッター方式の撮像装置に関する。
【背景技術】
【０００２】
ローリングシャッター方式の撮像装置は撮像素子上に多数ある画素の露光を順次時系列で行う。露光に時間差が生じる。これにより撮像される移動する被写体の像は歪む。特許文献１では、連続する２フレームの画像が生成される。２フレームの画像から、水平方向に移動する被写体が検出される。検出された移動する被写体に対し、撮像タイミングのずれに応じた補正処理が行われ、歪みが低減される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−４６８１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の撮像装置では移動する被写体の移動量を算出し、その移動量に応じ、被写体の歪みを演算にて補正し、移動していない背景画像と合成するという手法のため、複雑な演算回路が必要となる。また水平方向に移動する被写体以外の歪みは補正できない。
【０００５】
本発明は、複雑な演算回路を用いず、簡単な方式で任意の向きに移動する被写体の像の歪みを軽減することができるローリングシャッター方式の撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一形態によれば、クロック信号に同期して画素ごとに電荷を順次転送する撮像素子を備えた撮像装置であって、前記撮像素子で撮像される画像内で被写体の像の移動を検出する移動検出部と、第１周波数のクロック信号に同期して電荷を転送し、１フレーム分の電荷の転送を第１時間で完了させる際に、前記撮像素子で撮像される画像内で移動する被写体の像を含むライン上の画素について前記第１周波数よりも高い第２周波数のクロック信号に同期して電荷を転送し、前記画像内で移動する前記被写体の前記像を含む前記ライン以外のライン上の画素について第１周波数よりも低い第３周波数のクロック信号に同期して電荷を転送する制御部とを備え、１フレームの電荷の転送の開始から、次の１フレームの電荷の転送開始までの時間を前記第１時間とする撮像装置は提供される。
【０００７】
撮像素子は、画像内で移動する被写体が検出されなければ、第１周波数のクロック信号に同期して画素ごとに電荷を順次転送し、１フレームを形成する。画像内で移動する被写体の像が検出されると、撮像素子は、移動する被写体の像を含むライン上の画素について第２周波数のクロック信号に同期して画素ごとに電荷を順次転送し、移動する被写体の像を含むライン以外のライン上の画素について、第３周波数のクロック信号に同期して画素ごとに電荷を順次転送し、１フレームを形成する。これにより１フレーム間の時間は一定に保たれ、例えば1秒間に６０フレームといった一般的な動画のフレームレートは維持される。移動する被写体の像を含むライン上の画素について、第１周波数よりも高い第２周波数に基づき電荷の転送は実施されるので、撮像素子で撮像される画像内で（水平方向および垂直方向を含む）どの方向に被写体の像が移動しても、常に第１周波数で動作する場合と比較し、画素の間で露光の時間差が縮小され、移動する被写体の像の歪みは軽減される。
【０００８】
前記制御部は、前記移動検出部が検出した前記画像内での前記被写体の像の移動速度に応じて前記第２周波数を変更してもよい。移動検出部は移動する被写体の像の形状を認識し、同形状の被写体の像の移動量を検出することにより速度を算出する。クロック信号に同期して画素ごとに電荷を転送する撮像素子では、移動する被写体の歪み量は被写体の像の移動速度に依存する。したがって、移動する被写体の像の移動速度に応じて第２周波数が設定されれば、第２周波数は過度に高められることはなく、適切に消費電力の増大は抑制されることができる。
【０００９】
前記制御部は、前記移動検出部が検出した前記画像内での前記被写体の像の移動速度に応じて前記第２周波数を変更してもよい。移動検出部は移動する被写体の像の形状を認識し、同形状の被写体の像の移動量を検出することにより速度を算出する。クロック信号に同期して画素ごとに電荷を転送する撮像素子では、移動する被写体の歪み量は被写体の像の移動速度に依存する。したがって、移動する被写体の像の移動速度に応じて第２周波数が設定されれば、第２周波数は過度に高められることはなく、適切に消費電力の増大は抑制されることができる。
【００１０】
撮像装置は、前記撮像素子で撮像される画像内で前記被写体の像の高さを検出する高さ検出部をさらに備えてもよい。前記制御部は、移動する前記被写体の像の高さに応じて前記第２周波数を変更してもよい。クロック信号に同期して画素ごとに電荷を転送する撮像素子では、移動する被写体の歪み量は被写体の高さに依存する。したがって、移動する被写体の移動速度とともに高さに基づき第２周波数が設定されれば、第２周波数は過度に高められることはなく、適切に消費電力の増大は抑制されることができる。
【００１１】
前記制御部は、前記被写体の移動が検出されると、前記第２周波数を所定の時定数で上昇させてもよい。撮像素子上の画素の露光時間は、あるフレームで電荷の転送が完了してから次のフレームで電荷の転送を開始するまでの時間となる。したがって、第１周波数から第１周波数と乖離した第２周波数に例えば１フレームで切り替えた場合、電荷の転送の完了から次のフレームでの電荷の転送の開始までの時間が短くなるため、前述の露光時間は短縮されてしまう。切り替え後の１フレームの画像は暗くなる。第２周波数を除々に上昇させることによりこの現象を軽減することができる。詳細については後述する。
【００１２】
前記制御部は、前記第２周波数に応じて個々の画素ごとにゲインを設定してもよい。画素ごとに露光時間に差が生じても、制御部は露光時間の差に応じて個々の画素ごとにゲインを調整する。この方法においても、前述の画像が暗くなる現象は軽減されることができる。
【発明の効果】
【００１３】
以上のように開示の撮像装置によれば、複雑な演算回路を用いずに、移動する被写体の像の歪みを十分に解消することができるローリングシャッター方式の撮像装置は提供される。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る撮像装置の構成を概略的に示す概念図である。
【図２】第１周波数で特定されるフレーム内で被写体の像の時間配分を示す概念図である。
【図３】第２周波数に切り替えられた際にフレーム内で被写体の像の時間配分を示す概念図である。
【図４】画像内で全ての画素ラインに移動する被写体の像が含まれる場合に、フレーム内で被写体の像の時間配分を示す概念図である。
【図５】第１周波数から第２周波数に切り替わる際に生じる露光時間の短縮を概念的に示す図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照しつつ本発明の一実施形態を説明する。
【００１６】
図１は本発明の一実施形態に係る撮像装置１１の構成を概略的に示す。撮像装置１１は、被写体に応じて画像信号を出力する撮像素子１２を備える。撮像素子１２は、表示装置１３の画面に倣って行列配置される画素１４を備える。水平方向（横方向）の画素数はＷピクセルであって垂直方向（縦方向）の画素数はＨピクセルである。個々の画素１４では、露光時間に応じてＲＧＢ（赤緑青）の色ごとに電荷が蓄積される。ここでは、画素１４は水平方向にＷ列で垂直方向にＨ列（Ｗ＞Ｈの横長）の配列で配置される。
【００１７】
撮像素子１２はいわゆるローリングシャッター方式で動作する。すなわち、個々の画素１４に蓄積された電荷は第１周波数、第２周波数、第３周波数のいずれかのクロック信号に同期して転送される。これらの周波数の大小関係は前述の通り第２周波数＞第１周波数、第１周波数＞第３周波数となる。電荷の転送は、０行０列の画素「０」から水平方向に順番に画素「１」、画素「２」、…画素「Ｗ−１」で実施され、続いて垂直方向に１行ずれて１行０列の画素「Ｗ」から画素「Ｗ＋１」…画素「２Ｗ−１」で実施され、垂直方向に１行ずつずれながら水平方向に走査されて、最終行の画素「（Ｈ−１）Ｗ」…画素「Ｈ×Ｗ−１」で実施される。こうして１フレーム分の画像信号（映像信号）は出力される。その後、再び電荷の転送は０行０列の画素「０」に戻る。こうしたローリングシャッター方式は、グローバルシャッター方式に比べて、露光後の電荷を保持するバッファといった記憶回路を必要としないことから、安価に製造されることができる。
【００１８】
個々の画素１４では、制御部２１からのリセット信号により蓄積された電荷がゼロとなり、その後、一定期間電荷の蓄積（露光）が行われ、最終的に電荷は転送される。あるフレームでの画素へのリセット信号の入力から次のフレームでの画素の電荷の転送の開始までが露光時間となる。リセット信号の入力から個々の画素に入光した光子の数に応じた電荷は蓄積される。
【００１９】
撮像装置１１は、撮像素子１２に接続されるゲインアンプ１５を備える。ゲインアンプ１５は撮像素子１２から映像信号を受信する。ゲインアンプ１５は、制御部２１から供給されるゲインパラメータに応じて映像信号を増幅する。撮像素子１２およびゲインアンプ１５は例えばＣＭＯＳ（相補型金属酸化膜半導体）センサとして構成されればよい。その他、ＣＭＯＳ画像センサに代えてＣＣＤ（電荷結合素子）センサその他の画像センサが用いられてもよい。
【００２０】
撮像装置１１は、撮像素子１２に接続されるクロック供給部１６を備える。クロック供給部１６は、制御部２１から供給される制御信号で特定される周波数で撮像素子１２にクロック信号を供給する。クロック供給部１６は例えば水晶振動子に組み合わせられた分周回路あるいは逓倍回路で構成されることができる。クロック供給部１６から供給されるクロック信号を基に撮像素子１２上の画素１４の露光開始、露光終了およびリセットのタイミングが決定される。その他、クロック供給部１６は例えば電圧制御水晶発振器（ＶＣＸＯ）で構成されてもよい。その場合には、クロック供給部１１には制御信号として電圧が印加される。クロック供給部１６は、電圧の大きさに応じて設定される周波数のクロック信号を出力する。
【００２１】
撮像装置１１は、ゲインアンプ１５に接続されるイメージシグナルプロセッサ１７を備える。イメージシグナルプロセッサ１７はゲインアンプ１５から映像信号を受信する。イメージシグナルプロセッサ１７は、受信した映像信号にガンマ補正処理その他の画像処理を施して出力する。撮像装置１１ではイメージシグナルプロセッサ１７に表示装置１３や記録装置が接続されることができる。例えば表示装置１３の画面にはイメージシグナルプロセッサ１７から出力された映像信号に基づき映像が表示される。
【００２２】
撮像装置１１は、イメージシグナルプロセッサ１７に接続される移動検出部１９と、その後段に接続される高さ検出部２０を備える。高さ検出部２０は移動体検出部１９から被写体の形状と移動ベクトルをデータとして受信し、その被写体の撮像素子１２上における最上位置と最下位置との垂直方向の差を算出することで高さの検出を行う。移動検出部１９は、イメージシグナルプロセッサ１７から映像信号を受信する。移動検出部１９は、撮像素子１２で撮像される画像内で被写体の像の移動を検出する。検出にあたって移動検出部１９は前後２つのフレームの画像を比較する。２つのフレームは時間的に連続するフレームであればよい。フレームの画像は一時的にメモリといった記憶装置に記憶されればよい。メモリは例えば移動検出部１９を構成するマイクロプロセッサユニットに内蔵されればよい。移動検出部１９は移動ベクトルに基づき垂直方向の移動速度および水平方向の移動速度を検出する。
【００２３】
移動検出部１９の移動ベクトルおよびその後段に接続される高さ検出部２０の高さの検出にあたって、例えば画像内で複数の特徴点を検出する。一般に、特徴点は、横方向の輪郭および縦方向の輪郭の両方が存在する点のことである。つまり、物体の角である。移動検出部１９は、特徴点の周囲の画像を、前回のフレームの画像と照らし合わせて、類似している箇所を探索する。類似している箇所が現フレームと前フレームで同じであれば、この特徴点は移動していないとみなされる。類似している箇所が異なれば、この特徴点は前のフレームの場所から移動したとみなされる。こうして、移動する像の移動ベクトルは特定される。移動ベクトルの長さは速度Ｅ［ｐｉｘｅｌ／１フレームの時間］とみなされる。高さ検出部２０は特徴点の最上位置と最下位置とに基づき、移動する像の高さＦ［ｐｉｘｅｌ］を特定する。ここで、この特徴点と同じ方向に同程度の速度で移動する特徴点がこの付近に複数あるとき、それらをすべて含む矩形が「移動する像」とみなされる。また、移動ベクトルおよび高さは第２周波数を決定する際に用いられるものであって、精度が高くなくとも画像そのものが崩れるようなことはない。
【００２４】
撮像装置１１は、クロック供給部１６およびゲインアンプ１５に接続される制御部２１を備える。制御部２１は、クロック供給部１６に、クロック信号の周波数を指定する制御信号を送信する。制御信号では、例えば、第１周波数と、第１周波数よりも高い第２周波数と、第１周波数よりも低い第３周波数とが指定される。制御部２１は、第１周波数のクロック数で画素数に応じて１フレーム時間を規定する。速度Ｅが大きいほど、また高さＦが高い程、第２周波数を高く指定することにより像の歪みは軽減される。制御部２１は、撮像素子１２で撮像される画像内で移動する被写体の像を含むライン上の画素について制御信号で第１周波数よりも高い第２周波数を指定するとともに、画像内で移動する被写体の像を含むライン以外のライン上の画素について制御信号で第１周波数よりも低い第３周波数を指定して第２周波数および第３周波数で１フレーム時間を構成する。制御部２１は、１フレーム分の電荷の転送完了後に１フレーム時間内に無信号期間（ブランキング期間）を設定する。
【００２５】
制御部２１は、第１周波数から第１周波数より高い所定の第２周波数への切り替えた後に、当該第２周波数を所定の時定数で前述の所定の第２周波数から上昇させてもよい。クロック信号の周波数は徐々に変化する。これにより露光時間の短縮は緩和され画面が急激に暗くなる現象は軽減される。この原理について詳述する。第１周波数から第２周波数への切り替えに伴う露光時間について図５に示す。画面上端にある最初の画素の最大の露光時間Ｔ１はその画素の電荷を転送してから、次のフレームの同画素の転送開始までの時間となる。以下同様に像の上部分の露光時間Ｔ２、像の下部分の最大の露光時間Ｔ３、画面下端にある最後の画素の露光時間Ｔ４を定義している。０フレーム目は第１周波数で動作しており、１フレーム目は第２周波数で動作する。第２周波数は第１周波数より周波数が高いため、上記で規定したＴ１と比較し、Ｔ２、Ｔ３、Ｔ４は短くなりＴ１＞Ｔ２＞Ｔ３＞Ｔ４となる。すなわち画像の下に向かって露光時間が短くなり、画像が急激に暗くなる。Ｔ１とＴ２、Ｔ３、Ｔ４の差が大きい程この現象は顕著となる。そこで、第２周波数を除々に（所定の時定数で）上昇させることでＴ１とＴ２、Ｔ３、Ｔ４の差を抑制することが可能となり、画面が急激に暗くなる現象が軽減される。
【００２６】
上記動作に代えて、画像信号の増幅により画像が急激に暗くなる現象を回避させてもよい。制御部２１は、ゲインアンプ１５に、増幅率を特定するパラメータ信号を送信する。増幅率を設定するパラメータ信号の値は、制御部２１が撮像素子１２を制御する際に送信している各画素１４の露光時間に反比例して制御部２１で算出されればよい。
【００２７】
図２は画像内に像Ａが存在する状態を表したものである。この画像はローリングシャッター方式で動作する撮像素子１２で撮像されたものである。フレームレートをＲ［ｆｒａｍｅ／ｓｅｃ］、画像の縦方向の画素数をＨ［ｐｉｘｅｌ］、像Ａの高さをＦ［ｐｉｘｅｌ］としている。像Ａの高さＦ［ｐｉｘｅｌ］は高さ検出部２０において前述の方法で算出される。また、このとき最上のラインと最下のラインとの転送の時間差はＦ／（Ｒ×Ｈ）秒となる。また移動検出部１９において前述の方法で算出される被写体の像の速度をＫ［ｐｉｘｅｌ／ｓｅｃ］とすると、像の最上と最下とではずれ量Ｇ＝時間差（Ｆ／（Ｒ×Ｈ））×速度Ｋ＝Ｆ×Ｋ／（Ｒ×Ｈ）［ｐｉｘｅｌ］が生じる。ずれ量Ｇが像Ａの歪みとなる。歪みの抑制にあたって制御部２１は第１周波数に代えて第２周波数を設定する制御信号をクロック供給部１６に送信する。こうして第２周波数に変更される。図３に示されるように、制御部２１で設定される倍率Ｌに応じてクロック信号は第１周波数から第２周波数に高められる。その結果、ずらすタイミングは画素１４と画素１４との間で１／Ｌ倍で短縮される。こうして画素１４の間で露光の時刻の差が縮小されるので、移動する被写体の像の歪みは軽減される。
【００２８】
また、第１周波数から第２周波数に変更した後、ずれ量Ｇの大きさに応じて第２周波数の値を変更させてもよい。具体的にはずれ量Ｇに比例した値とする。変更にあたっては前述の通り制御部２１がクロック供給部１６に変更に応じた制御信号を送信すればよい。ずれ量Ｇは前述の通り被写体の像の高さＦ、および速度Ｋに比例するため、被写体の像の高さＦが高くなる程、また速度Ｋが大きくなる程、第２周波数は高く変更され、また逆に高さＦ、速度Ｋが小さくなれば、第２周波数は低く変更される。これにより、いかなる被写体の像であっても常に歪みが軽減されることができる。
【００２９】
このとき、１フレームを構成する全ての画素１４の転送時間は１／Ｒ×１／Ｌ秒に短縮される。制御部２１は、画像内で移動する被写体の像を含むライン上の画素について第２周波数に代えて第３周波数を設定する制御信号をクロック供給部１６に送信する。こうして第１周波数、第２周波数および第３周波数で１フレームは構成される。このように不要な区間でクロック周波数を通常よりも下げることができ、ブランキング期間も発生しないので、電力消費の増大を最小限に抑えながら、移動する被写体の像の位置ずれを違和感ない程度に軽減できる。図４に示されるように、画像内で全ての画素ラインに、移動する被写体の像が含まれる場合には、制御部２１は、１フレーム分の電荷の転送完了後に１フレーム時間内にブランキングを設定する。ブランキング期間にも画素１４は電荷を蓄積する（露光を行う）ことができるため、第１周波数と同等に露光時間は確保される。単純にフレームレートが第２周波数に設定される場合に比べて感度の低下は回避されることができる。個々の被写体の像の移動速度や高さに合わせて周波数の倍率Ｌは設定されることができるので、画像全体で一様に高い周波数が設定される場合に比べて、電力消費の増大は抑制されることができる。
【００３０】
本実施形態では、撮像素子１２は、画像内で移動する被写体が検出されなければ、第１周波数のクロック信号に同期して画素ごとに電荷を順次転送し、１フレームを形成する。画像内で移動する被写体の像が検出されると、撮像素子１２は、移動する被写体の像を含むライン上の画素について第２周波数のクロック信号に同期して画素ごとに電荷を順次転送し、移動する被写体の像を含む画素ライン以外のライン上の画素について、第３周波数のクロック信号に同期して画素ごとに電荷を順次転送し、１フレームを形成する。移動する被写体の像を含むライン上の画素について、第１周波数よりも高い第２周波数に基づき電荷の転送は実施されるので、撮像素子で撮像される画像内で（水平方向および垂直方向を含む）どの方向に被写体の像が移動しても、常に第１周波数で動作する場合と比較し、画素の間で露光の時間差が縮小され、移動する被写体の像の歪みは軽減される。
【符号の説明】
【００３１】
１１…撮像装置、１２…撮像素子、１４…画素、１６…クロック供給部、１９…移動検出部、２０…高さ検出部、２１…制御部。
【図１】
2018164234.tif 000003
【図２】
2018164234.tif 000004
【図３】
2018164234.tif 000005
【図４】
2018164234.tif 000006
【図５】
2018164234.tif 000007