(57)【要約】【課題】ユーザーにパラパラ感を感じさせず、オプティカルフローを高精度で得る。【解決手段】撮像装置は、撮像素子および制御手段を備える。制御手段は、第１および第２の撮影周期中にそれぞれｎ回の信号電荷転送を行って第１および第２の画像信号を生成する第１および第２の画像信号生成手段と、第１および第２の画像信号に対し、各画素部の輝度値が平均化された第３および第４の画像信号を生成する第１および第２の平均化手段と、第１および第２の画像信号を比較して複数のオプティカルフロー候補を算出するオプティカルフロー候補算出手段と、第３および第４の画像信号を比較して概略オプティカルフローを算出する概略オプティカルフロー算出手段と、複数のオプティカルフロー候補のうち概略オプティカルフローに最も近い１つのオプティカルフロー候補を最終的なオプティカルフローとして推定するオプティカルフロー推定手段と、を備える。【選択図】図１０
2019149701.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素部を有し、かつ各画素部が光電変換部および信号保持部を含む撮像素子と、
前記撮像素子を制御する制御手段と、を備え、
前記制御手段は、
第１の撮影周期中に、前記光電変換部から前記信号保持部へのｎ回の信号電荷転送（ｎは２以上の自然数）により前記信号保持部に蓄積された信号電荷に基づき、第１の画像信号を生成する第１の画像信号生成手段と、
第２の撮影周期中に、前記光電変換部から前記信号保持部へのｎ回の信号電荷転送により前記信号保持部に蓄積された信号電荷に基づき、第２の画像信号を生成する第２の画像信号生成手段と、
前記生成された第１の画像信号に対し、各画素部の輝度値をそれに隣接する所定の数の他の画素部の輝度値との平均をとることにより第３の画像信号を生成する第１の平均化手段と、
前記生成された第２の画像信号に対し、各画素部の輝度値をそれに隣接する所定の数の他の画素部の輝度値との平均をとることにより第４の画像信号を生成する第２の平均化手段と、
前記第１および第２の画像信号を比較することにより、前記第１および第２の撮影周期間に被写体が移動する方向および量を示すベクトルである複数のオプティカルフロー候補を算出するオプティカルフロー候補算出手段と、
前記第３および第４の画像信号を比較することにより、前記第１および第２の撮影周期間に前記被写体が移動する概ねの方向および量を示すベクトルである概略オプティカルフローを算出する概略オプティカルフロー算出手段と、
前記複数のオプティカルフロー候補のうち前記概略オプティカルフローに最も近い１つのオプティカルフロー候補を最終的なオプティカルフローとして推定するオプティカルフロー推定手段と、
を備える撮像装置。
【請求項２】
複数の画素部を有し、かつ各画素部が光電変換部および信号保持部を含む撮像素子と、
前記撮像素子を制御する制御手段と、を備え、
前記制御手段は、
第１の撮影周期中に、前記光電変換部から前記信号保持部へのｎ回の信号電荷転送（ｎは２以上の自然数）により前記信号保持部に蓄積された信号電荷に基づき、第１の画像信号を生成する第１の画像信号生成手段と、
第２の撮影周期中に、前記光電変換部から前記信号保持部へのｎ回の信号電荷転送により前記信号保持部に蓄積された信号電荷に基づき、第２の画像信号を生成する第２の画像信号生成手段と、
前記第１および第２の画像信号を比較することにより、前記第１および第２の撮影周期間に被写体が移動する方向および量を示すベクトルである最終的なオプティカルフローを推定するオプティカルフロー推定手段と、を備え、
前記第１および第２の撮影周期の各々において、前記ｎ回の信号電荷転送は、それらを開始するｎの転送タイミングの時間間隔が互いに異なるように実行される、
撮像装置。
【請求項３】
前記制御手段は、前記第１および第２の撮影周期の各々において、前記ｎ回の信号電荷転送を開始するｎの転送タイミングの時間間隔がそれぞれ１／１２０秒以下になるようにｎの値を増減させる、請求項１または２に記載の撮像装置。
【請求項４】
前記制御手段は、前記被写体が動体か否かを判定する動体判定手段をさらに備え、かつ前記動体判定手段により前記被写体が動体と判定されたとき、前記最終的なオプティカルフローを推定する、請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記被写体の速度または手ぶれ速度を判定する速度判定手段をさらに備え、かつ前記速度判定手段により前記被写体の速度または前記手ぶれ速度が所定値以上と判定されたとき、前記最終的なオプティカルフローを推定する、請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記制御手段は、所定の指示を受けたか否かを判定する指示判定手段をさらに備え、かつ前記指示判定手段により前記所定の指示を受けたと判定されたとき、前記最終的なオプティカルフローを推定する、請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記制御手段は、前記第１または第２の撮影周期において、前記ｎ回の信号電荷転送を開始するｎの転送タイミングの時間間隔が、少なくとも前記第１または第２の撮影周期の半分以下になるように、その時間間隔およびｎの値を制御する、請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
前記制御手段は、前記被写体の速度または手ぶれ速度を判定する速度判定手段をさらに備え、かつ前記速度判定手段により検出される前記被写体の速度または前記手ぶれ速度が大きくなるに従い、ｎの値を多くし、または前記ｎ回の信号電荷転送を開始するｎの転送タイミングの時間間隔を短くする、請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記第１の画像信号は、前記第１の撮影周期中に、ｎ回の第１の露光を行い、各第１の露光により前記光電変換部で発生した信号電荷を前記信号保持部に転送することにより生成され、
前記第２の画像信号は、前記第２の撮影周期中に、ｎ回の第２の露光を行い、各第２の露光により前記光電変換部で発生した信号電荷を前記信号保持部に転送することにより生成される、
請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記第１および第２の撮影周期の各々において、前記ｎ回の信号電荷転送は、それらを開始するｎの転送タイミングの時間間隔が互いに等しくなるように実行される、
請求項１、３から９のいずれか１項に記載の撮像装置。
【請求項１１】
複数の画素部を有し、かつ各画素部が光電変換部および信号保持部を含む撮像素子と、前記撮像素子を制御する制御手段と、を備える撮像装置の制御方法であって、
第１の撮影周期中に、前記光電変換部から前記信号保持部へのｎ回の信号電荷転送（ｎは２以上の自然数）により前記信号保持部に蓄積された信号電荷に基づき、第１の画像信号を生成し、
第２の撮影周期中に、前記光電変換部から前記信号保持部へのｎ回の信号電荷転送により前記信号保持部に蓄積された信号電荷に基づき、第２の画像信号を生成し、
前記生成された第１の画像信号に対し、各画素部の輝度値をそれに隣接する所定の数の他の画素部の輝度値との平均をとることにより第３の画像信号を生成し、
前記生成された第２の画像信号に対し、各画素部の輝度値をそれに隣接する所定の数の他の画素部の輝度値との平均をとることにより第４の画像信号を生成し、
前記第１および第２の画像信号を比較することにより、前記第１および第２の撮影周期間に被写体が移動する方向および量を示すベクトルである複数のオプティカルフロー候補を算出し、
前記第３および第４の画像信号を比較することにより、前記第１および第２の撮影周期間に前記被写体が移動する概ねの方向および量を示すベクトルである概略オプティカルフローを算出し、
前記複数のオプティカルフロー候補のうち前記概略オプティカルフローに最も近い１つのオプティカルフロー候補を最終的なオプティカルフローとして推定する、
制御方法。
【請求項１２】
複数の画素部を有し、かつ各画素部が光電変換部および信号保持部を含む撮像素子と、前記撮像素子を制御する制御手段と、を備える撮像装置の制御方法であって、
第１の撮影周期中に、前記光電変換部から前記信号保持部へのｎ回の信号電荷転送（ｎは２以上の自然数）により前記信号保持部に蓄積された信号電荷に基づき、第１の画像信号を生成し、
第２の撮影周期中に、前記光電変換部から前記信号保持部へのｎ回の信号電荷転送により前記信号保持部に蓄積された信号電荷に基づき、第２の画像信号を生成し、
前記第１および第２の画像信号を比較することにより、前記第１および第２の撮影周期間に被写体が移動する方向および量を示すベクトルである最終的なオプティカルフローを推定する、
但し、前記第１および第２の撮影周期の各々において、前記ｎ回の信号電荷転送は、それらを開始するｎの転送タイミングの時間間隔が互いに異なるように実行される、
制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子からの信号に基づき、オプティカルフローを算出する機能を有する撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
近年、撮像素子の高機能化が進展しており、画素数、フレームレートの向上などが図られている。この信号を利用して複数の画像間で対象物の動きを示すベクトルデータ（オプティカルフロー）を求める方法が知られている。オプティカルフローは、例えば、動画撮影における、手振れの量・方向を示す指標となり、大きめに撮影した画像からの画像切り出しによる電子防振においての切り出し量・方向の算出などに用いられる。また、動く被写体の移動方向・速度を推定する指標となり、オートフォーカスの追従等にも利用される。
【０００３】
オプティカルフローの取得は、動画における前後コマの画像間における対象物の移動量・方向を、画像同士の比較を行うことによって算出し、取得される。このとき、被写体や手振れの動きが速く、１コマの露光時間中に対象物が大きく移動してしまうと、露光の結果得られる対象物の画像が移動方向にぼやけてしまう。ぼやけた対象物の画像同士を比較すると、対象物の画像の輪郭が明確でないため、位置の比較が正確にできずに、画像間の対象物の移動量、移動方向であるオプティカルフローを精密に求めることができない問題がある。
【０００４】
特許文献１の撮像装置は、上記問題に対し、撮影対象物の速度に応じて動画撮影時における１フレームあたりのシャッター速度を速く、露光時間を短くすることで、対象物の輪郭が先鋭に写った画像を得ることを提案する。特許文献２の撮像装置は、光電変換部により変換された電荷を蓄積部に複数回転送し、複数回転送された電荷をまとめて蓄積することで、露光時間、露光量などの条件を高速かつ自在に変化させることを提案する。また、これを応用して、１フレーム期間において、短い蓄積期間を１フレーム期間に均等に分散させ、複数回転送された電荷をまとめて蓄積することで動画を得ることも可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２０６５２２号公報
【特許文献２】特開２０１０−１５７８９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の撮像装置は、動画撮影中の１コマにおけるシャッター速度を速く、露光時間を短くすることで、動きの速い対象物においても先鋭な画像を得ることができる。しかし、動画撮影においてシャッター速度を速くすることには、次のような欠点がある。一般に、再生された動画に一種のコマ送り的なパラパラ感があると、品位が大きく失われてしまうことが知られている。こういったパラパラ感が出ないようにするためには、一連の撮影において1フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒や１／６０秒といった比較的長い露光時間が適切となる。つまり、動画撮影時にシャッター速度を速くし、１フレーム内の露光時間を減らすことで先鋭な画像を得る行為は、上記1フレーム期間に近い比較的長い露光時間を設定することに反し、パラパラ感が出やすい動画となる問題がある。
【０００７】
また、特許文献２の撮像装置は、１フレーム期間に複数回、短時間の露光・蓄積部への伝送を繰り返して行うことで、光量を抑えつつも比較的長い露光時間の撮影が可能である。また、それにより得られる画像も、複数回露光・蓄積部への伝送により重なりあった画像であるため、特許文献１の撮像装置に比して、動画で見た場合のパラパラ感が少ないものとなる。しかし、特許文献２の撮像装置は、オプティカルフローを得ることを想定していないため、それを精密に得るのに適した複数回分割蓄積方法となっていない。また、特許文献２の撮像装置でオプティカルフローを取得しようとすると、コマ間で画像同士の比較を行う際、これら画像の輪郭は互いに重なり合うことになる。このため、コマ間において共通する輪郭をその中から正確に選びだすことが困難であり、精密な検出ができない問題がある。
【０００８】
本発明は、ユーザーにパラパラ感を感じさせず、かつオプティカルフローを高精度で得ることが可能な撮像装置およびその制御方法を提供する。
【課題を解決するための手段】
【０００９】
本発明の例によれば、撮像装置は、複数の画素部を有し、かつ各画素部が光電変換部および信号保持部を含む撮像素子と、前記撮像素子を制御する制御手段と、を備える。前記制御手段は、第１の撮影周期中に、前記光電変換部から前記信号保持部へのｎ回の信号電荷転送（ｎは２以上の自然数）により前記信号保持部に蓄積された信号電荷に基づき、第１の画像信号を生成する第１の画像信号生成手段と、第２の撮影周期中に、前記光電変換部から前記信号保持部へのｎ回の信号電荷転送により前記信号保持部に蓄積された信号電荷に基づき、第２の画像信号を生成する第２の画像信号生成手段と、前記生成された第１の画像信号に対し、各画素部の輝度値をそれに隣接する所定の数の他の画素部の輝度値との平均をとることにより第３の画像信号を生成する第１の平均化手段と、前記生成された第２の画像信号に対し、各画素部の輝度値をそれに隣接する所定の数の他の画素部の輝度値との平均をとることにより第４の画像信号を生成する第２の平均化手段と、前記第１および第２の画像信号を比較することにより、前記第１および第２の撮影周期間に被写体が移動する方向および量を示すベクトルである複数のオプティカルフロー候補を算出するオプティカルフロー候補算出手段と、前記第３および第４の画像信号を比較することにより、前記第１および第２の撮影周期間に前記被写体が移動する概ねの方向および量を示すベクトルである概略オプティカルフローを算出する概略オプティカルフロー算出手段と、前記複数のオプティカルフロー候補のうち前記概略オプティカルフローに最も近い１つのオプティカルフロー候補を最終的なオプティカルフローとして推定するオプティカルフロー推定手段と、を備える。
【発明の効果】
【００１０】
本発明の例によれば、ユーザーにパラパラ感を感じさせず、かつオプティカルフローを高精度で得ることが可能な撮像装置及びその制御方法を提供できる。
【図面の簡単な説明】
【００１１】
【図１】デジタルスチルモーションカメラの外観図である。
【図２】撮像装置の実施例を示すブロック図である。
【図３】撮像素子の回路例を示す回路図である。
【図４】撮像素子の駆動シーケンスの例を示すタイミングチャートである。
【図５】オプティカルフロー取得手法の例を示す説明図である。
【図６】第１の比較例における撮像画像を示す図である。
【図７】第２の比較例における撮像画像を示す図である。
【図８】実施例における撮像画像を示す図である。
【図９】実施例におけるローパスフィルタ印加後の画像を示す図である。
【図１０】実施例におけるオプティカルフロー推定フローを示すフローチャートである。
【図１１】実施例における露光を不均一なタイミングで行う場合のタイミングチャートである。
【図１２】実施例における露光を不均一なタイミングで行う場合の撮像例を示す図である。
【発明を実施するための形態】
【００１２】
以下、映像処理装置に撮像のための撮影光学系等を加えた撮像装置を本発明の好適な実施の形態として以下に説明する。
【００１３】
＜撮像装置＞
図１（Ａ）および図１（Ｂ）は、本発明の実施の形態における撮像装置としてのデジタルスチルモーションカメラの外観図である。図１（Ａ）は、撮像装置の正面図であり、図１（Ｂ）は、撮像装置の背面図である。これらの図において、１５１は、内部に撮像素子やシャッター装置を収納した撮像装置本体である。１５２は、内部に絞りを有した撮影光学系である。１５３は、撮影情報や映像を表示するための可動式表示部である。１５４は、主に静止画の撮影を行うために使用するスイッチＳＴである。１５５は、動画撮影を開始および停止するための釦であるスイッチＭＶである。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有する。１５６は、撮影モードを選択するための撮影モード選択レバーである。１５７は、撮像装置の機能設定を行う機能設定モードへ移行するためのメニュー釦である。１５８および１５９は、各種の設定値を変更するためのアップダウンスイッチである。１６０は、各種の設定値を変更するためのダイアルである。１６１は、撮像装置本体内に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するための再生ボタンである。
【００１４】
図２は、本発明の撮像装置の概略構成を示すブロック図である。同図において、１８４は、撮影光学系１５２を介して結像された被写体の光学像を電気的な映像信号に変換する撮像素子である。１５２は、被写体の光学像を撮像素子１８４に結像させる撮影光学系である。１８０は、撮影光学系１５２の光軸である。１８１は、撮影光学系１５２を通る光の量を調節するための絞りである。絞り１８１は、絞り制御部１８２により制御される。１８３は、撮像素子１８４に入射する光の波長、および、撮像素子１８４に伝達する空間周波数を制限する光学フィルターである。撮像素子１８４は、Ultra High Definition Televisionの規格を満たすに十分な画素数、信号読み出し速度、色域、およびダイナミックレンジを有する。
【００１５】
１８７は、撮像素子１８４より出力されたデジタル映像データに各種の補正を行った後に、映像データを圧縮するデジタル信号処理部である。１８９は、撮像素子１８４およびデジタル信号処理部１８７に各種タイミング信号を出力するタイミング発生部である。１７８は、各種演算とデジタルスチルモーションカメラ全体を制御するシステム制御ＣＰＵである。タイミング発生部１８９およびシステム制御ＣＰＵ１７８は、特許請求の範囲における「制御手段」に対応する。
【００１６】
１９０は、映像データを一時的に記憶するための映像メモリである。１９１は、撮影された映像を表示するための表示インターフェース部である。１５３は、液晶ディスプレイ等の表示部である。１９３は、映像データや付加データ等を記録するための半導体メモリ等の着脱可能な記録媒体である。１９２は、記録媒体１９３に記録または読み出しを行うための記録インターフェース部である。１９６は、外部コンピュータ１９７等と通信するための外部インターフェース部である。１９５は、小型インクジェットプリンタ等のプリンタである。１９４は、撮影された映像をプリンタ１９５に出力し印刷するためのプリントインターフェース部である。１９９は、インターネットなどのコンピュータネットワークである。１９８は、ネットワーク１９９と通信するための無線インターフェース部である。１７９は、スイッチＳＴ１５４、スイッチＭＶ１５５、および各種モードの切り替えを行う複数のスイッチを含むスイッチ入力手段である。
【００１７】
図３は、図２の撮像素子１８４の一部を示す回路図である。同図は、図２の撮像素子１８４が有する行列状の多数の画素のうち、１行１列目（１，１）の画素部３００と、任意のｍ行１列目（ｍ，１）の画素部３０１と、を示す。画素部３００および画素部３０１の構成は同じなので、これら画素部３００，３０１の構成要素は、同じ番号で付番する。なお、信号保持部を有する撮像素子１８４の基本構造は、例えば、特許文献２に開示されるので、ここでの説明は省略する。
【００１８】
＜撮像素子構成と画像信号生成過程の説明＞
図３の回路図において、１つの画素部３００は、フォトダイオード５００と、第１の転送トランジスタ５０１Ａと、信号保持部５０７Ａと、第２の転送トランジスタ５０２Ａと、を有する。フォトダイオード５００および信号保持部５０７Ａは、それぞれ特許請求の範囲における「光電変換部」および「信号保持部」に対応する。さらに、１つの画素部３００は、第３の転送トランジスタ５０３と、フローティングディフュージョン領域５０８と、リセットトランジスタ５０４と、増幅トランジスタ５０５と、選択トランジスタ５０６と、を有する。上記構成を有する複数の画素部を２次元的に配列した撮像素子１８４は、特許請求の範囲における「撮像素子」に対応する。
【００１９】
また、第１の転送トランジスタ５０１Ａは、転送パルスφTX1Aにて制御され、第２の転送トランジスタ５０２Ａは、転送パルスφTX2Aにて制御される。また、リセットトランジスタ５０４は、リセットパルスφRESで制御され、選択トランジスタ５０６は、選択パルスφSELで制御される。さらに、第３の転送トランジスタ５０３は、転送パルスφTX3にて制御される。ここで、各制御パルスは、不図示の垂直走査回路から送出される。さらに、５２０および５２１は、電源線であり、５２３は、信号出力線である。
【００２０】
以下、図４を用いて撮像素子の動作の詳細を説明する。
図４は、図２の撮像素子１８４の駆動シーケンスを示すタイミングチャートである。同図は、３０ｆｐｓの条件で動画撮影を行うことを想定し、１撮影周期である１／３０秒の間に１／４８０秒の蓄積を４回加算することにより、画像信号を得る場合に対応する。
なお、本実施例の撮像素子１８４は、垂直方向に多数行の画素列があり、図４は、第１行のタイミングを示す。そして、これらの制御が水平同期信号により垂直方向に走査されることで、撮像素子１８４の全画素の蓄積動作が行われる。
【００２１】
図４において、垂直同期信号φVの立ち上がり時刻ｔ１およびｔ６は、撮影周期が始まる垂直同期時刻であり、ｔ１からｔ６までの時間である１／３０秒が特許請求の範囲における「第１の撮影周期」または「第２の撮影周期」に対応する。また、撮影条件として、動画は、１／３０秒の周期中に、４回の露光、すなわち、１／４８０秒の電荷（信号）の蓄積を行い、これら４回分の電荷を加算することにより、１／１２０秒の露光１回分と等価な露光量により得られるものとする。
【００２２】
まず、時刻ｔ１において、タイミング発生部１８９にて垂直同期信号φVがハイレベルになり、同時に水平同期信号φHがハイレベルになる。垂直同期信号φVおよび水平同期信号φHがハイレベルになる時刻ｔ１に同期して、第１行のリセットパルスφRES(1)がローレベルとなる。すると、第１行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第１行の選択パルスφSEL(1)がハイレベルとなると第１行の選択トランジスタ５０６がオンとなって、第１行の画像信号の読み出しが可能となる。さらに、フローティングディフュージョン領域５０８の電位の変化に応じた出力が増幅トランジスタ５０５および選択トランジスタ５０６を介して信号出力線５２３に読み出される。信号出力線５２３に読み出された信号は、不図示の読み出し回路に供給されて第１行の画像信号（動画）として外部に出力される。
【００２３】
次に、時刻ｔ２において、第１行の転送パルスφTX2(1)がハイレベルとなると、第１行の第２の転送トランジスタ５０２Ａがオンとなる。このとき既に全行のリセットパルスφRES(1)がハイレベルになり、リセットトランジスタ５０４がオンになっているため、第１行のフローティングディフュージョン領域５０８および第１の信号保持部５０７Ａがリセットされる。なお、時刻ｔ２において第１行の選択パルスφSEL(1)は、ローレベルになっている。
【００２４】
次に、時刻ｔ３において、第１行の転送パルスφTX3(1)がローレベルとなる。すると、第３の転送トランジスタ５０３がオフとなり、第１行のフォトダイオード５００のリセットが解除されてフォトダイオード５００での動画用としての信号電荷の蓄積が開始される。また、時刻ｔ４において、第１行の転送パルスφTX1(1)がハイレベルとなる。すると、第１の転送トランジスタ５０１Ａがオンとなり、フォトダイオード５００に蓄積された信号電荷は、第１行の動画の電荷を保持する信号保持部５０７Ａに転送される。さらに、時刻ｔ５において、第１行の転送パルスφTX1(1)がローレベルとなる。すると、第３の転送トランジスタ５０１Ａがオフとなり、フォトダイオード５００に蓄積された信号電荷の信号保持部５０７Ａへの転送が終了する。
【００２５】
ここで、時刻ｔ３から時刻ｔ５までが、撮影周期における動画の１回の蓄積時間１／４８０秒に相当し、右上がり斜線部領域の蓄積時間６０２−１として図示される。すなわち、このような蓄積動作を離散的に４回行うと、右上がり斜線部領域の４つの蓄積時間６０２−１，６０２−２，６０２−３，６０２−４として図示される。そして、これら４つの蓄積時間６０２−１，６０２−２，６０２−３，６０２−４により得られる信号電荷を加算することで、通常の１回分の蓄積時間（１／４８０秒×４回＝１／１２０秒）で得られる信号電荷と同等の信号量を得る。なお、最初の蓄積時間６０２−１に続く３つの蓄積時間６０２−２，６０２−３，６０２−４における制御動作は、最初の蓄積時間６０２−１と同様であるため、ここでの説明を省略する。
【００２６】
次に、時刻ｔ６において、タイミング発生部１８９にて垂直同期信号φVがハイレベルになり、同時に水平同期信号φHがハイレベルになり、次の撮影周期が開始される。そして、４つの蓄積時間６０２−１，６０２−２，６０２−３，６０２−４により蓄積および加算された動画の信号電荷は、時刻ｔ６以降に画像信号（動画）として外部に出力される。なお、第２行目のタイミングチャートは、時刻ｔ１直後の水平同期振動φHに同期して実行される。すなわち、時刻ｔ１から時刻ｔ６までの間に全行のタイミングチャートが開始される。例えば、時刻ｔ０のときの水平同期信号φHによって開始されるタイミングチャートを第ｍ行とする。この場合、スイッチ信号は、φSEL(m)、φRES(m)、φTX3(m)、φTX1A(m)、φTX1B(m)、φTX2A(m)、φTX2B(m)と表せる。
【００２７】
以上のようなタイミングチャートにより、動画は、１／３０秒の撮影周期中に１／４８０秒の露光による信号電荷の蓄積を４回繰り返すことにより、１／１２０秒の露光１回分と等価な露光量として得ることができる。なお、上記１撮影周期中に複数回の露光・蓄積を行って画像信号を得る動作は、特許請求の範囲における「第１または第２の撮影周期中に光電変換部から信号保持部へのｎ回の信号電荷転送より第１または第２の画像信号を生成する動作」に対応する。ただし、ｎは２以上の自然数である。
【００２８】
このとき得られる動画は、１／３０秒の撮影周期中に略等間隔で設定された短い蓄積時間を加算することによって１つの画像信号を得るように構成されるため、コマ送り的なパラパラ感のない高品位な動画を得ることができる。なお、上記実施例では、通常の露光間隔（ｆｐｓ値）における信号電荷の蓄積加算回数（分割露光回数）は４回であるが、これに限られることはなく、例えば、８回、１６回、３２回、６４回などでもよい。
【００２９】
＜オプティカルフローの取得＞
近年、撮像素子の高機能化が進展しており、画素数、フレームレートの向上などが図られている。この信号を利用して複数の画像間で対象物の動きを示すベクトルデータ（オプティカルフロー）を求める方法が知られている。本実施例では、上記オプティカルフローをスルー画像から取得する構成をとる。図２におけるシステム制御ＣＰＵ１７８は、撮像素子１８４から得られた複数の画像間の比較に基づいてオプティカルフローを生成する。システム制御ＣＰＵ１７８は、特許請求の範囲における「第１および第２の画像信号生成手段、第１および第２の平均化手段、オプティカルフロー候補算出手段、概略オプティカルフロー算出手段、およびオプティカルフロー推定手段」を備える。
【００３０】
図５は、複数の画像比較に基づくブレ検知信号であるオプティカルフローの求め方の例を示す図である。図２におけるシステム制御ＣＰＵ１７８の具体的な動作に対応する。図５は、いわゆるブロックマッチング法に基づくが、他の方法を用いてもよい。図５（Ａ）は、時刻ｔｎで取得された画像を示し、図５（Ｂ）は、時刻ｔｎ後の時刻ｔｎ＋１で取得された画像を示す。また、図５（Ｃ）は、時刻ｔｎで取得された画像と時刻ｔｎ＋１で取得された画像とを重ねて表示し、さらに、検知されたベクトルを模式的に示す。
【００３１】
図５において、６１は、時刻ｔｎで取得された画像であり、６２は、被写体であり、６３は、画像６１中の着目領域である。また、６４は、時刻ｔｎ＋１で取得された画像であり、６５は、着目領域６３と画面内の位置が同一の領域であり、６６は、探索することを模式的に示す矢印であり、６７は、画像６１中の被写体６２の着目領域６３に対応する画像６４中の領域である。さらに、６８は、時刻ｔｎおよび時刻ｔｎ＋１で取得された画像を重ねて表示した画像であり、６９は、画像６１中の着目領域６３で検知された移動ベクトルである。
【００３２】
まず、図５に示すように、異なる時間に取得された２つの画像６１，６４を用意する。そのうち一方の画像６１内で被写体６２が存在する着目領域６３に着目する。着目領域６３の大きさは任意に設定可能であるが、例えば、８×８画素とできる。そして、着目領域６３が画像６４のどこに移動したかを、特徴点の比較などを行うことにより探索する。
【００３３】
具体的には、画像６４中で、着目領域６３に対応する領域６５を中心に、予め定められた範囲内において、矢印６６のように領域６５を少しずつずらしながら画像６４におけるエッジやコーナー等の特徴点を抽出する。さらに、その周囲の領域から特徴量を計算することで２つの画像６１，６４間のマッチングを行う。エッジやコーナー等の特徴点の抽出は、輝度データに対し、水平方向および垂直方向に対する輝度勾配値を計算し、その勾配値が各方向に一定の値以上を有する箇所を抜き出すことにより行う。
【００３４】
結果として、画像６８中で、着目領域６３は、ベクトル６９のように移動したことがわかる。そして、上記の動作を画像６１中に設定された複数の着目領域について行う。この場合、移動ベクトルは、画像６８中で複数検知される。この後、被写体６２に注目してベクトル選択を行う。例えば、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）を用いることにより、推定値を求め、移動ベクトルの評価値を１つ決めることができる。なお、ＲＡＮＳＡＣについては、既知の技術であるため、ここでの詳細な説明を省略する。この時、従来の撮像方式では、比較するコマ間の画像の輪郭が対象物の移動や手振れ等により不鮮明となると、精密なオプティカルフローが求められない問題がある。
【００３５】
＜特徴点抽出によるオプティカルフロー取得の際の問題点＞
以下、被写体が画面水平左方向に通過するシーンを各々の異なる露光方式で撮影した際に得られる画像の模式図を用いて、オプティカルフローの取得の際の問題点を説明する。
図６（Ａ）、図６（Ｂ）、図６（Ｃ）、および図６（Ｄ）は、第１の比較例であり、被写体Ｓ（新幹線を例とする）が画面を水平方向に横切るシーンを、３０ｆｐｓ、１コマ１／３０秒の露光時間で動画撮影した際の例を示す。
【００３６】
図６（Ａ）は、撮影した動画中の１コマを抜き出した図であり、図６（Ｂ）は、図６（Ａ）の１コマ後の１コマを抜き出した図である。これ以降、図６（Ａ）の１コマを第１のコマと称し、図６（Ｂ）の１コマを第２のコマと称する。この時、どちらの図においても、撮像対象物である被写体Ｓが高速で移動するために、露光時間である１／３０秒の間に移動した量だけ、被写体Ｓの輪郭がぼやけてしまっていることがわかる。
【００３７】
ここで、前述の図６（Ａ）および図６（Ｂ）に示す第１のコマと次のコマである第２のコマにおける双方の被写体Ｓの画像の輪郭から特徴量を計算し、両者を比較しようとする場合を考える。一般的に、特徴量の比較の際には、まず、輪郭部（エッジ部）の抽出から行われる。輪郭部（エッジ）の抽出に使われる手法としては、各画素の輝度値Ｉ（ｘ、ｙ）を特定方向に空間微分して、その方向に対する輝度Ｉ（ｘ、ｙ）の勾配値Ｋ（ｘ、ｙ）を求める方法が一般的である。
【００３８】
図６（Ａ）および図６（Ｂ）においては、説明を単純化するために、水平方向（ｘ方向）の空間微分を行う場合を考える。また、図示のラインαの行の画素のみに注目して、輝度を論ずるとする。
この時、ラインα上におけるＸ列目の画素における輝度値をＩ（Ｘ）とすると、勾配値Ｋ（ｘ）は、下記（１）式で示される。
Ｋ（ｘ）  ＝  ｄＩ（Ｘ）/ｄｘ  …（１）
【００３９】
図６（Ｃ）は、図示のラインαの行の画素においてのｘ方向位置（ｘ方向の何列目の画素であるか）と、輝度Ｉ（ｘ）の関係を表すグラフである。
図６（Ｃ）における実線部は、第１のコマでのラインα上における画素の輝度値を示し、一点鎖線部は、第２のコマでのラインα上における画素の輝度値を示す。また、縦軸上の輝度値Ｉａは、被写体Ｓ（新幹線）の車体の輝度値を示し、縦軸上の輝度値Ｉｂは、背景の輝度値を示す。なお、本例では、Ｉａ＞Ｉｂとする。
【００４０】
被写体Ｓがほぼ等速運動をしているとすると、図６（Ａ）および図６（Ｂ）における被写体Ｓが露光中に移動するために輪郭がぼやけている箇所は、図６（Ｃ）の輝度値Ｉ（ｘ）のグラフにおいては対応する箇所が略線形に立ち上がるグラフになる。
【００４１】
図６（Ｄ）は、ラインαの行の画素におけるｘ方向位置と輝度の勾配値Ｋ（ｘ）との関係を表すグラフである。輝度のグラフの場合と同様に、実線部は、第１のコマでのラインα上における画素の輝度の勾配値を示し、一点鎖線部は、第２のコマでのラインα上における画素の輝度の勾配値を示す。
【００４２】
前述の図６（Ａ）および図６（Ｂ）において輪郭がぼやけた部分に関し、図６（Ｃ）の輝度値を参照すると、その輝度値は略一定傾きで立ち上がる直線状になっている。このため、図６（Ｄ）における輝度値の勾配値は、その輪郭がぼやけた部分においてＫ１の値で示す略一定の値を有することになる。ここで、通常、所定値以上の勾配値を有する画素が輪郭（位置）を示す画素として判定されるが、本例のように輪郭がぼやけている場合においては、図６（Ｄ）から明らかなように、勾配値（微分値）が一定値以上の箇所が広範囲にわたってしまう。したがって、第１のコマにおける輪郭位置と第２のコマにおける輪郭位置とを厳密に定めることができず、結果として、被写体Ｓの移動量を精密に求められない問題が出てきてしまう。
【００４３】
図７（Ａ）、図７（Ｂ）、図７（Ｃ）、および図７（Ｄ）は、第２の比較例であり、前述の問題に対し、単純に１コマの露光時間を短くすることで先鋭な輪郭を得る対策を行った場合の例を示す。撮影条件としては、被写体Ｓが画面を水平方向に横切るシーンを、３０ｆｐｓ、１コマ１／３０秒の露光時間で動画撮影した際の例を示す。
【００４４】
図７（Ａ）は、撮影した動画中の１コマを抜き出した図であり、図７（Ｂ）は、図７（Ａ）の１コマ後の１コマを抜き出した図である。図７（Ａ）および図７（Ｂ）からわかるように、各コマ１／３０秒間における開始直後の短い時間（１／４８０秒）のみ露光および転送を行い、信号電荷を蓄積する。したがって、前述の第１の比較例に比して、露光時間の間に被写体Ｓが移動する量が少なく、先鋭な輪郭を有する画像が得られている。
【００４５】
図７（Ｃ）は、ラインα’の行の画素においてのｘ方向位置（ｘ方向の何列目の画素であるか）と輝度Ｉ（ｘ）との関係を表すグラフである。図７（Ｃ）において、実線部は、第１のコマでのラインα’上における画素の輝度値を示し、一点鎖線部は、第２のコマでのラインα’上における画素の輝度値を示す。また、縦軸上の輝度値Ｉａは、被写体Ｓ（新幹線）の車体の輝度値を示し、縦軸上の輝度値Ｉｂは、背景の輝度を示す。なお、本例では、Ｉａ＞Ｉｂとする。
【００４６】
この時、図７（Ａ）および図７（Ｂ）における被写体Ｓの先鋭な輪郭部は、図７（Ｃ）の輝度値Ｉ（ｘ）のグラフにおいて、該当する箇所が急激に立ち上がるグラフになる。
【００４７】
図７（Ｄ）は、ラインα’の行の画素においてのｘ方向位置と輝度の勾配値Ｋ（ｘ）との関係を表すグラフである。輝度のグラフの場合と同様に、実線部は、第１のコマでのラインα’上における画素の輝度の勾配値を示し、一点鎖線部は、第２のコマでのラインα’上における画素の輝度の勾配値を示す。
【００４８】
前述の図７（Ａ）および図７（Ｂ）における先鋭な輪郭の箇所は、図７（Ｃ）の輝度値においては急激な傾きで立ち上がるグラフ形状になる。すなわち、図７（Ｄ）における輝度の勾配値は、該当箇所がごく狭いｘ軸の範囲内において局所的に大きな勾配値（Ｋ２と表記）まで上昇することがわかる。この時、輝度勾配値が一定値以上の箇所がごく狭い範囲であるため、ｘ軸方向の輪郭位置を精密に求めることができる。そのため、オプティカルフローを精密に算出できることとなる。ただし、この方式では、オプティカルフローは精密に求められるが、動画の品位の点で問題が出てくる。
【００４９】
先に述べたように、各コマの最初の短時間（１／４８０秒）のみ露光・転送・蓄積を行うため、それが終わった後の１コマ１／３０秒の残りの時間は画像を取り込まないこととなる。次の画像取り込みを開始するのは第２のコマの開始時点であり、その間にも被写体は進行方向に移動を続けている。図７（Ａ）および図７（Ｂ）に示すように、第２のコマが始まり、露光が開始された際の被写体Ｓの位置は第１のコマにおいて取り込まれた画像での被写体Ｓの位置から大きく移動した位置にいる。その結果、図７（Ｄ）の勾配値のグラフに示されるように、第１のコマの被写体Ｓの輪郭を示すグラフの隆起部から第２のコマの被写体Ｓの輪郭を示す隆起部までに距離が開くこととなる。動画を視聴するユーザーには第１のコマから第２のコマに移った際に、被写体Ｓがこの距離をあたかも瞬間移動したかのように見えることとなり、これが前述のパラパラ感を覚える原因となって動画の品位を落とす。
【００５０】
これに対し、前述の図６の輪郭がぼやけた例においては、図６（Ｄ）の勾配値のグラフにおける第１のコマのぼやけた輪郭を示すグラフの隆起部左端と、第２のコマのぼやけた輪郭を示すグラフの隆起部右端の間にはほぼ距離が開いていない状態にある。この時、動画を視聴するユーザーにとってはコマからコマに移り変わった際に、前後コマの輪郭同士の位置がほぼ連続するため、滑らかにパラパラ感なく移り変わっているように見える。よって、輪郭がぼやけているので、オプティカルフローは精密に算出できないが、動画はパラパラ感のない高品位なものとなる。
【００５１】
以上から、図６の例のように、１コマの撮影周期時間に対し、１／３０秒といったほぼ同等の時間だけ露光すると、移動する対象物の輪郭がぼやけてオプティカルフローは精密に算出できないが、動画は滑らかに移り変わるパラパラ感のない高品位なものとなる。逆に、図７の例のように、１コマの撮影周期時間に対し、ごく短時間の１／４８０秒といった時間だけ露光すると、移動する対象物であっても輪郭が先鋭に得られ、オプティカルフローを精密に算出できる。しかし、動画はパラパラ感の感じられる低品位なものとなってしまうことがわかる。
【００５２】
上記のように、第１および第２の比較例においては、オプティカルフローの精密な算出とパラパラ感のない高品位な動画撮影とは、両立できないものであった。
【００５３】
＜分割露光を用いたオプティカルフロー算出＞
これに対し、本発明においては、１コマ１／３０秒の間に複数回に分けて露光・転送・蓄積を行って動画を取得する方式を用いてオプティカルフローを推定することで、上記の問題を解決する。下記にその説明を行う。
【００５４】
図８は、本実施例の構成により、被写体Ｓが画面を水平方向に横切るシーンを３０ｆｐｓの動画撮影で、１コマ１／３０秒間の撮影周期に、１／４８０秒ずつ４回に分けて露光した場合の取得画像を示す。
【００５５】
図８（Ａ）は、撮影した動画中の１コマを抜き出したものであり、図８（Ｂ）は、その１コマ後を抜き出した図である。図８（Ａ）および図８（Ｂ）にあるように、被写体Ｓは４回露光されるため、進行方向に１／３０秒間の移動量の約１／４ずつずれながら重なった状態で、それぞれ第１のコマにおいてＡ１〜Ａ４、第２のコマにおいてＢ１〜Ｂ４の４重の先鋭な輪郭を示す。
【００５６】
図８（Ｃ）は、図示のラインα’’の行の画素においてのｘ方向位置（ｘ方向の何列目の画素であるか）と、輝度Ｉ（ｘ）の関係を表すグラフである。図８（Ｃ）における実線部は、第１のコマにおけるラインα’’上における画素の輝度値を示し、一点鎖線部は、第２のコマでのラインα’’上における画素の輝度値を示す。また、縦軸に記載の輝度Ｉａは、被写体Ｓ（新幹線）車体の輝度を示し、Ｉｂは、背景の輝度を示す。本例では、Ｉａ＞Ｉｂとする。
【００５７】
この時、図８（Ａ）および図８（Ｂ）における、ずれながら４重に重なった被写体Ｓの先鋭な輪郭部は、図８（Ｃ）の輝度値Ｉ（ｘ）のグラフにおいて、該当する箇所がそれぞれ急激に立ち上がる階段状のグラフになる。
【００５８】
また、図８（Ｄ）は、図示のラインα’’の行の画素においてのｘ方向位置と、輝度の勾配値Ｋ（ｘ）との関係を表すグラフである。輝度のグラフの場合と同様に、実線部は、第１のコマにおけるラインα’’上における画素の輝度の勾配値を示し、一点鎖線部は、第２のコマでのラインα’’上における画素の輝度の勾配値を示す。
【００５９】
前述の図８（Ａ）および図８（Ｂ）における、ずれながら４重に重なった先鋭な輪郭の箇所が、図８（Ｃ）の輝度値においては階段状のグラフの急激な傾きで立ち上がる部分になっている。このため、図８（Ｄ）における輝度の勾配値は、該当箇所がごく狭いｘ軸の範囲でのみ局所的に大きな勾配値（Ｋ３と表記）まで上昇しており、またそれが第１のコマおよび第２のコマそれぞれにつき４か所ずつ存在することがわかる。この時、輝度勾配値が一定以上の値を持つ箇所がごく狭い範囲であるため、各コマにおけるそれぞれ４か所の輪郭のｘ軸方向の位置を精密に求めることができる。
【００６０】
よって、第１のコマにおいて着目した輪郭に対応する第２のコマにおける輪郭を正確に選出できさえすれば、それぞれの輪郭の位置は精密に求められるので、その移動ベクトルであるオプティカルフローも精密に求められることとなる。図８（Ｄ）においては、オプティカルフローは、例えば、第１のコマにおける左端のエッジＡ１から、第２のコマにおける対応する左端のエッジＢ１への移動ベクトルである、図示のベクトルＦＡ１Ｂ１として求められる。
【００６１】
なお、上記複数個の先鋭な輪郭が重なった画像を得る動作は、特許請求の範囲における「第１または第２の撮影周期中に光電変換部から信号保持部へのｎ回の信号電荷転送により第１または第２の画像信号を生成する動作」に対応する。
【００６２】
また、本例では、前述のように、撮影周期１／３０秒間に短時間ずつだが複数回露光を行う。このため、図示のように、実線で示す第１のコマのグラフにおける輪郭Ａ１〜Ａ４を示す隆起部の端と、一点鎖線で示す第２のコマのグラフにおける輪郭Ｂ１〜Ｂ４を示す隆起部の端との間の間隔は、小さく抑えられる。したがって、動画を視聴するユーザーにとっても第１のコマにおける被写体Ｓの輪郭と第２のコマにおける被写体Ｓの輪郭がほぼ連続して見え、パラパラ感のない高品位な動画となる。
【００６３】
＜段階的絞り込みによる適正輪郭選択＞
しかし、上記の方式では、第１のコマの被写体Ｓの輪郭を示すＡ１〜Ａ４、および第２のコマの被写体Ｓの輪郭を示すエッジＢ１〜Ｂ４のように、同形状のエッジが等間隔で並んでいる。この場合、第１のコマのエッジに対応する同一のエッジを第２のコマから誤って選択してしまう恐れがある。すなわち、本例の場合、特許文献２の場合と同様に、同一形状の輪郭が同一間隔で並ぶため、ブロックを限定した特徴点検出による比較では、対応する箇所を誤って認識する可能性があるからである。
【００６４】
具体的には、図８（Ｄ）で、エッジＡ１に対応するエッジをＢ１ではなく、誤って同形状のエッジＢ２であると認識した場合、実際はＡ１からＢ１への移動であるのにＡ１からＢ２への移動という認識となり、移動量が真の値より目減りする事態が起きてしまう。故に、移動方向にずれながら重なりあうエッジ群から適正なエッジを抽出するための方法が必要となる。
【００６５】
上記問題に対し、本発明は、以下に説明するように、オプティカルフローの推定において２段階の絞り込み手順を行うことにより解決する。
【００６６】
すなわち、第１のコマおよびその次の第２のコマの画像を得られた後、最初の手順として、画像輝度値に対して、画像の所定方向（水平方向・垂直方向等）へ所定の数の隣接画素と輝度値を平均化し、高周波成分を除去するローパスフィルタ処理を行う。
【００６７】
例えば、水平方向の輝度値の平均化を例に説明を行うと、下記のようになる。
元データのｘ列目の画素の輝度値をＩ１（ｘ）としたとき、ローパスフィルタ処理を行った後に得られる輝度値Ｉ２（ｘ）は、その前後所定の数の画素を平均化する処理を行うことで算出される。例えば、前後３個を用いた平均化の場合、輝度値Ｉ２（ｘ）は注目画素の前３個、後ろ３個、注目画素自身１個の合計７個の画素における輝度Ｉ１（ｘ）の平均をとり、下記（２）式のよう表される。
Ｉ２（ｘ）＝｛Ｉ１（ｘ−３）＋Ｉ１（ｘ−２）＋Ｉ１（ｘ−１）＋Ｉ１（ｘ）＋Ｉ１（ｘ＋１）＋Ｉ１（ｘ＋２）＋Ｉ１（ｘ＋３）}／（３＋３＋１）  …（２）
【００６８】
なお、本例は、前後３個の計７個の画素信号の平均で説明を行ったが、その画素数に限られるものではなく、隣接する複数の画素信号の平均を用いてローパスフィルタ処理を行う方式であれば、何個の画素信号を用いた場合でも本発明には適用可能である。
上記動作は、特許請求の範囲における「生成された第１または第２の画像信号に対し、各画素部の輝度値をそれに隣接する所定の数の他の画素部の輝度値との平均をとることにより第３または第４の画像信号を生成する動作」に対応する。また、上記ローパスフィルタにより高周波成分を除去可能な手段は、特許請求の範囲における「第１および第２の平均化手段」に対応する。
【００６９】
図８の分割露光により得られた動画画像の輝度データＩ１（ｘ）（第１および第２の画像信号）に、ローパスフィルタ処理を行って得られた輝度データＩ２（ｘ）（第３および第４の画像信号）の画像例を図９（Ａ）および図９（Ｂ）に示す。これらの図によれば、高周波成分が除去され、画像の輪郭がぼやけた輝度データＩ２（ｘ）が得られている。なお、本例は、単純平均を用いたが、これに限るものではなく、各画素の輝度値に重みつけ係数をかけ合わせた重みつけ平均を行ってもよく、平均化を用いた高周波成分除去工程ならば、本発明には適用可能である。
【００７０】
なお、上記の輝度Ｉ２（ｘ）を得る動作は、特許請求の範囲における「各画素部の輝度値をそれに隣接する所定の数の他の画素部の輝度値との平均をとることにより第３または第４の画像信号を生成する動作」に対応する。
【００７１】
図９（Ｃ）は、図示のラインα’’’の行の画素においてのｘ方向位置（ｘ方向の何列目の画素であるか）と、輝度Ｉ（ｘ）との関係を表すグラフである。図８（Ｃ）における実線部は、第１のコマにおけるラインα’’’上における画素の輝度値を示し、一点鎖線部は、第２のコマでのラインα’’’上における画素の輝度値を示す。また、縦軸に記載の輝度Ｉａは、被写体Ｓ（新幹線）車体の輝度を示し、Ｉｂは、背景の輝度を示す。本例では、Ｉａ＞Ｉｂとする。
【００７２】
図９（Ａ）および図９（Ｂ）においてローパスフィルタ処理によって輪郭がぼやけている箇所は、図９（Ｃ）の輝度のグラフにおいては、以下のようになる。すなわち、図９（Ｃ）のから明らかなように、対応する輪郭の箇所は、ローパスフィルタ処理前の点線で示す階段状から、実線および一点鎖線で示す略線形に立ち上がるグラフに変わっている。
【００７３】
図９（Ｄ）は、図示のラインα’’’の行の画素においてのｘ方向位置と、輝度の勾配値Ｋ２（ｘ）との関係を表すグラフである。輝度のグラフの場合と同様に、実線部は、第１のコマにおけるラインα’’’上における画素の輝度の勾配値を示し、一点鎖線部は、第２のコマでのラインα’’’上における画素の輝度の勾配値を示す。
【００７４】
この時、図９（Ｄ）に示すように、微分値が一定以上の値を持つ箇所がｘ軸方向位置において広い範囲に存在してしまう。そのため、精密な位置測定はできない。そこで、輝度Ｉ２（ｘ）のデータの水平方向（ｘ方向）の勾配値が所定の値以上の値を示す画素群を抽出し、その中心位置を求める。第１のコマにおいて勾配値が一定以上の値を持つ画素群の中心位置をＧ１、同様に、第２のコマにおいて勾配値が一定以上の値を持つ画素群の中心位置をＧ２とする。
【００７５】
第１のコマにおける中心位置（第１の中心）Ｇ１および第２のコマにおける中心位置（第２の中心）Ｇ２を求めたら、ブロックマッチング法により概略オプティカルフローＦＧ１Ｇ２を求める。概略オプティカルフローＦＧ１Ｇ２は、第１のコマと第２のコマにおいて対応する中心位置の移動方向および移動量を示す。概略オプティカルフローＦＧ１Ｇ２は、ローパスフィルタにより、前述の図６の場合と同様に、画像輪郭が不鮮明になった状態で求めたオプティカルフローであり、およその移動量および方向を示し、精密に輪郭位置を推定できてはいない。
【００７６】
しかし、本発明の要旨としては、このおよその移動ベクトルと、前述の１撮影周期に複数回露光をすることにより得られる複数の先鋭な輪郭部の双方を組み合わせて、もう一度ブロックマッチングを行うことで、精密な輪郭位置を求めることにある。
【００７７】
すなわち、概略オプティカルフローＦＧ１Ｇ２を得られたら、次の手順として、それをもとに図８（Ａ）〜図８（Ｄ）におけるローパスフィルタを印加する前の輝度Ｉ１（ｘ）のデータに戻る。そして、明瞭な輪郭を示す画像のエッジＡ１〜Ａ４、Ｂ１〜Ｂ４の位置を特定する作業を行う。
【００７８】
ここで、図８（Ｄ）に示す輝度の勾配値に再度着目する。通常は部分的な特徴点一致を判断するブロックマッチングでは、このように同形状の輪郭が等間隔で並ぶ場合、一致する特徴点が並ぶため、例えば、第１のコマのエッジＡ１に対応するエッジが第２のコマにおけるＢ１〜Ｂ４のどれか判定できない。そのため、特徴点が一致するオプティカルフローは最大でエッジの数と同数の複数個検出されてしまうこととなり、この時点ではどれが正しいオプティカルフローか判別できない。該複数個検出されるオプティカルフロー群は、これ以降オプティカルフロー候補と記述する。ただし、オプティカルフロー候補は、先鋭に表された輪郭に基づくため、概略オプティカルフローＦＧ１Ｇ２を用いて、オプティカルフロー候補の選択を誤らなければ、結果として、精密なオプティカルフローを得ることができる。
【００７９】
すなわち、前述のように本発明の手順においては、先にローパスフィルタを印加した輝度Ｉ２（ｘ）のデータより、およその移動ベクトルである概略オプティカルフローＦＧ１Ｇ２を求めてある。そのため、エッジＡ１からその概略オプティカルフローＦＧ１Ｇ２だけずれた地点の付近に第２のコマにおけるエッジＡ１に対応するエッジがあると推測することが可能となっている。よって、エッジＡ１から概略オプティカルフローＦＧ１Ｇ２だけずれた地点を起点にブロックマッチングを開始し、特徴点が一致した輪郭のうち、起点に最も近い位置にある輪郭が対応するエッジであると判断することで、検出精度を上げることが可能である。
【００８０】
図１０は、上記オプティカルフロー推定手順のフローチャートを示す。
フローが開始されると、まず、ステップＳ００１において、一撮影周期中に複数回に分けて露光・転送・蓄積を行って動画を取得する。すなわち、第１の撮影周期（第１のコマ）から第１の画像信号である輝度Ｉ１（ｘ）を取得し、第２の撮影周期（第２のコマ）から第２の画像信号である輝度Ｉ１（ｘ）を取得する。次に、ステップＳ１０１において、前ステップで得られた第１および第２の画像信号に対し、それぞれ、前述の所定の数の隣接画素信号との平均化によるローパスフィルタ処理を施し、第３および第４の画像信号（輝度Ｉ２（ｘ）のデータ）を生成する。
【００８１】
そして、ステップＳ１０２において、前ステップで生成された第３および第４の画像信号同士を比較して、およそのオプティカルフローである概略オプティカルフローＦＧ１Ｇ２を算出する。また、ステップＳ２０１において、ステップＳ００１で得られた第１および第２の画像信号Ｉ１（ｘ）同士を比較して前述のオプティカルフロー候補を選出する。ここで、第１および第２の画像信号に関しては、同一輪郭が同一間隔で複数並んでいるので、特徴点の比較を行うと、特徴が一致するオプティカルフロー候補が複数個挙がることとなる。
【００８２】
最後に、ステップＳ２０２において、前ステップにおいて選出された複数のオプティカルフロー候補の中から、ステップＳ１０２において得られた概略オプティカルフローＦＧ１Ｇ２に最も近いものを最終的なオプティカルフローとして選択する。
以上で最終的なオプティカルフローを精度良く推定することができ、オプティカルフロー推定手順のフローを終了する。
【００８３】
なお、上述のオプティカルフロー推定手順は、特許請求の範囲における「オプティカルフロー候補算出手段、概略オプティカルフロー算出手段、およびオプティカルフロー推定手段」により実現される。
【００８４】
また、オプティカルフロー候補を選出する動作は、特許請求の範囲における「第１および第２の撮影周期間に被写体が移動する方向および量を示すベクトルである複数のオプティカルフロー候補を算出する動作」に対応する。また、概略オプティカルフローＦＧ１Ｇ２を求める動作は、特許請求の範囲における「第１および第２の撮影周期間に被写体が移動する概ねの方向および量を示すベクトルである概略オプティカルフローを算出する動作」に対応する。さらに、真のオプティカルフローを求める動作は、特許請求の範囲における「複数のオプティカルフロー候補のうち概略オプティカルフローに最も近い１つのオプティカルフロー候補を最終的なオプティカルフローとして推定する動作」に対応する。
【００８５】
以上、説明したように、本発明では、第１の手順として、ローパスフィルタをかけた画像データから精度の粗い移動ベクトルを求める。また、第２の手順として、その移動ベクトルに基づき元の画像データから精密な移動ベクトルを絞り込む。本発明は、このような２段階の絞りこみを行う。このような手順により、分割露光により画像に現れる複数のエッジの中から第１のコマから第２のコマへの移行の際に対応するエッジを正確に選出でき、分割露光を用いた場合においても真のオプティカルフローＦＡ１Ｂ１の精密な推定を可能とする。
【００８６】
＜分割間隔の不均一化＞
前述の前後コマ間において対応する輪郭の選択精度は、下記の方法を用いることにより向上させることができる。
【００８７】
前述の図４においては、１撮影周期間に４回露光する際に、各露光タイミング６０２−１，６０２−２，６０２−３，６０２−４間の時間間隔が均等であるとしていた。その結果図８（Ａ）〜図８（Ｄ）のように、被写体Ｓの輪郭が進行方向に均等幅だけずれて重なりあった画像が得られており、同形状の輪郭が均等幅ずれているが故に特徴点が等しい箇所が複数候補得られてしまい、誤った輪郭を選ぶ恐れがあった。
【００８８】
そこで、図１１に示すように、１撮影周期間に４回露光する際に、各露光タイミング７０２−１，７０２−２，７０２−３，７０２−４間の時間間隔Ｔ１２，Ｔ２３，Ｔ３４を等間隔でなく、不均一間隔とする構成をとってもよい。本実施例では、Ｔ２３＜Ｔ１２＜Ｔ３４であるが、これに限られることはない。これらの時間間隔は、少なくとも２つがお互いに異なる時間間隔であればよい。
【００８９】
本実施例で得られる画像を図１２（Ａ）および図１２（Ｂ）に示す。図示の被写体Ｓが等速運動をする場合、被写体Ｓの輪郭は、Ｃ１〜Ｃ４、Ｄ１〜Ｄ４のように、進行方向にずれながら不均一な間隔で４重の輪郭が並ぶ画像となる。
【００９０】
図１２（Ｃ）は、図示のラインα’’’’の行の画素においてのｘ方向位置（ｘ方向の何列目の画素であるか）と、輝度Ｉ（ｘ）との関係を表すグラフである。図１２（Ｃ）における実線部は第１のコマにおけるラインα’’’’上における画素の輝度値を示し、一点鎖線部は、第２のコマでのラインα’’’’上における画素の輝度値を示す。
【００９１】
この時、図１２（Ａ）および図１２（Ｂ）における被写体Ｓの輪郭部は、不均一な間隔でずれながら４重に重なった先鋭な輪郭部になる。すなわち、図１２（Ｃ）の輝度値Ｉ（ｘ）のグラフにおいて、該当する箇所がそれぞれ不均一な間隔をもって急激に立ち上がる階段状のグラフになる。
【００９２】
また、図１２（Ｄ）は、図示のラインα’’’’の行の画素においてのｘ方向位置と、輝度の勾配値Ｋ（ｘ）との関係を表すグラフである。輝度のグラフの場合と同様に、実線部は、第１のコマにおけるラインα’’’’上における画素の輝度の勾配値を示し、一点鎖線部は、第２のコマでのラインα’’’’上における画素の輝度の勾配値を示す。
【００９３】
上記の図１２（Ａ）および図１２（Ｂ）における不均一にずれながら４重に重なった先鋭な輪郭の箇所は、図１２（Ｄ）における輝度勾配値において、該当箇所４か所が不均一にｘ軸方向にずれている。また、その輪郭の箇所は、ごく狭いｘ軸の範囲でのみ、局所的に大きな勾配値（Ｋ３と表記）まで上昇する。また、それが第１のコマおよび第２のコマそれぞれに存在することがわかる。
【００９４】
この時、輝度勾配値が一定以上の値を持つ箇所がごく狭い範囲であるため、各コマにおけるそれぞれ不均一な間隔で並ぶ４か所の輪郭のｘ軸方向の位置を精密に求めることができる。ここで、図８（Ｄ）の場合と異なり、本発明の要旨として、輪郭が同形状であってもエッジＣ１〜Ｃ２，Ｃ２〜Ｃ３，Ｃ３〜Ｃ４の間隔ｄ１２，ｄ２３，ｄ３４がそれぞれ異なる値であることに注目する。エッジＤ１〜Ｄ２，Ｄ２〜Ｄ３，Ｄ３〜Ｄ４の間隔も同様である。この時、不均等に並んでいるが故に、輪郭の特徴点同士の相対距離に差が出ており、それをもって、該当エッジがどのエッジにあたるか見分けることが可能となる。それ故に、この構成を用いることでブロックマッチングでも対応するエッジを誤って選択することはなくなる。そのため、１撮影周期に複数回に分けて露光・転送・蓄積を行っていても、オプティカルフローを誤って見積もることなく、精密に推定することが可能となる。
【００９５】
また、不均一間隔ながらも複数回露光するため、図１２（Ｄ）の勾配値のグラフにおいて、第１のコマの被写体Ｓの輪郭を示す隆起部Ｃ１〜Ｃ４の左端と第２のコマでの輪郭を示す隆起部Ｄ１〜Ｄ４の右端の間に開く間隔が小さく抑えられている。そのため、動画を視聴するユーザーにとっても第１のコマにおける新幹線の輪郭と第２のコマにおける被写体Ｓの輪郭がほぼ連続して見え、パラパラ感のない高品位な動画となっている。
【００９６】
以上、１撮影周期における複数の露光タイミングを不均等な時間間隔で行うことにより、精密なオプティカルフローを算出しつつも、高品位な動画の取得を可能な構成が実現できている。また、上記の複数の露光タイミングを不均等な時間間隔で行うことは、特許請求の範囲における「第１および第２の撮影周期の各々において、ｎ回の信号電荷転送は、それらを開始するｎの転送タイミングの時間間隔が互いに異なるように実行される」に対応する。
【００９７】
＜信号電荷転送タイミング同士の時間間隔＞
信号電荷転送タイミング同士の時間間隔、すなわち、図４における複数回の露光タイミング同士の時間間隔は、１／１２０秒以下になるように、露光・伝送・蓄積の回数を設定することが望ましい。これは、人間の反射速度が一般的に１／１２０秒以下の時間における変化を読み取ることが困難であり、これ以下の時間間隔とすることでパラパラ感が目立たず、高品位な動画を提供できるためである。
【００９８】
そのため、一例として、１コマの露光時間が１／３０秒の動画撮影であれば、１コマ内で最低４回分割して露光を行い、４回の露光同士の時間間隔を１／１２０秒以下となるようにする。また、１コマの露光時間が１／６０秒であれば、最低２回分割して、２回の露光同士の時間間隔を１／１２０秒以下となるようにする。
【００９９】
上記構成により、複数回の露光の回数を適正化し、よりパラパラ感の感じられない高品位な動画を取得可能な構成を実現できる。
【０１００】
なお、上記時間間隔を１／１２０秒以下になるように回数を設定する動作は、特許請求の範囲における「ｎ回の信号電荷転送を開始するｎの転送タイミングの時間間隔がそれぞれ１／１２０秒以下になるようにｎの値を増減させる動作」に対応する。
【０１０１】
＜変形例＞
上述の撮像装置において、図２のシステム制御ＣＰＵ（制御手段）１７８は、動画撮影中において、被写体が動体か否かを判定する動体判定手段を備えていてもよい。この場合、動体判定手段により被写体が動体と判定されたとき、図１０に示すオプティカルフロー推定手順が実行される。これにより、動画撮影時に高精度なオプティカルフローを得ることができる。
【０１０２】
また、図２のシステム制御ＣＰＵ（制御手段）１７８は、動画撮影中において、被写体（動体）の速度または手ぶれ速度を判定する速度判定手段を備えていてもよい。この場合、速度判定手段により被写体の速度または手ぶれ速度が所定値以上と判定されたとき、図１０に示すオプティカルフロー推定手順が実行される。また、システム制御ＣＰＵ１７８は、速度判定手段により検出される被写体の速度または手ぶれ速度と、１撮影周期中に信号電荷転送を行う回数または転送タイミングの時間間隔と、の間に関連付けを行ってもよい。この関連付けは、ＬＵＴ（look up table）として記憶される。例えば、システム制御ＣＰＵ１７８は、被写体の速度または手ぶれ速度が大きくなるに従い、信号電荷転送を行う回数を多くし、または転送タイミングの時間間隔を短くする。これにより、動画撮影時に高精度なオプティカルフローを得ることができる。なお、上記において信号電荷転送を行う回数は、露光回数でもよいし、転送タイミングは、露光タイミングでもよい。
【０１０３】
また、図２のシステム制御ＣＰＵ（制御手段）１７８は、ユーザ（撮影者）による操作、例えば、高追従モードや手ぶれ補正強化モードなどへの移行指示に基づき、図１０に示すオプティカルフロー推定手順を実行するか否かを決定してもよい。すなわち、システム制御ＣＰＵ１７８は、所定の指示を受けたか否かを判定する指示判定手段を備え、かつ指示判定手段が所定の指示を受けたと判定したとき、図１０に示すオプティカルフロー推定手順を実行する。これにより、動画撮影時に高精度なオプティカルフローを得ることができる。
【０１０４】
また、図２のシステム制御ＣＰＵ（制御手段）１７８は、１撮影周期中に、複数回、露光・転送・蓄積のシーケンスを実行する。したがって、システム制御ＣＰＵ１７８は、１撮影周期において、信号電荷転送を開始する転送タイミング（露光を開始する露光タイミングでもよい）の時間間隔が、１撮影周期の半分以下になるように、その時間間隔および信号電荷転送の回数を制御する。例えば、１撮影周期が１／１２０秒である場合、システム制御ＣＰＵ１７８は、信号電荷転送の回数を２回に設定し、かつ転送タイミングの時間間隔を１／２４０秒以下に設定する。これにより、動画撮影時に高精度なオプティカルフローを得ることができる。
【０１０５】
上述の撮像装置において、図２のシステム制御ＣＰＵ（制御手段）１７８が実行する機能は、ハードウェアにより実現してもよいし、ソフトウェアにより実現してもよいし、又は、それらの組み合わせにより実現してもよい。これらの機能が、ハードウェアにより実現されるか、ソフトウェアにより実現されるか、又は、それらの組み合わせにより実現されるかは、上述の撮像装置が使用される環境、又は、上述の撮像装置に課される設計制約など、に依存する。システム制御ＣＰＵ１７８の機能がソフトウェアにより実行される場合、その機能を実現するプログラムは、ホスト装置からネットワークを介して上述の撮像装置に提供されてもよい。また、そのプログラムは、そのプログラムが記憶された記憶媒体（メモリカード、ＣＤなど、のリムーバブルメモリを含む）から上述の撮像装置に提供されてもよい。この場合、システム制御ＣＰＵ１７８は、ネットワークまたは記録媒体から取得したプログラム（ソフトウェア）を実行し、本発明に係る処理を実行する。なお、システム制御ＣＰＵ１７８は、それと同等な機能を備える制御装置、例えば、マイコン、プロセッサ、ＡＳＩＣ（application specific integrated circuit）などに置き換えることも可能である。
【０１０６】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１０７】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【０１０８】
５００  光電変換部
５０７Ａ  第１の信号保持部
３００，３０１  画素部
１８４  撮像素子
１７８，１８９  制御手段
１５１  撮像装置
【図１】
2019149701.tif 000003
【図２】
2019149701.tif 000004
【図３】
2019149701.tif 000005
【図４】
2019149701.tif 000006
【図５】
2019149701.tif 000007
【図６】
2019149701.tif 000008
【図７】
2019149701.tif 000009
【図８】
2019149701.tif 000010
【図９】
2019149701.tif 000011
【図１０】
2019149701.tif 000012
【図１１】
2019149701.tif 000013
【図１２】
2019149701.tif 000014