(57)【要約】【課題】物体の位置に基づいて自動的に結合画像の生成を開始する技術を提供する。【解決手段】複数の撮像画像を順次に撮像する撮像部１１０と、第一の基準画像との間に差分が存在する撮像画像が撮像されたか否かを判定する開始判定部１２１と、第一の基準画像との間に差分が存在する撮像画像が撮像されたと判定された場合に、当該撮像画像を開始画像として決定する開始画像決定部１２２と、開始画像の撮像以後に撮像される複数の撮像画像の各々の一部領域を抽出画像群として抽出する画像抽出部１４０と、抽出された抽出画像群を結合する結合処理部１５０を備えることを特徴とする、撮像装置１０が提供される。【選択図】図１
2013128182.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像画像を順次に撮像する撮像部と、
第一の基準画像との間に差分が存在する撮像画像が前記撮像部により撮像されたか否かを判定する開始判定部と、
前記開始判定部により前記第一の基準画像との間に差分が存在する撮像画像が撮像されたと判定された場合に、当該撮像画像を開始画像として決定する開始画像決定部と、
前記開始画像の撮像以後に前記撮像部により撮像される複数の撮像画像の各々の一部領域を抽出画像群として抽出する画像抽出部と、
前記画像抽出部により抽出された抽出画像群を結合する結合処理部と、
を備えることを特徴とする、撮像装置。
【請求項２】
前記撮像装置は、
第二の基準画像との間に差分が存在しない撮像画像が前記撮像部により撮像されたか否かを判定する終了判定部と、
前記第二の基準画像との間に差分が存在しない撮像画像が撮像されたと前記終了判定部により判定された場合に、当該撮像画像を終了画像として決定する終了画像決定部とをさらに備え、
前記画像抽出部は、前記開始画像の撮像以後、かつ、前記終了画像の撮像以前に、前記撮像部により撮像される複数の撮像画像の各一部領域により構成される抽出画像群を抽出する、
ことを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記画像抽出部は、前記抽出画像群を構成する各一部領域のサイズが、前記開始画像に映る物体の移動速度に応じたサイズとなるように、前記抽出画像群を抽出する、
ことを特徴とする、請求項２に記載の撮像装置。
【請求項４】
前記画像抽出部は、前記抽出画像群を構成する各一部領域間の撮影間隔が、前記開始画像に映る物体の移動速度に応じた値となるように、前記抽出画像群を抽出する、
ことを特徴とする、請求項２に記載の撮像装置。
【請求項５】
前記結合処理部は、前記開始画像に映る物体の移動方向に応じた方向に前記抽出画像群を結合する、
ことを特徴とする、請求項２に記載の撮像装置。
【請求項６】
前記結合処理部は、前記抽出画像群を構成する各一部領域に、前記撮像部による撮像を開始するためのシャッタボタン押下時を基準とした各撮像時刻を関連付ける、
ことを特徴とする、請求項２に記載の撮像装置。
【請求項７】
前記撮像装置は、
前記結合処理部により前記抽出画像群が結合された結合画像を表示するとともに前記各撮像時刻を表示する表示部をさらに備える、
ことを特徴とする、請求項６に記載の撮像装置。
【請求項８】
複数の撮像画像を順次に撮像するステップと、
第一の基準画像との間に差分が存在する撮像画像が前記撮像部により撮像されたか否かを判定するステップと、
前記第一の基準画像との間に差分が存在する撮像画像が撮像されたと判定された場合に、当該撮像画像を開始画像として決定するステップと、
前記開始画像の撮像以後に撮像される複数の撮像画像の各々の一部領域を抽出画像群として抽出するステップと、
前記抽出画像群を結合するステップと、
を含むことを特徴とする、撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
従来、順次に撮像される複数の撮像画像の各々の一部領域を抽出画像群として抽出し、この抽出画像群を連結する技術が存在する。例えば、特許文献１には、移動している被写体を同一地点において連続的に撮影し、撮影により得られる各画像から抽出画像を切り出し、各抽出画像を撮影時間順に被写体の移動方向と逆方向に連結することによって合成する撮像装置について開示されている。また、特許文献１には、この撮像装置が結合画像と計時情報とを表示部に表示することについて開示されている。
【０００３】
また、例えば、特許文献２には、フィルム現像という工程を必要とせずに着順判定および時間計測の瞬間的映像を得る技術が開示されている。この技術によれば、競走者がスタート時点からゴールに到達するまでの経過時間を電子的に確定することができるため、レース終了後直ちに各競走者の経過時間および着順を確定することができる。また、この技術によれば、従来の写真撮影の方法によるようなフィルムの現像処理工程を経ることなく、即時に経過時間および着順を正確にテレビ放送することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２０３８４５号公報
【特許文献２】特開平０６−２６９００７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１や特許文献２などに記載された技術では、例えば、結合画像の生成を開始するタイミングがシャッタ押下時とされている。そのため、撮影すべき物体の位置に関わらず結合画像の生成が開始されてしまう。そこで、物体の位置に基づいて自動的に結合画像の生成を開始する技術が提供されることが要求される。
【０００６】
そこで、本発明は、物体の位置に基づいて自動的に結合画像の生成を開始する技術を提供しようとするものである。また、本発明は、物体の位置に基づいて自動的に結合画像の生成を終了する技術を提供しようとするものである。さらに、本発明は、物体の移動速度が反映された結合画像を生成することが可能な技術を提供しようとするものである。また、本発明は、より自然な結合画像を生成することが可能な技術を提供しようとするものである。また、本発明は、各一部領域が撮像されるまでの経過時間を容易に把握させることが可能な技術を提供しようとするものである。
【課題を解決するための手段】
【０００７】
本発明のある実施形態によれば、複数の撮像画像を順次に撮像する撮像部と、第一の基準画像との間に差分が存在する撮像画像が前記撮像部により撮像されたか否かを判定する開始判定部と、前記開始判定部により前記第一の基準画像との間に差分が存在する撮像画像が撮像されたと判定された場合に、当該撮像画像を開始画像として決定する開始画像決定部と、前記開始画像の撮像以後に前記撮像部により撮像される複数の撮像画像の各々の一部領域を抽出画像群として抽出する画像抽出部と、前記画像抽出部により抽出された抽出画像群を結合する結合処理部を備えることを特徴とする、撮像装置が提供される。
【０００８】
かかる構成によれば、第一の基準画像との間に差分が存在する撮像画像が撮像されたと判定された場合に、当該撮像画像を開始画像として決定するため、物体の位置に基づいて自動的に結合画像の生成を開始することができる。
【０００９】
前記撮像装置は、第二の基準画像との間に差分が存在しない撮像画像が前記撮像部により撮像されたか否かを判定する終了判定部と、前記第二の基準画像との間に差分が存在しない撮像画像が撮像されたと前記終了判定部により判定された場合に、当該撮像画像を終了画像として決定する終了画像決定部とをさらに備え、前記画像抽出部は、前記開始画像の撮像以後、かつ、前記終了画像の撮像以前に、前記撮像部により撮像される複数の撮像画像の各一部領域により構成される抽出画像群を抽出してもよい。
【００１０】
かかる構成によれば、第二の基準画像との間に差分が存在しない撮像画像が撮像されたと終了判定部により判定された場合に、当該撮像画像を終了画像として決定するため、物体の位置に基づいて自動的に結合画像の生成を終了することができる。
【００１１】
前記画像抽出部は、前記抽出画像群を構成する各一部領域のサイズが、前記開始画像に映る物体の移動速度に応じたサイズとなるように、前記抽出画像群を抽出してもよい。かかる構成によれば、各一部領域のサイズが開始画像に映る物体の移動速度に応じたサイズとなるように制御されるため、物体の移動速度が反映された結合画像が生成される。
【００１２】
前記画像抽出部は、前記抽出画像群を構成する各一部領域間の撮影間隔が、前記開始画像に映る物体の移動速度に応じた値となるように、前記抽出画像群を抽出してもよい。かかる構成によれば、各一部領域間の撮影間隔が開始画像に映る物体の移動速度に応じた値となるように制御されるため、物体の移動速度が反映された結合画像が生成される。
【００１３】
前記結合処理部は、前記開始画像に映る物体の移動方向に応じた方向に前記抽出画像群を結合してもよい。かかる構成によれば、開始画像に映る物体の移動方向に応じた方向に抽出画像群が結合されるように制御されるため、より自然な結合画像が生成される。
【００１４】
前記結合処理部は、前記抽出画像群を構成する各一部領域に、前記撮像部による撮像を開始するためのシャッタボタン押下時を基準とした各撮像時刻を関連付けてもよい。かかる構成によれば、各一部領域に撮像時刻が関連付けられているため、各一部領域が撮像されるまでの経過時間が容易に把握され得る。
【００１５】
前記撮像装置は、前記結合処理部により前記抽出画像群が結合された結合画像を表示するとともに前記各撮像時刻を表示する表示部をさらに備えてもよい。かかる構成によれば、結合画像が表示されるとともに各撮像時刻が表示されるため、各一部領域が撮像されるまでの経過時間が容易に把握され得る。
【００１６】
また、本発明の別の実施形態によれば、複数の撮像画像を順次に撮像するステップと、第一の基準画像との間に差分が存在する撮像画像が前記撮像部により撮像されたか否かを判定するステップと、前記第一の基準画像との間に差分が存在する撮像画像が撮像されたと判定された場合に、当該撮像画像を開始画像として決定するステップと、前記開始画像の撮像以後に撮像される複数の撮像画像の各々の一部領域を抽出画像群として抽出するステップと、前記抽出画像群を結合するステップと、を含むことを特徴とする、撮像方法が提供される。
【００１７】
かかる方法によれば、第一の基準画像との間に差分が存在する撮像画像が撮像されたと判定された場合に、当該撮像画像を開始画像として決定するため、物体の位置に基づいて自動的に結合画像の生成を開始することができる。
【発明の効果】
【００１８】
以上説明したように、本発明によれば、物体の位置に基づいて自動的に結合画像の生成を開始することが可能である。また、本発明は、物体の位置に基づいて自動的に結合画像の生成を終了することが可能である。さらに、本発明は、物体の移動速度が反映された結合画像を生成することが可能である。また、本発明は、より自然な結合画像を生成することが可能である。また、本発明は、各一部領域が撮像されるまでの経過時間を容易に把握させることが可能である。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る撮像装置の構成例を示す図である。
【図２】開始判定部による開始判定に使用される基準画像の例を示す図である。
【図３】開始判定部による開始判定の例について説明するための図である。
【図４】開始画像決定部による開始画像の決定について説明するための図である。
【図５】画像抽出部により抽出される抽出画像群の結合方向の例を示す図である。
【図６】抽出画像群の抽出に使用される物体の移動速度の計算例を示す図である。
【図７】物体の移動速度に応じた抽出画像群の抽出の例を説明するための図である。
【図８】終了判定部による終了判定について説明するための図である。
【図９】結合処理部により生成される結合画像の例を示す図である。
【図１０】撮像装置の動作の流れを示すフローチャート（前半）である。
【図１１】撮像装置の動作の流れを示すフローチャート（後半）である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２１】
まず、本発明の実施形態に係る撮像装置１０の構成例について説明する。図１は、本発明の実施形態に係る撮像装置１０の構成例を示す図である。図１に示すように、撮像装置１０は、撮像部１１０、開始判定部１２１、開始画像決定部１２２、終了判定部１３１、終了画像決定部１３２、画像抽出部１４０、結合処理部１５０、表示部１６０、操作部１７０、制御部１８０及び記憶部１９０を備える。
【００２２】
撮像部１１０は、複数の撮像画像を順次に撮像する。以下の説明では、撮像部１１０により撮像画像Ｉｍ０、Ｉｍ１、・・・、Ｉｍ９といった順に撮像されていくこととする。撮像部１１０は、例えば、被写体からの光を透過させて撮像素子に結像させる光学系システムとレンズを透過して入射した光情報を電気信号に変換する光電変換が可能な撮像素子とを備える。撮像素子としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などが使用される。
【００２３】
開始判定部１２１は、開始画像が撮像されたか否かを判定する。開始画像決定部１２２は、開始判定部１２１の判定結果に基づいて自動的に開始画像を決定する。終了判定部１３１は、終了画像が撮像されたか否かを判定する。終了画像決定部１３２は、終了判定部１３１の判定結果に基づいて自動的に終了画像を決定する。画像抽出部１４０は、開始画像から終了画像までの各々の一部領域を抽出する。結合処理部１５０は、抽出画像群を結合して結合画像を生成する。これらの機能の詳細については、図２〜図９を参照しながら、後に詳細に説明する。
【００２４】
表示部１６０は、撮影前の画像（ライブビュー表示）、各種設定画面、撮像部１１０により順次に撮像された複数の撮像画像、複数の撮像画像から結合処理部１５０により生成された結合画像、記憶部１９０に記録された結合画像などを表示する。表示部１６０は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）により構成されてもよいし、有機ＥＬディスプレイにより構成されてもよいし、他のディスプレイ装置により構成されてもよい。
【００２５】
操作部１７０は、例えば、撮像装置１０に設けられた上下左右キー、電源スイッチ、モードダイヤル、シャッタボタンなどであり、ユーザによる操作に基づいて操作信号を制御部１８０などに送る。例えば、シャッタボタンは、ユーザによる半押し、全押し、解除が可能である。シャッタボタンは、半押しされたときＦｏｃｕｓ制御開始の操作信号を出力し、半押し解除でＦｏｃｕｓ制御終了の操作信号を出力する。また、シャッタボタンは、全押しされたとき、撮影開始の操作信号を出力する。
【００２６】
制御部１８０は、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１０内に設けられた各構成要素の処理を制御する。制御部１８０は、操作部１７０からの操作信号に基づいて撮像装置１０の各構成要素を制御する。なお、制御部１８０は一つのＣＰＵだけから成る構成であってもよいし、信号系の命令と操作系の命令とを別々のＣＰＵで行うなど複数のＣＰＵから構成されてもよい。
【００２７】
記憶部１９０は、例えば、光Ｄｉｓｃ（ＣＤ、ＤＶＤ、Ｂｌｕ−ｒａｙ  Ｄｉｓｃなど）、光磁気Ｄｉｓｃ、磁気Ｄｉｓｃ、半導体記憶媒体などであり、撮像部１１０により順次に撮像された複数の画像データを記憶することができる。また、記憶部１９０は、結合処理部１５０により生成された結合画像を記憶することも可能である。記憶部１９０は、撮像装置１０から着脱可能に構成されてもよい。
【００２８】
なお、撮像装置１０における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。
【００２９】
以上、本発明の実施形態に係る撮像装置１０の構成例について説明した。次に、本発明の実施形態に係る撮像装置１０の各構成の機能について説明する。図２は、開始判定部１２１による開始判定に使用される基準画像の例を示す図である。開始判定部１２１は、第一の基準画像との間に差分が存在する撮像画像が撮像部１２０により撮像されたか否かを判定する。第一の基準画像は特に限定されないが、例えば、シャッタボタン押下時の撮像画像であってもよいし、前回撮像された撮像画像であってもよい。
【００３０】
図２には、シャッタボタン押下時の撮像画像Ｉｍ０が第一の基準画像として使用される場合について示されている。差分が存在する撮像画像が撮像部１１０により撮像されたか否かを判定する手法（開始判定の手法）についても特に限定されない。図３は、開始判定部１２１による開始判定の例について説明するための図である。図３には、シャッタ押下時の次に撮像された撮像画像Ｉｍ１が今回撮像された撮像画像の例として示されている。
【００３１】
開始判定部１２１は、例えば、第一の基準画像上に設定された左画像Ｌ０と今回撮像された撮像画像上に設定された左画像Ｌ１とに差分が存在するか否かを判定する。これにより、左画像に差分が存在する撮像画像が撮像部１１０により撮像されたか否かを判定することができる。同様にして、開始判定部１２１は、例えば、上画像Ｕ０と上画像Ｕ１との間に差分が存在するか否かを判定することもできる。これにより、上画像に差分が存在する撮像画像が撮像部１１０により撮像されたか否かを判定することができる。
【００３２】
また、同様にして、開始判定部１２１は、例えば、右画像Ｒ０と右画像Ｒ１との間に差分が存在するか否かを判定することもできる。これにより、右画像に差分が存在する撮像画像が撮像部１１０により撮像されたか否かを判定することができる。また、同様にして、開始判定部１２１は、例えば、下画像Ｄ０と下画像Ｄ１との間に差分が存在するか否かを判定することもできる。これにより、下画像に差分が存在する撮像画像が撮像部１１０により撮像されたか否かを判定することができる。差分が存在するか否かの判定には、例えば、テンプレートマッチング法などを適用することができるが、差分が存在するか否かの判定手法は限定されない。
【００３３】
図４に示した例では、開始判定部１２１は、物体Ｏｂｊが撮像画像Ｉｍ１上の左画像Ｌ１に出現したことが原因となり左画像Ｌ０と左画像Ｌ１とに差分が発生している。これにより、開始判定部１２１は、左画像に差分が存在する撮像画像が撮像部１１０により撮像されたと判定することができる。また、開始判定部１２１は、画像抽出部１４０により抽出される抽出画像群の結合方向を判定することもできる。図５は、画像抽出部１４０により抽出される抽出画像群の結合方向の例を示す図である。図５に示した例では、抽出画像群Ｐ１〜Ｐ９が結合される。
【００３４】
図４に示した例では、開始判定部１２１は、左画像に差分が存在する撮像画像が撮像部１１０により撮像されたと判定している。この場合、物体Ｏｂｊは右方向に移動していることが予想される。そこで、開始判定部１２１は、抽出画像群の結合方向を物体Ｏｂｊの移動方向とは逆方向である左方向と決定することができる。この例のように、開始判定部１２１は、抽出画像群の結合方向を開始画像に映る物体の移動方向に応じた方向に決定することができる。例えば、開始判定部１２１は、抽出画像群の結合方向を物体の移動方向とは逆方向と決定することができる。
【００３５】
しかしながら、抽出画像群の結合方向の判定手法は特に限定されない。また、開始画像に映る物体の移動方向の検出手法も特に限定されない。例えば、開始判定部１２１は、何らかの手法により開始画像に映る物体の移動方向を検出することができれば、その移動方向に応じた方向に抽出画像群の結合方向を決定することができる。開始判定部１２１は、開始画像に映る物体の位置と開始画像の前または後に撮像された撮像画像に映る物体の位置とに基づいて物体の移動方向を検出してもよい。
【００３６】
また、開始判定部１２１は、抽出画像群の形状を開始画像に映る物体の移動方向に応じた形状に決定することもできる。例えば、開始判定部１２１は、抽出画像群の形状を物体の移動方向に対して垂直方向に長い矩形（より詳細には、移動方向と比較して垂直方向に長い矩形）と決定することができる。図４に示した例では、開始判定部１２１は、物体Ｏｂｊの移動方向が右方向であることが検出されたため、右方向に対して垂直方向である上下方向に長い矩形（より詳細には、左右方向と比較して上下方向に長い矩形）と決定している。
【００３７】
開始画像決定部１２２は、開始判定部１２１により第一の基準画像との間に差分が存在する撮像画像が撮像されたと判定された場合に、当該撮像画像を開始画像として決定する。画像抽出部１４０は、開始画像の撮像以後に撮像部１１０により撮像される複数の撮像画像の各々の一部領域を抽出画像群として抽出する。画像抽出部１４０により抽出される各一部領域の位置は特に限定されない。また、画像抽出部１４０により抽出される各一部領域のサイズは特に限定されない。例えば、画像抽出部１４０は、抽出画像群を構成する各一部領域のサイズが、開始画像に映る物体の移動速度に応じたサイズとなるように、抽出画像群を抽出してもよい。
【００３８】
図６は、抽出画像群の抽出に使用される物体の移動速度の計算例を示す図である。図６に示した例では、画像抽出部１４０は、撮像画像Ｉｍ１に映る物体Ｏｂｊの存在位置（時刻ｔ１における位置）と撮像画像Ｉｍ２に映る物体Ｏｂｊの存在位置（時刻ｔ２における位置）との間隔により物体Ｏｂｊの移動量ｙ１を算出している。この場合、画像抽出部１４０は、物体Ｏｂｊの移動速度をｙ１／（ｔ２−ｔ１）により算出することができる。しかし、物体の移動速度の算出手法は特に限定されない。また、物体Ｏｂｊの移動量ｙ１の算出には、位相限定相関法が用いられてもよい。
【００３９】
画像抽出部１４０は、抽出画像群を構成する各一部領域のサイズが、このように算出された物体の移動速度に応じたサイズとなるように、抽出画像群を抽出してもよい。図７は、物体の移動速度に応じた抽出画像群の抽出の例を説明するための図である。画像抽出部１４０は、例えば、物体の移動速度が大きいほど各一部領域のサイズ（例えば、各抽出画像の結合方向の長さ）を大きくしてもよい。図７に示した例では、各抽出画像の幅Ｗが物体Ｏｂｊの移動速度ｙ１／（ｔ２−ｔ１）に定数ａを乗じた値となるように抽出画像群が抽出されている。図７には、抽出画像群の１つとして抽出画像Ｐ３が示されている。
【００４０】
また、画像抽出部１４０は、抽出画像群を構成する各一部領域間の撮影間隔が、開始画像に映る物体の移動速度に応じた値となるように、抽出画像群を抽出してもよい。例えば、画像抽出部１４０は、物体Ｏｂｊの移動速度ｙ１／（ｔ２−ｔ１）が大きいほど各一部領域間の撮影間隔を小さくしてもよい（各一部領域間のフレームレートを大きくしてもよい）。例えば、各一部領域間のフレームレートが物体Ｏｂｊの移動速度ｙ１／（ｔ２−ｔ１）に定数ｂを乗じた値となるように抽出画像群を抽出してもよい。
【００４１】
以上においては、画像抽出部１４０により、開始画像の撮像以後に撮像部１１０により撮像された複数の撮像画像の各々の一部領域が抽出画像群として抽出されることとしたが、抽出される抽出画像には終了が定められてもよい。かかる場合、終了判定部１３１は、第二の基準画像との間に差分が存在しない撮像画像が撮像部１１０により撮像されたか否かを判定すればよい。第二の基準画像は特に限定されないが、例えば、シャッタボタン押下時の撮像画像であってもよいし、前回撮像された撮像画像であってもよい。
【００４２】
図８は、終了判定部１３１による終了判定について説明するための図である。図８には、シャッタボタン押下時の撮像画像Ｉｍ０が第二の基準画像として使用される場合について示されている。差分が存在しない撮像画像が撮像部１１０により撮像されたか否かを判定する手法（終了判定の手法）についても特に限定されない。図８には、撮像画像Ｉｍ９が今回撮像された撮像画像の例として示されている。終了判定部１３１は、例えば、撮像画像Ｉｍ０と撮像画像Ｉｍ９とに差分が存在するか否かを判定する。これにより、差分が存在しない撮像画像が撮像部１１０により撮像されたか否かを判定することができる。
【００４３】
図８に示した例では、終了判定部１３１は、物体Ｏｂｊが撮像画像Ｉｍ９に映らなくなったことが原因となり撮像画像Ｉｍ０と撮像画像Ｉｍ９とに差分がなくなっている。これにより、終了判定部１３１は、差分が存在しない撮像画像Ｉｍ９が撮像部１１０により撮像されたと判定することができる。終了画像決定部１３２は、第二の基準画像との間に差分が存在しない撮像画像が撮像されたと終了判定部１３１により判定された場合に、当該撮像画像を終了画像として決定する。
【００４４】
このような手法により終了画像決定部１３２により終了画像が決定された場合、画像抽出部１４０は、開始画像の撮像以後、かつ、終了画像の撮像以前に、撮像部１１０により撮像される複数の撮像画像の各一部領域により構成される抽出画像群を抽出すればよい。例えば、開始画像決定部１２２により撮像画像Ｉｍ１が開始画像と決定され、終了画像決定部１３２により撮像画像Ｉｍ９が終了画像と決定された場合、画像抽出部１４０は、撮像画像Ｉｍ１〜Ｉｍ９から抽出画像群Ｐ１〜Ｐ９を抽出すればよい。
【００４５】
図９は、結合処理部１５０により生成される結合画像の例を示す図である。結合処理部１５０は、画像抽出部１４０により抽出された抽出画像群を結合する。図９に示すように、結合処理部１５０は、画像抽出部１４０により抽出された抽出画像群Ｐ１〜Ｐ９を結合することにより結合画像Ｃを生成することができる。結合処理部１５０は、抽出画像群を構成する各一部領域に、各撮像時刻を関連付けてもよい。かかる場合には、表示部１６０は、結合処理部１５０により抽出画像群が結合された結合画像を表示するとともに各撮像時刻を表示してもよい。
【００４６】
各撮像時刻の基準時刻は特に限定されないが、撮像部１１０による撮像を開始するためのシャッタボタン押下時が基準とされてもよい。図９には、表示部１６０が結合画像Ｃを表示するとともに各撮像時刻を表示する例が示されている。各撮像時刻は、抽出画像Ｐ１の撮像時刻「８．７１」、抽出画像Ｐ２の撮像時刻「８．７４」、抽出画像Ｐ３の撮像時刻「８．７７」、抽出画像Ｐ４の撮像時刻「８．８０」、抽出画像Ｐ５の撮像時刻「８．８３」、抽出画像Ｐ６の撮像時刻「８．８６」、抽出画像Ｐ７の撮像時刻「８．８９」、抽出画像Ｐ８の撮像時刻「８．９２」、抽出画像Ｐ９の撮像時刻「８．９５」として示されている。
【００４７】
なお、図９に示した各撮像時刻の単位は「秒」であるが、特に限定されない。また、図９には、各撮像時刻が等間隔で表示されているが、これらの間隔は抽出画像群を構成する各一部領域のサイズに合わせた長さにされている。また、このように関連付けられた抽出画像群とその各々の撮像時刻とは、制御部１８０の制御に従って記憶部１９０により記憶されてもよい。そのようにすれば、制御部１８０は、記憶部１９０により記憶された抽出画像群を再生する場合に各撮像時刻を表示させることができる。
【００４８】
さらに、記憶部１９０は、各一部領域のサイズを記憶しておいてもよい。そのようにすれば、制御部１８０は、記憶部１９０により記憶された抽出画像群を再生する場合に各一部領域のサイズに合わせた間隔で各撮像時刻を表示させることができる。各撮像時刻及び各一部領域のサイズが記憶されるエリアは特に限定されないが、例えば、抽出画像群を構成する画像ファイルに書き込まれてもよい。例えば、画像ファイルの形式がＥｘｉｆ(Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ)形式の場合には、各撮像時刻及び各一部領域のサイズは、ＭａｋｅｒＮｏｔｅ部分に書き込まれてもよい。
【００４９】
以上、本発明の実施形態に係る撮像装置１０の各構成の機能について説明した。続いて、本発明の実施形態に係る撮像装置１０の動作の流れについて説明する。図１０は、撮像装置１０の動作の流れを示すフローチャート（前半）であり、図１１は、撮像装置１０の動作の流れを示すフローチャート（後半）である。なお、図１０及び図１１によって示される撮像装置１０の動作の流れは一例に過ぎないため、撮像装置１０の動作の流れはこれらの図に示された流れに限定されない。
【００５０】
図１０に示すように、まず、制御部１８０は、操作部１７０からの操作信号に基づいて、現在のモードを時間計測モードに設定する（ステップＳ１）。このとき、フレームレートなどは結合画像生成に影響がない範囲で可能な限り高速にされてもよい。続いて、制御部１８０は、シャッタボタンが押下されたか否かを判定し（ステップＳ２）、シャッタボタンが押下されていないと判定した場合には（ステップＳ２で「Ｎｏ」）、ステップＳ２に戻る。一方、制御部１８０は、シャッタボタンが押下されたと判定した場合には（ステップＳ２で「Ｙｅｓ」）、シャッタボタン押下時刻をメモリに記録する（ステップＳ３）。これにより時間計測が開始される。メモリは、例えば、記憶部１９０である。
【００５１】
続いて、制御部１８０は、シャッタボタン押下時の撮像画像を基準画像としてメモリに記録する（ステップＳ４）。ここでの基準画像は、上記した例では、第一の基準画像に相当する。続いて、開始判定部１２１は、この基準画像の中から比較部分を抽出する（ステップＳ５）。比較部分は、上記した例では、基準画像上に設定された四隅の画像（左画像、右画像、上画像及び下画像）に相当する。制御部１８０は、次の撮像画像とその撮像時刻をメモリに記録する（ステップＳ６）。開始判定部１２１は、当該撮像画像の中から比較部分を抽出する（ステップＳ１１）。比較部分は、上記した例では、撮像画像上に設定された四隅の画像（左画像、右画像、上画像及び下画像）に相当する。
【００５２】
開始判定部１２１は、基準画像と当該撮像画像との間で比較部分の差分を検出する（ステップＳ１２）。この差分の検出は、例えば、四隅の画像の各々について行われる。また、上記したように、この差分の検出には、テンプレートマッチング法などが適用される。開始判定部１２１は、基準画像と当該撮像画像との間で比較部分の差分が存在するか否かを判定する（ステップＳ１３）。この差分が存在するか否かは、例えば、四隅の画像のいずれかに差分が存在するか否かにより判定される。
【００５３】
開始画像決定部１２２は、差分が存在しないと判定された場合には（ステップＳ１３で「Ｎｏ」）、ステップＳ６に戻る。一方、開始画像決定部１２２は、差分が存在すると判定された場合には（ステップＳ１３で「Ｙｅｓ」）、当該撮像画像を開始画像と決定し（ステップＳ１４）、開始判定部１２１は、開始画像から終了画像までの各々の一部領域（抽出画像群）の結合方向を決定する（ステップＳ１５）。このとき、開始判定部１２１は、抽出画像群の形状をさらに決定してもよい。抽出画像群の結合方向や形状の決定は、上記したような手法により実現される。
【００５４】
続いて、制御部１８０は、次の撮像画像とその撮像時刻をメモリに記録する（ステップＳ２１）。画像抽出部１４０は、当該撮像画像と開始画像とに基づいて位相限定相関法などにより物体の移動量を検出する（ステップＳ２２）。画像抽出部１４０は、物体の移動量に基づいて、抽出画像群のフレームレート及び各抽出画像の幅を決定する（ステップＳ２３）。上記した例では、抽出画像群のフレームレートは、抽出画像群を構成する各一部領域間の撮影間隔の一例に相当し、各抽出画像の幅は、各一部領域のサイズの一例に相当する。
【００５５】
続いて、制御部１８０は、次の撮像画像とその撮像時刻をメモリに記録する（ステップＳ３１）。終了判定部１３１は、当該撮像画像の中から比較部分を抽出する（ステップＳ３２）。比較部分は、上記した例では、撮像画像上に設定された四隅の画像（左画像、右画像、上画像及び下画像）に相当する。終了判定部１３１は、基準画像と当該撮像画像との間で比較部分の差分を検出する（ステップＳ３３）。この差分の検出は、例えば、四隅の画像の各々について行われる。また、上記したように、この差分の検出には、テンプレートマッチング法などが適用される。
【００５６】
終了判定部１３１は、基準画像と当該撮像画像との間で比較部分の差分が存在しないか否かを判定する（ステップＳ１３）。この差分が存在しないか否かは、例えば、撮像画像全体のうちのいずれかの領域に差分が存在しないか否かにより判定される。ここでの基準画像は、上記した例では、第二の基準画像に相当する。
【００５７】
終了画像決定部１３２は、差分が存在すると判定された場合には（ステップＳ３４で「Ｎｏ」）、ステップＳ３１に戻る。一方、終了画像決定部１３２は、差分が存在しないと判定された場合には（ステップＳ３４で「Ｙｅｓ」）、当該撮像画像を終了画像と決定し（ステップＳ３５）、制御部１８０は、差分なしの状態が所定時間以上継続したか否かを判定する（ステップＳ３６）。
【００５８】
制御部１８０は、差分なしの状態が所定時間以上継続していない場合には（ステップＳ３６で「Ｎｏ」）、ステップＳ３１に戻るが、差分なしの状態が所定時間以上継続した場合には（ステップＳ３６で「Ｙｅｓ」）、撮像部１１０による撮像を終了させ（ステップＳ３７）、結合処理部１５０は、抽出画像群を結合して結合画像を生成する（ステップＳ３８）。このとき、撮像時刻を抽出画像に埋め込まれてもよい。なお、開始画像から終了画像までの撮像画像を順次にメモリに記録している場合には、抽出画像群はこれらの撮像画像から結合画像生成前に抽出されてもよいし、抽出画像群として抽出された状態でメモリに記録するようにしてもよい。また、上記したように、抽出画像群の各々の撮像時刻やサイズがメモリに記録されてもよい。
【００５９】
以上に説明したように、本実施形態に係る撮像装置１０は、複数の撮像画像を順次に撮像する撮像部１１０と、第一の基準画像との間に差分が存在する撮像画像が撮像されたか否かを判定する開始判定部１２１と、第一の基準画像との間に差分が存在する撮像画像が撮像されたと判定された場合に、当該撮像画像を開始画像として決定する開始画像決定部１２２と、開始画像の撮像以後に撮像される複数の撮像画像の各々の一部領域を抽出画像群として抽出する画像抽出部１４０と、抽出された抽出画像群を結合する結合処理部１５０を備えることを特徴とする、撮像装置１０が提供される。かかる構成によれば、物体の位置に基づいて自動的に結合画像の生成を開始することが可能となる。
【００６０】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６１】
１０    撮像装置
１１０  撮像部
１２０  撮像部
１２１  開始判定部
１２２  開始画像決定部
１３１  終了判定部
１３２  終了画像決定部
１４０  画像抽出部
１５０  結合処理部
１６０  表示部
１７０  操作部
１８０  制御部
１９０  記憶部
Ｐ１〜Ｐ９    抽出画像
Ｉｍ（Ｉｍ０〜Ｉｍ９）  撮像画像
【図１】
2013128182.tif 000003
【図２】
2013128182.tif 000004
【図３】
2013128182.tif 000005
【図４】
2013128182.tif 000006
【図５】
2013128182.tif 000007
【図６】
2013128182.tif 000008
【図７】
2013128182.tif 000009
【図８】
2013128182.tif 000010
【図９】
2013128182.tif 000011
【図１０】
2013128182.tif 000012
【図１１】
2013128182.tif 000013