(57)【要約】【課題】動画からタイムラプス動画に適した画像から成る画像群の取得が可能な画像処理装置を提供する。【解決手段】画像処理装置１０は、画像取得部１１と演算部１２とを有する。画像取得部１１は、特定のフレームレートで連続した複数の画像を含む第１の画像群を取得する。演算部１２は、前記第１の画像群に含まれる複数の画像の各々についてタイムラプス画像に適するか否かを判定し、適すると判定された複数の画像を含む第２の画像群を生成する。【選択図】図１
2017225037.tif 000002
【特許請求の範囲】
【請求項１】
特定のフレームレートを有する連続した複数の画像を含む第１の画像群を取得する画像取得部と、
前記第１の画像群に含まれる複数の画像の各々についてタイムラプス動画に適するか否かを判定し、適すると判定された複数の画像を含む第２の画像群を生成する演算部と
を備える、画像処理装置。
【請求項２】
ユーザによる操作を受ける操作部からの操作信号を受信する信号取得部をさらに備え、
前記演算部は、さらに前記画像取得部による前記第１の画像群の取得中に、前記信号取得部の受信した操作信号に基づき、前記第１の画像群に含まれる指定された画像を前記第２の画像群の候補に対して追加又は削除する、
請求項１に記載の画像処理装置。
【請求項３】
前記演算部は、前記第１の画像群に含まれる各々の前記画像の有する特徴に基づいて前記画像がタイムラプス動画に適するか否かを判定する、
請求項１に記載の画像処理装置。
【請求項４】
前記第２の画像群を構成する画像に対して、タイムラプス動画用の画像処理を施す画像処理部をさらに備える、請求項１に記載の画像処理装置。
【請求項５】
前記演算部は、前記第２の画像群の候補を構成する画像がタイムラプス動画に適するか否かを判定し、
当該判定の結果に応じて、前記第２の画像群の候補を構成する画像を変更する、
請求項１に記載の画像処理装置。
【請求項６】
前記第１の画像群を仮記録する仮記録部をさらに備え、
前記演算部は、前記仮記録部に既に記録されている既記録の画像と、現在の画像との間の画像の変化に基づき、前記現在の画像がタイムラプス動画に適するか否かを判定する、
請求項１に記載の画像処理装置。
【請求項７】
前記第１の画像群を仮記録する仮記録部をさらに備え、
前記演算部は、前記仮記録部に既に記録されている既記録の画像と、現在の画像との間の画像の変化に基づき、前記既記録の画像がタイムラプス動画に適するか否かを判定する、
請求項１に記載の画像処理装置。
【請求項８】
前記第２の画像群の候補を仮記録する仮記録部をさらに備え、
前記演算部は、前記仮記録部に既に記録されている前記第２の画像群の候補のうち時間的に連続した類似コマがある場合、ユーザによる手動選択の結果又は取得間隔に基づいて、前記第２の画像群の候補の中から、タイムラプス動画に適する画像を選択する、
請求項１に記載の画像処理装置。
【請求項９】
請求項１に記載の画像処理装置と、
前記第１の画像群を生成する撮像部と
を備える、撮像装置。
【請求項１０】
前記演算部は、前記画像取得部による前記第１の画像群の取得中、順次前記第２の画像群を生成する、請求項９に記載の撮像装置。
【請求項１１】
前記第１の画像群の取得中に、順次生成される前記第２の画像群を表示させるための表示情報を生成及び出力する表示制御部をさらに備える、請求項１０に記載の撮像装置。
【請求項１２】
前記表示制御部の出力した前記表示情報に基づく画像を表示する表示部をさらに備える、請求項１１に記載の撮像装置。
【請求項１３】
外部の操作機器へ前記表示制御部の出力した表示情報を送信する通信部をさらに備える、請求項１１に記載の撮像装置。
【請求項１４】
前記表示制御部は、前記第１の画像群又は前記第２の画像群に含まれる各画像を、当該画像の取得時間又は生成時間に基づき並べて表示するための前記表示情報を出力する、
請求項１１に記載の撮像装置。
【請求項１５】
前記第１の画像群の取得時の状況を検知するセンサ部をさらに備え、
前記演算部は、前記センサ部の出力に基づき、前記第２の画像群を生成する、
請求項９に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び撮像装置に関する。
【背景技術】
【０００２】
台本を用意していない等、構成が定まっていない状態で撮影された動画は、必要に応じて早送り、コマ飛ばしの処理等、編集をしなければ、鑑賞に耐える作品にできないことも多い。さらに、編集のために撮影した動画を全て見直すことは面倒である。一般に、撮影した動画は特定のフレームレートで連続した画像又は画像信号、すなわち動画コマを有する。これら複数の動画コマの中から任意の動画コマを抽出し、撮影した動画、すなわち元動画のあらすじを示すような動画を生成する動画は、タイムラプス動画と呼ばれ、その編集は、タイムラプス処理と呼ばれる。なお、タイムラプス動画は静止画、又は静止画及び動画の組み合わせに基づいて生成してもよい。例えば特許文献１には、撮影状況又は撮影設定に応じて、動画の撮影間隔及びタイムラプス動画の生成方法を設定することによって、タイムラプス動画を生成する撮像装置に係る技術が開示されている。
【０００３】
タイムラプス処理を行う元動画の撮影後に初めて、生成されたタイムラプス動画の内容を確認できるような装置では、確認した結果、ユーザの希望に沿わないタイムラプス動画であった場合でも撮り直すことができない場面が生じる可能性がある。さらに、撮影時間及び場所の異なる静止画像に基づいて生成されたタイムラプス動画では、構図及びストーリー性を含むタイムラプス動画における連続性が担保されない可能性がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１４２３２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、タイムラプス動画に適した画像から成る画像群の生成が可能な画像処理装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、画像処理装置は、特定のフレームレートを有する連続した複数の画像を含む第１の画像群を取得する画像取得部と、前記第１の画像群に含まれる複数の画像の各々についてタイムラプス動画に適するか否かを判定し、適すると判定された複数の画像を含む第２の画像群を生成する演算部とを備える。
【０００７】
本発明の一態様によれば、撮像装置は、前記画像処理装置と、前記第１の画像群を生成する撮像部とを備える。
【発明の効果】
【０００８】
本発明によれば、タイムラプス動画に適した画像から成る画像群の生成が可能な画像処理装置及び撮像装置を提供できる。
【図面の簡単な説明】
【０００９】
【図１】図１は、一実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図２】図２は、一実施形態に係る撮像装置の構成の別の一例を示すブロック図である。
【図３】図３は、一実施形態に係る第１の画像群から第２の画像群を選択する処理に係る概念について説明するための図である。
【図４】図４は、一実施形態に係る撮像装置制御処理の一例を示すフローチャートである。
【図５】図５は、一実施形態に係る動画撮影中のタイムラプス動画生成処理の一例を示すフローチャートである。
【図６】図６は、一実施形態に係る複数の第２の画像群の候補から第２の画像群を決定する処理に係る概念について説明するための図である。
【図７】図７は、一実施形態に係る動画コマの特徴に基づく判定処理の一例を示すフローチャートである。
【図８】図８は、一実施形態に係る現在の動画コマが適するか否かの判定処理の一例を示すフローチャートである。
【図９】図９は、一実施形態に係る既記録コマが適するか否かの判定処理の一例を示すフローチャートである。
【図１０】図１０は、一実施形態に係る風景の変化に伴う第２の画像群の候補の選出について説明するための図である。
【図１１】図１１は、一実施形態に係る撮像装置が表示部を備える場合における撮影モード・パラメータ等設定時の表示の一例を示す図である。
【図１２】図１２は、一実施形態に係る撮像装置が通信部及び操作機器を備える場合における撮影モード・パラメータ等の設定時の表示の一例を示す図である。
【図１３】図１３は、一実施形態に係る再生モード選択時の表示制御部の出力の一例を示す図である。
【図１４】図１４は、一実施形態に係る再生モード選択時の表示制御部の出力の一例であり、第２の画像群の表示に関する変形例の１つを示す図である。
【発明を実施するための形態】
【００１０】
<画像処理装置及び撮像装置の構成>
本発明の一実施形態に係る撮像装置１の構成例について、図１及び図２に示すブロック図を参照して説明する。ここで、図２に示す構成例において、図１に示す構成例と同様の箇所は、同一の符号を付してその説明を省略する。
【００１１】
一般に、動画は、静止画と異なり、鑑賞に時間を要し、流れや起承転結などが期待される。台本のない状態では鑑賞に値する動画作品の撮影は困難である。映画やＣＭに見られる動画のように、台本に沿って撮影を行い、得られた動画を編集し、作品を制作するのは手間がかかる。同様に、ドキュメンタリーのような順を追った追体験が可能な動画は、撮影においても鑑賞においてもニーズがあるが、これも編集なしでは鑑賞に耐えない。制作時間を短縮するための最も単純な編集方法がタイムラプス動画の編集であると言えるが、タイムラプス動画も、撮影が困難で、必要な動画コマを撮影することが誰にでもできるものではない。そこで、本発明では、撮影者は、どのコマを採用するかなどタイムラプス動画の編集に専念せず、通常の動画撮影で、自分が見たままを記録するような撮影スタイルに集中するだけでよいようにするなど、機器の取り扱いの簡便さを重視している。近年は、４Ｋ、８Ｋなど、動画における画質が向上しているので、ここから切り出したタイムラプス動画用の動画コマも高画質のものが得られ、鑑賞時の快適感を増す方向となっている。
このように撮影する動画は、特定のフレームレートで連続した複数の画像又は画像信号、すなわち複数の動画コマを有する。以下、これを第１の画像群とする。これら複数の動画コマの中から任意の動画コマを抽出し、撮影した動画、すなわち元動画のあらすじを示すような動画コマの集合を、以下第２の画像群とする。本実施形態では、第２の画像群から成る動画を生成する動画編集を、タイムラプス処理と呼ぶ。タイムラプス処理によって生成された動画を、タイムラプス動画と呼ぶ。なお、タイムラプス動画は静止画、又は静止画及び動画の組み合わせに基づいて生成されてもよい。本実施形態において、撮像装置１は、動画を撮影しながら、すなわち第１の画像群を取得するとともに、タイムラプス動画、すなわち第２の画像群を生成する、例えばデジタルカメラである。
【００１２】
ここで、一実施形態に係る第１の画像群から第２の画像群を選択する処理の概念について、図３を参照して説明する。図３（ａ）は、複数の動画コマＴ１乃至Ｔ８を含む第１の画像群Ｍ１を示す。図３（ｂ）は、複数の動画コマＩ１乃至Ｉ６を含む第２の画像群Ｍ２を示す。第１の画像群Ｍ１は、日が暮れるのに伴い、徐々に暗くなるといった風景の変化を捉えているが、連続した各動画コマ間の変化は小さい。
【００１３】
撮像装置１は、第１の画像群Ｍ１からタイムラプス動画にふさわしい動画コマを判定し、判定の結果から動画コマＩ１及びＩ２を抽出する。タイムラプス動画にふさわしい動画コマの判定は、詳細は後述するが、複数の判定条件、手動選択結果、及び複数の設定条件に基づく。同様にして、撮像装置１はタイムラプス動画にふさわしい動画コマとして、Ｔ８より後の第１の画像群Ｍ１から動画コマＩ３乃至Ｉ６を抽出し、第２の画像群Ｍ２として生成する。この場合、タイムラプス動画を再生するときは、例えば、任意の一定のフレームレートで第２の画像群Ｍ２を再生する。ここでは、第２の画像群そのものをもタイムラプス動画と称することにする。このように、撮像装置１は撮影する動画からタイムラプス動画に適する複数の動画コマを判定によって抽出し、これら適すると判定された複数の動画コマから成る第２の画像群、すなわちタイムラプス動画を生成する。
【００１４】
ここで、図１及び図２に示すブロック図を再び参照して、一実施形態に係る撮像装置１の構成例について説明する。図２に示す構成例は、図１の構成例に示す撮像装置１が、本体２と操作機器５０とから成る場合である。すなわち、図１に示す構成例と図２に示す構成例との相違点は、例えば、撮影時にユーザが保持するものが撮像装置１であるか、操作機器５０であるかの点である。図１に示す構成例は、全ての要素が一体となって撮像装置１を構成する例であり、例えば一眼レフデジタルカメラの場合である。図２に示す構成例は、操作機器５０のみ別体となって撮像装置１を構成する例であり、例えばレンズ型カメラとスマートフォンの場合である。
【００１５】
図１を参照して説明する。撮像装置１は、画像処理装置１０を有する。画像処理装置１０は、入力された動画又は画像群の中から、タイムラプス動画にふさわしい動画コマを判定し、適すると判定された複数の動画コマから成るタイムラプス動画を生成する。画像処理装置１０は、画像取得部１１と、演算部１２と、仮記録部１３ａと、記録部１３ｂと、信号取得部１４と出力部１５とを有する。
【００１６】
画像取得部１１は、画像処理装置１０の外部より入力される動画、すなわち第１の画像群を取得する。入力される動画は、既に記録媒体へ保存された動画でも、撮影中の動画でもよい。撮影中の動画を入力として用いる場合、入力される動画は、後述する撮像部２０が生成する動画でも、別途撮像する機能を有する外部機器と接続して取得する動画でもよい。
【００１７】
演算部１２は、詳細は後述するが、主として画像処理に係る制御、動画コマがタイムラプス動画に適するか否かの判定、及び第２の画像群の生成、すなわちタイムラプス動画の生成を担う。
【００１８】
仮記録部１３ａは、一時的に情報を記録する要素である。仮記録部１３ａは、例えばStatic Random Access Memory（ＳＲＡＭ）やDynamic Random Access Memory（ＤＲＡＭ）のような揮発性メモリであるが、フラッシュメモリのような不揮発性メモリであってもよい。仮記録部１３ａは、例えば、画像取得部１１の取得する第１の画像群、演算部１２の生成する第２の画像群の候補、及び演算部１２の生成する第２の画像群、すなわちタイムラプス動画を記録する。仮記録部１３ａは、第１の画像群に含まれる画像を取得した際の状態を検知又は計測した複数種の値を記録する。これらの値は、後述するセンサ部４１が検知又は計測して出力する値と、後述する時計部４２が出力する値とを含む。また、仮記録部１３ａは、演算部１２の生成する表示用に圧縮された画像を記録してもよい。例えば、仮記録部１３ａの記録する情報は、以下のようにしてもよい。仮記録部１３ａは、第１の画像群に含まれる複数の画像を記録する。そして、仮記録部１３ａは、第２の画像群の候補及び第２の画像群として、各々に含まれる画像は、記録している第１の画像群に含まれる何れの画像なのかを特定する情報を記録する。
【００１９】
記録部１３ｂは、演算部１２の出力する画像データを含む情報を記録する。記録部１３ｂは、例えば、画像取得部１１の取得する第１の画像群、演算部１２の生成する第２の画像群、すなわちタイムラプス動画を記録する。これらの画像、画像群、及び動画は、演算部１２によって記録又は表示のために圧縮されたものを含む。記録部１３ｂが記録するものは、上述の仮記録部１３ａが記録するものを含んでもよい。
【００２０】
記録部１３ｂは、条件部１３ｃを有する。条件部１３ｃは、詳細は後述するが、動画コマがタイムラプス動画に適するか否かを演算部１２が判定する際に用いる複数の判定条件を記録している。条件部１３ｃは、画像取得部１１による第１の画像群取得時の設定を含む、画像処理装置１０及び撮像装置１の動作に係る各種の設定を記録している。
【００２１】
信号取得部１４は、画像処理装置１０への各種の入力信号を取得する。例えば、各々の詳細は後述するが、信号取得部１４は、操作部３１、センサ部４１、時計部４２の出力を取得する。信号取得部１４は、画像取得部１１を含んで後述する撮像部２０の出力を取得してもよいし、画像取得部に含まれていてもよい。信号取得部１４は、取得した信号等を演算部１２へ出力する。
【００２２】
出力部１５は、画像処理装置１０の外部への各種の出力を取得する。各種の出力は、画像データを含む。出力部１５の出力は、例えば、演算部１２の出力する、後述する撮像部２０の制御に係る信号と、表示部３２及び表示部５２へ向けた表示情報に係る信号とを含む。出力部１５の出力先は、画像処理装置１０の外部にある記録媒体であってもよい。この場合において、例えば、仮記録部１３ａ、記録部１３ｂ、及び条件部１３ｃは画像処理装置１０の外部にあってもよい。出力部１５は、第１乃至第２の画像群を含む画像データ等を、撮像装置１の外部のＴＶ、パーソナルコンピュータのディスプレイ、及び車載ディスプレイ等へ出力し、ユーザが撮影した動画、及び撮像装置１の生成したタイムラプス動画等を確認及び観賞できるようにしてもよい。
【００２３】
ここで、上述の演算部１２について詳細に説明する。演算部１２は、撮影制御部１２ａと、判定部１２ｂと、圧縮制御部１２ｃと、取捨選択部１２ｄと、記録制御部１２ｅと、リサイズ部１２ｆと、表示制御部１２ｇと、画像処理部１２ｈとを有する。演算部１２及び演算部１２の備える各要素は、Central Processing Unit（ＣＰＵ）、Application Specific Integrated Circuit（ＡＳＩＣ）、Field Programmable Gate Array（ＦＰＧＡ）、又はGraphics Processing Unit（ＧＰＵ）等の集積回路等を含む。演算部１２及び演算部１２の備える各要素は、それぞれ１つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、演算部１２の備える各要素のうち２つ以上が、１つの集積回路等で構成されてもよい。これら集積回路等の動作は、例えば仮記録部１３ａ、記録部１３ｂ、条件部１３ｃ、又は集積回路等がその内部に備える記録領域に記録されたプログラムに従って行われる。
【００２４】
撮影制御部１２ａは、撮影モード及びパラメータ設定等、撮影に係る制御を行う。撮影制御部１２ａは、例えば、再生モード及び撮影モードの何れを実行するかの判定、静止画撮影をするか否かの判定、動画撮影をするか否かの判定等を行う。これらの判定は、信号取得部１４が取得する、ユーザによる操作結果に係る操作信号に基づく。さらに撮影制御部１２ａは、事前に設定された撮影間隔等の条件に基づき、撮影に係る制御を行う。撮影制御部１２ａによる制御対象は、例えば後述する撮像部２０である。
【００２５】
判定部１２ｂは、画像取得部１１が取得する第１の画像群に含まれる各動画コマに対して、タイムラプス動画に適する画像か否かを判定する。判定部１２ｂは、タイムラプス動画に適すると判定した動画コマを、第２の画像群の候補として選択する。すなわち、第２の画像群及びその候補に含まれる動画コマは、第１の画像群に含まれる。判定部１２ｂは、第２の画像群の候補として選択した動画コマ又は当該動画コマを指定する情報を、仮記録部１３ａへ記録するために、後述する記録制御部１２ｅへ出力する。
【００２６】
判定部１２ｂによるタイムラプス動画に適する画像か否かの判定において、第１の判定条件は、現在の動画コマそのものの特徴がタイムラプス動画に適するか否かである。第２の判定条件は、仮記録部１３ａに保存されている既記録の動画コマ（既記録コマ）を分析して、既記録コマと現在の動画コマとの関係の評価を行った結果、現在の動画コマがタイムラプス動画に適するか否かである。第３の判定条件は、仮記録部１３ａに保存されている既記録コマを分析して、既記録コマと現在の動画コマとの関係の評価を行った結果、既記録コマがタイムラプス動画に含まれる動画コマとして適しているか否かである。これらの判定における第１乃至第３の判定条件は、条件部１３ｃに記録されている。なお、第１乃至第３の判定条件の各々の詳細は、撮像装置１の動作の説明と共に後述する。
【００２７】
圧縮制御部１２ｃは、例えば動画データの圧縮を行う。動画データは、例えば画像取得部１１の取得する第１の画像群及び第２の画像群である。圧縮制御部１２ｃは、何れの形式に基づいて動画データを圧縮するかを含む判定を行ってもよい。この動画データの圧縮に係る判定は、信号取得部１４の取得する、ユーザによる操作結果に係る操作信号に基づく。また、圧縮制御部１２ｃは、タイムラプス処理とは異なる、動画データに対してコマ飛ばし、分割、削除、及び結合等の処理を担ってもよい。さらに、圧縮制御部１２ｃは、静止画撮影によって得られた画像を含む静止画、及び音声についての圧縮を行ってもよい。
【００２８】
取捨選択部１２ｄは、判定部１２ｂがタイムラプス動画に適する動画コマであると判定した第２の画像群の候補について、時間的に連続した類似コマがある場合に、タイムラプス動画を構成する動画コマとして、よりふさわしいものを選択する。この選択は、ユーザによる手動選択の結果又は条件部１３ｃに記録されている第４の判定条件に基づく。
【００２９】
記録制御部１２ｅは、撮像装置１における記録動作に係る。記録制御部１２ｅは、画像取得部１１の取得する第１の画像群と、第２の画像群の候補とを仮記録部１３ａ若しくは記録部１３ｂ、又はその両方へ記録する。この際、後述するセンサ部４１及び時計部４２の出力も併せて記録する。撮像装置１及び画像処理装置１０が各々の外部に記録媒体を有する場合には、これら記録媒体へ記録するようにしてもよい。
【００３０】
リサイズ部１２ｆは、主に画像のリサイズ処理を行う。リサイズ部１２ｆは、例えば、第１の画像群及び第２の画像群に基づき、それぞれサムネイル表示に用いるためのサムネイル画像を生成する。なお、リサイズ部１２ｆは、圧縮制御部１２ｃを含んで動画の圧縮を行ってもよいし、圧縮制御部１２ｃに含まれていてもよい。
【００３１】
表示制御部１２ｇは、第１の画像群及び第２の画像群、並びにリサイズ部１２ｆの出力するサムネイル画像群等を含む表示情報を生成し、出力する。この生成及び出力には、タイムラプス動画に適する画像か否かの判定、及び連続した類似コマがある場合に、タイムラプス動画を構成する画像として、よりふさわしいものを選択する判定等における各種の手動選択に係る表示情報を含む。表示情報は、後述する操作部３１がタッチパネルである場合など操作部３１と後述する表示部３２とが同一箇所にあるときには、操作のための表示を含む。
【００３２】
画像処理部１２ｈは、得られた画像データ、動画コマにその用途にふさわしい画像処理を施す。画像処理部１２ｈは、動画に含まれる各々の画像に対しては、各動画コマの滑らかさが損なわれないようなコントラストや階調処理を行う。一方、タイムラプス動画に含まれる各々の画像に対しては、画像処理部１２ｈは、各動画コマがそれ自身の特徴を示す静止画的な画像処理を行う。例えば、画像処理部１２ｈは、その状況にふさわしい特殊効果処理をかけて、生成する動画にめりはりが付くようにしてもよい。このように処理された結果は、同じ動画コマであっても、画像処理前の動画コマと置き換えられずに、別に記録部に記録されてもよい。このような用途に応じた画像処理は、再生時に施されてもよい。画像処理部１２ｈは、ブレ補正についても、タイムラプス動画用の動画コマではブレが見えないように補正した方がよい。動画用の動画コマでは、再生時にその動画コマはすぐに次の動画コマに変わるので、画像処理部１２ｈは、そこまで厳密に補正しないこととしてもよい。
【００３３】
撮像装置１は、撮像部２０と、操作部３１と、表示部３２と、センサ部４１と、時計部４２とをさらに有する。
【００３４】
撮像部２０は、例えば撮像光学系と撮像素子とを有する。撮像部２０は、撮像光学系を介して撮像素子の撮像面に結像した像に基づいて、画像データを生成する。撮像部２０は、生成した画像データを画像取得部１１へ出力する。撮像光学系は、例えば焦点距離を変更できるズーム光学系を含む。操作部３１の出力する操作信号は、信号取得部１４及び演算部１２を介して受信する。撮像部２０は、撮像装置１とは別体として、すなわち外部機器として用意してもよい。
【００３５】
操作部３１は、ユーザの操作結果を入力として取得し、取得結果を操作信号として画像処理装置１０へ出力する。画像処理装置１０において、演算部１２は、信号取得部１４を介して操作信号を取得する。例えば、撮像装置１の撮影モード及びパラメータを設定する際、並びに第２の画像群へ追加する任意の動画コマを手動選択する際等に操作部３１は用いられる。操作部３１は、ユーザの操作する要素として、押しボタン、つまみ、ダイヤル、及びスライダ等を含む。操作部３１は、画像処理装置１０の含まれる筐体上にあってもよく、タッチパネルとして備えられてもよい。
【００３６】
表示部３２は、取得した表示情報に基づき表示を行う。表示部３２は、表示情報を表示制御部１２ｇから取得する。表示部３２は、例えば、撮影中の動画を含む第１の画像群のライブビュー表示、生成中のタイムラプス動画、すなわち第２の画像群の再生又はサムネイルの表示、及び操作部３１に係る表示を行う。表示部３２は、画像処理装置１０の含まれる筐体上にあっても、図２に示す構成例のように、後述する操作機器５０にあっても、これらの両方にあってもよい。
【００３７】
センサ部４１は、方位、及び位置、振動等を計測又は検知するセンサを含む。センサ部４１は、これら複数のセンサの検知した値を信号取得部１４へ出力する。センサ部４１の出力は、詳細は後述するが、動画コマがタイムラプス動画に適するか否かの判定に用いられる。センサ部４１は、傾き、加速度、音量、温度、輝度、気圧等を計測するセンサを有してもよい。センサ部４１は、撮像装置１の外部に設けられる外部センサを含んでもよい。すなわちセンサ部４１は、第１の画像群の取得時における撮像装置１の状況を検知するものであれば限定されない。
【００３８】
時計部４２は、時刻情報を生成し、出力する。時計部４２の出力する時刻情報は、画像取得部１１の取得する第１の画像群に含まれる各々の画像と関連付けられる。また、時計部４２の出力は、信号取得部１４によって取得され、撮像装置１におけるタイマー撮影、動画撮影、及びタイムラプス動画撮影等において、撮影制御及び撮影間隔制御等に係る。
【００３９】
図２に示すように、撮像装置１が別の構成例を有する場合について説明する。このとき、撮像装置１は、本体２と操作機器５０とを有する。本体２は、図１における撮像装置１の有する要素に加え、通信部１６をさらに有する。
【００４０】
通信部１６は、出力部１５の出力する信号及び情報を取得し、本体２の外部へと出力、すなわち送信する。また、通信部１６は、操作機器５０の出力を取得し、これを信号取得部１４へと出力する。通信部１６は、例えば、後述する操作機器５０と相互に通信をする。通信部１６は、撮像部２０と同様の要素が撮像装置１又は本体２の外部にある場合、その撮影制御及び撮影データ取得等に係る通信を行ってもよい。通信部１６は、センサ部４１及び時計部４２が撮像装置１又は本体２の外部にある場合、これらの出力を取得して、信号取得部１４へと出力するものであってもよい。
【００４１】
操作機器５０は、操作部５１と表示部５２とを有する。操作機器５０は、例えばスマートフォン、タブレット端末等である。操作機器５０がスマートフォンであるとき、例えば、操作部５１はタッチパネルであり、表示部５２は液晶パネルである。操作部５１は、ユーザの操作結果を入力として、この入力に基づく操作信号を生成する。操作部５１は、生成した操作信号を通信部１６へ出力する。操作部５１は、操作部３１と同様にスイッチ及びスライダ、ダイヤル等の機械的要素でもよいし、操作部５１がタッチパネルである場合など、後述する表示部５２と同一箇所に備えられるものでもよい。表示部５２は、表示制御部１２ｇの出力した表示情報を、通信部１６を介して取得する。表示部５２は、取得した表示情報に基づいて表示を行う。表示部５２の表示は、表示部３２の表示と同様に操作部５１に係る表示を含む。なお、操作機器５０と通信部１６との間の通信は、無線か有線かを問わない。また、操作機器５０が記録媒体をさらに有する場合には、記録制御部１２ｅは、通信部１６を介して、この記録媒体へ記録するようにしてもよい。図２に示す本体２が、その外部に記録媒体を有する場合には、これら記録媒体へ記録するようにしてもよい。
【００４２】
<撮像装置の動作>
図１又は図２に構成例を示す撮像装置１の動作について、図４に示すフローチャートを参照して説明する。ここでは、撮像装置１が図１に示す構成例を有する場合を例に、撮像装置１の動作について説明するが、撮像装置１が図２に示す構成例を有する場合であっても概ね同様である。なお、撮像装置１が図２に示す構成例を有する場合、図２における操作部５１は図１における操作部３１に相当し、図２における表示部５２は図１における表示部３２に相当する。
【００４３】
ステップＳ１０１において、演算部１２は、撮影モード又は再生モードの何れを実行するかを判定する。本ステップの詳細は以下の通りである。操作部３１は、ユーザの操作結果を取得する。操作部３１は、撮影モード及び再生モードの各々に対応するスイッチ等の要素、及びタッチパネルを含む。タッチパネルは、表示部３２の表示する操作に係る表示と一体として、操作部３１として機能する。タッチパネルの場合、表示制御部１２ｇは、撮影モード又は再生モードの何れを実行するかの選択のための表示情報を出力する。操作部３１は、取得した操作結果に基づき操作信号を生成する。操作部３１の生成した操作信号は、信号取得部１４が取得する。演算部１２は、信号取得部１４から操作信号を取得し、これに基づいて撮影モード又は再生モードの何れを実行するかを判定する。ここで、撮像装置制御処理は、演算部１２が撮影モードへ移行すると判定した場合はステップＳ１０２へ進み、再生モードへ移行すると判定した場合はステップＳ１１１へ進む。
【００４４】
ステップＳ１０２において、演算部１２は、ライブビュー表示を実行する。本ステップの詳細は以下の通りである。撮影制御部１２ａは、撮像部２０を制御するための制御信号を生成及び出力する。撮像部２０は、出力部１５を介して制御信号を取得し、これに基づいてライブビュー表示のために画像群の取得を開始する。画像処理装置１０は、画像取得部１１を介して画像群を取得する。演算部１２は、取得した画像に基づき、ライブビュー表示用の画像群を生成し、ライブビュー表示情報として出力する。図１に示す構成例では表示部３２が、図２に示す構成例では、表示部５２がこれを表示する。
【００４５】
ステップＳ１０３において、演算部１２は、モード及びパラメータ設定を行うか否かを判定する。本ステップの詳細は以下の通りである。演算部１２は、ステップＳ１０１と同様にして、操作部３１の生成する操作信号を取得し、これに基づいてモード及びパラメータ設定を行うか否かを判定する。ここで、撮像装置制御処理は、演算部１２がモード及びパラメータ設定を行うと判定した場合はステップＳ１０４へ進み、設定を行わないと判定した場合はステップＳ１０５へ進む。
【００４６】
ステップＳ１０４において、演算部１２は、モード及びパラメータ設定を行う。本ステップの詳細は以下の通りである。表示制御部１２ｇは、設定に係る表示情報を生成し、出力する。操作部３１がタッチパネルである場合、表示情報は、操作部３１に係る表示情報を含む。表示部３２は、これを表示する。演算部１２は、ステップＳ１０１と同様にして、操作部３１の生成する操作信号を取得し、これに基づいてモード及びパラメータ設定を行う。これら設定は、例えば、記録部１３ｂ等に記録される。設定終了後、撮像装置制御処理は、ステップＳ１０５へ進む。
【００４７】
ステップＳ１０５において、演算部１２は、静止画撮影をするか否かを判定する。本ステップの詳細は以下の通りである。演算部１２は、ステップＳ１０１と同様にして、操作部３１の生成する操作信号を取得し、これに基づいて静止画撮影をするか否かを判定する。静止画撮影への移行及び静止画撮影の実行は、例えば、レリーズボタンの押下によって行うようにしてもよいし、タッチパネルを使用したタッチレリーズによって行うようにしてもよい。ここで、撮像装置制御処理は、演算部１２が静止画撮影を行うと判定した場合はステップＳ１０６へ進み、静止画撮影を行わないと判定した場合はステップＳ１０７へ進む。
【００４８】
ステップＳ１０６において、演算部１２は、静止画撮影を開始する。本ステップの詳細は以下の通りである。静止画撮影時、画像取得部１１は、撮像部２０より画像を取得して演算部１２へ出力する。演算部１２は画像に対して画像処理を行い、これを記録部１３ｂへ記録する。表示部３２は、これを表示する。静止画撮影の終了後、撮像装置制御処理は、ステップＳ１０７へ進む。
【００４９】
ステップＳ１０７において、演算部１２は、動画撮影を開始するか否かを判定する。本ステップの詳細は以下の通りである。演算部１２は、ステップＳ１０１と同様にして、操作部３１の生成する操作信号を取得し、これに基づいて動画撮影を開始するか否かを判定する。操作部３１は、動画撮影への移行及び動画撮影の実行のための専用の要素、例えば、動画撮影ボタンを有していてもよい。ここで、撮像装置制御処理は、演算部１２が動画撮影を開始すると判定した場合はステップＳ１０８へ進み、開始しないと判定した場合はステップＳ１０１におけるモード選択へ戻る。
【００５０】
ステップＳ１０８において、撮像装置１は、動画撮影を開始する。本実施形態では、動画撮影時に動画データとタイムラプス動画データとを取得する、タイムラプス動画生成処理を行う。タイムラプス動画生成処理について、図５に示すフローチャートを参照して説明する。
【００５１】
ステップＳ２０１において、画像処理装置１０は、タイムラプス動画生成処理に係る事前処理を行う。本ステップの詳細は以下の通りである。画像取得部１１は、撮像部２０の出力する動画コマを取得する。この動画コマは、第１の画像群として記録される。さらに、画像取得部１１は、この動画コマを判定部１２ｂへ出力する。判定部１２ｂは、取得した動画コマの有する画像特徴を検出し、当該動画コマの画像データと共に記録制御部１２ｅへ出力する。画像特徴は、例えば人物の顔、ペット、特徴的な風景の一部、輝度等の特徴を含む。また、信号取得部１４は、センサ部４１の出力及び時計部４２の出力等を取得して記録制御部１２ｅへ出力する。記録制御部１２ｅは、これらを仮記録部１３ａ又は記録部１３ｂへ記録する。演算部１２又は表示制御部１２ｇは、当該動画コマを表示するための表示情報を生成し、表示部３２へ出力する。これら事前処理の終了後、タイムラプス動画生成処理は、ステップＳ２０２へ進む。
【００５２】
ステップＳ２０２において、判定部１２ｂは、現在の動画コマを手動選択によって第２の画像群の候補として選択するか否かを判定する。本ステップの詳細は以下の通りである。表示制御部１２ｇは、当該動画コマ及び手動選択のための操作に係る表示を含む表示情報を生成し、表示部３２へ出力する。操作部３１は、ユーザの操作結果を操作信号として生成し、出力する。判定部１２ｂは、操作信号を、信号取得部１４を介して取得し、当該動画コマを手動選択によって第２の画像群の候補として選択するか否かを判定する。手動選択は、例えばレリーズボタンの押下でもよいし、タッチパネルを使用したタッチでもよい。撮像装置１は、手動選択のための操作要素、例えば手動選択ボタンを有していてもよい。タイムラプス動画生成処理は、判定部１２ｂが当該動画コマを手動選択によって第２の画像群の候補として選択すると判定した場合はステップＳ２１０へ進み、選択しないと判定した場合はステップＳ２０３へ進む。なお、判定部１２ｂが当該動画コマを手動選択によって第２の画像群の候補として選択すると判定した場合において、ステップＳ２０９へ進むようにしてもよい。本ステップにおいて、ユーザは現在の動画コマを手動選択によって第２の画像群の候補に対して追加できると述べたが、同様に、追加しないように選択することもできる。
【００５３】
ステップＳ２０３において、演算部１２は、動画コマの特徴に基づく判定処理を行う。本ステップの詳細は以下の通りである。判定部１２ｂは、第１の画像群に含まれる現在の動画コマそのものの特徴がタイムラプス動画の動画コマとしてふさわしいか否か、すなわち第１の判定条件に基づく判定を行う。判定の詳細は後述する。当該動画コマが第１の判定条件を満たすか否かの２値の判定の他に、タイムラプス動画に対する適合度の指数のような得点を用いてもよい。当該動画コマそのものの特徴がタイムラプス動画にふさわしいと判定された場合、当該動画コマは、第２の画像群として仮記録部１３ａへ記録される。第１の判定条件に基づく判定処理の後、タイムラプス動画生成処理は、ステップＳ２０４へ進む。
【００５４】
ステップＳ２０４において、演算部１２は、動画コマの特徴に基づく判定処理の結果を評価する。タイムラプス動画生成処理は、動画コマの特徴に基づく判定処理の結果、現在の動画コマが第１の判定条件を満たすと判定された場合はステップＳ２０９へ進み、満たさないと判定された場合はステップＳ２０５へ進む。
【００５５】
ステップＳ２０５において、演算部１２は、現在の動画コマが既に記録された動画コマとの関係で、タイムラプス動画の動画コマとして適するか否かの判定処理を行う。本ステップの詳細は以下の通りである。判定部１２ｂは、第１の画像群に含まれる既記録コマを分析し、分析結果に基づき、既記録コマと当該動画コマとの関係を評価する。評価の結果に基づき、当該動画コマがタイムラプス動画にふさわしい動画コマか否か、すなわち第２の判定条件に基づく判定を行う。判定の詳細は後述する。ステップＳ２０３と同様に、得点を用いた評価でもよい。当該動画コマが第２の判定条件を満たすと判定された場合、当該動画コマは、第２の画像群として仮記録部１３ａへ記録される。第２の判定条件に基づく判定処理の後、タイムラプス動画生成処理は、ステップＳ２０６へ進む。
【００５６】
ステップＳ２０６において、演算部１２は、現在の動画コマが適するか否かの判定処理の結果を評価する。タイムラプス動画生成処理は、ステップＳ２０５における判定処理の結果、当該動画コマが第２の判定条件を満たすと判定された場合はステップＳ２０９へ進み、満たさないと判定された場合はステップＳ２０７へ進む。
【００５７】
ステップＳ２０７において、演算部１２は、既記録コマがタイムラプス動画の動画コマとして適するか否かの判定処理を行う。本ステップの詳細は以下の通りである。判定部１２ｂは、第１の画像群に含まれる既記録コマを分析し、分析結果に基づき、既記録コマと現在の動画コマとの関係を評価する。評価の結果に基づき、既記録コマが現在の動画コマとの関係でタイムラプス動画にふさわしいか否か、すなわち第３の判定条件に基づく判定を行う。判定の詳細は後述する。ステップＳ２０３と同様に、得点を用いた評価でもよい。既記録コマが第３の判定条件を満たすと判定された場合、既記録コマは、第２の画像群として仮記録部１３ａへ記録される。第３の判定条件に基づく判定処理の後、タイムラプス動画生成処理は、ステップＳ２０８へ進む。
【００５８】
ステップＳ２０８において、演算部１２は、既記録コマが適するか否かの判定処理の結果を評価する。タイムラプス動画生成処理は、ステップＳ２０７における判定処理の結果、既記録コマが第３の判定条件を満たすと判定された場合はステップＳ２０９へ進み、満たさないと判定された場合はステップＳ２１１へ進む。
【００５９】
ステップＳ２０９において、演算部１２は、連続で類似コマがある場合、ふさわしい動画コマを選択する。本ステップの詳細は以下の通りである。取捨選択部１２ｄは、第１乃至第３の判定条件によって選択された複数の動画コマ、すなわち複数の第２の画像群又は第２の画像群の候補に含まれる画像、すなわち動画コマのうち、時間的に連続した類似コマがある場合、タイムラプス動画にふさわしいものを第４の判定条件に従って選択する。
【００６０】
一実施形態に係る第４の判定条件に基づく判定の概念を図６に示す。図６の１行目は、特定のフレームレートで連続した複数の動画コマ、すなわち第１の画像群を模式的に示している。図６の２行目は、第２の画像群の候補のうち、ステップＳ２０３において選出された第１のタイムラプス候補を模式的に示す。第１のタイムラプス候補は時間的に離れた２つの動画コマＦ１及びＦ４を有する。図６の３行目は、第２の画像群の候補のうち、ステップＳ２０５において選出された第２のタイムラプス候補を模式的に示す。第２のタイムラプス候補は動画コマＦ２を有する。図６の４行目は、第２の画像群の候補のうち、ステップＳ２０７において選出された第３のタイムラプス候補を模式的に示す。第３のタイムラプス候補は動画コマＦ５を有する。
【００６１】
図６に示すように、第１のタイムラプス候補における動画コマＦ１及び第２のタイムラプス候補における動画コマＦ２が時間的に連続した類似コマであり、動画コマＦ２は動画コマＦ１と比較してタイムラプス動画にふさわしい動画コマである場合について説明する。このとき、取捨選択部１２ｄは、第４の判定条件に基づいて動画コマＦ２がタイムラプス動画にふさわしいと判定する。判定後、取捨選択部１２ｄは、図６の５行目に模式的に示すように、動画コマＦ２を、第２の画像群に含まれる動画コマＦ３として決定し、動画コマＦ１を第２の画像群から削除する。一方で、第１のタイムラプス候補における動画コマＦ４及び第３のタイムラプス候補における動画コマＦ５は、同一の動画コマである。このようなとき取捨選択部１２ｄは、当該動画コマをそのまま第２の画像群に含まれる動画コマＦ６として決定する。
【００６２】
第４の判定条件は、動画コマ間の時間間隔による判定を含んでもよいし、第１乃至第３の判定条件における各条件への合致度をそれぞれ得点化し、各動画コマの獲得した得点による判定を含んでもよい。また、ステップＳ２０２において手動で選択された動画コマに関して、選択後にステップＳ２０９へ進んで、既取得の第２の画像群に含まれる動画コマと比較して、時間的に連続した類似コマがある場合に判定できるようにしてもよい。このとき、第４の判定条件を上述のように獲得得点による判定とし、手動選択した動画コマには、重み付けを大きくした得点を与えてもよい。また、ふさわしい動画コマの選択そのものを手動選択できるようにしてもよい。このとき、まず表示制御部１２ｇによってユーザに手動選択をするか否かを問う表示のための表示情報が生成される。ユーザは手動選択するか否かを、手動選択する場合には何れの動画コマを選択又は削除するのかを、操作部３１へ入力する。操作部３１は、ユーザの操作結果に基づく操作信号を生成し、出力する。演算部１２は、操作信号を取得し、ふさわしい動画コマを選出する。なお、取捨選択部１２ｄによって選択された動画コマは、次の動画コマに係る判定部１２ｂによる判定において、次の動画コマと連続した類似コマとなった場合、再び比較の対象と成り得る。
【００６３】
ここで、再び図５を参照し、一実施形態に係る動画撮影時のタイムラプス動画生成処理における撮像装置１の動作に関する説明へ戻る。上述のステップＳ２０９の後、タイムラプス動画生成処理は、ステップＳ２１０へ進む。ステップＳ２１０において、演算部１２は、タイムラプス候補コマを記録し、また当該候補コマを表示する。本ステップの詳細は以下の通りである。
【００６４】
記録制御部１２ｅは、第１乃至第４の判定条件に基づく判定処理を経て更新された第２の画像群を仮記録部１３ａへ記録する。このとき、画像処理部１２ｈは、動画を構成する各動画コマに対して、その用途に適した画像処理を行うようにしてもよい。これによって、動画コマ間の滑らかな遷移を重視した処理が動画になされる一方、タイムラプス動画を構成する画像には、動画コマ間の状況推移や変化を強調した画像処理を行うようにする。ここで行われる画像処理は、例えば、コントラストを上げ、階調表現は静止画的になめらかにするような処理である。画像処理部１２ｈは、必要に応じて画像処理でブレ補正を行う。また、画像処理を行ってもその動画コマが十分な画質とならない場合、撮影パラメータをタイムラプス動画にふさわしい画質になるような値に設定しなおして再撮影を行うような工夫を追加してもよい。さらには、例えば、演算部１２は、画質が不十分な動画コマに近接、又は隣接するタイミングの画質の良い動画コマをタイムラプス候補コマとして選択しなおすような処理を行ってもよい。
【００６５】
つまり、撮像装置１又は画像処理装置１０は、タイムラプス動画用の画像群を構成する画像には、タイムラプス動画用の画像処理を施す画像処理部１２ｈを有してもよい。さらに撮像装置１又は画像処理装置１０の有する演算部１２は、上述のタイムラプス動画用の画像群を構成する各々の画像がタイムラプス動画にふさわしいか否かを判定する要素を有してもよく、また、判定結果に応じて、選択された動画コマを変更するコマ変更部を有してもよい。
【００６６】
リサイズ部１２ｆは、第１の画像群及び第２の画像群に含まれる画像に基づきサムネイル表示用の画像群を生成する。表示制御部１２ｇは、サムネイル表示用の画像群及び取得時刻を含む表示情報を生成し、表示部３２へ出力する。タイムラプス動画生成処理は、上述のステップＳ２１０における処理が終了した後、ステップＳ２１１へ進む。
【００６７】
ステップＳ２１１において、演算部１２は、動画撮影を終了するか否かを判定する。本ステップの詳細は以下の通りである。表示制御部１２ｇは、ユーザによる動画撮影を終了するか否かの選択に係る表示情報を生成し、表示部３２へ出力する。操作部３１は、ユーザの操作結果を取得し、これを操作信号として出力する。操作部３１は、動画撮影終了の操作のための要素、例えば終了ボタン等を有していてもよい。演算部１２は、操作信号を取得し、動画撮影を終了するか否かを判定する。タイムラプス動画生成処理は、演算部１２が動画撮影を終了すると判定した場合はステップＳ２１２へ進み、終了しないと判定した場合はステップＳ２０１へ戻る。
【００６８】
ステップＳ２１２において、演算部１２は、取得した第１の画像群及び生成した第２の画像群を記録する。本ステップの詳細は以下の通りである。圧縮制御部１２ｃは、必要に応じて取得した第１の画像群及び生成した第２の画像群を圧縮する。このとき、表示制御部１２ｇは、ユーザが圧縮形式を選択できるように表示情報を生成してもよい。記録制御部１２ｅは、取得した第１の画像群及び生成した第２の画像群、又はこれらを圧縮したものを記録部１３ｂへ記録する。演算部１２は、記録処理の終了後にタイムラプス動画生成処理を終了する。このように、撮像装置１は、画像取得部１１による第１の画像群の取得中、すなわち動画撮影中に、順次第２の画像群、すなわちタイムラプス動画を生成できる。
【００６９】
図５に示すタイムラプス動画生成処理におけるステップＳ２０３における第１の判定条件について、図７に示す一実施形態に係る動画コマの特徴に基づく判定処理、すなわち第１の判定条件に基づく判定処理のフローチャートを参照して詳細に説明する。以下のステップＳ３０１乃至ステップＳ３０４における判定において、第１の判定条件に基づく判定処理の終了は、図５に示すフローチャート、すなわちタイムラプス動画生成処理におけるステップＳ２０４へ進むことを意味する。以下ステップＳ３０１乃至ステップＳ３０４における判定において、各々の判定の条件及び閾値は、条件部１３ｃに記録されている。また、各々の判定の閾値をユーザが設定できるようにしてもよい。
【００７０】
ステップＳ３０１において、判定部１２ｂは、現在の動画コマの画像内において、特定特徴画像部が検出されるか否かを判定する。本ステップの詳細は以下の通りである。特定特徴画像部は、人物の顔及びペット等の画像を含む。特定特徴画像部は、風景における特徴、例えば、山及び川等の自然物、並びに扉、壁、及び建造物等の人工物を含んでもよい。第１の判定条件に基づく判定処理は、判定部１２ｂが特定特徴画像部を検出したと判定した場合はステップＳ３０２へ進み、検出しないと判定した場合は終了する。
【００７１】
ステップＳ３０２において、判定部１２ｂは、現在の動画コマの画像に傾きがあるか否か、すなわち傾きが所定値未満か否かを判定する。本ステップの詳細は以下の通りである。画像の傾きは、当該動画コマの有する特徴部を基準として画像処理によって検出してもよいし、センサ部４１に含まれるジャイロセンサ及び加速度センサ等の出力によって検出してもよい。第１の判定条件に基づく判定処理は、判定部１２ｂが画像の傾きが所定値未満であると判定した場合はステップＳ３０３へ進み、所定値以上であると判定した場合は終了する。
【００７２】
ステップＳ３０３において、判定部１２ｂは、現在の動画コマの画像に、ぼけが少ないか否か、露出の白飛び及び黒潰れ等が無いか判定する。すなわち判定部１２ｂは、現在の動画コマの画像について、合焦かつ適正露出であるか否かを判定する。第１の判定条件に基づく判定処理は、判定部１２ｂが、合焦かつ適正露出であると判定した場合はステップＳ３０４へ進み、合焦していない又は適正露出ではないと判定した場合は終了する。例えば、本ステップにおける判定を所定の回数連続して通過できなかった場合等、撮影制御部１２ａによって絞り、シャッタースピード、及び焦点距離等を調節するようにしてもよい。
【００７３】
ステップＳ３０４において、判定部１２ｂは、現在の動画コマにおいて、人物及びペット等のポーズが良好であるか否か判定する。本ステップの詳細は以下の通りである。本判定において、判定の基準となるポーズを事前に登録しておいてもよいし、例えば顔と手等の間隔等に基づく閾値を設けてもよい。ステップＳ３０１における判定で検出した特定特徴画像部に基づき、例えば人物の体が写っているかを判定してもよい。第１の判定条件に基づく判定処理は、判定部１２ｂが当該動画コマにおいて、ポーズが良好であると判定した場合はステップＳ３０５へ進み、良好でないと判定した場合は終了する。
【００７４】
ステップＳ３０５において、記録制御部１２ｅは、現在の動画コマを第２の画像群の候補コマとして仮記録する。本ステップの詳細は以下の通りである。第１の判定条件に基づく判定処理は、上述の通り、全ての条件を満たした場合に、当該動画コマをタイムラプス候補コマとして選出する。このとき、上述したように、ステップＳ３０１乃至ステップＳ３０４における各々の判定条件への適合度によって得点を与え、当該動画コマが獲得した得点によって選出するか否かを判定するようにしてもよい。
【００７５】
上述の第１の判定条件に基づく判定処理において、全ての条件を満たさない状況が続くと、動画コマが取得されない時間が続き、タイムラプス動画で状況変化が追えなくなる可能性がある。そのため、所定時間がすぎると、上述の条件を満たさなくても、タイムラプス動画用の候補コマを追加するような工夫が必要である。こうして得られたタイムラプス候補コマは、判定部１２ｂによって、画質などを判定できるようにしてもよく、その場合、時間的に隣接するコマを選び直すような処理が出来るようにしてもよい。例えば、所定時間の間に上述の条件を満たさない場合、経過した時間に基づいて候補コマを仮決めする。その後、当該動画コマと前後の動画コマとを比べ、何れがタイムラプス動画用の動画コマにふさわしいかを選び直すような処理を行ってもよい。さらに、例えば、各々の動画コマについて、どの程度タイムラプス動画の候補コマにふさわしいかを数値化して、特定の時間間隔の中で得られた動画コマ群の中で、最も得点の高いものをタイムラプス候補コマとして選んだりするような方法が考えられる。記録制御部１２ｅは、選出された当該動画コマを、第２の画像群の候補コマとして仮記録部１３ａへ記録する。演算部１２は、記録処理の終了後に第１の判定条件に基づく判定処理を終了し、図５に示すタイムラプス動画生成処理におけるステップＳ２０４へ進む。
【００７６】
図５に示すタイムラプス動画生成処理におけるステップＳ２０５における第２の判定条件について、図８に示す一実施形態に係る現在の動画コマが適するか否かの判定処理、すなわち第２の判定条件に基づく判定処理のフローチャートを参照して詳細に説明する。第２の判定条件は、既に記録された動画コマと現在の動画コマとの関係の評価に基づく。以下ステップＳ４０２乃至ステップＳ４０５における判定において、各々の判定の条件及び閾値は、条件部１３ｃに記録されている。また、各々の判定の閾値をユーザが設定できるようにしてもよい。
【００７７】
ステップＳ４０１において、判定部１２ｂは、すでに撮影され、仮記録部１３ａへ記録されている動画コマ、すなわち既記録コマを分析する。本ステップの詳細は以下の通りである。既記録コマは、第１の画像群及び第２の画像群の何れに含まれるものでもよい。また、判定部１２ｂは、全ての既記録コマを分析してもよいし、必要な既記録コマのみ分析するようにしてもよい。分析する対象となる既記録コマは、例えば取得時刻の範囲によって決めてもよいし、現在の動画コマの画像との間の相関によって決めてもよい。また、記録制御部１２ｅは、以前の第２の判定条件に基づく判定処理における既記録コマの分析結果について仮記録部１３ａに記録し、判定部１２ｂがこれを分析に用いるようにしてもよい。この分析結果及び複数の既記録コマは、以下のステップＳ４０２乃至ステップＳ４０５における判定において、現在の動画コマとの関係を評価するために使用される。第２の判定条件に基づく判定処理は、既記録コマの分析の終了後、ステップＳ４０２へ進む。
【００７８】
ステップＳ４０２において、判定部１２ｂは、既記録の画像における風景など特徴が移動したか否かを判定する。本ステップの詳細は以下の通りである。上述のステップＳ３０１では、人物及びペット等を検出したか否かを判定したが、ここでは、主として風景における特徴、例えば、山及び川等の自然物、並びに扉、壁、及び建造物等の人工物等を検出し、その移動を評価する。このような移動は、例えば、撮像装置１を保持するユーザ又は撮像装置１が据え付けられた物体が、撮影方向に対して前方へ移動しているとき、前に見えていた風景が横に流れていく変化として検出される。さらに、特徴の移動は、後方へ移動しているとき及び撮像装置１の向く方向が変わっているとき等、横に見えていた風景が前方へ流れていく変化としても検出される。同様に、撮像装置１の前を特徴が移動していく変化等も検出される。第２の判定条件に基づく判定処理は、判定部１２ｂが特徴画像部の移動を検出したと判定した場合はステップＳ４０６へ進み、検出しないと判定した場合はステップＳ４０３へ進む。
【００７９】
ステップＳ４０３において、判定部１２ｂは、既記録コマにおける風景等の特徴画像部が、当該動画コマにおいて大きく変化しているか否かを判定する。本ステップの詳細は以下の通りである。判定部１２ｂは、例えば、ステップＳ４０２においては、撮像装置１又は特徴の移動に基づく、動画コマ内における特徴の移動を検出していたが、ここでは、撮像装置１及び特徴の移動の有無を問わず、その大きさが変化する場合も変化を検出することができる。また、判定部１２ｂは、特徴が経時変化するもの、例えば、夜景を撮っている時に花火が打ちあがったときでも、その変化を検出することができる。第２の判定条件に基づく判定処理は、判定部１２ｂが特徴画像部の大きな経時変化を検出したと判定した場合はステップＳ４０６へ進み、検出しないと判定した場合はステップＳ４０４へ進む。
【００８０】
ステップＳ４０４において、判定部１２ｂは、特定操作によってセンサ部４１の出力値が変化したか否かを判定する。本ステップの詳細は以下の通りである。特定操作は、撮像装置１の撮影方向が変化した、撮像装置１が加減速した、撮像装置１が屋内から外へ又はその逆の移動をした等を含む。例えば、撮像装置１が回転し、撮影する方向を変化させた場合、ジャイロセンサの出力値が変化し、方向転換後の動画コマを第２の画像群の候補へ加えることができる。また、撮像装置１が加減速した場合、加速度センサの出力値が変化する。屋内外の移動があっても、例えば、輝度センサを用いて周囲の光が自然光か否かを検出すること、又は位置センサ及び地図情報を用いて移動を検知することができる。そのため、変化後の動画コマを第２の画像群の候補へ加えることが出来る。これらセンサ出力値が変化した際には、起因となる出来事があったはずであるから、これを捉えることは本判定の効果の１つである。第２の判定条件に基づく判定処理は、判定部１２ｂが特定操作によってセンサ部４１の出力値が変化したと判定した場合はステップＳ４０６へ進み、変化していないと判定した場合はステップＳ４０５へ進む。
【００８１】
ステップＳ４０５において、判定部１２ｂは、人物のポーズ又は表情の変化があるか否か判定する。本ステップの詳細は以下の通りである。本判定は、例えば、人物が振り返ったり、手を挙げたりしたとき、その変化後の動画コマを、第２の画像群の動画コマとして捉えることができる。さらに本判定は、例えば、人物が泣き出したとき、笑い出したとき、怒り出したとき等を捉えることができる。第２の判定条件に基づく判定処理は、判定部１２ｂが人物のポーズ又は表情の変化があると判定した場合はステップＳ４０６へ進み、検出しないと判定した場合は終了する。ここで、第２の判定条件に基づく判定処理の終了は、図５に示すステップＳ２０６へ進むことである。
【００８２】
第２の判定条件に基づく判定処理において、上述の他に、判定部１２ｂは、例えば、これまで取得した画像に特徴的な変化がない場合、任意の間隔設定に基づき、現在の動画コマを第２の画像群の候補として選択するようにしてもよい。その後、取捨選択部１２ｄは、当該画像を第２の画像群として選択するか否かを判定することになる。
【００８３】
ステップＳ４０６において、記録制御部１２ｅは、現在の動画コマを第２の画像群の候補コマとして仮記録部１３ａに仮記録する。本ステップの詳細は以下の通りである。第２の判定条件に基づく判定処理によって判定部１２ｂは、上述の通り、ステップＳ４０２乃至ステップＳ４０５のうち何れか１つの条件を満たした場合に、当該動画コマをタイムラプス候補コマとして選出する。このとき、上述したように、ステップＳ４０２乃至ステップＳ４０５における各々の判定条件への適合度によって得点を与え、当該動画コマが獲得した得点によって選出するか否かを判定するようにしてもよい。演算部１２は、記録処理の終了後に第２の判定条件に基づく判定処理を終了し、図５に示すタイムラプス動画生成処理におけるステップＳ２０６へ進む。
【００８４】
図５に示すタイムラプス動画生成処理におけるステップＳ２０７における第３の判定条件について、図９に示す一実施形態に係る既記録コマが、タイムラプス動画に含まれる動画コマとして適するか否かの判定処理、すなわち第３の判定条件に基づく判定処理のフローチャートを参照して詳細に説明する。第３の判定条件は、既に記録された動画コマと現在の動画コマとの関係の評価に基づく。以下ステップＳ５０２乃至ステップＳ５０５における判定において、各々の判定の条件及び閾値は、条件部１３ｃに記録されている。また、各々の判定の閾値をユーザが設定できるようにしてもよい。
【００８５】
ステップＳ５０１において、判定部１２ｂは、上述のステップＳ４０１と同様にして、既記録コマを分析する。本ステップの詳細は以下の通りである。既記録コマは、第１の画像群及び第２の画像群の何れに含まれるものでもよい。この分析結果及び複数の既記録コマは、以下のステップＳ５０２乃至ステップＳ５０５における判定において、現在の動画コマとの関係の評価に使用される。第３の判定条件に基づく判定処理は、既記録コマの分析の終了後、ステップＳ５０２へ進む。
【００８６】
ステップＳ５０２において、判定部１２ｂは、画像が特定の規則で変化した後に安定したか否かを判定する。本ステップの詳細は以下の通りである。特定の規則は、例えば、特徴部の変化が一定時間続いた後で変化しなくなった場合である。本判定は、例えば、これまで歩いていた後に止まった場合、日が暮れる時など徐々に暗くなった後に明るさの変化が止まった場合等に止まる前の動画コマを捉えることができる。第３の判定条件に基づく判定処理は、判定部１２ｂが、画像が特定の規則で変化した後に安定したと判定した場合はステップＳ５０６へ進み、安定していないと判定した場合はステップＳ５０３へ進む。
【００８７】
ステップＳ５０３において、判定部１２ｂは、扉が左右又は上下、前後に開閉したか否かを判定する。本ステップの詳細は以下の通りである。本判定では、例えば、建物に入ったとき、出たとき、又はエレベータに乗ったとき、降りたとき等、扉の存在によって不連続な動画コマとなるときに、その変化前の動画コマを取得できる。第３の判定条件に基づく判定処理は、判定部１２ｂが、扉があって、かつ、扉が左右又は上下、前後に開閉したと判定した場合はステップＳ５０６へ進み、扉がない又は開閉していないと判定した場合はステップＳ５０４へ進む。なお、本判定は、例えばステップＳ４０３における判定を満たすような変化の後であるか否かを判定するものであってもよい。
【００８８】
ステップＳ５０４において、判定部１２ｂは、センサ部４１の出力値が変化した後であるか否かを判定する。本ステップの詳細は以下の通りである。本判定は、例えば、上述のステップＳ４０４において、その変化前の動画コマを取得できる。第３の判定条件に基づく判定処理は、判定部１２ｂが、センサ部４１の出力値が変化した後であると判定した場合はステップＳ５０６へ進み、変化した後ではないと判定した場合はステップＳ５０５へ進む。
【００８９】
ステップＳ５０５において、判定部１２ｂは、人物のポーズ又は表情が変化した後であるか否かを判定する。本ステップの詳細は以下の通りである。本判定は、例えば、上述のステップＳ４０５において、そのポーズ又は表情が変化する前の動画コマを取得できる。判定部１２ｂは、例えば、人物が泣き出した後であると検知した場合、仮記録部１３ａに記録されている既記録コマを参照し、泣く前の動画コマを第２の画像群の候補として選出する。これにより、上述のステップＳ４０５における第２の判定条件に基づく判定処理の一部と合わせて、泣く前及び泣き出した後の動画コマを取得できる。したがって、画像処理装置１０は、泣く理由となった原因が明らかな、ストーリー性のあるタイムラプス動画が生成できる。第３の判定条件に基づく判定処理は、判定部１２ｂが、人物のポーズ又は表情が変化した後であると判定した場合はステップＳ５０６へ進み、変化した後ではないと判定した場合はステップＳ５０３へ進む。
【００９０】
上述のステップＳ５０２乃至ステップＳ５０５の判定条件は、各々の判定条件を現在の動画コマが満たした場合に、既記録コマを第２の画像群に含まれる動画コマとして取得するものである。すなわち、仮記録部１３ａへ記録されている変化前の動画コマを取得するものである。第２の判定条件では現在の動画コマを、すなわち変化後を示す動画コマを取得していたが、第３の判定条件に基づく判定処理では、変化前を示す動画コマを取得することとなる。これによって、変化の前後を示す動画コマを捉えることができ、また、変化の原因となった出来事を捉えることができる。したがって、タイムラプス動画生成処理により画像処理装置１０は、連続性及びストーリー性を有したタイムラプス動画を生成できる。
【００９１】
ステップＳ５０６において、記録制御部１２ｅは、選出された既記録コマを第２の画像群の候補コマとして仮記録する。本ステップの詳細は以下の通りである。第３の判定条件に基づく判定処理は、上述の通り、ステップＳ５０２乃至ステップＳ５０５のうち何れか１つの条件を満たした場合に、既記録コマをタイムラプス候補として選出する。このとき、上述したように、ステップＳ５０２乃至ステップＳ５０５における各々の判定条件への適合度によって得点を与え、当該既記録コマが獲得した得点によって選出するか否かを判定するようにしてもよい。記録制御部１２ｅは、選出された既記録コマを、第２の画像群の候補コマとして仮記録部１３ａへ記録する。演算部１２は、記録処理の終了後に第３の判定条件に基づく判定処理を終了し、図５に示すタイムラプス動画生成処理におけるステップＳ２０８へ進む。
【００９２】
ここで、一実施形態に係るタイムラプス動画コマ選出の具体例を図１０に示す。図１０を参照して、タイムラプス動画コマ選出の過程について、詳細に説明する。図１０（ａ）は現在の動画コマより前に取得した画像、すなわち既記録コマが、図１０（ｂ）は現在の動画コマが、それぞれ撮像装置１が有する表示部３２に表示されている様子を示している。すなわち、図１０（ａ）に示す動画コマから図１０（ｂ）に示す動画コマへの変化は、時間経過に伴う。
【００９３】
ここで、現在の動画コマは既記録コマと比べて、画像中央部において、視界から山を遮る木々が無くなり、山に対する視界が開ける等、風景が大きく変化している。したがって、ステップＳ４０２における判定条件に該当し、現在の動画コマは、第２の画像群の候補として選出される。また、当該動画コマの後に取得される動画コマでは、それまで視界を遮る木々が徐々に減少していたものが、それ以上変化しなくなり、ステップＳ５０２における判定条件に該当する。すなわち、ここで図１０（ａ）に示す既記録コマが第２の画像群の候補として取得される。以上のように、変化の前後を取得し、本タイムラプス動画生成処理は、連続性及びストーリー性を有したタイムラプス動画を生成できる。さらに、変化の前後を取得した際には、その途中にある動画コマをさらに追加するようにしてもよい。
【００９４】
表示制御部１２ｇは、図１０（ｂ）に示す通知Ａ１のように、現在の動画コマ又は既記録コマがタイムラプス候補となったことをユーザに知らせる表示に係る表示情報を生成してもよい。なお、通知Ａ１は、音声による通知でもよい。また、例えば、表示部３２に通知Ａ１専用の要素として発光部等を設け、通知Ａ１は、これを点灯して行われてもよい。
【００９５】
また、例えば、人通りのある道を歩きながら撮像装置１によって撮影している場合、ユーザは多くの人とすれ違うこととなる。このとき、例えば図７に示す動画コマの特徴に基づく判定処理、すなわち第１の判定条件に基づく判定処理において、判定部１２ｂは、すれ違う人を検出する度に第２の画像群の候補として動画コマを取得する。同様に、第２の判定条件に基づく判定処理及び第３の判定条件に基づく判定処理においても、判定部１２ｂは、撮像装置１の移動、又は特徴部の移動に伴う動画コマ上の特徴部の移動等を検出する度に、第２の画像群の候補として動画コマを取得する。上述のように、第１乃至第３の判定条件のみでは、取得間隔の短い動画コマが多数取得される。このようなとき、第４の判定条件における、連続した類似コマがある場合にふさわしいものを選択する判定処理が寄与することとなる。
【００９６】
上述の取得間隔等の設定、及びその際の表示について、図１１及び図１２を参照して詳細に説明する。図１１は、撮像装置１が図１に示す構成例であるときに、表示制御部１２ｇの生成した取得間隔等の設定に係る表示情報を、表示部３２が表示している様子の一例を示している。図１２は、撮像装置１が図２に示す構成例であるとき、すなわち図１１に示す表示例に係る別の一例である。上述の説明と同様に、撮像装置１が図１に示す構成例を有する場合と、図２に示す構成例を有する場合とは概ね同様である。すなわち、撮像装置１が図２に示す構成例を有する場合、操作部５１は操作部３１に、表示部５２は表示部３２に相当する。間隔等条件を設定する際には、間隔等条件設定に係る表示６１のように、表示制御部１２ｇは、間隔等条件等と表示してもよい。ユーザは、表示部３２の表示に基づき、選択に係る要素６２を操作して間隔等条件設定を行う。ここで選択に係る要素６２は、例えば、スイッチ、ダイヤル、及びスライダ等であるが、これに限定されない。また、操作部３１がタッチパネルである場合には、間隔等条件設定に係る表示６１は操作部３１と一体となり、アイコンとして機能する。ユーザは、当該アイコンがある箇所に触れることで、間隔等条件設定を開始できる。操作に係る表示情報は、例えば、図１２に示すような撮影パラメータ設定に係る表示６３、撮影開始に係る表示６４、及び前の表示内容に移動する動作に係る表示６５等の画像処理装置１０又は撮像装置１の動作に係る表示を含む。
【００９７】
図１１及び図１２に示す間隔等条件設定に係る表示６１にあるように、この間隔等条件の設定によって、任意の間隔で第１の画像群及び第２の画像群を取得できる。一方で、手動選択によって間隔等条件を満たす画像以外を追加できるようにしてもよい。間隔等条件は随時変更可能である。本実施形態において、ユーザは動画撮影中、すなわち第１の画像群の取得中に、その時点までに生成された第２の画像群を逐次、確認可能である。ユーザは、第２の画像群の候補を確認した結果に応じて、仮記録部１３ａに記録されている既記録コマを新たに追加したり、撮影時間を延長したり、間隔等条件を調整したりできる。
【００９８】
以上のタイムラプス動画生成処理において、ステップＳ２０３乃至ステップＳ２０７は、何れか１つに該当すればよいものとして説明したが、これに限定されない。例えば、各々を得点による判定として、各々の動画コマに対して、ステップＳ２０３乃至ステップＳ２０７の全ての判定処理を経た後の合計得点でステップＳ２０９の判定が行われてもよい。
【００９９】
図１に示す一実施形態に係る画像処理装置１０を備える撮像装置１の再生モード選択時の動作について、図４に示すフローチャートを再び参照して説明する。
【０１００】
ステップＳ１１１において、演算部１２は、何れの画像を再生するのかユーザの操作に基づき決定する。本ステップの詳細は以下の通りである。表示制御部１２ｇは、仮記録部１３ａ又は記録部１３ｂに記録されている動画、すなわち画像群又は単一の画像を表示するための表示情報を生成し、表示部３２へ出力する。操作部３１は、ユーザの選択結果を操作信号として出力する。演算部１２は、信号取得部１４を介して操作信号を取得し、この操作信号に基づき、何れを再生するか決定する。
【０１０１】
ステップＳ１１２において、演算部１２は、何れの再生方式によって再生するのか、ユーザの操作に基づき決定する。本ステップの詳細は以下の通りである。表示制御部１２ｇは、通常動画又はタイムラプス動画、すなわち第１の画像群又は第２の画像群の何れを再生するかの選択に係る表示情報を生成し、表示部３２へ出力する。操作部３１は、ユーザの選択結果を操作信号として出力する。演算部１２は、操作信号を取得し、この操作信号に基づき、何れの再生方式で再生するか決定する。
【０１０２】
ステップＳ１１３において、演算部１２は、選択された動画又は画像の再生を開始する。ステップＳ１１４において、演算部１２は、再生を終了するか否かをユーザの操作結果に基づき判定する。本ステップの詳細は以下の通りである。表示制御部１２ｇは、再生を終了するか否かをユーザに問う表示に係る表示情報を生成し、表示部３２へ出力する。演算部１２は、ステップＳ１１２と同様にして操作信号を取得し、これを評価する。撮像装置制御処理は、演算部１２が「終了」が選択されたと判定した場合、再生を終了してステップＳ１０１へ戻り、選択されていないと判定した場合はステップＳ１１５へ進む。
【０１０３】
ステップＳ１１５において、演算部１２は、再生方式を切り替えるか否かをユーザの操作結果に基づき判定する。本ステップの詳細は以下の通りである。演算部１２は、ステップＳ１１４と同様にして操作信号を評価する。撮像装置制御処理は、演算部１２が「切替」が選択されたと判定した場合、ステップＳ１１６へ進み、選択されていないと判定した場合、ステップＳ１１４へ戻る。ステップＳ１１６において、演算部１２は、当該再生方式を切り替えて、再生を開始する。撮像装置制御処理は、再生方式の切り替え後、ステップＳ１１４へ戻る。
【０１０４】
上述のステップＳ１１１、Ｓ１１２、Ｓ１１４、及びＳ１１５におけるユーザの操作は、撮像装置１が、専用の操作のための要素、例えば再生ボタン、通常動画再生ボタン、タイムラプス動画再生ボタン、再生終了ボタン、及び再生切替ボタン等を設けて、これらによって行ってもよい。また、撮像装置１は、操作部３１をタッチパネルとして備え、表示制御部１２ｇによって操作に係る表示情報を生成してもよい。
【０１０５】
表示部５２における、表示制御部１２ｇによる出力の表示例について、図１３を参照してより詳細に説明する。ここでは撮像装置１が図２に示す構成例を有する場合における表示部５２の表示例を説明するが、これらは撮像装置１が図１に示す構成例を有する場合における表示部３２の表示であってもよい。図１３において、表示部５２は、表示制御部１２ｇの出力した撮像装置制御処理における再生モード実行時、又はタイムラプス動画生成処理における表示情報の一例を表示している。
【０１０６】
撮像装置制御処理における再生モード実行時における表示は、例えば、前の表示又は実行内容に戻る動作に係る表示６５、通常動画再生に係る表示６６、タイムラプス動画再生に係る表示６７、再生の一時停止に係る表示７０、及び再生の停止に係る表示７１を含む。操作部５１は、各々の表示に対応する要素を有する。複数の要素で１つの表示に係る操作を実行するようにしてもよいし、１つの要素で複数の表示に係る操作を実行するようにしてもよい。操作部５１はタッチパネルであり、これらの表示は操作部５１と一体となり、アイコンとして機能する。例えば、前の表示又は実行内容に戻る動作に係る表示６５に対応するアイコンを、以下「戻る」アイコンと称する。例えば、ユーザが「戻る」アイコンに触れると、撮像装置制御処理は、当該処理における再生モード内のステップの移動、又は再生モードから撮影モードへの切り替え等を実行する。再生画面に係る表示７３は、再生時に表示部５２の全画面に渡って表示させてもよいし、その際には操作部５１が全画面表示を終了するためのアイコンを備えてもよい。
【０１０７】
撮像装置制御処理における再生モード実行時に係る表示は、図１３に示すような第１の画像群のサムネイルの表示６８及び第２の画像群のサムネイルの表示６９をさらに含む。第２の画像群のサムネイルの表示６９は、図１４に示す第２の画像群のサムネイルに係る別の表示７２のように、画像間の表示間隔を変更した表示としてもよい。これらのサムネイル表示は、各々の画像の取得時間又は生成時間に基づいて並べて表示される例を示したが、表示する順番はこれに限定されない。ユーザは、例えば、第１の画像群のサムネイルの表示６８及び第２の画像群のサムネイルの表示６９の上でスクロール又はスワイプすることによって、画像群の表示範囲を変更できる。画像群の表示範囲を変更する際の表示は、表示する画像群を変更しても、表示する画像群に含まれる各々の画像間の間隔を詰めたり広げたりしてもよい。画像間の間隔を詰めて表示することは、特に第２の画像群の表示において、画像群の連続性を強調する効果がある。また、第２の画像群のサムネイルの表示６９と第２の画像群のサムネイルに係る別の表示７２とは、上述のようにユーザのスクロール又はスワイプ動作によって切り替えてもよいし、切り替えのためのアイコンを表示させてもよい。
【０１０８】
撮像装置１による撮像装置制御処理における撮影モード実行時及びタイムラプス動画生成処理中における表示は、例えば図１３又は図１４に示す表示と同様でもよい。このとき、通常動画再生に係る表示６６、タイムラプス動画再生に係る表示６７、再生の一時停止に係る表示７０、及び再生の停止に係る表示７１等の表示又は表示に係る動作において、「再生」は「撮影」と置換される。タイムラプス動画生成処理において、順次取得される第１の画像群は、第１の画像群のサムネイルの表示６８に順次表示される。同様に、順次生成される第２の画像群は、第２の画像群のサムネイルの表示６９、又は第２の画像群のサムネイルに係る別の表示７２に順次表示される。したがってユーザは、動画撮影中にこれらの表示によって、ライブビュー表示及びタイムラプス動画を確認できる。
【０１０９】
撮像装置制御処理及びタイムラプス動画生成処理の何れの場合であっても、各々のサムネイル表示と共に、各画像の取得時刻を併記してもよい。表示制御部１２ｇは、表示情報に、取得した位置情報に基づいて画像群を取得した場所又は取得時の経路を地図情報と共に含めてもよい。
【０１１０】
<撮像装置の特長>
本実施形態において、画像処理装置１０は、タイムラプス動画に使用する各々の動画コマについて、タイムラプス動画に適する動画コマか否かを判定する判定部１２ｂを有する。これにより、ユーザが編集のために動画を全て見直す手間なく、タイムラプス動画を生成できる。画像処理装置１０は、上述の判定結果に基づいて順次生成されるタイムラプス動画を、順次仮記録する仮記録部１３ａをさらに有する。すなわち画像処理装置１０を有する撮像装置１を使用すれば、ユーザは、動画の撮影中に順次タイムラプス動画を取得でき、また、生成されて仮記録されたタイムラプス動画を随時確認できる。ユーザは、動画の撮影中に生成されたタイムラプス動画を確認して、その後の撮影予定を検討できる他、任意の場所及び時間において追加したい動画コマを選択又は削除できる。また、動画の撮影中に順次生成されるタイムラプス動画であれば、生成されたタイムラプス動画における構図及びストーリー性を含む連続性は担保されることとなる。
【０１１１】
本実施形態において、第２の画像群の候補の選定は、画像そのものが第２の画像群として適するか否かの判定、及び仮記録部１３ａに記録されている既記録コマを分析して既記録コマと現在の動画コマとの関係を評価した結果を用いた判定等に基づく。すなわち、画像処理装置１０は、撮影した動画に含まれる各々の動画コマがタイムラプス動画に適する画像であるか否かを判定して、適すると判定した動画コマから成るタイムラプス動画を生成できる。画像処理装置１０は、仮記録部１３ａに記録されている既記録コマと現在の動画コマとの間における画像上の変化を分析し、変化後を表す現在の動画コマのみならず、変化前を表す既記録コマをも含むタイムラプス動画を生成できる。画像処理装置１０は、さらに、仮記録部１３ａに記録されている第２の画像群の候補に含まれる動画コマのうち、連続で類似コマがある場合、タイムラプス動画にふさわしい動画コマを選択する。この選択は、例えばユーザの手動選択結果、取得時間の間隔等に基づく。画像処理装置１０は、この選択を行うことで、冗長なタイムラプス動画とならないようにできる。上述の各々の判定条件に基づく判定において、判定部１２ｂは、センサ部４１の出力も使用する。すなわち、上述の画像上の変化に加え、既記録コマと現在の動画コマとの間におけるセンサ部４１の出力の変化に係る分析結果に基づいて、変化前後の動画コマを含むタイムラプス動画を生成できる。なお、第２の画像群の候補、及び第２の画像群の各々に含まれる各動画コマ、すなわち各画像は、第１の画像群に含まれる。
【０１１２】
以上のように、本実施形態において判定部１２ｂは、前触れなく場面が切り替わった場合に、仮記録部１３ａに記録された第１の画像群から既記録の動画コマを読み出し、第２の画像群へ追加できる。すなわち画像処理装置１０は、タイムラプス動画に適した動画コマを、現在の動画コマに加えて仮記録部１３ａに記録されている既記録コマも参照して判定することで、撮影中に起きた事象の前後において共に取得できる。これは、構図及びストーリー性を含む連続性のあるタイムラプス動画の取得に寄与するものである。以上述べたように、本実施形態において、判定部１２ｂ及び仮記録部１３ａは、それぞれ画像処理装置１０の特徴の１つである。
【０１１３】
<変形例>
操作機器５０は、例えば、本体２を据え置いて、又は何かに取り付けて使用する場合等、ユーザが本体２を手で持たない場合に使用できる。操作機器５０は、例えばタブレット型パーソナルコンピュータ、スマートフォン、及び各種ウェアラブル端末等のような通信機能を有する端末である。操作機器５０は、複数台用意されてもよいし、インターネット回線等を介して遠隔から撮像装置１と通信を行うものであってもよい。
【０１１４】
本実施形態に係る技術は、例えば、自動車及び自転車等の乗り物に据え付ける、ユーザの衣服やヘルメット等に取り付ける、並びに缶サット等や気球等の観測機器へ搭載するカメラ等にも適用できる。また、監視カメラ等の定点観測用カメラに使用すれば、長時間に渡って記録された動画を簡易に確認することもできる。また、その様子を概観、要約する動画の観賞は、趣味のためであっても教育のためであっても需要がある。さらには、本技術は、例えば内視鏡、カプセル型の内視鏡に用いられてもよいし、学術用、工業用、又は臨床用等の各種観察装置及び分析装置等に用いられてもよい。例えば、細胞の分裂やウイルス抗体の生成など細胞レベルの生体活動、あるいは蝶の孵化や羽化など個体レベルの生物の成長や生態の経過確認には、長い時間を経て特定の結果が得られるものが多い。したがって、本実施形態に係る技術によって成される、このようなダイジェスト表示は重要である。加えて、このような分野の研究においても、特に研究成果の表現の一例であり、例えば研究成果のプレゼンテーションにおいても本願が重要であることは言うまでもない。加えて、目的の如何を問わず、例えば上述のようなタイムラプス動画は、インターネット等を用いて多く公開されており需要がある。そのような状況において、より魅力的な、より見栄えのする動画を容易に制作できるため、本実施形態に係る技術の有用性は高い。また、画像処理装置１０の使用は、上述のように撮影しながらタイムラプス動画を生成する場合に限らない。すなわち、画像処理装置１０は、それ単体で使用されてもよい。このとき入力は、例えば、既記録の動画データ等である。
【０１１５】
本実施形態において、判定部１２ｂは、各動画コマに対して、各々の判定条件を満たすか否かの２値によって判定をする他に、各判定条件への適合の程度に応じて得点を与え、この得点によって判定してもよい。
【０１１６】
なお、フローチャートで示した各々の処理、及び各々の処理内の各ステップは、その順序を変更可能であり、また、追加及び削除も可能である。これら各々の処理は、記録部１３ｂに記録された各々のプログラムによって実行される。各々のプログラムは、予め撮像装置１に記録されていても、別の記録媒体に記録されていてもよい。これら撮像装置１又は別の記録媒体への記録の方法は様々であり、製品出荷時に記録されるものでもよく、配布された記録媒体が利用されて記録されるものでもよく、インターネット等通信回線が利用されて記録されるものでもよい。
【符号の説明】
【０１１７】
１…撮像装置、２…本体、１０…画像処理装置、１１…画像取得部、１２…演算部、１２ａ…撮影制御部、１２ｂ…判定部、１２ｃ…圧縮制御部、１２ｄ…取捨選択部、１２ｅ…記録制御部、１２ｆ…リサイズ部、１２ｇ…表示制御部、１３ａ…仮記録部、１３ｂ…記録部、１３ｃ…条件部、１４…信号取得部、１５…出力部、１６…通信部、２０…撮像部、３１…操作部、３２…表示部、４１…センサ部、４２…時計部、５０…操作機器、５１…操作部、５２…表示部。
【図１】
2017225037.tif 000003
【図２】
2017225037.tif 000004
【図３】
2017225037.tif 000005
【図４】
2017225037.tif 000006
【図５】
2017225037.tif 000007
【図６】
2017225037.tif 000008
【図７】
2017225037.tif 000009
【図８】
2017225037.tif 000010
【図９】
2017225037.tif 000011
【図１０】
2017225037.tif 000012
【図１１】
2017225037.tif 000013
【図１２】
2017225037.tif 000014
【図１３】
2017225037.tif 000015
【図１４】
2017225037.tif 000016