(57)【要約】【課題】撮影者の好みに応じた動画や静止画を容易に探し出すことが可能な撮影機器および撮影方法を提供する。【解決手段】第１のタイミングで対象物を繰り返し撮像して複数の画像を取得して、複数の画像を記録し（Ｓ３１）、記録された複数の画像のなから、第２のタイミングで画像を選択する第２の選択を行い（Ｓ４７）、第２のタイミングで選択または非選択された画像の比較結果に従って、複数の画像の中から動画候補コマを決定する。【選択図】  図４
2018125674.tif 000002
【特許請求の範囲】
【請求項１】
第１のタイミングで対象物を繰り返し撮像して複数の画像を取得する撮像部と、
上記複数の画像を記録する記録部と、
上記記録部に記録された画像の中から、第２のタイミングで画像を選択する第２選択部と、
上記第２のタイミングで選択または非選択された画像の比較結果に従って、上記複数の画像の中から動画候補コマを決定する動画候補部と、
を有することを特徴とする撮影機器。
【請求項２】
上記第１のタイミング中において、特定の第１のタイミングにおける画像を選択する第１選択部を有し、
上記動画候補部は、第１選択部および第２選択部の少なくとも１つの選択部において画像が選択された際に、動画候補コマを決定することを特徴とする請求項１に記載の撮影機器。
【請求項３】
上記動画候補部は、所定の期間に亘って、上記複数の画像が同じ対象物である場合に、上記動画候補コマを決定することを特徴とする請求項１に記載の撮影機器。
【請求項４】
上記動画候補部は、所定の期間に亘って、上記複数の画像の撮影品質が同様である場合に、上記動画候補コマを決定することを特徴とする請求項１に記載の撮影機器。
【請求項５】
上記記録部に記録された上記複数の画像の中から特定の画像群に関する情報を学習する画像群情報学習部を有し、
上記記録部は、上記画像群情報学習部によって学習した情報を記録することを特徴とする請求項１に記載の撮影機器。
【請求項６】
上記動画候補部は、撮影準備状態において、上記記録部に記録された情報に基づいて、上記撮像部で取得された画像が、以前に取得した類似シーンの画像である場合に、上記複数の画像の中から動画候補コマを決定することを特徴とする請求項５に記載の撮影機器。
【請求項７】
上記類似シーンの画像の際の推奨撮影制御と、現在設定されている撮影制御の差異を表示することを特徴とする請求項６に記載の撮影機器。
【請求項８】
上記撮像部によって取得された画像に基づいて、対象物の特徴を判定する画像特徴判定部を有し、
上記画像群情報学習部は、上記画像特徴判定部によって判定された上記対象物の特徴に基づいて、上記複数の画像から特定の画像群の情報を学習することを特徴とする請求項５に記載の撮影機器。
【請求項９】
上記第１のタイミング中において、特定の第１のタイミングにおける画像を選択する第１選択部を有し、
上記画像群情報学習部は、上記第１選択部および／または第２選択部によって画像が選択されない場合であって、上記撮像部による撮影の撮影品質が同一の対象物を捕捉していた場合には、撮影タイミングの対策を記録することを特徴とする請求項５に記載の撮影機器。
【請求項１０】
上記第１のタイミング中において、特定の第１のタイミングにおける画像を選択する第１選択部を有し、
上記画像群情報学習部は、上記第１選択部および／または第２選択部によって画像が選択された場合であって、上記選択された画像の対象物と同じ対象物の画像を取得していない場合には、または上記第１選択部および第２選択部によって画像が選択されない場合であって、かつ上記撮像部による撮影の撮影品質が同一の対象物を捕捉していない場合には、見失い対策を記録することを特徴とする請求項５に記載の撮影機器。
【請求項１１】
上記第１のタイミング中において、特定の第１のタイミングにおける画像を選択する第１選択部を有し、
上記画像群情報学習部は、上記第１選択部および／または第２選択部によって画像が選択された場合であって、上記選択された画像の対象物と同じ対象物の画像を取得しているが、上記撮像部による撮影の撮影品質が同一でない場合には、撮影制御を変更することをガイドすることを特徴とする請求項５に記載の撮影機器。
【請求項１２】
上記第１のタイミングは、静止画の取得を指示する前後の所定期間であり、
上記第２のタイミングは、静止画の取得後に、撮像部によって取得された複数の画像の中から最終的に記録部に記録する画像を選択するタイミングである、
ことを特徴とする請求項１に記載の撮影機器。
【請求項１３】
上記記録部は、上記撮像部によって取得された画像を一時的に仮記録する仮記録部を有し、
上記第２選択部によって選択された画像を上記記録部に記録することを特徴とする請求項１に記載の撮影機器。
【請求項１４】
上記第１のタイミング中において、特定の第１のタイミングにおける画像を選択する第１選択部を有し、
上記第１選択部または上記第２選択部によって画像が選択された場合であって、少なくとも、選択画像と同じ対象物も取得しているか、撮影品質が同じである場合に、上記仮記録部に記録された画像に基づいて動画を記録することを特徴とする請求項１３に記載の撮影機器。
【請求項１５】
対象物を繰り返し撮像して複数の画像を取得する撮像部と、
上記撮像部によって取得された画像を仮記録する仮記録部と、
特定の第１のタイミングで上記撮像部から特定画像を選択する第１選択部と、
上記仮記録部に記録された画像のなから、第２のタイミングで画像を選択する第２選択部と、
上記第１選択部または／または上記第２選択部によって画像が選択され、上記仮記録部に仮記録された上記画像が所定の条件を満たす場合に、上記仮記録部に記録された画像に基づいて生成された動画を記録する画像記録部と、
を有することを特徴とする撮影機器。
【請求項１６】
第１のタイミングで対象物を繰り返し撮像して複数の画像を取得し、
上記複数の画像を仮記録し、
上記仮記録された画像のなから、第２のタイミングで画像を選択する第２の選択を行い、
上記第２のタイミングで選択または非選択された画像の比較結果に従って、上記複数の画像から動画候補コマを決定する、
ことを特徴とする撮影方法。
【請求項１７】
特定の第１のタイミングで対象物を繰り返し撮像して複数の画像を取得し、
上記取得された画像を仮記録し、
第１のタイミング中で特定の第１のタイミングで画像を選択する第１の選択を行い、
上記仮記録された画像のなから、第２のタイミングで画像を選択する第２選択を行い、
上記第１選択および／または上記第２選択によって画像が選択され、上記仮記録された上記画像が所定の条件を満たす場合に、上記記録された画像に基づいて生成された動画を記録する、
ことを特徴とする撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画を撮影すると共に静止画撮影の前後で動画も撮影可能な撮影機器及び撮影方法に関する。
【背景技術】
【０００２】
近年、動画を手軽に撮影することが可能になってきたが、撮影された動画の中には操作ミスや撮影ミスの画像もあり、また撮影者の意図に沿っていない画像が含まれている。そこで、動画撮影後に撮影者は動画を編集することが行っている。しかし、動画像の中からこれらの画像を探し出して編集することは動画再生の時間を要することもあり煩雑である。
【０００３】
そこで、特許文献１には、既に記録された動画像データに対して、編集時に削除または修正される可能性が高い区間を動画解析により検出し、編集時その情報を動画像データと共に表示するようにした動画像編集装置が提案されている。この動画像編集装置は、輝度分布、輝度微分値分布、動きベクトル分布などをフレーム毎に求め、「シャープで鮮明」、「動きが少ない」、「動きの変化が少ない」、「明る過ぎたり暗過ぎたりしない」、「白飛びや黒潰れが多くない」などを判定する各判定項目についての評価値を算出し、この評価値が閾値未満であるＮＧフレームを検出する。そして、ＮＧフレームが連続する区間をＮＧ候補区間とし、判定項目毎に検出したＮＧ候補区間を動画像と共にＧＵＩの時間軸上に表示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１６７３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このように特許文献１に開示の動画像編集装置は、一般的な操作ミスや撮影ミスによる画像を自動的に検出し、この画像をＮＧ候補として表示するので、動画の編集が容易になる。しかし、撮影者によって操作ミスや撮影ミスのレベルが異なっており、さらに、操作ミスや撮影ミスがない画像の中であっても各自の好みが異なっている。撮影者によって、好みの構図、露出状態等が異なっているからである。このため、特許文献１に開示の動画像編集装置では、撮影者の意図に沿った動画の編集を行うのは不十分である。
【０００６】
また、近年、静止画撮影を行うと共に、静止画撮影の前後で、連写等により多数の静止画撮影することも容易になってきている。数コマの静止画の中から撮影者の好みの画像を探し出すことができても、大多数の静止画の中から撮影者の好みの画像を探し出すことは容易ではない。このように、特許文献１に開示の動画像編集装置では、撮影者の好みに応じた動画や静止画を探し出すことが困難である。
【０００７】
本発明は、このような事情を鑑みてなされたものであり、撮影者の好みに応じた動画を容易に取得することが可能な撮影機器および撮影方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため第１の発明に係る撮影機器は、第１のタイミングで対象物を繰り返し撮像して複数の画像を取得する撮像部と、上記複数の画像を記録する記録部と、上記記録部に記録された画像の中から、第２のタイミングで画像を選択する第２選択部と、上記第２のタイミングで選択または非選択された画像の比較結果に従って、上記複数の画像の中から動画候補コマを決定する動画候補部と、を有する。
【０００９】
第２の発明に係る撮影機器は、上記第１の発明において、上記第１のタイミング中において、特定の第１のタイミングにおける画像を選択する第１選択部を有し、上記動画候補部は、第１選択部および第２選択部の少なくとも１つの選択部において画像が選択された際に、動画候補コマを決定する。
第３の発明に係る撮影機器は、上記第１の発明において、上記動画候補部は、所定の期間に亘って、上記複数の画像が同じ対象物である場合に、上記動画候補コマを決定する。
第４の発明に係る撮影機器は、上記第１の発明において、上記動画候補部は、所定の期間に亘って、上記複数の画像の撮影品質が同様である場合に、上記動画候補コマを決定する。
【００１０】
第５の発明に係る撮影機器は、上記第１の発明において、上記記録部に記録された上記複数の画像の中から特定の画像群に関する情報を学習する画像群情報学習部を有し、上記記録部は、上記画像群情報学習部によって学習した情報を記録する。
第６の発明に係る撮影機器は、上記第５の発明において、上記動画候補部は、撮影準備状態において、上記記録部に記録された情報に基づいて、上記撮像部で取得された画像が、以前に取得した類似シーンの画像である場合に、上記複数の画像の中から動画候補コマを決定する。
第７の発明に係る撮影機器は、上記第６の発明において、上記類似シーンの画像の際の推奨撮影制御と、現在設定されている撮影制御の差異を表示する。
【００１１】
第８の発明に係る撮影機器は、上記第５の発明において、上記撮像部によって取得された画像に基づいて、対象物の特徴を判定する画像特徴判定部を有し、上記画像群情報学習部は、上記画像特徴判定部によって判定された上記対象物の特徴に基づいて、上記複数の画像から特定の画像群の情報を学習する。
第９の発明に係る撮影機器は、上記第５の発明において、上記第１のタイミング中において、特定の第１のタイミングにおける画像を選択する第１選択部を有し、上記画像群情報学習部は、上記第１選択部および／または第２選択部によって画像が選択されない場合であって、上記撮像部による撮影の撮影品質が同一の対象物を捕捉していた場合には、撮影タイミングの対策を記録する。
【００１２】
第１０の発明に係る撮影機器は、上記第５の発明において上記第１のタイミング中において、特定の第１のタイミングにおける画像を選択する第１選択部を有し、上記画像群情報学習部は、上記第１選択部および／または第２選択部によって画像が選択された場合であって、上記選択された画像の対象物と同じ対象物の画像を取得していない場合には、または上記第１選択部および第２選択部によって画像が選択されない場合であって、かつ上記撮像部による撮影の撮影品質が同一の対象物を捕捉していない場合には、見失い対策を記録する。
第１１の発明に係る撮影機器は、上記第５の発明において、上記第１のタイミング中において、特定の第１のタイミングにおける画像を選択する第１選択部を有し、上記画像群情報学習部は、上記第１選択部および／または第２選択部によって画像が選択された場合であって、上記選択された画像の対象物と同じ対象物の画像を取得しているが、上記撮像部による撮影の撮影品質が同一でない場合には、撮影制御を変更することをガイドする。
【００１３】
第１２の発明に係る撮影機器は、上記第１の発明において、上記第１のタイミングは、静止画の取得を指示する前後の所定期間であり、上記第２のタイミングは、静止画の取得後に、撮像部によって取得された複数の画像の中から最終的に記録部に記録する画像を選択するタイミングである。
第１３の発明に係る撮影機器は、上記第１の発明において、上記記録部は、上記撮像部によって取得された画像を一時的に仮記録する仮記録部を有し、上記第２選択部によって選択された画像を上記記録部に記録する。
第１４の発明に係る撮影機器は、上記第１３の発明において、上記第１のタイミング中において、特定の第１のタイミングにおける画像を選択する第１選択部を有し、上記第１選択部または上記第２選択部によって画像が選択された場合であって、少なくとも、選択画像と同じ対象物も取得しているか、撮影品質が同じである場合に、上記仮記録部に記録された画像に基づいて動画を記録する。
【００１４】
第１５の発明に係る撮影機器は、対象物を繰り返し撮像して複数の画像を取得する撮像部と、上記撮像部によって取得された画像を仮記録する仮記録部と、特定の第１のタイミングで上記撮像部から特定画像を選択する第１選択部と、上記仮記録部に記録された画像のなから、第２のタイミングで画像を選択する第２選択部と、上記第１選択部または／または上記第２選択部によって画像が選択され、上記仮記録部に仮記録された上記画像が所定の条件を満たす場合に、上記仮記録部に記録された画像に基づいて生成された動画を記録する画像記録部と、を有する。
【００１５】
第１６の発明に係る撮影方法は、第１のタイミングで対象物を繰り返し撮像して複数の画像を取得し、上記複数の画像を仮記録し、上記仮記録された画像のなから、第２のタイミングで画像を選択する第２の選択を行い、上記第２のタイミングで選択または非選択された画像の比較結果に従って、上記複数の画像から動画候補コマを決定する。
【００１６】
第１７の発明に係る撮影方法は、特定の第１のタイミングで対象物を繰り返し撮像して複数の画像を取得し、上記取得された画像を仮記録し、第１のタイミング中で特定の第１のタイミングで画像を選択する第１の選択を行い、上記仮記録された画像のなから、第２のタイミングで画像を選択する第２選択を行い、上記第１選択および／または上記第２選択によって画像が選択され、上記仮記録された上記画像が所定の条件を満たす場合に、上記記録された画像に基づいて生成された動画を記録する。
【発明の効果】
【００１７】
本発明によれば、撮影者の好みに応じた動画を容易に取得することが可能な撮影機器および撮影方法を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係るカメラで連続して撮影した画像の例を示す図である。
【図３】本発明の一実施形態に係るカメラ比較判定の動作を示すフローチャートである。
【図４】本発明の一実施形態に係るカメラの撮影制御の動作を示すフローチャートである。
【図５】本発明の一実施形態に係るカメラで連続して撮影した画像の例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の一実施形態としてデジタルカメラ（以下、「カメラ」と称す）に適用した例について説明する。このカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００２０】
また、このカメラは表示部にライブビュー表示を行う際に、一連のフレーム毎の画像データを仮記録部に記録しておく。予め決められた記録容量を超えた画像データは順次消去する。また、レリーズ操作がなされた際に静止画が撮影された後、所定時間の間、撮像部から画像データが出力される毎に仮記録部に仮記録しておく（例えば、図４のＳ３１参照）。レリーズ操作時に撮影された静止画と、静止画撮影前に仮記録された画像、および静止画撮影後の画像を、表示部に一覧表示、または順次表示する（例えば、図４のＳ４３参照）。
【００２１】
表示部に一覧表示等されると、撮影者は意図に合った画像を指定することができ（図４のＳ４７参照）、この画像は第２選択として記録され、またレリーズ操作時に撮影された画像を第１選択として記録する（例えば、図４のＳ４１）。カメラは、学習機能を有し、第１選択および第２選択された画像の撮影時の撮影条件、画像の構図等に基づいて、撮影者の好む画像を学習する（例えば、図４のＳ４９、図３参照）。また、ライブビュー表示中に連続的に撮像した静止画の画像データに基づいて、構図や撮影条件等の変化に基づいて動画としての撮影者の好みを学習する（例えば、図３のＳ１９、Ｓ２１、Ｓ２３等参照）。
【００２２】
仮記録された一連の画像が、動画として適している場合には、動画を生成し、記録する（例えば、図３のＳ７、Ｓ９参照）。また、学習結果に基づいて、撮影時に撮影者の好む画像を表示する（例えば、図４のＳ５１、Ｓ５５参照）。
【００２３】
次に、図１を用いて、本発明の一実施形態に係るカメラ１０の構成について説明する。このカメラ１０は、信号処理・制御部１、撮像部２、仮記録部３、記録部４、操作部６、動画撮影操作部６ａ、静止画撮影操作部６ｂ、表示部８を有する。
【００２４】
撮像部２は、撮影レンズ２ａと撮像素子２ｂを有する。撮影レンズ２ａは、撮像素子２ｂ上に被写体像を形成する。撮像素子２ｂは被写体像を光電変換し、読取部１ａによって画素信号が読み出され、画像データとして出力される。読取部１ａは画素信号を読み出す際に、読出し範囲Ｘｔ、Ｘｗを任意に設定することが可能である。読出範囲Ｘｔは、テレ範囲（長焦点距離）に相当し、読出範囲Ｘｗはワイド範囲（短焦点距離）に相当する。この読出範囲は適宜変更することができ、これによって電子ズーム操作を行うことができ、画角の変更が可能となる。
【００２５】
この撮像部２は、第１のタイミングで対象物を繰り返し撮像して複数の画像を取得する撮像部として機能する。第１のタイミングは、静止画の取得を指示する前後の所定期間である。また、特定の第１のタイミングは、第１のタイミングの期間内であって、静止画撮影のための撮影指示がなされたタイミングである。なお、特定の第１のタイミングは、静止画撮影のための撮影指示（通常は、レリーズ釦操作時）に限らず、所定の条件で撮影指示を行うタイミングでもよく、また１回に限らず、複数回であってもよい。
【００２６】
なお、読取部１ａは、全ての画素信号を読み出してから、読取範囲Ｘｔ、Ｘｗに相当する画素信号を抽出し、この抽出された画素信号に基づいて画像データを出力するようにしてもよい。また、画角の変更にあたっては、電子ズーム機能に代えて光学ズーム機能を設けてもよく、また電子ズーム機能と光学ズーム機能を併用するようにしてもよい。
【００２７】
仮記録部３は、仮記憶用の揮発性または不揮発性のメモリを有し、ライブビュー表示時に撮像部２から出力された所定コマ数分のフレーム画像データを順次記録することができる。所定コマ数を超えると、古い画像データから順次消去され、最新の画像データが仮記録される。ライブビュー表示中に仮記録された画像データはライブビュー画像処理部１ｂに出力され、また静止画撮影時（本撮影時）に仮記録された画像データは画像処理部１ｃに出力される。
【００２８】
仮記録部３は、複数の画像を記録する記録部として機能する。この記録部は、画像群情報学習部によって学習した情報を記録する。仮記録部３は、撮像部によって取得された画像を一時的に仮記録する仮記録部として機能する。第２選択部によって選択された画像を記録部に記録する。
【００２９】
なお、ライブビュー表示時と、静止画撮影時の１フレーム分の画像データの容量は、一般的には、静止が撮影時の画像データの方がライブビュー表示時の画像データよりも大きい。しかし、後述するように、ライブビュー表示時の画像データを最終的に記録部４に記録する場合があることから、両者の画像データの容量を同じしておいてもよい。
【００３０】
信号処理・制御部１内には、前述の読取部１ａの他に、ライブビュー画像処理部１ｂ、画像処理部１ｃ、比較部１ｄ、決定部１ｅ、画像特徴判定部１ｆ、画像選択部１ｇ、第１選択部１ｈ、第２選択部１ｉ、静止画（Ｓ）圧縮・伸張部１ｊ、動画（Ｍ）圧縮・伸張部１ｋ、表示制御部１ｍ、記録制御部１ｎ、ＣＰＵ（Central Processing Unit）１ｐ、メモリ１ｑが設けられている。信号処理・制御部１は、ＣＰＵとその周辺回路を含むＡＳＩＣ（Application Specific Integrated Circuit）で構成される。
【００３１】
読取部１ａは、撮像処理回路を含み、撮像素子２ｂにおける画素信号の蓄積制御および読出制御を行う。ライブビュー表示時には、所定のフレームレート（例えば、３０ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓ等）で撮像素子２ｂから画素信号を読み出して画像データを仮記録部３に出力する。またレリーズ操作がなされると、静止画撮影（本撮影）を行う。すなわち、自動または手動で設定された露光条件に従って露光制御が行われ、露光制御が終了すると画素信号を読み出し、画像データを仮記録部３に出力する。なお、静止画撮影時に取得した画像データは直接画像処理部１ｃに出力するようにしてもよい。
【００３２】
ライブ画像処理部１ｂは、ライブビュー表示用画像処理回路を有する。ライブビュー画像処理部１ｂは、仮記録部３に仮記録された直近の１フレーム分の画像データを入力し、ライブビュー表示用にコントラストや色補正等の種々の画像処理を行い、画像選択部１ｇに出力する。
【００３３】
画像処理部１ｃは、本撮影用の画像処理回路を有する。画像処理部１ｃは、レリーズ操作時（本撮影時）に取得された静止画の画像データを、仮記録部３から入力し、記録用（およびレックビュー表示用）にコントラストや色補正等の種々の画像処理を行い、画像選択部１ｇに出力する。
【００３４】
なお、ライブビュー画像処理部１ｂおよび画像処理部１ｃにおける画像処理は、コントラストや色補正等の処理に限らず、画像の用途に応じて、露出補正やノイズ処理、ＷＢゲイン補正、輪郭強調、偽色補正等の様々な画像処理を施す。
【００３５】
画像特徴判定部１ｆは、ライブビュー画像処理部１ｂからライブビュー用の画像データを入力し、また画像選択部１ｇでの選択結果を入力し、対象物の特徴や、画像の特徴、例えば、タイミング、構図、形状、ピント、露出（適正露光量からのずれ量）、顔の有無、画面がはみ出している部分があるか否か、色の分布等、撮影者の好みを判定するに役立つ特徴情報を取得する（図４のＳ３３参照）。この画像特徴判定部１ｆによって判定された画像の特徴は、画像選択部１ｇや記録制御部１ｎに出力される。また、画像特徴判定部１ｆは、各画像データに対応付けて、カメラの姿勢、手ブレ状態、電子ズーム等による焦点距離情報と種々の情報も取得する。
【００３６】
これらの取得された特徴情報は、画像に関連付けて、メモリ１ｑ、仮記録部３、または記録部４に記録する。ライブビュー表示中に検出された特徴情報は画像データと共に仮記録部３に記録される。また、記録部４には最終的に記録される画像データと共に、この画像データに関連する特徴情報が記録される。また、学習の結果、取得された特徴情報は、累積して後に撮影される際に使用しやすいようにメモリ１ｑに記録される。なお、特徴情報の記録先は、上述の記録部に限らず、他の記録部でもよく、また、いずれかの情報の記録を省略してもよい。画像特徴判定部１ｆは、撮像部によって取得された画像に基づいて、対象物の特徴を判定する画像特徴判定部として機能する。
【００３７】
画像選択部１ｇは、いずれかの画像が第１選択されたか、第２選択されたかを判定する。第１選択部１ｈは、撮影者がレリーズ操作した際の静止画撮影（本撮影）時の画像データを選択し、この時の画像データと、その時の画像特徴を選択する。第１選択部１ｈは、第１のタイミング中において、特定の第１のタイミングにおける画像を選択する第１選択部として機能する。第１のタイミング中の特定の第１のタイミングは、静止画の取得を指示するタイミングである。
【００３８】
上述の第１のタイミングは、ある一時点とは限らず、静止画撮影のためにライブビュー表示等を行っている所定の期間に対応する。この第１のタイミングは、撮影に必ずしも即応できていないかもしれないが、少なくともその瞬間や直前まで、ユーザが対象物の動きや構図の変化、あるいは撮影パラメータの調整効果などを見ながら反応して選ぶタイミングであるから、様々な要素を確認して決定したタイミングといえる。こうした要素が集約された情報を含むことから、第１のタイミングは、画像を選択するにあたって、非常に有効な情報を含んでいると考えることができる。
【００３９】
また、第１のタイミングは、所定の期間に限らず、撮影しようとしたタイミングと読み替えてもよく、そのタイミング（または、その直前）で捉えた画面に記録された対象物はユーザが撮影したかったものと考えられ、あるいは、ユーザが気に入った構図、形状、姿勢、ピントや露出などの画質になっている画像と考えることが出来る。このように、このタイミングでユーザが選ぶ行為と結果は、有効なユーザの嗜好情報だと考えられる。ただし、必ずしも、この第１のタイミングで操作が必要なわけではなく、特定の時間の画像を後述の第２のタイミングで見ながら選ぶような仕様としてもよい。
【００４０】
また、第２選択部１ｉは、静止画撮影後に、静止画撮影前後に仮記録された画像を一覧表示した際に（図４のＳ４３、図５参照）、タッチ操作等によって撮影者によって選択された画像を選択し、この時の画像データと、その時の画像特徴を選択する。第２選択部１ｉは、記録部に記録された画像のなから、第２のタイミングで画像を選択する第２選択部として機能する。第２のタイミングは、静止画の取得後に、撮像部によって取得された複数の画像の中から最終的に記録部に記録する画像を選択するタイミングである。
【００４１】
上述の第２のタイミングは、第１のタイミングの後のタイミングで、撮影という対象物の決定的な瞬間の画像を捉える行為が終わった後である。このため、ユーザがゆっくりと複数画像を比較し、または一つの画像の隅々まで確認して、自分の好みの画像を選ぶ事が出来るタイミングである可能性があり、ユーザの意図が反映されやすい。このとき選ばれる画像は一つでなくともよい。もちろん、ユーザ以外の人やコンピュータ等が適当な判断基準によって選択してもよいが、この場合も得られた一連の複数の画像を比較して選べるチャンスと考えることができ、有効なタイミングである。
【００４２】
つまり、第２のタイミングは、特定の時間の範囲にわたる取得画像（特に撮影前後、または前や後）の相互比較が出来るタイミングであるとも言える。あるいは、取捨選択ということを考えると、ここで選択されなかった画像は気に入らなかったとも考えられ、一方、選択された画像は、ユーザが気に入った構図、形状、姿勢、ピントや露出などの画質になっていると考えることが出来る。このように、このタイミングで選んだり選ばなかったりする行為と結果は有効なユーザの嗜好情報だと考えられる。
【００４３】
比較部１ｄは、第１選択部１ｈで選択された画像と、第２選択部１ｉで選択された画像を比較し、両者の差異を判定する（図３のＳ１３、Ｓ１５参照）。すなわち、第１選択部１ｈで選択された画像はレリーズ操作時（本撮影時）における画像であり、レリーズ操作があった場合、その操作に到るまでの過程が集約された結果といえる。一方、第２選択部１ｉで選択された画像は本撮影時の前後（前後の一方でもよいし、撮影操作はなく、自動で一連の動画が撮れればよい）における画像の中で、撮影者の好みに最も一致している画像である。
【００４４】
比較部１ｄによって、両者の画像の特徴を分析し、比較することにより、撮影者の好みを学習することができる。もちろん、ここでの学習は、必ずしも高度な人工知能が行う深層学習などである必要はなく、被写体の位置や形状や色、露出、ピントなど、数値化されたものを記録した結果から、後で判定用できるようにするだけでもよい。
【００４５】
また、比較部１ｄは、第１選択部１ｈおよび第２選択部１ｉで選択された画像と、選択されなかった画像の比較も行う（図３のＳ３、Ｓ５参照）。これらを比較することにより、一連の画像が撮影者の好みに合っているか否かを学習することができ、動画の記録の際に役立てることができる（図３のＳ７、Ｓ９）。
【００４６】
決定部１ｅは、仮記録部３に仮記録された所定コマ数分の画像データを用いて動画の画像データを生成するか否かを決定する（図３のＳ７参照）。また、決定部１ｅは、比較部１ｄによる比較結果に基づいて、撮影者の好みの画像を学習する（例えば、図３のＳ１３、Ｓ１５参照）。また学習結果を用いて、撮影の際に撮影ガイドとして表示する（図４のＳ５３、Ｓ５５、Ｓ５７）。比較部１ｄと決定部１ｅは、第１と第２のタイミング（そのどちらかでもよい）で選択または非選択された画像の比較結果に従って、記録部に記録された複数の画像から特定の画像群の情報を学習する画像群情報学習部として機能する。
【００４７】
この画像群情報学習部は、画像特徴判定部によって判定された対象物の特徴に基づいて、複数の画像から特定の画像群の情報を学習する。また、画像群情報学習部は、第１選択部および／または第２選択部によって画像が選択されない場合であって、上記撮像部による撮影の撮影品質が同一の対象物を捕捉していた場合には、撮影タイミングの対策を記録する（例えば、図３のＳ１７、Ｓ１９参照）。
【００４８】
画像群情報学習部は、第１選択部および／または第２選択部によって画像が選択された場合であって、選択された画像の対象物と同じ対象物の画像を取得していない場合には、または第１選択部および第２選択部によって画像が選択されない場合であって、かつ撮像部による撮影の撮影品質が同一の対象物を捕捉していない場合には、見失い対策を記録する（例えば、図３のＳ３→Ｓ２１、Ｓ１７→Ｓ２１参照）。
【００４９】
画像群情報学習部は、第１選択部および／または第２選択部によって画像が選択された場合であって、選択された画像の対象物と同じ対象物の画像を取得しているが、撮像部による撮影の撮影品質が同一でない場合には、撮影制御を変更することをガイドする（例えば、図３のＳ５→Ｓ２３参照）。
【００５０】
表示制御部１ｍは、表示制御回路を含み、画像選択部１ｇによって選択された画像を表示する。すなわち、ライブビュー表示時には、仮記録部３およびライブビュー画像処理部１ｂで画像処理された画像データに基づいて、ライブビュー表示用の画像データを表示部８に出力する（図５のＳ３１）。また、レリーズ操作がなされ静止画を撮影した際には、ライブビュー表示中の所定のコマ数の画像と、静止画撮影時の画像を一覧表示させる（図４のＳ４３参照）。なお、一覧表示時に、撮影者によって選択された画像は第２画像として第２選択部１ｉに認識される。
【００５１】
Ｓ圧縮・伸張部１ｊは、静止画用の画像圧縮回路および伸張回路を有し、画像選択部１ｇで選択された静止画の画像データを記録用に圧縮処理を施す。また再生時には、記録部４に記録されている静止画の画像データの伸張を行う。伸張された画像データは表示制御部１ｍを介して、表示部８に表示される。
【００５２】
Ｍ圧縮・伸張部１ｋは、動画用の画像圧縮回路および伸張回路を有し、画像選択部１ｇで選択された動画の画像データを記録用に圧縮処理を施す。また再生時には、記録部４に記録されている動画の画像データの伸張を行う。伸張された画像データは表示制御部１ｍを介して、表示部８に表示される。
【００５３】
記録制御部１ｎは、Ｓ圧縮・伸張部１ｊまたはＭ圧縮・伸張部１ｋで圧縮された画像データを、記録部４に記録する際の制御を行う。また、再生時には、記録部４からの画像データの読出制御も行う。
【００５４】
メモリ１ｑは、揮発性および不揮発性メモリであり、前述のプログラム他、カメラ１０の調整用のデータ、処理用の一次記憶用メモリ等、種々の用途に使用される。
【００５５】
ＣＰＵ１ｐは、カメラ１０の全体のコントローラであり、メモリ１ｑに記憶されているプログラムに従って、カメラ１０の全体制御を行う。前述の比較部１ｄ、決定部１ｅ、画像選択部１ｇ、画像特徴判定部１ｆ等の各部の機能の全部または一部は、ＣＰＵ１ｐによって実行される。
【００５６】
ＣＰＵ１ｐは、第２のタイミングで選択または非選択された画像の比較結果に従って、複数の画のから動画候補コマを決定する動画候補部として機能する（例えば、図３のＳ１〜Ｓ７等参照）。動画候補部は、第１選択部および第２選択部の少なくとも１つの選択部において画像が選択された際に、動画候補コマを決定する（例えば、図３のＳ１参照）。動画候補部は、所定の期間に亘って、複数の画像が同じ対象物である場合に、動画候補コマを決定する（例えば、図３のＳ３参照）。動画候補部は、所定の期間に亘って、複数の画像の撮影品質が同様である場合に、動画候補コマを決定する（例えば、図３のＳ５参照）。
【００５７】
動画候補部は、撮影準備状態において、記録部に記録された情報に基づいて、撮像部で取得された画像が、以前に取得した類似シーンの画像である場合に、複数の画像の中から動画候補コマを決定する。また、学習によって取得した情報に基づく撮影制御を表示、または自動的に撮影制御を実行する（例えば、図４のＳ５３、Ｓ５５参照）。また、ＣＰＵ１ｐは、類似シーンの画像の際の推奨撮影制御と、現在設定されている撮影制御の差異を表示させる（例えば、図４のＳ５３参照）。また、ＣＰＵ１ｐは、第１選択部または第２選択部によって画像が選択された場合であって、少なくとも、選択画像と同じ対象物も取得しているか、撮影品質が同じである場合に、仮記録部に記録された画像に基づいて動画を記録する（例えば、図３のＳ７、Ｓ９）。
【００５８】
表示部８は、カメラ１０の本体背面に設けられた大型の表示用パネルや、接眼部を介して表示パネルを観察する電子ビューファインダ（ＥＶＦ）等を有する。この表示部８は、前述のライブビュー表示、静止画撮影時の一覧表示の他、ライブビュー表示中の撮影ガイド、メニュー画面等、種々の表示を行う。
【００５９】
動画撮影操作部６ａは、動画撮影指示用の動画釦等を有し、撮影者が動画の撮影を開始する場合には、動画撮影操作部６ａを操作する。信号処理・制御部１は、動画撮影操作部６ａが操作されると、撮像素子２ｂで取得した画像信号に基づく画像データを画像処理部１ｃ、Ｍ圧縮・伸張部１ｋで画像処理を施した後に記録部４に記録する。
【００６０】
静止画撮影操作部６ｂは、静止画撮影指示用のレリーズ釦等を有し、撮影者が静止画の撮影を行う場合には、レリーズ釦を操作する。信号処理・制御部１は、静止画撮影操作部６ａが操作されると、撮像素子２ｂで取得した画像信号に基づく画像データを画像処理部１ｃ、Ｓ圧縮・伸張部１ｊで画像処理を施した後に記録部４に記録する。また、前述したように、静止画撮影の前後で取得された画像の一覧表示もなされる。
【００６１】
操作部６は、各種スイッチ、各種操作釦、操作ダイヤル等の操作部材を含み、撮影者によって操作される。また、表示部８の表示パネル上にタッチパネルを設けるようにしてもよい。この場合には、静止画撮影の一覧表示の際に、撮影者は好みに合致する画像をタッチ操作することより指定することができる。
【００６２】
記録部４は、フラッシュメモリ等の電気的に書き換え可能な不揮発性メモリであり、カメラ本体１０に装填自在な記録媒体を有する。この記録部４には、記録制御部１ｎによって、静止画や動画の画像データが記録される。記録部４は、第１選択部および／または第２選択部によって画像が選択され、仮記録部に仮記録された画像が所定の条件を満たす場合に、仮記録部に記録された画像に基づいて生成された動画を記録する画像記録部として機能する。記録部４は、第２選択部によって選択された画像を記録する記録部として機能する。
【００６３】
次に、図２を用いて、本実施形態におけるカメラにおいて仮記録される画像について説明する。図２は、鳥が飛び立つ際に仮記録および静止画撮影された画像を示す。鳥が飛び立つ時には、スピードが速すぎて、撮影者の意図通りの撮影が困難である。例えば、図２の画像Ｆ４に示すような画像を撮影したくて、画像Ｆ４のタイミングでレリーズ釦を操作しようとしても、応答遅れなどによって画像Ｆ５のようなタイミングでレリーズ操作（第１タイミング）をしてしまうことが多かった。
【００６４】
このような状況下でも画像Ｆ４を撮影可能とするために、レリーズに先立つタイミング（例えば画像Ｆ１のタイミング）から繰り返し撮影と仮記録をしておき、撮影後に画像Ｆ４のコマを選択し、仮記録を本記録にすればよい。
【００６５】
また、画像Ｆ１〜Ｆ５を一覧表示した場合に、図２に示す画像Ｆ４のように撮影者の好みの画像が無い場合がある。すなわち、画像Ｆ４のタイミングのコマでも、対象物側（飛車田川）の問題（鳥なら羽ばたきや人間ならポーズや表情）、撮影者側の問題（露出、ピント、画角）、また、それらの相互の問題（画面からのはみ出しや構図不良）などで、撮影者が好みに合致しないことから選択されない場合がある。この場合には、結局、すべての画像が記録されずに終わってしまう。
【００６６】
このように、画像Ｆ４（第２選択）でのコマの選択は様々な情報を含むことになる。つまり、画像Ｆ５よりも画像Ｆ４を好んだ事や、一連の画像（画像Ｆ１〜Ｆ３）は、この瞬間（画像Ｆ４に対応する瞬間）を撮影するための準備であったということである。
【００６７】
また、どの画像も選択されない場合には、第１選択の結果で満足したか、または第１選択（画像Ｆ５）を満足したというよりは画像Ｆ１〜Ｆ４に何らかの不満があったということがわかり、撮影者の意図がくみ取れる。この場合、ピントや露出やズーム位置の問題があったと考えられるが、画像Ｆ１〜Ｆ３でユーザによって確認されているはずであるから、そこからの予期せぬ変化状況が不満点であるということがわかる。あるいは、画像Ｆ３と画像Ｆ４の間で撮影できればその画像が最もよかったということも考えられる。この場合は、撮像のフレームレートを上げることにより対策できる。
【００６８】
なお、図２においては、レリーズ前の画像を仮記録する例を掲げたて説明したが、レリーズ後も同様に連写を行い、仮記録を行って、同様の選択を行ってもよい。また、静止画撮影の前後で連写を行い、仮記録を行って、同様の選択を行ってもよいことは勿論である。
【００６９】
次に、図３に示すフローチャートを用いて比較判定決定の動作について説明する。このフローでは、画像を比較することにより、撮影者の好みを判定したり学習したりする。この動作は、主として比較部１ｄと決定部１ｅにおいてなされるが、実質的には、ＣＰＵ１ｐがメモリ１ｑに記憶されたプログラムに従って実行する。このフローにおいては、様々な工夫を盛り込んでいるので、この中のいくつかのステップを省略しても本願の特徴的な効果は実現が可能である。例えば、第１画像と第２画像を比較するようなステップで、これらの情報がない場合には、比較を行わず次のステップに進むようにしてもよい。
【００７０】
比較判定決定のフローが始まると、まず、第１選択または第２選択が採用されたか否かについて判定する（Ｓ１）。静止画撮影が終了すると、静止画と静止画撮影の前後で取得された一連の画像を一覧表示され（図４のＳ４３）、撮影者は記録部４に記録画像として残す最終記録画像をタッチ操作等により選択する。このステップでは、最終画像として選択された画像が第１選択（図２のＦ５参照、レリーズ操作によって撮影された画像）か、または第２選択（図２のＦ４参照）のいずれかが採用されたかを判定する。なお、レリーズ操作により静止画撮影された場合には、ユーザの意思が入ることにより、第１選択の画像となるが、自動撮影により静止画撮影された場合には、ユーザの意思が入らないため第１選択の画像とならない。また、タッチ操作等により最終記録画像が選択されなかった場合には、第２選択の画像が存在しないことになる。
【００７１】
ステップＳ１における判定の結果、第１選択または第２選択が採用された場合には、それ以前の画像と暫く同じ対象物を撮影していたか否かを判定する（Ｓ３）。静止画の撮影にあたっては、一般的には撮影者はライブビュー表示を観察しながら、対象物を決め、構図等が意図する通りになると撮影を行う。このステップでは、対象物に狙いを定め、暫くの間、同じ対象物を観察していた否かについて判定する。なお、暫くの間としては、所定の時間に亘ってユーザが視認して対象物を確認して同じ対象物を狙って撮影しようとしたとみなせる程度の時間であればよい。
【００７２】
ステップＳ３における判定の結果、それ以前の画像と暫く同じ対象物を撮影していた場合には、それ以前の対象物の撮影品質が選択画像と同様であるか否かについて判定する（Ｓ５）。撮影品質は、例えば、ピント、露出、画角等であり、撮影画像の品質に影響のある制御要素である。このステップでは、ステップＳ３における暫くの時間と略同じ時間の間、撮影品質に変化がないままで第１または第２選択の画像が撮影されたか否かを判定する。なお、このステップでは、「それ以前」かという条件を付して判定している。これは、ユーザが、ライブビューでよく観察して確認したはず、という意味合いがある。確認して調整して、納得した上で撮影した、という場合と、調整しきれないで、たまたま奇麗に撮れてしまった、とでは大きな相違がある。すなわち、ライブビュー表示で観察して納得したことに意味がある。
【００７３】
ステップＳ５における判定の結果、それ以前の対象物の撮影品質が選択画像と同様であった場合には、次に、選択画像と、それ以前・以降の画像を動画として記録する（Ｓ７）。ステップＳ３、Ｓ５における判定より、同じ対象物を同じ撮影品質で撮影（ライブビュー表示・静止画撮影）して場合であることが分かる。このような画像は、後述する図５（ａ）のような場合であり、動画として鑑賞に堪えるものである。そこで、画像処理部１ｃ、Ｍ圧縮・伸張部１ｋ等によって、この一連の画像を動画として生成し、動画の画像データを記録する。なお、選択画像の前後のいずれか一方の画像は必ずしも記録しなくてもよい。
【００７４】
ステップＳ７においては、ユーザが得られた一連の画像から一コマを選ぶだけで、意図通りの対象物を良好な画質で得た高品位の動画を得ることができ、このため限りなくユーザの負担を軽減することができる。ユーザは、単に、良好な静止画を得るために集中すればよく、様々な撮影パラメータの切り替えや、構図の確認等に専念できる。
【００７５】
ステップＳ７において動画記録を行うと、次に、対象物の特徴と動画のパターンを記録する（Ｓ９）。ここでは、ステップＳ７において動画記録された画像について、画像特徴判定部１ｆによって検出された画像特徴を記録部４、仮記録部１ｃ、またはメモリ１ｑに記録する。記録部４には記録される動画の画像データと共に、この画像データに関連する特徴情報が記録される。また、学習の結果、取得された特徴情報は、累積して後に動画の画像データを生成する際に使用しやすいようにメモリ１ｑに記録される。なお、特徴情報の記録先は、上述の記録部に限らず、他の記録部でもよく、また、いずれかの情報の記録を省略してもよい。
【００７６】
また、ステップＳ９において記録する動画のパターンは、対象物の大きさや、その変化、動きの方向や動きの速さ、フレーム内の変化を表す動きベクトルなどがある。また、人間、鳥など動物であれば、顔の大きさや向き、それと移動の方向の関係など、いくつかの項目ごとに、数値化が可能となる。例えば、図５（ａ）に示す例では、鳥が飛びだす時のパターンであって、上を見上げ、羽根を開いて、空に羽ばたく様子を動きベクトル等で表せばよい。
【００７７】
対象物の特徴等を記録すると、次に、第２選択を採用したか否かを判定する（Ｓ１１）。図２に示した例では、画像Ｆ４が第２選択である。このステップでは、レリーズ操作に応じた画像Ｆ５ではなく、撮影者が記録用にレリーズ操作に対応しない画像Ｆ４を選択したか否かについて判定する。この判定の結果、第２選択を採用しなかった場合には、元のフロー（図４に示す）に戻る。
【００７８】
一方、ステップＳ１１における判定の結果、第２選択を採用した場合には、第１と第２選択の差異を判定する（Ｓ１３）。ここでは、第１選択の画像（レリーズ操作時に対応の画像）と、第２選択の画像（撮影者が記録用に選択した画像）の特徴情報（例えば、タイミング、構図、形状、ピント、露出等）を比較し、差異を判定する。
【００７９】
第１選択と第２選択の差異を判定すると、次に、対象物の特徴と「選択画像差異」を記録する（Ｓ１５）。ここでは、被写体である対象物の特徴と、ステップＳ１３で判定した選択画像差異を記録部４、仮記録部１ｃ、またはメモリ１ｑ等に記録する。例えば、図２や図５（ａ）に示す例では、対象物の特徴として、「飛び立つ鳥」であることが記録され、「選択画像差異」として、静止位置から羽根を広げ飛び立った瞬間が記録される。
【００８０】
ステップＳ１５において、このような記録がなされることにより、撮影者が対象物毎にどのような画像を好むかについての情報が蓄積され、また学習がなされる。このため、類似の撮影対象に対して、カメラが撮影者の好みに応じたガイドや記録画像候補の推薦等を行うことが可能となる。記録を行うと、元のフロー（図４に示す）に戻る。
【００８１】
ステップＳ１に戻り、このステップにおける判定の結果、第１選択画像または第２選択画像を最終記録画像として採用しなかった場合には、同様の撮影品質で、所定時間以上、同一の対象物を捕捉していたか否かについて判定する（Ｓ１７）。ステップＳ１において前述したように、第１選択や第２選択によって画像が選択されない場合がある。この場合には、例えば、同一の対象物（例えば、図２及び図５に示す例では、「鳥」）が移動体であれば、撮影者が撮影画角内に収まるように追いかけていたか否かを判定する。また同一対象物が静止体であれば、その対象物から他の被写体にカメラを振るようなことがなかった否か等について判定する。なお、撮影品質は、前述したように、例えば、ピント、露出、画角等である。
【００８２】
ステップＳ１７における判定の結果がＹｅｓの場合には、フレームレート等、撮影タイミングを対策する旨を記録する（Ｓ１９）。同一の対象物を捕捉していたにも関わらず、第１選択も第２選択も採用されていない場合には、一覧表示された画像の間のタイミングで撮影者の意図する画像がある場合が想定される。そこで、フレームレートを多くすることにより、撮影者の意図する画像を撮影する可能性が高まるので、その旨を記録部４やメモリ１ｑに記録する。その他、撮影タイミングを対策することを記録しておく。この記録を行うと、元のフロー（図４に示す）に戻る。
【００８３】
ステップＳ１７における判定の結果がＮｏの場合には、またはステップＳ３における判定の結果がＮｏの場合には、起動時間の対策、広角撮影や照準器使用の推奨で、見失い対策等を行うことを記録する（Ｓ２１）。ステップＳ１Ｎｏ→Ｓ１７Ｎｏの場合には、撮影画面内には対象部を補足していない可能性が高く、またステップＳ１Ｙｅｓ→Ｓ３Ｎｏの場合には、たまたま第１又は第２選択を採用しているが、選択以前の撮影画面内には対象物を捕捉していない可能性が高い。そこで、撮影者の意図する対象物を捕捉できるように、迅速にカメラが起動できるような対策を行うことや、対象物を見失ったとしても広角（短焦点距離）や照準器で見つけ易くすることにより、見失い対策を行うことを記録部４やメモリ１ｑに記録する。見失い等対策を記録すると、元のフロー（図４に示す）に戻る。
【００８４】
ステップＳ５に戻り、このステップにおける判定の結果がＮｏの場合には、ピント、露出、画角等を撮影時に変更、又はそれに先立ってガイドを行う（Ｓ２３）。この場合は、ライブビュー時の画質より、選択画質の方が良いという状況なので、種々の撮影パラメータの変更など撮影制御の効果を納得しきれないうちに撮影したが、即座に何かの操作がうまく適切に働き、うまく行った状況である。または待ち伏せ撮影で、待ち構えた対象物が現れて撮影できた場合である。したがって、かなり高度な撮影で、止まっていた鳥でピントを確認しながら、近づく方向に飛び立った瞬間に、ピントを微調するといった高度な撮影で、プロカメラマンにしか出来ないような技とも言え、初心者にも出来るような操作が自動でできたり、アドバイスできたりすることが好ましい。また、操作や確認が十分納得できていなくとも、たまたま撮影がうまくいくこともある。
【００８５】
ステップＳ２３では、そのような状況であった事をピント、露出、画角等を撮影時変更、またはそれに先だってガイド、制御した撮影であったことを記録する。つまり、何らかの操作なり設定が無意識にシーンに合致したわけなので、それが撮影されたプロセスは学習しておいた方が、同様のシーンが次回、起こった時に、同様の操作で同じようにうまくいく可能性が高まることは間違いないので、このプロセスを再現できるような記録を極力行った方がよいという考え方である。
【００８６】
それをもとに、シーンごとにその時の制御が、たまたま撮影できたか、咄嗟に操作したかも含めて、再現できるような自動制御や撮影補助、ガイドなどがなされたりする工夫をしておいた方が良い。このような機能を有するカメラでは、そのガイドに沿って操作して撮影したとも考えられるので、それも含めてステップＳ２２やＳ２３で記録を行う。シーンと操作が合わせて記録されていけば、こうしたプロの技のようなものが蓄積されて、自動撮影や適切なアドバイスなどに繋げることが出来る。たまたまか恣意的かの判定は重要ではないが、たまたまであれば修練が必要でアドバイスを出すようにしたり、それも無理な状況なら自動で補う制御にしてしまう考え方もある。
【００８７】
偶然でない場合は、熟慮、鍛錬の結果の撮影なので、余計な自動化は必要ない。したがって、たまたまかそうでないかは判別できるなら、判別した方が良いが、それも咄嗟の操作の成功率やシーンや操作の回数やその類似シーンでの成功率や制御の困難さ（同時に複数のパラメータ制御などは困難で、再現が困難なので、少なくとも一つの制御は自動化にする等によってユーザの負担は軽減できる）などによって判定は極めて容易にできる。
【００８８】
ここでの説明のように、第１のタイミングでの撮像結果の視認など確認が可能である場合は、ユーザの好みがその都度反映させていると考えられ、視認できない例よりも豊富なユーザの画像や記録に対する嗜好情報を含む事となる。さらに、撮影という操作が入る事によって、ユーザが記録したいと思う画像の特徴が把握できるので、ここで説明したような画像と操作の関係の判定は、極めて豊富なユーザの情報となり、今後のユーザ操作に対して有意義な示唆を与える事が可能な判定や学習に活かす事が可能である。
【００８９】
続いて、偶発的に撮影できたことを記録する（Ｓ２５）。前述したように、ステップＳ２３に至る経過では、撮影品質を変化させることにより撮影できたものであり、偶然、撮影できた可能性も高い。そこで、記録部４やメモリ１ｑにその旨を記録しておく。なお、このステップＳ２５において、変更した撮影品質の項目を記録部４、仮記録部１ｃ、またはメモリ１ｑに記録しておいてもよい。また、この記録に基づいて、ライブビュー表示中にこれと同じ状況になった場合には、適宜、撮影者にその旨をガイド表示できるようにしてもよい。この記録を行うと、元のフロー（図４に示す）に戻る。
【００９０】
このように、図３に示す比較判定決定のフローにおいては、第１選択の画像（例えば、静止画撮影の指示で取得した画像）および／または第２選択の画像（例えば、静止画撮影の前後に仮記録された画像の一覧からユーザが指定した画像）がある場合に、これらの情報に基づいて動画記録を行うか否かを判断している（Ｓ１〜Ｓ７参照）。このため、見栄えのする動画を簡単にユーザが意図しなくても簡単に生成することができる。なお、本実施形態においては、ステップＳ３やＳ５等において、さらに所定条件を加えて判定している。しかし、これらの条件は、一部を変更してもよく、別の条件を追加してもよく、さらに処理の順番を変更してもよい。
【００９１】
また、比較判定決定のフローにおいては、第１選択の画像および／または第２選択の画像を比較し、両画像の差異と、対象物の特徴を記録している（ステップＳ１３、Ｓ１５参照）。これらの情報は、ユーザの嗜好を示しており、有用な情報であることから、ユーザの撮影の補助に活用することができる。撮影補助としては、例えば、静止画撮影前後に仮記録された画像の中から、ユーザの好みにあった候補画像を表示すれば（図４のＳ４３、Ｓ４５、Ｓ５７等参照）、仮記録されている画像が大量にある場合であっても、ユーザは簡単かつ迅速に記録すべき画像を決定することができる。
【００９２】
つまり、画像としての記録を意図した状況下において、その状況に対するユーザの好みの画像というものが関連づけられ、次の撮影や記録等に反映されることで、様々な便益が得られるというのが本実施形態の狙うところとなっている。画像の視認性という切り口からは様々なパラメータ制御があり、それは静止画として見られる時に、背景と主被写体の関係や主被写体の大きさや向き、ピント位置や露出や色再現など、その隅々まで、最も一コマとしての完成度が求められる。一コマの完成度が高くなれば、それが動いて動画となる時にも、完成度が向上することが期待される。もちろん、動画には動画としての品質が求められるが、短いシーンであれば、静止画の延長や連続として捉えてもよく、動画はこうした短いシーンの集積とも言えるので、ミクロ的には静止画としての好ましさをワンシーンの動画の好ましさと考えてもよい。
【００９３】
次に、図４に示すフローチャートを用いて、撮影制御の動作について説明する。ここでの動作は、ＣＰＵ１ｐがメモリ１ｑに記憶されたプログラムに従って、カメラ１０内の各部を制御することにより実行する。なお、前述の図３に示したフローは、後述するステップＳ４９の比較判定結果における動作である。
【００９４】
パワースイッチがオンとなると、撮影制御のフローが開始する。撮影制御のフローが開始すると、まず、ライブビュー表示と仮記録（Ａ）を行う（Ｓ３１）。ここでは、撮像素子１ｂからの画素信号に基づく画像データを仮記録部３に仮記録（Ａ）を行う。そして、この仮記録された画像データに対して、ライブビュー画像処理部１ｂが画像処理を施し、表示部８においてライブビュー表示される。仮記録部３は、所定のコマ数まで、１フレーム分の画像データが入力されるたびに仮記録を行い、所定のコマ数を超える画像データを入力すると古い画像データを消去して最新の画像データを仮記録する。
【００９５】
ライブビュー表示と仮記録（Ａ）を行うと、次に、姿勢、手振れ、画面と対象物の特徴を検出する（Ｓ３３）。ここでは、画像特徴判定部３３が、姿勢、手振れ、画面と対象物の特徴を検出する。
【００９６】
続いて、撮影用制御か否かの判定を行う（Ｓ３５）。ここでは、ユーザが絞り・シャッタ速度等の露出制御操作部材、ズーム操作環等の画角操作部材、距離環等のピント調節操作部材等、撮影用制御操作部材を操作したか否かを判定する。また、カメラの姿勢検知から対象物に向けてカメラの向きを変化させたか否か等、撮影等の操作についても判定する。
【００９７】
この撮影用制御という行為は、自動露出、自動合焦、自動画角制御、その他もろもろの自動化技術が反映されうる状況下では、その結果に満足する場合もあるので、ユーザの嗜好を反映した撮影補助等を可能とする本実施形態の効果達成に必ずしも必要とは言い切れないが、逆にその結果に満足して撮影に挑もうとしているので、それなりに撮影者の嗜好情報を含むものである。また、撮影用制御の操作があれば、それはまた一層、ユーザが得たい画像を取得する際に行う行為として豊富な情報を含んでおり、本実施形態の特徴となる撮影者の嗜好反映には極めて有効な情報源となりうる。つまり、ライブビュー確認とその際の操作は、日常的に推移するのが自然な光景や事象を自らの意志によって、最も自分の好みの見えに制御する行為と言える。
【００９８】
この時得られるライブビュー画像は、その状況下での見え具合、視認性が、後で見返すに耐える程に完成度を上げたものであることが期待されるものである。つまり、この状況と制御の関係は、移ろいゆく事象、対象物の最も好ましい再現を狙って、ユーザの意識や集中が高まるような状況であるから、その眼は対象やその回りの状況、背景を見定め、それらが刻々と変化する中で、指の動きや、音声操作であれば声などで、装置に対して指示を行う事の中にも多くの貴重な情報が含まれることとなる。
【００９９】
このような情報によって、同様の対象物を再び狙うユーザに、あるいは、同じような嗜好や目的を持った別のユーザにも、有効なガイドなりアドバイスなどが与えられ、あるいは、装置やソフトウエアの補助によって、制御の自動化を行う時の重要な参考情報となる。上述のように、このようなライブビュー時の確認と撮影パラメータの操作が重要であるにも関わらず、常に必要とは言い切れないのは、前述のように自動の制御で満足できる場合があるからである。しかし、撮像記録をしようという意志そのものがある場合は、この代用となるし、また、後述の撮影操作が、このときの制御と補完的に、状況と撮影パラメータ等の関係に対するユーザの好みを代弁したものとなりうる。
【０１００】
ステップＳ３５における判定の結果、撮影用制御がなされた場合には、類似シーンで反映事項が有るか否かについて判定する（Ｓ３５）。ユーザの行った撮影用制御がステップＳ９、Ｓ１５、Ｓ１９、Ｓ２１、Ｓ２３、Ｓ２５等における学習結果に基づく撮影用制御が行われることが望ましい。そこで、過去に学習したことのある類似シーンであれば、撮影者の意図する撮影画像となるように、撮影ガイドを表示することが望ましい。このステップでは、ライブビュー画像等に基づいて、画像特徴判定部１ｆが現在のシーンを分析し、この分析結果と蓄積された記録事項に基づいて、類似シーンで反映事項があるか否かを判定する。
【０１０１】
ステップＳ５１における判定の結果、類似シーンで反映事項が有る場合には、反映事項との差異を表示する（Ｓ５３）。ここでは、類似シーンでの推奨制御要素と、現在設定されている制御要素（露出、ピント、画角等）との差異を、表示部８に表示する。
【０１０２】
ステップＳ３５における判定の結果、撮影用制御がなされていない場合には、類似シーンで反映事項として未採用が有るか否かを判定する（Ｓ３７）。ユーザは撮影用制御を行っていないが、画像特徴判定部１ｆによって分析された現在のシーンが、記録部４またはメモリ１ｑに記憶されている種々のシーンの中から類似しているシーンがあれば、類似シーンにおける推奨制御と、現在設定されている制御が相違しているか否かを判定する。
【０１０３】
ステップＳ３７における判定の結果、類似シーンで反映事項として未採用の制御があれば、反映事項をガイドし、また適用等する（Ｓ５５）。ここでは、学習結果に基づいて、未だ実行されていない露出、ピント、画角等の制御要素の制御を行う。また、この制御にあたって、どのような制御を行うか（反映事項）を表示部８に表示する。
【０１０４】
ステップＳ３７における判定の結果、反映事項として未採用がない場合、またはステップＳ５５において反映事項のガイド、適用等を行うと、またはステップＳ５３において反映事項との差異を表示すると、またはステップＳ５１における判定の結果類似シーンで反映事項がない場合には、次に、静止画撮影を行うか否かの判定を行う（Ｓ３９）。撮影者は、ライブビュー表示を観察し、構図等を決めると、静止画撮影操作部６ｂのレリーズ釦を操作する。このステップでは、レリーズ釦の操作状態に基づいて判定する。この判定の結果、レリーズ釦が操作されていない場合には、ステップＳ３１に戻る。
【０１０５】
この静止画撮影という行為は、本実施形態の効果達成に必ずしも必要とは言い切れないが、撮影者が得たい画像を取得する際に行う行為としては豊富な情報を含む物であるから、本実施形態の特徴となる撮影者の嗜好反映には極めて有効な情報源となりうる。つまり、静止画というものは、日常的に推移するのが自然な光景や事象を自らの意志によって、静止させた状態にとどめ置こうとする行為なので、その一コマは、作品化とかドキュメント化といった事を指向したものであり、それを目的とした行為と言える。この時得られる静止画は、その一瞬の完成度が、後で見返すに耐える程に完成度を上げたものであることが期待されるものである。つまり、この撮影の瞬間は、移ろいゆく事象、対象物の決定的瞬間を狙って、ユーザの意識や集中が最も高まった状況であるから、その眼は対象やその回りの状況、背景を見定め、それらが刻々と変化する中で、指の動きや、音声操作であれば声などで、装置に対して指示を行う事の中にも多くの貴重な情報が含まれることとなる。応答遅れや、先走りなどの誤差があるにせよ、おそらく、この操作タイミングの前後の画像には、ユーザが求めたものがあるものと考えられる。
【０１０６】
このような情報によって、同様の対象物を再び狙うユーザに、あるいは、同じような嗜好や目的を持った別のユーザにも、有効なガイドなりアドバイスなどが与えられ、あるいは、装置やソフトウエアの補助によって、制御の自動化を行う時の重要な参考情報となる。上述のように、このような静止画取得の操作が重要であるにも関わらず、常に必要とは言い切れないのは、完全にタイミングを失ったり、不測の状況となったりして対象物を撮り逃す事もあり、何らかの制約によって、その行為が制限される状況がありうるからである。しかし、第１のタイミングで撮像記録をしようという意志が、この代用となる。
【０１０７】
ステップＳ３９における判定の結果、静止画撮影の場合には、静止画撮影、記録を行い、更に所定コマ数仮記録（Ｂ）を行う（Ｓ４１）。このステップでは、静止画撮影に先立って、撮影制御が必要の場合には、この撮影制御を行う。この撮影制御としては、図３のＳ１９においてフレームレート等撮影タイミング対策を行うことが望ましとされたシーンの場合、Ｓ２３においてピント、露出、画角等を撮影時に変更することが望ましいとされたシーンがある。これ以外にも、比較判定によって学習した撮影前の制御があれば、実行する。
【０１０８】
ステップＳ４１において、静止画撮影に先立って必要な撮影制御を行うと、または、このような撮影制御がない場合には、続いて、静止画撮影と記録を行う。ここでは、撮像素子２ｂの各画素が被写体像に応じて画素信号を蓄積し、シャッタ速度に対応する時間が経過すると画素信号の蓄積を終了し、画素信号を読み出し、仮記録部３に一時記憶する。一時記憶された画像データは、画像処理部１ｃ、Ｓ圧縮・伸張部１ｊ等によって画像処理が施され、記録部４に記録される。
【０１０９】
ステップＳ４１において、静止画撮影のための撮像が行われ画素信号が読み出されると、次に、所定コマ数の仮記録（Ｂ）を行う。静止画を撮影した後でも、静止画撮影前と同様に、撮像素子１ｂからの画素信号に基づく画像データを仮記録部３に仮記録する。所定コマ数だけ仮記録すると、この仮記録を終了する。
【０１１０】
ステップＳ４１における処理を行うと、次に、取得画像を一覧表示する（Ｓ４３）。ここでは、ステップＳ３１において開始した仮記録（Ａ）によって取得した一連の所定数コマの画像と、ステップＳ４１において取得した静止画の画像と、静止画撮影後に取得し仮記録（Ｂ）した一連の所定数のコマの画像を、表示部８に一覧表示する（例えば、図５参照）。なお、全画像を一時に表示する一覧表示以外にも、１コマまたは数コマずつ順次表示するようにしても勿論かまわない。この場合には、ユーザは順次表示される画像の中から、気にいた画像をタッチ操作または釦操作する等により選択すればよい。
【０１１１】
取得画像を一覧表示すると、次に、類似シーンが有り、反映できるか否かを判定する（Ｓ４５）。ここでは、ステップＳ４３において表示した取得画像の一覧の中で、ユーザの嗜好に合うベストショットを候補画像と表示できるか否かに応じて判定する。
【０１１２】
ステップＳ５７における判定の結果、類似シーンがあり、反映できるのであれば、補助表示等を行う（Ｓ５７）。ここでは、ユーザの嗜好に合うベストショットを候補画像として表示する。候補画像は１つに限らず、複数でも構わない。また表示方法としては、一覧表示の場合には太枠、色枠等で囲んでもよく、また、画像の大きさを変える等、非候補と区別できればよい。また、一覧表示に代えて、順次表示する場合にも、候補画像と非候補画像を区別できるような表示であればよい。
【０１１３】
ステップＳ５７において補助表示等を行うと、またはステップＳ４５における判定の結果、反映事項として採用したものがなければ、選択有りか否かを検出する（Ｓ４７）。ステップＳ４３において取得画像の一覧表示を行うと、撮影者は一覧表示された画像の中から記録部４に記録すべき画像をタッチ操作等により選択する。このステップでは、タッチ操作等により、画像が選択されたか否かを検出する。選択しないままで所定時間経過した場合、非選択のアイコン等をタッチした場合等には、非選択として扱う。
【０１１４】
選択したかどうか検出すると、次に、比較判定決定を行う（Ｓ４９）。この比較判定決定の動作については、図３に示すフローチャートを用いて説明した通りである。すなわち、第１選択（レリーズ操作時の静止画像）と第２選択（撮影者が一覧表示から選択した画像）を比較し、特徴情報を用いて、撮影者の意図に沿った撮影画像を得るための撮影制御について学習する。比較判定決定の処理を行うと、ステップＳ３１に戻る。なお、パワースイッチがオフとなると、撮影制御のフローは終了する。
【０１１５】
このように、撮影制御のフローでは、図３の比較判定決定において記録した情報（対象物の特徴と選択画像の差異）を用いて、記録されているシーンと類似したシーンの場合には、記録された情報を用いて撮影ガイドを行うようにしている。類似シーンか否かについては、カメラの姿勢、手振れ、画面と対象物の特徴等に基づいて判定する（Ｓ３３参照）。類似シーンであれば、以前の記録した情報に基づいて、ユーザの嗜好にあった制御値（露出、ピント、画角等）で自動制御するか、またはガイド表示を行うようにしている（Ｓ５３、Ｓ５５）。このため、ユーザの嗜好にあった画像を簡単に取得することができる。
【０１１６】
次に、図５を用いて、本実施形態に係るカメラを用いて撮影した画像に基づく学習について説明する。また、動画として記録するに適した画像と、動画として記録するのに適していない画像の例について説明する。
【０１１７】
図５（ａ）は、鳥が飛び立つ際にレリーズ操作がなされた一連の取得画像の例を示す。画像Ｐ１７は、撮影者がレリーズ釦を操作した瞬間の画像であるが、このレリーズ釦を操作した瞬間には画像Ｐ１７を取得することはできない。すなわち、画像Ｐ１１〜Ｐ１７は、レリーズ操作する前まで、仮記録部３に仮記録されていた画像である（図４のＳ３１の仮記録（Ａ）参照）。画像Ｐ１８は、撮影者がレリーズ釦を操作することによって取得した画像であり（図４のＳ３９、Ｓ４１参照）、画像Ｐ１９は、静止画撮影後に仮記録部３に記録されていた画像である。
【０１１８】
図５（ａ）における一連の画像において、最初、鳥は何かに止まってじっとしているが（画像Ｐ１１〜Ｐ１４）、その後、顔を上げ（画像Ｐ１５）、羽根を広げ（画像Ｐ１６）、羽ばたき（画像Ｐ１７）、飛び立ち（画像Ｐ１８）、画面から消えている（画像Ｐ１９）。一連等の画像の中で、撮影者のレリーズ操作によって取得した静止画は画像Ｐ１８（第１選択）であるが、図５（ａ）に示す例では、撮影者は記録部４に記録する画像として画像Ｐ１７（第２選択）を指定している。
【０１１９】
カメラ１０は、記録用の画像として、レリーズ操作時の画像Ｐ１８ではなく、仮記録された画像Ｐ１７を選択したことから、対象物の形状やその位置の変化を分析することにより、撮影者の好みを学習することができる。すなわち、鳥が飛び立つ際には、画像Ｐ１８のように、鳥が画面の上側のみとならず（画像Ｐ１９）、鳥が画面の全体にあり、かつ羽根が大きく広げられている画像を好むことを学習できる。このような学習を蓄積することにより、一覧表示した際に、画像Ｐ１７を推奨画像として表示することができる。図５（ａ）に示した例では、画像Ｐ１７の枠を太くして、そのことを示している。なお、枠を太くする以外にも他の方法で表示するようにしてもよい。
【０１２０】
また、図５（ａ）に示すような動き、すなわち、第１選択または第２選択があり（図３のＳ１参照）、それ以前の画像と暫く同じ対象物であり（Ｓ３参照）、撮影品質も同様である（Ｓ５参照）ことから、選択画像と、それ以前・以降の画像を動画記録し（図３のＳ７）、対象物の特徴と動画のパターンを記録する（Ｓ９参照）。図５（ａ）に示すような一連の画像は、鳥が滑らかに動いており、動画として鑑賞に堪えるものであることから、静止画だけではなく、動画としても記録する。
【０１２１】
動画には動画としての品質が求められるが、短いシーンであれば、静止画の延長や連続として捉えてもよく、動画はこうした短いシーンの集積とも言えるので、ミクロ的には静止画としての好ましさをワンシーンの動画の好ましさと考えてもよい。ここでの操作は、この好ましいワンシーン動画を簡単に作り出すのに効果的である。
【０１２２】
図５（ｂ）は、鳥が飛び立つ際にレリーズ操作がなされた一連の取得画像の他の例を示す。図５（ｂ）においても図５（ａ）と同じく、画像Ｐ２１〜Ｐ２７までは、仮記録された画像であり、画像Ｐ２８はレリーズ操作に応じて取得された静止画であり、画像Ｐ２９は静止画撮影後に仮記録された画像である。
【０１２３】
一連の画像Ｐ２１〜Ｐ２９の中で、たまたま画像Ｐ２７は、画像Ｐ１７と同じく同じ形状・構図となっており、撮影者の意図に沿った画像となっている。しかし、画像Ｐ２１〜Ｐ２７までは、カメラ１０の撮影方向が定まらず、対象物である鳥の画面内での位置は不安定である。このように、図５（ｂ）に示す一連の画像では、鳥の位置が不安定であり、動画として鑑賞に堪えるものではないことから、静止画のみを記録し、動画としては記録しない。
【０１２４】
このように、撮影者が、図５に示すように、レリーズ操作に対応しない画像を第２選択として指定すると、この第２選択された画像とレリーズ操作に対応する画像（第１選択）の特徴を分析し、比較することにより、撮影者の好みを学習することができる（図３のＳ１３、Ｓ１５）。
【０１２５】
また、静止画像を取得するまでに１フレーム分の画像データが出力されるたびに、この画像データを仮記録しておく（図４のＳ３１）。そして、この一連の画像中の対象物の形状・位置、また撮影品質等に基づいて、動画に適している否かを判定し、適している場合には、動画として記録する。これによって、単に静止画だけではなく、同時に鑑賞に堪える動画も記録することができる。
【０１２６】
以上説明したように、本発明の一実施形態においては、第１のタイミング対象物を繰り返し撮像して複数の画像を取得し（例えば、図４のＳ３１参照）、複数の画像を記録し（例えば、図４のＳ３１、Ｓ４１）、記録された画像のなから、第２のタイミングで画像を選択する第２の選択を行い（例えば、図４のＳ４７）、第２のタイミングで選択または非選択された画像の比較結果に従って、上記複数の画像から動画候補コマを決定する（図３のＳ７）。第２の選択画像または非選択の画像の比較に従って、動画候補コマを決定していることから、撮影者の好みに応じた動画を容易に生成することが可能となる。
【０１２７】
また、本発明の一実施形態においては、第１のタイミングで対象物を繰り返し撮像して複数の画像を取得し、取得された画像を仮記録し（例えば、図４のＳ３１参照）、第１のタイミングの中で撮影指示がされた際に画像を選択する第１の選択を行い（例えば、図４のＳ３９、Ｓ４１参照）、仮記録された画像のなから、第２のタイミングで画像を選択する第２選択を行い（例えば、図４のＳ４７参照）、第１選択または第２選択によって画像が選択され、仮記録された画像が所定の条件を満たす場合に、記録された画像に基づいて生成された動画を記録する（例えば、図３のＳ３、Ｓ５、Ｓ７参照）。このため、鑑賞に堪える動画を容易に生成することができる。このような選択行為は一連の画像の中で、ユーザが好ましいと思う画像を選んだり捨てたりするものであるから、撮影対象（状況、背景、主被写体や被写体群の向きや表情なども含む）や状況と画像の質やその画像を得た時の撮影パラメータ（これはピントや露出や画角、構図、対象物の大きさや様々な画像処理の仕方まで多岐にわたる）の選択の関係性という意味でユーザの嗜好を類推したり学習したり、決定したりするのに豊富な情報源となる。
【０１２８】
なお、本発明の一実施形態においては、図４に示すように撮影時に学習を行っていた。しかし、これに限らず、再生時に行うようにしてもよい。また、学習結果に基づいて制御する対象としては、ピント、露出、画角等に限らず、撮影者の好みに応じた撮影画像を得るための制御要素であればよい。もちろん、動画には動画としての品質が求められるので、例えば、静止画としては好ましくても、その持続時間が短すぎたり、その前後の動きが不自然だったりして動画として好ましくないといった例もあり得る。このような観点で、動画としての完成度があがるように、ユーザの嗜好を学習させるように改良してもよい。これは、動画再生時、またはその後のユーザの反応が重要な情報となる。ただし、短いシーンであれば、動画も静止画の延長や連続として捉えて、持続時間（長すぎても短すぎても好ましくない）や、動きの方向（不自然な動きというものもある）などのみを加味する判定を付加して、単純化して考えてもよい。
【０１２９】
また、本発明の一実施形態においては、学習結果に基づいて撮影ガイドを行ったり、また自動的に撮影制御を行うのは、静止画の場合について説明した。しかし、動画についても、学習結果を反映させるようにしてもよい。
【０１３０】
また、本発明の一実施形態においては、比較部１ｄ、決定部１ｅ、画像選択部１ｇ、第１選択部１ｈ、第２選択部１ｉ等をＣＰＵ１ｑとは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、ＣＰＵ１ｑによって実行するようにしても勿論かまわない。また、ハードウエア回路や部品単体の他、ＣＰＵとプログラムによってソフトウエア的に構成してもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。
【０１３１】
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。医療用カメラとしては、例えば、カプセル内視鏡のように、体内で自動的に多数の撮影を行うようなカメラであっても、第１のタイミングにおける繰り返し撮像と第２のタイミングにおけるコマごとの確認があるので本発明を適用可能であり、例えば工業用、産業用の検査装置やドローンであっても、同様の事が言える。
【０１３２】
いずれにしても、連続して撮影を行うことが可能な撮影のための機器であれば、本発明を適用することができる。ピントや露出や画角、構図、対象物の大きさや様々な画像処理の仕方まで多岐にわたる撮影パラメータは、特に動きのあるものに対して、ユーザが最適と思うものに調整していく事は、多大な負担をユーザに強いるので、本発明は、ユーザを補助して、その負担軽減に並々ならぬ効果を奏し、自動的、半自動的に、あるいは有効なアドバイスやガイドの告知によって得たい画像が出来ているような装置やシステムや方法を提供することができる。
【０１３３】
また、本発明の一実施形態においては、図３および図４のフローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。
【０１３４】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１３５】
また、近年は、様々な判断基準を一括して判定できるような人工知能が用いられる事が多く、ここで示したフローチャートの各分岐などを一括して行うような改良もまた、本発明の範疇に入るものであることは言うまでもない。そうした制御に対して、ユーザが善し悪しを入力可能であれば、ユーザの嗜好を学習して、そのユーザにふさわしい方向に、本願で示した実施形態はカスタマイズすることが可能である。
【０１３６】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。これもまた、人工知能での実施時には、同様の技術思想でありながら、それに応じたカスタマイズ等が可能である。
【０１３７】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。特に、音声認識を含む生体反応を利用した操作などはそれぞれにふさわしいセンサやインターフェースや判定回路が必要になるが煩雑になるのを避けて特に記載していないが、これらのユーザの手動操作を代用しうる様々な改良技術、代替技術によってもまた、本発明は達成が可能であることを付記しておく。
【符号の説明】
【０１３８】
１ａ・・・読取部、１ｂ・・・ライブビュー画像処理部、１ｃ・・・画像処理部、１ｄ・・・比較部、１ｅ・・・決定部、１ｆ・・・画像特徴判定部、１ｇ・・・画像選択部、１ｈ・・・第１選択部、１ｉ・・・第２選択部、１ｊ・・・Ｓ圧縮・伸張部、１ｋ・・・Ｍ圧縮・伸張部、１ｍ・・・表示制御部、１ｎ・・・記録制御部、１ｐ・・・ＣＰＵ、１ｑ・・・メモリ、２・・・撮像部、２ａ・・・撮影レンズ、２ｂ・・・撮像素子、３・・・仮記録部、４・・・記録部、６・・・操作部、６ａ・・・動画撮影操作部、６ｂ・・・静止画撮影操作部、８・・・表示部、１０・・・カメラ
【図１】
2018125674.tif 000003
【図２】
2018125674.tif 000004
【図３】
2018125674.tif 000005
【図４】
2018125674.tif 000006
【図５】
2018125674.tif 000007