(57)【要約】      （修正有）【課題】撮影対象が移動しているときの撮りたいシーンの撮影に於いて、対象の動作をシミュレーションし、その結果から撮影したいシーンの撮影タイミングを生成することで、連写性能の低い撮像装置であっても所望のシーンの撮影を可能にする。【解決手段】記録装置内において、移動体の動態モデルの動きをシミュレートする動作シミュレーション部１０９と、その結果と装置内部の処理時間による遅延時間から、記録したい移動体の形状・位置を撮影するためのシャッタータイミングの制御を行い、撮影制御部１０２へ撮影指示１２５を行うパターンマッチング部及び撮影タイミング発生部１０４を有する。【選択図】図１
2018201095.tif 000002
【特許請求の範囲】
【請求項１】
デジタル記録を行う撮像装置であって、当該撮像装置は、プログラムによって撮影を行う撮影制御手段と、撮像装置操作者が撮影判断をするための入力映像を表示する表示手段と、入力映像を解析し移動体を特定する入力映像解析手段と、特定した移動体の動態モデルの特定手段と、動態モデルの動作シミュレーション手段と、シミュレーション結果を表示する手段する手段と、入力映像のパターンマッチングを行うマッチング手段と、撮影制御手段に対して撮影指示を発行する撮影タイミング発生手段と、を備え、前記撮影タイミング発生手段は、シミュレーション結果の表示から操作者が指定した所望のパターンに対して、前記マッチングにかかる時間をさかのぼったパターンをマッチングパターンとして設定し、前記マッチング手段からマッチングの結果を受け取った時に撮影指示を発行することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、撮影タイミング発生手段が設定するマッチングパターンをマッチングにかかる時間に加えて入力映像のフレームレート間隔内の複数のパターンを設定し、マッチングしたパターンによって適応した遅延時間を加算の上差映指示を行うことを特徴とした撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、入力映像の取り込みタイミングは、前記撮影タイミング発生手段によって取り込みタイミングが変更されることを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の撮像装置において、利用する動態モデル及び動作シミュレーションは３Dシミュレーションが行われ、移動体の向きが変化した際、前記入力映像解析手段が移動体の向きを解析し、その向きを前記撮影タイミング発生手段に通知し、前記撮影タイミング発生手段は、その向きに該当するパターンをマッチング手段に再設定することを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の撮像装置において、動作シミュレーションの動作指定に、あらかじめ撮影した移動体の動作中の写真を2つ以上用いてシミュレーションが行えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は記録装置に関し、特に入力映像を分析・解析し撮影タイミングの自動化をするための撮像装置に関する。
【背景技術】
【０００２】
従来、撮影対象である移動体の動きのある中から、特定の機会のみを狙って撮影しようとする場合、撮像装置で連続撮影を行い、その結果を選択する方法が知られている。 
昨今では撮像装置に組み込まれるメモリ量も多くなり、シャッタータイミングの前後数秒間の撮影も自動的に行っておき記録対象として残す画を選択するなどの手段が提供されている。また、特開2012-151704のように移動体の移動軌跡を特定し、連続撮影開始から終了まで表示部に経過を表示するものや、これらの経過を1枚の写真として合成記録する手段も提供されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2012-151704号公報
【特許文献２】特開2010-119097号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら連続撮影を行っても必ずしも狙いたいシーンが含まれているとは限らず、またカメラの機種によっても連写性能が異なるため、特に普及価格帯のカメラでは十分な連写機能を保有していない為狙った機会の撮影を行うことは困難であった。
本発明では上記問題点を鑑み、連写を行わなくても移動体の動きの中から所定のタイミングに対する記録を行うことが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
記録装置内において移動体の動態モデルの動きをシミュレートし、その結果と装置内部の処理時間による遅延時間から記録したい移動体の形状・位置を撮影するためのシャッタータイミングの制御を行うことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、動態モデルは人だけでなく、車、バイク、ペットなどの動物の動態モデルを利用できるため、高速移動や運動をしている対象に対して「見たい・撮りたい」シーンを撮影することができる。さらに動態モデルシミュレーションの結果とマッチングさせてプログラムによって撮影するため、撮像装置の近傍に撮影者がいなくても撮影を行うことも可能になる。
【図面の簡単な説明】
【０００７】
【図１】本発明を適用した撮像装置の構成
【図２】連続撮影で得られた合成写真
【図３】連続撮影で欠落したシーン
【図４】動態モデル
【図５】連続撮影の動態モデル化
【図６】動態モデル動作と撮影の相関関係
【図７】動態モデルのシミュレーションと撮影の相関関係
【発明を実施するための形態】
【０００８】
［実施例１］
本発明を適用した撮像装置の構成図を図1に示す。同図に於いて、１０１は撮像装置のレンズ及びイメージセンサ、102はイメージセンサからの映像入力（112）により取り込んだ映像をライブ映像信号（113）として表示用に生成して出力する機能、保存用の写真を生成・出力（114）する機能や保存された写真読み出し（114）合成する機能を有する撮影制御部、103は写真の保存を行う画像保管部、104は撮影制御部（102）へ撮影指示（125）を発生する撮影タイミング発生部、105は撮影制御部（102）から出力された入力映像（115）を解析する入力映像解析部である。
【０００９】
106は入力映像解析部（105）の結果（116）に基づき動態モデルの種別と該当する動態モデルを動体モデルデータ（107）より取得する動態モデル特定部、108は映像パターンのマッチング判定を行うパターンマッチング部、109は動態モデルの動きシミュレーションを行う動作シミュレーション部、123は動作シミュレーション部の結果を表示用データ（124）として生成するシミュレーション結果表示部、111はタッチ入力機能を有する表示部、110は表示部（111）に表示する表示データを生成する表示用データ生成部である。
【００１０】
なお、ライブ映像信号（113）と入力解析部（105）に入力される入力映像（115）とパターンマッチング部（108）に入力される信号（118）は撮影制御部（102）によってライブ映像信号（113）と同じデータが分配される。
【００１１】
撮像装置は、撮影制御部（102）によってレンズ及びイメージセンサ（101）からの入力映像をライブビューとして表示部（111）に適した映像データとして表示し、操作者の操作によって入力映像に適切な画像所為を施して写真として画像保管部（103）へ保存する。撮影制御部では、操作によって保存する写真を生成するに当たり、レンズ及びイメージセンサ（101）から1回のみ取り込んで写真として生成する機能を基本機能として、操作1回あたりに複数回の連続した取り込みを行う連続撮影を行うことができる。また連続撮影された写真はそれらを1枚の写真にまとめた合成写真を形成し保存することが可能になっている。
【００１２】
連続撮影の例として、投球の連続撮影を上げる。図２は連続撮影で得られた合成写真である。合成写真は連続撮影で得た写真を用いて時間的に連続なシーンを1つの写真として構成したものである。図３は連続撮影で欠落したシーンを示したものである。連続撮影で得られた写真は撮影タイミングによって、腕の振りの部分である301の動きの部分に対して欠落した写真となっている。本例のように投球の連続写真であっても、一般的に球をリリースする瞬間を操作者の指示で撮影を行うだけでは困難である。
【００１３】
本発明の目的であるこのような連続撮影であっても欠落してしまうシーンを特定し、そのシーンを撮影するための手段を以下に説明する。
【００１４】
連続撮影や合成写真を得た後、撮影タイミング発生部（104）は保存された連続写真や合成された写真を読み出し、読みだした写真を動作しミューション部へセットする（127）。
【００１５】
その一方で、入力映像解析部（105）では、連続撮影の対象である動作対象を映像より特定し特定した情報を動態モデル特定部（106）へ出力する（116）。
【００１６】
動態モデル特定部（106）では入力映像解析部（105）が特定した映像からそれが人物であることを特定し、動態モデルデータ（107）より図４で示す人物の動態モデルデータを読み出し、読み出したモデルデータを動作シミュレーション部(109 )へセットする。
【００１７】
動作シミュレーション部（109）ではセットされた動態モデルと連続写真あるいは合成写真から動作を解析して、写真の操作対象を動態モデルに置き換える。図５に連続撮影の動態モデル化し図を示す。
【００１８】
動態モデル化した投球モーションを撮像装置内の時間軸に整理する。図6は整理した動態モデル動作と撮影の相関関係である。図6に於いてし、601は時間軸、602は連続写真として撮影された時間、602はライブ映像として表示していた時間である。
【００１９】
次に連続写真として撮影された動態データモデルの形状とその時間間隔において写真としては撮られていない動きをシミュレーションによって得る。
【００２０】
図７は動態モデルのシミュレーションと撮影の相関関係である。ここでは欠落している301の動作の部分をシミュレーションで得た結果の部分を示している。同図に於いて、701は時間及び内部処理のクロックを示す。703は連続写真として得ていた写真の時間を示す。704はライブビューとして表示している時間を示す。
【００２１】
動作シミュレーション部（109）はこのシミュレーションの結果をシミュレーション結果表示部（123）へ渡し、シミュレーション結果表示部（123）は、連続撮影の間にあり撮影できなかったシーンを操作者へ提示し選択してもらう為の表示用データを生成し、表示用データ生成部（110）を経て、表示部（111）へ表示する。
【００２２】
表示部（111）で表示したシーンの中から操作者が所望するシーンを選択すると、選択されたシーンが撮影タイミング発生部（104）へ通知される。撮影タイミング発生部では、当該シーンが702であることを識別する。
【００２３】
パターンマッチング部（108）によって入力された映像を特定のシーンとして判別するには判別するための処理時間がかかる。そのため撮影タイミング発生部（104）は指定されたシーンに対して、パターンマッチング部（108）の判別処理時間（706）を遡ったシーンである707のシーンをパターンマッチング部（108）へマッチング用シーンとしてセットする（119）。
【００２４】
パターンマッチング部（108）では、撮影制御部（115）から出力される映像（118）に対してシーン判定を行い、セットされたシーンとマッチした際に、撮影タイミング発生部（104）へマッチしたことを通知する（121）。
【００２５】
撮影タイミング発生部（104）はパターンマッチング部（108）からの通知（121）がされたときに、撮影制御部（102）へ撮影指示（125）を発生することで、操作者の選択したシーン（702）の写真を撮影する。
【００２６】
以上説明したように、動作対象者の動態モデルを撮影したい動作と照合して動作シミュレーションを行い、写真として撮れなかったシーンを生成し、内部処理の遅延時間を考慮したシーンへの入力映像の判別を行うことで経験の浅い撮像装置の操作者であっても所望の写真を得ることが可能になる。
【００２７】
［実施例２］
実施例１に於いて、パターンマッチング部（108）へ入力される映像（118）はライブ映像信号（113）と同じ映像が利用されることも有る。この際、所望のシーンがライブ映像信号のフレームレート間になる場合もある。この場合であっても、入力映像に対しての判定シーンを細分化し、シーンとフレームレートの時間のずれ量を加算したシーンを判別シーンとして設定する。撮影タイミング発生部（104）において判別通知が発行されてから、遅延時間分だけ遅延させて撮影制御へ撮影指示を発行することでフレームレート間のシーンであってもタイミングを合わせた撮影を行うことが可能になる。
【００２８】
［実施例３］
実施例１及び２において、動態モデルデータとして３Dモデルを利用することで動作シミュレーション部（109）では動作シミュレーションを３Dへ拡張して行う。入力映像解析部（105）が特定する対象の向きを判別し、その方向を撮影タイミング発生部（104）へ通知する。撮影タイミング発生部（104）はその方向を動作シミュレーション部（109）へ通知する。動作シミュレーション部（109）ではその方向に適合したシーン生成を行い、撮影タイミング発生部（104）は、適合したシーンを取得し、パターンマッチング部（108）へセットする。これにより、対象が向きを変えたり、操作者が位置を変えたりしても指定されたシーンに対して自由な角度で所望の撮影を行うことが可能になる。
【符号の説明】
【００２９】
101  レンジ及びイメージセンサ
102  撮影制御部
103  画像保管部
104  撮影タイミング発生部
105  入力映像解析部
106  動態モデル特定部
107  動態モデルデータ
108  パターンマッチング部
109  動作シミュレーション部
110  表示用データ生成部
111  表示部
123  シミュレーション結果表示部
【図１】
2018201095.tif 000003
【図２】
2018201095.tif 000004
【図３】
2018201095.tif 000005
【図４】
2018201095.tif 000006
【図５】
2018201095.tif 000007
【図６】
2018201095.tif 000008
【図７】
2018201095.tif 000009