(57)【特許請求の範囲】
【請求項１】
撮像部と、
上記撮像部によって撮影された動画像中の動きのある被写体を検出する被写体検出部と、
上記動画像中の上記被写体が動きによってフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、
上記ズーム制御部による画角の変更タイミングの情報を上記動画像に対応させて記録する制御部と、
上記動画像の再生時に、上記画角の変更タイミングの情報を用いて、撮像時の上記画角の変更に拘わらず、動画像の表示上の画角を一定にして表示する再生表示制御部と
を具備したことを特徴とする撮影機器。
【請求項２】
撮像部と、
上記撮像部によって撮影された動画像中の動きのある被写体を検出する被写体検出部と、
上記動画像中の上記被写体が動きによってフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、
上記ズーム制御部による画角の変更タイミングの情報を上記動画像に対応させて記録する制御部と
を具備し、
上記制御部は、上記画角の変更タイミングの情報と共に、上記画角変更前後の画角の比の情報及び上記被写体の視野範囲における位置情報を記録する
ことを特徴とする撮影機器。
【請求項３】
追尾被写体を上記再生時に表示部上のタッチパネルで指定するために、
上記再生表示制御部が、再生する上記動画像をスロー表示する
ことを特徴とする請求項１に記載の撮影機器。
【請求項４】
上記再生表示制御部は、上記画角の変更タイミングの情報及び画角変更前後の画角の比の情報を用いることで、撮像時の上記画角の変更に拘わらず、動画像の表示上の画角を一定にして表示する
ことを特徴とする請求項１に記載の撮影機器。
【請求項５】
上記制御部は、上記画角の変更タイミングの情報と共に、上記画角変更前後の画角の比の情報及び上記被写体の視野範囲における位置情報を記録し、
上記再生表示制御部は、上記位置情報を用いることで、上記被写体を常に表示させる
ことを特徴とする請求項４に記載の撮影機器。
【請求項６】
撮像部と、
上記撮像部によって撮影された動画像中の動きのある被写体を検出する被写体検出部と、
上記動画像中の上記被写体が動きによってフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、
上記ズーム制御部による画角の変更タイミングの情報を上記動画像に対応させて記録する制御部と、
上記動画像の画素数を変更する画素数切替部とを具備し、
上記画素数切替部は、上記画角を変更するタイミングで、上記動画像の画素数を増大させる
ことを特徴とする撮影機器。
【請求項７】
撮像部と、
上記撮像部によって撮影された動画像中の動きのある被写体を検出する被写体検出部と、
上記動画像中の上記被写体が動きによってフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、
上記ズーム制御部による画角の変更タイミングの情報を上記動画像に対応させて記録する制御部と
を具備し、
上記制御部は、上記動画像及び上記画角の変更タイミングの情報の記録後に、上記動画像の再生時における表示上の画角を調整するタイミングの情報を記録する
ことを特徴とする撮影機器。
【請求項８】
上記制御部は、上記動画像及び上記画角の変更タイミングの情報の記録後に、上記動画像を拡大表示する位置を示す情報を記録する
ことを特徴とする請求項７に記載の撮影機器。
【請求項９】
撮影された動画像中の動きのある被写体を検出し、
上記動画像中の上記被写体が動きによってフレーム外れになることを検出して画角を広角側に変更し、
上記画角の変更タイミングの情報を上記動画像に対応させて記録し、
上記動画像の再生時に、上記画角の変更タイミングの情報を用いて、撮像時の上記画角の変更に拘わらず、動画像の表示上の画角を一定にして表示する
ことを特徴とする撮影方法。
【請求項１０】
被写体の動きに伴うフレーム外れに応じて画角が広角側に変更されて撮像された動画像に対応させて上記画角の変更タイミングの情報が記録された画像ファイルから、上記画角の変更タイミングの情報を読み出して、上記動画像の表示上の画角を一定にして表示する
ことを特徴する再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を撮像可能な撮影機器、撮影方法及び再生方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）は、静止画のみならず、動画撮影機能を有するものが多い。また、撮影機器においては、画像処理によって被写体を検出し、被写体に対して最適な撮像を行うように制御する機能を有するものがある。
【０００３】
例えば、特許文献１においては、撮影範囲内に被写体が収まるように、被写体を自動的に追尾可能に構成された装置が開示されている。特許文献１の技術では、被写体の移動速度が比較的高速な場合のように、被写体の移動に応じた追跡が困難となった場合には、被写体を含む撮影範囲をズームアウトすることにより、被写体が撮影範囲内に収まるようにしている。
【先行技術文献】
【特許文献】
【０００４】
特開２００９−３３４５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の装置では、被写体を撮影範囲内に収めるために、ユーザが被写体を望遠側で撮像したい場合でも、ズームアウトによって被写体が広角側で撮像されてしまうことがあり、必ずしもユーザが希望する撮像結果が得られないという問題があった。
【０００６】
本発明は、再生時に、被写体を所望の画角で連続的に画像表示することを可能にすることができる撮影機器、撮影方法及び再生方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮影機器は、撮像部と、上記撮像部によって撮影された動画像中の動きのある被写体を検出する被写体検出部と、上記動画像中の上記被写体が動きによってフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、上記ズーム制御部による画角の変更タイミングの情報を上記動画像に対応させて記録する制御部と、上記動画像の再生時に、上記画角の変更タイミングの情報を用いて、撮像時の上記画角の変更に拘わらず、動画像の表示上の画角を一定にして表示する再生表示制御部とを具備する。
また、本発明に係る撮影機器は、撮像部と、上記撮像部によって撮影された動画像中の動きのある被写体を検出する被写体検出部と、上記動画像中の上記被写体が動きによってフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、上記ズーム制御部による画角の変更タイミングの情報を上記動画像に対応させて記録する制御部とを具備し、上記制御部は、上記画角の変更タイミングの情報と共に、上記画角変更前後の画角の比の情報及び上記被写体の視野範囲における位置情報を記録する。
また、本発明に係る撮影機器は、撮像部と、上記撮像部によって撮影された動画像中の動きのある被写体を検出する被写体検出部と、上記動画像中の上記被写体が動きによってフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、上記ズーム制御部による画角の変更タイミングの情報を上記動画像に対応させて記録する制御部と、上記動画像の画素数を変更する画素数切替部とを具備し、上記画素数切替部は、上記画角を変更するタイミングで、上記動画像の画素数を増大させる。
また、本発明に係る撮影機器は、撮像部と、上記撮像部によって撮影された動画像中の動きのある被写体を検出する被写体検出部と、上記動画像中の上記被写体が動きによってフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、上記ズーム制御部による画角の変更タイミングの情報を上記動画像に対応させて記録する制御部とを具備し、上記制御部は、上記動画像及び上記画角の変更タイミングの情報の記録後に、上記動画像の再生時における表示上の画角を調整するタイミングの情報を記録する。
また、本発明に係る撮影方法は、撮影された動画像中の動きのある被写体を検出し、上記動画像中の上記被写体が動きによってフレーム外れになることを検出して画角を広角側に変更し、上記画角の変更タイミングの情報を上記動画像に対応させて記録し、上記動画像の再生時に、上記画角の変更タイミングの情報を用いて、撮像時の上記画角の変更に拘わらず、動画像の表示上の画角を一定にして表示する。
また、本発明に係る再生方法は、被写体の動きに伴うフレーム外れに応じて画角が広角側に変更されて撮像された動画像に対応させて上記画角の変更タイミングの情報が記録された画像ファイルから、上記画角の変更タイミングの情報を読み出して、上記動画像の表示上の画角を一定にして表示する。
【発明の効果】
【０００８】
本発明によれば、再生時に、被写体を所望の画角で連続的に画像表示することを可能にすることができるという効果を有する。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図。
【図２】追尾撮像モードにおける撮像を説明するための説明図。
【図３】横軸に経過時間をとり縦軸に画素数をとって、画角変更時における画素数の変化を示すグラフ。
【図４】横軸に経過時間をとり縦軸に焦点距離をとって、画角変更時における焦点距離の変化を示すグラフ。
【図５】追尾撮像モードにおける記録時の動作を示すフローチャート。
【図６】再生時の動作を示すフローチャート。
【図７】再生時の動作を説明するための説明図。
【図８】第２の実施の形態において採用されるフローチャート。
【図９】第２の実施の形態において採用されるフローチャート。
【図１０】第２の実施の形態を説明するための説明図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１１】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図である。
【００１２】
撮影機器１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部１２を有している。撮影機器１０の前面に設けた図示しない撮影レンズを含む光学系からの被写体の光学像は、撮像部１２を構成する撮像素子（図示せず）の撮像面に結像するようになっている。この撮像部１２は、制御部１１によって駆動制御される。制御部１１は、撮像部１２に撮像素子の駆動信号を出力すると共に、撮像素子が光学像を光電変換して得た画像信号を取り込む。撮像部１２は、制御部１１に制御されて、動画像の撮像も可能である。
【００１３】
制御部１１は、撮像素子の光電変換によって得られた画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行う。制御部１１は、画像信号及び音声信号等の記録に際して、符号化処理を施して圧縮した画像情報及び音声情報等を出力することもできるようになっている。
【００１４】
また、撮影機器１０には、操作部１３、タッチパネル１４も配設されている。操作部１３は、撮影機器１０に設けられた撮影開始終了ボタンや撮影モード設定等の図示しない各種スイッチに対するユーザ操作に基づく操作信号を発生して、制御部１１に出力するようになっている。タッチパネル１４は、ユーザのタッチ操作に基づく操作信号を発生して、制御部１１に出力するようになっている。制御部１１は、操作信号に基づいて、各部を制御する。
【００１５】
また、撮影機器１０には、再生表示制御部１５及び記録再生部１６が設けられている。記録再生部１６は、制御部１１からの画像情報及び音声情報を記録することができるようになっている。記録再生部１６としては、例えばカードインターフェースを採用することができ、記録再生部１６はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。また、記録再生部１６は、記録媒体に記録された画像情報及び音声情報を読み出して制御部１１に供給することができる。制御部１１は、記録再生部１６によって再生された画像情報及び音声情報を復号化して、画像信号及び音声信号を得ることができるようになっている。
【００１６】
再生表示制御部１５は、撮像部１２からの撮像画像や記録再生部１６からの再生画像を表示部１７に与えて、これらの画像を表示させるようになっている。なお、再生表示制御部１５は制御部１１からの動画像を表示部１７に与えて表示させることができるようになっている。記録再生部１６においても動画像を記録可能であり、再生表示制御部１５は、記録再生部１６からの再生画像を表示部１７に与えて再生表示させることもできる。
【００１７】
また、再生表示制御部１５は、撮影機器１０の操作を行うためのメニュー表示等を表示部１７に表示させることもできるようになっている。表示部１７は、撮影機器１０の本体の例えば背面に設けられており、撮影者は、撮影時に表示部１７の表示画面を視認可能になっている。表示部１７としては、ＬＣＤパネル等を採用可能である。
【００１８】
この表示部１７の表示画面上にタッチパネル１４を配設することも可能である。タッチパネル１４は、ユーザが指で指し示した位置に応じた操作信号を発生する。タッチパネル１４を表示部１７の表示画面上に設けた場合には、ユーザは、表示部１７の表示画面上に表示された各種コマンドボタンを、タッチパネル１４により指示することができる。これにより、タッチパネル１４は表示部１７の表示画面上に表示された各種コマンドボタンに対応した操作信号を制御部１１に出力することができる。
【００１９】
本実施の形態においては、注目被写体検出部２１が設けられている。注目被写体検出部２１は、制御部１１から撮像画像が与えられ、撮像画像中の注目被写体を検出する。例えば、注目被写体検出部２１は、撮像画像中の中央の動きのある物体を注目被写体として検出する。注目被写体検出部２１は検出結果を制御部１１に出力する。なお、注目被写体検出部２１は、検出した注目被写体の視野範囲内の位置を検出して、注目被写体の位置情報を制御部１１に出力するようになっている。
【００２０】
また、本実施の形態においては、フレーム外れ検出部２２は、注目被写体検出部２１によって検出された注目被写体が、視野範囲に収まらなくなったこと、即ち、フレーム外れを検出して、検出結果を制御部１１に出力するようになっている。フレーム外れ検出部２２は、注目被写体が視野範囲から消えた場合及び注目被写体の所定範囲、例えば、注目被写体の画像部分の半分以上が視野範囲内に収まらなくなった場合や被写体が人物である場合に顔の大部分が視野範囲から外れた場合には、フレーム外れが生じたものと判定する。
【００２１】
ズーム制御部２３は、撮像部１２を構成する図示しないズームレンズを制御して、ズームイン及びズームアウト制御することができるようになっている。
【００２２】
本実施の形態においては、追尾撮像モードでの撮像が可能である。追尾撮像モードにおいては、制御部１１は、注目被写体がフレーム外れしたか否かを検出する。制御部１１は、注目被写体がフレーム外れした場合には、被写体が視野範囲内に入るように、ズーム制御部２３を制御してズームアウトさせ、撮像部１２に広角側で被写体を撮像させるようになっている。
【００２３】
図２は追尾撮像モードにおける撮像を説明するための説明図である。
【００２４】
いま、トラック上を走っている人物を注目被写体として望遠側で撮像を行うものとする。図２の中央の四角の枠は、この場合における視野範囲ＦＳを示している。この視野範囲ＦＳには、図２に示すように、トラックの画像３２上を走っている人物の画像３３（破線）が撮像されていることを示している。注目被写体検出部２１は、人物の画像３３を注目被写体であると検出する。この状態では、人物の画像３３は大部分が視野範囲ＦＳ内に入っており、フレーム外れ検出部２２はフレーム外れが生じていないものと判定する。
【００２５】
ここで、人物の移動が早いこと等の理由によって、主被写体の画像３３が視野範囲ＦＳから外れるものとする。図２の人物の画像３１はこの状態を示している。そうすると、制御部１１は、ズーム制御部２３を制御して、人物の画像３３が視野範囲内に収まるように、画角を広角側に変更する。これにより、視野範囲ＦＳが広角側の視野範囲ＦＬに変化し、人物の画像３１は、視野範囲ＦＬ内に収まる。
【００２６】
ここで、フレーム外れは、視野範囲ＦＳでの撮像時に画面中央で得られた画像の色やパターンなどの特徴を記録しておき、この特徴を持つ被写体（ここでは人物）が、画面の中央から端部に消えていった場合を判定するばかりでなく、その画面内の動きのスピードから、どのタイミングで端部に消えるかを予測するような判定を行ってもよい。
【００２７】
この被写体の動きの予測から、フレーム外れする前に、外れないようなタイミングで画角を広角側に変更してもよい。また、被写体はタッチパネルで指定してもよい。
【００２８】
本実施の形態においては、制御部１１は、追尾撮像モードにおいて、フレーム外れの検出結果によって画角を広角側に変更した場合には、画角の変更タイミングを示す画角変更時刻情報を、注目被写体情報記録部２５に記録させるようになっている。画角変更時刻情報は、撮像画像の時間情報に対応した情報であり、再生時において画角変更時刻情報を読み出すことで、再生画像のいずれのタイミングで画角が変更されたかの変更タイミングを把握することができるようになっている。これは厳密に時刻である必要はなく、動画開始からの経過時間などで代用可能である。
【００２９】
このフレーム外れによる画角変更タイミング情報は、画角を広角側に変更したタイミングであるが、被写体が外れるとされたタイミングでも良いし、画角を変更開始したタイミングでも代用が可能である。
【００３０】
また、制御部１１は、注目被写体検出部２１から注目被写体の視野範囲内の位置に関する位置情報が与えられ、この位置情報を注目被写体情報記録部２５に与えて記録させるようになっている。
【００３１】
また、制御部１１は、追尾撮像モードにおいて、フレーム外れの検出結果によって画角を広角側に変更した場合には、画角の変更前後における画角の比（ズーム比）を求めて、ズーム比情報を注目被写体情報記録部２５に記録させるようになっている。
【００３２】
また、本実施の形態においては、画素数切替部２４が設けられている。画素数切替部２４は、撮像画像の画素数を変更することができる。例えば、撮像部１２における撮像素子がＨＤ画質の４倍の画素数での撮像が可能であるものとする。画素数切替部２４は、望遠端における撮像画像の画素数を、リサイズ処理によって例えばＨＤ画質の画素数とする。なお、画素数切替部２４は、撮像素子からの読出し時の間引き処理や画素加算処理等によって画素数を少なくしてもよく、また、取得した撮像画像に対する間引き処理やリサイズ処理によって画素数を少なくしてもよい。なお、明細書中においてリサイズ処理とは、これらの画素数を低減させる処理の全てを含むものとする。
【００３３】
本実施の形態においては、画素数切替部２４は、追尾撮像モードにおいて、フレーム外れの検出結果によって画角を広角側に変更した場合には、画角変更後の撮像画像の画素数を増大させるようになっている。例えば、画素数切替部２４は、リサイズ処理を停止させることによって、ＨＤ画質の画素数の４倍の画素数の撮像画像を得るようになっている。
【００３４】
例えば、図２では、望遠端である視野範囲ＦＳの撮像画像の画素数に対して、広角端である視野範囲ＦＬの撮像画像の画素数を４倍にする。従って、例えば、再生時において広角端の視野範囲ＦＬの撮像画像中の視野範囲ＦＳと同等のサイズの視野範囲の部分のみを再生する場合でも、視野範囲ＦＳの撮像画像の全てを再生する場合と同様の解像度での再生が可能である。また、この場合には、主被写体の視野範囲ＦＬ内の位置情報に基づく撮像画像領域を表示させることにより、視野範囲ＦＳの画像表示と同様の画角及び画質で、連続的に主被写体を再生可能である。
【００３５】
本実施の形態においては、再生表示制御部１５は、再生時において、注目被写体情報記録部２５に記録されている画角変更時刻情報、位置情報及びズーム比情報を読出して、再生画像の表示領域を制御するようになっている。例えば、再生表示制御部１５は、追尾撮像モードにおいてフレーム外れにより画角が変化した場合には、注目被写体情報記録部２５に記録されている情報を用いることで、撮像時の画角の変化に拘わらず、同一の画角での再生を行う等画角再生モードでの再生が可能である。
【００３６】
次に、このように構成された実施の形態の動作について図３乃至図７を参照して説明する。図３は横軸に経過時間をとり縦軸に画素数をとって、画角変更時における画素数の変化を示すグラフであり、図４は横軸に経過時間をとり縦軸に焦点距離をとって、画角変更時における焦点距離の変化を示すグラフである。また、図５は追尾撮像モードにおける記録時の動作を示すフローチャートであり、図６は再生時の動作を示すフローチャートである。
【００３７】
（記録時）
撮影機器１０の電源がオンになって追尾撮像モードになると、制御部１１は、図５のステップＳ１において、撮像部１２からの画像信号に基づいて、表示部１７に撮像画像（スルー画）を表示させる。次に、制御部１１は、動画撮影が開始されたか否かを判定する（ステップＳ２）。
【００３８】
例えば動画撮影開始のためのスイッチ操作等によって動画撮影が指示されると、制御部１１は、撮影を開始する。なお、追尾撮影モードに設定されている場合、この時点では、制御部１１はズーム制御部２３を制御して望遠端での撮像を行うものとする。説明を容易にするために、望遠端という表現としたが、広角端以外で、被写体が拡大されて撮影されている状況を想定している。例えば、メニューから追尾撮影モードを選択し、さらに、タッチパネルで被写体を指定すると、画面内に丁度、人物の上半身、または全身像くらいの大きさが撮影されるような画角に設定されるものとする。あるいは、まず実際に望遠端近くにして被写体を拡大して、どの被写体を選ぶのか、照準を定めるような効果を持たせてもよく、また、ユーザがタッチ指定をしやすくしてもよい。図２のＦＳに「追尾撮影モード」と表示を出しても良い。このように広角以外に画角を設定しておけば、カメラユーザ（撮影者）のカメラのフレーミングである程度、被写体を追尾しつつ、ユーザのフレーミング追尾が間に合わない場合には、カメラが被写体外れを補助するという制御が出来、安心感のある撮影が可能となる。特に、「追尾撮影モード」と表示が出ていれば、ユーザは画角に余裕のあるのを知って、安心して撮影に専念できる。また、望遠端での撮像時には、画素数切替部２４によって、撮像部１２は低画素数での撮像を行う（ステップＳ３）。例えば、撮像部１２によってＨＤ画質の４倍の解像度の撮像が可能である場合には、画素数切替部２４はＨＤ画質の解像度での撮像を設定する。
【００３９】
制御部１１は、撮像部１２からの撮像画像に対して所定の信号処理を施して動画像を生成する。制御部１１は、ステップＳ４において、注目被写体検出部２１を制御して、動画像の視野範囲から注目被写体を検出し、検出結果を制御部１１に出力する。制御部１１は、フレーム外れ検出部２２を制御して、注目被写体が望遠端の視野範囲ＦＳ内に収まっているか否かを判定しながら、動画撮影を続ける。
【００４０】
制御部１１は、ステップＳ５においてズーム操作が行われたか否かを判定する。ユーザによりズーム操作が行われた場合には、制御部１１は、ユーザ操作に基づいてズーム制御部２３を制御して、ズームイン又はズームアウト処理を行う（ステップＳ６）。なお、この操作は、動画開始前にも行えるようにしてもよい。
【００４１】
次のステップＳ７において、制御部１１は、フレーム外れ検出部２２によってフレーム外れが検出されたか否かを判定する。ステップＳ７においてフレーム外れが検出されない場合には、制御部１１はステップＳ８において撮影終了操作が行われたか否かを判定し、撮影終了操作が行われていない場合には、ステップＳ９において動画記録を行う。制御部１１は、動画像を圧縮して記録再生部１６に与える。これにより、記録再生部１６は、撮像している動画像を順次記録する。
【００４２】
ここで、図２のように、視野範囲ＦＳの撮像中に視野範囲ＦＳ中の注目被写体の画像３３の位置が画像３１の位置に移動して、フレーム外れが発生したものとする。このフレーム外れはフレーム外れ検出部２２によって検出され、制御部１１は、フレーム外れ検出部２２の検出結果に基づいて処理をステップＳ７からステップＳ１１に移行する。制御部１１は、ステップＳ１１において、画角が望遠端であるか否かを判定する。図２の例では、フレーム外れの時点では画角は望遠端に設定されており、制御部１１は、処理を次のステップＳ１２に移行する。
【００４３】
制御部１１は、ステップＳ１２において撮像部１２による撮像画素数を高画素数に設定する。図３はこの状態を示しており、フレーム外れが発生したことによって、撮像部１２の撮像画素数が低画素数から高画素数に変化したことを示している。例えば、望遠端における撮像時に、ＨＤ画質の解像度での撮像を行っている場合には、解像度をＨＤ画質の４倍に増やす。
【００４４】
次に、制御部１１は、ズーム制御部２３を制御して、広角端にズームアウトする（ステップＳ１３）。図４はこの状態を示しており、フレーム外れが発生したことによって、ズームアウト処理が行われ、画角が望遠端から広角端に変化する。これにより、図２に示すように、視野範囲が広角端の視野範囲ＦＬまで広がり、注目被写体の画像３１が視野範囲ＦＬ内に含まれることとなる。
【００４５】
なお、このズームアウトが突然行われるとユーザが戸惑うことも考えられ、これを行う前に、「追尾撮影モード」が点滅したり、「ユーザ補助開始」マークが点灯したりする等して、ユーザに知らせるようにしても良い。もし、そのような自動切り換えを好まない時には、例えば、フレーミングのし直しや、タッチパネル操作などで、これを中止させるようにしてもよい。
【００４６】
そして、画角が実際に変更された場合、本実施の形態においては、制御部１１は、画角の変更タイミングを示す画角変更時刻情報、注目被写体の視野範囲内の位置に関する位置情報及び画角の変更前後におけるズーム比情報を注目被写体情報記録部２５に記録させる（ステップＳ１４）。なお、制御部は、画角変更時刻情報（または動画開始からのタイミング）のみを記録するようにしてもよい。
【００４７】
制御部１１は、ステップＳ８において撮影終了と判定されるまで、撮像された動画像を圧縮処理して記録再生部１６により記録する。
【００４８】
こうして、本実施の形態においては、制御部１１は、フレーム外れ検出部２２によって注目被写体のフレーム外れを検出した場合には、ズーム制御部２３を制御して画角を広げ、広角端での撮像に切換えて注目被写体を視野範囲内に捉えると共に、画角変更時の画角変更時刻情報、注目被写体の位置情報及びズーム比情報を記録する。
【００４９】
（再生時）
図７は再生時の動作を説明するための説明図である。図７（ａ）は撮像画像を示しており、各枠によって動画中の１コマの画像を時間の流れに沿って示している。また、図７（ｂ）は図７（ａ）の各コマに対応した記録画像の再生表示画像を示している。
【００５０】
記録時において図７（ａ）に示す動画像が記録されたものとして説明する。図７（ａ）では左から３枚目の画像と４枚目の画像との間に、フレーム外れに伴う画角の変更によって広角側の撮像が行われたことを示している。図７（ａ）の左から３枚目までの画像の視野範囲を得る画角と４，５枚目の画像の視野範囲ＦＳを得る画角とは同一であるものとする。
【００５１】
再生モードが指示されると、制御部１１は再生表示制御部１５及び記録再生部１６を制御して、記録された動画像を再生させる。再生モード時には、ユーザは操作部１３によって等画角再生モードを指定することができる。等画角再生モードは、撮影時に追尾撮像モードが指定され注目被写体のフレーム外れによって画角が広げられた記録画像の再生時に、画角変更後においても画角変更前と同一画角での再生を可能にするモードである。
【００５２】
等画角再生モードが指示されていない場合には、制御部１１は、リサイズが必要か否かを判定する（ステップＳ２２）。記録画像のサイズに比べて表示部１７において表示する領域のサイズが小さい場合等には、制御部１１は記録画像をリサイズ処理する（ステップＳ２４）。制御部１１は、リサイズが不要と判定した場合には、記録画像をそのまま再生する（ステップＳ２３）。制御部１１からのリサイズ処理された記録画像又はオリジナルの記録画像は、再生表示制御部１５に与えられて再生され、表示部１７の表示画面上に表示される。制御部１１は、ステップＳ２５において、ユーザによる再生モードの停止の指示が発生したか否かを判定し、再生停止が指示されるまで再生を継続する。
【００５３】
ここで、等画角再生モードが指示されたものとする。制御部１１は、ステップＳ３１において、再生表示制御部１５及び記録再生部１６を制御して、等画角再生による再生を開始する。再生表示制御部１５は、等画角再生モード時には、注目被写体情報記録部２５に記録されている画角変更時刻情報、注目被写体の位置情報及びズーム比情報を読出す。再生表示制御部１５は、画角変更時刻情報によって、撮像時にフレーム外れによって画角が広角側に切換えられたタイミングを検出する。画角変更時刻情報は、撮像された動画像の記録経過時刻に対応して設定されており、再生表示制御部１５は、再生中の動画像のいずれのタイミングにおいて画角が変更されたかを認識する。再生表示制御部１５は、フレーム外れによって画角が変更されている画像期間を、画像中の表示領域を変更する候補期間として設定し、記録画像の再生位置が候補期間に到達したか否かを判定する（ステップＳ３２）。
【００５４】
記録画像の再生位置が候補期間に到達するまでは、再生表示制御部１５は、記録されている動画像をそのまま表示部１７に表示する。図７（ａ）の左から３枚目までの画像に対応して、図７（ｂ）の左から３枚目までの画像が表示される。
【００５５】
候補期間における記録画像は、図７（ａ）の４，５枚目に示すように、撮影時において画角が広角側に拡がっており、記録画像の視野範囲は画角変更前に比べて拡がっている。
【００５６】
再生表示制御部１５は、記録画像の再生位置が候補期間に到達すると、ステップＳ３４に処理を移行し、ズーム比情報に基づいて、画角変更前の再生画像の視野範囲と同じサイズの視野範囲を再生画像中から切り出す。この場合には、再生表示制御部１５は、被写体位置情報に基づいて、切り出した画像範囲内に注目被写体が位置するように、切り出し位置を決定する。再生表示制御部１５は、切り出した画像範囲を表示部１７に与えて表示部１７の全域に拡大表示させる。図７（ｂ）の４，５枚目の画像は図７（ａ）の４，５枚目の画像のうち、視野範囲ＦＳの部分を切り出して拡大表示したものとなっている。こうして、図７（ｂ）に示すように、表示部１７の表示上の画角は、撮像時の画角変更前後で変化しない。なお、図４の望遠から広角への変更時間を考慮しないと、この拡大表示のタイミングで、画面が不連続になる可能性があるので、この望遠から広角への変化の途中の遷移の情報も記録しておけばよい。また、電子ズームであれば、遷移をいろいろなパターンにすることが出来、一瞬で切り換えることも可能である。
【００５７】
なお、本明細書中において、表示上の画角とは、撮像時の画角に対応した表示画像の領域のことであり、撮像画像の全域を常に表示する場合には、撮像時の画角と表示上の画角とは１対１に対応する。撮像時の画角が広角側に変化した場合でも、この変化後の撮像画像の一部の領域のみを表示することにより、画角変更前と同一の視野範囲のみを表示することができ、表示上の画角を一定にすることができる。
【００５８】
再生表示制御部１５は、ステップＳ３５において等画角再生の終了操作が行われたと判断するまで、等画角再生を継続する。
【００５９】
このように本実施の形態においては、追尾撮像モードの記録時において記録された画角変更時刻情報、注目被写体の位置情報及びズーム比情報を用いることで、再生時において、画角変更前後における動画像を、表示上の画角を変更することなく、表示することができる。また、注目被写体の位置情報を用いることで、注目被写体が表示領域内に入るように切り出しを行うと共に、画角切換前後において同一のズーム比での表示が可能である。しかも、撮像時において広角側に変更した後の画素数は、画角変更前よりも増大しており、再生時の等画角再生によって候補期間における画像が拡大処理された場合でも、候補期間における解像度がその前の期間の解像度から低下してしまうことを防止することができる。こうして、撮像時にフレーム外れにより画角が変更されたにも拘わらず、被写体を所望の画角で連続的に画像表示することが可能である。なお、再生時において、画角変更時刻情報のみを用いることで、画角変更時刻のタイミングで表示上の画角を調整するようにしてもよい。
【００６０】
つまり、撮影時の画角変更タイミングや画角変更パターン（時間変化）情報を利用して（例えば、画像ファイルから読み取って）、画角を修正するような再生機器にもこの発明は有効である。
【００６１】
また、再生時に、こうした不連続部分のコマを飛ばして再生してもよい。
【００６２】
（第２の実施の形態）
図８乃至図１０は本発明の第２の実施の形態に係り、図８及び図９は第２の実施の形態において採用されるフローチャートを示し、図１０は第２の実施の形態を説明するための説明図である。本実施の形態のハードウェア構成は第１の実施の形態のハードウェア構成と同様であり、図示を省略する。
【００６３】
第１の実施の形態においては、広角側で撮像された画像から注目被写体が含まれる画像部分を切り出すために、撮像時において注目被写体の位置情報を記録した。しかし、広角側で撮像したことにより、撮像画像中に複数の人物が撮像されてしまう場合等のように、注目被写体の位置情報の検出精度が低下することが考えられる。そこで、本実施の形態においては、動画像の記録後において、注目被写体の位置情報を設定可能にしたものである。
【００６４】
記録時の動作は第１の実施の形態と同様である。なお、記録時においては、注目被写体の位置情報の検出及び記録を省略してもよい。
【００６５】
編集モードになると、制御部１１は、再生表示制御部１５及び記録再生部１６を制御して、動画再生を開始する（図８のステップＳ４１）。図１０（ａ）は撮影機器１０の背面に設けられた表示部１７の表示画面１７ａ及びシークバー表示部１７ｂを示している。図１０の例では、記録された動画像中の１コマに、トラックを走る２人の人物の撮像画像が含まれており、図１０（ａ）はトラックを示す画像４１及び２人の人物の画像４２，４３を含む再生画像が表示画面１７ａ上に表示されていることを示している。
【００６６】
再生表示制御部１５は、シークバー表示部１７ｂにシークバー表示を表示する（ステップＳ４２）。シークバー表示は、再生中の画像の撮像時の画角を示している。図１０の白表示（白抜き部分）から黒表示（斜線部分）のいずれの位置にバー表示４４が位置するかによって、白表示側で示す望遠端側の撮像であるか、黒表示側で示す広角端側での撮像であるかを示している。即ち、図１０（ａ）の再生画像は、撮影時に望遠端で撮像されていることが分かる。
【００６７】
ここで、画像記録時に追尾撮像モードにおいてフレーム外れにより画角が狭い側から広い広角側に変化した以後の画像が再生されるものとする。この場合、画角が広がった分、被写体は小さく見える。再生表示制御部１５は、画角変更時刻情報に基づいて、広角側に変化した以後の画像が再生されたことを検出すると、拡大加工期間に到達してものと判定して、処理をステップＳ４３からステップＳ４４に移行する。
【００６８】
ステップＳ４４では、再生表示制御部１５は、スロー再生を開始する。例えば、再生表示制御部１５は、再生画像を１／２倍速や１／４倍速等で表示させる。これにより、拡大処理する範囲（切り出し範囲）をユーザが選択する操作について、時間的な余裕が生じ、選択操作が容易となる。これによって、被写体の動きが速いままでは、被写体が小さくなって指定が困難になることを防ぐことが出来る。スロー再生時には、被写体を選択して下さい、という表示を出してもよい。あるいは、画角が広くなる前も、スロー再生にして、同様に被写体指定が出来るようにしてもよい。これによって、画角変更前後で被写体を指定して、同じ被写体が連続的に再生されるように追尾をより確実にすることが可能となる。
【００６９】
ステップＳ４５では、制御部１１は、ユーザによる注目点選択操作を受け付ける。再生表示制御部１５は、この注目点の周囲に所定の切り出し範囲を設定する。
【００７０】
図１０（ｂ）はユーザによる注目点選択操作を示している。図１０（ｂ）は、図１０（ａ）の人物の画像４２，４３が広角側で撮像されたことにより、表示画面１７ａ上において小さい画像４２’，４３’で表示されていることを示している。ユーザは、シークバー表示上のバー表示４４の位置によって、広角側で撮像された画像が表示されていることを確認することができる。
【００７１】
いま、ユーザが、画像４３’を注目被写体として注目点選択操作を行うものとする。ユーザは、画像４３’の位置を例えば指４６によってタッチする（ステップＳ４５）。この操作は、表示部１７上に配設されたタッチパネル１４によって検出される。再生表示制御部１５は、ユーザの注目点選択操作に基づく操作信号がタッチパネル１４から制御部１１に供給されると、次のステップＳ４６において、ユーザが指定した注目点を含む所定の切り出し範囲の画像を拡大して表示部１７の全域に表示する。
【００７２】
この場合には、再生表示制御部１５は、ズーム比情報に基づいて、画角変更前後の画像の表示上の画角が変化しないように、即ち、画角変更前の画角に基づく視野範囲と同一サイズの視野範囲となるように切り出し範囲を設定する。図１０（ｃ）はこの場合の拡大表示４７を示している。図１０（ｃ）においては、図１０（ｂ）の人物の画像４２’，４３’が拡大されて、画像４２’’，４３’’として表示画面１７ａ上に表示されていることを示している。
【００７３】
なお、図１０（ｃ）のシークバー表示上の色付け領域（塗り潰し領域）４８は、シークバー表示の左端から右端までを撮像画像の開始時刻から終了時刻に対応させた場合の拡大表示４７の撮像時刻を示している。再生表示制御部１５は、注目点の情報及び拡大表示期間に対応した撮像時刻の情報を注目被写体情報記録部２５に記録する。
【００７４】
制御部１１は、ユーザの注目点選択操作が終了したか否かを判定する（ステップＳ４８）。例えば、制御部１１は、ユーザが指４６を表示画面１７ａから離すことによって、注目点選択操作が終了したものと判断することができる。
【００７５】
なお、ユーザが注目被写体の画像上をタッチしている指４６を、画像の動きに合わせて移動させながら注目点選択操作を行うことにより、制御部１１は、より確実に注目被写体を特定することが可能である。
【００７６】
ユーザによる注目点選択操作が終了すると、再生表示制御部１５は、例えば所定時間後に、切り出した拡大表示４７の表示を終了する。制御部１１は、ステップＳ５０において動画の再生が終了したか否かを判定し、終了していない場合には、ステップＳ４１に処理を戻して、ステップＳ４１〜Ｓ４９の処理を繰り返す。
【００７７】
更に、制御部１１は、ステップＳ５１において、ユーザが注目点選択操作を行って拡大した画像を用いて、記録画像を編集して記録するようにしてもよい。即ち、この場合には、記録画像中の画角変更後の画像期間のうち、ユーザが注目点選択操作した画像期間については、画角変更前の画角に相当する視野範囲の拡大画像に置き換えられて記録される。
【００７８】
また、この場合には、制御部１１は、編集画像の全コマについて、画素数を所定のフォーマットに合わせて一致させるために、間引き処理や補間処理等の処理を行った後、動画像の記録を行う。
【００７９】
ステップＳ５１による画像編集が行われた場合には、通常の再生装置によって、表示上の画角が調整された画像を表示させることができる。
【００８０】
ステップＳ５１による画像編集を行わない場合には、図９に示す鑑賞再生によって、表示上の画角が調整された画像を再生表示させることができる。鑑賞再生モードにおいては、制御部１１は、再生表示制御部１５及び記録再生部１６を制御して動画再生を開始する（ステップＳ６１）。
【００８１】
ステップＳ６２においては、再生表示制御部１５は、注目被写体情報記録部２５に、再生する動画像についての注目点の情報が有るか否かを判定する。注目点の情報がある場合には、再生表示制御部１５は、図１０（ｃ）に示すシークバー表示を表示する。上述したように、図１０（ｃ）に示すシークバー表示は、バー表示４４によって表示上の画角が示され、色付け領域４８によって、撮像画像の撮像開始からの時刻（再生位置）が示される。
【００８２】
再生表示制御部１５は、再生中の動画像が注目点選択操作に対応する撮像時刻に応じた再生位置まで再生されると、処理をステップＳ６４からステップＳ６５に移行して、拡大表示を行う。即ち、再生表示制御部１５は、図８のステップＳ４６と同様に、注目点を含む切り出し範囲の拡大画像を表示部１７の表示画面１７ａの全域に表示する。上述したように、切り出し範囲はズーム比から決定する。
【００８３】
再生表示制御部１５は、再生中の動画像が注目点選択操作の終了タイミングに対応する撮像時刻に応じた再生位置まで再生されると、処理をステップＳ６６からステップＳ６７に移行して、通常の動画再生に戻る。
【００８４】
このように本実施の形態においては、第１の実施の形態と同様の効果が得られると共に、記録された動画像中の拡大表示させたい被写体の領域を、記録後の編修モードにおいて設定することができる。これにより、例えば、追尾撮像モードにおいてフレーム外れにより画角が広角側に変更された場合において、広角側の撮像画像中から注目被写体を確実に検出することができない場合ときでも、ユーザの希望する被写体をユーザが希望する期間だけ、画角変更前の画角に相当する視野範囲で再生することが可能である。
【００８５】
なお、本発明は、撮像部の光軸方向を変更する機構を設けて被写体を自動追尾する装置に適用可能であることは明らかである。
［付記１］
ズーム機能を有する撮像部と、
表示部と、
上記ズームが広角端以外で被写体を指定可能な指定部と、
上記指定された上記被写体がフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、
上記ズーム制御部による画角の変更タイミングの情報に従って、上記表示部に画角変更を知らせる表示を行う表示制御部と
を具備したことを特徴とする撮影機器。
［付記２］
画角変更を伴う撮影がなされた動画像中の被写体を検出する被写体検出部と、
撮影時の上記画角の変化情報と変更タイミングの情報を用いて、
撮像時の上記画角の変更に拘わらず、動画像の表示上の画角を調整して表示する再生表示制御部
を具備したことを特徴とする再生機器。
［付記３］
狭い画角から広い画角への画角変更を伴う撮影がなされた動画像中、
撮影時の上記画角の変化情報と変更タイミングの情報を用いて、
スロー再生を開始し、スロー再生時に選択された被写体が、
撮像時の上記画角の変更に拘わらず、略等しい画角で撮影されたように表示する再生表示制御部
を具備したことを特徴とする再生機器。
【符号の説明】
【００８６】
１０…撮影機器、１１…制御部、１２…撮像部、１３…操作部、１４…タッチパネル、１５…再生表示制御部、１６…記録再生部、１７…表示部、２１…注目被写体検出部、２２…フレーム外れ検出部、２３…ズーム制御部、２４…画素数切替部、２５…注目被写体情報記録部。
【図１】
0005876991.tif 000002
【図２】
0005876991.tif 000003
【図３】
0005876991.tif 000004
【図４】
0005876991.tif 000005
【図５】
0005876991.tif 000006
【図６】
0005876991.tif 000007
【図７】
0005876991.tif 000008
【図８】
0005876991.tif 000009
【図９】
0005876991.tif 000010
【図１０】
0005876991.tif 000011