(57)【要約】【課題】      動画像の一部を抽出してズームアップした動画像を容易に作成することができる画像処理装置、画像処理方法、及びプログラムを提供する。【解決手段】  制御部は、各フレームについて、直前の矩形枠付近で前のフレームから変化した部分を検出し、検出した変化部分を囲む矩形枠を設定する。そして、全てのフレームについて矩形枠の設定が行われた場合には、設定した矩形枠内の画像を切り出して通常サイズにまで拡大し、これを時間軸に沿ってつなぎ合わせることにより、動画像を再構成する。これにより、制御部は、撮影後の動画像からフレーム内を移動する被写体像を抽出し、これをズームアップした動画像を容易に作成することができる。【選択図】    図２
2006279894.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する複数のフレーム画像の各々に、予め指定された被写体像を囲む枠体を設定する枠体設定手段と、
前記枠体設定手段によって設定された枠体に含まれる画像を切り出して前記フレーム画像のサイズにまで拡大する画像拡大手段と、
前記画像拡大手段によって拡大された画像を、該画像が切り出されたフレーム画像の順番に従ってつなぎ合わせることにより、前記被写体像を中心とした動画像を作成する動画像作成手段と、
を備える画像処理装置。
【請求項２】
前記枠体設定手段は、
前記複数のフレーム画像の各々において、直前のフレーム画像から変化した部分を検出する変化部分検出手段を含み、
前記変化部分検出手段によって検出された部分を囲む枠体を、前記被写体像を囲む枠体として前記複数のフレーム画像の各々に設定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記枠体設定手段は、
前記複数のフレーム画像の各々に、該フレーム画像の順番に従ってサイズを順次拡大或いは縮小させた前記枠体を設定して行く手段を含む、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記枠体設定手段は、
予め指定された移動方向及び移動量に従って、前記複数のフレーム画像の各々に、前記枠体を順次設定して行く手段を含む、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記枠体設定手段は、
前記予め指定された被写体との距離を測定する測定手段と、
前記測定手段によって測定された被写体との距離に基づいて、前記複数のフレーム画像の各々から、前記被写体像を検出する被写体像検出手段と、
を含み、
前記複数のフレーム画像の各々に、前記被写体像検出手段によって検出された被写体像を囲む枠体を設定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記被写体像検出手段は、
前記被写体像の候補となる対象物の像を複数検出した場合、直前のフレーム画像に設定した枠体から最も近接した位置にある対象物の像を、前記被写体像として取得する、
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記枠体設定手段は、
前記複数のフレーム画像の各々に設定した枠体の略中心位置に焦点を合わせる合焦手段を含む、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項８】
動画像の撮影で捕らえた複数の対象物のうちで、最も近接した位置にある対象物に焦点を合わせる合焦手段と、
前記動画像を構成する複数のフレーム画像の各々に、前記合焦手段によって焦点が合わせられた対象物の像を囲む所定サイズの枠体を設定する枠体設定手段と、
前記枠体設定手段によって設定された枠体に含まれる画像を切り出して前記フレーム画像のサイズにまで拡大する画像拡大手段と、
前記画像拡大手段によって拡大された画像を、該画像が切り出されたフレーム画像の順番に従ってつなぎ合わせることにより、前記被写体像を中心とした動画像を作成する動画像作成手段と、
を備える画像処理装置。
【請求項９】
動画像を構成する複数のフレーム画像の各々に、予め指定された被写体像を囲む枠体を設定する枠体設定ステップと、
前記枠体設定ステップによって設定された枠体に含まれる画像を切り出して前記フレーム画像のサイズにまで拡大する画像拡大ステップと、
前記画像拡大ステップによって拡大された画像を、該画像が切り出されたフレーム画像の順番に従ってつなぎ合わせることにより、前記被写体像を中心とした動画像を作成する動画像作成ステップと、
を備える画像処理方法。
【請求項１０】
動画像の撮影で捕らえた複数の対象物のうちで、最も近接した位置にある対象物に焦点を合わせる合焦ステップと、
前記動画像を構成する複数のフレーム画像の各々に、前記合焦ステップによって焦点が合わせられた対象物の像を囲む所定サイズの枠体を設定する枠体設定ステップと、
前記枠体設定ステップによって設定された枠体に含まれる画像を切り出して前記フレーム画像のサイズにまで拡大する画像拡大ステップと、
前記画像拡大ステップによって拡大された画像を、該画像が切り出されたフレーム画像の順番に従ってつなぎ合わせることにより、前記被写体像を中心とした動画像を作成する動画像作成ステップと、
を備える画像処理方法。
【請求項１１】
コンピュータに、
動画像を構成する複数のフレーム画像の各々に、予め指定された被写体像を囲む枠体を設定する枠体設定手順と、
前記枠体設定手順によって設定された枠体に含まれる画像を切り出して前記フレーム画像のサイズにまで拡大する画像拡大手順と、
前記画像拡大手順によって拡大された画像を、該画像が切り出されたフレーム画像の順番に従ってつなぎ合わせることにより、前記被写体像を中心とした動画像を作成する動画像作成手順と、
を実行させるためのプログラム。
【請求項１２】
コンピュータに、
動画像の撮影で捕らえた複数の対象物のうちで、最も近接した位置にある対象物に焦点を合わせる合焦手順と、
前記動画像を構成する複数のフレーム画像の各々に、前記合焦手順によって焦点が合わせられた対象物の像を囲む所定サイズの枠体を設定する枠体設定手順と、
前記枠体設定手順によって設定された枠体に含まれる画像を切り出して前記フレーム画像のサイズにまで拡大する画像拡大手順と、
前記画像拡大手順によって拡大された画像を、該画像が切り出されたフレーム画像の順番に従ってつなぎ合わせることにより、前記被写体像を中心とした動画像を作成する動画像作成手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、動画像の一部を抽出してズームアップした動画像を容易に作成することができる画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年のデジタルカメラは、静止画像の撮影のみならず、動画像の撮影をもできるものが主流となっている。このようなデジタルカメラの一例として、連続撮影された動画データの時間的な注目フレーム区間から注目被写体を中心とした空間部分（フレームの一部）を切り出し、切り出した静止画像の注目被写体をより大きくして見やすくした画像を得るための画像処理装置を備えたデジタルカメラが開示されている（例えば特許文献１参照）。
【特許文献１】特開２００４−１７８３６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に開示の技術は、撮影した動画像から注目被写体の静止画像を取得して、それらを分割写真として合成するものであって、注目被写体の動画像を取得して合成することはできない。
【０００４】
本発明は、上記実状に鑑みてなされたものであり、動画像の一部を抽出してズームアップした動画像を容易に作成することができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の第１の観点に係る画像処理装置は、動画像を構成する複数のフレーム画像の各々に、予め指定された被写体像を囲む枠体を設定する枠体設定手段と、前記枠体設定手段によって設定された枠体に含まれる画像を切り出して前記フレーム画像のサイズにまで拡大する画像拡大手段と、前記画像拡大手段によって拡大された画像を、該画像が切り出されたフレーム画像の順番に従ってつなぎ合わせることにより、前記被写体像を中心とした動画像を作成する動画像作成手段と、を備える。
【０００６】
また、上記画像処理装置において、前記枠体設定手段は、前記複数のフレーム画像の各々において、直前のフレーム画像から変化した部分を検出する変化部分検出手段を含み、前記変化部分検出手段によって検出された部分を囲む枠体を、前記被写体像を囲む枠体として前記複数のフレーム画像の各々に設定する、ようにしてもよい。
【０００７】
さらに、上記画像処理装置において、前記枠体設定手段は、前記複数のフレーム画像の各々に、該フレーム画像の順番に従ってサイズを順次拡大或いは縮小させた前記枠体を設定して行く手段を含む、ようにしてもよい。
【０００８】
また、上記画像処理装置において、前記枠体設定手段は、予め指定された移動方向及び移動量に従って、前記複数のフレーム画像の各々に、前記枠体を順次設定して行く手段を含む、ようにしてもよい。
【０００９】
また、上記画像処理装置において、前記枠体設定手段は、前記予め指定された被写体との距離を測定する測定手段と、前記測定手段によって測定された被写体との距離に基づいて、前記複数のフレーム画像の各々から、前記被写体像を検出する被写体像検出手段と、を含み、前記複数のフレーム画像の各々に、前記被写体像検出手段によって検出された被写体像を囲む枠体を設定する、ようにしてもよい。
【００１０】
さらに、上記画像処理装置において、前記被写体像検出手段は、前記被写体像の候補となる対象物の像を複数検出した場合、直前のフレーム画像に設定した枠体から最も近接した位置にある対象物の像を、前記被写体像として取得する、ようにしてもよい。
【００１１】
さらに、上記画像処理装置において、前記枠体設定手段は、前記複数のフレーム画像の各々に設定した枠体の略中心位置に焦点を合わせる合焦手段を含む、ようにしてもよい。
【００１２】
本発明の第２の観点に係る画像処理装置は、動画像の撮影で捕らえた複数の対象物のうちで、最も近接した位置にある対象物に焦点を合わせる合焦手段と、前記動画像を構成する複数のフレーム画像の各々に、前記合焦手段によって焦点が合わせられた対象物の像を囲む所定サイズの枠体を設定する枠体設定手段と、前記枠体設定手段によって設定された枠体に含まれる画像を切り出して前記フレーム画像のサイズにまで拡大する画像拡大手段と、前記画像拡大手段によって拡大された画像を、該画像が切り出されたフレーム画像の順番に従ってつなぎ合わせることにより、前記被写体像を中心とした動画像を作成する動画像作成手段と、を備える。
【００１３】
本発明の第３の観点に係る画像処理方法は、動画像を構成する複数のフレーム画像の各々に、予め指定された被写体像を囲む枠体を設定する枠体設定ステップと、前記枠体設定ステップによって設定された枠体に含まれる画像を切り出して前記フレーム画像のサイズにまで拡大する画像拡大ステップと、前記画像拡大ステップによって拡大された画像を、該画像が切り出されたフレーム画像の順番に従ってつなぎ合わせることにより、前記被写体像を中心とした動画像を作成する動画像作成ステップと、を備える。
【００１４】
本発明の第４の観点に係る画像処理方法は、動画像の撮影で捕らえた複数の対象物のうちで、最も近接した位置にある対象物に焦点を合わせる合焦ステップと、前記動画像を構成する複数のフレーム画像の各々に、前記合焦ステップによって焦点が合わせられた対象物の像を囲む所定サイズの枠体を設定する枠体設定ステップと、前記枠体設定ステップによって設定された枠体に含まれる画像を切り出して前記フレーム画像のサイズにまで拡大する画像拡大ステップと、前記画像拡大ステップによって拡大された画像を、該画像が切り出されたフレーム画像の順番に従ってつなぎ合わせることにより、前記被写体像を中心とした動画像を作成する動画像作成ステップと、を備える。
【００１５】
本発明の第５の観点に係るプログラムは、コンピュータに、動画像を構成する複数のフレーム画像の各々に、予め指定された被写体像を囲む枠体を設定する枠体設定手順と、前記枠体設定手順によって設定された枠体に含まれる画像を切り出して前記フレーム画像のサイズにまで拡大する画像拡大手順と、前記画像拡大手順によって拡大された画像を、該画像が切り出されたフレーム画像の順番に従ってつなぎ合わせることにより、前記被写体像を中心とした動画像を作成する動画像作成手順と、を実行させる。
【００１６】
本発明の第６の観点に係るプログラムは、コンピュータに、動画像の撮影で捕らえた複数の対象物のうちで、最も近接した位置にある対象物に焦点を合わせる合焦手順と、前記動画像を構成する複数のフレーム画像の各々に、前記合焦手順によって焦点が合わせられた対象物の像を囲む所定サイズの枠体を設定する枠体設定手順と、前記枠体設定手順によって設定された枠体に含まれる画像を切り出して前記フレーム画像のサイズにまで拡大する画像拡大手順と、前記画像拡大手順によって拡大された画像を、該画像が切り出されたフレーム画像の順番に従ってつなぎ合わせることにより、前記被写体像を中心とした動画像を作成する動画像作成手順と、を実行させる。
【発明の効果】
【００１７】
本発明によれば、動画像の一部を抽出してズームアップした動画像を容易に作成することができる画像処理装置、画像処理方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態を詳細に説明する。
［実施形態１］
【００１９】
まず、本発明の実施形態１に係るデジタルカメラの具体的構成について説明する。
【００２０】
図１は、本実施形態におけるデジタルカメラの構成例を示すブロック図である。デジタルカメラ１は、図１に示すように、レンズ光学系２と、撮像素子３と、Ａ／Ｄ（Analog / Digital）変換器４と、画像処理部５と、ＤＲＡＭ（Dynamic Random Access Memory）６と、ＣＯＤＥＣ（Coder Decoder）７と、表示部８と、ＶＲＡＭ（Video Random Access Memory）９と、制御部１０と、レンズ駆動モータ部１１と、操作部１２と、フラッシュメモリ１３と、から構成されている。
【００２１】
レンズ光学系２は、撮像レンズや、ピント合せ（合焦）を行うフォーカスレンズ、撮像素子３に入射する被写体像の光量を調整する絞り機構等を含んで構成されている。レンズ光学系２を介して集光された被写体の光学像（被写体像）は、撮像素子３上に結像される。
【００２２】
撮像素子３は、例えばＣＣＤ（Charge Coupled Device）等から構成されており、レンズ光学系２を介して結像された被写体像を、その明るさに応じた大きさの電荷に変換（光電変換）して蓄積するものである。そして、撮像素子３は、図示しないタイミングジェネレータやＶ（Vertical）ドライバにより走査駆動されて、蓄積した電荷を撮像信号（アナログ信号）として出力する。
【００２３】
撮像素子３から出力された撮像信号は、図示しない二重相関サンプリング（ＣＤＳ：Correlation Doubleness Sampling）回路でノイズを除去され、図示しないＡＧＣ（Automatic Gain Control）増幅器により増幅された後、Ａ／Ｄ変換器４によってデジタル方式の撮像信号に変換される。
【００２４】
画像処理部５は、カラープロセス回路やＤＭＡ（Direct Memory Access）コントローラ等を含んで構成されている。画像処理部５は、カラープロセス回路で、Ａ／Ｄ変換器４から供給されるデジタル方式の撮像信号に対しカラープロセス処理を施して、ＹＵＶデータを生成する。そして、画像処理部５は、ＤＭＡコントローラを用いて、カラープロセス回路で生成したＹＵＶデータをＹＵＶ信号としてＤＲＡＭ６にＤＭＡ転送する。
【００２５】
ＤＲＡＭ６は、ＣＯＤＥＣ７がＹＵＶデータの圧縮及び伸張等を行う際、ワークメモリとして使用されるものである。
【００２６】
ＣＯＤＥＣ７は、ＤＲＡＭ６にＤＭＡ転送されたＹＵＶデータを圧縮して静止画像や動画像の圧縮データを生成したり、フラッシュメモリ１３から読み出された静止画像や動画像の圧縮データを伸張してＤＲＡＭ６上にＹＵＶデータを再生したりするものである。
【００２７】
本実施形態において、静止画像の圧縮及び伸張は、ＪＰＥＧ（Joint Photographic Experts Group）方式により行われ、動画像の圧縮及び伸張は、ＭＰＥＧ（Moving Picture Experts Group）方式により行われる。
【００２８】
表示部８は、例えば液晶表示装置（ＬＣＤ：Liquid Crystal Display）等から構成されており、制御部１０から供給されるビデオ信号に基づいて、スルー画像や、撮影画像、再生画像などを表示するものである。
【００２９】
ＶＲＡＭ９は、表示部８に画像を表示する際、ワークメモリとして使用されるものである。
【００３０】
制御部１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等から構成されており、ＣＰＵがＲＯＭ等に記憶されている各種プログラムを適宜実行することによって、デジタルカメラ１の各部の動作を制御するものである。なお、ＲＡＭは、ＣＰＵがプログラムを実行する際、ワークメモリとして用いられるものである。
【００３１】
本実施形態において、制御部１０は、ＤＲＡＭ６に保持されているＹＵＶデータをＶＲＡＭ９に書き込み、ＶＲＡＭ９からＹＵＶデータを定期的に読み出してビデオ信号を生成し、これを表示部８に供給する。これにより、表示部８には、スルー画像や、撮影画像、再生画像などが表示される。
【００３２】
また、制御部１０は、ＣＯＤＥＣ７にて生成された圧縮データにヘッダ情報を付与するなどして画像ファイルを作成し、これをフラッシュメモリ１３に保存する。
【００３３】
さらに、制御部１０は、ＹＵＶデータから得られるコントラスト値に基づいて、レンズ駆動モータ部１１をステップ駆動させて所定ステップ単位でフォーカスレンズの位置を調整して行くことにより、ピント合わせ（合焦）を行う。
【００３４】
レンズ駆動モータ部１１は、例えばステッピングモータ等から構成されており、制御部１０から供給されるステップ駆動指令やモータ正逆回転指令に従ってステップ駆動することにより、フォーカスレンズを合焦位置まで移動させるものである。
【００３５】
操作部１２は、電源キーや、レリーズボタン、スルーモードと撮影モードと再生モードとを切り替えるためのモード切り替えキー等の各種の操作キーを含み、キー操作に応じた検出信号を制御部１０に供給するものである。
【００３６】
フラッシュメモリ１３は、例えばＳＤ（Secure Digital）メモリカード等から構成されており、制御部１０により作成された画像ファイルを保存するものである。
【００３７】
次に、上記構成を備えるデジタルカメラの実施形態１に係わる動画像再構成処理について説明する。
【００３８】
図２は、撮影された動画像が格納されているフラッシュメモリ１３から動画像の一部を切り出して新たな動画像を再構成する動画像再構成処理の処理内容を示すフローチャートである。
まず、制御部１０は、動画像を構成する複数のフレームのうち、最初の画像フレーム画像に基準矩形枠を付加した画面を表示部８に表示させる。
【００３９】
続いて、図３（ａ）に示すように、表示部８に表示される最初に表示されるフレームの画像上に付加されて表示されている基準矩形枠内に注目被写体像が収まるように矩形枠の位置及びサイズの指定がユーザによりなされると（ステップＳ１０１）、制御部１０は、その基準矩形枠のサイズ（大きさ）を固定にするモード、または拡大または縮小的に変倍させるモードかのいずれかの矩形枠変倍モードを選択させる矩形枠変倍モード選択画面を表示部８に表示させる。
【００４０】
これに応じて、矩形枠サイズを変倍させるモードの指定がユーザによりなされると、制御部１０は、ＲＡＭ等に設けられた矩形枠変倍モードフラグをセットする（ステップＳ１０２）。そして次の画像フレームを取得し（ステップＳ１０３）、注目被写体像が前のフレーム画像と次のフレーム画像それぞれの画像の差分を抽出して、その差分に相当する画像部分を検出する（ステップＳ１０４）。
【００４１】
制御部１０は、前述したステップＳ１０４の検出処理にて検出した変化分の画像部分を囲むように矩形枠サイズを拡大あるいは縮小を行なった矩形枠を仮設定して表示する（ステップＳ１０５）。そして、上述したステップＳ１０５で仮設定された矩形枠サイズを更に変化させるか否かを、前述したステップＳ１０２の処理において矩形枠サイズ変倍フラグがセットされているか否かによって判別する（ステップＳ１０６）。
【００４２】
上述したステップＳ１０２の処理においてユーザが矩形枠サイズ固定モードを選択し、変倍モードフラグがセットされていない場合には（ステップＳ１０６；Ｎｏ）、仮設定されている矩形枠と同じ位置に中心を有し、直前の矩形枠と同じサイズを有する矩形枠を再設定する（ステップＳ１０７）。
【００４３】
一方、上述したステップＳ１０２の処理において矩形枠サイズを注目被写体像に収まるように変倍させる矩形枠サイズ変倍モードを選択していた場合には（ステップＳ１０６；Ｙｅｓ）、図３（ｂ）や（ｃ）に示すように、前の矩形枠のサイズを注目被写体像が収まるように拡大或いは縮小させたサイズの矩形枠を再設定する（図２のステップＳ１０８）。
【００４４】
ステップＳ１０７又はＳ１０８の処理のいずれかの矩形枠サイズ変倍処理が終わると、注目被写体像が収まるように再設定した矩形枠領域内の画像の取得を行ない、取得した画像を内部メモリ（図示せず）に一時的に格納する（ステップＳ１０９）。そして、上述したステップＳ１０９の画像取得処理が行なわれると、制御部１０は、矩形枠の設定を行っていない画像フレームが未だ有るか否かを確認する（ステップＳ１１０）。矩形枠の設定を行っていないフレームが未だ有る場合には（ステップＳ１１０；Ｙｅｓ）、ステップＳ１０３の処理に戻り、ステップＳ１０３〜Ｓ１０９までの各処理をステップＳ１０９の判別処理がＹｅｓになるまで繰り返す。
【００４５】
一方、全ての画像フレームについて矩形枠矩形枠の設定が行われた場合には（ステップＳ１１０；Ｎｏ）、Ｓ１０９の画像取得処理によって切り出されて格納されている矩形枠内画像を格納順に読み出して通常サイズにまで拡大し、これを順次時間軸に沿ってつなぎ合わせることにより、動画像を再構成する。そして新たな動画像ファイルとしてフラッシュメモリ１３に格納する（ステップＳ１１１）。この結果、制御部１０は、図４（ａ）〜（ｃ）に示すような動画像を作成することができる。
以上までの処理が、実施形態１における動画像再構成処理である。
【００４６】
以上説明したように、実施形態１における動画像再構成処理によれば、撮影後の動画像に設定される矩形枠サイズを移動する注目被写体像が収まるように一方向に徐々に拡大または縮小を行って矩形枠内の部分画像を順次抽出し、抽出した注目被写体像それぞれをズームアップできるので、連続して撮影された動画像から注目被写体像にフォーカスをあてた連続した新たな動画像を容易に作成することができる。
［実施形態２］
【００４７】
次に、本発明の実施形態２について説明する。なお、本実施形態のデジタルカメラの構成は、上記実施形態１の構成と同一であるため、その説明は省略する。
【００４８】
図５は、本実施形態における動画像再構成処理の処理内容を示すフローチャートである。
まず、制御部１０は、動画像を構成する複数のフレームのうち、最初のフレームの画像を表示部８に表示させる。
【００４９】
続いて、図６（ａ）に示すように、表示部８に表示される最初のフレームの画像において付加されて表示されている基準矩形内に注目被写体像が収まるように基準矩形枠の位置及びサイズの指定がユーザにより行われると（ステップＳ２０１）、制御部１０は、注目被写体像の追跡のために矩形枠の移動方向と移動量とをユーザに指定させる指定画面を表示部８に表示させる。
【００５０】
これに応じて、矩形枠の移動方向と移動量との指定がユーザにより行われると（ステップＳ２０２）、制御部１０は、次の画像フレームを表示して（ステップＳ２０３）、図６（ｂ）や（ｃ）に示すように、上述したステップＳ２０２の処理によって指定された移動方向と移動量とに応じて矩形枠の移動先位置を設定する（ステップＳ２０４）。そして、設定した位置における矩形枠に相当する画像部分を切り出し、直前に切り出された画像部分に続けて、内部メモリ（図示せず）に一時的に格納する（ステップＳ２０５）。
【００５１】
ステップＳ２０５の処理の後、制御部１０は、矩形枠の設定を行っていないフレームが未だ有るか否かを確認する（ステップＳ２０６）。矩形枠の設定を行っていないフレーム部分が未だ有る場合には（ステップＳ２０６；Ｙｅｓ）、ステップＳ２０３の処理に戻り、矩形枠の設定を継続して実行する。
【００５２】
一方、全てのフレームについて矩形枠の設定が行われた場合には（ステップＳ２０６；Ｎｏ）、移動の位置に設定した矩形枠内の画像部分を切り出して通常サイズにまで拡大し、これを時間軸に沿ってつなぎ合わせることにより、新たな動画像を再構成する（ステップＳ２０６）。この結果、制御部１０は、図７（ａ）〜（ｃ）に示すような動画像を作成することができる。
以上までの処理が、実施形態２における動画像再構成処理である。
【００５３】
以上説明したように、実施形態２における動画像再構成処理によれば、撮影後の動画像の複数のフレーム内を移動する注目すべき被写体像を収める矩形枠を指定し、更にその被写体像の移動方向を指定すると、あとは一定時間間隔で指定方向に矩形枠を移動させ、部分画像を連続して抽出し、抽出した注目被写体像それぞれをズームアップできるので、連続して撮影された動画像から注目被写体像にフォーカスをあてた連続した新たな動画像を容易に作成することができる。
［実施形態３］
【００５４】
次に、本発明の実施形態３について説明する。なお、本実施形態のデジタルカメラの構成は、上記実施形態１の構成と同一であるため、その説明は省略する。
【００５５】
図８は、撮影開始時に指定された捕捉対象を動画像から抽出して新たな動画像を再構成する動画像再構成処理の内容を示すフローチャートである。
まず、制御部１０は、撮像素子３で撮像された画像を表示部８にスルー画像として表示させる。
【００５６】
そして、図９（ａ）に示すように、撮影録画開始前にキャプチャ対象となる注目被写体像の位置の指定が画像上でユーザにより行われると（ステップＳ３０１）、制御部１０は、被写体までの距離ＡをＴＴＬ測光方式などを用いて測定し、ＲＡＭに設けられたワークメモリにこれを一時的に格納する（ステップＳ３０２）。上述したステップＳ３０１の処理にて指定された注目被写体像の位置を中心とする矩形枠を暫定的に設定する（ステップＳ３０３）。
【００５７】
続いて、制御部１０は、ステップＳ３０３の処理にて暫定設定した矩形枠が表示部８に表示される画像フレーム内にあるか否かを判別する（ステップＳ３０４）。その判別結果、矩形枠がフレーム内にないと判別した場合には（ステップＳ３０４；Ｎｏ）、フレーム内に収まる位置まで矩形枠をシフト移動させる（ステップＳ３０５）。一方、矩形枠がフレーム内にあると判別された場合には（ステップＳ３０４；Ｙｅｓ）、ステップＳ３０６の処理に進む。
【００５８】
そして、ステップ３０６の処理においては、制御部１０は、動画像の次のフレームのＹＵＶデータを一時的に格納しているＤＲＡＭ６から取得し、この取得したフレーム内において、デジタルカメラ１と被写体の離間距離が上述したステップＳ３０２の処理にて測定した距離Ａと等しくなる位置を検出する（ステップＳ３０７）。
【００５９】
ここで、ステップＳ３０７の処理にてデジタルカメラ１と被写体の離間距離が距離Ａと等しくなる位置が複数検出された場合には、直前の矩形枠の位置に最も近い現行フレーム内の位置をキャプチャ対象である被写体の位置として抽出する（ステップＳ３０８）。そして、制御部１０は、図９（ｂ）や（ｃ）に示すように、図８のステップＳ３０７又はＳ３０８の処理にて取得した被写体の位置を中心とする矩形枠を暫定的に設定する（ステップＳ３０９）。
【００６０】
続いて、制御部１０は、ステップＳ３０９の処理にて暫定的に設定した矩形枠の全ての部分が、表示部８に表示されるフレーム内に収まっているか否かを判別する（ステップＳ３１０）。そして、判別結果によって矩形枠の全ての部分がフレーム内に収まっていない場合には（ステップＳ３１０；Ｎｏ）、フレーム内に収まる位置まで矩形枠を順次移動させる（ステップＳ３１１）。一方、矩形枠の全ての部分がフレーム内に収まっている場合には（ステップＳ３１０；Ｙｅｓ）、ステップＳ３１２の処理に進む。
【００６１】
上述したステップＳ３１０又はＳ３１１の処理いずれかの処理が終わると、制御部１０は、矩形枠内の部分画像を切り出して、直前に切り出された部分画像に続けてワークメモリ（図示せず）に格納する（ステップＳ３１２）。ワークメモリに部分画像が格納されるごとに、動画像の次のフレームがあるか否かを確認する（ステップＳ３１３）。そして、動画像の次のフレームが未だ有る場合には（ステップＳ３１３；Ｙｅｓ）、ステップＳ３０６の処理に戻り、ステップＳ３０６〜Ｓ３１２の各処理を動画像の最終フレームまで繰り返して行う。
【００６２】
一方、動画像の次のフレームがない場合には、つまり最終フレームまで矩形枠の部分画像の切り出しが終わっている場合（ステップＳ３１３；Ｎｏ）、設定した矩形枠内の切り出された部分画像を格納順にワークメモリから読み出して、通常サイズにまで拡大し、これを時間軸に沿ってつなぎ合わせることにより、動画像を再構成する（ステップＳ３１４）。この結果、制御部１０は、図１０（ａ）〜（ｃ）に示すような動画像を作成することができる。
以上までの処理が、実施形態３における動画像再構成処理である。
【００６３】
以上説明したように、実施形態３における動画像再構成処理によれば、撮影開始前に動画像上で指定した被写体がデジタルカメラ１から同一距離にある場合には、複数の被写体からこの被写体像だけを動画像から所定の矩形枠内の部分画像を順次切り出して格納することができ、そして格納した部分画像それぞれをズームアップできるので、指定した被写体にフォーカスした新たな動画像を容易に作成することができる。
［実施形態４］
【００６４】
次に、本発明の実施形態４について説明する。なお、本実施形態のデジタルカメラの構成は、上記実施形態１の構成と同一であるため、その説明は省略する。
【００６５】
図１１及び図１２は、本実施形態における動画像再構成処理の内容を示すフローチャートである。
まず、制御部１０は、撮像素子３で撮像された画像を表示部８にスルー画像として表示させる。
【００６６】
そして、図１３（ａ）に示すように、撮影開始前に合焦ポイント及びそれを囲む矩形枠のサイズの指定がユーザによりなされると（ステップＳ４０１）、制御部１０は、動画像の次のフレームのＹＵＶデータを一時的に格納しているＤＲＡＭ６から取得し（ステップＳ４０２）、取得したＹＵＶデータと、直前のフレームのＹＵＶデータと、を比較することにより、今回のフレームと直前のフレームとの変化部分を検出する（ステップＳ４０３）。
【００６７】
そして、ステップＳ４０３の処理にて直前のフレームで設定された矩形枠に近い箇所で、変化部分が検出されたか否かを判別する（ステップＳ４０４）。直前の動画像フレームで設定された矩形枠に近い箇所で変化部分が検出されなかった場合には（ステップＳ４０４；Ｎｏ）、矩形枠の位置及び焦点をそのままにする（ステップＳ４０５）。
【００６８】
一方、直前の動画像フレームで設定された矩形枠に近い箇所で変化部分が検出された場合には（ステップＳ４０４；Ｙｅｓ）、図１３（ｂ）や（ｃ）に示すように、この変化部分を囲むように矩形枠を仮設定すると共に（図１１のステップＳ４０６）、矩形枠内の中心或いは最も近接する箇所で合焦させる（ステップＳ４０７）。
【００６９】
ステップＳ４０５又はＳ４０７の処理の後、制御部１０は、動画像の次のフレームが有るか否かを確認する（ステップＳ４０８）。動画像の次のフレームが未だある場合には（ステップＳ４０８；Ｙｅｓ）、ステップＳ４０２の処理に戻り、矩形の設定を継続して実行する。
【００７０】
一方、動画像の次のフレームがない場合には（ステップＳ４０８；Ｎｏ）、撮影を終了した後（ステップＳ４０９）、最初に設定した矩形枠から一定範囲までの矩形枠を全て取り出す（ステップＳ４１０）。
【００７１】
続いて、制御部１０は、ステップＳ４１０の処理にて取り出した矩形枠の中心位置及びサイズの平均値を算出すると共に（ステップＳ４１１）、この算出した平均値と、ステップＳ４０６の処理にて暫定的に設定した矩形枠の位置及びサイズと、の中間値を算出する（ステップＳ４１２）。
【００７２】
そして、制御部１０は、ステップＳ４１２の処理にて算出した中間値が、ステップＳ４１１の処理にて算出した平均値から一定の値以上離れているか否かを判別し（ステップＳ４１３）、一定の値以上離れている場合には（ステップＳ４１３；Ｙｅｓ）、直前または直後の矩形枠の位置及びサイズを採用する（ステップＳ４１４）。
【００７３】
一方、ステップＳ４１２の処理にて算出された中間値が、ステップＳ４１１の処理にて算出された平均値から一定範囲内にある場合には（ステップＳ４１３；Ｎｏ）、ステップＳ４１５の処理に進む。
【００７４】
そして、制御部１０は、図１４（ａ）〜（ｃ）に示すように、ステップＳ４１２の処理にて算出した中間値に基づいて形成した矩形枠の位置及びサイズを決定する（ステップＳ４１５）。その後、制御部１０は、動画像の次のフレームがあるか否かを確認する（ステップＳ４１６）。判別結果により動画像の次のフレームがまだある場合には（ステップＳ４１６；Ｙｅｓ）、次に続く未処理の矩形枠群の取得が可能か否かを判別する（ステップＳ４１７）。
【００７５】
それら未処理の矩形枠群の取得が可能である場合には（ステップＳ４１７；Ｙｅｓ）、矩形枠群をＤＲＡＭ６から取り出して（ステップＳ４１８）、ステップＳ４１１の処理に戻り、矩形枠の設定をステップＳ４１６またはＳ４１７の処理がＮｏになるまで繰り返して行う。
【００７６】
一方、次のフレームがない場合や（ステップＳ４１６；Ｎｏ）、未処理の矩形枠群の取得が不能である場合には（ステップＳ４１７；Ｎｏ）、設定した矩形枠内の部分画像を切り出して通常サイズにまで拡大し、これを時間軸に沿ってつなぎ合わせることにより、動画像を再構成する（ステップＳ４１９）。この結果、制御部１０は、図１５（ａ）〜（ｃ）に示すような動画像を作成することができる。
以上までの処理が、実施形態４における動画像再構成処理である。
【００７７】
以上説明したように、実施形態４における動画像再構成処理によれば、動作する被写体に焦点を自動的に合わせて、この被写体像を動画像から抽出し、これをズームアップした動画像を容易に作成することができる。
［実施形態５］
【００７８】
次に、本発明の実施形態５について説明する。なお、本実施形態のデジタルカメラの構成は、上記実施形態１の構成と同一であるため、その説明は省略する。
【００７９】
図１６は、本実施形態における動画像再構成処理の内容を示すフローチャートである。まず、制御部１０は、最初のフレームのＹＵＶデータをＤＲＡＭ６から取得し（ステップＳ５０１）、フレーム内の最も近接した点において、合焦させる（ステップＳ５０２）。続いて、制御部１０は、図１７（ａ）〜（ｃ）に示すように、合焦位置ができるだけ、その中心となるように、所定のサイズの矩形枠を設定する（ステップＳ５０３）。
【００８０】
その後、制御部１０は、動画像の次のフレームがあるか否かを確認する（ステップＳ５０４）。まだ動画像の次のフレームが残っている場合には（ステップＳ５０４；Ｙｅｓ）、動画像の次のフレームのＹＵＶデータをＤＲＡＭ６から取得した後（ステップＳ５０５）、ステップＳ５０２の処理に戻り、ステップＳ５０４の判別処理がＹｅｓになるまで矩形枠の設定処理であるＳ５０２〜Ｓ５０５の各処理を繰り返す。
【００８１】
一方、動画像の次のフレームがない場合、つまり最終フレームのときには（ステップＳ５０４；Ｎｏ）、設定した矩形枠内の部分画像を切り出して通常サイズにまで拡大し、これを時間軸に沿ってつなぎ合わせることにより、動画像を再構成する（ステップＳ５０６）。この結果、制御部１０は、図１８（ａ）〜（ｃ）に示すような動画像を作成することができる。
以上までの処理が、実施形態５における動画像再構成処理である。
【００８２】
以上説明したように、実施形態５における動画像再構成処理によれば、近接する被写体に焦点を自動的に合わせて、この被写体像を動画像から抽出し、これをズームアップした動画像を容易に作成することができる。
【００８３】
なお、本発明は、上記実施形態に限定されず、種々の変形、応用が可能である。以下、本発明に適用可能な上記実施形態の変形態様について、説明する。
【００８４】
上記実施形態では、本発明の画像処理装置をデジタルカメラに適用したものを例に説明したが、これに限定されるものではなく、例えばカメラ機能を有する移動体通信端末に適用するものとしてもよい。
【００８５】
また、上記実施形態において、制御部１０のＣＰＵが実行するプログラムは、予めＲＯＭ等に記憶されていた。しかしながら、本発明は、これに限定されず、上述の処理を実行させるためのプログラムを、既存の移動体通信端末に適用することで、上記実施形態にかかるデジタルカメラ１として機能させるようにしてもよい。
【００８６】
このようなプログラムの提供方法は任意であり、例えば、インターネットなどの通信媒体を介して提供可能である他、例えば、メモリカードなどの記録媒体に格納して配布してもよい。
【図面の簡単な説明】
【００８７】
【図１】デジタルカメラの構成例を示すブロック図である。
【図２】実施形態１に係る動画像再構成処理の内容を示すフローチャートである。
【図３】実施形態１において設定される矩形枠を例示する図である。
【図４】実施形態１において作成される動画像を例示する図である。
【図５】実施形態２に係る動画像再構成処理の内容を示すフローチャートである。
【図６】実施形態２において設定される矩形枠を例示する図である。
【図７】実施形態２において作成される動画像を例示する図である。
【図８】実施形態３に係る動画像再構成処理の内容を示すフローチャートである。
【図９】実施形態３において設定される矩形枠を例示する図である。
【図１０】実施形態３において作成される動画像を例示する図である。
【図１１】実施形態４に係る動画像再構成処理の内容を示すフローチャートである。
【図１２】実施形態４に係る動画像再構成処理の内容を示すフローチャートである。
【図１３】実施形態４において設定される矩形枠を例示する図である。
【図１４】実施形態４における矩形枠の設定を説明するための図である。
【図１５】実施形態４において作成される動画像を例示する図である。
【図１６】実施形態５に係る動画像再構成処理の内容を示すフローチャートである。
【図１７】実施形態５において設定される矩形枠を例示する図である。
【図１８】実施形態５において作成される動画像を例示する図である。
【符号の説明】
【００８８】
１…デジタルカメラ、２…レンズ光学系、３…撮像素子、４…Ａ／Ｄ変換器、５…画像処理部、６…ＤＲＡＭ、７…ＣＯＤＥＣ、８…表示部、９…ＶＲＡＭ、１０…制御部、１１…レンズ駆動モータ部、１２…操作部、１３…フラッシュメモリ
【図１】
2006279894.tif 000003
【図２】
2006279894.tif 000004
【図３】
2006279894.tif 000005
【図４】
2006279894.tif 000006
【図５】
2006279894.tif 000007
【図６】
2006279894.tif 000008
【図７】
2006279894.tif 000009
【図８】
2006279894.tif 000010
【図９】
2006279894.tif 000011
【図１０】
2006279894.tif 000012
【図１１】
2006279894.tif 000013
【図１２】
2006279894.tif 000014
【図１３】
2006279894.tif 000015
【図１４】
2006279894.tif 000016
【図１５】
2006279894.tif 000017
【図１６】
2006279894.tif 000018
【図１７】
2006279894.tif 000019
【図１８】
2006279894.tif 000020