(57)【特許請求の範囲】
【請求項１】
複数の画像を記録した画像記録手段と、
前記画像記憶手段に記憶されている複数の画像を再生する画像再生手段と、
前記画像再生手段によって再生される複数の画像を表示する画像表示制御手段と、
前記画像表示制御手段によって表示される複数の画像の中から基準画像を選択する画像選択手段と、
前記画像選択手段によって選択された基準画像に含まれる被写体を抽出する被写体抽出手段と、
前記被写体抽出手段によって取得された被写体に基づいた非配置領域の外側に、画像を表示する範囲を取得する画像表示範囲取得手段と、
前記画像表示範囲取得手段によって取得された範囲に基準画像とは別の画像を配置して静止画像データを生成する静止画生成手段と、
前記静止画生成手段によって生成された静止画像データを出力する出力手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記被写体抽出手段は、基準画像に含まれる被写体の輪郭を抽出し、該輪郭に基づいて非配置領域を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体抽出手段は、基準画像の中心部に位置する被写体を抽出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
更に、前記被写体抽出手段によって抽出された被写体に基づいた非配置領域の外側に、配置する画像の枚数を設定する画像数設定手段と、
を備え、
前記画像表示範囲取得手段は、前記被写体抽出手段によって抽出された被写体に基づいた非配置領域の外側に、前記画像数設定手段によって設定された枚数分の画像を表示する範囲を取得することを特徴とする請求項１乃至３に記載の画像処理装置。
【請求項５】
前記画像表示範囲取得手段によって取得する画像表示範囲は、非配置領域の外側で最大となる範囲とすることを特徴とする請求項１乃至４に記載の画像処理装置。
【請求項６】
前記画像表示範囲取得手段によって取得された範囲に配置する画像は、取得された範囲に合わせた縮小画像とすることを特徴とする請求項１乃至５に記載の画像処理装置。
【請求項７】
複数の画像を配置し静止画化して出力する静止画生成方法であって、
メモリに記憶されている複数の画像を再生して表示する工程と、
前記表示された複数の画像の中から基準画像を選択する工程と、
前記選択された基準画像に含まれる被写体を抽出する工程と、
前記抽出された被写体に基づいた非配置領域の外側に、画像を表示する範囲を取得する工程と、
前記取得された範囲に基準画像とは別の画像を配置して静止画像データを生成する工程と、
前記生成された静止画像データを出力する工程と、
を備えたことを特徴とする静止画生成方法。
【請求項８】
画像記録メモリを備えた画像処理装置のコンピュータに、
複数の画像を前記記録メモリに記録保存する機能と、
前記記録メモリに記憶されている複数の画像を再生する機能と、
前記再生された画像を表示する機能と、
前記表示される複数の画像の中から基準画像を選択する機能と、
前記選択された基準画像に含まれる被写体を抽出する機能と、
前記抽出された被写体に基づいた非配置領域の外側に、画像を表示する範囲を取得する機能と、
前記取得された範囲に基準画像とは別の画像を配置した静止画像データを生成する機能と、
前記生成された静止画像データを出力する機能と、
を実行させるプログラム。
【請求項９】
請求項８に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画等の連続撮影画像を静止画像として出力する静止画像生成技術に関する。
【背景技術】
【０００２】
撮影した動画を印刷する場合に、連続画像である動画像をどのように静止画として切り出すかについて色々な工夫がなされている。
従来、動画像を静止画化する技術としては、圧縮された動画データから単独で完結した静止画像を構成するフレームデータであるキーフレームを自動的に選択してそのフレーム画像を所定のレイアウトに配置した静止画データを生成したり、圧縮されていない動画データから所定時間間隔のフレームデータを自動的に選択してそのフレーム画像を所定のレイアウトに配置した静止画データを生成したりすることのできるプリンタ装置がある（例えば、特許文献１参照）。
【０００３】
上記特許文献１に記載のプリンタ装置によれば、動画像を構成するフレーム画像が自動的に選択されて動画像の内容を示す静止画像を容易に得ることができるが、それらが動画像の全体的な特徴を示すものとして適切であるとは限らないし、仮に自動的に選択されたフレーム画像が動画像の全体的な特徴を示すものとして適切であったとしてもそれらの配置形態（配置数や配置位置）が動画像の全体な特徴を示すものとは限らないといった課題があった。
【０００４】
上記課題を解決するものとして、本願出願人は、ユーザに選択された動画像から、動画像の時間長や動画像におけるカット割の変化点の数等の動画情報を取得し、取得した動画情報に基づいて、生成する静止画像のデザイン（動画像を構成する複数のフレーム画像（コマ）の数、大きさ、配置等）を示すレイアウトデータをメモリから選択的に読み出し、選択された動画像を構成するフレーム画像をレイアウトデータに基づいて配置した静止画像を生成し出力するようにし、所定のフレーム画像は、他のフレーム画像よりもサイズが大きなハイライトフレームに関するデータがレイアウトデータにあるか否かにより異なる設定規則により自動的に設定する（ハイライトフレーム指定も可能とする）ことにより、動画像の全体的な特徴を示すものとしてより適切な静止画を容易に得ることのできる画像処理装置、画像処理方法、およびカメラ装置を提案している（特許文献２参照）。
【０００５】
【特許文献１】特開平９−１３０５９１号公報
【特許文献２】特願２００４−３６５２０７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に開示のプリンタ装置では動画像を構成するフレーム画像が自動的に選択されて動画像の内容を示す静止画像を容易に得ることができ、上記特許文献２に提案の技術では自動的に選択されたフレーム画像およびその配置形態画が動画像の全体的な特徴を示すものとして適切な静止画を容易に得ることができるので、このようにして得た静止画を見れば動画を表示しなくても動画全体を特徴づけるものとして動画内容を確認できる。また、静止画をプリントし、動画が記録された記録媒体や記録媒体を収納するケースに添付して記録媒体の内容等を外側から弁別することもできる。
【０００７】
しかしながら、上記特許文献１および特許文献２に記載の技術では、動画の全体的な特徴を示すに適切な静止画を得ることはできるが、動画から主観的基準により動画の部分的な特徴を示す部分（例えば、ユーザが注目したり共感したりした部分）を抽出して静止画を得ることはできない課題があった。
【０００８】
本発明は上記課題を解決するためになされたものであり、動画等の連続撮影画像からユーザが注目したり共感したりした画像を抽出して静止画を得る画像処理装置、静止画生成方法、プログラム、および記憶媒体の提供を目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、請求項１に記載の発明では、複数の画像を記録した画像記録手段と、前記画像記憶手段に記憶されている複数の画像を再生する画像再生手段と、前記画像再生手段によって再生される複数の画像を表示する画像表示制御手段と、前記画像表示制御手段によって表示される複数の画像の中から基準画像を選択する画像選択手段と、前記画像選択手段によって選択された基準画像に含まれる被写体を抽出する被写体抽出手段と、前記被写体抽出手段によって取得された被写体に基づいた非配置領域の外側に、画像を表示する範囲を取得する画像表示範囲取得手段と、前記画像表示範囲取得手段によって取得された範囲に基準画像とは別の画像を配置して静止画像データを生成する静止画生成手段と、前記静止画生成手段によって生成された静止画像データを出力する出力手段と、を備えたことを特徴とする画像処理装置を提供する。
これにより、選択された基準画像に含まれる被写体を除く部分に、別の画像を配置した静止画を生成することができる。
【００１３】
また、請求項２に記載の発明では、前記被写体抽出手段は、基準画像に含まれる被写体の輪郭を抽出し、該輪郭に基づいて非配置領域を設定することを特徴とする請求項１に記載の画像処理装置を提供する。
これにより、選択された基準画像に含まれる被写体の輪郭の外側に、別の画像を配置した静止画を生成することができる。
【００１４】
また、請求項３に記載の発明では、前記被写体抽出手段は、基準画像の中心部に位置する被写体を抽出することを特徴とする請求項１又は２に記載の画像処理装置を提供する。
これにより、選択された基準画像の中心部に位置する被写体を除く部分に、別の画像を配置した静止画を生成することができる。
【００１５】
また、請求項４に記載の発明では、更に、前記被写体抽出手段によって抽出された被写体に基づいた非配置領域の外側に、配置する画像の枚数を設定する画像数設定手段と、を備え、前記画像表示範囲取得手段は、前記被写体抽出手段によって抽出された被写体に基づいた非配置領域の外側に、前記画像数設定手段によって設定された枚数分の画像を表示する範囲を取得することを特徴とする請求項１乃至３に記載の画像処理装置を提供する。
これにより、基準画像の被写体の周りに配置する画像の数を設定しておけば、ユーザが所望する画像を選択するだけでその画像と前後する設定数分の画像を配置した静止画を自動的に生成できる。
【００１６】
また、請求項５に記載の発明では、前記画像表示範囲取得手段によって取得する画像表示範囲は、非配置領域の外側で最大となる範囲とすることを特徴とする請求項１乃至４に記載の画像処理装置を提供する。
これにより、合成される各画像のサイズをできるだけ大きくできるので画像が見易くすることができる。
また、請求項６に記載の発明では、前記画像表示範囲取得手段によって取得された範囲に配置する画像は、取得された範囲に合わせた縮小画像とすることを特徴とする請求項１乃至５に記載の画像処理装置を提供する。
これにより、合成される各画像を取得された範囲に合わせ縮小して配置した静止画を生成できる。
【００１７】
また、請求項７に記載の発明では、複数の画像を配置し静止画化して出力する静止画生成方法であって、メモリに記憶されている複数の画像を再生して表示する工程と、前記表示された複数の画像の中から基準画像を選択する工程と、前記選択された基準画像に含まれる被写体を抽出する工程と、前記抽出された被写体に基づいた非配置領域の外側に、画像を表示する範囲を取得する工程と、前記取得された範囲に基準画像とは別の画像を配置して静止画像データを生成する工程と、前記生成された静止画像データを出力する工程と、を備えたことを特徴とする静止画生成方法を提供する。
これにより、選択された基準画像に含まれる被写体部分を除く部分に、別の画像を配置した静止画を生成できる。
【００１８】
また、請求項８に記載の発明では、画像記録メモリを備えた画像処理装置のコンピュータに、複数の画像を前記記録メモリに記録保存する機能と、前記記録メモリに記憶されている複数の画像を再生する機能と、前記再生された画像を表示する機能と、前記表示される複数の画像の中から基準画像を選択する機能と、前記選択された基準画像に含まれる被写体を抽出する機能と、前記抽出された被写体に基づいた非配置領域の外側に、画像を表示する範囲を取得する機能と、前記取得された範囲に基準画像とは別の画像を配置した静止画像データを生成する機能と、前記生成された静止画像データを出力する機能と、を実行させるプログラムを提供する。
これにより、このプログラムを実行することにより、選択された基準画像に含まれる被写体部分を除く部分に、別の画像を配置した静止画を生成することができる。
【００２０】
また、請求項９に記載の発明では、請求項８に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体を提供する。
これにより、この記憶媒体に格納されたプログラムを実行することにより、選択された基準画像に含まれる被写体部分を除く部分に、別の画像を配置した静止画を生成することができる。
【発明の効果】
【００２１】
本発明によれば、動画再生時にユーザが注目した画像を中心とした前後の画像から静止画を生成できる。つまり、ユーザが注目した画像とその画像に前後して撮影された画像を静止画化して出力できるので、ユーザが注目した画像とそれに前後する画像との関連がわかり、動画や同一時間帯に撮影された一連の静止画のうちユーザが注目した画像を中心とした複数の画像から共通して受ける感覚や事象を簡単に把握できる。
【発明を実施するための最良の形態】
【００２２】
図１は、本発明の各実施形態に共通するデジタルカメラの外観を示す図であり、ここでは主として正面（図１（ａ））及び背面（図１（ｂ））の外観を示す。デジタルカメラ１００は、図１（ａ）に示すように正面側に撮像レンズ（レンズ群）２を有している。また、デジタルカメラ１００の背面には図１（ｂ）に示すように、モードダイアル３、液晶モニタ画面４、カーソルキー５、ＳＥＴキー６、ズームボタン７（Ｗボタン７−１、Ｔボタン７−２）、およびメニューキー１０等のキーが設けられている。また、上面にはシャッターキー８、電源ボタン９が設けられている。なお、側部には図示されていないが、パーソナルコンピュータ（以下、パソコン）やモデム等の外部装置とＵＳＢケーブルに接続する場合に用いるＵＳＢ端子接続部が設けられている。
【００２３】
図２は図１に示したデジタルカメラ１００のブロック図であり、デジタルカメラ１００は、撮影用のモードとして静止画撮影モードと動画撮影モード、および高速連写モードを有している。また、撮影により記録した画像（静止画像または動画像）を表示するための再生モードの下位モードとして、動画像から静止画像を生成（静止画像化）して記録するための静止画生成モードを有し、以下の構成を備えている。
なお、高速連写モードは例えば、１秒間に１００枚以上の画像を連続撮影する撮影モードであり、本発明は動画から静止画を生成する場合だけでなく、高速連写モードで撮影された画像から選択した画像とその画像を中心として前後に撮影された画像から静止画像を生成する場合にも適用できる。
【００２４】
更に、本発明は同一日や同一時間帯のように所定の期間内に個別に撮影された多数の静止画のなかから選択した画像とその画像を中心として前後に撮影された画像から静止画像を生成する場合にも適用できる。
【００２５】
つまり、デジタルカメラ１００は、カメラ本体１と、カメラ本体１に着脱可能な記録メディア３０から構成されており、カメラ本体１にはズームレンズやフォーカスレンズからなる光学系１２およびＣＣＤ１３が配置されている。
【００２６】
ＣＣＤ１３は本発明の撮像手段であり、タイミングジェネレータ１７から送られる駆動信号により駆動され、被写体の光像を光電変換し撮像信号として出力する。ＣＣＤ１３の出力信号はＣＤＳ回路１４で相関二重サンプリングおよびゲイン調整され、Ａ／Ｄ変換回路１５でデジタル信号に変換される。Ａ／Ｄ変換された撮像信号はＤＳＰブロック１６に入力され、ぺデスタルクランプ等の処理が施された後、ＤＳＰブロック１６内の輝度・色差マトリックス回路で輝度（Ｙ）信号および色差（ＵＶ）信号に変換される。なお、ＤＳＰブロック１６ではオートアイリス（ＡＥ）、ホワイトバランス（ＷＢ）、輪郭強調などの画像の品質向上のための処理も行われる。
【００２７】
ＤＳＰブロック１６で変換されたＹＵＶデータは解像度変換ブロック１８で予め設定された画像サイズに変換された後、１フレーム分のデータが順次内蔵メモリ２４（例えば、ＳＤＲＡＭ）に格納される。内蔵メモリ２４に格納された１フレーム分のＹＵＶデータは表示コントローラ２１に送られ、そこでビデオ信号に変換された後、ＬＣＤ（液晶表示部）１２によりスルー画像、つまり動画像として表示される。
【００２８】
静止画モードでの撮影時に内蔵メモリ２４に格納された１フレーム分のＹＵＶデータはデータ圧縮・伸張ブロック１９でＪＰＥＧ方式等によってデータ圧縮後コード化され、内蔵メモリ内でファイル化された後、メディアコントローラ２０を介して記録メディア３０に静止画データ（静止画ファイル）として記録される。
【００２９】
記録メディア３０は本発明の動画記録手段であり、動画撮影時に内蔵メモリ２４に格納されたＹＵＶデータは順次データ圧縮・伸張ブロック１９に送られ、所定の動画記録方式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧ）のコーデックによりデータ圧縮した後にコード化され、内蔵メモリ２４内でファイル化された後、メディアコントローラ２０を介して動画ファイルとして記録メディア３０に記録される。なお、動画撮影のフレームレートはタイミングジェネレータ１７で生成されるタイミング信号によって決まり、コード化されるデータの圧縮率はデータ圧縮・伸張ブロック１９内の電子化テーブル値によって決定される。
【００３０】
データ圧縮・伸張ブロック１９は、静止画または動画の再生時には記録メディア３０から読み出された静止画や動画データを伸張し、静止画データや動画像のフレームデータとして内蔵メモリ２４に展開する。展開された画像は表示コントローラ２１に送られ、そこでビデオ信号に変換された後、ＬＣＤ２２により再生画像として表示される。なお、ＬＣＤ２２にはスルー画像や再生画像だけでなく、必要に応じてデジタルカメラ１００における各種の機能に関する選択や設定を行うためのメニュー画面や設定画面も表示される。
【００３１】
音声処理ブロック２５は、動画撮影時においてカメラ本体１に内蔵されたマイク２６に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとして内蔵メモリ２４に送る。内蔵メモリ２４に送られたオーディオデータはフレームデータとともにストリームデータとして記録メディア３０に順次書き込まれる。また、音声処理ブロック２５は、動画撮影時には、内蔵メモリ２４から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体１に内蔵された内蔵スピーカ２７から音声出力させる。
【００３２】
キーブ入力ブロック２８は、上述したモードダイアル３、カーソルキー５、ＳＥＴキー６、ズームボタン７（Ｗボタン７−１、Ｔボタン７−２）、シャッターキー８、電源ボタン９、およびメニューキー１０と、キーが操作されると操作されたキーの操作信号を生成してＣＰＵに送出するキー処理部（図示せず）等から構成されている。
【００３３】
モードダイアル３は撮影モードや再生モードの選択を行うものである。ユーザはモードダイアル３を操作して、（静止画）通常撮影モード、マクロ撮影モード、連写モード、速写モード、・・、動画撮影モード、・・・等の撮影モードや、静止画再生モード、動画再生モード等の再生モード等を選択することができる。
【００３４】
カーソルキー５はモード設定やメニュー選択等に際して液晶モニタ画面４に表示されるメニューやアイコン等をカーソルでポイント（指定）する際に操作するキーであり、カーソルキー５の操作によりカーソルを上下又は左右に移動させることができる。また、ＳＥＴキー６はカーソルキー５によってカーソル表示されている項目や画像を選択設定若しくは確認する際に押すキーである。
【００３５】
ズームボタン７は、ズーム操作に用いられ、光学ズームの場合はズームボタン７（Ｗボタン７−１またはＴボタン７−２）の操作に対応して画角が実際に変化し、液晶モニタ画面４にはワイド（広角）画像又はテレ（望遠）画像が表示される。電子ズームの場合はズームボタン７の操作に対応して光学系１２からの画像がデジタルズーム処理により画像が拡大／縮小されて表示される。
【００３６】
シャッターキー８は、撮影時にレリーズ操作を行うもので、２段階のストロークを有しており、静止画撮影モードでは１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための合焦指示信号を発生し、２段目の操作（全押し状態）で撮影処理を行うための撮影指示信号を発生する。また、動画撮影モードでは録画開始／終了の指示に用いられるほか、静止画生成モードにおいて、シャッターキー８を押すと表示中の動画を停止させて静止画として表示し、再度シャッターキー８を押すと停止解除となり、動画表示を続行させる動画表示停止／停止解除キーとして用いることができる。
【００３７】
メニューキー１０はその時点で処理可能な選択メニューやアイコンを表示する場合に操作されるキーである。
【００３８】
輪郭抽出ブロック３１は注目被写体（実施例ではフォーカスエリアを含む被写体）から人物の輪郭を抽出する。人物の輪郭抽出方法は公知の方法（例えば、特開平０７−２７４０６７号公報や特開２００４−２９７２７４号公報に記載の輪郭抽出方法）を適宜採用することができる。なお、輪郭抽出ブロック３１は実施形態１では必須ではないが、実施形態２では必須である。この輪郭抽出処理のために専用の回路を設けても良いしＣＰＵ２３で実行させてもよい。
【００３９】
上述した各ブロックはＣＰＵ２３によって制御されており、ＣＰＵ２３が各ブロックの制御に必要とされるプログラムやデータはＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能な不揮発性メモリであるプログラムメモリ２９に記憶されている。そしてＣＰＵ２３は上記プログラムおよびキー入力ブロック２８からのキー入力信号に基づき動作することにより、本発明の選択手段、静止画生成手段、制御手段として機能する。なお、プログラムメモリ２９にはユーザによって設定されたシステムや各機能に関する設定データも記憶されている。
【００４０】
また、プログラムメモリ２９は本発明のレイアウト情報記憶手段でもあり、プログラムメモリ２９には前述した静止画生成モードの動作に際して使用されるレイアウトデータがそのエリア２９ａに格納されている。レイアウトデータは動画像の静止画像化に際して生成する静止画像のデザイン、つまり、中心画像のまわりに縮小して配置するピックアップ画像の数、大きさ、配置等を示すデータである（図５参照）。
【００４１】
図３は本実施形態に係わる静止画生成方法の説明図であり、図３（ａ）は再生表示された画像を示す。図示の例では画像４５は生成される静止画におけるレイアウトの中心画像（ハイライトフレーム）として選択された画像である。また、図３（ｂ）は中心画像４５の前後の画像（ピックアップ画像４４、４６）であり、静止画生成時にピックアップされる。図３（ｃ）は生成される静止画を示し、ピックアップ画像の縮小画像４７、４８が選択されたレイアウト（図示の例では、対角で対向する左上隅、右下隅）で配置された静止画像４９が表示される。
【００４２】
図３の例ではピックアップ画像は前後各一つの画像としたが、前後の複数の画像をピックアップすることもできる。ピックアップする画像の数は静止画生成モード開始時にユーザが選択・設定することができる。また、ピックアップする画像の数によってレイアウトが異なる（図５参照）。なお、ピックアップ画像は動画や連写による連続撮影画像から静止画を生成する場合は選択された中心画像の前後の画像であり、静止画から生成する場合は撮影日付または撮影時間帯が中心画像と同じ画像のうち、中心画像の前後に撮影された画像である。
【００４３】
図４は本実施形態に係わる静止画生成時のＣＰＵによる制御動作を示すフローチャートである。このフローチャートはデジタルカメラ１００に本発明の静止画像生成機能を実現させるためのプログラムを説明するためのものである。  
以下に示す処理は基本的にＣＰＵが予めフラッシュメモリ等のプログラムメモリに記憶されたプログラムに従って実行する例で説明するが、全ての機能をプログラムメモリに格納する必要はなく、必要に応じて、その一部若しくは全部をネットワークを介して受信して実現するようにしてもよい。以下、図１〜図５に基いて説明する。なお、図４に示すフローチャートでは動画再生モードを例として説明するが、本発明の適用範囲は動画再生モードに限定されず、例えば、前述した高速連写モードで撮影した連続撮影画像（高速連写画像）の再生時における静止画像生成や、通常の静止画撮影モードで同一日や同一時間帯に個別に撮影された多数の静止画像の再生時における静止画像生成にも適用できる。
【００４４】
図４で、動画再生モードが選択されると、ＣＰＵ２３は記録メディア３０に記録されている動画ファイルの先頭フレームの縮小画像をＬＣＤ２２に一覧表示させ、ユーザに所定のキー操作（たとえば、カーソルキー５の操作）により、所望の動画ファイルを選択させる（ステップＳ１）。
【００４５】
ＣＰＵ２３は、メディアコントローラ２０を制御して選択された動画ファイルのフレーム画像を記録メディア３０から順次読み出してデータ圧縮・伸張ブロック１９で伸張させ、内蔵メモリ２４に動画像フレームデータとして展開してから表示コントローラ２１を介してＬＣＤ２２に順次表示させる。これにより、選択された動画ファイルに記録されている動画像が再生され動画表示される（ステップＳ２）。
【００４６】
ユーザは所定のキーを操作して（例えば、シャッターキー８を押して）再生表示中の動画像を停止させてそのまま表示（つまり、静止表示）させることができるので、ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、所定のキーが押された場合はステップＳ４に進み、そうでない場合はステップＳ２に戻る（ステップＳ３）。
【００４７】
ユーザがメニューキー１０を押すと、ＣＰＵ２３は静止画生成モードの選択を含む各種メニューを表示してユーザの選択を促すので、ユーザがカーソルキー５等の操作により静止画生成モードを選択すると、ステップＳ５に進み、そうでない場合は選択された他の処理を実行する（ステップＳ４）。
【００４８】
ユーザは静止表示中の画像が所望の画像（静止画生成時のレイアウトの中心画像候補）である場合は所定のキー（例えば、ＳＥＴキー６）を押し、そうでない場合は他のキーの操作（カーソルキー５の操作）により表示する画像を前の画像に戻したり、次の画像に進めることができるので、ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、ＳＥＴキー６が押された場合はステップＳ７に進み（ステップＳ５）、カーソルキー５が操作され
た場合はカーソルキー５の操作に応じて画面を１コマずつ前の画像に戻して表示したり、次の画像に進めて表示し、ステップＳ５に戻る（ステップＳ６）。
【００４９】
ＣＰＵ２３は静止画生成時のレイアウトの中心画像の前後のコマとしてピックアップする画像の数の指定を促すメッセージ（例えば、「ピックアップする画像の数を指定してください」と指定可能な数をＬＣＤ２２に表示し、ユーザがピックアップする画像数を選択するとその数を取得して保持し、ステップＳ８に進む（ステップＳ７）。
【００５０】
ＣＰＵ２３は、上記ステップＳ８で取得した前後のフレーム画像の数に対応するレイアウトデータ（図５）をプログラムメモリ２９から取り出してピックアップ画像表示枠を生成し（ステップＳ８）、生成したピックアップ画像表示枠をレイアウトデータの示す位置で、現在静止表示中の画像（中心画像）に重ねてＬＣＤ２２に表示する（ステップＳ９）。
【００５１】
次に、ＣＰＵ２３は内蔵メモリ２４から、現在表示されている画像（中心画像）のフレーム画像を内蔵メモリ２４の所定領域に保持（記憶）すると共に、前後のフレーム画像（ピックアップ画像）をステップＳ７で取得した前後のフレーム画像の数だけ取り出し（ステップＳ１０）、上記ステップＳ１０で生成したピックアップ画像表示枠のサイズに縮小して内蔵メモリ２４の所定領域に保持（記憶）した後（ステップＳ１１）、縮小したピックアップ画像を表示コントローラ２１を介してＬＣＤ２２に表示されているピックアップ画像表示枠内に表示する。これにより、図３（ｃ）に示すような合成画像（静止画）が表示される（ステップＳ１２）。上記縮小画像は、毎回作成しなくても予め用意されているサムネイル等を用いても良い。
【００５２】
ユーザが確認入力を行う（例えば、ＳＥＴキー６を押す）と静止画像生成指示が出たものとしてステップＳ１６に進み、他のキー（例えば、カーソルキー５）が押されると変更（やり直し）指示があったものとしてステップＳ１４に進む（ステップＳ１３）。
【００５３】
変更指示があった場合は、上記ステップＳ７で取得した前後のフレーム画像の数に対応するレイアウトデータ（図５）を調べ、対応するレイアウトデータがない場合はステップＳ７に戻り（ステップＳ１４）、対応するレイアウトデータがあった場合はそのレイアウトデータをプログラムメモリ２９から取り出してピックアップ画像表示枠を生成し、ステップＳ９に戻る（ステップＳ１５）。
【００５４】
静止画像生成指示があった場合は、ＣＰＵ２３は内蔵メモリ２４に保持した中心画像のフレーム画像（データ）と、上記ステップＳ１３で内蔵メモリ２４に保持した各縮小画像を合成して、ＬＣＤ２２に表示している静止画像と同じレイアウトの静止画像（データ）を生成し（ステップＳ１６）、記録メディア３０に記録する（ステップＳ１７）。
【００５５】
上記図４のフローチャートに示した制御動作により、ユーザが所望する中心画像を中心とした所定のレイアウトの静止画を生成できる。つまり、所定のレイアウトに中心画像と、その中心画像に前後して撮影された画像を所定のレイアウトで一画像として表示できるので、中心画像とそれに時間的に前後する画像との関連がわかり、動画や同一時間帯に撮影された静止画のうちユーザが注目した画像を中心とした複数の画像から共通して受ける感覚や事象を簡単に把握できる。
【００５６】
なお、上記図４のフローチャートでは圧縮された動画データから静止画を生成する例について述べてが、圧縮されていない動画データから所定時間間隔のフレームデータを自動的に選択してそのフレーム画像を所定のレイアウトに配置した静止画を生成することもできる。
【００５７】
また、上記図４のフローチャートに示す制御動作は、図４の各ステップおよびその説明で「動画」を「高速連写画」、「動画像」を「連写画像」とすれば高速連写画像からの静止画像生成を行う場合の制御フローとして適用できる。また、図４の各ステップおよびその説明で「動画」を「静止画」、「動画像」を「静止画像」とすれば同一日若しくは同一時間帯に個別に撮影された多数の静止画像から静止画像生成を行う場合の制御フローとして適用できる。
【００５８】
図５はフレームレイアウトの例およびレイアウトデータの説明図であり、図５（ａ）〜（ｄ）はフレームレイアウトの例、図５（ｅ）はプログラムメモリに格納されているレイアウトデータのデータ構造を示す図である。  
【００５９】
前記図３の例では、ピックアップ画像の数が前後各１個のとき左上隅と右下隅にピックアップ画像の縮小画像を配したレイアウトを示したが、図５（ａ）はピックアップ画像の数が前後各１個のとき右上隅と左下隅にピックアップ画像の縮小画像７１−１，７１−２を配すようにした例であり、図５（ｂ）はピックアップ画像の数が前後各２個のとき四隅にピックアップ画像の縮小画像７１−１、７１−２、７２−１、７２−２を配すようにした例、図５（ｃ）はピックアップ画像の数が前後各３つのとき左右に３個ずつピックアップ画像の縮小画像７１−１、７１−２、７１−３、７２−１、７２−２、７２−３を配すようにした例、図５（ｄ）はピックアップ画像の数が前後各３つのとき上下に３個ずつピックアップ画像の縮小画像７１−１、７１−２、７１−３、７２−１、７２−２、７２−３を配すようにした例である。なお、ピックアップ画像は中心画像の撮影時間より前後にタイミングをずらしたフレーム画像である。図示の例では中心画像の撮影時間より前後に１〜３個分のピックアップ画像を指定した場合のレイアウトを示したが、ピックアップ画像の数は前後に１〜３個ずつに限定されず、４個以上であってもよい。また、レイアウトはユーザができるようにしてもよい。
【００６０】
また、図５（ｅ）で、レイアウトデータ８０は動画像の静止画像化に際して生成する静止画像のデザイン、つまり、ピックアップ画像の数８１、ピックアップ画像から生成する縮小画像のサイズ８２、縮小画像の配置位置（各縮小画像の中心座標）８３等からなる）。なお、縮小画像の配置位置は各縮小画像の始点と終点の座標としてもよい。
【００６１】
（実施形態２）  
図６および図７は本実施形態に係わる静止画生成方法の説明図であり、図６（ａ）は再生表示された画像であり、図示の例では画像５５は生成される静止画におけるレイアウトの中心画像（ハイライトフレーム）として選択された画像である。また、図６（ｂ）は中心画像５５の前後の画像（ピックアップ画像５４、５６）であり、静止画生成時にピックアップされる。図６（ｃ）は中心画像５５の注目被写体部分６０を示し、注目被写体部分６０の人物の輪郭６１が抽出される。ここで、注目被写体部分６０の人物の輪郭６１はフォーカスエリアを含む被写体部分であり、輪郭抽出ブロック３１（図２）によって人物の輪郭が抽出される。
【００６２】
図７（ａ）は、中心画像５５の注目被写体部分６０および中心画像５５の注目被写体部分を除く部分（背景部分等）に自動的に表示されるフレーム画像表示枠６４、６６を示す。フレーム画像表示枠６４、６６は注目被写体部分６０の人物の輪郭６１が抽出されると、ユーザが選択・指定したピックアップ画像の数を基に画面内の注目被写体部分６０の人物を除く部分に指定した数の画像表示枠が自動的に生成され表示される。この場合、画像表示枠のサイズは中心被写体６０の人物左右の背景部分の面積やサイズを基に決定される。
【００６３】
図７（ｂ）は、生成された静止画を示し、ピックアップ画像５４、５６の縮小画像６７、６８が中心画像５５の注目被写体６０の人物を覆うことのないように配置されて生成される。また、この際、縮小画像６７、６８の画像の大きさは注目被写体６０の人物を覆うことのない範囲で最大になるようにして配置される。
【００６４】
また、図６、７の例ではピックアップ画像は前後各一つの画像としたが、前後の複数の画像をピックアップすることもできる。ピックアップする画像の数は静止画生成モード開始時にユーザが選択・設定することができる。なお、ピックアップ画像は動画や連写による連続撮影画像から静止画を生成する場合は選択された中心画像の前後の画像であり、静止画から生成する場合は撮影日付または撮影時間帯が中心画像と同じ画像のうち、中心画像の前後に撮影された画像である。
【００６５】
図８は本実施形態に係わる静止画生成時のＣＰＵによる制御動作を示すフローチャートである。このフローチャートのステップＳ１〜Ｓ６の動作は図４に示したフローチャートのステップＳ１〜Ｓ６の動作と同様である。以下、図１、図２、図４、図６〜図８に基いて説明する。なお、このフローチャートでは動画再生モードを例として説明するが、本発明の適用範囲は動画再生モードに限定されず、例えば、前述した高速連写モードで撮影した高速連写画像の再生時における静止画像生成や静止画撮影モードで同一日若しくは同一時間帯に個別に撮影された多数の静止画から静止画像を生成する場合にも適用できる。
【００６６】
まず、ステップＳ１〜ステップＳ５の操作実行後ステップＳ６（Ｓ１〜Ｓ６の動作は図４の説明参照）で静止表示中の画像が所望の画像のときは、ＣＰＵ２３は輪郭抽出ブロック３１を制御して注目被写体の人物の輪郭を抽出させ、その輪郭を強調表示する（ステップＳ７）。
【００６７】
次に、ＣＰＵ２３は中心画像の前後のコマとしてピックアップする画像の数の指定を促すメッセージ（例えば、「ピックアップする画像の数を指定してください」と指定可能な数をＬＣＤ２２に表示し、ユーザがピックアップする画像の数を指定するとその数を取得して保持し、ステップＳ９に進む（ステップＳ８）。
【００６８】
ＣＰＵ２３は、上記ステップＳ７で抽出した注目被写体の輪郭を基に、静止表示している画面における注目被写体の人物の左右の表示領域（注目被写体を除く領域）に収まるピックアップ画像表示枠の最大サイズおよび表示位置の座標を算出する。ここで、表示画面における注目被写体の左右の表示領域（注目被写体を除く領域）に表示するピックアップ画像の数が複数の場合はピックアップ画像表示枠の形状は同じであるがサイズが異なる場合があるので、このような場合には、表示画面における注目被写体の左右の表示領域をそれぞれサイズが同一若しくは異なるピックアップ画像表示枠で埋めるようにして各ピックアップ画像表示枠のサイズおよび表示位置の座標を算出する（ステップＳ９）。
【００６９】
次に、上記ステップＳ９で算出したサイズのピックアップ画像表示枠をそれぞれ生成し（ステップＳ１０）、生成したピックアップ画像表示枠をそれぞれのレイアウトデータの示す位置で、現在静止表示中の画像（中心画像）に重ねてＬＣＤ２２に表示する（ステップＳ１１）。
【００７０】
次に、ＣＰＵ２３は、上記ステップＳ９で算出したピックアップ画像表示枠のサイズに合わせて縮小した各ピックアップ画像と現在表示されている画像（中心画像）を内蔵メモリ２４の所定領域に保持（記憶）した後（ステップＳ１２）、上記縮小したピックアップ画像をそれぞれ表示コントローラ２１を介してＬＣＤ２２に表示されている各ピックアップ画像表示枠内に表示する。これにより、図７（ｂ）に示すような合成画像（静止画）が表示される（ステップＳ１３）。
【００７１】
ユーザが確認入力を行う（例えば、ＳＥＴキー６を押す）と静止画像生成指示が出たものとしてステップＳ１７に進み、他のキーが押されると変更（やり直し）指示があったものとしてステップＳ１５に進む（ステップＳ１４）。
【００７２】
変更指示があった場合は、ユーザは画面上に表示されている縮小画像枠のうち、サイズや位置を変更したい縮小画像をカーソルキー５で指定して、サイズや位置の変更指示を行うので、ＣＰＵ２３は変更指示に基づいて縮小画像のサイズや位置の変更処理を実行する（ステップＳ１５）、変更結果でよい場合は確認入力（例えば、ＳＥＴキー６を押す）があった場合はステップＳ１７に進み、他のキーが押されるとピックアップ数を変更するためにステップＳ８に戻る（ステップＳ１６）。
【００７３】
静止画像生成指示があった場合、若しくは変更済みの場合は、上記ステップＳ１２で内蔵メモリ２４に保持した中心画像（データ）と各縮小画像を合成して、ＬＣＤ２２に表示している静止画像と同じレイアウトの静止画像（データ）を生成し（ステップＳ１７）、記録メディア３０に記録する（ステップＳ１８）。
【００７４】
上記図８のフローチャートに示した制御動作により、中心画像のうち注目被写体を除く部分に時間的に前後する画像を縮小した静止画を生成できる。つまり、合成される各縮小画像のサイズをできるだけ大きくできるので、中心画像とそれに時間的に前後する画像との関連がわかり易く、動画や同一時間帯に撮影された静止画のある画像を中心とした画像での共感やユーザが注目した事象を的確に把握できる。
【００７５】
また、上記図８のフローチャートに示す制御動作は、図８の各ステップおよびその説明で「動画」を「高速連写画」、「動画像」を「連写画像」とすれば高速連写画像からの静止画像生成を行う場合の制御フローとして適用できる。また、図８の各ステップおよびその説明で「動画」を「静止画」、「動画像」を「静止画像」とすれば同一日若しくは同一時間帯に個別に撮影された多数の静止画像から静止画像生成を行う場合の制御フローとして適用できる。
【００７６】
以上、本発明のいくつかの実施例について説明したが、本発明は上記各実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。例えば、画像処理装置という用語は、パソコンやデジタルカメラやカメラ付き携帯電話機のほか、画像再生機能を有する情報機器などにも適用し得るものである。
【図面の簡単な説明】
【００７７】
【図１】デジタルカメラの外観構成の一例を示す図である。
【図２】図１に示したデジタルカメラのブロック図である。
【図３】実施形態１に係わる静止画生成方法の説明図である。
【図４】実施形態１に係わる静止画生成時のＣＰＵによる制御動作を示すフローチャートである。
【図５】フレームレイアウトの例およびレイアウトデータの説明図である。
【図６】実施形態２に係わる静止画生成方法の説明図である。
【図７】実施形態２に係わる静止画生成方法の説明図である。
【図８】実施形態２に係わる静止画生成時のＣＰＵによる制御動作を示すフローチャートである。
【符号の説明】
【００７８】
１３  ＣＣＤ（撮像部）
１９  データ圧縮・伸張ブロック（画像再生手段）
２１  表示コントローラ（画像表示制御手段、画像再生手段）
２２  ＬＣＤ（出力手段）
２３  ＣＰＵ（画像選択手段、静止画生成手段、画像表示制御手段、レイアウト選択手段）
２９  プログラムメモリ（レイアウト情報記憶手段）
３０  記録メディア（画像記憶手段）
５４、５６  ピックアップ画像（前後の画像）
５５  中心画像
６１  輪郭
１００  デジタルカメラ（カメラ、画像処理装置）
【図１】
0004696921.tif 000002
【図２】
0004696921.tif 000003
【図３】
0004696921.tif 000004
【図４】
0004696921.tif 000005
【図５】
0004696921.tif 000006
【図６】
0004696921.tif 000007
【図７】
0004696921.tif 000008
【図８】
0004696921.tif 000009