(57)【要約】【課題】動画像の全体的な特徴を示すものとして、より適切な静止画像を容易に得ることができる画像処理装置及び画像処理方法、カメラ装置を提供する。【解決手段】ユーザーに選択された動画像から、動画像の時間長や動画像におけるカット割りの変化点の数等の動画情報を取得し、取得した動画情報に基づいて、生成する静止画像のデザイン（動画像を構成する複数のフレーム画像（コマ）の数、大きさ、配置等）を示すレイアウトデータをメモリから選択的に読み出す（ＳＡ２〜ＳＡ６）。選択された動画像を構成する所定のフレーム画像を、レイアウトデータに基づいて配置した静止画像を生成し出力する（ＳＡ１４，ＳＡ１５）。所定のフレーム画像は、他のフレーム画像よりもサイズが大きなハイライトフレームに関するデータがレイアウトデータにあるか否かにより異なる設定規則により自動的に設定する。またハイライトフレームは指定も可能とする。【選択図】      図４
2006174189.tif 000002
【特許請求の範囲】
【請求項１】
動画像を静止画像化して出力する画像処理装置において、
動画像を記憶する動画記憶手段と、
動画像を構成する複数のフレーム画像の配置形態を示すレイアウト情報を複数記憶するレイアウト情報記憶手段と、
前記動画記憶手段に記憶されている動画像から、動画像毎に異なる固有の動画情報を取得する取得手段と、
この取得手段により取得された動画情報に基づいて、前記レイアウト情報記憶手段に記憶されているいずれかのレイアウト情報を選択する選択手段と、
前記動画記憶手段に記憶されている動画像を構成する複数のフレーム画像を、前記選択手段により選択されたレイアウト情報によって示される配置形態で配置した静止画像の画像データを生成する静止画生成手段と、
この静止画生成手段により生成された画像データを出力する出力手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記動画像毎に異なる固有の動画情報は動画像の時間長であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記動画像毎に異なる固有の動画情報は、動画像を構成する複数のフレーム画像において互いに前後するフレーム画像間における内容の変化度合が閾値以上である変化点の数であることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記選択手段によって選択されたレイアウト情報により示される配置形態が、他のフレーム画像よりもサイズの大きな代表フレーム画像を含んだ配置形態であるとき、前記代表フレーム画像として使用するフレーム画像を使用者に選択させ、選択されたフレーム画像を代表フレーム画像とする静止画像のデータを、前記選択手段により選択されたレイアウト情報に基づき前記静止画生成手段に生成させる制御手段を備えた
ことを特徴とする請求項１，２又は３記載の画像処理装置。
【請求項５】
前記選択手段によって選択されたレイアウト情報により示される配置形態が、他のフレーム画像よりもサイズの大きな代表フレーム画像を含んだ配置形態であるとき、記代表フレーム画像として使用するフレーム画像を動画像の全フレームから予め決められている判断基準に基づき決定し、決定したフレーム画像を代表フレーム画像とする静止画像のデータを、前記選択手段により選択されたレイアウト情報に基づき前記静止画生成手段に生成させる制御手段を備えた
ことを特徴とする請求項１，２又は３記載の画像処理装置。
【請求項６】
前記制御手段は、前記代表フレーム画像の前後における所定時間分のフレームの複数のフレーム画像とを含む静止画像のデータを前記静止画生成手段に生成させることを特徴とする請求項４又は５記載の画像処理装置。
【請求項７】
前記制御手段は、前記代表フレーム画像の前後における所定時間を使用者に選択させることを特徴とする請求項６記載の画像処理装置。
【請求項８】
動画像を静止画像化して出力する画像処理方法において、
静止画像化する動画像から動画像毎に異なる固有の動画情報を取得する工程と、
取得した動画情報に基づいて、動画像を構成する複数のフレーム画像の配置形態を、予め用意されている複数の配置形態の中から選択する工程と、
選択した配置形態で、静止画像化する動画像を構成する複数のフレーム画像を配置した静止画像の画像データを生成する工程と、
生成した画像データを出力する工程と
を含むことを特徴とする画像処理方法。
【請求項９】
動画像を静止画像化して出力する画像処理装置が有するコンピュータに、
静止画像化する動画像から動画像毎に異なる固有の動画情報を取得する手順と、
取得された動画情報に基づいて、動画像を構成する複数のフレーム画像の配置形態を、予め用意されている複数の配置形態の中から選択する手順と、
選択した配置形態で、静止画像化する動画像を構成する複数のフレーム画像を配置した静止画像の画像データを生成する手順と、
生成した画像データを出力する手順と
を実行させるためのプログラム。
【請求項１０】
動画撮影機能を備えたカメラ装置であって、
被写体を撮像する撮像手段と、
この撮像手段により撮像された一連の被写体画像に基く複数のフレーム画像により構成された動画像を記録保存する動画記録手段と、
動画像を構成する複数のフレーム画像の配置形態を示すレイアウト情報を複数記憶するレイアウト情報記憶手段と、
前記動画記録手段に記憶されている動画像から、動画像毎に異なる固有の動画情報を取得する取得手段と、
この取得手段により取得された動画情報に基づいて、前記レイアウト情報記憶手段に記憶されているいずれかのレイアウト情報を選択する選択手段と、
前記動画記録手段に記憶されている動画像を構成する複数のフレーム画像を、前記選択手段により選択されたレイアウト情報によって示される配置形態で配置した静止画像の画像データを生成する静止画生成手段と、
この静止画生成手段により生成された画像データを出力する出力手段と
を備えたことを特徴とするカメラ装置。
【請求項１１】
動画像を静止画像化して出力する画像処理装置において、
動画像を記憶する動画記憶手段と、
動画像を構成する複数のフレーム画像の配置形態を示すレイアウト情報を記憶するレイアウト情報記憶手段と、
前記動画記憶手段に記憶されている動画像から、動画像毎に異なる固有の動画情報を取得する取得手段と、
前記動画記憶手段に記憶されている動画像を構成する複数のフレーム画像から、前記取得手段により取得された動画情報に基づいて複数の特定フレーム画像を抽出する抽出手段と、
この抽出手段により抽出された複数の特定フレーム画像を、前記レイアウト情報記憶手段に記憶されているレイアウト情報によって示される配置形態に配置した静止画像の画像データを生成する静止画生成手段と、
この静止画生成手段により生成された画像データを出力する出力手段と
を備えたことを特徴とする画像処理装置。
【請求項１２】
前記動画像毎に異なる固有の動画情報は、動画像を構成する複数のフレーム画像において互いに前後するフレーム画像間における内容の変化度合であることを特徴とする請求項１２記載の画像処理装置。
【請求項１３】
前記レイアウト情報記憶手段に前記レイアウト情報が複数記憶されるとともに、
前記レイアウト情報記憶手段に複数記憶されているレイアウト情報のいずれかを使用者に選択させる制御手段と、
この制御手段により選択させたレイアウト情報に示される配置形態におけるフレーム画像の配置数が、前記抽出手段により抽出された複数の特定フレーム画像の数に満たないとき、前記静止画生成手段により静止画像の画像データの生成に際して使用されるレイアウト情報を、前記レイアウト情報記憶手段に記憶されている前記複数の特定フレーム画像の数に応じた他のレイアウト情報に変更する変更手段とを備えた
ことを特徴とする請求項１１又は１２記載の画像処理装置。
【請求項１４】
前記静止画生成手段は、前記抽出手段により抽出された複数の特定フレーム画像の数が、前記レイアウト情報記憶手段に記憶されているレイアウト情報によって示される配置形態におけるフレーム画像の配置数に満たない場合、その配置数を前記複数の特定フレーム画像の数に変更し、かつ変更後の数に応じて各フレーム画像の配置間隔を調整するレイアウト調整手段を含むことを特徴とする請求項１１又は１２記載の画像処理装置。
【請求項１５】
動画像を静止画像化して出力する画像処理方法において、
静止画像化する動画像から動画像毎に異なる固有の動画情報を取得する工程と、
取得した動画情報に基づいて、前記動画像を構成する複数のフレーム画像から複数の特定フレーム画像を抽出する工程と、
抽出した複数の特定フレーム画像を、予め用意されている配置形態に配置した静止画像の画像データを生成する工程と、
生成した画像データを出力する工程と
を含むことを特徴とする画像処理方法。
【請求項１６】
動画像を静止画像化して出力する画像処理装置が有するコンピュータに、
静止画像化する動画像から動画像毎に異なる固有の動画情報を取得する手順と、
取得した動画情報に基づいて、前記動画像を構成する複数のフレーム画像から複数の特定フレーム画像を抽出する手順と、
抽出した複数の特定フレーム画像を、予め用意されている配置形態に配置した静止画像の画像データを生成する手順と、
生成した画像データを出力する手順と
を実行させるためのプログラム。
【請求項１７】
動画撮影機能を備えたカメラ装置であって、
被写体を撮像する撮像手段と、
この撮像手段により撮像された一連の被写体画像に基く複数のフレーム画像により構成された動画像を記録保存する動画記録手段と、
動画像を構成する複数のフレーム画像の配置形態を示すレイアウト情報を記憶するレイアウト情報記憶手段と、
前記動画記録手段に記憶されている動画像から、動画像毎に異なる固有の動画情報を取得する取得手段と、
前記動画記録手段に記憶されている動画像を構成する複数のフレーム画像から、前記取得手段により取得された動画情報に基づいて複数の特定フレーム画像を抽出する抽出手段と、
この抽出手段により抽出された複数の特定フレーム画像を、前記レイアウト情報記憶手段に記憶されているレイアウト情報によって示される配置形態に配置した静止画像の画像データを生成する静止画生成手段と、
この静止画生成手段により生成された画像データを出力する出力手段と
を備えたことを特徴とするカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を静止画像化して出力する画像処理装置及び画像処理方法、カメラ装置に関するものである。
【背景技術】
【０００２】
従来、動画像を静止画像化する装置として、例えば下記の特許文献１には、圧縮された動画データから単独で完結した静止画像を構成するフレームデータであるキーフレームを自動的に選択し、そのフレーム画像を所定のレイアウトに配置した静止画データを生成したり、圧縮されていない動画データから所定時間間隔のフレームデータを自動的に選択しし、そのフレーム画像を所定のレイアウトに配置した静止画データを生成したりすることができるプリンタ装置が記載されている。
【特許文献１】特開平９−１３０５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
前述したプリンタ装置によれば、動画像の内容を示す静止画像を容易に得ることができるが、動画像を構成するフレーム画像が自動的に選択されるが、それらが動画像の全体的な特徴を示すものとして適切な画像であるとは限らない。また、仮に自動的に選択されたフレーム画像が動画像の全体的な特徴を示すものとして適切であったとしても、それらの配置形態（配置数や配置位置）が動画像の全体的な特徴を示すものとして適切であるとは限らないという問題があった。
【０００４】
本発明は、かかる従来の課題に鑑みてなされたものであり、動画像の全体的な特徴を示すものとして、より適切な静止画像を容易に得ることができる画像処理装置及び画像処理方法、カメラ装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するため請求項１の発明にあっては、動画像を静止画像化して出力する画像処理装置において、動画像を記憶する動画記憶手段と、動画像を構成する複数のフレーム画像の配置形態を示すレイアウト情報を複数記憶するレイアウト情報記憶手段と、前記動画記憶手段に記憶されている動画像から、動画像毎に異なる固有の動画情報を取得する取得手段と、この取得手段により取得された動画情報に基づいて、前記レイアウト情報記憶手段に記憶されているいずれかのレイアウト情報を選択する選択手段と、前記動画記憶手段に記憶されている動画像を構成する複数のフレーム画像を、前記選択手段により選択されたレイアウト情報によって示される配置形態で配置した静止画像の画像データを生成する静止画生成手段と、この静止画生成手段により生成された画像データを出力する出力手段とを備えたものとした。
【０００６】
かかる構成においては、動画像を構成する複数のフレーム画像が、動画像毎に異なる固有の動画情報に基づき選択されることにより動画像の全体的な特徴が反映された形態で配置された状態の静止画像が生成され出力される。
【０００７】
また、請求項２の発明にあっては、前記動画像毎に異なる固有の動画情報は動画像の時間長であるものとした。
【０００８】
また、請求項３の発明にあっては、前記動画像毎に異なる固有の動画情報は、動画像を構成する複数のフレーム画像において互いに前後するフレーム画像間における内容の変化度合が閾値以上である変化点の数であるものとした。
【０００９】
また、請求項４の発明にあっては、前記選択手段によって選択されたレイアウト情報により示される配置形態が、他のフレーム画像よりもサイズの大きな代表フレーム画像を含んだ配置形態であるとき、前記代表フレーム画像として使用するフレーム画像を使用者に選択させ、選択されたフレーム画像を代表フレーム画像とする静止画像のデータを、前記選択手段により選択されたレイアウト情報に基づき前記静止画生成手段に生成させる制御手段を備えたものとした。
【００１０】
また、請求項５の発明にあっては、前記選択手段によって選択されたレイアウト情報により示される配置形態が、他のフレーム画像よりもサイズの大きな代表フレーム画像を含んだ配置形態であるとき、記代表フレーム画像として使用するフレーム画像を動画像の全フレームから予め決められている判断基準に基づき決定し、決定したフレーム画像を代表フレーム画像とする静止画像のデータを、前記選択手段により選択されたレイアウト情報に基づき前記静止画生成手段に生成させる制御手段を備えたものとした。
【００１１】
また、請求項６の発明にあっては、前記制御手段は、前記代表フレーム画像の前後における所定時間分のフレームの複数のフレーム画像とを含む静止画像のデータを前記静止画生成手段に生成させるものとした。
【００１２】
また、請求項７の発明にあっては、前記制御手段は、前記代表フレーム画像の前後における所定時間を使用者に選択させるものとした。
【００１３】
また、請求項８の発明にあっては、動画像を静止画像化して出力する画像処理方法において、静止画像化する動画像から動画像毎に異なる固有の動画情報を取得する工程と、取得した動画情報に基づいて、動画像を構成する複数のフレーム画像の配置形態を、予め用意されている複数の配置形態の中から選択する工程と、選択した配置形態で、静止画像化する動画像を構成する複数のフレーム画像を配置した静止画像の画像データを生成する工程と、生成した画像データを出力する工程とを含む方法とした。
【００１４】
かかる方法においては、動画像を構成する複数のフレーム画像が、動画像毎に異なる固有の動画情報に基づき選択されることにより動画像の全体的な特徴が反映された形態で配置された状態の静止画像が生成され出力される。
【００１５】
また、請求項９の発明にあっては、動画像を静止画像化して出力する画像処理装置が有するコンピュータに、静止画像化する動画像から動画像毎に異なる固有の動画情報を取得する手順と、取得された動画情報に基づいて、動画像を構成する複数のフレーム画像の配置形態を、予め用意されている複数の配置形態の中から選択する手順と、選択した配置形態で、静止画像化する動画像を構成する複数のフレーム画像を配置した静止画像の画像データを生成する手順と、生成した画像データを出力する手順とを実行させるためのプログラムとした。
【００１６】
また、請求項１０の発明にあっては、動画撮影機能を備えたカメラ装置であって、被写体を撮像する撮像手段と、この撮像手段により撮像された一連の被写体画像に基く複数のフレーム画像により構成された動画像を記録保存する動画記録手段と、動画像を構成する複数のフレーム画像の配置形態を示すレイアウト情報を複数記憶するレイアウト情報記憶手段と、前記動画記録手段に記憶されている動画像から、動画像毎に異なる固有の動画情報を取得する取得手段と、この取得手段により取得された動画情報に基づいて、前記レイアウト情報記憶手段に記憶されているいずれかのレイアウト情報を選択する選択手段と、前記動画記録手段に記憶されている動画像を構成する複数のフレーム画像を、前記選択手段により選択されたレイアウト情報によって示される配置形態で配置した静止画像の画像データを生成する静止画生成手段と、この静止画生成手段により生成された画像データを出力する出力手段とを備えたものとした。
【００１７】
かかる構成においては、動画像を構成する複数のフレーム画像が、動画像毎に異なる固有の動画情報に基づき選択されることにより動画像の全体的な特徴が反映された形態で配置された状態の静止画像が生成され出力される。
【００１８】
また、請求項１１の発明にあっては、動画像を静止画像化して出力する画像処理装置において、動画像を記憶する動画記憶手段と、動画像を構成する複数のフレーム画像の配置形態を示すレイアウト情報を記憶するレイアウト情報記憶手段と、前記動画記憶手段に記憶されている動画像から、動画像毎に異なる固有の動画情報を取得する取得手段と、前記動画記憶手段に記憶されている動画像を構成する複数のフレーム画像から、前記取得手段により取得された動画情報に基づいて複数の特定フレーム画像を抽出する抽出手段と、この抽出手段により抽出された複数の特定フレーム画像を、前記レイアウト情報記憶手段に記憶されているレイアウト情報によって示される配置形態に配置した静止画像の画像データを生成する静止画生成手段と、この静止画生成手段により生成された画像データを出力する出力手段とを備えたものとした。
【００１９】
かかる構成においては、動画像を構成する複数のフレーム画像から、複数の特定フレーム画像が動画像毎に異なる固有の動画情報に基づき抽出され、抽出された複数の特定フレーム画像が配置された静止画像が生成され出力される。つまり動画像の全体的な特徴を示すことができる複数の特定フレーム画像が配置された静止画像が生成され出力される。
【００２０】
また、請求項１２の発明にあっては、前記動画像毎に異なる固有の動画情報は、動画像を構成する複数のフレーム画像において互いに前後するフレーム画像間における内容の変化度合であるものとした。
【００２１】
また、請求項１３の発明にあっては、前記レイアウト情報記憶手段に前記レイアウト情報が複数記憶され、前記レイアウト情報記憶手段に複数記憶されているレイアウト情報のいずれかを使用者に選択させる選択制御手段と、この選択制御手段により選択させたレイアウト情報に示される配置形態におけるフレーム画像の配置数が、前記抽出手段により抽出された複数の特定フレーム画像の数に満たないとき、前記静止画生成手段により静止画像の画像データの生成に際して使用されるレイアウト情報を、前記レイアウト情報記憶手段に記憶されている前記複数の特定フレーム画像の数に応じた他のレイアウト情報に変更する変更手段とを備えたものとした。
【００２２】
また、請求項１４の発明にあっては、前記静止画生成手段は、前記抽出手段により抽出された複数の特定フレーム画像の数が、前記レイアウト情報記憶手段に記憶されているレイアウト情報によって示される配置形態におけるフレーム画像の配置数に満たない場合、その配置数を前記複数の特定フレーム画像の数に変更し、かつ変更後の数に応じて各フレーム画像の配置間隔を調整するレイアウト調整手段を含むものとした。
【００２３】
また、請求項１５の発明にあっては、動画像を静止画像化して出力する画像処理方法において、静止画像化する動画像から動画像毎に異なる固有の動画情報を取得する工程と、取得した動画情報に基づいて、前記動画像を構成する複数のフレーム画像から複数の特定フレーム画像を抽出する工程と、抽出した複数の特定フレーム画像を、予め用意されている配置形態に配置した静止画像の画像データを生成する工程と、生成した画像データを出力する工程とを含む方法とした。
【００２４】
かかる方法によれば、動画像を構成する複数のフレーム画像から、複数の特定フレーム画像が動画像毎に異なる固有の動画情報に基づき抽出され、抽出された複数の特定フレーム画像が配置された静止画像が生成され出力される。つまり動画像の全体的な特徴を示すことができる複数の特定フレーム画像が配置された静止画像が生成され出力される。
【００２５】
また、請求項１６の発明にあっては、動画像を静止画像化して出力する画像処理装置が有するコンピュータに、静止画像化する動画像から動画像毎に異なる固有の動画情報を取得する手順と、取得した動画情報に基づいて、前記動画像を構成する複数のフレーム画像から複数の特定フレーム画像を抽出する手順と、抽出した複数の特定フレーム画像を、予め用意されている配置形態に配置した静止画像の画像データを生成する手順と、生成した画像データを出力する手順とを実行させるためのプログラムとした。
【００２６】
また、請求項１７の発明にあっては、動画撮影機能を備えたカメラ装置であって、被写体を撮像する撮像手段と、この撮像手段により撮像された一連の被写体画像に基く複数のフレーム画像により構成された動画像を記録保存する動画記録手段と、動画像を構成する複数のフレーム画像の配置形態を示すレイアウト情報を記憶するレイアウト情報記憶手段と、前記動画記録手段に記憶されている動画像から、動画像毎に異なる固有の動画情報を取得する取得手段と、前記動画記録手段に記憶されている動画像を構成する複数のフレーム画像から、前記取得手段により取得された動画情報に基づいて複数の特定フレーム画像を抽出する抽出手段と、この抽出手段により抽出された複数の特定フレーム画像を、前記レイアウト情報記憶手段に記憶されているレイアウト情報によって示される配置形態に配置した静止画像の画像データを生成する静止画生成手段と、この静止画生成手段により生成された画像データを出力する出力手段とを備えたものとした。
【００２７】
かかる構成においては、動画像を構成する複数のフレーム画像から、複数の特定フレーム画像が動画像毎に異なる固有の動画情報に基づき抽出され、抽出された複数の特定フレーム画像が配置された静止画像が生成され出力される。つまり動画像の全体的な特徴を示すことができる複数の特定フレーム画像が配置された静止画像が生成され出力される。
【発明の効果】
【００２８】
以上のように本発明においては、動画像を構成する複数のフレーム画像が、動画像毎に異なる固有の動画情報に基づき選択されることにより動画像の全体的な特徴が反映された形態で配置された状態の静止画像が生成され出力されるようにした。よって、動画像の全体的な特徴を示すものとして、より適切な静止画像を容易に得ることが可能となる。
【００２９】
また、動画像の全体的な特徴を示すことができる複数の特定フレーム画像が配置された静止画像が生成され出力されるようにした。よって、動画像の全体的な特徴を示すものとして、より適切な静止画像を容易に得ることが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の一実施の形態を図にしたがって説明する。
（実施形態１）
図１は、本発明の各実施の形態に共通するデジタルカメラのブロック図である。このデジタルカメラは、撮影用のモードとして静止画撮影モードと動画撮影モードとを有し、また撮影により記録した画像（静止画像又は動画像）を表示するための再生モードの下位に位置して、動画像から静止画像を生成（静止画像化）して記録するための静止画生成モードを有したものであり、以下の構成を備えている。
【００３１】
すなわちデジタルカメラは、カメラ本体１と、カメラ本体１に着脱可能な記録メディア２０から構成されており、カメラ本体１にはズームレンズやフォーカスレンズからなる光学系２及びＣＣＤ３が配置されている。ＣＣＤ３は本発明の撮像手段であり、タイミングジェネレータ７から送られる駆動信号により駆動され、被写体の光像を光電変換し撮像信号として出力する。ＣＣＤ３の出力信号はＣＤＳ回路４で相関二重サンプリング及びゲイン調整を行われ、Ａ／Ｄ変換回路５でデジタル信号に変換される。Ａ／Ｄ変換された撮像信号はＤＳＰ部６に入力され、ペデスタルクランプ等の処理が施された後、ブロック内の輝度・色差マトリックス回路で輝度（Ｙ）信号及び色差（ＵＶ）信号に変換される。なお、ＤＳＰ部６ではオートアイリス、オートホワイトバランス、輪郭強調などの画品質向上のための処理も行われる。
【００３２】
ＤＳＰ部６で変換されたＹＵＶデータは解像度変換ブロック８で予め設定された画像サイズに変換された後、１フレーム分のデータが順次内蔵メモリ１４（例えばＳＤＲＡＭ）に格納される。内蔵メモリ１４に格納された１フレーム分のＹＵＶデータは表示コントローラ１１へ送られ、そこでビデオ信号に変換された後、ＬＣＤ（液晶表示器）１２によりスルー画像、すなわち動画像として表示される。
【００３３】
静止画モードでの撮影時に内蔵メモリ１４に格納された１フレームの分ＹＵＶデータは、前記データ圧縮伸長ブロック９でＪＰＥＧ方式等でデータ圧縮後コード化され、内蔵メモリ１４内でファイル化された後、メディアコントローラ１０を介して記録メディア２０に静止画データ（静止画ファイル）として記録される。
【００３４】
記録メディア２０は本発明の動画記録手段であり、動画撮影時に内蔵メモリ１４に格納されたＹＵＶデータは順次データ圧縮伸長ブロック９へ送られ、所定の動画記録方式（例えばＭｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧ）のコーデックによりデータ圧縮した後コード化され、最終的にはメディアコントローラ１０を介して動画ファイルとして記録メディア２０に記録される。なお、動画撮影のフレームレートはタイミングジェネレータ７で作成されるタイミング信号によって決まり、コード化されるデータの圧縮率はデータ圧縮伸長ブロック９内の量子化テーブル値によって決定される。
【００３５】
また、データ圧縮伸長ブロック９は、静止画又は動画の再生時には記録メディア２０から読み出された静止画や動画のデータを伸張し、静止画データや動画像のフレームデータとして内蔵メモリ１４に展開する。展開された画像は表示コントローラ１１へ送られ、そこでビデオ信号に変換された後、ＬＣＤ１２により再生画像として表示される。なお、ＬＣＤ１２にはスルー画像や再生画像だけでなく、必要に応じてデジタルカメラにおける各種の機能に関する選択や設定を行うためのメニュー画面や設定画面も表示される。
【００３６】
音声処理ブロック１５は、動画撮影時においてカメラ本体１に内蔵されたマイク１６に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとして内蔵メモリ１４へ送る。内蔵メモリ１４に送られたオーディオデータはフレームデータと共にストリームデータとして記録メディア２０に順次書き込まれる。また、音声処理ブロック１５は、動画再生時には、内蔵メモリ１４から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体１に内蔵された内蔵スピーカ１７から音声出力させる。
【００３７】
キー入力ブロック１８は、電源キー、モード切替キー、シャッター、ＭＥＮＵキー、セットキー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＣＰＵ１３に出力する。シャッターキーは、静止画モードでは撮影指示に用いられ、動画モードでは録画開始／終了の指示に用いられる。
【００３８】
以上の各ブロックはＣＰＵ１３によって制御されており、ＣＰＵ１３が各ブロックの制御に必要とされるプログラムやデータはＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能な不揮発性メモリであるプログラムメモリ１９に記憶されている。そしてＣＰＵ１３は上記プログラム及びキー入力信号に基づき動作することにより本発明の取得手段、選択手段、静止画生成手段、制御手段として機能する。なお、プログラムメモリ１９には、ユーザーにより設定されたシステムや各機能に関する設定データも記憶されている。
【００３９】
また、プログラムメモリ１９は本発明のレイアウト情報記憶手段であり、プログラムメモリ１９には、前述した静止画生成モードでの動作に際して使用されるレイアウトデータ（本発明のレイアウト情報）が格納されている。レイアウトデータは、動画像の静止画像化に際して生成する静止画像のデザイン、すなわち動画像を構成する複数のフレーム画像（コマ）の数、大きさ、配置等を示すデータである。図２（ａ）〜（ｃ）は上記デザインの一例を示した図である。
【００４０】
図３は、図２（ｂ）に示したデザインに対応するレイアウトデータ１０１の具体的なデータ構成を示す説明図であり。図示したようにレイアウトデータ１０１は、ＩＤ００〜１８の複数のデータ項目毎に決められている複数の設定情報から構成されている。図示したデータ項目において、ＩＤ００の「レイアウトナンバー」はデザインの種類を示す識別番号である。ＩＤ０４の「ハイライトフレーム」とＩＤ０５〜１３の「フレーム」は静止画像におけるフレーム画像の配置領域（位置及びサイズ）であって、「ハイライトフレーム」が他のフレームよりもサイズが大きな本発明の代表フレームであるハイライトフレームの画像の配置領域Ｆａ、「フレーム」がその他のフレーム（代表フレームに対して余剰フレームという。）の画像の配置領域Ｆｂを示すデータである。なお、デザインの種類によっては「ハイライトフレーム」が存在しない場合があり、「フレーム」のデータ数はデザインの種類によって増減する。また、ＩＤ１４〜１７の「ビットマップ」は装飾用の画像、及びその配置を示すデータである。
【００４１】
次に、以上の構成からなるデジタルカメラにおいて静止画生成モードが設定されたときの動作を説明する。図４は、そのときＣＰＵ１３が実行する静止画生成処理の内容を示したフローチャートである。
【００４２】
静止画生成処理を開始するとＣＰＵ１３は、ＬＣＤ１２に所定の指定画面を表示させて、生成する静止画像のデザイン、及びハイライトフレームの選択基準をユーザーに指定させる（ステップＳＡ１）。なお、デザインの選択基準は「動画時間」と「動画内容」の２種類であり、ハイライトフレームの選択基準は「手動」と「自動」の２種類である。また、指定された選択基準はデジタルカメラにおける他の設定情報と共にプログラムメモリ１９に記憶される。
【００４３】
次に、ＣＰＵ１３は、例えば記録メディア２０に記録されている動画像の先頭フレームの縮小画像をＬＣＤ１２に一覧表示させ、ユーザーに所定のキー操作により所望の動画像を選択させる（ステップＳＡ２）。そして、前述した選択基準が「動画時間」であったときには（ステップＳＡ３でＹＥＳ）、選択された動画像の時間長に応じたデザインのレイアウトデータ１０１をプログラムメモリ１９から読み出す（ステップＳＡ４）。すなわち動画時間が長いほど、フレーム画像の配置数が多いデザインのレイアウトデータ１０１を読み出す。
【００４４】
また、前述した選択基準が「動画内容」であったときには（ステップＳＡ３でＮＯ）、選択された動画像についてカット割りの変化点の数、例えば音声が途切れている時間が所定時間以上である箇所や色調の変化度合が一定以上であった箇所のように、カット割りの変化が予め決められている基準以上であった箇所の数を取得する（ステップＳＡ５）。そして、取得した変化点の数に応じたデザインのレイアウトデータ１０１をプログラムメモリ１９から読み出す（ステップＳＡ６）。すなわち変化点の数が多いほど、フレーム画像の配置数が多いデザインのレイアウトデータ１０１を読み出す。
【００４５】
引き続き、ステップＳＡ４又はステップＳＡ６で読み出したレイアウトデータ１０１にハイライトフレームの情報が含まれているか否か、つまり自動的に選択されたデザインにハイライトフレームが有るか否かを確認する。そして、ハイライトフレームがなければ（ステップＳＡ７でＮＯ）、静止画像生成用のフレーム画像として、ユーザーに選択された動画像の時間を自動選択したデザインにおけるフレーム画像の配置数で均等割りした時間位置の複数のフレーム画像を決定する（ステップＳＡ８）。しかる後、決定した複数のフレーム画像を、レイアウトデータ１０１に基づき配置した静止画像を生成し（ステップＳＡ１４）、生成した静止画像（静止画ファイル）を記録メディア２０に記録する（ステップＳＡ１５）。
【００４６】
また、ステップＳＡ７の判別結果がＹＥＳであって自動的に選択されたデザインにハイライトフレームがあり、かつ前述したハイライトフレームの選択基準が「手動」であったときには（ステップＳＡ９でＮＯ）、ユーザーによりハイライトフレームを選択させる（ステップＳＡ１０）。具体的には、ＬＣＤ１２に、ハイライトフレームの選択を促すメッセージと共に、選択された動画像をユーザーのキー操作に応じてコマ送り又はコマ戻しで表示する選択画面１１０（図５（ａ）参照）を表示し、ユーザーによる決定用のキー操作があった時点で表示している任意のフレーム画像をハイライトフレームとして決定する。さらに、決定したハイライトフレームの前後の数フレーム、つまりレイアウトデータ１０１により示されているフレームの配置数に応じたフレーム分のフレーム画像を余剰フレームとして決定する（ステップＳＡ１１）。しかる後、決定したハイライトフレームと余剰フレームをレイアウトデータ１０１に基づき配置した静止画像を生成し（ステップＳＡ１４）、生成した静止画像（静止画ファイル）を記録メディア２０に記録する（ステップＳＡ１５）。図５（ｂ）は、同図（ａ）に示したフレーム画像がハイライトフレームとして選択された場合に生成され記録される静止画像１１１を例示したものである。
【００４７】
また、ステップＳＡ７の判別結果がＹＥＳであって自動的に選択されたデザインにハイライトフレームがあり、かつ前述したハイライトフレームの選択基準が「自動」であったときには（ステップＳＡ９でＹＥＳ）、選択された動画像において前述したカット割りの変化の度合が最も大きなフレーム、すなわち予め決められている判断基準と一致するフレームを確認し、そのフレームの画像をハイライトフレームの画像として決定する（ステップＳＡ１２）。さらに、自動選択したデザインにおけるフレーム画像の配置数で均等割りした時間位置の複数のフレーム画像を余剰フレーム画像として決定する（ステップＳＡ１３）。しかる後、決定したハイライトフレームと余剰フレーム画像をレイアウトデータ１０１に基づき配置した静止画像を生成し（ステップＳＡ１４）、生成した静止画像（静止画ファイル）を記録メディア２０に記録する（ステップＳＡ１５）。図６は、その場合において、図５（ｂ）に示したものと異なるレイアウトデータ１０１に基づき生成され記録される他の静止画像１１２を例示したものである。
【００４８】
以上のように、本実施の形態においては、動画像から静止画像を生成するとき、生成する静止画像におけるフレーム画像の配置形態（配置数や配置位置）、つまり生成する静止画像のデザインが、動画像におけるカット割りの変化が予め決められている基準以上であった箇所の数に応じて設定されることから、フレーム画像の配置形態に動画像の全体的な特徴が反映されることとなる。したがって、動画像の全体的な特徴を示すものとして、より適切な静止画像を生成して記録することができる。
【００４９】
なお、フレーム画像の配置形態を自動的に選択するときの基準には、上述した動画像中におけるフレーム間のカット割りの変化度合に限らず、静止画像化する動画像の時間長等のように他の動画情報を使用することもできる。
【００５０】
また、自動選択されたデザインにハイライトフレームがある場合においてハイライトフレームの画像を自動的に決定するときの判断基準を、カット割りの変化の度合最も大きなフレームの画像であるとしたが、判断基準を以下のようなものとすることができる。例えば、最もコントラストが明確で色相が豊富であるフレームの画像としたり、音声のレベルが最も高いフレームの画像としたり、さらに予めユーザーに指定させた時間位置のフレームの画像とすることもできる。それらの場合においても、フレーム画像の配置形態に動画像の全体的な特徴を反映させることができる。
【００５１】
また、本実施の形態においては、自動選択されたデザインにハイライトフレームがあり、かつハイライトフレームをユーザーに指定させる場合には、余剰フレームの画像を、指定されたハイライトフレームの前後の数フレーム分のフレーム画像としたが、余剰フレームとして使用する範囲をユーザーに指定させるようにしてもよい。その場合、例えば前述したステップＳＡ１０でハイライトフレームが選択された時点で、前述した選択画面１１０（図５（ａ））を図７に示したような時間設定画面１１３に変更し、ユーザーにハイライトフレームの前後の時間（フレーム数でもよい。）を所定のキー操作によって指定させればよい。
【００５２】
また、余剰フレームの画像は、例えば静止画像化の対象となっている動画像がＭＰＥＧ形式で圧縮符号化されている場合にあっては、他のフレーム画像に依存しない独立したフレーム画像であるＩピクチャ（Intra Picture：フレーム内符号化画像）のなかから選択するようにしてもよい。その場合、余剰フレームとして使用する画像の復元処理に要する負担が軽減できる。
【００５３】
また、自動選択されたデザインにハイライトフレームがあったとき、ハイライトフレームを自動的に設定する場合と、ハイライトフレームをユーザーに指定させる場合とでは、異なる方法によって余剰フレームの画像を設定させるようにしたが、どちらの場合においても同一の方法によって余剰フレームの画像を設定させるようにしてもよい。また、ハイライトフレームを自動的に設定する場合と、ハイライトフレームをユーザーに指定させる場合とにおける前述した余剰フレームの画像の設定方法を逆転させても構わない。
【００５４】
（実施形態２）
【００５５】
次に、本発明の第２の実施の形態について説明する。本実施の形態は前述した構成からなるデジタルカメラにおいて、ＣＰＵ１３が本発明の取得手段、抽出手段、制御手段、変更手段、レイアウト調整手段として機能することにより、静止画生成モードが選択されたときには図８に示した以下の静止画生成処理を実行するものである。
【００５６】
すなわち静止画生成処理を開始するとＣＰＵ１３は、静止画像のデザインとして予め用意されている複数のデザインのうちから所望するデザインをユーザーに選択させる（ステップＳＢ１）。その際には、ＬＣＤ１２に、図９に示したようにデザインの選択を促すメッセージと、プログラムメモリ１９に記憶されている複数のレイアウトデータ１０１によって示される配置形態を示すデザイン見本からなるデザイン選択画面２０１を表示させるとともに、ユーザーに所定のキー操作を行わせることにより所望のデザインを選択させる（ステップＳ１）。そして、選択されたデザインに対応するレイアウトデータ１０１をプログラムメモリ１９から読み出す（ステップＳＢ２）。
【００５７】
次に、例えば記録メディア２０に記録されている動画像の先頭フレームの縮小画像をＬＣＤ１２に一覧表示させ、ユーザーに所定のキー操作により所望の動画像を選択させる（ステップＳＢ３）。さらに、選択された動画像についてカット割りの変化点の数、例えば音声が途切れている時間が所定時間以上である箇所や色調の変化度合が一定以上であった箇所のように、カット割りの変化が予め決められている基準以上であった箇所の数を取得する（ステップＳＢ４）。
【００５８】
ここで取得した変化点の数が、ステップＳＢ１で選択されたデザインにおけるフレーム画像の配置数よりも多い場合には（ステップＳＢ５でＹＥＳ）、選択されたデザインを、フレーム画像の配置数が上記変化点の数以上で、かつそれに最も近い数のデザインに自動的に変更する（ステップＳＢ６）。逆に、取得した変化点の数が、ステップＳＢ１で選択されたデザインにおけるフレーム画像の配置数よりも少ない場合には（ステップＳＢ５でＮＯ、ステップＳＢ７でＹＥＳ）、ステップＳＢ２で読み出したレイアウトデータ１０１に対し、それにより示されるデザインにおいてフレーム画像の配置数を変化点の数に変更し、かつそれに応じて配置間隔を拡げるためのデータ修正（調整）を行う（ステップＳＢ８）。図１０はその一例を示す図であって、同図（ａ）が変更前のデザイン、同図（ｂ）が変更後のデザインをそれぞれ示した図である。
【００５９】
引き続き、ステップＳＢ２で読み出したレイアウトデータ１０１、又はステップＳＢ５で変更されたレイアウトデータ１０１、ステップＳＢ８で修正されたレイアウトデータ１０１にハイライトフレームの情報が含まれているか否かを確認する。そして、ハイライトフレームの情報が含まれていれば（ステップＳＢ９でＹＥＳ）、選択された動画像においてカット割りの変化点における変化度合が予め決められている基準以上であった箇所、例えば音声が途切れている時間が所定時間以上である箇所や色調の変化度合が一定以上であった箇所のフレーム画像を抽出し、それらのうちで前記変化度合が最も大きなフレームの画像をハイライトフレームとし、かつそれ以外のフレーム画像を余剰フレーム画像として決定する（ステップＳＢ１０）。しかる後、決定したハイライトフレームと余剰フレームとの複数のフレーム画像を、レイアウトデータ１０１に基づき配置した静止画像を生成し（ステップＳＢ１２）、生成した静止画像（静止画ファイル）を記録メディア２０に記録する（ステップＳＢ１３）。
【００６０】
また、ハイライトフレームの情報が含まれていなければ（ステップＳＢ９でＮＯ）、選択された動画像においてカット割りの変化点における変化度合が予め決められている基準以上であった箇所の複数のフレーム画像を抽出し、それらを静止画像生成用のフレーム画像として決定する（ステップＳＢ１１）。しかる後、それら複数のフレーム画像を、レイアウトデータ１０１に基づき配置した静止画像を生成し（ステップＳＢ１２）、生成した静止画像（静止画ファイル）を記録メディア２０に記録する（ステップＳＢ１３）。
【００６１】
以上のように、本実施の形態においては、動画像から静止画像を生成するとき、生成する静止画像に配置するフレーム画像として、選択された動画像においてカット割りの変化点における変化度合が予めに決められている基準以上であったフレーム画像が自動的に抽出（選択）されるため、静止画像に配置する複数のフレーム画像を動画像の全体的な特徴を示すものとすることができる。したがって、動画像の全体的な特徴を示すものとして、より適切な静止画像を生成して記録することができる。
【００６２】
なお、本実施の形態では、生成する静止画像に配置するフレーム画像を、選択された動画像から、カット割りの変化点における変化度合に基づいて抽出するようにしたが、これ以外にも、生成する静止画像に配置するフレーム画像は、例えばコントラストの明確さや色相の豊富さ、さらには音声のレベルの高さ等の他の動画情報に基づいて抽出するようにしてもよい。それらの場合においても、静止画像に配置する複数のフレーム画像を動画像の全体的な特徴を示すものとすることができる。
【００６３】
また、例えば静止画像化の対象となっている動画像がＭＰＥＧ形式で圧縮符号化されている場合にあっては、生成する静止画像に配置するフレーム画像をの抽出対象をＩピクチャのみとしてもよい。その場合、フレーム画像を抽出する際に必要となるフレーム画像の復元処理に要する負担が軽減できる。
【００６４】
また、以上説明した第１及び第２の実施の形態においては、撮影により記録した動画像から静止画像を生成し、それを表示して記録する（出力する）機能を備えたデジタルカメラについて説明したが、これ以外にも本発明は、以下のような装置にも適用することができる。例えば種々のメモリーカード等の記録媒体を介して供給されたり、或いはデジタルカメラ等から通信によって供給されたりした動画データに基づき静止画像を印刷するプリンタ、動画撮影機能を備えたカメラ付き携帯電話機にも適用することができる。また、本発明は、前述したような静止画生成処理を行わせるためのプログラムを用いることにより一般的なパーソナルコンピュータによっても実現することができる。
【図面の簡単な説明】
【００６５】
【図１】本発明に係る各実施の形態に共通するデジタルカメラのブロック図である。
【図２】静止画像のデザイン例を示す図である。
【図３】レイアウトデータの具体的なデータ構成の一例を示す説明図である。
【図４】第１の実施の形態における静止画生成処理の内容を示すフローチャートである。
【図５】ハイライトフレームの選択画面（ａ）、及び選択されたハイライトフレームを含む静止画像（ｂ）を示す図である。
【図６】静止画生成処理で生成される他の静止画像の例を示す図である。
【図７】ハイライトフレームの前後の時間を指定させる場合に表示する時間設定画面の一例を示す図である。
【図８】第２の実施の形態における静止画生成処理の内容を示すフローチャートである。
【図９】デザイン選択画面を示す図である。
【図１０】フレーム画像の配置形態（デザイン）の変更例を示す図である。
【符号の説明】
【００６６】
３    ＣＣＤ
６    ＤＳＰ部
１０    メディアコントローラ
１１    表示コントローラ
１２    ＬＣＤ
１３    ＣＰＵ
１８    キー入力ブロック
１９    プログラムメモリ
２０    記録メディア
１０１    レイアウトデータ
【図１】
2006174189.tif 000003
【図２】
2006174189.tif 000004
【図３】
2006174189.tif 000005
【図４】
2006174189.tif 000006
【図５】
2006174189.tif 000007
【図６】
2006174189.tif 000008
【図７】
2006174189.tif 000009
【図８】
2006174189.tif 000010
【図９】
2006174189.tif 000011
【図１０】
2006174189.tif 000012