(57)【特許請求の範囲】
【請求項１】
動画像を静止画像化して出力する画像処理装置において、
動画像を記憶する動画記憶手段と、
動画像を構成する複数のフレーム画像を１枚の静止画上に配置する数、配置する位置、および各位置に配置するフレーム画像の大きさを示すレイアウト情報であって、各位置に配置するフレーム画像の大きさの組み合わせが異なる複数のレイアウト情報を記憶するレイアウト情報記憶手段と、
前記動画記憶手段に記憶されている動画像の中から静止画像として配置すべき複数のフレーム画像を選択する前の段階で、該動画像から動画像毎に異なる固有の動画情報を取得する取得手段と、
この取得手段により取得された動画情報に基づいて、前記レイアウト情報記憶手段に記憶されているいずれかのレイアウト情報を選択する第１の選択手段と、
前記第１の選択手段によって前記動画像に対応するレイアウト情報が選択された後に、この選択されたレイアウト情報で示される各位置に配置する複数のフレーム画像を該動画像の中から選択する第２の選択手段と、
前記第２の選択手段により選択された複数のフレーム画像を、前記第１の選択手段により選択されたレイアウト情報によって示される各々の位置および大きさで配置した静止画像の画像データを生成する静止画生成手段と、
この静止画生成手段により生成された画像データを出力する出力手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記動画像毎に異なる固有の動画情報は動画像の時間長であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の選択手段は、前記動画像の時間長が長いほど、フレーム画像の配置数が多いデザインのレイアウト情報を選択することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記動画像毎に異なる固有の動画情報は、動画像を構成する複数のフレーム画像において互いに前後するフレーム画像間における内容の変化度合が閾値以上である変化点の数であることを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記第１の選択手段は、前記変化点の数が多いほど、フレーム画像の配置数が多いデザインのレイアウト情報を選択することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記第１の選択手段によって選択されたレイアウト情報により示される配置形態が、他のフレーム画像よりもサイズの大きな代表フレーム画像を含んだ配置形態であるか否かを判断する判断手段を更に備え、
前記第２の選択手段は、前記判断手段により前記代表フレーム画像を含んだ配置形態であると判断された場合には、前記動画像の中から代表フレーム画像を選択した後、この選択された代表フレーム画像に関連して他の位置に配置する複数のフレーム画像を選択し、前記判断手段により前記代表フレーム画像を含んだ配置形態でないと判断された場合には、前記代表フレーム画像とは無関係に複数のフレーム画像を選択することを特徴とする請求項１乃至５記載の画像処理装置。
【請求項７】
前記第２の選択手段は、配置形態判断手段により前記代表フレーム画像を含んだ配置形態でないと判断された場合には、前記動画像の時間を、前記レイアウト情報で示されるフレーム画像の配置数で均等割した時間位置の複数のフレーム画像を選択することを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記第２の選択手段は、前記判断手段により前記代表フレーム画像を含んだ配置形態であると判断された場合には、前記動画像の中から代表フレーム画像を選択した後、この選択された代表フレーム画像の前後のフレーム画像を他の位置に配置する複数のフレーム画像として選択することを特徴とする請求項６記載の画像処理装置。
【請求項９】
前記判断手段により前記代表フレーム画像を含んだ配置形態であると判断された場合に、前記代表フレーム画像として使用するフレーム画像を使用者に選択させる制御手段を備えたことを特徴とする請求項６乃至８記載の画像処理装置。
【請求項１０】
前記判断手段により前記代表フレーム画像を含んだ配置形態であると判断された場合に、前記代表フレーム画像として使用するフレーム画像を動画像の全フレームから予め決められている判断基準に基づき決定する制御手段を備えたことを特徴とする請求項６乃至８記載の画像処理装置。
【請求項１１】
前記制御手段は、前記代表フレーム画像の前後における所定時間分のフレームの複数のフレーム画像を、他の位置に配置する複数のフレーム画像として選択することを特徴とする請求項８記載の画像処理装置。
【請求項１２】
前記制御手段は、前記代表フレーム画像の前後における所定時間を使用者に選択させることを特徴とする請求項１１記載の画像処理装置。
【請求項１３】
動画像を静止画像化して出力する画像処理方法において、
静止画像化する動画像の中から静止画像として配置すべき複数のフレーム画像を選択する前の段階で、該動画像から動画像毎に異なる固有の動画情報を取得する工程と、
動画像を構成する複数のフレーム画像を１枚の静止画上に配置する数、配置する位置、および各位置に配置するフレーム画像の大きさを示すレイアウト情報であって、各位置に配置するフレーム画像の大きさの組み合わせが異なる複数のレイアウト情報が予め記憶されたレイアウト情報記憶手段の中から、前記取得した動画情報に基づいていずれかのレイアウト情報を選択する工程と、
前記動画像に対応するレイアウト情報が選択された後に、この選択されたレイアウト情報で示される各配置位置に配置する複数のフレーム画像を該動画像の中から選択する工程と、
前記選択された複数のフレーム画像を、前記選択されたレイアウト情報によって示される各々の位置および大きさで配置した静止画像の画像データを生成する工程と、
生成した画像データを出力する工程と
を含むことを特徴とする画像処理方法。
【請求項１４】
動画像を静止画像化して出力する画像処理装置が有するコンピュータに、
静止画像化する動画像の中から静止画像として配置すべき複数のフレーム画像を選択する前の段階で、該動画像から動画像毎に異なる固有の動画情報を取得する手順と、
動画像を構成する複数のフレーム画像を１枚の静止画上に配置する数、配置する位置、および各位置に配置するフレーム画像の大きさを示すレイアウト情報であって、各位置に配置するフレーム画像の大きさの組み合わせが異なる複数のレイアウト情報が予め記憶されたレイアウト情報記憶手段の中から、前記取得された動画情報に基づいていずれかのレイアウト情報を選択する手順と、
前記動画像に対応する配置形態が選択された後に、この選択された配置形態で示される各配置位置に配置する複数のフレーム画像を該動画像の中から選択する手順と、
前記選択された複数のフレーム画像を、前記選択されたレイアウト情報によって示される各々の位置および大きさで配置した静止画像の画像データを生成する手順と、
生成した画像データを出力する手順と
を実行させるためのプログラム。
【請求項１５】
動画撮影機能を備えたカメラ装置であって、
被写体を撮像する撮像手段と、
この撮像手段により撮像された一連の被写体画像に基く複数のフレーム画像により構成された動画像を記録保存する動画記録手段と、
動画像を構成する複数のフレーム画像を１枚の静止画上に配置する数、配置する位置、および各位置に配置するフレーム画像の大きさを示すレイアウト情報であって、各位置に配置するフレーム画像の大きさの組み合わせが異なる複数のレイアウト情報を記憶するレイアウト情報記憶手段と、
前記動画記録手段に記憶されている動画像の中から静止画像として配置すべき複数のフレーム画像を選択する前の段階で、該動画像から動画像毎に異なる固有の動画情報を取得する取得手段と、
この取得手段により取得された動画情報に基づいて、前記レイアウト情報記憶手段に記憶されているいずれかのレイアウト情報を選択する第１の選択手段と、
前記第１の選択手段によって前記動画像に対応するレイアウト情報が選択された後に、この選択されたレイアウト情報で示される各配置位置に配置する複数のフレーム画像を該動画像の中から選択する第２の選択手段と、
前記第２の選択手段により選択された複数のフレーム画像を、前記第１の選択手段により選択されたレイアウト情報によって示される各々の位置および大きさで配置した静止画像の画像データを生成する静止画生成手段と、
この静止画生成手段により生成された画像データを出力する出力手段と
を備えたことを特徴とするカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を静止画像化して出力する画像処理装置及び画像処理方法、カメラ装置に関するものである。
【背景技術】
【０００２】
従来、動画像を静止画像化する装置として、例えば下記の特許文献１には、圧縮された動画データから単独で完結した静止画像を構成するフレームデータであるキーフレームを自動的に選択し、そのフレーム画像を所定のレイアウトに配置した静止画データを生成したり、圧縮されていない動画データから所定時間間隔のフレームデータを自動的に選択しし、そのフレーム画像を所定のレイアウトに配置した静止画データを生成したりすることができるプリンタ装置が記載されている。
【特許文献１】特開平９−１３０５９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
前述したプリンタ装置によれば、動画像の内容を示す静止画像を容易に得ることができるが、動画像を構成するフレーム画像が自動的に選択されるが、それらが動画像の全体的な特徴を示すものとして適切な画像であるとは限らない。また、仮に自動的に選択されたフレーム画像が動画像の全体的な特徴を示すものとして適切であったとしても、それらの配置形態（配置数や配置位置）が動画像の全体的な特徴を示すものとして適切であるとは限らないという問題があった。
【０００４】
本発明は、かかる従来の課題に鑑みてなされたものであり、動画像の全体的な特徴を示すものとして、より適切な静止画像を容易に得ることができる画像処理装置及び画像処理方法、カメラ装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するため請求項１の発明にあっては、動画像を静止画像化して出力する画像処理装置において、動画像を記憶する動画記憶手段と、動画像を構成する複数のフレーム画像を１枚の静止画上に配置する数、配置する位置、および各位置に配置するフレーム画像の大きさを示すレイアウト情報であって、各位置に配置するフレーム画像の大きさの組み合わせが異なる複数のレイアウト情報を記憶するレイアウト情報記憶手段と、前記動画記憶手段に記憶されている動画像の中から静止画像として配置すべき複数のフレーム画像を選択する前の段階で、該動画像から動画像毎に異なる固有の動画情報を取得する取得手段と、この取得手段により取得された動画情報に基づいて、前記レイアウト情報記憶手段に記憶されているいずれかのレイアウト情報を選択する第１の選択手段と、前記第１の選択手段によって前記動画像に対応するレイアウト情報が選択された後に、この選択されたレイアウト情報で示される各位置に配置する複数のフレーム画像を該動画像の中から選択する第２の選択手段と、前記第２の選択手段により選択された複数のフレーム画像を、前記第１の選択手段により選択されたレイアウト情報によって示される各々の位置および大きさで配置した静止画像の画像データを生成する静止画生成手段と、この静止画生成手段により生成された画像データを出力する出力手段とを備えたものとした。
【０００６】
また、請求項２の発明にあっては、前記動画像毎に異なる固有の動画情報は動画像の時間長であることを特徴とする。
【０００７】
また、請求項３の発明にあっては、前記第１の選択手段は、前記動画像の時間長が長いほど、フレーム画像の配置数が多いデザインのレイアウト情報を選択することを特徴とする。
【０００８】
また、請求項４の発明にあっては、前記動画像毎に異なる固有の動画情報は、動画像を構成する複数のフレーム画像において互いに前後するフレーム画像間における内容の変化度合が閾値以上である変化点の数であることを特徴とする。
【０００９】
また、請求項５の発明にあっては、前記第１の選択手段は、前記変化点の数が多いほど、フレーム画像の配置数が多いデザインのレイアウト情報を選択することを特徴とする。
【００１０】
また、請求項６の発明にあっては、前記第１の選択手段によって選択されたレイアウト情報により示される配置形態が、他のフレーム画像よりもサイズの大きな代表フレーム画像を含んだ配置形態であるか否かを判断する判断手段を更に備え、前記第２の選択手段は、前記判断手段により前記代表フレーム画像を含んだ配置形態であると判断された場合には、前記動画像の中から代表フレーム画像を選択した後、この選択された代表フレーム画像に関連して他の位置に配置する複数のフレーム画像を選択し、前記判断手段により前記代表フレーム画像を含んだ配置形態でないと判断された場合には、前記代表フレーム画像とは無関係に複数のフレーム画像を選択することを特徴とする。
【００１１】
また、請求項７の発明にあっては、前記第２の選択手段は、配置形態判断手段により前記代表フレーム画像を含んだ配置形態でないと判断された場合には、前記動画像の時間を、前記レイアウト情報で示されるフレーム画像の配置数で均等割した時間位置の複数のフレーム画像を選択することを特徴とする。
【００１２】
また、請求項８の発明にあっては、前記第２の選択手段は、前記判断手段により前記代表フレーム画像を含んだ配置形態であると判断された場合には、前記動画像の中から代表フレーム画像を選択した後、この選択された代表フレーム画像の前後のフレーム画像を他の位置に配置する複数のフレーム画像として選択することを特徴とする。
【００１３】
また、請求項９の発明にあっては、前記判断手段により前記代表フレーム画像を含んだ配置形態であると判断された場合に、前記代表フレーム画像として使用するフレーム画像を使用者に選択させる制御手段を備えたことを特徴とする。
【００１４】
また、請求項１０の発明にあっては、前記判断手段により前記代表フレーム画像を含んだ配置形態であると判断された場合に、前記代表フレーム画像として使用するフレーム画像を動画像の全フレームから予め決められている判断基準に基づき決定する制御手段を備えたことを特徴とする。
【００１５】
また、請求項１１の発明にあっては、前記制御手段は、前記代表フレーム画像の前後における所定時間分のフレームの複数のフレーム画像を、他の位置に配置する複数のフレーム画像として選択することを特徴とする。
【００１６】
また、請求項１２の発明にあっては、前記制御手段は、前記代表フレーム画像の前後における所定時間を使用者に選択させることを特徴とする。
【００１７】
また、請求項１３の発明にあっては、動画像を静止画像化して出力する画像処理方法において、静止画像化する動画像の中から静止画像として配置すべき複数のフレーム画像を選択する前の段階で、該動画像から動画像毎に異なる固有の動画情報を取得する工程と、動画像を構成する複数のフレーム画像を１枚の静止画上に配置する数、配置する位置、および各位置に配置するフレーム画像の大きさを示すレイアウト情報であって、各位置に配置するフレーム画像の大きさの組み合わせが異なる複数のレイアウト情報が予め記憶されたレイアウト情報記憶手段の中から、前記取得した動画情報に基づいていずれかのレイアウト情報を選択する工程と、前記動画像に対応するレイアウト情報が選択された後に、この選択されたレイアウト情報で示される各配置位置に配置する複数のフレーム画像を該動画像の中から選択する工程と、前記選択された複数のフレーム画像を、前記選択されたレイアウト情報によって示される各々の位置および大きさで配置した静止画像の画像データを生成する工程と、生成した画像データを出力する工程とを含むことを特徴とする。
【００１８】
また、請求項１４の発明にあっては、動画像を静止画像化して出力する画像処理装置が有するコンピュータに、静止画像化する動画像の中から静止画像として配置すべき複数のフレーム画像を選択する前の段階で、該動画像から動画像毎に異なる固有の動画情報を取得する手順と、動画像を構成する複数のフレーム画像を１枚の静止画上に配置する数、配置する位置、および各位置に配置するフレーム画像の大きさを示すレイアウト情報であって、各位置に配置するフレーム画像の大きさの組み合わせが異なる複数のレイアウト情報が予め記憶されたレイアウト情報記憶手段の中から、前記取得された動画情報に基づいていずれかのレイアウト情報を選択する手順と、前記動画像に対応する配置形態が選択された後に、この選択された配置形態で示される各配置位置に配置する複数のフレーム画像を該動画像の中から選択する手順と、前記選択された複数のフレーム画像を、前記選択されたレイアウト情報によって示される各々の位置および大きさで配置した静止画像の画像データを生成する手順と、生成した画像データを出力する手順とを実行させることを特徴とする。
【００１９】
また、請求項１５の発明にあっては、動画撮影機能を備えたカメラ装置であって、被写体を撮像する撮像手段と、この撮像手段により撮像された一連の被写体画像に基く複数のフレーム画像により構成された動画像を記録保存する動画記録手段と、動画像を構成する複数のフレーム画像を１枚の静止画上に配置する数、配置する位置、および各位置に配置するフレーム画像の大きさを示すレイアウト情報であって、各位置に配置するフレーム画像の大きさの組み合わせが異なる複数のレイアウト情報を記憶するレイアウト情報記憶手段と、前記動画記録手段に記憶されている動画像の中から静止画像として配置すべき複数のフレーム画像を選択する前の段階で、該動画像から動画像毎に異なる固有の動画情報を取得する取得手段と、この取得手段により取得された動画情報に基づいて、前記レイアウト情報記憶手段に記憶されているいずれかのレイアウト情報を選択する第１の選択手段と、前記第１の選択手段によって前記動画像に対応するレイアウト情報が選択された後に、この選択されたレイアウト情報で示される各配置位置に配置する複数のフレーム画像を該動画像の中から選択する第２の選択手段と、前記第２の選択手段により選択された複数のフレーム画像を、前記第１の選択手段により選択されたレイアウト情報によって示される各々の位置および大きさで配置した静止画像の画像データを生成する静止画生成手段と、この静止画生成手段により生成された画像データを出力する出力手段とを備えたことを特徴とする。
【発明の効果】
【００２８】
以上のように本発明においては、動画像を静止画像化して出力する画像処理装置において、静止画像として配置すべき複数のフレーム画像を選択する前の段階で、動画像に固有の動画情報に基づいて、各位置に配置するフレーム画像の大きさの組み合わせが異なる複数のレイアウト情報の１つを選択し、その後、この選択されたレイアウト情報で示される各配置位置に配置する複数のフレーム画像を動画像の中から選択し、選択された各フレーム画像を各々の位置および大きさで配置した静止画像の画像データを生成するようにしたので、動画像の全体的な特徴を示すものとして、より適切な静止画像を容易に得ることが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の一実施の形態を図にしたがって説明する。
（実施形態１）
図１は、本発明の各実施の形態に共通するデジタルカメラのブロック図である。このデジタルカメラは、撮影用のモードとして静止画撮影モードと動画撮影モードとを有し、また撮影により記録した画像（静止画像又は動画像）を表示するための再生モードの下位に位置して、動画像から静止画像を生成（静止画像化）して記録するための静止画生成モードを有したものであり、以下の構成を備えている。
【００３１】
すなわちデジタルカメラは、カメラ本体１と、カメラ本体１に着脱可能な記録メディア２０から構成されており、カメラ本体１にはズームレンズやフォーカスレンズからなる光学系２及びＣＣＤ３が配置されている。ＣＣＤ３は本発明の撮像手段であり、タイミングジェネレータ７から送られる駆動信号により駆動され、被写体の光像を光電変換し撮像信号として出力する。ＣＣＤ３の出力信号はＣＤＳ回路４で相関二重サンプリング及びゲイン調整を行われ、Ａ／Ｄ変換回路５でデジタル信号に変換される。Ａ／Ｄ変換された撮像信号はＤＳＰ部６に入力され、ペデスタルクランプ等の処理が施された後、ブロック内の輝度・色差マトリックス回路で輝度（Ｙ）信号及び色差（ＵＶ）信号に変換される。なお、ＤＳＰ部６ではオートアイリス、オートホワイトバランス、輪郭強調などの画品質向上のための処理も行われる。
【００３２】
ＤＳＰ部６で変換されたＹＵＶデータは解像度変換ブロック８で予め設定された画像サイズに変換された後、１フレーム分のデータが順次内蔵メモリ１４（例えばＳＤＲＡＭ）に格納される。内蔵メモリ１４に格納された１フレーム分のＹＵＶデータは表示コントローラ１１へ送られ、そこでビデオ信号に変換された後、ＬＣＤ（液晶表示器）１２によりスルー画像、すなわち動画像として表示される。
【００３３】
静止画モードでの撮影時に内蔵メモリ１４に格納された１フレームの分ＹＵＶデータは、前記データ圧縮伸長ブロック９でＪＰＥＧ方式等でデータ圧縮後コード化され、内蔵メモリ１４内でファイル化された後、メディアコントローラ１０を介して記録メディア２０に静止画データ（静止画ファイル）として記録される。
【００３４】
記録メディア２０は本発明の動画記録手段であり、動画撮影時に内蔵メモリ１４に格納されたＹＵＶデータは順次データ圧縮伸長ブロック９へ送られ、所定の動画記録方式（例えばＭｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧ）のコーデックによりデータ圧縮した後コード化され、最終的にはメディアコントローラ１０を介して動画ファイルとして記録メディア２０に記録される。なお、動画撮影のフレームレートはタイミングジェネレータ７で作成されるタイミング信号によって決まり、コード化されるデータの圧縮率はデータ圧縮伸長ブロック９内の量子化テーブル値によって決定される。
【００３５】
また、データ圧縮伸長ブロック９は、静止画又は動画の再生時には記録メディア２０から読み出された静止画や動画のデータを伸張し、静止画データや動画像のフレームデータとして内蔵メモリ１４に展開する。展開された画像は表示コントローラ１１へ送られ、そこでビデオ信号に変換された後、ＬＣＤ１２により再生画像として表示される。なお、ＬＣＤ１２にはスルー画像や再生画像だけでなく、必要に応じてデジタルカメラにおける各種の機能に関する選択や設定を行うためのメニュー画面や設定画面も表示される。
【００３６】
音声処理ブロック１５は、動画撮影時においてカメラ本体１に内蔵されたマイク１６に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとして内蔵メモリ１４へ送る。内蔵メモリ１４に送られたオーディオデータはフレームデータと共にストリームデータとして記録メディア２０に順次書き込まれる。また、音声処理ブロック１５は、動画再生時には、内蔵メモリ１４から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体１に内蔵された内蔵スピーカ１７から音声出力させる。
【００３７】
キー入力ブロック１８は、電源キー、モード切替キー、シャッター、ＭＥＮＵキー、セットキー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＣＰＵ１３に出力する。シャッターキーは、静止画モードでは撮影指示に用いられ、動画モードでは録画開始／終了の指示に用いられる。
【００３８】
以上の各ブロックはＣＰＵ１３によって制御されており、ＣＰＵ１３が各ブロックの制御に必要とされるプログラムやデータはＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能な不揮発性メモリであるプログラムメモリ１９に記憶されている。そしてＣＰＵ１３は上記プログラム及びキー入力信号に基づき動作することにより本発明の取得手段、選択手段、静止画生成手段、制御手段として機能する。なお、プログラムメモリ１９には、ユーザーにより設定されたシステムや各機能に関する設定データも記憶されている。
【００３９】
また、プログラムメモリ１９は本発明のレイアウト情報記憶手段であり、プログラムメモリ１９には、前述した静止画生成モードでの動作に際して使用されるレイアウトデータ（本発明のレイアウト情報）が格納されている。レイアウトデータは、動画像の静止画像化に際して生成する静止画像のデザイン、すなわち動画像を構成する複数のフレーム画像（コマ）の数、大きさ、配置等を示すデータである。図２（ａ）〜（ｃ）は上記デザインの一例を示した図である。
【００４０】
図３は、図２（ｂ）に示したデザインに対応するレイアウトデータ１０１の具体的なデータ構成を示す説明図であり。図示したようにレイアウトデータ１０１は、ＩＤ００〜１８の複数のデータ項目毎に決められている複数の設定情報から構成されている。図示したデータ項目において、ＩＤ００の「レイアウトナンバー」はデザインの種類を示す識別番号である。ＩＤ０４の「ハイライトフレーム」とＩＤ０５〜１３の「フレーム」は静止画像におけるフレーム画像の配置領域（位置及びサイズ）であって、「ハイライトフレーム」が他のフレームよりもサイズが大きな本発明の代表フレームであるハイライトフレームの画像の配置領域Ｆａ、「フレーム」がその他のフレーム（代表フレームに対して余剰フレームという。）の画像の配置領域Ｆｂを示すデータである。なお、デザインの種類によっては「ハイライトフレーム」が存在しない場合があり、「フレーム」のデータ数はデザインの種類によって増減する。また、ＩＤ１４〜１７の「ビットマップ」は装飾用の画像、及びその配置を示すデータである。
【００４１】
次に、以上の構成からなるデジタルカメラにおいて静止画生成モードが設定されたときの動作を説明する。図４は、そのときＣＰＵ１３が実行する静止画生成処理の内容を示したフローチャートである。
【００４２】
静止画生成処理を開始するとＣＰＵ１３は、ＬＣＤ１２に所定の指定画面を表示させて、生成する静止画像のデザイン、及びハイライトフレームの選択基準をユーザーに指定させる（ステップＳＡ１）。なお、デザインの選択基準は「動画時間」と「動画内容」の２種類であり、ハイライトフレームの選択基準は「手動」と「自動」の２種類である。また、指定された選択基準はデジタルカメラにおける他の設定情報と共にプログラムメモリ１９に記憶される。
【００４３】
次に、ＣＰＵ１３は、例えば記録メディア２０に記録されている動画像の先頭フレームの縮小画像をＬＣＤ１２に一覧表示させ、ユーザーに所定のキー操作により所望の動画像を選択させる（ステップＳＡ２）。そして、前述した選択基準が「動画時間」であったときには（ステップＳＡ３でＹＥＳ）、選択された動画像の時間長に応じたデザインのレイアウトデータ１０１をプログラムメモリ１９から読み出す（ステップＳＡ４）。すなわち動画時間が長いほど、フレーム画像の配置数が多いデザインのレイアウトデータ１０１を読み出す。
【００４４】
また、前述した選択基準が「動画内容」であったときには（ステップＳＡ３でＮＯ）、選択された動画像についてカット割りの変化点の数、例えば音声が途切れている時間が所定時間以上である箇所や色調の変化度合が一定以上であった箇所のように、カット割りの変化が予め決められている基準以上であった箇所の数を取得する（ステップＳＡ５）。そして、取得した変化点の数に応じたデザインのレイアウトデータ１０１をプログラムメモリ１９から読み出す（ステップＳＡ６）。すなわち変化点の数が多いほど、フレーム画像の配置数が多いデザインのレイアウトデータ１０１を読み出す。
【００４５】
引き続き、ステップＳＡ４又はステップＳＡ６で読み出したレイアウトデータ１０１にハイライトフレームの情報が含まれているか否か、つまり自動的に選択されたデザインにハイライトフレームが有るか否かを確認する。そして、ハイライトフレームがなければ（ステップＳＡ７でＮＯ）、静止画像生成用のフレーム画像として、ユーザーに選択された動画像の時間を自動選択したデザインにおけるフレーム画像の配置数で均等割りした時間位置の複数のフレーム画像を決定する（ステップＳＡ８）。しかる後、決定した複数のフレーム画像を、レイアウトデータ１０１に基づき配置した静止画像を生成し（ステップＳＡ１４）、生成した静止画像（静止画ファイル）を記録メディア２０に記録する（ステップＳＡ１５）。
【００４６】
また、ステップＳＡ７の判別結果がＹＥＳであって自動的に選択されたデザインにハイライトフレームがあり、かつ前述したハイライトフレームの選択基準が「手動」であったときには（ステップＳＡ９でＮＯ）、ユーザーによりハイライトフレームを選択させる（ステップＳＡ１０）。具体的には、ＬＣＤ１２に、ハイライトフレームの選択を促すメッセージと共に、選択された動画像をユーザーのキー操作に応じてコマ送り又はコマ戻しで表示する選択画面１１０（図５（ａ）参照）を表示し、ユーザーによる決定用のキー操作があった時点で表示している任意のフレーム画像をハイライトフレームとして決定する。さらに、決定したハイライトフレームの前後の数フレーム、つまりレイアウトデータ１０１により示されているフレームの配置数に応じたフレーム分のフレーム画像を余剰フレームとして決定する（ステップＳＡ１１）。しかる後、決定したハイライトフレームと余剰フレームをレイアウトデータ１０１に基づき配置した静止画像を生成し（ステップＳＡ１４）、生成した静止画像（静止画ファイル）を記録メディア２０に記録する（ステップＳＡ１５）。図５（ｂ）は、同図（ａ）に示したフレーム画像がハイライトフレームとして選択された場合に生成され記録される静止画像１１１を例示したものである。
【００４７】
また、ステップＳＡ７の判別結果がＹＥＳであって自動的に選択されたデザインにハイライトフレームがあり、かつ前述したハイライトフレームの選択基準が「自動」であったときには（ステップＳＡ９でＹＥＳ）、選択された動画像において前述したカット割りの変化の度合が最も大きなフレーム、すなわち予め決められている判断基準と一致するフレームを確認し、そのフレームの画像をハイライトフレームの画像として決定する（ステップＳＡ１２）。さらに、自動選択したデザインにおけるフレーム画像の配置数で均等割りした時間位置の複数のフレーム画像を余剰フレーム画像として決定する（ステップＳＡ１３）。しかる後、決定したハイライトフレームと余剰フレーム画像をレイアウトデータ１０１に基づき配置した静止画像を生成し（ステップＳＡ１４）、生成した静止画像（静止画ファイル）を記録メディア２０に記録する（ステップＳＡ１５）。図６は、その場合において、図５（ｂ）に示したものと異なるレイアウトデータ１０１に基づき生成され記録される他の静止画像１１２を例示したものである。
【００４８】
以上のように、本実施の形態においては、動画像から静止画像を生成するとき、生成する静止画像におけるフレーム画像の配置形態（配置数や配置位置）、つまり生成する静止画像のデザインが、動画像におけるカット割りの変化が予め決められている基準以上であった箇所の数に応じて設定されることから、フレーム画像の配置形態に動画像の全体的な特徴が反映されることとなる。したがって、動画像の全体的な特徴を示すものとして、より適切な静止画像を生成して記録することができる。
【００４９】
なお、フレーム画像の配置形態を自動的に選択するときの基準には、上述した動画像中におけるフレーム間のカット割りの変化度合に限らず、静止画像化する動画像の時間長等のように他の動画情報を使用することもできる。
【００５０】
また、自動選択されたデザインにハイライトフレームがある場合においてハイライトフレームの画像を自動的に決定するときの判断基準を、カット割りの変化の度合最も大きなフレームの画像であるとしたが、判断基準を以下のようなものとすることができる。例えば、最もコントラストが明確で色相が豊富であるフレームの画像としたり、音声のレベルが最も高いフレームの画像としたり、さらに予めユーザーに指定させた時間位置のフレームの画像とすることもできる。それらの場合においても、フレーム画像の配置形態に動画像の全体的な特徴を反映させることができる。
【００５１】
また、本実施の形態においては、自動選択されたデザインにハイライトフレームがあり、かつハイライトフレームをユーザーに指定させる場合には、余剰フレームの画像を、指定されたハイライトフレームの前後の数フレーム分のフレーム画像としたが、余剰フレームとして使用する範囲をユーザーに指定させるようにしてもよい。その場合、例えば前述したステップＳＡ１０でハイライトフレームが選択された時点で、前述した選択画面１１０（図５（ａ））を図７に示したような時間設定画面１１３に変更し、ユーザーにハイライトフレームの前後の時間（フレーム数でもよい。）を所定のキー操作によって指定させればよい。
【００５２】
また、余剰フレームの画像は、例えば静止画像化の対象となっている動画像がＭＰＥＧ形式で圧縮符号化されている場合にあっては、他のフレーム画像に依存しない独立したフレーム画像であるＩピクチャ（Intra Picture：フレーム内符号化画像）のなかから選択するようにしてもよい。その場合、余剰フレームとして使用する画像の復元処理に要する負担が軽減できる。
【００５３】
また、自動選択されたデザインにハイライトフレームがあったとき、ハイライトフレームを自動的に設定する場合と、ハイライトフレームをユーザーに指定させる場合とでは、異なる方法によって余剰フレームの画像を設定させるようにしたが、どちらの場合においても同一の方法によって余剰フレームの画像を設定させるようにしてもよい。また、ハイライトフレームを自動的に設定する場合と、ハイライトフレームをユーザーに指定させる場合とにおける前述した余剰フレームの画像の設定方法を逆転させても構わない。
【００５４】
（実施形態２）
【００５５】
次に、本発明の第２の実施の形態について説明する。本実施の形態は前述した構成からなるデジタルカメラにおいて、ＣＰＵ１３が本発明の取得手段、抽出手段、制御手段、変更手段、レイアウト調整手段として機能することにより、静止画生成モードが選択されたときには図８に示した以下の静止画生成処理を実行するものである。
【００５６】
すなわち静止画生成処理を開始するとＣＰＵ１３は、静止画像のデザインとして予め用意されている複数のデザインのうちから所望するデザインをユーザーに選択させる（ステップＳＢ１）。その際には、ＬＣＤ１２に、図９に示したようにデザインの選択を促すメッセージと、プログラムメモリ１９に記憶されている複数のレイアウトデータ１０１によって示される配置形態を示すデザイン見本からなるデザイン選択画面２０１を表示させるとともに、ユーザーに所定のキー操作を行わせることにより所望のデザインを選択させる（ステップＳ１）。そして、選択されたデザインに対応するレイアウトデータ１０１をプログラムメモリ１９から読み出す（ステップＳＢ２）。
【００５７】
次に、例えば記録メディア２０に記録されている動画像の先頭フレームの縮小画像をＬＣＤ１２に一覧表示させ、ユーザーに所定のキー操作により所望の動画像を選択させる（ステップＳＢ３）。さらに、選択された動画像についてカット割りの変化点の数、例えば音声が途切れている時間が所定時間以上である箇所や色調の変化度合が一定以上であった箇所のように、カット割りの変化が予め決められている基準以上であった箇所の数を取得する（ステップＳＢ４）。
【００５８】
ここで取得した変化点の数が、ステップＳＢ１で選択されたデザインにおけるフレーム画像の配置数よりも多い場合には（ステップＳＢ５でＹＥＳ）、選択されたデザインを、フレーム画像の配置数が上記変化点の数以上で、かつそれに最も近い数のデザインに自動的に変更する（ステップＳＢ６）。逆に、取得した変化点の数が、ステップＳＢ１で選択されたデザインにおけるフレーム画像の配置数よりも少ない場合には（ステップＳＢ５でＮＯ、ステップＳＢ７でＹＥＳ）、ステップＳＢ２で読み出したレイアウトデータ１０１に対し、それにより示されるデザインにおいてフレーム画像の配置数を変化点の数に変更し、かつそれに応じて配置間隔を拡げるためのデータ修正（調整）を行う（ステップＳＢ８）。図１０はその一例を示す図であって、同図（ａ）が変更前のデザイン、同図（ｂ）が変更後のデザインをそれぞれ示した図である。
【００５９】
引き続き、ステップＳＢ２で読み出したレイアウトデータ１０１、又はステップＳＢ５で変更されたレイアウトデータ１０１、ステップＳＢ８で修正されたレイアウトデータ１０１にハイライトフレームの情報が含まれているか否かを確認する。そして、ハイライトフレームの情報が含まれていれば（ステップＳＢ９でＹＥＳ）、選択された動画像においてカット割りの変化点における変化度合が予め決められている基準以上であった箇所、例えば音声が途切れている時間が所定時間以上である箇所や色調の変化度合が一定以上であった箇所のフレーム画像を抽出し、それらのうちで前記変化度合が最も大きなフレームの画像をハイライトフレームとし、かつそれ以外のフレーム画像を余剰フレーム画像として決定する（ステップＳＢ１０）。しかる後、決定したハイライトフレームと余剰フレームとの複数のフレーム画像を、レイアウトデータ１０１に基づき配置した静止画像を生成し（ステップＳＢ１２）、生成した静止画像（静止画ファイル）を記録メディア２０に記録する（ステップＳＢ１３）。
【００６０】
また、ハイライトフレームの情報が含まれていなければ（ステップＳＢ９でＮＯ）、選択された動画像においてカット割りの変化点における変化度合が予め決められている基準以上であった箇所の複数のフレーム画像を抽出し、それらを静止画像生成用のフレーム画像として決定する（ステップＳＢ１１）。しかる後、それら複数のフレーム画像を、レイアウトデータ１０１に基づき配置した静止画像を生成し（ステップＳＢ１２）、生成した静止画像（静止画ファイル）を記録メディア２０に記録する（ステップＳＢ１３）。
【００６１】
以上のように、本実施の形態においては、動画像から静止画像を生成するとき、生成する静止画像に配置するフレーム画像として、選択された動画像においてカット割りの変化点における変化度合が予めに決められている基準以上であったフレーム画像が自動的に抽出（選択）されるため、静止画像に配置する複数のフレーム画像を動画像の全体的な特徴を示すものとすることができる。したがって、動画像の全体的な特徴を示すものとして、より適切な静止画像を生成して記録することができる。
【００６２】
なお、本実施の形態では、生成する静止画像に配置するフレーム画像を、選択された動画像から、カット割りの変化点における変化度合に基づいて抽出するようにしたが、これ以外にも、生成する静止画像に配置するフレーム画像は、例えばコントラストの明確さや色相の豊富さ、さらには音声のレベルの高さ等の他の動画情報に基づいて抽出するようにしてもよい。それらの場合においても、静止画像に配置する複数のフレーム画像を動画像の全体的な特徴を示すものとすることができる。
【００６３】
また、例えば静止画像化の対象となっている動画像がＭＰＥＧ形式で圧縮符号化されている場合にあっては、生成する静止画像に配置するフレーム画像をの抽出対象をＩピクチャのみとしてもよい。その場合、フレーム画像を抽出する際に必要となるフレーム画像の復元処理に要する負担が軽減できる。
【００６４】
また、以上説明した第１及び第２の実施の形態においては、撮影により記録した動画像から静止画像を生成し、それを表示して記録する（出力する）機能を備えたデジタルカメラについて説明したが、これ以外にも本発明は、以下のような装置にも適用することができる。例えば種々のメモリーカード等の記録媒体を介して供給されたり、或いはデジタルカメラ等から通信によって供給されたりした動画データに基づき静止画像を印刷するプリンタ、動画撮影機能を備えたカメラ付き携帯電話機にも適用することができる。また、本発明は、前述したような静止画生成処理を行わせるためのプログラムを用いることにより一般的なパーソナルコンピュータによっても実現することができる。
【図面の簡単な説明】
【００６５】
【図１】本発明に係る各実施の形態に共通するデジタルカメラのブロック図である。
【図２】静止画像のデザイン例を示す図である。
【図３】レイアウトデータの具体的なデータ構成の一例を示す説明図である。
【図４】第１の実施の形態における静止画生成処理の内容を示すフローチャートである。
【図５】ハイライトフレームの選択画面（ａ）、及び選択されたハイライトフレームを含む静止画像（ｂ）を示す図である。
【図６】静止画生成処理で生成される他の静止画像の例を示す図である。
【図７】ハイライトフレームの前後の時間を指定させる場合に表示する時間設定画面の一例を示す図である。
【図８】第２の実施の形態における静止画生成処理の内容を示すフローチャートである。
【図９】デザイン選択画面を示す図である。
【図１０】フレーム画像の配置形態（デザイン）の変更例を示す図である。
【符号の説明】
【００６６】
３    ＣＣＤ
６    ＤＳＰ部
１０    メディアコントローラ
１１    表示コントローラ
１２    ＬＣＤ
１３    ＣＰＵ
１８    キー入力ブロック
１９    プログラムメモリ
２０    記録メディア
１０１    レイアウトデータ
【図１】
0004380523.tif 000002
【図２】
0004380523.tif 000003
【図３】
0004380523.tif 000004
【図４】
0004380523.tif 000005
【図５】
0004380523.tif 000006
【図６】
0004380523.tif 000007
【図７】
0004380523.tif 000008
【図８】
0004380523.tif 000009
【図９】
0004380523.tif 000010
【図１０】
0004380523.tif 000011