【手続補正書】
【提出日】平成25年6月6日(2013.6.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画データから第１の条件に基づいて第１の代表フレームを抽出する第１の代表フレーム抽出手段と、
前記動画データから、前記第１の条件とは異なる第２の条件に基づいて第２の代表フレームを抽出する第２の代表フレーム抽出手段と、
前記抽出された第１の代表フレームと第２の代表フレームをサムネイルとして前記動画データに関連付けて保存する制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
動画データから人物の顔を認識する顔認識手段を有し、
前記第２の代表フレーム抽出手段は、前記動画データのうち、前記顔認識手段で顔が認識されたフレームを前記第２の代表フレームとして抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の代表フレーム抽出手段は、前記動画データのうち、前記顔認識手段で顔が認識されていないフレームを前記第１の代表フレームとして抽出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の代表フレーム抽出手段は、前記動画データのうち、前記顔認識手段により最も長く認識された人物の顔を含むフレームを前記第２の代表フレームとして抽出することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記第２の代表フレーム抽出手段は、前記動画データのうちの前記顔認識手段により最も長く認識された人物の顔を含むフレームのうち、該人物の顔の向きが最も正面を向いているフレームを前記第２の代表フレームとして抽出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第２の代表フレーム抽出手段は、前記動画データにおいて前記顔認識手段により認識された人物の顔うち、ユーザーにより選択された人物の顔を含むフレームを前記第２の代表フレームとして抽出することを特徴とする請求項２または３に記載の画像処理装置。
【請求項７】
前記顔認識手段による認識の結果に関する情報を記録手段に記録し、
前記第２の代表フレーム抽出手段は、前記記録手段に記録された前記認識の結果に関する情報を参照して前記第２の代表フレームを抽出することを特徴とする請求項２乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記第１の代表フレーム抽出手段は、前記動画データの撮影時の画角の情報に基づいて前記第１の代表フレームを抽出することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記第１の代表フレーム抽出手段は、前記動画データに含まれる前記第１の代表フレームの候補となるフレームのうち、最も撮影時の画角が広いフレームを前記第１の代表フレームとして抽出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記動画データの撮影時の画角に関する情報を記録手段に記録し、
前記第１の代表フレーム抽出手段は、前記記録手段に記録された前記画角に関する情報を参照して前記第１の代表フレームを抽出することを特徴とする請求項８または９に記載の画像処理装置。
【請求項１１】
前記第１の代表フレーム抽出手段および前記第２の代表フレーム抽出手段のうち一方は、輝度の高さ、音の大きさのうち、他方の代表フレーム抽出手段とは異なる条件に基づいて前記第１の代表フレームまたは前記第２の代表フレームを抽出することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記制御手段は、前記第１の代表フレームと前記第２の代表フレームとを合成した画像を前記サムネイルとして前記動画データに関連づけて保存するように制御することを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
【請求項１３】
前記制御手段は、前記第２の代表フレームの一部範囲を切り出したものを前記第１の代表フレームに重畳した画像を前記サムネイルとして前記動画データに関連づけて保存するように制御することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記第１の条件に合致するフレームが無く前記第１の代表フレームが抽出されなかった場合、または前記第２の条件に合致するフレームが無く前記第２の代表フレームが抽出されなかった場合は、前記制御手段は、第１の代表フレームと第２の代表フレームのうち抽出された一方と、前記動画データの先頭フレームとをサムネイルとして前記動画データに関連づけて保存することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
動画データから第１の条件に基づいて第１の代表フレームを抽出する第１の代表フレーム抽出ステップと、
前記動画データから、前記第１の条件とは異なる第２の条件に基づいて第２の代表フレームを抽出する第２の代表フレーム抽出ステップと、
前記抽出された第１の代表フレームと第２の代表フレームをサムネイルとして前記動画データに関連付けて保存する制御ステップと、
を有することを特徴とする画像処理装置の制御方法。
【請求項１６】
コンピュータを、請求項１乃至１４のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
【請求項１７】
コンピュータを、請求項１乃至１４のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明は、上記問題に鑑みて成されたものであり、動画の最初の１フレームからサムネイルを作成する場合に起こる内容識別の困難さを軽減することができ、動画の内容を忠実に表現したわかりやすいサムネイルを作成できる技術を提供することを目的とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記目的を達成するために、本発明は、動画データから第１の条件に基づいて第１の代表フレームを抽出する第１の代表フレーム抽出手段と、前記動画データから、前記第１の条件とは異なる第２の条件に基づいて第２の代表フレームを抽出する第２の代表フレーム抽出手段と、前記抽出された第１の代表フレームと第２の代表フレームをサムネイルとして前記動画データに関連付けて保存する制御手段と、を有することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明によれば、条件に基づいて抽出されたフレームからサムネイルを作成するので、動画の最初の１フレームからサムネイルを作成する場合に起こる内容識別の困難さを軽減することができる。また、異なる２つの条件から２つの代表フレームを抽出することによりサムネイルを作成するので、動画の内容を忠実に表現したわかりやすいサムネイルを作成することができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
主要人物の代表フレームを作成する際、顔認識機能を用いて撮影された被写体の中で、顔認識された時間が最も長い顔を主顔と判定し、この主顔を含むフレームのうち、最も正面を向いているフレームを主要人物の代表フレームとして抽出する。すなわち、これらを、後述する第１の条件と区別して、第２の条件とする。例えば、ＣＰＵ１０５が、顔認識を行った際に、その顔の検出時間と以前認識した顔の検出時間とを比較し、検出時間の長いものを主顔としてＲＡＭ１１２に記録する。新しい顔が認識された場合、ＣＰＵ１０５は、以前記録された主顔と新しく認識した顔の検出時間とを比較し、新しく認識した顔の検出時間の方が長くなった場合は、新しい顔を主顔としてＲＡＭ１１２に新たに記録する。最終的に、動画中で最も検出時間の長かった顔のあるフレームを主顔としてＲＡＭ１１２に記録させ、その記録されたフレームの中から顔の向きが最も正面を向いているフレームを代表フレームとして抽出する。なお、本実施形態では、認識した顔の検出時間を主顔の判定基準としたが、これに限定されず、検出回数であってもよい。また、ユーザにより選択された人物の顔であってもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
風景の代表フレームを作成する際、撮影された被写体の中で最も画角が広いフレームを、風景の代表フレームとする。すなわち、これらを第１の条件とする。具体的には、ＣＰＵ１０５は、ズームの倍率と、ＡＦで算出した被写体までの距離から算出された値により画角の広さを判定する。例えば、ズームが１倍で、被写体までの距離が１のときに、画角が（Ａ，Ｂ）である場合、ズームがＣ倍で被写体までの距離がＤという条件で画角の広さを算出すると、画角は（Ａ／Ｃ×Ｄ，Ｂ／Ｃ×Ｄ）となる。そして、ＣＰＵ１０５は、各フレームに対して画角の広さを算出し、その算出値をＲＡＭ１１２に記録する。顔認識されていないフレームがある場合は、顔認識されていないフレームの中で最も画角の広いものを風景の代表フレームとして抽出する。顔認識されていないフレームがない場合は、すべてのフレームの中で最も画角の広いものを風景の代表フレームとして抽出する。