(57)【要約】【課題】ユーザビリティの高いサムネイル画像の一覧を効率よく表示することが可能な新規かつ改良された画像処理装置を提供する。【解決手段】動画ファイルを記憶する動画ファイル記憶部と、動画ファイル記憶部から選択した１の動画ファイルを構成する所定のフレーム画像をサムネイル候補画像として抽出するフレームフレーム画像抽出部と、サムネイル候補画像がサムネイル画像として適切であるか否かを判断する画像判断部と、サムネイル候補画像がサムネイル画像として適切でないと判断された場合に、フレーム画像抽出部に対して動画ファイルをフレーム送りして次のフレーム画像を新しいサムネイル候補画像として抽出するように制御するサムネイル候補画像更新制御部と、サムネイル画像として適切であると判断されたサムネイル候補画像を決定サムネイル画像として記憶する決定サムネイル画像記憶部と、決定サムネイル画像を表示させる表示制御部と、を備えた。【選択図】図１
2010093348.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１以上の動画ファイルを記憶する動画ファイル記憶部と、
前記動画ファイル記憶部に保存されている前記動画ファイルの中から１の動画ファイルを選択し、該動画ファイルを構成する所定のフレーム画像をサムネイル候補画像として抽出するフレーム画像抽出部と、
前記フレーム画像抽出部が抽出した前記サムネイル候補画像がサムネイル画像として適切であるか否かを判断する画像判断部と、
前記画像判断部により前記フレーム画像抽出部が抽出した前記サムネイル候補画像がサムネイル画像として適切でないと判断された場合に、前記フレーム画像抽出部に対して、前記動画ファイルをフレーム送りして次のフレーム画像を新しいサムネイル候補画像として抽出するように制御するサムネイル候補画像更新制御部と、
前記画像判断部によりサムネイル画像として適切であると判断されたサムネイル候補画像を、前記選択された任意の１の動画ファイルに対応する決定サムネイル画像として記憶する決定サムネイル画像記憶部と、
前記決定サムネイル画像記憶部に保存されている少なくとも１以上の前記決定サムネイル画像を表示させる表示制御部と、
を備える画像処理装置。
【請求項２】
前記サムネイル候補画像更新制御部は、前記フレーム画像抽出部が抽出した新しいサムネイル候補画像が前記画像判断部によりサムネイル画像として適切であると判断されるまで、前記フレーム画像抽出部に対して、前記動画ファイルをフレーム送りして次のフレーム画像を新しいサムネイル候補画像として順次抽出するように制御する、請求項１に記載の画像処理装置。
【請求項３】
前記フレーム画像抽出部は、抽出したサムネイル候補画像が前記画像判断部によりサムネイル画像として適切であると判断された場合、順次前記動画ファイル記憶部に保存されている他の動画ファイルを選択し、該動画ファイルを構成する所定のフレーム画像をサムネイル候補画像として抽出する、請求項２に記載の画像処理装置。
【請求項４】
前記画像判断部は、前記サムネイル候補画像が単色画像であるか否かを判断し、
前記サムネイル候補画像が単色画像であると判断した場合には、前記サムネイル候補画像がサムネイル画像として適切でないと判断し、
前記サムネイル候補画像が単色画像でないと判断した場合には、前記サムネイル候補画像がサムネイル画像として適切であると判断する、請求項３に記載の画像処理装置。
【請求項５】
前記画像判断部は、前記サムネイル候補画像を構成する画素の特徴量と、該特徴量に関してあらかじめ設定された所定のしきい値と、に基づいて前記サムネイル候補画像が単色画像であるか否かを判断する、請求項４に記載の画像処理装置。
【請求項６】
前記画像判断部は、前記サムネイル候補画像が前記決定サムネイル画像記憶部に保存されている他の前記決定サムネイル画像と類似するか否かを判断し、
類似すると判断した場合には、前記サムネイル候補画像がサムネイル画像として適切でないと判断し、
類似しないと判断した場合には、前記サムネイル候補画像がサムネイル画像として適切であると判断する、請求項３〜５のいずれかに記載の画像処理装置。
【請求項７】
前記表示制御部は、前記動画ファイル記憶部に保存されている少なくとも１以上の前記動画ファイルのうち、あらかじめ設定された所定の数量の動画ファイルに対応する前記決定サムネイル画像毎にメニュー画面を表示させ、
前記画像判断部は、前記サムネイル候補画像が前記決定サムネイル画像記憶部に保存されている他の前記決定サムネイル画像のうち、同一の前記メニュー画面に表示される前記動画ファイルに対応する決定サムネイル画像と類似するか否かを判断する、請求項６に記載の画像処理装置。
【請求項８】
前記表示制御部は、前記動画ファイル記憶部に保存されている少なくとも１以上の前記動画ファイルを、所定の基準により複数のカテゴリに分類し、あらかじめ決定された所定の数量の動画ファイルに対応する決定サムネイル画像毎に前記カテゴリに基づく階層構造でメニュー画面を表示させ、
前記画像判断部は、前記サムネイル候補画像が前記決定サムネイル画像記憶部に保存されている他の前記決定サムネイル画像のうち、同一のカテゴリに分類された前記画像ファイルに対応する決定サムネイル画像と類似するか否かを判断する、請求項６に記載の画像処理装置。
【請求項９】
動画ファイル記憶部に保存されている少なくとも１以上の動画ファイルの中から１の動画ファイルを選択し、該動画ファイルを構成する所定のフレーム画像をサムネイル候補画像として抽出する画像抽出ステップと、
前記画像抽出ステップにより抽出された前記サムネイル候補画像がサムネイル画像として適切であるか否かを判断する画像判断ステップと、
前記画像判断ステップにより前記フレーム画像抽出部が抽出したフレーム画像がサムネイル画像として適切でないと判断された場合に、前記フレーム画像抽出部に対して、前記動画ファイルをフレーム送りして次のフレーム画像を新しいサムネイル候補画像として抽出するように制御するサムネイル候補画像更新制御ステップと、
前記画像判断ステップによりサムネイル画像として適切であると判断されたサムネイル候補画像を、前記選択された任意の１の動画ファイルに対応する決定サムネイル画像として決定サムネイル画像記憶部に保存する決定サムネイル画像保存ステップと、
前記決定サムネイル画像保存ステップにより前記サムネイル画像記憶部に保存された少なくとも１以上の前記決定サムネイル画像を表示させる表示ステップと、
を含む画像処理方法。
【請求項１０】
動画ファイル記憶部に保存されている少なくとも１以上の動画ファイルの中から１の動画ファイルを選択し、該動画ファイルを構成する所定のフレーム画像をサムネイル候補画像として抽出する画像抽出処理と、
前記画像抽出処理により抽出された前記サムネイル候補画像がサムネイル画像として適切であるか否かを判断する画像判断処理と、
前記画像判断処理により前記フレーム画像抽出部が抽出したフレーム画像がサムネイル画像として適切でないと判断された場合に、前記フレーム画像抽出部に対して、前記動画ファイルをフレーム送りして次のフレーム画像を新しいサムネイル候補画像として抽出するように制御するサムネイル候補画像更新制御処理と、
前記画像判断処理によりサムネイル画像として適切であると判断されたサムネイル候補画像を、前記選択された任意の１の動画ファイルに対応する決定サムネイル画像として決定サムネイル画像記憶部に保存する決定サムネイル画像保存処理と、
前記決定サムネイル画像保存処理により前記サムネイル画像記憶部に保存された少なくとも１以上の前記決定サムネイル画像を表示させる表示処理と、
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
例えば、ＤＶＤレコーダ、ＨＤＤレコーダ、ビデオレコーダ、カムコーダなどの動画ファイルの再生を行う動画再生装置は、一般的に、ユーザが動画ファイルの再生を希望する際に、動画ファイルの一覧をサムネイル画像で表示する機能を備えている。動画再生装置は、動画ファイルに記録された先頭のフレーム画像を静止画として縮小した複数のサムネイル画像を画面に表示することが多い。
【０００３】
しかしながら、動画ファイルは、例えば、黒の単色のフェードイン画像から開始されるようなエフェクト処理が施されていることも多い。このようなエフェクト処理が施された動画ファイルにおいては、先頭のフレーム画像をサムネイル画像として表示した場合、サムネイル画像が黒の単色画像となってしまうという問題があった。
【０００４】
ここで、上記のような問題点に対して、例えば、特許文献１には、エフェクト処理が施された動画ファイルについては、エフェクト処理を施す前の原動画の先頭のフレーム画像を縮小して、サムネイル画像として表示する技術が開示されている。すなわち、特許文献１の技術を利用することにより、エフェクト処理の有無に影響されることなく、原動画の先頭のフレーム画像を縮小してサムネイル画像として表示させることができる。この結果、フェードインなどのエフェクト処理が施された動画ファイルであっても、サムネイル画像が黒の単色画像となることを防止することができる。
【０００５】
【特許文献１】特開２００４−１５５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の技術では、エフェクト処理が施される前の原動画を記憶領域などに保持しておく必要がある。この結果、記憶領域の増加や、処理の複雑化などといった問題が発生する。また、サムネイルとして表示される原動画の所定フレームの画像は、再生する動画ファイルにおいてはエフェクト処理が施されているため、実際は再生されない画像である。したがって、ユーザがサムネイルの画像を見て動画ファイルの再生を選択しても、サムネイルとして表示されていた映像は実際には再生されないという問題があった。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザビリティの高いサムネイル画像の一覧を効率よく表示することが可能な、新規かつ改良された画像処理装置、画像処理方法および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、少なくとも１以上の動画ファイルを記憶する動画ファイル記憶部と、前記動画ファイル記憶部に保存されている前記動画ファイルの中から１の動画ファイルを選択し、該動画ファイルを構成する所定のフレーム画像をサムネイル候補画像として抽出するフレームフレーム画像抽出部と、前記フレーム画像抽出部が抽出した前記サムネイル候補画像がサムネイル画像として適切であるか否かを判断する画像判断部と、前記画像判断部により前記フレーム画像抽出部が抽出した前記サムネイル候補画像がサムネイル画像として適切でないと判断された場合に、前記フレーム画像抽出部に対して、前記動画ファイルをフレーム送りして次のフレーム画像を新しいサムネイル候補画像として抽出するように制御するサムネイル候補画像更新制御部と、前記画像判断部によりサムネイル画像として適切であると判断されたサムネイル候補画像を、前記選択された任意の１の動画ファイルに対応する決定サムネイル画像として記憶する決定サムネイル画像記憶部と、前記決定サムネイル画像記憶部に保存されている少なくとも１以上の前記決定サムネイル画像を表示させる表示制御部と、を備える画像処理装置が提供される。
【０００９】
係る構成により、画像処理装置が備える動画ファイル記憶部は、少なくとも１以上の動画ファイルを記憶しておくことができる。また、画像処理装置が備えるフレーム画像抽出部は、動画ファイル記憶部に保存されている動画ファイルの中から１の動画ファイルを選択し、当該動画ファイルを構成する所定のフレーム画像をサムネイル候補画像として抽出することができる。また、画像処理装置が備える画像判断部は、フレーム画像抽出部が抽出したサムネイル候補画像がサムネイル画像として適切であるか否かを判断することができる。また、画像処理装置が備えるサムネイル候補画像更新制御部は、画像判断部によりフレーム画像抽出部が抽出したフレーム画像がサムネイル画像として適切でないと判断された場合に、フレーム画像抽出部に対して、動画ファイルをフレーム送りして次のフレーム画像を新しいサムネイル候補画像として抽出するように制御することができる。また、画像処理装置が備える決定サムネイル画像記憶部は、画像判断部によりサムネイル画像として適切であると判断されたサムネイル候補画像を、フレーム画像抽出部により選択された任意の１の動画ファイルに対応する決定サムネイル画像として記憶しておくことができる。さらに、画像処理装置が備える表示制御部は、決定サムネイル画像記憶部に保存されている少なくとも１以上の決定サムネイル画像を表示させることができる。
【００１０】
また、前記サムネイル候補画像更新制御部は、前記フレーム画像抽出部が抽出した新しいサムネイル候補画像が前記画像判断部によりサムネイル画像として適切であると判断されるまで、前記フレーム画像抽出部に対して、前記動画ファイルをフレーム送りして次のフレーム画像を新しいサムネイル候補画像として順次抽出するように制御してもよい。
【００１１】
また、前記フレーム画像抽出部は、抽出したサムネイル候補画像が前記画像判断部によりサムネイル画像として適切であると判断された場合、順次前記動画ファイル記憶部に保存されている他の動画ファイルを選択し、該動画ファイルを構成する所定のフレーム画像をサムネイル候補画像として抽出してもよい。
【００１２】
また、前記画像判断部は、前記サムネイル候補画像が単色画像であるか否かを判断し、前記サムネイル候補画像が単色画像であると判断した場合には、前記サムネイル候補画像がサムネイル画像として適切でないと判断し、前記サムネイル候補画像が単色画像でないと判断した場合には、前記サムネイル候補画像がサムネイル画像として適切であると判断することもできる。
【００１３】
また、前記画像判断部は、前記サムネイル候補画像を構成する画素の特徴量と、該特徴量に関してあらかじめ設定された所定のしきい値と、に基づいて前記サムネイル候補画像が単色画像であるか否かを判断することもできる。
【００１４】
また、前記画像判断部は、前記サムネイル候補画像が前記決定サムネイル画像記憶部に保存されている他の前記決定サムネイル画像と類似するか否かを判断し、類似すると判断した場合には、前記サムネイル候補画像がサムネイル画像として適切でないと判断し、類似しないと判断した場合には、前記サムネイル候補画像がサムネイル画像として適切であると判断することもできる。
【００１５】
また、前記表示制御部は、前記動画ファイル記憶部に保存されている少なくとも１以上の前記動画ファイルのうち、あらかじめ設定された所定の数量の動画ファイルに対応する前記決定サムネイル画像毎にメニュー画面を表示させ、前記画像判断部は、前記サムネイル候補画像が前記決定サムネイル画像記憶部に保存されている他の前記決定サムネイル画像のうち、同一の前記メニュー画面に表示される前記動画ファイルに対応する決定サムネイル画像と類似するか否かを判断することもできる。
【００１６】
また、前記表示制御部は、前記動画ファイル記憶部に保存されている少なくとも１以上の前記動画ファイルを、所定の基準により複数のカテゴリに分類し、あらかじめ決定された所定の数量の動画ファイルに対応する決定サムネイル画像毎に前記カテゴリに基づく階層構造でメニュー画面を表示させ、前記画像判断部は、前記サムネイル候補画像が前記決定サムネイル画像記憶部に保存されている他の前記決定サムネイル画像のうち、同一のカテゴリに分類された前記画像ファイルに対応する決定サムネイル画像と類似するか否かを判断することもできる。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、動画ファイル記憶部に保存されている少なくとも１以上の動画ファイルの中から１の動画ファイルを選択し、該動画ファイルを構成する所定のフレーム画像をサムネイル候補画像として抽出する画像抽出ステップと、前記画像抽出ステップにより抽出された前記サムネイル候補画像がサムネイル画像として適切であるか否かを判断する画像判断ステップと、前記画像判断ステップにより前記フレーム画像抽出部が抽出したフレーム画像がサムネイル画像として適切でないと判断された場合に、前記フレーム画像抽出部に対して、前記動画ファイルをフレーム送りして次のフレーム画像を新しいサムネイル候補画像として抽出するように制御するサムネイル候補画像更新制御ステップと、前記画像判断ステップによりサムネイル画像として適切であると判断されたサムネイル候補画像を、前記選択された任意の１の動画ファイルに対応する決定サムネイル画像として決定サムネイル画像記憶部に保存する決定サムネイル画像保存ステップと、前記決定サムネイル画像保存ステップにより前記サムネイル画像記憶部に保存された少なくとも１以上の前記決定サムネイル画像を表示させる表示ステップと、を含む画像処理方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、動画ファイル記憶部に保存されている少なくとも１以上の動画ファイルの中から１の動画ファイルを選択し、該動画ファイルを構成する所定のフレーム画像をサムネイル候補画像として抽出する画像抽出処理と、前記画像抽出処理により抽出された前記サムネイル候補画像がサムネイル画像として適切であるか否かを判断する画像判断処理と、前記画像判断処理により前記フレーム画像抽出部が抽出したフレーム画像がサムネイル画像として適切でないと判断された場合に、前記フレーム画像抽出部に対して、前記動画ファイルをフレーム送りして次のフレーム画像を新しいサムネイル候補画像として抽出するように制御するサムネイル候補画像更新制御処理と、前記画像判断処理によりサムネイル画像として適切であると判断されたサムネイル候補画像を、前記選択された任意の１の動画ファイルに対応する決定サムネイル画像として決定サムネイル画像記憶部に保存する決定サムネイル画像保存処理と、前記決定サムネイル画像保存処理により前記サムネイル画像記憶部に保存された少なくとも１以上の前記決定サムネイル画像を表示させる表示処理と、をコンピュータに実行させる画像処理プログラムが提供される。
【発明の効果】
【００１９】
以上説明したように本発明によれば、ユーザビリティの高いサムネイル画像の一覧を効率よく表示することが可能である。
【発明を実施するための最良の形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、説明は以下の順序で行うものとする。
１．本発明の実施形態の概要
２．第１実施形態（単色画像判断によるサムネイル生成）
２−１．動画再生装置１００の機能構成
２−２．サムネイル一覧表示の処理フロー
３．第２実施形態（単色画像判断および類似性判断によるサムネイル生成）
３−１．動画再生装置２００の機能構成
３−２．サムネイル一覧表示の処理フロー
４．変形例（類似性判断の処理制限）
５．まとめ
【００２１】
（１．本発明の実施形態の概要）
本発明の実施形態の１つに係る画像処理装置の詳細を説明するにあたり、従来の画像処理装置について説明した上で、本実施形態に係る画像処理装置の概要について説明する。なお、以下の説明においては画像処理装置の一例として、例えば、ＤＶＤレコーダ、ＨＤＤレコーダ、ビデオレコーダ、カムコーダ、デジタルカメラ、携帯電話、ＰＤＡ、携帯ゲーム機器などのように、動画ファイルを再生可能な動画再生装置を例に説明する。このように、本発明の実施形態に係る画像処理装置は、動画ファイルを再生可能な機能を備えるものであれば、その他いかなる機能を追加的に備えるものであってもよい。
【００２２】
上述したように、動画再生装置は、一般的に、ユーザが動画ファイルの再生を希望する際に、動画ファイルの一覧をサムネイル画像で表示する機能を備えている。動画再生装置は、例えば、動画ファイルに記録された先頭のフレーム画像を静止画として縮小した複数のサムネイル画像を画面に表示することが多い。
【００２３】
しかしながら、動画ファイルは、例えば、黒や白の単色のフェードイン画像から開始されるようなエフェクト処理が施されていることも多い。このようなエフェクト処理が施された動画ファイルにおいては、先頭のフレーム画像をサムネイル画像として表示した場合、サムネイル画像が黒や白の単色画像となってしまうという問題があった。
【００２４】
図９は、このような問題点を抱える従来の動画再生装置により、動画ファイルの一覧をサムネイル画像で表示した場合の表示例を示す説明図である。図９を参照すると、表示画面には、複数の動画ファイルに対応するサムネイル画像や、操作アイコンなどを含むメニュー画面が表示されていることがわかる。上述したように、動画再生装置は、各動画ファイルを構成するフレーム画像の中から先頭のフレーム画像をサムネイル画像として表示させることができる。
【００２５】
図９の例では、６つの動画ファイルに対応するサムネイル画像が表示されており、ユーザは、表示されたサムネイル画像を選択することにより所定の動画ファイルの再生を動画再生装置に対して指示することができる。ここで、図９に示す例では、動画ファイル１と動画ファイル６が黒色の単色画像からフェードインされるようなエフェクト処理が施されている。また、動画ファイル４は、白色の単色画像からフェードインされるようなエフェクト処理が施されている。したがって、動画ファイル１および動画ファイル６を構成するフレーム画像のうち、先頭フレームの画像は、黒色の単色画像により構成されていることとなる。また、動画ファイル４を構成するフレーム画像のうち、先頭フレームの画像は、白色の単色画像により構成されていることとなる。この結果、従来の動画再生装置は、動画ファイル１および動画ファイル６に対しては、黒色の単色画像をサムネイル画像として表示し、動画ファイル４に対しては、白色の単色画像をサムネイル画像として表示することとなる。
【００２６】
したがって、ユーザは、メニュー画面に表示されるサムネイルを見るだけでは動画ファイルの内容を識別することができない。この結果、ユーザは、例えば、動画ファイルを再生して内容を確認したり、マニュアル操作で動画ファイルの任意のフレームを選択してサムネイル画像を設定し直したりするなどの煩雑な操作が必要となり、ユーザビリティに優れていなかった。
【００２７】
このような従来の動画再生装置の問題点に対して、上述した特許文献１には、エフェクト処理が施された動画ファイルについては、エフェクト処理を施す前の原動画の先頭のフレーム画像を縮小して、サムネイル画像として表示する技術が開示されている。
【００２８】
図１０は、上述した特許文献１に記載された技術の概念を示す説明図である。図１０に示すように、動画ファイルは、先頭フレーム画像から最終フレーム画像までの複数のフレーム画像により構成され、先頭フレーム画像から所定数量のフレーム画像までフェードインなどのエフェクト処理が施されている。特許文献１に記載の技術を利用した動画再生装置は、エフェクト処理が施される前の原動画ファイルを記憶領域などに保存しておき、当該原動画ファイルを構成する先頭フレーム画像をサムネイル画像として抽出する。これにより、特許文献１に記載の技術を利用した動画再生装置は、実際には先頭フレーム画像にはエフェクト処理が施されているにも関わらず、原動画ファイルの先頭フレーム画像をサムネイル画像として表示させることができる。この結果、フェードインなどのエフェクト処理が施された動画ファイルであっても、サムネイル画像が黒の単色画像となることを防止することができる。
【００２９】
しかしながら、このような方法を利用した場合、エフェクト処理が施される前の原動画ファイルを記憶領域などに保存しておく必要がある。この結果、記憶領域の増加や、処理の複雑化などといった問題が発生する。また、サムネイルとして表示される原動画ファイルの先頭フレーム画像は、実際に再生する動画ファイルにおいてはエフェクト処理が施されているため、実際は再生されない画像である。したがって、ユーザがサムネイルの画像を見て動画ファイルの再生を選択しても、サムネイルとして表示されていた映像は実際には再生されないという問題があった。
【００３０】
本発明の実施形態に係る動画再生装置は、このような問題点を解決することができ、ユーザビリティの高いサムネイル画像の一覧を効率よく表示することが可能である。
【００３１】
具体的には、本発明の実施形態に係る動画再生装置は、実際に再生する動画ファイルの所定のフレーム画像（例えば、先頭フレーム画像）を抽出し、当該フレーム画像がサムネイル画像として適切であるか否かを判断する。
【００３２】
動画再生装置は、例えば、抽出したフレーム画像が、黒色や白色の単色画像か否かを判断する。動画再生装置は、フレーム画像が単色画像でないと判断した場合は、抽出したフレーム画像をサムネイル画像として表示する。また、動画再生装置は、フレーム画像が単色画像であると判断した場合は、フレーム送りにより次のフレーム画像を抽出し、同様に当該フレーム画像が単色画像か否かを判断する。動画再生装置は、抽出したフレーム画像が単色画像でなくなるまで同様の処理を繰り返すことにより、単色画像以外のフレーム画像をサムネイル画像としてメニュー画面に表示させることができる。
【００３３】
このようにして表示されるサムネイル画像は、実際に再生される動画ファイルを構成するフレーム画像である。この結果、ユーザは、メニュー画面に表示されるサムネイル画像を見て希望する動画ファイルの再生を動画再生装置に対して指示することができる。また、サムネイル画像として利用される画像は実際に再生する動画ファイルを構成するフレーム画像であるため、上述した従来技術のように、エフェクト処理が施される前の原動画ファイルを記憶領域などに保存しておく必要がない。この結果、記憶領域の増加や、処理の複雑化などといった問題も解消することができる。
【００３４】
また、動画再生装置は、このようにしてメニュー画面に表示するサムネイル画像が、他のサムネイル画像と類似している場合には、さらにフレーム送りにより次のフレーム画像を抽出し、類似しない画像をサムネイル画像として表示させることもできる。これにより、例えば、類似性の高い動画ファイルの一覧をメニュー画面に表示させる場合であっても、互いに類似しないサムネイル画像を表示させることもできる。この結果、ユーザは、メニュー画面に表示されたサムネイル画像を見て希望する動画ファイルを容易に識別でき、当該動画ファイルの再生を動画再生装置に指示することができる。すなわち、本発明の実施形態に係る動画再生装置は、ユーザビリティの高いサムネイル画像の一覧を効率よく表示することが可能となる。
【００３５】
以下、このような特徴を有する本発明の実施形態に係る動画再生装置の詳細について説明する。
【００３６】
（２．第１実施形態）
まず、本発明の第１実施形態に係る動画再生装置１００の詳細について説明する。第１実施形態に係る動画再生装置１００は、動画ファイルから抽出した所定のフレーム画像が単色画像であるか否かを判断することにより、ユーザビリティの高いサムネイル画像の一覧を効率よく表示する。
【００３７】
（２−１．動画再生装置１００の機能構成）
図１は、第１実施形態に係る動画再生装置１００の機能構成の一例を示すブロック図である。動画再生装置１００は主に、動画ファイル記憶部１０２と、フレーム画像抽出部１０４と、サムネイル候補画像記憶部１０６と、画像判断部１０８と、決定サムネイル画像記憶部１１２と、メニュー基礎画像生成部１１４と、メニュー画像合成処理部１１６と、表示制御部１１８と、を含んで構成される。また、動画再生装置１００を構成するこれらの各機能部は、制御部１２２によって制御されることにより各種機能を実行する。また、動画再生装置１００は、表示装置１２０を備えることもできる。しかしながら、動画再生装置１００が、例えば、ＤＶＤレコーダやＨＤＤレコーダのようにテレビなどの外部機器と外部接続される場合には、表示装置１２０は外部機器に備えられてもよい。
【００３８】
なお、図１に示した機能構成は、本実施形態の特徴であるサムネイル画像の一覧表示を実現するための機能を中心に示したものであり、これらに限定されるものではない。例えば、動画再生装置１００は、図１に示した機能構成部の他に、録画機能、放送波受信機能、撮像機能、通信機能、操作制御機能、動画編集機能、音声入出力機能などの各種機能を追加的に備えてもよい。以下、第１実施形態に係る動画再生装置１００を構成するこれらの機能構成部の詳細について説明する。
【００３９】
（動画ファイル記憶部１０２）
動画ファイル記憶部１０２は、再生する動画ファイルを複数記憶可能な不揮発性の記憶領域である。本実施形態においては、動画再生装置１００が録画機能を備えている場合には、当該録画機能により録画された動画ファイルが動画ファイル記憶部１０２に記録される。また、動画再生装置１００が録画機能を備えていない場合には、有線、無線を問わず接続された外部機器から取得した動画ファイルが動画ファイル記憶部１０２に保存される。動画ファイル記憶部１０２は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成され、複数の動画ファイルを保存可能な不揮発性の記憶装置であれば特定の構成に限定されるものではない。また、動画ファイル記憶部１０２は、制御部１２２が制御する各種処理に関するプログラムや各種データ、および外部から取得した音響信号データや画像信号データなどを格納することもできる。
【００４０】
（フレーム画像抽出部１０４）
フレーム画像抽出部１０４は、動画ファイル記憶部１０２に保存されている動画ファイルを構成するフレーム画像の中から、所定のフレーム画像をサムネイル候補画像として抽出する。上述したように、本実施形態に係る動画再生装置１００は、動画ファイルを構成するフレーム画像の中から、単色画像でないフレーム画像をサムネイル画像としてメニュー画面に表示する。フレーム画像抽出部１０４は、このようにメニュー画面に表示されるサムネイル画像の候補として、動画ファイル記憶部１０２に保存されている動画ファイルを構成するフレーム画像の中から、所定のフレーム画像を抽出する。
【００４１】
フレーム画像抽出部１０４は、制御部１２２による指示に応じてサムネイル候補画像を抽出することができ、最初に抽出するフレーム画像の位置などは任意に設定・変更することができる。なお、以下の説明においては、説明の便宜上、フレーム画像抽出部１０４は、動画ファイルを構成するフレーム画像の中から先頭フレーム画像を、最初のサムネイル候補画像として抽出する場合を例に説明する。したがって、フレーム画像抽出部１０４は、制御部１２２からの指示に応じて、動画ファイル記憶部１０２に保存されている動画ファイルの先頭フレーム画像をサムネイル候補画像として抽出することができる。なお、このようにしてフレーム画像抽出部１０４により抽出されたサムネイル候補画像は、後述するサムネイル候補画像記憶部１０６に転送される。
【００４２】
（サムネイル候補画像記憶部１０６）
サムネイル候補画像記憶部１０６は、フレーム画像抽出部１０４により抽出されたサムネイル候補画像を一時的に保存する記憶領域である。上述したように、本実施形態に係る動画再生装置１００は、フレーム画像抽出部１０４により抽出されたサムネイル候補画像がサムネイル画像として適切であるか否かを判断し、サムネイル画像として適切である場合にのみメニュー画面に表示させる。したがって、サムネイル候補画像記憶部１０６に保存されたサムネイル候補画像は、後述する画像判断部１０８による判断処理に利用されることとなる。
【００４３】
なお、画像判断部１０８によって判断処理が行われた後、サムネイル候補画像記憶部１０６に保存されているサムネイル候補画像は、制御部１２２により消去されることとなる。したがって、サムネイル候補画像記憶部１０６は、サムネイル候補画像を一時的に記憶しておくことが可能な記憶領域を備えていれば、特定の記憶装置に限定されるものではない。また、例えば、上述した動画ファイル記憶部１０２にサムネイル候補画像記憶部１０６が備えられてもよい。
【００４４】
（画像判断部１０８）
画像判断部１０８は、サムネイル候補画像記憶部１０６に保存されているサムネイル候補画像が、サムネイル画像として適切であるか否かを判断する。上述したように、動画ファイル記憶部１０２に保存されている動画ファイルはフェードインなどのエフェクト処理が施されている場合がある。このような場合、フレーム画像抽出部１０４により抽出されたサムネイル候補画像は、エフェクト処理が施された動画ファイルの先頭フレーム画像であるため、黒色や白色の単色画像であることも想定される。
【００４５】
本実施形態においては、画像判断部１０８を構成する単色画像判断部１１０は、サムネイル候補画像が単色画像か否かを判断することにより、当該サムネイル候補画像がメニュー画面に表示させるサムネイル画像として適切であるか否かを判断する。単色画像判断部１１０は、制御部１２２による指示に応じて、サムネイル候補画像記憶部１０６に保存されているサムネイル候補画像が単色画像であるか否かを判断する。その結果、サムネイル候補画像が単色画像でないと判断した場合、当該サムネイル候補画像を決定サムネイル画像として、後述する決定サムネイル画像記憶部１１２へ転送する。
【００４６】
一方、サムネイル候補画像が単色画像であると判断した場合、判断結果を受けて制御部１２２は、サムネイル候補画像記憶部１０６に保存されている当該サムネイル候補画像を消去し、フレーム画像抽出部１０４に次の新しいサムネイル候補画像の抽出を指示する。これを受けて、フレーム画像抽出部１０４は、動画ファイルを前回抽出したフレーム画像から所定フレームだけ進めたフレーム画像を新しいサムネイル候補画像として抽出し、再度サムネイル候補画像記憶部１０６へ転送する。これにより、単色画像判断部１１０は、単色画像でないと判断されるまで、繰り返しサムネイル候補画像記憶部１０６に保存されているサムネイル候補画像に対して単色画像判断を実行することができる。
【００４７】
なお、単色画像判断部１１０は、サムネイル候補画像を構成する画素の特徴量に基づいて、単色画像判断処理を実行することができる。例えば、単色画像判断部１１０は、サムネイル候補画像を構成する各画素のＲＧＢ色彩情報に基づいて、サムネイル候補画像が単色画像であるか否かを判断することができる。この場合、単色画像判断部１１０は、サムネイル候補画像を構成する画素毎に、赤色（Ｒ：ＲＥＤ）、緑色（Ｇ：ＧＲＥＥＮ）、青色（Ｂ：ＢＬＵＥ）からなる色彩情報を抽出する。単色画像判断部１１０は、このＲＧＢの値があらかじめ設定された範囲内である場合には、当該画素は判断対象となる色であると判断することができる。また、単色画像判断部１１０は、サムネイル候補画像を構成するすべての画素のうち、判断対象となる色の画素が占める割合を算出する。その後、単色画像判断部１１０は、算出した割合があらかじめ設定されたしきい値より大きい場合には、当該サムネイル候補画像は判断対象となる色の単色画像であると判断することができる。
【００４８】
なお、判断対象となる色、当該色に対応するＲＧＢの値の範囲、画素が占める割合のしきい値などの設定値は、動画再生装置１００の製造時などにあらかじめ設定されることができ、ユーザもこれらの設定値を任意に変更することができるものである。また、単色画像判断部１１０は、例えば、白色および黒色の単色画像といったように、複数の色を判断対象とすることもできる。
【００４９】
また、単色画像判断部１１０により単色画像として判断される色は、特定の色に限定されるわけではない。したがって、単色画像判断部１１０は、例えば、各画素のＲＧＢの値をＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｂｒｉｇｈｔｎｅｓ）に変換することにより、当該画素が特定の色であるかを判断することなども可能である。このように、単色画像判断部１１０は、サムネイル候補画像を構成する画素の特徴量と、当該特徴量に関してあらかじめ設定された所定のしきい値と、に基づいてサムネイル候補画像が特定の色の単色画像であるか否かを判断することができる。したがって、サムネイル候補画像を構成する画素の特徴量に基づいて当該画素の色を判断することが可能であれば、本実施形態に係る単色画像判断部１１０により実行される単色画像判断処理の手法は特定の方式に限定されるものではない。
【００５０】
（決定サムネイル画像記憶部１１２）
決定サムネイル画像記憶部１１２は、単色画像判断部１１０により転送された決定サムネイル画像を保存する記憶領域である。このようにして決定サムネイル画像記憶部１１２に保存される決定サムネイル画像は、後述するメニュー画像合成処理部１１６によるメニュー画像の生成に利用されることとなる。なお、決定サムネイル画像記憶部１１２は、決定サムネイル画像を記憶しておくことが可能な記憶領域を備えていれば、特定の記憶装置に限定されるものではない。また、例えば、上述した動画ファイル記憶部１０２に決定サムネイル画像記憶部１１２が備えられてもよい。
【００５１】
（メニュー基礎画像生成部１１４）
メニュー基礎画像生成部１１４は、表示装置１２０に表示させるメニュー画面を構成する各種グラフィックパーツを生成する。メニュー基礎画像生成部１１４が生成するグラフィックパーツとしては、例えば、メニュー画面の背景、選択ボタンなどのＧＵＩ、動画ファイルの名称や番号などの文字等が挙げられるが、これらに限定されるものではない。
【００５２】
メニュー基礎画像生成部１１４は、制御部１２２や表示制御部１１８からの指示に応じて、各種グラフィックパーツを生成する。詳細は後述するが、表示制御部１１８は、例えば、メニュー画面に表示するサムネイル画像の数や配置などを任意に設定することができる。したがって、表示制御部１１８が設定したメニュー画面の表示設定に基づいて、制御部１２２がメニュー基礎画像生成部１１４にグラフィックパーツの生成を指示することができる。これにより、メニュー基礎画像生成部１１４は、表示制御部１１８により設定されたメニュー画面の表示設定に対応するグラフィックパーツを生成することができる。
【００５３】
（メニュー画像合成処理部１１６）
メニュー画像合成処理部１１６は、メニュー基礎画像生成部１１４により生成されたグラフィックパーツに、決定サムネイル画像記憶部１１２に保存されている所定の決定サムネイル画像を合成して、表示装置１２０に表示させるメニュー画像を生成する。メニュー画像合成処理部１１６は、制御部１２２や表示制御部１１８からの指示に応じて、メニュー画像を生成する。詳細は後述するが、表示制御部１１８は、１のメニュー画面に表示させるサムネイル画像の数量を任意に設定することができる。したがって、表示制御部１１８が設定したメニュー画面の表示設定に基づいて、制御部１２２がメニュー画像合成処理部１１６にメニュー画像の生成を指示することができる。これを受けて、メニュー画像合成処理部１１６は、表示制御部１１８により設定されたメニュー画面の表示設定に対応するメニュー画像を生成することができる。このようにして生成されたメニュー画像は、表示制御部１１８によって表示装置１２０に表示されることとなる。
【００５４】
（表示制御部１１８）
表示制御部１１８は、表示装置１２０へのメニュー画面の表示を制御する。表示制御部１１８は、例えば、メニュー画面に表示させるサムネイル画像の数や位置、操作ＧＵＩの種類、背景色や背景画像の種類など、メニュー表示に関する各種設定を行うことができる。ユーザは、例えば、動画再生装置１００が備える操作入力部（図示せず）やリモートコントローラなどを操作することにより、表示装置１２０に表示されるメニュー表示の詳細設定の変更を動画再生装置１００に指示することができる。表示制御部１１８は、このようなユーザからの指示に応じて、メニュー画面の表示設定を適宜変更することができる。表示制御部１１８は、このようにして設定されるメニュー画面の表示設定に関する情報を、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＨＤＤなどの不揮発性の記憶領域に記録しておくことができる。上述したように、このように表示制御部１１８により設定されたメニュー画面の表示設定に関する情報に基づいて、メニュー画像合成処理部１１６がメニュー画像を生成する。
【００５５】
また、表示制御部１１８は、表示装置１２０に表示されるメニュー画面をユーザからの指示に応じて適宜変更することもできる。動画ファイル記憶部１０２に多数の動画ファイルが保存されている場合、１のメニュー画面ではすべての動画ファイルに対応するサムネイル画像を表示させることができない場合もある。このような場合、表示制御部１１８は、メニュー画像合成処理部１１６に対して、設定された数量の決定サムネイル画像を含むメニュー画像を複数生成させることができる。表示制御部１１８は、このようにして生成された複数のメニュー画像の中から、ユーザによる操作指示に応じて、適切なメニュー画像を表示装置１２０に表示させることができる。
【００５６】
このように、表示制御部１１８は、表示装置１２０へのメニュー画面の表示を制御するものであり、上述した以外にも表示制御に関する各種機能を備えてもよい。例えば、表示制御部１１８は、生成された決定サムネイル画像を、表示装置１２０の表示性能に適合するような画像ファイルに圧縮したり、表示装置１２０の表示形式に適合するような画像フォーマットに変換したりすることなども当然に可能である。
【００５７】
（表示装置１２０）
表示装置１２０は、ユーザが再生する動画ファイルを選択する際に、動画ファイルに対応するサムネイル画像を含むメニュー画面を表示するディスプレイを備えた表示装置である。表示装置１２０は、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどのディスプレイなどから構成されるが、本実施形態においては、所定の画像を表示可能であれば特定のディスプレイに限定されるものではない。
【００５８】
また、表示装置１２０は、本実施形態に係る動画再生装置１００自体に備えられることはもちろん、動画再生装置１００と接続される外部機器に備えられてもよい。これは、例えば、動画再生装置１００が、ＨＤＤレコーダやＤＶＤレコーダなどの録画再生装置である場合、上述した表示制御部１１８は、外部接続されたテレビに備えられる表示装置１２０にメニュー画像を転送して表示させてもよい。
【００５９】
（制御部１２２）
制御部１２２は、上述した動画再生装置１００の各種機能構成部を制御する。制御部１２２は、例えば、ＲＯＭ（図示せず）などに記録されているプログラムなどに基づいて、上述した各種機能構成部の処理結果やユーザからの指示に応じて、各種機能構成部を制御することができる。例えば、上述したように、単色画像判断部１１０によりサムネイル候補画像がサムネイル画像として適切でないと判断された場合には、フレーム画像抽出部１０４は、動画ファイルをフレーム送りして次のフレーム画像を新しいサムネイル候補画像として抽出する。この場合、制御部１２２は、フレーム画像抽出部１０４に対して、動画ファイルをフレーム送りして次のフレーム画像を新しいサムネイル候補画像として抽出するように制御するサムネイル候補画像更新制御部として機能することができる。なお、制御部１２２が各種機能構成部を制御することにより、メニュー画面を表示装置１２０に表示させる処理の流れの詳細については、後述する処理フローにおいて説明する。
【００６０】
以上、本実施形態に係る動画再生装置１００の機能構成について説明した。なお、上述したように、上記機能構成は、本実施形態を説明する上での一例であり、動画再生装置１００が備える機能はこれらに限定されるものではない。
【００６１】
（２−２．サムネイル一覧表示の処理フロー）
次に、上記のように構成される動画再生装置１００が、動画ファイル記憶部１０２に保存されている動画ファイルに対応するサムネイル画像を、メニュー画面として表示装置１２０に表示させる処理の流れについて説明する。図２は、動画再生装置１００が、メニュー画面を表示装置１２０に表示させる処理の流れの一例を示すフロー図である。なお、図２に示した処理は、例えば、ユーザが動画ファイルの再生リストのメニュー画面表示を動画再生装置１００に指示した際に、上述した各機能構成部により実行される。
【００６２】
図２に示すように、まずステップ２００において、フレーム画像抽出部１０４は、動画ファイル記憶部１０２に保存されている少なくとも１以上の動画ファイルの中から、１の動画ファイルを選択する。さらに、フレーム画像抽出部１０４は、当該動画ファイルを構成するフレーム画像からサムネイル候補画像を抽出する。上述したように、フレーム画像抽出部１０４は、例えば、動画ファイルを構成するフレーム画像の中から先頭フレーム画像を、サムネイル候補画像として抽出することができる。その後、フレーム画像抽出部１０４により抽出されたサムネイル候補画像は、サムネイル候補画像記憶部１０６へ転送されて一時的に保存される。
【００６３】
次に、ステップ２０２において、画像判断部１０８を構成する単色画像判断部１１０は、ステップ２００によりサムネイル候補画像記憶部１０６に保存されたサムネイル候補画像が、単色画像であるか否かを判断する。
【００６４】
ステップ２０２によりサムネイル候補画像が単色画像であると判断された場合、ステップ２０４において、制御部１２２は、ステップ２００により抽出されたサムネイル候補画像が、動画ファイルの最終フレーム画像であるか否かを判断する。最終フレーム画像でないと判断された場合、制御部１２２は、フレーム画像抽出部１０４に対して、動画ファイルをフレーム送りして次のフレーム画像を新しいサムネイル候補画像として抽出するように指示する。
【００６５】
これを受けてフレーム画像抽出部１０４は、ステップ２０６において、動画ファイルをステップ２００により抽出したフレーム画像から所定フレーム進めて、再度ステップ２００において、当該フレーム画像を新しいサムネイル候補画像として抽出する。このように、サムネイル候補画像が単色画像でなくなるまで、ステップ２００〜ステップ２０６の処理が繰り返し行われることとなる。
【００６６】
一方ステップ２０２によりサムネイル候補画像が単色画像でないと判断された場合、ステップ２０８において、単色画像判断部１１０は、当該サムネイル候補画像を決定サムネイル画像として、決定サムネイル画像記憶部１１２に保存する。
【００６７】
また、ステップ２０４によりサムネイル候補画像が最終フレーム画像であると判断された場合も同様に、ステップ２０８において、単色画像判断部１１０は、当該サムネイル候補画像を決定サムネイル画像として、決定サムネイル画像記憶部１１２に保存する。これは、例えば、撮影ミスなどにより動画ファイルが単色画像のフレーム画像のみから構成される場合などであり、このような場合は、単色画像であっても決定サムネイル画像として決定サムネイル画像記憶部１１２に保存される。
【００６８】
その後、ステップ２１０において、メニュー画像合成処理部１１６は、ステップ２０８により保存された決定サムネイル画像を含むメニュー画像を生成する。なお、メニュー画像合成処理部１１６は、ステップ２０８により決定サムネイル画像が決定サムネイル画像記憶部１１２に保存される毎に、ステップ２１０において、メニュー画像を更新することができる。
【００６９】
その後、制御部１２２は、ステップ２１２において、動画ファイル記憶部１０２に保存されているすべての動画ファイルに対応する決定サムネイル画像を含むメニュー画像が生成されたか否かを判断する。
【００７０】
ステップ２１２により、すべての動画ファイルに対応する決定サムネイル画像を含むメニュー画像が生成されていないと判断された場合、制御部１２２は、フレーム画像抽出部１０４に対して、別の動画ファイルのサムネイル候補画像を抽出するように指示する。これを受けてフレーム画像抽出部１０４は、再度ステップ２００において、動画ファイル記憶部１０２に保存されている別の動画ファイルを選択し、当該動画ファイルを構成するフレーム画像からサムネイル候補画像を抽出する。その後、ステップ２１２により、すべての動画ファイルに対応する決定サムネイル画像を含むメニュー画像が生成されたと判断されるまで、上記ステップ２００〜ステップ２１２と同様の処理が繰り返し行われる。
【００７１】
最終的にステップ２１２により、すべての動画ファイルに対応する決定サムネイル画像を含むメニュー画像が生成されたと判断された場合、表示制御部１１８がメニュー画像を表示装置１２０に表示させることによりメニュー画面の表示処理が終了する。
【００７２】
図３は、上記処理フローにより、表示装置１２０に表示されるメニュー画面の一例を示す説明図である。なお、図３において表示されるサムネイル画像に対応する動画ファイルは、上述した図９において表示されるサムネイル画像に対応する動画ファイルと同一の動画ファイルである。図３を参照すると、単色画像によるフェードインのエフェクト処理が施された動画ファイル１、４、６についても、メニュー画面には、単色画像以外のサムネイル画像が表示されていることがわかる。
【００７３】
以上、本発明の第１実施形態に係る動画再生装置１００について説明した。上述したように、第１実施形態に係る動画再生装置１００は、動画ファイルにエフェクト処理が施されている場合においても、各動画ファイルに対応するサムネイル画像を、単色画像以外のフレーム画像でメニュー画面に表示させることができる。また、メニュー画面に表示されるサムネイル画像は、実際に動画ファイルが再生されたときに再生されるフレーム画像の１つである。この結果、ユーザは、メニュー画面に表示されたサムネイル画像を見て希望する動画ファイルを容易に識別でき、当該動画ファイルの再生を動画再生装置に指示することができる。
【００７４】
また、第１実施形態に係る動画再生装置１００は、上述した従来技術のように、エフェクト処理が施される前の原動画ファイルを別途保存しておく必要がない。また、第１実施形態に係る動画再生装置１００は、動画ファイルを構成するフレーム画像をフレーム送りすることのみにより、単色画像によるサムネイル表示を回避することができる。したがって、記憶領域の増加や、処理の複雑化などといった問題を解消することも可能である。
【００７５】
（３．第２実施形態）
次に、本発明の第２実施形態に係る動画再生装置２００の詳細について説明する。第２実施形態に係る動画再生装置２００は、上記第１実施形態に係る動画再生装置１００により提供されるユーザビリティをさらに高めること可能とする。具体的には、第２実施形態に係る動画再生装置２００は、画像判断部２０２が、上述した単色画像判断に加えて類似性判断を行うことにより、メニュー画面に類似するサムネイル画像が表示されることを防止することができる。
【００７６】
図３に示したように、第１実施形態に係る動画再生装置１００は、エフェクト処理が施された画像に対して単色画像以外のサムネイル画像をメニュー画面に表示させることができる。しかしながら、例えば、図３に示した動画ファイル２と動画ファイル６のように、単色画像判断部１１０により決定された決定サムネイル画像が類似する場合もある。これは、例えば、シリーズ番組などが繰り返し録画された動画ファイルの場合や、類似する被写体から撮影が開始された動画ファイルなどの場合が想定される。このような動画ファイルの場合、先頭のフレーム画像が類似するため、メニュー画面に表示されるサムネイル画像も類似する画像となってしまうという問題が発生する場合がある。このように、メニュー画面に表示されるサムネイル画像が類似する場合、ユーザは、表示されたサムネイル画像の一覧を参考にして、希望する画像ファイルを選択することが困難となってしまう。そこで、第２実施形態に係る動画再生装置２００は、このような問題点を解消し、ユーザビリティをさらに高めることを可能とする。以下、このような特徴を有する第２実施形態に係る動画再生装置２００の詳細について説明する。
【００７７】
（３−１．動画再生装置２００の機能構成）
図４は、第２実施形態に係る動画再生装置２００の機能構成の一例を示すブロック図である。図４に示すように、第２実施形態に係る動画再生装置２００は、上述した第１実施形態に係る動画再生装置１００と比較して、画像判断部２０２が単色画像判断部１１０に加えて類似画像判断部２０４を備えている点が異なる。なお、以下の説明においては、上述した第１実施形態に係る動画再生装置１００と異なる画像判断部２０２について中心に説明する。
【００７８】
（画像判断部２０２）
図４に示すように、画像判断部２０２は主に、上述した単色画像判断部１１０と類似画像判断部２０４とを含んで構成される。単色画像判断部１１０は、上述した第１実施形態に係る動画再生装置１００と同様に、サムネイル候補画像が単色画像か否かを判断することにより、当該サムネイル候補画像がメニュー画面に表示させるサムネイル画像として適切であるか否かを判断する。単色画像判断部１１０は、制御部１２２による指示に応じて、サムネイル候補画像記憶部１０６に保存されているサムネイル候補画像が単色画像か否かを判断する。
【００７９】
サムネイル候補画像が単色画像であると判断された場合、判断結果を受けて制御部１２２は、サムネイル候補画像記憶部１０６に保存されている当該サムネイル候補画像を消去し、フレーム画像抽出部１０４に次の新しいサムネイル候補画像の抽出を指示する。これを受けて、フレーム画像抽出部１０４は、動画ファイルを前回抽出したフレーム画像から所定フレームだけ進めたフレーム画像を新しいサムネイル候補画像として抽出し、再度サムネイル候補画像記憶部１０６へ転送する。これにより、単色画像判断部１１０は、サムネイル候補画像が単色画像でないと判断されるまで、繰り返しサムネイル候補画像記憶部１０６に保存されているサムネイル候補画像に対して単色画像判断処理を実行する。
【００８０】
一方、サムネイル候補画像が単色画像でないと判断された場合、第２実施形態に係る動画再生装置２００では、類似画像判断部２０４は、サムネイル候補画像に対して類似画像判断処理を実行する。具体的には、類似画像判断部２０４は、サムネイル候補画像と、決定サムネイル画像記憶部１１２に保存されている決定サムネイル画像とが類似するか否かを判断する。上述したように、決定サムネイル画像記憶部１１２に保存されている決定サムネイル画像は、メニュー画像に合成されてメニュー画面に表示されることとなる。したがって、類似画像判断部２０４は、サムネイル候補画像が、このように既にメニュー画面に表示されることが決定されている決定サムネイル画像と類似するか否かを判断する。これにより、類似するサムネイル画像がメニュー画面に表示されることを防止することができる。
【００８１】
類似画像判断部２０４によりサムネイル候補画像が、決定サムネイル画像記憶部１１２に保存されている決定サムネイル画像と類似すると判断された場合、フレーム画像抽出部１０４により次の新しいサムネイル候補画像が抽出される。すなわち、類似画像判断部２０４による判断結果を受けて制御部１２２は、サムネイル候補画像記憶部１０６に保存されている当該サムネイル候補画像を消去し、フレーム画像抽出部１０４に次の新しいサムネイル候補画像の抽出を指示する。これを受けて、フレーム画像抽出部１０４は、動画ファイルを前回抽出したフレーム画像から所定フレームだけ進めたフレーム画像を新しいサムネイル候補画像として抽出し、再度サムネイル候補画像記憶部１０６へ転送する。その後、単色画像判断部１１０および類似画像判断部２０４による判断処理が再度行われる。これにより、単色画像でなく、かつ決定サムネイル画像と類似していないと判断されるまで、繰り返しサムネイル候補画像記憶部１０６に保存されているサムネイル候補画像に対して単色画像判断処理および類似画像判断処理が実行されることとなる。この結果、決定サムネイル画像記憶部１１２に保存される決定サムネイル画像は、単色画像でなく、かついずれの決定サムネイル画像とも類似しない画像となる。
【００８２】
なお、類似画像判断部２０４は、種々の観点からサムネイル候補画像と、決定サムネイル画像との類似画像判断処理を実行することができる。例えば、類似画像判断部２０４は、両画像を構成する画素の輝度や明るさなどの特徴量分布、肌色検出などによる人間の顔の位置検出、被写体の輪郭線の近似性などの種々の観点から両画像が類似するか否かを判断することができる。このように、類似画像判断部２０４は、２つの画像が類似するか否かを判断することが可能であれば、類似性を判断する手法は特定の手法に限定されるものではない。第２実施形態に係る動画再生装置２００は、このような類似性判断処理の処理プログラムや、判断基準となるしきい値などをあらかじめＲＯＭなどに記憶させておくことができる。これにより、類似画像判断部２０４は、処理プログラムや設定されたしきい値などに応じて類似性判断処理を実行することができる。また、処理プログラムやしきい値などは適宜ユーザなどによって更新されることができるものであり、特定のプログラムやしきい値などに限定されるものではない。
【００８３】
（３−２．サムネイル一覧表示の処理フロー）
次に、上記のように構成される第２実施形態に係る動画再生装置２００が、動画ファイル記憶部１０２に保存されている動画ファイルに対応するサムネイル画像を、メニュー画面として表示装置１２０に表示させる処理の流れについて説明する。図５は、動画再生装置２００が、メニュー画面を表示装置１２０に表示させる処理の流れの一例を示すフロー図である。なお、図５に示した処理は、例えば、ユーザが動画ファイルの再生リストのメニュー画面表示を動画再生装置２００に指示した際に、上述した各機能構成部により実行される。
【００８４】
図５に示すように、まずステップ５００において、フレーム画像抽出部１０４は、動画ファイル記憶部１０２に保存されている少なくとも１以上の動画ファイルの中から、１の動画ファイルを選択して、サムネイル候補画像を抽出する。上述したように、フレーム画像抽出部１０４は、例えば、動画ファイルを構成するフレーム画像の中から先頭フレーム画像を、サムネイル候補画像として抽出することができる。その後、フレーム画像抽出部１０４により抽出されたサムネイル候補画像は、サムネイル候補画像記憶部１０６へ転送されて一時的に保存される。
【００８５】
次に、ステップ５０２において、画像判断部１０８を構成する単色画像判断部１１０は、ステップ５００によりサムネイル候補画像記憶部１０６に保存されたサムネイル候補画像が、単色画像であるか否かを判断する。
【００８６】
ステップ５０２によりサムネイル候補画像が単色画像であると判断された場合、ステップ５０４において、制御部１２２は、ステップ５００により抽出されたサムネイル候補画像が、動画ファイルの最終フレーム画像であるか否かを判断する。最終フレーム画像でないと判断された場合、制御部１２２は、フレーム画像抽出部１０４に対して、動画ファイルをフレーム送りして次のフレーム画像を新しいサムネイル候補画像として抽出するように指示する。
【００８７】
これを受けてフレーム画像抽出部１０４は、ステップ５０６において、動画ファイルをステップ５００により抽出したフレーム画像から所定フレーム進めて、再度ステップ５００において、当該フレーム画像を新しいサムネイル候補画像として抽出する。このように、サムネイル候補画像が単色画像でなくなるまで、ステップ５００〜ステップ５０６の処理が繰り返し行われることとなる。
【００８８】
一方、ステップ５０２によりサムネイル候補画像が単色画像でないと判断された場合、ステップ５０８において、当該動画ファイルが単色画像判断部１１０により判断処理が実行された最初の動画ファイルであるか否かが判断される。最初の動画ファイルであると判断された場合、類似性判断の対象となる決定サムネイル画像は、決定サムネイル画像記憶部１１２にはまだ保存されていないことを意味する。この場合、単色画像判断部１１０は、ステップ５１４において、当該サムネイル候補画像を最初の決定サムネイル画像として、決定サムネイル画像記憶部１１２に保存する。
【００８９】
一方、ステップ５０８により最初の動画ファイルでないと判断された場合、類似性判断の対象となる少なくとも１以上の決定サムネイル画像が、決定サムネイル画像記憶部１１２に既に保存されていることを意味する。この場合、類似画像判断部２０４は、ステップ５１０において、当該サムネイル候補画像が、決定サムネイル画像記憶部１１２に保存されているすべての決定サムネイル画像と類似するか否かを判断する類似画像判断処理を実行する。
【００９０】
その後、ステップ５１２により、サムネイル候補画像がいずれかの決定サムネイル画像と類似していると判断された場合、上述したステップ５０４〜ステップ５１０の処理が再度行われることとなる。すなわち、フレーム画像抽出部１０４が、動画ファイルを所定フレーム進めて、当該フレーム画像を新しいサムネイル候補画像として抽出する。その後、単色画像判断部１１０により当該サムネイル候補画像が単色画像でないと判断された後に、再度ステップ５１０において、類似画像判断部２０４による類似画像判断処理が実行される。このように、サムネイル候補画像がいずれの決定サムネイル画像とも類似していないと判断されるまで、ステップ５００〜ステップ５１２の処理が繰り返し行われることとなる。
【００９１】
一方、サムネイル候補画像がいずれの決定サムネイル画像とも類似していないと判断された場合、類似画像判断部２０４は、ステップ５１４において、当該サムネイル候補画像を、決定サムネイル画像として決定サムネイル画像記憶部１１２に保存する。
【００９２】
その後、ステップ５１６において、メニュー画像合成処理部１１６は、ステップ５１４により保存された決定サムネイル画像を含むメニュー画像を生成する。なお、メニュー画像合成処理部１１６は、ステップ５１４により決定サムネイル画像が決定サムネイル画像記憶部１１２に保存される毎に、ステップ５１６において、メニュー画像を更新することができる。
【００９３】
その後、制御部１２２は、ステップ５１８において、動画ファイル記憶部１０２に保存されているすべての動画ファイルに対応する決定サムネイル画像を含むメニュー画像が生成されたか否かを判断する。
【００９４】
ステップ５１８により、すべての動画ファイルに対応する決定サムネイル画像を含むメニュー画像が生成されていないと判断された場合、制御部１２２は、フレーム画像抽出部１０４に対して、別の動画ファイルのサムネイル候補画像を抽出するように指示する。これを受けてフレーム画像抽出部１０４は、再度ステップ５００において、動画ファイル記憶部１０２に保存されている別の動画ファイルを選択し、当該動画ファイルを構成するフレーム画像からサムネイル候補画像を抽出する。その後、ステップ５１８により、すべての動画ファイルに対応する決定サムネイル画像を含むメニュー画像が生成されたと判断されるまで、上記ステップ５００〜ステップ５１８と同様の処理が繰り返し行われる。
【００９５】
最終的にステップ５１８により、すべての動画ファイルに対応する決定サムネイル画像を含むメニュー画像が生成されたと判断された場合、表示制御部１１８がメニュー画像を表示装置１２０に表示させることによりメニュー画面の表示処理が終了する。
【００９６】
図６は、上記処理フローにより、表示装置１２０に表示されるメニュー画面の一例を示す説明図である。なお、図６において表示されるサムネイル画像に対応する動画ファイルは、上述した図３において表示されるサムネイル画像に対応する動画ファイルと同一の動画ファイルである。図６を参照すると、第１実施形態において動画ファイル２と類似するサムネイル画像が表示されていた動画ファイル６については、動画ファイル２に対応するサムネイル画像と類似しなくなるまでフレーム送りされたサムネイル画像が表示されていることがわかる。
【００９７】
以上、本発明の第２実施形態に係る動画再生装置２００について説明した。上述したように、第２実施形態に係る動画再生装置２００は、上述した第１実施形態に係る動画再生装置１００と同様に、動画ファイルにエフェクト処理が施されている場合においても、単色画像以外のサムネイル画像をメニュー画面に表示させることができる。さらに、第２実施形態に係る動画再生装置２００は、メニュー画面に表示されるサムネイル画像が他のサムネイル画像と類似することを防止することができる。この結果、ユーザはメニュー画面に表示されたサムネイル画像を見て、希望する動画ファイルを容易に識別することができ、ユーザビリティをさらに高めることができる。
【００９８】
（４．変形例）
第２実施形態に係る動画再生装置２００は、サムネイル候補画像が、決定サムネイル画像記憶部１１２に保存されているすべての決定サムネイル画像と類似するか否かを判断することにより、類似するサムネイル画像がメニュー画面に表示されることを防止する。しかしながら、動画再生装置２００の動画ファイル記憶部１０２に多数の動画ファイルが保存されている場合には、上述した類似画像判断処理の負担が増加し、処理時間が長くなってしまうことも考えられる。このような場合、動画再生装置２００は、必ずしもサムネイル候補画像が、決定サムネイル画像記憶部１１２に保存されているすべての決定サムネイル画像に対して類似するか否かを判断する必要はない。
【００９９】
例えば、上述したように、表示制御部１１８は、メニュー画面に表示するサムネイル画像の数を任意に設定することができる。この結果、同一のメニュー画面には、表示制御部１１８により設定された数のサムネイル画像のみが表示され、ユーザによる操作指示などに応じて、設定された数のサムネイル画像を含むメニュー画像が順次切り替えられていくこととなる。
【０１００】
このような場合、類似画像判断部２０４は、サムネイル候補画像に対して、当該サムネイル候補画像に対応する動画ファイルと同一のメニュー画面に表示される動画ファイルに対応する決定サムネイル画像のみと類似画像判断処理を実行してもよい。例えば、図６に示した例では、類似画像判断部２０４は、動画ファイル６に対応するサムネイル候補画像に対しては、動画ファイル１〜５に対応する決定サムネイル画像のみと類似画像判断処理を実行する。すなわち、類似画像判断部２０４は、決定サムネイル画像記憶部１１２に保存されている多数の動画ファイルのうち動画ファイル１〜５以外の動画ファイルに対応する決定サムネイル画像とは、類似画像判断処理を実行しない。このような場合であっても、同一のメニュー画面には、互いに類似しないサムネイル画像を表示させることができる。また、所定数量の決定サムネイル画像に対してのみ類似画像判断処理を行うため、類似画像判断処理の負担を軽減でき、処理時間を短縮することでユーザビリティをさらに高めることもできる。
【０１０１】
また、表示制御部１１８は、例えば、動画ファイルを所定の基準により複数のカテゴリに分類し、カテゴリに基づく階層構造でメニュー画面を表示させることもできる。表示制御部１１８は、例えば、動画ファイル記憶部１０２に保存されている複数の動画ファイルを、撮影場所、撮影日時、ジャンル、撮影者などの所定の基準に基づいてカテゴリに分類することができる。表示制御部１１８は、このようにしてカテゴリに分類した複数の動画ファイルを、あらかじめ設定された数のサムネイル画像毎にメニュー画面に表示させることができる。
【０１０２】
図７は、表示制御部１１８により、撮影日時に基づいて分類された動画ファイルを階層構造でメニュー表示する概念を示す説明図である。図７に示すように、メニュー画面のトップ画面には、撮影日時毎に分類された動画ファイルが階層構造で表示される。図７に示す例では、７月２０日に撮影された動画ファイルは３ページのサブメニュー画面から構成され、各サブメニュー画面には６つの動画ファイルに対応するサムネイル画像が表示されている。同様に、７月２１日に撮影された動画ファイルは、７ページのサブメニュー画面から構成され、７月２２日に撮影された動画ファイルは、１５ページのサブメニュー画面から構成されていることがわかる。
【０１０３】
ユーザは、例えば、操作部やリモートコントローラなどを操作することにより、任意の撮影日時のサブメニュー画面を選択して閲覧することができる。このとき上述した変形例のように同一メニュー画面に表示される動画ファイルに対応する決定サムネイル画像に対してのみ類似画像判断処理を行った場合、同一階層下の異なるメニュー画面に類似するサムネイル画像が表示される場合がある。例えば、図７に示した例では、７月２０日の階層下においては３つのサブメニュー画面が存在するが、３ページ目の動画ファイル１５については、他のページ１および２に表示される動画ファイルに対応する決定サムネイル画像とは類似画像判断が行われない。この結果、動画ファイル１５については、動画ファイル２に対応するサムネイル画像と類似するサムネイル画像が表示されてしまう場合がある。
【０１０４】
このような場合、類似画像判断部２０４は、サムネイル候補画像に対して、当該サムネイル候補画像に対応する動画ファイルと同一の階層下のサブメニュー画面に表示される動画ファイルに対応する決定サムネイル画像のみと類似画像判断処理を実行してもよい。図８は、このような変形例の動画再生装置２００において、表示制御部１１８により、撮影日時に基づいて分類された動画ファイルを階層構造でメニュー表示する概念を示す説明図である。図８を参照すると、動画ファイル１５については、動画ファイル２に対応するサムネイル画像と類似しなくなるまでフレーム送りされたサムネイル画像が表示されていることがわかる。
【０１０５】
このように、同一カテゴリに分類された動画ファイルについてのみ類似性判断を行うことにより、類似画像判断処理の負担を軽減でき、処理時間を短縮することができる。また、同一階層下においては、類似するサムネイル画像が表示されることはないため、ユーザは、同一階層下に表示されるサムネイル画像を見て、希望する動画ファイルを容易に識別することができ、ユーザビリティをさらに高めることができる。
【０１０６】
（５．まとめ）
以上、本発明の実施形態に係る動画再生装置の詳細について説明した。上述したように、本発明の実施形態に係る動画再生装置は、動画ファイルにエフェクト処理が施されている場合においても、各動画ファイルに対応するサムネイル画像を、単色画像以外のフレーム画像でメニュー画面に表示させることができる。また、本発明の実施形態に係る動画再生装置は、メニュー画面において、互いに類似しないサムネイル画像を表示させることもできる。この結果、ユーザはメニュー画面に表示されたサムネイル画像を見て、希望する動画ファイルの再生を動画再生装置に指示することができ、ユーザビリティを高めることが可能である。
【０１０７】
また、本発明の実施形態に係る動画再生装置は、上述した従来技術のように、エフェクト処理が施される前の原動画ファイルを別途保存しておく必要がない。また、本発明の実施形態に係る動画再生装置は、動画ファイルを構成するフレーム画像をフレーム送りすることのみにより、単色画像によるサムネイル表示を回避することができる。さらに、本発明の実施形態に係る動画再生装置は、類似画像判断処理を所定の範囲内のみに制限することもできる。このように、本発明の実施形態に係る動画再生装置は、記憶領域の増加や、処理の複雑化などといった問題を解消することもでき、メニュー画面の表示処理の負担を軽減し、処理時間を短縮することもできる。
【０１０８】
また、本発明の実施形態に係る動画再生装置は、例えば、一度サムネイル画像として決定されたフレーム画像については、動画ファイルと関連付けて不揮発性の記憶領域に保存しておくこともできる。これにより、次回メニュー表示を実行する際には、同じ動画ファイルについては、サムネイル画像の決定処理を省略することもできる。この結果、本発明の実施形態に係る動画再生装置は、処理の簡易化や処理時間などの効率性をさらに高めることもできる。
【０１０９】
以上の結果、本発明の実施形態に係る動画再生装置は、ユーザビリティの高いサムネイル画像の一覧を効率よく表示することが可能である。
【０１１０】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１１１】
例えば、上記実施形態において説明したメニュー表示は、上記実施形態を説明する上での一例であり、本発明はかかる例に限定されない。例えば、１のメニュー画面に表示されるサムネイル画像の数や位置、操作ＧＵＩの種類や位置、動画ファイルのカテゴリの種類などは、任意に設定・変更することができるものであり、上述した説明や各図の例に限定されるものではない。
【０１１２】
また、フレーム画像抽出部１０４が最初に抽出するフレーム画像は、必ずしも動画ファイルを構成するフレーム画像の先頭フレーム画像である必要はなく、異なる任意の位置のフレーム画像であってもよい。また、制御部１２２による指示に応じてフレーム送りをするフレームの数も、任意に設定・変更されるものであり、必ずしも１フレームずつフレーム送りをしなくてもよい。
【０１１３】
また、本明細書において、フロー図に記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【図面の簡単な説明】
【０１１４】
【図１】第１実施形態に係る動画再生装置１００の機能構成の一例を示すブロック図である。
【図２】第１実施形態に係る動画再生装置１００が、メニュー画面を表示装置１２０に表示させる処理の流れの一例を示すフロー図である。
【図３】第１実施形態において、図２の処理フローにより表示装置１２０に表示されるメニュー画面の一例を示す説明図である。
【図４】第２実施形態に係る動画再生装置２００の機能構成の一例を示すブロック図である。
【図５】第２実施形態に係る動画再生装置２００が、メニュー画面を表示装置１２０に表示させる処理の流れの一例を示すフロー図である。
【図６】第２実施形態において、図５の処理フローにより表示装置１２０に表示されるメニュー画面の一例を示す説明図である。
【図７】変形例に係る動画再生装置２００において、撮影日時に基づいて分類された動画ファイルを階層構造でメニュー表示する概念を示す説明図である。
【図８】変形例に係る動画再生装置２００において、撮影日時に基づいて分類された動画ファイルを階層構造でメニュー表示する別の概念を示す説明図である。
【図９】従来の動画再生装置により、動画ファイルの一覧をサムネイル画像で表示した場合の表示例を示す説明図である。
【図１０】従来の動画再生装置により、エフェクト処理が施された動画ファイルの一覧に対して、原画像に基づいてサムネイル画像を生成する概念を示す説明図である。
【符号の説明】
【０１１５】
１００、２００    動画再生装置
１０２    記憶部
１０４    フレーム画像抽出部
１０６    サムネイル候補画像記憶部
１０８、２０２    画像判断部
１１０    単色画像判断部
１１２    決定サムネイル画像記憶部
１１４    メニュー基礎画像生成部
１１６    メニュー画像合成処理部
１１８    表示制御部
１２０    表示装置
１２２    制御部
２０４    類似画像判断部
【図１】
2010093348.tif 000003
【図２】
2010093348.tif 000004
【図３】
2010093348.tif 000005
【図４】
2010093348.tif 000006
【図５】
2010093348.tif 000007
【図６】
2010093348.tif 000008
【図７】
2010093348.tif 000009
【図８】
2010093348.tif 000010
【図９】
2010093348.tif 000011
【図１０】
2010093348.tif 000012