(57)【要約】【課題】様々な再生状況に対応したレーティング情報の付与を可能にするすることを課題とする。【解決手段】ＣＰＵ（１０１）は、動画の再生状況を表す再生ステータスとユーザの指示入力とに基づいて、動画を構成する各フレームの中から、注目フレームと、時間軸上で前記注目フレームの周囲に存在している複数のフレームからなるフレーム群とを決定する。さらに、ＣＰＵ（１０１）は、再生ステータスとユーザの指示入力とに基づいて、注目フレームとフレーム群の各フレームに対してそれぞれ付与されるレーティング情報を決定する。そして、ＣＰＵ（１０１）は、注目フレームとフレーム群の各フレームに対して、決定されたレーティング情報をそれぞれ付与する。【選択図】図１
2017085371.tif 000002
【特許請求の範囲】
【請求項１】
動画の再生状況を表す再生ステータスとユーザの指示入力とに基づいて、動画を構成する各フレームの中から、注目フレームと、時間軸上で前記注目フレームの周囲に存在している複数のフレームからなるフレーム群とを、決定する決定手段と、
前記再生ステータスと前記指示入力とに基づいて、前記注目フレームと前記フレーム群の各フレームに対してそれぞれ付与するレーティング情報を決定し、前記注目フレームと前記フレーム群の各フレームに対して、前記決定したレーティング情報をそれぞれ付与する付与手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、動画を構成する各フレームの中から、前記指示入力に基づいて前記注目フレームを決定し、前記再生ステータスに基づいて前記フレーム群となる複数のフレームを決定し、
前記付与手段は、前記指示入力に基づいて前記注目フレームに付与するレーティング情報を決定し、前記注目フレームに付与するレーティング情報と前記再生ステータスとに基づいて前記フレーム群の各フレームにそれぞれ付与するレーティング情報を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記再生ステータスが複数種類の再生状況の中のいずれの再生状況を表す再生ステータスであるかに応じて、前記フレーム群に含めるフレームの数を変更することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記付与手段は、前記再生ステータスが複数種類の再生状況の中のいずれの再生状況を表す再生ステータスであるかに応じて、前記フレーム群の各フレームに対して同一のレーティング情報を付与するフレームの数を変更することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記付与手段は、前記フレーム群の各フレームに対して付与するレーティング情報として、前記注目フレームから時間軸上で遠くなるフレームほど値が小さくなるレーティング情報を決定することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
動画のシーンの切れ目を検出する検出手段を有し、
前記決定手段は、前記シーンの切れ目を跨がないように前記フレーム群を決定することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記決定手段は、前記指示入力がなされた際に再生されているフレームに対して、時間軸上で所定時間だけ前に在るフレームを前記注目フレームとして決定することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記決定手段は、前記再生ステータスが複数の再生速度に対応した複数の再生状況の中のいずれかの再生状況を表す再生ステータスであるかに応じて、前記注目フレームを決定する際の前記所定時間を設定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記指示入力がなされた時点から前に遡った所定期間内で再生されたフレーム数と、前記指示入力がなされた時点から前に遡った所定期間内のユーザの操作回数のいずれか一方、又は両方から前記再生ステータスを推測する推測手段を有し、
前記決定手段は、前記推測された再生ステータスを基に前記フレーム群の決定を行い、
前記付与手段は、前記推測された再生ステータスを基に前記レーティング情報の決定を行うことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項１０】
前記推測手段は、前記所定期間内で再生されたフレーム数を計測する際、ユーザによる動画の鑑賞がなされている際の再生停止期間にも前記フレームの再生がなされたとして前記フレーム数を計測するか、又は、前記再生停止期間を前記所定期間に含めないで前記フレーム数を計測することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記指示入力がなされた時点から前に遡ってユーザの操作回数が所定回数となるまでの間に再生されたフレーム数から前記再生ステータスを推測する推測手段を有し、
前記決定手段は、前記推測された再生ステータスを基に前記フレーム群の決定を行い、
前記付与手段は、前記推測された再生ステータスを基に前記レーティング情報の決定を行うことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項１２】
前記決定手段は、動画を構成する各フレームのうち、表示がなされる所定間隔おきのフレームの中から前記注目フレームを決定し、時間軸上で前記注目フレームの周囲に存在している前記所定間隔の内の表示がなされない複数のフレームから前記フレーム群を決定することを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記動画を構成する各フレームのうち所定間隔おきの複数のフレームを、各フレームの順に一覧表示するための画像を生成する生成手段を有し、
前記決定手段は、前記一覧表示された画像の中からユーザの前記指示入力に基づいて選択された画像に対応するフレームを、前記注目フレームとして決定することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記注目フレームおよび前記フレーム群の各フレームを特定するための情報と、各フレームに付与された前記レーティング情報とを、前記動画のファイルに記録する制御手段を有することを特徴とする請求項１〜１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記制御手段は、前記フレーム群の各フレームの中で、同一のレーティング情報が付与された１以上のフレームを表すターム情報を、前記各フレームを特定するための情報に含めて前記動画のファイルに記録することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記動画のファイルに含まれる各フレームの中から、ユーザによる選択指示入力に応じて選択されたレーティング情報が付与されているフレームを抽出する抽出手段と、
前記抽出されたフレームに対し、ユーザの更新指示入力に応じた新たなレーティング情報を付与する更新手段とを有することを特徴とする請求項１４又は１５に記載の画像処理装置。
【請求項１７】
決定手段が、動画の再生状況を表す再生ステータスとユーザの指示入力とに基づいて、動画を構成する各フレームの中から、注目フレームと、時間軸上で前記注目フレームの周囲に存在している複数のフレームからなるフレーム群とを、決定するステップと、
付与手段が、前記再生ステータスと前記指示入力とに基づいて、前記注目フレームと前記フレーム群の各フレームに対してそれぞれ付与するレーティング情報を決定し、前記注目フレームと前記フレーム群の各フレームに対して、前記決定したレーティング情報をそれぞれ付与するステップと
を含むことを特徴とする画像処理方法。
【請求項１８】
コンピュータを、請求項１〜１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１９】
コンピュータを、請求項１〜１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画を処理する画像処理装置、画像処理方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
従来、動画を構成している各フレームの中から、ユーザが良い画像であると判断したフレームを静止画として切り出すための技術がある。例えば、特許文献１には、動画再生中にユーザが静止画切り出し指示を入力すると、その指示の前後の所定期間内の複数フレームの中から、カメラステータス情報が適切なフレームを静止画として自動選択して表示する撮像システムが開示されている。なお、この場合のカメラステータス情報は、例えば、焦点距離や露出値、ホワイトバランスの値、手振れ補正などの防振を行ったか否かの情報などとなされている。
【０００３】
その他にも、動画から静止画を切り出す技術としては、ユーザからの指示入力に応じてフレームにレーティング情報を付与し、後に、その付与されたレーティング情報に基づいて動画の中から抽出したフレームを、静止画として切り出すような技術がある。なお、この場合のレーティング情報とは、例えばユーザが良い画像であると判断したフレームに付与される番号などの値である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２５２０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、レーティング情報を基に動画から静止画を切り出す技術において、レーティング情報の付与は、一例として、ユーザが動画を鑑賞している際に行われたり、ユーザが吟味したフレームに対して行われたりする。
【０００６】
例えば、ユーザが家族で動画を鑑賞しているような場合において、子供の笑顔が写っているシーンが再生されたとき、ユーザが、後々そのシーン内のフレームの画像を年賀状の図案などに使用したいと考えたとする。ただし、そのようなシーンに含まれる複数フレームの中から一番良い画像のフレームを選択するには、或る程度長い作業時間が必要になると考えられる。このため、ユーザは、家族での鑑賞を優先して、シーン再生中の任意のタイミングでレーティング情報付与のための指示入力のみを行い、そのまま鑑賞を続行することになると考えられる。したがって、ユーザが動画を鑑賞しているときに、レーティング情報付与の指示入力が任意のタイミングでなされた場合、そのタイミングでレーティング情報が付与されたフレームは、一番良い画像のフレームであるとは言えない可能性がある。
【０００７】
一方で、例えばユーザが一枚一枚フレームを吟味して選んだフレームに対してレーティング情報の付与がなされたような場合、そのフレームは、良い画像のフレームである可能性が高いと考えられる。しかしながら、この場合、ユーザは、例えば子供の笑顔が写っているシーンの中の全てのフレームを吟味して、良い画像のフレームを選択することになるため、非常に長い作業時間が必要になる。
【０００８】
ここで、例えば特許文献１に記載の技術を用いた場合、例えば子供の笑顔が写っているシーンの再生中にユーザが静止画切り出し指示を入力したとき、その入力のタイミング前後の予め決められた所定期間内の複数フレームが、静止画像切り出しの候補となる。すなわち、この技術を用いた場合、静止画切り出しの候補となる複数フレームは、予め決められた所定期間内の各フレームとなされる。このため、例えば動画鑑賞中にユーザが任意のタイミングで指示入力を行った場合には、前述同様に、それら複数のフレームの中に一番良いフレームが含まれていない可能性がある。また、ユーザが吟味してフレームを選択するような場合には、予め決められた所定期間内の全てのフレームを吟味しなければならず、良いフレームを選び出すのには、前述同様に、或る程度長い作業時間が必要になる可能性がある。このように、従来の技術の場合、動画のフレームに対するレーティング情報の付与は、例えば動画鑑賞中やフレームの吟味中などのような様々な再生状況に対して最適な対応が出来ているとは言い難い。
【０００９】
本発明はこのような問題点に鑑みてなされたものであり、様々な再生状況に対応したレーティング情報の付与を可能とする画像処理装置、画像処理方法、プログラム、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、動画の再生状況を表す再生ステータスとユーザの指示入力とに基づいて、動画を構成する各フレームの中から、注目フレームと、時間軸上で前記注目フレームの周囲に存在している複数のフレームからなるフレーム群とを決定する決定手段と、前記再生ステータスと前記指示入力とに基づいて、前記注目フレームと前記フレーム群の各フレームに対してそれぞれ付与するレーティング情報を決定し、前記注目フレームと前記フレーム群の各フレームに対して、前記決定したレーティング情報をそれぞれ付与する付与手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、様々な再生状況に対応可能なレーティング情報の付与を行える。
【図面の簡単な説明】
【００１２】
【図１】第１〜第４の実施形態の画像処理装置１００の概略構成を示す図である。
【図２】画像処理装置で処理する動画のファイルフォーマット例を示す図である。
【図３】複数の動画ファイルを一覧表示するＵＩ画面例を示す図である。
【図４】動画ファイルの再生と操作のためのＵＩ画面例を示す図である。
【図５】フレーム群と各フレームに付与されるレーティング情報の説明図である。
【図６】図４のＵＩ画面の表示中の処理のフローチャートである。
【図７】通常再生か否かによるフレーム群の範囲決定処理のフローチャートである。
【図８】レーティング情報とテーブルの説明図である。
【図９】レーティング情報が記録されたファイルフォーマット例を示す図である。
【図１０】レーティング情報の生成と記録の処理を示すフローチャートである。
【図１１】レーティング情報によるフレーム抽出のＵＩ画面例を示す図である。
【図１２】レーティング情報によるフレーム抽出処理のフローチャートである。
【図１３】レーティング情報を決定する際の他の例を説明するための図である。
【図１４】第２の実施形態における図４のＵＩ画面の処理のフローチャートである。
【図１５】第１のログ及び第２のログの一例を示す図である。
【図１６】フレーム数による範囲決定処理のフローチャートである。
【図１７】操作回数による範囲決定処理のフローチャートである。
【図１８】操作回数とフレーム数による範囲決定処理のフローチャートである。
【図１９】フレーム間圧縮がなされた動画ファイルの各フレームの説明図である。
【図２０】第３の実施形態のフレーム群の範囲決定処理のフローチャートである。
【図２１】フレーム一覧表示とフレーム画像表示のＵＩ画面例を示す図である。
【図２２】フレーム一覧表示の処理のフローチャートである。
【図２３】フレーム一覧表示の詳細な処理を示すフローチャートである。
【図２４】一覧表示の際のレーティング情報付与の処理のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態の一適用例を添付画面に従い詳細に説明する。本実施形態の画像処理装置は、撮像装置であるデジタルカメラだけでなく、タブレット端末やスマートフォン、電子ゲーム装置、ナビゲーション装置、パーソナルコンピュータなど様々な情報処理装置にも適用可能である。本実施形態の画像処理装置がそれら情報処理装置に適用された場合、後述する本実施形態に係る処理は、情報処理装置内のＣＰＵ等が本実施形態に係るコンピュータプログラムを実行することにより実現される。本実施形態に係るコンピュータプログラムは、記録媒体や各種ネットワークや通信回線を介して情報処理装置に提供される。
【００１４】
＜第１の実施形態＞
図１には、第１の実施形態として、タブレット端末である画像処理装置１００の概略構成を示す。画像処理装置１００のＣＰＵ１０１は、この装置全体の制御を行う。操作部１０２はユーザからの入力を受け付け、表示部１０３は動画や静止画、各種情報を表示する。操作部１０２はいわゆるタッチパネルであり、例えば表示部１０３の画面上に配されている。ユーザは、タッチパネルを介して後述するような各種のユーザインタフェース（ＵＩ）画面に対する操作を行うことにより、画像処理装置１００に対して様々な指示を入力する。なお、以下の説明では、別途明示する場合を除き、ＵＩ画面におけるユーザの操作は、操作部１０２のタッチパネルを介して行われていることとする。
【００１５】
記録部１０４は、画像処理装置１００のＣＰＵ１０１が実行する本実施形態に係る各種演算処理や制御のためのプログラムや、動画及び静止画などの各種データを記録する。通信部１０５は、無線ＬＡＮや公衆通信回線、ＵＳＢなどのインタフェースによって、外部の機器と通信して、動画や静止画などの各種データの送受信、プログラムの送受信等を行う。記録媒体１０６は、コンピュータ読み取り可能な記録媒体であり、一例として、画像処理装置１００に着脱可能なメモリカード（不揮発性の半導体メモリ）などからなる。記録媒体１０６は、動画や静止画などの各種データの記録に用いられてもよいし、画像処理装置１００の記録部１０４に格納されるプログラムが記録されていてもよい。
【００１６】
なお、プログラムを供給するための記録媒体１０６は、不揮発性の半導体メモリだけでなく、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体でもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明にかかるるコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードするような方法であってもよい。
【００１７】
図２には、画像処理装置１００が処理する動画のファイルフォーマットの概略構成を示す。ファイル２０１は、情報格納領域２０２とデータ格納領域２０９を有する。情報格納領域２０２は、動画に関する情報格納領域２０３、音声に関する情報格納領域２０４、メタデータに関する情報格納領域２０５などを含む。メタデータの情報格納領域２０５は、動画内で同一のメタデータの値を持つ区間ごとの情報格納領域２０６〜２０８を含む。また、データ格納領域２０９は、実際のデータを格納する領域であり、動画データストリームを格納する領域２１０、音声データストリームを格納する領域２１１、メタデータを格納する領域２１２〜２１４などを含む。
【００１８】
また、本実施形態に係る画像処理装置１００は、メタデータの一部として、動画のフレームのレーティング情報を管理する。本実施形態において、レーティング情報は、例えばユーザが良いフレームであると判断した際に付与する番号などの値である。レーティング情報の具体的な管理方法については後述する。また、本実施形態において、レーティング情報として用いられる値は、例えば「０」〜「５」の整数値となされている。ユーザがレーティング情報として何れかの値を指示しなかった場合は、レーティング情報の値は「０」として管理され、表示される。なお、これらレーティング情報の値は、一例であり、「０」より小さい値や「５」より大きい値が用いられてもよいし、整数値ではなく小数値であってもよい。
【００１９】
図３は、ユーザが再生の指示入力やレーティング情報の付与、静止画を抽出する動画ファイルを選択する際に、画像処理装置１００の表示部１０３に表示されるユーザインタフェース（ＵＩ）用の画面３００の一例を示す図である。以下の説明では、ユーザインタフェース用の画面をＵＩ画面と表記する。このＵＩ画面３００には、サムネイル画像３０１〜３０９、スクロールバー３１０等が表示される。このＵＩ画面３００において表示される各サムネイル画像３０１〜３０９は、各々が一つの動画ファイルを表している。図３の例では、ＵＩ画面３００に９枚のサムネイル画像３０１〜３０９表示されているが、動画ファイルが１０個以上ある場合、１０枚目以降のサムネイル画像は、例えばユーザによる操作に応じてＵＩ画面３００に表示される。例えば、ユーザによりＵＩ画面３００がスライド操作されるか又はスクロールバー３１０のレバー３１０ａがスライド操作されると、画像処理装置１００は、ＵＩ画面３００をスクロール表示させて１０枚目以降のサムネイル画像を表示する。
【００２０】
また、画像処理装置１００は、ＵＩ画面３００のサムネイル画像３０１〜３０９には再生アイコン３１１を重畳表示する。再生アイコン３１１がユーザによりタップ操作されると、画像処理装置１００は、そのタップ操作された再生アイコン３１１が重畳表示されているサムネイル画像に対応した動画ファイルを再生するためのＵＩ画面を表示する。動画ファイルを再生する際のＵＩ画面については後述する。また、画像処理装置１００は、ＵＩ画面３００のサムネイル画像３０１〜３０９には抽出アイコン３１２を重畳表示する。抽出アイコン３１２がユーザによりタップ操作されると、画像処理装置１００は、その抽出アイコン３１２が重畳表示されているサムネイル画像に対応した動画ファイルからフレームを静止画として抽出する際のＵＩ画面を表示する。フレームを静止画として抽出する際のＵＩ画面については後述する。
【００２１】
図４は、動画ファイルを再生する際のＵＩ画面４００の一例を示す図である。ＵＩ画面４００において、動画再生領域４０１は、再生中の動画ファイルの動画が表示される領域である。また、このＵＩ画面４００には、シークバー４０２、動画操作用のアイコン（４０３〜４０６）、レーティング付与アイコン４０７〜４１１が表示される。シークバー４０２の所望の位置がユーザによりタップ操作されるか、又はレバー４０２ａがスライド操作されると、画像処理装置１００は、そのタップ操作が行われた位置、又はレバー４０２ａの位置に応じて、動画の再生位置を変更する。
【００２２】
動画操作用のアイコン（４０３〜４０６）は、再生アイコン４０３と、一時停止アイコン４０４と、コア送りアイコン４０５と、コマ戻しアイコン４０６とからなる。再生アイコン４０３がユーザによりタップ操作されると、画像処理装置１００は、動画を一倍速の通常速度で再生して表示させる。一時停止アイコン４０４がユーザによりタップ操作されると、画像処理装置１００は、動画の再生を一時停止する。コマ送りアイコン４０５がユーザによりタップ操作されると、画像処理装置１００は、動画の再生を一時停止し、その後コマ送りアイコン４０５がタップ操作される毎に、順に次のフレームを再生して表示するコマ送り再生表示を行う。コマ戻しアイコン４０６がユーザによりタップ操作されると、画像処理装置１００は、動画の再生を一時停止し、その後コマ戻しアイコン４０６がタップ操作される毎に、順に前のフレームを再生して表示するコマ戻し再生表示を行う。なお、以下の説明において、動画操作用の各アイコン（４０３〜４０６）をそれぞれ区別しない場合には、それらを纏めて動画操作アイコンと呼ぶことにする。
【００２３】
レーティング付与アイコン４０７〜４１１は、動画ファイルのフレームに対してレーティング情報を付与する際にユーザによりタップ操作されるアイコンであり、それら各アイコンに対してそれぞれレーティング情報の値が設定されている。なお、図４の例の場合、レーティング付与アイコン４０７にはレーティング情報として「５」の値が設定され、以下同様に、レーティング付与アイコン４０８〜４１１には「４」〜「１」の値のレーティング情報が各々設定されているとする。なお、以下の説明では、レーティング付与アイコン４０７〜４１１に対してそれぞれ設定されているレーティング情報を「設定レーティング情報」と表記する。
【００２４】
これらレーティング付与アイコン４０７〜４１１の何れかがユーザによりタップ操作されると、画像処理装置１００は、このとき動画再生領域４０１に表示されていたフレームを決定する。以下の説明では、レーティング付与アイコン４０７〜４１１の何れかがユーザによりタップ操作された際に表示されていたフレームを「注目フレーム」と表記する。また、詳細については後述するが、このときの画像処理装置１００は、動画ファイルの再生状況を表すステータス情報に基づいて、時間軸上で注目フレームの周囲に存在している複数のフレームを決定する。なお、以下の説明では、時間軸上で注目フレームの周囲に存在している複数のフレームを「周囲のフレーム」と表記し、それら周囲の各フレームを適宜「フレーム群」と表記する。また、以下の説明では、フレーム群となされるフレームの数を「フレーム群の範囲」と表記し、動画ファイルの再生状況を表すステータスを「再生ステータス」と表記する。詳細は後述するが、動画ファイルの再生状況としては、例えば再生速度やコマ送り再生、コマ戻し再生、一時停止、動画フォーマットに応じた再生、動画閲覧中の再生停止、一覧表示を行う再生など複数種類の再生状況がある。したがって、再生ステータスは、それら複数種類の再生状況の中の何れの再生状況であるかを表している。これら再生状況とそれを表す再生ステータスの具体的な内容等の詳細についての説明は後述する。
【００２５】
そして、詳細は後述するが、画像処理装置１００は、再生ステータスと、タップ操作されたレーティング付与アイコンの設定レーティング情報とに基づいて、注目フレーム及びフレーム群の各フレームに各々付与する各レーティング情報の値を決定する。なお、以下の説明では、注目フレーム及びフレーム群の各フレームに各々付与する値として決定されたレーティング情報を「決定レーティング情報」と表記する。すなわち、画像処理装置１００は、注目フレーム及びフレーム群の各フレームに対して、それぞれ決定レーティング情報の値を付与する。
【００２６】
図５（Ａ）〜図５（Ｃ）は、例えばレーティング付与アイコン４０７がユーザによりタップ操作された際の注目フレーム及びその周囲のフレーム群と、それらの各フレームに対して付与される決定レーティング情報の説明に用いる図である。図５（Ａ）〜図５（Ｃ）の横軸は時間軸であり動画における時間順の各フレームを表し、縦軸はレーティング情報の値を表している。図５（Ａ）〜図５（Ｃ）の基準曲線５０１ａ〜５０１ｃは、注目フレームとその周囲のフレーム群に含まれる各フレームに付与する決定レーティング情報を生成するための曲線となされている。これら基準曲線５０１ａ〜５０１ｃは、再生ステータスを基に決められるフレーム群の範囲に応じて生成される。なお、基準曲線５０１ａ〜５０１ｃは、予め記録部１０４に保持されていてもよい。この場合、再生ステータスを基に決められるフレーム群の範囲に応じて、記録部１０４の中から何れかの基準曲線が選択される。
【００２７】
画像処理装置１００は、基準曲線５０１ａ〜５０１ｃのピークに対応したフレームについては、レーティング付与アイコン４０７の設定レーティング情報を、決定レーティング情報の値として付与する。本実施形態の場合、基準曲線５０１ａ〜５０１ｃのピークに対応したフレームは、一例として、ユーザによりレーティング付与アイコン４０７がタップ操作された際の注目フレームとなされている。したがって、この例の場合、ユーザによりレーティング付与アイコン４０７がタップ操作された際の注目フレームに対しては、決定レーティング情報として「５」の値が付与されることになる。
【００２８】
また、画像処理装置１００は、フレーム群の範囲内に含まれる各フレームに対しては、それぞれ基準曲線５０１ａ〜５０１ｃに基づいて生成したレーティング情報を付与する。具体的には、前述したようにレーティング情報は整数の値となされているため、画像処理装置１００は、基準曲線５０１ａ〜５０１ｃを整数の値に変換（離散化）することにより、曲線のピークから時間軸上で遠ざかるほど値が低くなるような整数値を生成する。画像処理装置１００は、このようにして基準曲線５０１ａ〜５０１ｃに基づいて生成した整数値を、フレーム群の範囲内の各フレームに対して付与する決定レーティング情報とする。これにより、フレーム群の範囲内の各フレームに対しては、注目フレームから時間軸上で遠くなるフレームほど値が低くなる整数値の決定レーティング情報が付与されることになる。
【００２９】
なお、図５（Ａ）〜図５（Ｃ）では基準曲線５０１ａ〜５０１ｃの一例として正規分布曲線を挙げているが、代わりに正規分布曲線を縦軸又は横軸方向に伸縮した曲線や、放物線曲線など他の曲線が用いられてもよいし、一次関数による直線が用いられてもよい。或いは、注目フレーム及びフレーム群の各フレームに対して、ユーザがタップ操作したレーティング付与アイコンの設定レーティング情報の値と同一の値を、決定レーティング情報として付与してもよい。その他、フレーム群を決める際の範囲（フレーム数）は、予め決められた既定のフレーム数としてもよいし、例えば図示しない設定用ＵＩなどによりユーザが任意に設定したフレーム数としてもよい。
【００３０】
以下、図５（Ａ）〜図５（Ｃ）について、それぞれ詳細に説明する。図５（Ａ）の基準曲線５０１ａは、画像処理装置１００における動画の再生状況が通常速度（一倍速）の再生ステータスである場合において、レーティング付与アイコン４０７のタップ操作がなされた際に用いられる曲線である。
【００３１】
ここで、通常速度で再生されている動画をユーザが鑑賞しているような再生ステータスにおいて、或るシーン（場面）の再生中にユーザによりレーティング付与アイコンがタップ操作された場合を考えてみることにする。このような通常速度の再生ステータスの場合、前述したように、ユーザは、家族等による鑑賞を優先すると考えられ、このためレーティング付与アイコンのタップ操作はシーン再生中の在る程度大まかな任意のタイミングで行われたと考えられる。したがって、通常速度の再生ステータスの場合、レーティング付与アイコンのタップ操作がなされた際の注目フレームは、ユーザが選択したい良い画像のフレームであるとは必ずしも言えない。一方で、レーティング付与アイコンのタップ操作がなされた際の注目フレームの周囲のフレームには、より良い画像のフレームが存在している可能性が高いと考えられる。
【００３２】
このため、画像処理装置１００は、通常速度の再生ステータスにおいてレーティング付与アイコン４０７がユーザによりタップ操作された場合には、フレーム群の範囲を或る程度大きな範囲として決定する。そして、画像処理装置１００は、そのフレーム群の範囲に合わせて、図５（Ａ）に示すような或る程度大きな広がりを有した基準曲線５０１ａを生成する。
【００３３】
さらに、画像処理装置１００は、前述したように、レーティング情報を整数値として管理しているので、図５（Ａ）の基準曲線５０１ａを整数の値に変換（離散化）して、各フレームに付与する決定レーティング情報を生成する。なお、詳細は後述の図８を用いて説明するが、本実施形態の画像処理装置１００は、各フレームに付与する決定レーティング情報の生成と共に、図５（Ａ）の基準曲線５０１ａに示すようなターム情報（Ｔｅｒｍ）５０２〜５１０を生成する。ターム情報５０２〜５１０は、それぞれ実際にフレームに付与される決定レーティング情報の値と、それぞれ同一値の決定レーティング情報が付与される各フレームが時間軸上で連続する際の開始時間及び継続時間とを表す情報となされている。後述するように、これらのターム情報５０２〜５１０は、動画フレームに記録されることになる。
【００３４】
このようにして、本実施形態の画像処理装置１００は、通常速度の再生ステータスにおいて、注目フレームとその周囲のフレーム群（より良いフレームが含まれる可能性が高いフレーム群）に対して決定レーティング情報を付与することができる。
【００３５】
図５（Ｂ）の基準曲線５０１ｂは、動画の再生状況が、コマ送り再生やコマ戻し再生、又は再生の一時停止中を表す再生ステータスである場合において、レーティング付与アイコン４０７のタップ操作がなされた際に用いられる曲線である。
【００３６】
ここで、再生ステータスがコマ送り再生やコマ戻し再生、又は再生が一時停止中であるような場合に、ユーザによりレーティング付与アイコンがタップ操作された場合を考えてみることにする。これらの再生ステータスの場合、前述したように、ユーザは、或るシーン（場面）の内容を吟味していると考えられる。このため、レーティング付与アイコンのタップ操作がなされた際の注目フレームは、ユーザが吟味して選択した良い画像のフレームである可能性が高いと考えられる。一方、ユーザがシーンの内容を吟味している場合、レーティング付与アイコンがタップ操作された際の注目フレームから時間的に遠く離れるに従い、ユーザが吟味して選択したフレームとの関連性は少なくなり、良い画像のフレームは少なくなると考えられる。
【００３７】
このため、画像処理装置１００は、コマ送り再生やコマ戻し再生、再生の一時停止中のような再生ステータスにおいてレーティング付与アイコン４０７がユーザによりタップ操作された場合には、フレーム群の範囲を或る程度狭い範囲として決定する。そして、画像処理装置１００は、そのフレーム群の範囲に合わせて、図５（Ｂ）に示すような或る程度広がりの狭い基準曲線５０１ｂを生成する。
【００３８】
さらに、画像処理装置１００は、図５（Ａ）の場合と同様にして、図５（Ｂ）の基準曲線５０１ｂを整数値に変換（離散化）し、各フレームに付与する決定レーティング情報を生成する。また、図５（Ｂ）の場合も前述の図５（Ａ）の例と同様に、画像処理装置１００は、各フレームに付与する決定レーティング情報の生成と共に、図５（Ｂ）の基準曲線５０１ｂに示すようなターム情報５１１〜５１９を生成する。これらターム情報５１１〜５１９は、前述のターム情報５０２〜５１０と同様の情報である。
【００３９】
なお、コマ送り再生やコマ戻し再生、再生の一時停止中のような再生ステータスでレーティング付与アイコンがタップ操作された場合には、注目フレームに対してのみレーティング付与アイコンに対応した決定レーティング情報の値を付与してもよい。この場合、例えばフレーム群の各フレームに対しては、値が「０」の決定レーティング情報を付与すればよい。
【００４０】
図５（Ｃ）の基準曲線５０１ｃは、動画の再生状況が、例えば通常速度の再生ステータスである場合において例えばレーティング付与アイコン４０９がタップ操作された際に使用される曲線例を示している。
【００４１】
この図５（Ｃ）の例の場合、タップ操作されたレーティング付与アイコン４０９は、設定レーティング情報の値が「３」となっている。またこのときの再生ステータスは、通常速度である。このため、図５（Ｃ）の基準曲線５０１ｃは、図５（Ａ）の基準曲線５０１ａと同様の大きな広がりを有した曲線となされる一方で、ピークにおけるレーティング情報の値が「３」となる。また、この場合の基準曲線５０１ｃに基づくターム情報（Ｔｅｒｍ）は、図５（Ｃ）に示すようなターム情報５２１〜５２５となる。
【００４２】
図６は、図４で説明したＵＩ画面４００が表示されているときの本実施形態の画像処理装置１００の動作を表すフローチャートである。この図６に示すフローチャートの処理は、画像処理装置１００のＣＰＵ１０１が記録部１０４に保持されている本実施形態に係るプログラムを実行することにより行われる処理である。
【００４３】
ＣＰＵ１０１は、前述の図３のＵＩ画面３００において、ユーザにより何れかのサムネイル画像が選択され、更に再生アイコン３１１がタップ操作されて動画ファイルの再生開始の指示入力がなされると、図６のフローチャートの処理を開始する。ＣＰＵ１０１は、先ずステップＳ６０１の処理として、図４に示したＵＩ画面４００を表示部１０３に表示させる。ステップＳ６０１の後、ＣＰＵ１０１は、処理をステップＳ６０２へ進める。
【００４４】
ステップＳ６０２では、ＣＰＵ１０１は、ＵＩ画面４００においてユーザにより前述の動画操作アイコンの何れかがタップ操作されたかどうかを判定する。ＣＰＵ１０１は、ステップＳ６０２において、何れの動画操作アイコンもタップ操作されていないと判定した場合には処理をステップＳ６０４へ進め、何れかの動画操作アイコンがタップ操作されたと判定した場合には処理をステップＳ６０３へ進める。
【００４５】
ステップＳ６０３では、ＣＰＵ１０１は、画像処理装置１００の動作モードを、ステップＳ６０２でタップ操作されたと判定された動画操作アイコンに応じた動画再生モードに変更した後、処理をステップＳ６０４へ進める。
【００４６】
ステップＳ６０４では、ＣＰＵ１０１は、ＵＩ画面４００のシークバー４０２がユーザによりタップ操作されるか又はレバー４０２ａがスライド操作されたか否か判定する。ＣＰＵ１０１は、ステップＳ６０４において、何れの操作もなされていないと判定した場合には処理をステップＳ６０６へ進め、一方、何れかの操作がなされたと判定した場合には処理をステップＳ６０５へ進める。
【００４７】
ステップＳ６０５では、ＣＰＵ１０１は、シークバー４０２に対してタップ操作が行われた位置又はレバー４０２ａに対するスライド操作によるレバー４０２ａの位置に応じて、動画の再生位置を変更する。ステップＳ６０５の後、ＣＰＵ１０１は、処理をステップＳ６０６へ進める。
【００４８】
ステップＳ６０６では、ＣＰＵ１０１は、このときの再生ステータスが動画の再生停止中になっているか否かを判定する。ＣＰＵ１０１は、ステップＳ６０６において、動画の再生が停止中であると判定した場合にはステップＳ６０９へ処理を進め、一方、動画の再生が停止中でないと判定した場合にはステップＳ６０７へ処理を進める。
【００４９】
ステップＳ６０７では、ＣＰＵ１０１は、このときの再生ステータスが、通常速度（一倍速）の再生中か又はコマ送り再生であれば次のフレームを新しい再生位置のフレームとし、コマ戻し再生であれば前のフレームを新しい再生位置のフレームとする。ステップＳ６０７の後、ＣＰＵ１０１は、処理をステップＳ６０８へ進める。
【００５０】
ステップＳ６０８では、ＣＰＵ１０１は、図４のＵＩ画面４００の動画再生領域４０１に表示しているフレームを新しい再生位置のフレームに更新する。ステップＳ６０８の後、ＣＰＵ１０１は、処理をステップＳ６０９へ進める。
【００５１】
ステップＳ６０９では、ＣＰＵ１０１は、ユーザによりレーティング付与アイコン４０７〜４１１の何れかがタップ操作されたか否かを判定する。ＣＰＵ１０１は、ステップＳ６０９において、レーティング付与アイコン４０７〜４１１の何れもタップ操作されていないと判定した場合には、処理をステップＳ６０２へ戻す。一方、ＣＰＵ１０１は、ステップＳ６０９において、レーティング付与アイコン４０７〜４１１の何れかがタップ操作されたと判定した場合には、処理をステップＳ６１０へ進める。
【００５２】
ステップＳ６１０では、ＣＰＵ１０１は、前述したように、このときの再生ステータスとレーティング付与アイコンのタップ操作によるユーザからの指示入力とに基づいて、注目フレームとその周囲のフレーム群の範囲を決定する。このステップＳ６１０の詳細な処理については後述する。ステップＳ６１０の後、ＣＰＵ１０１は、処理をステップＳ６１１へ進める。
【００５３】
ステップＳ６１１では、ＣＰＵ１０１は、前述したように、このときの再生ステータスとタップ操作されたレーティング付与アイコンの設定レーティング情報とに基づいて、注目フレームとその周囲のフレーム群に付与する決定レーティング情報を生成する。そして、ＣＰＵ１０１は、注目フレームとフレーム群の各フレームに対して決定レーティング情報を付与する。このステップＳ６１１の詳細な処理については後述する。ステップＳ６１１の後、ＣＰＵ１０１は、処理をステップＳ６０２へ戻す。
【００５４】
図７には、図６のステップＳ６１０においてフレーム群の範囲を決定する処理の詳細なフローチャートを示す。図７のフローチャートにおいて、フレーム群の範囲を決定する処理が開始されると、ＣＰＵ１０１は、ステップＳ７０１の処理として、このときの再生ステータスは通常速度（一倍速）の再生中であるか否かを判定する。ＣＰＵ１０１は、ステップＳ７０１において、再生ステータスが通常速度の再生中であると判定した場合には処理をステップＳ７０３に進め、一方、通常速度の再生中でないと判定した場合には処理をステップＳ７０２に進める。
【００５５】
ステップＳ７０２では、ＣＰＵ１０１は、フレーム群の範囲を前述した図５（Ｂ）で示したような狭い範囲の「小」に決定する。一方、ステップＳ７０３では、ＣＰＵ１０１は、フレーム群の範囲を前述の図５（Ａ）や図５（Ｃ）に示したような広い範囲の「大」に決定する。これらステップＳ７０２，Ｓ７０３の後、ＣＰＵ１０１は、この図７のフローチャートの処理を終了して、図６のステップＳ６１１へ処理を進める。
【００５６】
図８（Ａ）及び図８（Ｂ）は、本実施形態において、前述のように再生ステータスに応じたフレーム群の範囲から生成される基準曲線８０１と、その基準曲線８０１から生成される各ターム情報８０２〜８１０のテーブルを示す図である。
【００５７】
図８（Ａ）は前述した図５（Ａ）と同様の図であり、基準曲線８０１と各ターム情報８０２〜８１０とを示している。ターム情報８０２〜８１０は、前述したように、実際に各フレームに付与される決定レーティング情報の値と、それぞれ同一値の決定レーティング情報が付与される各フレームが時間軸上で連続する際の開始時間及び継続時間とを表す情報である。
【００５８】
図８（Ｂ）は、各ターム情報８０２（Ｔｅｒｍ１）〜８１１（Ｔｅｒｍ９）の各開始時間ｔ０〜ｔ８と継続時間（ｔ１−ｔ０）〜（ｔ９−ｔ８）と決定レーティング情報の値（Ｒａｔｉｎｇ＝１〜Ｒａｔｉｎｇ＝５〜Ｒａｔｉｎｇ＝１）のテーブルを示している。この図８（Ｂ）の各ターム情報８０２（Ｔｅｒｍ１）〜８１１（Ｔｅｒｍ９）は、図８（Ａ）の各ターム情報８０２〜８１１と対応している。図８（Ｂ）の開始時間ｔ０〜ｔ８は、それぞれ同一値のレーティング情報が付与されて時間軸上で連続する各フレームのうちの先頭のフレームの開始時間である。図８（Ｂ）の継続時間（ｔ１−ｔ０）〜（ｔ９−ｔ８）は、各ターム情報８０２（Ｔｅｒｍ１）〜８１１（Ｔｅｒｍ９）において、それぞれ同一の値のレーティング情報が付与されて時間軸上で連続するフレーム数に応じた時間である。図８（Ｂ）の各決定レーティング情報（Ｒａｔｉｎｇ＝１〜Ｒａｔｉｎｇ＝５〜Ｒａｔｉｎｇ＝１）は、図８（Ａ）の各決定レーティング情報と対応している。本実施形態では、この図８（Ｂ）に示したようなテーブル情報が、図２で説明したファイルフォーマットで動画ファイル内に記録される。
【００５９】
図９は、図２で説明したファイルフォーマットに、図８（Ｂ）のテーブル情報を格納した場合の一例を示す図である。図９に示すように、画像処理装置１００のＣＰＵ１０１は、メタデータに関する情報格納領域２０５の各情報格納領域９０１〜９０９には、各ターム情報（Ｔｅｒｍ１〜Ｔｅｒｍ９）の開始時間（ｔ０〜ｔ８）と継続時間（ｔ１−ｔ０〜ｔ９−ｔ８）を記録する。また、ＣＰＵ１０１は、実際のデータを格納するデータ格納領域２０９の情報格納領域９１０〜９１８には、決定レーティング情報の値（Ｒａｔｉｎｇ＝１〜Ｒａｔｉｎｇ＝５〜Ｒａｔｉｎｇ＝１）を記録する。さらに、ＣＰＵ１０１は、情報格納領域９１０〜９１８から情報格納領域９１０〜９１８を参照できるよう、データ格納領域２０９の先頭から情報格納領域９１０〜９１８までのオフセット情報を、対応する情報格納領域９０１〜９０９に記録する。
【００６０】
このように、本実施形態の画像処理装置１００は、ターム情報８０２〜８１０を有するテーブル情報を動画ファイルに記録するようになされている。そして、そのテーブル情報のターム情報８０２〜８１０は、同一値の決定レーティング情報が付与された各フレームを表す情報となっている。したがって、画像処理装置１００は、これらターム情報８０２〜８１０を基に、動画ファイルから同一のレーティング情報が付与されているフレームを特定することが可能となる。
【００６１】
図１０は、図６のステップＳ６１１においてフレーム群に対する決定レーティング情報を生成してメタデータとして記録するまでの処理の詳細なフローチャートを示す。図１０のフローチャートにおいて、フレーム群に対して決定レーティング情報を生成する処理が開始されると、ＣＰＵ１０１は、ステップＳ１００１の処理として、前述した基準曲線を計算する。具体的には、ＣＰＵ１０１は、図６のステップＳ６０９でユーザがタップ操作したレーティング付与アイコンの設定レーティング情報と、図７のステップＳ７０２及びＳ７０３で再生ステータスに応じて決定したフレーム群の範囲とに基づいて、基準曲線を計算する。ステップＳ１００１の後、ＣＰＵ１０１は、処理をステップＳ１００２に進める。
【００６２】
ステップＳ１００２では、ＣＰＵ１０１は、基準曲線を整数値に変換（離散化）する。ステップＳ１００２の後、ＣＰＵ１０１は、処理をステップＳ１００３に進める。ステップＳ１００３では、ＣＰＵ１０１は、各ターム情報（Ｔｅｒｍ）の前述した開始時間及び継続時間を計算する。ステップＳ１００３の後、ＣＰＵ１０１は、処理をステップＳ１００４に進める。
【００６３】
ステップＳ１００４では、ＣＰＵ１０１は、各ターム情報の開始時間と継続時間と決定レーティング情報の値を、図９のファイル２０１に対して前述の図９で説明したファイルフォーマットで記録する。ステップＳ１００４の後、ＣＰＵ１０１は、この図１０のフローチャートの処理を終了して、前述の図６のステップＳ６０２に処理を戻す。
【００６４】
本実施形態の画像処理装置１００は、以上説明したようにして、注目フレームとフレーム群の各フレームに対して決定レーティング情報を付与し、図９のように動画ファイルのファイルフォーマットに格納する。
【００６５】
次に、本実施形態の画像処理装置１００が、記録部１０４に記録されている動画ファイルから、決定レーティング情報の値が付与されているフレームを抽出する処理について、以下に説明する。図１１（Ａ）と図１１（Ｂ）は、決定レーティング情報の値が付与されているフレームの抽出がなされる場合の本実施形態の画像処理装置１００のＵＩ画面１１００Ａと１１００Ｂの一例を示す図である。
【００６６】
前述の図３のＵＩ画面３００においてユーザにより抽出アイコン３１２がタップ操作されると、画像処理装置１００は、先ず図１１（Ａ）のＵＩ画面１１００Ａを表示する。このＵＩ画面１１００Ａにおいて、フィルタリングアイコン１１０１〜１１０６は、レーティング情報の値である「５」から「０」に対応している。画像処理装置１００は、フィルタリングアイコン１１０１〜１１０６の何れかに対してユーザから選択指示入力がなされた場合、その選択指示入力されたアイコンに対応したレーティング情報が付与されているフレームを、動画ファイルから抽出する。また、各フィルタリングアイコン１１０１〜１１０６は、ユーザによるタップ操作がなされる度にオンとオフが切り替わるようになされている。図１１（Ａ）の例では、フィルタリングアイコン１１０１と１１０２がオンになっている。
【００６７】
画像処理装置１００は、それらオンになっているフィルタリングアイコン１１０１と１１０２に対応するレーティング情報の値である「５」と「４」が付与されている各フレームを、前述したテーブル情報を基に検索して動画ファイルから抽出する。そして、画像処理装置１００は、それら抽出された各フレームのサムネイル画像１１０７〜１１１５を一覧表示する。なお、抽出されたフレーム数が多く、全てのサムネイル画像が一画面に収まらない場合、ユーザによるスライド操作がなされると、画像処理装置１００は、そのスライド操作に応じて一覧表示領域に表示されるサムネイル画像をスクロールさせる。このときのユーザによるスライド操作は、一例としてＵＩ画面１１００Ａ内のサムネイル画像の一覧表示領域に対するスライド操作と、スクロールバー１１１６に対するスライド操作の何れであってもよい。
【００６８】
図１１（Ａ）のＵＩ画面１１００Ａにおいてユーザにより例えばサムネイル画像１１１５がタップ操作されると、画像処理装置１００は、ＵＩ画面を図１１（Ｂ）に示すＵＩ画面１１００Ｂに遷移させる。このときの画像処理装置１００は、ＵＩ画面１１００Ｂにおいて、ＵＩ画面１１００Ａでユーザにより選ばれたサムネイル画像１１１５に対応したフレームの画像１１１７を全画面表示させる。また、画像処理装置１００は、ＵＩ画面１１００Ｂにはレーティングアイコン１１１８〜１１２３も表示する。これらレーティングアイコン１１１８〜１１２３はレーティング情報の値である「５」から「０」に対応している。
【００６９】
またこのときの画像処理装置１００は、ＵＩ画面１１００Ｂに全画面表示されている画像１１１７のフレームに付与されているレーティング情報の値に対応したレーティングアイコンを強調表示する。図１１（Ｂ）の例では、全画面表示されている画像１１１７のフレームに付与されているレーティング情報の値が「４」となされているため、「４」の値に対応したレーティングアイコン１１１９が強調表示されている。
【００７０】
また、画像処理装置１００は、ＵＩ画面１１００Ｂにおいて、レーティングアイコン１１１８〜１１２３の何れかがユーザによりタップ操作されると、そのタップ操作されたレーティングアイコンに対応した値を、記録部１０４に一時記録する。また、画像処理装置１００は、ＵＩ画面１１００Ｂにはキャンセルアイコン１１２４と記録アイコン１１２５も表示させる。キャンセルアイコン１１２４がユーザによりタップ操作されると、画像処理装置１００は、ＵＩ画面を図１１（Ａ）のＵＩ画面１１００Ａに遷移させる。
【００７１】
一方、記録アイコン１１２５がユーザによりタップ操作されると、画像処理装置１００は、そのときのフレームを例えばＪＰＥＧなどの静止画フォーマットで記録部１０４に記録する。またこのとき、画像処理装置１００は、ファイル２０１のメタデータに関する情報格納領域２０５やメタデータを格納するデータ格納領域２０９に対し、記録部１０４に一時記録していたレーティング情報の値を記録する。これにより、図１１（Ｂ）のＵＩ画面１１００Ｂに表示されているフレームの画像１１１７に付与されていたレーティング情報は、ユーザによりタップ操作されたレーティングアイコンに対応した新たなレーティング情報により更新される。このように、本実施形態の画像処理装置１００は、レーティングアイコン１１１８〜１１２３の何れかに対するタップ操作と、その後の記録アイコン１１２５へのタップ操作を、ユーザによるレーティング情報の更新指示入力として検出している。
【００７２】
図１２には、画像処理装置１００が前述のフレーム抽出処理を行う際のフローチャートを示す。この図１２に示すフローチャートの処理は、画像処理装置１００のＣＰＵ１０１が記録部１０４に保持されている本実施形態に係るプログラムを実行することにより行われる処理である。
【００７３】
ＣＰＵ１０１は、前述の図３のＵＩ画面３００においてユーザにより抽出アイコン３１２がタップ操作されると、図１２のフローチャートの処理を開始する。ＣＰＵ１０１は、先ず、ステップＳ１２０１の処理として、前述の図１１（Ａ）で示したＵＩ画面１１００Ａを表示部１０３に表示させる。ステップＳ１２０１の後、ＣＰＵ１０１は、処理をステップＳ１２０２に進める。
【００７４】
ステップＳ１２０２では、ＣＰＵ１０１は、図１１（Ａ）のＵＩ画面１１００Ａにおいてフィルタリングアイコン１１０１〜１１０６の何れかがユーザによりタップ操作されたか否かを判定する。ＣＰＵ１０１は、ステップＳ１２０２においてフィルタリングアイコン１１０１〜１１０６の何れもタップ操作されていない場合には処理をステップＳ１２１２に進め、一方、何れかがタップ操作されたと判定した場合には処理をステップＳ１２０３に進める。
【００７５】
ステップＳ１２０３では、ＣＰＵ１０１は、ファイル２０１のメタデータに関する情報格納領域２０５から前述した複数のターム情報（Ｔｅｒｍ）を読み込む。ステップＳ１２０３の後、ＣＰＵ１０１は、処理をステップＳ１２０４に進める。ステップＳ１２０４に進むと、ＣＰＵ１０１は、情報格納領域２０５から読み込んだ先頭（最初）のターム情報から最後のターム情報までの各ターム情報について、ステップＳ１２０４からステップＳ１２１１までのループ処理を開始する。
【００７６】
ステップＳ１２０４〜Ｓ１２１１のループ処理では、ＣＰＵ１０１は、先ずステップＳ１２０５の処理として、データ格納領域２０９から、各ターム情報の中のレーティング情報の値を読み込む。ステップＳ１２０５の後、ＣＰＵ１０１は、処理をステップＳ１２０６に進める。
【００７７】
ステップＳ１２０６では、ＣＰＵ１０１は、ステップＳ１２０５で読み込んだレーティング情報の値が、ユーザがフィルタリングアイコン１１０１〜１１０６をタップ操作して指示したフィルタリング対象となるレーティング情報に一致するか否か判定する。ＣＰＵ１０１は、ステップＳ１２０６において一致しないと判定した場合にはステップＳ１２１１から次のターム情報の処理に進む。一方、ＣＰＵ１０１は、ステップＳ１２０６において一致していると判定した場合、処理をステップＳ１２０７に進める。
【００７８】
ステップＳ１２０７に進むと、ＣＰＵ１０１は、このときのターム情報で示される複数のフレームの、先頭のフレームから最後のフレームまでに対して、ステップＳ１２０７からステップＳ１２１０までのループ処理を開始する。
【００７９】
ステップＳ１２０７〜Ｓ１２１０のループ処理では、ＣＰＵ１０１は、先ずステップＳ１２０８の処理として、動画ファイルの動画データストリームからフレームの画像データを取得する。ステップＳ１２０８の後、ＣＰＵ１０１は、処理をステップＳ１２０９へ進める。ステップＳ１２０９では、ＣＰＵ１０１は、ステップＳ１２０８で取得したフレームのサムネイル画像を表示部１０３に表示させる。その後、ＣＰＵ１０１は、ステップＳ１２１０から次のフレームの処理に進む。このように各フレームに対してステップＳ１２０７〜Ｓ１２０１のループ処理が行われることで、表示部１０３には、前述した図１１（Ａ）のような各フレームのサムネイル画像１１０７〜１１１５が一覧表示されたＵＩ画面１１００Ａが表示されることになる。
【００８０】
前述のようにステップＳ１２０７〜Ｓ１２１０のフレームに対するループ処理が終了した後、さらにステップＳ１２０４〜Ｓ１２１１のターム情報に対するループ処理が終了すると、ＣＰＵ１０１は、処理をステップＳ１２０２へ戻す。
【００８１】
一方、ステップＳ１２０２からステップＳ１２１２に進んだ場合、ＣＰＵ１０１は、図１１（Ａ）のＵＩ画面１１００Ａにおいて、各サムネイル画像１１０７〜１１１５の中の何れかのサムネイル画像がユーザによりタップ操作されたか否か判定する。ＣＰＵ１０１は、ステップＳ１２１２においてタップ操作されていない場合には処理をステップＳ１２１４に進め、一方、何れかのサムネイル画像がタップ操作されたと判定した場合には処理をステップＳ１２１３に進める。
【００８２】
ステップＳ１２１３では、ＣＰＵ１０１は、ステップＳ１２１２においてタップ操作でユーザにより選択されたフレームの画像を、図１１（Ｂ）のＵＩ画面１１００Ｂに示したように全画面表示させる。ステップＳ１２１３の後、ＣＰＵ１０１は、処理をステップＳ１２１４に進める。
【００８３】
ステップＳ１２１４では、ＣＰＵ１０１は、ＵＩ画面１１００Ｂにおいて、レーティングアイコン１１１８〜１１２３の何れかがユーザによりタップ操作されたか否かを判定する。ＣＰＵ１０１は、ステップＳ１２１４においてタップ操作されていない場合には処理をステップＳ１２１６に進め、一方、何れかのレーティングアイコンがタップ操作されたと判定した場合には処理をステップＳ１２１５に進める。
【００８４】
ステップＳ１２１５では、ＣＰＵ１０１は、ユーザによりタップ操作されたレーティングアイコンに対応するレーティング情報の値を、記録部１０４に一時記録させる。ステップＳ１２１５の後、ＣＰＵ１０１は、処理をステップＳ１２１６に進める。
【００８５】
ステップＳ１２１６では、ＣＰＵ１０１は、ＵＩ画面１１００Ｂにおいて、ユーザによりキャンセルアイコン１１２４がタップ操作されたか否かを判定する。ＣＰＵ１０１は、ステップＳ１２１６においてキャンセルアイコン１１２４がタップ操作されたと判定した場合には処理をステップＳ１２０１に戻し、一方、タップ操作されていない場合には処理をステップＳ１２１７に進める。
【００８６】
ステップＳ１２１７では、ＣＰＵ１０１は、ＵＩ画面１１００Ｂにおいて、ユーザにより記録アイコン１１２５がタップ操作されたか否か判定する。ＣＰＵ１０１は、ステップＳ１２１７においてタップ操作されていない場合には処理をステップＳ１２１４に戻し、一方、記録アイコン１１２５がタップ操作されたと判定した場合には処理をステップＳ１２１８に進める。
【００８７】
ステップＳ１２１８では、ＣＰＵ１０１は、ＵＩ画面１１００Ｂに表示されているフレームの画像データを静止画フォーマットで記録部１０４に記録する。ステップＳ１２１８の後、ＣＰＵ１０１は、処理をステップＳ１２１９に進める。
【００８８】
ステップＳ１２１９では、ＣＰＵ１０１は、ステップＳ１２１５でレーティング情報の値が記録部１０４に一時記録されているか否かを判定する。ＣＰＵ１０１は、ステップＳ１２１９において、一時記録されていないと判定した場合には処理をステップＳ１２０１に戻し、一方、一時記録されていると判定した場合には処理をステップＳ１２２０に進める。
【００８９】
ステップＳ１２２０では、ＣＰＵ１０１は、ファイル２０１の情報格納領域２０５とデータ格納領域２０９に、記録部１０４に一時記録していたレーティング情報の値を記録（レーティング情報を更新）した後、ステップＳ１２０１に処理を戻す。
【００９０】
以上説明した例では、ユーザがレーティング情報の付与を指示したときに、動画を通常速度で再生しているか、コマ送り又はコマ戻し再生が行われているか、或いは、再生の一時停止中であるかなどの再生ステータスに応じて、フレーム群の範囲を変えている。そして、そのフレーム群の範囲の各フレームに対して、レーティング情報を付与している。
【００９１】
前述の説明では、フレーム群の範囲を変える手法について説明したが、例えばフレーム群の各フレームに付与するレーティング情報を決める際の手法を変えるようにしてもよい。図１３（Ａ）と図１３（Ｂ）は、フレーム群の各フレームに付与するレーティング情報を決める際の手法を変える例についての説明に用いる図である。
【００９２】
図１３（Ａ）の基準曲線１３０１ａは、再生ステータスが通常速度の再生である場合において、ユーザからレーティング情報を付与する指示がなされたときに、レーティング情報の値を決定するために使用される曲線である。この図１３（Ａ）の基準曲線１３０１ａは、図５（Ａ）で示した基準曲線５０１ａと同一の曲線である。一方、図１３（Ｂ）の基準曲線１３０１ｂは、再生ステータスが動画のコマ送り又はコマ戻し再生、或いは再生の一時停止中である場合において、レーティング情報の付与指示が入力されたときに、レーティング情報の値を決定するために用いられる曲線である。
【００９３】
これら図１３（Ａ）及び図１３（Ｂ）の例の場合、基準曲線１３０１ａと１３０１ｂの形状は異なるが、レーティング情報の値が付与されるフレーム群の範囲は同一となされている。一方、図１３（Ｂ）と前述の図５（Ｂ）とを比較した場合、例えば図５（Ｂ）のターム情報５１１〜５１９と、図１３（Ｂ）のターム情報１３１１〜１３１９とでは、それぞれ継続時間が異なっている。特に判り易い例として、例えば図５（Ｂ）のターム情報５１１及び５１９と、図１３（Ｂ）のターム情報１３１１及び１３１９とでは、それぞれ各フレームに対して同じ「１」のレーティング情報が付与されるが、継続時間については大きく異なっている。このように、前述の図５（Ｂ）と図１３（Ｂ）の例の場合、フレーム群の各フレームにおいて、それぞれ同一のレーティング情報が付与されるフレームの数が異なっている。
【００９４】
このように、フレーム群の各フレームに付与するレーティング情報を決める際の手法を変えた場合でも、前述のフレーム群の範囲を変える手法の場合と同様に、再生ステータスに応じて各フレームに付与するレーティング情報を決めることができる。その他にも、フレーム群の範囲とフレーム群に付与するレーティングの値の決め方の両方を変えるようにしてもよい。
【００９５】
また、前述の実施形態の例では、再生ステータスとして、通常速度による再生ステータスや、コマ送りやコマ戻し再生或いは一時停止中の再生ステータスを例に挙げたが、再生ステータスはそれらに限定されない。例えば、２倍速再生や３倍速再生などの各種倍速再生、スロー再生などの再生ステータスに応じて、前述同様にしてフレーム群の範囲を決定してもよいし、レーティング情報の値を決定してもよい。
【００９６】
また、本実施形態では、例えば通常速度で動画が再生されている際、ユーザからレーティング情報付与の指示（タップ操作）がなされたときに表示されているフレームを注目フレームとしてフレーム群を決定している。この場合、実際には、ユーザが良いと思ったフレームを目視してからレーティング情報付与の指示を行うまでには、多少のタイムラグ（反応時間の遅れ）が発生することが想定される。そこで、ユーザからレーティング情報付与の指示がなされた時点よりも所定時間前に表示したフレームを注目フレームとし、その注目フレームの周囲のフレームをフレーム群として決定してもよい。この場合も前述同様に、フレーム群の各フレームに対しては、注目フレームから時間軸上で遠くなるほど値が低くなされたレーティング情報の値を付与してもよい。またこの例の場合、動画の再生速度に関する再生ステータスが、１倍速、２倍速、３倍速等の何れの再生ステータスであるか応じて、注目フレームを決める際の所定時間（ユーザの指示入力時点より前の所定時間）を変更してもよい。
【００９７】
また、前述の実施形態の説明では、例えばシーンの区切りが存在しない動画部分についてフレーム群の範囲を決定してレーティング情報を付与する例を挙げている。ここで、例えばシーンの区切りを超えてフレーム群の範囲が決定されてレーティング情報の付与がなされたとすると、実際には、ユーザが意図しないフレームに対してレーティング情報が付与されてしまう虞がある。このため、本実施形態の画像処理装置１００は、動画のシーンの区切りを検出可能となされており、シーンの区切りが検出された場合、フレーム群の範囲を決定する際には、そのシーンの区切りを超える範囲のフレームはフレーム群に含めないようにする。これにより、動画のシーンの区切りを越えてレーティング情報が付与されてしまうことを防いでいる。なお、シーンの区切りの検出方法については、公知の技術を適用可能であるため、ここではその説明については省略する。
【００９８】
また、本実施形態の画像処理装置１００は、ファイル２０１にレーティング情報を記録する場合、同一値のレーティング情報を有するターム毎に開始時間及び継続時間とレーティング情報の値を記録するようにしているが、それ以外の記録手法を用いてもよい。例えば、画像処理装置１００は、タームの継続時間の代わりに、終了時間を記録してもよいし、フレーム毎にレーティング情報の値を記録してもよく、また、時間の情報ではなくフレームごとに付与されたフレーム番号を記録してもよい。また、画像処理装置１００は、注目フレームを表す情報やフレーム群の範囲と基準曲線の形状を表すパラメータを記録してもよい。
【００９９】
以上説明したように、第１の実施形態の画像処理装置１００は、ユーザからレーティング情報付与の指示がなされたときの再生ステータスに応じて、ユーザが静止画抽出の候補として望んでいると思われる注目フレームとフレーム群を決定している。そして、第１の実施形態の画像処理装置１００は、それら注目フレームとフレーム群の各フレームに付与するレーティング情報の値を決定している。これにより、第１の実施形態の画像処理装置１００によれば、再生ステータスに応じて、静止画抽出の候補となるフレームに対してレーティング情報を付与することができる。また、第１の実施形態の画像処理装置１００によれば、ユーザが選択したフレームに対して適切なレーティング情報を付与することができる。
【０１００】
＜第２の実施形態＞
以下、第２の実施形態について説明する。第２の実施形態では、レーティング情報の付与指示の入力時点における動画ファイルの再生状況を推測し、その推測した再生状況を表す再生ステータスに基づいて、フレーム群の範囲やフレーム群に付与するレーティング情報の値を決定する例を挙げる。なお、第２の実施形態において、注目フレームは第１の実施形態と同様のフレームである。また、第２の実施形態における画像処理装置１００の構成及びＵＩ画面は前述の第１の実施形態と同様であるため、それらの説明は省略する。
【０１０１】
ここで、ユーザが動画を鑑賞している場合において、鑑賞時間に動画のフレームレートを掛けた値と、鑑賞時間内に表示したフレーム数との間には大きな差はない。例えば、動画のフレームレートが３０ｆｐｓであった場合、６００秒（１０分）間の鑑賞時間で大凡６００×３０＝１８０００枚のフレームが表示されることになる。一方、ユーザがレーティング情報を付与するフレームを吟味して選択しているような場合には、動画の全フレームの中の狭い時間範囲内の複数のフレームの画像が比較検討されることになると考えられる。このため、ユーザがフレームを吟味している際の作業時間に動画のフレームレートを掛けた値と、その作業時間内に表示したフレーム数との間に或る程度大きな差が生じると考えられる。したがって、ユーザがレーティング情報の付与を指示した時点から前に遡った所定期間内のフレーム表示枚数が、例えば所定の閾値以上であるか又は未満であるか判定することにより、レーティング情報の付与時点における再生状況を推測可能であると考えられる。
【０１０２】
図１４は、前述の図４に示したＵＩ画面４００が表示部１０３に表示されている場合の、第４の実施形態の画像処理装置１００における処理の流れを示すフローチャートである。この図１４に示すフローチャートの処理は、画像処理装置１００のＣＰＵ１０１が記録部１０４に保持されている本実施形態に係るプログラムを実行することにより行われる処理である。
【０１０３】
ＣＰＵ１０１は、前述の図３のＵＩ画面３００において、ユーザにより何れかのサムネイル画像が選択され、更に再生アイコン３１１がタップ操作されて動画ファイルの再生開始の指示が入力されると、図１４のフローチャートの処理を開始する。ＣＰＵ１０１は、先ずステップＳ１４０１の処理として、図４に示したＵＩ画面４００を表示部１０３に表示させる。ステップＳ１４０１の後、ＣＰＵ１０１は、処理をステップＳ１４０２へ進める。
【０１０４】
ステップＳ１４０２では、ＣＰＵ１０１は、ＵＩ画面４００においてユーザにより動画操作アイコンの何れかがタップ操作されたかどうかを判定する。ＣＰＵ１０１は、ステップＳ１４０２において、何れの動画操作アイコンもタップ操作されていないと判定した場合には処理をステップＳ１４０５へ進め、何れかの動画操作アイコンがタップ操作されたと判定した場合には処理をステップＳ１４０３へ進める。
【０１０５】
ステップＳ１４０３では、ＣＰＵ１０１は、画像処理装置１００の動作モードを、ステップＳ１４０２でタップ操作されたと判定された動画操作アイコンに応じた動画再生モードに変更した後、処理をステップＳ１４０４へ進める。
【０１０６】
ステップＳ１４０４では、ＣＰＵ１０１は、動画操作アイコンに対するユーザの操作内容及びその操作時刻の情報を、後述する第１のログとして記録部１０４に記録させる。ステップＳ１４０４の後、ＣＰＵ１０１は、処理をステップＳ１４０５へ進める。
【０１０７】
ステップＳ１４０５では、ＣＰＵ１０１は、ＵＩ画面４００のシークバー４０２がユーザによりタップ操作されるか又はレバー４０２ａがスライド操作されたか否か判定する。ＣＰＵ１０１は、ステップＳ１４０５において、何れの操作もなされていないと判定した場合には処理をステップＳ１４０８へ進め、一方、何れかの操作がなされたと判定した場合には処理をステップＳ１４０６へ進める。
【０１０８】
ステップＳ１４０６では、ＣＰＵ１０１は、シークバー４０２に対してタップ操作が行われた位置又はレバー４０２ａに対するスライド操作によるレバー４０２ａの位置に応じて、動画の再生位置を変更する。ステップＳ１４０６の後、ＣＰＵ１０１は、処理をステップＳ１４０７へ進める。
【０１０９】
ステップＳ１４０７では、ＣＰＵ１０１は、シークバー４０２に対するユーザの操作内容及びその操作時刻の情報を、第１のログとして記録部１０４に記録させる。ステップＳ１４０７の後、ＣＰＵ１０１は、処理をステップＳ１４０８へ進める。
【０１１０】
ステップＳ１４０８では、ＣＰＵ１０１は、このときの再生ステータスが動画の再生停止中になっているか否かを判定する。ＣＰＵ１０１は、ステップＳ１４０８において、動画の再生が停止中であると判定した場合にはステップＳ１４１２へ処理を進め、一方、動画の再生が停止中でないと判定した場合にはステップＳ１４０９へ処理を進める。
【０１１１】
ステップＳ１４０９では、ＣＰＵ１０１は、このときの再生ステータスが、通常速度（一倍速）の再生中か又はコマ送り再生であれば次のフレームを新しい再生位置のフレームとし、コマ戻し再生であれば前のフレームを新しい再生位置のフレームとする。ステップＳ１４０９の後、ＣＰＵ１０１は、処理をステップＳ１４１０へ進める。
【０１１２】
ステップＳ１４１０では、ＣＰＵ１０１は、図４のＵＩ画面４００の動画再生領域４０１に表示しているフレームを新しい再生位置のフレームに更新する。ステップＳ１４１０の後、ＣＰＵ１０１は、処理をステップＳ１４１１へ進める。
【０１１３】
ステップＳ１４１１では、ＣＰＵ１０１は、ステップＳ１４１０で新しく表示したフレームのフレーム番号及び表示時刻を、後述する第２のログとして記録部１０４に記録させる。ステップＳ１４１１の後、ＣＰＵ１０１は、処理をステップＳ１４１２に進める。
【０１１４】
ステップＳ１４１２では、ＣＰＵ１０１は、ユーザによりレーティング付与アイコン４０７〜４１１の何れかがタップ操作されたか否かを判定する。ＣＰＵ１０１は、ステップＳ１４１２において、レーティング付与アイコン４０７〜４１１の何れもタップ操作されていないと判定した場合には、処理をステップＳ１４０２へ戻す。一方、ＣＰＵ１０１は、ステップＳ１４１２において、レーティング付与アイコン４０７〜４１１の何れかがタップ操作されたと判定した場合には、処理をステップＳ１４１３へ進める。
【０１１５】
ステップＳ１４１３では、ＣＰＵ１０１は、レーティング情報を付与するフレーム群の範囲を決定する。このステップＳ１４１３の詳細な処理については後述する。ステップＳ１４１３の後、ＣＰＵ１０１は、処理をステップＳ１４１４へ進める。
【０１１６】
ステップＳ１４１４では、ＣＰＵ１０１は、ステップＳ１４１３で決定されたフレーム群に含まれる各フレームに対してレーティング情報を付与する。このステップＳ１４１４の処理は、前述の図６のフローチャートのステップＳ６１１の処理と同じであるので、ここではその説明については省略する。ステップＳ１４１４の後、ＣＰＵ１０１は、処理をステップＳ１４０２へ戻す。
【０１１７】
図１５（Ａ）は、前述の第１のログとして記録部１０４に記録される情報の一例を示す図である。図１５（Ａ）において、ＩＤ１５０１は、第１のログのそれぞれの行に割り振られる固有の番号である。時刻１５０２は、ユーザが動画操作アイコン或いはシークバー４０２を操作した時の時刻である。操作内容１５０３は、ユーザが動画操作アイコン或いはシークバー４０２を操作した時の操作内容を表す情報である。
【０１１８】
図１５（Ｂ）は、前述の第２のログとして記録部１０４に記録される情報の一例を示す図である。図１５（Ｂ）において、ＩＤ１５０４は、第２のログのそれぞれの行に割り振られる固有の番号である。時刻１５０５は、フレームを表示した時の時刻である。フレーム番号１５０６は、表示したフレームのフレーム番号である。
【０１１９】
図１６は、図１４のステップＳ１４１３においてフレーム群の範囲を決定する処理の詳細なフローチャートを示す。フレーム群の範囲を決定する処理が開始されると、ＣＰＵ１０１は、ステップＳ１６０１の処理として、ユーザがレーティング情報の付与を指示した時点から前に遡った所定時間（例えば１０分）内に表示されたフレーム数を、第２のログを参照してカウントする。このときのＣＰＵ１０１は、フレーム番号が同一のフレームが複数含まれていれば、それらは１フレームとしてカウントする。ステップＳ１６０１の後、ＣＰＵ１０１は、処理をステップＳ１６０２に進める。
【０１２０】
ステップＳ１６０２では、ＣＰＵ１０１は、ステップＳ１６０１でカウントしたフレーム数が所定の閾値未満であるか否か判定する。ＣＰＵ１０１は、ステップＳ１６０２でカウントしたフレーム数が閾値未満であると判定した場合にはステップＳ１６０３に処理を進め、一方、閾値未満でない（閾値以上である）と判定した場合にはステップＳ１６０４に処理を進める。なお、閾値は、前述の所定時間（例えば１０分）から算出する。
【０１２１】
ステップＳ１６０３では、ＣＰＵ１０１は、フレーム群の範囲を前述した図５（Ｂ）で示したような狭い範囲の「小」に決定する。一方、ステップＳ１６０４では、ＣＰＵ１０１は、フレーム群の範囲を前述の図５（Ａ）や図５（Ｃ）に示したような広い範囲の「大」に決定する。これらステップＳ１６０３，Ｓ１６０４の後、ＣＰＵ１０１は、この図１６のフローチャートの処理を終了して、図１４のステップＳ１４１４へ処理を進める。
【０１２２】
なお、第２の実施形態において、ユーザが動画を選択する際のＵＩ画面３００は第１の実施形態と同じであるので説明を省略する。また、第２の実施形態において、ユーザが選択した動画からレーティング情報の値がフィルタリング条件に当てはまるフレームだけを抽出して表示するＵＩ画面１１００Ａ，１１００Ｂとそれらの処理も第１の実施形態と同じであるのでそれらの説明は省略する。
【０１２３】
ここで、ユーザが動画を鑑賞している場合において、例えば長期間の休憩を挟んだとすると、鑑賞時間内に表示したフレーム数は大きく減少することになると考えられる。このため、第２の実施形態の画像処理装置１００は、動画が再生停止状態のまま所定の時間が経過したときには、ユーザが休憩中であると判断する。そして、画像処理装置１００は、その再生停止期間内にも再生時と同様の数のフレームが表示されたと仮定してフレーム数をカウントしてもよい。或いは、画像処理装置１００は、ユーザがレーティング情報の付与を指示した時点から前に遡った所定期間内に表示されたフレーム数をカウントする際に、前述の再生停止期間を除いて所定期間を決定してもよい。例えば所定期間が１０分である場合、この間に１分間の再生停止期間があった場合、画像処理装置１００は、ユーザがレーティング情報の付与を指示した時点から前に遡った１１分間内に表示されたフレーム数をカウントするようにする。
【０１２４】
前述したような例以外にも、第２の実施形態では、レーティング情報の付与の指示がなされた時点での動画の再生状況を推測する例として、以下のような第１，第２の２種類の推測手法を用いることができる。
【０１２５】
先ず、第１の推測手法について説明する。第１の推測手法では、画像処理装置１００は、ユーザがレーティング情報の付与を指示した時点から前に遡った所定期間内におけるユーザの操作回数が、所定回数として設定されている閾値以上か又は閾値未満であるかを判定する。そして、画像処理装置１００は、ユーザの操作回数が閾値以上であると判定した場合、ユーザがコマ送り再生やコマ戻し再生などを多用して、レーティング情報を付与するフレームを選択していると推測して、フレーム群の範囲を「小」に決定する。一方、画像処理装置１００は、ユーザの操作回数が閾値未満であると判定した場合には、ユーザが動画を鑑賞していると推測して、フレーム群の範囲を「大」に決定する。
【０１２６】
図１７は、第１の推測方法を用いた場合の第２の実施形態の画像処理装置のＣＰＵ１０１が実行する図１４のステップＳ１４１３の処理の詳細なフローチャートである。この図１７のフローチャートにおいて、ＣＰＵ１０１は、ステップＳ１７０１の処理として、ユーザがレーティング情報の付与を指示した時点から前に遡った所定期間内におけるユーザの操作回数を、第１のログを参照して計測（カウント）する。ステップＳ１７０１の後、ＣＰＵ１０１は、処理をステップＳ１７０２に進める。
【０１２７】
ステップＳ１７０２では、ＣＰＵ１０１は、ユーザの操作回数が閾値以上であるか否かを判定する。ＣＰＵ１０１は、ステップＳ１７０２においてユーザの操作回数が閾値以上であると判断した場合には、処理をステップＳ１７０３に進める。そして、ＣＰＵ１０１は、ステップＳ１７０３においてフレーム群の範囲を「小」と決定する。一方、ＣＰＵ１０１は、ステップＳ１７０２においてユーザの操作回数が閾値以上でない（閾値未満である）と判定した場合には、処理をステップＳ１７０４に進める。そして、ＣＰＵ１０１は、ステップＳ１７０４においてフレーム群の範囲を「大」と決定する。
【０１２８】
次に、第２の推測方法について説明する。第２の推測手法では、画像処理装置１００は、ユーザがレーティング情報の付与を指示した時点から前に遡ってユーザの操作回数が所定の操作回数となる期間内に表示されたフレーム数が、所定の閾値以上か又は閾値未満かを判定する。そして、画像処理装置１００は、その期間内に表示されたフレーム数が閾値未満であれば、ユーザがレーティング情報を付与するフレームを吟味して選択していると推測して、フレーム群の範囲を「小」に決定する。一方、画像処理装置１００は、その期間内に表示されたフレーム数が閾値以上であれば、ユーザが動画を鑑賞していると推測して、フレーム群の範囲を「大」に決定する。
【０１２９】
図１８は、第２の推測方法を用いた場合の第２の実施形態の画像処理装置のＣＰＵ１０１が実行する図１４のステップＳ１４１３の処理の詳細なフローチャートである。この図１８のフローチャートにおいて、ＣＰＵ１０１は、ステップＳ１８０１の処理として、ユーザがレーティング情報の付与を指示した時点から前に遡ってユーザの操作回数が所定の操作回数となる期間を、第１のログを参照して求める。ステップＳ１８０１の後、ＣＰＵ１０１は、処理をステップＳ１８０２に進める。
【０１３０】
ステップＳ１８０２では、ＣＰＵ１０１は、ステップＳ１８０１で求めた期間内で表示されたフレーム数を、第２のログを参照して計測（カウント）する。このとき、ＣＰＵ１０１は、フレーム番号が同一のフレームが複数含まれていたとしても、それは１フレームとしてカウントする。ステップＳ１８０２の後、ＣＰＵ１０１は、処理をステップＳＳ１８０３に進める。
【０１３１】
ステップＳ１８０３では、ＣＰＵ１０１は、ステップＳ１８０２において計測したカウントフレーム数が所定の閾値未満であるか否かを判定する。ＣＰＵ１０１は、ステップＳ１８０３において計測したカウントフレーム数が閾値未満であると判断した場合には、処理をステップＳ１８０４に進める。そして、ＣＰＵ１０１は、ステップＳ１８０４においてフレーム群の範囲を「小」に決定する。一方、ＣＰＵ１０１は、ステップＳ１８０３においてカウントフレーム数が閾値未満でない（閾値以上である）と判定した場合には、処理をステップＳ１８０５に進める。そして、ＣＰＵ１０１は、ステップＳ１８０５においてフレーム群の範囲を「大」に決定する。
【０１３２】
以上説明したように、第２の実施形態の画像処理装置１００は、レーティング情報の付与時点における動画ファイルの再生状況を推測した再生ステータスに基づいて、フレーム群の範囲を変えるようにしている。また、第２の実施形態の画像処理装置１００は、動画ファイルの再生状況を推測した再生ステータスに基づいて、前述の第１の実施形態で説明したのと同様に、フレーム群に付与するレーティングの値の決定方法を変更してもよい。その他にも、第２の実施形態の画像処理装置１００は、動画ファイルの再生状況を推測した再生ステータスに基づいて、前述の第１の実施形態で説明したのと同様に、フレーム群の範囲とフレーム群に付与するレーティングの値の決定手法の両方を変えてもよい。以上説明したように、第２の本実施形態の画像処理装置１００によれば、動画ファイルの再生状況を推測した再生ステータスに基づいて、静止画切り出しの候補となる各フレームに対してレーティング情報を付与することができる。
【０１３３】
＜第３の実施形態＞
次に、第３の実施形態では、動画の再生状況として、動画再生の際に再生されないフレームがあるような場合、その再生されなかったフレームをフレーム群の範囲に含めて、そのフレーム群に対してレーティング情報を付与する例について説明する。なお、第３の実施形態における画像処理装置１００の構成及びＵＩ画面は前述の第１の実施形態と同様であるため、それらの説明は省略する。また、第３の実施形態において、ユーザが前述の図４に示したＵＩ画面４００を用いて画像処理装置１００を操作する場合の動作についても第１の実施形態と同じであるので、その説明は省略する。
【０１３４】
ここで、例えばいわゆるＭＰＥＧなどの多くの動画フォーマットでは、動画ファイルのデータサイズを削減するために、フレーム間圧縮処理が行われている。フレーム間圧縮処理とは、或るフレームとその前のフレームは類似していることが多いという動画の基本的性質を利用し、或るフレームのデータそのものではなく、前のフレームとの差分データだけを記録することで、データサイズを削減可能にする処理である。
【０１３５】
図１９（Ａ）〜図１９（Ｃ）は、フレーム間圧縮処理された動画について説明するための図である。図１９（Ａ）は、時間的に連続する各フレーム１９００を表しており、それら各フレーム１９００にはＩフレーム、Ｐフレーム、Ｂフレームの３種類がある。Ｉフレームは、所定間隔毎に配置されるフレームであり、フレーム間圧縮を行わずに符号化されて記録されるフレームである。Ｐフレームは、そのＰフレームより時間的に前にあるＩフレーム又はＢフレームとの差分データとして符号化されて記録されるフレームである。Ｂフレームは、そのＢフレームより時間的に前にあるＩフレーム又はＰフレームと、時間的に後にあるＩフレーム又はＰフレームのいずれか、又は両方との差分データとして符号化されて記録されているフレームである。Ｉフレームはそのフレームを構成しているデータだけから復号することができるが、Ｐフレーム及びＢフレームは差分データであるため、そのフレームを構成しているデータだけからは復号することができない。
【０１３６】
したがって、画像処理装置の処理速度が遅い場合や動画のフレームレートが高い場合など、動画の全てのフレームを実時間再生できず、動画を数フレーム毎に間引いて再生するような場合には、短時間で復号できるＩフレームだけを再生すると効率が良い。図１９（Ｂ）は、動画ファイルの再生状況がＩフレームだけを再生して表示する再生ステータスである場合に、図１９（Ａ）のような動画ファイルから抽出して復号された各Ｉフレームを示した図である。ただし、図１９（Ｂ）のようにＩフレームだけを再生する場合には、Ｐフレーム及びＢフレームは再生されず表示されないことになる。この場合、表示されなかったＰフレームやＢフレームの中に良い画像のフレームであったとしても、ユーザはそれに気づかないことになる。
【０１３７】
このため、第３の実施形態の画像処理装置１００は、Ｉフレームだけを表示する再生ステータスにおいてユーザからレーティング情報の付与指示がなされた場合、その時点で表示されていたＩフレームの前後のＰ及びＢフレームにもレーティング情報を付与する。なお、第３の実施形態の場合、ユーザからレーティング情報の付与指示がなされた際に表示されていたＩフレームが注目フレームである。例えば、図１９（Ｂ）のフレーム１９０１が表示されていた時にユーザからレーティング情報付与の指示が入力されとする。この場合、画像処理装置１００は、図１９（Ｃ）に示すように、Ｉフレーム１９０３（図１９（Ｂ）の１９０１）とそのＩフレーム１９０３の前後で表示しなかったＰ及びＢフレームを、フレーム群１９０２として決定する。そして、画像処理装置１００は、このフレーム群１９０２の中の全てのフレームに対してレーティング情報の値を付与する。このときフレーム群の各フレームに付与するレーティング情報の値を決定する処理や、レーティング情報の値をファイルに記録する処理は、前述の第１の実施形態で図１０を用いて説明した処理と同じであり、ここではそれらの説明は省略する。
【０１３８】
図２０には、第３の実施形態の画像処理装置１００において、前述の図６のステップＳ６１０で行われるフレーム群の範囲を決定する処理の詳細なフローチャートを示す。図２０のフローチャートにおいて、フレーム群の範囲を決定する処理が開始されると、ＣＰＵ１０１は、ステップＳ２００１へ処理を進める。
【０１３９】
ステップＳ２００１では、ＣＰＵ１０１は、このときの再生ステータスがＩフレームのみを再生するステータスであるか、或いは低速再生中やコマ送り再生中などのようにＩフレームだけでなく全フレームを再生するステータスであるかを判断する。ＣＰＵ１０１は、ステップＳ２００１において、Ｉフレームのみ再生する再生ステータスであると判断した場合には処理をステップＳ２００３に進め、一方、全フレームを再生する再生ステータスであると判断した場合には処理をステップＳ２００２に進める。
【０１４０】
ステップＳ２００２では、ＣＰＵ１０１は、ユーザによりレーティング情報の付与が指示された際のフレームだけをフレーム群に含め、その後、この図２０のフローチャートの処理を終了する。なお、ステップＳ２００２において、ＣＰＵ１０１は、前述の第１又は第２の実施形態の場合と同様に、ユーザによりレーティング情報の付与が指示された際の注目フレームの周囲の各フレームからフレーム群を決定してもよい。
【０１４１】
一方、ステップＳ２００３の処理に進んだ場合、ＣＰＵ１０１は、ユーザがレーティング情報の付与を指示した際に表示されていたＩフレームの前後に在るＩフレームを求める。例えば、図１９（Ｃ）のＩフレーム１９０３が表示されていたときにユーザからレーティング情報の付与指示が入力された場合、ＣＰＵ１０１は、Ｉフレーム１９０３の前後のＩフレーム１９０４及び１９０５を求める。ステップＳ２００３の後、ＣＰＵ１０１は、処理をステップＳ２００４に進める。
【０１４２】
ステップＳ２００４では、ＣＰＵ１０１は、Ｉフレーム１９０４より後でＩフレーム１９０５より前の各フレームをフレーム群として決定し、その後、この図２０のフローチャートの処理を終了する。
【０１４３】
なお、前述の説明では、フレームレートが高い動画については各Ｉフレームのみを表示する例を挙げたが、フレームレートがさらに高い動画などの場合には、Ｉフレームを二つおきや三つおきに表示してもよい。フレーム群を決める際には、レーティング情報の付与指示が入力された際に表示されていたＩフレームの前後のＩフレームを求めるのではなく、前後で表示されたＩフレーム及び表示される予定のＩフレームを求めて、それらからフレーム群を決定すればよい。
【０１４４】
また、前述の説明では、動画フォーマットしてＭＰＥＧを例示したが、例えばいわゆるモーションＪＰＥＧ（ｍｏｔｉｏｎ  ＪＰＥＧ）などのように全てのフレームが、フレーム間圧縮されずに符号化されて記録されるフレームとなされる動画フォーマットもある。このような動画フォーマットの動画ファイルを再生する場合、本実施形態の画像処理装置１００は、所定間隔毎のフレームとして、所定のフレーム数ごとのフレームを表示するようにしてもよい。この場合、画像処理装置１００は、フレーム群を決める際には、表示されるフレームの前後で表示されたフレーム及び表示される予定のフレームを求めて、それらから前述同様にしてフレーム群を決定すればよい。
【０１４５】
なお、第３の実施形態において、レーティング情報の付与後、前述したフィルタリングアイコンのタップ操作に応じてフレームを抽出して表示するＵＩ画面や処理は、前述の図１１や図１２を用いて説明したのと同じであるのでそれらの説明は省略する。
【０１４６】
以上説明したように、第３の実施形態の画像処理装置１００においては、例えば動画ファイルが再生された際に表示されないフレームがある場合であっても、表示されなかったフレームに対してレーティング情報を付与することができる。
【０１４７】
＜第４の実施形態＞
次に、第４の実施形態として、動画を構成する各フレームが一覧表示されるような再生ステータスにおいて、一覧表示の中からユーザが良いフレームを探す場合に好適な例を挙げる。なお、第４の実施形態における画像処理装置１００の構成は前述の第１の実施形態と同様であるため、その説明は省略する。
【０１４８】
ここで、動画ファイルを構成する各フレームを一覧表示した場合、ユーザは、動画を見ながら再生位置や再生速度などを操作する必要がないため、ユーザにとって操作方法がわかりやすいという利点がある。しかし、動画を構成しているフレーム数がある程度多くなると、一覧表示される全てのフレームを復号するのに時間がかかり、またフレーム数が増えるためユーザが全てのフレームを見るのは困難になることが考えられる。
【０１４９】
このため、第４の実施形態の画像処理装置１００は、一例として、動画ファイルの中のＩフレームの画像だけを一覧表示する。Ｉフレームだけ表示するのであれば高速な復号が可能であり、また一覧表示すべきフレーム数を抑えることができる。ただし、前述した第３の実施形態で説明したように、一覧表示されなかったフレーム（例えばＰフレームやＢフレーム）に良いフレームが含まれている可能性がある。そこで、第４の実施形態の画像処理装置１００は、前述した第３の実施形態と同様の処理により、一覧表示されなかったフレームについても、フレーム群を決定してレーティング情報を付与する。
【０１５０】
第４の実施形態の場合、前述の図３のＵＩ画面３００においてユーザが何れかの動画ファイルのサムネイル画像を選択すると、画像処理装置１００は、表示部１０３のＵＩ画面として図２１（Ａ）に示すＵＩ画面２１００Ａを表示する。
【０１５１】
図２１（Ａ）のＵＩ画面２１００Ａには、一覧表示された各フレームのサムネイル画像２１０１〜２１０９と、スクロールバー２１１０と、全フレーム表示アイコン２１１１と、Ｉフレーム表示アイコン２１１２とが表示されている。サムネイル画像２１０１〜２１０９は、図３のＵＩ画面３００でユーザが選択した動画ファイルに含まれている各フレームのサムネイル画像である。ただし、画像処理装置１００は、初期状態では、動画ファイルの中のＩフレームのサムネイル画像だけを一覧表示し、ＰフレームやＢフレームのサムネイル画像は表示しない。
【０１５２】
また、図２１（Ａ）の例では９フレーム分の９枚のサムネイル画像が表示されているが、１０枚目以降の各フレームの各サムネイル画像は、ユーザによりスライド操作がなされたときにスクロール表示される。例えば、ユーザによるＵＩ画面１２００Ａに対するスライド操作やスクロールバー２１１０に対するスライド操作がなされると、画像処理装置１００は、一覧表示をスクロール表示し、１０枚目以降の各フレームの各サムネイル画像を表示する。
【０１５３】
また、画像処理装置１００は、ユーザにより全フレーム表示アイコン２１１１がタップ操作されると、動画ファイルに含まれる全てのフレームのサムネイル画像を生成して、ＵＩ画面２１００Ａに表示可能な数のサムネイル画像を一覧表示する。一方、画像処理装置１００は、ユーザによりＩフレーム表示アイコン２１１２がタップ操作されると、動画ファイルに含まれるＩフレームのみからサムネイル画像を生成して、ＵＩ画面２１００Ａに表示可能な数のサムネイル画像を一覧表示する。そして、画像処理装置１００は、一覧表示されている各フレームのサムネイル画像２１０１〜２１０９の中で例えばサムネイル画像２１０１がユーザによりタップ操作されると、ＵＩ画面を図２１（Ｂ）のＵＩ画面１２００Ｂに遷移させる。この第４の実施形態の場合、一覧表示されている各フレームのサムネイル画像２１０１〜２１０９の中でユーザによりタップ操作されて選択されたサムネイル画像に対応したフレームが、注目フレームである。
【０１５４】
図２１（Ｂ）のＵＩ画面２１００Ｂに遷移すると、画像処理装置１００は、図２１（Ａ）のＵＩ画面２１００Ａでユーザがタップしたサムネイル画像２１０１に対応したフレームの画像２１１３を全画面表示する。また、画像処理装置１００は、ＵＩ画面２１００Ｂにはレーティング付与アイコン２１１４〜２１１９をも表示する。これらレーティング付与アイコン２１１４〜２１１９は、例えば前述の図４のＵＩ画面４００内のレーティング付与アイコン４０７〜４１１と同様のアイコンである。
【０１５５】
そして、レーティング付与アイコン２１１４〜２１１９の何れかがタップ操作されると、画像処理装置１００は、タップ操作されたレーティング付与アイコンの設定レーティング情報と再生ステータスとに基づいてフレーム群を決定する。また、このときの画像処理装置１００は、決定したフレーム群の各フレームに付与するレーティング情報を生成して、それらレーティング情報を各フレームに対して付与する。なお、第４の実施形態におけるフレーム群の範囲の決定処理とレーティング情報の付与処理の詳細については後述する。また、ＵＩ画面２１００Ｂにはリターンアイコン２１２０も用意されており、このリターンアイコン２１２０がユーザによりタップ操作されると、画像処理装置１００は、ＵＩ画面を図２１（Ａ）のＵＩ画面２１００Ａに戻す。
【０１５６】
図２２は、図２１（Ａ）のＵＩ画面２１００Ａや図２１（Ｂ）のＵＩ画面２１００Ｂが表示部１０３に表示される場合の、第４の実施形態の画像処理装置１００における処理の流れを示すフローチャートである。この図２２に示すフローチャートの処理は、画像処理装置１００のＣＰＵ１０１が記録部１０４に保持されている本実施形態に係るプログラムを実行することにより行われる処理である。
【０１５７】
ＣＰＵ１０１は、前述の図３のＵＩ画面３００において、ユーザにより何れかの動画ファイルに対応したサムネイル画像が選択されると、図２２のフローチャートの処理を開始する。ＣＰＵ１０１は、先ずステップＳ２２０１の処理として、図２１（Ａ）に示したＵＩ画面２１００Ａを表示部１０３に表示させる。ステップＳ２２０１の後、ＣＰＵ１０１は、処理をステップＳ２２０２へ進める。
【０１５８】
ステップＳ２２０２では、ＣＰＵ１０１は、動画ファイルに含まれる各フレームのうち、図２１（Ａ）のようにＵＩ画面２１００Ａ内に収まる数の各フレームのサムネイル画像２１０１〜２１０９を一覧表示する。このステップＳ２２０２の詳細な処理については後述する。ステップＳ２２０２の後、ＣＰＵ１０１は、処理をステップＳ２２０３に進める。
【０１５９】
ステップＳ２２０３では、ＣＰＵ１０１は、ユーザがＵＩ画面２１００Ａのスライド操作又はスクロールバー２１１０のスライド操作を行ったか否かを判定する。ＣＰＵ１０１は、ステップＳ２２０３においてユーザによるスライド操作が行われたと判定した場合には処理をステップＳ２２０２へ戻し、一方、スライド操作が行われていない場合にはステップＳ２２０４に処理を進める。
【０１６０】
ステップＳ２２０４では、ＣＰＵ１０１は、ユーザにより全フレーム表示アイコン２１１１又はＩフレーム表示アイコン２１１２がタップ操作されたか否かを判定する。ＣＰＵ１０１は、ステップＳ２２０４において、全フレーム表示アイコン２１１１とＩフレーム表示アイコン２１１２の何れかがタップ操作されたと判定した場合には、処理をステップＳ２２０２に戻す。一方、ＣＰＵ１０１は、ステップＳ２２０４において、全フレーム表示アイコン２１１１とＩフレーム表示アイコン２１１２の何れもタップ操作されていないと判定した場合には、処理をステップＳ２２０５に進める。
【０１６１】
ステップＳ２２０５では、ＣＰＵ１０１は、ＵＩ画面２１００Ａに一覧表示されている各フレームのサムネイル画像２１０１〜２１０９の何れかのサムネイル画像がユーザによりタップ操作されたか否かを判定する。ＣＰＵ１０１は、ステップＳ２２０５において、何れのサムネイル画像もタップ操作されていないと判定した場合には処理をステップＳ２２０３に戻し、一方、何れかのサムネイル画像がタップ操作されたと判定した場合には処理をステップＳ２２０６に進める。
【０１６２】
ステップＳ２２０６では、ＣＰＵ１０１は、表示部１０３に図２１（Ｂ）のＵＩ画面２１００Ｂを表示させる。このステップＳ２２０６の処理の詳細については後述する。そして、ステップＳ２２０６において、例えば図２１（Ｂ）のリターンアイコン２１２０がユーザによりタップ操作されると、ＣＰＵ１０１は、処理をステップＳ２２０１に戻す。
【０１６３】
図２３には、図２２のステップＳ２２０２においてＣＰＵ１０１が行う処理の詳細なフローチャートを示す。ＣＰＵ１０１は、先ずステップＳ２３０１として、動画ファイルを構成している全フレームの数、現在表示されているフレームの動画内における位置、及びユーザによるスライド操作の大きさや強さなどの情報を求める。そして、ＣＰＵ１０１は、それらの情報に基づいて、ＵＩ画面２１００Ａに一覧表示する各フレームを決定する。ステップＳ２３０１の後、ＣＰＵ１０１は、処理をステップＳ２３０２に進める。
【０１６４】
ステップＳ２３０２に進むと、ＣＰＵ１０１は、ＵＩ画面２１００Ａに各フレームのサムネイル画像を一覧表示する際の、最初のフレームから最後のフレームまでの各フレームに対して、ステップＳ２３０３からステップＳ２３０６までのループ処理を開始する。
【０１６５】
ステップＳ２３０２〜Ｓ２３０６のループ処理では、ＣＰＵ１０１は、先ずステップＳ２３０３として、ＵＩ画面２１００Ａには動画ファイルの全フレームのサムネイル画像を表示するモードか、或いは、Ｉフレームだけを表示するモードかを判定する。ＣＰＵ１０１は、ステップＳ２３０３において、全フレーム表示アイコン２１１１のタップ操作がなされていることで、動画ファイルの全フレームのサムネイル画像を表示するモードであると判定した場合には、処理をステップＳ２３０４に進める。一方、ＣＰＵ１０１は、ステップＳ２３０３において、Ｉフレーム表示アイコン２１１２のタップ操作がなされていることで、Ｉフレームのサムネイル画像だけを表示するモードになっていると判定した場合には、処理をステップＳ２３０５に進める。
【０１６６】
ステップＳ２３０４の処理に進んだ場合、ＣＰＵ１０１は、フレームの種類がＩフレームかＰフレームかＢフレームの何れであるかに関わらず、時間軸上で次のフレームのサムネイル画像を一枚表示する（一覧表示に加える）。一方、ステップＳ２３０５の処理に進んだ場合、ＣＰＵ１０１は、次のＩフレームのサムネイル画像を一枚表示する（一覧表示に加える）。このようにしてＣＰＵ１０１は、一覧表示される最後のフレームになるまでステップＳ２３０２〜Ｓ２３０６のループ処理が行われる。これにより、表示部１０３には、前述した図２１（Ａ）のような各フレームのサムネイル画像２１０１〜２１０９が一覧表示されたＵＩ画面２１００Ａが表示されることになる。
【０１６７】
そして、前述のようにしてステップＳ２３０２〜Ｓ２３０６のフレームに対するループ処理が終了すると、ＣＰＵ１０１は、図２２のステップＳ２２０３に処理を進める。
【０１６８】
図２４は、図２２のステップＳ２２０６においてＣＰＵ１０１が行う処理の詳細なフローチャートを示す。ＣＰＵ１０１は、前述の図２１のＵＩ画面２１００Ａおいて、ユーザにより何れかのフレームに対応したサムネイル画像が選択されると、図２４のフローチャートの処理を開始する。ＣＰＵ１０１は、先ずステップＳ２４０１の処理として、図２１（Ｂ）に示したＵＩ画面２１００Ｂを表示部１０３に表示させる。ステップＳ２４０１の後、ＣＰＵ１０１は、処理をステップＳ２４０２へ進める。
【０１６９】
ステップＳ２４０２では、ＣＰＵ１０１は、図２１（Ａ）のＵＩ画面２１００Ａでユーザにより選択されたサムネイル画像に対応したフレームの画像を、図２１（Ｂ）のＵＩ画面２１００Ｂのように全画面表示する。ステップＳ２４０２の後、ＣＰＵ１０１は、処理をステップＳ２４０３に進める。
【０１７０】
ステップＳ２４０３では、ＣＰＵ１０１は、図２１（Ｂ）のＵＩ画面２１００Ｂの中のレーティング付与アイコン２１１４〜２１１９の何れかがユーザによりタップ操作されたか否かを判定する。ＣＰＵ１０１は、ステップＳ２４０３において、レーティング付与アイコン２１１４〜２１１９の何れもタップ操作されていないと判定した場合には、処理をステップＳ２４０６に進める。一方、ＣＰＵ１０１は、ステップＳ２４０３において、レーティング付与アイコン２１１４〜２１１９の何れかがタップ操作されたと判定した場合には、処理をステップＳ２４０４に進める。
【０１７１】
ステップＳ２４０４では、ＣＰＵ１０１は、ステップＳ２４０３でタップ操作されたと判定されたレーティング付与アイコンの設定レーティング情報の値に応じて、フレーム群の範囲を決定する。このときのフレーム群の範囲の決定処理は、前述した第３の実施形態において図２０を用いて説明した処理と同じであるので、ここではその説明は省略する。ステップＳ２４０４の後、ＣＰＵ１０１は、処理をステップＳ２４０５に進める。
【０１７２】
ステップＳ２４０５では、ＣＰＵ１０１は、ステップＳ２４０４で決定されたフレーム群の各フレームに対してレーティング情報を付与する。このときのレーティング情報の付与処理は、前述の第１の実施形態において図１０を用いて説明した処理と同じであるので、ここではその説明は省略する。ステップＳ２４０５の後、ＣＰＵ１０１は、処理をステップＳ２４０６に進める。
【０１７３】
ステップＳ２４０６では、ＣＰＵ１０１は、図２１（Ｂ）のＵＩ画面２１００Ｂのリターンアイコン２１２０がユーザによりタップ操作されたか否かを判定する。ＣＰＵ１０１は、ステップＳ２４０６において、リターンアイコン２１２０がタップ操作されていない場合には、処理をステップＳ２４０３に戻す。一方、ＣＰＵ１０１は、ステップＳ２４０６において、リターンアイコン２１２０がタップ操作されたと判定した場合には、図２４のフローチャートの処理を終了して、図２２のステップＳ２２０１の処理に戻る。
【０１７４】
なお、第４の実施形態では、動画ファイルの各Ｉフレームを一覧表示する例について説明したが、前述の第３の実施形態の場合と同様に、Ｉフレームは二つおきや三つおきに表示してもよい。フレーム群を決める際には、ユーザが選択したＩフレームの前後のＩフレームを求めるのではなく、選択されたＩフレームとともに一覧表示されている前後のＩフレーム及び一覧表示される予定のＩフレームを求め、それらからフレーム群を決定すればよい。
【０１７５】
また、第４の実施形態において、例えばいわゆるモーションＪＰＥＧなどのように全てのフレームがフレーム間圧縮されずに符号化されて記録されるフレームである場合、画像処理装置１００は、所定のフレーム数ごとにフレームを表示するようにしてもよい。この場合、画像処理装置１００は、フレーム群を決める際には、選択されたフレームと共に一覧表示されている前後のフレーム及び一覧表示される予定のフレームを求めて、それらからフレーム群を決定すればよい。
【０１７６】
なお、第４の実施形態の画像処理装置１００は、図４に示したＵＩ画面４００と図２１（Ａ）に示した一覧表示のＵＩ画面２１００Ａとの間で遷移が行われてもよい。この場合、画像処理装置１００は、図４のＵＩ画面４００の動画再生時には全てのフレームを表示するが、図２１（Ａ）の一覧表示時にはＩフレームだけを一覧表示する。そして、画像処理装置１００は、ユーザによりレーティング情報の付与指示が入力されたときに、動画再生のＵＩ画面４００が表示されていた場合には、前述した第１〜第３の実施形態で説明したようにしてフレーム群を決定する。一方、画像処理装置１００は、ユーザによりレーティング情報の付与指示が入力されたとき、フレーム一覧表示のＵＩ画面２１００Ａが表示されていた場合には、第４の実施形態で説明したようにしてフレーム群を決定するようにしてもよい。
【０１７７】
以上説明したように、第４の実施形態の画像処理装置１００においては、例えば動画ファイルの各フレームが一覧表示された際に、一覧表示されないフレームがある場合であっても、表示されなかったフレームに対してもレーティング情報を付与することができる。
【０１７８】
＜その他の実施形態＞
本発明は、上述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣによっても実現可能である。
【０１７９】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１８０】
１００  画像処理装置、１０１  ＣＰＵ、１０２  操作部、１０３  表示部、１０４  記録部、１０５  通信部
【図１】
2017085371.tif 000003
【図２】
2017085371.tif 000004
【図３】
2017085371.tif 000005
【図４】
2017085371.tif 000006
【図５】
2017085371.tif 000007
【図６】
2017085371.tif 000008
【図７】
2017085371.tif 000009
【図８】
2017085371.tif 000010
【図９】
2017085371.tif 000011
【図１０】
2017085371.tif 000012
【図１１】
2017085371.tif 000013
【図１２】
2017085371.tif 000014
【図１３】
2017085371.tif 000015
【図１４】
2017085371.tif 000016
【図１５】
2017085371.tif 000017
【図１６】
2017085371.tif 000018
【図１７】
2017085371.tif 000019
【図１８】
2017085371.tif 000020
【図１９】
2017085371.tif 000021
【図２０】
2017085371.tif 000022
【図２１】
2017085371.tif 000023
【図２２】
2017085371.tif 000024
【図２３】
2017085371.tif 000025
【図２４】
2017085371.tif 000026