(57)【要約】【課題】コンテンツの内容を容易に把握することができる。【解決手段】表示制御部は、プレビューするコンテンツおよびそのコンテンツの特徴量を、コンテンツアーカイブおよびコンテンツ特徴量データベースからそれぞれ取り出し、プレビュー画面を生成し、生成したプレビュー画面を表示部に表示させる。表示制御部は、プレビュー画面の表示時に、操作入力部を介して入力されるユーザにより表示、非表示が選択された特徴量や検索結果を基に、プレビュー画面を再表示させる。その際、表示制御部は、ユーザが選択する特徴量に応じて各シーンの重要度を判定し、その重要度に応じて、プレビュー画面を再表示させる。本開示は、例えば、動画像コンテンツのプレビュー表示を制御する情報処理装置に適用することができる。【選択図】図１
2014106637.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツから複数の特徴量を抽出する複数の特徴量抽出部と、
コンテンツの画像とともに、前記コンテンツの特徴量に関する情報の表示を制御する表示制御部と、
前記特徴量に関する情報の表示または非表示を選択する選択部と
を備え、
前記表示制御部は、前記選択部により選択された前記特徴量に関する情報の表示または非表示に基づいて求められるシーンの重要度の表示を制御する
情報処理装置。
【請求項２】
前記表示制御部は、前記重要度に応じて、前記特徴量に関する情報の表示を変更する
請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、前記重要度に応じて、前記特徴量に関する情報として、シーン先頭画像の表示を制御する
請求項２に記載の情報処理装置。
【請求項４】
前記表示制御部は、前記重要度の高いシーン先頭画像を、前記重要度の低いシーン先頭画像よりも大きくなるように表示させる
請求項３に記載の情報処理装置。
【請求項５】
前記表示制御部は、前記重要度の高いシーン先頭画像を、前記重要度の低いシーン先頭画像よりも前面になるように表示させる
請求項３に記載の情報処理装置。
【請求項６】
前記表示制御部は、前記重要度に応じて、前記特徴量に関する情報として、所定のオブジェクトが検出されているオブジェクト画像の表示を制御する
請求項２に記載の情報処理装置。
【請求項７】
前記表示制御部は、前記重要度の高いオブジェクト画像を、前記重要度の低いオブジェクト画像よりも大きくなるように表示させる
請求項６に記載の情報処理装置。
【請求項８】
前記表示制御部は、前記重要度の高いオブジェクト画像を、前記重要度の低いオブジェクト画像よりも前面になるように表示させる
請求項６に記載の情報処理装置。
【請求項９】
前記表示制御部は、タイムライン上で前記重要度の高いオブジェクトが連続して検出される場合、前記重要度の高いオブジェクトが連続して検出される区間に、１枚または複数枚の前記重要度の高いオブジェクト画像を表示させる
請求項６に記載の情報処理装置。
【請求項１０】
前記重要度の重み付けを変更する変更部を
さらに備え、
前記表示制御部は、前記変更部により重み付けが変更された重要度に応じて、前記特徴量に関する情報の表示を変更する
請求項２に記載の情報処理装置。
【請求項１１】
前記重要度に応じたシーンを抽出するシーン抽出部を
さらに備える請求項１に記載の情報処理装置。
【請求項１２】
前記シーン抽出部により抽出されるシーンを集めて、ダイジェスト動画像を生成するダイジェスト生成部を
さらに備える請求項１１に記載の情報処理装置。
【請求項１３】
前記シーン抽出部により抽出されるシーンの開始点と終了点とからなるダイジェストメタデータを生成するメタデータ生成部を
さらに備える請求項１１に記載の情報処理装置。
【請求項１４】
前記シーン抽出部により抽出されるシーンの画像から、コンテンツを代表するサムネイル画像を生成するサムネイル生成部を
さらに備える請求項１１に記載の情報処理装置。
【請求項１５】
前記重要度の重み付けを変更する変更部を
さらに備え、
前記シーン抽出部は、前記変更部により重み付けが変更された重要度に応じたシーンを抽出する
請求項１１に記載の情報処理装置。
【請求項１６】
情報処理装置が、
コンテンツから複数の特徴量を抽出し、
コンテンツの画像とともに、前記コンテンツの特徴量に関する情報の表示を制御し、
前記特徴量に関する情報の表示または非表示を選択し、
選択された前記特徴量に関する情報の表示または非表示に基づいて求められるシーンの重要度の表示を制御する
画像処理方法。
【請求項１７】
コンピュータを、
コンテンツから複数の特徴量を抽出する複数の特徴量抽出部と、
コンテンツの画像とともに、前記コンテンツの特徴量に関する情報の表示を制御する表示制御部と、
前記特徴量に関する情報の表示または非表示を選択する選択部と
して機能させ、
前記表示制御部は、前記選択部により選択された前記特徴量に関する情報の表示または非表示に基づいて求められるシーンの重要度の表示を制御する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および方法、並びにプログラムに関し、特に、コンテンツの内容を容易に把握できるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
動画コンテンツの内容を確認するためのプレビュー画面においては、一般的に動画を再生するプレビュー領域とタイムライン領域があり、タイムライン内の再生位置を表示するスライダなどが表示されている。
【０００３】
ユーザがコンテンツの内容を把握するためには動画を再生してプレビューを確認するか、あるいは、より早く把握するためにスライダで再生位置を動かして内容を確認することができる。しかしながら、コンテンツの長さによっては内容を把握するために非常に時間がかかってしまう。
【０００４】
これに対して、従来技術として、特許文献１または特許文献２においては、シーンチェンジに対応する画像をタイムラインに表示することで、どこにどのような映像があるかをユーザが確認することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２８４９４８号公報
【特許文献２】特開２０００−３０８００３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、コンテンツの長さによって、あるいは、コンテンツのシーンチェンジの多さによっては、シーンチェンジに対応する画像が多くなり、ユーザがコンテンツの内容を把握しにくくなってしまう。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、コンテンツの内容を容易に把握することができるものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の情報処理装置は、コンテンツから複数の特徴量を抽出する複数の特徴量抽出部と、コンテンツの画像とともに、前記コンテンツの特徴量に関する情報の表示を制御する表示制御部と、前記特徴量に関する情報の表示または非表示を選択する選択部とを備え、前記表示制御部は、前記選択部により選択された前記特徴量に関する情報の表示または非表示に基づいて求められるシーンの重要度の表示を制御する。
【０００９】
前記表示制御部は、前記重要度に応じて、前記特徴量に関する情報の表示を変更することができる。
【００１０】
前記表示制御部は、前記重要度に応じて、前記特徴量に関する情報として、シーン先頭画像の表示を制御することができる。
【００１１】
前記表示制御部は、前記重要度の高いシーン先頭画像を、前記重要度の低いシーン先頭画像よりも大きくなるように表示させることができる。
【００１２】
前記表示制御部は、前記重要度の高いシーン先頭画像を、前記重要度の低いシーン先頭画像よりも前面になるように表示させることができる。
【００１３】
前記表示制御部は、前記重要度に応じて、前記特徴量に関する情報として、所定のオブジェクトが検出されているオブジェクト画像の表示を制御することができる。
【００１４】
前記表示制御部は、前記重要度の高いオブジェクト画像を、前記重要度の低いオブジェクト画像よりも大きくなるように表示させることができる。
【００１５】
前記表示制御部は、前記重要度の高いオブジェクト画像を、前記重要度の低いオブジェクト画像よりも前面になるように表示させることができる。
【００１６】
前記表示制御部は、タイムライン上で前記重要度の高いオブジェクトが連続して検出される場合、前記重要度の高いオブジェクトが連続して検出される区間に、１枚または複数枚の前記重要度の高いオブジェクト画像を表示させることができる。
【００１７】
前記重要度の重み付けを変更する変更部をさらに備え、前記表示制御部は、前記変更部により重み付けが変更された重要度に応じて、前記特徴量に関する情報の表示を変更することができる。
【００１８】
前記重要度に応じたシーンを抽出するシーン抽出部をさらに備えることができる。
【００１９】
前記シーン抽出部により抽出されるシーンを集めて、ダイジェスト動画像を生成するダイジェスト生成部をさらに備えることができる。
【００２０】
前記シーン抽出部により抽出されるシーンの開始点と終了点とからなるダイジェストメタデータを生成するメタデータ生成部をさらに備えることができる。
【００２１】
前記シーン抽出部により抽出されるシーンの画像から、コンテンツを代表するサムネイル画像を生成するサムネイル生成部をさらに備えることができる。
【００２２】
前記重要度の重み付けを変更する変更部をさらに備え、前記シーン抽出部は、前記変更部により重み付けが変更された重要度に応じたシーンを抽出することができる。
【００２３】
本開示の一側面の情報処理方法は、情報処理装置が、コンテンツから複数の特徴量を抽出し、コンテンツの画像とともに、前記コンテンツの特徴量に関する情報の表示を制御し、前記特徴量に関する情報の表示または非表示を選択し、選択された前記特徴量に関する情報の表示または非表示に基づいて求められるシーンの重要度の表示を制御する。
【００２４】
本開示の一側面のプログラムは、コンピュータを、コンテンツから複数の特徴量を抽出する複数の特徴量抽出部と、コンテンツの画像とともに、前記コンテンツの特徴量に関する情報の表示を制御する表示制御部と、前記特徴量に関する情報の表示または非表示を選択する選択部として機能させ、前記表示制御部は、前記選択部により選択された前記特徴量に関する情報の表示または非表示に基づいて求められるシーンの重要度の表示を制御する。
【００２５】
本開示の一側面においては、コンテンツから複数の特徴量が抽出され、コンテンツの画像とともに、前記コンテンツの特徴量に関する情報の表示が制御される。そして、前記特徴量に関する情報の表示または非表示が選択され、選択された前記特徴量に関する情報の表示または非表示に基づいて求められるシーンの重要度の表示が制御される。
【発明の効果】
【００２６】
本開示によれば、コンテンツの内容を容易に把握することができる。
【図面の簡単な説明】
【００２７】
【図１】本技術を適用した情報処理装置の構成例を示す図である。
【図２】情報処理装置のコンテンツ入力処理を説明するフローチャートである。
【図３】プレビュー表示処理を説明するフローチャートである。
【図４】プレビュー画面の再表示処理について説明するフローチャートである。
【図５】プレビュー画面の例を示す図である。
【図６】プレビュー画面の例を示す図である。
【図７】シーンチェンジ画像表示部の表示例を示す図である。
【図８】シーンチェンジ画像表示部の他の表示例を示す図である。
【図９】顔画像表示部の表示例を示す図である。
【図１０】顔画像表示部の表示例を示す図である。
【図１１】本技術を適用した情報処理装置の構成例を示す図である。
【図１２】プレビュー表示処理を説明するフローチャートである。
【図１３】ダイジェスト生成処理を説明するフローチャートである。
【図１４】ダイジェスト生成表示部の表示例を示す図である。
【図１５】ダイジェスト生成表示部の他の表示例を示す図である。
【図１６】他のダイジェスト生成方法について説明する図である。
【図１７】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（重要度に応じたプレビュー画面）
２．第２の実施の形態（重要度に応じたダイジェスト生成）
３．第３の実施の形態（コンピュータ）
【００２９】
＜１．第１の実施の形態（重要度に応じたプレビュー画面）＞
[本技術の情報処理装置の構成]
図１は、本技術を適用した情報処理装置の構成例を示す図である。
【００３０】
図１の情報処理装置１１は、コンテンツをプレビューする画面において、コンテンツから画像認識、音声認識、文字認識などの認識技術によって抽出したコンテンツの特徴量を、タイムラインに表示する。情報処理装置１１は、例えば、パーソナルコンピュータなどで構成される。
【００３１】
図１の例において、情報処理装置１１は、コンテンツ入力部２１、コンテンツアーカイブ２２、特徴量抽出部２３−１乃至２３−３、コンテンツ特徴量データベース２４、表示制御部２５、操作入力部２６、表示部２７、特徴量抽出部２８、および検索部２９を含むように構成されている。
【００３２】
コンテンツ入力部２１は、図示せぬ外部などからコンテンツを入力し、入力したコンテンツを、特徴量抽出部２３−１乃至２３−３に供給する。また、コンテンツ入力部２１は、入力されたコンテンツを、コンテンツアーカイブ２２に登録する。
【００３３】
コンテンツアーカイブ２２は、コンテンツ入力部２１からのコンテンツを登録する。
【００３４】
特徴量抽出部２３−１乃至２３−３は、コンテンツに対して、画像認識、音声認識、文字認識などを行い、画像特徴量や音声特徴量などの複数の特徴量をそれぞれ抽出する。特徴量抽出部２３−１乃至２３−３は、抽出したコンテンツの特徴量を、コンテンツ特徴量データベース２４に登録する。なお、特徴量抽出部２３−１乃至２３−３を３台で構成するようにしたが、３台に限らず、抽出する特徴量の種類（数）に応じて増減される。以下、特徴量抽出部２３−１乃至２３−３を特に区別する必要がない場合、単に特徴量抽出部２３と称する。
【００３５】
コンテンツ特徴量データベース２４は、特徴量抽出部２３により抽出されたコンテンツの特徴量を登録する。
【００３６】
表示制御部２５は、操作入力部２６からのユーザの指示に対応して、プレビューするコンテンツおよびそのコンテンツの特徴量を、コンテンツアーカイブ２２およびコンテンツ特徴量データベース２４からそれぞれ取り出す。表示制御部２５は、取り出したコンテンツのプレビュー画像およびコンテンツの特徴量に関する情報に基づいて、プレビュー画面を生成し、生成したプレビュー画面を、表示部２７に表示させる。
【００３７】
また、表示制御部２５は、プレビュー画面の表示時に、操作入力部２６を介して入力されるユーザにより指示されたテキストや画像の情報を、特徴量抽出部２８に供給すると、それに対して検索部２９から供給される検索結果を受け取る。表示制御部２５は、その検索結果に基づいて、プレビュー画面を再表示させる。表示制御部２５は、プレビュー画面の表示時に、操作入力部２６を介して入力されるユーザにより表示、非表示が選択された特徴量や検索結果を基に、プレビュー画面を再表示させる。その際、表示制御部２５は、ユーザが選択する特徴量に応じて各シーンの重要度を判定し、その重要度に応じて、プレビュー画面を再表示させる。
【００３８】
さらに、表示制御部２５は、プレビュー画面の表示時に、操作入力部２６を介して入力される特徴量の修正などに基づいて、コンテンツ特徴量データベース２４に登録されている情報の修正、更新などを行う。
【００３９】
操作入力部２６は、例えば、マウスや表示部２７に積層されるタッチパネルなどで構成される。操作入力部２６は、ユーザの操作に応じた信号を、表示制御部２５に供給する。表示部２７は、表示制御部２５により生成されるプレビュー画面を表示する。
【００４０】
特徴量抽出部２８は、表示制御部２５から供給されるユーザにより指示されたテキストや画像の情報の特徴量を抽出し、その特徴量を、検索部２９に供給する。検索部２９は、コンテンツ特徴量データベース２４から、特徴量抽出部２８からの特徴量と類似したものを検索し、その検索結果を、表示制御部２５に供給する。
【００４１】
[情報処理装置の動作]
次に、図２のフローチャートを参照して、情報処理装置１１のコンテンツ入力処理について説明する。
【００４２】
ステップＳ１１において、コンテンツ入力部２１は、図示せぬ外部などからコンテンツを入力する。コンテンツ入力部２１は、入力したコンテンツを、特徴量抽出部２３−１乃至２３−３に供給する。
【００４３】
ステップＳ１２において、特徴量抽出部２３−１乃至２３−３は、コンテンツ入力部２１からのコンテンツに対して、画像認識、音声認識、文字認識などを行い、画像特徴量や音声特徴量などの特徴量をそれぞれ抽出する。ステップＳ１３において、特徴量抽出部２３−１乃至２３−３は、抽出したコンテンツの特徴量を、コンテンツ特徴量データベース２４に登録する。
【００４４】
ステップＳ１４において、コンテンツ入力部２１は、入力されたコンテンツを、コンテンツアーカイブ２２に登録する。
【００４５】
以上のようにして、登録されたコンテンツおよびコンテンツの特徴量を用いて行われるコンテンツのプレビュー表示処理について、図３のフローチャートを参照して説明する。
【００４６】
ユーザは、操作入力部２６を操作して、プレビュー表示させたいコンテンツを選択する。ユーザが選択したコンテンツの情報は、操作入力部２６を介して、表示制御部２５に供給される。
【００４７】
操作入力部２６からの情報に対応して、ステップＳ３１において、表示制御部２５は、コンテンツを選択する。ステップＳ３２において、表示制御部２５は、ステップＳ３１で選択されたコンテンツを、コンテンツアーカイブ２２から取得する。
【００４８】
ステップＳ３３において、表示制御部２５は、ステップＳ３１で選択されたコンテンツの特徴量を、コンテンツ特徴量データベース２４から取得する。
【００４９】
ステップＳ３４において、表示制御部２５は、プレビュー画面の表示を行う。すなわち、表示制御部２５は、取得したコンテンツおよび取得したコンテンツの特徴量に基づいて、各種特徴量に関する情報をタイムラインに表示したプレビュー画面を生成し、生成したプレビュー画面（後述する図５のプレビュー画面５１）を、表示部２７に表示させる。ここで、タイムラインに表示されるのは、特徴量の情報のみに限らず、特徴量に関する情報が表示される。特徴量に関する情報には、特徴量の情報、特徴量を用いて得られる情報、または、特徴量を用いて検索された結果などが含まれている。
【００５０】
ステップＳ３５において、表示制御部２５は、プレビュー画面の再表示処理を行う。このプレビュー画面の再表示処理については、図４を参照して後述されるが、ステップＳ３５の処理により、操作入力部２６から供給されるユーザの指示に応じて更新されたプレビュー画面（後述する図６のプレビュー画面５１）が、表示部２７に表示される。
【００５１】
ステップＳ３６において、表示制御部２５は、プレビュー画面の表示を終了するか否かを判定する。操作入力部２６を介してユーザが終了を指示した場合、ステップＳ３６において、プレビュー画面の表示を終了すると判定され、プレビュー画面の表示が終了する。
【００５２】
一方、ステップＳ３６において、プレビュー画面の表示を終了しないと判定された場合、処理は、ステップＳ３５に戻り、それ以降の処理が繰り返される。
【００５３】
次に、図４のフローチャートを参照して、図３のステップＳ３５のプレビュー画面の再表示処理について説明する。
【００５４】
ステップＳ５１において、表示制御部２５は、操作入力部２６を介して、検索テキストが入力されたか否かを判定する。ステップＳ５１において、検索テキストが入力されたと判定された場合、表示制御部２５は、入力された検索テキストの情報を、特徴量抽出部２８に供給し、処理は、ステップＳ５２に進む。
【００５５】
ステップＳ５２において、特徴量抽出部２８および検索部２９は、音声およびOCRの検索を行う。すなわち、この場合、特徴量抽出部２８は、表示制御部２５からの検索テキストを、そのまま検索部２９に供給する。検索部２９は、コンテンツ特徴量データベース２４から、検索テキストの音声検索や、文字認識結果検索を行い、その検索結果を、表示制御部２５に供給する。そして、処理は、ステップＳ５６に進む。
【００５６】
ステップＳ５１において、検索テキストが入力されていないと判定された場合、処理は、ステップＳ５３に進む。ステップＳ５３において、表示制御部２５は、操作入力部２６を介して、検索画像が入力されたか否かを判定する。ステップＳ５３において、検索画像が入力されたと判定された場合、表示制御部２５は、入力された検索画像の情報を、特徴量抽出部２８に供給し、処理は、ステップＳ５４に進む。
【００５７】
ステップＳ５４において、特徴量抽出部２８および検索部２９は、類似画像の検索を行う。すなわち、この場合、特徴量抽出部２８は、表示制御部２５からの検索画像の特徴量を抽出し、抽出した検索画像の特徴量を、検索部２９に供給する。検索部２９は、コンテンツ特徴量データベース２４から、検索画像の特徴量を用いて類似画像を検索し、その検索結果を、表示制御部２５に供給する。そして、処理は、ステップＳ５６に進む。
【００５８】
ステップＳ５３において、検索画像が入力されていないと判定された場合、処理は、ステップＳ５５に進む。ステップＳ５５において、表示制御部２５は、操作入力部２６を介して、特徴量表示が選択されたか否かを判定する。
【００５９】
プレビュー画面におけるタイムライン上に表示する特徴量（に関する情報）は、ユーザがその表示、非表示を選択することができる。ユーザが、特徴量の表示、非表示の選択を少なくとも１つでも行った場合、ステップＳ５５において、特徴量表示が選択されたと判定され、処理は、ステップＳ５６に進む。
【００６０】
ステップＳ５６において、表示制御部２５は、プレビュー画面の再表示を行う。すなわち、ステップＳ５２の後、ステップＳ５６においては、タイムライン上に表示する特徴量（に関する情報）に、検索テキストの検索結果が追加されて、プレビュー画面が再表示される。また、ステップＳ５４の後、ステップＳ５６においては、タイムライン上に表示する特徴量に、検索画像の検索結果が追加されて、プレビュー画面が再表示される。さらに、ステップＳ５５の後、ステップＳ５６においては、タイムライン上に表示する特徴量が、ユーザの選択に応じて表示、非表示されて、プレビュー画面が再表示される。その後、処理は、図３のステップＳ３５に戻る。
【００６１】
ステップＳ５５において、特徴量表示が選択されなかったと判定された場合、プレビュー画面の再表示処理は、終了され、図３のステップＳ３５に戻る。
【００６２】
[プレビュー画面の例]
図５は、プレビュー画面の例を示している。
【００６３】
図５の例においては、例えば、図３のステップＳ３４などで表示されるプレビュー画面５１が示されている。
【００６４】
プレビュー画面５１は、コンテンツの動画像がプレビュー可能なプレビュー表示部６１と、プレビュー表示部６１の下部に配置され、左上のタグを選択することで表示されるタイムライン表示部６２により構成されている。
【００６５】
プレビュー表示部６１は、プレビュー表示部６１の真下に設置された操作ボタン（再生ボタン、早送りボタン、巻き戻しボタン、および停止ボタンなど）のユーザの操作に応じて、コンテンツの動画像を再生し、プレビュー表示する。プレビュー表示部６１には、表示されるコンテンツにおいて、後述する顔画像表示部８５で顔認識される顔を選択するための枠７１が表示されている。
【００６６】
タイムライン表示部６２には、図１の特徴量抽出部２３−１乃至２３−３により抽出された複数の特徴量に関する情報がタイムラインに表示されている。また、タイムライン上において、プレビュー表示部６１に現在表示されている画像（フレーム）の位置を示すライン６３が設けられており、ユーザは、それを見ることで、タイムライン上におけるコンテンツの再生位置を把握することができる。
【００６７】
また、タイムライン表示部６２の右側には、タイムライン表示部６２上の表示、非表示を選択することができる特徴量リスト６４が表示されている。このリストの左側にある四角にチェックを入れたり、チェックを解除することで、ユーザは、各特徴量に関する情報の表示、非表示を選択し、所望の特徴量に関する情報のみを表示させることができる。
【００６８】
なお、図５の例においては、特徴量リスト６４における上から４番目の「Relevance」のみがチェックされていない。すなわち、図５のタイムライン表示部６２には、その「Relevance」がチェックされることで表示される重要度表示部９１（後述する図６）は、表示されていない。
【００６９】
また、図５の例においては表示されていないが、実際には、タイムライン表示部６２と同じ位置には、ダイジェスト生成表示部６５が設けられている。これらの左上に設けられたタブを選択することで、タイムライン表示部６２に代えて、ダイジェスト生成表示部６５を表示させることが可能である。
【００７０】
ダイジェスト生成表示部６５の詳細は、図１４を参照して後述されるが、ダイジェスト生成表示部６５を表示させることで、ダイジェスト動画像などを生成することができる。
【００７１】
タイムライン表示部６２は、上から順に、シーンチェンジ画像表示部８１、音声波形表示部８２、テキスト検索結果表示部８３、画像検索結果表示部８４、顔画像表示部８５、オブジェクト画像表示部８６、人物発話領域表示部８７、カメラ動き情報表示部８８で構成されている。いずれも、特徴量に関する情報を表示する表示部である。
【００７２】
シーンチェンジ画像表示部８１は、特徴量リスト６４における「Thumnail」がチェックされることで、タイムライン表示部６２に表示される。シーンチェンジ画像表示部８１には、特徴量の１つである、シーンチェンジにより求められる各シーンの先頭フレーム画像のサムネイル画像がタイムライン上に表示される。なお、シーン先頭画像を、以下、シーンチェンジ画像と称する。
【００７３】
音声波形表示部８２は、特徴量リスト６４における「Wave form」がチェックされることで、タイムライン表示部６２に表示される。音声波形表示部８２には、特徴量の１つである、コンテンツの音声波形がタイムライン上に表示される。
【００７４】
テキスト検索結果表示部８３は、特徴量リスト６４における「Keyword Spotting」がチェックされることで、タイムライン表示部６２に表示される。テキスト検索結果表示部８３には、操作入力部２６を操作してユーザが入力したテキスト（図５の例の場合、president）を、音声認識や文字認識による特徴量に基づいて、コンテンツ特徴量データベース２４から検索した結果が表示される。
【００７５】
画像検索結果表示部８４は、特徴量リスト６４における「Image Spotting」がチェックされることで、タイムライン表示部６２に表示される。画像検索結果表示部８４には、操作入力部２６を操作してユーザが選択した画像の類似シーンを、画像認識による特徴量に基づいて、コンテンツ特徴量データベース２４から検索した結果（のサムネイル画像）が表示される。
【００７６】
顔画像表示部８５は、特徴量リスト６４における「Face」がチェックされることで、タイムライン表示部６２に表示される。顔画像表示部８５には、プレビュー表示部６１において枠７１により選択された顔を認識して、コンテンツ特徴量データベース２４から、顔認識による特徴量に類似しているもの（のサムネイル画像）が表示される。
【００７７】
オブジェクト画像表示部８６は、特徴量リスト６４における「Capitol Hill」がチェックされることで、タイムライン表示部６２に表示される。なお、図５の例においては、Capitol Hillをオブジェクトの例としたが、オブジェクトは、Capitol Hillに限定されず、ユーザにより指定することができる。オブジェクト画像表示部８６には、ユーザにより指定されたオブジェクト（図５の場合、Capitol Hill）認識による特徴量に基づいて、コンテンツ特徴量データベース２４から検索した結果（のサムネイル画像）が表示される。
【００７８】
なお、顔画像とオブジェクト画像とを別々に表示する例を示したが、顔もオブジェクトの１つである。顔画像表示部８５およびオブジェクト画像表示部８６に表示される画像は、もともとある画像から、抽出オブジェクトをトリミングした画像（サムネイル画像）としてもよい。
【００７９】
人物発話領域表示部８７は、特徴量リスト６４における「Human Voice」がチェックされることで、タイムライン表示部６２に表示される。人物発話領域表示部８７には、音声認識による特徴量により求められる人物発話領域または音楽領域などが表示される。なお、人物発話領域表示部８７には、図５に示されるように、人物が発話した領域だけでなく、発話した人物の性別や年齢別のマークを表示させてもよい。
【００８０】
カメラ動き情報表示部８８は、特徴量リスト６４における「Camera Motion」がチェックされることで、タイムライン表示部６２に表示される。カメラ動き情報表示部８８には、カメラ動き認識による特徴量である、パン、チルト、ズームなどのカメラやカメラのレンズの動き情報（以下、カメラ動き情報と称する）を有する領域が表示される。なお、カメラ動き情報は、コンテンツ撮影時のカメラ動きを感知するセンサなどの情報を利用することも可能である。
【００８１】
プレビュー画面５１には、以上のような特徴量を例に、コンテンツから抽出可能な各種の特徴量や特徴量を用いて得られる情報が、タイムラインに表示される。
【００８２】
しかしながら、上述したプレビュー画面５１において、図５のシーンチェンジ画像表示部８１や顔画像表示部８５、オブジェクト画像表示部８６に表示されるサムネイル画像は、コンテンツの長さやシーンチェンジの数、あるいは、検出オブジェクト数によって、各画像が重なる。このため、それぞれの画像が確認しにくくなり、コンテンツの内容を把握することが困難になってしまう。
【００８３】
そこで、本技術においては、シーンチェンジ画像表示部８１や顔画像表示部８５、オブジェクト画像表示部８６に表示されるサムネイル画像などのタイムラインに表示する画像を、ユーザが選択する特徴量に応じて効果的に表示させる。
【００８４】
本技術においては、例えば、タイムラインに表示する画像を、ユーザが選択する特徴量に応じて、大きさや前面背面の位置関係などを変えて効果的に表示させる。
【００８５】
ユーザが、特徴量リスト６４において選択する特徴量は、ユーザがコンテンツの内容を把握するにあたって重要であると判断される特徴量となる。例えば、人物が写っている映像が重要であるとすれば、顔検出によって人物が登場するシーンが重要であり、ある特定の単語が発話されているシーンが重要であるとすれば、音声認識のテキスト検索によって抽出されたシーンが重要となる。
【００８６】
そこで、表示制御部２５は、ユーザが選択した特徴量に該当するシーンを重要なシーンであり、より多くの特徴量に該当するシーンをより重要なシーンであると判定して、各シーンの重要度を判定していく。
【００８７】
なお、その際、各特徴量の重要度の重み付けを加え、特徴量毎に重み付けを操作するスライダなどを表示し、ユーザが任意に重み付けを操作することで重要度を判定するようにしてもよい。
【００８８】
以上のようにして判定された重要度は、図６に示されるように、タイムライン表示部６２に表示される。
【００８９】
図６は、プレビュー画面の他の例を示している。図６の例においては、タイムライン表示部６２において、音声波形表示部８２、テキスト検索結果表示部８３の間に、重要度表示部９１が新たに設けられている点が、図５のタイムライン表示部６２と異なる。
【００９０】
なお、図６のタイムライン表示部６２において、その他は、基本的に、図５のタイムライン表示部６２と共通している。
【００９１】
重要度表示部９１は、特徴量リスト６４における「Relevance」がチェックされることで、タイムライン表示部６２に表示される。重要度表示部９１には、上述したように、特徴量リスト６４において、ユーザが選択した特徴量に該当するシーンを重要なシーンであり、より多くの特徴量に該当するシーンをより重要なシーンであると判定して、各シーンの重要度を判定していくことにより求められた重要度が表示される。いま、重要度が３段階に分類されており、重要度３が最も重要であるとする。
【００９２】
例えば、重要度表示部９１には、黒ベタの領域が最も重要な（重要度３の）シーンであり、ついで、細かいハッチングの領域が、重要度２のシーンとされ、斜めのハッチングの領域が、重要度１のシーンとされるというように、シーン毎に重要度が判定されて、表示される。
【００９３】
そして、表示制御部２５は、シーンチェンジ画像表示部８１、顔画像表示部８５、またはオブジェクト画像表示部８６において、この重要度を利用して、特徴量に関する情報の表示を変更する。すなわち、シーンチェンジ画像表示部８１、顔画像表示部８５、またはオブジェクト画像表示部８６において、この重要度を利用して、より重要なシーンとされる画像が大きく、かつ／または、前面に表示される。
【００９４】
次に、図７を参照して、シーンチェンジ画像表示部８１における重要度の利用について説明する。図７の例においては、シーンチェンジ画像表示部８１には、左から、サムネイル画像１０１乃至サムネイル画像１０８が表示されている。
【００９５】
図７のＡは、重要度を考慮しない場合のシーンチェンジ画像表示部８１を示している。すなわち、図７のＡのシーンチェンジ画像表示部８１においては、どのシーンチェンジのサムネイル画像も、同じ大きさで、前後関係もタイムラインのままで表示されている。すなわち、時間的に一番前のサムネイル画像１０１が一番背面に配置されており、時間的に一番後のサムネイル画像１０８が一番前面に配置されている。
【００９６】
図７のＢは、重要なシーンのサムネイル画像を大きくした場合のシーンチェンジ画像表示部８１を示している。すなわち、図７のＢのシーンチェンジ画像表示部８１においては、最も重要なシーンのサムネイル画像１０３の大きさが、他のサムネイル画像の大きさより大きく表示されている。重要なシーンのサムネイル画像１０１および１０６の大きさが、サムネイル画像１０３に次いで大きく表示されている。さらに、少し重要なシーンのサムネイル画像１０２、１０４、および１０７の大きさが、重要ではないシーンのサムネイル画像１０５および１０８よりも大きく表示されている。
【００９７】
図７のＣは、図７のＢの表示から、各サムネイル画像１０１乃至１０８の上下中央を揃えて表示した場合のシーンチェンジ画像表示部８１を示している。
【００９８】
図８のＤは、図７のＣの表示から、より重要なシーンのサムネイル画像を前面に表示した場合のシーンチェンジ画像表示部８１を示している。すなわち、図８のＤのシーンチェンジ画像表示部８１においては、最も重要なシーンのサムネイル画像１０３が最も前面に表示されており、次いで、重要なシーンのサムネイル画像１０１および１０６が前面に表示されている。さらに、少し重要なシーンのサムネイル画像１０２、１０４、および１０７が、次に前面に表示され、重要ではないシーンのサムネイル画像１０５および１０８は、最も背面に表示されている。ただし、実際には、サムネイル画像１０２、１０４、および１０５は、隠れてしまっている。
【００９９】
図８のＥは、図８のＤの表示から、どのサムネイル画像も完全に隠れないように、画像の上端を各重要度に応じてずらして表示した場合のシーンチェンジ画像表示部８１を示している。
【０１００】
すなわち、図８のＥのシーンチェンジ画像表示部８１においては、図８のＤの場合に隠れていたサムネイル画像１０２、１０４、および１０５が、サムネイル画像１０１、１０３、および１０６の背面に存在することがわかるように各サムネイル画像が表示されている。
【０１０１】
なお、図８のＥの例においては、上端をずらして表示した場合の例を示したが、同様に、下端をずらして表示するようにしてもよい。
【０１０２】
図８のＦは、図８のＤの表示と同様に、サムネイル画像１０２、１０４、および１０５は、隠れてしまっている場合のシーンチェンジ画像表示部８１を示している。ただし、図８のＦのシーンチェンジ画像表示部８１においては、隠れてしまっているサムネイル画像のシーンを、マウスの位置を示す矢印Ｍがユーザの操作に基づきマウスオーバーした場合に、そのシーンのサムネイル画像の輪郭が、点線に示されるように表示される。さらに、表示されている輪郭を、マウスの位置を示す矢印Ｍがユーザの操作に基づきマウスオーバーした場合に、対応するサムネイル画像が最前面に表示される。
【０１０３】
以上のように、シーンチェンジ画像表示部８１におけるシーンチェンジ画像（サムネイル画像）を、ユーザが選択した特徴量に基づく重要度に応じて表示するようにしたので、ユーザは、コンテンツの内容を容易に把握することができるようになる。
【０１０４】
なお、上記説明において、シーンチェンジ画像表示部８１のサムネイル画像に関しては、ユーザが特徴量リスト６４で選択した特徴量で重要度を判定した例を説明した。これに対して、顔画像表示部８５およびオブジェクト画像表示部８６におけるサムネイル画像に関しては、各オブジェクト（顔もオブジェクトに含まれる）の特性をユーザが選択可能とし、選択された特性に該当するオブジェクト画像（サムネイル画像）が重要な画像と判定される。
【０１０５】
例えば、顔認識による顔画像においては、性別、年代、笑顔判定、または人物名など顔に関するより詳細な特性が抽出される。オブジェクト認識によるオブジェクト画像においては、オブジェクト固有名、オブジェクトの色など、オブジェクトに関するより詳細な特性が抽出される。人物発話情報の場合、男声女声、発話人、音楽認識などの特性が抽出される。カメラ動き情報の場合、パン、チルトや、ズームイン、ズームアウトなどの特性が抽出される。
【０１０６】
そして、顔画像表示部８５およびオブジェクト画像表示部８６におけるサムネイル画像に関しては、上述したようにして抽出される特性を選択可能に構成することで、ユーザにより選択された特性に該当する画像（サムネイル画像）が重要な画像であると判定される。このように判定された重要度に応じて、各画像を、各画像の大きさや前面背面を変えて表示することができる。
【０１０７】
図９は、詳細な特性の１つとして特定の人物を選択した場合の顔画像表示部８５の例を示している。
【０１０８】
すなわち、図９の顔画像表示部８５においては、顔画像のうち、特定の人物の顔画像が抽出されて、抽出された顔画像が、他の顔画像よりも大きく表示されている。
【０１０９】
このようにすることで、オブジェクト画像についても、ユーザにとって、重要なシーンを容易に認識することができる。
【０１１０】
さらに、顔画像表示部８５およびオブジェクト画像表示部８６におけるオブジェクト画像（サムネイル画像）に関して、図１０を参照して説明する。
【０１１１】
例えば、オブジェクト画像の例として、図５の顔画像表示部８５の場合、顔画像が検出されたすべてのフレーム画像に対してサムネイル画像がタイムライン上に表示されている。すなわち、図１０のＡに示されるように、同一オブジェクト（特定の人の顔）が連続して表示され、オブジェクト画像が重なって表示されている。
【０１１２】
そこで、検出オブジェクトの同一性を認識し、連続して同一オブジェクトが登場する区間には、表示制御部２５は、図１０のＢに示されるように連続する複数のオブジェクト画像から代表的な１枚を表示させる。そして、表示制御部２５は、その区間を矢印、もしくは、四角形などでマーキングして表示させる。
【０１１３】
なお、代表的な１枚としては、連続するオブジェクト画像の中で先頭の画像、中央の画像、オブジェクト検出においてオブジェクト認識の精度の最も高い画像、連続するオブジェクト画像の中で最も平均的な画像、または、オブジェクトの特性をユーザが選択することで判定される重要な画像などが選択される。
【０１１４】
区間を表示する四角形としては、例えば、一連のオブジェクト画像の代表的な色が表示される。代表的な色は、例えば、検出オブジェクトの頻出する色味、あるいは、オブジェクトの背景部分に頻出する色味などから決定される。ここで、同一オブジェクトが連続して登場する区間の中で、検出精度などによって非常に短い区間でオブジェクトが検出されない場合、その区間を補間してオブジェクトが検出された区間として判定するようにしてもよい。
【０１１５】
また、同一オブジェクトが登場する区間が長く、２枚のオブジェクト画像を重ならずに表示できるような場合は、表示するオブジェクト画像は代表的な１枚に限らない。このような場合、図１０のＣに示されるように、例えば、同一オブジェクトが登場する区間の先頭の画像と最後の画像を表示するようにしてもよい。
【０１１６】
さらに、同一オブジェクトが登場する区間が長い場合、あるいはタイムラインをズームして同一オブジェクトが登場する区間を長くすることができる場合にも、表示するオブジェクト画像は代表的な１枚に限らない。このような場合、図１０のＤに示されるように、区間の長さに応じて、区間内の間隔を埋めるタイミングで、そのタイミングのオブジェクト画像を表示するようにしてもよい。このようにすることで、表示制御部２５は、画像を重ねることなく、区間の長さに応じたある一定間隔の複数枚のオブジェクト画像を表示することができる。
【０１１７】
連続する同一オブジェクトの画像を、図１０のＢ乃至図１０のＤのように、重ならないように表示する場合にも、ユーザが選択する特性によって判定されたオブジェクト画像の重要度で大きさや前面背面を変えて表示することも可能である。このような場合、表示制御部２５は、同一オブジェクトが登場する区間で、その重要度を判定し、画像の大きさや前面背面を変えて表示することとする。もしくは、同一オブジェクトが登場する区間内で各画像の重要度を判定し、各画像の重要度が異なる場合には、その区間内で重なりを許容して、より重要な画像を大きく、かつ、前面に表示するようにしてもよい。または、表示制御部２５は、これによって表示される画像を考慮して、それ以外のオブジェクト画像は重ならないようにして、区間内の間隔を埋めるタイミングで、それ以外のオブジェクト画像を表示する。
【０１１８】
以上のように、ユーザが動画コンテンツの内容を確認するプレビュー画面において、コンテンツの各種特徴量に関する情報をタイムライン上に表示するようにしたので、ユーザは、コンテンツの内容を容易に把握することができる。
【０１１９】
また、ユーザが各特徴量を選択することで、あるいは、重要度の重み付けを加えて選択することで、ユーザが意図する重要なシーンを選出し、それに応じてシーンチェンジ画像の大きさや前面背面を変えることができる。これにより、ユーザにとって重要なシーンを容易に認識することができるため、より効率的にコンテンツの内容を把握することができる。
【０１２０】
さらに、コンテンツから抽出したオブジェクトに関しても、検出したオブジェクトの重なりを減少させるとともに、ユーザが選択した特性によって重要度を判定し、重要な画像の大きさや前面背面を変えることができる。これにより、より効率的にコンテンツの内容を把握することができる。
【０１２１】
＜２．第２の実施の形態（重要度に応じたダイジェスト生成）＞
[本技術の情報処理装置の構成]
図１１は、本技術を適用した情報処理装置の構成の他の例を示す図である。
【０１２２】
図１１の例において、情報処理装置１１１は、図１の情報処理装置１１と同様に、コンテンツをプレビューする画面において、コンテンツから画像認識、音声認識、文字認識などの認識技術によって抽出したコンテンツの特徴量に関する情報を、タイムラインに表示する。
【０１２３】
また、情報処理装置１１１は、図１の情報処理装置１１と同様に、ユーザが選択する特徴量に応じて各シーンの重要度を判定する。ただし、その際、図１の情報処理装置１１と異なり、重要度に応じてシーンを抽出し、抽出されたシーンを集めてダイジェスト動画像を生成したり、開始点と終了点とをメタデータとして記録する。
【０１２４】
情報処理装置１１１は、コンテンツ入力部２１、コンテンツアーカイブ２２、特徴量抽出部２３−１乃至２３−３、コンテンツ特徴量データベース２４、表示制御部２５、操作入力部２６、表示部２７、特徴量抽出部２８、および検索部２９を備える点は、図１の情報処理装置１１と共通している。
【０１２５】
情報処理装置１１１は、重要シーン判定部１２１およびダイジェスト生成部１２２が追加された点が、図１の情報処理装置１１と異なっている。
【０１２６】
すなわち、表示制御部２５は、プレビュー画面の表示時に、操作入力部２６を介して入力されるユーザにより表示、非表示が選択された特徴量や検索結果(特徴量に関する情報)を基に、プレビュー画面を再表示させる。その際、表示制御部２５は、ユーザが選択する特徴量に応じて各シーンの重要度を判定し、重要度が表示された図６のプレビュー画面５１を再表示させる。
【０１２７】
また、表示制御部２５は、ユーザによりダイジェスト生成を要求する信号を、操作入力部２６を介して受けると、プレビュー画面５１において、ダイジェスト生成表示部６５を表示させる。そして、表示制御部２５は、ユーザが所望する重要度を、操作入力部２６を介して受けると、重要シーン判定部１２１に、その重要度に応じたシーンを抽出させ、抽出されたシーンのサムネイル画像をダイジェスト生成表示部６５に表示させる。
【０１２８】
重要シーン判定部１２１は、表示制御部２５からの重要度に応じたシーンを抽出し、抽出したシーンを、表示制御部２５およびダイジェスト生成部１２２に供給する。重要シーン判定部１２１は、例えば、抽出された重要シーンの開始点と終了点の情報をメタデータとして、コンテンツ特徴量データベース２４に保存する。あるいは、重要シーン判定部１２１は、それらのシーンからキャプチャした静止画像で、コンテンツを代表する１枚、または、複数枚のサムネイル画像を生成する。
【０１２９】
または、ダイジェスト生成部１２２は、重要シーン判定部１２１から供給されるシーンを用いてダイジェスト動画像を生成する。生成されたダイジェスト動画像は、図示せぬ記憶部などに記録される。
【０１３０】
すなわち、判定された重要度が複数段階に分類される場合、表示制御部２５は、ユーザが必要とする重要度を選択する。そして、重要シーン判定部１２１は、その重要度に応じたシーンを抽出して、メタデータ保存、またはサムネイル画像の生成を行ったり、あるいは、ダイジェスト生成部１２２は、ダイジェスト動画像生成を行う。
【０１３１】
[情報処理装置の動作]
なお、情報処理装置１１１のコンテンツ入力処理は、図２を参照して後述した情報処理装置１１のコンテンツ入力処理と基本的に同様の処理を行うため、その説明は繰り返しになるので省略される。
【０１３２】
次に、図１２のフローチャートを参照して、情報処理装置１１１のコンテンツのプレビュー表示処理について説明する。なお、図１２のステップＳ１１１乃至Ｓ１１５、Ｓ１１８は、図３のステップＳ３１乃至Ｓ３６と基本的に同様の処理を行うため、その詳細な説明は繰り返しになるので適宜省略される。
【０１３３】
操作入力部２６からの情報に対応して、ステップＳ１１１において、表示制御部２５は、コンテンツを選択する。ステップＳ１１２において、表示制御部２５は、ステップＳ１１１で選択されたコンテンツを、コンテンツアーカイブ２２から取得する。
【０１３４】
ステップＳ１１３において、表示制御部２５は、ステップＳ１１１で選択されたコンテンツの特徴量に関する情報を、コンテンツ特徴量データベース２４から取得する。
【０１３５】
ステップＳ１１４において、表示制御部２５は、プレビュー画面の表示を行う。すなわち、表示制御部２５は、取得したコンテンツおよび取得したコンテンツの特徴量に基づいて、各種特徴量に関する情報をタイムラインに表示したプレビュー画面を生成し、生成したプレビュー画面（図５のプレビュー画面５１）を、表示部２７に表示させる。
【０１３６】
ステップＳ１１５において、表示制御部２５は、図４を参照して上述されたプレビュー画面の再表示処理を行う。ステップＳ１１５の処理により、操作入力部２６から供給されるユーザの指示に応じて更新されたプレビュー画面が、表示部２７に表示される。すなわち、特徴量リスト６４においてユーザが選択した特徴量に応じて判定されることで重要度が求められ、その重要度が表示された図６のプレビュー画面５１が表示部２７に表示される。
【０１３７】
ステップＳ１１６において、表示制御部２５は、ダイジェストを生成するか否かを判定する。
【０１３８】
例えば、ユーザは、操作入力部２６を操作することで、プレビュー画面５１において、タイムライン表示部６２およびダイジェスト生成表示部６５の左上にそれぞれ設けられたダイジェスト生成表示部６５のタブを選択する。
【０１３９】
これに対応して、表示制御部２５は、ステップＳ１１６においてダイジェストを生成すると判定して、処理は、ステップＳ１１７に進む。ステップＳ１１７において、重要シーン判定部１２１およびダイジェスト生成部１２２は、ダイジェスト生成処理を行う。このダイジェスト生成処理については、図１３を参照して後述される。ステップＳ１１７の処理により、選択された重要度に応じて、ダイジェスト動画像生成、メタデータ保存、あるいは、サムネイル画像の生成が行われる。
【０１４０】
ダイジェスト生成表示部６５のタブが選択されない場合、ステップＳ１１６においてダイジェストを生成しないと判定され、ステップＳ１１７の処理はスキップされ、処理は、ステップＳ１１８に進む。
【０１４１】
ステップＳ１１８において、表示制御部２５は、プレビュー画面の表示を終了するか否かを判定する。操作入力部２６を介してユーザが終了を指示した場合、ステップＳ１１８において、プレビュー画面の表示を終了すると判定され、プレビュー画面の表示が終了する。
【０１４２】
一方、ステップＳ１１８において、プレビュー画面の表示を終了しないと判定された場合、処理は、ステップＳ１１５に戻り、それ以降の処理が繰り返される。
【０１４３】
次に、図１３のフローチャートを参照して、図１２のステップＳ１１７のダイジェスト生成処理について説明する。
【０１４４】
例えば、図１２のステップＳ１１５において、プレビュー画面５１が再表示され、図６の重要度表示部９１に重要度が表示されている。このプレビュー画面５１において、ダイジェスト生成表示部６５のタブが選択されると、タイムライン表示部６２に代わって、ダイジェスト生成表示部６５が、次の図１４のように表示される。
【０１４５】
図１４のダイジェスト生成表示部６５においては、すべてのシーンチェンジ画像に対して、各シーンの重要度の帯が重畳されて表示されている。いま、重要度が３段階に分類されており、重要度３が最も重要であるとする。
【０１４６】
図１４の黒ベタの帯は、図６の重要度表示部９１における黒ベタの領域に対応しており、最も重要な（重要度３の）シーンであることを示している。図１４の細かいハッチングの領域は、図６の重要度表示部９１における細かいハッチングの領域に対応しており、重要度２のシーンであることを示している。また、図１４の斜めのハッチングの帯は、図６の重要度表示部９１における斜めのハッチングの領域に対応しており、重要度１のシーンであることを示している。
【０１４７】
なお、図１４の例においては、重要度１より下の重要度であるシーンには、帯は重畳されていない。
【０１４８】
そこで、例えば、ユーザは、重要度を選択する。例えば、図１５のＡに示されるように、ダイジェスト生成表示部６５の右側には、プライオリティ（重要度）を、most（最も重要）、more（より重要）、relevant（妥当）から選択する重要度選択部１４１が表示される。
【０１４９】
ユーザは、操作入力部２６を操作することで、重要度選択部１４１において、重要度を選択する。これに対応して、表示制御部２５は、ステップＳ１３２において、重要シーン判定部１２１を制御し、重要度に応じたシーンを抽出させる。抽出したシーンの情報は、表示制御部２５に供給され、表示制御部２５は、図１５のＡ乃至図１５のＣに示されるように、重要度選択部１４１を表示させる。
【０１５０】
例えば、relevantが選択された場合、重要度１以上のシーンのサムネイル画像が抽出され、重要度選択部１４１には、図１５のＡに示されるように、重要度１以上のシーンのサムネイル画像が表示される。例えば、moreが選択された場合、重要度２以上のシーンのサムネイル画像が抽出され、重要度選択部１４１には、図１５のＢに示されるように、重要度２以上のシーンのサムネイル画像が表示される。例えば、mostが選択された場合、重要度３以上のシーンのサムネイル画像が抽出され、重要度選択部１４１には、図１５のＣに示されるように、重要度３以上のシーンのサムネイル画像が表示される。
【０１５１】
そして、ステップＳ１３３−１において、重要シーン判定部１２１は、それらのシーンからキャプチャした静止画像で、コンテンツを代表する１枚、または、複数枚のサムネイル画像を生成する。
【０１５２】
または、ステップＳ１３３−２において、重要シーン判定部１２１は、抽出された重要シーンの開始点と終了点の情報をメタデータとして、コンテンツ特徴量データベース２４に保存する。
【０１５３】
あるいは、ステップＳ１３３−３において、ダイジェスト生成部１２２は、重要シーン判定部１２１から供給されるシーンを用いてダイジェスト動画像を生成する。生成されたダイジェスト動画像は、図示せぬ記憶部などに記録される。
【０１５４】
なお、ステップＳ１３３−１乃至Ｓ１３３−３の処理は、いずれか１つの処理が行われてもよいし、少なくとも２つの処理が並列で行われてもよいことから、並列で示されている。
【０１５５】
ステップＳ１３４において、表示制御部２５は、ダイジェスト生成処理を終了するか否かを判定する。例えば、ユーザは、操作入力部２６を操作することで、プレビュー画面５１において、タイムライン表示部６２およびダイジェスト生成表示部６５の左上にそれぞれ設けられたタイムライン表示部６２のタブを選択する。
【０１５６】
これに対応して、表示制御部２５は、ステップＳ１３４において、ダイジェスト生成処理を終了すると判定し、ダイジェスト生成表示部６５に代わって、タイムライン表示部６２を表示させ、ダイジェスト生成処理は、終了される。
【０１５７】
一方、ステップＳ１３４において、ダイジェスト生成処理を終了しないと判定された場合、処理は、ステップＳ１３１に戻り、それ以降の処理が繰り返される。
【０１５８】
以上のように、ユーザは、所望のシーンに応じて重要度を選択し、抽出したシーンからダイジェストを生成することができる。あるいは、抽出されたシーンの開始点と終了点の情報をメタデータとして保存して、他のアプリケーションなどで用いることができる。また各シーンの代表画像、例えば、シーンチェンジ画像を利用してコンテンツを代表する１枚、あるいは、複数枚のサムネイル画像を生成することができる。このサムネイル画像は、シーンのトップの画像をサムネイル画像とした従来の方法よりも、重要なシーンから抽出されたものであるので、コンテンツの内容がそのサムネイル画像を見るだけでわかりやすいという効果がある。
【０１５９】
なお、重要度の選択に関して、重要度を切り替える際に抽出されたシーンから生成されるダイジェスト動画像の長さを表示し、ユーザ所望の長さに近い動画像となるように、重要度を選択して、ダイジェスト動画像を生成することも可能である。
【０１６０】
あるいは、ユーザが所望の長さを事前に情報処理装置１１１に入力しておいて、その長さに近いダイジェスト動画像が生成される重要度が自動で選択されて、ダイジェストが生成されるようにすることも可能である。
【０１６１】
[ダイジェスト生成の他の例]
次に、より簡単にダイジェストを生成する他の方法として、ユーザが選択した任意の１枚、もしくは、複数枚の画像を利用して、類似したシーンを抽出してダイジェストを生成することも可能である。
【０１６２】
例えば、図５のプレビュー画面５１の画像検索結果表示部８４において、ユーザが入力画像の類似シーンを検索していた特徴量に対して、１枚だけでなく複数枚の画像を入力し、それぞれの画像の類似シーンを検索することも可能である。そして、その類似シーンの検索結果から、該当領域を重要シーンとして抽出し、ダイジェスト動画像やサムネイル画像を生成することが可能である。
【０１６３】
図１６の例においては、４枚の特徴的な画像１５１乃至１５４を入力として、それぞれの類似シーンを検索し、その中から重要シーンを抽出する例が示されている。
【０１６４】
タイムライン１４１上には、画像１５４の類似シーンの区間１５４Ａ、画像１５１の類似シーンの区間１５１Ａ、画像１５３の類似シーンの区間１５３Ａ、および画像１５２の類似シーンの区間１５２Ａが表示されている。そして、その中から、検出精度、誤検出区間のノイズ補正、ある時間以上の区間を選択するなどのパラメータをユーザが選択することで、ダイジェスト動画像の素材区間として、黒ベタの区間１６１が抽出されている。
【０１６５】
その他の特徴量として、シーンチェンジ情報や音声の切れ目情報などを利用することで、より柔軟かつ適切なシーンの抽出も可能である。これら抽出した区間のシーンから、ダイジェスト動画像、サムネイル画像の生成、および重要シーンの開始点終了点の抽出が可能となる。
【０１６６】
以上のように、動画像コンテンツから、音声認識や画像認識などの認識技術を利用して各種の特徴量を抽出し、各特徴量をユーザが任意に選択することを可能とすることで、ユーザの意図をより詳細に反映したコンテンツの重要シーンを抽出することが可能となる。
【０１６７】
また、ユーザが任意に選択した１枚または複数枚の特徴的な画像から類似シーンを検索することで、ユーザが意図する重要シーンを柔軟に選択することができる。
【０１６８】
この重要度を利用して、動画像コンテンツに対して、よりユーザの意図を反映させたサムネイル画像やダイジェスト動画像を生成することができる。
【０１６９】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１７０】
＜３．第３の実施の形態（コンピュータ）＞
[コンピュータの構成例]
図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示している。
【０１７１】
コンピュータ３００において、CPU（Central Processing Unit）３０１、ROM（Read Only Memory）３０２、RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１７２】
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。
【０１７３】
入力部３０６は、キーボード、マウス、マイクロホンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体３１１を駆動する。
【０１７４】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１７５】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１７６】
コンピュータでは、プログラムは、リムーバブル記録媒体３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【０１７７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１７８】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７９】
また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８０】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１８１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８３】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するのであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８５】
なお、本技術は以下のような構成も取ることができる。
（１）  コンテンツから複数の特徴量を抽出する複数の特徴量抽出部と、
コンテンツの画像とともに、前記コンテンツの特徴量に関する情報の表示を制御する表示制御部と、
前記特徴量に関する情報の表示または非表示を選択する選択部と
を備え、
前記表示制御部は、前記選択部により選択された前記特徴量に関する情報の表示または非表示に基づいて求められるシーンの重要度の表示を制御する
情報処理装置。
（２）  前記表示制御部は、前記重要度に応じて、前記特徴量に関する情報の表示を変更する
前記（１）に記載の画像処理装置。
（３）  前記表示制御部は、前記重要度に応じて、前記特徴量に関する情報として、シーン先頭画像の表示を制御する
前記（２）に記載の画像処理装置。
（４）  前記表示制御部は、前記重要度の高いシーン先頭画像を、前記重要度の低いシーン先頭画像よりも大きくなるように表示させる
前記（３）に記載の画像処理装置。
（５）  前記表示制御部は、前記重要度の高いシーン先頭画像を、前記重要度の低いシーン先頭画像よりも前面になるように表示させる
前記（３）に記載の画像処理装置。
（６）  前記表示制御部は、前記重要度に応じて、前記特徴量に関する情報として、所定のオブジェクトが検出されているオブジェクト画像の表示を制御する
前記（２）に記載の画像処理装置。
（７）  前記表示制御部は、前記重要度の高いオブジェクト画像を、前記重要度の低いオブジェクト画像よりも大きくなるように表示させる
前記（６）に記載の画像処理装置。
（８）  前記表示制御部は、前記重要度の高いオブジェクト画像を、前記重要度の低いオブジェクト画像よりも前面になるように表示させる
前記（６）に記載の画像処理装置。
（９）  前記表示制御部は、タイムライン上で前記重要度の高いオブジェクトが連続して検出される場合、前記重要度の高いオブジェクトが連続して検出される区間に、１枚または複数枚の前記重要度の高いオブジェクト画像を表示させる
前記（６）に記載の画像処理装置。
（１０）  前記重要度の重み付けを変更する変更部を
さらに備え、
前記表示制御部は、前記変更部により重み付けが変更された重要度に応じて、前記特徴量に関する情報の表示を変更する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）  前記重要度に応じたシーンを抽出するシーン抽出部を
さらに備える前記（１）に記載の画像処理装置。
（１２）  前記シーン抽出部により抽出されるシーンを集めて、ダイジェスト動画像を生成するダイジェスト生成部を
さらに備える前記（１１）に記載の画像処理装置。
（１３）  前記シーン抽出部により抽出されるシーンの開始点と終了点とからなるダイジェストメタデータを生成するメタデータ生成部を
さらに備える前記（１１）に記載の画像処理装置。
（１４）  前記シーン抽出部により抽出されるシーンの画像から、コンテンツを代表するサムネイル画像を生成するサムネイル生成部を
さらに備える前記（１１）に記載の画像処理装置。
（１５）  前記重要度の重み付けを変更する変更部を
さらに備え、
前記シーン抽出部は、前記変更部により重み付けが変更された重要度に応じたシーンを抽出する
前記（１１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）  情報処理装置が、
コンテンツから複数の特徴量を抽出し、
コンテンツの画像とともに、前記コンテンツの特徴量に関する情報の表示を制御し、
前記特徴量に関する情報の表示または非表示を選択し、
選択された前記特徴量に関する情報の表示または非表示に基づいて求められるシーンの重要度の表示を制御する
画像処理方法。
（１７）  コンピュータを、
コンテンツから複数の特徴量を抽出する複数の特徴量抽出部と、
コンテンツの画像とともに、前記コンテンツの特徴量に関する情報の表示を制御する表示制御部と、
前記特徴量に関する情報の表示または非表示を選択する選択部と
して機能させ、
前記表示制御部は、前記選択部により選択された前記特徴量に関する情報の表示または非表示に基づいて求められるシーンの重要度の表示を制御する
プログラム。
【符号の説明】
【０１８６】
１１  情報処理装置，  ２１  コンテンツ入力部，  ２２  コンテンツアーカイブ，  ２３，２３−１乃至２３−３  特徴量抽出部，  ２４  コンテンツ特徴量データベース，  ２５  表示制御部，  ２６  操作入力部，  ２７  表示部，  ２８  特徴量抽出部，  ２９  検索部，  ５１  プレビュー画面，  ６１  プレビュー表示部，  ６２  タイムライン表示部，  ６４  特徴量リスト，  ６５  ダイジェスト生成表示部，  ８１  シーンチェンジ画像表示部，  ８２  音声波形表示部，  ８３  テキスト検索結果表示部，  ８４  画像検索結果表示部，  ８５  顔画像表示部，  ８６  オブジェクト画像表示部，  ８７  人物発話領域表示部，  ８８  カメラ動き情報表示部，  ９１  重要度表示部，  １１１  情報処理装置，  １２１  重要シーン判定部，  １２２  ダイジェスト生成部，  １４１  重要度選択部
【図１】
2014106637.tif 000003
【図２】
2014106637.tif 000004
【図３】
2014106637.tif 000005
【図４】
2014106637.tif 000006
【図５】
2014106637.tif 000007
【図６】
2014106637.tif 000008
【図７】
2014106637.tif 000009
【図８】
2014106637.tif 000010
【図９】
2014106637.tif 000011
【図１０】
2014106637.tif 000012
【図１１】
2014106637.tif 000013
【図１２】
2014106637.tif 000014
【図１３】
2014106637.tif 000015
【図１４】
2014106637.tif 000016
【図１５】
2014106637.tif 000017
【図１６】
2014106637.tif 000018
【図１７】
2014106637.tif 000019