(57)【要約】【課題】コンテンツの内容を把握するための操作性を向上することができる。【解決手段】例えば、t=0から再生を開始し、t=3のタイミングで一時停止を行った場合、t=0乃至t=5においてカメラが右方向にパンしているというカメラ動き情報によって、空間認識部は、t=3の画像の左右の空間が広がっていることを認識することができる。したがって、表示制御部は、t=3で一時停止をしたプレビュー表示部には、t=3の画像上に、GUIとして、左にパンするための左矢印ボタンと右にパンするための右矢印ボタンとを重畳させる。本開示は、例えば、動画像コンテンツのプレビュー表示を制御する情報処理装置に適用することができる。【選択図】図１
2014107641.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツから、各フレームにおけるカメラ動きに関する情報を含む複数の特徴量を抽出する複数の特徴量抽出部と、
前記特徴量抽出部により抽出されたカメラ動きに関する情報に基づいて、前記コンテンツのフレーム上に、前記フレームにおけるカメラ動きに関する操作に対応するGUIを表示させる表示制御部と
を備える情報処理装置。
【請求項２】
前記カメラ動きに関する情報と、前記複数の特徴量のうちの画像特徴量とを用いて、空間における各フレーム同士の関係を認識する空間認識部を
さらに備え、
前記表示制御部は、前記特徴量抽出部により抽出されたカメラ動きに関する情報および前記空間認識部により認識された空間における各フレーム同士の関係に基づいて、前記コンテンツのフレーム上に、前記フレームにおけるカメラ動きに関する操作に対応するGUIを表示させる
請求項１に記載の情報処理装置。
【請求項３】
前記カメラ動きに関する操作に対応するGUIは、カメラアングルを別アングルに切り替え可能なGUIである
請求項２に記載の情報処理装置。
【請求項４】
前記表示制御部は、前記フレームの表示を、ユーザによる前記GUIの操作に対応するアングルのフレームの表示に切り替える
請求項３に記載の情報処理装置。
【請求項５】
前記カメラ動きに関する操作に対応するGUIは、ズームインまたはズームアウトを操作可能なGUIである
請求項２に記載の情報処理装置。
【請求項６】
前記表示制御部は、前記フレームの表示を、ユーザによる前記GUIの操作に対応するズームインまたはズームアウトのフレームの表示に切り替える
請求項５に記載の情報処理装置。
【請求項７】
情報処理装置が、
コンテンツから、各フレームにおけるカメラ動きに関する情報を含む複数の特徴量を抽出し、
抽出されたカメラ動きに関する情報に基づいて、前記コンテンツのフレーム上に、前記フレームにおけるカメラ動きに関する操作に対応するGUIを表示させる
画像処理方法。
【請求項８】
コンピュータを、
コンテンツから、各フレームにおけるカメラ動きに関する情報を含む複数の特徴量を抽出する複数の特徴量抽出部と、
前記特徴量抽出部により抽出されたカメラ動きに関する情報に基づいて、前記コンテンツのフレーム上に、前記フレームにおけるカメラ動きに関する操作に対応するGUIを表示させる表示制御部と
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および方法、並びにプログラムに関し、特に、コンテンツの内容を把握するための操作性を向上することができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
動画コンテンツの内容を確認するためにカメラ動きを認識した結果を応用した従来技術として、特許文献１に記載のように、カメラが動いているセグメントとカメラが固定されている静止セグメントに分離し、ビデオシーケンスにインデックスを付ける技術があった。
【０００３】
また、特許文献２に記載のように、カメラの動きの種類毎にインデックス画像を生成する技術があった。
【０００４】
これらの技術により動画コンテンツを確認するプレビュー画面のタイムライン等に、特定の区間のカメラ動きを提示することで、動画コンテンツの内容を把握することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００５−５３８５８４号公報
【特許文献２】特開平６−２７６４６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、プレビュー画面において、ユーザがカメラの動きを利用して、コンテンツのプレビューの操作を行うような技術は提案されていなかった。
【０００７】
本開示は、このような状況に鑑みてなされたものであり、コンテンツの内容を把握するための操作性を向上することができるものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の情報処理装置は、コンテンツから、各フレームにおけるカメラ動きに関する情報を含む複数の特徴量を抽出する複数の特徴量抽出部と、前記特徴量抽出部により抽出されたカメラ動きに関する情報に基づいて、前記コンテンツのフレーム上に、前記フレームにおけるカメラ動きに関する操作に対応するGUIを表示させる表示制御部とを備える。
【０００９】
前記カメラ動きに関する情報と、前記複数の特徴量のうちの画像特徴量とを用いて、空間における各フレーム同士の関係を認識する空間認識部をさらに備え、前記表示制御部は、前記特徴量抽出部により抽出されたカメラ動きに関する情報および前記空間認識部により認識された空間における各フレーム同士の関係に基づいて、前記コンテンツのフレーム上に、前記フレームにおけるカメラ動きに関する操作に対応するGUIを表示させることができる。
【００１０】
前記カメラ動きに関する操作に対応するGUIは、カメラアングルを別アングルに切り替え可能なGUIである。
【００１１】
前記表示制御部は、前記フレームの表示を、ユーザによる前記GUIの操作に対応するアングルのフレームの表示に切り替えることができる。
【００１２】
前記カメラ動きに関する操作に対応するGUIは、ズームインまたはズームアウトを操作可能なGUIである。
【００１３】
前記表示制御部は、前記フレームの表示を、ユーザによる前記GUIの操作に対応するズームインまたはズームアウトのフレームの表示に切り替えることができる。
【００１４】
本開示の一側面の情報処理方法は、情報処理装置が、コンテンツから、各フレームにおけるカメラ動きに関する情報を含む複数の特徴量を抽出し、抽出されたカメラ動きに関する情報に基づいて、前記コンテンツのフレーム上に、前記フレームにおけるカメラ動きに関する操作に対応するGUIを表示させる。
【００１５】
本開示の一側面のプログラムは、コンピュータを、コンテンツから、各フレームにおけるカメラ動きに関する情報を含む複数の特徴量を抽出する複数の特徴量抽出部と、前記特徴量抽出部により抽出されたカメラ動きに関する情報に基づいて、前記コンテンツのフレーム上に、前記フレームにおけるカメラ動きに関する操作に対応するGUIを表示させる表示制御部として機能させる。
【００１６】
本開示の一側面においては、コンテンツから、各フレームにおけるカメラ動きに関する情報を含む複数の特徴量が抽出される。そして、抽出されたカメラ動きに関する情報に基づいて、前記コンテンツのフレーム上に、前記フレームにおけるカメラ動きに関する操作に対応するGUIが表示される。
【発明の効果】
【００１７】
本開示によれば、コンテンツの内容を把握するための操作性を向上することができる。
【図面の簡単な説明】
【００１８】
【図１】本技術を適用した情報処理装置の構成例を示す図である。
【図２】情報処理装置のコンテンツ入力処理を説明するフローチャートである。
【図３】プレビュー表示処理を説明するフローチャートである。
【図４】プレビュー再生処理について説明するフローチャートである。
【図５】プレビュー画面の例を示す図である。
【図６】カメラが右方向にパンしているシーンの例を示す図である。
【図７】図６の場合のプレビュー表示部の例を示す図である。
【図８】カメラがズームインするシーンの例を示す図である。
【図９】図８の場合のプレビュー表示部の例を示す図である。
【図１０】図８の場合のプレビュー表示部の例を示す図である。
【図１１】図８の場合のプレビュー表示部の例を示す図である。
【図１２】カメラがパンチルトを繰り返して撮影されたシーンの例を示す図である。
【図１３】図１２の場合の空間認識の例を示す図である。
【図１４】図１２の場合のプレビュー表示部の例を示す図である。
【図１５】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（情報処理装置）
２．第２の実施の形態（コンピュータ）
【００２０】
＜１．第１の実施の形態＞
[本技術の情報処理装置の構成]
図１は、本技術を適用した情報処理装置の構成例を示す図である。
【００２１】
図１の情報処理装置１１は、コンテンツをプレビューする画面において、コンテンツから画像認識、音声認識、文字認識などの認識技術によって抽出したコンテンツの特徴量を、タイムラインに表示する。また、情報処理装置１１は、プレビュー中のコンテンツを一時停止した場合、停止したフレーム（画像）上に、そのフレームにおけるカメラ動きに関する操作に対応するGUIを表示させる。情報処理装置１１は、例えば、パーソナルコンピュータなどで構成される。
【００２２】
図１の例において、情報処理装置１１は、コンテンツ入力部２１、コンテンツアーカイブ２２、特徴量抽出部２３−１乃至２３−３、コンテンツ特徴量データベース２４、表示制御部２５、操作入力部２６、表示部２７、特徴量抽出部２８、検索部２９、および空間認識部３０を含むように構成されている。
【００２３】
コンテンツ入力部２１は、図示せぬ外部などからコンテンツを入力し、入力したコンテンツを、特徴量抽出部２３−１乃至２３−３に供給する。また、コンテンツ入力部２１は、入力されたコンテンツを、コンテンツアーカイブ２２に登録する。
【００２４】
コンテンツアーカイブ２２は、コンテンツ入力部２１からのコンテンツを登録する。
【００２５】
特徴量抽出部２３−１乃至２３−３は、コンテンツに対して、画像認識、音声認識、文字認識などを行い、画像特徴量や音声特徴量などの複数の特徴量をそれぞれ抽出する。例えば、特徴量抽出部２３−３は、特に、コンテンツから、特徴量の１つである、カメラ動きに関する情報（以下、カメラ動き情報と称する）を抽出する。カメラ動き情報には、パン、チルトなどのカメラの動きの情報と、ズームイン、ズームアウトなどのカメラのレンズの動きの情報とが含まれている。カメラ動き情報は、コンテンツ撮影時のカメラ動きを感知するセンサなどの情報を利用することもできる。
【００２６】
特徴量抽出部２３−１乃至２３−３は、抽出したコンテンツの特徴量を、コンテンツ特徴量データベース２４に登録する。なお、特徴量抽出部２３−１乃至２３−３を３台で構成するようにしたが、３台に限らず、抽出する特徴量の種類（数）に応じて増減される。以下、特徴量抽出部２３−１乃至２３−３を特に区別する必要がない場合、単に特徴量抽出部２３と称する。
【００２７】
コンテンツ特徴量データベース２４は、特徴量抽出部２３により抽出されたコンテンツの特徴量を登録する。
【００２８】
表示制御部２５は、操作入力部２６からのユーザの指示に対応して、プレビューするコンテンツおよびそのコンテンツの特徴量を、コンテンツアーカイブ２２およびコンテンツ特徴量データベース２４からそれぞれ取り出す。表示制御部２５は、取り出したコンテンツのプレビュー画像およびコンテンツの特徴量に関する情報に基づいて、プレビュー画面を生成し、生成したプレビュー画面を、表示部２７に表示させる。表示制御部２５は、プレビュー画面の表示時に、操作入力部２６を介して入力されるユーザにより指示されたテキストや画像の情報を、特徴量抽出部２８に供給すると、それに対して検索部２９から供給される検索結果を受け取る。表示制御部２５は、その検索結果に基づいて、プレビュー画面を表示させる。
【００２９】
また、表示制御部２５は、プレビュー画面の表示時に、ユーザの操作入力部２６の操作によりプレビュー再生している動画像が一時停止されたとき、コンテンツ特徴量データベース２４のカメラ動き情報および空間情報に基づいて、その停止された画像（フレーム）から、カメラの視点やアングルの移動（すなわち、カメラ動きに関する操作）が可能であるか否かを判定する。停止された画像から、カメラの視点やアングルの移動が可能である場合、表示制御部２５は、その画像上に、カメラの視点やアングルを移動（操作）可能なボタンなど、カメラ動きに関する操作に対応するGUI(Graphical User Interface)を重畳表示させる。ユーザの操作入力部２６の操作によりそのボタンが押下された場合、表示制御部２５は、押下されたボタンが対応する、異なるアングルの画像に表示を切り替えさせ、タイムラインの再生位置を示すラインを、切り替えられた画像の位置に移動させる。
【００３０】
さらに、表示制御部２５は、プレビュー画面の表示時に、操作入力部２６を介して入力される特徴量の修正などに基づいて、コンテンツ特徴量データベース２４に登録されている情報の修正、更新などを行う。
【００３１】
操作入力部２６は、例えば、マウスや表示部２７に積層されるタッチパネルなどで構成される。操作入力部２６は、ユーザの操作に応じた信号を、表示制御部２５に供給する。表示部２７は、表示制御部２５により生成されるプレビュー画面を表示する。
【００３２】
特徴量抽出部２８は、表示制御部２５から供給されるユーザにより指示されたテキストや画像の情報の特徴量を抽出し、その特徴量を、検索部２９に供給する。検索部２９は、コンテンツ特徴量データベース２４から、特徴量抽出部２８からの特徴量と類似したものを検索し、その検索結果を、表示制御部２５に供給する。
【００３３】
空間認識部３０は、コンテンツ特徴量データベース２４に登録されているコンテンツの特徴量のうち、カメラ動き情報および画像特徴量などから、映像中のオブジェクトの同一性を認識して、映像内の空間や空間の同一性などの空間情報を認識する。例えば、フレームとフレームとの空間における位置関係や大小（拡大縮小）関係などの空間情報が認識される。空間認識部３０は、認識したこれらの空間情報を、コンテンツ特徴量データベース２４に登録する。
【００３４】
[情報処理装置の動作]
次に、図２のフローチャートを参照して、情報処理装置１１のコンテンツ入力処理について説明する。
【００３５】
ステップＳ１１において、コンテンツ入力部２１は、図示せぬ外部などからコンテンツを入力する。コンテンツ入力部２１は、入力したコンテンツを、特徴量抽出部２３−１乃至２３−３に供給する。
【００３６】
ステップＳ１２において、特徴量抽出部２３−１乃至２３−３は、コンテンツ入力部２１からのコンテンツに対して、画像認識、音声認識、文字認識などを行い、画像特徴量や音声特徴量などの特徴量をそれぞれ抽出する。なお、ステップＳ１２においては、カメラ動き情報も抽出される。ステップＳ１３において、特徴量抽出部２３−１乃至２３−３は、抽出したコンテンツの特徴量を、コンテンツ特徴量データベース２４に登録する。
【００３７】
ステップＳ１４において、コンテンツ入力部２１は、入力されたコンテンツを、コンテンツアーカイブ２２に登録する。
【００３８】
ステップＳ１５において、空間認識部３０は、コンテンツ特徴量データベース２４に登録されているコンテンツの特徴量のうち、カメラ動き情報および画像特徴量などから、映像中のオブジェクトの同一性を認識して、映像内の空間を認識する。
【００３９】
ステップＳ１６において、空間認識部３０は、認識したこれらの空間情報を、コンテンツ特徴量データベース２４に登録する。
【００４０】
以上のようにして、登録されたコンテンツおよびコンテンツの特徴量を用いて行われるコンテンツのプレビュー表示処理について、図３のフローチャートを参照して説明する。
【００４１】
ユーザは、操作入力部２６を操作して、プレビュー表示させたいコンテンツを選択する。ユーザが選択したコンテンツの情報は、操作入力部２６を介して、表示制御部２５に供給される。
【００４２】
操作入力部２６からの情報に対応して、ステップＳ３１において、表示制御部２５は、コンテンツを選択する。ステップＳ３２において、表示制御部２５は、ステップＳ３１で選択されたコンテンツを、コンテンツアーカイブ２２から取得する。
【００４３】
ステップＳ３３において、表示制御部２５は、ステップＳ３１で選択されたコンテンツの特徴量を、コンテンツ特徴量データベース２４から取得する。
【００４４】
ステップＳ３４において、表示制御部２５は、プレビュー画面の表示を行う。すなわち、表示制御部２５は、取得したコンテンツおよび取得したコンテンツの特徴量に基づいて、各種特徴量に関する情報をタイムラインに表示したプレビュー画面を生成する。表示制御部２５は、生成したプレビュー画面（後述する図５のプレビュー画面５１）を、表示部２７に表示させる。ここで、タイムラインに表示されるのは、特徴量の情報のみに限らず、特徴量に関する情報が表示される。特徴量に関する情報には、特徴量の情報、特徴量を用いて得られる情報、または、特徴量を用いて検索された結果などが含まれている。
【００４５】
ステップＳ３５において、表示制御部２５は、操作入力部２６からの操作信号に基づいて、プレビュー再生が指示されたか否かを判定する。ステップＳ３５において、プレビュー再生が指示されたと判定された場合、表示制御部２５は、ステップＳ３６において、プレビュー再生処理を行う。このプレビュー再生処理については、図４を参照して後述されるが、ステップＳ３５の処理により、プレビュー画面（後述する図５のプレビュー画面５１）において、コンテンツに対する操作に応じた画像が表示され、タイムラインの再生位置を示すラインが、表示された画像の位置に移動されて表示される。コンテンツに対する操作とは、例えば、プレビュー再生、一時停止、早送り、巻き戻しなどを行う操作をいう。
【００４６】
ステップＳ３５において、プレビュー再生が指示されていないと判定された場合、ステップＳ３６はスキップされ、処理は、ステップＳ３７に進む。ステップＳ３７において、表示制御部２５は、プレビュー画面の表示を終了するか否かを判定する。操作入力部２６を介してユーザが終了を指示した場合、ステップＳ３７において、プレビュー画面の表示を終了すると判定され、プレビュー画面の表示が終了する。
【００４７】
一方、ステップＳ３７において、プレビュー画面の表示を終了しないと判定された場合、処理は、ステップＳ３５に戻り、それ以降の処理が繰り返される。
【００４８】
次に、図４のフローチャートを参照して、図３のステップＳ３６のプレビュー画面の再表示処理について説明する。
【００４９】
ステップＳ５１において、表示制御部２５は、プレビュー再生を行う。これにより、後述する図５のプレビュー表示部６１において再生された動画像が表示される。
【００５０】
ステップＳ５２において、表示制御部２５は、再生中の画像の位置に、タイムラインにおける再生位置表示を変更する。すなわち、再生中の画像の位置に、タイムラインの再生位置を示すラインが移動される。
【００５１】
ステップＳ５３において、表示制御部２５は、操作入力部２６からの操作信号に基づいて、一時停止が指示されたか否かを判定する。ステップＳ５３において、一時停止が指示されたと判定された場合、処理は、ステップＳ５４に進む。
【００５２】
表示制御部２５は、ステップＳ５４において、再生中の動画像の一時停止を行う。そして、ステップＳ５５において、表示制御部２５は、コンテンツ特徴量データベース２４のカメラ動き情報および空間情報に基づいて、停止された画像から、カメラの視点やアングルの移動が可能である場合、その画像上に、カメラの視点やアングルを移動（操作）可能なボタンなどのGUIを重畳表示させる。
【００５３】
ステップＳ５６において、表示制御部２５は、操作入力部２６からの操作信号に基づいて、ユーザによりカメラアングルが操作されたか否かを判定する。ステップＳ５６において、ユーザの操作入力部２６の操作によりそのボタンが押下された場合、ユーザによりカメラアングルが操作されたと判定され、処理は、ステップＳ５７に進む。ステップＳ５７において、表示制御部２５は、操作されたボタンが対応する異なるアングルの画像に表示を切り替えさせる。
【００５４】
そして、表示制御部２５は、ステップＳ５８において、表示が切り替えられた画像の位置に、タイムラインにおける再生位置表示を変更する。すなわち、表示が切り替えられた画像の位置に、タイムラインの再生位置を示すラインが移動され、処理は、ステップＳ６２に進む。
【００５５】
一方、ステップＳ５３において、一時停止が指示されていないと判定された場合、処理は、ステップＳ５９に進む。ステップＳ５９において、表示制御部２５は、操作入力部２６からの操作信号に基づいて、ユーザにより他の操作（例えば、巻き戻しや早送りなど）がなされたか否かを判定する。ステップＳ５９において、ユーザにより他の操作がなされたと判定した場合、処理は、ステップＳ６０に進む。
【００５６】
表示制御部２５は、ステップＳ６０において、操作に対応する再生処理を行う。例えば、早送りが指示された場合、プレビュー画像の早送りなどの操作がなされる。そして、ステップＳ６１において、表示制御部２５は、表示中の画像の位置に、タイムラインにおける再生位置表示を変更する。すなわち、タイムラインの再生位置を示すライン（再生位置表示）は、表示中の画像の位置に移動され、処理は、ステップＳ６２に進む。
【００５７】
ステップＳ５９において、他の操作がなされなかったと判定された場合、処理は、ステップＳ６２に進む。
【００５８】
ステップＳ６２において、表示制御部２５は、コンテンツの最後まで再生されたか否かを判定する。ステップＳ６２において、コンテンツの最後まで再生されたと判定された場合、プレビュー再生処理を終了する。一方、ステップＳ６２において、コンテンツの最後まで再生されていないと判定された場合、処理は、ステップＳ５１に戻り、それ以降の処理を繰り返す。
【００５９】
[プレビュー画面の例]
図５は、プレビュー画面の例を示している。
【００６０】
図５の例においては、例えば、図３のステップＳ３４などで表示されるプレビュー画面５１が示されている。
【００６１】
プレビュー画面５１は、コンテンツの動画像がプレビュー可能なプレビュー表示部６１と、プレビュー表示部６１の下部に配置され、左上のタグを選択することで表示されるタイムライン表示部６２により構成されている。
【００６２】
プレビュー表示部６１は、プレビュー表示部６１の真下に設置された操作ボタンのユーザの操作に応じて、コンテンツの動画像を再生し、プレビュー表示する。操作ボタンは、巻き戻しボタン７２、初めに戻るボタン７３、再生ボタン７４、最後まで進むボタン７５、早送りボタン７６、および停止ボタン７７などで構成されている。なお、再生ボタン７４は、コンテンツの動画像の再生停止中は、再生ボタンであるが、コンテンツの動画像が再生されているとき、一時停止ボタンになる。プレビュー表示部６１には、表示されるコンテンツにおいて、後述する顔画像表示部８５で顔認識される顔を選択するための枠７１が表示されている。
【００６３】
タイムライン表示部６２には、図１の特徴量抽出部２３−１乃至２３−３により抽出された複数の特徴量に関する情報がタイムラインに表示されている。また、タイムライン上において、プレビュー表示部６１に現在表示されている画像（フレーム）の再生位置を示すライン６３が設けられており、ユーザは、それを見ることで、タイムライン上におけるコンテンツの再生位置を把握することができる。プレビュー表示部６１に表示される画像に応じて、このライン６３の表示位置が変更される。
【００６４】
また、タイムライン表示部６２の右側には、タイムライン表示部６２上の表示、非表示を選択することができる特徴量リスト６４が表示されている。この特徴量リスト６４の左側にある四角にチェックを入れたり、チェックを解除することで、ユーザは、各特徴量に関する情報の表示、非表示を選択し、所望の特徴量に関する情報のみを表示させることができる。
【００６５】
なお、図５の例においては、特徴量リスト６４における上から４番目の「Relevance」のみがチェックされていない。すなわち、図５のタイムライン表示部６２には、その「Relevance」がチェックされることで表示される重要度表示部は、表示されていない。
【００６６】
また、図５の例においては、表示されていないが、実際には、タイムライン表示部６２と同じ位置には、ダイジェスト動画像などを生成するためのダイジェスト生成表示部６５が設けられている。これらの左上に設けられたタブを選択することで、タイムライン表示部６２に代えて、ダイジェスト生成表示部６５を表示させることが可能である。
【００６７】
タイムライン表示部６２は、上から順に、シーンチェンジ画像表示部８１、音声波形表示部８２、テキスト検索結果表示部８３、画像検索結果表示部８４、顔画像表示部８５、オブジェクト画像表示部８６、人物発話領域表示部８７、カメラ動き情報表示部８８で構成されている。いずれも、特徴量に関する情報を表示する表示部である。
【００６８】
シーンチェンジ画像表示部８１は、特徴量リスト６４における「Thumnail」がチェックされることで、タイムライン表示部６２に表示される。シーンチェンジ画像表示部８１には、特徴量の１つである、シーンチェンジにより求められる各シーンの先頭フレーム画像のサムネイル画像がタイムライン上に表示される。なお、シーン先頭画像を、以下、シーンチェンジ画像と称する。
【００６９】
音声波形表示部８２は、特徴量リスト６４における「Wave form」がチェックされることで、タイムライン表示部６２に表示される。音声波形表示部８２には、特徴量の１つである、コンテンツの音声波形がタイムライン上に表示される。
【００７０】
テキスト検索結果表示部８３は、特徴量リスト６４における「Keyword Spotting」がチェックされることで、タイムライン表示部６２に表示される。テキスト検索結果表示部８３には、操作入力部２６を操作してユーザが入力したテキスト（図５の例の場合、president）を、音声認識や文字認識による特徴量に基づいて、コンテンツ特徴量データベース２４から検索した結果が表示される。
【００７１】
画像検索結果表示部８４は、特徴量リスト６４における「Image Spotting」がチェックされることで、タイムライン表示部６２に表示される。画像検索結果表示部８４には、操作入力部２６を操作してユーザが選択した画像の類似シーンを、画像認識による特徴量に基づいて、コンテンツ特徴量データベース２４から検索した結果（のサムネイル画像）が表示される。
【００７２】
顔画像表示部８５は、特徴量リスト６４における「Face」がチェックされることで、タイムライン表示部６２に表示される。顔画像表示部８５には、プレビュー表示部６１において枠７１により選択された顔を認識して、コンテンツ特徴量データベース２４から、顔認識による特徴量に類似しているもの（のサムネイル画像）が表示される。
【００７３】
オブジェクト画像表示部８６は、特徴量リスト６４における「Capitol Hill」がチェックされることで、タイムライン表示部６２に表示される。なお、図５の例においては、Capitol Hillをオブジェクトの例としたが、オブジェクトは、Capitol Hillに限定されず、ユーザにより指定することができる。オブジェクト画像表示部８６には、ユーザにより指定されたオブジェクト（図５の場合、Capitol Hill）認識による特徴量に基づいて、コンテンツ特徴量データベース２４から検索した結果（のサムネイル画像）が表示される。
【００７４】
なお、顔画像とオブジェクト画像とを別々に表示する例を示したが、顔もオブジェクトの１つである。顔画像表示部８５およびオブジェクト画像表示部８６に表示される画像は、もともとある画像から、抽出オブジェクトをトリミングした画像（サムネイル画像）としてもよい。
【００７５】
人物発話領域表示部８７は、特徴量リスト６４における「Human Voice」がチェックされることで、タイムライン表示部６２に表示される。人物発話領域表示部８７には、音声認識による特徴量により求められる人物発話領域または音楽領域などが表示される。なお、人物発話領域表示部８７には、図５に示されるように、人物が発話した領域だけでなく、発話した人物の性別や年齢別のマークを表示させてもよい。
【００７６】
カメラ動き情報表示部８８は、特徴量リスト６４における「Camera Motion」がチェックされることで、タイムライン表示部６２に表示される。カメラ動き情報表示部８８には、カメラ動き認識による特徴量である、パン、チルト、ズームイン、ズームアウトなどのカメラ動き情報を有する領域が表示される。
【００７７】
プレビュー画面５１には、以上のような特徴量を例に、コンテンツから抽出可能な各種の特徴量や特徴量を用いて得られる情報が、タイムラインに表示される。
【００７８】
そこで、本技術においては、図５を参照して上述したプレビュー画面５１のプレビュー表示部６１において、特に、カメラ動き情報を利用したGUIが表示され、画面上の操作によって、映像のカメラアングルやズームイン／ズームアウトが操作可能にされる。以下、具体的に説明していく。
【００７９】
[カメラ動き情報（パン）の例]
図６は、t=0乃至t=5においてカメラが右方向にパンしているシーンの例を示す図である。
【００８０】
例えば、t=0の画像から再生を開始し、t=3の画像のタイミングで一時停止を行った場合、t=0乃至t=5においてカメラが右方向にパンしているというカメラ動き情報によって、空間認識部３０は、t=3の画像の左右に空間が広がっていることを認識することができる。
【００８１】
したがって、表示制御部２５は、t=3で一時停止をしたプレビュー表示部６１には、図７に示されるように、図６のt=3の画像上に、GUIとして、左にパンするための左矢印ボタン１０１と右にパンするための右矢印ボタン１０２を重畳させる。すなわち、左矢印ボタン１０１および右矢印ボタン１０２は、カメラアングルを別アングルに切り替え可能なGUIである。なお、カメラアングルを別アングルに切り替え可能なGUIは、上述した右矢印ボタン、左矢印ボタンに限らない。また、GUIの形状は、ボタンでなくてもよい。
【００８２】
ユーザが、例えば、マウスなどで構成される操作入力部２６を操作することで、右矢印ボタン１０２をクリック（押下）すると、カメラアングルが右にパンされて、再生位置がt=4となるので、プレビュー表示部６１の表示は、t=3の画像から、図６のt=4の画像に切り替わる。
【００８３】
あるいは、ユーザが、操作入力部２６を操作することで、左矢印ボタン１０１をクリック（押下）すると、カメラアングルが左にパンされて、再生位置がt=2となるので、プレビュー表示部６１の表示は、t=3の画像から、図６のt=2の画像に切り替わる。
【００８４】
このとき、ボタンのクリックだけでなく、マウスジェスチャなどのマウス操作で左右方向を指示したり、表示部２７に積層されるタッチパネル上での指ジェスチャで左右方向を指示することで同様の操作を行うことができる。
【００８５】
なお、これらの矢印ボタンは、動画再生中でも表示可能であり、例えば、動画再生中でt=3の瞬間に左矢印ボタン１０１をクリックした場合は、t=3の画像から、逆再生して、t=0の画像まで至ることも可能である。
【００８６】
[カメラ動き情報（ズーム）の例]
図８は、t=0乃至t=4においてカメラがズームインするシーンの例を示す図である。
【００８７】
例えば、t=0の画像から再生を開始し、t=2の画像のタイミングで一時停止を行った場合、t=0乃至t=4においてカメラがズームインしているというカメラ動き情報によって、空間認識部３０は、t=2の画像の周囲に空間が広がっていることを認識することができる。なお、逆方向（t=4乃至t=0）に対しては、カメラがズームアウトしている。
【００８８】
したがって、表示制御部２５は、t=2で一時停止をしたプレビュー表示部６１には、図９のＡに示されるように、t=2の画像の上の一か所に、GUIとして、プラスマークボタン１１１とマイナスマークボタン１１２を重畳させる。すなわち、プラスマークボタン１１１およびマイナスマークボタン１１２は、ズームイン／ズームアウトを操作可能なGUIである。
【００８９】
あるいは、表示制御部２５は、t=2で一時停止をしたプレビュー表示部６１には、図９のＢに示されるように、t=2の画像の上の四方に、GUIとして、外向き矢印ボタン１１３−１乃至１１３−４と、内向き矢印ボタン１１４−１乃至１１４−４を重畳させる。すなわち、外向き矢印ボタン１１３−１乃至１１３−４と、内向き矢印ボタン１１４−１乃至１１４−４も、ズームイン／ズームアウトを操作可能なGUIである。なお、ズームイン／ズームアウトを操作可能なGUIは、上述したプラスマークボタン、マイナスマークボタン、内向き矢印ボタン、外向き矢印ボタンに限らない。また、GUIの形状は、ボタンでなくてもよい。
【００９０】
図９のＡの例において、プラスマークボタン１１１をクリックすると、画面がズームインされて、再生位置がt=1となるので、プレビュー表示部６１の表示は、t=2の画像から、図８のt=1の画像に切り替わる。
【００９１】
一方、図９のＡの例において、マイナスマークボタン１１２をクリックすると、画面がズームアウトされて、再生位置がt=3となるので、プレビュー表示部６１の表示は、t=2の画像から、図８のt=3の画像に切り替わる。
【００９２】
また、図９のＢの例において、内向き矢印ボタン１１４−１乃至１１４−４のいずれかをクリックすると、画面がズームインされて、再生位置がt=1となるので、プレビュー表示部６１の表示は、t=2の画像から、図８のt=1の画像に切り替わる。
【００９３】
一方、図９のＢの例において、外向き矢印ボタン１１３−１乃至１１３−４のいずれかをクリックすると、画面がズームアウトされて、再生位置がt=3となるので、プレビュー表示部６１の表示は、t=2の画像から、図８のt=3の画像に切り替わる。
【００９４】
このとき、パンの場合と同様に、ボタンのクリックだけでなく、マウスホイールなどのマウス操作でズームイン方向、ズームアウト方向を指示することで同様の操作を行うことができる。また、表示部２７に積層されるタッチパネル上での指ジェスチャでズームイン方向、ズームアウト方向を指示することで同様の操作を行うことができる。
【００９５】
なお、これらのボタンは、動画再生中でも表示可能であり、例えば、動画再生中でt=2の瞬間にプラスマークボタン１１１をクリックした場合は、t=2の画像から、逆再生して、t=0の画像まで至ることも可能である。
【００９６】
また、図９のＢにおいては、各矢印ボタンをクリックした場合にその方向だけの拡大縮小を行うことができる。例えば、右上に位置する右上方向を向いている外向き矢印ボタン１１３−４をクリックした場合、図８のt=3の画像がトリミングされて、プレビュー表示部６１には、図１０に示されるような画像が表示される。
【００９７】
すなわち、図１０の画像は、t=2の画像における右上方向だけに拡大された画像であり、t=3の画像をトリミングすることで生成されたものである。
【００９８】
なお、この場合、再生位置は、t=3となるが、プレビュー表示部６１に表示される画像と、実際のt=3の画像とは一致しないので、通常の再生位置表示とは異なることから、再生位置を示すマーカの色を変更して表示するようにしてもよい。
【００９９】
同様に、t=0乃至t=4においてカメラがズームインしているというカメラ動き情報によって、空間認識部３０は、t=2の画像が、上下左右にも空間が広がっていることが認識することができる。
【０１００】
したがって、表示制御部２５は、図１１のＡに示されるように、プレビュー表示部６１の画像上に、上下左右へのパンチルト操作を可能にする矢印ボタン１２１乃至１２４を重畳させることもできる。
【０１０１】
各矢印ボタン１２１乃至１２４のいずれかをクリックした場合、その方向にパンチルトすることが可能となる。具体的には、例えば、上方向の矢印ボタン１２１をクリックした場合、表示制御部２５は、図８のt=3の画像をトリミングして、図１１のＢのような画像をプレビュー表示部６１に表示させる。
【０１０２】
なお、この場合も、再生位置は、t=3となるが、プレビュー表示部６１に表示される画像と、実際のt=3の画像とは一致しないので、通常の再生位置表示とは異なることから、再生位置を示すマーカの色を変更して表示するようにしてもよい。
【０１０３】
[カメラ動き情報（パンチルトの繰り返し）の例]
図１２は、t=0乃至t=8においてカメラがパンチルトを繰り返して撮影されたシーンの例を示す図である。
【０１０４】
図１２のような映像の場合、コンテンツ特徴量データベース２４のカメラ動き情報と画像特徴量から、空間認識部３０は、映像中のオブジェクトの同一性を認識して、図１３のＡに示されるような空間を再現することができることを認識することができる。また、同時に、空間認識部３０は、図１３のＢに示される矢印に付した数字の順にカメラが動いて、図１２の画像が撮影されたことを認識することができる。
【０１０５】
すなわち、空間認識部３０は、図１３のＢの画像１５１乃至１５９が、それぞれ、図１２のt=0乃至t=8の画像に対応することを認識する。
【０１０６】
例えば、t=0の画像から再生を開始し、t=4の画像のタイミングで一時停止を行った場合、空間認識部３０は、t=4の画像の周囲に空間が広がっていることを認識できる。
【０１０７】
したがって、表示制御部２５は、t=4で一時停止をしたプレビュー表示部６１には、図１４に示されるように、t=4の画像上に、GUIとして、ズームイン、ズームアウトするためのプラスマークボタン１７１、マイナスマークボタン１７２を重畳させる。さらに、表示制御部２５は、プレビュー表示部６１には、図１４に示されるように、t=4の画像上に、GUIとして、上下左右方向へパンチルトするための矢印ボタン１８１乃至１８４を重畳させる。
【０１０８】
なお、ズームイン、ズームアウトのボタンは、図９のＢで上述した矢印ボタンであってもよい。
【０１０９】
ここで、左右方向のパンに関しては、コンテンツ内で連続したフレームになっている。したがって、例えば、左方向の矢印ボタン１８２をクリックした場合は、カメラアングルが左にパンされて、再生位置がt=3となり、プレビュー表示部６１の画像は、t=4の画像から、図１２のt=3の画像に切り替わる。
【０１１０】
一方で、上下方向のチルトやズームインズームアウトに関しては、コンテンツ内で連続したフレームではない。したがって、例えば、上方向の矢印ボタン１８１をクリックした場合、表示制御部２５は、空間を再現した図１３のＢの画像から、図１２のt=4の上方向の画像１５２をトリミングしてプレビュー表示部６１に表示させる。
【０１１１】
この場合、表示される画像は、t=4の画像とそれ以外の画像から再現された画像になるので、再生位置の表示は、再現画像を生成するのに必要となった元素材のタイミングを示す。つまり、t=4の画像とt=1の画像から再現された場合は、t=4とt=1とを再生位置として表示する。この場合、通常の再生位置表示と異なるため、再生位置を示すマーカの色を変更するなどしてもよい。
【０１１２】
この場合、ボタンのクリックだけでなく、マウスジェスチャやマウスホイールなどのマウス操作でパンチルト方向やズームイン、ズームアウト方向を指示することで同様の操作を行うことができる。また、表示部２７に積層されるタッチパネル上での指ジェスチャでズームイン方向、ズームアウト方向を指示することで同様の操作を行うことができる。
【０１１３】
また、これらのボタンは、動画再生中でも表示可能であり、例えば、動画再生中でt=5の瞬間に左矢印ボタン１８２をクリックした場合は、t=5の画像から、逆再生して、t=3の画像まで至ることも可能である。
【０１１４】
以上のように、コンテンツの内容を確認するプレビュー画面において、プレビュー画像内に広がる空間に対して、コンテンツの再生タイミングや再生方向を意識することなく、カメラアングルやズームイン、ズームアウトを操作することが可能となる。したがって、コンテンツの内容を把握するための操作性を向上させることができる。
【０１１５】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１１６】
＜２．第２の実施の形態（コンピュータ）＞
[コンピュータの構成例]
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示している。
【０１１７】
コンピュータ３００において、CPU（Central Processing Unit）３０１、ROM（Read Only Memory）３０２、RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１１８】
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。
【０１１９】
入力部３０６は、キーボード、マウス、マイクロホンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体３１１を駆動する。
【０１２０】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２１】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１２２】
コンピュータでは、プログラムは、リムーバブル記録媒体３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【０１２３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２４】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２５】
また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２６】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１２７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１２８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１２９】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するのであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１３１】
なお、本技術は以下のような構成も取ることができる。
（１）  コンテンツから、各フレームにおけるカメラ動きに関する情報を含む複数の特徴量を抽出する複数の特徴量抽出部と、
前記特徴量抽出部により抽出されたカメラ動きに関する情報に基づいて、前記コンテンツのフレーム上に、前記フレームにおけるカメラ動きに関する操作に対応するGUIを表示させる表示制御部と
を備える情報処理装置。
（２）  前記カメラ動きに関する情報と、前記複数の特徴量のうちの画像特徴量とを用いて、空間における各フレーム同士の関係を認識する空間認識部を
さらに備え、
前記表示制御部は、前記特徴量抽出部により抽出されたカメラ動きに関する情報および前記空間認識部により認識された空間における各フレーム同士の関係に基づいて、前記コンテンツのフレーム上に、前記フレームにおけるカメラ動きに関する操作に対応するGUIを表示させる
前記（１）に記載の画像処理装置。
（３）  前記カメラ動きに関する操作に対応するGUIは、カメラアングルを別アングルに切り替え可能なGUIである
前記（１）または（２）に記載の画像処理装置。
（４）  前記表示制御部は、前記フレームの表示を、ユーザによる前記GUIの操作に対応するアングルのフレームの表示に切り替える
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）  前記カメラ動きに関する操作に対応するGUIは、ズームインまたはズームアウトを操作可能なGUIである
前記（１）または（２）に記載の画像処理装置。
（６）  前記表示制御部は、前記フレームの表示を、ユーザによる前記GUIの操作に対応するズームインまたはズームアウトのフレームの表示に切り替える
前記（１）、（２）、または（５）に記載の画像処理装置。
（７）  情報処理装置が、
コンテンツから、各フレームにおけるカメラ動きに関する情報を含む複数の特徴量を抽出し、
抽出されたカメラ動きに関する情報に基づいて、前記コンテンツのフレーム上に、前記フレームにおけるカメラ動きに関する操作に対応するGUIを表示させる
画像処理方法。
（８）  コンピュータを、
コンテンツから、各フレームにおけるカメラ動きに関する情報を含む複数の特徴量を抽出する複数の特徴量抽出部と、
前記特徴量抽出部により抽出されたカメラ動きに関する情報に基づいて、前記コンテンツのフレーム上に、前記フレームにおけるカメラ動きに関する操作に対応するGUIを表示させる表示制御部と
して機能させるプログラム。
【符号の説明】
【０１３２】
１１  情報処理装置，  ２１  コンテンツ入力部，  ２２  コンテンツアーカイブ，  ２３，２３−１乃至２３−３  特徴量抽出部，  ２４  コンテンツ特徴量データベース，  ２５  表示制御部，  ２６  操作入力部，  ２７  表示部，  ２８  特徴量抽出部，  ２９  検索部，  ３０  空間認識部，  ５１  プレビュー画面，  ６１  プレビュー表示部，  ６２  タイムライン表示部，  ６４  特徴量リスト，  ６５  ダイジェスト生成表示部，  ８１  シーンチェンジ画像表示部，  ８２  音声波形表示部，  ８３  テキスト検索結果表示部，  ８４  画像検索結果表示部，  ８５  顔画像表示部，  ８６  オブジェクト画像表示部，  ８７  人物発話領域表示部，  ８８  カメラ動き情報表示部
【図１】
2014107641.tif 000003
【図２】
2014107641.tif 000004
【図３】
2014107641.tif 000005
【図４】
2014107641.tif 000006
【図５】
2014107641.tif 000007
【図６】
2014107641.tif 000008
【図７】
2014107641.tif 000009
【図８】
2014107641.tif 000010
【図９】
2014107641.tif 000011
【図１０】
2014107641.tif 000012
【図１１】
2014107641.tif 000013
【図１２】
2014107641.tif 000014
【図１３】
2014107641.tif 000015
【図１４】
2014107641.tif 000016
【図１５】
2014107641.tif 000017