(57)【要約】      （修正有）【課題】動画の中から所望のシーンを検索することが出来る仕組みを提供する。【解決手段】動画から音声の含まれるシーンを抽出し、抽出したシーンに含まれる音声からテキストデータを生成する。生成されたテキストデータと、当該シーンの開始位置を示す情報とを対応付けて記憶する。シーンの検索に用いるキーワードの入力を受け付け、受け付けたキーワードに基づき、記憶されたテキストデータを検索する。検索されたテキストデータに対応付けられた開始位置から、動画の再生を行う。【選択図】図１
2015210786.tif 000002
【特許請求の範囲】
【請求項１】
動画から音声の含まれるシーンを抽出する抽出手段と、
前記抽出手段により抽出したシーンに含まれる音声からテキストデータを生成する生成手段と、
前記生成手段により生成されたテキストデータと、当該シーンの開始位置を示す情報とを対応付けて記憶する記憶手段と、
前記シーンの検索に用いるキーワードの入力を受け付けるキーワード受付手段と、
前記キーワード受付手段により受け付けたキーワードに基づき、前記記憶手段に記憶されたテキストデータを検索する検索手段と、
前記検索手段により検索されたテキストデータに対応付けられた開始位置から、動画の再生を行う再生手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記記憶手段は、さらに、前記テキストデータと、音の種別とを対応付けて記憶することを特徴とし、
前記検索手段は、さらに、前記音の種別に基づき検索を行うことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
情報処理装置における情報処理方法であって、
前記情報処理装置の抽出手段が、動画から音声の含まれるシーンを抽出する抽出工程と、
前記情報処理装置の生成手段が、前記抽出工程により抽出したシーンに含まれる音声からテキストデータを生成する生成工程と、
前記情報処理装置の記憶手段が、前記生成工程により生成されたテキストデータと、当該シーンの開始位置を示す情報とを対応付けて記憶する記憶工程と、
前記情報処理装置のキーワード受付手段が、前記シーンの検索に用いるキーワードの入力を受け付けるキーワード受付工程と、
前記情報処理装置の検索手段が、前記キーワード受付工程により受け付けたキーワードに基づき、前記記憶手段に記憶されたテキストデータを検索する検索工程と、
前記情報処理装置の再生手段が、前記検索工程により検索されたテキストデータに対応付けられた開始位置から、動画の再生を行う再生工程と、
を備えることを特徴とする情報処理方法。
【請求項４】
情報処理装置において実行可能なプログラムであって、
前記情報処理装置を、
動画から音声の含まれるシーンを抽出する抽出手段と、
前記抽出手段により抽出したシーンに含まれる音声からテキストデータを生成する生成手段と、
前記生成手段により生成されたテキストデータと、当該シーンの開始位置を示す情報とを対応付けて記憶する記憶手段と、
前記シーンの検索に用いるキーワードの入力を受け付けるキーワード受付手段と、
前記キーワード受付手段により受け付けたキーワードに基づき、前記記憶手段に記憶されたテキストデータを検索する検索手段と、
前記検索手段に検索されたテキストデータに対応付けられた開始位置から、動画の再生を行う再生手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【０００２】
ビデオカメラで撮影された動画を編集し、好みの動画を作成することが行われている。
【０００３】
動画編集にあたっては、動画を見ながら、残したいシーンや削除したいシーンを探し出し、編集を行っている。
【０００４】
しかし、動画から所望のシーンを探し出す場合、再生位置コントローラ等を調節し探すことになるが、通常の動画は、１秒間に数十フレームが含まれるため、所望のシーンを探し出すのは容易なことではない。
【０００５】
そこで、特許文献１には、所望の動画を探し出す仕組みとして、映像に付随している音声情報をキーワードとして抽出し、当該キーワードを検索することで、所望の動画を検索可能にする仕組みが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−２３６４９４
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１には、映像に付随している音声情報をキーワードとして抽出し、当該キーワードを検索することで、所望の動画を検索する仕組みについては記載されているものの、キーワードに変換できない機械音などや、音声の属性（男声・女声・歓声などの区別等）を用いた検索については考慮されていない。
【０００８】
そのため、キーワードとして認識できる音声が含まれたシーンしか検索できず、また同じキーワードの音声が含まれるシーンが複数ある場合については、所望のシーンを特定することが出来ないという問題がある。
【０００９】
そこで本発明は、上記課題を解決するために、動画の中から所望のシーンを検索することが出来る仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の情報処理装置は、動画から音声の含まれるシーンを抽出する抽出手段と、前記抽出手段により抽出したシーンに含まれる音声からテキストデータを生成する生成手段と、前記生成手段により生成されたテキストデータと、当該シーンの開始位置を示す情報とを対応付けて記憶する記憶手段と、前記シーンの検索に用いるキーワードの入力を受け付けるキーワード受付手段と、前記キーワード受付手段により受け付けたキーワードに基づき、前記記憶手段に記憶されたテキストデータを検索する検索手段と、前記検索手段により検索されたテキストデータに対応付けられた開始位置から、動画の再生を行う再生手段と、を備えることを特徴とする。
【００１１】
また本発明は、情報処理装置における情報処理方法であって、前記情報処理装置の抽出手段が、動画から音声の含まれるシーンを抽出する抽出工程と、前記情報処理装置の生成手段が、前記抽出工程により抽出したシーンに含まれる音声からテキストデータを生成する生成工程と、前記情報処理装置の記憶手段が、前記生成工程により生成されたテキストデータと、当該シーンの開始位置を示す情報とを対応付けて記憶する記憶工程と、前記情報処理装置のキーワード受付手段が、前記シーンの検索に用いるキーワードの入力を受け付けるキーワード受付工程と、前記情報処理装置の検索手段が、前記キーワード受付工程により受け付けたキーワードに基づき、前記記憶手段に記憶されたテキストデータを検索する検索工程と、前記情報処理装置の再生手段が、前記検索工程により検索されたテキストデータに対応付けられた開始位置から、動画の再生を行う再生工程と、を備えることを特徴とする。
【００１２】
また本発明は、情報処理装置において実行可能なプログラムであって、前記情報処理装置を、動画から音声の含まれるシーンを抽出する抽出手段と、前記抽出手段により抽出したシーンに含まれる音声からテキストデータを生成する生成手段と、前記生成手段により生成されたテキストデータと、当該シーンの開始位置を示す情報とを対応付けて記憶する記憶手段と、前記シーンの検索に用いるキーワードの入力を受け付けるキーワード受付手段と、前記キーワード受付手段により受け付けたキーワードに基づき、前記記憶手段に記憶されたテキストデータを検索する検索手段と、前記検索手段に検索されたテキストデータに対応付けられた開始位置から、動画の再生を行う再生手段として機能させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、動画の中から所望のシーンを検索することとなる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態における情報処理装置１０１が備える機能を示す図である。
【図２】本発明の実施形態における情報処理装置１０１のハードウェア構成を示すブロック図である
【図３】本発明の実施形態における動画再生処理の流れを示すフローチャートである
【図４】本発明の実施形態における音情報テーブル作成処理の詳細を示すフローチャートである
【図５】本発明の実施形態におけるシーン検索処理の詳細を示すフローチャートである
【図６】本発明の実施形態における動画再生処理の詳細を示すフローチャートである
【図７】動画データの構成について説明する図である
【図８】本発明の実施形態における動画データの構成例を示す図である
【図９】セリフ化テーブルの一例を示す図である
【図１０】音情報テーブルの一例を示す図である
【図１１】動画再生画面の一例を示す図である
【図１２】セリフが付与されたシーンの再生画面の一例を示す図である
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明について説明する。
【００１６】
まず、図１を用いて本発明の情報処理装置１０１が備える機能について説明する。
【００１７】
抽出部１５１は、動画から音声が含まれるシーンを抽出する機能を備える。
【００１８】
生成部１５２は、抽出部１５１により抽出されたシーンに含まれる音声をもとに、テキストデータを生成する。具体的には、音声認識技術により、音声をテキストに変換する機能と、図９に示すセリフ化テーブルを用いて、抽出部１５１が抽出したシーンの音声に基づき音のパターンを特定し、特定された音のパターンに対応するテキストを取得する機能を備える。
【００１９】
記憶部１５３は、生成部１５２により生成されたテキストデータと、当該テキストデータのもととなった音声が含まれるシーンの開始位置を示す情報（例えば動画の先頭から何秒後であるか）とを対応付けて記憶する機能を備える。
【００２０】
キーワード受付部１５４は、ユーザから動画再生画面（図１１）に表示されたキーワード入力欄にキーワードの入力を受け付けることで、前記記憶部１５３に記憶されたテキストの検索に用いるキーワードの入力を受け付ける機能を備える。
【００２１】
検索部１５５は、キーワード受付部１５４により受け付けたキーワードに基づき、記憶部１５３に記憶されたテキストデータを検索する機能を備える。
【００２２】
再生部１５６は、検索部１５５により検索されたテキストデータに対応付けられた開始位置から、動画の再生を行う機能を備える。
【００２３】
以下、図２を用いて、本発明の実施形態における情報処理装置１０１のハードウェア構成について説明する。
【００２４】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００２５】
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【００２６】
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。
【００２７】
２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００２８】
２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ１０３）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００２９】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００３０】
本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。
【００３１】
次に、図３を用いて、情報処理装置１０１における動画再生処理の概要について説明する。
【００３２】
なお、図３のフローチャートで示す処理については、情報処理装置１０１のCPU２０１が所定の制御プログラムを読み出して実行する処理である。
【００３３】
ステップＳ１０１では、情報処理装置１０１のＣＰＵ２０１は、処理対象となる動画を取得する。ここで取得する動画は、情報処理装置１０１の記憶領域に記憶されている動画であってもよいし、外部装置に記憶された動画を取得しても良い。
【００３４】
ステップＳ１０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ１０１で取得した動画に対して図４のフローチャートで示す処理を実行し、音情報テーブルを作成する。
【００３５】
ステップＳ１０３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ１０２で音情報テーブルを作成した動画について、シーン検索画面を表示し、シーンの検索処理を行う。
【００３６】
ステップＳ１０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ１０３においてシーンの選択がなされたか否かを判断する。
【００３７】
シーン選択がなされた場合（ステップＳ１０４：ＹＥＳ）は、処理をステップＳ１０５に移行する。シーン選択がなされていない場合（ステップＳ１０４：ＮＯ）は、本フローチャートに示す処理を終了する。
【００３８】
ステップＳ１０５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ１０４で選択されたシーンについて、音声情報付きの画像を出力する。そして、本フローチャートに示す処理を終了する。
【００３９】
次に、図４を用いて、情報処理装置１０１における音情報テーブル作成処理について説明する。
【００４０】
なお、図４のフローチャートで示す処理については、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。
【００４１】
ステップＳ２０１では、情報処理装置１０１のＣＰＵ２０１は、動画データのうち音フレームの情報をもとに、音声が含まれるシーンを抽出する。
【００４２】
音声が含まれるシーンとは、セリフとして認識できる音が含まれるシーンや、セリフ化テーブル（図５）に登録された音が含まれるシーンを意味する。なお、セリフの認識については、公知の音声認識技術を用いることで実現可能である。
【００４３】
ステップＳ２０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２０１で音が含まれるシーンが抽出できたかを判断する。
【００４４】
抽出できた場合（ステップＳ２０２：ＹＥＳ）は、処理をステップＳ２０３に移行する。
【００４５】
抽出できなかった場合（ステップＳ２０２：ＮＯ）は、本フローチャートに示す処理を終了する。
【００４６】
ステップＳ２０３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２０１で抽出したシーンに含まれる音声が、セリフ以外の音パターンであるかを判断する。セリフ以外の音パターンとは、音声認識により言語化できない音など（例えば電車の走行音や歓声など）がある。
【００４７】
セリフ以外の音パターンであるかの判断については、例えばセリフ化テーブル（図５）に登録された音のパターンと一致するか（または類似度が所定以上であるか等）により判断可能である。
【００４８】
セリフ以外の音パターンである場合（ステップＳ２０３：ＹＥＳ）は、処理をステップＳ２０４に移行する。
【００４９】
セリフ以外の音パターンではない場合（ステップＳ２０３：ＮＯは、処理をステップＳ２０５に移行する。
【００５０】
ステップＳ２０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２０１で抽出したシーンに対して、セリフ化テーブルに登録された情報をもとに、セリフ（テキスト情報）を付与する。例えば、ステップＳ２０１で抽出したシーンの音がステップＳ２０３において電車の走行音であると判断されると、対応するテキスト（「ガタンゴトン」）という情報を付与する。
【００５１】
ステップＳ２０５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２０１で抽出したシーンに対して、当該シーンに含まれる音をセリフ化した情報を付与する（当該音を音声認識技術により解析し、当該シーンにおけるセリフを抽出し、当該セリフのテキストデータを付与する）。
【００５２】
ステップＳ２０６では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２０４、Ｓ２０５でセリフを付与されたシーンの長さが妥当か否かを判断する。
【００５３】
シーンの長さが妥当であるかについては、１シーンあたりの最長時間、最短時間を予め設定しておき、設定された時間の範囲内に収まるか否かにより判断する。
【００５４】
妥当である場合（ステップＳ２０６：ＹＥＳ）は、処理をステップＳ２０８に移行する。
【００５５】
妥当ではない場合（ステップＳ２０６：ＮＯ）は、処理をステップＳ２０７に移行する。
【００５６】
ステップＳ２０７では、情報処理装置１０１のＣＰＵ２０１は、設定された最長時間、最短時間に収まるようにシーンの長さを調整し、それに合わせてセリフの長さも調整する（例えば、長いセリフの場合は、所定の文字数になるように後半部分を「・・・」に置き換えるといった処理を施す）。
【００５７】
ステップＳ２０８では、情報処理装置１０１のＣＰＵ２０１は、音情報テーブル（図６）にセリフ（テキストデータ）と、属性情報、シーン範囲の情報などを格納する。
【００５８】
属性情報については、例えばセリフが男声であるのか女声であるのか歓声なのか、といった情報や、声の大きさなどの情報を意味する。男声であるのか女声であるのかは、音声の高さによって判断する。
【００５９】
ステップＳ２０９では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２０１で抽出したシーンのあと（シーンの終了点のあと）の動画データに対して処理を続ける。
【００６０】
なお、予めシーンの長さ（時間）を設定している場合には、ステップＳ２０１で抽出したシーンの開始位置から当該設定された長さ（時間）を経過後の動画データに対して処理を継続する。
【００６１】
次に、図５を用いて、情報処理装置１０１におけるシーン検索処理について説明する。
【００６２】
なお、図５のフローチャートで示す処理については、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。
【００６３】
ステップＳ３０１では、情報処理装置１０１のＣＰＵ２０１は、表示部に動画再生画面を表示する。動画再生画面の一例を図１１に示す。
【００６４】
図１１に示すように、動画再生画面のセリフ一覧表示領域１１０５には、音情報テーブルから取得したセリフに関する情報が表示される。なお、図１１の詳細は後述する。
【００６５】
ステップＳ３０２では、情報処理装置１０１のＣＰＵ２０１は、動画再生画面のセリフ一覧に表示されたセリフから、いずれかのセリフの選択を受け付けたかを判断する。
【００６６】
セリフの選択を受け付けた場合（ステップＳ３０２：ＹＥＳ）は、本フローチャートの処理を終了する。
【００６７】
セリフの選択を受け付けていない場合（ステップＳ３０２：ＮＯ）は、処理をステップＳ３０３に移行する。
【００６８】
ステップＳ３０３では、情報処理装置１０１のＣＰＵ２０１は、動画再生画面のキーワード入力欄に対してキーワードの入力を受け付け、検索ボタンが押下されたかを判断する。
【００６９】
検索ボタンが押下された場合（ステップＳ３０３：ＹＥＳ）は、処理をステップＳ３０４に移行する。
【００７０】
検索ボタンが押下されていない場合（ステップＳ３０３：ＮＯ）は、処理をステップＳ３０２に移行する。
【００７１】
ステップＳ３０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０３で受け付けたキーワードをもとに、セリフの検索処理を行う。
【００７２】
具体的には、キーワード入力欄に入力されたキーワードと一致するセリフを、音情報テーブル（図１０）から検索する。なお、入力されたキーワードと完全一致のセリフ以外にも、部分一致（前方一致、後方一致）のセリフや、入力されたキーワードと類似度が所定以上のセリフについても検索対象としても良い。
【００７３】
ステップＳ３０５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０４における検索処理の結果、検索結果が存在したか否かを判断する。すなわち、入力されたキーワードと一致するセリフ等が見つかったか否かを判断する。
【００７４】
検索結果が存在した場合（ステップＳ３０５：ＹＥＳ）は、処理をステップＳ３０６に移行する。
【００７５】
検索結果が存在しない場合（ステップＳ３０５：ＮＯ）は、処理をステップＳ３０２に移行する。この際、検索結果が存在しなかった旨のエラーメッセージを表示するなど、検索結果が存在しなかったことをユーザに通知する処理を行っても良い。
【００７６】
ステップＳ３０６では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０４における検索処理の結果を、動画再生画面に表示する。表示の方法としては、セリフ一覧に表示されたセリフを、検索結果に置き換える（すなわち、検索結果に絞り込む）方法がある。
【００７７】
ステップＳ３０７では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０６で表示した検索結果の中から、セリフの選択を受け付ける。この処理は、検索結果が複数であった場合を考慮した処理である。検索結果がひとつだけの場合には、ステップＳ３０７の処理を省略しても良い。
以上で本フローチャートの処理を終了する。
【００７８】
次に、図６を用いて、情報処理装置１０１における動画再生処理について説明する。
【００７９】
なお、図６のフローチャートで示す処理については、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。
【００８０】
ステップＳ４０１では、情報処理装置１０１のＣＰＵ２０１は、図５のステップＳ３０２またはステップＳ３０７で選択されたセリフに対応するシーンを動画から取り出す。
【００８１】
ステップＳ４０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ４０１で取り出したシーンに対して、ステップＳ３０２、Ｓ３０７で選択されたセリフを追加し、再生画面の動画再生領域に表示する。
【００８２】
ステップＳ４０３では、情報処理装置１０１のＣＰＵ２０１は、ユーザによる再生ボタンの押下を受け付ける。
【００８３】
ステップＳ４０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ４０３におけるユーザによる再生ボタンの押下に応答して、動画の再生を行う。
そして、本フローチャートの処理を終了する。
次に、図１１に示す動画再生画面について説明する。
【００８４】
図１１は、動画再生画面の一例であり、情報処理装置１０１の表示部に表示され、ユーザから各種指示を受け付けることで、動画を表示する画面である。
【００８５】
動画再生画面は、動画再生領域１１０１、再生位置コントロールバー１１０２、検索キーワード入力欄１１０３、検索ボタン１１０４、セリフ一覧表示領域１１０５、再生ボタン１１０６、サムネイル表示領域１１０７などから構成される。
【００８６】
動画再生領域１１０１は、再生対象の動画が再生される領域である。なお、セリフが付与されたシーンが再生される際には、図１２に示すように、セリフが付与された動画が再生される。
【００８７】
再生位置コントロールバー１１０２は、再生されているシーンが動画の中のどの位置であるかを示すバーである。再生位置コントロールバー１１０２が左端にある場合は動画の最初を示し、右端にある場合は動画の最後を示している。
【００８８】
また、再生位置コントロールバー１１０２をマウス操作等により左右に動かすことで、再生シーンを自由に調整することができる。
【００８９】
検索キーワード入力欄１１０３は、ユーザがセリフを用いてシーンを検索する際に使用される入力欄である。ユーザにより検索キーワード入力欄１１０３に入力され、検索ボタン１１０４が押下されると、当該入力された文字列を音情報テーブルから検索する。
【００９０】
セリフ一覧表示領域１１０５は、動画に含まれるセリフがテキストデータとして一覧表示される領域である。図１１に示すように、セリフの属性（男声か女声か、音量の大小など）も表示される。また、セリフの検索処理が行われた場合には、検索結果が表示される。
【００９１】
また、セリフの属性によってフィルタがかけられるような構成であってもよい。例えば、音種別のうち「歓声」のセリフに絞り込むことや、音量が大きいセリフに絞り込むといったことができるように構成してもよい。
【００９２】
再生ボタン１１０６がユーザにより押下されることで、動画再生領域１１０１で再生が指示された動画が再生される。
【００９３】
サムネイル表示領域１１０７には、セリフが含まれるシーン毎のサムネイルが表示されている。また、当該シーンにおけるセリフも表示される。
【００９４】
図７は、動画データの構成を示す図である。動画データは映像フレームと音フレームとから構成されるデータである。
【００９５】
図８は、本実施形態における動画データの構成を示す図である。シーン（映像データ）とセリフ（音フレーム）との対応を模式的に表した図である。
【００９６】
図９は、セリフ化テーブルの一例を示す図である。図９の例では、電車音は「ガタンゴトン」というテキストが付与されることを意味している。
【００９７】
セリフ化テーブルに登録される音パターンや対応するテキストは不図示の画面においてユーザにより登録されるものである。なお、対応するテキストについては、複数のテキストを登録しておくことも可能である。その場合、複数のうちいずれのテキストをシーンに付与するかをステップＳ２０４においてユーザから不図示の画面を介して選択を受け付けることとなる。
【００９８】
図１０は、音情報テーブルである。音情報テーブルには、セリフ、音の高さ、音量、音の種別、開始位置、再生長さなどの情報が登録されている。
【００９９】
セリフについては、ステップＳ２０１において認識したセリフをテキスト化したデータや、図９のセリフ化テーブルを用いて音パターンをテキスト化したデータが登録されている。
【０１００】
音の高さは、セリフや音の周波数から、高い・低いを判断し、高い・低いの情報を格納している。なお、高いか低いかは、周波数が所定の値以上か未満かといった閾値を用いることで判断可能である。
【０１０１】
音量は、セリフや音の大きさを意味している。音量についても、音の高さと同様に閾値を超える音量であるかによって、大きいか小さいかを判断できる。
【０１０２】
開始位置は、動画の先頭から当該セリフが含まれるシーンの開始位置を示す情報である。例えば「がんばれ〜」というセリフを含むシーンは、動画の先頭から３秒後に開始する（出現する）ことを意味している。
【０１０３】
再生長さは、当該セリフを含むシーンの長さを表す情報である。例えば「がんばれ〜」というセリフを含むシーンの長さは、５秒間であることを意味している。
【０１０４】
図１２は、セリフが付与されたシーンの再生画面の一例を示す図である。図１２の例では、付与されたセリフが画面下部の領域（１２０１）に表示されている。
【０１０５】
以上説明したように、動画におけるシーンから抽出した音情報をテキストデータに変換し、当該データに対して、音の高さ、音の大きさ、音の種別などの属性情報を付与して登録することで、シーン検索の際に所望のシーンを見つけやすくなる。
【０１０６】
また、電車音や歓声など、言語ではない音声についても、対応するテキストデータを記憶しておき、テキスト化することで、当該音声を含むシーンを、キーワードにより検索することが可能となる。
【０１０７】
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【０１０８】
また、本発明におけるプログラムは、図３〜図６の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図３〜図６の各処理ごとのプログラムであってもよい。
【０１０９】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
【０１１０】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
【０１１１】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。
【０１１２】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１３】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１４】
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１１５】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１１６】
１０１  情報処理装置
【図１】
2015210786.tif 000003
【図２】
2015210786.tif 000004
【図３】
2015210786.tif 000005
【図４】
2015210786.tif 000006
【図５】
2015210786.tif 000007
【図６】
2015210786.tif 000008
【図７】
2015210786.tif 000009
【図８】
2015210786.tif 000010
【図９】
2015210786.tif 000011
【図１０】
2015210786.tif 000012
【図１１】
2015210786.tif 000013
【図１２】
2015210786.tif 000014