(57)【要約】【課題】動画像の編集作業を効率良く行える動画像編集装置を提供する。【解決手段】先ず、動画像データを読み込み、映像ストリームと音声ストリームを取得する（Ｓ１００〜Ｓ１０２）。音声ストリームの先頭を検索開始位置として（Ｓ１０３）、シーンチェンジを検索する（Ｓ１０４）。シーンチェンジを検出したら（Ｓ１０５：ＹＥＳ）、その直後の音声データを取得して（Ｓ１０６）、文字列データに変換する（Ｓ１０７）。シーンチェンジの直後の静止画像データを取得し（Ｓ１０８）、これらをシーンチェンジに対応付けて記録する（Ｓ１０９）。当該シーンチェンジを新たな検索開始位置として（Ｓ１１０）、Ｓ１０４以下の処理を繰り返す。シーンチェンジが検出されなければ（Ｓ１０５：ＮＯ）、静止画像データをサムネイル画像データに変換し、対応する文字列データと組み合わせて候補画像として（Ｓ１１１）、一覧表示する（Ｓ１１２）。【選択図】  図２
2004260521.tif 000002
【特許請求の範囲】
【請求項１】
映像ストリームと音声ストリームとを含む動画像データを編集するための動画像編集装置であって、
前記動画像データに含まれるシーンの先頭位置を検出する位置検出手段と、
前記位置検出手段にて検出した先頭位置を先頭とする前記映像ストリームの一部を静止画像データとして取得する静止画像データ取得手段と、
前記位置検出手段にて検出した先頭位置を先頭とする前記音声ストリームの一部を取得する音声データ取得手段と、
前記音声データ取得手段にて取得した音声データに基づいて当該音声データに係るシーンを表わす符号を決定する符号決定手段と、
前記静止画像データ取得手段にて取得した静止画像データと、前記符号決定手段にて決定された符号とを対応付けて表示する表示手段と
を備えることを特徴とする動画像編集装置。
【請求項２】
前記位置検出手段は、前記音声ストリームにおいて、音声レベルが所定レベル以下の状態が所定時間以上継続した後、音声レベルが前記所定レベルよりも大きくなった時間位置をシーン先頭の時間位置として検出する
ことを特徴とする請求項１に記載の動画像編集装置。
【請求項３】
前記静止画像データ取得手段は、前記位置検出手段にて検出された先頭位置以後であって、最も先頭に位置する静止画像データを取得する
ことを特徴とする請求項１に記載の動画像編集装置。
【請求項４】
前記音声データ取得手段は、
前記位置検出手段にて検出した先頭位置に始まる音声データであって、所定時間長の音声データを取得する
ことを特徴とする請求項１に記載の動画像編集装置。
【請求項５】
前記符号決定手段は、所定の音声認識アルゴリズムを用いて、前記音声データから得られた文字列データを前記符号とする
ことを特徴とする請求項１に記載の動画像編集装置。
【請求項６】
前記符号決定手段は、前記音声データの音声レベルを表わす符号を前記符号とする
ことを特徴とする請求項１に記載の動画像編集装置。
【請求項７】
前記表示手段は、前記静止画像データ取得手段にて取得した静止画像データをサムネイル画像に変換して表示する
ことを特徴とする請求項１に記載の動画像編集装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声を含む動画像の編集を補助する動画像編集装置に関し、特に、編集画面の表示を改善する技術に関する。
【０００２】
【従来の技術】
近年、コンピュータを用いて映画やビデオ映像などの動画像を編集する装置が広く用いられている。このような動画像編集装置においては、従来、動画像を再生しながら、スライドバー等を用いて、これを進めたり戻したりして、編集位置を決定するようになっていた。また、時間を指定することによって編集位置を決定するものもあり、編集位置の決定が煩雑なものとなっていた。
【０００３】
このような問題に対して、例えば、一連のシーンが切り替わる位置（以下、「シーンチェンジ」という。）が編集位置となることが多いことに注目して、動画像中のシーンチェンジを検出して、表示画面に提示する装置が提案されている（特許文献１を参照。）。この場合において、検出したシーンチェンジに係るサムネイル画像が、編集位置の候補として、一覧表示される。
【０００４】
【特許文献１】
特許番号第２６９５４１５号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来技術のように、編集位置の候補となるシーンチェンジに係るサムネイル画像を一覧表示した場合、各サムネイル画像が当該動画像中のどの部分のサムネイル画像なのかが一見して分かり難い、という問題がある。
また、上記従来公報に開示の装置は、一連のシーン中であってもカメラが切り替えられたり、カメラアングルが変化したりすると、これをシーンチェンジとして誤検出して、サムネイル画像を表示してしまう。このため、一覧表示されるサムネイル画像が多数にのぼり、どれを編集位置とすべきかを判断するのが困難になる、という問題もある。
【０００６】
本発明は、上述のような問題に鑑みて為されたものであって、動画像の編集作業を効率良く行うことができる動画像編集装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る動画像編集装置は、映像ストリームと音声ストリームとを含む動画像データを編集するための動画像編集装置であって、前記動画像データに含まれるシーンの先頭位置を検出する位置検出手段と、前記位置検出手段にて検出した先頭位置を先頭とする前記映像ストリームの一部を静止画像データとして取得する静止画像データ取得手段と、前記位置検出手段にて検出した先頭位置を先頭とする前記音声ストリームの一部を取得する音声データ取得手段と、前記音声データ取得手段にて取得した音声データに基づいて当該音声データに係るシーンを表わす符号を決定する符号決定手段と、前記静止画像データ取得手段にて取得した静止画像データと、前記符号決定手段にて決定された符号とを対応付けて表示する表示手段とを備えることを特徴とする。
【０００８】
このようにすれば、動画像の編集作業を効率良く行うことができる動画像編集装置を提供することができる。
また、前記位置検出手段は、前記音声ストリームにおいて、音声レベルが所定レベル以下の状態が所定時間以上継続した後、音声レベルが前記所定レベルよりも大きくなった時間位置をシーン先頭の時間位置として検出することを特徴とする。
【０００９】
このようにすれば、一連の発話データ等、意味上のつながりがあると推定される音声データの先頭部分を抽出して、静止画像データと共に表示することができるので、シーンの内容をユーザが把握することを助けて、動画像の編集作業を効率化することができる。
また、前記静止画像データ取得手段は、前記位置検出手段にて検出された先頭位置以後であって、最も先頭に位置する静止画像データを取得することを特徴とする。
【００１０】
このようにすれば、シーンチェンジ後に最初に現われる映像をシーンを代表する静止画像データとして表示することができるので、動画像を編集して出来上がる一連の動画像の流れを把握しやすくなり、動画像の編集作業を効率良く行うことが可能となる。
また、前記音声データ取得手段は、前記位置検出手段にて検出した先頭位置に始まる音声データであって、所定時間長の音声データを取得することを特徴とする。
【００１１】
このようにすれば、音声データの取得に要する時間が無制限に延長されるのを防止することができるので、シーンチェンジ箇所を一覧表示するのに要する時間を制限することができる。したがって、動画像の編集作業を効率化することができる。
また、前記符号決定手段は、所定の音声認識アルゴリズムを用いて、前記音声データから得られた文字列データを前記符号とすることを特徴とする。
【００１２】
このようにすれば、動画像に登場する人物の発話内容を一覧することができるので、表示されているシーンがどのようなシーンであるかの理解を助け、動画像の編集作業をより容易なものとすることができる。
また、前記符号決定手段は、前記音声データの音声レベルを表わす符号を前記符号とすることを特徴とする。
【００１３】
このようにすれば、音声データが発話データではない、単なる背景音楽等である場合であっても、その特徴を表示することができるので、動画像の編集作業に役立てることができる。
また、前記表示手段は、前記静止画像データ取得手段にて取得した静止画像データをサムネイル画像に変換して表示することを特徴とする。
【００１４】
このようにすれば、より多数の静止画像データを一覧表示することができるので、ユーザが画面を切り替える手間を省いて、動画像の編集作業を効率化することができる。
【００１５】
【発明の実施の形態】
以下、本発明に係る動画像編集装置の実施の形態について、図面を参照しながら説明する。
（実施の形態）
図１は、本実施の形態に係る動画像編集装置の機能構成を模式的に示す機能構成図である。図１に示すように、動画像編集装置１は、動画像データ読み込み部１００、映像ストリーム取得部１１０、画像データ取得部１１１、音声ストリーム取得部１２０、音声レベル判定部１２１、音声認識部１２２、候補画像作成部１３０、表示部１３１を備えている。
【００１６】
動画像データ読み込み部１００は、ＤＶＤやビデオテープ等の記録媒体、或いはビデオカメラ等の撮像装置から動画像データを読み込む機能ブロックである。映像ストリーム取得部１１０は、前記動画像データ読み込み部１００が読み込んだ動画像データから映像ストリームを取得する機能ブロックである。また、音声ストリーム取得部１２０は、前記動画像データ読み込み部１００が読み込んだ動画像データから音声ストリームを取得する機能ブロックである。
【００１７】
音声レベル判定部１２１は、前記音声ストリーム取得部が取得した音声ストリームの音声レベルを参照して、音声レベルが所定レベルよりも低い状態が所定時間以上継続したか否かをチェックする。そして、このような音声レベルの状態を検出すると、音声レベル判定部１２１は、これをシーンチェンジと判定して、その旨を画像データ取得部１１１と音声認識部１２２とに通知する。
【００１８】
画像データ取得部１１１は、前記音声レベル判定部１２１から前記の通知を受け付けると、前記映像ストリーム取得部１１０が取得した映像ストリーム中の当該通知に係る時間位置の静止画像データを取得し、これをシーンチェンジに係る静止画像データとして候補画像作成部１３０に出力する機能ブロックである。
また、音声認識部１２２は、前記音声レベル判定部１２１から前記の通知を受け付けると、シーンチェンジと判定された位置以降の音声に含まれている会話データを、所定の音声認識アルゴリズムを用いて文字列データに変換し、当該文字列データを候補画像作成部１３０に出力する機能ブロックである。
【００１９】
候補画像作成部１３０は、前記音声レベル判定部１２１が検出したシーンチェンジに係る静止画像データを前記画像データ取得部１１１から受け付けて、これをサムネイル画像データに変換する。また、候補画像作成部１３０は、当該シーンチェンジに係る文字列データを前記音声認識部１２２から受け付けて、これを前記サムネイル画像データに組み合わせて候補画像を作成し、表示部１３１に出力する機能ブロックである。
【００２０】
図２は、本実施の形態に係る動画像編集装置１が編集位置の候補を示すサムネイル画像と文字列とからなる候補画像を表示する際に実行する処理の流れを示すフローチャートである。図２に示されるように、先ず、動画像編集装置１は、前記動画像データ読み込み部１００にて、記録媒体や撮像装置などから動画像データを読み込む（ステップＳ１００）。
【００２１】
そして、前記映像ストリーム取得部１１０にて、前記動画像データから映像ストリームを取得する（ステップＳ１０１）。また、動画像編集装置１は、前記音声ストリーム取得部１２０にて、前記動画像データから音声ストリームを取得する（ステップＳ１０２）。
画像ストリームと音声ストリームを取得した後、動画像編集装置１は、音声レベル判定部１２１にて、シーンチェンジの検索を開始するための検索開始位置の初期位置として前記音声ストリームの先頭位置を設定する（ステップＳ１０３）。これは、動画像編集装置１が、前記音声ストリームの先頭から末尾に向かって、順に、シーンチェンジを検索するための初期位置を設定するものである。
【００２２】
検索開始位置が設定されると、動画像編集装置１は、前記音声レベル判定部１２１にて、前記音声ストリームの検索開始位置（初期位置は前記音声ストリームの先頭。）からシーンチェンジを検索する（ステップＳ１０４）。すなわち、前記音声ストリームの検索開始位置から順に、音声ストリームの音声レベルを参照し、所定レベルよりも低い状態が所定時間以上継続したら、これをシーンチェンジと判定する。
【００２３】
動画像編集装置１は、前記音声レベル判定部１２１にて、シーンチェンジを検出したら（ステップＳ１０５：ＹＥＳ）、検出したシーンチェンジの直後の音声データを取得する（ステップＳ１０６）。この場合において、動画像編集装置１は、当該シーンチェンジの直後から所定時間分だけ音声データを取得する。
動画像編集装置１は、前記音声レベル判定部１２１にて取得した音声データを、前記音声認識部１２２にて、文字列データに変換する（ステップＳ１０７）。また、動画像編集装置１は、前記画像データ取得部１１１にて、シーンチェンジの直後の静止画像データを取得する（ステップＳ１０８）。
【００２４】
動画像編集装置１は、前記音声認識部１２２にて取得した文字列データと、前記静止画像データ取得部１１１にて取得した静止画像データをシーンチェンジの位置に対応付けて記録する（ステップＳ１０９）。最後に、動画像編集装置１は、当該シーンチェンジの直後の位置を新たな検索開始位置とするように検索開始位置を更新して（ステップＳ１１０）、ステップＳ１０４に進み、上述のような処理を繰り返す。
【００２５】
そして、いずれかの検索開始位置から前記音声ストリームの末尾までシーンチェンジが検出されなかった場合には（ステップＳ１０５：ＮＯ）、動画像編集装置１は、候補画像作成部１３０にて、上述のように記録した静止画像データをサムネイル画像データに変換する。また、上述のように記録した文字列データを画面表示に合わせた文字数以下とする。  これは、表示する際の文字列長の制約によるものである。
【００２６】
そして、同一のシーンチェンジに対応する上記サムネイル画像と上記文字列データとを組み合わせて、１の候補画像を作成する（ステップＳ１１１）。動画像編集装置１は、例えば、前記動画像データの先頭から末尾へ向かう順に候補画像を配列して、これら候補画像を１画面に一覧表示する（ステップＳ１１２）。また、その一部を１画面に表示しても良い。また、この他の条件を用いて候補画像を整列して、表示画面に表示するとしても良い。何れかの方法により候補画像を表示すると、動画像編集装置１は上記一連の処理を終了する。
【００２７】
図３は、本実施の形態に係る動画像編集装置１が処理する動画像データの構造を示す模式図である。図３において、動画像データは、音声ストリーム３０１と映像ストリーム３０２とからなっている。音声ストリームには、通常、音声レベルが低い部分が複数含まれている。音声レベルが低いとは、言い換えると、音量が小さいということである。
【００２８】
図３においては、音声ストリーム３０１に含まれる音声レベルが低い部分として、低音声レベル部分１と低音声レベル部分２とが例示されている。上述のように、低音声レベル部１と低音声レベル部２とは、音声レベルが所定レベル以下である状態が所定時間以上継続したと前記音声レベル判定部１２１が判定した部分である。
【００２９】
そして、このように音声レベルが低い状態が所定時間以上継続した後、前記所定レベルよりも高くなると、次のシーンが開始されたと判断される。図３において、時刻ｔ１は、低音声レベル部分１が検出された後に次のシーンが開始された時刻であり、時刻ｔ２は、低音声レベル部分２が検出された後に次のシーンが開始された時刻である。
【００３０】
本実施の形態に係る動画像編集装置１は、上記時刻ｔ１、ｔ２を編集位置の候補シーンチェンジに係る時間位置として検出する。そして、この時刻ｔ１、ｔ２それぞれの直後に映像ストリーム３０２に現われる静止画像データ１、静止画像データ２を編集位置の候補を表わす画像として記録した後、これをサムネイル画像に変換して画面表示する。
【００３１】
また、動画像編集装置１は、時刻ｔ１、ｔ２それぞれの直後に音声ストリーム３０１に音声データ１、音声データ２に現われる音声データを文字列データに変換し、前記サムネイル画像に併せて画面表示する。ここで、動画像編集装置１は予め決められた時間長分の音声データを取得するとしても良いし、また、予め決められた文字数分の音声データを取得するとしても良い。
【００３２】
また、所定時間分の音声データ中に発話音声が含まれていない場合、動画像編集装置１は、前述のようなサムネイル画像のみを表示し、発話内容の文字列表示は行なわないとしても良い。
図４は、本実施の形態に係る動画像編集装置１がその表示部１３１にて表示された候補画像の一覧を示す模式図である。図４においては、動画像データとしてニュース番組を取り込んだ場合に一覧表示される候補画像１２枚が示されている。ニュース番組においては、原則として、アナウンサがニュース原稿を朗読する様子が映し出されるので、映像そのものの変化は少ない。
【００３３】
また、アナウンサが１のニュース原稿を朗読している途中で、アナウンサの朗読音声を流しながら現場映像などが表示される場合があり、映像が切り替わる時点とニュースの内容が切り替わる時点とが必ずしも一致しない。また、ニュース番組においては、アナウンサの朗読に重ねて、背景音楽（ＢＧＭ：ｂａｃｋｇｒｏｕｎｄ  ｍｕｓｉｃ）が流されることも無い。
【００３４】
従って、このような場合においては、音声ストリームの音声レベルに着目して、シーンチェンジを検出する方法が有効である。また、シーンチェンジが専らニュース原稿の内容に伴って発生するので、図４に示されるように、各サムネイル画像に対応付けてアナウンサが朗読するニュース原稿の冒頭部分を文字列データとして表示すれば、動画像データの編集者は、引き続くシーンの内容を容易に理解することができる。
【００３５】
なお、図４においては、既存の仮名漢字変換技術を用いて文字列データを変換し、また、既存の構文解析技術を用いて文字列データ中の文節を検出し、句読点を挿入した状態で文字列データを表示している。従って、例えば、片仮名だけで文字列データを表示する場合との比較において、動画像データの編集は、より一層容易に各シーンの内容を理解することができる。
【００３６】
なお、仮名漢字変換技術や構文解析技術を適用する場合、文字列データの文字列長が長いほど、精度の良い変換結果や解析結果を得ることができる。従って、このような変換や解析を行うことが予定されている場合には、動画像編集装置１は、より長い時間に亘る音声データを音声ストリームから取得するのが好適である。
【００３７】
以上説明したように、本実施の形態に係る動画像編集装置は、動画像データに含まれる音声ストリームにおける低音声レベル部分を検出し、その直後をシーンチェンジとする。そして、当該シーンチェンジに引き続くシーンの先頭に位置する静止画像データと音声データとを取得して、当該音声データに係る文字列データを前記静止画像データのサムネイル画像に付与して候補画像とする。
【００３８】
そして、当該候補画像を一覧表示して、前記動画像データの編集者に提示するので、当該動画像データの編集位置を容易に指定することができ、従って、動画像データの編集作業をより容易なものとすることができる。
また、シーンチェンジが多数に上る場合であっても、本実施の形態のように、候補画像に文字列データを付与すれば、動画像データの編集者は、編集に必要なシーンをより的確かつ容易に選択することができる。
（変形例）
以上、本発明を実施の形態に基づいて説明してきたが、本発明は、上述の実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
【００３９】
（１）  上記実施の形態においては、音声ストリーム中の低音声レベル部分を検出することによりシーンチェンジの位置を決定するとしたが、本発明がこれに限定されないのは言うまでもなく、他の方法を用いてシーンチェンジの位置を決定するとしても、本発明の効果を得ることができる。
例えば、前記従来公報に開示の技術のように、フレーム間で動画像信号の差異が基準を超える場合にシーンチェンジが発生したと判定して、その直後の静止画像データと音声データから、上述のようにして候補画像を生成し、一覧表示するとしても良い。
【００４０】
また、特開平９−２１４８７９号公報に開示のように、映像ストリームの不連続点と音声ストリームの無音部分とを検出して、検出された各時間位置の時間差が所定時間以内であれば、これをシーンチェンジであると判断して、その直後の静止画像データと音声データから候補画像を生成して、一覧表示するとしても良い。このようにすれば、一覧表示する候補画像の数を削減することができるので、編集者の作業負担を、更に、軽減することができる。
【００４１】
また、上記以外の方法を用いて、シーンチェンジを検出するとしても、一覧表示する候補画像に文字列データを付与しさえすれば、編集者がシーンの内容を理解するのを助けて編集作業の負担を軽減するという、本発明の効果を得ることができる。
（２）  上記実施の形態においては、検出されたシーンチェンジの直後の静止画像データや音声データを取得して候補画像を生成するとしたが、本発明がこれに限定されないのは言うまでもなく、シーンチェンジの直後でなくとも、当該シーン内の静止画像データや音声データを取得して候補画像を生成すれば、本発明の効果を得ることができる。
【００４２】
すなわち、各シーンの候補画像を生成する際に、そのシーンの内容を端的に表わす静止画像データや文字列データを選択し、これらに基づいて候補画像を生成するとすれば、候補画像を一覧表示する際に、候補画像が表示するシーンの内容をより把握し易くすることができる。
例えば、候補画像に含まれるサムネイル画像については、上記実施の形態のようにシーンチェンジの直後の静止画像データを用いて、シーンチェンジの時間位置を分かり易く表示することとし、また、文字列データについては、シーンチェンジの直後に捕らわれることなく、シーンチェンジ以降、最初に現われる発話の一部を用いるとしても良い。
【００４３】
（３）  上記実施の形態においては、候補画像の一覧表示の例として図４のように、１２の候補画像を一覧表示する場合について説明したが、本発明がこれに限定されないのは言うまでもなく、他の態様で一覧表示するとしても、本発明の効果に変わりはない。
例えば、一覧表示する候補画像の数を１２以外であるとしても良いし、また、１の表示画面内にすべての候補画像を表示させなくとも良い。この場合、表示画面を切り替えて、他の候補画像を表示させるとしても良いし、スクロールバー等を用いて、画面に表示させる候補画像を連続的に切り替えるとしても良い。どのような態様で一覧表示するとしても、サムネイル画像と文字列データとを合わせて候補画像としさえすれば、本発明の効果を得ることができる。
【００４４】
（４）  上記実施の形態においては、候補画像にて表示する文字列データが日本語である場合について説明したが、本発明がこれに限定されないのは言うまでもなく、他の言語による文字列データを候補画像にて表示するとしても良い。
この場合において、動画像データに含まれている音声ストリームが日本語以外の言語による発話データを含んでいる場合には、当該言語に応じた音声認識アルゴリズムを用いて文字列データを取得する必要がある。
【００４５】
現在、さまざまな言語について音声認識アルゴリズムの開発がなされており、これら既存の音声認識アルゴリズムを併用することによって、例えば、複数の言語による発話データを含む音声ストリームについても、文字列データを表示させることができる。
また、音声ストリームが日本語による発話データを含んでいる場合であっても、動画像データの編集者の指定に応じて、当該発話データに係る文字列データを他の言語に翻訳して表示するとしても良い。また、音声ストリームが日本語以外の言語による発話データを含んでいる場合にも、編集者の指定に応じて、当該発話データに係る文字列データを日本語に翻訳して表示するとしても良い。
【００４６】
なお、この場合において、一覧表示されているすべての候補画像について文字列データを翻訳文に切り替えるとしても良いし、編集者が指定した候補画像に係る文字列データのみを翻訳文に切り替えるとしても良い。また、編集者が１度に複数の候補画像を指定することを許すとしても良い。
最近では、さまざまな言語の間で自動翻訳プログラムが開発されており、このような自動翻訳プログラムを利用すれば、容易に上記のような処理を実行することができる。
【００４７】
一般に、動画像データを編集する場合、編集の対象となる動画像データに登場する人物は必ずしも自国語を発話するとは限らないので、上記のような翻訳機能を付加すれば、更に編集作業を容易なものとすることができる。
（５）  上記実施の形態においては、動画像データに１の音声ストリームのみが含まれている場合について説明したが、本発明がこれに限定されないのは言うまでもなく、複数の音声ストリームが動画像データに含まれている場合についても、本発明を適用してその効果を得ることができる。
【００４８】
例えば、音声多重放送のように、１の動画像データに主音声と副音声との２つの音声ストリームが含まれているような場合、候補画像に係る文字列データを２つの音声ストリームのそれぞれについて取得しておき、編集者の指定に応じて、当該指定に係る文字列データを含む候補画像を表示させるとしても良い。
この場合において、一覧表示されているすべての候補画像について文字列データを他の音声ストリームに切り替えるとしても良いし、編集者が指定した候補画像に係る文字列データのみを他の音声ストリームに係る文字列データに切り替えるとしても良い。また、編集者が１度に複数の候補画像を指定することを許すとしても良い。
【００４９】
（６）  上記実施の形態においては、図４に示されるように、１の候補画像においてサムネイル画像の下側に文字列データを表示する場合について説明したが、本発明がこれに限定されないのは言うまでもなく、他の態様で文字列データを表示するとしても、本発明の効果に変わりはない。
例えば、１の候補画像において、サムネイル画像の上側に文字列データを表示するとしても良いし、或いは、右側や左側に表示するとしても良い。また、上述のように、文字列データを翻訳する場合には、原語に係る文字列データをサムネイル画像の上側に配するとともに、翻訳文に係る文字列データをサムネイル画像の下側に配するとしても良い。
【００５０】
また、上述のように、複数の音声ストリームが動画像データに含まれている場合、例えば、主音声と副音声との２つの音声ストリームが動画像データに含まれている場合には、主音声に係る文字列データをサムネイル画像の上側に配すると共に、副音声に係る文字列データをサムネイル画像の下側に配するとしても良い。
【００５１】
このように、サムネイル画像を挟んで互いに反対側となるように文字列データを配する場合、上下の他に左右とする配置もとり得る。また、１の候補画像においてサムネイル画像の同じ側に複数の文字列を配するとしても良い。このようにすれば、編集者が各シーンの内容を理解するのを助けて、編集作業を更に効率化させることができる。
【００５２】
（７）  上記実施の形態においては、１のシーンチェンジを検出する度に音声データや静止画像データを取得するとしたが、これに代えて、次のようにするとしても良い。すなわち、一旦、音声ストリームの先頭から末尾まで全体を精査して、すべてのシーンチェンジを検出した後に、各シーンチェンジについて音声データや静止画像データを取得するとしても良い。
【００５３】
このようにすれば、上記実施の形態においては、シーン毎に所定時間分の音声データを取得していたところ、所定文字数分の音声データを取得することができる。
なぜなら、上記実施の形態においては、１のシーンにつき音声データを取得してから、次のシーンの先頭を検索するので、発話のないシーンがあった場合、文字数を定めて音声データを取得しようとすると、次のシーンにまで進んでしまうおそれがあるからである。
【００５４】
一方、予め、すべてのシーンを検出しておけば、所定文字数を検出していなくても、シーンの末尾まで音声データを取得したら、そこで音声データの取得処理を終了することができる。
従って、予めすべてのシーンを検出しておけば、すべてのシーンについて不必要に長い時間分の音声データを取得することなく、必要な文字数の文字列データを取得することができる。また、このようにすれば、上記実施の形態におけるように、候補画像作成部１３０にて文字列データの長さを調整する必要がないので、動画像編集装置１全体として処理を効率化することができる。
【００５５】
（８）  上記実施の形態においては、音声ストリームから取得した音声データを文字列データに変換する場合について説明したが、本発明がこれに限定されないのは言うまでもなく、文字列データに代えて、音声データをその意味内容をシンボリックに表現する記号に変換するとしても良い。
このようにすれば、音声データが発話に係るものでない場合であっても、サムネイル画像に付加すべき情報の欠損を生ずることなく、適当な記号を表示することができる。また、音声データに発話データが含まれている場合には、これを文字列データに変換して表示し、含まれていない場合には、適当な記号を選んで表示するとしても良い。
【００５６】
適当な記号としては、対応するシーンに発話が含まれていない旨を表示する記号や、無音である旨を表示する記号、或いは、音量の大小や音程の高低といった音声レベルを表わす記号を用いれば良い。
また、編集の対象となる動画像データに応じて、適当な手段がある場合には、当該手段を用いて妥当な文字列や記号を表示するとしても良い。例えば、愛玩動物を撮影した動画像データを編集する場合においては、撮影された愛玩動物の鳴き声からその愛玩動物の心理状態を推定して、妥当な文字列や記号を表示するとしても良く、このようにすることによって、動画像データの編集作業をより簡便で楽しいものとする事ができる。
【００５７】
【発明の効果】
以上説明したように、本発明によれば、動画像データを編集するための候補位置を表わす候補画像を表示するにあたって、候補位置を表わすサムネイル画像に加えて、当該サムネイル画像が含まれているシーンに係る文字列データを表示するので、当該動画像データの編集者は、前記候補画像にて表わされている候補位置を容易に理解することができる。
【００５８】
従って、本発明によれば、動画像データの編集者は、動画像データの編集位置をより早く決定することができるので、動画像データの編集作業を効率良く実行することができる。
また、本発明によれば、音声ストリーム中の低音声レベル部分を検出して、その末尾をシーンチェンジとして検出し、当該シーンチェンジに続く音声データを文字列データに変換して表示するので、発話の切れ目に合わせて文字列データを表示する確率を向上させることができる。従って、候補画像において意味のある文字列データ表示させることができるので、動画像データの編集者が候補画像に係るシーンの内容を理解するのを更に容易にすることができる。
【図面の簡単な説明】
【図１】本実施の形態に係る動画像編集装置の機能構成を模式的に示す機能構成図である。
【図２】本発明の実施の形態に係る動画像編集装置１が編集位置の候補を示すサムネイル画像と文字列とからなる候補画像を表示する際に実行する処理の流れを示すフローチャートである。
【図３】本発明の実施の形態に係る動画像編集装置１が処理する動画像データの構造を示す模式図である。
【図４】本発明の実施の形態に係る動画像編集装置１がその表示部１３１にて表示された候補画像の一覧を示す模式図である。
【符号の説明】
１      動画像編集装置
１００  動画像データ読み込み部
１１０  映像ストリーム取得部
１１１  画像データ取得部
１２０  音声ストリーム取得部
１２１  音声レベル判定部
１２２  音声認識部
１３０  候補画像作成部
１３１  表示部
３０１  音声ストリーム
３０２  映像ストリーム
【図１】
2004260521.tif 000003
【図２】
2004260521.tif 000004
【図３】
2004260521.tif 000005
【図４】
2004260521.tif 000006