(57)【要約】【課題】ユーザがより内容を把握しやすいように、１種類の長さの要約映像だけではなく、異なる長さの要約映像を生成できるようにすること。【解決手段】本発明は、入力された映像のカット点と、映像の音声レベルが所定の閾値を超えて低音量から高音量へ上がる音声変化点との検出に加えて、検出した音声変化点に連続する低音部分の時間長を測定し、ユーザが入力した低音部分の時間長に対応する音声変化点とカット点から所定の長さの映像を抽出し、繋ぎ合わせることで要約映像を生成するようにしたものである。【選択図】　　　図１
2004080622.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像の音量が低音量部分から音量が高くなる点である音量変化点を検出する低音量部分検出手段と、前記低音量部分の時間長を測定する低音量部分時間長測定手段と、ユーザ操作により入力された入力時間長以上の長さの前記低音量部分の時間長後に音量が高音量になる前記音量変化点を検出し、検出した当該音量変化点から所定の長さの映像を前記入力された映像から抽出し時間軸順にそろえることで要約映像を生成する要約映像生成手段と、を具備したことを特徴とする要約映像生成装置。
【請求項２】
入力された映像のカット点を検出するカット点検出手段と、前記入力された映像の音量が低音量部分から音量が高くなる点である音量変化点を検出する低音量部分検出手段と、前記低音量部分の時間長を測定する低音量部分時間長測定手段と、ユーザ操作により入力された入力時間長以上の長さの前記低音量部分の時間長後に音量が高音量になる前記音量変化点を検出し、検出した当該音量変化点と前記カット点とから所定の長さの映像を前記入力された映像から抽出し時間軸順にそろえることで要約映像を生成する要約映像生成手段と、を具備したことを特徴とする要約映像生成装置。
【請求項３】
複数の前記低音量部分時間長を表示する時間長表示部と、前記時間長表示部に表示された前記時間長をユーザが選択する複数の選択ボタンと、を具備したインターフェース手段を具備したことを特徴とする請求項１または請求項２記載の要約映像生成装置。
【請求項４】
入力された映像の音量が低音量部分から音量が高くなる点である音量変化点を検出する工程と、前記低音量部分の時間長を測定する工程と、ユーザ操作により入力された入力時間長以上の長さの前記低音量部分の時間長後に音量が高音量になる前記音量変化点を検出する工程と、検出した当該音量変化点から所定の長さの映像を前記入力された映像から抽出し時間軸順にそろえることで要約映像を生成する工程と、を具備したことを特徴とする要約映像生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像を検索する際に要約映像を生成し表示する要約映像生成装置および要約映像生成方法に関する。
【０００２】
【従来の技術】
従来より、大量の映像の中から、所望の映像を探し出す際に、要約映像を生成し、生成した要約映像を表示することが行われている。要約映像の生成法としては、特開２００１−３５２５０６号公報に開示された方法がある。この方法は、映像のカットの変わり目であるカット点の検出と音量の急激に高くなるポイントを検出し、検出したカット点と音量の急激に高くなるポイントである音量変化点から数秒間の映像と音声を合成して要約映像を生成し、表示する方法である。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の方法では、ユーザの好みの長さの要約映像を生成し、表示することが出来ない。つまり、従来の方法は、カット点および音声の検出点のみから要約映像を生成する方法であるため、１種類の長さの要約映像しか生成できない。
【０００４】
例えば、従来の方法で、講演会の映像などのようにカット点が少なく音声が主体のコンテンツから要約映像を生成した際には、カット点の数が少ないため、生成した要約映像がユーザの意思に反して長すぎる場合がある。このように、要約映像が長すぎる場合は、ユーザが内容を把握するのに支障をきたす可能性がある。
【０００５】
本発明は、かかる点に鑑みてなされたものであり、ユーザがより内容を把握しやすいように、１種類の長さの要約映像だけではなく、異なる長さの要約映像を生成できるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、入力された映像の音量レベルが所定の閾値を超えて低音量から高音量へ上がる音量変化点との検出に加えて、検出した音量変化点に到るまでの低音量部分の時間長を測定し、ユーザが入力した低音量部分の時間長より長い低音量部分の後の音量変化点から所定の長さの映像を抽出し、繋ぎ合わせることで要約映像を生成するようにしたものである。
【０００７】
これにより、ユーザが低音量部分の時間長を入力することにより、一つの要約映像だけではなく、異なる長さの要約映像を生成し表示することのできるので、コンテンツの内容の把握を容易にできる。また、コンテンツは、低音量部分が長ければ長いほど、この後に大きく場面の変わることが多いので、ユーザが低音量部分を長く指定することにより、コンテンツが大きく変化した場面、つまり特徴を大きく表した部分を繋いだ要約映像を生成することができる。
【０００８】
【発明の実施の形態】
本発明の第１の態様にかかる要約映像生成装置は、入力された映像の音量が低音量部分から音量が高くなる点である音量変化点を検出する低音量部分検出手段と、前記低音量部分の時間長を測定する低音量部分時間長測定手段と、ユーザ操作により入力された入力時間長以上の長さの前記低音量部分の時間長後に音量が高音量になる前記音量変化点を検出し、検出した当該音量変化点から所定の長さの映像を前記入力された映像から抽出し時間軸順にそろえることで要約映像を生成する要約映像生成手段と、を具備した構成を採る。
【０００９】
これにより、ユーザが入力した時間長に対応する低音量時間長後の音量変化点を用いてユーザの所望する長さの要約映像を生成することができる。また、ユーザは、低音量部分を長く指定することで、映像が大きく変化した場面、つまり特徴を大きく表した部分を繋いだ短い要約映像を生成することができる。
【００１０】
本発明の第２の態様にかかる要約映像生成装置は、入力された映像のカット点を検出するカット点検出手段と、前記入力された映像の音量が低音量部分から音量が高くなる点である音量変化点を検出する低音量部分検出手段と、前記低音量部分の時間長を測定する低音量部分時間長測定手段と、ユーザ操作により入力された入力時間長以上の長さの前記低音量部分の時間長後に音量が高音量になる前記音量変化点を検出し、検出した当該音量変化点と前記カット点とから所定の長さの映像を前記入力された映像から抽出し時間軸順にそろえることで要約映像を生成する要約映像生成手段と、を具備した構成を採る。
【００１１】
これにより、ユーザが入力した時間長に対応する低音量時間長後の音量変化点およびカット点を用いてユーザの所望する長さの要約映像を生成することができる。また、ユーザは、低音量部分の長さを長く指定することで、映像が大きく変化した場面、つまり特徴を大きく表した部分を繋いだ短い要約映像を生成することができる。
【００１２】
本発明の第３の態様は、第１の態様または第２の態様にかかる要約映像生成装置において、複数の前記低音量部分時間長を表示する時間長表示部と、前記時間長表示部に表示された前記時間長をユーザが選択する複数の選択ボタンと、を具備したインターフェース手段を具備した構成を採る。
【００１３】
これにより、ユーザが、表示されている複数の時間長表示部から所望の時間長を選択し選択ボタンを押下するという簡単な操作で所望の長さの要約を生成できる。
【００１４】
本発明の第４の態様は、入力された映像の音量が低音量部分から音量が高くなる点である音量変化点を検出する工程と、前記低音量部分の時間長を測定する工程と、ユーザ操作により入力された入力時間長以上の長さの前記低音量部分の時間長後に音量が高音量になる前記音量変化点を検出する工程と、検出した当該音量変化点から所定の長さの映像を前記入力された映像から抽出し時間軸順にそろえることで要約映像を生成する工程と、を具備したことを特徴とする要約映像生成方法である。
【００１５】
以下、本発明の一実施の形態にかかる要約映像生成装置について、添付図面を用いて説明する。
【００１６】
本発明は、例えば、講演会のようにカット点が少なく、音声のみが変化する映像は、低音量部分が長ければ長いほど、この後に大きく場面の変わることが多いということに着目したものである。そして、カット点に加え、ユーザが指定した長さ以上の低音量部分の後に位置する音量変化点と、を用いて要約映像を生成するようにしたものである。これにより、ユーザは、あらゆる長さの要約映像を生成できるだけでなく、低音量部分の長さを指定することで、映像が大きく変化した場面、つまり特徴を大きく表した部分を繋いだ要約映像を生成することができる。
【００１７】
次に、上記実施の形態にかかる要約映像生成装置の構成について図１を用いて説明する。図１は、上記実施の形態にかかる要約映像生成装置の構成図である。
【００１８】
本要約映像生成装置１００には、音声付き映像（コンテンツ）を入力する映像入力部１０１が設けられている。映像入力部１０１は、例えばテープを再生する再生機などである。
【００１９】
また、要約映像生成装置１００には、映像入力部１０１が入力した映像を蓄積する映像蓄積部１０２が設けられている。映像蓄積部１０２には、大容量の映像がデータベースとして蓄積される。
【００２０】
また、要約映像生成装置１００には、映像入力部１０１が入力した蓄積すべき映像のシーンの変わり目であるカット点を検出するカット点検出部１０３が設けられている。カット点検出部１０３のカット点検出方法としては、入力映像フレームの特徴量（ＤＣＴ係数）と後続するフレームの特徴量の差が、一定閾値を超える部分をカット点とする方式が一般的であり、これを改良した特願平０９−１０１４２９号公報に記載の公知の技術等が使用可能である。
【００２１】
また、要約映像生成装置１００には、入力映像の音声の音量が低音量部分および高音量部分を検出し、検出した低音量部分から急激に高くなる点および高音量部分から低くなる点である音量変化点を検出する低音量部分検出部１０４が設けられている。そして、要約映像生成装置１００には、カット点検出部１０３が検出したカット点および低音量部分検出部１０４が検出した音量変化点を格納する要約映像地点記憶部１０７が設けられている。
【００２２】
また、要約映像生成装置１００には、低音量部分検出部１０４により検出された音量変化点間の時間である低音量部分の時間長を測定する低音量部分時間長測定部１０５が設けられている。そして、要約映像生成装置１００には、低音量部分時間長測定部１０５が測定した低音量部分の時間長を蓄積する低音量部分時間長蓄積部１０６が設けられている。
【００２３】
また、要約映像生成装置１００には、要約映像地点記憶部１０７に記憶された位置情報から数秒間の映像（音声付き）を取り出し蓄積し、さらに低音量部分時間長測定部１０５により測定された時間長を、該当する映像（音声付き）と対応（リンク）して蓄積する要約映像蓄積部１０８が設けられている。
【００２４】
また、要約映像生成装置１００には、要約映像蓄積部１０８に蓄積された数秒間の映像を時間軸に沿って繋ぎ合せて要約映像を生成する要約映像生成部１０９が設けられている。また、要約映像生成部１０９は、ユーザが後述するインタフェース部１１０を用いて選択した低音量部分時間長に該当する映像を、要約映像蓄積部１０８から選択し、さらにカット点情報により生成された映像を時間軸に沿って合成し、要約映像を生成する。
【００２５】
また、要約映像生成装置１００には、要約映像の再生および要約映像を選択し支持するインタフェース１１０が設けられている。
【００２６】
そして、映像出力部１１１は、インタフェース部１１０に表示された要約映像が、ユーザにより確認された際、映像蓄積部１０２に指示し、原映像を出力する。
【００２７】
次に、上記実施の形態にかかる低音量部分時間長測定部１０５の動作について図２を用いて詳細に説明する。図２は、上記実施の形態にかかる低音量部分時間長測定部の低音量部分時間長測定を説明するための図である。
【００２８】
図２中の縦軸に音量、横軸に時間を示す。図中２０２で示される点は、音量が急激に下がった点であり、２０３で示される点は音量が急激に上がった点である。また、図中２０１で示される範囲は、音量が急激に下がった点から上がった点までの低音量部分時間長である。
【００２９】
低音量部分時間長測定部１０５は、講演会などの映像ではカット点がほとんどなく、要約映像を生成する際、ポイントとなるタイミングとして、急激に音量の下がるポイント２０２と、急激に音量の上がるポイント２０３を検出しておく事が重要である。さらに、低音量部分時間長測定部１０５は、低音量部分間長２０１が長ければ長いほど大きく内容の変わることが多い点に着目し、低音量部分間長２０１を用いた要約映像生成のため低音量時間長を抽出する。
【００３０】
次に、上記実施形態にかかるインタフェースの構成について図３を用いて説明する。図３は、上記実施の形態にかかるインタフェースの構成を示す図である。
【００３１】
インタフェース画面３００の左側部分には、選択された要約映像を表示する表示部３０１が配置されている。また、インタフェース画面３００の右側部分には、複数の低音量部分時間長を示す時間長表示部３０２が配置されている。また、インタフェース画面３００の、時間長表示部３０２の右側の対向する位置には、時間長表示部３０２に表示された低音量部分の時間長を選択し、選択した時間長の要約映像を再生する複数の再生ボタン３０３が配置されている。さらに、インタフェース画面３００の下方には、要約映像を確認し、その後原映像を出力するための原映像出力ボタン３０４が配置されている。
【００３２】
ユーザは、インタフェース画面３００を参照し、所望の時間長に対応する再生ボタン３０３を押下することで、所望の時間長に対応する音量変換点から所定長の映像をつなぎ合わせた要約映像を見る事ができる。
【００３３】
ここで低音量部分時間長に関して、低音量時間長が１秒以上の場合、要約され表示される映像は、長い要約映像になるが詳しく内容の把握ができる。逆に低音量時間長が５秒以上の要約映像は、短い要約映像を用いて短時間で見る事ができるが、原映像に対する情報が少ない分、内容把握が困難な場合もある。これらを補うため２秒および３秒以上といった時間も設けてある。
【００３４】
また、ユーザは、要約映像を参照した後、原映像出力ボタン３０４を押下することで、要約映像に対応する原映像を取り出す事ができる。
【００３５】
次に、上記実施の形態にかかる要約映像生成装置の動作について図４、図５を用いて説明する。図４、図５は、上記実施の形態にかかる要約映像生成装置の動作を説明するための図である。
【００３６】
まず、要約映像生成装置１００は、映像入力部１０１において、音声付き映像である原映像４０１を入力する。
【００３７】
次に、要約映像生成装置１００は、原映像・音声４０１から映像部分４０１ａを分離し、カット点検出部１０３によりシーンの変わる点であるカット点４０２ａ〜４０２ｄを検出する。また、要約映像生成装置１００は、原映像・音声４０１から音声部分４０１ｂを分離し、低音量部分検出部１０４により、急激に音量の上昇する点である低音量部分検出点４０３ａ〜４０３ｇと、急激に音量の下降する点４０４ａ〜４０４ｇをそれぞれ検出する。
【００３８】
次に、要約映像生成装置１００は、検出したカット点４０２ａ〜４０２ｄおよび低音量部分検出点４０３ａ〜４０３ｈの位置情報を要約映像地点記憶部１０７に記憶する。次に、要約映像生成装置１００は、要約映像蓄積部１０８において、要約映像地点記憶部１０７に蓄積されている地点から数秒間の原映像を映像蓄積部１０２より取りだし、カット点要約５０２ａ〜５０２ｄおよび低音量部分検出点要約５０３ａ〜５０３ｈとして蓄積する。
【００３９】
さらに、要約映像生成装置１００は、低音量部分時間長測定部１０５において、音量の急激に下がる点４０４ａ〜４０４ｇから音量の急激に上がる点４０３ａ〜４０３ｈまでの時間長を測定し、低音量部分時間長６０３ａ〜６０３ｈとして、低音量部分検出点要約５０３ａ〜５０３ｈにリンクさせ要約映像蓄積部１０８に蓄積する。
【００４０】
次に、ユーザが要約映像を見る際、図３に示したインタフェース画面３００の再生ボタン３０３により、低音量部分が所望の時間長以上の要約映像の再生指示をすると、インタフェース部１１０からユーザの指示が要約映像生成部１０９に送られる。以下の説明では、ユーザが要約映像を見る際、図３に示した再生ボタン３０３により、低音量部分の時間長３秒以上の要約映像の再生指示を出した場合について説明する。
【００４１】
この場合、要約映像生成部１０９は、低音量時間長蓄積部１０６に蓄積された低音量時間長６０３ａ〜６０３ｈから、時間長が３秒以上の低音量時間長６０３ａ、６０３ｂ、６０３ｄ、６０３ｇ、および６０３ｈを選択し、要約映像蓄積部１０８に送る。そして、要約映像蓄積部１０８が、送られてきた低音量時間長６０３ａ、６０３ｂ、６０３ｄ、６０３ｇ、および６０３ｈに対応する低音量部分検出点要約として５０３ａ、５０３ｂ、５０３ｄ、５０３ｇ、および５０３ｈと、カット点要約５０２ａ〜５０２ｄとを要約映像生成部１０９に送る。そして、要約映像生成部１０９が、送られてきた低音量部分検出点要約として５０３ａ、５０３ｂ、５０３ｄ、５０３ｇ、および５０３ｈと、カット点要約５０２ａ〜５０２ｄとを、時間軸にそろえ連結し圧縮することで要約映像７００を生成する。
【００４２】
以上に説明したように、上記実施の形態によれば、原映像の、映像についてはカット点を検出し、音声については音量変化点を検出し、さらに低音量時間長を計測しカット点、音量変化点、および低音量時間長をリンクさせて映像蓄積しておくことで、ユーザが選択した低音量部分時間長に対応する音量変化点およびカット点を用いてユーザの所望する長さの要約映像を生成することができる。
【００４３】
また、上記実施の形態によれば、ユーザが、低音量部分の長さを長く指定することで、映像が大きく変化した場面、つまり特徴を大きく表した部分を繋いだ短い要約映像を生成することができる。また、低音量部分の長さという特徴量を用いて要約映像を生成するため、講演会などカット点が少なく、音声のみが変化する映像を、大容量の映像データベースから高速かつ効率良く検索し取り出すのに有効である。
【００４４】
また、上記実施の形態によれば、インタフェース画面３００に時間長表示部３０２および再生ボタン３０３を設けることで、ユーザがインタフェース画面３００を参照し、表示されている複数の時間長表示部３０２から所望の時間長を選択し再生ボタン３０３を押下するという簡単な操作で所望の長さの要約を生成できる。
【００４５】
なお、上記実施の形態では、ユーザが、低音量部分の長さを指定して、要約映像生成装置１００が指定された長さ以上の低音量部分の後に位置する音量変化点を用いて要約映像を生成する形態で説明したが、ユーザが所望の要約映像の長さを指定し、要約映像生成装置１００がユーザの指定した要約映像の長さに近くなるように低音量部分の長さを自動的に決定し、決定した低音量部分の長さに対応する音量変化点を用いて要約映像を生成するようにしても良い。
【００４６】
また、最初に、要約映像生成装置１００が所定の長さ以上の低音量部分の後に位置する音量変化点を用いて自動的に要約映像を生成し、次に、この要約映像を見たユーザが、要約映像が所望の長さに近くなるように低音量部分の長さを指定する形態であっても良い。
【００４７】
また、上記実施の形態では、低音量部分、音量変化点、およびカット点を用いて要約映像を生成する形態で説明したが、カット点を用いない形態であっても良い。
【００４８】
また、上記実施の形態では、入力映像を映像蓄積部１０２に蓄積する形態で説明したが、ＬＡＮなどを用いて外部から入力された映像をリアルタイムに処理して要約を生成する形態であってもよい。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、映像の変わり目であるカット点と、音声の切れ目である音量変化点を検出し、さらに音量変化点の低音量部分の時間長を測定しておき、検索者がこの時間長を選択する事で、あらゆる長さの要約映像を生成し表示することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態にかかる要約映像生成装置の構成図
【図２】上記実施の形態にかかる低音量部分時間長測定部の低音量部分時間長測定を説明するための図
【図３】上記実施の形態にかかるインタフェースの構成を示す図
【図４】上記実施の形態にかかる要約映像生成装置の動作を説明するための第１の図
【図５】上記実施の形態にかかる要約映像生成装置の動作を説明するための第２の図
【符号の説明】
１００　要約映像生成装置
１０１　映像入力部
１０２　映像蓄積部
１０３　カット点検出部
１０４　低音量部分検出部
１０５　低音量部分時間長測定部
１０６　低音量部分時間長蓄積部
１０７　要約映像地点記憶部
１０８　要約映像蓄積部
１０９　要約映像生成部
１１０　インタフェース部
１１１　映像出力部
【図１】
2004080622.tif 000003
【図２】
2004080622.tif 000004
【図３】
2004080622.tif 000005
【図４】
2004080622.tif 000006
【図５】
2004080622.tif 000007