(57)【特許請求の範囲】
【請求項１】
映像情報を短縮して再生する映像短縮再生装置であって、
映像情報から音情報と画像情報に分離する音・映像分離手段と、
前記分離された音情報の中から人の声を認識する音認識手段と、
前記分離された画像情報の中からシーンの移り変わり部分を認識する画像認識手段と、
ユーザからの総再生時間の指定に対して、前記認識された音情報の区間パワーに対する閾値を増減し、閾値より上の部分の区間の総和がユーザ指定の総再生時間よりも短いもので、最大の再生時間になるよう閾値を設定して音情報を選択し、この音情報と前記認識された画像情報の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する映像制御手段と、
前記映像制御手段により制御された音と画像の同期をとり再生する音・画像同期手段とを備え、
前記映像制御手段は、閾値設定によって選ばれた再生すべき各区間に対応する前記移り変わり部分の情報に基づき、当該再生すべき区間があるシーンの一部分であり、かつそのシーン全てを再生しても、ユーザ指定の総再生時間より短い場合に、再生する部分をシーン全体に設定する
ことを特徴とする映像短縮再生装置。
【請求項２】
映像情報を短縮して再生する映像短縮再生方法であって、
映像情報から音情報と画像情報に分離する音・映像分離過程と、
前記分離された音情報の中から人の声を認識する音認識過程と、
前記分離された画像情報の中からシーンの移り変わり部分を認識する画像認識過程と、
ユーザからの総再生時間の指定に対して、前記認識された音情報の区間パワーに対する閾値を増減し、閾値より上の部分の区間の総和がユーザ指定の総再生時間よりも短いもので、最大の再生時間になるよう閾値を設定して音情報を選択し、この音情報と前記認識された画像情報の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する映像制御過程と、
前記映像制御過程により制御された音と画像の同期をとり再生する音・画像同期過程とを有し、
前記映像制御過程では、閾値設定によって選ばれた再生すべき各区間に対応する前記移り変わり部分の情報に基づき、当該再生すべき区間があるシーンの一部分であり、かつそのシーン全てを再生しても、ユーザ指定の総再生時間より短い場合に、再生する部分をシーン全体に設定する
ことを特徴とする映像短縮再生方法。
【請求項３】
請求項２に記載の映像短縮再生方法における処理手順をコンピュータが実行できるプログラムとして構成したことを特徴とする映像短縮再生方法のプログラム。
【請求項４】
請求項２に記載の映像短縮再生方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする映像短縮再生方法を記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像情報の再生時間を短縮編集するための計算機構を備えた映像短縮再生装置に関する。
【０００２】
【従来の技術】
従来のビデオデッキや映像再生ツールでは、高速再生や早送り再生時には映像は速度固定で再生される。その速度は標準速度の２倍速度〜２０倍速度である。その際、音は全く再生されない場合が多く、再生される場合は音の一部だけを途切れ途切れに再生するものがある。
【０００３】
また、ＳＡＮＹＯ製ビデオの時短機能では、映像は一定速度で高速再生し、音は無音区間を除いた部分を高速化することで、再生できない音ができるだけ少なくなるようにしている。
【０００４】
この他、映像を要約する研究なども行われている。例えば、「Michael A.Smith and Takeo Kanade,Video Skimming and Characteriza-tion through the Combination of Image and Language Understanding Techniques、Proceedings of Computer Vision and Pattern Recognition,pp.775-781,June 1997」がある。
【０００５】
【発明が解決しようとする課題】
従来のシステムにおける高速再生は映像を重視しており、映像を常に一定速度で高速再生し、音声はそれに応じて早回し再生させたり、無音部分を飛ばして再生させたりしていた。
【０００６】
音声の早回し再生を用いた場合では、人問が聞き取れる早回し再生というのはせいぜい２倍速程度であり、元の音声によっては聞き取れないことも多かった。
【０００７】
また、無音部分を飛ばす方式の場合には、画像部分は常に一定速度で高速再生され、音は映像と同期をとらずに再生されるため、音声と映像が一致せず理解を妨げる要因となっていた。
【０００８】
また、従来の映像を要約するシステムでは、映像の構造情報を生成することに主眼が置かれており、ユーザに代表シーンの画像やテキストなどを表示し選択してもらい、選択されたシーンを再生する方式が主流である。この場合、ユーザがまだ一度も見たことない映像の場合には、画像を見ても中がわからない場合が多いし、初めて見る映像の場合に代表シーン等を見てしまうと内容が推測できてしまい、本編を見たいという欲求が薄れてしまう可能性もある。
【０００９】
さらに、総再生時間をユーザが指定し、その時間内に映像をまとめることはできない。
【００１０】
本発明の目的は、ユーザが見て現在のシーンを理解し易く、かつ重要なシーンを見逃すことを少なくして映像情報を高速再生でき、さらにユーザの指定した時間以内に再生できるようにした映像短縮再生装置、方法、プログラムおよび記録媒体を提供することにある。
【００１１】
【課題を解決するための手段】
本発明では音声を重視する。まず、音情報のうちから人の声が入っているの区間を抽出する。人の声が発せられている区間は重要であることが多く、またその声が発せられている区間の映像もまた重要であることが多いからである。
【００１２】
次に、人の声の区間を抽出後、今度はその区間の声のパワー（エネルギー）を計算する。人の声やＢＧＭなどでもあてはまるのだが、重要な部分の声や音楽はまわりの部分と比べてパワーが大きくなる傾向にあるので、それを利用する。この区間のパワーがある閾値を超える値を持つ区間は再生し、それ以下の区間については再生しないようにし、この閾値の値を増減することにより、総再生時間を調節する。つまり、閾値を下げればより多くの区間が再生されることになり総再生時間が長くなり、閾値を上げると再生される区間が少なくなり、結果として総再生時間も短くなる。よって、この閾値を調節することにより、ユーザが指定した時間内に再生時間を調節する。
【００１３】
閾値を変更した場合、必ずしもユーザが指定した時間ちょうどになるとは限らず、その時間よりも短くなる場合が多い。また、閾値を超えた音声区間が映像中にとびとびに現れる。再生する音声区間が決まったら、今度は画像情報からシーンチェンジの場所を調べておき、再生する音の区間とシーンの関係を調べ、再生する音の区間は実はシーンの一部であり、かつそのシーン全部を再生してもユーザが指定した総再生時間を超えない場合、その音の区間だけでなく、シーン全体を再生対象にする。このようにして、総再生時間を超えない範囲で、閾値を超えた各音声区間を調べ、シーンによる再生する区間の補正を行う。
【００１４】
このようにして、再生する区間を決定したら実際に再生を行う。その際、画像は本来の映像において再生している音に対応する画像を再生する。これにより、音と画像がずれることなく再生される。
【００１５】
以上の映像短縮再生方式により、本発明では、比較的重要と思われる音声を含んだ部分を中心に再生を行い、その際、音と映像の同期を常に保つことで会話などのシーンでも不自然さが目立たない再生可能とする。さらに、音声部分を少し高速再生させることにより、通常よりは早い時間で見ることを可能とする。また、音のない映像の場合でもシーンの移り変わりの冒頭部分を再生することにより、ユーザが重要なシーンを見逃す可能性が少なくする。また、ユーザが設定した時間内に映像を短縮し、忙しいユーザが少しの空き時間を使って映像を確実に見ることができ、有効に時間を使うことも可能とするもので、以下の装置、方法、プログラムおよび記録媒体を特徴とする。
【００１６】
（１）映像情報を短縮して再生する映像短縮再生装置であって、
映像情報から音情報と画像情報に分離する音・映像分離手段と、
前記分離された音情報の中から人の声を認識する音認識手段と、
前記分離された画像情報の中からシーンの移り変わり部分を認識する画像認識手段と、
ユーザからの総再生時間の指定に対して、前記認識された音情報の区間パワーに対する閾値を増減し、閾値より上の部分の区間の総和がユーザ指定の総再生時間よりも短いもので、最大の再生時間になるよう閾値を設定して音情報を選択し、この音情報と前記認識された画像情報の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する映像制御手段と、
前記映像制御手段により制御された音と画像の同期をとり再生する音・画像同期手段とを備え、
前記映像制御手段は、閾値設定によって選ばれた再生すべき各区間に対応する前記移り変わり部分の情報に基づき、当該再生すべき区間があるシーンの一部分であり、かつそのシーン全てを再生しても、ユーザ指定の総再生時間より短い場合に、再生する部分をシーン全体に設定する
ことを特徴とする映像短縮再生装置。
【００１７】
（２）映像情報を短縮して再生する映像短縮再生方法であって、
映像情報から音情報と画像情報に分離する音・映像分離過程と、
前記分離された音情報の中から人の声を認識する音認識過程と、
前記分離された画像情報の中からシーンの移り変わり部分を認識する画像認識過程と、
ユーザからの総再生時間の指定に対して、前記認識された音情報の区間パワーに対する閾値を増減し、閾値より上の部分の区間の総和がユーザ指定の総再生時間よりも短いもので、最大の再生時間になるよう閾値を設定して音情報を選択し、この音情報と前記認識された画像情報の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する映像制御過程と、
前記映像制御過程により制御された音と画像の同期をとり再生する音・画像同期過程とを有し、
前記映像制御過程では、閾値設定によって選ばれた再生すべき各区間に対応する前記移り変わり部分の情報に基づき、当該再生すべき区間があるシーンの一部分であり、かつそのシーン全てを再生しても、ユーザ指定の総再生時間より短い場合に、再生する部分をシーン全体に設定する
ことを特徴とする映像短縮再生方法。
【００１８】
（３）上記の映像短縮再生方法における処理手順をコンピュータが実行できるプログラムとして構成したことを特徴とする映像短縮再生方法のプログラム。
【００１９】
（４）上記の映像短縮再生方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする映像短縮再生方法を記録した記録媒体。
【００２０】
【発明の実施の形態】
以下、この発明の一実施形態を図面により説明する。図１は、本実施形態のブロック構成図である。
【００２１】
同図において、普通の映像情報では音と画像情報が混ざっているので、まず音・映像分離回路１においてそれらを分離する。この分離回路１は、テレビジョンにおける音声・映像分離方式を利用することができる。
【００２２】
次に、分離した音については、音認識手段２により、人間の声を含む部分を抜き出す。この音認識手段２は、人の音声帯域に通過帯域をもつフィルタを通すことで実現される。
【００２３】
また、分離した画像については、画像認識手段３により、シーンの移り変わり部分を検出する。この画像認識手段３は、例えば、輝度やそのパターンの変化量が大きくなるか否かで判定することができる。
【００２４】
次に、映像制御手段４において、音認識手段２で分離した音（音声）と、画像認識手段３で抽出した画像の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する。再生に必要な画像部分としては、検出されたシーンの移り変わりの冒頭部分と、その抽出された音が発せられている部分の画像である。
【００２５】
さらに、映像制御手段４は、ユーザからの総再生時間の指定に対して、分離された音に対して、音の区間パワーに対する閾値を増減し、閾値より上の部分の区間の総和がユーザ指定の総再生時間よりも短いもので、最大の値に閾値を設定する。具体的には、以下の処理を行う。
【００２６】
・閾値設定によって選ばれた再生すべき各区間から１つを選ぶ。その区間に対応する画像情報から得られたシーンチェンジの情報を調べる。再生する区間があるシーンの一部分であり、かつそのシーン全てを再生しても、ユーザ指定の総再生時間より短い場合、再生する部分をシーン全体に設定する。
【００２７】
・別の再生区間についても上記の処理を順次実行し、総再生時間以内で最も再生時間が長くなるように設定する。
【００２８】
図２は、閾値の変更による総再生時間の増減の例を示し、音パワー信号に対して、閾値を低くすると再生する区間が長くなり、閾値を高くすると差いせされる区間が短くなる。
【００２９】
最後に、音・画像同期手段５により、音と映像の同期をとり、時間短縮して再生した映像として出力する。音と必要な画像部分の同期をとる方法としては、基の映像情報の初めからの当該音の時刻と当該画像部分の時刻が合致するように、再生画像を構成する。
【００３０】
図３は、本発明の方法の一実施形態例であるアルゴリズムを示すフローチャートである。そのアルゴリズムは次のようになる。
【００３１】
（Ｓ１）音・映像分離
映像情報の中から音情報と画像情報を分離する。
【００３２】
（Ｓ２）音認識と画像認識
分離した音情報と画像情報、それぞれに対して次のような処理を行う。
【００３３】
・音情報については音情報の中から音声部分を検出する。
【００３４】
・画像情報についてはシーンチェンジを検出する。
【００３５】
（Ｓ３）映像制御
検出された音声と画像の両方の情報をまとめ、映像部分内の再生に必要な画像部分を決定する。さらに、ユーザからの総再生時間の指定に対して、音の区間パワーに対する最大の閾値を設定する。
【００３６】
（Ｓ４）音・画像同期
音と画像の同期を取りながら再生する。
【００３７】
なお、本発明は、図３に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク：登録商標）、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００３８】
【発明の効果】
以上のとおり、本発明によれば、ユーザが指定した任意の時間内に映像を短縮できるため、次の会議が始まるまでの時間に映像内容を確認するといったビジネス用途や、次の番組が始まるまでに先週の放送内容をもう一度見ておく、などの家庭用途向けにも用いることができる。
【００３９】
また、従来の要約システムなどと異なり、システムが自動的に要約するため、映像の中を見ずに短縮された映像をいきなり見ることが可能である。
【００４０】
また、本発明により再生される映像の音と画像は常に一致して再生されるため、理解し易い映像を見ることが可能である。
【図面の簡単な説明】
【図１】本発明の実施形態を示すブロック構成図。
【図２】実施形態における閾値の変更による総再生時間の増減例。
【図３】本発明の実施形態を示すフローチャート。
【符号の説明】
１…音・映像分離回路
２…音認識手段
３…画像認識手段
４…映像制御手段
５…音・画像同期手段
【図１】
0003848144.tif 000002
【図２】
0003848144.tif 000003
【図３】
0003848144.tif 000004