(57)【特許請求の範囲】
【請求項１】
画像情報と音情報からなる映像を実時間で入力し、実時間で入力された前記映像を蓄積し、
音の有無を判別し、音情報の周波数スペクトルの特徴量から様々な音を検出し、該特徴量が同じもの毎に音を分類し、音情報から歌または音楽を検出する際には、音情報の周波数スペクトルのピークが時間の経過とともに周波数方向に安定しているという周波数スペクトルピークの安定度検出を行い、
分類された音に対応する画像を音の種類の時間的な変化と共に代表画面として選択し、表示する音可視化方法。
【請求項２】
ある一定時間の音情報の振幅の自乗和に閾値を設定して音の有無を判別する、請求項１記載の音可視化方法。
【請求項３】
音情報から人間の話し声または動物の鳴き声を検出する際には、前記周波数スペクトルピーク安定度検出を行った後、該周波数スペクトルの周波数方向に整数あるいはそれに近い倍数のピークが複数存在するハーモニック構造を検出する、請求項１または２記載の音可視化方法。
【請求項４】
分類された音の始まり、あるいは一定時間後、あるいは終わり、あるいはそれらの組み合わせに対応する画像を代表画面として選択する、請求項１から３のいずれか１項記載の音可視化方法。
【請求項５】
分類された音に対応する画像の中で、場面が変化するカット点を代表画面として選択する、請求項１から３のいずれか１項記載の音可視化方法。
【請求項６】
選択された代表画面の枠を音の種類によって色分け、あるいは音の種類によって異なる模様の付加、あるいはそれらを組み合わせて時間の経過と共にディスプレイや紙に一覧表示する、請求項１から５のいずれか１項記載の音可視化方法。
【請求項７】
画像情報と音情報からからなる映像を実時間で入力する映像入力部と
実時間で入力された前記映像を蓄積し、該蓄積された映像を出力する映像蓄積部と、
前記映像を入力し、音の有無を判別する音判別部と、音が存在する部分の音情報の周波数スペクトルの特徴量から様々な音を検出し、該特徴量が同じもの毎に音を分類する音検出・分類部であって、音情報から歌または音楽を検出する際には、該音情報の周波数スペクトルのピークが時間の経過と共に周波数方向に安定しているという周波数スペクトルピークの安定度検出を行う音検出・分類部と、分類された音に対応する画像を音の種類の時間的な変化と共に代表画面として選択する代表画面選択部を含む映像管理部と、
前記代表画面を表示するインターフェース部とを有する音可視化装置。
【請求項８】
前記音判別部は、ある一定時間の音情報の振幅の自乗和に閾値を設定して音の有無を判別する、請求項７記載の音可視化装置。
【請求項９】
前記音検出・分類部は、音情報から人間の話し声または動物の鳴き声を検出する際には、前記周波数スペクトルピーク安定度検出を行った後、該周波数スペクトルの周波数方向に整数倍あるいはそれに近い倍数のピークが複数存在するハーモニック構造を検出する、請求項７または８記載の音可視化装置。
【請求項１０】
前記代表画面選択部は、分類された音の始まり、あるいは一定時間後、あるいは終わり、あるいはそれらの組み合わせに対応する画像を代表画面として選択する、請求項７から９のいずれか１項記載の音可視化装置。
【請求項１１】
前記代表画面選択部は、分類された音に対応する画像の中で、場面が変化するカット点を代表画面として選択する、請求項７から９のいずれか１項記載の音可視化装置。
【請求項１２】
前記インターフェース部は、選択された代表画面の枠を音の種類によって色分け、あるいは音の種類によって異なる図形や模様を表示し、あるいはそれらを組み合わせて時間の経過と共にディスプレイや紙に一覧表示する、請求項７から１１のいずれか１項記載の音可視化装置。
【請求項１３】
前記インターフェース部は、表示された該代表画面をディスプレイ上でマウス等のポインティングデバイスを用いて指定することにより、対応する映像を再生する、請求項７から１１のいずれか１項記載の音可視化装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、画像情報を用いて音情報を可視化し、映像の内容を把握する際に好適な音可視化方法および装置に関する。
【０００２】
【従来の技術】
映像を容易に扱ったり、内容を容易に把握する技術は、ビデオハンドリング技術と呼ばれ、画像の輝度の変化量や物体の移動量、カメラの移動量等をインデクスとして、映像の外殻把握やパノラマ画像の作成に応用されている（外村ら：“Ｓｔｒｕｃｕｔｕｒｅｄ  Ｖｉｄｅｏ  Ｃｏｍｐｕｔｉｎｇ，  ＩＥＥＥ  Ｍｕｌｔｉｍｅｄｉａ，  Ｆａｌｌ，  １９９４”）が、ほとんどが画像情報のみに依存したものであるため、映像の中で何が起きたのかを直接反映するようなインデクスを用いたハンドリング技術は皆無に等しい。音の情報は、映像の中で何が起きたのかを良く反映しており、その特徴量は内容を直接的に表しているが、音情報の解析は音声認識や音場解析の分野で行われている程度である。音の解析結果を映像と関係づけるものに関しては、映画で扱われている音を解析したものがある（Ｍｉｃｈａｅｌ  Ｊ  Ｈａｗｌｅｙ，  “Ｓｔｒｕｃｔｕｒｅ  ｏｕｔ  ｏｆ  Ｓｏｕｎｄ”，博士論文、ＭＩＴ，１９９３）が、具体的な利用方法については述べられていない。
【０００３】
音の可視化に至っては、波形やサウンドスペクトログラム、アイコン等の図形表示が存在するが、それがどのような音であるかを直感的に把握できるようなものではない。また、音の検索では、ワードスポッティングのようなハンティング技術は存在するが、特定の音がわからない場合や、音の表現が難しい場合に行うブラウジング技術は、音の一覧性の悪さや有効な可視化方法がないため存在しない。
【０００４】
【発明が解決しようとする課題】
映像の内容を短時間で把握する際、従来の画像情報に基づいた方法では映像の内容をあまり反映していないために容易でない場合が多かった。例えば、画像のカット点を用いる場合、カット点の前後を再生したり、カット点の直後の画像を時系列にディスプレイ上に並べたり、紙に印刷したするが、カット点は映像が切り替わるとろであるだけで、それが映像の意味的な内容を表しているわけではない。また、無数の存在するカット点から重要な部分を取り出すことも困難であるため、内容把握に要する時間の短縮もこれ以上は容易でない。
【０００５】
本発明の目的は、どのような音が存在するのかを直感的に把握することを可能にし、一覧性に優れた画像情報の良さと映像の内容を反映した音情報の良さの両者を兼ね備えた音可視化方法および装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記の目的を達成するため、本発明の音可視化方法は、画像情報と音情報からなる映像を実時間で入力し、実時間で入力された映像を蓄積し、音の有無を判別し、音情報のスペクトルの特徴量から様々な音を検出し、該特徴量が同じもの毎に音を分類し、音楽情報を検出する際には、音情報のスペクトルのピークが時間の経過とともに周波数方向に安定しているというスペクトルピークの安定度検出を行ない、分類された音に対応する画像を音の種類の時間的な変化と共に代表画面として選択し、表示する。
【０００７】
本発明の実施態様では、ある一定時間の音情報の振幅の自乗和に閾値を設定して音の有無を判別する。
【００１０】
本発明の実施態様では、音情報から人間の話し声または動物の鳴き声を検出する際には、スペクトルピーク安定度検出を行なった後、該スペクトルの周波数方向に整数倍あるいはそれに近い倍数のピークが複数存在するハーモニック構造を検出する。
【００１１】
本発明の実施態様では、分類された音の始まり、あるいは一定時間後、あるいは終わり、あるいはそれらの組み合わせに対応する画像を代表画面として選択する。
【００１２】
本発明の実施態様では、分類された音に対応する画像の中で、場面が変化するカット点を代表画面として選択する。
【００１３】
本発明の実施態様では、選択された代表画面の枠を音の種類によって色分け、あるいは音の種類によって異なる図形や模様を表示し、あるいはそれらを組み合わせて時間の経過と共にディスプレイや紙に一覧表示する。
【００１４】
本発明の音可視化装置は、
画像情報と音情報からなる映像を実時間で入力する映像入力部と、
実時間で入力された前記映像を蓄積し、該蓄積された映像を出力する映像蓄積部と、
前記映像を入力し、音の有無を判別する音判別部と、音が存在する部分の音情報の周波数スペクトルの特徴量から様々な音を検出し、該特徴量が同じもの毎に音を分類する音検出・分類部であって、音情報から歌または音楽を検出する際には、該音情報の周波数スペクトルのピークが時間の経過と共に周波数方向に安定しているというスペクトルピーク安定度検出を行う音検出・分類部と、分類された音に対応する画像を音の種類の時間的な変化と共に代表画面として選択する代表画面を有する映像管理部と、
前記代表画面を表示するインターフェース部とを有する。
【００１５】
本発明の実施態様では、前記音判別部は、ある一定時間の音情報の振幅の自乗和に閾値を設定して音の有無を判別する。
【００１８】
本発明の実施態様では、前記音検出・分類部が、音情報から人間の話し声または動物の鳴き声を検出する際には、該スペクトルの周波数方向に整数倍あるいはそれ近い倍数のピークが複数存在するハーモニック構造を検出する。
【００１９】
本発明の実施態様では、前記代表画面選択部が、分類された音の始まり、あるいは一定時間後、あるいは終わり、あるいはそれらの組み合わせに対応する画像を代表画面として選択する。
【００２０】
本発明の実施態様では、前記代表画面選択部が、分類された音に対応する画像の中で、場面が変化するカット点を代表画面として選択する。
【００２１】
本発明の実施態様では、前記インターフェース部が、選択された代表画面の枠を音の種類によって色分け、あるいは音の種類によって異なる図形や模様を表示し、あるいはそれらを組み合わせて時間の経過と共にディスプレイや紙に一覧表示する。
【００２２】
本発明の実施態様では、前記インターフェース部は、表示された該代表画面をディスプレイ上でマウス等のポインティングデバイスを用いて指定することにより、対応する映像を再生する。
【００２３】
【作用】
本発明によれば、映像にどのような音が存在するのかを直感的に把握でき、音が存在する部分から様々な種類の音を検出、分類でき、特に周波数スペクトルのピークが時間の経過と共に周波数方向に安定しているというスペクトルピーク安定度検出方法を用いることにより、音情報から歌や音楽を検出することが可能である。
【００２４】
ある一定時間の音情報の振幅の自乗和に閾値を設定して音の有無を判別する音判別方法を用いることにより、音の有無を判別できる。
【００２７】
スペクトルの周波数方向に整数倍あるいはそれに近い倍数のピークが複数存在するハーモニック構造を検出するハーモニクス検出方法を用いることにより、音情報から人間の話し声や動物の鳴き声を検出することが可能である。
【００２８】
分類された音の始まり、あるいは一定時間後、あるいは終わり、あるいはそれらの組み合わせに対応する画像を代表画面として選択することにより、音が可視化される。
【００２９】
分類された音に対応する画像の中で、場面が変化するカット点を代表画面として選択することにより、音が可視化される。
【００３０】
選択された代表画面の枠を音の種類によって色分け、あるいは音の種類によって異なる図形や模様を表示し、あるいはそれらを組み合わせて時間の経過と共にディスプレイや紙に一覧表示することにより、音が可視化される。
【００３２】
表示された代表画面をディスプレイ上でマウス等のポインティングデバスを用いて指定し、対応する映像を再生する映像再生手段を用いることにより、所望の音に対応した映像を見ることが可能となる。
【００３３】
【実施例】
次に、本発明の実施例について図面を参照して説明する。
【００３４】
図１は本発明の一実施例の音可視化装置の概略構成を示すブロック図である。本実施例の音可視化装置は、映像を入力する映像入力部１０１と、実時間で入力された映像および特徴量を蓄積する映像・特徴量蓄積部１０２と、映像および特徴量を管理する映像管理部１０３と、本装置を制御し、可視化された音、再生された映像を提示するためのインターフェース部１０７から構成されている。映像管理部１０３は、音の有無を判別する音判別部１０４と、音の特徴量を抽出し、特徴量の種類によって音を分類する音検出・分類部１０５と、分類された音に対応する画像を選択する代表画面選択部１０６で構成されており、音判別部１０４と音検出・分類部１０５と代表画面選択部１０６は各々、並列あるいは時分割で作動し、実時間で特徴抽出しながら音を可視化できる。映像入力部１０１と映像・特徴量管理部１０２からは、映像のタイムコードあるいは経過時間を代表画面選択部１０６に送るためのバスも設けられている。
【００３５】
図２は、音検出・分類部１０５において行われる音検出・分類処理２０１の処理の流れを示したもので、スペクトルピーク安定度検出処理２０２を行った後、ハーモニクス検出処理２０３を行う。
【００３６】
図３は、映像管理部１０３の音判別部１０４と音検出・分類部１０５と代表画面選択部１０６を計算機等でソフトウェア的に実現する場合の処理を示すフローチャートである。この場合、まず、音判別処理３０１を行い、次に、音があると判断した場合には音検出・分類処理３０２を行う。音検出・分類処理３０２ではスペクトルピーク安定度検出処理３０３を行い、音楽かどうかを判断する。音楽でない場合には、さらにハーモニクス検出処理３０４を行い、人の声かどうか判断する。次に、分類された音に対応する画像を代表画面選択処理３０５で行う。音判別処理３０１で音がないと判別した場合には、音検出・分類処理３０２は行わず、代表画面選択処理３０５を行う。
【００３７】
図４は、インターフェース部１０７をディスプレイ上に実現した場合の様子を示したもので、再生された映像は、再生画面表示用ウィンドウ４０１に映し出される。４０２は、再生する映像の種類を選択するためのコントロールパネルである。可視化された映像は、代表画面表示用ウィンドウ４０３のように時系列に並べられる。４０４は、音の種類を示すアイコンで、例えば音が音楽である場合には、図のようなアイコンを表示する。タイムコード表示用ウィンドウ４０５は、画像の時間を表しており、映像にタイムコードが付加されている場合には、タイムコードを表示し、タイムコードが付加されていない場合には、映像の始めからの経過時間が表示される。
【００３８】
次に、本実施例の動作を説明する。
【００３９】
映像は映像入力部１０１によって入力され、映像が実時間で入力された場合には逐次映像・特徴量蓄積部１０２に蓄積される。入力された映像のうち音情報は音判別部１０４によって解析される。音判別部１０４では、音情報の振幅の自乗和を数ｍｓ〜数１０ｍｓ程度算出し、その値が設定された閾値以上であれば音が存在すると判別される。音が存在する場合には、音検出・分類部１０５によってどのような種類の音が存在するのかを音検出・分類処理２０１によって検出する。まず、スペクトルピーク安定度検出処理２０２において、音情報を５１２ポイント程度のフレーム長で数１０ｍｓ程度フレームをシフトさせながら周波数スペクトルを算出する。次に、周波数スペクトルのケプストラムを１２８次程度の係数まで求める。求められたケプストラムのピークの軌跡を５秒間隔程度で求め、周波数方向の変動がない軌跡の平均持続時間を算出する。平均持続時間がある閾値以上であった場合に、音情報は音楽と分類される。ピークの検出には通常、ケプストラムを用いるが、スペクトル波形を直接使う方法も考えられる。音情報が音楽でない場合には、ハーモニクス検出処理２０３を行う。人間の話し声または動物の鳴き声が存在する場合には、周波数方向に整数倍あるいはそれに近い帯状のスペクトルが観測できる。そこで、周波数方向に適当な間隔のくし形フィルターを用意し、くしの間隔を変化させたり周波数方向に移動させながらくしの頂点でのスペクトルパワーの総和を求める。ハーモニクスが存在する場合には、スペクトルパワーの総和が大きくなるため、声の存在が検出できる。広帯域に広がるノイズが存在する場合にもこの値は大きくなるので、スペクトルパワーの総和から、くしの谷間でのスペクトルパワーの総和を差し引くことで、ノイズに対処できる。音情報のスペクトルパワーの総和がある閾値を超えた場合には人間の話し声または動物の鳴き声と分類され、閾値以下の場合にはその他の音と分類される。また、ハーモニクスの検出にはスペクトルのパワーに閾値を設け、閾値以上のスペクトル強度を１、閾値以下を０として２値化し、くしの頂点が１と重なった数を数えて、その数がある閾値を超えた場合には人や動物の話し声と分類され、閾値以下の場合にはその他の音と分類される方法も可能である。分類された音情報の次に代表画面選択部１０６で画像と対応付ける。対応付けは映像入力部１０１または映像・特徴量蓄積部１０２から送られてきたタイムコードを基本に行う。
【００４０】
代表画面の選択は、分類された音の始めや終わり、一定時間後、カット点等、どのような画像を表示するかをインターフェース部１０７のコントロールパネル４０２において選択する。選択した代表画面を、インターフェース部１０７の代表画面表示用ウィンドウ４０３に時系列に表示し、音の種類によって４０４にアイコンを表示、タイムコード表示用ウィンドウ４０５にはタイムコードあるいは映像の始めからの経過時間を表示する。マウス等のポインティングデバイスを用いて代表画面を指定することで、対応する映像を映像・特徴量管理部１０２より読み込み、再生する。インターフェース部１０７のコントロールパネルパネル４０２において選択した代表画面は、装置に接続された外部出力装置をコントロール４０２において指定することでアイコンやタイムコードと共に時系列に配置された形で紙に印刷することも可能である。
【００４１】
なお、映像・特徴量蓄積部１０２は映像の蓄積のみを行なうようにしてもよい。
【００４２】
【発明の効果】
以上説明したように、本発明は以下に示すような効果がある。
【００４３】
（１）請求項１および７の発明は、映像にどのような音が存在するのかを直感的に把握でき、特に音情報から歌や音楽を検出することができる。
【００４４】
（２）請求項２、３および８〜９の発明は、音の有無が判別でき、またハーモニクス検出方法を用いることにより、人間の話し声や動物の鳴き声を検出できる。
【００４５】
（３）請求項４および１０の発明は、分類された音の始まり、あるいは一定時間後、あるいは終わり、あるいはそれらの組み合わせに対応する画像を代表画面として選択することにより、音の可視化ができる。
【００４６】
（４）請求項５および１１の発明は、分類された音に対応する画像の中で、場面が変化するカット点を代表画面として選択することにより、音の可視化ができる。
【００４７】
（５）請求項６および１２の発明は、選択された代表画面の枠を音の種類によって色分け、あるいは音の種類によって異なる図形や模様の付加、あるいはそれらを組み合わせて時間の経過と共にディスプレイや紙に一覧表示する代表画面表示方法を用いることにより、音の可視化ができる。
【００４８】
（６）請求項１３の発明は、表示された代表画面をディスプレイ上でマウス等を用いて指定することにより、所望の音に対応した映像を見ることができる。
【図面の簡単な説明】
【図１】本発明の一実施例の音可視化装置の概略構成を示すブロック図である。
【図２】音検出・分類部１０５の動作の流れを示すブロック図である。
【図３】映像管理部１０３の動作を計算機等でソフトウェア的に実現した場合の処理の流れを示すフローチャートである。
【図４】インターフェース部１０７の構成を示す図である。
【符号の説明】
１０１    映像入力部
１０２    映像・特徴量蓄積部
１０３    映像管理部
１０４    音判別部
１０５    音検出・分類部
１０６    代表画面選択部
１０７    インターフェ−ス部
２０１    音検出・分類処理
２０２    スペクトルピーク安定度検出処理
２０３    ハーモニクス検出処理
３０１    音判別処理
３０２    音検出・分類処理
３０３    スペクトルピーク安定度検出処理
３０４    ハーモニクス検出処理
３０５    代表画面選択処理
４０１    再生画面表示用ウィンドウ
４０２    コントロールパネル
４０３    代表画面表示用ウィンドウ
４０４    アイコン
４０５    タイムコード表示用ウィンドウ
【図１】
0003565228.tif 000002
【図２】
0003565228.tif 000003
【図３】
0003565228.tif 000004
【図４】
0003565228.tif 000005