(57)【要約】【課題】映像音声中に複数話者が同時に発話する部分があっても，精度良く所望の話者の発話区間を検索できるようにするための手段を提供する。【解決手段】話者音声登録フェーズでは，話者の単独音声の特徴量だけでなく，複数の話者の音声信号を合成した音声について特徴量を抽出し，音声データベース１に登録する。話者検索フェーズでは，検索の対象となる入力音声信号を短区間ごとに切り出し，各短区間の特徴量と音声データベース１の特徴量との照合により話者を認識する。発話区間決定フェーズでは，各短区間の話者の検索結果を所定数の短区間ごとに集計し，話者の出現回数をもとに話者の発話区間を割り出す。話者情報表示フェーズでは，発話区間の検索結果を表示する。【選択図】　　　　図２
2004145161.tif 000002
【特許請求の範囲】
【請求項１】
音声発生源情報とその音声発生源が発する音声の特徴量とを格納し，音声発生源が未知の音声信号について音声発生源を認識するための音声データベースへの学習データの登録処理方法において，
認識対象となる各音声発生源が発する音声信号を入力し，その音声特徴量を抽出するとともに，入力した複数の音声発生源の音声信号を組み合わせて，複数の音声発生源の音声信号を合成し，その合成した複数の音声発生源の音声信号に関する音声特徴量を抽出して，各音声発生源情報とその音声特徴量との対応情報および前記組み合わせた複数の音声発生源情報とその音声特徴量との対応情報を前記音声データベースに登録する
ことを特徴とする音声データベース登録処理方法。
【請求項２】
あらかじめ音声データベースに登録された音声発生源の音声特徴量との照合により，音声発生源が未知の音声信号から音声発生源を認識する音声発生源認識方法において，
認識対象となる各音声発生源が発する音声信号を入力し，その音声特徴量を抽出するとともに，入力した複数の音声発生源の音声信号を組み合わせて，複数の音声発生源の音声信号を合成し，その合成した複数の音声発生源の音声信号に関する音声特徴量を抽出して，各音声発生源情報とその音声特徴量との対応情報および前記組み合わせた複数の音声発生源情報とその音声特徴量との対応情報を前記音声データベースに登録する音声データベース登録段階と，
音声発生源が未知の音声信号を入力し，入力した音声信号から音声特徴量を抽出し，前記音声データベースに登録された音声発生源の音声特徴量との照合により，複数の音声発生源を含むことがある音声発生源を認識する音声発生源検索段階とを有する
ことを特徴とする音声発生源認識方法。
【請求項３】
音声信号中の特定の音声発生源が発する音声発生区間を検索する音声発生区間検索方法において，
認識対象となる各音声発生源が発する音声信号を入力し，その音声特徴量を抽出するとともに，入力した複数の音声発生源の音声信号を組み合わせて，複数の音声発生源の音声信号を合成し，その合成した複数の音声発生源の音声信号に関する音声特徴量を抽出して，各音声発生源情報とその音声特徴量との対応情報および前記組み合わせた複数の音声発生源情報とその音声特徴量との対応情報を前記音声データベースに登録する音声データベース登録段階と，
音声発生区間の検索の対象となる音声信号を入力し，入力した音声信号を所定の時間単位ごとに区切って，各区間から音声特徴量を抽出し，前記音声データベースに登録された音声発生源の音声特徴量との照合により，複数の音声発生源を含むことがある音声発生源を認識する音声発生源検索段階と，
前記音声発生源検索段階によって得られた各区間の音声発生源の検索結果を，あらかじめ定められた複数の区間ごとに集計し，音声発生源の出現回数をもとに特定の音声発生源の音声発生区間を割り出す音声発生源検索結果処理段階と，
前記音声発生源検索結果処理段階によって得られた音声発生区間情報を出力する音声発生区間情報出力段階とを有する
ことを特徴とする音声発生区間検索方法。
【請求項４】
請求項３記載の音声発生区間検索方法において，
前記音声発生区間情報出力段階では，指定された音声発生源が音声を発生した音声信号のすべての時間帯情報を表示，または指定された音声信号の時間に発生している音声発生源情報を表示する
ことを特徴とする音声発生区間検索方法。
【請求項５】
請求項３または請求項４記載の音声発生区間検索方法において，
前記音声発生区間情報出力段階で利用者に提示された特定の音声発生源情報とその音声信号とをもとに，利用者の指定により前記音声データベースへの音声発生源情報および音声特徴量を再登録する音声データベース再登録段階を有する
ことを特徴とする音声発生区間検索方法。
【請求項６】
音声発生源情報とその音声発生源が発する音声の特徴量とを格納し，音声発生源が未知の音声信号について音声発生源を認識するための音声データベースへの学習データの登録処理装置において，
認識対象となる各音声発生源が発する音声信号を入力する手段と，
入力した複数の音声発生源の音声信号を組み合わせて，複数の音声発生源の音声信号を合成する手段と，
前記入力した音声信号および前記合成した音声信号のそれぞれについて音声特徴量を抽出する手段と，
各音声発生源情報とその音声特徴量との対応情報および前記組み合わせた複数の音声発生源情報とその音声特徴量との対応情報を前記音声データベースに登録する手段とを備える
ことを特徴とする音声データベース登録処理装置。
【請求項７】
あらかじめ音声データベースに登録された音声発生源の音声特徴量との照合により，音声発生源が未知の音声信号から音声発生源を認識する音声発生源認識装置において，
認識対象となる各音声発生源が発する音声信号を入力し，その音声特徴量を抽出するとともに，入力した複数の音声発生源の音声信号を組み合わせて，複数の音声発生源の音声信号を合成し，その合成した複数の音声発生源の音声信号に関する音声特徴量を抽出して，各音声発生源情報とその音声特徴量との対応情報および前記組み合わせた複数の音声発生源情報とその音声特徴量との対応情報を前記音声データベースに登録する音声データベース登録手段と，
音声発生源が未知の音声信号を入力し，入力した音声信号から音声特徴量を抽出し，前記音声データベースに登録された音声発生源の音声特徴量との照合により，複数の音声発生源を含むことがある音声発生源を認識する音声発生源検索手段とを備える
ことを特徴とする音声発生源認識装置。
【請求項８】
音声信号中の特定の音声発生源が発する音声発生区間を検索する音声発生区間検索装置において，
認識対象となる各音声発生源が発する音声信号を入力し，その音声特徴量を抽出するとともに，入力した複数の音声発生源の音声信号を組み合わせて，複数の音声発生源の音声信号を合成し，その合成した複数の音声発生源の音声信号に関する音声特徴量を抽出して，各音声発生源情報とその音声特徴量との対応情報および前記組み合わせた複数の音声発生源情報とその音声特徴量との対応情報を前記音声データベースに登録する音声データベース登録手段と，
音声発生区間の検索の対象となる音声信号を入力し，入力した音声信号を所定の時間単位ごとに区切って，各区間から音声特徴量を抽出し，前記音声データベースに登録された音声発生源の音声特徴量との照合により，複数の音声発生源を含むことがある音声発生源を認識する音声発生源検索手段と，
前記音声発生源検索手段によって得られた各区間の音声発生源の検索結果を，あらかじめ定められた複数の区間ごとに集計し，音声発生源の出現回数をもとに特定の音声発生源の音声発生区間を割り出す音声発生源検索結果処理手段と，
前記音声発生源検索結果処理手段によって得られた音声発生区間情報を出力する音声発生区間情報出力手段とを備える
ことを特徴とする音声発生区間検索装置。
【請求項９】
請求項８記載の音声発生区間検索装置において，
前記音声発生区間情報出力手段は，指定された音声発生源が音声を発生した音声信号のすべての時間帯情報を表示，または指定された音声信号の時間に発生している音声発生源情報を表示する手段である
ことを特徴とする音声発生区間検索装置。
【請求項１０】
請求項８または請求項９記載の音声発生区間検索装置において，
前記音声発生区間情報出力手段で利用者に提示された特定の音声発生源情報とその音声信号とをもとに，利用者の指定により前記音声データベースへの音声発生源情報および音声特徴量を再登録する音声データベース再登録手段を備える
ことを特徴とする音声発生区間検索装置。
【請求項１１】
音声発生源情報とその音声発生源が発する音声の特徴量とを格納し，音声発生源が未知の音声信号について音声発生源を認識するための音声データベースへの学習データの登録処理方法を，コンピュータに実行させるためのプログラムであって，
認識対象となる各音声発生源が発する音声信号を入力し，その音声特徴量を抽出するとともに，入力した複数の音声発生源の音声信号を組み合わせて，複数の音声発生源の音声信号を合成し，その合成した複数の音声発生源の音声信号に関する音声特徴量を抽出して，各音声発生源情報とその音声特徴量との対応情報および前記組み合わせた複数の音声発生源情報とその音声特徴量との対応情報を前記音声データベースに登録する処理を，
コンピュータに実行させるための音声データベース登録処理プログラム。
【請求項１２】
あらかじめ音声データベースに登録された音声発生源の音声特徴量との照合により，音声発生源が未知の音声信号から音声発生源を認識する音声発生源認識方法を，コンピュータに実行させるためのプログラムであって，
認識対象となる各音声発生源が発する音声信号を入力し，その音声特徴量を抽出するとともに，入力した複数の音声発生源の音声信号を組み合わせて，複数の音声発生源の音声信号を合成し，その合成した複数の音声発生源の音声信号に関する音声特徴量を抽出して，各音声発生源情報とその音声特徴量との対応情報および前記組み合わせた複数の音声発生源情報とその音声特徴量との対応情報を前記音声データベースに登録する音声データベース登録処理と，
音声発生源が未知の音声信号を入力し，入力した音声信号から音声特徴量を抽出し，前記音声データベースに登録された音声発生源の音声特徴量との照合により，複数の音声発生源を含むことがある音声発生源を認識する音声発生源検索処理とを，
コンピュータに実行させるための音声発生源認識プログラム。
【請求項１３】
音声信号中の特定の音声発生源が発する音声発生区間を検索する音声発生区間検索方法を，コンピュータに実行させるためのプログラムであって，
認識対象となる各音声発生源が発する音声信号を入力し，その音声特徴量を抽出するとともに，入力した複数の音声発生源の音声信号を組み合わせて，複数の音声発生源の音声信号を合成し，その合成した複数の音声発生源の音声信号に関する音声特徴量を抽出して，各音声発生源情報とその音声特徴量との対応情報および前記組み合わせた複数の音声発生源情報とその音声特徴量との対応情報を前記音声データベースに登録する音声データベース登録処理と，
音声発生区間の検索の対象となる音声信号を入力し，入力した音声信号を所定の時間単位ごとに区切って，各区間から音声特徴量を抽出し，前記音声データベースに登録された音声発生源の音声特徴量との照合により，複数の音声発生源を含むことがある音声発生源を認識する音声発生源検索処理と，
前記音声発生源検索処理によって得られた各区間の音声発生源の検索結果を，あらかじめ定められた複数の区間ごとに集計し，音声発生源の出現回数をもとに特定の音声発生源の音声発生区間を割り出す音声発生源検索結果処理と，
前記音声発生源検索結果処理によって得られた音声発生区間情報を出力する音声発生区間情報出力処理とを，
コンピュータに実行させるための音声発生区間検索プログラム。
【請求項１４】
音声発生源情報とその音声発生源が発する音声の特徴量とを格納し，音声発生源が未知の音声信号について音声発生源を認識するための音声データベースへの学習データの登録処理方法を，コンピュータに実行させるためのプログラムを記録した記録媒体であって，
認識対象となる各音声発生源が発する音声信号を入力し，その音声特徴量を抽出するとともに，入力した複数の音声発生源の音声信号を組み合わせて，複数の音声発生源の音声信号を合成し，その合成した複数の音声発生源の音声信号に関する音声特徴量を抽出して，各音声発生源情報とその音声特徴量との対応情報および前記組み合わせた複数の音声発生源情報とその音声特徴量との対応情報を前記音声データベースに登録する処理を，
コンピュータに実行させるためのプログラムを記録した
ことを特徴とする音声データベース登録処理プログラムの記録媒体。
【請求項１５】
あらかじめ音声データベースに登録された音声発生源の音声特徴量との照合により，音声発生源が未知の音声信号から音声発生源を認識する音声発生源認識方法を，コンピュータに実行させるためのプログラムを記録した記録媒体であって，
認識対象となる各音声発生源が発する音声信号を入力し，その音声特徴量を抽出するとともに，入力した複数の音声発生源の音声信号を組み合わせて，複数の音声発生源の音声信号を合成し，その合成した複数の音声発生源の音声信号に関する音声特徴量を抽出して，各音声発生源情報とその音声特徴量との対応情報および前記組み合わせた複数の音声発生源情報とその音声特徴量との対応情報を前記音声データベースに登録する音声データベース登録処理と，
音声発生源が未知の音声信号を入力し，入力した音声信号から音声特徴量を抽出し，前記音声データベースに登録された音声発生源の音声特徴量との照合により，複数の音声発生源を含むことがある音声発生源を認識する音声発生源検索処理とを，
コンピュータに実行させるためのプログラムを記録した
ことを特徴とする音声発生源認識プログラムの記録媒体。
【請求項１６】
音声信号中の特定の音声発生源が発する音声発生区間を検索する音声発生区間検索方法を，コンピュータに実行させるためのプログラムを記録した記録媒体であって，
認識対象となる各音声発生源が発する音声信号を入力し，その音声特徴量を抽出するとともに，入力した複数の音声発生源の音声信号を組み合わせて，複数の音声発生源の音声信号を合成し，その合成した複数の音声発生源の音声信号に関する音声特徴量を抽出して，各音声発生源情報とその音声特徴量との対応情報および前記組み合わせた複数の音声発生源情報とその音声特徴量との対応情報を前記音声データベースに登録する音声データベース登録処理と，
音声発生区間の検索の対象となる音声信号を入力し，入力した音声信号を所定の時間単位ごとに区切って，各区間から音声特徴量を抽出し，前記音声データベースに登録された音声発生源の音声特徴量との照合により，複数の音声発生源を含むことがある音声発生源を認識する音声発生源検索処理と，
前記音声発生源検索処理によって得られた各区間の音声発生源の検索結果を，あらかじめ定められた複数の区間ごとに集計し，音声発生源の出現回数をもとに特定の音声発生源の音声発生区間を割り出す音声発生源検索結果処理と，
前記音声発生源検索結果処理によって得られた音声発生区間情報を出力する音声発生区間情報出力処理とを，
コンピュータに実行させるためのプログラムを記録した
ことを特徴とする音声発生区間検索プログラムの記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，話者認識等に用いる音声データベース登録，音声発生源認識，音声発生区間検索の技術に関し，特に，例えば放送用の番組などの撮影ならびに収録された映像（以下，映像音声という）に対し，その映像音声中の話者情報を，収録開始からの時間情報とともに，自動的に記録媒体へと記録し，その記録された話者情報をもとに，映像中における特定話者の発話した時間帯を検索するような場合に用いられる技術に関するものである。
【０００２】
【従来の技術】
映像音声中における特定話者の発話区間を検索（以下，発話区間検索という）する場合，一般に，話者の判断に検索しようとする話者の音声を事前登録したもの（以下，登録話者音声という）を用いる方法がある（例えば，非特許文献１参照）。
【０００３】
通常，登録話者音声には所望の話者が単独で発話する音声（以下，これを単独話者音声という）を３０〜１２０秒ほど用い，それから符号帳を作成する。発話区間検索の際にはこの符号帳を用い，番組の先頭から逐次音声特徴量を抽出して符号帳と照らし合わせるなどの処理により，所望の話者の発話区間を検出する。これによって，例えば，話者Ａが発話した時間は番組開始から数えてＴ０　秒からＴ１　秒まで，話者Ｂの発話した時間はＴ２　秒からＴ３　秒まで，というような結果を得ることができる。
【０００４】
一般に，テレビ番組などでは同時に発話する話者がいて，話者が必ずしも一人とは限らず，上記の例でＴ０　＜Ｔ２　＜Ｔ１　＜Ｔ３　となる場合がある。このとき，Ｔ２　〜Ｔ１　区間では複数の話者（この場合は話者Ａと話者Ｂ）が同時に発話していることになり，この部分を単独話者音声から作成された符号帳を用いて正しく検索することが難しいのが現状である。
【０００５】
例えば，前述のケース（Ｔ０　＜Ｔ２　＜Ｔ１　＜Ｔ３　となるケース）では，本来なら話者Ａの発話時間はＴ０　〜Ｔ１　であるにもかかわらず，Ｔ２　〜Ｔ１　の区間が正確に検出できず，発話区間検索による結果において，話者Ａの発話区間がＴ０　〜Ｔ２　（Ｔ２　＜Ｔ１　）と検出されるなどの誤った結果を得ることがある。また，話者Ａの会話と同時に音楽が挿入されている場合にも，話者Ａの発話区間を誤って検出することがある。
【０００６】
さらに，発話は有音部だけではない（文章の切れ目がある）ため，符号帳には無音部分の特徴が反映され，このことが原因で，微小時間単位でのベクトル同士の距離のみを用いて話者を判断すると，誤りが生じる場合がある。
【０００７】
例えば，ある区間の特徴ベクトルが，話者Ｂの符号帳における特徴ベクトルのうちの一つに最も距離が近かったとする。しかし，実際にはこの区間の話者はＡであり，たまたま検索キーとなったベクトルが，話者Ｂの符号帳を作る際に登録されていた一部の無音区間の特徴を反映した特徴ベクトルとの距離が最も近かった，というようなケースである。このような場合には，単純にある時間における映像音声の特徴ベクトルをキーとしてデータベース検索を行うだけでは不十分である。
【０００８】
このように，多くのバリエーションを持つ一般的なテレビ番組等の映像音声を対象にして従来方式に基づいて話者の発話区間検索を行う場合には，一般に，その精度が著しく低下してしまう。
【０００９】
【非特許文献１】
Ｆ．Ｋ．　Ｓｏｏｎｇ　ｅｔ　ａｌ．，”Ａ　ｖｅｃｔｏｒ　ｑｕａｎｔｉｚａｔｉｏｎ　ａｐｐｒｏａｃｈ　ｔｏ　ｓｐｅａｋｅｒ　ｒｅｃｏｇｎｉｔｉｏｎ，”Ｐｒｏｃ．ＩＣＡＳＳＰ，ｐｐ．３８７−３９０
【００１０】
【発明が解決しようとする課題】
以上のように，従来の単独話者音声のみから符号帳を作成する方法では，複数の話者が同時に発話する部分を含むような一般的な映像音声から正確に所望の話者の発話区間を得ることは難しい。また，長時間の映像中から複数の話者が同時に発話する部位を手作業で探し出して，それを登録話者音声として用いる方法も考えられるが，この方法は極めて非効率的であり実用化が困難である。
【００１１】
本発明は，このような問題点の解決を図り，映像音声中に複数話者が同時に発話する部分があっても，精度良く話者検索を行うことができるようにすることを目的とする。
【００１２】
【課題を解決するための手段】
本発明は，人間の発声に限らず，鳥，虫などの動物の鳴き声や，機械音についての音声発生源の認識，音声発生区間の検索に用いることができるが，以下の説明では，主として人間の話者認識，話者の発話区間の検索を例に説明する。
【００１３】
図１は，本発明の概要を説明するための図である。
【００１４】
通常，音声信号の特徴量を学習データとして登録する際には，図１（Ａ）に示すように，各話者の音声Ａ，Ｂの特徴を個別に音声データベース１に格納するのが普通である。検索段階では，入力音声がＡ，Ｂに対してどのくらい類似するのか，またその時間変化はどうかなどの計算を行い，最終的に入力音声が登録音声のどれに合致するのかを決定する。
【００１５】
しかし，検索対象の入力音声に，音声Ａと音声Ｂとが混じっているようなケースでは，音声データベース１に適切な学習データがないため，うまく検索結果を得ることが難しい。音声Ａ，Ｂが混ざったＡ＋Ｂというような音声が入力された場合，通常では入力音声に対する検索結果を時間的，確率的に処理して，ＡかＢか，あるいはそうでないかを判断する。したがって，精度の良い検索はできない。一方，音声Ａと音声Ｂとが混じっているものを予め学習データとして録音することは，手間がかかるし，不可能な場合がある。
【００１６】
そこで，本発明では，図１（Ｂ）に示すように，予め用意された学習音声信号を任意の組合せで合算し，その特徴も音声データベース１に再帰的に登録する。すなわち，音声Ａ，音声Ｂの特徴を音声データベース１に登録するだけでなく，仮想的にＡ＋Ｂという音声を一時的に作り，その特徴も音声データベース１に登録する。これによって，音声Ａと音声Ｂとが混じっている場合にも，音声Ａ，音声Ｂについて検索することが可能になる。
【００１７】
図２に，本発明に係る装置の構成図を示す。発話区間検索装置１０は，話者情報登録手段１１と，音声信号組合せ手段１２と，音声特徴量抽出手段１３と，特徴量格納手段１４と，話者検索手段１５と，話者検索結果処理手段１６と，発話区間情報表示手段１７とを備える。
【００１８】
ここで，テレビ番組などの映像を映像音声と呼び，映像音声を任意の時間ごとに時系列的に区切ったものの一つを短区間映像音声と呼び，時系列的に連続した短区間映像音声を複数個ずつひとまとまりにしたものの一つを中短区間映像音声と呼ぶことにする。
【００１９】
話者情報登録手段１１は，映像音声から任意の箇所を切り出して，登録話者音声の候補として利用者に提示する。例えば，番組から不特定の話者音声を自動的に一定時間，複数個切り出して利用者に提示する。利用者は，提示された複数の候補から登録話者音声として用いるものを判断し，用いると判断されたものに関しては話者名などの付加的な情報を書き加える。
【００２０】
音声信号組合せ手段１２は，利用者が登録話者音声として選択した複数個の単独話者音声の音声信号を任意の組合せで足し合わせたものを作成し，それを登録話者音声に加える。すなわち，複数の話者が同時に発話している音声や，音声のバックに音楽が流れているような音声を仮想的に生成し，登録話者音声に加える。
【００２１】
音声特徴量抽出手段１３は，すべての登録話者音声から，個別に音声特徴量を抽出する。音声特徴量の抽出では，音声信号から線形予測法などに代表される一般的な信号処理方法を用いることができる。
【００２２】
特徴量格納手段１４は，音声特徴量抽出手段１３によって抽出された話者の音声特徴量を，話者名などの話者情報とともに音声データベース１に格納する。
【００２３】
話者検索手段１５は，発話区間検索の検索対象とする映像音声を入力し，映像音声を短区間に区切り，そのそれぞの短区間映像音声から抽出された音声特徴量と音声データベース１に格納された音声特徴量とを時間順に比較し，それらの類似度を算出し，最も類似度の高い結果を返す。
【００２４】
話者検索結果処理手段１６は，上記の類似度計算によって得られた短区間映像音声の話者検索結果を時系列的に連続した複数個ごとに集計し，検索結果名ごとに現れる回数をリストにしたものを出力する。すなわち，映像音声の全時間領域にわたって，話者検索手段１５により得られた結果を，中短区間映像音声ごとに集計し，出現した回数をもとに，所望の話者の発話区間を割り出す。
【００２５】
発話区間情報表示手段１７は，上記の出力に基づき，所望の話者が発話した時間帯情報を番組の先頭からの時間とともに端末画面に表示する。または，ある指定された時間における発話者情報を，その時間の映像とともに端末画面に表示する。
【００２６】
図２に示す発話区間検索装置１０の動作は，以下のとおりである。話者音声登録フェーズでは，話者情報登録手段１１によって入力された話者の音声を音声信号組合せ手段１２によって任意に組合せ，組み合わせた音声と組み合わされる前の音声との両方から，音声特徴量抽出手段１３によって特徴量を抽出し，それらを特徴量格納手段１４によって音声データベース１に格納する。次に，話者検索フェーズでは，検索対象となる映像音声から音声特徴量抽出手段１３によって特徴量を抽出し，抽出された特徴量を検索キーとして，話者検索手段１５により類似度に基づいて検索を行う。次に，発話区間決定フェーズでは，得られた検索結果から話者検索結果処理手段１６により，検索結果として得られた回数をもとに所望の話者の発話区間を割り出す。話者情報表示フェーズでは，発話区間情報表示手段１７によりあらかじめ登録された付加的な話者情報とともに端末画面に表示する。
【００２７】
以上のような手段により，本発明では，利用者があらかじめ発話区間検索装置１０によって提示されたいくつかの単独話者音声を選んで登録話者音声とするだけで，自動的に複数話者の同時発話の音声や音楽挿入部分の発話音声が作られ，これらが登録話者音声として追加される。
【００２８】
また，利用者が登録話者音声を選ぶ際に，人物名やその他の付加情報を入力することができ，利用者の入力した情報と登録話者音声との関連付けが自動的になされる。また，本発明の発話区間検索装置１０によって，自動的に番組の全区間に渡る音声特徴量が逐次算出され，あらかじめ格納された登録話者音声の音声特徴量との類似度が算出され，ある閾値以上を示した音声について登録話者の音声であると判断する。また，番組全時間に渡って得られた短区間映像音声についての話者検索結果を中短区間ごとに集計し，所望の話者の発話区間を決定する。
【００２９】
図２に示す話者情報登録手段１１と，音声信号組合せ手段１２と，音声特徴量抽出手段１３と，特徴量格納手段１４とによって，本発明に係る音声データベース登録処理装置を構成することができる。
【００３０】
また，図２に示す話者情報登録手段１１と，音声信号組合せ手段１２と，音声特徴量抽出手段１３と，特徴量格納手段１４と，話者検索手段１５とによって，本発明に係る音声発生源認識装置を構成することができる。
【００３１】
以上の各手段は，ＣＰＵおよびメモリなどからなるコンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムは，コンピュータが読みとり可能な可搬媒体メモリ，半導体メモリ，ハードディスク等の適当な記録媒体に格納することができる。
【００３２】
本発明と従来技術との違いは，以下のとおりである。従来の話者認識技術では，音声情報をデータベースに登録する際に，通常，検索したい音声（人の音声，あるいは機械音など）を単独登録し，入力音声がそれと一致するかどうかを判断していた。これに対し，本発明は，音声を単独登録するだけでなく，複数の音声を信号レベルで任意の重みで合成し，その特徴量を再帰的にデータベースに登録する。この点が従来技術と異なる点である。
【００３３】
また，音声発生区間を検索する場合，従来技術では，一般的に検索結果の類似度を集計するなどして尤度を求めるが，本発明では，候補として並ぶ検索結果を一定時間集計し，頻出する結果を抽出する。このように出現回数で判断することにより，周囲環境音などが不規則に混入するような場合においても，目的とする音声発生区間を正しく検索することが可能になる。
【００３４】
【発明の実施の形態】
以下，本発明の実施の形態を図を用いて説明する。
【００３５】
〔実施の形態１〕
図３は，本発明の実施の形態１における発話区間検索装置の構成例を示す図である。本実施の形態１における発話区間検索装置１０は，ＣＰＵおよびメモリ等からなるコンピュータであり，ソフトウェアプログラムおよび記憶装置等によって構成される入力部１０１，候補映像音声提示部１０２，登録用音声合成部１０３，特徴量抽出部１０４，特徴量格納部１０５，映像音声切り出し部１０６，検索部１０７，検索結果処理部１０８，話者情報格納部１０９，表示部１１０を備えている。また，本実施の形態１における発話区間検索装置１０には，端末表示装置２０が接続されている。
【００３６】
発話区間検索装置１０の動作は，〈話者音声登録フェーズ〉，〈話者検索フェーズ〉，〈発話区間決定フェーズ〉，〈話者情報表示フェーズ〉に分けることができる。以下，発話区間検索装置１０の各フェーズの動作について，フローチャートを用いて説明する。
【００３７】
〈話者音声登録フェーズ〉
図４は，本実施の形態１における話者音声登録フェーズの動作を説明するフローチャートである。はじめに，入力部１０１は，検索対象となる映像音声を入力し（ステップＳ１０），候補映像音声提示部１０２は，入力した映像音声の中から任意の部分を切り出し，これを登録話者音声の候補（以下，登録用話者候補映像という）として利用者に提示する（ステップＳ１１）。
【００３８】
ここで，候補映像音声提示部１０２では，例えば，一般的な方法によって放送番組中から「人の声であり，一人が連続して一定時間（２０〜６０秒）話している部分」を検出し，登録用話者候補映像として利用者に複数個提示する。
【００３９】
登録用話者候補映像が提示されると，利用者は，提示された登録用話者候補映像をそれぞれ視聴するなどし，登録話者音声として採用するか否かを決定する。候補映像音声提示部１０２は，利用者からの登録用話者候補映像（登録話者音声）の選択を受け（ステップＳ１２），利用者からその登録話者に関する話者名などの情報（以下，登録話者情報という）を入力し（ステップＳ１３），その登録話者情報と登録話者音声とを一時記録する（ステップＳ１４）。利用者の指示により，検出が必要な話者数分だけ上記ステップＳ１２〜Ｓ１４（もしくはＳ１１〜Ｓ１４）を繰り返す（ステップＳ１５）。
【００４０】
上記処理では，例えば利用者が，提示された登録用話者侯捕映像の中からある一つを人物Ａの音声として採用する場合，端末画面で提示されたその登録用話者侯捕映像を登録話者音声として選択し，選択した登録用話者侯捕映像の下に用意されたテキストボックスなどに「話者Ａ」と入力することで，選択した登録用話者侯捕映像と「話者Ａ」という登録話者情報との関連付けが行われる。登録話者情報として話者名を入力するだけではなく，性別，年齢，職業，所属会社などの情報も付加的に入力することができる。利用者は，検出が必要な人数分だけ上記作業を行う。
【００４１】
複数人数分の登録話者音声が選択されると，次に，登録用音声合成部１０３は，選択された複数人数分の登録話者音声から任意の組合わせについて音声を合成して複数の登録話者音声が組み合わされた音声を生成し（ステップＳ１６），候補映像音声提示部１０２で選択された登録話者音声に加える。
【００４２】
ここで，例えば２名の話者が同時に発話している音声や，音楽や効果音を背景として発話が行われている音声などが作成され，それらが登録話者音声に加えられる。さらに具体的に説明すると，利用者が話者Ａと話者Ｂの音声を登録話者音声として選択すると，登録用音声合成部１０３により自動的に話者Ａ＋Ｂの音声が生成され，話者Ａ，話者Ｂ，話者Ａ＋Ｂの音声が登録話者音声となる。
【００４３】
特徴量抽出部１０４は，すべての登録話者音声について，音声信号から線形予測法などに代表される一般的な特徴量を抽出する方法に従って音声特徴量を抽出し（ステップＳ１７），それらの音声特徴量を特徴ベクトルとして特徴量格納部１０５の音声データベース１に記録する（ステップＳ１８）。
【００４４】
〈話者検索フェーズ〉
図５は，本実施の形態１における話者検索フェーズの動作を説明するフローチャートである。まず，入力部１０１によって検索対象となる番組の映像（映像音声）を入力し，映像音声切り出し部１０６によって，その入力映像音声を短時間ごとに区切って短区間映像音声を切り出す（ステップＳ２０）。特徴量抽出部１０４は，切り出された短区間映像音声から音声特徴量（特徴ベクトル）を抽出する（ステップＳ２１）。短区間の長さは，例えば１０ｍｓから１００ｍｓ程度の予め定めれた長さであるが，本発明の実施は，この長さに限られるわけではない。
【００４５】
検索部１０７は，ステップＳ２１で抽出された短区間映像音声の特徴ベクトルと，〈話者音声登録フェーズ〉において特徴量格納部１０５に格納されたすべての登録話者音声の特徴ベクトルとの類似度計算を行い（ステップＳ２２），最も類似度が高かった登録話者音声の登録話者情報を検索結果とする（ステップＳ２３）。ステップＳ２０〜Ｓ２３の処理を番組開始時間から番組終了時間まで繰り返し実行し（ステップＳ２４），すべての短区間映像音声に対して検索結果を得る。
【００４６】
次に，各短区間映像音声の検索結果を時系列的に連続な複数個（例えば１００個）ごとにまとめ（以下，このまとまりを中短区間という），その中短区間ごとに検索結果を集計し（ステップＳ２５），その集計結果を出現回数順にソートして結果リストを生成する（ステップＳ２６）。この結果リストを，一つの中短区間映像音声に対する登録話者音声の検索結果として出力する（ステップＳ２７）。すべての短区間映像音声の検索結果に対して，ステップＳ２５〜Ｓ２７の処理を繰り返して実行する（ステップＳ２８）。
【００４７】
ここで，中短区間映像音声が例えば１００個の短区間映像音声の集合であるとすると，その中短区間内における１００個の検索結果の内訳は，「話者名：出現回数」の形式で表すと，例えば［話者Ａ：５０，話者Ａ＋Ｂ：２０，話者Ｂ＋Ｃ：１０，話者Ａ＋Ｃ：３，話者Ｄ：２，話者Ｂ＋Ｄ：０，．．．　］のようになる。この出現回数のリストを出現回数順にソートしたものが結果リストであり，これを一つの中短区間映像音声に対する話者の検索結果候補とする。
【００４８】
図６は，本実施の形態１における検索結果から結果リストを作成する例を示す図である。図中（ａ）は，各短区間映像音声に対する検索結果の例であり，各短区間の検索結果は話者名で記載されている。これらの検索結果を中短区間ごとに集計する。図６の例では，６つの短区間で一つの中短区間としている。検索結果を集計したものを出現回数ごとにソートしたものが結果リストである。図中（ｂ）は，中短区間ごとの結果リストの例を示している。例えば，１番目の中短区間の結果リストでは，話者Ａが出現する回数が３回，話者Ａ＋Ｂが２回，話者Ａ＋Ｃが１回という集計結果が示されている。
【００４９】
なお，本実施の形態では，上記ステップＳ２５〜Ｓ２８を話者検索フェーズとしているが，この部分を下記の発話区間決定フェーズとして実行してもよく，全体の実質的な動作が変わるわけではない。
【００５０】
〈発話区間決定フェーズ〉
図７は，本実施の形態１における発話区間決定フェーズの動作を説明するフローチャートである。本実施の形態１における〈発話区間決定フェーズ〉では，結果リストを下記に示す流れに従って処理することにより，複数話者の同時発話を含む映像音声から，特定の話者の発話区間を正確に割り出す。
【００５１】
まず，検索結果処理部１０８は，一つの中短区間の結果リストを入力する（ステップＳ３０）。入力した結果リストの上位ｎ件以内に単独話者名があるかどうかを判断し（ステップＳ３１），なければステップＳ３８に進む。ｎは，あらかじめ設定された値である。
【００５２】
ここで，例えば，ｎ＝５とし，ある結果リストが［話者Ａ：５０，話者Ａ＋Ｂ：２０，話者Ｂ＋Ｃ：１０，話者Ａ＋Ｃ：３，話者Ｄ：２，話者Ｂ＋Ｄ：０，……］となっている場合，「話者Ａ」，「話者Ｄ」が上位５件以内に含まれている単独話者名であると判断する。
【００５３】
結果リストの上位ｎ件以内に単独話者名が一つでも含まれている場合，単独話者名のうち最も上位にある話者名をＰａ　とし（ステップＳ３２），Ｐａ　の単独の出現回数を総出現回数とする（ステップＳ３３）。結果リストの上位ｎ件以内にある複数話者の同時発話の結果でＰａ　を含んでいるものがあれば（ステップＳ３４），それらすべてのＰａ　を含む複数話者の同時発話の出現回数をＰａ　の単独の出現回数に加え，Ｐａ　の総出現回数とする（ステップＳ３５）。
【００５４】
ここで，上記の例のように，ｎ＝５とし，ある結果リストが［話者Ａ：５０，話者Ａ＋Ｂ：２０，話者Ｂ＋Ｃ：１０，話者Ａ＋Ｃ：３，話者Ｄ：２，話者Ｂ＋Ｄ：０，．．．　］となっている場合，最も上位にある単独話者名である「話者Ａ」をＰａ　とすると，複数話者の同時発話のうちＰａ　を含むのは「話者Ａ＋Ｂ」，「話者Ａ＋Ｃ」である。Ｐａ　の単独の出現回数に，「話者Ａ＋Ｂ」，「話者Ａ＋Ｃ」の出現回数を加えたＰａ　の総出現回数は，
５０＋２０＋３＝７３
となる。
【００５５】
図８は，本実施の形態１における総出現回数の算出方法を説明する図である。図８の例の中短区間の結果リストにおいて，上位ｎ＝５以内の単独話者名には話者Ａがあるので，話者ＡがＰａ　となる。上位ｎ＝５以内の複数話者の同時発話のうち話者Ａを含むものは，図８の例の場合，「話者Ａ＋Ｂ」，「話者Ａ＋Ｃ」，「話者Ａ＋Ｄ」である。話者Ａの単独の出現回数に，「話者Ａ＋Ｂ」，「話者Ａ＋Ｃ」，「話者Ａ＋Ｄ」の出現回数を加えた話者Ａの総出現回数は，
１０＋９＋７＋２＝２８
となる。
【００５６】
中短区間におけるＰａ　の総出現回数があらかじめ定められた閾値Ｔを超えた場合（ステップＳ３６），そのＰａ　をその中短区間映像音声の話者名であるとする（ステップＳ３７）。
【００５７】
ステップＳ３０〜Ｓ３７の処理を，すべての中短区間の結果リストについて実行する（ステップＳ３８）。映像音声中のすべての中短区間映像音声の話者名と時間情報との組合せを，発話区間の話者情報として話者情報格納部１０９に格納する（ステップＳ３９）。
【００５８】
〈話者情報表示フェーズ〉
図９は，本実施の形態１における話者情報表示フェーズの動作を説明するフローチャートである。このフェーズでは，利用者からの要求に従って，端末表示装置２０に話者情報を表示する。
【００５９】
まず，表示部１１０は，利用者からの要求の入力を受ける（ステップＳ４０）。利用者の入力が話者名か時間かを判定し（ステップＳ４１），利用者の入力が話者名であれば，話者情報格納部１０９の話者情報をその話者名で検索し（ステップＳ４２），その話者が発話したすべての中短区間の時間情報を視覚的に端末表示装置２０に表示する（ステップＳ４３）。ステップＳ４１において利用者の入力が時間であれば，話者情報格納部１０９の話者情報をその時間で検索し（ステップＳ４４），その時間に発話している話者の話者名を端末表示装置２０に表示する（ステップＳ４５）。
【００６０】
図１０は，上記ステップＳ４３で表示される話者情報表示画面の例を示している。ここでは，画面左側に映像音声の再生画面とともに話者の名前が表示され，また，画面右側に人物の情報として話者の名前と，その話者が発話している時間帯の情報が表示されている。これによって，特定の話者がいつ発話しているかがすぐに分かる。
【００６１】
また，図１１は，上記ステップＳ４５で表示される話者情報表示画面の例を示している。ここでは，画面左側に映像音声の再生画面とともにその再生画面の時刻が表示され，また，画面右側に人物の情報として指定された時間の話者に関する名前，所属等の話者情報が表示されている。これによって，ある時間にどのような人物が発話しているかがすぐに分かる。
【００６２】
〔実施の形態２〕
図１２は，本発明の実施の形態２における発話区間検索装置の構成例を示す図である。本実施の形態２における発話区間検索装置１０’は，ＣＰＵおよびメモリ等からなるコンピュータであり，ソフトウェアプログラムおよび記憶装置等によって構成される入力部１０１，候補映像音声提示部１０２，登録用音声合成部１０３，特徴量抽出部１０４，特徴量格納部１０５，映像音声切り出し部１０６，検索部１０７，検索結果処理部１０８，話者情報格納部１０９，表示部１１０，映像音声再選択部１１１を備えている。また，本実施の形態２における発話区間検索装置１０’には，端末表示装置２０が接続されている。
【００６３】
本実施の形態２は，映像音声再選択部１１１を有し，上記〈話者情報表示フェーズ〉で表示された話者情報をもとに，特徴量格納部１０５に格納されている登録話者音声の音声特徴量を再設定する機能を持つ点が，前述した実施の形態１と異なる。
【００６４】
本実施の形態２における発話区間検索装置１０’は，実施の形態１の動作の後に，〈話者音声再登録フェーズ〉の動作を行う。以下，発話区間検索装置１０’における〈話者音声再登録フェーズ〉について，フローチャートを用いてその動作を説明する。
【００６５】
〈話者音声再登録フェーズ〉
図１３は，本実施の形態２における話者音声再登録フェーズの動作を説明するフローチャートである。本実施の形態２では，利用者が所望の話者の登録話者音声を，発話区間の検索結果を用いて修正することができる。例えば，実施の形態１の動作によって，所望の話者（話者Ｐａ　とする）の発話区間がＴ０　〜Ｔ１　およびＴ２　〜Ｔ３　であるという結果が得られたとする。しかし，利用者が実際に端末表示装置２０で結果を確認すると，Ｔ０　〜Ｔ１　は所望の話者でなく，Ｔ２　〜Ｔ３　およびＴ４　〜Ｔ５　が正しい結果であり，これを登録話者音声として再登録したい場合に，利用者は，Ｔ２　〜Ｔ３　およびＴ４　〜Ｔ５　の映像音声から登録話者音声の再登録を行うことができる。
【００６６】
まず，映像音声再選択部１１１は，話者Ｐａ　の登録話者音声として再登録したい映像音声の選択を利用者から受けると（ステップＳ５０），その映像音声を話者Ｐａ　の登録話者音声として登録用音声合成部１０３に送る。登録用音声合成部１０３は，利用者が選択した話者Ｐａ　の登録話者音声と他の登録話者音声とから任意の組合わせについて音声を合成し，利用者が選択した登録話者音声を含む複数の登録話者音声が組み合わされた音声を生成する（ステップＳ５１）。
【００６７】
特徴量抽出部１０４は，利用者が選択した話者Ｐａ　の登録話者音声と，利用者が選択した登録話者音声を含む複数の登録話者音声が組み合わされた音声とからそれぞれ音声特徴量（特徴ベクトル）を抽出し（ステップＳ５２），それらの抽出された音声特徴量で，特徴量格納部１０５にそれまでに格納されていた音声特徴量を上書きする（ステップＳ５３）。
【００６８】
以上のような一連の動作によって，利用者は，例えばＴ２　〜Ｔ３　の映像音声を新たに話者Ｐａ　の登録用話者音声として置き換え，さらに話者Ｐａ　を含む複数の登録話者音声の合成により生成された登録話者音声も新たに置き換えることができる。
【００６９】
以上，本実施の形態１および２について説明したが，本発明では，もちろん検索対象の番組だけではなく，検索対象以外の番組からも登録話者音声を作成することができる。また，登録話者音声としてＢＧＭを登録し，ＢＧＭの登録話者音声と他の登録話者音声との任意の組合せについて音声を合成し，それらの音声特徴量を登録することにより，発話区間の検索において，背景に効果音がある場合の発話区間の検索も行うことが可能になる。
【００７０】
また，登録用音声合成部１０３において音声を合成する際に，各登録話者音声に音の大きさや音の高さなどについて任意に重みを設定してから，各登録話者音声を合成する実施も可能である。
【００７１】
以上，番組映像における人間の発話区間について検索する例を説明したが，本発明が人間の音声以外の一般音声にも適用できることは言うまでもない。
【００７２】
本発明の利用例として，以下のような例が考えられる。
（１）ストリーミング映像，ビデオ，テレビ番組などの映像音声から話者の発話区間を検出する場合に使用する。
（２）単一の集音マイクで録音された電話会議などから議事録を起こす作業の支援に使用する。番組などの音声は必ずしも登録音声だけが音声信号として放送されるわけではなく，実際には周囲環境音，雑音を含み多様である。このような場合に，本発明を用いた音声発生区間の検索は有効である。
（３）一般的な周囲環境音の中でクラクションが鳴らされた回数をカウントするのに使用する。クラクションの音声を単独で登録することは容易であるが，環境音声と混合した状態で正確に検出することは一般的には難しい。環境音にバリエーションがあることと，クラクションの音もドップラ効果などにより歪むからである。本発明を適用することにより，このような場合にも正確に検出することが可能になる。
（４）森の中で動物の鳴き声を判断するのに使用する。
（５）定常状態で動作する機械に，通常ではあり得ない音が発生したことを検出する場合に使用する。
【００７３】
【発明の効果】
以上説明したように，本発明によって，テレビ番組などの複数の話者が同時に発話する音声や，背景に効果音を含む映像中において，利用者が提示された候補の中から所望の話者の単独音声を登録するだけで，複数話者の同時発話部分も含んだ映像中においても，所望の話者の発話区間検索を精度よく行うことができるようになる。また，利用者が，発話区間検索の結果を用いて登録話者音声を再作成することができる。また，人の音声に限らず，自然音についても音声発生源の認識，音声発生区間の検索に利用することができる。
【図面の簡単な説明】
【図１】本発明の概要を説明するための図である。
【図２】本発明に係る装置の構成図である。
【図３】本発明の実施の形態１における発話区間検索装置の構成例を示す図である。
【図４】本実施の形態１における話者音声登録フェーズの動作を説明するフローチャートである。
【図５】本実施の形態１における話者検索フェーズの動作を説明するフローチャートである。
【図６】本実施の形態１における検索結果から結果リストを作成する例を示す図である。
【図７】本実施の形態１における発話区間決定フェーズの動作を説明するフローチャートである。
【図８】本実施の形態１における総出現回数の算出方法を説明する図である。
【図９】本実施の形態１における話者情報表示フェーズの動作を説明するフローチャートである。
【図１０】本実施の形態１における話者情報表示画面の例を示す図である。
【図１１】本実施の形態１における話者情報表示画面の例を示す図である。
【図１２】本発明の実施の形態２における発話区間検索装置の構成例を示す図である。
【図１３】本実施の形態２における話者音声再登録フェーズの動作を説明するフローチャートである。
【符号の説明】
１　　　音声データベース
１０，１０’　発話区間検索装置
１１　　話者情報登録手段
１２　　音声信号組合せ手段
１３　　音声特徴量抽出手段
１４　　特徴量格納手段
１５　　話者検索手段
１６　　話者検索結果処理手段
１７　　発話区間情報表示手段
１０１　入力部
１０２　候補映像音声提示部
１０３　登録用音声合成部
１０４　特徴量抽出部
１０５　特徴量格納部
１０６　映像音声切り出し部
１０７　検索部
１０８　検索結果処理部
１０９　話者情報格納部
１１０　表示部
１１１　映像音声再選択部
２０　　端末表示装置
【図１】
2004145161.tif 000003
【図２】
2004145161.tif 000004
【図３】
2004145161.tif 000005
【図４】
2004145161.tif 000006
【図５】
2004145161.tif 000007
【図６】
2004145161.tif 000008
【図７】
2004145161.tif 000009
【図８】
2004145161.tif 000010
【図９】
2004145161.tif 000011
【図１０】
2004145161.tif 000012
【図１１】
2004145161.tif 000013
【図１２】
2004145161.tif 000014
【図１３】
2004145161.tif 000015