(57)【要約】【課題】議事録作成時に、様々な条件で発言音声を抽出して効率良く議事録を作成する。【解決手段】本発明のモデリング装置は、音声入力部１、音線変換部２、発言者認識部３、発言者ＤＢ４、意味認識部５、意味ＤＢ６、時計部７、座標化処理部８、および関数演算部９からなる。音声入力部１は、発言音声が入力され、音声変換部２は、発言音声をデジタル音声信号に変換する。発言者認識部３は、発言者ＤＢ４内の音声特徴のデータパターン等を用いて、発言音声の発言者を認識する。意味認識部５は、発言音声の意味を、意味ＤＢ６内の意味の集合体を検索することで認識する。座標化処理部８は、発言者認識部３で認識された発言者、意味認識部５で認識された意味、およびその発言者がその意味の発言をした時点の時刻をそれぞれ座標数値化して３次元座標上の点に表す。関数演算部９は、３次元座標上の各点同士の相関を表す相関関数を演算する。【選択図】図１
2007187880.tif 000002
【特許請求の範囲】
【請求項１】
発言音声をモデリングするモデリング装置であって、
発言音声が入力される音声入力部と、
前記音声入力部に入力された発言音声の発言者を認識する発言者認識部と、
前記音声入力部に入力された発言音声の意味を認識する意味認識部と、
前記発言者認識部にて認識された発言者、前記意味認識部にて認識された意味、および該発言者が該意味の発言をした時点の時刻をそれぞれ座標数値化して座標上の点に表す座標化処理部と、
前記座標化処理部により座標上に表された各点同士の相関を表す相関関数を演算する関数演算部とを有するモデリング装置。
【請求項２】
発言音声をモデリングするモデリング装置によるモデリング方法であって、
音声入力部が、発言音声を入力するステップと、
発言者認識部が、前記音声入力部に入力された発言音声の発言者を認識するステップと、
意味認識部が、前記音声入力部に入力された発言音声の意味を認識するステップと、
座標化処理部が、前記発言者認識部にて認識された発言者、前記意味認識部にて認識された意味、および該発言者が該意味の発言をした時点の時刻をそれぞれ座標数値化して座標上の点に表すステップと、
関数演算部が、前記座標化処理部により座標上に表された各点同士の相関を表す相関関数を演算するステップとを有するモデリング方法。
【請求項３】
発言音声をモデリングするモデリング装置に、
音声入力部が、発言音声を入力するステップと、
発言者認識部が、前記音声入力部に入力された発言音声の発言者を認識するステップと、
意味認識部が、前記音声入力部に入力された発言音声の意味を認識するステップと、
座標化処理部が、前記発言者認識部にて認識された発言者、前記意味認識部にて認識された意味、および該発言者が該意味の発言をした時点の時刻をそれぞれ座標数値化して座標上の点に表すステップと、
関数演算部が、前記座標化処理部により座標上に表された各点同士の相関を表す相関関数を演算するステップとを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議等の議事録を作成するために会議等で発言された発言音声をモデリングするモデリング装置、モデリング方法、プログラムに関する。
【背景技術】
【０００２】
従来より、会議等の議事録を作成するために会議等で発言された発言音声をモデリングするモデリング装置が多数開示されている（例えば、特許文献１，２，３参照）。
【０００３】
従来のモデリング装置においては、発言音声をマイクロフォン等から入力し、入力された発言音声を音声認識技術の利用により文字データに変換することが主流であった。そのため、議事録作成時には、発言音声が変換された文字データを用いて、議事録を作成していた。
【特許文献１】特開２０００−３５２９９５号公報
【特許文献２】特開２００１−３２５２５０号公報
【特許文献３】特開２００４−０２０７３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来のモデリング装置においては、会議等で発言された発言音声を文字データに変換する構成であるため、議事録作成時に、特定の発言者の発言音声のみを抽出する等、様々な条件で発言音声を抽出して効率良く議事録を作成することが困難であった。
【０００５】
そこで、本発明の目的は、議事録作成時に、様々な条件で発言音声を抽出して効率良く議事録を作成することができるモデリング装置、モデリング方法、プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明のモデリング装置は、
発言音声が入力される音声入力部と、
前記音声入力部に入力された発言音声の発言者を認識する発言者認識部と、
前記音声入力部に入力された発言音声の意味を認識する意味認識部と、
前記発言者認識部にて認識された発言者、前記意味認識部にて認識された意味、および該発言者が該意味の発言をした時点の時刻をそれぞれ座標数値化して座標上の点に表す座標化処理部と、
前記座標化処理部により座標上に表された各点同士の相関を表す相関関数を演算する関数演算部とを有することを特徴とする。
【０００７】
また、上記目的を達成するために本発明のモデリング方法は、
音声入力部が、発言音声を入力するステップと、
発言者認識部が、前記音声入力部に入力された発言音声の発言者を認識するステップと、
意味認識部が、前記音声入力部に入力された発言音声の意味を認識するステップと、
座標化処理部が、前記発言者認識部にて認識された発言者、前記意味認識部にて認識された意味、および該発言者が該意味の発言をした時点の時刻をそれぞれ座標数値化して座標上の点に表すステップと、
関数演算部が、前記座標化処理部により座標上に表された各点同士の相関を表す相関関数を演算するステップとを有することを特徴とする。
【０００８】
また、上記目的を達成するために本発明のプログラムは、
モデリング装置に、
音声入力部が、発言音声を入力するステップと、
発言者認識部が、前記音声入力部に入力された発言音声の発言者を認識するステップと、
意味認識部が、前記音声入力部に入力された発言音声の意味を認識するステップと、
座標化処理部が、前記発言者認識部にて認識された発言者、前記意味認識部にて認識された意味、および該発言者が該意味の発言をした時点の時刻をそれぞれ座標数値化して座標上の点に表すステップと、
関数演算部が、前記座標化処理部により座標上に表された各点同士の相関を表す相関関数を演算するステップとを実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、発言音声の発言者、意味、および時刻をそれぞれ座標数値化して座標上の点に表すとともに、その発言が行われている会議等の流れ自体を座標上の各点同士の相関を表す相関関数によってモデリングする構成である。
【００１０】
そのため、議事録作成時に、発言者、意味、または時刻のいずれか１つ以上と相関関数とを用いた条件によって所望の発言音声を抽出することができ、それにより、効率良く議事録を作成することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１１】
以下に、本発明を実施するための最良の形態について図面を参照して説明する。
【００１２】
図１を参照すると、本発明の一実施形態によるモデリング装置は、音声入力部１、音線変換部２、発言者認識部３、発言者ＤＢ（データベース）４、意味認識部５、意味ＤＢ６、時計部７、座標化処理部８、および関数演算部９から構成されている。
【００１３】
音声入力部１は、会議等で発言された発言音声が入力されるマイクロフォン等であり、音声変換部２は、音声入力部１に入力された発言音声をデジタル音声信号に変換する。
【００１４】
発言者ＤＢ４には、発言者個々の音声特徴のデータパターンが格納されている。
【００１５】
発言者認識部３は、音声変換部２にてデジタル音声信号に変換された発言音声の発言者を認識する。例えば、発言者が既知の人物であれば、発言者ＤＢ４に格納されている音声特徴のデータパターンに基づき発言者を認識する。一方、発言者が未知の人物であれば、音声特徴が同一の人物の発言に“人物Ａ”のように任意のインデックスを付与する。この結果、発言者は、座標化処理部８において座標数値化することができ、発言者（ｐ）の軸上で表現できるようになる。なお、未知の人物の音声特徴のデータパターンは、会議が終了した後などの任意のタイミングで発言者ＤＢ４に格納する。
【００１６】
意味ＤＢ６には、各種の単語や文などの意味の集合体が格納されている。なお、意味ＤＢ６は、多言語に対応するため、複数の言語ごとに意味の集合体を格納しても良い。
【００１７】
意味認識部５は、音声変換部２にてデジタル音声信号に変換された発言音声の意味を、意味ＤＢ６に格納されている意味の集合体を検索することで認識する。この結果、発言音声の意味は、座標化処理部８において座標数値化することができ、意味（ｍ）の軸上で表現できるようになる。
【００１８】
座標化処理部８は、発言者認識部３で認識された発言者、意味認識部５で認識された意味、およびその発言者がその意味の発言をした時点の時計部７の時刻を内部のメモリ（不図示）に記録すると同時に、発言者、意味、および時刻をそれぞれ座標数値化して、発言者（ｐ）、意味（ｍ）、および時刻（ｔ）の３次元座標上の点φn（ｔn，ｐn，ｍn）として表す。
【００１９】
しかし、これだけでは、発言音声の発言者、意味、および時刻を３次元座標上にマッピングしているに過ぎない。
【００２０】
そこで、本実施形態では、関数演算部９が、３次元座標上の各点同士の相関を表す相関関数Ｇを演算し、内部のメモリ（不図示）に記録する。これにより、会議等におけるすべての発言音声の関連性、発言音声の分岐、論理の正逆を含めた形で会議等における発言音声のモデリングが可能になる。
【００２１】
以下、本発明の特徴部分となる座標化処理部８および関数演算部９の動作について、図２を用いて詳細に説明する。
【００２２】
図２を参照すると、座標化処理部８は、１回の会議等の始状態から終状態までの間に発言された発言音声の発言者、意味、および時刻のすべての組み合わせを、３次元座標上の点φn（ｔn，ｐn，ｍn）として表すことが可能となる。
【００２３】
また、関数演算部９は、３次元座標上の各点の相関を表す相関関数Ｇを演算することが可能である。これにより、会議等の始状態から終状態までは、その間の中間状態を連続で表現した行列関数として表すことができる。
【００２４】
例えば、関数演算部９は、会議等の始状態時の座標上の点をφ0とし、終状態時の座標上の点をφ4とした場合、始状態から終状態までの行列関数を次の数式１で演算することができる。
【００２５】
【数１】
2007187880.tif 000003
ここで、会議等の始状態から終状態までの間において、ある時刻ｔ１からｔ２までの間に発言された発言音声を抽出する場合は、行列インデックスがｔ１＜ｔ＜ｔ２の間のｔについて相関関数Ｇのサンメンションをとることで抽出する。具体的には、関数演算部９に次の数式２を演算させることで抽出することができる。
【００２６】
【数２】
2007187880.tif 000004
また、会議等の始状態から終状態までの間において、発言者ｐs（特定の人物）の発言をすべて抽出する場合は、＜ｐs|Ｇ|ｐs＞の行列関数の対角要素についてｔ，ｍでサンメンションをとることで抽出する。具体的には、関数演算部９に次の数式３を演算させることで抽出することができる。
【００２７】
【数３】
2007187880.tif 000005
また、会議等の始状態から終状態までの間において、発言者ｐs（特定の人物）と発言者ｐt（特定の人物）との間の発言をすべて抽出する場合は、関数演算部９に次の数式４を演算させることで抽出することができる。
【００２８】
【数４】
2007187880.tif 000006
そのため、例えば、会議等において、マネージャ以上の発言音声のみを抽出したり、製品の価格に関する発言音声のみを抽出したり、午後３時から午後４時の間の事業部長の発言音声のみを抽出したりすることが可能となる。
【００２９】
上述したように本実施形態においては、会議等で発言された発言音声の発言者、意味、および時刻をそれぞれ座標数値化して３次元座標上の点で表すとともに、会議等の流れ自体は３次元座標上の各点同士の相関を表す相関関数によってモデリングしている。
【００３０】
そのため、議事録作成時に、発言者、意味、または時刻のいずれか１つ以上と相関関数とを用いた条件によって所望の発言音声を抽出することができ、それにより、効率良く議事録を作成することができるようになる。
【００３１】
なお、発言音声の発言者、意味、および時刻の行列要素から発言音声の文字列への変換は、発言者ＤＢ４および意味ＤＢ６を利用することで可能となる。
【００３２】
また、本実施形態においては、３次元座標でモデリングを行ったが、次元を増やしていくことで、さらに様々な人物の振る舞いをモデリングすることが可能となる。
【００３３】
なお、本発明においては、モデリング装置の内部に、上記で説明した処理を実行するためのプログラムを記録した記録媒体を設けてもよい。この記録媒体は磁気ディスク、半導体メモリまたはその他の記録媒体であってもよい。このプログラムは、記録媒体からモデリング装置に読み出され、モデリング装置の動作を制御する。具体的には、モデリング装置の不図示のＣＰＵ（Central Processing Unit）が、記録媒体から読み出したプログラムの制御のもとでモデリング装置内のハードウェア資源に特定の処理を行うよう指示することにより上記の処理が実現される。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施形態によるモデリング装置の構成を示す図である。
【図２】図１に示した座標化処理部および関数演算部の動作を説明する図である。
【符号の説明】
【００３５】
１    音声入力部
２    音線変換部
３    発言者認識部
４    発言者ＤＢ
５    意味認識部
６    意味ＤＢ
７    時計部
８    座標化処理部
９    関数演算部
【図１】
2007187880.tif 000007
【図２】
2007187880.tif 000008