(57)【要約】【課題】  検索に有用な索引情報を付与する作業を迅速に行うことができる索引付与装置を提供することを目的とする。【解決手段】  索引付与装置１０は、入力された音声信号に基づいて、発話データを抽出する抽出部１２と、発話データに基づいて、発話者、発話開始時刻および発話終了時刻を含むインデックス情報を取得するインデックス情報取得部１３と、インデックス情報に基づいて、発話チャートを生成する生成部１５とと、発話の開始時刻と終了時刻を用いて該発話をセグメント化した発話セグメントを時系列的に視覚化した発話チャートを表示する表示部１６と、発話チャート上の発話セグメントに対してアノテーション情報を付与するアノテーションエディターを提供するアノテーションエディター生成部１７とを備える。【選択図】          図１
2006252463.tif 000002
【特許請求の範囲】
【請求項１】
発話の開始時刻と終了時刻を用いて該発話をセグメント化した発話セグメントを時系列的に視覚化した発話チャートを表示する表示手段と、
前記発話チャート上の発話セグメントに対して索引情報を付与する画面を提供する提供手段と
を備えることを特徴とする索引付与装置。
【請求項２】
前記表示手段は、前記索引情報を付与する画面により付与された索引情報を前記発話チャート上に表示することを特徴とする請求項１に記載の索引付与装置。
【請求項３】
前記表示手段は、話者ごとに前記発話セグメントを時系列的に視覚化することを特徴とする請求項１に記載の索引付与装置。
【請求項４】
前記表示手段は、前記発話セグメントの位置を調整する調整手段を表示することを特徴とする請求項１に記載の索引付与装置。
【請求項５】
前記提供手段は、前記調整手段により調整された発話セグメントに対して索引情報を付与する画面を提供することを特徴とする請求項１に記載の索引付与装置。
【請求項６】
前記提供手段は、テキストデータを入力することによって前記索引情報を付与できる領域を前記画面上に設けることを特徴とする請求項１に記載の索引付与装置。
【請求項７】
前記提供手段は、前記発話セグメント毎に前記索引情報を付与できる領域を前記画面上に設けることを特徴とする請求項１に記載の索引付与装置。
【請求項８】
前記提供手段は、あらかじめ用意された索引情報に対応するスタンプを選択することによって前記索引情報を付与できる領域を前記画面上に設けることを特徴とする請求項１に記載の索引付与装置。
【請求項９】
前記提供手段は、前記発話チャート上の発話群に対して前記索引情報を付与できる領域を前記画面上に設けることを特徴とする請求項１に記載の索引付与装置。
【請求項１０】
前記表示手段は、前記発話チャート上の発話群を所定のセクションに分ける手段を表示することを特徴とする請求項９に記載の索引付与装置。
【請求項１１】
入力された音声信号に基づいて、発話データを抽出する抽出手段と、
前記発話データに基づいて、発話者、発話開始時刻および発話終了時刻を含むインデックス情報を取得する取得手段と、
前記インデックス情報に基づいて、前記発話チャートを生成する生成手段とをさらに備えることを特徴とする請求項１に記載の索引付与装置。
【請求項１２】
入力された音声信号に基づいて、音声認識技術を用いて書き起こしテキストを作成する音声処理手段と、
前記書き起こしテキストを前記索引情報として前記索引情報を付与する画面上に表示する認識結果表示手段とを備えることを特徴とする請求項１に記載の索引付与装置。
【請求項１３】
請求項１から請求項１２のいずれか一項に記載の索引付与装置と、
音声情報および映像の少なくとも一方を前記索引情報に対応付けて格納する格納手段と、
所定の検索条件に従って前記索引情報を参照して前記音声情報および映像の少なくとも一方を検索する検索手段と
を備えることを特徴とするシステム。
【請求項１４】
発話の開始時刻と終了時刻を用いて該発話をセグメント化した発話セグメントを時系列的に視覚化した発話チャートを表示するステップと、
前記発話チャート上の発話セグメントに対して索引情報を付与する画面を提供するステップと
を有することを特徴とする索引付与方法。
【請求項１５】
前記索引情報を付与する画面により付与された索引情報を前記発話チャート上に表示するステップをさらに有することを特徴とする請求項１４に記載の索引付与方法。
【請求項１６】
前記発話セグメントの位置を調整するステップをさらに有することを特徴とする請求項１４に記載の索引付与方法。
【請求項１７】
前記調整手段により調整された発話セグメントに対して索引情報を付与するステップをさらに有することを特徴とする請求項１６に記載の索引付与方法。
【請求項１８】
発話の開始時刻と終了時刻を用いて該発話をセグメント化した発話セグメントを時系列的に視覚化した発話チャートを表示するための情報を生成するステップ、
前記発話チャート上の発話セグメントに対して索引情報を付与する画面を生成するステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、索引付与装置、システム、索引付与方法およびプログラムに関する。
【背景技術】
【０００２】
従来、発話チャートの自動作成およびこれを利用した会議マルチメディア情報の検索についての技術が提案されている。たとえば、音声を視覚的にとらえることができないために会議内容の編集が困難であるという問題点を解決するために、音声データを表示装置において視覚的に把握でき、音声データの録音・再生及び編集が可能な、操作性、利便性に優れた電子会議装置が提案されている（特許文献１）。
【０００３】
また、会議参加者の負荷が小さく、しかも検索漏れが少なくでき、できるだけ効率的に欲しい情報へと到達できるようにするために、会議における発言構造を発言者チャートにより視覚化表示し、それを記録された会議情報へのアクセスのインデックスとして利用することができる会議情報記録再生装置が提案されている（特許文献２）。
【０００４】
また、マイクロホン配列によって実現される信頼性のある音源定位技術を利用して、会議について“誰が”と“いつ”(どの人が何時に発言したか)に関する信頼性のある情報を索引として付与する索引付与装置が提案されている（特許文献３）。
【０００５】
【特許文献１】特開平８−３１７３６５号公報
【特許文献２】特開平１１−５３３８５号公報
【特許文献３】特開２０００−１２５２７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、映像・音声情報を記録するシステムでは、利用者の検索要求に対して、要求された情報を迅速かつ正確に検索できるようにするため、会議映像や音声に対して索引付けを行う必要があるが、この索引付け作業は、映像・音声を視聴しながら、人手で、会議における個々の発話(発話の開始時刻と終了時刻)を同定したうえで、それぞれに対して発話者名や発話内容に関する情報を付加していかなければならないため、多大な労力と時間を費やすという問題がある。例えば、会議中に５００個の発話があれば、これらすべてに対してこの作業を行なわなければならず、それには長い時間と労力がかかる。
【０００７】
また、特許文献２および３では、発話チャートを用いて、誰がいつどのくらいの長さの発話を行ったかという情報を手がかりにして、特定の発話等の検索を行うことができるが、発話チャートを見ただけでは、ある発話がどのような議題や話題に関するものなのか、さらにどのような発言の種類なのか、重要なのかそうでないのかなどについてはわからない。このため、これらの観点から特定の発話シーンに対応した音声や映像を検索することができなかった。
【０００８】
そこで、本発明は、上記問題点に鑑みてなされたもので、検索に有用な索引情報を付与する作業を迅速に行うことができる索引付与装置、システム、索引付与方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、発話の開始時刻と終了時刻を用いて該発話をセグメント化した発話セグメントを時系列的に視覚化した発話チャートを表示する表示手段と、前記発話チャート上の発話セグメントに対して索引情報を付与する画面を提供する提供手段とを備える索引付与装置である。本発明によれば、発話チャートに同期させて索引付けのための画面を提示することによって、個々の発話セグメントに対して索引情報を付加していくことができる。このようにして、検索に有用な索引情報を付与する作業を迅速に行うことができる。発話には発言も含まれる。
【００１０】
前記表示手段は、前記索引情報を付与する画面により付与された索引情報を前記発話チャート上に表示することを特徴とする。本発明によれば、付加された索引情報は発話チャート上に即座に表示される。前記表示手段は、話者ごとに前記発話セグメントを時系列的に視覚化することを特徴とする。前記表示手段は、前記発話セグメントの位置を調整する調整手段を表示することを特徴とする。本発明によれば、発話セグメントの位置を調整するためのアイコンによって発話セグメントの位置を調整することができる。
【００１１】
前記提供手段は、前記調整手段により調整された発話セグメントに対して索引情報を付与する画面を提供することを特徴とする。前記提供手段は、テキストデータを入力することによって前記索引情報を付与できる領域を前記画面上に設けることを特徴とする。前記提供手段は、前記発話セグメント毎に前記索引情報を付与できる領域を前記画面上に設けることを特徴とする。
【００１２】
前記提供手段は、あらかじめ用意された索引情報に対応するスタンプを選択することによって前記索引情報を付与できる領域を前記画面上に設けることを特徴とする。本発明によれば、発話チャート上の個々の発話セグメントに対して、たとえばキーワード、発話の種類、発話に対する参加者の反応やとるべき行為などなどの発話内容に関する補足情報を容易に付与できるため、発話チャートを見ただけで個々の発話内容が把握でき、発話内容に関する補足情報にもとづく映像・音声の検索も可能になる。
【００１３】
前記提供手段は、前記発話チャート上の発話群に対して前記索引情報を付与できる領域を前記画面上に設けることを特徴とする。本発明によれば、分けられたセクション（内の発話群）に対して議題や話題に関する情報を付与することにより、発話チャートを見ただけでどこからどこまでがどのような議題や話題に関するものなのかを把握できるようになり、また議題や話題をキーワードとした映像・音声の検索も可能になる。
【００１４】
前記表示手段は、前記発話チャート上の発話群を所定のセクションに分ける手段を表示することを特徴とする。本発明の索引付与装置は、入力された音声信号に基づいて、発話データを抽出する抽出手段と、前記発話データに基づいて、発話者、発話開始時刻および発話終了時刻を含むインデックス情報を取得する取得手段と、前記インデックス情報に基づいて、前記発話チャートを生成する生成手段とをさらに備える。本発明の索引付与装置は、入力された音声信号に基づいて、音声認識技術を用いて書き起こしテキストを作成する音声処理手段と、前記書き起こしテキストを前記索引情報として前記索引情報を付与する画面上に表示する認識結果表示手段とをさらに備える。
【００１５】
本発明は、上記索引付与装置と、音声情報および映像の少なくとも一方を前記索引情報に対応付けて格納する格納手段と、所定の検索条件に従って前記索引情報を参照して前記音声情報および映像の少なくとも一方を検索する検索手段とを備えるシステムである。
【００１６】
本発明は、発話の開始時刻と終了時刻を用いて該発話をセグメント化した発話セグメントを時系列的に視覚化した発話チャートを表示するステップと、前記発話チャート上の発話セグメントに対して索引情報を付与する画面を提供するステップとを有する索引付与方法である。本発明によれば、発話チャートに同期させて索引付けのための画面を提示することによって、個々の発話セグメントに対して索引情報を付加していくことができる。このようにして、検索に有用な索引情報を付与する作業を迅速に行うことができる。
【００１７】
本発明は、前記索引情報を付与する画面により付与された索引情報を前記発話チャート上に表示するステップをさらに有する。本発明によれば、付加された索引情報は発話チャート上に即座に表示される。本発明の索引付与方法は、前記発話セグメントの位置を調整するステップをさらに有する。本発明によれば、発話セグメントの位置を調整するためのアイコンによって発話セグメントの位置を調整することができる。本発明の索引付与方法は、前記調整手段により調整された発話セグメントに対して索引情報を付与するステップをさらに有する。
【００１８】
本発明は、発話の開始時刻と終了時刻を用いて該発話をセグメント化した発話セグメントを時系列的に視覚化した発話チャートを表示するための情報を生成するステップ、前記発話チャート上の発話セグメントに対して索引情報を付与する画面を生成するステップをコンピュータに実行するためのプログラムである。本発明によれば、発話チャートに同期させて索引付けのための画面を提示することによって、個々の発話セグメントに対して索引情報を付加していくことができる。このようにして、検索に有用な索引情報を付与する作業を迅速に行うことができる。
【発明の効果】
【００１９】
本発明によれば、検索に有用な索引情報を付与する作業を迅速に行うことができる索引付与装置、システム、索引付与方法およびプログラムを提供できる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を実施するための最良の形態について説明する。
【実施例１】
【００２１】
図１は、本発明の第１実施例に係るシステムの構成を示す図である。図１に示すように、システム１は索引付与部１０および会議映像・音声検索処理部３０を備える。索引付与装置１０は、音声入力部１１、発話データ抽出部１２、インデックス情報取得部１３、タイマー１４、発話チャート生成・変更部１５、発話チャート表示部１６、アノテーションエディター生成部１７、アノテーションエディター表示部１８、発話チャート指示部１９、インデックス情報統合部２０および映像入力部２１を備える。会議映像・音声検索処理部３０は、情報格納部３１、検索情報入力部３２、検索処理部３３、映像再生部３４および音声再生部３５を備える。
【００２２】
図２は、アノテーションエディター生成部１７が生成するアノテーションエディター５０を示す図である。図２に示すように、会議マルチメディア情報に対するアノテーションエディター５０は、発話チャート（発言チャート）５１、アノテーションテキストデータ入力欄５２、アノテーションスタンプ領域５３の３つの部品からなるグラフィカルユーザインターフェースとしてユーザに提供される。
【００２３】
索引付与装置１０は、会議マルチメディア情報に対して索引付けを行う装置である。音声入力部１１は、マイクで構成され、音声信号を入力するためのものである。発話データ抽出部１２は、音声入力部１１より入力された音声信号を分析して発話データを抽出する。インデックス情報取得部１３は、タイマー１４から時刻情報を取得し、発話データ抽出部１２によって抽出された発話データから、発話者、発話開始時刻、発話終了時刻、発話番号を含むインデックス情報を取得する。
【００２４】
発話チャート生成・変更部１５は、インデックス情報取得部１３によって取得されたインデックス情報とインデックス情報統合部２０によって提供されるインデックス情報とによって入力されたアノテーション情報にもとづいて発話チャート５１を生成しまたは変更する。発話チャート表示部１６は、発話チャート生成・変更部１５によって生成／変更された発話チャート５１を表示する。この発話チャート５１は、発話の開始時刻と終了時刻を用いて該発話をセグメント化した発話セグメントを時系列的に視覚化したものである。
【００２５】
アノテーションエディター生成部１７は、インデックス情報取得部１３によって取得されたインデックス情報に基づいてアノテーション情報を編集入力するためのアノテーションエディター５０を生成し提供する。アノテーションエディター５０が、発話チャート５１上の発話セグメントに対してアノテーション情報（索引情報）を付与する画面である。アノテーションエディター表示部１８は、アノテーションエディター生成部１７によって生成されたアノテーションエディター５０を表示する。発話チャート生成・変更部１５は、図３に示すように、アノテーション情報を付与する画面により付与されたアノテーション情報を発話チャート５１上に表示する。発話チャート指示部１９は、発話チャート５１上の発話セグメントを選択する。アノテーション情報入力部１８１は、セクション情報を入力するセクション情報入力部１８２および注釈情報を入力する発言関連情報入力部１８３を含み、発話チャート指示部１９によって選択された発話セグメントに対してそれに関するアノテーション情報を入力するためのものである。
【００２６】
ここで、アノテーション情報は、セクション情報と発言関連情報の２つのタイプに分けられる。ここで、セクション情報とは、文章で言えば、章や節に相当するものである。会議は、通常、複数の議題や話題に対して討議される。したがって、議題や話題がセクション情報となる。議題や話題が変われば、セクションが変わったと考える。セクション情報には、セクション番号、議題や話題に関する注釈、及びセクション開始時刻とセクション終了時刻が含まれる。発言関連情報とは、個々の発言セグメントに与えられる注釈情報のことである。具体的には、キーワードや文章などが含まれる。図２のアノテーションエディター５０では、アノテーションテキストデータ入力欄５２とアノテーションスタンプ５３の２つは、図１で示した発言関連情報入力部１８３の具体例である。一方、セクション区切り操作バー５１１及び図４の話題／議題入力プロパティシート５４は、セクション情報を入力するためのセクション情報入力部１８２の具体例になる。
【００２７】
インデックス情報統合部２０は、インデックス情報取得部１３で取得されたインデックス情報と、アノテーション情報入力部１８１によって入力されたアノテーション情報とを統合する。上述したように、発話チャート生成・変更部１５は、インデックス統合部２０により統合されたインデックス情報に基づいて、発話チャート５１を生成し変更する。映像入力部２１は、たとえばビデオカメラによって構成され、映像信号を入力する。
【００２８】
会議映像・音声検索処理部３０は、アノテーション情報を使って会議映像と音声を検索・再生するものである。情報格納部３１は、映像入力部２１によって入力された映像信号と、音声入力部１１によって入力された音声信号と、インデックス情報統合部２０によって統合されたインデックス／アノテーション情報とを格納する。情報格納部３１が音声情報および映像の少なくとも一方をアノテーション情報に対応付けて格納するものである。検索情報入力部３２は、検索要求指示を行うためのものである。検索処理部３３は、検索情報入力部３２によって入力された検索情報にもとづいて検索対象となる音声／映像情報の検索を行う。この検索処理部３３が所定の検索条件に従ってアノテーション情報を参照して音声情報および映像の少なくとも一方を検索するものである。映像再生部３４および音声再生部３５は、検索処理部３３によって検索された映像／音声情報を再生するためのものである。
【００２９】
次に、発話チャートとアノテーションエディターの形態と機能について説明する。図２に示すように、アノテーションエディター５０は、発話チャート５１、アノテーションテキストデータ入力欄５２、アノテーションスタンプ領域５３の３つの部品からなるグラフィカルユーザインターフェースとしてユーザに提供される。発話チャート５１上には、セクション区切り操作バー５１１があり、これを操作することによって、発話群をセクション分けるとともに、図４に示した話題／議題入力プロパティによってセクションに対して議題や話題情報を付与することができる。
【００３０】
発話チャート５１は、個々の発話を開始時刻を始端として終了時刻を終端とするセグメント（個々のセグメントの長さは、発話時間に対応する）として表現し、それらの発話セグメントを発話者ごとに分けて発話セグメントを時系列的に視覚化したチャートである。各発話セグメントには発話順序に従って発話番号（Ｈ１〜Ｈ８）が付与されている。この発話チャート５１は、会議中に参加者の誰かが発話を行うたびに更新されて表示される。図２では、発話Ｈ８が現在行なわれていることを示している。表示領域が限定されているので、過去の発話セグメントは時間が経過すると表示されなくなる。参照符号５１２はスクロールバーを示す。
【００３１】
アノテーションテキストデータ入力欄５２は、図２の下部左に表示されている。アノテーションテキストデータ入力欄５２は、発話チャート５１上に表示された発話セグメントＨ１〜Ｈ８に関して、アノテーション情報を入力するためのテキストデータ入力欄５２１によって構成される。このテキストデータ入力欄５２２は、アノテーションエディター生成部１７によって生成され、アノテーションエディター５０上に設けられる。発話チャート５１上に新たな発話セグメントが生成・表示されるたびに、これに同期してはテキストデータ入力欄５２２が表示されていく。各入力欄の先頭５２１に、発話番号（１〜８）、発話者情報も表示されるので、発話チャート５１上に表示された発話セグメントＨ１〜Ｈ８との対応関係が把握しやすい。ユーザは、アノテーション情報を付けたいテキストデータ入力欄５２２を選んで、キーボードなどを利用してテキストデータ入力欄５２２に入力する。参照符号５２３はスクロールバーを示す。
【００３２】
アノテーションスタンプ領域５３は、アノテーションスタンプ５３１を選択することによってアノテーション情報を付与できる領域であり、図２の下部右に表示されている。アノテーションスタンプ５３１は、発話の種類、重要性、発話に対するアクションなどをスタンプによってアノテーション情報として付加するためのツールである。アノテーションスタンプ５３１は、アノテーションエディター生成部１７によって提供されている。参照符号５３２は取り消しボタンである。発話チャート５１上の発話セグメントを指定した上で、アノテーションスタンプ５３１の中から特定のスタンプを選択してマウスをクリックすることにより、アノテーションスタンプ５３１の内容に関連したテキスト情報を索引として発話セグメントＨ１〜Ｈ８に付与できる。会議中に参加者の発話を聞きながら、規定されたアノテーションを迅速に付与する際に便利である。なお、
【００３３】
図３は、アノテーション情報が付与された後の表示例を示したものである。ここでは、発話セグメントＨ８に、アノテーションテキストデータ入力欄５２とアノテーションスタンプ領域５３の２つを使って付与された結果「体験マーケティングの重要性、○○社の事例紹介」と「重要」のアノテーション情報が示されている。アノテーション情報が付与されると、その結果は即座に発話チャート５１上に反映される。セクション区切り操作バー５１１は、図４の上部に示された発話チャート５１上に「くぎ状のバー」として示されている。このセクション区切り操作バー５１１は、発話チャート５１上の発話群を所定のセクションに分ける手段であり、発話チャート表示部１６によって表示される。ユーザは、セクション区切り操作バー５１１の頭の部分をクリックすることによって、一連の発話をセクションに分けることができる。このように、アノテーションエディター生成部１７は、発話チャート５１上の発話群に対してアノテーション情報を付与できる領域（セクション情報プロパティシート）５４を画面上に設け、それにセクション名（議題、話題、案件名など）を付与することができる。
【００３４】
クリックすると、図４の下部に示すように、セクション情報プロパティシート５４が開き、ここにセクション名を入力する。なお、図には明示していないが、サブセクション分けの同様のツール（「サブセクション区切り操作バー」を提供することも可能である。セクション区切り操作バー５１１は、通常、終了した最新の発話セグメントの直後に表示されるように設定されている。これは話題転換が起こったときに即座にセクション分けが可能なようにするためである。もちろん、ユーザは、マウスのドラッグ操作によってセクション区切り操作バー５１１を任意の位置に設定し、そこで発話のセクション分けを行うこともできる。
【００３５】
次に、索引付与ための処理の流れについて説明を行う。図５は、索引付与のための処理フローチャートである。まず、発話データにもとづく自動インデキシング処理の流れについて説明する。まず、音声入力部１１として、超指向性のマイクロホンを利用しそれらを各参加者の座席位置の前に設置する。これらのマイクロホンは、それが設置された直前の会議参加者の音声信号を主に取得するように調整されている。会議中に参加者の誰かによって発話が行なわれると、マイクロホンはその音声信号を入力し、デジタル信号に変換する（ステップＳ１）。
【００３６】
つぎに、インデックス情報取得部１３は、音声の検出開始時間を記録した後、持続時間の計時を開始する（ステップＳ２〜３）。つぎに、発話データ抽出部１２は、一定時間単位あたりのデジタル信号から振幅(音量)情報を抽出し、それが予め設定した規定値を超えた場合に発話がなされたと判定する（ステップＳ４〜５）。この際、発話データ抽出部１２は、人声か否かの判定を行うために、周波数解析を行い、その周波数分布特徴にもとづいて判別を行ってもよい。
【００３７】
インデックス情報取得部１３は、発話が同定された場合、発話番号を付与してから、音声信号が入力されたマイクロホンを識別した上で、マイクロホンと参加者名の対応テーブルを参照して、発話者名を同定する（ステップＳ６〜ステップＳ８）。対応テーブルは事前に作成しておく。続いて、発話チャート生成・変更部１５は、発話チャート５１上に発話セグメントの表示処理を開始するとともに、アノテーションテキストデータ入力欄５２を設定表示する（ステップＳ９〜ステップＳ１０）。
【００３８】
この後、発話データ抽出部１２は、発話が持続しているか終了したかの判定を継続されて入力されてくる入力音声の振幅(音量)情報にもとづいて判定し、持続していると判定された場合には、発話チャート生成・変更部１５は、一定時間間隔(Δｔ)ごとに発話チャート５１上の該当発話セグメントの表示変更を行っていく。この表示変更は、発話セグメントの長さを時間経過とともに伸張させていく処理に他ならない（ステップＳ１１〜ステップＳ１４）。インデックス情報取得部１３は、発話が終了したと判定された場合には、持続時間の計時を終了し、終了時刻、持続時間を獲得し、発話セグメントの表示変更処理を終了する（ステップＳ１５〜１８）。この後、この一連の処理で獲得した発話番号、発話者名、発話の開始時刻、終了時刻、持続時間をインデックス情報ファイルとして、情報格納部３１に格納する。
【００３９】
インデックス情報は、図６に例示したファイル形式に従って格納される。図６に示すように、インデックス情報は、フィールドＡ〜Ｄ内に格納されている。フィールドＡ内のデータは、図４で示したセクション情報プロパティシート５４により入力されたアノテーション情報であり、セクション番号、セクション名（議題・話題）を含む。フィールドＢ内のデータは、発話データからのアノテーション情報（自動）であり、発話番号、発話者名、開始時間、終了時間および接続時間（秒）を含む。フィールドＣ内のデータは、アノテーションテキストデータ入力欄５２からのアノテーション情報であり、アノテーション情報格納先アドレスによって識別できる。フィールドＤ内のデータは、アノテーションスタンプ領域５３からのアノテーション情報であり、発話タイプ、アクションおよび重要性を含む。
【００４０】
つぎに、ユーザが手動でインデックス情報を付与する場合の処理の流れについて簡単に説明する。まず、テキスト入力欄５２１からのインデックス情報登録処理について説明する。新たに発話が同定されると、それに対応するアノテーション用テキストデータ入力欄５２が自動表示される。ユーザは、アノテーション情報を付加したい場合、アノテーションを付加したい発話に対応したテキストデータ欄５２２を選択してそこにテキスト情報を入力する。テキスト情報はデータ格納部の特定領域に格納される。
【００４１】
次に、格納先アドレス情報を取得して、それをインデックスファイルの指定領域に格納する。インデックスファイルに格納先アドレス情報が格納されると、その情報にもとづいてテキスト情報を読み出して、発話チャート５１上の発話チャート近辺にそれを表示する。
【００４２】
次に、アノテーションスタンプからのインデックス情報登録処理について説明する。アノテーションスタンプ５３１を利用して発話セグメントにアノテーションを付加したい場合、まず、ユーザは、マウスを利用して、画面上に表示されたアノテーションスタンプ５３１から特定のスタンプを選択する。スタンプの種類、すなわち、アノテーション情報の種類は、マウスアクションがなされた位置座標によって決定される。
【００４３】
次に、ユーザは、アノテーションを付加したい発話チャート５１上の発話セグメントに対してドラック＆ドロップする。システムは、ドロップアクションがなされた位置情報を検出して、すでに格納されている発話チャート上の各発話セグメントの位置情報と照合することによって、どの発話セグメントにアノテーションが与えられたのかを特定する。この特定結果に従って、インデックスファイル上の特定の発話番号に対して、特定のインデックス情報が格納される。
【００４４】
図６に示すインデックスファイルでは、アノテーション情報は、スタンプの種類に応じて、発話タイプ、アクション、重要性に３つに区分され、それぞれ異なるフィールドに格納される。インデックスファイルにアノテーション情報が格納されると、その情報を読み出して発話チャート５１上の発話チャート５１の近辺にそれを表示する。なお、アノテーションスタンプはユーザが必要に応じて作成できるようにすると便利である。
【００４５】
次に、セクション情報プロパティシート５４からのインデックス情報登録処理について説明する。ステップＳ１で、セクション区切り操作バー５１１による区切り操作を実施（頭部分のクリック）する。ステップＳ２で、セクションに含まれる発話範囲の同定する。以前にセクション区切り操作がなされている場合、操作履歴(インデックスファイル)を参照して発話番号の最大のもの（発話ｍ）を検出する。新しいセクションに含まれる最初の発話を大きな発話番号より１つ大きな発話セグメント(発話ｍ＋１)とし、セクションに含まれる最後の発話をセクション区切り操作バー５１１のすぐ左に位置する発話セグメントとして範囲を設定する。履歴が無い場合（インデックスファイルにセクションＩＤが付与されていない場合）には、発話セグメント１からセクション区切り操作バー５１１のすぐ左に位置する発話セグメントまでをセクション範囲として抽出する。
【００４６】
ステップＳ３で、同じセクションに含まれるすべての発話に対して、新たなセクションＩＤ（セクション番号）を付与して、インデックスファイルの所定の領域に書き込む。ステップＳ４で、セクション情報プロパティシート（話題/議題入力プロパティ）５４を画面上に表示する。ステップＳ５で、利用者は、セクション名（話題/議題など）を入力し、プロパティを閉じる。ステップＳ６で、ステップＳ３で同じセクションＩＤが付与されたすべての発話に対して、ステップＳ６で記載されたセクション名を付与し、インデックスファイルの所定の領域に書き込む。ステップＳ７で、セクション名を発話チャート５１に表示するとともに、セクション内に含まれる最初の発話セグメントの直後に、セクションが変わったことを示すラインを表示する。
【００４７】
次に、映像・音声検索の流れについて説明すると、発話チャート５１上のセグメントや、セクションタイトルなどをマウスで指定することによって、検索情報入力部３２は、検索要求指示を受け付け、検索処理部３３は、検索情報入力部３２によって入力された検索情報にもとづいて検索対象となる音声／映像情報の検索を行う。映像再生部３４および音声再生部３５は、検索処理部３３によって検索された映像／音声情報を再生する。これによって、その発話に関わる映像・音声情報(シーン)を検索して表示することができる。
【００４８】
本発明の第１実施例によれば、発話チャートに同期させて索引付けのための画面を提示することによって、個々の発話セグメントに対してアノテーション情報を付加していくことができる。特に、会議内容を議事案件やトピックが変わるごとにセグメント化して一連の発話を構造化するとともに、各発話に対して様々なアノテーション情報を容易に付与することができる会議マルチメディア情報に対して索引付けを行うことができる装置を提供できる。また、索引付け作業は、会議終了後に記録された映像と音声を視聴しながら行うのが一般的であるが、本実施例に係る索引付与装置では、会議中に会議の参加者がその場で行うことができる実時間索引付けを行うことができる。
【実施例２】
【００４９】
次に、第２実施例について説明する。図７は、本発明の第２実施例に係るシステムの構成を示すブロック図である。図７に示すように、システム１００は、索引付与部１１０および会議映像・音声検索処理部３０を備える。索引付与装置１１０は、音声入力部１１、発話データ抽出部１２、インデックス情報取得部１３、タイマー１４、発話チャート生成・変更部１５、発話チャート表示部１６、アノテーションエディター生成部１７、アノテーションエディター表示部１８、発話チャート指示部１９、インデックス情報統合部２０、映像入力部２１、音声認識部２２および音声認識結果表示部２３を備える。会議映像・音声検索処理部３０は、情報格納部３１、検索情報入力部３２、検索処理部３３、映像再生部３４および音声再生部３５を備える。なお、第１実施例と同一箇所については同一符号を付してその説明を省略する。
【００５０】
音声認識部２２は、入力された音声信号に基づいて、音声認識技術を用いて書き起こしテキストを作成する。音声認識結果表示部２３は、書き起こしテキストをアノテーション情報としてテキストデータ入力欄５２２上に表示する。すなわち、音声認識技術を利用したアノテーション情報の自動付与と発話チャート５１上への表示入力された音声信号に対して音声認識処理を行い、認識結果としての語句や文章を発話チャート５１上に表示する。手作業によるアノテーションテキストデータの入力作業を軽減するために、認識結果をアノテーションテキストデータ入力欄５２に出力して、それに対する編集を利用者に許すように構成してもよい。
【実施例３】
【００５１】
第３の実施例として、マニュアルモードによる発話のセグメンテーション支援機能を具備した索引付与装置について説明する。自然場面での発話は、一文の途中で言いよどみなどによる「間」が入ったり、逆に「間」を置かずに複数の文を連続したりして述べることが頻繁に生じる。
【００５２】
このため、第１の実施例で説明した音量にもとづく発話の自動的なセグメンテーション方法は、必ずしも一文ごとのセグメンテーションや、意味的にまとまった発話内容のセグメンテーションを保証するものではない。これを自動的に行うには非常に高度な音声認識技術や自然言語処理技術の確立が必要であり、現状の技術レベルでは信頼しうる結果が得るのは困難である。そこで、上記の実施例に対して、人手による発話のセグメンテーションを効率よく行うことができる支援機能を以下のように付加すると良い。
【００５３】
図８は、本発明の第３実施例に係る索引付与装置２１０の構成を示すブロック図である。図８に示すように、索引付与装置２１０は、音声入力部１１、発話セグメント情報取得部２１１、タイマー１４、発話チャート生成・変更部１５、発話チャート表示部１６、区切り・連結操作アイコン生成・変更部２１２、区切り・連結操作アイコン表示部２１３、アノテーションエディター生成部１７、アノテーションエディター表示部１８、区切り・連結操作可能範囲同定部２１４、発話セグメント情報区切り・連結処理部２１５、アイコン指示部２１６およびデータ格納部２１７を備える。なお、同一箇所は同一符号を用いて説明する。
【００５４】
図９は、発話セグメントの連結例を示す図であり、同図（ａ）は連結前の発話セグメントの表示例、同図（ｂ）は連結後の発話セグメントの表示例である。図１０は、発話セグメントの連結・分離操作を説明するための図である。図１０（ａ）に示すように、区切り・連結操作アイコンＣ１をクリックすることにより、前後の発話セグメントを連結することができる。同図（ｂ）に示すように、区切りバー２５１を区切り・連結操作アイコンＣ１の位置に移動させて、区切り・連結操作アイコンＣ１をクリックすることにより前後の発話セグメントを連結することができる。
【００５５】
発話セグメント情報取得部２１１は、音声入力の振幅（音量）情報と時間情報にもとづいて発話セグメント情報（発話チ発言ＩＤ、発言者ＩＤ、発言開始時刻、発言終了時刻、発言継続時間）と無声部情報(無声ＩＤ、無声開始時刻、無声終了時刻、無声継続時間)を獲得する。発話チャート生成・変更部１５は、発話セグメント情報取得部２１１が取得した発言セグメント情報を発話チャート２５０として表示する。また、発話チャート生成・変更部１５は、以下で詳述される発話セグメント情報区切り・連結処理部２１５によってなされた連結もしくは分離結果にもとづいて発話チャート２５０上の発話セグメントの表示を変更する。
【００５６】
区切り・連結操作アイコン生成・変更部２１２は、発話チャート２５０上に表示される発話セグメントを区切ったり、連結したりするための操作用の区切り・連結操作アイコンＣを生成し変更する。区切り・連結操作アイコン表示部２１３は、区切り・連結操作アイコン（調整手段）Ｃを表示する。区切り・連結操作可能範囲同定部２１４は、発言セグメント情報取得部２１１により獲得された無声部情報にもとづいて、区切り・連結操作可能範囲を同定する。区切り・連結操作アイコンＣの表示位置は、区切り・連結操作可能範囲同定部２１４によって同定された区切り・連結操作可能範囲（時間）にもとづいて決定される。発話セグメント情報区切り・連結処理部２１５は、アイコン指示部２１６によって指示された発言セグメント情報に対して、区切り・連結処理を行う。アイコン指示部２１６は、区切り・連結操作アイコンＣを指示するものである。本実施例の場合、マウスのボタンからなり、特定の区切り・連結操作アイコンＣをクリックする（ボタン押し）によって、区切り処理または連結処理を実行するための信号を発話セグメント情報区切り・連結処理部に伝える。データ格納部２１７は、データを格納する。アノテーションエディター生成部１７は、図１１に示すように、区切り・連結操作アイコンＣにより調整された発話セグメントに対してアノテーション情報を付与する画面を提供する。
【００５７】
区切り・連結操作アイコンＣは、発話チャート５０上の個々の発言セグメントの間の「無声部」の上に表示される（区切りバーアイコンの形状で）。したがって、区切り・連結操作可能範囲同定部２１４は、発話セグメント情報取得部２１１によって取得された無声部情報のなかの無声継続時間があらかじめ指定した時間範囲条件（例えば、１秒以上３秒未満）にあるかどうかを判定して、時間範囲内にあれば、それを区切り・連結操作可能範囲と同定する。すべての無声部分が区切り・連結操作可能範囲として同定されるのではない。また、これと同時に、同定された区切り・連結操作可能範囲に対して、区切り・連結操作アイコンＣの表示位置に関する情報（時間）も獲得する。
【００５８】
再度図９（ａ）を参照して、発言セグメントの連結について説明する。連結前では、図９の（ａ）に示すように、全ての区切り・連結操作アイコンは、図１０（ｂ）に示す区切りバー付きの状態で発言チャート２５０上の各無声部分に表示される（ただし、右端のアイコンＣ６を除く）。この図で、発言セグメント1から発言セグメント４までが、意味的にひとつづきの発言である場合には、ユーザは、これらをひとつのセグメントに連結してうえで、それにアノテーション情報を付加したほうがよいと判断するだろう。これを行うには、マウスで、区切り・連結操作アイコンＣ１、Ｃ２、Ｃ３を順に選択してクリックしていけばよい。これによって、発言セグメント1から発言セグメント４までは、ひとつのセグメントに連結され、同時に、Ｃ１、Ｃ２、Ｃ３の区切り・連結操作アイコンの状態は、図１０（ａ）に示すような区切りバー無しの状態に変わる。これと同時に、アノテーションテキスト情報入力欄の数も、４つから１つに変わる（図11）。なお、Ｃ１、Ｃ２、Ｃ３の区切り・連結操作アイコンを再びクリックすれば、区切り・連結操作アイコンＣの状態が変化して、発言セグメントは４つに分離される。これに対応して、上述したアノテーションテキスト情報入力欄５２（図２）の数も４つに増える。
【００５９】
図９（ｂ）を参照して、発言セグメントの分割について説明する。ひとつの発言セグメントを複数の発言セグメントに分割する操作は、３つある。第１は、（ａ）の連結処理によって複数の発言セグメントが１つのセグメントに連結されている場合には、分離可能位置に区切り・連結操作アイコンＣが表示されているので、分離したい場所の上の区切り・連結操作アイコンＣをクリックするという方法である（上述のとおり）。第２は、発言チャート２５０の一番右側に示されている区切り・連結操作アイコンＣ６をクリックする方法である。発言チャート２５０の一番右は、「今現在聞いている音声」であるが、これをアイコンクリックによって分割できる。これは話者が話を切らずに意味的に異なる内容のことを話すような場合に、システムでは発言セグメントを分割できないので、ユーザがマニュアル操作で区切るような場合に利用する。
【００６０】
第３の方法は、第２の方法をカバーするためのものである。これは、分割したいと思う発言セグメントの上にカーソルを置き、マウスの右ボタンを押すことで、区切り・連結操作アイコンＣを表示させ、それをクリックすることで、特定セグメントを任意の時間位置で分割することが可能である。話者の再生音声を聞きなおしながら、発言セグメントを分割する場合に利用する。なお、発言セグメントの分割操作がなされると同時に、区切り・連結操作アイコンＣの状態が変化し、かつアノテーションテキスト情報入力欄５２（図２）の数が増えるのは上述した通りである。
【００６１】
図１１は、発話セグメント連結後のアノテーションエディター２６０の表示例である。アノテーションエディター生成部１７は、図１１に示すように、区切り・連結操作アイコンＣにより調整された発話セグメントに対してアノテーション情報を付与する画面２６０を提供する。これにより、連結・分離された発話セグメントに対してもアノテーション情報を付与することができる。付与されたアノテーションは、第１実施例と同様に発話チャート２５０上に表示される。
【００６２】
本発明の第３実施例によれば、アノテーション付け作業を行う際に、音声セグメントを簡単な操作で連結したり、分離したりすることができ、これらのセグメントにアノテーションを付加できる。この結果、意味的にまとまった発話内容のセグメンテーションが可能であり、これらに対してのアノテーション付けが可能になる。
【００６３】
なお、本発明による索引付与方法は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。すなわち、プログラムは、発話の開始時刻と終了時刻を用いて該発話をセグメント化した発話セグメントを時系列的に視覚化した発話チャートを表示するための情報を生成するステップ、前記発話チャート上の発話セグメントに対して索引情報を付与する画面を生成するステップをＣＰＵ（コンピュータ）に実行させる。
【００６４】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施例に係るシステムの構成を示す図である。
【図２】アノテーションデータ生成部７が生成するアノテーションエディター５０を示す図である。
【図３】索引情報を付与する画面により付与された索引情報の発話チャート５１上への表示例を示す図である。
【図４】セクション情報プロパティシート５４の表示例を示す図である。
【図５】索引付与のための処理フローチャートである。
【図６】図６はインデックス情報を示す図である。
【図７】本発明の第２実施例に係るシステムの構成を示すブロック図である。
【図８】本発明の第３実施例に係る索引付与装置２１０の構成を示すブロック図である。
【図９】発話セグメントの連結例を示す図である。
【図１０】発話セグメントの連結・分離操作を説明するための図である。
【図１１】発話セグメント連結後のアノテーションエディター２６０の表示例である。
【符号の説明】
【００６６】
１  システム
１０  索引付与装置
１１  音声入力部
１２  発話データ抽出部
１３  インデックス情報取得部
１４  タイマー
１５  発話チャート生成・変更部
１６  発話チャート表示部
１７  アノテーションエディター生成部
１８  アノテーションエディター表示部
１９  発話チャート指示部
２０  インデックス情報統合部
３０  会議映像・音声検索処理部
【図１】
2006252463.tif 000003
【図２】
2006252463.tif 000004
【図３】
2006252463.tif 000005
【図４】
2006252463.tif 000006
【図５】
2006252463.tif 000007
【図６】
2006252463.tif 000008
【図７】
2006252463.tif 000009
【図８】
2006252463.tif 000010
【図９】
2006252463.tif 000011
【図１０】
2006252463.tif 000012
【図１１】
2006252463.tif 000013