(57)【要約】      （修正有）【課題】会議音声あるいは会議映像と、議事録として記録されたメモとの対応付けをより高精度に行う。【解決手段】会議中のメモの入力時刻と、会議中の映像に同期して記録された音声の発話時刻とを基に、音韻に変換されたテキストと、記録された音声を音声認識して得た音韻との相違度に基づいて、テキストと音声とを関連付ける。会議のメモとして記録されたテキストが選択されると、そのテキストに関連付けられた音声の発話時刻から、記録されて映像または音声を再生する。【選択図】図１３
2014222290.tif 000002
【特許請求の範囲】
【請求項１】
記録された音声データを区切りごとに保持する保持手段と、
入力されたテキスト情報を区切りごとに保存する編集手段と、
前記テキスト情報の区切りごとに、前記音声データの区切りと、それぞれの音韻の相違の程度に基づいて関連付け、当該関連付けを記憶する関連付け手段と
を有することを特徴とする議事録記録装置。
【請求項２】
前記保持手段は、音声データを、区切りごとに発話された日時情報と関連付けて保持し、
前記編集手段は、テキスト情報を、区切りごとに入力された日時情報と関連付けて記憶し、
前記関連付け手段は、前記テキスト情報の区切りを、該テキスト情報の区切りに関連付けられた日時情報よりも早い日時情報に関連付けられた音声データの区切りのうちから、音韻の相違の程度に基づいて選択した音声データの区切りとを関連付けることを特徴とする請求項１に記載の議事録記録装置。
【請求項３】
前記関連付け手段は、１つのテキスト情報の区切りに、複数の音声データの区切りを関連付けることができる場合には、関連付けられた日時情報が最も新しい音声データの区切りを、前記１つのテキスト情報の区切りに関連付けて記憶することを特徴とする請求項１または２に記載の議事録記録装置。
【請求項４】
前記テキスト情報の区切りは改行コードで挟まれた文字列であり、前記音声データの区切りは、当該音声データから認識された音素列であることを特徴とする請求項１乃至３のいずれか一項に記載の議事録記録装置。
【請求項５】
前記音声データは、映像データに同期して記録された音声データであることを特徴とする請求項１乃至４のいずれか一項に記載の議事録記録装置。
【請求項６】
前記テキスト情報を区切りごとに時系列に表示するユーザインタフェース手段をさらに有することを特徴とする請求項１乃至５のいずれか一項に記載の議事録記録装置。
【請求項７】
前記音声データは、映像データに同期して記録された音声データであり、
前記ユーザインタフェース手段はさらに、前記映像データを構成するフレームの一部を時系列に表示することを特徴とする請求項６に記載の議事録記録装置。
【請求項８】
前記ユーザインタフェース手段はさらに、表示した前記テキスト情報の区切りのひとつが選択されて再生が指示されると、選択された前記テキスト情報の区切りと関連付けられた前記音声データの区切りに更に関連付けられた日時情報から、前記音声データを再生することを特徴とする請求項２に記載の議事録記録装置。
【請求項９】
前記音声データは、映像データに同期して記録された音声データであり、
前記ユーザインタフェース手段はさらに、選択された前記テキスト情報の区切りと関連付けられた前記音声データの区切りに更に関連付けられた日時情報の示す時点から、前記映像データを再生することを特徴とする請求項８に記載の議事録記録装置。
【請求項１０】
前記ユーザインタフェース手段は、前記映像データを再生する際には、前記映像データにおいて再生されている時点を特定するタイムラインと、該タイムラインにおいて、前記テキスト情報の区切りそれぞれに関連付けられた音声データの区切りそれぞれに関連付けられた日時情報を示すマークとを更に表示し、該マークが指示されると、指示されたマークに関連付けられた日時情報の示す時点から、前記映像データを再生することを特徴とする請求項９に記載の議事録記録装置。
【請求項１１】
記録された音声データを区切りごとに保持する保持工程と、
入力されたテキスト情報を区切りごとに保存する保持工程と、
前記テキスト情報の区切りごとに、前記音声データの区切りと、それぞれの音韻の相違の程度に基づいて関連付け、当該関連付けを記憶する関連付け工程と
を有することを特徴とする議事録記録方法。
【請求項１２】
記録された音声データを区切りごとに保持する保持工程と、
入力されたテキスト情報を区切りごとに保存する保持工程と、
前記テキスト情報の区切りごとに、前記音声データの区切りと、それぞれの音韻の相違の程度に基づいて関連付け、当該関連付けを記憶する関連付け工程と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、議事録記録装置、議事録記録方法及びプログラムに関し、特に動画に含まれる音声とテキスト入力手段から入力されるテキスト情報の時間的ずれ幅を補正することができることを特徴とする。
【背景技術】
【０００２】
一般に、組織において会議での議論内容は重要な資産であり、会議の後には議事録の提出が求められることが多い。会議には記録者がいてその会議の内容を手書きで記録していたため、議事録作成者に負担がかかっていた。議事録作成を支援するための技術として、以下のようなものが提案されている。
特許文献１記載の装置では、メモ編集部により、入力される会議の進行内容を表すメモを、そのメモが記録された日時と会議映像に関連付けて保持された日時情報とにより会議映像と関連づけ、会議の進行内容及び会議中の音声に基づいて、会議の進行内容の会議映像への関連付けを保持する。議事録作成部３はこの関連付けた状態で議事録を作成し、作成した議事録を議事録表示部５により閲覧できる。こうして議事録の記述内容と会議映像との間にリンクをはることができ、記述内容が会議のどのシーンに対応するのかを後で確認することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６８８００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の装置のように、メモ編集部によって日時情報と会議映像とを関連付けるのみでは、メモとして記録されたテキストと映像との高精度の関連付けは困難である。それというのは、メモ編集部によりテキストが記録された日時と、そのテキストに対応した発言内容が収録されている会議映像の日時とではずれが生じるためである。ユーザがメモを参照してリンクをたどることでメモと関連付けられた会議映像を閲覧しようとしても、テキストが作成された日時とそのテキストに対応した映像の時刻にずれのため、ユーザが閲覧したい部分のメモをクリックしても、メモに対応しないずれた時刻の映像が表示されてしまう。
【０００５】
本発明は上記従来例に鑑みてなされたもので、テキストと映像とを、それぞれの内容に基づいて関連付けることで、高い精度で関連付けることを可能とした議事録記録装置及び議事録記録方法を提供する。
【課題を解決するための手段】
【０００６】
本発明は以下の構成を有する。すなわち、
記録された音声データを区切りごとに保持する保持手段と、
入力されたテキスト情報を区切りごとに保存する編集手段と、
前記テキスト情報の区切りごとに、前記音声データの区切りと、それぞれの音韻の相違の程度に基づいて関連付け、当該関連付けを記憶する関連付け手段と
を有することを特徴とする議事録記録装置。
【発明の効果】
【０００７】
本発明によれば、テキストと映像とを、それぞれの内容に基づいて関連付けることで、高い精度で関連付けることが可能となる。さらに、高精度の関連付けによりテキストと映像とを同期させて表示することができる。
【図面の簡単な説明】
【０００８】
【図１】本システムのデバイス構成例を示す図である。
【図２】本システムのテキスト入力画面の構成図を示す図である
【図３】本システムにおけるデータ管理構造と構成例を示した図である
【図４】本システムにおける議事録表示画面の構成図を示す図である。
【図５】本システムの全体構成を示す図である。
【図６】本システムにける同期制御手段部の構成を示した図である。
【図７】音声認識部の構成例を示すブロック図である。
【図８】言語モデルの例を示す図である。
【図９】音声照合部での照合処理を示す模式図である。
【図１０】テキスト変換音素列生成部でのテキスト変換音素列の生成処理を示す模式図である。
【図１１】本システムにおける同期制御手段の処理フローを示す図である。
【図１２】同期制御手段の処理結果例を示す図である。
【図１３】本システムにおける同期制御手段の照合部の処理フローを示す図である。
【図１４】本システムにおける表示部の構成例を示す図である。
【図１５】本システムにおける表示部での映像再生例を示す図である。
【図１６】議事録を閲覧する手順のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について、図１〜図１５を参照しながら詳細に説明する。
【００１０】
［第１実施形態］
本発明の第１の実施形態は、入力された文字データに現在の時間情報を付加して記録し、音声も同時に記録し、記録された音声と文字データの時間情報を基に、時系列に対応させて表示する議事録作成再生装置である。なお時間情報は、日時情報など日時を特定するための情報である。
【００１１】
会議中に議事録の担当者や参加者が取ったメモは、会議中の話題を追いかけるのには最適な材料である。本実施形態では、そのメモの一文一文に、入力時の記入時刻（ＴＫ）を記録する。一文の入力の完了は例えば改行コードの入力により判定できる。メモが記録された記入時刻の前では、会議では、そのメモに対応する話題が議論されていたはずである。本実施形態の議事録作成再生装置では、会議の音声や映像も時間情報を付して記録し、関心のあるメモの部分を指定することで、記録した時刻でリンクした目的の箇所の音声や映像を容易に見つけられる。なお映像データとメモとをそれぞれの記録時刻で関連付けた情報を、本実施形態ではディジタル議事録と呼ぶことにする。
【００１２】
＜議事録作成再生装置の構成＞
図１は、本実施形態における議事録作成再生装置の構成を示す概念的な構成図である。議事録記録再生装置は、クライアント端末と、映像等の入力デバイスとを接続して構成される。図１において、クライアント端末１１は、パーソナルコンピュータやタブレット端末などであり、議事録を作成し再生するための端末である。クライアント端末１１は、本実施形態では、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ等を有する。なお、本実施形態の説明やフローチャートで示す手順は、クライアント端末１１のＲＡＭ，ＲＯＭ，ＨＤＤのいずれかの記憶手段に記憶され、ＲＡＭにロードされてＣＰＵにより実行される。マイク１２は、クライアント端末１１に接続するマイクであり、音声を音声信号に変換してクライアント端末１１に入力する。スチルカメラ１３は、クライアント端末１１に接続する静止画撮影用のカメラである。ビデオカメラ１４は、クライアント端末１１に接続する動画像撮影用のビデオカメラである。これらのカメラはそれぞれ、撮影した静止画および動画のディジタルデータをクライアント端末１１に入力する。静止画および動画のディジタルデータをそれぞれ画像データと映像データと呼ぶことにする。映像データには、音声信号をディジタル化した音声データが映像と同期して含まれている。また静止画データにも音声データを統合することもできる。この静止画データを再生すると、静止画が表示されるとともに音声が再生される。なおビデオカメラ１４には、ビデオ撮影機能を有するディジタルカメラや携帯端末なども含む。映像データ中には時間情報が記録され、例えば任意のフレームで日時を特定できる必要がある。たとえば、撮影開始日時が映像データに記録されており、またフレームごとにフレーム番号が記録されていれば、映像の任意のフレームで日時を特定できる。逆に、日時から映像のフレームを特定することもできる。なお映像と同様に音声とテキストとを関連付けることもできる。この場合には、音声データに、その任意の時点の日時を特定できる情報が含まれている必要がある。
【００１３】
図１（ａ）に示す構成では、クライアント端末１１のキーボードから文字データ（テキスト）データを入力する。入力された文字データに、入力時の時間情報であるテキスト記入時刻（ＴＫ）を付加してテキストとして記録する。この場合の入力時とは文字データひとつの入力を単位としても良いし、改行を検知したタイミングなどでも良い。マイク１２は音声を音声データとしてクライアント端末１１に入力する。入力された音声データに、入力時の時間情報を付加してＨＤＤ等の記憶部に記録する。音声データは、あとで時間情報を付加して追加することもできる。議事録表示時には、記録されたテキストを時系列で表示し、記録された音声を再生出力する。そのとき表示されたテキストの一部分が指定されると、当該部分に対応する音声を再生する。
【００１４】
図１（ｂ）に示す構成では、ビデオカメラ１４から動画像データすなわち映像データをクライアント端末１４に入力する。入力された映像データに記録時の時間情報を付加して例えばＨＤＤなどの記憶部に記録する。時間情報は、上述のように例えばフレーム単位で付加されてもよい。再生時には、記録された動画像データを再生出力する。映像データには、映像と同期した音声データが記録されている。
【００１５】
図１（ｃ）に示す構成では、複数のクライアント端末１１がネットワーク１０を介してサーバ１に接続される。別々のクライアント端末から入力されるデータをサーバ１で処理して動画像データを各クライアント上で再生出力する。これにより会議映像や議事録を複数のユーザにより共有することができる。
【００１６】
本実施形態ではクライアント端末１１のＣＰＵや記録部での処理例を表しているが、サーバが存在するような構成では、その一部をサーバのＣＰＵや記録部に移行しても良い。なお記録部は、テキストを映像データや音声データと関連付けて記録する機能ユニットであり、例えば主ＣＰＵとは別の専用プロセッサなどにより実現でき、或いはＣＰＵにより記録のためのプログラムを実行することでも実現できる。
【００１７】
＜議事録作成処理＞
図５は本実施形態の議事録記録再生装置の機能ブロック図である。ユーザは、クライアント端末１１のキーボードなどのテキスト入力部５１からメモを入力する。入力されたメモには、タイマー５３により記入時刻（ＴＫ）が付加され、テキスト記録部５２により記録される。マイク１２やカメラ１３やビデオカメラ１４などの音声映像入力部５４から入力された音声や静止画や動画像は、タイマーにより時間情報が付加され、音声映像記録部５５により記録される。再生時には、同期表示制御部５６により同期がとられて、対応部分が表示部５７に表示される。同期表示制御部５６による同期制御方法については後述する。
【００１８】
次に、図２と図３を参照しながら、議事録作成時の動作を詳しく説明する。図２は、議事録作成再生装置の議事録作成時の表示画面を示す図である。この表示画面はクライアント端末１１のディスプレイに表示される。図３は、議事録作成再生装置に記録した議事録データのデータ例を示す図である。
【００１９】
まず、クライアント端末１１にマイク１２を接続する。マイク１２はクライアント端末１１に内蔵のものがあれば、当然それでもかまわない。なお、クライアント端末１１とは関係のないＩＣレコーダーなどを使って録音をして、後から音声データを追加するのであれば、クライアント端末１１に接続されたマイク１２を使用しなくてもかまわない。操作者が議事録記録用プログラムを起動すると、図２（ａ）に示すように、画面には、インジケータ部２１、映像操作部２２、書式設定部２２、テキスト入力部２４が表示される。記録者が画面の記録開始ボタンを押すと録音が開始される。録音の開始と同時に内部のタイマーがスタートし、録音開始時刻と現時点の時刻が計測される。なお本実施形態の目的のためにはタイマー５３は実時間を計時するリアルタイムクロックであってもよく、その場合にはタイマーをスタートさせる必要はない。
【００２０】
この状態で、テキスト入力部２４に文字を入力する。テキスト入力部に操作カーソルを合わせた状態でキーを叩くと、入力開始位置をテキスト入力部２４の左に表示する。入力の途中で改行を入力すると、新たな行に移動し、その時点での記入時刻（ＴＫ）を記録する。その状態でさらに入力をすると、再びその入力の時刻を記録する。ある程度入力した状態の画面が、図２（ｂ）である。この例では５つの文が入力済みである。映像操作部２２の停止ボタンを押すと録音が終了し、タイマーも停止する。この状態で、メニューから「保存」を選ぶと、議事録の名前を入力させたうえで、記録した映像データファイルおよびテキストファイルが保存される。保存されるファイルは、例えば、図３（ａ）のような構造で保存される。図３（ａ）は、２００８年１２月２４日に記録し、「Ｃｏｎｆｅｒｅｎｃｅ  １」という名前で保存した議事録データの例である。データはＤａｔａという名称のフォルダに設けられた、議事録ごとのフォルダに記録される。本例では議事録のフォルダは、記録した年月日を並べた名称が与えられる。同一の日に複数の議事録を記録する場合には、例えば年月日の後にシリアル番号や時刻を付加すればよい。各議事録のフォルダ内には以下のようなファイルが含まれる。
ｐｒｏｊｅｃｔ．ｄａｔは、議事録のファイル構成などを記録したファイルである。ファイル形式としては独自のバイナリ形式やその他のテキスト形式（ＸＭＬ、ＪＳＯＮ、独自など）でもよい。ｍｐ３形式のファイル「２００８１２２４１２３４５６．ｍｐ３」は、録音した音声で、ファイル名は、例えば録音開始時の年、月、日、時、分、秒としてあるが、これにこだわる必要はない。また、形式もｍｐ３でなくｗａｖなど、ほかの形式でもよい。また録音開始時刻は、例えばファイル属性として記録してもよい。テキストファイル「ｍｅｍｏ．ｔｘｔ」は、入力欄に入力したテキストで、図３（ｃ）のような形式の議事録メモデータ３０２として保存される。すなわち、テキストごとにテキストＩＤ３３０が付与され、テキストＩＤごとに、その記入時刻３３１と記入されたテキスト３３２またはテキスト３３３を関連付けて記録する。テキスト３３２はサマリーメモであり、テキスト３３３はサマリーメモに属する詳細のメモ（単にメモと称する）である。サマリーメモと詳細メモの区別は、例えば入力作業者に基づく。ここでは会議中の議事録作成担当者が記載したメモをサマリーメモとし、他の出席者が記載したメモをメモとしている。
このようにメモをプレーンテキストの形式で保存することで、後で別のエディタなどで編集することができる。データの汎用性を考慮しないのであればバイナリなど別の形式でもかまわない。
以上のファイル構成は、あくまで一例であり、議事録フォルダ内のファイルすべてを１ファイルにしてもよい。テキストの入力を、例えば改行コードがなく句点で完了させるなど、１つのメモを複数ファイルに分割し、テキストファイルごとに記入時刻を関連付けてもよい。このようにすることで長文のメモに関して、入力開始と完了との時間差を小さくすることができる。また、テキストをそのほかの形にしてもかまわない。
【００２１】
図１（ｂ）のようにビデオカメラ１３を接続して、音声だけでなく映像も同時に記録できる。この画面例は、図２（ｂ）に示したものと同様である。ただし、新しい行に一度文字を書いて時間が記録されたのち、文字を削除しても、記録された時間は消えない。新しい行に何も書かずに、さらに改行した場合、改行のみのメモに対応付けて時間は記録されない。なおこの特徴は、音声のみの議事録に適用することもできる。
【００２２】
議事録作成中にビデオカメラなどで撮影した映像ファイルが議事録のファイルに含まれる場合には、その議事録データ３０１のファイル構成は、図３（ｂ）のようになる。映像ファイルを含む議事録は、「ｍｏｖｉｅ．ｍｅｔａ」という映像データのメタデータのファイルと、映像ファイルを記録した「ｍｏｖｉｅ」というフォルダとが、図３（ａ）の構造に対して付加された構造を有する。ここで、映像ファイルに記録された情報などから撮影時間を取り出すことができる。撮影時間（撮影時刻）の情報は、映像ファイルとテキストファイルとの同期をとる同期制御部５６で利用する。なお本実施形態の動画ファイルには、映像のみでなく音声データも含まれている。そして映像データと音声データとは同期がとられており、映像のみならず音声の記録された時刻も映像ファイルから特定できる。
【００２３】
＜同期制御＞
ここで同期制御部５７の詳細な説明を図６と図７を用いて行う。図６は入力された音声とテキストの対応付けを行うための同期制御手段５７の一実施形態を示すブロック図である。本実施形態の同期制御手段５７は、音声認識部６１、認識結果音素列格納部６２、テキスト変換音素列生成部６３、テキスト変換音素列格納部６４、結合部６５を備える。
【００２４】
この同期制御部の目的は図３（ｃ）の形式で格納されているテキスト情報と関連する記入時刻情報（ＴＫ）に対して、このテキスト情報が発話された時刻を、入力される音声（映像データと同期した音声を含む）に対して音声認識を行い、音声が記録された時刻（発話時刻と呼ぶ）を検出し、新たな発話時刻情報（ＴＨ）としてテキスト情報と共に格納する事である。発話時刻情報（ＴＨ）は図３（ｃ）の形式に追加的に記録してもよいし、記入時刻（ＴＫ）を上書きしてもよい。ただし追加的に記録する場合には、追加した発話時刻情報（ＴＨ）とテキストとの関連付けを明確に示す必要がある。そのためには、たとえば図３（ｃ）のように表形式であれば、対応するメモのテキストと同一行に記録すればよい。
【００２５】
同期制御部５６の構成を図６に示す。音声映像記録部５５に記録されている音声や映像を再生する事により、音声認識部６１には音声データの入力が開始される。音声データが直接入力さる場合は、そのままの音声データが入力され、入力が映像データの場合、会議映像と共に参加者により発声された音声データが入力される。したがって、映像と音声とは時間的ずれなく取得される。これにより取得された音声データは、音声認識部６１に入力される。音声認識部６１は、入力される音声データを認識処理し、音声データに対応する認識結果音素列と発話時刻（ＴＨ）とを出力する。出力データは結合部６５に入力される。ここで発話時刻（ＴＨ）とは、認識結果音素列が発話された時刻を音声（映像）に付加されている時刻情報を元に割り出したものである。
【００２６】
＜音声認識部＞
図７は、音声認識部６１の構成例を示すブロック図である。音声認識部６１は、音声検出部７１、音響分析部７２、音響モデル格納部７３、言語モデル格納部７４および音声照合部７５を備える。この構成は、音声認識で一般的なものであるが、簡単に説明する。
【００２７】
音声検出部７１は、入力された音声データから人声を含む区間の音声を切り出して音響分析部７２に送る。音声検出部７１での音声の切り出しには、例えば、入力のパワーの大小に基づく音声検出手法を利用できる。この音声検出手法では、入力のパワーを逐次計算し、入力のパワーが予め定めた閾値を一定時間連続して上回った時点を音声の一区間の開始時点と判定し、逆に、入力のパワーが予め定めた閾値を一定時間連続して下回った時点を音声の当該区間の終了時点と判定する。音声検出部７１により切り出された音声は、音声開始時点から音声終了時点まで逐次音響分析部７２に送られる。
【００２８】
音響分析部７２は、音声検出部７１により切り出された音声の音響分析を行い、メル周波数ケプストラム係数（ＭＦＣＣ）など音声の特徴を現す音響特徴量列を音声照合部７５に送出する。
【００２９】
音響モデル格納部７３は、日本語音声を構成する単位である音素ごとに用意した隠れマルコフモデル（ＨＭＭ）などの標準パタンを格納している。この標準パタンを日本語単語・文章を構成する音素列に即して連結することで任意の日本語単語・文章に対応する標準パタンを作成することができる。
【００３０】
また、言語モデル格納部７４は、日本語の単語間、音素間などの接続関係を規定する言語モデルを格納している。この言語モデルには、（１）音節間の接続関係を規定する連続音節認識文法、（２）単語間の接続関係を規定する文法規則、（３）Ｎ個の音素の組が連続する確率を規定する統計的言語モデル、（４）Ｎ個の単語の組が連続する確率を規定する統計的言語モデルなどがある。
【００３１】
図８は、言語モデルの例を示す図である。図８（ａ）は、音節間の接続関係を規定する連続音節認識文法であり、これは、子音／ｂ／／ｄ／・・・と母音／ａ／／ｉ／・・・の接続関係を規定している。図８（ｂ）は、単語間の接続関係を規定する文法規則であり、これは、／単語１／／単語２／・・・の接続関係を規定している。
【００３２】
図９は、音声照合部７５での照合処理を示す模式図である。図９は、音響分析部７２から送出される音響特徴量列が、音声照合部７５で標準パタンと照合され、これにより照合結果として／ｓｈ／／ｉ／・・・／ｕ／が得られると共に、各音素に対応する音声区間の開始、終了時刻が取得されることを示している。この各音素の時刻情報を元に発言が開始された発話時刻（ＴＨ）を決定する。
【００３３】
図７に戻って、音声照合部７５は、言語モデルに記された接続規則に従って音響モデルを接続して標準パタンを生成すると共に、Ｖｉｔｅｒｂｉアルゴリズムを用い、音響分析部７２から送出される音響特徴量列と標準パタンとを照合する。この照合の結果、両者の照合スコアを最大とする音声区間と標準パタンの対応が得られる。音声認識部７１での認識結果として、認識結果音素列および標準パタンを構成する各音素に対応する音声区間の開始時刻、終了時刻が取得される。これにより得られた認識結果音素列は、認識結果音素列格納部６２に格納される。なお、音声照合については、「中川聖一ら著：「確率モデルによる音声認識」電子情報通信学会」に記載されている。音素列は、例えば各音素を示すコードの列で表すことができる。音素に対応する時刻は、音素のコードに関連付けられて記録される。
【００３４】
音声認識部６１の認識結果の取得処理は、結合部６５から指示された時点で行う。その際、取得の指示があるまでは、認識結果音素列格納部６２に、照合の過程で求めた照合中間結果（部分的な照合結果）である音素とその開始時刻（あるいは終了時刻も）を保持しておくものとする。本例では、この開始時刻が当該音素の発話時刻に相当する。その上で、結合部６５からの指示に応じて、前回の認識結果取時の照合中間結果を引き継ぎ継続して照合を行う。もしくは、前回照合時に用いた照合中間結果を破棄した後に再度初期状態から照合を開始する。
【００３５】
一方、テキスト変換音素列生成部６３は、テキスト記録部５２に保存されているテキストに対応するテキスト変換音素列を生成する。ここでの入力されるテキストの単位はテキスト入力部５１から入力された単位であり、１文字単位でも文章単位でも良いが、本実施形態では先頭文字あるいは改行コードの次の文字から次の改行コードまでを単位として説明する。テキスト変換音素列は、テキスト変換音素列格納部６４に格納される。
【００３６】
図１０は、テキスト変換音素列生成部６３でのテキスト変換音素列の生成処理を示す模式図である。テキスト変換音素列生成部６３は、漢字仮名混じり文により記述されているテキストの形態素解析を行い、それを品詞に分割すると共に読みを表す仮名文字列に変換し、さらに、仮名文字から発音記号への変換規則を記載した変換表を参照して、仮名文字列を音素列に変換してテキスト変換音素列を生成する。生成された音素列は、音声認識部６１により出力される音素列と同じ形式を持つ。
【００３７】
例えば、漢字仮名混じり文により記述されているテキスト文字列が「７時のニュースです」の場合、テキスト変換音素列生成部６３は、まず、形態素解析により「７」「時」「の」「ニュース」「です」の各品詞に分割する。次に、これらを、読みを表す仮名文字列「しち」「じ」「の」「にゅーす」「です」に変換し、さらに、仮名文字列から発音記号への変換規則を記載した変換表を参照して、仮名文字列を音素列／ｓｈ／  ／ｉ／  ／ｃｈ／  ／ｉ／  ／ｊ／  ／ｉ／  ／ｎ／  ／ｏ／  ／ｎｙ／  ／ｕｕ／  ／ｓ／  ／ｕ／  ／ｄ／  ／ｅ／  ／ｓ／  ／ｕ／に変換する。この発音記号が、音素を示すコードに相当する。
【００３８】
結合部６５は、認識結果音素列格納部６２に格納された認識結果音素列とテキスト変換音素列格納部６４に格納されたテキスト変換音素列とを照合し、音声とテキストの対応付けを行い、結果として結合させる。この処理については図１１を参照して詳述する。概略的には、認識結果音素列とテキスト変換音素列とは、テキストの記入時刻と音声の発話時刻との近似と、音素列の一致とに基づいて結合される。
【００３９】
音素列照合結果格納部６６は、結合部６５が照合過程で求めた照合中間結果（部分的な編集距離）を保持する。また、照合した結果、ひとつの音声に対して複数のテキストが対応するような場合にはこの複数の結果を全て格納する。これらの結果を格納する事により、同じ単語が発言された場合や、同じテキストが入力される場合においても、問題なく対応づける事が可能となる。
【００４０】
＜結合処理＞
ここで、結合部６５をプログラムにより実現する際の処理について図１１のフローチャートを用いて詳細に説明する。結合部６５が処理を開始する際には、まずクライアント端末１１のＣＰＵ（以下、ＣＰＵ）はテキスト変換音素列格納部６２に保存されている全テキスト変換音素列リストの取り出しを行う（Ｓ１１０１）。次にＣＰＵは音素列の生成を行うために、音声映像記録部５５に保存されている会議の音声（映像）を再生開始する（Ｓ１１０２）。音声が再生されるとＣＰＵは音声認識部６１から生成される認識結果音素列の取り出しを行い（Ｓ１１０３）、それを着目認識結果音素列として、テキスト変換音素列との比較を行う（Ｓ１１０４）。認識結果音素列は、図９で説明したように、音素列と各音素の発話時刻とを含む。この際のテキスト変換音素列内の比較対象とは、認識結果音素の発話時刻（ＴＨ）より後の記入時刻（ＴＫ）を持つテキスト変換音素列である。例えば図１２（ａ）の例では着目認識結果音素列「ｓｈｉｎｋａｉ」の発話時刻ＴＨ＝０時４０分より後の記入時刻ＴＫを持つテキスト変換音素３、４が比較対象となる。比較の結果は、第１の音素列を第２の音素列に変換するために必要な音素の挿入や削除、置換という操作の回数に応じて定義された相違度として出力される。ステップＳ１１０４では、着目認識結果音素列と比較対象のテキスト変換音素列との間のそれぞれの相違度を求める。図１２（ａ）では、テキスト変換音素３については相違度１、テキスト変換音素４については相違度が０となる。次にＣＰＵは、着目している認識結果音素列の比較対象であるテキスト変換音素列の中から、相違度が所定の値以下のテキスト変換音素列があるかの判断を行う（Ｓ１１０５）。
【００４１】
もしも該当するテキスト変換音素列があれば、該当するテキスト変換音素列に、着目認識結果音素の発話時刻（ＴＨ）を関連付ける（Ｓ１１０６）。これはテキストの内容に近い内容の音声の発話時刻（あるいは映像の時刻）を検出する事を目的としており、テキストと音声とを比較しながら内容が近い部分を検出する例である。なお、ここでは音声認識結果である音素列を基準として、それに相当するテキスト変換音素列を検出しているため、着目音声認識音素列が必ずしもメモの単位に合致しているとは限らない。そこで、Ｓ１１０６でテキストに関連づけられる発話時刻は、当該テキストの先頭（本例では改行コードが区切りとなる）の音素の発話時刻であり、それが当該テキストの発話時刻として関連付けられて記録される。
【００４２】
比較が終了すると、音声（動画）は最後まで再生されたかどうかの判断を行い（Ｓ１１０７）、最後で無い場合はＳ１１０３に分岐して次の音声認識結果の判定に移行し、この制御を再生が終了するまで繰り返す。尚、Ｓ１１０４〜Ｓ１１０６の処理よりも早く次の認識結果音素が取り出せた場合には、音声（動画）の再生を一時的にストップする事とし、Ｓ１１０６が終了した後に再生開始しても良い。
【００４３】
これらの対応付けが終了した後に結合部６５では、また、１つの認識結果音素に対して複数のテキスト変換音素が対応付けされているかの判断も行い、１つのテキスト変換音素に複数の認識結果音素列が対応付けされている場合に、どの認識結果音素列の発話時刻を第一優先とするかの判断を行う。この判断では、例えば、最も発話時刻が最近の音素列を第一優先とする。ただし、閾値以下の相違度を持つテキスト認識音素列のうち、最も相違度が小さいものを第一優先とし、それが複数ある場合に発話時刻による第１優先度を決定しても良い。
【００４４】
＜相違度の算出＞
ステップＳ１１０４における相違度の算出のために、結合部６５は、認識結果音素列格納部６２に格納された認識結果音素列とテキスト変換音素列格納部６４に格納されたテキスト変換音素列を比較する。そして比較の結果として、両者の異なりの程度示す相違度を算出する。例えば、第１の音素列“／ｓｈ／  ／ｉ／  ／Ｎ／  ／ｋ／  ／ａ／  ／ｉ／”を第２の音素列“／ｔ／  ／ｏ／  ／ｋ／  ／ａ／  ／ｉ／”に変形する場合、以下に示すように、最低３回の手順が必要とされるので、相違度は３となる。
【００４５】
１．  ／ｓｈ／  ／ｉ／  ／Ｎ／  ／ｋ／  ／ａ／  ／ｉ／    
２．  ／ｔ／  ／ｉ／  ／Ｎ／  ／ｋ／  ／ａ／  ／ｉ／  （“／ｓｈ／”を“／ｔ／”に置換）
３．  ／ｔ／  ／ｏ／  ／Ｎ／  ／ｋ／  ／ａ／  ／ｉ／（“／ｉ／”を“／ｏ／”に置換）
４．  ／ｔ／  ／ｏ／  ／ｋ／  ／ａ／  ／ｉ／（“／Ｎ／”を削除して終了）。
【００４６】
相違度を求める最も簡易な手順は、音素を先頭から順に対応付けて、いずれかの音素列がの末尾まで、異なる音素の数を数える。いずれかの音素列が長ければ、その差異である音素数を、数えた異なる音素の数に加算する。得られた結果が、相違度である。もちろんこれは一例であって他の方法を適用することもできよう。
【００４７】
＜テキスト−音声対応リスト＞
図１１の処理が終了すると、図１２（ｂ）に示すような各テキスト変換音素列に対応付けされた認識結果音素列がその発話時刻の時刻情報と共に含まれるリスト１２０２が、統合部６５によって音素列結合結果格納部６６に作成される。入力されたテキストはテキストＩＤが付与されており、そのテキスト変換音素列と、テキストの記入時刻（ＴＫ）と、関連付けられた認識結果音素列及びそのＩＤと、当該認識結果音素列の発話時刻とが関連付けられて格納されている。ここでテキスト変換音素に第一優先で対応付けする事を示すフラグＯｎＣｌｉｃｋ及び、前出のテキストと重複して関連付けられた認識結果音素列であることを示すフラグＩｓＳａｍｅについては図１５の手順とともに説明する。なおテキスト−音声対応リスト１２０２は、テキストの区切りと音声の区切りとの関連付けを記憶した関連付け記憶部ということもできる。
【００４８】
＜第１優先の決定＞
図１５を参照して第１優先を決定する手順を説明する。この手順は図１１の手順の後で実行される。まず図１２（ｂ）のテキスト−音声対応リストから比較結果の取り出しを行う（Ｓ１５０１）。次に取り出したテキスト変換音素に対して認識結果音素が１つかどうかの判断と既出の認識結果音素かの判断を行う（Ｓ１５０２）。図１２（ｂ）の例だとテキストＴ．５に対応付けされている認識結果音素列はＮ．１のみであるので、第１優先度を示すフラグＯｎＣｌｉｃｋをＴＲＵＥとする。また、認識結果音素列Ｎ．１はリスト１２０２の着目欄の上部にないため、同じ認識結果音素列のＩＤがリスト１２０２の着目欄の上部に存在したことを示すフラグＩｓＳａｍｅをＦＡＬＳＥとする。換言すればＩｓＳａｍｅとは、リスト１２０２から取り出されてテスト済みのテキストと重複的に関連付けされている認識結果音素列であることを示すフラグである。
【００４９】
その後Ｓ１５０４に進み、全てのテキスト変換音素列と認識結果音素列との組を照合したかの判断を行う。この組のことをテキスト−音声と記述し、図１２を参照する際には、Ｔｘ−Ｎｙとそれぞれの識別子の組で示す。未処理のテキスト−音声が存在するなら、再度Ｓ１５０１、Ｓ１５０２を行う。次にリスト１２０２から取り出されたテキスト−音声である、テキストＴ．６に対応付けされている認識結果音素列はＮ．２とＮ．３であるため、それら認識結果のうち最も時刻情報が新しいものを第１優先とする（Ｓ１５０３）。この場合は認識結果音素列Ｎ．３の発話時刻が認識結果音素列Ｎ．２の発話時刻よりも新しいため、Ｎ．３のフラグＯｎＣｌｉｃｋをＴＲＵＥとし、認識結果音素列Ｎ．４のＯｎＣｌｉｃｋをＦＡＬＳＥとし、リストの上部にＴ．６と同じものが存在しないため、認識結果音素列Ｎ．３、Ｎ．４それぞれのＩｓＳａｍｅはいずれもＦＡＬＳＥとする。この処理をテキストＴ．７にも同様に行うと認識結果音素列Ｎ．２、Ｎ．３のフラグＯｎＣｌｉｃｋはＦＡＬＳＥとし、認識結果音素列Ｎ．４のフラグＯｎＣｌｉｃｋはＴＲＵＥとする。またテキストＮ．４は初めての出現でなのでフラグＩｓＳａｍｅは偽（ＦＡＬＳＥ）とし、テキストＮ．２、Ｎ．３は、既に前出のテキストＴ６に関連付けられて出現しているために真（ＴＲＵＥ）とする。
【００５０】
リストの中の全てのテキスト−音声について処理を終えたならＳ１５０４に分岐して複数のテキスト情報音素が１つの認識結果音素の第１優先となっていないかの判断を行う。即ち、リスト中で、複数のテキスト変換音素列と関連付けられ、かつ複数のテキスト変換音素列についてフラグＯｎＣｌｉｃｋがＴＲＵＥになっているひとつの認識結果音素があるかどうかの判断を行う。
【００５１】
そのためにまずはこれまでの照合結果の参照を行い（Ｓ１５０５）、認識結果音素列ＩＤ毎のＯｎＣｌｉｃｋの値を読む（Ｓ１５０６）。この際にはテキスト変換音素列ＩＤの番号が大きいものの中で、認識結果音素列ＩＤが番号の大きいもの、即ち発話時刻が遅いものから順にテキスト−音声のＯｎＣｌｉｃｋフラグを参照する。図１２（ｂ）の例では、テキストＴ７に関連付けられた認識結果音素列ＩＤであるＮ２，Ｎ３は、テキストＴ６についても重複して関連付けられている。しかしいずれのフラグＯｎＣｌｉｃｋも、複数のテキスト変換音素列に対してＴＲＵＥになってはいないので、Ｓ１５０９へと移行し、全てのテキストＩＤを照合するまで同一の処理を実行する。
【００５２】
一方、Ｓ１５０６の処理において、リストの内容が図１２（ｃ）の例のような場合においては、参照している認識結果音素列Ｎ２は、テキスト変換音素列Ｔ１３とＴ１２と、Ｔ１１とについて、フラグＯｎＣｌｉｃｋがＴＲＵＥになっている。これは即ちテキスト変換音素列Ｔ．１１、Ｔ．１２、Ｔ１３において認識結果音素列Ｎ．２が第１優先として選択されている事を示す。従ってＳ１５０７に移行し、Ｓ１５０７において、参照している認識結果音素列より後に、フラグＯｎＣｌｉｃｋがＴＲＵＥであるような同一の認識結果音素列がリスト１２０２にあるか判定する。あれば参照している認識結果音素列に対応するフラグＯｎＣｌｉｃｋの値をＦＡＬＳＥに書き換える（Ｓ１５０８）。それとともに、当該テキストに関連付けられた認識結果音素列のうち、ＯｎＣＬｉｃｋの値がＦＡＬＳＥに書き換えられた認識結果音素列のひとつ前の認識結果音素列ＩＤに対応するＯｎＣｌｉｃｋの値をＴＲＵＥに変更する。この二つのＯｎＣｌｉｃｋフラグの書き換えをまとめてＯｎＣｌｉｃｋフラグの更新と呼ぶ。
【００５３】
なおＳ１５０７においては、参照している認識結果音素列より後に、フラグＯｎＣｌｉｃｋがＴＲＵＥであるような同一の認識結果音素列がリスト１２０２にあり、かつ、着目テキスト−音声では、複数の認識結果音素列がひとつのテキストに関連付けられていることを判定してもよい。一つの認識結果音素列しか関連付けられていない場合には、これを第１優先から外してしまうと、第１優先とすべき他の候補がいないためである。したがってこの場合、複数の認識結果音素列が関連付けられていれば、Ｓ１５０８に分岐して、当該テキスト−音声のＯｎＣｌｉｃｋ及びそのひとつ前のテキスト−音声のＯｎＣｌｉｃｋを更新する。
【００５４】
一方、Ｓ１５０７の条件が満たされなければＳ１５０９に分岐する。図１２（ｃ）の例では、テキスト変換音素列Ｔ．１１，Ｔ１２に関連付けられた認識結果音素列Ｎ２は、いずれもその後に出現するテキスト変換音素列Ｔ１３においてフラグＯｎＣｌｉｃｋがＴＲＵＥであるので、Ｓ１５０７からＳ１５０８に分岐してＯｎＣｌｉｃｋの値は更新される。またテキストに関連付けられた認識結果音素列も１つではないので、この条件を論理積で与えたとしてもＳ１５０８に分岐する。すなわち該当するＯｎＣｌｉｃｋフラグはＦＡＬＳＥに書き換えられる。それとともに、それぞれのテキストに関連付けられた認識結果音素列Ｎ１（すなわちＴ１１−Ｎ１およびＴ１２−Ｎ１）のＯｎＣｌｉｃｋフラグがＴＲＵＥに書き換えられる。
【００５５】
一方、テキスト変換音素列Ｔ．１３に関連付けられた認識結果音素列Ｎ２は、その後にＯｎＣｌｉｃｋがＴＲＵＥであるような認識結果音素列Ｎ２は出現しないので、Ｓ１５０８をスキップし、そのフラグＯｎＣｌｉｃｋの値そのまま維持される。
【００５６】
図１２（ｄ）は、認識結果音素列Ｎ２については図１３の手順で第１優先のテキストが決定された状態を示す。この状態においてＳ１５０９、Ｓ１５０５でＴ．１３の次のＴ．１２の認識結果ＩＤとＴ１１の中の同一の認識結果ＩＤのＯｎＣｌｉｃｋの値の比較を行う。この状態においてもＴ．１２−Ｎ．１とＴ．１１−Ｎ．１で複数のＯｎＣｌｉｃｋがＴＲＵＥとなっているためＳ１５０７に移行するが、Ｓ１５０７の処理においてはＮ．１より小さな番号が存在しないためＳ１５０９に移行し、次にＴ．１１の認識結果ＩＤの処理に移行し処理を終了する。
【００５７】
図１２（ｃ）に示すように、これらの処理を実行した後にも複数のテキスト変換音素から第１優先で同じ認識結果音素が選択されるような状況にもなる事があるが、その状況でも本システムの動作に影響はない。以上のようにして、テキストと認識結果音素列とを関連付けたリストが完成する。このリストは、認識結果音素列の基礎となった音声議事録或いは映像議事録とメモ入力されたテキストとを関連付けるリストでもある。テキスト−音声対応リスト１２０２は議事録ごとに作成されるために、複数の議事録が記憶される場合には、議事録ごとのフォルダや固有の識別名を付して、議事録ごとに区別される。
【００５８】
＜ディジタル議事録の再生＞
次に、図４、図１４、図１５を参照しながら、ディジタル議事録の再生すなわち閲覧時の動作を説明する。操作者が再生プログラムの起動指示をすることによりＣＰＵは閲覧用のプログラムを起動する。実際には、再生用と記録用を１つのプログラムとして、起動時にモードを選択するようにしてもよい。あるいは、はじめに再生用モードで起動して、必要なときに記録用モードに変更するようにしてもよい。起動すると、議事録再生プログラムは、図４に示すように、テキスト−音声対応リスト１２０２及び図３の議事録データ３０１、議事録メモデータ３０２を参照して、画面に時刻表示部４１、資料表示部（資料ファイルがあれば）４２、テキスト表示部４３、映像場面表示部４４（ビデオファイルがあれば）、サマリー表示部４５を含むユーザインタフェース画面を表示する。ただし図１２のテキスト−音声対応リスト１２０２の例示内容と図３の議事録メモデータ３０２の例示内容及び図４、図１４の例示内容とは別々の例を示しており、関連していない。
【００５９】
さてユーザインタフェースの表示時には、まず時刻表示部４１に時刻を時系列に表示し、表示された時刻ごとに、時刻に関連付けた資料を資料表示部４２に時系列に表示する。このために、たとえば会議資料のページごとに時刻情報を付与することで、同時刻に撮影された映像フレームや記録されたメモと関連付けることができる。そして、議事録メモデータ３０２を参照して、サマリーメモ３３２およびメモ３３３をその記入時刻に基づいて、表示されたタイムラインに対応付けて表示する。またサマリーメモ３３２についてはサマリー表示部４５にも記入時刻順に表示する。さらに映像場面表示部４４には、時刻表示部４１に表示した時刻に対応付けて、撮影時刻のフレームを表示する。表示するフレームは、例えば時刻表示部４１に時刻目盛を表示するならば、その目盛に対応する時刻に応じて選べばよい。
【００６０】
このようにしてユーザインタフェース４０１を表示すると、利用者はそのうえで操作することで、メモに対応した映像を再生することができる。
【００６１】
まずサマリー表示部４５の１行がクリックされると、ＣＰＵは、クリックされたテキストのテキストＩＤと対応付けられた認識結果音素列をテキスト−音声対応リスト１２０２を参照して見出し、その中でＯｎＣｌｉｃｋフラグがＴＲＵＥとなっている発話時刻（ＴＨ）を読み、ユーザインタフェース４０１の中で、その発話時刻を含む段を強調表示する。例えば、クリックされたサマリーテキストに対応するテキスト表示部４３中のテキストと、対応する時刻表示部４１の時刻を異なる色や点滅等で強調表示する。もちろん対応する資料やフレームを強調表示してもよい。
【００６２】
資料表示部４２の１つの資料がクリックされると、クライアント端末１の画面にクリックされた資料が拡大表示される。テスト表示部４３の中のテキストがクリックされると、図１５（ａ）のようにそのテキストと対応付けられた認識結果音素の中でＯｎＣｌｉｃｋがＴＲＵＥとなっている発話時刻（ＴＨ）の時刻の音声もしくは映像がＣＰＵにより再生される。この対応付けは以下の通り行う。例えば、クリックされたテキストのテキストＩＤに対応する認識結果音素列のうち、ＯｎＣｌｉｃｋフラグがＴＲＵＥである認識結果音素列を、テキスト−音声対応リスト１２０２から見つける。それによりその発話時刻（ＴＨ）を特定できるので、議事録データ３０１に含まれる映像データから、その発話時刻に記録されたフレームから映像を再生する。また同様に映像場面表示部の１つの映像（フレーム）がクリックされた場合においても、そのフレームを先頭として映像を再生する。この画面例を図１５（ａ）に示す。映像画面１５０１の下部に、映像全体における再生時点を示すタイムライン１５０２と、巻き戻しボタン１５０３、一時停止ボタン１５０４、早送りボタン１５０５が表示される。また一時停止中には一時停止ボタン１５０４に代えて、再生ボタンが表示される。この表示は、例えばユーザインタフェース４０１とは別ウィンドウで表示される。
【００６３】
なお映像再生の際に、タイムライン１５０２に、その他の対応付けられた認識結果音素の発話時刻を示すマークを再生候補として表示しても良い。再生候補は、テキスト−音声対応リスト１２０２を参照して、ＯｎＣｌｉｃｋフラグがＴＲＵＥとなっている認識結果音素列を選択し、当該音素列に関連付けて、タイムライン１５０２上に、当該音素列の発話時刻に該当する位置にマーク１５０６（図１５（ｂ）の例ではひし形）を表示する。このマークがクリックされると、クリックされたマークに関連付けられた音素列の発話時刻から映像の再生を開始する。また、カーソルがマークにおかれたなら、テキスト−音声対応リストを参照して、マークに関連付けられた音素列に更に関連付けられたテキストを、吹き出しなどで表示してもよい。また、再生候補の表示の際にはＩｓＳａｍｅがＴＲＵＥとなっている認識結果音素列の表示を行わない事も可能とする。これは記入時刻ＴＫが早い時刻の中の同じテキスト変換音素に対応づけられている認識結果音素列の表示を行わないためである。
【００６４】
また、検索機能も備える。ユーザインタフェース４０１中の検索ウィンドウ４６を選択すると、検索語を入力する事が可能となる。検索ボタンをクリックすると、該当するテキストが存在する場所が強調表示される。
【００６５】
次に、上述した議事録を閲覧する手順の概要を、図１６を参照して説明する。この手順は上述した動作をフローチャート化したものである。まずユーザは議事録記録再生装置を操作して、表示されたユーザインタフェース４０１上でディジタル議事録の再生の指示を入力する。ユーザが議事録を閲覧する際に閲覧したい箇所に応じて、操作カーソルを合わせて操作ボタンを押下する。操作ボタンが押下された際の操作カーソルの位置を判断し（Ｓ１６０１）、サマリー表示部４５である場合は、サマリー表示部４５内のメモの１行に対応した表示列を強調する（Ｓ１６０２）。一方操作カーソルの位置がテキスト表示部４３であれば、そのテキストに関連付けられた認識結果音素列（ＯｎＣｌｉｃｋ＝ＴＲＵＥに限る）の発話時刻から映像を再生する（Ｓ１６０３）。さらに、操作カーソルの位置が映像表示部であれば、指示されたフレームからその映像を再生する（Ｓ１６０４）。
【００６６】
このようにして、議事録担当者が記録したメモと、会議の映像や音声とを自動で対応させながら見ることができ、そのときの話題が映像等から追いかけやすくなる。議事録担当者が作成したメモの一部を指定することで、会議の映像や音声のなかからその部分に対応する個所を再生することができ、聞きたい個所を探すのが容易になる。他の手段で録音した音声を利用することができ、録音機器が故障した際などにも対応できる。会議の音声だけでなく映像も検索することができるようになり、ホワイトボードに図を描きながら説明しているような会議でも、内容がわかりやすくなる。議事録担当者が作成したメモだけではなく、会議の際に使用されていた資料などのデータも表示する事が可能となり、会議の内容を伝えやすくなる。
【００６７】
上記のように、本発明の実施形態では、議事録作成再生装置を、入力された文字データが入力された時間情報を付加して記録し、音声データ化したテキストと、記録された音声あるいは映像とを関連付ける。これにより、テキストの入力時刻のみならず、テキストと音声とをその音韻で関連付けることができる。そしてメモを指示すると、指示されたメモに、当該メモのテキストに音韻で関連付けられた音声を再生でき、テキストと音声或いは映像とをより高精度に関連付けることが可能となる。また再生時に、文字データの対応する位置を表示する構成としたので、簡単に目的の部分を参照できる議事録を作成することが可能となる。
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014222290.tif 000003
【図２】
2014222290.tif 000004
【図３】
2014222290.tif 000005
【図４】
2014222290.tif 000006
【図５】
2014222290.tif 000007
【図６】
2014222290.tif 000008
【図７】
2014222290.tif 000009
【図８】
2014222290.tif 000010
【図９】
2014222290.tif 000011
【図１０】
2014222290.tif 000012
【図１１】
2014222290.tif 000013
【図１２】
2014222290.tif 000014
【図１３】
2014222290.tif 000015
【図１４】
2014222290.tif 000016
【図１５】
2014222290.tif 000017
【図１６】
2014222290.tif 000018