(57)【要約】【課題】一見して会議の状況及び会議の参照資料が把握できるようにするとともに、必要な情報に容易にアクセスできるようにする。【解決手段】会議の出席者の音声をマイクにより収音し、収音された音声を音声データに変換して記憶部に記憶する音声処理手段と、前記音声データを解析して前記会議の出席者の各々を特定すると共に、各出席者の発言区間および非発言区間を特定する音声認識手段と、前記会議参加者により起動されたファイルと参照資料、参照ページの資料とをリンクする参照パスを記憶部に記憶する参照資料処理手段と、前記参照資料の設定、会議情報の入力、議事録の再生指示を行う操作手段と、前記音声処理手段と参照資料処理手段によって記憶部に記憶されたそれぞれのデータを、前記会議の議事録の出席者別時間軸に沿って帯状に参照資料、参照ページのアイコンおよび発言状況を示すアイコンと共に表示する操作・表示処理手段とを設ける。【選択図】図２
2013222347.tif 000002
【特許請求の範囲】
【請求項１】
会議の議事録の作成と再生を行う議事録生成装置であって、
前記会議の出席者の音声をマイクにより収音し、収音された音声をデジタル化した音声データを変換して記憶部に記憶する音声処理手段と、
前記音声データを解析して前記会議の出席者を特定すると共に、各出席者の発言区間および非発言区間を特定する音声認識手段と、
前記会議が行われている際に、出席者により参照された資料を検出するとともに、資料のパス及び参照資料の参照ページを記憶部に記憶する参照資料処理手段と、
前記参照資料の設定、会議情報の入力、議事録の再生指示を行う操作手段と、
前記音声処理手段と参照資料処理手段によって各記憶部に記憶されたそれぞれのデータを、前記会議の議事録上の出席者別時間軸に沿って帯状に参照資料、参照ページのアイコンおよび発言状況を示すアイコンと共に表示する操作・表示処理手段とを備えることを特徴とする議事録生成装置。
【請求項２】
前記発言区間および非発言区間を解析し、その結果を会議の雰囲気として分類する感情分類手段を有することを特徴とする請求項１に記載の議事録生成装置。
【請求項３】
前記操作・表示処理手段は、会議情報を入力する会議情報欄、出席者名を入力する出席者欄、各出席者の資料を登録する資料欄を有する議事録テンプレートを表示装置に表示することを特徴とする請求項１または２に記載の議事録生成装置。
【請求項４】
前記操作・表示処理手段からの指示を受けて音声の再生を行う再生手段と、前記会議における資料表示および会議中または会議後の議事録表示を行う表示手段とを備えることを特徴とする請求項１〜３の何れか１項に記載の議事録生成装置。
【請求項５】
前記音声データをテキストに変換する音声／テキスト変換手段と、前記テキストを議事録として、追記・記憶する議事録追記・記憶手段とを備えることを特徴とする請求項１〜４の何れか１項に記載の議事録生成装置。
【請求項６】
前記音声データからキーワードを検出し、表示制御を行うキーワード検出手段を備えることを特徴とする請求項１〜５の何れか１項に記載の議事録生成装置。
【請求項７】
前記操作・表示処理手段は、議事録は音声の情報を時間軸に沿って雰囲気を示すアイコンと共に時間に応じた長さだけ表示し、さらに時間軸に沿って参照された資料を示すアイコンと共に参照時間に応じた長さだけ表示することを特徴とする請求項１〜６の何れか１項に記載の議事録生成装置。
【請求項８】
前記操作・表示処理手段は、音声の状況の変化点をハイライト表示することを特徴とする請求項１〜６の何れか１項に記載の議事録生成装置。
【請求項９】
前記操作・表示処理手段は、発言状況、参照資料は時間軸に沿って出席者別に帯状に表示することを特徴とする請求項１〜６の何れか１項に記載の議事録生成装置。
【請求項１０】
前記操作・表示処理手段は、発言状況、参照資料は時間軸に沿って議論すべき項目別に帯状に表示することを特徴とする請求項１〜６の何れか１項に記載の議事録生成装置。
【請求項１１】
会議の議事録の作成と再生を行う議事録生成方法であって、
前記会議の出席者の音声をマイクにより収音し、収音された音声をデジタル化した音声データを変換して記憶部に記憶する音声処理工程と、
前記音声データを解析して前記会議の出席者を特定すると共に、各出席者の発言区間および非発言区間を特定する音声認識工程と、
前記会議が行われている際に、出席者により参照された資料を検出するとともに、資料のパス及び参照資料の参照ページを記憶部に記憶する参照資料処理工程と、
前記参照資料の設定、会議情報の入力、議事録の再生指示を行う操作工程と、
前記音声処理工程と参照資料処理工程において各記憶部に記憶されたそれぞれのデータを、前記会議の議事録上の出席者別時間軸に沿って帯状に参照資料、参照ページのアイコンおよび発言状況を示すアイコンと共に表示する操作・表示処理工程とを備えることを特徴とする議事録生成方法。
【請求項１２】
会議の議事録の作成と再生を行う議事録生成方法の各工程をコンピュータに実行させるプログラムであって、
前記会議の出席者の音声をマイクにより収音し、収音された音声をデジタル化した音声データを変換して記憶部に記憶する音声処理工程と、
前記音声データを解析して前記会議の出席者を特定すると共に、各出席者の発言区間および非発言区間を特定する音声認識工程と、
前記会議が行われている際に、出席者により参照された資料を検出するとともに、資料のパス及び参照資料の参照ページを記憶部に記憶する参照資料処理工程と、
前記参照資料の設定、会議情報の入力、議事録の再生指示を行う操作工程と、
前記音声処理工程と参照資料処理工程において各記憶部に記憶されたそれぞれのデータを、前記会議の議事録上の出席者別時間軸に沿って帯状に参照資料、参照ページのアイコンおよび発言状況を示すアイコンと共に表示する操作・表示処理工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１３】
請求項１２に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、議事録生成装置及び議事録生成方法に関し、特に、一見して会議の状況及び参照資料を把握できるようにするために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、会議の電子議事録生成装置が提案されている。
例えば、特許文献１に記載されている録音装置は、会議における情況（雰囲気）をタイムラインチャートにマップする。そして、発言区間では明るい声、怒った声などを識別、非発言区間では拍手、笑い声、物音などを識別し、アイコンを用いてマップし、クリック等の操作で所望の区間の再生が可能である。
【０００３】
特許文献２に記載の議事録作成装置は、会議での発言内容を時刻順に漏らすことなく記載し、かつ、発言を行った参加者を特定した議事録を自動で生成することができる。さらに、会議で使用したホワイトボードの記載内容や、プロジェクタ等で使用した画像などのメディア情報を、時刻順に議事録に記録することができ、また、発言内容やメディア情報を端末に出力することが可能である。
【０００４】
特許文献３に記載の電子会議システムの情報処理装置は、各会議メンバの各発言時間帯をその発言内容と共に、例えば各会議メンバの発言内容をアイコンにより表示し、アイコンは発言内容を簡単に示唆したり、発言のメディアの種類を示したりする。発言内容の表示を通じて、議事進行状況、例えば、どのような質疑応答があったか等を一目で見て取ることができ、各発言内容表示領域に該当する発言内容の再生を指示可能とする発言内容再生指示手段を備えている。
【０００５】
特許文献４に記載の自動記録装置は、会議で用いる資料を表示装置に表示している間、一時記憶手段が資料番号を記憶し、音声入力手段が参加者の発言を常に入力し、発言選択手段は発言が公的なものか、私的なものかを判定して、公的なものを選択する。また、インデクス作成手段は、記憶すべき発言が決定すると、資料番号とその発言とを対応付けるためのインデクスを作成し、発言記録手段は、記録すべき発言とそのインデクスが決定した時点で、記憶装置に記憶する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−０５４９９１号公報
【特許文献２】特開２００４−２８７２０１号公報
【特許文献３】特開平６−２６６６３２号公報
【特許文献４】特開平４−８２３５７号公報
【特許文献５】特開２００２−９１４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述した特許文献１〜４では、会議に参加していない者にとって会議の状況の理解に時間を要するという課題がある。状況の理解という意味では、前述した特許文献１の装置が最も状況の理解に有効である。前述した特許文献１によれば、例えば図１０に示すような議事録が生成され、会議の出席者の発言区間や非発言区間を区分して表示すると共に、各区間の雰囲気を一覧表示することができ、所望の区間の発言を参照できる。
【０００８】
しかしながら、一見してどの資料に対する議論であったかは知ることができない。すなわち、発言を参照しない限り何に対する議論であったかを理解することができない問題点があった。
本発明は前述の問題点に鑑み、一見して会議の状況及び会議の参照資料が把握できるようにするとともに、必要な情報に容易にアクセスできるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の議事録生成装置は、会議の議事録の作成と再生を行う議事録生成装置であって、前記会議の出席者の音声をマイクにより収音し、収音された音声をデジタル化した音声データを変換して記憶部に記憶する音声処理手段と、前記音声データを解析して前記会議の出席者を特定すると共に、各出席者の発言区間および非発言区間を特定する音声認識手段と、前記会議が行われている際に、出席者により参照された資料を検出するとともに、資料のパス及び参照資料の参照ページを記憶部に記憶する参照資料処理手段と、前記参照資料の設定、会議情報の入力、議事録の再生指示を行う操作手段と、前記音声処理手段と参照資料処理手段によって各記憶部に記憶されたそれぞれのデータを、前記会議の議事録上の出席者別時間軸に沿って帯状に参照資料、参照ページのアイコンおよび発言状況を示すアイコンと共に表示する操作・表示処理手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、実施した会議の情報を、アイコンを用いて時系列に表現するようにした。そして、各アイコンは会議の状況と参照資料を表すと共に、議論内容および参照資料、参照ページへリンクさせるようにした。これにより、一見して会議の状況及び参照資料が把握できると共に、所望の情報に容易にアクセスすることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態を示し、議事録生成システムの構成例を示す図である。
【図２】第１の実施形態の議事録生成装置の構成例を示すブロック図である。
【図３】第１の実施形態に対応する会議開始前の議事録の一例を示す図である。
【図４】第１の実施形態に対応する会議後の議事録の一例を示す図である。
【図５】第１の実施形態の議事録生成装置の処理の流れを示すフローチャートである。
【図６】第２の実施形態の議事録生成装置の構成例を示すブロック図である。
【図７】第２の実施形態に対応する会議開始前の議事録の一例を示す図である。
【図８】第２の実施形態に対応する会議後の議事録の一例を示す図である。
【図９】第２の実施形態の議事録生成装置の処理の流れを示すフローチャートである。
【図１０】従来技術の議事録の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
以下、本発明の第１の実施形態を図１の構成図と、図２のブロック図と、図３の会議開始前の議事録テンプレートを示す図と、図４の会議後の議事録を示す図を用いて説明する。
図１は、本実施形態の議事録生成装置の構成例を示す図、図２は議事録生成装置のブロック図である。
【００１３】
図１の構成図において、議事録生成装置１０１は会議が行われる部屋に設置され、出席者の音声を収音するためのマイク１０２に接続されている。また、議事録生成装置１０１は会議における資料を表示するための端末（プレゼンテーション用端末）としても使用されるため、プロジェクタや大画面ディスプレイなどの表示装置１０３に接続されている。なお、図１における操作者は資料説明者でもよく、特定の操作者を割り当ててもよく、特に限定しない。
【００１４】
本実施形態の議事録生成装置１０１は、会議の議事録の作成と再生を行う機能を有し、図２に示す通り、音声処理部２１、参照資料処理部２２、テキスト議事録生成部２３および操作・表示処理部２４で構成されている。
音声処理部２１は、収音部２０１、音声データ記憶部２０２、音声認識部２０３、感情分類部２０４、再生部２０５により構成されている。
【００１５】
参照資料処理部２２は、参照資料パス記憶部２０６および参照ページ区間情報記憶部２０７により構成されている。
テキスト議事録生成部２３は、音声／テキスト変換部２１１および議事録追記・記憶部２１２により構成されている。
操作・表示処理部２４は、操作部２０８、表示・再生制御部２０９、表示部２１０により構成されている。操作部２０８は、参照資料の設定、会議情報の入力、議事録の再生指示を行う。なお、各記憶部における記憶手段は不図示のＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスクドライブ等により実現される。
【００１６】
次に、本実施形態の議事録生成装置１０１の動作について説明する。
まず、会議前に議事録担当者は議事録生成装置１０１を起動し、図３に示す様な議事録テンプレートの会議情報欄３０１に会議情報を、出席者欄３０２に出席者名を、資料欄３０３に各出席者の資料を登録する。ここで、会議情報とは会議名、開催場所等の情報であり必要に応じて入力する。また、資料はＬＡＮなどのネットワークを介して参照してもよく、議事録生成装置１０１の外部記憶装置にダウンロードして参照することも可能である。
これらの準備が整い会議が開始できる状態になったら、会議開始ボタン３０４を押す。これにより、音声処理と参照資料処理が会議終了ボタン３０５が押されるまで続行される。
【００１７】
図２を用いて各処理について説明する。
まず、音声処理部２１について説明する。会議開始ボタン３０４が押されることにより、音声データの記録が開始される。音声データの収音は収音部２０１により行われる。収音部２０１は、複数の出席者（例えば出席者Ａ、Ｂ、Ｃ、Ｄ）の音声を収音し、デジタル音声信号に変換するデジタル化を行い音声データ記憶部２０２に入力する。収音部２０１は１つ以上のマイクを備えており、各出席者別に割り当てる複数のマイクでもよく、全出席者の音声を一括して収音するマイクであってもよい。
【００１８】
音声認識部２０３は、音声データ記憶部２０２から入力されたデジタル音声信号を解析して、各出席者の発言の区切りを検出することにより、各出席者の発言区間、および非発言区間を割り出す。各発言区間については、発言者を特定し、非発言区間については、その区間の状況（無音、拍手、物音など）を特定する。そして、特定した音声データを感情分類部２０４に出力する。
なお、各出席者の発言は、予め登録された各出席者の音声波形の認識により識別することができる。また、各出席者に個別にマイクが設けられている場合は、どのマイクで収音されたかによって発言者を識別することができる。
【００１９】
感情分類部２０４は、発言区間を解析し、その結果を会議の雰囲気として分類する。この感情の解析は、例えば、特許文献５等に記載の技術を適用して実現することができる。
なお、音声データの記憶、音声認識、感情分類は同時に並列に行うことも可能である。
【００２０】
次に、参照資料処理部２２について説明する。
議事録生成装置１０１はプレゼンテーション資料表示用の端末としても使用される。そのため、資料欄の資料がクリック等により選択されると、適当なアプリケーションによって起動・表示される。この時、アクセスコマンド等により起動されたファイルを検出し、参照資料パス記憶部２０６により参照パスを記憶する。さらに、同アクセスコマンドにより参照ページ数を取得し、参照ページ区間情報記憶部２０７にて参照ページ情報を記憶する。音声データとこれら参照資料情報は同一時刻のタイムスタンプにて管理されるため、音声データと参照資料データとは時間的にリンクされている。
【００２１】
次に、テキスト議事録生成部２３について説明する。音声データは、音声／テキスト変換部２１１にてテキスト化され、各出席者の識別情報および参照資料情報と共に、議事録追記・記憶部２１２によりテキストベースの議事録として随時更新・追記される。
【００２２】
次に、操作・表示処理部２４について説明する。
本実施形態の操作・表示処理部２４は、音声処理部２１と参照資料処理部２２によって記憶されたそれぞれのデータは議事録上の出席者別時間軸に沿って帯状に参照資料のアイコンおよび発言状況を示すアイコンと共に表示されるようにしている。
【００２３】
図４は、議事録生成装置のディスプレイに表示される発言・参照資料一覧の画面を示す図である。この表示は、出席者を縦軸に、経過時間を横軸に配し、参照資料の参照時間に応じた長さの帯状アイコンを表示し、音声データについてはある単位時間毎（例えば３分）に細分化し、状況を示すアイコンを出席者別に配置している。勿論、参照資料を単位時間毎のアイコンで示し、音声データを発言時間に応じた帯状のアイコンで示すことも可能である。
【００２４】
図４は、図１０に示した従来の議事録に対応する本発明の第１の実施形態で生成される議事録の一例を示す図である。なお、本実施形態は会議に参加していない者にとってより有用となる議事録生成装置である。たとえば、会議に参加していないが、会議の結論に責任を持つ上司への報告用資料として特に有用である。
【００２５】
本実施形態の議事録生成装置により生成される議事録は、音声の雰囲気を示すアイコンと、参照資料を示すアイコンが議論時間に対応して表示されることで、以下の点が明確になる。
（１）どの資料に対する議論であったか。
（２）結論に至る過程がどの様な雰囲気であったか。
（３）議論時間、すなわち、結論に至る過程での議論がどうであったかを、参照された資料情報と共に一見して知ることができる。たとえば、以下の状況が一見して理解できる。
（４）ある資料に対する議論では、短い時間で結論が出た（結論は、妥当である可能性が高いと推測可能）。
（５）別のある資料に対する議論では、紆余曲折の末、結論に至った（結論に至った経緯を確認し、妥当性を判断した方が良いと推測可能）。
これらにより、会議に不参加であった者でもポイントが理解できると共に、確認すべきと判断した議論における音声と資料を、マウスのクリック等により、容易に素早く参照することができる。
【００２６】
なお、会議における状況が変化した時がその会議における重要な議論である場合が多いため、この変化をわかり易くアイコンにて表示することも可能である。例えば、平穏な雰囲気から騒がしい雰囲気に変化したポイントにそれを示すアイコンにてハイライト表示する。これとは逆に、騒がしい雰囲気から、沈黙への移行等においても、同様にハイライト表示する。これにより、会議中または会議後の議事録表示を正確に行うことができるので、会議での状況の変化が一見して分かる。
【００２７】
次に、本実施形態の議事録生成に対応する処理の一例を図５のフローチャートを参照して説明する。
まず、Ｓ５０１では議事録のテンプレートを表示するのに必要な初期設定を行う。ここでは、会議の情報、主席者、参照資料などの登録を行う。初期設定後、会議の開始準備が整った段階で、続くＳ５０２で会議開始ボタン３０４が押されるとＳ５０３に進む。
【００２８】
Ｓ５０３では、会議終了ボタン３０５が押される（Ｓ５０３における「Ｙｅｓ」）まで議事の記録を続ける。Ｓ５０３で「Ｎｏ」と判断されると、音声処理を行うフローと参照資料処理を行うフローとを並列に処理する。
【００２９】
まず、音声処理のフローについて説明する。
Ｓ５０４では複数の会議出席者（例えば出席者Ａ、Ｂ、Ｃ、Ｄ）の音声を収音し、デジタル音声信号に変換して音声データ記録する。続くＳ５０５ではデジタル音声信号を解析して、各出席者の発言の区切りを検出することにより、各出席者の発言区間、および非発言区間を検出する。各発言区間については、発言者を特定し、非発言区間については、その区間の状況（無音、拍手、物音騒など）を特定する。
【００３０】
続くＳ５０６では発言区間を解析し、その結果「笑い」、「怒り」、「暗い」等の雰囲気に分類する。この感情の解析は、例えば、前述した特許文献５等に記載の技術を適用して実現することができる。なお、上記音声データの記憶、音声認識、感情分類は同時に並列に行うことも可能である。
【００３１】
次に、参照資料処理のフローについて説明する。議事録生成装置１０１はプレゼンテーション資料表示用の端末としても使用される。そのため、資料欄の資料がクリック等により選択されると、適当なアプリケーションによって起動・表示される。この時、Ｓ５０７ではアクセスコマンド等により起動されたファイルを検出し、参照パスを記憶する。
次に、Ｓ５０８では、さらに同アクセスコマンドにより参照ページ数を取得し、参照ページ情報を記憶する。
【００３２】
音声データはさらに、Ｓ５０９にてテキスト変換され、続くＳ５１０にて各出席者の識別情報および参照資料情報と共に、テキストベースの議事録として随時更新・追記される。
Ｓ５１１では、音声データ処理と参照資料処理によって記憶されたそれぞれのデータを議事録上の出席者別時間軸に沿って帯状に参照資料のアイコンおよび発言状況を示すアイコンと共に表示する。
【００３３】
次に、再生動作について説明する。
本議事録の再生に必要なデータベースは、議事録生成装置１０１の記憶領域に記憶されており、必要に応じて随時再生可能である。再生を開始すると、図４に示す様な議事録が表示される。
【００３４】
図４において、４０１はＡ氏の資料へのリンク、４０２はＢ氏の明るい雰囲気の発言へのリンクである。また、４０３はＣ氏の暗い雰囲気の発言へのリンク、４０４はＡ氏の怒った雰囲気の発言へのリンク、４０５はＤ氏の笑っている雰囲気の発言へのリンク、をそれぞれ示すアイコンである。また、４０６は有音区間であることを示し、４０７は無音区間であることを示す。
【００３５】
さらに、４０８はテキストベースの議事録へリンクするアイコンを示している。操作者により所望の区間の参照資料アイコンもしくは音声アイコンをマウス等でクリックされることにより、該当区間に参照されていた資料が再生表示されると共に同時刻の音声が再生される。この再生はある操作（例えばEscキーを押す等）で停止することができる。再生停止後、操作者は引き続き、所望の再生区間を指定することにより、議事録を読み進めることができる。
【００３６】
以上によれば、実施した会議の情報を、会議の雰囲気を示す音声アイコンと、参照資料を示すアイコンとを時系列に発言時間および参照時間を示す期間を表現することができる。さらに、音声アイコンは会議のポイントとなる可能性の高い音声状況の変化点をハイライト表示することができる。
【００３７】
各アイコンは、音声データおよび参照資料の参照ページへリンクしている。これにより、一見して会議の状況が把握できると共に、所望の情報に容易にアクセスが可能となる。
また、テキストベースの議事録へのリンク４０８をクリックすることにより、議事録の表示および閲覧が可能である。
以上説明したように、議事録の再生は閲覧者の操作に基づいて行われるため、記録時のようなフローチャートは規定しない。
【００３８】
［第２の実施形態］
以下、発明の第２の実施形態を図６のブロック図と、図７の会議開始前の議事録テンプレートを示す図と、図８の会議後の議事録を示す図を用いて説明する。第２の実施形態の構成図は、第１の実施形態の構成図である図１と同様であるため説明を省略する。
【００３９】
図６は、第２の実施形態の議事録生成装置のブロック図である。本実施形態において、議事録生成装置は、音声処理部６１、参照資料処理部６２、テキスト議事録生成部６３および操作・表示処理部６４で構成されている。なお、各記憶部における記憶手段は不図示のＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスクドライブ等により実現される。
【００４０】
まず、会議前に議事録担当者は議事録生成装置を起動し、図７に示す様な議事録テンプレートの会議情報欄７０１に会議情報を、患者名欄７０２に患者名を、資料欄７０３に各患者の資料を、出席者欄７０４に出席者を登録する。この議事録テンプレートは縦軸が出席者別ではなく議論すべき項目別であることを特徴とする。
【００４１】
この例では、病院における手術前カンファレンスを想定しており、縦軸を患者名としている。これらの準備が整い会議が開始できる状態になったら、会議開始ボタン７０６を押す。これにより、音声処理と参照資料処理が会議終了ボタン７０７が押されるまで続行される。
【００４２】
次に、図６を用いて各処理について説明する。
音声処理部６１について説明する。会議開始ボタン７０６が押されることにより、音声データの記録が開始される。音声処理部の収音部６０１〜再生部６０５は第１の実施形態における、図２に記載の収音部２０１〜再生部２０５の処理と同様であるため説明を省略する。
【００４３】
次に、参照資料処理部６２について説明する。参照資料パス記憶部６０６〜参照ページ区間情報記憶部６０７は第１の実施形態における図２に記載の参照資料パス記憶部２０６〜参照ページ区間情報記憶部２０７の処理と同様であるため説明を省略する。
次に、テキスト議事録生成部６３について説明する。音声／テキスト変換部６１１〜議事録追記・記憶部６１２は第１の実施形態における図２に記載の音声／テキスト変換部２１１〜議事録追記・記憶部２１２の処理と同様であるため、説明を省略する。
【００４４】
音声／テキスト変換部６１１によりテキスト変換されたデータは、キーワード検出部６１３において、予め登録された開始キーワード（例えば、“これよりサマライズを開始します”など）を音声認識により検出される。そして、これをトリガとして以降の発言を各患者別のサマリ欄にテキスト表示する表示制御が行われる。
【００４５】
さらに、予め登録された終了キーワード（例えば、“これでサマライズを終了します”など）を音声認識により検出し、以降の開始キーワードを検出するまでこの機能を停止する。これにより、会議における決定事項を会議参加者全員で再確認し共有することができ、認識の相違を避けることができると共に、会議後でも一見して決定事項を知ることができる。
【００４６】
次に、操作・表示処理部６４について説明する。操作部６０８〜表示部６１０は第１の実施形態における図２に記載の操作部２０８〜表示部２１０の処理と同様であるため説明を省略する。
図８は、議事録生成装置のディスプレイに表示される発言・参照資料一覧の画面を示す図である。この表示は、患者を縦軸に、経過時間を横軸に配し、参照資料の参照時間に応じた長さの帯状アイコンを表示し、音声データについてはある単位時間毎（例えば３分）に細分化し、状況を示すアイコンを患者別および出席者別に配置している。音声データを示すアイコンは、どの患者別の資料が参照されているかにより、どの患者の時間軸に表示すべきかを判断することができる。
【００４７】
なお、会議における状況が変化した時がその会議における重要な議論である場合が多いため、この変化をわかり易くアイコンにて表示することも可能である。例えば平穏な雰囲気から騒がしい雰囲気に変化したポイントにそれを示すアイコンにてハイライト表示する。これとは逆に、騒がしい雰囲気から、沈黙への移行等においても、同様にハイライト表示する。これにより、会議での状況の変化が一見して分かる。
【００４８】
次に、本実施形態の議事録生成に対応する処理を図９のフローチャートを参照して説明する。
まず、Ｓ９０１では議事録のテンプレートを表示するのに必要な初期設定を行う。ここでは、会議の情報、患者、主席者、参照資料などの登録を行う。初期設定後、会議の開始準備が整った段階で続くＳ９０２で会議開始ボタンが押される。
以降のＳ９０３〜Ｓ９１１の各処理は、前述した第１の実施形態における図５に記載のＳ５０３〜Ｓ５１１の処理と同様であるため、説明を省略する。
【００４９】
Ｓ９１２は、予め登録された開始キーワード（例えば、“これよりサマライズを開始します”など）を音声認識により検出する。開始キーワードと認識されれば（Ｓ９１２における「Ｙｅｓ」）、続くＳ９１３により、これをトリガとしてサマリ欄にテキストを書き出す。
【００５０】
開始キーワードと認識されなければ（Ｓ９１２における「Ｎｏ」）、続くＳ９１４にて予め登録された終了キーワード（例えば、“これでサマライズを終了します”など）を音声認識により検出する。終了キーワードと認識されれば（Ｓ９１４における「Ｙｅｓ」）、続くＳ９１５にてサマリ欄へのテキスト表示を停止する。終了キーワードと認識されなければ（Ｓ９１４における「Ｎｏ」）、Ｓ９０３へ戻る。
再生動作については第１の実施形態と同様であるので説明を省略する。
【００５１】
以上によれば、実施した会議の情報を、会議の雰囲気を示す音声アイコンと、参照資料を示すアイコンを時系列に発言時間および参照時間を示す期間を表現することができる。さらに音声アイコンは会議のポイントとなる可能性の高い音声状況の変化点をハイライト表示することができる。
【００５２】
各アイコンは音声データおよび参照資料の参照ページへリンクしている。これにより、一見して会議の状況が把握できると共に、所望の情報に容易にアクセスが可能となる。
さらに、各患者別にサマリ表示を行うことで情報の再確認・共有に有用である。
また、テキストベースの議事録へのリンクをクリックすることにより、議事録の表示および閲覧が可能である。
【００５３】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５４】
２０１  収音部、２０２  音声データ記憶部、２０３  音声認識部、２０４  感情分類部、２０５  再生部、２０６  参照資料パス記憶部、２０７  参照ページ区間情報記憶部、２０８  操作部、２０９  表示・再生制御部、２１０  表示部、２１１  音声／テキスト変換部、２１２  議事録追記・記憶部
【図１】
2013222347.tif 000003
【図２】
2013222347.tif 000004
【図３】
2013222347.tif 000005
【図４】
2013222347.tif 000006
【図５】
2013222347.tif 000007
【図６】
2013222347.tif 000008
【図７】
2013222347.tif 000009
【図８】
2013222347.tif 000010
【図９】
2013222347.tif 000011
【図１０】
2013222347.tif 000012