(57)【要約】【課題】会議等で発生した多種多様な情報を、発言者やワード、フレーズなどに連携させて時刻情報と共に記録し、後日に所定の検索キーを利用して所望の情報を検索できるようにする。【解決手段】会議室１００、会議室への入退室を管理する入退室コントロールユニット２００、ディスプレイユニット３００、映像/音声蒐集ユニット４００、記録ユニット５００、情報統合ユニット６００、統括制御ユニット７００、および時計８００で構成され、記録ユニット５００に記録された会議情報を入出力インタフェース９００から入力するキーワードあるいはキーフレーズ等により検索する。【選択図】図１
2010277613.tif 000002
【特許請求の範囲】
【請求項１】
会議室で開催される会議で発生した多種多様な情報を記録し、記録された情報から所望の情報を取出しできるようにした会議内容記録再生方法であって、
前記会議室の出入口に設けられて会議参加者の入退室を管理する入退室コントロールユニットと、前記会議室の内部に設置されたディスプレイユニットと、映像/音声蒐集ユニットと、記録ユニットと、情報統合ユニットと、統括制御ユニットと、時刻情報を出力する時計を備え、
前記入退室コントロールユニットは、入退室検出装置と、入退室者情報記録装置と、出席者登録装置と、出席者ＩＤ情報格納装置と、入退室コントロールユニット制御装置とを有し、
前記映像／音声蒐集ユニットは、複数のカメラからなる映像採取装置からの撮影出力を入力する発言者映像蒐集装置と、複数のマイクロホンからなる音声採取装置の音声出力を入力する発言者音声蒐集装置とを有し、
前記記録ユニットは、前記ディスプレイに表示された可視情報を記録するディスプレイ表示内容記録装置と、発言者映像蒐集装置で採取された発言者の映像情報を記録する発言者映像記録装置と、発言者音声蒐集装置で採取された発言者の音声情報を記録する発言内容記録装置と、会議主題の概要を予め記録しておく予稿内容記録装置と、ＩＤ対応で採取した会議参加者の音声から抽出した声紋を記録する声紋データ格納装置とを有し、
前記情報統合ユニットは、音声→キー情報抽出作成装置と、キー情報／シソーラス格納装置と、情報連係装置と、辞書と、情報統合ユニット制御装置を有し、
前記統括制御ユニットは、システムの起動や、会議の開催に先立って必要な書誌事項などの事前設定、基本制御条件の設定、および後述する情報検索モードにおいて検索条件を入力するための入出力インタフェースを有し、
前記記録ユニットに記録された情報を、後日、前記統括制御ユニットの入出力インタフェースから入力する特定のワードあるいは特定のフレーズを検索キー情報として前記記録ユニットに記録された情報を検索して当該キー情報に関する発言者の氏名等のＩＤ情報を特定して発言者として出力し、
前記統括制御ユニットは、前記特定のワードあるいは特定のフレーズに該当する発言者が検索されない場合は、発言者を推定して出力することを特徴とする会議内容記録再生方法。
【請求項２】
請求項１において、
前記統括制御ユニットは、前記特定のワードあるいは特定のフレーズの発言頻度、当該特定のワードあるいは特定のフレーズの前後の発言者、質問者の発言内容から確立理論で推定することを特徴とする会議内容記録再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議に出席した者の発言と発言内容の詳細を主題と当該発言者とに連携して日時・時刻と共に記録し、後日に特定のキーワードあるいはキーフレーズを用いて、会議内容、発言者の特定あるいは推定をし、その発言時点等を検索可能とした会議内容記録再生方法に関する。
【背景技術】
【０００２】
例えば、技術開発の研究発表では、その技術開発で得られた結果が、どのような法則、規則、因果関係にあるかが重要である。また、アイデア発案、基本仕様作成、試作、製品化および特許出願などの各段階で複数の技術者、管理者が出席して発表、質疑応答、論議などを行った場合に、その論議された内容に真に重要な発明があることがしばしばである。
【０００３】
このような会議の結果を、後日に先発言権の所在や各段階でのアイデア提供元の確認を行うことで、共有権利の持分の明確化、資源の分担割合などを担保することが要求されている。このような活動を、ＤＲ（デザイン・レビュー）又はＤＲＭ（デザイン・レビュー・ミーティング）とも称している。
【０００４】
現在、複数の企業や大学などを一つの組織にまとめ、その組織の管理者が主催する発表会や討論会（以下、会議）での発表内容、質疑応答の内容を記録した紙文書、あるいは容易に再生可能な記録媒体に電子文書として記録し、若しくは会場の様子を撮影したビデオ記録を作成し、これらに対して権限を与えられた管理者が認証し、保管して置く方法がある。そして、後日、権利の帰属、開発等費用の分担割合などを算定するための認証手段として、公証役場を利用し、当該公証役場で認証を受けた紙文書、あるいは記録媒体の内容を再生することで確認する方法がとられている。
【０００５】
なお、本発明の技術内容に関連して、会議等の内容を電子文書として記録する従来技術や参加者の認証方法に関する従来技術として、特許文献１、特許文献２、特許文献３、特許文献４などを挙げることができる。また、会議等での発言内容からテキスト文書を生成する従来技術として、例えば特許文献５を挙げることができる。さらに、本発明の実施例で用いられるディスプレイとしての電子ボードに関する技術を開示したものとして特許文献６、特許文献７などを挙げることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４‐２０８１８８号公報
【特許文献２】特開２００２‐２７１４９８号公報
【特許文献３】特開２００２‐２５１３９３号公報
【特許文献４】特開平８‐３１６９５３号公報
【特許文献５】特開２００５‐２７７４６２号公報
【特許文献６】特開２００２‐１４２０５４号公報
【特許文献７】特開２００７‐２２０３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このような会議の場で発表され、質疑応答や論議をした内容は図表、構造図、機構図、パラメータ、あるいはまた数式であり、これらは発言と共に、ホワイトボード等のディスプレイ上に、あるいは電子的ディスプレイ（前掲の電子ボードなど）の画面上に可視表示される。そして、この表示内容に対して、追記、・修正・消去、などの変更が随時なされる可能性が大きい。このような多種多様な情報を時間軸に沿って時刻情報と共に漏らさずに記録するには、従来の筆記では不可能であり、従来の録音手段、録画手段でも十分でない。
【０００８】
また、このような多種多様な情報を記録した後に、発言に含まれている用語（ワード）、あるいは記述（フレーズ）を検索キーとしてそれを最初に発言した、所謂先発言者や、それと関連情報を特定するとか、その逆の検索を行うことを要望されることがある。このような要望に対して、意図した情報を容易に検索して再現できるシステムは現時点では存在しない。
【０００９】
本発明の目的は、会議等で発生した多種多様な情報を、発言者や用語、フレーズなどで連携させて時刻情報と共に記録し、記録された情報から所定の検索キーを利用して所望の情報を容易に再現できるようにした会議内容記録システムを実現することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明は、会議等で発生したディスプレイ画像、発言者映像、その発言音声などの各種情報を当該発言音の個人認証情報と連携させた電子情報として時刻情報と共に記録することで、後日に、記録されている電子データを所定の検索キーを利用して所望の情報を容易に取得できるようにした。
【００１１】
本発明の会議内容記録システムは、会議室に本発明の目的を実現するための様々な手段を備える。この手段には、会議の主題にかかる文書や図面、数式など、の情報を画像として表示し、会議出席者全員に提示するためのディスプレイが重要な要素として含まれる。  このディスプレイには、その表示画面に表示された画像情報を決められた時刻で定期的に、あるいは恣意的操作で随時に読み取って時刻情報と共に記録する手段を機能として付属させるか、このような機能を持つ手段を別途に設ける。
【００１２】
この記録システムには、当該会議主題の発表を行う発言者の発言内容およびその映像、質疑応答の発言者の発言内容（音声情報）およびその映像情報を蒐集し、時刻情報と共に記録する手段が含まれる。さらに、発言者を特定し、時刻情報と上記音声情報およびその映像情報とを連携させる情報統合手段を含む。この発言者には、会議の進行係も含まれる。
【００１３】
本発明システムを構成する会議室は、会議出席者の入退室を管理する入退室コントロール手段を備えている。この入退室コントロール手段は、会議室に入退室する出席者を特定し、会議中、会議終了後を含めて当該会議室への入室と退室を含めて参加者の動向を時間情報と共に確認し、記録する。記録した入退室情報は会議における発言者の特定とその記録におけるキー情報の一つとして用いられる。以下の具体的な説明では、手段をユニットと記述する。
【００１４】
本発明に係る会議内容記録システムの構成をより詳しく述べれば次のとおりである。本発明に係る会議内容記録システムは、上記した会議室、入退室コントロールユニット、ディスプレイ、音声情報およびその映像情報蒐集ユニット、記録ユニット、情報統合ユニット、時計、統括制御ユニットで構成される。記録ユニットは、上記入退室コントロールユニット、ディスプレイユニット、音声情報およびその映像情報蒐集ユニットで採取された各種の情報の格納と、上記情報統合ユニットで作成された情報統合情報を格納する。
【００１５】
上記記録ユニットに記録された情報は、後日に所要の情報をキーとして検索することができる。
【発明の効果】
【００１６】
この会議室で開催された会議で発生した様々な情報を網羅的に記録し、これを所要のキーに基づいて検索することにより再現できるので、会議の内容を発言者特定、キー情報特定、時刻特定、等で再現できる。また、時間軸に沿って発言者特定で会議内容を再現できるため、所謂先発言者を特定することが容易となる等、会議で発生した多種多様な情報に基づいて、特定のワードあるいはフレーズを検索キーとして発言者を特定するとか、その逆の検索を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る会議内容記録システムの全体構成を説明する機能ブロックある    。
【図２】本発明に係る会議室の構成例を説明する概念図である。
【図３】本発明に係る会議室に設ける入退室コントロールユニットの構成例を説明する機能ブロック図である。
【図３Ａ】入退室コントロールユニットを構成する入退室検出装置の例を説明する機能ブロック図である。
【図３Ｂ】入退室コントロールユニットにおける会議開始前の入退室検出動作の一例を説明する流れ図である。
【図３Ｃ】入退室コントロールユニットにおける会議開始後の入退室検出動作の一例を説明する流れ図である。
【図４】本発明に係る会議室に設けるディスプレイユニットの構成例を説明する機能ブロック図である。
【図４Ａ】ディスプレイユニットの具体例を説明する図である。
【図４Ｂ】ディスプレイユニットの表示部の具体例を説明する図である。
【図４Ｃ】ディスプレイユニットに表示される内容の読み取りと記録動作の一例を説明する流れ図である。
【図５】本発明に係る映像/音声蒐集ユニットの構成例を説明する機能ブロック図である。
【図５Ａ】映像/音声蒐集ユニットを構成する発言者映像蒐集装置の構成例を説明する図である。
【図５Ｂ】映像/音声蒐集ユニットを構成する発言者音声蒐集装置の構成例を説明する図である。
【図６】本発明に係る記録ユニットの構成例を説明する機能ブロック図である。
【図７】本発明に係る情報統合ユニットの構成例を説明する機能ブロック図である。
【図７Ａ】情報統合ユニットにおける音声―キー情報抽出装置の構成例を説明する機能ブロック図である。
【図７Ｂ】情報統合ユニットにおける情報連携装置の処理例を説明する図である。
【図８】記録ユニットに記録されている会議情報を検索する手順の一例を説明する流れ図である。
【発明を実施するための形態】
【００１８】
会議等で発生した多用な情報を、発言者や、その発言あるいはディスプレイに表示されたワード、フレーズなどで連携させて時刻情報と共に記録し、記録された情報から所定のして所望の情報を容易に再現できるようにした。
【００１９】
図１は、本発明に係る会議内容記録システムの全体構成を説明する機能ブロック図である。この実施例の会議内容記録システムは、会議室１００、会議室への入退室を管理する入退室コントロールユニット２００、ディスプレイユニット３００、映像／音声蒐集ユニット４００、記録ユニット５００、情報統合ユニット６００、統括制御ユニット７００、および時計８００で構成される。なお、統括制御ユニット７００には、本システムの起動や、会議の開催に先立って必要な書誌事項などの事前設定、基本制御条件の設定、および後述する情報検索モードにおいて検索条件を入力するための入出力インタフェース９００が接続されている。入出力インタフェース９００は、例えばキーボードとマウスからなる入力デバイス９０１と、キーワードあるいはキーフレーズおよび検索条件の確認と結果出力のためのディスプレイモニター９０２とで構成され、オペレータとシステムの間の会話を実行する。
【００２０】
時計８００は各制御装置、あるいは統括制御ユニット（ＣＰＵ）７００に備える時計でよく、またこれらの時計を標準時間電波信号（ＪＪＹ）で校正する電波校正時計とすることで、日付時刻の正確性を保持するようにしてもよい。これらの構成要素はデータバス１０００で相互に接続されて、各構成要素に有する制御装置と統括制御ユニット７００の制御の元に、本発明の目的を達成するために有機的に動作する。以下、本発明の実施形態について実施例を参照して詳細に説明する。
【実施例１】
【００２１】
本発明にかかる会議内容記録システムを運用するための会議室１００の実施例１の構成例を図２により説明する。会議室１００の出入口には扉１０１を有する。図２には、扉１０１を一つのみ示したが、これは複数あることを排除しない。しかし、扉１０１の近傍に設ける入退室検出装置２０１の設置コストを考えれば、会議室１００には一つの扉１０１で入退室するように構成するのが望ましい。図２には、入退室検出装置２０１を会議室１００の内側に設置するものとして示したが、外側でもよいことは言うまでもない。
【００２２】
会議室１００の内側には、ディスプレイ３０１、ディスプレイへの情報書き込みを行うディスプレイ書込装置３０２が設けられている。このディスプレイ書込装置３０２は、ディスプレイ３０１の機能に応じたものである。詳しくは後述する。また、ディスプレイ３０１に表示された情報を読み取るためのディスプレイ読取装置３０２が設けられている。このディスプレイ読取装置３０２も又、ディスプレイ３０１の機能に応じたもので、詳しくは後述する。
【００２３】
さらに、会議室１００の内側には、映像採取装置と音声採取装置が設置されている。映像採取装置は複数のカメラ４０４１−４０４ｎで構成され、会議室１００において発言者の映像や扉１０１を通る出席者の映像を採取するように設置されている。音声採取装置は複数のマイクロホン（以下、マイク：ＭＩＣ）４０５１−４０５ｍで構成され、発言者の発言音声を採取するように設置されている。
【００２４】
なお、会議室１００の内側には、会議の主題を発表する発表者席（演壇）３０５、会議の出席者のための席３０６が配置されている。図示しないが、会議の進行係の席を設けることもできる。
【００２５】
図３は、会議室の出入口に設ける入退室コントロールユニットの構成例を説明する図である。この入退室コントロールユニット２００は、入退室検出装置２０１、入退室者情報記録装置２０２、出席者登録装置２０３、音声分析装置２０４、出席者ＩＤ情報格納装置２０５、および入退室コントロール手段制御装置２０６とで構成される。入退室検出装置２０１は、会議室に入室しようとする参加者の個人情報を検出すると共に、その後に会議室に入退室する参加者を検出し、管理する。
【００２６】
入退室検出装置２０１の構成例を図３Ａに示す。入退室検出装置２０１は、会議室に入室しようとする参加者が携帯するＩＣチップを埋め込んだＩＤカードの格納情報を読み取るＩＤカード読取装置２０１１、参加者の生体認証を行う、所謂バイオインターフェース２０１２、参加者の姿・要望などを採取するカメラ２０１３、参加者の音声を採取するマイク２０１４を備えることができる。なお、バイオインターフェース２０１２は、人間の身体的特徴のうちの静的特徴（指紋、掌形、網膜や虹彩のパターン、など）、あるいは行動的特徴（筆跡：筆記の軌跡・速度・筆圧など）を検出する。この他の行動的特徴として、会話時の唇の動きの特徴、まばたきの特徴などをカメラ２０１３の出力を利用して検出する方法もある。
【００２７】
このようなバイオインターフェース２０１２は、ＩＤカードを用いる個人認証に代えて用いるために設けるが、認証の正確度が特に要求される会議では両者を併設するのが望ましい。あるいは、バイオインターフェースのみを使用する方法もある。実施例１では、上記個人情報の検出（個人認証）のために、ＩＣチップを埋め込んだＩＤカードを参加者に携帯させ、当該ＩＣチップに格納されている個人認証情報を非接触で読み取るようにする。
【００２８】
また、会議室に入室しようとする参加者は、入退室検出装置２０１において、発声することを要求される。この発声は決められたフレーズを読み上げるのが簡明であるが、高度な音声認識ソフトウエアを用いることができるのであれば、出席の挨拶、自然な会話、所属・氏名などの口頭申告であってもよい。マイクで採取した音声は音声分析装置２０４で音声分析される。音声分析は、採取した音声のスペクトル、波形、声紋の何れか、あるいはそれらの２以上の組合せで行う。実施例１では声紋分析法を用いることとする。その分析結果はデジタルデータとして出席者ＩＤ情報格納装置２０５に各ＩＤ情報の一部として記録される。
【００２９】
入退室者情報記録装置２０２には入退室検出装置２０１で検出された入退室者情報が記録され、出席者登録装置２０３には当日の出席者が登録され、出席履歴情報として残される。入退室検出装置２０１で検出された入退室者情報には、時計８００から取得される時刻情報が付加されて入退室者情報記録装置２０２に記録される。
【００３０】
先ず、入退室コントロール手段における会議開始前の入退室検出動作の一例を説明する処理の流れを図３Ｂに示す。図３Ｂは、会議の開始前で会議室の扉を開放した状態での入退室コントロールユニットの動作を説明する。会議室の扉を開放した状態とは、扉の開閉情報を要件としない動作を意味する。したがって、この入退室検出動作は会議室の中で（扉を閉めた室内で）行うことも含む。
【００３１】
図３Ｂにおいて、出席者が会議室１００の出入口に接近し、図３ＡのＩＤカード読取装置２０１１に感知があると（ＩＤ感あり、ステップー１・・Ｓ−１のように表記する）、入退室コントロールユニット制御装置２０６がカメラ２０１３で、マイク２０１４をアクティブとしてＩＤカード読取装置２０１１の近傍に居る人物の映像採取を開始し（Ｓ−２）、係員との対話に伴う音声の採取を行う（Ｓ−４）。当然のことながら、このマイクは当該人物に対して指向性を有するものを用いる。なお、生体認証を実行する場合は、前記バイオインターフェースを起動して生体認証を行い（Ｓ−０１）、特徴を検出する（Ｓ−０２）。
【００３２】
カメラ２０１３で採取した映像情報は検出したＩＤ情報と共に映像/音声蒐集ユニット４００へ転送される（Ｓ−３）。マイク２０１４で採取した音声情報もＩＤ情報と共に映像/音声蒐集ユニット４００へ転送される（Ｓ−５）。映像/音声蒐集ユニット４００に転送された映像情報と音声情報は、出席者ＩＤ情報格納装置２０５に記録されている出席者ＩＤ情報と比較される（Ｓ−６）。この比較（Ｓ−７）で過去に出席履歴がない場合（Ｎｏ判定）は、この出席者ＩＤ情報格納装置２０５に履歴情報として記録される（Ｓ−８）。また、比較（Ｓ−７）で過去に出席履歴がある場合（Ｙｅｓ判定）は、入退室者情報記録装置２０２に記録され（Ｓ−９）、出席者登録装置２０３に本日の会議出席者として登録される（Ｓ−１０）。入退室者情報記録装置２０２への記録後、次の参加者の処理に戻る。
【００３３】
次に、会議の開始後の入退室コントロールユニットの入退室検出動作の一例について図３Ｃを参照して説明する。この動作は、会議室の扉を閉じた状態での入退室コントロールユニットの動作であり、会議中途退室、会議中途入室、会議終了時の入退室コントロールユニットの動作である。
【００３４】
本システムは、扉１０１の開閉を常時監視している（Ｓ−１１）。会議が開始すると扉１０１は閉じられる。会議の開始後に出席者が何かの理由で止むを得ず退室する場合、当該退室しようとする者が室内から会議室１００の扉１０１に接近する。扉１０１が開かれ、図３ＡのＩＤカード読取装置２０１１に感知があると（ＩＤ感あり、Ｓ−１２）、出席者ＩＤ情報格納装置２０５に記録されている情報と対比してその退室者を特定する（Ｓ−１３）。特定した退室者が入室した記録があるか否かを判断する（Ｓ−１４）。通常は入室した記録があるので、退室の判定を行い（Ｓ−１５）、当該退室者が退室したことを入退室者情報記録装置２０２に記録する（Ｓ−１７）。当該退室者が退室して扉１０１が閉じられたことを確認する（Ｓ−１８）と、（Ｓ−１２）に戻る。
【００３５】
中途入室の場合は、図３Ｃの（Ｓ−１３）で入室者を特定する。（Ｓ−１４）で特定した入室者の当該会議の開始後の中途退室記録があるか否かを判定する。当該会議の開始後に中途退室記録がある場合は、入退室判定で入出可の判定を行い（Ｓ−１５）、入退室者情報記録装置２０２に再入室であることの記録を行う。この中途入退室記録は、特定時間帯での当該参加者の不在証明となる。これは、先発言者の検索における対象者排除条件として使用できる。
【００３６】
遅刻参加者の中途入室の場合は、図３Ｃの（Ｓ−１４）で、入退室者情報記録装置２０２に中途退室記録がないので、図３Ｂにおける会議開始前の参加者特定、ＩＤ情報取得・記録と同様の処理を行う（Ｓ−１６）。その後、（Ｓ−１７）に行く。以上のような処理を行うことで、会議の参加者の入退室状況が時間所と共に正確に把握される。このことは、記録された会議の内容を含む情報を再利用する場合の個々の参加者の新規提案など重要な評価事項に対する貢献の程度判定基準の一つになる。
【００３７】
図４は、図２におけるディスプレイユニット３００の構成例を説明する機能ブロック図である。図１のディスプレイユニット３００は、ディスプレイ３０１、ディスプレイ書込装置３０２（３０２Ａ／３０２Ｂ）、ディスプレイ読取装置３０３、およびディスプレイユニット制御装置３０４を備えている。ディスプレイ３０１は、会議の主題にかかる文書や図面、数式など、会議の開催に当たっての提案（プレゼンテーション）のための表示画像などが表示される。また、このディスプレイ３０１には、表示された可視画像に対してその後に施された追記・修正・削除内容を会議出席者全員に提示する。そして、ディスプレイには、その表示画面に表示された可視情報を決められた時刻で定期的に、あるいは恣意的操作で随時に読み取って時刻情報と共に記録する手段を機能として付属させる。
【００３８】
実施例１に採用されるディスプレイ３０１はホワイトボード（あるいは投射スクリーン）であり、ホワイトボードをディスプレイとした会議内容記録システムである。図４Ａに示したように、ディスプレイ３０１にはディスプレイ書込装置３０２とディスプレイ読取装置３０３を備えている。ディスプレイ書込装置３０２は、書き込み操作装置３０２Ａと投射装置３０２Ｂを備えている。典型的には、書き込み操作装置３０２Ａはパソコンであり、投射装置３０２Ｂの表示操作を行う機能に加えてディスプレイ３０１に表示する情報源を持つ。ホワイトボードであるディスプレイ３０１にはディスプレイ読取装置３０３が付属している。ホワイトボードの表示面にはホワイトボードの表示面に操作装置３０２Ａで制御される投射装置３０２Ｂで上記の提案画像が投射表示される。
【００３９】
ディスプレイ読取装置３０３は、ホワイトボードの表示面を二次元走査して表示された画像を読み取る。この読取は、表示画面に表示された画像情報を決められた時刻で定期的に、あるいは恣意的操作で随時に行われる。読み取った情報はディスプレイユニット制御装置の制御の下に図１の記録ユニット５００にディスプレイ３０１の表示内容であるという識別子を付けて時刻と共に記録される。上記のホワイトボードとは別に、投射スクリーンを設置し、投射スクリーンに表示された画面内容は投射装置と書き込み操作装置（パソコンなど）で行い、ホワイトボードは説明者の書き込みの手段とし使用し、その内容をディスプレイ読取装置で読み取るようにすることもできる。投射スクリーンに表示される画像情報は書き込み操作装置から直接記録ユニットに転送するようにすればよい。
【００４０】
図５は、映像／音声蒐集ユニット４００の構成例を説明する機能ブロック図である。映像／音声蒐集ユニット４００は、発言者映像蒐集装置４０１、発言者音声蒐集装置４０２、記録ユニット制御装置４０３を備える。発言者映像蒐集装置４０１はカメラ４０４１〜４０４nからなる映像採取装置４０４の撮影出力を入力する。発言者音声蒐集装置４０２はマイク４０５１〜４０５ｍからなる音声採取装置４０５の蒐集音声出力を入力する。
【００４１】
発言者映像蒐集装置４０１は、図５Ａに示したように、カメラ４０４１−４０４ｎが撮影した映像情報を集めて処理する。例えば、カメラ４０４１の撮影出力はアナログーデジタル変換器（ＡＤＣ）４０１２を通して動き検出装置４０１３に入力される。動き検出装置４０１３は、例えばフレーム間の差分を有効映像信号として抽出する。この動き検出装置４０１３を設けるのは、記録データ量を削減するためであり、後段の映像圧縮装置４０１４の圧縮率が十分に大きければ不要としてよい。圧縮された映像信号は記録ユニット５００に記録される。
【００４２】
発言者音声蒐集装置４０２の構成例を図５Ｂに示す。発言者音声蒐集装置４０２は、マイク４０５１〜４０５ｍの音声出力をＡＤＣ４０２１を通して音声圧縮装置４０２２で圧縮し、圧縮された音声信号は記録ユニット５００に記録される。これらの動作は記録ユニット制御装置４０３により行われる。
【００４３】
記録ユニット５００の構成例を図６に示す。記録ユニット５００は、ディスプレイ３０１に表示された情報を記録するディスプレイ表示内容記録装置５０１、発言者映像蒐集装置４０１で採取された発言者の映像情報を記録する発言者映像記録装置５０２、発言者音声蒐集装置４０２で採取された発言者の音声情報を記録する発言内容記録装置５０３、会議主題の概要を予め記録しておく予稿内容記録装置５０４、ＩＤ対応で採取した会議参加者の音声から抽出した声紋を記録する声紋データ格納装置５０５、およびこれらの装置の動作を制御する記録ユニット制御装置５０６を有する。
【００４４】
図７は、図１における情報統合ユニット６００の構成例を説明する機能ブロック図である。情報統合ユニット６００は、会議で発生する音声や映像、表示画像などの様々な情報を参加者のＩＤ情報と時刻とに関連させて記録するための情報関連付け処理を行う。情報統合ユニット６００は、音声→キー情報抽出作成装置６０１、キー情報／シソーラス格納装置６０２、情報連係装置６０３、辞書６０４、情報統合ユニット制御装置６０５を備える。音声→キー情報抽出装置６０１は発言者の発言音声から所定分野の慣用語、新語、技術用語、などを辞書６０４やキー情報／シソーラス格納装置６０２に格納されている内容との参照で抽出し、情報連係装置６０３で当該発言者のＩＤと関連付けを行う。こうして得られたキー情報はキー情報/シソーラス格納装置６０２の記録内容を更新してキー情報／シソーラスを充実させていく。なお、辞書６０４は汎用辞書に加えて特定技術分野に特化した辞書を備え、常に上記キー情報／シソーラスと協同して運用する。
【００４５】
図７Ａは、情報統合ユニット６００における音声―キー情報抽出装置の構成例を説明する機能ブロック図である。音声認識→キー情報抽出作成装置６０１は、音声認識／キー情報抽出装置６０１１、抽出キー情報／シソーラス対比装置６０１２、キー情報／発言者対応付け装置６０１３、声紋判定装置６０１４を有する。音声認識／キー情報抽出装置６０１１はマイクで蒐集した音声から言葉・用語・フレーズを認識し、その結果とキー情報／シソーラス格納装置６０２に格納されているキー情報と対比して既存しないものは新規キー情報として登録すると共に、声紋判定装置６０１４の判定結果を用いて情報連係装置６０３とキー情報／発言者対応付け装置６０１３とによりキー情報と発言者の対応付けを行う。
【００４６】
図７Ｂは、情報統合ユニット６００における情報連携装置６０３の処理例を説明する図である。情報連携装置６０３では、キー情報／発言者対応付け装置６０１３で作成した「キー情報＋発言者Ａ」６０１３１、「キー情報＋発言者Ｂ」６０１３１、・・・「キー情報＋発言者Ｎ」６０１３Ｎを情報連係装置６０３に入力する。情報連係装置６０３は入力した「キー情報＋発言者」に時計から得た時刻情報を付加して情報統合ユニット６００に転送する。
【００４７】
情報統合ユニット６００には、発言内容記録装置５０３からの発言者の発言内容、ディスプレイ表示内容記録装置５０１からのディスプレイの表示内容などが入力されている。これらの入力について情報統合ユニット６００は、時刻、発言者、ワード、フレーズなどをキーとして連携させる。統合された情報は記録ユニット５００にそれぞれの情報発生時刻と共に記録される。言うまでもなく、記録ユニット５００は複数の記録領域を持ち、上記した統合された情報の記録領域をはじめ、カメラやマイクで採取した粗情報、中間処理情報、各ユニットから生成される情報の記録を行う領域を有する。
【００４８】
図８は、記録ユニット５００に記録されている会議情報を検索する手順の一例を説明する流れ図である。この会議情報の検索は、会議が終了した後に当該会議において発言、記述、表示などで提案された技術思想、具体的技術手段など（以下、「ある発言」と称する）を特定するために利用される。図１の統括制御ユニット７００には入出力インタフェース９００としてキーボードとマウスからなる入力デバイス９０１と、キーワードあるいはキーフレーズおよび検索条件の確認と結果出力のためのディスプレイモニター９０２が接続されている。以下、入出力インタフェース９００にキーボードとマウスを用いるものとして説明する。図８は、記録ユニット５００に記録されている会議情報から「ある発言」の先発言者を特定するための検索の流れを示す。
【００４９】
先ず、キーボードとマウスから成る入出力インタフェース９００から「ある発言」をキーワードあるいは複数ワードからなるキーフレーズとして入力する。このとき、会議の開催日、予稿を特定するコード、などの分かっている検索条件を入力する（Ｓ−３１）。このキーワードあるいはキーフレーズおよび上記検索条件に基づいて記録ユニットの検索を実行する（Ｓ−３２）。この検索で求めるキーワードあるいはキーフレーズがあれば（Ｓ−３３）、そのキーワードあるいはキーフレーズに関連付けられた発言者氏名、或いは関連する発言者を特定する情報の有無を判断し（Ｓ−３４）、有りの場合は、その発言者氏名を（Ｓ−３８）で出力する。この出力は前記の検索の開始時点で入力したキーワードあるいはキーフレーズと共に、あるいは該当する会議の書誌的事項を含めるようにしてよい。キーワードとして、「特許化」、「知財化」、「出願する」などを用いることで特許提
案の有無の判定を容易にすることができる。
【００５０】
なお、（Ｓ−３３）で該当するキーワードあるいはキーフレーズが見つからない場合は（Ｓ−３１）に戻って検索条件を入力し直す。また、（Ｓ−３４）でキーワードあるいはキーフレーズに関連付けられた発言者氏名がない場合は、該当なしを出力して（Ｓ−３８）終了するか、推定作業に入るかを選択する（Ｓ−３５）。この選択はディスプレイモニター９０２上に「はい」、「いいえ」等のボタンを表示し、オペレータに選択させる。オペレータが「はい」ボタンを押して推定作業に入ることを選択し、関連ワードなどによる絞込み検索作業を行う（Ｓ−３６）。
【００５１】
推定作業は、検索すべき対象の重要性、時間的な制約などにより、所定回数繰り返される（Ｓ−３７）。この推定作業によって１人または複数人の先発言者が推定された場合、その結果をディスプレイモニター９０２上に出力し、必要に応じてプリント出力して（Ｓ−３８）、終了する。推定された複数人の先発言者候補は確率の高さ順でリストアップする。この推定のための確率は所定ワードの発言の頻度、前後の発言者の特定、質問者の発言内容などを確率理論で計算する。
【００５２】
以上説明した実施例の構成とした会議内容記録システムにより、会議等で発生した多様な情報を、発言者やそのワード、フレーズなどで連携させて時刻情報と共に記録し、記録された情報から所定の検索キーを利用して所望の情報を容易に再現でき、又先発言者の特定あるいは推定を行うことができる。なお、件策に用いるキーは、ワード/フレーズ以外に、画像データや声紋データにおける特徴であってもよい。
【実施例２】
【００５３】
実施例２では、図１におけるディスプレイユニット３００として電子的に書き込み・表示・読み取りが可能な電子ボードを用いる。ディスプレイユニット３００以外の構成と動作は実施例１と同じなので、ここではディスプレイユニット３００に表示された画像情報の書き込み・表示・読み取りと記録・形態のみについて説明する。この電子ボードは画面に直接書込可能な電子的ディスプレイ装置である。図４Ｂにこのディスプレイ装置の構成例を示した。図４Ｂにおいて、ディスプレイ装置は、表示部３０１１と直接入力部３０１２を有する。表示部３０１１は液晶パネルやプラズマパネル、あるいは有機ＥＬパネルなどの画素毎に表示・非表示を制御できるディスプレイパネルを用いる。直接入力部３０１２は、この表示部３０１１の画面に重ねて設けられている。
【００５４】
直接入力部３０１２は二次元座標検出デバイスである。二次元座標検出デバイスは、光方式、静電方式、抵抗方式など、既知の座標検出方式でよい。なお、画素に位置センサを備えたディスプレイパネルとすることも可能である。画素に位置センサを備えたディスプレイパネルでは、画面に表示を行い、その表示に追記・修正・削除などを行うことができるものであり、図４Ｂの表示部３０１１と直接入力部３０１２を一体化したイメージとして理解できる。
【００５５】
図４Ｂでは、ディスプレイ書込装置３０２で表示制御装置３０１５により表示部３０１１に画像が書き込まれ、画面表示がなされる。表示された画像に対して、ペン様の入力具３０１６を用いて画面に追記・修正・削除を直接的に入力する。この実施例では、入力具３０１６の一部には消去具（イレーザ）３０１７が設けてあるが、消去機能を備えた部材（消去具）を別途備えるようにしてもよい。なお、消去された内容をバックグラウンドで保存するようにすることができる。
【００５６】
入力具３０１６による追加、修正、消去具による表示部分の消去結果は２次元座標検出部３０１３で検出され、追加、修正、消去書き込み装置３０１４により表示制御装置３０１５で表示部３０１１の画面に反映される。
【００５７】
図４Ｃは、図４Ｂに示した電子ボードを用いて表示、追記、消去、訂正などを施したディスプレイ画面の情報を記録ユニットに記録する動作を説明する流れ図である。先ず、表示部３０１１にプレゼンテーション画像を表示する（Ｓ−２１）。発表者は、表示された画像について説明し、必要に応じて追記などの書き込み、修正、消去などを直接入力部３０１２に施す。具体的には、説明に沿って表示画像増の対応箇所にアンダーラインを引く、丸印をつける、解説のための絵を書く、などである。その過程で誤記入を修正するために記入した文字や絵を消去することを行う（Ｓ−２２）。直接入力された書き込み、修正、消去などの情報はディスプレイ読取装置３０３で読み取られる（Ｓ−２３）。
【００５８】
この読み取りは、時刻情報と共に行われる。読み取りのタイミングには、一定の時間経過ごと、あるいは発表者の意志で随時に行うようにすることができる。所定の時間内に画面に動きがない場合は読み取りは行わず、変化があった時点で、あるいはその時点から決められた時間の経過後に読み取りを行う。あるいは、画面に書き込み、修正、消去などを加えた際に発表者の意志で随時に行うようにする。
【００５９】
この読み取りモードは選択できるように、又タイミングの組合せが出来るようにすることが望ましい。読み取った画面情報は映像/音声蒐集ユニットを介して記録ユニットに記録される（Ｓ−２４）。この記録が終了し（Ｓ−２４）、発表や討論など、会議が続く内（Ｓ−２５）は（Ｓ−２２）→（Ｓ−２４）を繰り返す。そして、会議が終了すれば（Ｓ−２６）、この処理は完了する。
【００６０】
実施例２によっても、会議等で発生した多様な情報を、発言者やその語句、フレーズなどで連携させて時刻情報と共に記録し、記録された情報から所定の検索キーを利用して所望の情報を容易に再現でき、又先発言者の特定あるいは推定を行うことができる。
【符号の説明】
【００６１】
１００：会議室
１０１：扉
２００：入退室コントロールユニット
２０１：入退室者検出装置
２０２：入退室者情報記録装置
２０３：出席者登録装置
２０４：音声分析装置
２０５：出席者ＩＤ情報格納装置
２０６：入退室コントロールユニット制御装置
２０１１：ＩＤカード読取装置
２０１２：バイオインターフェース
２０１３：カメラ
２０１４：マイク（マイクロホン）
２０１５：ドアセンサ
３００：ディスプレイユニット
３０１：ディスプレイ
３０２：ディスプレイ書込装置
３０３：ディスプレイ読取装置
３０４：ディスプレイユニット制御装置
３０５：発表者/進行係席
３０６：出席者席
３０１１：表示部
３０１２：直接入力部
３０１３二次元座標検出装置
３０１４：書込装置
３０１５：表示制御装置
３０１６：入力具
３０１７：消去具（イレーザ）
４００：記録ユニット
４０１：発言者映像蒐集装置
４０１１：カメラ姿勢制御装置
４０１２：映像信号ＡＤＣ（アナログ・デジタル・コンバータ）
４０１３：動き検出装置
４０１４：映像圧縮装置
４０２：発言者音声蒐集装置
４０２１：音声信号ＡＤＣ（アナログ・デジタル・コンバータ）
４０２２：音声圧縮装置
４０３：記録ユニット制御装置
４０４：映像採取装置
４０４１〜４０４n：カメラ
４０５：音声採取装置
４０５１〜４０５ｍ：マイク（マイクロホン）
５００：記録ユニット
５０１：ディスプレイ表示内容記録装置
５０２：発言者映像記録装置
５０３：発言内容記録装置
５０４：予稿内容記録装置
５０５：声紋データ格納装置
５０６：記録ユニット制御装置
６００：情報統合ユニット
６０１：音声→キー情報抽出装置
６０１１：音声認識／キー情報抽出作成装置
６０１２：抽出キー情報／シソーラス対比装置
６０１３：キー情報／発言者対応付け装置
６０１４：声紋判定装置
６０２：キー情報／シソーラス格納装置
６０３：情報連係装置
６０４：辞書
６０５：情報統合ユニット制御装置
７００：統括制御ユニット
８００：時計
９００：入出力インタフェース
１０００：バスライン。
【図１】
2010277613.tif 000003
【図２】
2010277613.tif 000004
【図３】
2010277613.tif 000005
【図３Ａ】
2010277613.tif 000006
【図３Ｂ】
2010277613.tif 000007
【図３Ｃ】
2010277613.tif 000008
【図４】
2010277613.tif 000009
【図４Ａ】
2010277613.tif 000010
【図４Ｂ】
2010277613.tif 000011
【図４Ｃ】
2010277613.tif 000012
【図５】
2010277613.tif 000013
【図５Ａ】
2010277613.tif 000014
【図５Ｂ】
2010277613.tif 000015
【図６】
2010277613.tif 000016
【図７】
2010277613.tif 000017
【図７Ａ】
2010277613.tif 000018
【図７Ｂ】
2010277613.tif 000019
【図８】
2010277613.tif 000020