(57)【要約】【課題】情報を記述した情報要素に対し、当該情報要素が選択されている間に取得された環境情報を関連づけて記録できない。【解決手段】情報を記述した情報要素を少なくとも一つ表示し、当該表示された情報要素を選択する操作を受け入れる。この操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れ、当該環境情報を、操作により選択された情報要素を特定する情報に関連づけて記録する情報構造化装置である。【選択図】図１
2009194718.tif 000002
【特許請求の範囲】
【請求項１】
情報を記述した情報要素を少なくとも一つ表示する表示手段と、
前記表示された情報要素を選択する操作を受け入れる操作受入手段と、
前記操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、
前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、
を含むことを特徴とする情報構造化装置。
【請求項２】
前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された複数の情報要素を特定する情報の群に関連づけて記録することを特徴とする請求項１記載の情報構造化装置。
【請求項３】
前記操作受入手段が、２つの情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された２つの情報要素を特定する情報の群と、当該選択された２つの情報要素の関連についての環境情報である旨を表す情報と、に関連づけて記録することを特徴とする請求項１または２記載の情報構造化装置。
【請求項４】
前記操作受入手段が、３つ以上の情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された３つ以上の情報要素を特定する情報の群と、当該選択された３つ以上の情報要素の群についての環境情報である旨を表す情報と、に関連づけて記録することを特徴とする請求項１から３のいずれか一項に記載の情報構造化装置。
【請求項５】
前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときに、当該選択された複数の情報要素群を表す、仮想情報要素を生成する手段をさらに含み、
前記表示手段は、前記生成された仮想情報要素を表示し、
前記操作受入手段と前記記録手段とは、前記仮想情報要素が選択されたときには、当該仮想情報要素が表す複数の情報要素群が選択されたとして処理を行うことを特徴とする請求項２から４のいずれか一項に記載の情報構造化装置。
【請求項６】
前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときに、当該選択された複数の情報要素群を表す、仮想情報要素を生成する手段をさらに含み、
前記表示手段は、前記生成された仮想情報要素を表示し、
前記操作受入手段と前記記録手段とは、前記仮想情報要素と情報要素とが選択されたときには、当該仮想情報要素が表す複数の情報要素と、当該仮想情報要素とともに選択された情報要素との群が選択されたとして処理を行うことを特徴とする請求項２から５のいずれか一項に記載の情報構造化装置。
【請求項７】
前記環境情報は、
利用者の音声、映像、または操作の少なくとも一つを表す情報を含むことを特徴とする請求項１から６のいずれか一項に記載の情報構造化装置。
【請求項８】
端末装置と、サーバ装置とを含む情報構造化システムであって、
前記端末装置は、
情報を記述した情報要素を少なくとも一つ表示する表示手段と、
前記表示された情報要素を選択する操作を受け入れる操作受入手段と、
を含み、
前記サーバ装置は、
前記端末装置において、操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、
前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、
を含むことを特徴とする情報構造化システム。
【請求項９】
コンピュータを、
情報を記述した情報要素を少なくとも一つ表示する表示手段と、
前記表示された情報要素を選択する操作を受け入れる操作受入手段と、
前記操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、
前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報構造化装置、情報構造化システム、及びプログラムに関する。
【背景技術】
【０００２】
映像情報及び音声情報を含む会議情報を入出力する複数の会議端末と、これら会議端末を制御する会議制御装置と、会議情報を保存する記録装置とからなる電子会議システムにおいて、会議制御装置がインデックス情報を記録装置に保存させ、インデックス情報を用いて電子会議の会議内容を再現させるという技術が、特許文献１に開示されている。
【特許文献１】特開平６−１７８２９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
情報を記述した情報要素に対し、当該情報要素が選択されている間に取得された環境情報を関連づけて記録できない。また、複数の情報要素間の関係に対して環境情報を関連づけて記録することもできない。
【課題を解決するための手段】
【０００４】
請求項１記載の発明は、情報構造化装置であって、情報を記述した情報要素を少なくとも一つ表示する表示手段と、前記表示された情報要素を選択する操作を受け入れる操作受入手段と、前記操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、を含むこととしたものである。
【０００５】
請求項２記載の発明は、請求項１記載の情報構造化装置であって、前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された複数の情報要素を特定する情報の群に関連づけて記録することとしたものである。
【０００６】
請求項３記載の発明は、請求項１または２記載の情報構造化装置であって、前記操作受入手段が、２つの情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された２つの情報要素を特定する情報の群と、当該選択された２つの情報要素の関連についての環境情報である旨を表す情報と、に関連づけて記録することとしたものである。
【０００７】
請求項４記載の発明は、請求項１から３のいずれか一項に記載の情報構造化装置であって、前記操作受入手段が、３つ以上の情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された３つ以上の情報要素を特定する情報の群と、当該選択された３つ以上の情報要素の群についての環境情報である旨を表す情報と、に関連づけて記録することとしたものである。
【０００８】
請求項５記載の発明は、請求項２から４のいずれか一項に記載の情報構造化装置であって、前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときに、当該選択された複数の情報要素群を表す、仮想情報要素を生成する手段をさらに含み、前記表示手段は、前記生成された仮想情報要素を表示し、前記操作受入手段と前記記録手段とは、前記仮想情報要素が選択されたときには、当該仮想情報要素が表す複数の情報要素群が選択されたとして処理を行うこととしたものである。
【０００９】
請求項６記載の発明は、請求項２から５のいずれか一項に記載の情報構造化装置であって、前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときに、当該選択された複数の情報要素群を表す、仮想情報要素を生成する手段をさらに含み、前記表示手段は、前記生成された仮想情報要素を表示し、前記操作受入手段と前記記録手段とは、前記仮想情報要素と情報要素とが選択されたときには、当該仮想情報要素が表す複数の情報要素と、当該仮想情報要素とともに選択された情報要素との群が選択されたとして処理を行うこととしたものである。
【００１０】
請求項７記載の発明は、請求項１から６のいずれか一項に記載の情報構造化装置であって、前記環境情報は、利用者の音声、映像、または操作の少なくとも一つを表す情報を含むこととしたものである。
【００１１】
請求項８記載の発明は、端末装置と、サーバ装置とを含む情報構造化システムであって、前記端末装置は、情報を記述した情報要素を少なくとも一つ表示する表示手段と、前記表示された情報要素を選択する操作を受け入れる操作受入手段と、を含み、前記サーバ装置は、前記端末装置において、操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、を含むこととしたものである。
【００１２】
請求項９記載の発明は、プログラムであって、コンピュータを、情報を記述した情報要素を少なくとも一つ表示する表示手段と、前記表示された情報要素を選択する操作を受け入れる操作受入手段と、前記操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、として機能させることとしたものである。
【発明の効果】
【００１３】
請求項１，８，９記載の発明によると、情報要素が選択されている間の環境情報を、当該選択されている情報要素に関連づけて記録できる。
【００１４】
請求項２記載の発明によると、複数の情報要素が選択されている間の環境情報を、当該選択されている情報要素の群に関連づけて記録できる。
【００１５】
請求項３記載の発明によると、２つの情報要素が選択されている間の環境情報を、当該選択されている情報要素の群と、当該２つの情報要素間の関係に係る環境情報である旨とに関連づけて記録できる。
【００１６】
請求項４記載の発明によると、３つ以上の情報要素が選択されている間の環境情報を、当該選択されている３つ以上の情報要素の群と、当該３つ以上の情報要素群に係る環境情報である旨とに関連づけて記録できる。
【００１７】
請求項５記載の発明によると、複数の情報要素を表す仮想的な情報要素を生成、表示し、操作の対象とすることができる。
【００１８】
請求項６記載の発明によると、複数の情報要素を表す仮想的な情報要素を生成、表示し、他の情報要素とともに操作の対象とすることができる。
【００１９】
請求項７記載の発明によると、環境情報として音声、映像、操作に係る情報などが記録できる。
【発明を実施するための最良の形態】
【００２０】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報構造化システムは、図１に例示するように、会議端末１と、サーバ装置２と、入力端末３とを含んで構成される。これら会議端末１とサーバ装置２と入力端末３との間は、ネットワーク等の通信回線を介して相互に通信可能に接続されている。
【００２１】
会議端末１は、制御部１１、記憶部１２、操作部１３、表示部１４、環境情報収集部１５、及び通信部１６を含んで構成される。
【００２２】
制御部１１は、ＣＰＵ（Central Processing Unit）等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。この制御部１１は、本実施の形態では、情報記録要素としての仮想的なカード情報を管理するサーバ装置２と通信を行う。また、この制御部１１は、特定のカード情報に関連して、環境情報収集部１５から入力される音声情報等を、この特定のカード情報に関連づけて、サーバ装置２に保持させる。これら制御部１１の具体的な処理の内容については、後に述べる。
【００２３】
記憶部１２は、ＲＡＭ（Random Access Memory）等であり、制御部１１によって実行されるプログラムを保持する。このプログラムは、ＤＶＤ−ＲＯＭなどコンピュータ可読な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。また、この記憶部１２は制御部１１のワークメモリとしても動作する。
【００２４】
操作部１３は、例えば表示部１４に重ね合わせられる、光透過性のあるタッチパネルなどである。操作部１３は、タッチパネルにおいて利用者によって行われた指示操作の内容を制御部１１に出力する。またこのタッチパネルは多点入力が可能となっていてもよい。表示部１４は、ディスプレイなどであり、制御部１１から入力される指示に従って情報を表示する。
【００２５】
環境情報収集部１５は、例えばカメラやマイクなどであり、操作部１３を操作する利用者の行動に関わる環境情報として、利用者の映像や音声を取得して、映像情報や音声情報などとして制御部１１に出力する。なお、以下の説明では、この環境情報収集部１５はカメラ及びマイクであるものとし、映像情報と音声情報とを取得するものであるとして説明するが、環境情報は、これらに限られるものではない。
【００２６】
通信部１６は、例えばネットワークインタフェースなどであり、制御部１１から入力される指示に従って、通信回線を介してサーバ装置２へ情報を送出する。また、この通信部１６は、サーバ装置２から通信回線を介して受信される情報を制御部１１に出力する。
【００２７】
入力端末３は、例えばノート型のパーソナルコンピュータや、ＰＤＡ（Personal Digital Assistants）、携帯電話機など、利用者が文字列や図形などの入力ができるものであればよい。
【００２８】
サーバ装置２は、一般的なサーバコンピュータであり、機能的には図２に例示するように、カード情報保持部２１と、カード情報管理部２２と、音声情報データベース２３と、映像情報データベース２４と、操作情報データベース２５と、テーブル管理部２６と、取得情報記録部２７と、通信部２８とを含んで構成される。
【００２９】
カード情報保持部２１は、入力端末３で入力された情報を記述した情報要素（カード情報）ごとに、レコード情報を保持している。ここでレコード情報は、図３に例示するように、カード情報ごとに固有のカード情報識別子と、対応するカード情報の表示領域（カード情報の左上座標と右下座標とで特定すればよい）と、カード情報に表示するべき文字列や図形などの情報（内容情報）と、関係カード情報とを関連づけたものである。
【００３０】
カード情報管理部２２は、入力端末３からの要求に基づいて、情報要素としてのカード情報を新規に生成する。入力端末３からは、カード情報に表示するべき文字列や図形などの情報（内容情報）と、カード情報の初期表示領域を表す情報とが受け入れられ、カード情報管理部２２は、新規に発行したカード情報識別子と、カード情報の表示領域（座標の情報でよい）と、内容情報とを関連づけてレコード情報を生成し、カード情報保持部２１に格納する。
【００３１】
また、カード情報管理部２２は、会議端末１から、他のカード情報群との関係においてカード情報を新規に生成する旨の要求を受け入れる。カード情報管理部２２は、当該要求において、当該他のカード情報群に含まれるカード情報を特定する関係カード情報を受け入れる。そしてカード情報管理部２２は、当該新規に発行したカード情報識別子と、カード情報の表示領域と、内容情報とともに、上記受け入れた関係カード情報を関連づけてレコード情報を生成し、カード情報保持部２１に格納する。そして当該新規に発行したカード情報識別子を要求元の会議端末１へ返信する。
【００３２】
さらに、カード情報管理部２２は、会議端末１からカード情報識別子と、当該カード情報識別子で識別されるカード情報の表示領域を移動する指示と、表示領域を表すパラメータ情報とを受け入れると、当該指示に従って、上記カード情報識別子を含むレコード情報を検索し、検索の結果見いだされたレコード情報に含まれる表示領域の情報を、パラメータ情報に基づいて更新する。
【００３３】
なお、このカード情報管理部２２は、さらに、会議端末１から検索条件の指定とともに、カード情報の検索要求を受け入れると、当該指定された検索条件を満足するレコード情報を、カード情報保持部２１から検索する。そして当該検索の結果を要求元の会議端末１へ返信する。
【００３４】
音声情報データベース２３は、利用者の発言ごとに、発言のあった時刻（発言開始時刻及び発言終了時刻）を表す情報と、固有の発言識別子と、利用者の発言の音声情報とを関連づけて記録している。映像情報データベース２４は、撮影された映像情報を記録している。この映像情報は、一連の静止画と、それぞれの静止画を記録した時刻を表す時刻情報とを関連づけて記録したものである。
【００３５】
操作情報データベース２５は、利用者が行った操作ごとに、操作のあった時刻を表す情報と、固有の操作識別子と、利用者の操作の内容を表す情報とを関連づけて記録している。ここで操作の内容を表す情報としては、操作の対象となったカード情報を特定するカード情報識別子と、操作の内容を表す情報（「選択」、「移動」など）と、それに関連するパラメータ情報などがある。ここにパラメータ情報は、例えば「移動」の操作であれば、移動先の表示領域であり、「追記」の操作であれば、追記された線分等の描画指示情報（ストロークなど）である。
【００３６】
テーブル管理部２６は、音声情報データベース２３と映像情報データベース２４と操作情報データベース２５とに記録された情報に基づいて、図４に例示するような情報管理テーブルを生成する。この情報管理テーブルは、時刻の順に連番（Ａ）と、時刻の情報（Ｂ）と、対象となったカード情報識別子（Ｃ）と、関係するカード情報識別子（関係カード情報：Ｄ）と、操作の内容（Ｅ）と、操作のパラメータ情報（Ｆ）と、発言識別子（Ｇ）と、発言の音声情報、または対応する時点での映像情報部分を表す情報（Ｈ）と、を互いに関連づけたものである。
【００３７】
例えばこのテーブル管理部２６は、操作情報データベース２５を参照して、カード情報の選択・移動・追記などの操作が行われた時点を特定する。テーブル管理部２６は、当該操作が行われた時点ｔに対して、発言開始時刻Ｓｔと発言終了時刻Ｅｔとが、例えばＳｔ≦ｔ＜Ｅｔの関係にあるような発言を、音声情報データベース２３から検索して見いだす。
【００３８】
テーブル管理部２６は、見いだした発言の発言識別子を、当該操作の記録に関連づけて、情報管理テーブルに格納する。また、その後の音声情報については、当該音声情報の発言開始から発言終了までの時点で選択されていたカード情報のカード情報識別子に関連づけて、管理テーブルに格納する。
【００３９】
図４の例では、時刻０：０１：４５に、カード情報識別子「Card1」のカード情報に対して、選択の操作が行われ、その時点で行われていた発言識別子「１」の発言（対応する音声情報を「ａａａａ…」と表記している）があったことを表している。また、時刻０：０２：５２において、カード情報識別子「Card1」のカード情報に対して、表示領域（左上座標（LTx,LTy），右下座標（RBx,RBy））への移動の操作が行われ、発言識別子「２」の発言があったことを表している。
【００４０】
さらに、図４の例では、その後、カード情報識別子「Card1」のカード情報が選択された状態で、発言識別子「３」の発言が行われ、さらにカード情報識別子「Card3」のカード情報が選択された時点で、発言識別子「４」に係る発言が行われていることとが記録されている。
【００４１】
取得情報記録部２７は、会議端末１から利用者の音声情報を受け入れる。取得情報記録部２７は、受け入れた音声情報を、発言のあった時刻を表す情報と、固有の発言識別子と、利用者の発言の音声情報とを関連づけて音声情報データベース２３に格納する。
【００４２】
また、この取得情報記録部２７は、会議端末１から撮影された映像情報を受信して、当該受信した映像情報を映像情報データベース２４に格納する。さらに取得情報記録部２７は、会議端末１から、利用者の操作に係る情報を受信し、利用者が行った操作ごとに、操作のあった時刻を表す情報と、固有の操作識別子と、利用者の操作の内容を表す情報とを関連づけて、操作情報データベース２５に格納する。通信部２８は、会議端末１との間で情報の送受を行っている。
【００４３】
会議端末１の制御部１１は、機能的には、図５に示すように、情報取得部３１と、音声再生部３２と、表示管理部３３と、ジェスチャー入力部３４と、ジェスチャー解析部３５と、選択判定部３６とを含んで構成される。
【００４４】
本実施の形態では、この会議端末１は、利用者の指示により、情報の記録を行うモード（記録モード）と、情報の再生を行うモード（再生モード）とのいずれかのモードにあるものとする。
【００４５】
情報取得部３１は、記録モードで動作する。この情報取得部３１は、環境情報収集部１５のマイクに所定レベル以上の音声信号が予め定めた期間を越えて継続して到来すると、発言があったとして、その期間の始まりの時点を表す情報（発言開始時刻：図示しない時計チップなどから取得する）と、その音声信号をデジタル変換した音声情報と、当該期間の終わりの時点を表す情報（発言終了時刻）とを生成して、サーバ装置２へ送出する。また、この情報取得部３１は、環境情報収集部１５のカメラで撮影された映像信号を取得して、デジタルの映像情報に変換して、サーバ装置２へ送出している。
【００４６】
音声再生部３２は、再生モードで動作し、利用者の指示に従い、サーバ装置２に対して特定の発言識別子に関連づけられた発言の音声情報を取得する。そして、取得した音声情報から音声信号を生成し、スピーカーなどを介して音声を鳴動する。
【００４７】
表示管理部３３は、いずれのモードにおいても、サーバ装置２のカード情報保持部２１が保持するカード情報を読み出す。この表示管理部３３は、カード情報ごとに、表示領域の情報を読み出して、当該領域にカードの背景となる画像を描画する。また、この背景に重ね合わせて、関連づけられている内容情報を表す文字列や図形を描画して表示する。
【００４８】
またこの表示管理部３３は、再生モードにあるときに、利用者がいずれかのカード情報を選択する操作を行うと、サーバ装置２に対して、当該選択されたカード情報に関連する音声情報や映像情報の一覧を要求する。そして表示管理部３３は、当該要求に応答してサーバ装置２から受信される一覧を、選択されたカード情報に関連づけて表示する。例えばこの表示管理部３３は、図６に例示するように、選択されたカード情報（Ｃ）に関連して、サーバ装置２から受け入れた音声情報や映像情報の一覧（Ｌ）を表示する。この一覧の表示位置は、カード情報（Ｃ）の表示領域に基づいて決定すればよい。また、このリストの末尾や先頭など、所定の位置に、音声や映像の再生（Play）、（リスト上の情報）すべてを再生（Play All）、再生停止（Stop）を指示するための仮想的なボタン（Ｔ）を配列して表示してもよい。
【００４９】
ジェスチャー入力部３４は、いずれのモードにあっても、利用者が操作部１３にて行った操作を受け入れて、ジェスチャー解析部３５に出力する。ジェスチャー解析部３５は、利用者が、例えば操作部１３としてのタッチパネル上で行った操作（ジェスチャー）を解析して、その操作が、カード情報の選択、移動などの操作である場合は、当該操作の内容を表す情報を出力する。
【００５０】
一例として、利用者が、タッチパネル上の、いずれかのカード情報の表示領域内に対応する部分に触れたことが検出されると、選択判定部３６が出力する情報に基づいて、選択されているカード情報識別子と、「選択」操作が行われたことを表す情報とを出力する。
【００５１】
また別の例として、利用者がタッチパネル上、いずれかのカード情報の表示領域内に対応する部分に触れた後、指をタッチパネルから離さずに移動すると、ジェスチャー解析部３５は、当該カード情報のカード情報識別子と、「移動」操作が行われたことを表す情報と、指の移動量に応じた、移動後のカード情報の表示領域の情報とを出力する。
【００５２】
選択判定部３６は、記録モードにあるときに、選択されたカードの数に応じて、次の処理を行う。すなわち選択判定部３６は、カード情報が１つだけ選択されているときには、当該選択されているカード情報に係る複数のカード情報識別子を取得し、当該取得したカード情報識別子のカード情報が選択されている旨の情報を出力する。
【００５３】
また、選択判定部３６は、複数のカード情報が選択されたときに、当該選択されている複数のカード情報に係る複数のカード情報識別子を取得する。選択判定部３６は、サーバ装置２に対して、取得した複数のカード情報識別子に一致している関係カード情報に関連づけられたカード情報を、カード情報保持部２１から検索するよう要求する。例えば、取得したカード情報識別子が、「Card1」と「Card3」とである場合、関係カード情報の内容が、「Card1」と「Card3」とであるようなレコード情報をサーバ装置２に検索させる。ここでサーバ装置２が該当するレコード情報を見いだすことができた場合、当該レコード情報に含まれるカード情報識別子が会議端末１に返送される。また、該当するレコードが見いだせなかった場合、その旨を表す情報が会議端末１に返送される。
【００５４】
選択判定部３６は、該当するレコード情報に含まれるカード情報識別子が入力されると、当該入力されたカード情報識別子のカード情報が選択されている旨の情報を出力する。
【００５５】
さらに、選択判定部３６は、該当するレコードが見いだせなかった旨を表す情報が入力されると、サーバ装置２に対して「Card1」と「Card3」とを関係カード情報とする新規のカード情報を生成するよう要求する。そして選択判定部３６は、当該要求に応答してサーバ装置２が新規に発行したカード情報識別子をサーバ装置２から受け入れ、この受け入れたカード情報識別子のカード情報が選択されている旨の情報を出力する。
【００５６】
従って、本実施の形態の情報構造化システムでは、利用者が、入力端末３を用いて、議論の対象となる事柄に関するアイディアを入力する。会議端末１は、入力されたアイディアを表す文字列や図形などを表示するカード情報を生成し、当該カード情報を表すレコード情報の記録をサーバ装置２に要求する。
【００５７】
会議端末１は、記録モードにおいては、サーバ装置２に記録されたレコード情報に基づいて、各カード情報を表示する（図７（ａ））。図７では、各カード情報には、それぞれのカード情報識別子が記述されているが、実際には、それぞれの内容が記述される。また、会議端末１は、利用者の誰かが発言を行うごとに、当該発言の期間と内容とを表す音声情報を生成して、サーバ装置２に送出している。サーバ装置２では、音声情報データベース２３に、受信した音声情報を記録している。また、会議端末１は、近傍を撮影して得た映像情報をサーバ装置２に送出している。サーバ装置２は受信した画像情報を、映像情報データベース２４に記録している。
【００５８】
ここで利用者が、例えば「Card1」のカード情報を選択する操作を行うと、会議端末１は「Card1」なるカード情報識別子と、その操作の日時を表す情報とともに、選択の操作が行われたことを表す情報をサーバ装置２へ送出する。サーバ装置２では、この操作に関わる情報を操作情報データベース２５に記録する。
【００５９】
また利用者は「Card1」のカード情報と、「Card3」のカード情報との双方を一斉に選択する操作を行ってもよい。この操作は、図８（ａ）に例示するように、２つ以上のカード情報を一斉に触れることで行ってもよいし、図８（ｂ）に示すように、選択の対象とするカード情報の範囲を表す図形を描くことで行ってもよい。図８（ｂ）では、左上側と右下側にそれぞれカギ括弧を描画する要領で選択が行われる例を示しているが、これに限らず、例えば図８（ｃ）に示すように、選択対象となるカード情報を取り囲むように、図形を描いてもよい。
【００６０】
このように、複数のカード情報が一斉に選択された場合、会議端末１は、選択された複数のカード情報を関連カード情報として関連づけられたカード情報識別子があるか否かをサーバ装置２に調べさせる。そしてかかるカード情報識別子がない場合は、新規にカード情報識別子を発行させ、選択された複数のカード情報を関連カード情報として関連づけてサーバ装置２に記録させる。
【００６１】
これにより生成されたカード情報は、利用者により生成されたものではなく、複数のカード情報を群としてまとめ、複数のカード情報間の関係を表すものである。以下では、複数のカード情報の群を表すカード情報を特に区別するべき場合は、利用者の生成したカード情報を「実体カード情報」、複数のカード情報間の関係を表すカード情報を「メタカード情報」と呼ぶ。
【００６２】
また会議端末１は、メタカード情報が生成されると、当該メタカードの選択操作が行われていることを表す情報をサーバ装置２に送出する。なお、選択された複数のカード情報を関連カード情報として関連づけられたメタカード情報のカード情報識別子が既にサーバ装置２に記録されている場合は、会議端末１は、当該記録されているメタカード情報の選択操作が行われていることを表す情報をサーバ装置２に送出する。
【００６３】
会議端末１は、各カード情報を表示する際には、メタカード情報を表示せず、実体カード情報のみを表示する（関係カード情報に他の複数のカード情報が記録されていないレコード情報のみに基づいて表示を行う）こととしてもよいし、図７（ｂ）に示すように、メタカード情報を表示するとともに、メタカード情報から、その関係カード情報に含まれる他の複数のカード情報への矢印などを併せて表示してもよい。会議端末１は、これらのいずれの表示とするかは、利用者の指示によって切り替えてもよい。
【００６４】
またサーバ装置２では、カード情報の選択操作や移動操作などが行われている間に受け入れられている音声情報や映像情報等（環境情報）がある場合に、この音声情報等を、操作によって選択されたカード情報を特定するカード情報識別子に関連づけて、情報管理テーブルに記録する。
【００６５】
なお、実体カード情報でなく、メタカード情報を選択した場合においても、同様の処理が行われる。このため、複数のカード情報を選択したときになされた発言は、当該複数のカード情報に関係するメタカード情報に関連づけて情報管理テーブルに記録される。
【００６６】
利用者が、予め定められた操作により、会議端末１を再生モードに切り替えると、会議端末１は、サーバ装置２に記録されたレコード情報に基づいて、図７に示したように、各カード情報を表示する。なお各カード情報には、それぞれのカード情報識別子ではなく、それぞれ入力された内容が記述される。また、会議端末１は、各カード情報を表示する際には、メタカード情報を表示せず、実体カード情報のみを表示することとしてもよいし、図７（ｂ）に示すように、メタカード情報を表示するとともに、メタカード情報から、その関係カード情報に含まれる他の複数のカード情報への矢印などを併せて表示してもよい。会議端末１は、これらのいずれの表示とするかは、利用者の指示によって切り替えてもよい。
【００６７】
利用者がこの再生モードにおいて、カード情報を選択すると、会議端末１は、サーバ装置２に対して選択されたカード情報のカード情報識別子に関連づけられて、情報管理テーブルに記録されている音声識別子の一覧を要求する。そして、当該一覧をサーバ装置２から受信すると、図６に例示したように表示する。
【００６８】
利用者が、一覧に含まれる音声識別子の一つを選択して再生指示を行うと、会議端末１は、サーバ装置２に対して選択された音声識別子に関連づけられた音声情報を要求し、当該要求に応答してサーバ装置２が、音声情報データベース２３から取り出して送出した音声情報を受信する。そして会議端末１は当該受信した音声情報に基づいて音声を鳴動する。
【００６９】
なお、ここで一覧は、発言の日時が新しいものから順に並べ替えて表示されてもよいし、発言の日時が古いものから順に並べ替えて表示されてもよい。また、一覧内の音声情報を、すべてを再生するべき旨の指示があったときには、当該一覧の順に再生してもよいし、発言の日時が新しいものから順に並べ替えて再生されてもよいし、発言の日時が古いものから順に並べ替えて再生されてもよい。
【００７０】
また、ここまでの説明では、メタカード情報は、複数のカード情報が選択されたときに生成されるものとして説明したが、これに限られない。例えば会議端末１は、少なくとも一つのカード情報の選択を受けておき、当該選択されたカード情報を関係カード情報とするメタカード情報を生成する指示をさらに受けてもよい。この場合、会議端末１は、選択されたカード情報を関係カード情報に含むメタカード情報を生成するべき旨の要求をサーバ装置２に送信することになる。
【００７１】
さらに、メタカード情報に関連づけられた関係カード情報には、他のメタカード情報のカード情報識別子が含まれていてもよい。この場合は、概念的には図９に示すように階層的な構造が形成されることになる。図９では、メタカード情報を、「Ｍ１」、「Ｍ２」などと示し、実体カード情報を、「Card n」（ｎは数値）で示している。
【００７２】
すなわち、利用者は、このメタカード情報を用いて、図１０に示すように、カード情報間の関係を階層構造に整理できる。図１０（ａ）では、「Card 5」、「Card 6」が、メタカード情報「Ｍ１」に関係づけられているが、「Card 5」、「Card 6」に関係するメタカード情報「Ｍ４」を作成し、このメタカード情報「Ｍ４」を、メタカード情報「Ｍ１」に関係づけるよう操作してもよい（図１０（ｂ））。なお、一つのカード情報が複数のメタカード情報に関係づけられてもよいが、その場合、図１０のような変更においては、メタカード情報「Ｍ１」に関係づけられた関係カード情報から、「Card 5」、「Card 6」を削除する。
【００７３】
また、会議端末１は、メタカード情報に関連づけられた関係カード情報の内容を、利用者の指示に応じて、変更するよう、サーバ装置２に要求してもよい。例えば会議端末１は、メタカード情報に関連する関係カード情報の内容を表示し、利用者は、この関係カード情報に含まれるカード情報識別子を削除したり、他のカード情報のカード情報識別子を追加可能としてもよい。これにより例えば、メタカード情報により群としてまとめられているカード情報の構成を変更できる。
【００７４】
このように、本実施の形態の情報構造化システムによると、図１１に示すように、カード情報が選択されているか否かが判断され（Ｓ１）、選択されている場合に、当該選択されているカード情報のカード情報識別子が検出される（Ｓ２）。そして、検出されたカード情報識別子が複数であるか否かが調べられる（Ｓ３）。ここで検出されたカード情報識別子が単数であれば（つまり一つだけが選択された場合は）、時刻の情報Time_Sが記録され（Ｓ４）、選択されているカード情報識別子が選択の操作が行われたことを表す情報と共に記録される（Ｓ５）。また、選択されているカード情報に対して操作が行われているか否かが判断され（Ｓ６）、操作が行われていれば当該操作を記録する（Ｓ７）。
【００７５】
さらに、別のカード情報が選択されるなど、選択されたカード情報が変更されたか、あるいは、カード情報の選択が解除されたか否かが判断され（Ｓ８）、選択されたカード情報が変更されたか、あるいは、カード情報の選択が解除されていなければ、処理Ｓ６に戻って処理が継続される。また処理Ｓ８において、選択されたカード情報が変更されたか、あるいは、カード情報の選択が解除されたときには、Time_Sからこの処理の時点までに入力された音声情報や映像情報について、記録された操作等との関連づけが行われ、情報管理テーブルが生成される（Ｓ９）。
【００７６】
また、処理Ｓ３において、複数のカード情報が選択されたと判断されたときには、当該複数のカード情報に関係するメタカード情報が既に記録されているか否かが判断され（Ｓ１０）、記録されていれば、当該記録されたメタカード情報が選択されたこととして、処理Ｓ４に移行する。
【００７７】
一方、上記複数のカード情報に関係するメタカード情報が未だ記録されていなければ、上記複数のカード情報に関係するメタカード情報を記録して（Ｓ１１）、当該記録されたメタカード情報が選択されたこととして、処理Ｓ４に移行する。
【００７８】
なお、ここまでの説明において、音声情報は、利用者ごとに記録されてもよい。例えば、利用者ごとに個別のマイクを用い、どのマイクから音声が入力されたかによって、どの利用者の発言であるかを会議端末１が判別し、当該判別の結果とともに、音声情報をサーバ装置２へ送出してもよい。
【００７９】
この場合サーバ装置２では、音声情報とともに、上記判別の結果を関連づけて記録する。また、会議端末１では、当該記録を参照して、例えば図６に示した一覧表示が行われるときに、どの利用者の発言であるかを表す情報を、一覧上の各音声識別子に関連づけて表示してもよい。
【００８０】
また、ここまでの説明では、会議端末１とサーバ装置２とは別体の装置であり、通信回線などを介して相互に通信可能に接続されているものとしたが、本実施の形態ではこれに限られず、会議端末１とサーバ装置２とを一体の情報処理装置にて実現しても構わない。
【００８１】
本実施の形態によると、情報を記述した情報要素に対し、当該情報要素が選択されている間に取得された環境情報を関連づけて記録できる。また、複数の情報要素間の関係に対して、環境情報を関連づけて記録することも可能となる。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施の形態に係る情報構造化システムの例を表す構成ブロック図である。
【図２】本発明の実施の形態に係る情報構造化システムのサーバ装置の例を表す機能ブロック図である。
【図３】本発明の実施の形態に係る情報構造化システムにおけるカード情報保持部の内容例を表す説明図である。
【図４】本発明の実施の形態に係る情報構造化システムにおける情報管理テーブルの内容例を表す説明図である。
【図５】本発明の実施の形態に係る情報構造化システムの会議端末の構成例を表す機能ブロック図である。
【図６】本発明の実施の形態に係る情報構造化システムでのカード情報に関係する発言のリスト表示例を表す説明図である。
【図７】本発明の実施の形態に係る情報構造化システムでのカード情報の表示例を表す説明図である。
【図８】本発明の実施の形態に係る情報構造化システムでのカード情報の選択操作の例を表す説明図である。
【図９】本発明の実施の形態に係る情報構造化システムでのカード情報管理の概念例を表す説明図である。
【図１０】本発明の実施の形態に係る情報構造化システムでのカード情報の階層管理状態の変更例を表す説明図である。
【図１１】本発明の実施の形態に係る情報構造化システムの動作例を表すフローチャート図である。
【符号の説明】
【００８３】
１  会議端末、２  サーバ装置、３  入力端末、１１  制御部、１２  記憶部、１３  操作部、１４  表示部、１５  環境情報収集部、１６，２８  通信部、２１  カード情報保持部、２２  カード情報管理部、２３  音声情報データベース、２４  映像情報データベース、２５  操作情報データベース、２６  テーブル管理部、２７  取得情報記録部、３１  情報取得部、３２  音声再生部、３３  表示管理部、３４  ジェスチャー入力部、３５  ジェスチャー解析部、３６  選択判定部。
【図１】
2009194718.tif 000003
【図２】
2009194718.tif 000004
【図３】
2009194718.tif 000005
【図４】
2009194718.tif 000006
【図５】
2009194718.tif 000007
【図６】
2009194718.tif 000008
【図７】
2009194718.tif 000009
【図８】
2009194718.tif 000010
【図９】
2009194718.tif 000011
【図１０】
2009194718.tif 000012
【図１１】
2009194718.tif 000013