(57)【特許請求の範囲】
【請求項１】
被写体を撮像して画像を取得する撮像手段を有し、画像を含むマルチメディア情報を収集する収集手段と、
前記撮像手段により取得された画像を表示する表示手段と、
前記表示手段により表示された画像の所望領域に人為的指示に基づいて認識領域を示す予め定められた第１形状または第２形状の属性を持つ領域枠マークを付与するマーク付与手段と、
前記マーク付与手段により付与された領域枠マークを前記マルチメディア情報中に記録する記録手段と、
前記マルチメディア情報を関連する情報どうし互いに対応付けて記憶する記憶手段と、
前記記憶手段に記憶されているマルチメディア情報から前記領域枠マークに基づいて認識／解析対象の情報を抽出する抽出手段と、
前記抽出手段により抽出された情報について、前記領域枠マークの持つ属性が前記第１形状の場合は文字認識、前記第２形状の場合は顔画像認識をそれぞれ行うことにより、該抽出された情報に関係する個人を特定するための認識結果を得る認識手段と、
前記認識手段により得られる認識結果を前記記憶手段に記憶されたマルチメディア情報と対応させて蓄積するデータベースと、を具備したことを特徴とするマルチメディア情報収集管理装置。
【請求項２】
前記第１形状は四角形であり、前記第２形状は円形であることを特徴とする請求項１記載のマルチメディア情報収集管理装置。
【請求項３】
被写体を撮像して得られる画像を含むマルチメディア情報を収集する処理と、
前記画像を表示させる処理と、
表示された画像の所望領域に人為的指示に基づいて認識領域を示す予め定められた第１形状または第２形状の属性を持つ領域枠マークを付与する処理と、
前記マーク付与手段により付与された領域枠マークを前記マルチメディア情報中に記録する処理と、
前記マルチメディア情報を関連する情報どうし互いに対応付けて記憶手段に記憶する処理と、
前記記憶手段に記憶されているマルチメディア情報から前記領域枠マークに基づいて認識／解析対象の情報を抽出する処理と、
抽出された認識／解析対象の情報について、前記領域枠マークの持つ属性が前記第１形状の場合は文字認識、前記第２形状の場合は顔画像認識をそれぞれ行うことにより、該抽出された情報に関係する個人を特定するための認識結果を得る処理と、
前記認識結果を前記記憶手段に記憶されたマルチメディア情報と対応させてデータベースに蓄積させる処理と、をコンピュータに行わせるためのプログラムを格納したコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、収集した各種の情報を整理、抽出して関連のあるものについては関連付けを行い、利用し易い構造のデータベースにデータベース化するようにしたマルチメディア情報収集管理装置に関するものである。
【０００２】
【従来の技術】
静止画を記録する機器としては、例えば、デジタルスチルカメラがある。そして、デジタルスチルカメラの中には静止画に対して記録日時やサウンドなどの注釈を付けられるものがある。また、動画を記録する機器としては、デジタルムービなどがあり、動画とサウンドを記録できるだけでなく、記録日時やタイトルなどの注釈を付けられるものがある。
【０００３】
しかしながら、上記のような従来のマルチメディア情報収集機器では、各種マルチメディア情報を収集することはしても、その整理と情報の編集、抽出、関連付けなどデータベース化するための作業は人手に頼らねばならない。従って、データベース化に当たっては大きな労力を裂かねばならない。
【０００４】
【発明が解決しようとする課題】
上記のように、従来のマルチメディア情報収集機器では、各種マルチメディア情報を収集することはしても、それをデータベース化するためにはその収集情報の整理や情報の編集、抽出、関連付けなど、人手に多くを頼らねばならないなど作業の負担が多く、データベース化に当たって費やさねばならない労力は大変なものがある。
【０００５】
従って、収集したマルチメディア情報をユーザに負担をかけることなく収集、整理および関連付けを行って、多様な検索を可能にするようなデータベースの構築が行えるようにする技術の開発が嘱望されている。
【０００６】
そこで、この発明の目的とするところは、収集した各種マルチメディア情報について、その情報の整理や情報の編集、抽出、関連付けなどを自動的に行って、データベース化することができるようにしたマルチメディア情報収集装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明は次のように構成する。すなわち、各種メディアの情報を収集するマルチメディア情報収集手段と、このマルチメディア情報収集手段により収集された各種メディアの情報を所要の関連のあるものについては対応付けて前記マルチメディア対応記憶手段に記憶させるマルチメディア対応記憶手段と、このマルチメディア対応記憶手段に対応づけられて記憶されている情報を抽出して認識し、解析してその抽出した情報に関係する個人を特定する情報認識／解析手段と、前記情報認識／解析手段が解析した情報を前記マルチメディア対応記憶手段に記憶された情報と対応させて蓄積するマルチメディアデータベースとを具備することを特徴とする。
【０００８】
更には、前記マルチメディア情報収集手段には、撮像手段を設けると共に、この撮像手段にて撮像した被写体の画像をマルチメディア情報として収集し、この収集した画像のマルチメディア情報を表示手段に画像表示させる機能手段と、この表示させた画像の所望領域に人為的指示に基づいて認識領域を示すマークを付与する機能手段と、この付与したマークを当該マルチメディア情報中に記録させるべく制御する機能手段とを設け、また、前記情報認識／解析手段には、前記マルチメディア情報収集手段が情報収集時にマルチメディア情報中に記録したマークをもとに、認識／解析対象を抽出する対象抽出手段を具備する。
【０００９】
このような本発明においては、各種メディアの情報を記憶するマルチメディア対応記憶手段があり、各種メディアの情報を収集するマルチメディア情報収集手段は各種メディアの情報を収集すると共に、所要の関連のあるものについては対応付けて前記マルチメディア対応記憶手段に記憶させる。
【００１０】
情報認識／解析手段は、前記マルチメディア対応記憶手段に対応づけられて記憶されている情報を抽出して認識し、解析してその抽出した情報に関係する個人を特定する。そして、この情報認識／解析手段にて解析した情報を前記マルチメディア対応記憶手段に記憶された情報および対応付け情報と共にマルチメディアデータベースに蓄積する。
【００１１】
このように、個人を特定できる基礎的なデータを集め、集めたこれらの情報について、個人別、そして、イベント別に情報を検索可能なように各情報について関係のあるもの同士のリンクを張った構造のデータベースを自動作成することができるようになるものである。
【００１２】
更には、前記マルチメディア情報収集手段には、撮像手段を設けてあり、この撮像手段にて撮像した被写体の画像をマルチメディア情報として収集し、この収集した画像のマルチメディア情報を表示手段に画像表示させることができる。そして、この表示させた画像の所望領域に人為的指示に基づいて認識領域を示すマークを付与することにより、これを当該マルチメディア情報中に記録させることができる。そして、情報認識／解析手段は、マルチメディア情報中に記録したマークをもとに、認識／解析対象を抽出する。
【００１３】
よって、本発明のマルチメディア情報収集管理装置では、画像の認識対象の領域を特定形状のマークで囲むことにより、認識領域と認識処理内容を特定するようにすると共に、マルチメディア情報収集の際に画像については認識対象の領域に、所望とする認識処理内容対応の形状でマークを付けることにより、認識領域を特定でき、そのマークの属性に応じた認識を行う他のメディアと対応付けて記録して、その認識結果を手掛かりに検索を行うことができるなど、ユーザに負担をかけることなく、マルチメディア情報の収集および検索を行うことができるようにしたマルチメディア情報収集管理装置を提供できる。
【００１４】
具体的には、あるイベントを開催した場合、例えば、会議を開催した場合に、会議名や議題、開催場所、開催日時、出席者名、資料などが記載された会議資料があればそれを撮像手段で撮像して、関係資料としてデータ化して取得し、また、会議出席者の画像を一人一人撮像手段で撮像して、その出席者各人の顔画像を収集し、その顔画像中の認識領域を設定すべく、画像上にマークすることで顔画像の特徴を抽出し、また、その際に、例えば、その人個人の名刺の提供を受けて当該名刺の画像を撮像して文字認識によりその人の名前や所属など個人情報をテキストデータ化して収集し、また、自己紹介などで音声情報を取得して音声認識するなどして、個人を特定できる基礎的なデータを集めると、集めたこれらの情報について、個人別、会議別に情報を検索可能なように各情報について関係のあるもの同士のリンクを張った構造のデータベースを自動作成することができるものである。
【００１５】
従って、ユーザに負担をかけることなく、マルチメディア情報の収集とその収集データのデータベース化ができ、しかも、データベースは関連情報はイベント単位、個人単位でリンクが張られるので検索も容易に行うことができるようになるマルチメディア情報収集管理装置を提供できる。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
【００１７】
（第１の実施形態）
第１の実施形態では、音声情報、文字情報、画像情報などのマルチメディア情報を収集してその情報を関連のあるもの同士を関連付けて整理し、データベース化する技術について説明する。
【００１８】
図１は、本発明に係るマルチメディア情報収集方式を採用して構成したマルチメディア情報収集装置の実施形態をブロック図で示したものである。
【００１９】
図１に示すように、本発明のマルチメディア情報収集装置は、マルチメディア情報収集部１、マルチメディア対応記憶部２、情報認識／解析部３、対象抽出部４、解析制御部５、文字認識部６、音声認識部７、顔認識部８、話者認識部９、人名抽出部１０、マルチメディアデータベース部１１から構成されている。
【００２０】
これらのうち、マルチメディア情報収集部１は画像、音声、文字、図形などのマルチメディア情報を収集するためのものであり、画像取得用としてデジタルカメラやデジタルムービ、音声情報取得用としてマイクロフォン、図形／文字取得用として例えば、ペン入力装置の操作による図形情報やパターン認識技術による文字認識機能など備えている。そして、マルチメディア情報収集部１には更に、収集した各種メディアの情報を、所要の関連のあるものについては情報同士、対応付けてマルチメディア対応記憶部２に記憶させるべく制御する機能を有している。
【００２１】
マルチメディア対応記憶部２は、マルチメディア情報収集部１の収集した画像、音声、図形、文字（テキスト）などの各メディアの情報を、関連のあるもの同士についてはそれぞれ対応させて記憶するためのものである。
【００２２】
また、情報認識／解析部３はマルチメディア対応記憶部２に対応づけられて記憶されている情報部分を抽出し、認識／解析するものであって、マルチメディア対応記憶手段に対応づけられて記憶されている情報を抽出して認識処理し、解析してその抽出した情報に関係する個人を特定する機能を有する。また、解析された情報をマルチメディア対応記憶部２に記憶された情報および対応情報と対応させてマルチメディアデータベース部１１へ蓄積させる制御を司る。
【００２３】
前記対象抽出部４は前記マルチメディア情報収集部１が情報を収集した際に、ユーザの操作によってマルチメディア情報中に記録された認識領域枠のマークをもとに、その認識領域枠内の画像情報をマーク属性に従って認識し、解析対象を抽出するものである。
【００２４】
また、前記解析制御部５は、対象抽出部４が抽出した認識／解析対象のマークの属性に対応して、使用する認識／解析に用いる知識辞書や認識／解析方法を制御するものであり、文字認識部６は、画像中の文字を認識するためのものであり、音声認識部７は、画像や他のメディアに対応して収集された音声を認識するものであり、音声情報を音声認識処理することで、文字情報に変換すると云った機能を有する。
【００２５】
顔認識部８は、画像中の顔部分を認識するためのものであり、画像中の顔部分の特徴点を認識することで、個人個人の顔の特徴から個人を識別することができるものである。また、話者認識部９は、画像や他のメディアに対応して収集された音声より話者を認識するものであり、人名抽出部１０は、文字認識部６が認識した結果より人名情報部分を抽出するものである。
【００２６】
また、マルチメディアデータベース部１１は、解析された情報をマルチメディア対応記憶部２に記憶された情報および対応情報と対応させて蓄積するベースである。このようなマルチメディアデータベース部１１への情報蓄積の制御は、情報認識／解析部３によって行われる。
【００２７】
図２は、図１の構成のマルチメディア情報収集装置の処理動作を説明するためのフローチャートである。また、図３は、マルチメディア情報収集装置の前面操作部の構成を示したものであり、マルチメディア情報収集部１の構成要素の一部である。
【００２８】
図３に示す如く、このマルチメディア情報収集装置の前面操作部は、ディスプレイ部とカメラ部、そしてスピーカとマイクロフォンおよび操作ボタンなどがレイアウトされている。ディスプレイ部は例えば、液晶パネルディスプレイで作られており、デジタルカメラが撮影している映像または既に撮影した映像を表示させ、また情報収集の際の操作等を行うアプリケーションの表示画面を表示して画面上で操作を行うための情報操作部２１となっている。
【００２９】
すなわち、アプリケーションの表示画面には送りボタンやポイントボタン、文字入力ボタン図形入力ボタン、図形入力ボタン、認識領域指定ボタンなどが画面の端部に表示され、マウスなどのポインティングデバイスで位置を指定してクリックすると、そのボタンが示す処理内容の機能を画面上で実行することができる。例えば、２７が文字入力ボタン、２８が図形入力ボタン、２９が認識領域指定ボタン部（四角形領域）、３０が認識領域指定ボタン部（円形領域）、３１が情報表示部であり、情報表示部３１は画像や文字などの表示のための領域として用いられる。
【００３０】
そして、情報表示部３１に画像を表示した状態で、ポインティングデバイスで画像上の位置を指定し、認識領域指定ボタン部（四角形領域）２９を押し、表れた四角形をポインティングデバイスにてドラッグして範囲を所望に調整し、定めるとその四角形領域を文字認識領域としてアプリケーションに認識処理させることができる。
【００３１】
また、情報表示部３１に画像を表示した状態で、ポインティングデバイスで画像上の位置を指定し、認識領域指定ボタン部（円形領域）３０を押し、表れた円形をポインティングデバイスにてドラッグして範囲を調整し、定めるとその円形領域内を画像の認識領域としてアプリケーションに認識処理させることができる。
【００３２】
また、情報操作部２１の画面端部にはファイル機能、編集機能、表示機能、挿入機能、ツール機能でヘルプ機能などの各機能を指定するためのメニューボタンが表示されていてポインティングデバイスで必要に応じて選択指定することでこれらの機能を利用できるようになっている。
【００３３】
２２は前面操作部に設けられているデジタルカメラのレンズ部であり、このレンズ部２２を通して、得られる画像がデジタルカメラにて撮像されて画像データになる。２３は前面操作部に設けられているデジタルカメラのシャッタボタン部であり、このシャッタボタン部２３をユーザが押すことで、デジタルカメラのシャッタを切り、画像を撮像できる。
【００３４】
２４は前面操作部に設けられているマイクロフォン部であり、また、２５はマイクロフォン部２４を機能させて録音を行うための録音ボタン部である。２６は前面操作部に設けられているスピーカ部であり、録音音声をはじめ音声出力に用いられる。前記デジタルカメラやマイクロフォン部２４は、マルチメディア情報収集部１のデバイスを構成している。
【００３５】
本装置では、例えば、会議を開催した場合、会議名や議題、開催場所、開催日時、出席者名、資料などが記載された会議資料があればそれをデジタルカメラで撮像して、関係資料としてデータ化して取得し、また、会議出席者の画像を一人一人デジタルカメラで撮像して、その出席者各人の顔画像を収集し、その顔画像中の認識領域を設定すべく、画像上にマークすることで顔画像の特徴を抽出し、また、その際に、例えば、その人個人の名刺の提供を受けて当該名刺の画像を撮像して文字認識によりその人の名前や所属など個人情報をテキストデータ化して収集し、また、自己紹介などで音声情報を取得して音声認識するなどして、個人を特定できる基礎的なデータを集め、集めたこれらの情報について、個人別、会議別に情報を検索可能なように各情報について関係のあるもの同士のリンクを張った構造のデータベースを自動作成する。また、会議録や発言内容を取得して、収録したデータベースを自動作成する。
【００３６】
顔画像の収集はその画像をディスプレイに表示させた状態で認識対象領域について領域枠をマークし、文字情報の収集はその画像をディスプレイに表示させた状態で認識対象領域について領域枠をマークするといったことで、領域指定して行うようにするが、マークする領域枠の形状を顔画像の認識と、文字認識とでは違うものを使用する。例えば、領域枠形状が円形なら顔画像の認識とし、方形ならば文字認識とすると云った具合に領域枠の形状属性（マークの形状属性）対応に、何を認識するかが一義的定まるようにする。
【００３７】
このように、マークの形状により認識処理の内容が定まるようにすることで、操作の手間を簡略化する。このようにして、カメラによる対象物の画像取得と、当該画像に対して特定形状の枠線を使用しての画像認識対象領域の指定と云った簡単な操作で、関連情報を取得でき、また、収集した情報は、顔特徴や音声の特徴などを含めて個人認識に利用することで、個人認識できるようにし、その結果を利用して個人と関連を持つもの同士を自動的に関連付けることができるようにしてデータベース化する。また、音声情報は音声認識により文字データ化してデータベースに収録し、個人認識されれば、その個人の情報としてリンクが張られるようにする。
【００３８】
これらによって、簡単な操作と最小の手間によりマルチメディア情報について、関連情報のデータベース化を自動的に行えるようにする。
【００３９】
詳細を説明する。会議を収録してデータベースを作成する場合、少なくとも、図３に示したマルチメディア情報収集装置の前面操作部（すなわち、マルチメディア情報収集部１に相当）は、会議場の出席者席の例えば、テーブル上に各人別に設置しておくと良い。勿論、数人毎に共用として運用することも可能であるが、処理の単純化のため、個別に設置して情報収集する構成を採用して話を進めていくことにする。
【００４０】
図２のフローチャートを参照して図１、図３の構成のマルチメディア情報収集装置の処理動作の詳細を説明する。
【００４１】
まず、装置が起動されるとマルチメディア情報収集部１は入力待ち状態となる（図２のステップＳ１）。当該入力待ち状態では、前面操作部における情報操作部２１内の情報表示部３１にはデジタルカメラが撮影している映像が表示される。マルチメディア情報収集部１が個人別に設置してある場合、デジタルカメラが撮影している映像はそのマルチメディア情報収集部１が設置してある席に着席している人個人の画像である。
【００４２】
＜画像撮影＞
この状態で、その人がマルチメディア情報収集部１における前記の前面操作部にあるシャッタボタン２３を押したとする。すると、デジタルカメラに画像撮影の指示が送られ、その人の画像が撮影される（図２のステップＳ２）。
【００４３】
するとマルチメディア情報収集部１における前面操作部にある情報表示部３１にはこのシャッタ操作によりデジタルカメラにて撮影された画像が表示され、また、当該撮影された画像のデータはマルチメディア対応記憶部２に一時的に記憶され（図２のステップＳ６）、再び入力待ち状態（図２のステップＳ１）となる。
【００４４】
画像撮影後のマルチメディア情報収集部１の入力持ち状態では、音声入力（図２のステップＳ３）、図形／文字入力（図２のステップＳ４）、認識領域指定  （図２のステップＳ５）、および新規画像撮影（図２のステップＳ２）が行える状態となる。
【００４５】
＜音声の入力＞
まず、音声入力を行う場合について説明する。
【００４６】
マルチメディア情報収集部１の入力待ち状態からマルチメディア情報収集部１における前面操作部にある図３の録音ボタン部２５を押すことにより、マルチメディア情報収集部１の一構成要素である音声情報取得用のマイクロフォン部２４に対して音声録音の指示が送られ、これによってマルチメディア情報収集部１はユーザが録音ボタン部２５を押している間だけマイクロフォンから音声信号を取り込んで音声データ化し、これをマルチメディア対応記憶部２に一時的に記憶させることで録音する（図２のステップＳ３）。
【００４７】
マルチメディア情報収集部１は音声の録音が終了すると、この音声データをマルチメディア対応記憶部２に既に記憶されているマルチメディア情報と対応づけて正規に記憶させ（図２のステップＳ６）、再び入力待ち状態（図２のステップＳ１）となる。これまでの経緯によれば、マルチメディア対応記憶部２に既に記憶されているマルチメディア情報はデジタルカメラで撮像した前述の画像であるから、この画像のデータとこの音声データとが対応付けることになる。
【００４８】
＜図形／文字入力＞
次に図形／文字入力を行う場合について説明する。
【００４９】
マルチメディア情報収集部１の入力待ち状態から、マルチメディア情報収集部１における前面操作部にある図３の情報操作部２１内の文字入力ボタン２７または図形入力ボタン２８を選択することにより、図形／文字入力状態となる（図２のステップＳ４）。
【００５０】
図形／文字はマルチメディア情報収集部１の一構成要素として用意された何らかの図形／文字入力手段（例えば、ペン入力装置やマウス入力装置、タブレット、トラックボールなど）を操作することにより、画像中の任意の場所に入力するよう、マルチメディア情報収集部１は制御する。従って、図形／文字入力手段として例えば、ペン入力装置が用意されていたとして、ユーザ（マルチメディア情報収集部１が設置された席に着席の個人）が画像入力ボタン２８を操作することで図形入力モードとし、当該ユーザがこのペン入力装置を手に持って画面上でペンを操作することにより、画面に表示されている画像中の所望の場所に、所望の図形を入力することができる。
【００５１】
また、ユーザがペン入力装置を手に持って画面上でペンを操作することにより、画面上の文字入力ボタン２７を操作したとすると、文字入力モードとなり、ユーザが画面上でペンを操作して手書き文字を入力すると、パターン認識処理技術によりその手書き文字がパターン認識されて該当の文字の情報を得ることができる。
【００５２】
図形／文字の入力が終了すると、当該ペン入力操作により入力された図形情報または文字情報は、マルチメディア対応記憶部２に既に記憶されている当該ユーザにかかわりのある前述のマルチメディア情報と対応付けられて記憶され（図２のステップＳ６）、再び入力待ち状態となる（図２のステップＳ１）。
【００５３】
＜認識領域指定＞
次に認識領域指定を行う場合について説明する。
【００５４】
本装置では、画像中に認識領域を設定するとその設定した認識領域の形状に応じてその領域内の画像について文字認識をしたり、画像認識する機能を有している。
【００５５】
すなわち、マルチメディア情報収集部１の入力持ち状態から、マルチメディア情報収集部１における前面操作部にある情報操作部２１に表示されている図３の認識領域指定ボタン（四角形領域）２９か、または、認識領域指定ボタン（円形領域）３０のいずれかを選択して操作することにより、マルチメディア情報収集部１は認識領域指定の状態となる（図２のステップＳ５）。
【００５６】
すなわち、情報表示部３１に画像が表示されているので、この状態でポインティングデバイス（ペン入力装置やマウス、トラックボールなど）等で認識領域指定ボタン部（四角形領域）２９を押し、さらに画像上の位置を指定すると、その位置に四角形の領域枠マークが表れる。この四角形の領域枠マークを、大きさの調整や位置調整が必要ならば、ポインティングデバイス等にてドラッグして位置や範囲を調整し、所望に領域を定めるか、ペン入力装置のペンを手に持ってユーザが画像上の所望領域の２点をペンで指定するなどしてその２点を対角位置とする方形を表示させるなどして領域を定める。
【００５７】
するとその四角形領域を文字認識領域としてアプリケーションに認識処理させることができるようになる。
【００５８】
また、ポインティングデバイス等の操作により認識領域指定ボタン部（円形領域）３０を押し、さらに画像上の位置を指定すると、その位置に円形の領域枠マークが表示される。
【００５９】
この円形の領域枠マークの位置やサイズの調整が必要ならば、画面上に表れた円形の領域枠マークをポインティングデバイスにてドラッグして範囲や位置を調整し、領域を定める。あるいは、ポインティングデバイスによりユーザが画像上の所望領域の中心点と半径位置を指定するなどして中心位置と半径を定めることで決まる２点で規定される円形を表示させるなどして領域を定める。
【００６０】
このようにして円形の領域を定めると、その円形領域（円形の領域枠マーク）内を画像の認識領域としてアプリケーションに認識処理させることができるようになる。
【００６１】
このようにして、画像認識用か文字認識用かにより、所望に領域枠マークを設定すると、この領域枠マークの情報は関連するマルチメディア情報と関連付けられてマルチメディア対応記憶部２に記憶されることになる。
【００６２】
詳細は後述するが、入力終了の指示をすると、認識処理用のアプリケーションはプログラムを実行し、領域枠マークで指定された領域内画像を領域枠マークの枠形状に対応した所要の認識処理をして所要の情報を抽出することになる。そして、指定領域内画像を認識処理するアプリケーションが解析制御部５の機能であり、この解析制御部５は、操作された認識領域指定ボタンが四角形領域用の認識領域指定ボタン２９であるか、円形領域用の認識領域指定ボタン３０であるかにより、指定された領域に対して行う認識／解析方法が異なる。よって、認識の目的に応じて各ボタンを使い分ける。尚、認識／解析方法については後で詳しく説明する。
【００６３】
認識領域の指定が終了するとこの指定された認識領域の情報はマルチメディア対応記憶部２に既に記憶されているマルチメディア情報と対応づけられて記憶され（図２のステップＳ６）、再び入力待ち状態となる（図２のステップＳ１）。
【００６４】
ここで、新規画像撮影を行った場合は、新たに画像が撮影され、情報表示部３１には撮影された画像が表示される。新規画像はマルチメディア対応記憶部２によって、以前に収集したマルチメディア情報と関連あるものは対応づけられ、記憶されてから（図２のステップＳ６）、入力待ち状態となる（図２のステップＳ１）。
【００６５】
以上の操作を繰り返すことにより、各マルチメディア情報をそれぞれ対応付けながら入力する。
【００６６】
マルチメディア情報の入力が終了したならば、ユーザは入力終了の指示操作を行う。そして、ユーザからの入力終了の指示があると（図２のステップＳ７）、情報認識／解析部３はマルチメディア対応記憶部２に対応づけられて記憶されている情報を抽出し、認識／解析を行う。その際、対象抽出部４は情報収集の際に認識領域として指定されて設定された領域枠マークをもとに認識／解析対象の抽出を行い、また、解析制御部５はマークの属性に対応して使用する認識／解析に用いる知識辞書や認識／解析方法の制御を行う（図２のステップＳ８）。
【００６７】
図４、図５、図６は、それぞれ図３の情報表示部３１に表示されている撮影済みの画像に認識領域指定のための領域枠マークがつけられた例を表している。図４と図５が画像中に四角形の領域枠マークを設定した例であり、図６は画像中に円形の領域枠マークを設定した例である。
【００６８】
そして、例えば、指定認識領域が四角形の領域枠マークである場合には領域内の文字認識を行うものとすると、図４のように例えば会議名の文字の周囲を四角形枠４１で囲むことにより、文字認識部６が画像中の文字を抽出し認識する（ステップＳ９)ことになる。
【００６９】
ここで、例えば、アプリケーションのメニューを開いて抽出対象属性選択の機能を指定し、図７に示すように抽出対象属性選択のための属性選択窓５１を情報表示部３１上に表示し、この属性選択窓５１により属性を選択する。この属性選択窓５１には“日付”、“会議名”、“開催場所”、“名刺”、“氏名”、“会社名”、“電話番号”、“所属部署”、“住所”、“発言内容”、……と云った具合に、予め各種の項目がその項目内容対応の属性情報とともに設定されており、これらの設定された各種の項目を表示してその中から所望のものを選択すると、その項目と属性情報が選択でき、これによって、認識させる文字列に適切な属性を選択付与することができることにより、解析制御部５は認識／解析に用いる知識辞書を制御することができる。
【００７０】
解析制御部５は種々用意された知識辞書のうち、この選択された属性対応の知識辞書を用いて認識／解析することにより、領域枠マーク内の画像中に含まれる文字画像部分を文字認識する結果、正しい内容の文字データに変換できる。そして、ここで認識／解析されたテキスト情報は、文字認識の対象となったマルチメディア情報と対応づけられてマルチメディアデータベース部１１に蓄積される  （ステップＳ１３）。
【００７１】
なお、“会議名”の属性を持つ項目の場合、認識／解析されたテキスト情報は、見出しとして、文字認識の対象となったマルチメディア情報と対応づけられてマルチメディアデータベース部１１に蓄積される。
【００７２】
図５は、図４と同様に、四角形４２で認識領域を指定し、文字認識を行う場合の例である。この例は、認識させる対象が例えば名刺４３などの特定個人に関する情報の場合である。この場合も、抽出対象属性選択のための属性選択窓５１を情報表示部３１上に表示し、この属性選択窓５１により項目を選択することで属性を選択する。すなわち、この属性選択窓５１にて“名刺”なる項目を選択する。
【００７３】
知識辞書は“名刺”の属性に対応するものも用意してあり、従って、属性選択窓５１では“名刺”の属性も予め設定されていて、選択可能である。そのため、対象が名刺の場合、属性選択窓５１により“名刺”を選択すれば良いことになる。
【００７４】
“名刺”が選択されると（なお、名刺のみを撮影した画像であれば、属性選択窓で“名刺”を選択するだけで、領域は特に指定しなくても良いようにしておくこともできる。）、文字認識部６は、知識辞書から得られる知識に基づいて、名刺中の会社名、氏名、住所、電話番号等をそれぞれ抽出し認識する（ステップＳ９）。
【００７５】
特に氏名部分については、人名抽出部１０がこの部分を人名として抽出する。氏名以外にここで抽出および認識／解析されたテキスト情報は、特定個人に関する情報として、文字認識の対象となったマルチメディア情報と対応付けられてマルチメディアデータベース部１１に蓄積される（ステップＳ１３）。
【００７６】
また、指定認識領域が円形の領域枠マークで囲まれた状態の場合（つまり、属性が円形の領域枠マークの場合）には領域内の画像の顔認識処理を行う構成としてあるものとすると、図６のように、オペレータが認識対象人物の顔の部分を円形枠４４で囲む操作をすることにより、顔認識部８が画像中の円形枠４４で囲まれた領域から顔を抽出し、顔の特徴を認識する（ステップＳ１１）。そして、この認識した顔特徴情報をマルチメディアデータベース部１１に記憶する（ステップＳ１３）。
【００７７】
特に文字認識部６、人名抽出部１０により人名が抽出された場合、あるいは、顔認識部８が顔を認識した場合には、認識の対象となったマルチメディア情報と対応づけられたマルチメディア情報に対し、人名抽出部１０の抽出結果を見出しとして、顔認識部８、文字認識部６それぞれの認識結果を対応させてマルチメディアデータベース部１１に記憶する（図２のステップＳ１３）。
【００７８】
一方、前述の音声入力の操作によって得てマルチメディア対応記憶部２に記憶されている音声情報について、音声認識部７は音声認識を行う。すなわち、音声認識部７は、画像や他のメデイアに対応して収集された音声を認識する（図２のステップＳ１０）。そして、この音声認識による認識結果を見出しとして当該音声認識の対象となったマルチメディア情報と対応づけられた情報をマルチメディアデータベース部１１に蓄積する（図２のステップＳ１３）。
【００７９】
また、話者認識部９は画像や他のメディアに対応して収集された音声より話者を認識し（図２のステップＳ１２）、その結果を特定個人の情報として、話者認識の対象となったマルチメディア情報と対応付けてマルチメディアデータベース部１１に蓄積する（図２のステップＳ１３）。
【００８０】
このように、話者認識部９は画像や他のメディアに対応して収集された音声より話者を認識し、その結果を特定個人の備報として、話者認識の対象となったマルチメディア情報と対応付けてマルチメディアデータベース部１１に蓄積することから、例えば、ある会議が開催されたとして、その際に話者認識部９による会議出席者の話者認識が一通り完了すると、音声認識部７により当該会議出席者の発言内容を認識し、各個人の発言内容をその個人の名前に対応づけて記憶させると云った処理が可能となる。
【００８１】
各個人の発言内容をその個人の名前に対応づけて記憶させる先はマルチメディアデータベース部１１であるが、この処理は情報認識／解析部３が行うことになる。すなわち、話者認識部９による認識結果を受けて情報認識／解析部３は各個人の発言内容をその個人の名前に対応づけてマルチメディアデータベース部１１に記憶させるわけである。
【００８２】
従って、例えば、図９のように各個人の発言内容７２を各個人名７１に対応づけて記憶するということを自動で行って、出席者の発言内容を記録した議事録を自動編集するといったことが可能となる。
【００８３】
以上のようにして収集されたマルチメディア情報は、マルチメディアデータベース部１１に例えば、図８の如きの形式で蓄積される。蓄積される情報は、例えば、情報識別番号６１、属性６２、属性値６３から構成されるデータである。
【００８４】
ここで、対象が会議の場合、属性６２の情報内容としては“氏名”、“会社名”、“住所”、“電話”、“ＦＡＸ”などがあるが、これらの各項目は、図５にて名刺から認識した値が属性値６３として与えられ、また、顔の項目には、図６にて認識／解析した顔画像のファイル名が属性値６３として与えられ、名刺の項目には、図５にて認識／解析した名刺画像のファイル名が属性値６３として与えられ、会議の項目には、その人物が過去に出席した会議名が属性値６３として与えられ、発言の項目には、出席した会議においてその人物が発言した内容の音声ファイル名と、音声認識部７により音声認識され、テキストに変換されたファイル名とが属性値６３として与えられ、また、資料の項目には、会議で配布された資料のファイル名が属性値６３として与えられ、メモの項目にはユーザがその人物についてステップＳ４にて画像に対応づけて記入したメモを記録したファイル名が、それぞれ属性値６３として与えられることで得られている。
【００８５】
上述したように、これらの値は、情報認識／解析部３の制御機能により、対応づけられてマルチメディアデータベース部１１に蓄積されている。
【００８６】
以上、詳述したように、本実施例においては、例えば、会議を開催した場合、会議名や議題、開催場所、開催日時、出席者名、資料などが記載された会議資料があればそれをデジタルカメラで撮像して、関係資料としてデータ化して取得し、また、会議出席者の画像を一人一人デジタルカメラで撮像して、その出席者各人の顔画像を収集し、その顔画像中の認識領域を設定すべく、画像上にマークすることで顔画像の特徴を抽出し、また、その際に、例えば、その人個人の名刺の提供を受けて当該名刺の画像を撮像して文字認識によりその人の名前や所属など個人情報をテキストデータ化して収集し、また、自己紹介などで音声情報を取得して音声認識するなどして、個人を特定できる基礎的なデータを集め、集めたこれらの情報について、個人別、会議別に情報を検索可能なように各情報について関係のあるもの同士のリンクを張った構造のデータベースを自動作成するようにしたものである。また、会議録や発言内容を取得して、収録したデータベースを自動作成するようにしたものである。
【００８７】
また、顔画像の収集はその画像をディスプレイに表示させた状態で認識対象領域について領域枠をマークし、文字情報の収集はその画像をディスプレイに表示させた状態で認識対象領域について領域枠をマークするといったことで、領域指定して行うようにするが、マークする領域枠の形状を顔画像の認識と、文字認識とでは違うものを使用するようにした。例えば、領域枠形状が円形なら顔画像の認識とし、方形ならば文字認識とすると云った具合であり、領域枠の形状属性  （マークの形状属性）対応に、何を認識するかが一義的定まるようにした。
【００８８】
そして、このように、マークの形状により認識処理の内容が定まるようにしたことで、操作の手間を簡略化するようにした。
【００８９】
従って、カメラによる対象物の画像取得と、当該画像に対して特定形状の枠線を使用しての画像認識対象領域の指定と云った簡単な操作で、関連情報を取得でき、また、収集した情報は、顔特徴や音声の特徴などを含めて個人認識に利用することで、個人認識できるようにし、その結果を利用して個人と関連を持つもの同士を自動的に関連付けることができるようにしてデータベース化し、また、音声情報は音声認識により文字データ化してデータベースに収録し、個人認識されれば、その個人の情報としてリンクが張られるようにするので、これらによって、簡単な操作と最小の手間によりマルチメディア情報について、関連情報のデータベース化を自動的に行えるようになる。
【００９０】
故に、上記実施形態によれば、撮影した画像をもとに、関連する様々なマルチメディア情報をそれぞれ対応づけてマルチメディアデータベース部１１に蓄積することができ、これにより、マルチメディア情報を簡単に特定の目的情報に対応させて記憶することができるようになる。
【００９１】
特に、画像に設定した認識対象の領域を示すマークをもとに認識／解析対象を抽出する対象抽出部４、マークの属性に応じて、使用する認識／解析に用いる知識辞書や認識／解析方法を制御する解析制御部５により、複雑な操作なしに、高度な認識／解析方法の使い分けが可能となる。
【００９２】
尚、上記実施形態では、マルチメディア情報を関連づけする方法として、画像（静止画）を中心としたアプローチを例にとり説明したが、この場合に限らず、例えば動画像、音声、テキストデータ等でもよく、その際の処理形態も上記実施形態と同様である。
【００９３】
また、上記実施形態では、マルチメディア情報の関連づけを行った例として、会議を中心に説明したが、必ずしもこれに限定されるわけではない。例えば、旅行、展示・博覧会、日常の家庭生活等、幅広い応用が可能であり、その際の処理形態も上記実施形態と同様である。
【００９４】
（第２の実施形態）
第１の実施形態は、マルチメディア情報を収集してその情報を関連のあるもの同士を関連付けて整理し、データベース化する技術に関するものであった。しかしデータベースがあっても、このままでは活用の途は閉ざされる。すなわち、データベース化されたマルチメディア情報を後で活用できるようにするには、目的の情報を検索する手段が必要である。そこで、第２の実施形態では、収集したマルチメディア情報を検索する手法について説明する。
【００９５】
図１０は、第２の実施形態に係るマルチメディア情報収集装置の構成例を示したものである。基本構成は図１と変わらないので、図１と同一部分には同一符号を付し、ここでは異なる部分についてのみ説明する。
【００９６】
図１０に示す第２の実施形態のマルチメディア情報収集装置は、例えば、ユーザからの検索要求を受け取り、その意味内容の解析を行うことによって、ユーザから与えられた検索文の意味合いを知る対話制御部１３と、この対話制御部１３の解析結果から検索条件を知り、マルチメディアデータベース部１１から目的のマルチメディア情報を検索するための検索制御部１２と、検索結果をユーザヘ提示するマルチメディア情報提示部１４とを図１の構成に追加した構成である。
【００９７】
なお、上記対話制御部１３は、検索文を自然言語形態で受け取ることができ、自然言語形態の検索文の意味内容を解析してどのような検索をするのかを検索制御部１２に指示することができる。また、マルチメディア情報提示部１４は、検索制御部１２から受け取ったデータベースの検索結果やユーザの検索要求内容について、適切な形態に変換してユーザヘ提示する機能を持たせてある。
【００９８】
図１１は、図１０のマルチメディア情報収集装置において、第１の実施形態と同様の処理動作により収集／対応付けされたマルチメディア情報を、マルチメディアデータベース部１１から検索する際の処理動作を説明するためのフローチャートである。
【００９９】
マルチメディアデータベース部１１には、マルチメディア情報収集部１が収集したマルチメディア情報が、情報認識／解析部３によりそれぞれ対応付けられて、例えば、上記第１の実施形態にて述べた図８のような形式で蓄積されている。
【０１００】
ユーザが何らかの検索文入力手段（例えば、音声による自然言語入力）により検索文を入力すると（図１１のステップＳ２１）、対話制御部１３が検索文を解析し、解析結果を検索制御部１２へ送る（図１１のステップＳ２２）。
【０１０１】
検索制御部１２では、解析された検索文をもとに、マルチメディアデータベース部１１を検索し、目的のマルチメディア情報を搬出する（図１１のステップＳ２３）。検索されたマルチメディア情報は、マルチメディア情報提示部１４により、検索文に応じて適切な提示形態に変換されてユーザヘ提示される（図１１のステップＳ２４）。
【０１０２】
例えば、“丸閥さんが出た企画会議の出席者はだれ？”という検索文が対話制御部１３に入力されたとする。すると対話制御部１３ではこの自然言語形態の検索文の内容を解析して、当該“丸閥さんが出た企画会議の出席者はだれ？”という内容から、“丸閥さんが出た企画会議の出席者を検索する”と云う意味であることを検索制御部１２に知らせる。当該検索制御部１２は対話制御部１３によるこのような解析結果を知って、その条件に当てはまるデータの検索を開始する。
【０１０３】
すなわち、検索制御部１２はまず、はじめに、マルチメディアデータベース部１１から“丸閥さんのデータベース（図８参照）”を抽出する。図８に示す内容を持つこの“丸閥さんのデータベース”の内容から、検索制御部１２は検索文中の“企画会議”は“７月１２日の新規事業企画会議”であると判断し、次に“７月１２日の新規事業企画会議”というキーワードですべてのデータベースを検索し、出席者のデータを抽出する。
【０１０４】
検索制御部１２は、これらの抽出データをマルチメディア情報提示部１４に渡す。
【０１０５】
マルチメディア情報提示部１４では、検索されてきた複数のデータを、検索要求に対して適切な提示形態に変換して表示する。図１２はその一例である。
【０１０６】
すなわち、図１２において８１は検索文の内容である。この検索文８１に対する検索結果として、会議の情報８２、顔写真付きの各出席者の情報８３が一覧表示される。各出席者の顔写真または氏名を選択すると、その出席者に関する情報を参照することができる。
【０１０７】
図１３はその一例で、その出席者の顔写真９１、氏名および所属９２、過去の出席会議の一覧９３、各会議における関連情報へのリンクボタン９４などが表示される。
【０１０８】
各リンクボタンを選択することにより、過去に収集した情報を参照することができる。例えば、発言内容を選択すると、会議中のその人物の発言内容がそのまま再生されるか、またはテキストに変換されたものが表示され、撮影画像を選択すると、会議中にその人物を撮影した、文字／図形メモ付きの画像が表示される。
【０１０９】
またさらに、“意見交換会でＯ×Δの発言をしたのはだれ？”という別の検索文１０１が入力された場合、対話制御部１３は“意見交換会でＯ×Δの発言をした人を検索する”と云う意味であることを知り、これを検索制御部１２に知らせる。当該検索制御部１２は対話制御部１３によるこのような解析結果を知って、その条件に当てはまるデータの検索を開始する。
【０１１０】
すなわち、検索制御部１２は、“意見交換会”、“Ｏ×Δの発言をした人”と云う条件でデータベース部１１のデータを検索し、これらのキーワードに関係する項目とその内容を引き出して、マルチメディア情報提示部１４に渡す。
【０１１１】
マルチメディアデータベース部１１には“意見交換会”で、発言内容が“Ｏ×Δ”である人の氏名や所属情報などの個人情報がその人の顔写真と共に関連付けられて保存されているので、検索制御部１２は、“意見交換会”、“Ｏ×Δの発言をした人”に該当する人の名を抽出することができ、また、その人の顔写真を抽出することができる。
【０１１２】
検索制御部１２は、検索抽出した当該情報をマルチメディア情報提示部１４に与えるので、当該マルチメディア情報提示部１４は例えば、図１４に示すように、発言者を顔写真１０２付きで表示することとなる。また、その時の議題となっていた資料と、その発言の前後の会話等へのリンク情報も検索制御部１２は抽出してマルチメディア情報提示部１４に与えるので、当該マルチメディア情報提示部１４は図１４のように、発言者氏名（この例では発言者氏名として“鹿九五郎”なる人名がその人の所属情報“株式会社……”と共に表示されている）とその顔写真１０２の他に、その時の議題となっていた資料へのリンクのためのボタン１０３ａや、その発言の前後の会話等へのリンクのための操作ボタン１０３ｂや、議事録へのリンクのための操作ボタン１０３ｃも画面表示することとなる。
【０１１３】
従って、ユーザは画面上のこれらの操作ボタン１０３ａ〜１０３ｃを必要に応じて操作することにより、当該リンクを利用することができ、この操作ボタンの操作により、検索制御部１２はリンク先の情報をマルチメディアデータベース部１１から読み出してマルチメディア情報提示部１４に画面表示するように制御するので、これによりユーザは必要に応じて資料を参照したり、会議を再生することが簡単にできるようになる。
【０１１４】
以上説明したように、上記第２の実施形態によれば、マルチメディアデータベースは収集した情報に関連性に基づくリンクが張られた構成としており、データベースの検索のための検索制御部と検索結果の表示等を行うマルチメディア情報提示部を設けて第１の実施形態同様の処理動作にてマルチメディア情報を収集対応づけしたマルチメディアデータベース部は、１または複数の条件により検索することが可能である。
【０１１５】
対話制御部１３を介して入力された自然言語形態の検索文を解析し、その解析結果を検索制御部１２に渡して当該解析結果の内容に基づいてデータベースの検索を行い、マルチメディア情報提示部１４が検索要求内容や検索結果について、適切な形態に変換してユーザヘ提示する。
【０１１６】
そのため、ごく自然な対話の形式での問いかけで、様々なメディアの情報をデータベースから検索することができるので、従来の情報収集・検索装置以上の非常に有用な道具となる。
【０１１７】
尚、このマルチメディアデータベースは、任意の記憶媒体に記憶されているものをユーザが別途入手し、本発明のマルチメディア情報収集装置に組み込み、
いは内部記憶装置に複写することにより構成されても良い。また、上記各実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピーディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。また、サーバなどにこのプログラムを格納しておき、ネットワークを介して接続されたコンピュータに転送することで、そのコンピュータにプログラムを頒布する頒布形態にも当然、適用することができる。
【０１１８】
また、上記第２の実施形態では、検索要求の例としてテキストによる自然言語文章を中心に説明したが、必ずしもこれに限定されるわけではない。例えば、顔画像や音声であっても良い。ただし、顔画像の場合には、図１０の検索制御部１２に顔認識部を、音声の場合には音声認識部を、それぞれ付け加える必要がある。
【０１１９】
上記第１の実施形態、第２の実施形態において、認識領域指定の図形の描画を行う際には、例えばペン入力等の図形入力手段を用いることを例に説明してきたが、指に何らかの動き検出手段を装着して指の動作で描画する方法、音声により描画を制御する方法、あらかじめ描画されている図形に認識領域をあわせて画像を撮影する方法など、ペン入力による図形描画以外の方法による認識領域指定方法であっても良い。
【０１２０】
【発明の効果】
以上、詳述したように、本発明によれば、マルチメディア情報収集の際にマークを付けることにより、認識領域を特定すると共に、そのマークの属性に応じた認識を行う他のメディアと対応付けて記録し、また、その認識結果を手掛かりに検索を行うことができるなど、ユーザに負担をかけることなく、マルチメディア情報の収集および検索を行うことができるようにしたマルチメディア情報収集装置およびそのプログラムを記録した媒体を提供できる。
【図面の簡単な説明】
【図１】本発明を説明するための図であって、本発明の第１の実施形態に係るマルチメディア情報収集装置の構成を示すブロック図。
【図２】本発明を説明するための図であって、図１のマルチメディア情報収集装置の処理動作を説明するためのフローチャート。
【図３】本発明を説明するための図であって、図１のマルチメディア情報収集装置の前面操作部の構成例を示した図。
【図４】本発明を説明するための図であって、本発明における情報表示部に表示されている撮影済みの画像に指定認識領域として枠形状が四角形のマークをつけた例を示した図。
【図５】本発明を説明するための図であって、本発明における情報表示部に表示されている撮影済みの画像に指定認識領域として四角形をつけた例を示した図。
【図６】本発明を説明するための図であって、本発明における情報表示部に表示されている撮影済みの画像に指定認識領域として円をつけた例を示した図
【図７】本発明を説明するための図であって、本発明における指定された認識領域の属性を選択する属性選択部の例を示した図。
【図８】本発明を説明するための図であって、本発明におけるマルチメディアデータベース部に格納されている情報の例を示した図。
【図９】本発明を説明するための図であって、本発明における話者認識部、音声認識部により、会談出席者の発言内容を自動で記憶する例を示した図。
【図１０】本発明を説明するための図であって、本発明の第２の実施形態に係るマルチメディア情報収集管理装置の構成を示すブロック図。
【図１１】本発明を説明するための図であって、本発明の第２の実施形態における図１０のマルチメディア情報収集管理装置の処理動作を説明するためのフローチャート。
【図１２】本発明を説明するための図であって、本発明の第２の実施形態においてマルチメディア情報提示部が、検索結果を一覧表示した例を示した図。
【図１３】本発明を説明するための図であって、本発明の第２の実施形態においてマルチメディア情報提示部が、検索結果の詳細を表示した例を示した図。
【図１４】本発明を説明するための図であって、本発明の第２の実施形態においてマルチメディア情報提示部が、検索結果を表示した例を示した図。
【符号の説明】
１…マルチメディア情報収集部
２…マルチメディア対応記憶部
３…情報認識／解析部
４…対象抽出部
５…解析制御部
６…文字認識部
７…音声認識部
８…顔認識部
９…話者認識部
１０…人名抽出部
１１…マルチメディアデータベース部
１２…検索制御部
１３…対話制御部
１４…マルチメディア情報提示部
２１…情報操作部
２２…デジタルカメラレンズ部
２３…デジタルカメラシャッターボタン部
２４…マイクロフォン部
２５…マイクロフォン録音ボタン部
２６…スピーカ部
２７…文字入力ボタン部
２８…図形入力ボタン部
２９…認識領域指定ボタン部(四角形領域)
３０…認識領域指定ボタン部(円形領域)
３１…情報表示部
４１…認識指定領域
４２…認識指定領域
４３…名刺
４４…認識指定領域３
５１…属性選択部
６１…認識された顔
６２…名刺から抽出した氏名
６３…連絡先表示ボタン
６４…会議名
６５…発奮内容表示／再生ボタン
６６…議事録表示／再生ボタン
６７…撮影画像表示ボタン
７１…話者認識部により認識された発言者の名前
７２…音声認識部により認識された発言の内容
８１…入力された検索文
８２…検索結果の会議の情報
８３…検索結果の一覧表示
９１…検索結果の人物の顔画像
９２…検索結果の人物の氏名および所属
９３…検索結果の人物が過去に出席した会議名
９４…各関連情報へのリンクボタン
１０１…入力された検索文
１０２…検案結果の人物の顔画像
１０３…検索結果の発言に関連する情報へのリンクボタン
【図１】
0003895892.tif 000002
【図２】
0003895892.tif 000003
【図３】
0003895892.tif 000004
【図４】
0003895892.tif 000005
【図５】
0003895892.tif 000006
【図６】
0003895892.tif 000007
【図７】
0003895892.tif 000008
【図８】
0003895892.tif 000009
【図９】
0003895892.tif 000010
【図１０】
0003895892.tif 000011
【図１１】
0003895892.tif 000012
【図１２】
0003895892.tif 000013
【図１３】
0003895892.tif 000014
【図１４】
0003895892.tif 000015