(57)【特許請求の範囲】
【請求項１】
ある環境のもとで第１の装置によって所定の期間に録音された第１の音データと、前記環
境に関連する情報とを記憶する記憶手段と、
ユーザが第２の装置によって前記所定の期間に記録した第２の音データを入力する入力手
段と、
前記第２の音データが前記第１の音データの一部を含むかどうかを照合する音データ照合
手段と、
前記第２の音データが前記第１の音データの一部を含むと照合された場合には、前記第１
の音データの一部に対応する、前記情報を抽出する抽出手段と、
前記抽出手段が抽出した前記情報を前記ユーザに出力する出力手段と、
前記環境下で同期音として出力される音である第３の音を出力する音出力手段と、
前記第１の音データと前記第２の音データの前記第３の音に対応する音データをそれぞれ
抽出し、抽出された音データから前記第３の音を出力した時刻と、前記第２の音データが
該第３の音を録音した時刻とを同期する同期手段とを具備し、
前記データ照合手段は、前記同期手段によって同期された時刻に基づき前記第２の音デー
タが前記第１の音データの一部を含むかどうかを判定することを特徴とする情報提示装置
。
【請求項２】
前記記憶手段は、前記第１の音データに第１の時間情報を、前記情報に第２の時間情報を
付与して記憶しており、
前記抽出手段は、前記第２の音データが前記第１の音データの一部を含む場合に、前記第
１の音データの一部に付与された前記第１の時間情報に対応する、前記第２の時間情報が
付与された前記情報を抽出する事を特徴とする請求項１記載の情報提示装置。
【請求項３】
前記環境で使用されるコンピュータを監視し、前記コンピュータ上で使用状態にある情報
を検出する第１検出手段と、前記環境で前記第１の音データを収集する第２検出手段とを
さらに備え、
前記第１および第２検出手段によって検出された情報及び第１の音データとを前記記憶手
段に記憶する事を特徴とする請求項２記載の情報提示装置。
【請求項４】
前記第２の音データが前記第1の音データの一部を含む場合に、前記ユーザにＩＤを付与
するＩＤ付与手段と、
前記ＩＤと前記ユーザに前記抽出手段が抽出した前記情報とを対応させ記憶するＩＤ記憶
手段と、
前記ＩＤを入力するＩＤ入力手段と、
前記ＩＤ入力手段から入力されたＩＤと、前記ＩＤ記憶手段に記憶された前記ＩＤとを照
合するユーザ照合手段とをさらに具備し、
前記抽出手段は前記ユーザ照合手段が照合に成功した場合には、前記ＩＤと対応する前記
情報を抽出することを特徴とする請求項１記載の情報提示装置。
【請求項５】
前記音出力手段が出力する音は出力される時刻に対応する時刻情報が挿入された音響特性
に基づいた音であることを特徴とする請求項１に記載の情報提示装置。
【請求項６】
ある環境のもとで第１の装置によって所定の期間に録音された音である第１の音データと
、前記環境に関連する情報である情報とを対応し記憶するステップと、
ユーザが第２の装置によって前記所定の期間に記録した音のデータである第２の音データ
を前記ユーザが入力するステップと、
前記ユーザが入力した前記第２の音データが前記第１の音データの一部を含むかどうかを
判定するステップと、
前記第２の音データが含むと判定された前記第1の音データの一部に対応する、前記情報
を抽出し前記ユーザに提示するステップと、
前記環境下で同期音として出力される音である第３の音を出力するステップと、
前記第１の音データと前記第２の音データの前記第３の音に対応する音データをそれぞれ
抽出し、抽出された音データから前記第３の音を出力した時刻と、前記第２の音データが
該第３の音を録音した時刻とを同期するステップとを具備し、
前記判定するステップは、前記同期手段によって同期された時刻に基づき前記第２の音デ
ータが前記第１の音データの一部を含むかどうかを判定することを特徴とする情報提示方
法。
【請求項７】
前記環境に関連する情報に含まれるテキストデータからキーワードを抽出するキーワード
抽出手段と、
前記キーワードに基づきユーザが所有する所有情報を検索する検索手段とをさらに備え、
前記出力手段は前記検索手段により検索された所有情報をあわせて前記ユーザに出力する
ことを特徴とする請求項１に記載の情報提示装置。
【請求項８】
前記判定手段による前記第２の音データが前記第１の音データの一部を含むことを判定し
た場合、既に判定済みの前記第２の音データと同じであるかどうかを照合する同一音照合
手段をさらに備え，
前記ID記憶手段はさらに同じ音データをアップロードした他ユーザのIDとの対応を記憶す
ることを特徴とする請求項３に記載の情報提示装置。
【請求項９】
前記音データ照合手段は、前記第１の音データと前記第２の音データが記録された時に、
前記第１の装置と前記第２の装置とが同じ場所にあったかを判断することを特徴とする請
求項１に記載の情報提示装置。
【請求項１０】
前記音データ照合手段は、前記第１の音データと前記第２の音データが記録された時に、
前記第１の装置と前記第２の装置とが異なる場所にあったかを判断することを特徴とする
請求項１に記載の情報提示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ある環境で記録した音のデータとユーザが保持する音のデータとを照合し、照合が成功した場合に情報をユーザに提示する情報提示装置及び情報提示方法に関する。
【背景技術】
【０００２】
従来、屋内・屋外を問わず、音・画像・映像の入力機器・センサやディスプレイ機器、あるいはPC等の電子情報操作機器を利用する機会が増えたことにより、特定の環境で使用した情報を後ほど参照し再度利用する際に認証を簡便におこないたいという要望がある。
【０００３】
従来のこの種の装置としては、IDによる参加者登録を用いた会議情報へのアクセス制御方法が提案されている（例えば特許文献１参照）。
【特許文献１】特開2002-251393 号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の方法では、参加者は予めIDを登録することが必要であり、事前登録の手順が煩雑となる。
【０００５】
本発明は、上記に鑑みてなされたものであって、あらかじめ参加者情報を登録することなく簡便な方法で認証し、情報にアクセスすることが可能となる。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明は、ある環境のもとで録音された第１の音データと、前記環境に関連する情報とを記憶する記憶手段と、ユーザが記録した第２の音データを入力する入力手段と、前記第２の音データが前記第１の音データの一部を含むかどうかを照合する音データ照合手段と、前記第２の音データが前記第1の音データの一部を含むと照合された場合には、前記第１の音データの一部に対応する、前記情報を抽出する抽出手段と、前記抽出手段が抽出した前記情報を前記ユーザに出力する出力手段とを具備した事を特徴とする情報提示装置を提供する。
【０００７】
また、ある環境のもとで録音された音である第１の音データと、前記環境に関連する情報である情報とを対応し記憶するステップと、ユーザが記録した音のデータである第２の音データを前記ユーザが入力するステップと、前記ユーザが入力した前記第２の音データが前記第１の音データの一部を含むかどうかを判定するステップと、前記第２の音データが含むと判定された前記第1の音データの一部に対応する、前記情報を抽出し前記ユーザに提示するステップとを具備した事を特徴とする情報提示方法を提供する。
【発明の効果】
【０００８】
本発明によれば、ある環境で音を記録する機能を備えた機器によって音を記録したユーザは、あらかじめ会議日時や参加者情報を登録することなく、後から認証し当該環境に関連する情報を入手することが可能となる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態（以下「実施形態」という）について図面を参照しながら説明する。
【００１０】
［第1の実施形態］
本発明の第１の実施形態に係る情報提示装置について図１乃至図５を参照して説明する。
【００１１】
第１の実施形態では、情報提示装置100が使用され、認証用の音データを記録する環境が会議であり、また情報提示装置100がユーザに提示する環境に関連する情報は会議中に使用されるコンピュータ（以下PCと記載）300上で使用状態にあったファイルである場合を想定している。
【００１２】
図１は本実施形態に係る情報提示装置100を示す機能ブロック図である。図１において、情報提示装置100は、マイク301が取得した会議中の音データを入力するための音入力部101、PC300上で使用状態にあるファイルを監視する監視部102、音入力部101から入力された音データと会議中に使用したPC300のファイルとを対応付ける対応生成部103とを有する。会議の開始から終了までの会議中の音の音データは、会議で使用された会議資料などのファイルとともに記憶部104に記憶される。会議参加者であるユーザは、会議中に適宜音データをユーザの端末200に録音しておけばよい。
【００１３】
会議終了後に、その会議中で使用されたファイルを会議参加者であるユーザが再度利用したい場合には、会議中にユーザ端末200によって録音された音データを用いる。
【００１４】
ユーザ端末200と情報提示装置100及び、マイク301、PC300と情報提示装置100は、有線または無線でネットワークを介してファイルの入出力を行う。
【００１５】
情報提示装置100はユーザ端末200から音データを入出力制御部105で受け取る。受け取った音データは照合部106が、記憶部104内にあらかじめ記憶した音データと照合する。照合部106がユーザ端末から受け取った音データが記憶部104内の音データの一部であることが照合できた場合には、認証できたものとして、情報抽出部107に指示を出す。情報抽出部107は記憶部104から先の会議にて使用されたファイルの出力が許可されたので、入出力制御部105を介してユーザ端末200に当該情報を提供することができる。
【００１６】
図１をさらに詳細に説明する。会議に参加しているユーザはユーザ端末200で会議中の音を記録している。ユーザ端末200はノートPCや携帯電話の音入力手段を備えたモバイル・ハンドヘルド機器が好ましい。
【００１７】
また、情報提示装置100もユーザ端末200と同様に会議中の照合用の音データを記録している。マイク301が取得した会議中の音の音データを音入力部101から情報提示装置100内に入力し、記憶部104に記憶する。その際に、対応生成部103によって音入力部101から入力された音データには時間情報が付与されている。時間情報は正確な時刻に基づくものではなく、情報提示装置100内のローカルタイムでよい。
【００１８】
また、監視部102は会議室で用いられるコンピュータ（以下PC）300の使用状況を監視し、PC300上で使用状態にあるファイルを検出する。監視部102は、ＰＣ300上で使用状態にあると検出したファイルをPC300から取得し記憶部104に記憶する。その際、対応生成部103によって取得したファイルの使用時間区間とファイルとを対応させ記憶部104に記憶される。後ほど、ユーザ端末200に記録した音データと記憶部104に記憶された音データとを照合し、照合が成功した音データの区間の時間情報からユーザに提示可能なPC300で使用されていたファイルを参照するために時間情報と対応させ記憶部104に記憶されている。
【００１９】
入出力制御部105は、ユーザから情報提示装置100に対し、ユーザ端末200が保持する音データの照合を行い、ファイルの提供を受けたいというリクエストを検出した際に、ユーザに対して照合を行う音データの情報提示装置100への入力を求める。ユーザは音データの入力要請に従い、ユーザ端末200に録音していた音を情報提示装置100に入力する。
【００２０】
照合部106は、記憶部104に記憶された音データと入出力制御部105から入力されたユーザ端末200に録音されていた音とを照合する。
【００２１】
情報抽出部107は、照合部106が照合を行った結果、ユーザ端末200が保持する音データと照合の成功した記憶部104に記憶された音データの区間の時間情報に対応するファイルを情報抽出部107が抽出し、抽出されたファイルを入出力制御部105はユーザ端末200に出力する。照合についての詳細な説明は後でする。
【００２２】
次に、本実施形態に係る情報提示装置の対応生成部で環境関連情報と音データとを対応させて関連付ける方法について説明する。
【００２３】
図２は、本実施形態に係る情報提示装置100が、PC300で使用されるファイルと音データとを対応付け記憶する方法について説明するためフローチャートである。
【００２４】
会議が開始し、情報提示装置100の起動の開始とともに、音入力部101は音の入力を開始する(S0)。音データは、対応生成部103によって、情報提示装置100内のローカルタイムと対応づけられて記憶部104に記憶される。
【００２５】
次に、監視部102は当該会議中に使用されるPC300の監視を開始する。ＰＣ300上でファイルの使用が開始されたことを検出した場合(S1)、使用されたファイルを取得し、記憶部104に記憶する(S2)。また、監視部102は情報提示装置100内のローカルタイムでの当該ファイルの使用開始時刻を検出する。
【００２６】
対応生成部103は、ステップＳ2で取得したファイルと検出された使用開始時刻とを対応させ記憶部104に記憶する(S3)。監視部102がＰＣ300上でファイルの使用の終了を検出すると(S4)、監視部102は情報提示装置100内のローカルタイムでの当該ファイルの使用終了時刻を検出する。
【００２７】
対応生成部103は、ステップS3で取得したファイルと検出された使用終了時刻とを対応させ記憶部104に記憶する(S5)。情報提示装置100に対して、会議の終了による情報提示装置100のファイルの監視及び音の記録の停止命令が会議に参加するユーザからあった場合(S６)、マイク301及び音入力部101による音データの記録を停止する(S６)。停止命令は、会議室のPC300にユーザ端末200が入力するものである。
【００２８】
図３は、上記の対応生成方法によって生成され記憶部104内に記憶された音データと会議で使用されたファイルとファイルの時間情報が記憶される対応の例を示したものである。
【００２９】
マイク301及び音入力部101が取得した音データが記憶部に記憶されている。図３では、音データを音1.wavと記している。音データのファイル名は、対応生成部103によって作成される。
【００３０】
また、音1.wavが記録された記録開始及び記録終了の各時刻の時間情報も音データと対応して記憶されている。音1.wavが記録された会議で使用されたファイル及びファイルが使用された区間の時間情報も併せて記憶されている。例えば、B.pptというファイルが2007年2月4日の12:00:00からＰＣ300上で使用が開始され、2007年2月4日の13:03:43に使用が終了されている。音1.wavのうち、2007年2月4日の12:00:00から2007年2月4日の13:03:43の区間の音データと照合の成功する音データをユーザ端末200に保持するユーザに対して情報提示装置100はB.pptを提示する事が出来る。
【００３１】
記憶部104に記憶される音データは会議毎に音データを区切って保存してもよい。その場合、会議名や場所等の情報を音データに関連させて記憶してもよい。
【００３２】
ステップS2で、ＰＣ300上で使用状態にあったファイルを取得し記憶部104に記憶したが、ファイル自体を取得せず、ファイルをユーザが得るための情報（たとえばファイルのネットワーク上のパスなど）を取得し記憶部104内に記憶してもよい。
【００３３】
図４は、ユーザ端末200から入力された音データと記憶部104に保持された音データとを照合し、ユーザから入力のあった音データと照合が成功した音データと対応するファイルを提供する処理全体の流れを示すフローチャートである。
【００３４】
入出力制御部105はユーザに対してユーザ端末200内に保持した音データのうち、照合を行いたい音データの入力をリクエストする(S11)。照合部106は入力された音データが、記憶部104内に記憶された音データの一部を含むかどうかの照合処理を開始する(S12)。照合が成功する音データが記憶部104内に記憶されていた場合、照合が成功する情報提示装置100内のローカルタイムの区間を算出する(S13)。情報抽出部107は、照合が成功した区間に使用状態にあったと対応づけられて記憶部104内に記憶されたファイルのアドレスを呼び出し、ユーザに当該ファイルを出力する (S14)。他にも照合を行うユーザ端末200内の音データ が無い場合は、終了する(S15) 。
【００３５】
ステップS12で照合部106が入力された音データと、記憶部104内に記憶された音データとを照合する際の照合方法について図５を参照しつつ詳細に説明する。
【００３６】
図５の上図は、本実施形態に係る情報提示装置100の使用形態の例を示す図である。また、図５の下図は、情報提示装置100が記録した音データとユーザ端末200が記録した音データとの照合処理の概念図である。
【００３７】
図５に示すように、会議室で会議が行われている。会議に参加しているユーザは音を記
録する機能を備えたユーザ端末200で会議中の音を記録している。また、環境側（ここでは会議室を指す）に設置されたマイク301も同時に会議中の音を記録している。ユーザが持つユーザ端末200とマイク301は別々に録音を行っている。
【００３８】
マイク301によって記録された音データは、その音データを記録した時間情報を付与し対応された状態で、記憶部104に記憶される。また、会議中にPC300上で使用されたファイルは、該ファイルがどの時間に使用状態にあったかを示す時間情報と対応された状態で記憶部104記憶される。
【００３９】
ユーザが持つユーザ端末200とマイク301が離れて音の記憶を行っていた場合や、音源との距離や音の入力角度などによる減衰、双方のマイクの特性の違いによって、端末200と情報提示装置100が記憶する音データとは同一とは限らない。
【００４０】
しかしながら、同じ会議に出席しユーザ端末200とマイク301とが同時に音の記録を行った場合、ユーザ端末200、情報提示装置100それぞれが記録する音データには相関が生じる。したがって、ユーザ端末200と情報提示装置100に記憶された音データの照合を行うことで、ユーザ端末200と情報提示装置100が音データの記録を行った会議が同一か否かを認証することができる。
【００４１】
二つの音データの相関関係が閾値以上であり照合が成功した音データをユーザ端末200に保持しているユーザは、会議に参加していたものと認証される。情報提示装置100に記憶された音データのうち、ユーザ端末200が保持する音データと照合が成功した区間にPC300で使用されていたファイルをユーザに提示する。以上のようにしてユーザは会議中にPC300で使用されたファイルを入手することが可能となる。
【００４２】
次に、相関関係の算出方法としては、例えば相互相関が用いられる。これは、記憶部104に記憶された音データの関数であるf(t)と、ユーザ端末200が保持する音データの関数である g(t)について、gがfよりm[秒]だけ遅れる場合の相関の強さを時間区間Nにわたって調べる場合、相互相関Cft(m)は以下のように算出される。
【００４３】
まず、時間区間Nでの音データの全体の平均値であるfave、 gaveはそれぞれ、数１によって算出される。
【数１】
0005197276.tif 000002
【００４４】
次に、平均で補正した２つの音データをそれぞれ f’(t)=f(t)- fave、 g’(t)=g(t)- gave とおくと、相互相関 Cft (m) は数２によって求められる。
【数２】
0005197276.tif 000003
【００４５】
さらに、規格化相互相関 Rft(m)=Cft(m)/(√Cff(0)√Cgg(0)) を用いる。ただし、Cff(0)
及びCgg (0)は数３に示す式によって求められる。
【数３】
0005197276.tif 000004
【００４６】
である。
【００４７】
この時、例えば時間区間Nを5秒とし、Rft(m)を最大化するようなmを算出し、その時のRft (m) が0.5以上である場合に同じ音が2つの端末に入力されたと判断することができる。上記の照合方法は例であり、この方法に限るものではない。
【００４８】
上述したように、ユーザ端末200から入力される音データと記憶部104に記録された音とが同一とは限らない事から、同一環境下で録音されていたとしても、全ての区間にわたって照合が成功するとは限らない。その為、例えば1分毎に、80%以上の区間で照合が成功すればその1分間全体で照合が成功したとみなす等の照合処理を照合部106が行ってもよい。
【００４９】
ユーザ端末200により入力された音データが照合部106で記憶部104に記憶された音データと照合が成功する区間があると判断された場合は、照合が成功した区間の音データに対応すると記憶部104に記憶されたファイルを情報抽出部107が抽出し、入出力制御部105がユーザ端末200に出力する。
【００５０】
上記の実施形態では、音データの照合が成功した場合、ファイルをユーザ端末200に出力しているが、ファイル自体ではなく、ファイルをユーザが得るための情報（たとえばファイルのネットワーク上のパスなど）をユーザ端末200に出力してもよい。
【００５１】
また、照合部106によるユーザ端末200が記録する音データと記憶部104に記憶する音データとの照合処理の補助となるよう、同期用の音を会議中にＰＣ300から出力する処理を行ってもよい。同期音は周期的に出力され、随時音響特性が変化する。会議中に音が出力されるためユーザ端末200およびＰＣ300の双方に同期音は録音される。
【００５２】
照合部105は２つの音データを照合する際に、ユーザ端末200に記録された音データとＰＣ300に記録された音データとから、同期音に対応する音データを抽出する。抽出された同期音に対応する音データ同士を同期することで、ＰＣ300が同期音を出力した時刻と、ユーザ端末200が該同期音を録音した時刻とを同期することが可能となる。同期処理がなされた後に、ユーザ端末200に記録された音データと記憶部104に記録された音データとの照合を行うことで、照合処理を容易に行うことが可能となる。
【００５３】
また、音を出力する際の情報提示装置100のローカルタイムに対応して決定する音響特性を有した音を同期音として出力してもよい。照合部105は、ユーザ端末200に記録された音データから同期音を抽出し、抽出された同期音に埋め込まれた時刻情報を得る。得られた時刻情報と、記憶部104に記憶された時間情報に基づき、ＰＣ300が同期音を出力した時刻と、ユーザ端末200が該同期音を録音した時刻とを同期することができる。同期した後ユーザ端末200に記録された音データと記憶部104に記録された音データとの照合を行うことで、照合処理を容易に行うことが可能となる。
【００５４】
同期音は可聴域・非可聴域どちらでも構わない。
【００５５】
環境に関連する情報（ファイル）と音との対応付けは音の記録開始時刻からのオフセットとして記録しているが、開始・終了時刻を記録せず、単に音データとファイルとを対応付けるだけでも構わない。その場合、ファイルのＰＣ300での使用状態を監視部102が監視し、対応生成部103が使用期間の音データをそれぞれ一つの音ファイルとする処理を行い記憶する。それらの音ファイルのメタデータに対応するファイルを関連付けて記憶してもよい。
【００５６】
また、記憶部104に記憶される音データは一定以上の音が発生した区間、音量を満たす部分を入力し、必要に応じて音データのサイズを削減するために平滑化を行ってもよい。平滑化の手段としては、決められた区間の音量の絶対値の平均、二乗和、またはそれらの対数などの手段が用いられる。
【００５７】
また、本実施形態では照合部での照合の際に、音が発生した区間と音量を照合しているが、音信号自体、あるいは音に関する特徴量を用いても構わない。
【００５８】
本実施形態では環境下（会議等）で使用された環境に関連する情報としてPC300上で使用されたファイルについて述べているが、環境下に設置されたカメラから入力される会議映像を環境に関連する情報として記憶部104に記憶し出力してもよい。
【００５９】
本実施形態に係る情報提示装置100によれば、ある時間に同じ環境（場所）に設置されたマイク301を用いて情報提示装置100内に記録される音データと同時に、ほぼ同じ音をユーザ端末200で記録したユーザに対して、その環境下にいたことを事前の登録なしに、その環境下で使用された情報を提示する事が可能である。あるいは、必ずしもその環境下で使用されなかったファイル、たとえば会議の議事録や追加資料などのファイルを、会議終了後に記憶部１０４に記憶しておき、当日参加したユーザに限りそのアクセスを許可して提供することも可能である。
【００６０】
また、ユーザ端末200と情報提示装置100の装置内のローカルタイムが同期していなくてもよい。
【００６１】
なお、本実施形態では、ユーザ端末200に保持した音データと照合が成功した区間に使用されていたファイルのみをユーザに出力していたが、会議全体で照合を行い、ある程度の照合率を満たす際にはその会議に出席していたものと認証し、会議で使用されたファイルを出力することも可能である。
【００６２】
[第２の実施形態]
次に、本発明の第２の実施形態に係る情報提示装置について図６乃至８を参照して説明
する。図１に対応する部分に同じ符号を付し、重複説明は一部省略する。
【００６３】
本実施形態に係る情報提示装置112は、エンターテインメント向けに使用される用途を考慮したものである。本実施形態では、情報提示装置112が、認証用の音データを記録する環境がイベント会場やライブ会場、アミューズメント施設である場合を想定している。
【００６４】
第１の実施形態同様にユーザは情報提示装置112とは別に該環境下で音の記録手段を備えたユーザ端末200によって音の記録を行っている。また、ユーザ端末200が保持する音データと、情報提示装置112が保持する音データとの照合が成功し認証ができたユーザに対して情報提示装置112が提示する環境に関連する情報が、音入力部101から入力される音データと同期して入力される情報ではない場合を想定している。具体的には、イベント参加者への特典情報を指す。
【００６５】
ユーザ端末200でイベント中に音の記録を行ったユーザは，イベントに参加者したものと認証する。イベント終了後にユーザ端末200から、記録した音データを情報提示装置112に入力することで当該イベントの特典情報をユーザは得ることができる。
【００６６】
図6は、本実施形態に係る情報提示装置112の構成を示す機能ブロック図である。図１に対応する部分に同じ符号を付し、重複説明は一部省略する。
【００６７】
本実施形態に係る情報提示装置200は、ユーザ照合部111と記憶部204を備える。ユーザ照合部111は、ユーザ端末200から入力された音データと照合が成功した記憶部104に記憶された音データに対応する予め記憶部204に格納された特典情報をユーザ端末200が出力した後に、ユーザに対してＩＤを付与する。その際に、ユーザに対し個人情報の入力を求めてもよい。付与したユーザＩＤと出力された特典情報とを対応させ、記憶部204にさらに記憶する。
【００６８】
図7は、本実施形態に係る情報提示装置200がユーザに対して特典情報を提供する方法を示すフローチャートである。
【００６９】
入出力制御部105はユーザに対して、記憶部204に記憶されたユーザ情報との照合を行うかを問い合わせる(S21)。照合を行うとの指示があった時には、ユーザ情報を入力するようにリクエストをする(S22)。照合部204は、ユーザから入力されたユーザ情報とユーザ記憶部112に記憶されたユーザ情報とを照合する。照合に成功するユーザ情報があった際には、ユーザに対して以前ユーザが音データ同士の照合を行い成功した特典情報を抽出し、該当する特典情報を入出力制御部105からユーザ端末200に出力する(S23)。その後、ユーザに他にユーザ端末200が保持する音データとの照合を行うか問い合わせる(S24)。音データでの照合を行う際には、再び音データの入力を行うよう入出力制御部105はユーザ端末にリクエストする(S25)。照合部106はユーザ端末200から入力された音データと、記憶部204内に記憶された音データとの照合を開始する(S26)。照合が成功する音データが記憶部204内に記憶されていた場合(S27)、照合が成功する音データと対応づけられ記憶部204内に記憶されたファイルをユーザ端末200に出力する(S28)。また、ユーザ照合部111は認証の成功したユーザに対してユーザのＩＤを付与しユーザに対して提示する(S29)。ユーザ照合部111は付与されたユーザＩＤと出力された特典情報とを対応づけて記憶部204に記憶する。その他にも照合を行うユーザ端末200内の音データがあるかを再びユーザ端末200に問い合わせ(S30)、無い場合は終了する。
【００７０】
図8は、本実施形態に係る情報提示装置112の記憶部204に記憶される特典情報を示す図である。
【００７１】
記憶部204には、あるイベントで記録され記憶部204に記憶された音データと、照合の成功する音データをユーザ端末200に保持するユーザに対して提供すべき特典情報と、照合に成功したユーザの情報とが対応して記憶されている。図７に示すように、記憶部204に記憶された音データである音1.wavと照合の成功する音データと照合が成功する音データを保持するユーザに対してはB.aviとC.mpgを、音2.wavと照合の成功する音データを保持するユーザに対してはD.jpgとE.mpgが提示される。また、ユーザ端末200に保持する音データと、音1.wavとの照合が成功したユーザに対してOgawaというユーザＩＤがステップＳ29で付与される。認証がとれ出力された特典情報であるB.avi、C.mpgと、一度照合が成功しイベントに参加していたと認証のとれたユーザのＩＤであるOgawaとが記憶部204内で対応し記憶されている。
【００７２】
その後ユーザＩＤ，Ogawaが付与されたユーザが情報提示装置112にアクセスした際に、ステップS22で付与されたユーザＩＤを入力する事によって、再度音データによる認証を行わずに既に認証された特典情報であるB.aviとC.mpgとにアクセスする事が可能となる。
【００７３】
本実施形態に係る情報提示装置112によれば既に照合が成功した音データを保持していたユーザに対しては再度の音データ同士の照合を行わずに照合が成功した特典情報を検出する事が出来る。
【００７４】
また、イベントの様に不特定多数の参加者がいる場合であっても、事前の登録なしに後ほどユーザがイベントに参加していたという認証をすることができ、簡便に特典情報など、音が記録された環境に関連する情報を提示する事が出来る。
【００７５】
[第3の実施形態]
次に、本発明の第３実施形態に係る情報提示装置について図９を参照して説明する。図１に対応する部分に同じ符号を付し、重複説明は一部省略する。図９は情報提示装置100とユーザ端末200とクライアント400を示す機能ブロック図である。図１の実施例と殆ど同じであるが、クライアント400、クライアント400に格納されたキーワード抽出部401と検索部402とファイル格納部403を追加する。情報提示装置100はサーバに想定することもできる。クライアント400はユーザ端末200から録音された音データを受け取って、情報提示装置100に送信する。音データの照合に成功した場合には、記憶部104から入出力制御部105を通して、ユーザ端末200に送信する。送信されたファイルはダウンロードファイルとしてファイル格納部403に格納される。キーワード抽出部401はダウンロードされたファイルを用いて、ファイルからキーワードを抽出して、検索部402に送信する。検索部402は、受信したキーワードに基づいて、ファイル格納部403で所有ファイル検索を行う。この例ではユーザ端末200とクライアント400は別のブロックとしているが，ユーザ端末200はクライアント400に設ける構成も可能である。
【００７６】
次に、図10について説明する。図10は、ユーザから入力の音データと照合が成功した音データと対応するファイルを提供する処理全体の流れを示すフローチャートである。
【００７７】
入出力制御部105はユーザに対してクライアント400内に保持した音データのうち、照合を行いたい音データの入力をリクエストする(S40)。照合部106は入力された音データが、記憶部104内に記憶された音データの一部を含むかどうかの照合処理を開始する(S41)。照合が成功する音データが記憶部104内に記憶されていた場合、照合が成功する情報提示装置100内のローカルタイムの区間を算出する(S42)。情報抽出部107は、照合が成功した区間に使用状態にあったと対応づけられて記憶部104内に記憶された所有ファイルのアドレスを呼び出し、ユーザがこの所有ファイルをダウンロードできるようにする (S43)。ダウンロードされたファイルはファイル格納部403に格納されて、キーワード抽出部401でキーワードを抽出する（S44）。キーワード抽出の方法としては，形態素解析や固有表現抽出など自然言語処理の既存の手法が用いられる。その後、検索部402は抽出されたキーワードに基づいて、ファイル格納部403に含まれるファイルの検索を行う（S45）。テキスト中にキーワードを含むファイルがあれば、マッチしたファイルの一覧をユーザに出力して（S46）、処理を終了する。ファイルの一覧の出力順序としては、マッチしたキーワードの種類が多い順、重複を含めマッチしたキーワードの個数が多い順、日付順などを用いることができる。もし、照合に成功する区間が無かったら、他に照合する音データがあるかどうかをチェックする（S47）。他にも照合を行うユーザ端末200内の音データ がある場合は、またクライアント400内に保持した音データのうち、照合を行いたい音データの入力をリクエストする 。他に照合を行うユーザ端末200内の音データ が無い場合は、処理終了になる。
【００７８】
次に本発明の第３の実施形態の動作イメージ１について、図11を用いて説明する。
【００７９】
まず、図11の（1）に示すように、各ユーザは個別のユーザ端末を持ちながら会議に出席する。会議は開催されている際に、会議室内に用意されたマイクとユーザ端末のマイク二つとも会議中の音と会話を録音している。会議中使用している資料は全部サーバに格納されている。会議終了際に、図11の（2）に示すように、各ユーザは個別の職場に戻って、ネットワークを通して、サーバにアクセスする。その場合、ユーザ端末200に格納されている録音された音データをクライアント400に送信して、クライアント400を通してサーバにアップロードする。この音データはユーザがある会議またはイベントなどの特定場所にいるかいないかを判定するためのものである。この例では、ユーザ端末の音データは一定時間帯の音データを格納しているが、サーバの音データは会議室の全時間帯の音を格納している。図11の（3）に示すように、照合部105は、ユーザの音データはサーバの音データと比べて、ユーザの出席時間帯を識別する。時間帯識別が成功すると、対応する時間帯に使っていた資料が記憶部104よりダウンロードできるようになる。図11の（4）に示すようにダウンロードされたファイルはファイル格納部403に格納する。ダウンロードされたファイルはキーワード抽出部401でキーワードを抽出して、検索部402に送信する。送信されたキーワードに基づいて、検索部402はユーザ端末のファイル格納部403でキーワードが共通する他の資料を検索し、結果をユーザに提示する。図11の（5）に示すように、ユーザは提示された資料について、必要があれば選択し関連資料としてサーバにアップロードすることもできる。もし、ユーザは関連がある情報をサーバにアップロードしたら、このアップロードされた資料は対応する会議に関連資料として関連付けられる。
【００８０】
図12は、上記の対応生成方法によって生成され記憶部104内に記憶された音データと会議で使用されたファイルとファイルの時間情報が記憶される対応の例を示したものである。
【００８１】
マイク301及び音入力部101が取得した音データが記憶部に記憶されている。図12では、会議1.wavと記している。音データのファイル名は、対応生成部103によって作成される。会議1.wavが記録された記録開始及び記録終了の各時刻の時間情報も音データと対応して記憶されている。会議1.wavが記録された会議で使用されたファイル及びファイルが使用された区間の時間情報も併せて記憶されている。例えば、プロジェクト進捗.pptというファイルが2007年2月4日の12:00:00からＰＣ300上で使用が開始され、2007年2月4日の13:03:43に使用が終了されている。会議1.wavのうち、2007年2月4日の12:00:00から2007年2月4日の13:03:43の区間の音データと照合の成功する音データによって、このプロジェクト進捗.pptのファイルはクライアント400にダウンロードできるようになる。
【００８２】
次に本発明の第３の実施形態の動作イメージ２について、図1３に説明する。
【００８３】
図13の（1）に示すように、ユーザＡは特典ファイルを得るためにイベント会場に出席した。ユーザＡはイベント会場に行くとき、ユーザ端末を持っている。イベント開催中、ユーザＡのユーザ端末200はイベント司会者の発言を録音する。イベント終了後、図13の（2）に示すように、ユーザＡは他の場所に行き、ネットワークを通してクライアントでイベントのサーバにアクセスする。アクセスすると、ユーザＡはユーザＩＤを登録してまたは既にあるアカウントにログインして、録音された音データをアップロードする。このアップロードされた音データは記憶部104に格納されているイベント会場の音データと照合部106に照合される。音データの照合により、ユーザがイベントに出席したか否か判定される。図13の（3）に示すように、ユーザはイベントに出席することは判定成功すると、ユーザを対応するイベントに関連付けて、そのイベントに関する情報、例えば特典映像、音声などを記憶部104よりダウンロードできるようになる。次に、図13の（4）に示すように、ユーザＡはユーザＢに音データを渡す。この場合、司会者の話など、音自体に意味がある音データのほうが望ましい。図13の（5）では、ユーザＢはユーザＡの同じように、ネットワークを通して音データをサーバにアップロードして、イベントに関する情報、例えば特典映像、音声などをダウンロードできるようになる。しかし、ユーザＢの音データはユーザＡから渡されたので、音データは全く同じである。次に、図13の（6）では、音データをアップロードする際に、記録部104に記録されたファイルと対比して、ユーザＡのファイルと同じであることを確認して、ユーザＡの紹介として関連付ける。このユーザＡとユーザＢとの関係は今後販促のために活用する。例えば、ユーザＡは同じサーバからほかのイベントの情報をアクセスしたり、ほかのイベントの音データをアップロードしたりすると、ユーザＢに紹介するメッセージを出す。逆もまた同様である。
【００８４】
図14は、上記の対応生成方法によって生成され記憶部104内に記憶された音データとイベントの特典ファイルの対応の例を示したものである。
【００８５】
記憶部104には、あるイベントで記録され記憶部104に記憶された音データと、照合の成功する音データをクライアント400に保持するユーザに対して提供すべき特典情報と、照合に成功したユーザの情報とが対応して記憶されている。図14に示すように、記憶部104に記憶された音データである司会者紹介.wavと照合の成功する音データと照合が成功する音データを保持するユーザに対しては特典1.aviと特典2.mpgを、イベント紹介.wavと照合の成功する音データを保持するユーザに対しては特典３.jpgと特典4.mpgが提示される。また、クライアント400に保持する音データと、司会者紹介.wavとの照合が成功したら、ユーザＡはその対応するイベントに参加することを認証する。認証を確認すると、特典1.aviと特典2.mpgはダウンロードできるようになる。その後、ユーザＡはこのファイルをダウンロードされた特典情報である特典1.aviと特典2.mpgはユーザＡのＩＤであるユーザＡとが記憶部204内で対応し記憶されている。
【００８６】
図15では、ユーザＢは渡された音データでサーバにアクセスした後のイベントの特典ファイルの対応の例を示したものである。
【００８７】
ユーザＢは音データで、サーバにアクセスして、認証した。認証した後に、特典1.aviと特典2.mpgをダウンロードした。この場合、音データはユーザＡの音データと全く同じファイルであるため、ユーザＡの音データだと見なして、ユーザＢはユーザＡとを関連付ける。記憶部204内で、ユーザＡ−ユーザＢの関係付けユーザＩＤは記憶されている。
【００８８】
上記の各実施形態では情報提示装置100はサーバで全ての処理を行うことを想定しているが、これはＰＣ300と情報提示装置100とが一体に構成されてもよい。情報提示装置100は、CPUなどの制御装置と、ROMやRAMなどの記憶装置と、HDDなどの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボード、マウスなどの入力装置とを備えた、一般的なコンピュータに適用することもできる。
【００８９】
また、上記の格実施形態の情報提示装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。実行されるプログラムは、上述した各機能を含むモジュール構成となっている。プログラムはインストール可能な形式又は実行可能な形式のファイルでCD-ROM、フロッピー（Ｒ）ディスク、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供してもよい。
【図面の簡単な説明】
【００９０】
【図１】第１の実施形態に係る情報提示装置を示す機能ブロック図。
【図２】第１の実施形態に係る情報提示装置がファイルと音データとを記憶する方法を示す図。
【図３】第１の実施形態の記憶部内に記憶された情報の例を示す図。
【図４】第１の実施形態に係る情報提示装置がユーザの認証を行う方法を示す。
【図５】第１の実施形態に係る情報提示装置の動作を示すイメージ図。
【図６】第２の実施形態に係る情報提示装置を示す機能ブロック図。
【図７】第２の実施形態に係る情報提示装置の記憶部に記憶される情報を示す図。
【図８】第２の実施形態に係る情報提示装置が特典情報を提示する方法を示す図。
【図９】第３の実施形態に係る情報提示装置を示す機能ブロック図。
【図１０】第３の実施形態に係る情報提示装置のフローを示す図。
【図１１】第３の実施形態に係る情報提示装置の動作１を示すイメージ図。
【図１２】第３の実施形態の記憶部内に記憶された情報の例１を示す図。
【図１３】第３の実施形態に係る情報提示装置の動作２を示すイメージ図。
【図１４】第３の実施形態の記憶部内に記憶された情報の例２を示す図。
【図１５】第３の実施形態の記憶部内に記憶された情報の例３を示す図。
【符号の説明】
【００９１】
100，110…情報提示装置
101…音入力部
102…監視部
103…対応生成部
104，204…記憶部
105…入出力制御部
106…照合部
107…情報抽出部
111…ユーザ照合部
200…ユーザ端末
300…コンピュータ（ＰＣ）
301…マイク
400…クライアント
401…キーワード抽出部
402…検索部
403…ファイル格納部
【図１】
0005197276.tif 000005
【図２】
0005197276.tif 000006
【図３】
0005197276.tif 000007
【図４】
0005197276.tif 000008
【図５】
0005197276.tif 000009
【図６】
0005197276.tif 000010
【図７】
0005197276.tif 000011
【図８】
0005197276.tif 000012
【図９】
0005197276.tif 000013
【図１０】
0005197276.tif 000014
【図１１】
0005197276.tif 000015
【図１２】
0005197276.tif 000016
【図１３】
0005197276.tif 000017
【図１４】
0005197276.tif 000018
【図１５】
0005197276.tif 000019