(57)【要約】【課題】使用者が使用者自身のために情報を検索するものであり、その場にいない者と情報を共有することができなかった。【解決手段】人物を特定する人物特定情報に対応付けて、前記人物に情報を送る宛て先を格納する人物情報格納部と、言語情報が入力される言語情報入力部と、言語情報入力部により入力された言語情報から、言語情報に対応した人物の人物特定情報を、人物情報格納部を参照して特定する人物特定部と、言語情報入力部により入力された言語情報に含まれる文字情報を用いて、言語情報に対応したコンテンツを抽出するコンテンツ検索部と、コンテンツ検索部により抽出されたコンテンツに関する情報を、人物特定部により特定された人物特定情報に対応付けられた宛て先に送信するコンテンツ送信部とを備える。【選択図】図２
2014149570.tif 000002
【特許請求の範囲】
【請求項１】
人物を特定する人物特定情報に対応付けて、前記人物に情報を送る宛て先を格納する人物情報格納部と、
言語情報が入力される言語情報入力部と、
前記言語情報入力部により入力された前記言語情報から、前記言語情報に対応した人物の前記人物特定情報を、前記人物情報格納部を参照して特定する人物特定部と、
前記言語情報入力部により入力された前記言語情報に含まれる文字情報を用いて、前記言語情報に対応したコンテンツを抽出するコンテンツ検索部と、
前記コンテンツ検索部により抽出された前記コンテンツに関する情報を、前記人物特定部により特定された前記人物特定情報に対応付けられた前記宛て先に送信するコンテンツ送信部と
を備えるコンテンツ検索装置。
【請求項２】
前記言語情報入力部は、前記言語情報として発話者からの音声が入力される音声入力部と、前記音声入力部により入力された前記音声を解析して前記文字情報を生成する音声解析部とを有する請求項１に記載のコンテンツ検索装置。
【請求項３】
前記音声解析部は、前記音声から前記発話者を特定し、
前記人物特定部は、前記音声解析部により特定された前記発話者以外の人物の前記人物特定情報を、前記コンテンツを送信する人物の前記人物特定情報として特定する請求項２に記載のコンテンツ検索装置。
【請求項４】
前記人物情報格納部には、前記人物特定情報に対応付けて、前記人物からの前記言語情報に基づいて過去に抽出されたコンテンツの履歴が格納されており、
前記コンテンツ検索部は、前記言語情報入力部に入力された前記言語情報に含まれる前記文字情報、および、前記人物情報格納部に格納されている前記人物の前記コンテンツの前記履歴に基づいて、前記コンテンツを抽出する請求項１から３のいずれか１項に記載のコンテンツ検索装置。
【請求項５】
前記コンテンツに関する情報が宛て先の端末で既読となった場合にその旨を受信する既読受信部をさらに備え、
前記既読受信部は、前記端末で既読となった旨を受信した場合に、既読となった前記コンテンツに関する情報を表示部に表示させる請求項１から４のいずれか１項に記載のコンテンツ検索装置。
【請求項６】
複数のコンテンツを格納したコンテンツ格納部と、
ネットワークを介して外部の情報処理装置と通信する通信部と
をさらに備え、
前記コンテンツ検索部は、前記言語情報に含まれる前記文字情報に基づいた比率で、前記コンテンツ格納部および前記外部の情報処理装置から、前記言語情報に対応したコンテンツを抽出する請求項１から５のいずれか１項に記載のコンテンツ検索装置。
【請求項７】
端末の位置情報を取得する位置情報取得部をさらに備え、
前記人物特定部は、さらに、前記位置情報取得部により取得された前記端末の前記位置情報に基づいて、前記コンテンツを送信する人物の前記人物特定情報を特定する請求項１から６のいずれか１項に記載のコンテンツ検索装置。
【請求項８】
前記人物特定部は、前記言語情報入力部により入力された前記言語情報から、前記言語情報に対応した位置の情報と、前記位置情報取得部により取得された前記端末の前記位置情報との関係に基づいて、前記コンテンツを送信する人物の前記人物特定情報を特定する請求項７に記載のコンテンツ検索装置。
【請求項９】
人物を特定する人物特定情報に対応付けて、前記人物に情報を送る宛て先を格納する人物情報格納部と、
言語情報が入力される言語情報入力部と、
前記言語情報入力部により入力された前記言語情報が人物に関する情報を含むか否かを解析し、前記人物情報格納部を参照して前記言語情報に対応した人物の前記人物特定情報を特定する人物特定部と、
前記言語情報入力部により入力された前記言語情報に含まれる文字情報を外部の情報処理装置に出力する文字情報出力部と、
前記文字情報出力部により出力された前記文字情報に基づいて外部の情報処理装置により検索されたコンテンツを取得するコンテンツ取得部と、
前記コンテンツ取得部により取得された前記コンテンツに関する情報を、前記人物特定部により特定された前記人物特定情報に対応付けられた前記宛て先に送信するコンテンツ送信部と
を備えるコンテンツ検索装置。
【請求項１０】
人物を特定する人物特定情報に対応付けて、前記人物に情報を送る宛て先を格納する人物情報格納機能と、
言語情報が入力される言語情報入力機能と、
前記言語情報入力機能により入力された前記言語情報が人物に関する情報を含むか否かを解析し、前記人物情報格納機能を参照して前記言語情報に対応した人物の前記人物特定情報を特定する人物特定機能と、
前記言語情報入力機能により入力された前記言語情報に含まれる文字情報を用いて、前記言語情報に対応したコンテンツを抽出するコンテンツ検索部と、
前記コンテンツ検索部により抽出された前記コンテンツに関する情報を、人物特定部により特定された前記人物特定情報に対応付けられた端末ＩＤにより特定される宛て先に送信するコンテンツ送信機能と
をコンピュータに実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ検索装置、およびプログラムに関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータなどの検索装置から情報を検索する技術が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００７−０１７９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
このような検索装置は、使用者が使用者自身のために情報を検索するものであり、その場にいない者と情報を共有することができなかった。
【課題を解決するための手段】
【０００４】
本発明の第一態様として、人物を特定する人物特定情報に対応付けて、前記人物に情報を送る宛て先を格納する人物情報格納部と、言語情報が入力される言語情報入力部と、言語情報入力部により入力された言語情報から、言語情報に対応した人物の前記人物特定情報を、人物情報格納部を参照して特定する人物特定部と、言語情報入力部により入力された言語情報に含まれる文字情報を用いて、言語情報に対応したコンテンツを抽出するコンテンツ検索部と、コンテンツ検索部により抽出されたコンテンツに関する情報を、人物特定部により特定された人物特定情報に対応付けられた宛て先に送信するコンテンツ送信部とを備えるコンテンツ検索装置が提供される。
【０００５】
本発明の第二態様として、人物を特定する人物特定情報に対応付けて、人物に情報を送る宛て先を格納する人物情報格納機能と、言語情報が入力される言語情報入力機能と、言語情報入力機能により入力された言語情報が人物に関する情報を含むか否かを解析し、人物情報格納機能を参照して言語情報に対応した人物の人物特定情報を特定する人物特定機能と、言語情報入力機能により入力された言語情報に含まれる文字情報を用いて、言語情報に対応したコンテンツを抽出するコンテンツ検索部と、コンテンツ検索部により抽出されたコンテンツに関する情報を、人物特定部により特定された人物特定情報に対応付けられた端末ＩＤにより特定される宛て先に送信するコンテンツ送信機能とをコンピュータに実現させるプログラムが提供される。
【０００６】
上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。これら特徴群のサブコンビネーションもまた発明となり得る。
【図面の簡単な説明】
【０００７】
【図１】画像検索装置３００のシステム構成の一例を示す図である。
【図２】画像検索装置３００の機能ブロック図である。
【図３】言語情報入力部３０２の機能ブロック図である。
【図４】端末４００の機能ブロック図である。
【図５】人物情報と文字情報のデータベースの一例を示す図である。
【図６】人物特定データベースの一例を示す図である。
【図７】画像情報の一例を示す図である。
【図８】画像検索装置３００の動作を説明するフローチャートである。
【図９】発話者および宛先者特定処理の動作を説明するフローチャートである。
【図１０】画像抽出処理の動作を説明するフローチャートである。
【図１１】画像抽出処理の別の動作を説明するフローチャートである。
【図１２】画像抽出処理の別の動作を説明するフローチャートである。
【図１３】画像処理装置７００システム構成の一例を示す図である。
【図１４】画像処理装置７００の機能ブロック図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、画像検索装置３００のシステム構成の一例を示す図である。図１において、画像検索装置３００は、音声入力部３３０を有する。音声入力部３３０は、発話者１００の会話を言語情報として画像検索装置３００に入力する。なお、音声入力部３３０の一例は集音マイクであり、画像検索装置３００はコンテンツ検索装置の一例である。
【００１０】
画像検索装置３００は、入力された言語情報から宛先者２００の人物ＩＤを特定するとともに、宛先者２００の有する端末４００の宛て先を特定する。なお、宛て先の一例は端末４００のメールアドレスである。一方、画像検索装置３００は、入力された言語情報から言語情報に対応した画像、および画像に関する情報（以後、画像等という）を抽出する。画像検索装置３００は、ネットワーク５００、および中継基地５０２を通じて、抽出した画像等を特定したメールアドレスに送信する。宛先者２００は、送信された画像等を端末４００から見ることにより、発話者１００と会話内容を共有できる。なお、画像は、コンテンツの一例である。コンテンツは、音楽、または動画であってもよい。また、コンテンツに関する情報の一例は、当該コンテンツへのリンクである。また、人物ＩＤは、人物特定情報の一例である。
【００１１】
端末４００は、ＧＰＳ衛星４０２からの信号を受信した後に、受信した信号から端末４００の位置を算出する。画像検索装置３００は、端末４００の位置を位置情報として端末４００より受信する。同様に画像検索装置３００は、発話者１００の所有する端末４５０の位置情報も受信して、それらの位置情報を発話者１００、または宛先者２００の人物ＩＤを特定するのに使用する。
【００１２】
図２は、画像検索装置３００の機能ブロック図である。画像検索装置３００は、言語情報入力部３０２、人物情報格納部３０４、画像検索部３０６、画像格納部３０８、通信部３１０、画像送信部３１６、操作部３１８、位置情報取得部３２０、既読受信部３２２、および表示部３２４を有する。また、画像検索部３０６は、検索メモリ３０７を有する。なお、画像検索装置３００の一例は、パーソナルコンピュータである。
【００１３】
図２において、言語情報入力部３０２は、発話者１００の音声を言語情報として入力する。言語情報入力部３０２は入力された言語情報が人物に関する人物情報を含むか否かを解析する。言語情報入力部３０２は、人物情報格納部３０４を参照して、人物情報に対応した発話者１００、および宛先者２００の人物ＩＤを特定する。また、言語情報入力部３０２は、入力された言語情報に含まれる画像等に関する文字情報を、情報画像検索部３０６に送る。
【００１４】
言語情報入力部３０２は、特定した人物ＩＤに対応する端末４００のメールアドレスを人物情報格納部３０４から抽出する。人物情報格納部３０４には、人物を特定する人物ＩＤに対応付けた人物情報、メールアドレス、および声紋情報等が格納されている。
【００１５】
画像検索部３０６は、文字情報を用いて、言語情報に対応した画像等を、画像格納部３０８から抽出する。なお、画像検索部３０６は、通信部３１０、およびネットワーク３１２を通じて外部情報処理装置３１４から画像等を抽出してもよい。そして、画像検索部３０６は、抽出された画像等を、画像検索部３０６に備える検索メモリ３０７に記憶するとともに、人物情報格納部３０４に当該画像等を、過去画像の履歴として記録する。
【００１６】
画像検索部３０６は、抽出した画像等を表示部３２４に表示させる。発話者１００は、表示部３２４に表示された画像等を確認して、表示された画像等を宛先者２００に送信してよいと判断したときは、操作部３１８からその旨を入力する。
【００１７】
画像送信部３１６は、送信してもよいとの入力があったときは、表示部３２４に表示された画像等を画像検索部３０６から抽出するとともに、送信先のメールアドレスを人物情報格納部３０４から抽出する。画像送信部３１６は、宛先者２００のメールアドレス、および画像等があることを確認して、宛先者２００として特定された人物ＩＤに対応付けられたメールアドレスへ抽出した画像等を送信する。
【００１８】
位置情報取得部３２０は、端末４００において算出された位置情報を受信する。また、位置情報取得部３２０は、発話者１００の所有する端末４５０の位置情報も同様に入手する。位置情報取得部３２０は、端末４５０の位置から予め定められた距離以上離れている端末４００を所有する人物は外出しているとして、人物情報格納部３０４に記録する。
【００１９】
既読受信部３２２は、端末４００において、送信された画像等が宛て先の端末４００で宛先者２００により既読となった場合に、その旨を表示する既読情報を受信する。既読受信部３２２は、端末４００で既読となった旨を受信した場合に、既読情報を表示部３２４に送る。
【００２０】
画像検索部３０６は、表示部３２４に既読情報が届いていることを検知すると、既読情報を確認して、既読となった画像等に関する情報を表示部３２４に表示させる。発話者１００は表示部３２４に表示された画像等を見て、宛先者２００が画像等を確認したことを視認できる。
【００２１】
図３は、言語情報入力部３０２の機能ブロック図である。言語情報入力部３０２は、音声入力部３３０、音声解析部３３２、および人物特定部３３４を有する。また、人物特定部３３４は、アドレスメモリ３３６を有する。
【００２２】
図３において、音声入力部３３０は、言語情報として発話者からの音声を入力する。音声入力部３３０は、入力した音声を音声信号に変換する。音声解析部３３２は、音声信号を解析して、音声信号から声紋情報、文字情報、および人物情報を生成する。人物特定部３３４は、声紋情報、および人物情報から、人物情報格納部３０４を参照して、発話者１００、および宛先者２００の人物ＩＤを特定するとともに、当該宛先者２００の人物ＩＤに対応したメールアドレスを特定する。そして、人物特定部３３４は、特定したメールアドレスを人物特定部３３４に備えるアドレスメモリ３３６に記憶する。
【００２３】
図４は、端末４００の機能ブロック図である。端末４００は、画像受信部４０４、表示部４０６、位置取得部４０８、および情報送信部４１０を有する。
【００２４】
図４において、画像受信部４０４は、画像送信部３１６から送信された画像等を受信する。画像受信部４０４は、宛先者２００の当該画像等を見るという指示が入力されると、画像受信部４０４で受信された画像等を表示部４０６に表示させる。当該画像等を表示部４０６に表示させると、画像受信部４０４は、当該画像等を情報送信部４１０へ送信する。情報送信部４１０は、画像等が表示部４０６に表示されたことを報知する既読情報を作成して、既読受信部３２２へ送信する。なお、宛先者２００は、画像等に関するコメントを既読情報に入力することができる。
【００２５】
位置取得部４０８は、ＧＰＳ衛星４０２からの信号を受信して、端末４００の位置を算出する。更に、位置取得部４０８は、算出した位置を位置情報に変換する。情報送信部４１０は、位置取得部４０８から入力された当該位置情報を位置情報取得部３２０へ送信する。
【００２６】
図５は、人物情報３４２と文字情報３４４を格納する言語分類データベース３４０の一例を示す図である。言語分類データベース３４０は、人物情報格納部３０４に設けられ、言語分類データベース３４０には、人物情報３４２に対応する文字列と、文字情報に対応する文字列とが記録されている。なお、当該文字列は、言語分類データベース３４０に予め登録されていてもよく、後述する人物特定データベース３５０の人物特定情報３６０に記録された文字列を抽出して更新してもよい。
【００２７】
図６は、人物特定データベース３５０の一例を示す図である。人物特定データベース３５０もまた、人物情報格納部３０４に設けられ、人物特定データベース３５０には、グループＩＤ３５２、人物ＩＤ３５４、メールアドレス３５６、過去画像３５８、人物特定情報３６０、外出表示３７０、および声紋情報３７２が記録されている。また、人物特定情報３６０には、名前３６２、ニックネーム３６４、続柄３６６、および関連情報３６８が記録されている。
【００２８】
グループＩＤ３５２は、同一のグループに所属する人物に同じグループＩＤが付与される。すなわち、同一のグループＩＤを有する人物は、同じグループに所属することを示す。人物特定データベース３５０に人物を登録すると、画像検索装置３００は、登録された人物に人物ＩＤを自動的に付与する。
【００２９】
メールアドレス３５６、名前３６２、ニックネーム３６４、および続柄３６６は、最初に画像検索装置３００を使用する者が操作部３１８を用いて登録する。なお、続柄３６６は、あるグループ内の特定の者を本人とした続柄関係が登録される。なお、図６では娘を本人とした例を示している。一方、グループが家族でない場合は、続柄３６６は登録しなくてもよい。
【００３０】
過去画像３５８には、人物ＩＤに対応付けて、過去に抽出された画像等の履歴が格納される。過去画像３５８に記録されるのは、過去に宛先者２００と特定された時に抽出された画像等である。
【００３１】
関連情報３６８には、名前３６２、ニックネーム３６４、および続柄３６６に関連する文字列が記録される。関連情報３６８の文字列は、名前３６２、ニックネーム３６４、および続柄３６６の登録後に記録される。
【００３２】
外出表示３７０には、同じグループに所属する人物のうち、外出している人物に対してフラグが立てられる。このフラグが「１」のとき、当該人物は外出していることを示し、このフラグが「０」のとき、当該人物は外出していないことを示す。なお、外出表示３７０は必須な構成ではなく、なくてもよい。
【００３３】
人物特定部３３４は、フラグが「１」の人物ＩＤを有する人物を宛先者２００の候補として、また、フラグが「０」の人物ＩＤを有する人物を発話者１００の候補として絞り込める。人物特定部３３４は、宛先者２００、および発話者１００を絞り込んで検索できるので、宛先者２００、および発話者１００の人物ＩＤを早く特定できる。
【００３４】
声紋情報３７２には、各人物ＩＤに対応した人物の声紋情報が記録される。声紋情報は、予め、音声入力部３３０を通じて採取される。人物特定部３３４は、音声解析部３３２により生成された発話者１００の声紋情報と、声紋情報３７２に記録された声紋情報とから発話者１００の人物ＩＤを特定する。
【００３５】
図７は、画像データ３８０の一例を示す図である。図７において、画像データ３８０は、画像情報３８２、画像文字情報３８４を有する。画像文字情報３８４は、画像情報３８２に関連する名詞に対応した文字列であり、例えば、画像情報３８２が「×××城」であるときは、その名前である「×××城」、「×××城」が建っている場所の名称である「□□□ランド」、「×××城」に関連のある人物「○○○○」の名前、および関連のある動物「△△△△」の名前にそれぞれ対応した文字列等が記録されている。
【００３６】
図８は、画像検索装置３００の動作を説明するフローチャートである。図８に示す動作フローは、発話者１００により画像検索装置３００の電源がオンとされた場合に開始する。
【００３７】
言語情報入力部３０２は、発話者１００によるグループＩＤの登録を受け付ける（Ｓ１０１）。グループＩＤが登録されると、位置情報取得部３２０は、同一のグループＩＤを有する全ての人物の登録された端末４００の位置情報を取得する（Ｓ１０２）。
【００３８】
次に、言語情報入力部３０２は、言語情報を取得するまで待機する（Ｓ１０３：Ｎｏ）。言語情報入力部３０２は、会話の音声を音声入力部３３０が入力したときに、言語情報が入力されたと判断して（Ｓ１０３：ＹＥＳ）、発話者および宛先者特定処理を実行する（Ｓ１０４）。発話者および宛先者特定処理については図９を用いて詳細に説明する。
【００３９】
ステップＳ１０４に続いて、画像検索部３０６は、画像抽出処理を実行する（Ｓ１０５）。画像抽出処理については、図１０を用いて詳細に説明する。
【００４０】
ステップＳ１０５に続いて、画像検索部３０６は、抽出した画像等を表示部３２４に表示させる（Ｓ１０６）。発話者１００は、表示部３２４に表示された画像等を確認して、宛先者２００に表示された画像等を送信してよいか指示を出す。画像送信部３１６は、発話者１００から送信指示があったか否かを判断する（Ｓ１０７）。
【００４１】
画像送信部３１６は、操作部３１８から送信してもよいとの入力があったとき、発話者１００からの送信指示があったと判断し（Ｓ１０７：ＹＥＳ）、画像検索部３０６により抽出された画像等を、人物特定部３３４により特定された人物ＩＤに対応付けられたメールアドレスに送信する（Ｓ１０８）。一方、画像送信部３１６は、操作部３１８から送信しないとの入力があったとき、発話者１００からの送信指示はないと判断して（Ｓ１０７：ＮＯ）、処理をステップＳ１０３に戻す。
【００４２】
次に、言語情報入力部３０２は、画像検索装置３００の電源が落とされたか否かを判断する（Ｓ１０９）。言語情報入力部３０２は、画像検索装置３００の電源が落とされていないと判断した場合（Ｓ１０９：ＮＯ）、処理をステップＳ１０２へ戻す。一方、言語情報入力部３０２は、画像検索装置３００の電源が落とされたと判断した場合（Ｓ１０９：ＹＥＳ）、画像検索装置３００の動作は終了する。
【００４３】
なお、ステップＳ１０７において、画像検索部３０６は、操作部３１８から送信してもよいとの入力があったときに、送信指示があったと判断した。操作部３１８からの入力の代わりに、発話者１００による言語情報の入力を用いてもよい。この場合に、発話者１００による画像等を送信してもよいとの言語情報が音声解析部３３２により取得された場合に、送信指示があったと判断してもよい。
【００４４】
図９は、ステップＳ１０４における発話者および宛先者特定処理の動作フローを示すフローチャートである。本動作フローにおいて、まず、言語情報入力部３０２は、入力された言語情報に声紋情報があるか否かを判断する（Ｓ２０１）。音声入力部３３０は、入力された音声を音声信号に変換して、音声解析部３３２へ送る。音声解析部３３２は、音声信号から声紋情報を生成する。言語情報入力部３０２は、言語情報に声紋情報がある場合（Ｓ２０１：Ｙｅｓ）、人物特定部３３４は、発話者を特定する（Ｓ２０２）。一方、言語情報入力部３０２は、言語情報に声紋情報がない場合（Ｓ２０１：Ｎｏ）、処理をステップＳ１０３に戻して、言語情報が再び入力されるのを待つ。
【００４５】
ステップＳ２０２において、人物特定部３３４は、音声解析部３３２が生成した声紋情報と、人物データベースの３５０に記録された声紋情報とを比較して、生成した声紋情報と一致する声紋情報が有るか否かを判断する。生成された声紋情報と一致する声紋情報があった場合、人物特定部３３４は、当該声紋情報に対応する人物を発話者１００と特定する。一方、入手した声紋情報と記録された声紋情報がない場合、人物特定部３３４は、その旨を記憶する。
【００４６】
次に、言語情報入力部３０２は、発話者１００が特定できたか否かを判断する（Ｓ２０３）。言語情報入力部３０２は、発話者１００を特定できたと判断した場合（Ｓ２０３：ＹＥＳ）、処理をステップＳ２０４に進める。ここで、ステップＳ２０３において、全ての発話者が特定されたときに、言語情報入力部３０２は、発話者を特定できたと判断することが好ましい。言語情報入力部３０２は、特定されない人物がいると判断した場合（Ｓ２０３：Ｎｏ）、処理をステップＳ１０３に戻して、言語情報が再び入力されるのを待って、全ての発話者１００を特定する。
【００４７】
全ての発話者１００を特定することに代えて、特定されない発話者１００がいる場合でも、言語情報入力部３０２は、処理をステップＳ２０４に進めてもよい。この場合、例えば、言語情報入力部３０２は、予め設定された時間、または、予め設定された回数の上記処理を行った後であって、なお特定できない発話者１００がいた場合に、少なくとも二人以上の発話者が特定できていれば、言語情報入力部３０２は、発話者を特定できたと判断して（Ｓ２０３：Ｙｅｓ）、処理をステップＳ２０４へ進めてもよい。
【００４８】
なお、発話者１００が操作部３１８を操作して、発話者の人物ＩＤを入力することで、発話者１００の特定をしてもよい。その場合、ステップＳ２０１、ステップＳ２０２の処理は省略される。
【００４９】
すべての発話者１００が特定できた場合、人物特定部３３４は、発話者１００の中から続柄３６６の本人を定める。続柄３６６は発話者１００によって変わるので、発話者１００の中の一人を本人として、予め登録された続柄関係に基づいて会話毎に設定される。
【００５０】
なお、発話者１００が複数人の場合は、経験上、最年少の者を中心に会話されることから、最年少の者を続柄の基準として続柄を定めることが好ましい。発話者が単数の場合は、その人物を本人と定める。また、続柄３６６が登録されていないとき、人物特定部３３４は続柄３６６の基準を定めなくてよい。
【００５１】
次に、位置情報取得部３２０は、各端末４００等から位置情報を取得して、外出している人物に対して人物特定データベース３５０の外出表示のフラグを立てる（Ｓ２０４）。位置情報取得部３２０は、発話者１００の所有する端末４５０の位置から予め定められた距離以上離れている端末４００の所有者は外出していると判断して、当該人物の人物ＩＤに対応する外出表示３７０の欄に外出していることを示す「１」のフラグを立てる。一方、位置情報取得部３２０は、発話者１００の所有する端末４５０の位置から予め定められた距離以内にある端末４５０を所有する人物は外出していないと判断して、当該人物の人物ＩＤに対応する外出表示３７０の欄にはフラグを立てず「０」のままとする。したがって、外出表示３７０の欄を参照すれば、当該人物が外出しているか否かを判断できるので、外出表示３７０のフラグは人物が不在であるか否かを示す指標となる。
【００５２】
次に、言語情報入力部３０２は、言語情報に人物情報があるか否かを判断する（Ｓ２０５）。音声入力部３３０は、入力された音声を音声信号に変換する。音声解析部３３２は、変換された音声信号を文節に区切り、それぞれの文節から名詞を抽出して、抽出した名詞と、人物情報と文字情報のデータベースにおける人物情報３４２に記録された文字列とを比較する。抽出した名詞が、人物情報３４２に記載された文字列のいずれかと一致したとき、言語情報入力部３０２は、当該名詞を人物情報と認定して、言語情報に人物情報が有ると判断する。一方、抽出した名詞が、人物情報３４２に記載された文字列のいずれにも一致しないとき、言語情報入力部３０２は、言語情報に人物情報がないと判断して（Ｓ２０５：Ｎｏ）、処理をステップＳ１０３に戻して、言語情報が再び入力されるのを待つ。
【００５３】
言語情報入力部３０２は、言語情報に人物情報があると判断した場合（Ｓ２０５：ＹＥＳ）、人物特定部３３４は、当該人物情報を用いて宛先者２００を特定する（Ｓ２０６）。人物特定部３３４は、音声解析部３３２から送られた名詞と、人物特定データベース３５０の人物特定情報３６０の欄に記録された文字列とを比較する。音声解析部３３２から送られた人物情報と人物特定データベース３５０の人物関連情報の欄に記録された文字列とが一致した場合、一致した文字列に対応する人物を宛先者２００と特定する。一方、音声解析部３３２から送られた人物情報と人物特定データベース３５０の人物関連情報の欄に記録された文字列とが一致しない場合、人物特定部３３４は、宛先者２００を特定しない。
【００５４】
なお、ステップＳ２０６において、人物特定部３３４は、ステップＳ２０２において特定された発話者１００は宛先者２００として特定しないとしてもよい。このように、発話者１００を宛先者２００から除外することによって、発話者１００を宛先者２００と特定してしまうことを防げる。また、宛先者２００を絞り込んで検索できるので、宛先者２００の特定を早めることができる。
【００５５】
また、ステップＳ２０６において、人物特定部３３４は、ステップＳ２０２において特定された発話者１００以外の全ての人物を宛先者２００として特定するとしてもよく、人物特定部３３４は、発話者１００以外の全ての人物のうち、外出表示３７０に「１」のフラグが立っている人物を宛先者２００として特定するとしてもよい。このように宛先者２００を特定することで、宛先者２００の特定を早めることができる。
【００５６】
さらに、ステップＳ２０６において、人物特定部３３４は、ステップＳ１０２にて取得した、同一のグループＩＤを有する端末４００の位置情報と、言語情報に含まれる文字情報から、宛先者２００の人物ＩＤを特定してもよい。人物特定部３３４は、音声解析部３３２により生成された文字情報に位置に関する情報を含むか否かを解析する。文字情報に位置に関する情報が含まれる場合に、文字情報に対応した位置の情報と、位置情報取得部３２０により取得された端末４００の位置情報との関係に基づいて、宛先者２００の人物ＩＤを特定してもよい。すなわち、文字情報に含まれる位置と、位置情報取得部により取得された端末４００の位置情報との距離が予め定められた距離以内であるとき、該当する端末４００を所有する人物を宛先者２００として特定する。そして、当該宛先者２００に文字情報に含まれる位置に関連した画像等を送信してもよい。
【００５７】
次に、言語情報入力部３０２は、宛先者２００が特定できたか否かを判断する（Ｓ２０７）。言語情報入力部３０２は、宛先者２００が特定できたと判断した場合（Ｓ２０７：ＹＥＳ）、人物特定部３３４は、特定した宛先者２００の人物ＩＤに対応したメールアドレスを特定する（Ｓ２０８）。人物特定部３３４は、特定したメールアドレスを、人物特定部３３４に備えるアドレスメモリ３３６に記憶して（Ｓ２０９）、発話者および宛先者特定処理は終了する。一方、言語情報入力部３０２は、宛先者２００が特定できていないと判断した場合（Ｓ２０７：ＮＯ）、処理をステップＳ１０３に戻して、言語情報が再び入力されるのを待つ。
【００５８】
なお、人物特定部３３４は、ステップＳ２０２において、人物特定部３３４により特定された発話者以外の人物を、宛先者２００として特定するとしてもよい。このように宛先者２００を特定することで、宛先者２００の特定を早めることができる。
【００５９】
また、人物特定部３３４は、外出表示３７０に「１」のフラグが立っている人物を宛先者２００として特定するとしてもよい。この場合、外出表示３７０のフラグは人物が不在であるか否かを示す指標となる。
【００６０】
更に、人物特定部３３４は、ステップＳ１０２にて取得した、同一のグループＩＤを有する端末４００の位置情報と、言語情報に含まれる文字情報から、宛先者２００の人物ＩＤを特定してもよい。人物特定部３３４は、音声解析部３３２により生成された文字情報に位置に関する情報を含むか否かを解析する。文字情報に位置に関する情報が含まれる場合に、文字情報に対応した位置の情報と、位置情報取得部３２０により取得された端末４００の位置情報との関係に基づいて、宛先者２００の人物ＩＤを特定してもよい。すなわち、文字情報に含まれる位置と、位置情報取得部により取得された端末４００の位置情報との距離が予め定められた距離以内であるとき、該当する端末４００を所有する人物を宛先者２００として特定する。
【００６１】
図１０は、ステップＳ１０５における画像抽出処理の動作フローを示すフローチャートである。本動作フローにおいて、言語情報入力部３０２は、言語情報に文字情報があるか否かを判断する（Ｓ３０１）。
【００６２】
音声解析部３３２は、音声信号を文節に区切り、それぞれの文節から名詞を抽出して、抽出した名詞と、人物情報格納部３０４の言語分類データベース３４０における文字情報３４４の欄に記録された文字列とを比較する。比較した結果、抽出した名詞が、文字情報３４４の欄に記載された文字列のいずれかと一致したとき、言語情報入力部３０２は、当該名詞を文字情報と認定して、抽出した名詞を文字情報として画像検索部３０６へ送信する。一方、抽出した名詞が、文字情報３４４の欄に記載された文字列のいずれにも一致しないとき、言語情報入力部３０２は、言語情報に文字情報がないと判断する。
【００６３】
言語情報入力部３０２は、言語情報に文字情報があると判断した場合（Ｓ３０１：ＹＥＳ）、ステップＳ３０２に処理を進める。一方、言語情報入力部３０２は、言語情報に文字情報がないと判断した場合（Ｓ３０１：ＮＯ）、処理をステップＳ１０３に戻して、言語情報が再び入力されるのを待つ。
【００６４】
次に画像検索部３０６は、人物情報格納部３０４の人物特定データベース３５０を参照して、特定された宛先者２００の人物ＩＤに対応する過去画像３５８の欄に、画像等が記録されているか否かを判断する（Ｓ３０２）。画像検索部３０６は、過去画像３５８の欄に画像等が記録されていると判断した場合、（Ｓ３０２：ＹＥＳ）、画像検索部３０６は、人物特定データベース３５０に格納された画像データ３８０を抽出して、抽出した画像データ３８０に含まれる文字情報を抽出する。画像検索部３０６は、過去に抽出された画像等の履歴に基づいて抽出された文字情報と、音声解析部３３２から送られた文字情報とを用いて、画像格納部３０８を検索して画像等を抽出する。
【００６５】
なお、画像等が複数抽出された場合、複数の画像等を画像検索部３０６に備える検索メモリ３０７に記憶して、そのすべての画像等を宛先者２００に送ってもよい。また、送信する画像等の数は、優先順位を定めて任意に調整できてもよい。音声解析部３３２から送られた文字情報を用いて検索すると膨大な量の画像等が抽出されるので、音声解析部３３２から送られた文字情報だけでなく、過去に送った画像データ３８０に含まれる文字情報にも該当する画像等を抽出させることで、宛先者２００の趣向に沿った画像等を送信することができる。
【００６６】
画像検索部３０６は、画像格納部３０８だけでなく、通信部３１０とネットワーク５００を通じて外部情報処理装置３１４から画像を検索することもできる。この場合、画像検索部３０６は、音声解析部３３２から送られた文字情報、および、過去画像に対応つけられた文字情報を検索キーワードに設定して、外部情報処理装置３１４の検索機能を用いて画像等を検索して、検索された画像等を抽出する。
【００６７】
一方、画像検索部３０６は、特定された宛先者２００の人物ＩＤに対応する過去画像３５８の欄に画像等がないと判断した場合（Ｓ３０２：ＮＯ）、画像検索部３０６は、音声解析部３３２から送られた文字情報を用いて画像等を検索して、当該文字情報と画像データ３８０が有する画像文字情報３８４とが一致する画像等を抽出する。
【００６８】
次に画像検索部３０６は、画像等が抽出できたか否かを判断する（Ｓ３０５）。ステップＳ３０３、またはステップＳ３０４において、画像検索部３０６が１つでも該当する画像等を抽出できれば、画像検索部３０６は、画像等が抽出できたと判断して（Ｓ３０５：ＹＥＳ）、抽出した画像等を画像検索部３０６に備える検索メモリ３０７に記憶するとともに、抽出した画像等に対応したリンク情報を人物特定データベース３５０に記録して（Ｓ３０６）、画像抽出処理は終了する。
【００６９】
一方、画像検索部３０６が一つも該当する画像等を抽出できないとき、画像検索部３０６は、画像等が抽出できないと判断して（Ｓ３０５：ＮＯ）、処理をステップＳ１０３に戻して、言語情報が再び入力されるのを待つ。なお、図８、図９、図１０にて実行される処理は、画像検索装置３００にインストールされたプログラムによって実行される。
【００７０】
以上、説明したように、画像検索装置３００を用いることで、発話者１００の言語情報に含まれる文字情報から検索した画像等を、その場にいない宛先者２００に送信して、宛先者２００は、当該画像等を確認できる。したがって、画像検索装置３００を用いることによって、宛先者２００は、発話者１００の近くにいなくても発話者１００の会話を当該画像等から共有できる。また、発話者１００は、宛先者２００に送信することを目的とした具体的手段を自ら実行しなくても、検索した画像等を宛先者２００に送信することができる。
【００７１】
図１１は、画像抽出処理の別の動作を説明するフローチャートである。図１１において、ステップＳ４０１、ステップＳ４０２、およびステップＳ４０３の処理が異なる点を除いて図１０に示される画像抽出処理と同様である。ここでは、ステップＳ４０１、およびステップＳ４０２、およびステップＳ４０３の処理について説明する。
【００７２】
ステップＳ４０１、Ｓ４０２において、画像検索部３０６は、既読受信部３２２を確認して、既読情報が有るか否かを判断する（Ｓ４０１、Ｓ４０２）。ステップＳ４０１において、画像検索部３０６は、既読受信部３２２に既読情報が有ることが確認できた場合（Ｓ４０１：ＹＥＳ）、画像検索部３０６は、過去画像に対応した文字情報と、音声解析部３３２から送られた文字情報と、既読情報に含まれる文字情報を用いて画像等を検索する。
【００７３】
ステップＳ４０２において、画像検索部３０６は、既読受信部３２２に既読情報が有ることが確認できた場合（Ｓ４０２：ＹＥＳ）、画像検索部３０６は、音声解析部３３２から送られた文字情報と、既読情報に含まれる文字情報を用いて画像等を検索する。
【００７４】
前述したように、宛先者２００は、送信された画像等に関するコメントを既読情報に入力することができるので、画像検索部３０６は、既読情報に含まれる文字情報を検索条件に加えることで、発話者１００だけでなく宛先者２００の意思をも反映させた画像を検索できる。そして、当該画像検索によって抽出された画像等は、発話者１００、および宛先者２００の共通の話題に発展させる材料となり、さらに発話者１００の会話を活発にさせる。
【００７５】
また、画像検索部３０６は、既読情報に含まれる文字情報、または、送信した画像等の情報を検索条件から除外してもよい。当該情報を除外することで、既に送信した画像等を再び検索して、重複して送信することを避けることができる。
【００７６】
図１２は、画像抽出処理の別の動作を説明するフローチャートである。図１２において、ステップＳ５０１、ステップＳ５０２、およびステップＳ５０３の処理が異なる点を除いて図１０に示される画像抽出処理と同様である。ここでは、ステップＳ５０１、およびステップＳ５０２、およびステップＳ５０３の処理について説明する。
【００７７】
ステップＳ５０１において、音声解析部３３２は、言語情報に含まれる音声信号を文節に区切り、文節に含まれる名詞の修飾語を抽出する。例えば、「うちの犬の散歩をする」の場合は、名詞である「犬」を修飾する「うちの」が抽出される。また、「白い犬が散歩をしている」の場合は、名詞である「犬」を修飾する「白い」が抽出される。
【００７８】
音声解析部３３２は、予め定められた期間に抽出された、名詞を修飾する修飾語がグループ内かグループ外かを判定して、それぞれに振り分ける。「うちの」「我が家の」「グループの」「私の」といった「自分」のことに関する修飾語は、グループ内の修飾語に該当する。一方、その他の一般的な修飾語は、グループ外の修飾語に該当する。
【００７９】
音声解析部３３２は、グループ内に振り分けられた修飾語の数、およびグループ外に振り分けられた修飾語の数をそれぞれ積算して積算値を算出する。そしてその全体の修飾語の数に対する積算値の比率が、グループ外と比較してグループ内の方が大きい場合、音声解析部３３２は、言語情報に含まれる文字情報に基づいた比率は、グループ内情報の方が多いと判断して（Ｓ５０１；ＹＥＳ）、音声解析部３３２は、画像格納部３０８内の画像等を検索する指示を、画像検索部３０６に出す。当該指示が画像検索部３０６に入力されると、画像検索部３０６は、画像格納部３０８内を検索して画像等を抽出する（Ｓ５０２）。
【００８０】
一方、全体の修飾語の数に対する積算値の比率が、グループ内と比較してグループ外の方が大きい場合、音声解析部３３２は、言語情報に含まれる文字情報に基づいた比率は、グループ内情報の方が少ないと判断して（Ｓ５０１；ＮＯ）、音声解析部３３２は、外部の情報処理装置３１４を用いて画像等を検索する指示を、画像検索部３０６に出す。そして、画像検索部３０６は、外部情報処理装置３１４に文字情報等を検索キーワードとして提供して画像等を抽出する（Ｓ５０３）。
【００８１】
グループ内に関連する画像等は、画像格納部３０８に多く記録される。また、一般的な画像等は画像格納部３０８よりも外部の情報処理装置３１４を用いた方がより多くの画像等が検索できる。したがって、文字情報を解析してグループ内の画像等と関連のある会話をするときは、グループ内の画像等を多く記録している画像格納部３０８を検索することによって、発話者１００の会話内容に合致した画像等を検出することができる。
【００８２】
図１３は、他の画像処理装置７００のシステム構成の一例を示す図である。図１３において、図１と共通の要素には同じ参照番号を付して重複する説明を省く。図１３において、画像検索装置６００が画像処理装置７００の外部に設けられている点を除いて図１に示されるシステム構成と同様である。ここでは、画像検索装置６００と画像処理装置７００の処理について説明する。
【００８３】
図１３において、画像処理装置７００は、入力された言語情報から宛先者２００の人物ＩＤと宛先者２００の有する端末４００の宛て先を特定する。画像処理装置７００に入力された言語情報は、ネットワーク５００を通じて外部の画像検索装置６００に送られる。画像検索装置６００は、入力された言語情報から言語情報に対応した画像等を抽出する。抽出された画像等は、画像処理装置７００へ送られ、画像処理装置７００は、抽出した画像等を特定した宛て先に送信する。
【００８４】
図１４は、図１３に示した画像処理装置７００の機能ブロック図である。図１４において、他の図と共通の要素には同じ参照番号を付して重複する説明を省く。
【００８５】
図１４において、発話者１００の会話は、言語情報入力部３０２により言語情報として画像処理装置７００に入力される。言語情報入力部３０２は、入力された言語情報から発話者１００、および宛先者２００の人物ＩＤを特定して、宛先者２００の所有する端末４００のメールアドレスを記憶する。
【００８６】
また、言語情報入力部３０２は、言語情報に含まれる文字情報を、文字情報出力部である通信部３１０から、外部の情報処理装置である画像検索部３２６に出力する。画像検索部３２６は、言語情報に含まれる文字情報を用いて、言語情報に対応した画像等を、画像格納部３２８、または外部の情報処理装置３１４から抽出する。画像検索部３２６は、抽出した画像等を通信部３１０へ送る。
【００８７】
通信部３１０は、外部の情報処理装置により検索された画像を取得する画像取得部としての役割も担う。通信部３１０は、抽出した画像等を画像送信部３１６へ送る。画像送信部３１６は、抽出した画像等を表示部３２４に表示させる。発話者１００は、表示部３２４に表示された画像等を確認して、表示された画像等を発話者１００に送信してよいと判断したときは、操作部３１８からその旨を入力する。画像送信部３１６は、送信してもよいとの入力があったとき、送信先のメールアドレスを人言語情報入力部３０２から抽出する。画像送信部３１６は、画像取得部により取得された画像に関する情報を、言語情報入力部３０２により特定された人物ＩＤに対応付けられた宛て先に送信する。
【００８８】
本実施の形態において、複数の発話者１００が、同一場所で会話している例を示したが、同一場所にいなくてもよく、離れた場所にいてネットワーク５００を介して会話していてもよい。この場合、外出表示３７０の基準となる発話者１００の所有する端末４５０の位置は、複数の発話者１００の位置に対応して複数存在する。位置情報取得部３２０は、当該位置の全てから、予め定められた距離以上離れている端末４００の所有者は、外出していると判断する。
【００８９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。また、上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。更に、変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることは、特許請求の範囲の記載から明らかである。
【００９０】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９１】
１００  発話者、２００  宛先者、３００、６００  画像検索装置、３０２  言語情報入力部、３０４  人物情報格納部、３０６、３２６  画像検索部、３０７  検索メモリ、３０８、３２８  画像格納部、３１０  通信部、３１２  ネットワーク、３１４  情報処理装置、３１６  画像送信部、３１８  操作部、３２０  位置情報取得部、３２２  既読受信部、３２４、４０６  表示部、３２６  ３３０  音声入力部、３３２  音声解析部、３３４  人物特定部、３３６  アドレスメモリ、３４０  言語分類データベース、３５０  人物特定データベース、３４２  人物情報、３４４  文字情報、３５２  グループＩＤ、３５４  人物ＩＤ、３５６  メールアドレス、３５８  過去画像、３６０  人物特定情報、３６２  名前、３６４  ニックネーム、３６６  続柄、３６８  関連情報、３７０  外出表示、３７２  声紋情報、３８０  画像データ、３８２  画像情報、３８４  画像文字情報、４００、４５０  端末、４０２  ＧＰＳ衛星、４０４  画像受信部、４０８  位置取得部、４１０  情報送信部、５００  ネットワーク、５０２  中継基地、７００  画像処理装置、７００
【図１】
2014149570.tif 000003
【図２】
2014149570.tif 000004
【図３】
2014149570.tif 000005
【図４】
2014149570.tif 000006
【図５】
2014149570.tif 000007
【図６】
2014149570.tif 000008
【図７】
2014149570.tif 000009
【図８】
2014149570.tif 000010
【図９】
2014149570.tif 000011
【図１０】
2014149570.tif 000012
【図１１】
2014149570.tif 000013
【図１２】
2014149570.tif 000014
【図１３】
2014149570.tif 000015
【図１４】
2014149570.tif 000016