(57)【要約】【課題】このような検索装置は、使用者の選択した固定の検索条件により情報を検索するものであった。そのため、検索条件によっては、適切な画像を使用者に提供できない場合があった。【解決手段】発話者からの音声の入力を受け付ける音声入力部と、発話者を特定する発話者特定部と、音声入力部により入力された音声を解析して文字情報を生成する音声解析部と、発話者特定部により特定された発話者に対応付けられた情報に基づいて、音声解析部により生成された文字情報を用いた検索条件を決定する検索条件決定部と、検索条件決定部により決定された検索条件で検索されたコンテンツを取得して出力する取得部とを備えるコンテンツ検索装置。【選択図】図１
2014149571.tif 000002
【特許請求の範囲】
【請求項１】
発話者からの音声の入力を受け付ける音声入力部と、
前記発話者を特定する発話者特定部と、
前記音声入力部により入力された前記音声を解析して文字情報を生成する音声解析部と、
前記発話者特定部により特定された前記発話者に対応付けられた情報に基づいて、前記音声解析部により生成された文字情報を用いた検索条件を決定する検索条件決定部と、
前記検索条件決定部により決定された前記検索条件で検索されたコンテンツを取得して出力する取得部と
を備えるコンテンツ検索装置。
【請求項２】
前記発話者特定部は、前記音声入力部により入力された前記音声から前記発話者を特定する請求項１に記載のコンテンツ検索装置。
【請求項３】
前記検索条件決定部は、前記発話者に対応付けられた情報として、前記発話者特定部により前記発話者が特定された回数に基づいて、前記検索条件を決定する請求項１または２に記載のコンテンツ検索装置。
【請求項４】
前記検索条件決定部は、回数が閾値以上である場合に狭い検索条件を決定し、閾値未満である場合に広い検索条件を決定する請求項１から３のいずれか１項に記載のコンテンツ検索装置。
【請求項５】
前記発話者特定部により前記発話者が複数特定された場合に、前記検索条件決定部は、前記発話者に対応付けられた情報として、複数の前記発話者が同時に特定された回数に基づいて、前記検索条件を決定する請求項３または４に記載のコンテンツ検索装置。
【請求項６】
前記発話者特定部により前記発話者が複数特定された場合に、前記検索条件決定部は、前記発話者に対応付けられた情報として、複数の前記発話者のうち、前記発話者特定部により特定された回数が閾値以上の人数と閾値未満の人数との比に基づいて、前記検索条件を決定する請求項３または４に記載のコンテンツ検索装置。
【請求項７】
異なる複数の端末から前記音声入力部への音声の入力があった場合に、前記発話者特定部は、前記複数の端末のそれぞれの識別情報に基づいて、複数の前記発話者のそれぞれを特定する請求項１に記載のコンテンツ検索装置。
【請求項８】
前記発話者特定部は、複数の前記発話者の関係性を特定し、前記検索条件決定部は、前記発話者特定部により特定された前記関係性に基づいて、前記検索条件を決定する請求項３から７のいずれか１項に記載のコンテンツ検索装置。
【請求項９】
前記音声入力部に入力された前記音声から前記発話者の感情を推定する感情推定部をさらに備え、
前記検索条件決定部は、さらに、前記感情推定部により推定された感情に基づいて前記検索条件を決定する請求項１から８のいずれか１項に記載のコンテンツ検索装置。
【請求項１０】
前記検索条件決定部は、前記発話者に対応付けられた情報として、前記音声入力部に前記発話者の音声が入力された蓄積時間に基づいて、前記検索条件を決定する請求項１から９のいずれか１項に記載のコンテンツ検索装置。
【請求項１１】
異なる複数の端末から前記音声入力部への音声の入力があった場合に、前記取得部は、同一の前記検索条件により検索したコンテンツに関する情報を、前記複数の端末のそれぞれに提示する請求項１から１０のいずれか１項に記載のコンテンツ検索装置。
【請求項１２】
異なる複数の端末から前記音声入力部への音声の入力があった場合に、前記取得部は、複数の端末のそれぞれについて、対応する前記発話者に対して決定された前記検索条件により取得したコンテンツに関する情報と、他の前記発話者に対して決定された前記検索条件により取得したコンテンツに関する情報とを、異なる態様で提示する請求項１から１０のいずれか１項に記載のコンテンツ検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ検索装置に関する。
【背景技術】
【０００２】
近年、パーソナルコンピューターなどの検索装置から情報を検索する技術が知られている（例えば、特許文献１参照）。
［特許文献１］特開２００７−０１７９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
このような検索装置は、使用者の選択した固定の検索条件により情報を検索するものであり、使用者に対応付けられた情報に基づいて検索条件を決定できるものではなかった。そのため、当該検索装置は、検索条件によっては使用者に適切な情報を提供できない場合があった。
【課題を解決するための手段】
【０００４】
本発明の第一態様として、発話者からの音声の入力を受け付ける音声入力部と、発話者を特定する発話者特定部と、音声入力部により入力された前記音声を解析して文字情報を生成する音声解析部と、発話者特定部により特定された発話者に対応付けられた情報に基づいて、音声解析部により生成された文字情報を用いた検索条件を決定する検索条件決定部と、検索条件決定部により決定された検索条件で検索されたコンテンツを取得して出力する取得部とを備えるコンテンツ検索装置が提供される。
【０００５】
上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。これら特徴群のサブコンビネーションもまた発明となり得る。
【図面の簡単な説明】
【０００６】
【図１】画像検索システムの一例を示す。
【図２】画像検索システムの機能ブロック図である。
【図３】発話者特性情報のデータベースの一例を示す。
【図４】画像データの一例を示す。
【図５】画像表示処理の動作を説明するフローチャートである。
【図６】検索方法設定処理の動作を説明するフローチャートである。
【図７】表示画面の一例を示す。
【図８】別の発話者特性情報のデータベースを示す。
【図９】別の検索方法設定処理の動作を説明するフローチャートである。
【図１０】別の発話者特性情報のデータベースを示す。
【図１１】別の検索方法設定処理の動作を説明するフローチャートである。
【図１２】関係情報更新処理の動作を説明するフローチャートである。
【図１３】別の画像検索システムの一例を示す。
【図１４】別の画像表示処理の動作を説明するフローチャートである。
【図１５】別の検索方法設定処理の動作を説明するフローチャートである。
【図１６】表示画面の一例を示す。
【図１７】別の画像検索システムを示す。
【図１８】別の画像検索システムの機能ブロック図である。
【図１９】別の表示画面を示す。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、画像検索システム１０の一例を示す。図１において、画像検索システム１０は、画像検索装置２００と、情報処理装置３００と、ネットワーク４００とを有する。画像検索装置２００は、音声入力部２０２を有する。音声入力部２０２は、発話者１００、発話者１０２、および発話者１０４（以後、発話者１００等という）の会話を音声として画像検索装置２００に入力する。なお、音声入力部２０２の一例は集音マイクであり、画像検索装置２００はコンテンツ検索装置の一例である。
【０００９】
画像検索装置２００は、入力された音声から発話者１００等の人物ＩＤを特定する。画像検索装置２００は、入力された音声に対応した画像検索条件を決定する。画像検索装置２００は、ネットワーク４００を通じて、情報処理装置３００に画像検索条件を出力する。情報処理装置３００は、当該画像検索条件に基づいて画像を検出する。画像検索装置２００は、ネットワーク４００を通じて、情報処理装置３００が検出した画像を取得して、発話者１００等に表示する。なお、画像は、コンテンツの一例である。コンテンツは、音楽、動画、または文章であってもよい。
【００１０】
図２は、画像検索システム１０の機能ブロック図を示す。画像検索装置２００は、音声入力部２０２と、音声解析部２０４と、発話者特定部２０６と人物情報格納部２０８と、検索条件決定部２１０と、取得部２１２と、表示部２１４とを有する。なお、画像検索装置２００の一例は、パーソナルコンピュータ、スマートフォンなどの端末である。
【００１１】
図２において、音声入力部２０２は、発話者１００等の音声の入力を受け付ける。音声入力部２０２は受け付けた音声を、電気信号へと変換する。音声入力部２０２は、電気信号を音声解析部２０４、および発話者特定部２０６へ出力する。
【００１２】
音声解析部２０４は、電気信号を解析して、文字情報を生成する。文字情報には、発話者１００等の会話に含まれる固有名詞、普通名詞等が含まれる。音声解析部２０４は、生成した文字情報を検索条件決定部２１０へ出力する。
【００１３】
発話者特定部２０６は、電気信号を解析して、声紋情報を生成する。発話者特定部２０６は、生成した声紋情報と、人物情報格納部２０８に保管された声紋情報とを比較して、発話者１００等の人物ＩＤを特定する。
【００１４】
人物情報格納部２０８は、発話者１００等として登録された人物の特性を記録した発話者特性情報のデータベースを記録する。データベースについては、図３を用いて後に説明する。
【００１５】
検索条件決定部２１０は、人物ＩＤに対応付けられた発話者特性に基づいて検索方法を設定する。検索条件決定部２１０は、検索方法として、検索を広げ、内容を拡張する論理和「ＯＲ」で文字情報を結合する方法、検索を狭め、内容を絞り込む論理積「ＡＮＤ」で文字情報を結合する方法、文字情報を除く否定「ＮＯＴ」で文字情報を結合する方法のいずれか、または、これらの組み合わせを設定する。
【００１６】
検索条件決定部２１０は、複数の文字情報を上記検索方法で結合した検索条件を決定する。検索条件決定部２１０は、検索条件を情報処理装置３００に出力する。取得部２１２は、情報処理装置３００が検出した画像を取得して、表示部２１４に当該画像等を表示させる。
【００１７】
情報処理装置３００は、画像検索部３０２と画像格納部３０４を有する。画像検索部３０２は、検索条件決定部２１０から出力された検索条件に適合する画像を、画像格納部３０４に保管された画像の中から抽出する。
【００１８】
図３は、発話者特性情報のデータベース２３０の一例を示す。データベース２３０は、人物情報格納部２０８に記録されている。発話者特性情報のデータベース２３０には、人物ＩＤと、名前と、特定回数Ｎと、声紋情報と、使用フラグとが記録されている。
【００１９】
人物ＩＤは、データベース２３０に名前を入力すると、画像検索装置２００により自動的に付与される記号である。特定回数Ｎは、人物ＩＤに対応した人物が、発話者特定部２０６に特定された累積回数を示している。特定回数Ｎは、当該人物により画像検索装置２００が使用された累積回数とみなすことができる。声紋情報は、各人物ＩＤに対応した人物の声紋情報である。声紋情報は、予め、音声入力部２０２を通じて取得され、データベース２３０に記録されている。
【００２０】
使用フラグには、現在、画像検索システム１０を使用している人物に対してフラグが立てられる。このフラグが「１」のとき、当該人物は画像検索システム１０を使用していることを示しており、このフラグが「０」のとき、当該人物は画像検索システム１０を使用していないことを示している。
【００２１】
図４は、画像格納部３０４に格納された画像データ３１０の一例を示す。図４において、画像データ３１０は、画像情報３１２と画像文字情報３１４とを有する。画像文字情報３１４は、画像情報３１２に関連する名詞に対応した文字列であり、例えば、画像情報３１２が「×××城」であるときは、その名前である「×××城」と、「×××城」が建っている場所の名称である「□□ランド」と、「×××城」に関連のある人物「○○○○」の名前と、および関連のある動物「△△△△」の名前に対応した文字列等が記録されている。
【００２２】
図５は、画像検索装置２００の画像表示処理の動作を説明するフローチャートである。図５に示す動作フローは、発話者１００等の音声が発せられたときに開始する。
【００２３】
音声入力部２０２は、発話者１００等による音声を取得するまで待機する（Ｓ１０１：Ｎｏ）。音声入力部２０２は、発話者１００等による音声を取得したとき、音声が入力されたと判断して（Ｓ１０１：Ｙｅｓ）、取得した音声を電気信号に変換する。そして、音声入力部２０２は、変換した電気信号を、発話者特定部２０６、および音声解析部２０４へ出力する。
【００２４】
発話者特定部２０６は、音声入力部２０２から取得した電気信号から声紋情報が生成できたか否かを判断する（Ｓ１０２）。発話者特定部２０６は、電気信号から声紋情報が生成できたとき（Ｓ１０２：Ｙｅｓ）、処理をステップＳ１０３へ進める。一方、発話者特定部２０６は、電気信号から声紋情報が生成できないとき（Ｓ１０２：Ｎｏ）、電気信号を消去して、処理をステップＳ１０１へ戻す。
【００２５】
発話者特定部２０６は、声紋情報に基づいて、発話者１００等の人物ＩＤを特定する（Ｓ１０３）。発話者特定部２０６は、声紋情報と、データベース２３０に記録された声紋情報とを比較して、一致するものが有るか否かを判断する。発話者特定部２０６は、一致する声紋情報がデータベース２３０内にあったとき、発話者１００等が特定できたと判断する。発話者特定部２０６は、発話者１００等が特定できたと判断した場合（Ｓ１０３：Ｙｅｓ）、処理をステップＳ１０４へ進める。ここで、ステップＳ１０３において、全ての発話者１００等が特定された場合に、発話者特定部２０６は、発話者１００等が特定できたと判断することが好ましい。一方、発話者特定部２０６は、特定されていない人物がいると判断した場合（Ｓ１０３：Ｎｏ）、処理をステップＳ１０１へ戻して、再び、音声を取得するのを待って、全ての発話者１００等を特定する。
【００２６】
全ての発話者１００等を特定することに代えて、特定されない発話者１００等がいる場合でも、発話者特定部２０６は、処理をステップＳ１０４へ進めてもよい。この場合、例えば、発話者特定部２０６は、予め設定された時間、または、予め設定された回数の上記処理を行った後であって、なお特定できない発話者１００等がいた場合に、少なくとも一人以上の発話者が特定できていれば、発話者特定部２０６は、発話者を特定できたと判断して（Ｓ１０３：Ｙｅｓ）、処理をステップＳ１０４へ進めてもよい。
【００２７】
発話者特定部２０６は、発話者特定処理として発話者１００等と特定した人物に対応する人物ＩＤに対応する使用フラグに、使用していることを示す「１」のフラグを立てる。また、発話者特定部２０６は、特定された発話者１００等の人物ＩＤに対応する特定回数Ｎの数を一つ増やして（Ｓ１０４）、処理をステップＳ１０５へ進める。
【００２８】
検索条件決定部２１０は、検索方法を設定する（Ｓ１０５）。検索方法の設定については、図６を用いて説明する。
【００２９】
ステップＳ１０５に続いて、音声解析部２０４は、音声入力部２０２から取得した電気信号から、文字情報が生成できたか否かを判断する（Ｓ１０６）。音声解析部２０４は、電気信号から文字情報が生成できたとき（Ｓ１０６：Ｙｅｓ）、生成した文字情報を検索条件決定部２１０へ出力して、処理をステップＳ１０７へ進める。一方、音声解析部２０４は、電気信号から文字情報が生成できなかったとき（Ｓ１０６：Ｎｏ）、電気信号を消去して、処理をステップＳ１０１へ戻す。
【００３０】
検索条件決定部２１０は、音声解析部２０４から取得した文字情報をステップＳ１０５で設定した検索方法で結合して、検索条件を決定する（Ｓ１０７）。なお、結合する文字情報の数は、任意に設定してよい。検索条件決定部２１０は、検索条件を決定すると、当該検索条件を、ネットワーク４００を通じて情報処理装置３００の画像検索部３０２に出力する。情報処理装置３００の画像検索部３０２は、画像格納部３０４に記録されている画像の中から、検索条件に適合する画像を検出する。画像検索部３０２は、検出した画像を取得部２１２へ出力する。
【００３１】
取得部２１２は、情報処理装置３００の画像検索部３０２より画像が取得できたか否かを判断する（Ｓ１０８）。取得部２１２は、画像検索部３０２から画像が取得できたとき（Ｓ１０８：Ｙｅｓ）、処理をステップＳ１０９へ進める。一方、取得部２１２は、画像検索部３０２から画像が取得できなかったとき（Ｓ１０８：Ｎｏ）、処理をステップＳ１０１に戻す。
【００３２】
取得部２１２は、取得した画像を表示部２１４に表示させる（Ｓ１０９）。発話者１００等は、表示部２１４により提示された画像を見ることができる。
【００３３】
ステップＳ１０９に続いて、音声入力部２０２は、画像検索装置２００の電源が落とされたか否かを判断する（Ｓ１１０）。音声入力部２０２は、画像検索装置２００の電源が落とされていないと判断したとき（Ｓ１１０：Ｎｏ）、処理をステップＳ１０１へ戻す。一方、音声入力部２０２は、画像検索装置２００の電源が落とされたと判断したとき（Ｓ１１０：Ｙｅｓ）、画像検索装置２００の画像表示処理の動作は終了する。
【００３４】
なお、ステップＳ１０８において、情報処理装置３００の画像検索部３０２より画像が取得できなかった場合、検索条件決定部２１０は、他の情報処理装置３０１の画像検索部３０３に検索条件を出力して、画像検索をさせてもよい。画像検索部３０３は、画像格納部３０５に記録されている画像の中から、検索条件に適合する画像を検出して、検出した画像を取得部２１２へ出力する。取得部２１２は、当該他の情報処理装置３０１から画像が取得できれば、画像を取得できたと判断する（Ｓ１０８：Ｙｅｓ）。
【００３５】
図６は、ステップＳ１０５における、検索方法設定処理の動作フローを説明するフローチャートである。本動作フローにおいて、まず、検索条件決定部２１０は、人物情報格納部２０８のデータベース２３０の使用フラグを参照して、画像検索装置２００を使用している人物の人物ＩＤを読み出す。検索条件決定部２１０は、読み出した人物ＩＤに対応した発話者１００等の特定回数Ｎを読み出す（Ｓ２０１）。
【００３６】
ステップＳ２０１に続いて、検索条件決定部２１０は、特定回数Ｎが閾値Ｔｈ１以上の発話者数Ａを算出する。また、検索条件決定部２１０は、特定回数Ｎが閾値Ｔｈ１未満の発話者数Ｂを算出する。特定回数が多いほど、当該システムに慣れているという相関が推測される。そこで特定回数に対して閾値Ｔｈ１を設定する。一例として閾値Ｔｈ１を「１０」として説明する。検索条件決定部２１０は、発話者数Ａが発話者数Ｂより多いか否かを判断する（Ｓ２０２）。検索条件決定部２１０は、ＡとＢとを比較して、ＡがＢより多いと判断したとき（Ｓ２０２：Ｙｅｓ）、検索方式を論理積「ＡＮＤ」に設定して（Ｓ２０３）、検索方法設定処理の動作フローは終了する。一方、検索条件決定部２１０は、発話者数Ａが発話者数Ｂより多いと判断しないとき（Ｓ２０２：Ｎｏ）、検索方式を論理和「ＯＲ」に設定して（Ｓ２０４）、検索方法設定処理の動作フローは終了する。
【００３７】
図３に示す例において、Ｕ００１の特定回数Ｎは「２０」、Ｕ００２の特定回数Ｎは「１５」、Ｕ００３の特定回数Ｎは「２」である。特定回数Ｎが閾値Ｔｈ１以上の発話者Ａは、Ｕ００１とＵ００２であるので、発話者数Ａは「２」となる。一方、特定回数Ｎが閾値Ｔｈ１未満の発話者Ｂは、Ｕ００３のみであるので、発話者数Ｂは「１」となる。したがって、Ａ＞Ｂであるので、検索条件決定部２１０は、検索方法を「ＡＮＤ」に設定する。検索条件決定部２１０は、当該検索方法を用いて検索条件を決定する。例えば、検索条件決定部２１０は、検索条件を「×××城」ＡＮＤ「□□ランド」ＡＮＤ「○○○○」ＡＮＤ「△△△△」に設定する。
【００３８】
なお、上記ステップＳ２０２においは、発話者数Ａが発話者数Ｂより多いか否かを判断する。すなわち、発話者数Ａと発話者数Ｂとの比が１より大きいか否かを判断している。これに代えて、発話者数Ａと発話者数Ｂとの比が１でない他の閾値より大きいか否かを判断してもよい。
【００３９】
図７は表示部２１４に表示された表示画面６００の一例を示す。表示画面６００の表示領域６０２は、発話者表示６０４と画像表示６０６とを有する。
【００４０】
発話者表示６０４には、現在使用している発話者１００等の人物ＩＤが表示される。なお、表示されるのは、名前であってもよい。画像表示６０６には、画像検索部３０２で検出された画像が表示される。なお、画像は、複数個表示されてもよい。
【００４１】
本実施形態において、発話者１００等の特定回数Ｎの値を用いて、特定回数Ｎが閾値Ｔｈ１以上の発話者数Ａが、特定回数Ｎが閾値Ｔｈ１未満である発話者数Ｂより多いとき、発話者１００等の多くは、画像検索装置２００に慣れていることが推測できる。慣れている発話者は、どのような会話をすれば、どのような画像が表示されるかを推測できる。このような場合、画像検索装置２００は、内容を絞り込む論理積「ＡＮＤ」を用いて画像を検索することによって、発話者に適切な画像を提供できる。
【００４２】
一方、特定回数Ｎが閾値Ｔｈ１を超える発話者数Ａが、特定回数Ｎが閾値Ｔｈ１未満である発話者数Ｂ以下のとき、発話者１００等の多くは、画像検索装置２００に慣れていないことが推測できる。慣れていない発話者は、どのような会話をすれば、どのような画像が表示されるかを推測できないので、会話は発散しがちになる。このような場合、画像検索装置２００は、内容を拡張する論理和「ＯＲ」を用いて画像を検索することによって、発話者に適切な画像を提供できる。
【００４３】
このように、画像検索装置２００は、画像検索装置２００の特定回数が閾値Ｔｈ１以上の人数と閾値Ｔｈ１未満の人数との比に基づいて、検索条件を決定することによって、使用者である発話者１００等に適切な画像を提供できる。なお、本実施形態において、情報処理装置３００と、画像検索装置２００とは別に設けたが、情報処理装置３００の機能を画像検索装置２００が有してもよい。
【００４４】
また、発話者１００等の特定回数Ｎに代えて、画像検索装置２００は、同時使用回数Ｍに基づいて検索条件を決定してもよい。同時使用回数Ｍは、発話者同士が、画像検索装置２００を同時に使用した回数である。
【００４５】
同時使用回数Ｍに基づいて検索条件を決定する動作フローについて図６を用いて説明する。当該動作フローは、図６における特定回数Ｎを同時使用回数Ｍに置き換えたフローに相当する。具体的には、同時使用回数Ｍが閾値Ｔｈ２（図６のＴｈ１に代えて、同時使用回数Ｍに対応した閾値Ｔｈ２を用いる）以上の発話者の組数をＡとして、同時使用回数Ｍが閾値Ｔｈ２未満である発話者の組数をＢとしたとき、ＡがＢより多いとき、発話者１００等は、顔見知りが多いことが推測できる。顔見知り同士の発話者は、会話に共通点が多く、このような場合、画像検索装置２００は、内容を絞り込む論理積「ＡＮＤ」を用いて画像を検索することによって、使用者に適切な画像を提供できる。
【００４６】
一方、同時使用回数Ｍが閾値Ｔｈ２以上の発話者の組数Ａが、同時使用回数Ｍが閾値Ｔｈ２未満である発話者の組数Ｂ以下のとき、発話者１００等は、顔見知りが少ないことが推測できる。このような場合、画像検索装置２００は、内容を拡張する論理和「ＯＲ」を用いて画像を検索することで、使用者に広い話題を提供することができる。
【００４７】
また、発話者１００等の特定回数Ｎに代えて、画像検索装置２００は、検索文字情報数Ｐに基づいて検索条件を決定してもよい。検索文字情報数Ｐは、画像検索装置２００において、発話者１００等として特定されているときに検索された文字情報数である。
【００４８】
検索文字情報数Ｐに基づいて検索条件を決定する動作フローについて図６を用いて説明する。当該動作フローは、図６における特定回数Ｎを検索文字情報数Ｐに置き換えたフローに相当する。具体的には、検索文字情報数Ｐが閾値Ｔｈ３（図６のＴｈ１に代えて、検索文字情報数Ｐに対応した閾値Ｔｈ３を用いる）以上の発話者の組数をＡとして、検索文字情報数Ｐが閾値Ｔｈ３未満である発話者の組数をＢとしたとき、ＡがＢより多いとき、発話者１００等の多くは画像検索装置２００を頻繁に利用して、たくさん画像を検索している。したがって、発話者１００等の多くは、画画像検索装置２００に慣れていることが推測できる。このような場合、画像検索装置２００は、内容を絞り込む論理積「ＡＮＤ」を用いて画像を検索することによって、使用者に適切な画像を提供できる。
【００４９】
一方、検索文字情報数Ｐが閾値Ｔｈ３を超える発話者数Ａが、検索文字情報数Ｐが閾値Ｔｈ３未満である発話者数Ｂ以下のとき、発話者１００等の多くは、画像検索装置２００に慣れていないことが推測できる。このような場合、画像検索装置２００は、内容を拡張する論理和「ＯＲ」を用いて画像を検索することで、使用者に適切な画像を提供できる。
【００５０】
また、発話者１００等の特定回数Ｎに代えて、画像検索装置２００は、音声入力時間Ｑに基づいて検索条件を決定してもよい。音声入力時間Ｑは、画像検索装置２００において、発話者１００等の音声が入力された蓄積時間である。
【００５１】
音声入力時間Ｑに基づいて検索条件を決定する動作フローについて図６を用いて説明する。当該動作フローは、図６における特定回数Ｎを音声入力時間Ｑに置き換えたフローに相当する。具体的には、音声入力時間Ｑが閾値Ｔｈ４（図６のＴｈ１に代えて、音声入力時間Ｑに対応した閾値Ｔｈ４を用いる）以上の発話者数をＡとして、音声入力時間Ｑが閾値Ｔｈ４未満である発話者数をＢとしたとき、ＡがＢより多いとき、発話者１００等の多くは画像検索装置２００においてたくさん発言している。したがって、発話者１００等の多くは、画像検索装置２００に慣れていることが推測できる。このような場合、画像検索装置２００は、内容を絞り込む論理積「ＡＮＤ」を用いて画像を検索することによって、発話者に適切な画像を提供できる。
【００５２】
一方、音声入力時間Ｑが閾値Ｔｈ４を超える発話数Ａが、音声入力時間Ｑが閾値Ｔｈ４未満である発話者数Ｂ以下のとき、発話者１００等の多くは、画像検索装置２００に慣れていないことが推測できる。このような場合、画像検索装置２００は、内容を拡張する論理和「ＯＲ」を用いて画像を検索することで、発話者に適切な画像を提供できる。
【００５３】
図８は、別の発話者特性情報のデータベース２４０を示す。データベース２４０において、感情情報以外は、データベース２３０と同様である。ここでは、感情情報について説明する。
【００５４】
感情情報は、画像検索装置２００において、発話者１００等の感情を示す。ここで、感情情報において、感情情報Ｘは怒っている状態を示しており、感情情報Ｙは通常の状態を示している。感情情報は、画像検索装置２００が起動されたときは、全て通常の状態を示感情情報Ｙに設定されている。発話者特定部２０６は、発話者１００等の怒っている状態を音声から検出して、発話者特定部２０６が感情情報を更新する。データベース２４０に示した例において、Ｕ００１は怒っており、Ｕ００２、およびＵ００３は通常の状態であることを示している。本実施形態において、発話者特定部２０６は、音声入力部２０２に入力された音声から発話者１００等の感情を推定する感情推定部としての役割を担う。画像検索装置２００は、発話者特定部２０６により推定された感情に基づいて検索条件を決定する。
【００５５】
図９はステップＳ１０５における、別の検索方法設定処理の動作フローを説明するフローチャートである。本動作フローにおいて、他の図と共通の要素には同じ参照番号を付して重複する説明を省く。図９の動作フローは、図３のデータベース２３０にかえて、図８のデータベース２４０を用いる。
【００５６】
検索条件決定部２１０は、使用している人物ＩＤに対応する感情情報を全て読み出す（Ｓ６０１）。本実施形態において、画像検索装置２００を使用しているのはＵ００１、Ｕ００２、およびＵ００３であるので、それぞれの感情情報Ｘ、感情情報Ｙ、および感情情報Ｙが読み出される。
【００５７】
ステップＳ６０１に続いて、検索条件決定部２１０は、感情情報がＸである発話者数Ｉが０であるか否かを判断する（Ｓ６０２）。検索条件決定部２１０は、発話者数Ｉが０であると判断したとき（Ｓ６０２：Ｙｅｓ）、処理をＳ２０１へ進めて、図６にて示した動作フローに従って検索方法が設定される。一方、検索条件決定部２１０は、発話者数Ｉが「０」でないと判断したとき（Ｓ６０２：Ｎｏ）、検索方法を否定「ＮＯＴ」に設定して（Ｓ６０３）、検索方法設定処理の動作フローは終了する。
【００５８】
図８に示した例において、読み出された感情情報にはＵ００１のＸがあるので、発話者数Ｉは１となる。したがって、発話者数Ｉ≠０であるので、検索条件決定部２１０は、検索方法を否定「ＮＯＴ」に設定する。
【００５９】
発話者１００等が１人でも怒っているときの会話由来の文字情報は、好ましいものではないことが多く、かえって感情を悪化させる。したがって、このような場合、画像検索装置２００は、否定「ＮＯＴ」を用いて画像を検索することによって、使用者に適切な情報を提示できる。このように検索条件決定部２１０は、発話者特定部２０６により推定された感情に基づいて検索条件を決定することによって、使用者である発話者１００等に適切な画像を提供できる。
【００６０】
図１０は、別の発話者特性情報のデータベース２５０を示す。データベース２５０において、関係情報以外は、データベース２３０と同様である。ここでは、関係情報について説明する。
【００６１】
関係情報は、登録された発話者１００等の関係を示す。関係情報は、画像検索装置２００の使用時に予め登録される。なお、発話者特定部２０６は、発話者１００等の関係を音声から検出して、発話者特定部２０６が関係情報を更新してもよい。データベース２５０において、Ｕ００１とＵ００３とは家族関係であることを示している。また、Ｕ００２と、Ｕ００３と、Ｕ００４とは同じ会社に属する会社関係であることを示している。
【００６２】
図１１はステップＳ１０５における、別の検索方法設定処理の動作フローを説明するフローチャートである。図１１に示した動作フローにおいて、他の図と共通の要素には同じ参照番号を付して重複する説明を省く。図１１の動作フローは、図３のデータベース２３０にかえて、図１０のデータベース２５０を用いる。
【００６３】
検索条件決定部２１０は、使用している人物ＩＤに対応する関係情報を全て読み出す（Ｓ７０１）。図１０に示した例において、画像検索装置２００を使用しているのはＵ００１、Ｕ００２、およびＵ００３であるので、それぞれの関係情報が読み出される。
【００６４】
ステップＳ７０１に続いて、検索条件決定部２１０は、発話者１００等の全てが家族関係であるか否かを判断する（Ｓ７０２）。検索条件決定部２１０は、発話者１００等の全てが家族関係であると判断したとき（Ｓ７０２：Ｙｅｓ）、検索方法を論理積「ＡＮＤ」に設定して（Ｓ２０４）、検索方法設定処理の動作フローは終了する。
【００６５】
一方、検索条件決定部２１０は、発話者１００等の全てが家族関係でないと判断したとき（Ｓ７０２：Ｎｏ）、発話者１００等の全て会社関係であるか否かを判断する（Ｓ７０３）。検索条件決定部２１０は、発話者１００等の全てが会社関係であると判断したとき（Ｓ７０３：Ｙｅｓ）、検索方法を論理積「ＡＮＤ」に設定するとともに、娯楽関係の文字情報を除く否定「ＮＯＴ」に設定して（Ｓ７０５）、検索方法設定処理の動作フローは終了する。このように、画像検索装置２００は、発話者特定部２０６により特定された発話者１００等の関係性に基づいて検索条件を決定する。一方、検索条件決定部２１０は、発話者１００等の全てが会社関係でないと判断したとき（Ｓ７０３：Ｎｏ）、図６にて示した動作フローに従って検索方法を設定する。
【００６６】
発話者１００等の関係情報を用いて、発話者１００等が家族、または同じ会社に勤めているとき、画像検索装置２００の使用回数に関わらず、発話者１００等は顔見知りであると推測できる。このような場合、画像検索装置２００は、内容を絞り込む論理積「ＡＮＤ」を用いて画像を検索することによって、使用者にとって適切な画像を提供できる。
【００６７】
また発話者１００等が会社同士であるとき、仕事で使用することが考えられるので、娯楽関係の文字情報を否定「ＮＯＴ」で除いている。このように、画像検索装置２００は、発話者特定部２０６により特定された関係性に基づいて検索条件を決定することによって、使用者である発話者１００等に適切な画像を提供できる。
【００６８】
図１２は、関係情報更新処理の動作を説明するフローチャートである。本動作フローは、ステップＳ１０６に続いて実施される。音声解析部２０４は、取得した電気信号から文字情報を生成する。音声解析部２０４は、生成した文字情報に発話者１００等の関係を示す文字情報があるか否かを判断する（Ｓ８０１）。
【００６９】
音声解析部２０４は、生成した文字情報に発話者１００等の関係を示す文字情報があると判断したとき（Ｓ８０１：Ｙｅｓ）、表示部２１４に関係情報と、関係情報の確認ボタンを表示させる（Ｓ８０２）。一方、音声解析部２０４は、発話者１００等の関係を示す文字情報がないと判断したとき（Ｓ８０１：Ｎｏ）、処理をステップＳ１０７へ進める。
【００７０】
ステップＳ８０２に続いて、音声解析部２０４は、発話者１００等による確認があるか否かを判断する（Ｓ８０３）。発話者１００等は、表示部２１４に表示された確認ボタンに対して、音声、または他の入力手段により確認したことを入力する。発話者１００等による入力があったとき（Ｓ８０３：Ｙｅｓ）、当該文字情報を発話者特定部２０６へ出力する。発話者特定部２０６は、データベース２５０を、表示部２１４に表示した関係情報に更新して（Ｓ８０４）、処理をステップＳ１０７へ進める。一方、予め定めた時間に発話者１００等からの確認がないとき、または、確認しない入力があったとき（Ｓ８０３：Ｎｏ）、処理をステップＳ１０７へ進める。
【００７１】
発話者１００等の関係情報を事後的に更新できれば、画像検索装置２００は、最新の関係情報に基づく画像の検索条件が決定できる。画像検索装置２００は、最新の発話者１００等の関係情報に基づいて検索条件を決定することによって、使用者である発話者１００等に適切な画像を提供できる。
【００７２】
図１３は、画像検索システム１１の一例を示す。図１３において、図１と共通の要素には同じ参照番号を付して重複する説明を省く。本実施形態における画像検索装置２０１は、二つの音声入力部２０２、２１６と、カメラ２１８とを有する。
【００７３】
画像検索システム１１の機能ブロック図は、図２に示した機能ブロック図に音声入力部２１６とカメラ２１８を追加したものと同一である。二つの音声入力部２０２、２１６は、発話者１００等の音声の入力を受け付ける。二つの音声入力部２０２、２１６は、受け付けた音声をそれぞれ電気信号に変換して、発話者特定部２０６、および音声解析部２０４に出力する。
【００７４】
カメラ２１８は、発話者１００等と、二つの音声入力部２０２、２１６とを撮影することによって、発話者１００等のいる位置、および二つの音声入力部２０２、２１６の相対位置を特定する。発話者特定部２０６は、音声入力部２０２からの電気信号と、音声入力部２１６からの電気信号の信号強度の差と、相対位置とに基づいて当該音声を発した発話者とを特定する。発話者特定部２０６は、特定した発話者の人物ＩＤを音声解析部２０４に出力する。
【００７５】
音声解析部２０４は、取得した電気信号から、文字情報を生成する。さらに、音声解析部２０４は、発話者特定部２０６から取得した人物ＩＤを、当該文字情報に追加する。音声解析部２０４は、発話者１００等の人物ＩＤを追加した文字情報を、検索条件決定部２１０に出力する。
【００７６】
検索条件決定部２１０は、取得した文字情報に基づいて検索条件を決定する。本実施形態において、文字情報には、当該文字情報の元となる音声を発した発話者１００等の人物ＩＤが追加されている。画像検索装置２０１は、個別の発話者１００等の人物ＩＤに対応付けられた発話者特性に基づいて、検索条件を決定することができる。
【００７７】
画像検索装置２０１の発話者特定情報のデータベース２６０は、図３に示したデータベース２３０の声紋情報を、顔画像に置き換えたデータベースと同一である。顔画像は、発話者１００等の人物ＩＤに対応つけて、予めカメラ２１８を通じて取得され、データベース２６０に記録される。
【００７８】
図１４は、画像検索装置２０１の別の画像表示処理の動作を説明するフローチャートである。図１４に示した動作フローにおいて、他の図と共通の要素には同じ参照番号を付して重複する説明を省く。図１４に示す動作フローは、カメラ２１８の電源がオンとなったときに開始する。
【００７９】
カメラ２１８は、発話者１００等の顔画像を撮影により取得するまで待機する（Ｓ９０１：Ｎｏ）。カメラ２１８は、発話者１００等の顔画像を撮影により取得したとき（Ｓ９０１：Ｙｅｓ）、カメラ２１８は、取得した顔画像を発話者特定部２０６へ出力して処理をステップＳ９０２へ進める。
【００８０】
発話者特定部２０６は、取得した顔画像に基づいて、発話者１００等の人物ＩＤを特定する（Ｓ９０２）。発話者特定部２０６は、取得した顔画像とデータベース２６０に記録された顔画像と比較して、取得した顔画像と一致する顔画像が有るか否かを判断する。発話者特定部２０６は、顔画像と一致する顔画像がデータベース２６０内にあったとき、発話者１００等が特定できたと判断して（Ｓ９０２：Ｙｅｓ）、処理をステップＳ９０３へ進める。一方、発話者特定部２０６は、取得した顔画像と一致する顔画像がデータベース２６０内になかったとき、発話者１００等が特定できないと判断して（Ｓ９０２：Ｎｏ）、処理をステップＳ９０１へ戻す。
【００８１】
また、カメラ２１８は、二つの音声入力部２０２、２１６と、発話者１００等を撮影して、位置情報を取得する。発話者特定部２０６は、カメラ２１８によって発話者１００等の位置情報、および、二つの音声入力部２０２、２１６の位置情報を取得できたか否かを判断する（Ｓ９０３）。発話者特定部２０６は、発話者１００等と、二つの音声入力部２０２、２１６の位置情報が取得できたと判断した場合（Ｓ９０３：Ｙｅｓ）、処理をステップＳ９０４へ進める。一方、発話者特定部２０６は、発話者１００等と、二つの音声入力部２０２、２１６の位置情報が取得できないと判断した場合は（Ｓ９０３：Ｎｏ）、処理をステップＳ９０１へ戻す。
【００８２】
発話者特定部２０６は、発話者特定処理として発話者１００等と特定した人物に対応する人物ＩＤに対応する使用フラグに、使用していることを示す「１」のフラグを立てる。また、発話者特定部２０６は、カメラの撮影によって、発話者１００等の位置情報と、二つの音声入力部２０２、２１６の位置情報とを取得する。また、発話者特定部２０６は、特定された発話者１００等の人物ＩＤに対応する特定回数Ｎの数を一つ増やして（Ｓ９０４）、処理をステップＳ９０５へ進める。
【００８３】
検索条件決定部２１０は、検索方法を設定する（ステップＳ９０５）。検索方法の設定については、図１５を用いて説明する。ステップＳ９０５に続いて、ステップＳ９０６において、音声解析部２０４は、音声入力部２０２から取得した電気信号から、文字情報と、当該文字情報に付加される二つの音声入力部２０２、２１６に対応付けた強度差に関する情報が生成できたか否かを判断する（Ｓ９０６）。音声解析部２０４は、当該情報が生成できたと判断した場合（Ｓ９０６：Ｙｅｓ）、処理をステップＳ９０７へ進める。一方、音声解析部２０４は、文字情報、または、強度差に関する情報のいずれか一方が生成できないと判断した場合（Ｓ９０６；Ｎｏ）、次の音声が入力されるのを待つ。
【００８４】
ステップＳ９０７において、発話者特定部２０６は、二つの音声入力部２０２と、２１６から取得した音声の信号強度の差から、発話者と音声入力部２０２、２１６に対する相対位置を特定する。発話者特定部２０６は、当該相対位置に対して、所定の範囲内にいる発話者を当該音声の発話者として特定する。発話者特定部２０６は、特定した発話者の人物ＩＤを音声解析部２０４へ出力する。
【００８５】
音声解析部２０４は、取得した電気信号から、文字情報を生成する。さらに、音声解析部２０４は、発話者特定部２０６から取得した人物ＩＤを、当該文字情報に追加する。音声解析部２０４は、当該人物ＩＤを追加した文字情報を取得したと判断した場合（Ｓ９０７：Ｙｅｓ）、音声解析部２０４は、処理をステップ９０８へと進める。音声解析部２０４は、当該ＩＤを追加した文字情報を取得していないと判断した場合（Ｓ９０７：Ｎｏ）、処理をステップＳ９０６に戻して、音声が入力されるのを待つ。
【００８６】
ステップＳ９０８において、音声解析部２０４は、発話者の人物ＩＤを追加した文字情報を、検索条件決定部２１０に出力する。検索条件決定部２１０は、音声解析部２０４から取得した文字情報を、ステップＳ９０５にて定められた検索方法で結合して、発話者それぞれについて検索条件を決定する。検索条件決定部２１０は、当該検索条件を画像検索部３０２に出力する。画像検索部３０２は、発話者それぞれに定められた検索条件に従い、画像を検索する。画像検索部３０２は、検索した画像を取得部２１２へ出力する。
【００８７】
取得部２１２は、画像検索部３０２より画像が取得できたか否かを判断する（Ｓ９０９）。取得部２１２は、画像検索部３０２から画像が取得できたとき（Ｓ９０９：Ｙｅｓ）、処理をステップＳ９１０へ進める。一方、取得部２１２は、画像が１つも取得できなかった場合に、画像が取得できないと判断して（Ｓ９０９：Ｎｏ）、処理をステップ９０６に戻して、音声が入力されるのを待つ。
【００８８】
取得部２１２は、取得した画像を表示部２１４に表示させる（Ｓ９１０）。発話者１００等は、表示部２１４により表示された画像を見ることができる。ステップＳ９１０以降のステップついては、図５説明した処理と同じなので、説明は省略する。
【００８９】
ステップＳ９０７において、発話者特定部２０６は、カメラ２１８の撮影する動画から音声を発した発話者１００等を特定してもよい。カメラ２１８は、発話者１００等の動画を撮影する。発話者特定部２０６は、撮影された動画における発話者の口部をパターン認識して、口部が動いた者を発話者と特定して、特定した人物ＩＤを音声解析部２０４へ出力してもよい。
【００９０】
図１５は、ステップＳ１０５における、検索方法設定処理の動作フローを説明するフローチャートである。図１５の動作フローは、データベース２６０を用いる。本動作フローにおいて、まず、検索条件決定部２１０は、使用している人物ＩＤに対応する発話者１００等の特定回数Ｎを読み出す（Ｓ２０１）。
【００９１】
ステップＳ２０１に続いて、検索条件決定部２１０は、特定回数Ｎが閾値Ｔｈ１以上の発話者１００等の検索方法を論理積「ＡＮＤ」に設定する。また、検索条件決定部２１０は、特定回数Ｎが閾値Ｔｈ１未満の発話者１００等の検索方法を論理和「ＯＲ」に設定して（Ｓ１００１）、検索方法設定処理の動作フローは終了する。なお、図１５に示した処理において、閾値Ｔｈ１は「１０」である。
【００９２】
図３に示した例において、Ｕ００１の特定回数Ｎは「２０」、Ｕ００２の特定回数Ｎは「１５」、Ｕ００３の特定回数Ｎは「２」である。特定回数Ｎが閾値Ｔｈ１以上の発話者は、Ｕ００１とＵ００２であるので、検索条件決定部２１０は、Ｕ００１、Ｕ００２の検索方法を論理積「ＡＮＤ」に設定する。一方、特定回数Ｎが閾値Ｔｈ１未満の発話者は、Ｕ００３のみであるので、検索条件決定部２１０は、Ｕ００３の検索方法を論理和「ＯＲ」に設定する。
【００９３】
図１５に示した処理において、検索条件決定部２１０は、Ｕ００１、Ｕ００２が発した音声に基づいた文字情報と、Ｕ００３が発した音声に基づいた文字情報とを分けて検索条件を決定する。検索条件決定部２１０は、Ｕ００１、Ｕ００２が発した音声に基づく文字情報を論理積「ＡＮＤ」で結合して検索条件を決定して、画像を検索する。一方、検索条件決定部２１０は、Ｕ００３が発した音声に基づく文字情報を論理和「ＯＲ」で結合して検索条件を決定して、画像を検索する。そして、取得部２１２は、それぞれの検索条件から取得した画像を表示部２１４に提示する。
【００９４】
図１６は、本実施形態における表示画面６１０の一例を示す。表示画面６１０は、二つの表示領域６１２と表示領域６１４を有する。表示領域６１２は、発話者表示６１６と画像表示６２０から構成される。発話者表示６１６には、発話者としてＵ００１、およびＵ００２が表示されている。また、発話者表示６１６には、Ｕ００１、およびＵ００２の音声に基づく文字情報を論理積「ＡＮＤ」で結合した検索条件で検索された画像が二つ表示されている。
【００９５】
表示領域６１４は、表示領域６１２と同様に発話者表示６１８と画像表示６２２を有する。発話者表示には、発話者としてＵ００３が表示されている。また、画像表示６２２には、Ｕ００３の音声に基づく文字情報を論理和「ＯＲ」で結合した検索条件で検索された画像が四つ表示されている。
【００９６】
このように、音声と発話者１００等との対応をとることによって、画像検索装置２０１は、慣れている発話者１００、および１０２の文字情報と、画像検索装置２０１に慣れていない発話者１０４の文字情報とを識別して、それぞれの文字情報を適切な検索方法で結合した検索条件で、画像が検索できる。画像検索装置２０１は、発話者１００等ごとに検索条件を決定することによって、使用者である発話者１００等に適切な画像を提供できる。また、画像検索装置２０１は、画像検索装置２０１に慣れている発話者１００および１０２よりも、画像検索装置２０１に慣れていない発話者１０４に多く画像を提示する。これにより、画像検索装置２０１は、慣れていない発話者１０４の会話を促して、発話者１００等の会話を活発化できる。
【００９７】
また、音声と発話者１００等との対応をとることによって、検索条件決定部２１０は、複数の発話者１００等のうち、特定回数Ｎの大きい発話者に重み付けをして、検索条件を決定してもよい。重み付けの一例として、検索条件決定部２１０は、文字情報を検索条件に設定する際、特定回数Ｎの大きい発話者１００等の文字情報は、文字情報として一回出現すれば検索条件に設定するが、特定回数Ｎの小さい発話者１００等の文字情報は、二回以上出現しなければ、検索条件に設定しないとしてもよい。
【００９８】
特定回数Ｎの小さな発話者１００等の会話は発散しがちとなるので、同じ文字情報が二回出現することを条件とすれば、検索条件決定部２１０は、適切な検索条件が決定できる。そして、当該検索条件で画像を検索することによって、画像検索装置２０１は、使用者である発話者１００等に適切な画像を提供できる。
【００９９】
また、重み付けの別例として、画像検索部３０２は、特定回数Ｎの大きい発話者の文字情報は、図４に示した画像文字情報３１４の文字列と二つ以上合致しなければ画像を検出しないとしてもよい。二つ以上画像文字情報３１４の文字列に文字情報を含む画像は、当該文字情報との関連性が高い。このように、特定回数Ｎの大きい発話者の文字情報に重み付けをして、特定回数Ｎの大きい発話者の文字情報との関連性の高い画像を検索させてもよい。画像検索装置２０１は、特定回数Ｎの大きい発話者１００等に重み付けをして、検索条件を決定することで、発話者１００等に適切な画像を提供できる。
【０１００】
また、重み付けの別例として、コンテンツとして文章を検索する場合においては、特定回数Ｎの大きい発話者の文字情報は、文章に二つ以上、当該文字情報を含まなければ、検出されないとしてもよい。二つ以上当該文字情報を含む文章は、当該文字情報との関連性が高く、特定回数Ｎの大きい発話者の文字情報に重み付けをして、特定回数Ｎの大きい発話者の文字情報との関連性の高い文章を検索させてもよい。画像検索装置２０１は、特定回数Ｎの大きい使用者に重み付けをして、当該発話者１００等に適切な文章を提供できる。
【０１０１】
さらに、検索条件決定部２１０は音声入力部に入力された発話者１００等の音声に含まれる時間当たりの単語の数が予め定められた閾値より多い場合に、単語から生成される文字情報に重み付けして検索条件を決定してもよい。音声に含まれる時間当たりの単語の数が多い場合、発話者１００等の会話は、活発に行われていることが推測できる。活発な会話に含まれる文字情報は、発話者１００等の関心が高い文字情報が多く含まれると推測できる。画像検索装置２０１は、当該文字情報に重み付けをして検索条件を決定することによって、発話者１００等に適切な画像を提供できる。
【０１０２】
図１７は、画像検索システム１２の一例を示す。図１７において、図１と共通の要素には同じ参照番号を付して重複する説明を省く。本実施形態における画像検索システム１２は、二つの画像検索装置５００、および画像検索装置５０１を有する。本実施形態において、二つの画像検索装置５００、および画像検索装置５０１は、離れた場所にいる発話者１００、および発話者１０４（以後、発話者１０４等という）によって使用される。
【０１０３】
図１８は、画像検索システム１２の機能ブロック図を示す。図１８において、図２と共通の要素には同じ参照番号を付して重複する説明を省く。画像検索装置５００は、操作部５１６を有する。操作部５１６は、画像検索装置５００に表示された画像を画像検索装置５０１に表示させるときに使用する。なお、画像検索装置５０１の各要素は、説明の都合上、参照番号を変えているが、画像検索装置５００と同様なので説明を省略する。
【０１０４】
検索条件決定部２１０は、人物情報格納部２０８から発話者１００の特定回数Ｎを読み出して、画像検索装置５０１の検索条件決定部５１０に出力する。一方、検索条件決定部５１０は、人物情報格納部５０８から発話者１０４の特定回数Ｎを読み出して、画像検索装置５００の検索条件決定部２１０に出力する。検索条件決定部２１０、および検索条件決定部５１０は、発話者１０４等の特定回数Ｎから図６に示した検索方法設定処理に従って、検索方法を設定する。
【０１０５】
発話者１０４等の音声は、異なる複数の画像検索装置５００、および画像検索装置５０１の音声入力部２０２、および音声入力部５０２から入力される。音声入力部２０２、および音声入力部５０２は、入力された音声を受け付けて、音声解析部２０４、および音声解析部５０４に出力する。音声解析部２０４、および音声解析部５０４は、取得した音声から文字情報を生成する。音声解析部２０４、および音声解析部５０４は、それぞれの検索条件決定部２１０、および検索条件決定部５１０へ文字情報を出力する。検索条件決定部２１０は、音声解析部２０４から取得した文字情報を検索条件決定部５１０へ出力する。また、検索条件決定部５１０は、音声解析部５０４から取得した文字情報を検索条件決定部２１０へ出力する。これにより、検索条件決定部２１０および検索条件決定部５１０は、発話者１０４等の特定回数Ｎと、発話者１０４等の音声から生成された文字情報を取得する。
【０１０６】
検索条件決定部２１０および検索条件決定部５１０は、取得した特定回数Ｎと文字情報により検索条件を決定する。検索条件決定部２１０および検索条件決定部５１０は、決定した検索条件を情報処理装置３００へ出力する。情報処理装置３００は、検索条件に基づいて画像を検索して、検出した画像を取得部２１２および取得部５１２へ出力する。取得部２１２および取得部５１２は、取得した画像を表示部２１４および表示部５１４に表示させる。
【０１０７】
図１８に示した例において、図６に示した検索方法決定処理に従って検索方法を決定すると、発話者１００の特定回数Ｎは「２０」であり、発話者１０４の特定回数Ｎは「２」であり、閾値Ｔｈ１は「１０」である。特定回数Ｎが閾値Ｔｈ１以上の発話者数Ａは、発話者１００なので発話者数Ａは「１」となる。一方、特定回数Ｎが閾値Ｔｈ１未満の発話者数Ｂは、発話者１０４なので発話者数Ｂは「１」となる。したがって、Ａ＞Ｂではないので、検索条件決定部２１０は、検索方法を論理和「ＯＲ」に設定する。
【０１０８】
画像検索システム１２におけるデータベース２７０は、図３に示したデータベース２３０に装置ＩＤ情報を追加している。装置ＩＤは、画像検索装置５００、および５０１ごとに割り振られる。装置ＩＤは、端末の識別情報の一例である。図１８に示した例において、画像検索装置５００の装置ＩＤはＳ００１であり、画像検索装置５０１の装置ＩＤはＳ００２である。本実施形態においてＳ００１には、人物ＩＤがＵ００１である発話者１００が、Ｓ００２には、人物ＩＤがＵ００３である発話者１０４しか登録されていない。したがって、画像検索装置５００、および画像検索装置５０１の発話者１０４等の人物ＩＤは、装置ＩＤに基づいて、発話者特定部２０６、および発話者特定部５０６により特定される。
【０１０９】
画像検索装置５００の表示部２１４、および画像検索装置５０１の表示部５１４に表示される表示画面は、図７に示した表示画面であって、発話者表示６０４に、Ｕ００１、およびＵ００３が表示された表示画面が表示される。図１８に示した例において、画像検索装置５００と画像検索装置５０１とで検索条件は同じなので、複数の端末である画像検索装置５００、および画像検索装置５０１は、同一の検索条件により検索した同一の画像をそれぞれ提示する。
【０１１０】
一方、画像検索装置５００と画像検索装置５０１とで異なる検索条件を決定してもよい。本実施形態において、図６に示した検索方法設定処理に従って検索方法を設定したが、図１５に示した検索方法設定処理に従って検索方法を設定してもよい。図１５に示した検索方法設定処理に従うと、発話者１００の検索方法は論理積「ＡＮＤ」に設定され、発話者１０４の検索方式は論理和「ＯＲ」に設定される。発話者１００の検索条件と発話者１０４の検索条件は異なるので、画像検索装置５００と画像検索装置５０１は、画像表示６３６、および画像表示６４６に異なる画像を表示する。
【０１１１】
画像表示６３６と画像表示６４６に表示される画像が異なるとき、発話者１００および１０４は、操作部５１６および操作部５１８を用いて、お互いの画像を相手の表示画面に表示させることができる。操作部の一例は、マウス、キーボード、およびタッチパネルである。操作部５１６および操作部５１８に入力された送信信号は、取得部２１２および取得部５１２へ出力される。取得部２１２および取得部５１２は、表示部２１４および表示部５１４に表示している画像を、他方の取得部５１２および取得部２１２に出力する。取得部５１２および取得部２１２は、当該画像を取得すると、表示画面６３０および表示画面６４０に並べて表示させる。
【０１１２】
図１９（ａ）は、表示部２１４に表示される表示画面６３０を示している。図１９（ｂ）は、表示部５１４に表示される表示画面６４０を示している。図１９（ａ）において、表示画面６３０は、二つの表示領域６３２と表示領域６５２とを有する。表示領域６３２は、発話者表示６３４と画像表示６３６とを有しており、表示領域６５２は、表示領域６３２と同様に、発話者表示６５４と画像表示６５６とを有する。
【０１１３】
発話者表示６３４には、画像検索装置５００を使用している発話者１００の人物ＩＤが表示される。画像表示６３６には、画像検索装置５００で決定された検索条件で検索された画像が表示される。一方、発話者表示６５４には、画像検索装置５０１を使用している発話者１０４の人物ＩＤが表示される。また、画像表示６５６には、画像検索装置５０１で決定された検索条件で検索された４つの画像が表示される。
【０１１４】
表示領域６３２は、表示領域６５２に比べて大きく表示している。画像検索装置５００は、発話者１００に画像検索装置５００で決定した検索条件によって検索した画像を大きく提示して、画像検索装置５０１で決定した検索条件によって検索した画像を小さく異なった態様で提示している。
【０１１５】
図１９（ｂ）において、表示画面６４０は、表示画面６３０と同様に二つの表示領域６４２と表示領域６６２を有する。表示領域６４２は、発話者表示６４４と画像表示６４６とを有しており、表示領域６６２は、表示領域６４２と同様に、発話者表示６６４と画像表示６６６とを有する。
【０１１６】
発話者表示６４４には、画像検索装置５０１を使用している発話者１０４の人物ＩＤが表示される。画像表示６４６には、画像検索装置５０１で決定された検索条件で検索された４つの画像が表示される。一方、発話者表示６６４には、画像検索装置５００を使用している発話者１００の人物ＩＤが表示される。また、画像表示６６６には、画像検索装置５００で決定された検索条件で検索された画像が表示される。画像検索装置５０１は、発話者１０４に画像検索装置５０１で決定した検索条件によって検索した画像を大きく提示して、画像検索装置５００で決定した検索条件によって検索した画像を小さく異なった態様で提示している。
【０１１７】
このように、異なる複数の端末から音声の入力があった場合に、画像検索装置５００および画像検索装置５０１のそれぞれは、音声と発話者１０４等との対応をとり、画像検索装置に慣れている発話者１００に対しては１つの大きな画像を、画像検索装置に慣れていない発話者１０４に対しては、４つの小さな画像を表示させる。即ち、画像検索装置５００、および画像検索装置５０１は、画像検索装置に慣れている発話者１００の文字情報と、画像検索装置に慣れていない発話者１０４の文字情報とを識別して検索条件を設定して取得した画像を発話者ごとに異なる態様で表示する。それにより、使用者である発話者１０４等に適切な画像を提供できる。さらに、画像検索装置５００および画像検索装置５０１は、それぞれに提供された画像をお互いに共有することによって、当該画像を元に発話者１０４等の会話を活発にさせることができる。
【０１１８】
なお、本実施形態において、画像検索装置５００の表示領域６５２には、小さく表示した画像検索装置５０１の表示領域６４２に示した画像を表示したが、表示領域６５２に表示させるのは、画像検索装置５０１の表示領域に示した画像に関する情報でもよい。なお、画像に関する情報の一例は、当該画像のリンク情報である。発話者１０４等は、当該画像のリンク情報を用いて、当該画像を見ることができる。
【０１１９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。また、上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。更に、変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることは、特許請求の範囲の記載から明らかである。
【０１２０】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１２１】
１０、１１、１２  画像検索システム、１００、１０２、１０４  発話者、２００、２０１、５００、５０１  画像検索装置、２０２、２１６、５０２  音声入力部、２０４、５０４  音声解析部、２０６、５０６  発話者特定部、２０８、５０８  人物情報格納部、２１０、５１０  検索条件決定部、２１２、５１２  取得部、２１４、５１４  表示部、２１８  カメラ、２３０、２４０、２５０、２６０、２７０  データベース、３００、３０１  情報処理装置、３０２、３０３  画像検索部、３０４、３０５  画像格納部、３１０  画像データ、３１２  画像情報、３１４  画像文字情報、４００  ネットワーク、５１６、５１８  操作部、６００、６１０、６３０、６４０  表示画面、６０２、６１２、６１４、６３２、６４２、６５２、６６２  表示領域、６０４、６１６、６１８、６３４、６４４、６５４、６６４  発話者表示、６０６、６２０、６２２、６３６、６４６、６５６、６６６  画像表示
【図１】
2014149571.tif 000003
【図２】
2014149571.tif 000004
【図３】
2014149571.tif 000005
【図４】
2014149571.tif 000006
【図５】
2014149571.tif 000007
【図６】
2014149571.tif 000008
【図７】
2014149571.tif 000009
【図８】
2014149571.tif 000010
【図９】
2014149571.tif 000011
【図１０】
2014149571.tif 000012
【図１１】
2014149571.tif 000013
【図１２】
2014149571.tif 000014
【図１３】
2014149571.tif 000015
【図１４】
2014149571.tif 000016
【図１５】
2014149571.tif 000017
【図１６】
2014149571.tif 000018
【図１７】
2014149571.tif 000019
【図１８】
2014149571.tif 000020
【図１９】
2014149571.tif 000021