(57)【特許請求の範囲】
【請求項１】
色情報と言語情報とが対応付けられている色言語テーブルを記憶する記憶手段と、
入力される画像を取得する画像入力手段と、
前記画像から１以上の所定の領域を判定する領域判定手段と、
前記領域から前記色情報を抽出する色情報抽出手段と、
前記色情報抽出手段によって抽出される前記色情報に基づいて前記色言語テーブルを照合し、前記言語情報を取得する照合手段と、
前記言語情報に基づいて発話内容を決定する発話内容決定手段と、
を備え、
前記記憶手段は、更に、前記領域及び前記言語情報と、ユーザに推薦する推薦情報とが対応付けられている推薦テーブルを記憶し、
前記発話内容決定手段は、更に、前記推薦テーブルに基づいて前記推薦情報を決定する
ことを特徴とする情報提示装置。
【請求項２】
前記色情報抽出手段は、前記領域それぞれに対して減色処理を行い、前記領域を代表する１又は複数の前記色情報を抽出する
ことを特徴とする請求項１に記載の情報提示装置。
【請求項３】
前記言語情報は、印象を表現する印象語である
ことを特徴とする請求項１または請求項２に記載の情報提示装置。
【請求項４】
前記記憶手段は、言語情報に関連する関連語を前記言語情報に対応付けて記憶し、
前記言語情報に関連する関連語を前記記憶手段から取得する関連語取得手段、
を更に備えることを特徴とする請求項１から請求項３のいずれかに記載の情報提示装置。
【請求項５】
前記関連語取得手段は、ネットワークを介してＷｅｂ上から関連語を取得することを特徴とする請求項４に記載の情報提示装置。
【請求項６】
前記記憶手段は、更に、前記言語情報と、前記発話内容とが対応付けられている対話ルールを記憶し、
前記発話内容決定手段は、前記対話ルールに基づいて前記発話内容を決定する
ことを特徴とする請求項１に記載の情報提示装置。
【請求項７】
色情報と言語情報とが対応付けられている色言語テーブルを記憶するコンピュータによる情報提示方法であって、
入力される画像を取得する画像入力ステップと、
前記画像から所定の領域を判定する領域判定ステップと、
前記領域から前記色情報を抽出する色情報抽出ステップと、
前記色情報抽出ステップによって抽出される前記色情報に基づいて前記色言語テーブルを照合し、前記言語情報を取得する照合ステップと、
前記言語情報に基づいて発話内容を決定する発話内容決定ステップと、
を備え、
前記コンピュータは、前記領域及び前記言語情報と、ユーザに推薦する推薦情報とが対応付けられている推薦テーブルを記憶し、
前記発話内容決定ステップは、更に、前記推薦テーブルに基づいて前記推薦情報を決定する
ことを特徴とする情報提示方法。
【請求項８】
コンピュータを、請求項１に記載の情報提示装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザ（人間）と対話を行う情報提示装置等に関するものである。
【背景技術】
【０００２】
近年、ロボットやコンピュータが、人間であるユーザと対話を行うための研究や開発が進められている。例えば、特許文献１には、ユーザから音声入力を受信し、音声入力の音声態様に基づいてユーザの応答処理に対する反応を評価し、評価結果に基づいて応答内容を変更する情報提示装置が開示されている。特許文献１のように、従来の情報提示装置では、人間の発話内容や表情の変化等を考慮して発話する内容を決める。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１３８１４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、人間同士（特に、初対面の人同士）が会話する際、相手から受ける印象（特に、第１印象）を基に、会話の導入部分の話題を決めることが多い。しかしながら、特許文献１を含む従来の情報提示装置では、ユーザ（特に、初対面のユーザ）との対話の導入時において、人間同士のような自然な対話が実現できていない。
【０００５】
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、ユーザとの対話の導入時において、人間同士のような自然な対話が可能な情報提示装置等を提供することである。
【課題を解決するための手段】
【０００６】
前述した目的を達成するための第１の発明は、色情報と言語情報とが対応付けられている色言語テーブルを記憶する記憶手段と、入力される画像を取得する画像入力手段と、前記画像から１以上の所定の領域を判定する領域判定手段と、前記領域から前記色情報を抽出する色情報抽出手段と、前記色情報抽出手段によって抽出される前記色情報に基づいて前記色言語テーブルを照合し、前記言語情報を取得する照合手段と、前記言語情報に基づいて発話内容を決定する発話内容決定手段と、を備え、前記記憶手段は、更に、前記領域及び前記言語情報と、ユーザに推薦する推薦情報とが対応付けられている推薦テーブルを記憶し、前記発話内容決定手段は、更に、前記推薦テーブルに基づいて前記推薦情報を決定することを特徴とする情報提示装置である。第１の発明によって、ユーザとの対話の導入時において、人間同士のような自然な対話が可能となる。また、色情報から得られるユーザの印象に基づく対話が可能となる。また、ユーザの印象に基づく的確な推薦情報を提示することができる。
【０００８】
また、第１の発明における前記色情報抽出手段は、前記領域それぞれに対して減色処理を行い、前記領域を代表する１又は複数の前記色情報を抽出するようにしても良い。これによって、色情報を的確に抽出することができる。
【０００９】
また、第１の発明における前記言語情報は、印象を表現する印象語であるようにしても良い。これによって、ユーザの印象を表現する的確な言語を得ることができる。
【００１０】
また、第１の発明は、前記記憶手段は、言語情報に関連する関連語を前記言語情報に対応付けて記憶し、前記言語情報に関連する関連語を前記記憶手段から取得する関連語取得手段、を更に備えるようにしても良い。これによって、ユーザの印象を表現する言語を幅広く得ることができる。またこのとき、前記関連語取得手段は、ネットワークを介してＷｅｂ上から関連語を取得するようにしても良い。
【００１１】
また、第１の発明における前記記憶手段は、更に、前記言語情報と、前記発話内容とが対応付けられている対話ルールを記憶し、前記発話内容決定手段は、前記対話ルールに基づいて前記発話内容を決定するようにしても良い。これによって、ユーザの印象に基づく的確な対話を行うことができる。
【００１３】
第２の発明は、色情報と言語情報とが対応付けられている色言語テーブルを記憶するコンピュータによる情報提示方法であって、入力される画像を取得する画像入力ステップと、前記画像から所定の領域を判定する領域判定ステップと、前記領域から前記色情報を抽出する色情報抽出ステップと、前記色情報抽出ステップによって抽出される前記色情報に基づいて前記色言語テーブルを照合し、前記言語情報を取得する照合ステップと、前記言語情報に基づいて発話内容を決定する発話内容決定ステップと、を備え、前記コンピュータは、前記領域及び前記言語情報と、ユーザに推薦する推薦情報とが対応付けられている推薦テーブルを記憶し、前記発話内容決定ステップは、更に、前記推薦テーブルに基づいて前記推薦情報を決定することを特徴とする情報提示方法である。これによって、第２の発明によって、ユーザとの対話の導入時において、人間同士のような自然な対話が可能となる。また、色情報から得られるユーザの印象に基づく対話が可能となる。また、ユーザの印象に基づく的確な推薦情報を提示することができる。
【００１４】
第３の発明は、コンピュータを、請求項１に記載の情報提示装置として機能させることを特徴とするプログラムである。第３の発明のプログラムを汎用のコンピュータにインストールすることによって、第１の発明の情報提示装置を得ることができる。
【発明の効果】
【００１５】
本発明により、ユーザとの対話の導入時において、人間同士のような自然な対話が可能な情報提示装置等を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の情報提示装置の一実施形態の構成を示すブロック図
【図２】本発明の情報提示装置の他の実施形態の構成を示すブロック図
【図３】領域判定部１２の構成を示すブロック図
【図４】顔検出部１２ａによる顔検出処理の説明図
【図５】顔器官検出部１２ｂによる顔器官検出処理の説明図
【図６】服領域特定部１２ｃによる服領域特定処理の説明図
【図７】色情報抽出部１３による色情報抽出処理の説明図
【図８】色言語テーブル１４を形成するためのカラーイメージスケールの具体例を示す図
【図９】３色の組合せ色と言語を対応付けたカラーイメージスケールの例を示す図
【図１０】３色の組合せ色と言語を対応付けたカラーイメージスケールの他の例を示す図
【図１１】色言語テーブル１４の具体例を示す図
【図１２】単色テーブル１００の具体例を示す図
【図１３】対話ルール１１０の具体例を示す図
【図１４】推薦テーブル１２０の具体例を示す図
【図１５】情報提示装置１０の動作を示すフローチャート
【発明を実施するための形態】
【００１７】
以下図面に基づいて、本発明の実施形態を詳細に説明する。図１は、本発明の情報提示装置の一実施形態の構成を示すブロック図である。情報提示装置１０は、人間であるユーザと対話を行う装置であって、ロボットやコンピュータ等である。
【００１８】
情報提示装置１０は、ユーザの顔を含む画像を入力する画像入力部１１と、画像から顔器官の各領域を判定する領域判定部１２と、領域から色情報を抽出する色情報抽出部１３と、色情報と言語情報とが対応付けられている色言語テーブル１４を記憶する記憶部１５と、色情報抽出部１３によって抽出される色情報に基づいて色言語テーブル１４を照合し、言語情報を取得する照合部１６と、を備える。
【００１９】
また、情報提示装置１０は、言語情報に基づいて発話内容を決定する発話内容決定部１７と、発話内容決定部１７によって決定される発話内容を出力する出力部１８と、を備えるようにしても良い。また、情報提示装置１０は、ユーザの音声を入力するマイクロフォンを備えるようにしても良い。
【００２０】
画像入力部１１は、カメラ、スキャナー、記憶メディアドライブ、通信制御装置等から構成され、対象のユーザを撮影したり、対象のユーザが印刷されている印刷物を読み取ったり、対象のユーザの画像が記憶されている記憶メディアを読み取ったり、他のコンピュータから送信される対象のユーザの画像を受信したりする。入力される画像は、情報提示装置１０のＲＡＭ（Random Access Memory）に一時的に保存される。
【００２１】
領域判定部１２、色情報抽出部１３、照合部１６及び発話内容決定部１７は、ＣＰＵ（Central
Processing Unit）及び、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等によって構成される。ＣＰＵは、記憶部１５、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バスを介して接続された各装置を駆動制御し、情報提示装置１０が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、情報提示装置１０のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、ＣＰＵが各種処理を行う為に使用するワークエリアを備える。
【００２２】
記憶部１５は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等であり、ＣＰＵが実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をＣＰＵに実行させるためのアプリケーションプログラムが格納されている。各プログラムコードは、ＣＰＵにより必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００２３】
出力部１８は、スピーカ、ディスプレイ装置、プリンタ、通信制御装置等から構成され、発話内容を示す音声を出力したり、発話内容を示す文字を表示したり、発話内容を示す文字を印刷したり、発話内容を示すデータを他のコンピュータに送信したりする。
【００２４】
図２は、本発明の情報提示装置の他の実施形態の構成を示すブロック図である。図２に示す情報提示装置２０は、ユーザが使用する端末装置３０と、端末装置３０とネットワークを介して接続されるサーバ４０とによって構成される。
【００２５】
端末装置３０は、スマートフォン、タブレット等の携帯端末やＰＣ（Personal
Computer）等であり、ユーザの顔を含む画像を入力する画像入力部３１と、画像などのデータをサーバ４０に送信する送信部３９ａと、を備える。
【００２６】
また、端末装置３０は、発話内容を示すデータなどをサーバ４０から受信する受信部３９ｂと、発話内容を出力する出力部３２と、を備えるようにしても良い。また、端末装置３０は、ユーザの音声を入力するマイクロフォンを備えるようにしても良い。
【００２７】
サーバ４０は、端末装置３０からデータを受信する受信部４９ｂと、画像から顔器官の各領域を判定する領域判定部４２と、領域から色情報を抽出する色情報抽出部４３と、色情報と言語情報とが対応付けられている色言語テーブル４４を記憶する記憶部４５と、色情報抽出部４３によって抽出される色情報に基づいて色言語テーブル４４を照合し、言語情報を取得する照合部４６と、を備える。
【００２８】
また、情報提示装置１０は、言語情報に基づいて発話内容を決定する発話内容決定部４７と、発話内容決定部４７によって決定される発話内容を端末装置３０に送信する送信部４９ａと、を備えるようにしても良い。
【００２９】
画像入力部３１、出力部３２、領域判定部４２、色情報抽出部４３、色言語テーブル４４、記憶部４５、照合部４６、発話内容決定部４７は、それぞれ、図１に示す画像入力部１１、出力部１８、領域判定部１２、色情報抽出部１３、色言語テーブル１４、記憶部１５、照合部１６、発話内容決定部１７と同様の構成であって、同様の機能を有する。
【００３０】
送信部３９ａは、通信回線２１ａを介し、サーバ４０にデータを送信する。受信部３９ｂは、通信回線２１ｂを介し、サーバ４０からデータを受信する。送信部４９ａは、通信回線２１ｂを介し、端末装置３０にデータを送信する。受信部４９ｂは、通信回線２１ａを介し、端末装置３０からデータを受信する。
【００３１】
以下では、図１に示す情報提示装置１０の構成及び動作の詳細について説明する。尚、図２に示す情報提示装置２０も、データの送受信を除き、同様の構成及び動作を行うため、情報提示装置２０については説明を省略する。
【００３２】
図３は、領域判定部１２の構成を示すブロック図である。図３に示すように、領域判定部１２は、画像からユーザの顔を検出する顔検出部１２ａと、顔検出部１２ａによって検出される顔の領域から顔器官（目、口、鼻、顎等）を検出する顔器官検出部１２ｂと、画像からユーザの服の領域を特定する服領域特定部１２ｃと、によって構成される。
【００３３】
図４は、顔検出部１２ａによる顔検出処理の説明図である。図中、５０が画像、５１が顔領域である。顔検出部１２ａは、例えば、Ｖｉｏｌａ−Ｊｏｎｅｓ法の顔検出アルゴリズムによって、画像５０から顔領域５１とする矩形領域を検出する。Ｖｉｏｌａ−Ｊｏｎｅｓ法では、顔検出を行いたい対象の画像に対して、探索窓(例えば８ピクセル×８ピクセルのような判定領域)を左上から走査して順番に動かしていく。顔検出部１２ａは、この探索窓の領域ごとに、予めＨａａｒ−Ｌｉｋｅ特徴量を用いた機械学習（ＡｄａＢｏｏｓｔ）によって構築される識別器を用いて、顔画像か否かを判定する。尚、顔検出アルゴリズムは、Ｖｉｏｌａ−Ｊｏｎｅｓ法に限定されるものではなく、この分野における通常の技術を用いることが可能である。
【００３４】
図５は、顔器官検出部１２ｂによる顔器官検出処理の説明図である。図中、５１が顔領域、５２が目領域、５３が口領域である。顔器官検出部１２ｂは、眉毛、目、鼻、口、顎などの各顔器官の特徴点の位置（ｘ、ｙ）を特定する。各顔器官の特徴点の位置を特定するアルゴリズムは、この分野における通常の技術を用いることが可能である。そして、顔器官検出部１２ｂは、特徴点の位置（ｘ、ｙ）に基づいて、各顔器官の領域を特定する。例えば、顔器官検出部１２ｂは、目の特徴点を全て含む矩形領域を目領域５２として特定する。同様に、顔器官検出部１２ｂは、口の特徴点を全て含む矩形領域を口領域５３として特定する。尚、顔器官検出部１２ｂは、目領域５２及び口領域５３の特定だけでなく、鼻領域、髪領域、頬領域などを特定しても良い。
【００３５】
図６は、服領域特定部１２ｃによる服領域特定処理の説明図である。図中、５０が画像、５１が顔領域、５４が服領域である。服領域特定部１２ｃは、顔検出部１２ａによって検出される顔領域５１の矩形領域の大きさ及び位置（ｘ、ｙ）に基づいて、服領域５４を特定する。例えば、服領域特定部１２ｃは、顔領域５１の矩形領域の下端を服領域５４の上端とし、画像５０の下端を服領域５４の下端とする。また、例えば、服領域特定部１２ｃは、顔領域５１の矩形領域の横幅に対して所定の倍率を掛けた値を服領域５４の横幅とし、顔領域５１の中心位置を基準として服領域５４の左端及び右端を決定する。或いは、服領域特定部１２ｃは、左右方向における背景と服との境界を服領域５４の左端及び右端とする。尚、服領域５４を特定するためのアルゴリズムは、これに限定されるものではなく、この分野における通常の技術を用いることが可能である。また、服領域特定部１２ｃは、上着の特定だけでなく、帽子、眼鏡、ズボン、鞄などを特定しても良い。
【００３６】
図７は、色情報抽出部１３による色情報抽出処理の説明図である。図中、５２が目領域、５３が口領域、５４が服領域、５５、５６、５７が色情報、５５ａ、５５ｂ、５５ｃ、５６ａ、５６ｂ、５６ｃ、５７ａ、５７ｂ、５７ｃが色情報を構成する色（単色）である。色情報抽出部１３は、目領域５２、口領域５３及び服領域５４それぞれに対して減色処理を行い、各領域を代表する１又は複数の色情報５５〜５７を抽出する。図７に示す例では、色情報抽出部１３は、色情報５５〜５７として、３色を抽出している。尚、色情報抽出部１３による一の色（単色）又は複数の色（単色）の特定は、減色処理される各領域から一の色（単色）又は複数の色（単色）を抽出（例えば５色に減色処理される各領域から１色又は３色を抽出）することにより行っても良い。
【００３７】
色情報抽出部１３による減色処理は、例えば、ｋ−ｍｅａｎｓ法により行う。具体的には、画像をｋ色に減色（各領域を代表するｋ色を抽出）する場合、各領域からランダムにｋ個の代表色を選定し、各画素について一番近い代表色を選んで全画素をｋ個のグループに分割し、分割した各グループの各画素の平均色を新たな代表色として再度全画素をｋ個のグループに分割し、この代表色によるグループへの分割、分割したグループの平均色を代表色に置き換えることを繰り返すことにより、ｋ色に減色する。
【００３８】
図８は、色言語テーブル１４を形成するためのカラーイメージスケールの具体例を示す図である。図中、６０はカラーイメージスケール、６１〜６３はカラーイメージスケール６０上に配置した単色である。
【００３９】
カラーイメージスケール６０は、イメージの判断基準であるウォーム（ＷＡＲＭ）−クール（ＣＯＯＬ）、ソフト（ＳＯＦＴ）−ハード（ＨＡＲＤ）の座標軸上に、そのイメージに対応する単一の色（１色の単色）と言語を配置したものである。例えば、カラーイメージスケール６０の左上（第２象限）には、単色６１、６２、６３他が配置され、単色６１に対応する言語が「甘い」、単色６２に対応する言語が「プリティな」、単色６３に対応する言語が「おめでたい」となっている。カラーイメージスケール６０において、１色の単色に対応付けられた言語には、「甘い」、「かわいい」等の形容詞が多く含まれている。これは、形容詞は、色が与える印象を表現する言語として最も適しているからである。
【００４０】
また、カラーイメージスケール６０に配置される単色は、色相を基準として、明度と彩度、あるいは明度と彩度の一方を異ならせた色とするのが望ましい。すなわち、色相を、例えば、赤、黄赤、黄、黄緑、緑、青緑、青、紫青、紫、赤紫、無彩色に分けて、各色相の明度と彩度の両方あるいはその一方を異ならせた色から、カラーイメージスケール６０の単色を構成するのが望ましい。これは、色が与える印象は、その色がもつ色相、明度、再度により異なるからである。なお、図８に示すカラーイメージスケール６０の単色と言語は、代表的なものだけを示したもので、実際にはさらに細かく単色と言語が配置される。
【００４１】
図９、図１０は、３色の組合せ色と言語を対応付けたカラーイメージスケールの例を示す図である。図中、８０、９０はカラーイメージスケール、８１、９１はカラーイメージスケール８０、９０上に配置させた３色の組合せ色（配色）である。
【００４２】
図９に示すカラーイメージスケール８０は、大衆的−高揚感、オーソドックス−個性的の座標軸に、そのイメージに対応する３色の組合せ色（配色）と言語を配置したものである。例えば、カラーイメージスケール８０の左上（第２象限）には、組合せ色８１他が配置され、組合せ色８１に対応する言語が「落ち着きがある」となっており、組合せ色８１は、単色８１ａ、単色８１ｂ及び単色８１ｃを組み合わせたものとなっている。このカラーイメージスケール８０は、例えば、自動車の色と言語に適用される。
【００４３】
図１０に示すカラーイメージスケール９０は、フォーマル−カジュアル、静−動の座標軸に、そのイメージに対応する３色の組合せ色（配色）と言語を配置したものである。例えば、カラーイメージスケール９０の左上（第２象限）には、組合せ色９１他が配置され、組合せ色９１に対応する言語が「エレガント」となっており、組合せ色９１は、単色９１ａ、単色９１ｂ及び単色９１ｃを組み合わせたものとなっている。このカラーイメージスケール９０は、例えば、ファッション（洋服）の色と言語に適用される。
【００４４】
図１１は、色言語テーブル１４の具体例を示す図である。図１１に示すように、色言語テーブル１４においては、組合せ色ＩＤ１４ａ、単色ＩＤ１４ｂ、言語１４ｃ及び関連語１４ｄが対応付けられている。
【００４５】
組合せ色ＩＤ１４ａは、３色の組合せ色と言語を対応付けたカラーイメージスケール（図９、図１０参照）に配置される組合せ色を識別するためのＩＤである。単色ＩＤ１４ｂは、単色である配色１、配色２及び配色３の各単色ＩＤから構成される。例えば、組合せ色ＩＤ１４ａが「Ａ００１００」のデータは、配色１の単色ＩＤ１４ｂが「ｃ３２５５」、配色２の単色ＩＤ１４ｂが「ｃ４５２９」、配色３の単色ＩＤ１４ｂが「ｃ５０４３」であり、組合せ色に対応する言語１４ｃは「あどけない」である。
【００４６】
関連語１４ｄは、言語１４ｃに関連する言語であり、例えば言語「あどけない」の関連語としては「あどけなさ」が挙げられる。なお、色言語テーブル１４が単色と言語を対応付けたカラーイメージスケール（図８参照）から形成される場合、カラーイメージスケールに配置された単色と言語がそのまま対応付けられた色言語テーブル１４が形成される。なお、関連語は、あらかじめ記憶手段に対応付けて記憶することもできるが、たとえばインターネット上のＷｅｂページをクローリングすることで取得することも可能である。
【００４７】
図１２は、単色テーブル１００の具体例を示す図である。単色テーブル１００は、単色ＩＤ１４ｂで特定される配色１〜３がどのような単色からなるかを表している。図中、１００は単色テーブル、１００ａは単色ＩＤ、１００ｂは色値である。
【００４８】
単色ＩＤは、組合せ色１４ａで特定される配色１〜３を形成する単色を識別するためのＩＤである。また、色値１００ｂは、単色ＩＤで特定される単色を、色空間における座標値で表したものであり、図１２の単色テーブル１００においては、ＸＹＺ表色系（ｘｙＹ表色系）のＣＥＩｘｙ色度図におけるｘ、ｙの値となっている。
【００４９】
例えば、図１１に示す組合せ色ＩＤ１４ａが「Ａ００１００」の組合せ色を構成する３つの単色ＩＤ１４ｂは、各々「ｃ３２５５」、「ｃ４５２９」、「ｃ５０４３」であり、その色値（ｘ、ｙ）は、各々（０．３２１９、０．５５２３）、（０．４５０１、０．２９５６）、（０．５０２７、０．４３１５）となる。なお、色値７０ｂを表す色空間は、図１２のＸＹＺ表色系（ｘｙＹ表色系）に限定されるものではなく、ＲＧＢ表色系、Ｌ＊ｕ＊ｖ＊表色系、Ｌ＊ａ＊ｂ＊表色系等の各種表色系が適宜使用される。
【００５０】
照合部１６は、色情報抽出部１３によって抽出される一の色（単色）又は複数の色（組合せ色）と、記憶部１５に記憶される色言語テーブル１４の一の色（単色）又は組合せ色の単色同士を対比し、その色値の差（色空間上の距離）が一定の閾値以下となるもの（組合せ色の場合は全ての単色の色値の差が一定の閾値以下となるもの）が存在する色言語テーブル１４の一の色（単色）又は組合せ色を特定する。
【００５１】
例えば、色情報抽出部１３によって抽出される組合せ色が図７に示す単色５５ａ、単色５５ｂ及び単色５５ｃから構成される色情報５５であり、色言語テーブル１４において、組合せ色ＩＤがＮの組合せ色（組合せ色Ｎ）を構成する配色１の単色ＩＤがＮＡ（単色ＮＡ）、配色２の単色ＩＤがＮＢ（単色ＮＢ）、配色３の単色ＩＤがＮＣ（単色ＮＣ）であるとする。この場合、色情報５５の単色と組合せ色Ｎの単色を対比すると、対比する単色の組合せは以下の６通りである。
（１）単色５５ａ−単色ＮＡ、単色５５ｂ−単色ＮＢ，単色５５ｃ−単色ＮＣ
（２）単色５５ａ−単色ＮＡ、単色５５ｂ−単色ＮＣ，単色５５ｃ−単色ＮＢ
（３）単色５５ａ−単色ＮＢ、単色５５ｂ−単色ＮＡ，単色５５ｃ−単色ＮＣ
（４）単色５５ａ−単色ＮＢ、単色５５ｂ−単色ＮＣ，単色５５ｃ−単色ＮＡ
（５）単色５５ａ−単色ＮＣ、単色５５ｂ−単色ＮＡ，単色５５ｃ−単色ＮＢ
（６）単色５５ａ−単色ＮＣ、単色５５ｂ−単色ＮＢ，単色５５ｃ−単色ＮＡ
【００５２】
そして、（１）〜（６）の組合せにおいて、対比する単色の色値の差が全て一定の閾値以下となるものが存在すれば、その組合せ色Ｎは、色情報５５と同一または近似する組合せ色であるとする。ここで、単色Ａの色値（ｘＡ、ｙＡ）とし、単色Ｂの色値（ｘＢ、ｙＢ）とすると、単色Ａと単色Ｂの色値の差△Ｃは、以下のようになる。
△Ｃ＝（ｘＡ−ｘＢ）２＋（ｙＡ−ｙＢ）２
このようにして、照合部１６は、色言語テーブル１４の組合せ色の中から、色情報抽出部１３によって抽出される組合せ色と同一又は近似する組合せ色を特定する。
【００５３】
この後、照合部１６は、色情報５５と同一または近似する組合せ色として特定される組合せ色に対応付けられている言語（言語情報）及びその関連語を取得する。例えば、色情報５５と同一又は近似する組合せ色として特定されるものが、カラーイメージスケール８０（図９参照）の組合せ色８１とすると、照合部１６は、組合せ色８１に対応付けられる言語「落ち着きがある」及びその関連語「落ち着き」を取得する。
【００５４】
尚、条件を満たす組合せ色が色言語テーブル１４に複数存在する場合、照合部１６は、複数の言語情報を取得するようにしても良い。また、色言語テーブル１４において、一の色（単色）と言語が対応付けられている場合、照合部１６は、色情報抽出部１３によって抽出される一の色（単色）と色言語テーブル１４の一の色（単色）を対比し、その色値の差が一定の閾値以下となる色言語テーブル１４の一の色（単色）を特定し、その特定される一の色（単色）に対応付けられている色情報を取得する。また、照合部１６は、色言語テーブル１４から関連語を取得するだけでなく、記憶部１５や他のコンピュータに記憶される辞書データベース等から関連語を取得するようにしても良い。
【００５５】
発話内容決定部１７は、記憶部１５に記憶される各種文章のテンプレートから、照合部１６によって取得される言語情報や関連語に基づいて発話内容を決定する。具体的には、発話内容決定部１７は、記憶部１５に記憶される対話ルール１１０（図１３参照）や推薦テーブル１２０（図１４参照）に基づいて発話内容を決定する。
【００５６】
図１３は、対話ルール１１０の具体例を示す図である。図中、１１０は対話ルール、１１１は領域、１１２は言語情報、１１３は発話内容である。対話ルール１１０は、領域１１１及び言語情報１１２ごとに、発話内容１１３が対応付けられて記憶されている。例えば、Ｎｏ１のデータは、領域１１１が「服」、言語情報１１２が「ハイセンス」に対して、発話内容１１３として「すごくおしゃれな服ですね！」が対応付けられている。
【００５７】
また、対話ルール１１０の発話内容１１３には、「すごく○○な服ですね！」（〇〇は文字列が挿入可能な個所を示す。）等の文字列が挿入可能な文章のみを記憶しておき、発話内容決定部１７が、その文章に言語情報を挿入して発話内容を決定しても良い。例えば、言語情報が「エレガント」の場合、発話内容決定部１７は「すごく〇〇な服ですね！」に言語情報を挿入し、「すごくエレガントな服ですね！」を発話内容としても良い。
【００５８】
図１４は、推薦テーブル１２０の具体例を示す図である。図中、１２０は推薦テーブル、１２１は領域、１２２は言語情報、１２３は発話内容、１２４は推薦情報である。推薦テーブル１２０は、領域１２１及び言語情報１２２ごとに、発話内容１２３と推薦情報１２４が対応付けられて記憶されている。例えば、Ｎｏ１のデータは、領域１２１が「口」、言語情報１２２が「シック」に対して、発話内容１２３として「落ち着いた色がお好きでしたら、こんな口紅はいかがですか？」、推薦情報１２４として「口紅Ａ」が対応付けられている。推薦情報１２４は、文字列だけでなく、画像、動画、ウェブページなどが対応付けられていても良い。例えば、「口紅Ａ」の文字列だけでなく、その口紅の商品画像、ＣＭ動画、商品紹介ウェブページなどが対応付けられていても良い。
【００５９】
図１５は、情報提示装置１０の動作を示すフローチャートである。図１５に示すように、画像入力部１１は、ユーザの顔を含む画像を入力する（ステップＳ１）。具体的には、画像入力部１１は、例えばカメラであり、カメラによって撮影されるユーザの顔を含む画像を入力する。
【００６０】
次に、領域判定部１２は、ステップＳ１によって入力される画像から顔器官の各領域を判定する（ステップＳ２）。具体的には、顔検出部１２ａが画像からユーザの顔を検出し、顔器官検出部１２ｂが顔検出部１２ａによって検出される顔の領域から顔器官（目、口、鼻、顎等）を検出し、服領域特定部１２ｃが画像からユーザの服の領域を特定する。
【００６１】
次に、色情報抽出部１３は、ステップＳ２によって特定される領域ごとに色情報を抽出する（ステップＳ３）。具体的には、色情報抽出部１３は、目領域、口領域などの顔器官領域と服領域のそれぞれに対して減色処理を行い、各領域を代表する１又は複数の色情報を抽出する。
【００６２】
次に、照合部１６は、ステップＳ３によって抽出される色情報に基づいて色言語テーブル１４を照合し、言語情報やその関連語を取得する（ステップＳ４）。具体的には、照合部１６は、ステップＳ３によって抽出される一の色（単色）又は複数の色（組合せ色）と、色言語テーブル１４の一の色（単色）又は組合せ色の単色同士を対比し、その色値の差が一定の閾値以下となるもの（組合せ色の場合は全ての単色の色値の差が一定の閾値以下となるもの）が存在する色言語テーブル１４の一の色（単色）又は組合せ色を特定する。そして、照合部１６は、組合せ色と同一または近似する組合せ色として特定される組合せ色に対応付けられている言語情報を色言語テーブル１４から取得する。
【００６３】
次に、発話内容決定部１７は、ステップＳ４によって取得される言語情報に基づいて発話内容を決定する（ステップＳ５）。具体的には、発話内容決定部１７は、記憶部１５に記憶される対話ルール１１０（図１３参照）や推薦テーブル１２０（図１４参照）に基づいて発話内容や推薦情報を決定する。対話ルール１１０や推薦テーブル１２０の検索結果が複数存在する場合、発話内容決定部１７は、ランダムに選択するか、或いは予め定められる優先順位に従って選択する。優先順位としては、例えば、領域による順位付けが考えられる。例えば、目は人間同士においても強い印象を与えることから、目領域の色情報に対応付けられている言語情報を最も高い優先順位にすることが考えられる。また、情報提示装置１０によって推薦したい情報が特定の領域に関連している場合、例えば、推薦したい情報が口紅の場合、口領域の色情報に対応付けられている言語情報を最も高い順位にすることが考えられる。
【００６４】
次に、出力部１８は、ステップＳ５によって決定される発話内容や推薦情報を出力する（ステップＳ６）。具体的には、出力部１８は、スピーカから発話内容を示す音を出力するとともに、ディスプレイ装置に発話内容を示す文字や推薦情報を表示する。情報提示装置１０が、ユーザの音声を入力するマイクロフォンを備えている場合、ユーザの音声を入力し、ユーザの音声も考慮して、ステップＳ１から処理を繰り返す（対話を続ける）ようにしても良い。
【００６５】
以上の説明によれば、本発明に係る情報提示装置１０（２０）は、ユーザとの対話の導入時において、人間同士のような自然な対話が可能となる。特に、情報提示装置１０（２０）は、顔器官や服ごとに色情報を抽出し、その色情報に対応付けられる言語情報に基づいて発話内容を決定する。従って、初対面のユーザに対して、初対面の人間同士と同じように、相手から受ける第１印象に基づいて会話を始めることが可能となる。
【００６６】
以上、添付図面を参照しながら、本発明に係る情報提示装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６７】
１０、２０………情報提示装置
１１、３１………画像入力部
１２、４２………領域判定部
１２ａ………顔検出部
１２ｂ………顔器官検出部
１２ｃ………服領域特定部
１３、４３………色情報抽出部
１４、４４………色言語テーブル
１４ａ………組合せ色ＩＤ
１４ｂ………配色１〜３の単色ＩＤ
１４ｃ………言語（言語情報）
１４ｄ………関連語
１５、４５………記憶部
１６、４６………照合部
１７、４７………発話内容決定部
１８、３２………出力部
２１ａ、２１ｂ………通信回線
３９ａ、４９ａ………送信部
３９ｂ、４９ｂ………受信部
３０………端末装置
４０………サーバ
５０………画像
５１………顔領域
５２………目領域
５３………口領域
５４………服領域
５５、５６、５７、８１、９１………組合せ色
５５ａ、５５ｂ、５５ｃ、５６ａ、５６ｂ、５６ｃ、５７ａ、５７ｂ、５７ｃ、６１、６２、６３、８１ａ、８１ｂ、８１ｃ、９１ａ、９１ｂ、９１ｃ………単色
６０、８０、９０………カラーイメージスケール
１００………単色テーブル
１００ａ………単色ＩＤ
１００ｂ………色値
１１０………対話ルール
１１１………領域
１１２………言語情報
１１３………発話内容
１２０………推薦テーブル
１２１………領域
１２２………言語情報
１２３………発話内容
１２４………推薦情報
【図１】
0006657827.tif 000002
【図２】
0006657827.tif 000003
【図３】
0006657827.tif 000004
【図４】
0006657827.tif 000005
【図５】
0006657827.tif 000006
【図６】
0006657827.tif 000007
【図７】
0006657827.tif 000008
【図８】
0006657827.tif 000009
【図９】
0006657827.tif 000010
【図１０】
0006657827.tif 000011
【図１１】
0006657827.tif 000012
【図１２】
0006657827.tif 000013
【図１３】
0006657827.tif 000014
【図１４】
0006657827.tif 000015
【図１５】
0006657827.tif 000016