(57)【要約】【課題】利用者に対し、適切な広告を提示することのできる広告提示システムを提供する。【解決手段】広告提示システムＳは、携帯情報端末１のカメラ１０で撮影された利用者の歯及び舌を含む画像を認識する画像認識部２０と、その画像に基づき、歯の健康の状態を認識する第１状態認識部２１と、舌の状態を認識し、その状態に基づいて利用者の体調及び体質の状態を認識する第２状態認識部２４と、利用者の体調及び体質の状態に基づいて広告を取得する広告取得部２５と、携帯情報端末１のタッチパネル１１に、広告とともに歯の健康の状態を提示する情報提示部２６とを備える。【選択図】図２
2020008911.tif 000002
【特許請求の範囲】
【請求項１】
画像認識部が、利用者の身体の画像から前記利用者の身体の第１領域の画像である第１画像、及び、前記利用者の身体の第２領域の画像である第２画像を認識する画像認識工程と、
第１状態認識部が、前記第１画像に基づいて、前記利用者の前記第１領域に関する状態である第１状態を認識する第１状態認識工程と、
第２状態認識部が、前記第２画像に基づいて、前記第２領域に関する状態を認識し、該第２領域に関する状態に基づいて、前記利用者の体質及び体調の少なくとも一方に関する状態である第２状態を認識する第２状態認識工程と、
広告取得部が、前記第２状態に対応して定められた広告を取得する広告取得工程と、
情報提示部が、前記利用者に、前記広告を提示した後に、又は、前記広告を提示すると同時に、前記第１状態を提示する情報提示工程とを備えていることを特徴とする広告提示方法。
【請求項２】
請求項１に記載の広告提示方法において、
質問提示部が、前記第２画像に基づいて、前記第２領域に関する状態を認識し、該第２領域に関する状態に基づいて、質問を提示する質問提示工程と、
回答認識部が、前記質問に対する回答を認識する回答認識工程とを備え、
前記第２状態認識工程で、第２状態認識部が、前記第２画像に基づいて、前記第２領域に関する状態を認識し、該第２領域に関する状態、及び、前記回答に基づいて、前記利用者の体質及び体調の少なくとも一方に関する状態である第２状態を認識することを特徴とする広告提示方法。
【請求項３】
請求項１又は請求項２に記載の広告提示方法において、
前記第１領域は、前記利用者の歯及び歯茎であり、
前記第２領域は、前記利用者の口唇、口唇の周囲の肌及び舌の少なくとも１つを含む領域であり、
前記広告は、前記第２状態に関連する漢方薬についての広告であることを特徴とする広告提示方法。
【請求項４】
利用者の身体の画像から前記利用者の身体の第１領域の画像である第１画像、及び、前記利用者の身体の第２領域の画像である第２画像を認識する画像認識部と、
前記第１画像に基づいて、前記利用者の前記第１領域に関する状態である第１状態を認識する第１状態認識部と、
前記第２画像に基づいて、前記第２領域に関する状態を認識し、該第２領域に関する状態に基づいて、前記利用者の体質及び体調の少なくとも一方に関する状態である第２状態を認識する第２状態認識部と、
前記第２状態に対応して定められた広告を取得する広告取得部と、
前記利用者に、前記広告を提示した後に、又は、前記広告を提示すると同時に、前記第１状態を提示する情報提示部とを備えていることを特徴とする広告提示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取得した利用者の画像に基づいて、その利用者に適した広告を提示するための広告提示方法、及び、広告提示システムに関する。
【背景技術】
【０００２】
従来、利用者の口腔の内部を撮影して画像を取得し、その取得した画像に基づいて利用者の口腔の内部の状態を診断し、その診断結果を利用者に通知する診断システムが知られている。この種の診断システムとしては、診断結果に応じて、又は、利用者からの要望に応じて、その利用者に対し、最寄りの病院の情報、治療のための処置及び器具の情報等の広告を提示するものが知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２０５３３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載のような従来の診断システムは、利用者の口腔の内部の状態を診断するものであるので、提示される広告も口腔に関するもののみとなっていた。そのため、提示される広告の内容が制限され、システムの提供者にとっては、多種の事業者から広告を募ることが難しいという問題があった。
【０００５】
一方、仮に提示される広告の内容を制限しなかった場合には、利用者に対して全く関係のない広告が提示されてしまうおそれがある。その結果、その広告を提示することで、その診断システムを使用する利用者に対し、ストレス、違和感を与えてしまうおそれがあった。
【０００６】
本発明は以上の点に鑑みてなされたものであり、利用者に対し、適切な広告を提示することのできる広告提示方法、及び、広告提示システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の広告提示方法は、
画像認識部が、利用者の身体の画像から前記利用者の身体の第１領域の画像である第１画像、及び、前記利用者の身体の第２領域の画像である第２画像を認識する画像認識工程と、
第１状態認識部が、前記第１画像に基づいて、前記利用者の前記第１領域に関する状態である第１状態を認識する第１状態認識工程と、
第２状態認識部が、前記第２画像に基づいて、前記第２領域に関する状態を認識し、該第２領域に関する状態に基づいて、前記利用者の体質及び体調の少なくとも一方に関する状態である第２状態を認識する第２状態認識工程と、
広告取得部が、前記第２状態に対応して定められた広告を取得する広告取得工程と、
情報提示部が、前記利用者に、前記広告を提示した後に、又は、前記広告を提示すると同時に、前記第１状態を提示する情報提示工程とを備えていることを特徴とする。
【０００８】
ここで、「広告」は、画像又は動画による広告の他、音声による広告等、利用者に対し情報を報知し得る種々の広告を含む。
【０００９】
また、「第２領域の状態に基づいて」、「第２状態を認識する」とは、第２領域の健康の状態（例えば、色、表皮の状態等）に基づいて、所定のルールに基づいて、第２状態を取得又は算出することを指す。例えば、第２領域の健康の状態と第２状態との関係を定めたデータテーブルを参照して、第２状態を取得するという方法、所定のアルゴリズムを用いて、第２領域の健康の状態に基づいて第２状態を算出する方法、第２領域の画像を医師に提示して、第２状態を推定させる方法等が挙げられる。
【００１０】
また、「第２状態に対応して定める」とは、第２状態を参照して、所定のルールに基づいて定めることを指す。例えば、第２状態の内容と広告との関係を定めたデータテーブルを参照して、第２状態の内容に基づいて広告を取得するという方法、所定のアルゴリズムを用いて、第２状態の内容に基づいて広告を取得するという方法等が挙げられる。
【００１１】
また、「体質及び体調に関する状態」には、西洋医学のみならず、漢方又は東洋医学に基づいて判断される体質及び体調に関する状態が含まれる。
【００１２】
このように、本発明の広告提示方法では、第１領域に係る第１状態（すなわち、もともと利用者が診断を希望している領域の状態）が認識されるとともに、第１領域を撮影した画像に含まれる第２領域の画像に基づいて、利用者の体質及び体調の少なくとも一方に関する第２状態についても認識される。そして、その第２状態に基づいて、利用者に提示する広告の取得が行われる。
【００１３】
これにより、利用者に対しては、利用者が診断を希望している第１領域に関する第１状態とともに、第２状態に対応して定められた広告が提示されるようになる。すなわち、この広告提示方法によって利用者に提示される広告は、この方法を実施するシステムの利用者が意識していないものでありながら（すなわち、第１領域に関しないものでありながら）、利用者にとって有用な可能性が高いもの又は興味に合致する可能性が高いもの（すなわち、利用者にとって適切なもの）となる。
【００１４】
その結果、この広告提示方法を用いたシステムの提供者は、第１領域に関する事業を行っている事業者の他、第２領域に関する事業を行っている事業者からも、広く広告を募ることができるようになる。また、利用者に対しては、提示される広告が利用者にとって適切なものとなるので、広告を提示されたことによるストレス、違和感を与えにくくなる。
【００１５】
また、本発明の広告提示方法においては、
質問提示部が、前記第２画像に基づいて、前記第２領域に関する状態を認識し、該第２領域に関する状態に基づいて、質問を提示する質問提示工程と、
回答認識部が、前記質問に対する回答を認識する回答認識工程とを備え、
前記第２状態認識工程で、第２状態認識部が、前記第２画像に基づいて、前記第２領域に関する状態を認識し、該第２領域に関する状態、及び、前記回答に基づいて、前記利用者の体質及び体調の少なくとも一方に関する状態である第２状態を認識することが好ましい。
【００１６】
画像に基づいて認識された第２領域に関する情報のみでは、利用者の体質又は体調を正確に把握することが難しい場合がある。そこで、このように、第２領域に関する質問を行い、その回答を参照するようにすることによって、利用者に提示する広告をさらに適切なものにすることができる。
【００１７】
また、本発明の広告提示方法においては、
前記第１領域は、前記利用者の歯及び歯茎であり、
前記第２領域は、前記利用者の口唇、口唇の周囲の肌及び舌の少なくとも１つを含む領域であり、
前記広告は、前記第２状態に関連する漢方薬についての広告であることが好ましい。
【００１８】
ここで、「口唇の周囲の肌」とは、例えば、顎、頬、首、耳、鼻等、歯及び歯茎とともに撮影可能な領域の肌を指す。
【００１９】
このように構成すると、画像を撮影する際に自然に第１領域と第２領域とを撮影することが可能となるので、本発明の広告提示方法を用いたシステムを使用する利用者に対し、ストレス、違和感をさらに与えにくくなる。
【００２０】
なお、本発明の広告提示方法において対象となる利用者の身体の領域の組み合わせは、カメラ等の画像取得部によって、同時に撮影可能な領域であればよい。例えば、上記の領域の他、目及び目の周囲の肌又は額の肌、手及び爪、髪の毛及び耳の周囲の肌等も含まれる。
【００２１】
また、本発明の広告提示システムは、
利用者の身体の画像から前記利用者の身体の第１領域の画像である第１画像、及び、前記利用者の身体の第２領域の画像である第２画像を認識する画像認識部と、
前記第１画像に基づいて、前記利用者の前記第１領域に関する状態である第１状態を認識する第１状態認識部と、
前記第２画像に基づいて、前記第２領域に関する状態を認識し、該第２領域に関する状態に基づいて、前記利用者の体質及び体調の少なくとも一方に関する状態である第２状態を認識する第２状態認識部と、
前記第２状態に対応して定められた広告を取得する広告取得部と、
前記利用者に、前記広告を提示した後に、又は、前記広告を提示すると同時に、前記第１状態を提示する情報提示部とを備えていることを特徴とする。
【図面の簡単な説明】
【００２２】
【図１】実施形態に係る広告提示システムの概略構成を示す模式図。
【図２】図１の広告提示システムの構成を示すブロック図。
【図３】図１の広告提示システムが行う処理を示すフローチャート。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、実施形態に係る広告提示システムＳについて説明する。なお、本実施形態の広告提示システムＳは、本発明の広告提示システムを、利用者の歯及び歯茎の診断（健康状態の把握）を行うとともに、歯に関する広告、及び、利用者の体質及び体調の改善に効果的と考えられる漢方薬に関する広告を提示するためのシステムとして用いたものである。
【００２４】
すなわち、広告提示システムＳは、歯及び歯茎に関して広告を行いたいと考えている事業者（例えば、歯ブラシ等の歯に関する商品等を取り扱う事業者）、及び、漢方薬に関して広告を行いたいと考えている事業者から提供された複数の広告のうちから、利用者に対して有用な可能性が高いもの又は興味に合致する可能性が高いもの（すなわち、適切なもの）を取得して、利用者の歯の診断結果とともに、適切なタイミングで、利用者に対して提示するためのものである。
【００２５】
しかし、本発明の広告提示方法及び広告提示システムは、携帯情報端末のカメラ等によって、同時に撮影し得る複数の部位に基づく健康情報及び広告を提示するためのものであるので、歯及び歯茎に関する広告、及び、漢方薬に関する広告を提示するためのシステムにのみ適用し得るものではない。
【００２６】
そのため、本発明の広告提示方法及び広告提示システムにおける身体の領域としては、例えば、歯及び口唇又は口唇の周囲の肌の他、目及び目の周囲の肌又は額の肌、手及び爪、髪の毛及び耳の周囲の肌等も含まれる。また、診断対象に関する広告以外の広告は、漢方薬に関する広告に限られるものではなく、利用者の体質及び体調の少なくとも一方に関する状態（後述する第２状態）に対応して定められた広告であればよい。
【００２７】
例えば、髪の毛の状態を診断するとともに、同時に撮影される肌の状態を認識して、認識された肌の状態に基づいて、利用者が受けているストレスの種類を推測し、そのストレスに効果的な香料（具体的には、入浴剤、アロマオイル等）の広告を提示するようにしてもよい。
【００２８】
なお、本実施形態における「広告」は、画像又は動画であるが、本発明における「広告」は、画像又は動画による広告の他、音声による広告等、利用者に対し情報を報知し得る種々の広告を含む。
【００２９】
まず、図１及び図２を参照して、広告提示システムＳの構成について説明する。
【００３０】
図１に示すように、広告表指示ステムＳは、システムの利用者等が所持するスマートフォン等の携帯情報端末１（情報処理端末）と、広告代理店等のシステムの提供者により設置されたサーバ２とによって構成されている。携帯情報端末１とサーバ２、及び、サーバ２と事業者用端末３とは、インターネット回線等を介して相互に情報通信可能に接続することによって構成されている。
【００３１】
携帯情報端末１は、画像を取得するためのカメラ１０（画像取得部）と、利用者に対して、後述する質問及び回答、第１状態、並びに、広告等を提示するとともに、利用者からの入力を受け付けるタッチパネル１１（入出力部）とを備えている。
【００３２】
カメラ１０は、利用者の歯及び歯茎（第１領域）とともに、口唇、口唇の周囲の肌及び舌（第２領域）を撮影し、それらが同時に写り込んだ静止画を、２次元画像として取得可能に構成されている。
【００３３】
なお、本発明の画像取得部が取得する画像は、第１領域の画像である第１画像及び第２領域の画像である第２画像を、後述する画像認識部２０が認識可能なものであればよい。例えば、２次元画像ではなく３次元画像でもよい。また、画像認識部が動画から静止画を切り出して認識可能なものである場合には、画像取得部は動画を撮影するものであってもよい。
【００３４】
また、出力部と入力部が一体化した入出力部であるタッチパネル１１に代わり、独立した出力部及び入力部を採用してもよい。具体的には、出力部としてのディスプレイ、及び、入力部としてキーボード、マイク等を採用してもよい。
【００３５】
図２に示すように、サーバ２は、実装されたハードウェア構成又はプログラムにより実現される機能として、画像認識部２０と、第１状態認識部２１と、質問提示部２２と、回答認識部２３と、第２状態認識部２４と、広告取得部２５と、情報提示部２６と、広告格納部２７とを備えている。
【００３６】
画像認識部２０は、カメラ１０が取得した画像に基づいて、利用者の身体の歯及び歯茎（第１領域）の画像である第１画像、並びに、口唇、口唇の周囲の肌及び舌（第２領域）の画像である第２画像を認識する。
【００３７】
第１状態認識部２１は、画像認識部２０が認識した第１画像に基づいて、利用者の歯及び歯茎の状態を認識し、その状態から推定できる歯及び歯茎に関する健康の状態（第１状態）、及び、その重症度を認識する。
【００３８】
質問提示部２２は、画像認識部２０が認識した第２画像に基づいて、利用者の口唇、口唇の周囲の肌及び舌の状態（第２領域に関する状態）を認識する。その後、認識された状態に基づいて、利用者に提示する質問を決定し、決定した質問を、タッチパネル１１を介して利用者に提示する。
【００３９】
ここで、質問を決定するための方法はシステム設計者が任意に定めることができる。例えば、認識された状態と質問との関係を予め規定したデータテーブルを参照して、質問を決定する方法、所定のアルゴリズムを用いて、認識された状態に基づいて質問を決定する方法等が挙げられる。
【００４０】
質問の内容もシステム設計者が任意に定めることができる。例えば、本実施形態の広告提示システムＳのように、利用者の体質及び体調の改善に効果的と考えられる漢方薬に関する広告を提示するためのシステムである場合には、漢方又は東洋医学の観点から質問の内容を定めればよい。
【００４１】
具体的には、例えば、額の皮膚の状態（黒いか否か）、目の下の皮膚の状態（黒いか否か）、顔の両側の皮膚の状態（窪んでいるか、黒いか否か）、舌の状態（白いか否か）、唇の状態（紫か否か）、爪の状態（凹凸があるか否か）、手の状態（関節が曲がっているか否か）は、第２画像に基づいて認識することができる。
【００４２】
そして、これらの状態（第２領域に関する状態）によっては、肝臓、胃、腎臓の不調が疑われるものの、これらの状態のみによっては、実際に不調であるか否かは判断しきれない。すなわち、利用者の体質又は体調を正確に把握することが難しい。
【００４３】
そこで、質問提示部２２は、これらの状態によって肝臓、胃、腎臓の不調が疑われた場合には、実際に不調であるか否かを判断するための情報を取得できる内容の質問を行うように構成されている。
【００４４】
具体的には、生もの又は冷たいものをよく食べるか否か、朝起きた時に足がむくんでいるか否か、飲酒の頻度、性生活の頻度等の質問を提示する。これらの質問に対する回答によれば、第２画像からでは認識できない舌の状態（表面の滑らかさ、厚み）、口腔の匂い、体の匂い等を推測することができる。
【００４５】
そして、後述するように、第２状態認識部２４は、第２画像に基づいて認識された情報、及び、質問に対する回答に基づいて認識された情報を参照して、第２状態を認識する。
【００４６】
回答認識部２３は、質問提示部２２が提示した質問に対して、利用者がタッチパネル１１を介して入力した回答を認識する。
【００４７】
第２状態認識部２４は、画像認識部２０が認識した第２画像に基づいて、利用者の口唇、口唇の周囲の肌及び舌の状態（第２領域に関する状態）を認識し、その状態、及び、回答認識部２３が認識した回答から推定できる利用者の体質及び体調に関する状態（第２状態）、及び、その重症度を認識する。
【００４８】
なお、広告提示システムＳでは、第１状態認識部２１及び第２状態認識部２４は、予め得られているサンプル画像と画像認識部２０が認識した画像との比較結果を参照して、第１状態及び第２状態を認識している。
【００４９】
また、本実施形態においては、「体質及び体調に関する状態」には、西洋医学のみならず、漢方又は東洋医学に基づいて判断される体質及び体調に関する状態が含まれる。
【００５０】
しかし、本発明における第１状態及び第２状態の認識は必ずしも画像の比較結果を参照して行う必要はなく、画像認識部が認識した画像に基づいて行われるものであればよい。例えば、通常は画像の比較によって健康状態を認識し、認識が困難な場合にのみ、医師に画像を送信して診断が行われるように構成してもよい。
【００５１】
また、本実施形態の広告提示システムＳでは、利用者に提示する広告をより適切なものにするために、利用者に対して質問を行い、第２状態を認識する際にその回答を参照するように構成されている。しかし、本発明の広告提示システムはそのような構成に限定されるものではなく、例えば、画像によって第２状態を高精度で認識できる場合には、質問の提示及び回答の認識を省略してもよい。この場合、質問提示部及び回答認識部は省略してよい。
【００５２】
また、ここで、「重症度」とは、例えば、健康状態に基づいて認識される値であり、例えば、病状の重さ等に基づいて定められる。重症度の大小は、システム設計者等が任意に定めることができる。
【００５３】
第１状態及び第２状態に関する重症度を求めるための方法もシステム設計者が任意に定めることができる。例えば、認識された状態と重症度との関係を予め規定したデータテーブルを参照して、重症度を求める方法、所定のアルゴリズムを用いて、認識された状態に基づいて重症度を求める方法等が挙げられる。
【００５４】
広告取得部２５は、第１状態認識部２１及び第２状態認識部２４によって認識された第１状態及び第２状態に基づいて、第１状態に対応して定められた歯及び歯茎に関する広告（第１の広告）、及び、第２状態に対応して定められた漢方薬に関する広告（第２の広告）を取得する。
【００５５】
ここで、「状態に対応して定める」とは、第１状態、又は、第２状態を参照して、所定のルールに基づいて定めることを指す。例えば、状態の内容と広告との関係を定めたデータテーブルを参照して、状態の内容に基づいて広告を取得するという方法、所定のアルゴリズムを用いて、状態の内容に基づいて広告を取得するという方法等が挙げられる。
【００５６】
情報提示部２６は、第１状態の重症度と第２状態の重症度とを対比するとともに、その対比結果に応じて、第１の広告の提示時間及び第２の広告の提示時間、それらの提示順序、並びに、それらの提示領域の大きさを決定する。また、情報提示部２６は、その決定内容に従って、携帯情報端末１のタッチパネル１１上にそれらの広告を提示した後、第１状態を提示する。
【００５７】
提示時間と重症度の対比結果の関係は、適宜設定して良い。例えば、重症度が大きいものほど提示時間を長くしてもよい。また、重症度が大きいものほど、後に提示するようにしてもよい。また、重症度が大きいものを繰り返し提示してもよい。
【００５８】
なお、本実施形態の広告提示システムＳでは、第１状態認識部２１及び第２状態認識部２４が、第１状態及び第２状態とともに、各々の重症度も認識している。これは、情報提示部２６が、その重症度（すなわち、利用者に対する有用度）に応じて、利用者に対して提示する各広告の提示時間及び提示順序を変動させるためである。
【００５９】
しかし、広告の提示時間が変動可能なものでない場合（例えば、広告が１種類しかない場合）等には、提示時間の変動を行うことはできないので、重症度を認識せず、重症度の比較を行わないように構成してもよい。
【００６０】
また、広告を提示する時間を変動させるための方法としては、広告が静止画のような径時変化のないものである場合には、単純に提示する時間を変動させればよい。また、広告が動画のような径時変化のあるものである場合には、広告の取得の際に、１つの健康状態に関して、時間の異なる複数の広告を取得しておき、その中から決定された提示時間に応じた長さの広告を選択するようにしてもよい。
【００６１】
また、重症度の比較の結果を、提示する時間の他、提示する領域に反映させてもよい。具体的には、タッチパネル１１上の表示領域を分割して複数の広告を同時に表示するような場合には、重症度の高いものほど大きく表示するようにしてもよい。
【００６２】
広告格納部２７は、事業者の有する事業者用端末３からアップロードされた広告を格納する。なお、この広告格納部２７をサーバ２の外部（他のサーバ等）に設けてもよい。また、広告格納部２７を省略し、情報提示部２６が必要に応じて随時外部から広告を取得するようにしてもよい。
【００６３】
次に、図２及び図３を参照して、広告提示システムＳが行う処理（本発明の広告提示方法）について説明する。図３は、広告提示システムＳが行う処理を示すフローチャートである。
【００６４】
本実施形態の広告提示システムＳでは、診断結果及び広告を提示するための処理に先立ち、広告格納部２７に対して、事業者用端末３から提示対象となり得る複数の広告がアップロードされて格納されている。
【００６５】
広告提示システムＳが行う処理においては、まず、携帯情報端末１のカメラ１０が、利用者の歯及び歯茎（第１領域）とともに、口唇、口唇の周囲の肌及び舌（第２領域）を撮影し、それらが同時に写り込んだ静止画を、２次元画像として取得する（図３／ＳＴＥＰ０１）。
【００６６】
次に、サーバ２の画像認識部２０が、カメラ１０が取得した画像に基づいて、利用者の身体の歯及び歯茎（第１領域）の画像である第１画像、並びに、口唇、口唇の周囲の肌及び舌（第２領域）の画像である第２画像を認識する（図３／ＳＴＥＰ０２（画像認識工程））。
【００６７】
次に、サーバ２の質問提示部２２は、画像認識部２０が認識した第２画像に基づいて、利用者の口唇、口唇の周囲の肌及び舌の状態（第２領域に関する状態）を認識し、その状態に基づいて質問を決定し、タッチパネル１１を介して決定した質問を利用者に提示する（図３／ＳＴＥＰ０３（質問提示工程））。
【００６８】
次に、サーバ２の回答認識部２３は、質問提示部２２が提示した質問に対して、利用者がタッチパネル１１を介して入力した回答を認識する（図３／ＳＴＥＰ０４（回答認識工程））
次に、サーバ２の第１状態認識部２１は、画像認識部２０が認識した第１画像に基づいて、利用者の歯及び歯茎の状態を認識し、その状態から推定できる歯及び歯茎に関する健康の状態（第１状態）、及び、その重症度を認識する（図３／ＳＴＥＰ０５（第１状態認識工程））。
【００６９】
次に、サーバ２の第２状態認識部２４は、画像認識部２０が認識した第２画像に基づいて、利用者の口唇、口唇の周囲の肌及び舌の状態（第２領域に関する状態）を認識し、その状態、及び、回答認識部２３が認識した回答から推定できる利用者の体質及び体調に関する状態（第２状態）、及び、その重症度を認識する（図３／ＳＴＥＰ０６（第２状態認識工程））。
【００７０】
次に、サーバ２の広告取得部２５は、第１状態認識部２１及び第２状態認識部２４によって認識された第１状態及び第２状態に基づいて、第１状態に対応して定められた歯及び歯茎に関する広告（第１の広告）、及び、第２状態に対応して定められた漢方薬（すなわち、第２状態に関連する漢方薬）に関する広告（第２の広告）を取得する（図３／ＳＴＥＰ０７（広告取得工程））。
【００７１】
次に、サーバ２の情報提示部２６は、第１状態の重症度と第２状態の重症度とを対比するとともに、その対比結果に応じて、第１の広告及び第２の広告の提示時間及び提示順序を決定する（図３／ＳＴＥＰ０８）。
【００７２】
次に、情報提示部２６は、携帯情報端末１のタッチパネル１１上に、それらの広告を順次提示した後、第１状態を提示して、今回の処理を終了する（図３／ＳＴＥＰ０９（情報提示工程））。
【００７３】
以上説明したように、広告提示システムＳでは、歯及び歯茎（第１領域）に係る第１状態（すなわち、もともと利用者が診断を希望している領域の状態）が認識されるとともに、第１領域を撮影した画像に含まれる口唇、口唇の周囲の肌及び舌（第２領域）の画像に基づいて、利用者の体質及び体調に関する第２状態についても認識される。そして、その第２状態に対応した漢方薬に関する広告である第２の広告の取得が行われる。
【００７４】
これにより、利用者に対しては、利用者が診断を希望している歯及び歯茎の健康の状態である第１状態とともに、利用者の体質及び体調に関する広告が提示されるようになる。すなわち、この広告提示システムＳによって利用者に提示される広告は、この方法を実施するシステムの利用者が意識していないものでありながら（すなわち、第１領域に関しないものでありながら）、利用者にとって有用な可能性が高いもの又は興味に合致する可能性が高いものとなる。
【００７５】
その結果、この広告提示システムＳの提供者は、歯及び歯茎に関する事業を行っている事業者の他、漢方薬に関する事業を行っている事業者からも、広く広告を募ることができるようになる。また、利用者に対しては、提示される広告が利用者にとって適切なものとなるので、広告を提示されたことによるストレス、違和感を与えにくくなる。
【００７６】
以上、図示の実施形態について説明したが、本発明はこのような形態に限られるものではない。
【００７７】
例えば、上記実施形態では、広告表指示システムＳは、利用者の歯及び歯茎の診断を行うとともに、歯及び歯茎に関する広告、及び、口唇、口唇の周囲の肌及び舌の状態に対応して定められた漢方薬に関する広告を提示するためのシステムとして構成されている。これは、歯及び歯茎の撮影とともに、口唇、口唇の周囲の肌及び舌の画像を取得することは比較的容易であるためである。
【００７８】
しかし、本発明の広告提示方法及び広告提示システムは、このような構成に限定されるものではなく、利用者の身体の第１領域及びその第１領域とともに撮影可能な第２領域に基づいて、利用者の体質及び体調のいずれか一方に関する状態の認識及び広告の提示を行うものであればよい。
【００７９】
例えば、第１領域を耳とし、第２領域を髪の毛としてもよい。また、第１状態を、目に関する状態とし、第２状態を、目の周囲の肌から推測される体質及び体調状態としてもよい。
【００８０】
また、上記実施形態では、第２領域として、口唇、口唇の周囲の肌及び舌という複数の領域を用いている。しかし、本発明の第２領域は、１つの領域のみを用いてもよい。例えば、舌のみとしてもよい。また、上記実施形態と同様に第２領域を複数の領域とする場合には、必ずしも複数の第２領域を互いに隣接する領域とする必要はない。例えば、舌と目の周囲の肌を第２領域としてもよい。
【００８１】
また、上記実施形態では、第１状態に係る歯及び歯茎に関する第１の広告と、第２状態に係る漢方薬に関する第２の広告とを順次提示している。
【００８２】
しかし、本発明の広告提示方法及び広告提示システムは、このような構成に限定されるものではなく、少なくとも第１状態とともに、第２状態に係る広告を提示するものであればよい。
【００８３】
例えば、上記実施形態の広告提示システムＳと同様に、歯の診断とともに、口唇、口唇の周囲の肌及び舌に基づいて利用者の体調及び体質を認識するシステムである場合には、歯及び歯茎に係る広告（すなわち、第１の広告）を提示せず、口唇、口唇の周囲の肌及び舌に基づいて推測された利用者の体調及び体質に関する漢方薬に関する広告（すなわち、第２の広告）のみを提示するように構成してもよい。このように構成した場合、歯の診断結果を提示すると同時に、漢方薬に関する広告を提示するように構成してもよい。また、第１状態とともに、２つ以上の第２状態を認識可能である場合には、２つ以上の第２の広告を提示するようにしてもよい。また、第１領域に係る診断結果の後に、第２の広告、又は第１の広告及び第２の広告を提示してもよい。
【００８４】
また、上記実施形態では、本発明の広告提示方法を実施するための広告提示システムＳをサーバ２と携帯情報端末１とによって構成している。しかし、本発明の広告提示方法は、このように構成されたシステムのみによって構成し得るものではない。
【００８５】
例えば、撮影機能を有する情報処理端末を店頭等に設置して、その情報処理端末のみによってシステムを構成してもよいし、携帯情報端末に各処理部及び各情報格納部を設けて、その携帯情報端末のみによってシステムを構成してもよい。逆に、上記実施形態では１つのサーバによって行っていた健康状態の認識及び広告を取得という処理を、それぞれ独立した異なるサーバを用いて行うように構成してもよい。
【符号の説明】
【００８６】
１…携帯情報端末（情報処理端末）、２…サーバ、３…事業者用端末、１０…カメラ（画像取得部）、１１…タッチパネル（入出力部）、２０…画像認識部、２１…第１状態認識部、２２…質問提示部、２３…回答認識部、２４…第２状態認識部、２５…広告取得部、２６…情報提示部、２７…広告格納部。
【図１】
2020008911.tif 000003
【図２】
2020008911.tif 000004
【図３】
2020008911.tif 000005