(57)【特許請求の範囲】
【請求項１】
広告用の画像を表示する表示手段と、
音収集用のマイクロフォンと、
前記マイクロフォンで収集される音から音声を認識する音声認識手段と、
前記音声認識手段で認識される音声から前記表示手段の前にいる人の数を検出するとともに、前記音声認識手段で一定時間内に認識される音声のうちの最も入力音量が大きい音声に基づいて前記表示手段の前にいる人の属性を検出する検出手段と、
前記表示手段で表示する画像に関わる内容で且つ前記検出手段で検出される数および属性に応じた特徴の音声を生成する音声生成手段と、
前記音声生成手段で生成される音声を出力するとともに、その音声出力の音量を前記検出手段で検出される数に応じて可変設定する制御手段と、
を備えることを特徴とする情報提供装置。
【請求項２】
前記制御手段は、前記音声出力の音量を前記検出手段で検出される数が一定数以上の場合に最大レベルに設定し一定数未満の場合に通常レベルに設定することを特徴とする請求項１記載の情報提供装置。
【請求項３】
前記音声生成手段は、前記検出手段で検出される数が前記一定数以上の場合は前記表示手段で表示する画像に関わる内容で且つ不特定多数の人に聴かせるための音声を生成し、前記検出手段で検出される数が前記一定数未満の場合は前記表示手段で表示する画像に関わる内容で且つ同検出手段で検出される属性に合せた特徴の音声を生成する、
ことを特徴とする請求項２記載の情報提供装置。
【請求項４】
前記検出手段は、前記属性として、高齢者、子供、外国人を検出する、
前記音声生成手段は、前記検出手段で検出される数が前記一定数未満の場合、同検出手段で検出される属性が高齢者であればその高齢者のためのゆっくりとした速度の音声を生成し、同検出手段で検出される属性が子供であればその子供のための人気キャラクタによる音声を生成し、同検出手段で検出される属性が外国人であればその外国人のための外国語による音声を生成する、
ことを特徴とする請求項２または３記載の情報提供装置。
【請求項５】
広告用の画像を表示する表示手段、音収集用のマイクロフォン、およびコンピュータを含む情報提供装置において、
前記コンピュータに、
前記マイクロフォンで収集される音から音声を認識する音声認識機能と、
前記認識される音声から前記表示手段の前にいる人の数を検出するとともに、前記音声認識機能で一定時間内に認識される音声のうちの最も入力音量が大きい音声に基づいて前記表示手段の前にいる人の属性を検出する検出機能と、
前記表示手段で表示する画像に関わる内容で且つ前記検出機能で検出される数および属性に応じた特徴の音声を生成する音声生成機能と、
前記生成される音声を出力するとともに、その音声出力の音量を前記検出される数に応じて可変設定する制御機能と、
を実現させることを特徴とするプログラム。
【請求項６】
広告用の画像を表示する情報提供装置およびサーバを含む情報提供システムにおいて、
音を収集する音収集手段と、
前記音収集手段で収集される音から音声を認識する音声認識手段と、
前記音声認識手段で認識される音声から前記情報提供装置の前にいる人の数を検出するとともに、前記音声認識手段で一定時間内に認識される音声のうちの最も入力音量が大きい音声に基づいて前記情報提供装置の前にいる人の属性を検出する検出手段と、
前記情報提供装置で表示する画像に関わる内容で且つ前記検出手段で検出される数および属性に応じた特徴の音声を生成する音声生成手段と、
前記音声生成手段で生成される音声を出力するとともに、その音声出力の音量を前記検出手段で検出される数に応じて可変設定する制御手段と、
を備え、前記各手段の少なくとも１つの手段を前記サーバが含み、そのサーバが含む手段を除く残りの手段を前記情報提供装置が含むことを特徴とする情報提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、商品の広告用の画像および音声を出力する情報提供装置とそのプログラムおよび情報提供システムに関する。
【背景技術】
【０００２】
広告用の画像をディスプレイで表示して公衆に知らせるディジタル・サイネージ（Digital Signage）が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２１０２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のようなディジタル・サイネージは不特定多数の人を広告の対象としている。このため、表示を見る人に情報が的確に伝わらないことがある。この場合、十分な広告効果が得られない。
【０００５】
本発明の実施形態の目的は、表示を見る人に情報を的確に伝えることができ、高い広告効果が得られる情報提供装置とそのプログラムおよび情報提供システムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の実施形態の情報提供装置は、広告用の画像を表示する表示手段と、音収集用のマイクロフォンと、このマイクロフォンで収集される音から音声を認識する音声認識手段と、この音声認識手段で認識される音声から前記表示手段の前にいる人の数を検出するとともに、前記音声認識手段で一定時間内に認識される音声のうちの最も入力音量が大きい音声に基づいて前記表示手段の前にいる人の属性を検出する検出手段と、上記表示手段で表示する画像に関わる内容で且つ前記検出手段で検出される数および属性に応じた特徴の音声を生成する音声生成手段と、この音声生成手段で生成される音声を出力するとともに、その音声出力の音量を前記検出手段で検出される数に応じて可変設定する制御手段と、を備える。
【図面の簡単な説明】
【０００７】
【図１】一実施形態の構成を示すブロック図。
【図２】一実施形態の動作を示すフローチャート。
【図３】一実施形態の変形例を示す図。
【発明を実施するための形態】
【０００８】
以下、一実施形態について図面を参照して説明する。  
図１において、１はディスプレイユニットで、広告用画像を表示するディスプレイ（表示手段・表示装置）２、音収集用のマイクロフォン３、および音出力用のスピーカ４を前面に有する。このディスプレイユニット１は、商品の宣伝用として、建物の壁面や車両の荷台などに設置される。あるいは、ディスプレイユニット１として、店舗のレジカウンタに置かれる商品販売処理装置たとえばＰＯＳ端末の客面側ディスプレイが使用される。ディスプレイユニット１としてＰＯＳ端末の客面側ディスプレイが使用される場合、ＰＯＳ端末が当該情報提供装置を含む構成となる。
【０００９】
一方、制御部１０に、広告用の画像を生成する画像生成部１１、上記マイクロフォン３で収集される音から音声を認識する音声認識部１２、広告用の音声を生成する音声合成部１３、画像および音声の生成に必要なデータを入力するためのデータ入力部１４、動作条件設定用の操作部１５、およびネットワークインタフェース１６が接続される。ネットワークインタフェース１６は、通信ネットワーク２０を介してサーバ２１に接続される。
【００１０】
上記音声認識部１２は、マイクロフォン３で収集される音を分析することにより、その収集音に含まれる音声を抽出して認識する。音声合成部１３は、制御部１０から指示される内容の音声を合成する。上記サーバ２１は、広告用の画像生成に必要な画像データおよび広告用の音声生成に必要な音声データを通信ネットワーク２０を介して制御部１０に転送する。
【００１１】
上記ディスプレイユニット１、画像生成部１１、音声認識部１２、音声合成部１３、データ入力部１４、操作部１５、およびネットワークインタフェース１６により、広告用の画像および音声を生成してそれを公衆に知らせるディジタル・サイネージ（Digital Signage）用の情報提供装置が構成される。また、制御部１０、画像生成部１１、音声認識部１２、音声合成部１３、データ入力部１４、操作部１５、およびネットワークインタフェース１６は、コンピュータにより構成される。
【００１２】
制御部１０は、予め内部メモリに格納しているプログラムに基づく主要な機能として、次の（１）〜（４）の手段を有する。  
（１）ディスプレイユニット１の前にいる人（前を通る人を含む）の数および属性を音声認識部１２で認識される音声から検出する検出手段。具体的には、音声認識部１２で認識される音声を一定時間ずつ監視し、互いに特徴の異なる音声が一定時間内にいくつ存在するかをディスプレイユニット１の前にいる人の数として検出する。そして、その一定時間内に音声認識部１２で認識される音声のうち、最も入力音量が大きい音声と予め内部メモリに格納している年齢別・性別・外国語別（英語・中国語・韓国語等）の複数種の音声モデルデータとを照合することにより、かつ音声認識部１２で認識される音声の周波数および速度を分析しその分析結果を必要に応じて上記照合結果に加味することにより、ディスプレイユニット１の前にいる人の属性として、高齢者・子供・一般女性（高齢でない女性）・一般男性（高齢でない男性）・外国人（英語圏の人、中国語圏の人、韓国語圏の人など）を検出する。
【００１３】
（２）ディスプレイユニット１のディスプレイ２で表示する広告用の画像を、上記画像生成部１１と共に、上記検出手段で検出される属性に合せて生成する画像生成手段。
【００１４】
（３）ディスプレイユニット１のディスプレイ２で表示する画像に関わる内容で且つ上記検出手段で検出される数および属性に合せた特徴を有する広告用の音声（案内音声）を、上記音声合成部１３と共に生成する音声生成手段。具体的には、年齢別・性別・外国語別（英語・中国語・韓国語等）の複数種の音声生成用データを内部メモリに記憶しており、これら音声生成用データに基づき、上記検出手段で検出される数が一定数（例えば５人）以上の場合は予め定められた特徴の音声として不特定多数の人に聴かせるための音声を生成し、上記検出手段で検出される数が一定数未満の場合は同検出手段で検出される属性に合せた特徴の音声を生成する。つまり、一定数未満の場合、属性が高齢者であればその高齢者のためのゆっくりとした速度の音声を生成し、属性が子供であればその子供のための人気キャラクタ（漫画やテレビ番組等に登場する人気者）に似せた音声を生成し、属性が外国人であればその外国人のためにその外国人が日常的に使用する言語の語彙と表現を用いた音声を生成する。なお、これら生成する音声は、速度や声質などの特徴が互いに異なるだけで、内容（広告の内容）については同じである。
【００１５】
（４）上記音声生成手段で生成される音声をスピーカから出力するとともに、その音声出力の音量を上記検出手段で検出される数（前にいる人の数）に応じて可変設定する制御手段。具体的には、検出される数が上記一定数以上の場合は最大レベルの音量を設定し、上記一定数未満の場合は通常レベルの音量を設定する。
【００１６】
つぎに、図２のフローチャートを参照しながら動作について説明する。  
ディスプレイユニット１の前に立つ人やディスプレイユニット１の前を通る人が音声を発すると、その音声がマイクロフォン３で収集されて分析および認識される（ステップ１０１）。この認識された音声に基づき、ディスプレイユニット１の前にいる人の数および属性が検出される（ステップ１０２）。すなわち、互いに異なる特徴の音声が一定時間内にいくつ存在するかが人の数として検出されるとともに、認識される音声のうち最も声量の大きい音声が高齢者・子供・一般女性・一般男性・外国人のいずれのものであるかが検出される。
【００１７】
検出される人数が一定数以上であれば（ステップ１０３のＹＥＳ）、スピーカ４からの音声出力の音量が最大レベルに設定される（ステップ１０４）。そして、不特定多数の一般大衆をターゲットとした商品の広告用画像およびその画像に関わる内容の音声が生成され、生成された画像がディスプレイ２で表示されるとともに、生成された音声がスピーカ４から最大音量で発せられる（ステップ１０５）。この場合、不特定多数のだれもが聴き取り易いよう、日本のテレビやラジオ等で使用されるような標準的な語彙と表現を用いた標準的な速度の音声が生成されて発せられる。とくに、スピーカ４から最大音量の音声が発せられるので、ディスプレイユニット１の前で多くの人が互いに喋り合うなど騒々しい状況であっても、その人々に広告用画像の内容を的確に伝えることができる。
【００１８】
上記検出される人数が一定数未満であれば（ステップ１０３のＮＯ）、ディスプレイユニット１の前にいる人が煩さを感じないよう、スピーカ４からの音声出力の音量が通常レベルに設定される（ステップ１０６）。そして、上記検出される属性が高齢者・子供・一般女性・一般男性・外国人のいずれであるかが判定される（ステップ１０７，１０８，１１１，１１３，１１５，１１７）。
【００１９】
高齢の女性であれば（ステップ１０７のＹＥＳ、ステップ１０８のＹＥＳ）、高齢の女性をターゲットとした商品の広告用画像およびその画像に関わる内容の音声が生成され、生成された画像がディスプレイ２で表示されるとともに、生成された音声がスピーカ４から発せられる（ステップ１０９）。この場合、高齢者が聴き取り易いよう、標準的な語彙と表現を用いながらも速度がゆっくりでなるべく高周波数域を含まない音声が生成される。したがって、ディスプレイユニット１の前にいる高齢の女性は、興味のある商品の広告用画像を見ながら、その広告用画像の内容を容易かつ的確に把握することができる。
【００２０】
高齢の男性であれば（ステップ１０７のＹＥＳ、ステップ１０８のＮＯ）、高齢の男性をターゲットとした商品の広告用画像およびその画像に関わる内容の音声が生成され、生成された画像がディスプレイ２で表示されるとともに、生成された音声がスピーカ４から発せられる（ステップ１１０）。この場合、高齢者が聴き取り易いよう、標準的な語彙と表現を用いながらも速度がゆっくりでなるべく高周波数域を含まない音声が生成される。したがって、ディスプレイユニット１の前にいる高齢の男性は、興味のある商品の広告用画像を見ながら、その広告用画像の内容を容易かつ的確に把握することができる。
【００２１】
子供であれば（ステップ１１１のＹＥＳ）、子供や家族連れをターゲットとした商品の広告用画像およびその画像に関わる内容の音声が生成され、生成された画像がディスプレイ２で表示されるとともに、生成された音声がスピーカ４から発せられる（ステップ１１２）。この場合、子供が分かり易いようまた興味を抱くよう簡単な語彙と表現を用いしかも人気キャラクタ（漫画やテレビ番組等に登場する人気者）に似せた音声が生成される。したがって、ディスプレイユニット１の前にいる子供や家族連れは、興味のある商品の広告用画像を見ながら、その広告用画像の内容を興味深く面白味をもって聴くことができる。
【００２２】
一般女性であれば（ステップ１１３のＹＥＳ）、一般女性をターゲットとした商品の広告用画像およびその画像に関わる内容の音声が生成され、生成された画像がディスプレイ２で表示されるとともに、生成された音声がスピーカ４から発せられる（ステップ１１４）。この場合、標準的な語彙と表現を用いながら、一般女性に強くアピールするような抑揚および速度の音声が生成される。ディスプレイユニット１の前にいる女性は、興味のある商品の広告用画像を見ながら、その広告用画像の内容を容易かつ的確に把握することができる。
【００２３】
一般男性であれば（ステップ１１５のＮＯ）、一般男性をターゲットとした商品の広告用画像およびその画像に関わる内容の音声が生成され、生成された画像がディスプレイ２で表示されるとともに、生成された音声がスピーカ４から発せられる（ステップ１１６）。この場合、標準的な語彙と表現を用いながら、一般男性に興味を抱かせるような抑揚および速度の音声が生成される。ディスプレイユニット１の前にいる男性は、興味のある商品の広告用画像を見ながら、その広告用画像の内容を容易かつ的確に把握することができる。
【００２４】
外国人であれば（ステップ１１７のＮＯ）、外国人をターゲットとした商品の広告用画像およびその画像に関わる内容の音声が生成され、生成された画像がディスプレイ２で表示されるとともに、生成された音声がスピーカ４から発せられる（ステップ１１８）。この場合、認識された音声の言語が英語であれば、英語の語彙と表現を用いた音声が生成される。認識された音声の言語が中国語であれば、中国語の語彙と表現を用いた音声が生成される。認識された音声の言語が韓国語であれば、韓国語の語彙と表現を用いた音声が生成される。したがって、ディスプレイユニット１の前にいる外国人は、興味のある商品の広告用画像を見ながら、その広告用画像の内容を容易かつ的確に把握することができる。
【００２５】
上記検出される属性が高齢者・子供・一般女性・一般男性・外国人のいずれでもない場合は（ステップ１０７，１０８，１１１，１１３，１１５，１１７のそれぞれＮＯ）、上記検出される人数が一定数以上の場合と同じく、不特定多数のだれもが聴き取り易いよう、日本のテレビやラジオ等で使用されるような標準的な語彙と表現を用いた標準的な速度の音声が生成されて発せられる（ステップ１０５）。
【００２６】
１つの広告の画像および音声の出力が終わると、ステップ１０１からの処理が繰り返され、ディスプレイユニット１の前に立つ人あるいは通る人を対象とした次の広告の画像および音声が再び出力される。
【００２７】
このように、ディスプレイユニット１の前にいる人の属性に合せた音声を生成して発することにより、広告の内容をディスプレイユニット１の前にいる人に的確に伝えることができる。よって、ディジタル・サイネージとしての高い広告効果が得られる。
【００２８】
なお、上記実施形態では、表示手段としてディスプレイを用いたが、映像表示用のプロジェクタを用いてもよい。外国人として英語圏、中国語圏、韓国語圏の人を検出する構成としたが、それ以外の言語圏の人を検出することももちろん可能である。
【００２９】
当該情報提供装置の機能や構成の一部を外部のサーバに設けることも可能である。このシステムを構築する場合、例えばクラウドコンピューティングを利用できる。より具体的には、ＳａａＳ（software as a service）と称されるソフトウェア提供形態が適する。このクラウドシステムを利用する場合の構成を図３に示す。情報提供システム２００は、クラウド２０１、複数の端末２０２および複数の通信ネットワーク２０３、および互いに通信接続された複数のサーバ２０４を有する。これら端末２０２、通信ネットワーク２０３、およびサーバ２０４は、それぞれ１つのみでもよい。端末２０２は、通信ネットワーク２０３を介してクラウド２０１と通信可能である。端末２０２としては、当該情報提供装置、デスクトップタイプやノートブックタイプなどの種々のコンピュータ、携帯電話装置、携帯情報端末（ＰＤＡ）、あるいはスマートフォンなどを適宜に利用できる。通信ネットワーク２０３としては、インターネット、プライベートネットワーク、次世代ネットワーク（ＮＧＮ）、あるいはモバイルネットワークなどを適宜に利用できる。
【００３０】
この画像表示システム２００において、当該情報提供装置が持つ機能や構成のうち、少なくとも１つをサーバ２０４に設け、そのサーバ２０４に設けない残りの機能や構成を端末２０２に設ける。サーバ２０４に設ける機能や構成は、１つのサーバ２０４に配置してもよいし、複数のサーバ２０４に分散して配置してもよい。
【００３１】
その他、上記実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、書き換え、変更を行うことができる。これら実施形態や変形は、発明の範囲は要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の当初の特許請求の範囲に記載された発明を付記する。
［１］
広告用の画像を表示する表示手段と、
音収集用のマイクロフォンと、
前記マイクロフォンで収集される音から音声を認識する音声認識手段と、
前記音声認識手段で認識される音声から前記表示手段の前にいる人の数を検出する検出手段と、
前記表示手段で表示する画像に関わる音声を生成する音声生成手段と、
前記音声生成手段で生成される音声を出力するとともに、その音声出力の音量を前記検出手段で検出される数に応じて可変設定する制御手段と、
を備えることを特徴とする情報提供装置。
［２］
前記検出手段は、前記音声認識手段で認識される音声から前記表示手段の前にいる人の数および属性を検出する、
前記音声生成手段は、前記表示手段で表示する画像に関わる内容で且つ前記検出手段で検出される数および属性に応じた特徴の音声を生成する、
前記制御手段は、前記音声出力の音量を前記検出手段で検出される数が一定以上の場合に最大レベルに設定し一定数未満の場合に通常レベルに設定する、
ことを特徴とする［１］記載の情報提供装置。
［３］
前記音声生成手段は、前記検出手段で検出される数が前記一定数以上の場合は前記表示手段で表示する画像に関わる内容で且つ不特定多数の人に聴かせるための音声を生成し、前記検出手段で検出される数が前記一定数未満の場合は前記表示手段で表示する画像に関わる内容で且つ同検出手段で検出される属性に合せた特徴の音声を生成する、
ことを特徴とする［２］記載の情報提供装置。
［４］
前記検出手段は、前記属性として、高齢者、子供、外国人を検出する、
前記音声生成手段は、前記検出手段で検出される数が前記一定数未満の場合、同検出手段で検出される属性が高齢者であればその高齢者のためのゆっくりとした速度の音声を生成し、同検出手段で検出される属性が子供であればその子供のための人気キャラクタによる音声を生成し、同検出手段で検出される属性が外国人であればその外国人のための外国語による音声を生成する、
ことを特徴とする［３］記載の情報提供装置。
［５］
広告用の画像を表示する表示手段、音収集用のマイクロフォン、およびコンピュータを含む情報提供装置において、
前記コンピュータに、
前記マイクロフォンで収集される音から音声を認識する音声認識機能と、
前記認識される音声から前記表示手段の前にいる人の数を検出する検出機能と、
前記表示手段で表示する画像に関わる音声を生成する音声生成機能と、
前記生成される音声を出力するとともに、その音声出力の音量を前記検出される数に応じて可変設定する制御機能と、
を実現させることを特徴とするプログラム。
［６］
広告用の画像を表示する情報提供装置およびサーバを含む情報提供システムにおいて、
音を収集する音収集手段と、
前記音収集手段で収集される音から音声を認識する音声認識手段と、
前記音声認識手段で認識される音声から前記情報提供装置の前にいる人の数を検出する検出手段と、
前記情報提供装置で表示する画像に関わる音声を生成する音声生成手段と、
前記音声生成手段で生成される音声を出力するとともに、その音声出力の音量を前記検出手段で検出される数に応じて可変設定する制御手段と、
を備え、前記各手段の少なくとも１つの手段を前記サーバが含み、そのサーバが含む手段を除く残りの手段を前記情報提供装置が含むことを特徴とする情報提供システム。
【符号の説明】
【００３２】
１…ディスプレイユニット、２…ディスプレイ、３…マイクロフォン、４…スピーカ、１０…制御部、１１…画像生成部、１２…音声認識部、１３…音声合成部、１４…データ入力部、１５…操作部、１６…ネットワークインタフェース、２０…通信ネットワーク、２１…サーバ
【図１】
0005707346.tif 000002
【図２】
0005707346.tif 000003
【図３】
0005707346.tif 000004