(57)【要約】【課題】ターゲットの使用言語と関心度とに応じて適切なコンテンツを表示可能な情報処理システム、情報処理方法および情報処理装置を提供する。【解決手段】マイク５により取得された音声信号に基づいて、ターゲット属性推定部１４が、ターゲットの属性を推定し、コンテンツ選択取得部１５が、ターゲット属性推定部１４により推定された属性に基づいてコンテンツを選択して取得し、表示装置２または画像投影装置３が、コンテンツ選択取得部１５により取得されたコンテンツをターゲットに向けて表示する。【選択図】図４
2015022357.tif 000002
【特許請求の範囲】
【請求項１】
ターゲットの音声を含む音声信号を取得する音声取得手段と、
前記音声取得手段により取得された音声信号に基づいて、前記ターゲットの属性を推定するターゲット属性推定手段と、
前記ターゲット属性推定手段により推定された前記属性に基づいてコンテンツを選択して取得するコンテンツ選択取得手段と、
前記コンテンツ選択取得手段により取得された前記コンテンツを前記ターゲットに向けて表示する表示手段と、
を備えることを特徴とする情報処理システム。
【請求項２】
前記属性には、使用言語および／または関心度を含むことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
ターゲットの映像を含む映像信号を取得する映像取得手段を備え、
前記ターゲット属性推定手段は、前記映像取得手段により取得された映像信号と、前記音声取得手段により取得された音声信号とに基づいて、ターゲットの属性を推定することを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記ターゲット属性推定手段は、ターゲットの顔、発話、または特定単語のうちのいずれか１つ以上を検出することにより、関心度を推定することを特徴とする請求項１〜３のいずれか１項に記載の情報処理システム。
【請求項５】
前記ターゲット属性推定手段は、コンテンツに含まれる単語から検出対象の前記特定単語を決定することを特徴とする請求項４に記載の情報処理システム。
【請求項６】
前記音声取得手段により取得された音声信号および／または前記映像取得手段により取得された映像信号に基づいて、ターゲットの位置を検出するターゲット位置検出手段と、
前記ターゲット位置検出手段により検出されたターゲットの位置に基づいて、前記表示手段に表示するコンテンツの表示位置を調整する表示位置調整手段と、
を備えることを特徴とする請求項１〜５のいずれか１項に記載の情報処理システム。
【請求項７】
ターゲットの音声を含む音声信号を取得する音声取得ステップと、
前記音声取得ステップで取得された音声信号に基づいて、前記ターゲットの属性を推定するターゲット属性推定ステップと、
前記ターゲット属性推定ステップで推定された前記属性に基づいてコンテンツを選択して取得するコンテンツ選択取得ステップと、
前記コンテンツ選択取得ステップで取得された前記コンテンツを前記ターゲットに向けて表示する表示ステップと、
を含むことを特徴とする情報処理方法。
【請求項８】
ターゲットの音声を含む音声信号を取得する音声取得手段と、
前記音声取得手段により取得された音声信号に基づいて、前記ターゲットの属性を推定するターゲット属性推定手段と、
前記ターゲット属性推定手段により推定された前記属性に基づいてコンテンツを選択して取得するコンテンツ選択取得手段と、
前記コンテンツ選択取得手段により取得された前記コンテンツを前記ターゲットに向けて表示する表示手段と、
を備えることを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルサイネージを提供する情報処理システム、情報処理方法および情報処理装置に関する。
【背景技術】
【０００２】
近年、ネットワークやディスプレイ性能の向上に伴い、ディスプレイに映像や音声などを組み合わせたコンテンツを表示してターゲットに情報を提供するデジタルサイネージが注目されている。デジタルサイネージは、既存のポスターや看板に比べて高い表現力を有し、場所や時間に合わせてコンテンツを表示することができるため、ターゲットに強い印象を与えつつ情報を提供できる。そこで、カメラなど各種センサの情報を利用してターゲットの性別や年齢などの属性や様子を観測し、コンテンツに興味を示したターゲットの人物像を分析したりターゲットに興味を持たれそうなコンテンツを自動的に表示したりする技術が開発されている。
【０００３】
例えば、特許文献１，２には、ターゲットの顔を撮像してその特徴から属性を推定する技術が記載されている。また、特許文献３にはターゲット映像から顔や動きの特徴を解析して、コンテンツの使用言語を切り替える技術が記載されている。
【０００４】
なお、特許文献４には、ターゲットの会話を音声認識して顧客情報として収集する技術が記載されている。また、特許文献５には、一定の時間間隔で使用言語を切り替えて案内情報を表示し、ユーザが応答して行った操作に応じていずれかの使用言語を選択してコンテンツを表示する技術が記載されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１および２に記載されている顔の特徴からターゲットの属性を推定する技術では、ターゲットの使用言語まで推定することは困難である。例えば、顔の特徴のみから日本語を使用する日本人と中国語を使用する中国人とを区別して推定することは困難である。したがって、この技術によれば、ターゲットに応じて使用言語を選択してコンテンツを表示することは困難であった。
【０００６】
また、特許文献３に記載されている映像からターゲットの属性を推定する技術によれば、ターゲットが情報を単に眺めているだけなのか興味を持って見ているのかを区別することは困難である。したがって、ターゲットの関心度に応じて適切なコンテンツを表示することは困難であった。
【０００７】
本発明は、上記に鑑みてなされたものであって、ターゲットの属性に応じて適切なコンテンツを表示可能な情報処理システム、情報処理方法および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、ターゲットの音声を含む音声信号を取得する音声取得手段と、前記音声取得手段により取得された音声信号に基づいて、前記ターゲットの属性を推定するターゲット属性推定手段と、前記ターゲット属性推定手段により推定された前記属性に基づいてコンテンツを選択して取得するコンテンツ選択取得手段と、前記コンテンツ選択取得手段により取得された前記コンテンツを前記ターゲットに向けて表示する表示手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ターゲットの属性に応じて適切なコンテンツを表示可能という効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１の実施の形態にかかる情報処理システムの構成を例示する模式図である。
【図２】図２は、第１の実施の形態にかかる情報処理装置のハードウェア構成を例示する図である。
【図３】図３は、第１の実施の形態にかかる画像投影装置のハードウェア構成を例示する図である。
【図４】図４は、第１の実施の形態にかかる情報処理装置の機能構成を例示するブロック図である。
【図５】図５は、コンテンツ属性テーブルのデータ構成を例示する図である。
【図６】図６は、情報処理装置における情報処理手順を示すフローチャートである。
【図７】図７は、ターゲットの属性を推定する方法を説明するための説明図である。
【図８】図８は、関心度の推定方法を説明するための説明図である。
【図９】図９は、コンテンツ属性テーブルの他のデータ構成例を示す図である。
【図１０】図１０は、コンテンツの表示位置の調整について説明するための説明図である。
【図１１】図１１は、第２の実施の形態にかかる情報処理装置の機能構成を例示するブロック図である。
【図１２】図１２は、第２の実施の形態にかかる情報処理手順を示すフローチャートである。
【図１３】図１３は、関心度の推定方法を説明するための説明図である。
【図１４】図１４は、コンテンツの表示位置の調整について説明するための説明図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、情報処理システム、情報処理方法および情報処理装置の実施の形態を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００１２】
（第１の実施の形態）
［情報処理システムの構成］
図１は、本発明の第１の実施の形態にかかる情報処理システムの構成を示す模式図である。図１に示すように、情報処理システム１０は、情報処理装置１、表示装置２、画像投影装置３、サーバ４、およびマイク５などを備え、データ伝送路Ｎを介して相互に接続されている。なお、情報処理装置１は、マイク５、表示装置２または画像投影装置３などを内蔵して、一体のハードウェアとしてもよい。
【００１３】
サーバ４は、演算装置や大容量の記憶装置を備えサーバ機能を有する機器であり、サーバ装置やユニット装置などに相当する。本実施の形態のサーバ４は、表示手段としての表示装置２や画像投影装置３に表示させるコンテンツを格納する。マイク５は、音声取得手段として、表示装置２や画像投影装置３の投影面の近傍に設置され、ターゲットの音声を含む音声信号を取得する。データ伝送路Ｎは、例えば、ＬＡＮ（Local  Area  Network）、イントラネット、イーサネット（登録商標）またはインターネットなどの各種ネットワーク通信路に相当する。なお、ネットワーク通信路の有線または無線を問わない。また、データ伝送路ＮにはＵＳＢ（Universal  Serial  Bus）などの各種バス通信路も含まれる。
【００１４】
情報処理装置１は、演算装置を備え情報処理機能を有する機器であり、タブレットなどの情報端末も含む。情報処理装置１は、図２に示すように、ＣＰＵ（Central  Processing  Unit）１０１、主記憶装置１０２、補助記憶装置１０３、通信ＩＦ（interface）１０４、及び外部ＩＦ１０５などを備え、バス通信路Ｂを介して相互に接続される。
【００１５】
ＣＰＵ１０１は、情報処理装置１全体の制御や搭載機能を実現するための演算装置である。主記憶装置１０２は、プログラムやデータなどを所定の記憶領域に保持する記憶装置（メモリ）である。主記憶装置１０２は、例えば、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）などである。また、補助記憶装置１０３は、主記憶装置１０２より容量の大きい記憶領域を備える記憶装置である。補助記憶装置１０３は、例えば、ＨＤＤ（Hard  Disk  Drive）やメモリカード（Memory  Card）などの不揮発性の記憶装置である。なお、補助記憶装置１０３には、例えば、フレキシブルディスク（ＦＤ）、ＣＤ（Compact  Disk）、及びＤＶＤ（Digital  Versatile  Disk）などの記憶媒体が含まれる。よって、ＣＰＵ１０１は、例えば、補助記憶装置１０３から主記憶装置１０２上に、プログラムやデータを読み出し、処理を実行することで、情報処理装置１全体の制御や搭載機能を実現する。
【００１６】
通信ＩＦ１０４は、情報処理装置１をデータ伝送路Ｎに接続するインタフェースである。これにより、情報処理装置１は、表示装置２、画像投影装置３、およびサーバ４とデータ通信可能となる。外部ＩＦ１０５は、情報処理装置１と外部機器１０６との間でデータを送受信するためのインタフェースである。外部機器１０６には、例えば、操作入力を受け付けるテンキーやタッチパネルなどの入力装置や、大容量の記憶領域を備える外部記憶装置や各種記憶媒体の書き込み又は読み取りを行うドライブ装置などがある。
【００１７】
表示装置２は、液晶ディスプレイなどに相当し、情報処理装置１での処理結果などの各種情報の他、後述する情報処理装置１の情報処理の結果、選択されたコンテンツをターゲットに向けて表示する。
【００１８】
画像投影装置３は、光学系の投影エンジンを備え投影機能を有する機器であり、プロジェクタなどに相当する。本実施の形態では、画像投影装置３は、表示装置２に表示されるコンテンツと同様のコンテンツを投影面に投影する。画像投影装置３は、図３に例示するように、ＣＰＵ３０１、メモリコントローラ３０２、メインメモリ３０３、およびホスト−ＰＣＩ（Peripheral  Component  Interconnect）ブリッジ３０４などを備える。メモリコントローラ３０２は、ホスト・バス３１１を介して、ＣＰＵ３０１、メインメモリ３０３、およびホスト−ＰＣＩブリッジ３０４などに接続されている。
【００１９】
ＣＰＵ３０１は、画像投影装置３の全体制御を行う演算装置である。メモリコントローラ３０２は、メインメモリ３０３に対する読み書きなどを制御する制御回路である。メインメモリ３０３は、例えば、プログラムやデータの格納用メモリ、プログラムやデータの展開用メモリ、描画用メモリ、または描画用メモリなどとして用いられる半導体メモリである。
【００２０】
ホスト−ＰＣＩブリッジ３０４は、周辺デバイスやＰＣＩデバイス３０５を接続するためのブリッジ回路である。ホスト−ＰＣＩブリッジ３０４は、ＨＤＤ  Ｉ／Ｆ３１２を介して、メモリカード３０６に接続される。また、ホスト−ＰＣＩブリッジ３０４は、ＰＣＩバス３１３を介して、ＰＣＩデバイス３０５に接続される。また、ホスト−ＰＣＩブリッジ３０４は、ＰＣＩバス３１３およびＰＣＩスロット３１４を介して、通信カード３０７、無線通信カード３０８、およびビデオカード３０９などに接続される。
【００２１】
メモリカード３０６は、基本ソフトウェア（ＯＳ：Operating  System）のブートデバイスとして利用される記憶メディアである。通信カード３０７および無線通信カード３０８は、画像投影装置３をＬＡＮなどのネットワークや通信回線に接続し、データ通信を制御する通信制御装置である。ビデオカード３０９は、投影面に出力する画像の表示を制御する表示制御装置である。なお、本実施の形態の画像投影装置３で実行される制御プログラムは、メインメモリ３０３の格納用メモリなどに予め組み込まれて提供される。
【００２２】
［情報処理装置の構成］
図４は、本実施の形態の情報処理装置１の機能構成を例示するブロック図である。情報処理装置１は、図４に示すように、サーバ４から適宜配信されるコンテンツを受信して、各種メモリで実現されるコンテンツ記憶部１１に記憶する。このコンテンツは、コンテンツを識別するコンテンツ番号と対応づけられてコンテンツ記憶部１１に記憶される。また、コンテンツ記憶部１１には、コンテンツ属性テーブルが記憶される。コンテンツ属性テーブルは、図５に例示するように、属性、コンテンツ番号が含まれる。属性とは、コンテンツにより情報を提供するターゲットの性別、年齢、使用言語、関心度などの属性を意味する。なお、関心度とは、コンテンツにより提供された情報に対するターゲットの興味の度合い（高低）を意味する。
【００２３】
また、情報処理装置１は、音声取得手段としてのマイク５から情報を受け取って、ＣＰＵ１０１が、補助記憶装置１０３から情報処理プログラムを読み出し、ＲＡＭに展開して実行する。これにより、ＲＡＭが、ターゲット属性推定部１４、およびコンテンツ選択取得部１５として機能する。これら各部の機能については後述する。
【００２４】
なお、本実施形態の情報処理装置１で実行される情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）などのコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００２５】
また、本実施の形態の情報処理装置１で実行される情報処理プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置１で実行される情報処理プログラムをインターネットなどのネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の情報処理プログラムを、ＲＯＭなどに予め組み込んで提供するように構成してもよい。
【００２６】
本実施の形態の情報処理装置１で実行される情報処理プログラムは、上述した各部（ターゲット属性推定部１４、およびコンテンツ選択取得部１５）を含むモジュール構成となっている。実際のハードウェアとしてはＣＰＵ１０１が上記記憶媒体から情報処理プログラムを読み出して実行することにより上記各部が主記憶装置１０２上にロードされ、各部が主記憶装置１０２上に生成される。
【００２７】
［情報処理］
図６は、情報処理装置１における情報処理手順を示すフローチャートである。図６に示す情報処理は、例えば、オペレータによる情報処理開始の指示入力があったタイミングで開始となり、情報処理はステップＳ１の処理に進む。
【００２８】
ステップＳ１の処理では、マイク５がターゲットの音声を含む音声信号を取得する。これにより、ステップＳ１の処理は完了し、情報処理はステップＳ２の処理に進む。
【００２９】
ステップＳ２の処理では、ターゲット属性推定部１４が、ステップＳ１で取得された音声信号に基づいて、例えば、ターゲットの使用言語や関心度などを含む属性を推定する。これにより、ステップＳ２の処理は完了し、情報処理はステップＳ３の処理に進む。
【００３０】
ここで、図７を参照して、ターゲットの属性の推定方法について説明する。図７に示すように、例えば、ターゲットが属性Ａ，Ｂ，Ｃのうちのどの属性に属しているかを推定する場合、図７に示すように、ターゲット属性推定部１４は、まず、取得された音声信号の特徴量を抽出する。特徴量とは、例えば、一定区間ごとの信号のエネルギーや周波数スペクトル、ＭＦＣＣ（メル周波数ケプストラム係数）などを意味する。なお、音声認識などに適用されるＭＦＣＣは、人間の聴覚の性質を取り入れた特徴量であって、次のようにして求められる。すなわち、まず、ＦＦＴによって得られた周波数スペクトルの絶対値をとり、人間の聴覚に応じた音の高さの尺度であるメル尺度上で等間隔なフィルタバンクにかけて各帯域のスペクトルの和を求める。次に、対数をとり、離散コサイン変換（ＤＣＴ）を行って、低次成分を取り出す。
【００３１】
次に、ターゲット属性推定部１４は、抽出された特徴量から各属性のモデルに対する尤度を算出する。各属性のモデルとは、例えば、ＧＭＭ（ガウス混合モデル）やＨＭＭ（隠れマルコフモデル）などにより各属性の特徴をモデル化したものである。各モデルの尤度算出対象のパラメータは、予め各属性のサンプルから抽出された特徴量を用いて学習される。例えば、各モデルのパラメータは、各多次元ガウス分布の重み、平均や共分散などである。尤度とは、そのモデルに対する尤もらしさを示し、尤度が高いほどそのモデルに合致していることを示す。属性の尤度は、属性のモデルのパラメータと抽出された特徴量とから算出できる。例えば、ＧＭＭの場合には、尤度は次式（１）によって算出される。ここで、Ｌが尤度、ｘがＭＦＣＣのベクトル、ｗｋがｋ番目の多次元ガウス分布とする。
【００３２】
【数１】
2015022357.tif 000003
【００３３】
次に、ターゲット属性推定部１４は、以上のようにして算出された尤度から、ターゲットがどの属性に属するかを判定する。例えば、ターゲット属性推定部１４は、尤度が最大となったモデルの属性を、このターゲットが属する属性と判定する。
【００３４】
なお、３つ以上の属性や、複数の属性を組み合わせた複合的な属性についても、同様に求めることができる。例えば、ターゲット属性推定部１４は、使用言語（Ａ，Ｂ，・・・）と関心度（高、中、低）との組み合わせからなる（使用言語Ａ、関心度高）、（使用言語Ａ、関心度低）、（使用言語Ｂ、関心度中）などの属性を予め規定しておく。そして、ターゲット属性推定部１４は、各属性のモデルに対するターゲットの特徴量の尤度を算出し、ターゲットがどの属性に属するかを推定する。
【００３５】
ステップＳ３の処理では、コンテンツ選択取得部１５が、図５に示すコンテンツ属性テーブルを参照し、ステップＳ２の処理で推定された属性に対応するコンテンツを選択し、コンテンツ記憶部１１から取得する。これにより、ステップＳ３の処理は完了し、情報処理はステップＳ４の処理に進む。
【００３６】
ステップＳ４の処理では、表示手段としての表示装置２あるいは画像投影装置３が、ステップＳ３の処理で取得されたコンテンツを表示する。これにより、ステップＳ４の処理は完了し、一連の情報処理は終了する。
【００３７】
なお、ステップＳ２の処理における属性の一例である関心度については、以下に説明する推定方法を採用してもよい。すなわち、図８に例示するように、ターゲット属性推定部１４が、まず、取得された音声信号に基づいて、ターゲットの発話の有無や、特定単語を検出し、これらが検出されたか否かに基づいて関心度を推定する。例えば、ターゲットがコンテンツを無言で見ているより何かを話しながら見ている方が関心度は高いと考えられることから、ターゲットの発話の有無を関心度の尺度とする。特定単語とは、例えば、欲しい、安いなどの関心度の尺度となるキーワードを意味する。そこで、ターゲット属性推定部１４は、例えば、発話、特定単語ともに検出された場合には関心度が高いと推定する。また、ターゲット属性推定部１４は、発話は検出されたが特定単語が検出されなかった場合には関心度は中程度と推定し、いずれも検出されなかった場合には関心度が低いと推定する。なお、特定単語は、予め単語データベースに登録しておく。あるいは、マイク５がターゲットの音声信号を取得する際に、表示装置２や画像投影装置３の投影面に表示されているコンテンツに含まれる特定単語を単語データベースに自動的に登録する。そして、ターゲット属性推定部１４が、関心度を推定する際に、単語データベースを参照して検出対象の特定単語を決定する。
【００３８】
上記のように関心度を他の属性とは別に推定する場合、ステップＳ３の処理で参照されるコンテンツ属性テーブルは、図９に示すように、関心度を他の属性と区別した形態としてもよい。
【００３９】
なお、コンテンツ属性テーブルには、関心度や使用言語などの属性に応じたコンテンツのコンテンツ番号が予め登録される。例えば、関心度が低い場合に対応付けされた初期コンテンツに対し、関心度が中程度の場合には、ターゲットの使用言語に翻訳された初期コンテンツが対応付けされる。また、関心度が高い場合には、さらに追加情報を含むコンテンツが対応付けされる。これにより、例えば、関心度や使用言語などのターゲットの属性に応じたコンテンツが表示装置２や画像投影装置３の投影面に表示される。
【００４０】
また、ステップＳ１の処理で取得される音声信号がマルチチャネルである場合には、情報処理装置１は、ＤＳ（Delay  and  Sum  Beamformer）法やＭＵＳＩＣ（MUltiple  SIgnal  Classification）法などのアレイ処理により音源の方向を推定することにより、ターゲットの位置を検出できる。その場合、情報処理装置１は、検出されたターゲットの位置に応じて、ステップＳ３の処理で選択され取得されたコンテンツを表示装置２あるいは画像投影装置３の投影面に表示する際の表示位置を調整できる。例えば、図１０に例示するように、ターゲットの位置が表示装置２や画像投影装置３の投影面の左側と検出された場合に、先に表示されているコンテンツａの左側に重ね合わせて選択取得されたコンテンツｂを表示できる。
【００４１】
（第２の実施の形態）
第２の実施の形態の情報処理システム１０は、映像取得手段としてのカメラ６を備える点を除いて、図１に示す上記第１の実施の形態の情報処理システム１０と同様に構成される。図１１は、第２の実施の形態の情報処理装置１の機能構成を例示する図である。カメラ６は、表示装置２や画像投影装置３の投影面の近傍に設置され、ターゲットの映像を含む映像信号を取得する。情報処理プログラムにより、図４に示す第１の実施の形態と同様のターゲット属性推定部１４、およびコンテンツ選択取得部１５に加え、ターゲット音声抽出部１２、ターゲット位置検出部１３、表示位置調整部１６がＲＡＭに展開される。本実施の形態の情報処理システム１０は、音声信号に加えて映像信号を取得することにより、後述するように、ターゲットの位置の検出精度が向上し、また、複数人のターゲットの位置を検出することもできる。そのため、複数人のターゲットのそれぞれの位置に応じて複数のコンテンツを表示させることもできる。
【００４２】
なお、情報処理装置１は、マイク５やカメラ６、表示装置２または画像投影装置３などを内蔵して、一体のハードウェアとしてもよい。
【００４３】
図１２は、第２の実施の形態の情報処理装置１における情報処理手順例を示す。図１２に示す情報処理は、上記第１の実施の形態の情報処理と同様に、例えば、オペレータによる情報処理開始の指示入力があったタイミングで開始となり、情報処理はステップＳ１１の処理に進む。
【００４４】
ステップＳ１１の処理では、上記した第１の実施の形態のステップＳ１の処理と同様に、マイク５がターゲットの音声を含む音声信号を取得する。加えて、カメラ６がターゲットの映像を含む映像信号を取得する。これにより、ステップＳ１１の処理は完了し、情報処理はステップＳ１２の処理に進む。
【００４５】
ステップＳ１２の処理では、ターゲット位置検出部１３が、ステップＳ１１の処理により取得された音声信号と映像信号とに基づいて、ターゲットが表示装置２または画像投影装置３の投影面に対してどの位置にいるかを検出する。例えば、前述したとおり、マルチチャネルの音声信号に基づいて、ＤＳ法やＭＵＳＩＣ法などのアレイ処理により音源の方向を推定することにより、ターゲットの位置を検出する。加えて、映像信号からターゲットの顔や身体を識別することにより、ターゲットの位置を検出する。なお、本実施の形態では、音声信号と映像信号とを複合的に利用することにより、ターゲットの位置の検出の精度が向上する。これにより、ステップＳ１２の処理は完了し、情報処理はステップＳ１３の処理に進む。
【００４６】
ステップＳ１３の処理では、ターゲット音声抽出部１２が、ステップＳ１２の処理で検出されたターゲットの位置に基づいて、ステップＳ１１の処理により取得された音声信号からターゲットの音声信号を抽出する。例えば、ターゲット音声抽出部１２は、映像に含まれる複数人の中から発声しているターゲットの音声信号を抽出する。また、ターゲット音声抽出部１２は、入力された音声信号にターゲットの音声以外の雑音が含まれている場合には、その影響を低減してターゲットの音声のみを抽出する。具体的には、音声信号が単チャネルの場合には、ターゲット音声抽出部１２は、スペクトルサブトラクション法などを用いて処理を行う。音声信号が複数チャネルの場合には、ターゲット音声抽出部１２は、ＤＳ法やＭＶＤＲ法などのビームフォーミングや、ＩＣＡ（独立成分分析）などを用いたブラインド音源分離などの方法を用いて処理を行う。なお、ビームフォーミングなどを用いる際、ターゲットの位置に基づいて目的音を抽出する。このように、音声信号と映像信号とを複合的に利用することにより、映像に含まれる発声している複数人のターゲットの位置と音声とを検出できる。これにより、ステップＳ１３の処理は完了し、情報処理はステップＳ１４の処理に進む。
【００４７】
ステップＳ１４の処理では、ターゲット属性推定部１４が、ステップＳ１３の処理で抽出されたターゲットの音声信号と、ステップＳ１１で取得された映像信号とに基づいて、例えば、ターゲットの使用言語や関心度などの属性を推定する。これにより、ステップＳ１４の処理は完了し、情報処理はステップＳ１５の処理に進む。
【００４８】
なお、属性の推定方法は、上記ステップＳ２の処理における属性の推定方法と同様である。すなわち、取得された音声信号に加え映像信号の特徴量を抽出する点が異なる以外、図７に示す属性の推定方法を適用できる。本実施の形態では、ターゲット属性推定部１４の関心度推定部１４１が、ターゲットの関心度を推定し、属性推定部１４２がターゲットの使用言語などの他の属性を推定する。本実施の形態では、音声信号に加えて映像信号が取得されることにより、関心度の推定の精度が向上する。例えば、図１３に例示するように、関心度推定部１４１が、まず、取得された映像信号に基づいて、ターゲットの顔を検出する。また、関心度推定部１４１は、図８に示す処理と同様に、取得された音声信号に基づいて、ターゲットの発話の有無や、単語データベースから抽出された特定単語を検出する。ここで、ターゲットの顔が検出されることは、カメラ６が映像信号を取得する際に、表示装置２や画像投影装置３の投影面に表示されているコンテンツをターゲットが見ていること意味する。そこで、関心度推定部１４１は、例えば、顔、発話および特定単語の全てが検出された場合には関心度が高いと推定する。また、関心度推定部１４１は、顔および発話が検出されたが特定単語が検出されなかった場合には関心度は中程度と推定し、顔が検出されたが発話が検出されなかった場合には関心度が低いと推定する。
【００４９】
なお、取得された映像信号中に顔が検出されない場合には、ターゲットがコンテンツを見ていないことを意味することから、関心度推定部１４１は、例えば、システム対象外などの通知情報を発信し、以降の処理は中止あるいは中断する。
【００５０】
ステップＳ１５の処理では、コンテンツ選択取得部１５が、ステップＳ３の処理と同様に、図５または図９に示すコンテンツ属性テーブルを参照し、ステップＳ１４の処理で推定された属性に対応するコンテンツを選択し、コンテンツ記憶部１１から取得する。これにより、ステップＳ１５の処理は完了し、情報処理はステップＳ１６の処理に進む。
【００５１】
ステップＳ１６の処理では、表示位置調整部１６が、図１０に示すように、表示装置２あるいは画像投影装置３の投影面に表示する際の表示位置を調整する。また、前述したように、本実施の形態では複数人のターゲットの位置を推定できるので、例えば、図１４に示すように、複数人のターゲットのそれぞれに属性に応じて異なるコンテンツを表示するよう、表示位置を調整することも可能である。これにより、ステップＳ１６の処理は完了し、情報処理はステップＳ１７の処理に進む。
【００５２】
ステップＳ１７の処理では、表示手段としての表示装置２あるいは画像投影装置３が、ステップＳ１５の処理で取得されたコンテンツを、ステップＳ１６の処理で調整された表示位置に表示する。これにより、ステップＳ１７の処理は完了し、一連の情報処理は終了する。
【００５３】
以上、説明したように、本発明によれば、音声により属性を推定し、推定された属性に対応するコンテンツを選択して表示できるので、ターゲットの属性に応じて適切なコンテンツを表示できる。また、本発明によれば、ターゲットの位置を検出することにより、ターゲットの位置に応じてコンテンツの表示位置を調整できる。また、本発明によれば、音声信号に加えて映像信号を取得することにより、精度高くターゲットの位置を検出できるので、ターゲットの位置に応じてコンテンツの表示位置を精度高く調整できる。また、本発明によれば、音声信号に加えて映像信号を取得することにより、複数人のターゲットの位置を検出することができるので、複数人のターゲットのそれぞれの位置に応じて複数のコンテンツを表示させることもできる。
【符号の説明】
【００５４】
１  情報処理装置
２  表示装置
３  画像投影装置
４  サーバ
５  マイク（音声取得手段）
６  カメラ（映像取得手段）
１０  情報処理システム
１２  ターゲット音声抽出部
１３  ターゲット位置検出部
１４  ターゲット属性推定部
１４１  関心度推定部
１４２  属性推定部
１５  コンテンツ選択取得部
１６  表示位置調整部
【先行技術文献】
【特許文献】
【００５５】
【特許文献１】特開２０１０−１９１４８７号公報
【特許文献２】特開２０１２−１８５３０３号公報
【特許文献３】特開２０１２−８３９２５号公報
【特許文献４】特開２０１２−１１８６２３号公報
【特許文献５】特開２０１２−１８５３０２号公報
【図１】
2015022357.tif 000004
【図２】
2015022357.tif 000005
【図３】
2015022357.tif 000006
【図４】
2015022357.tif 000007
【図５】
2015022357.tif 000008
【図６】
2015022357.tif 000009
【図７】
2015022357.tif 000010
【図８】
2015022357.tif 000011
【図９】
2015022357.tif 000012
【図１０】
2015022357.tif 000013
【図１１】
2015022357.tif 000014
【図１２】
2015022357.tif 000015
【図１３】
2015022357.tif 000016
【図１４】
2015022357.tif 000017