(57)【要約】【課題】視聴側の人物の属性等に適応し、より訴求力のあるコンテンツを提示する。【解決手段】主となるキャラクタ表示領域(IMC)を含む複数の表示領域を有するサイネージボード(SB)と、コンテンツデータを再生し、サイネージボード(SB)の少なくとも主となるキャラクタ表示領域に画像を表示させる再生系21〜25と、サイネージボード(SB)を視認可能な範囲の周囲状態を撮影する撮像部CMと、撮影した周囲状態に応じて、再生系21〜25で画像を再生してサイネージボード(SB)に表示させる表示領域を切換えるＣＰＵ32とを備える。【選択図】図３
2017116693.tif 000002
【特許請求の範囲】
【請求項１】
複数の表示領域を有する表示部と、
上記複数の表示領域のうちの第１の表示領域にコンテンツの情報を表示させるコンテンツ再生部と、
上記表示部から所定の範囲内における周囲状態を取得する状態取得部と、
上記状態取得部で取得した周囲状態に応じて、上記複数の表示領域のうちの第２の表示領域に上記コンテンツに関連する情報を表示させる再生制御部と、
を備えることを特徴とするコンテンツ再生装置。
【請求項２】
上記表示部は、主となるキャラクタ表示領域を含み、
上記コンテンツ再生部は、コンテンツデータを再生し、上記表示部の少なくとも主となるキャラクタ表示領域に画像を表示させ、
上記所定の範囲は、ユーザが表示部を視認可能な範囲である
ことを特徴とする請求項１記載のコンテンツ再生装置。
【請求項３】
上記状態取得部は、上記表示部を視認可能な範囲に存在する人物を撮影する撮影部を備え、
上記撮影部で得た画像中の人物の顔認識を行なって、当該人物の性別、年齢層、及び人種の少なくとも１つの属性を推定する
ことを特徴とする請求項１または２記載のコンテンツ再生装置。
【請求項４】
上記状態取得部は、さらに上記顔認識で推定した複数の人物の属性の組合せによる関係性を抽出して推定する関係性抽出部を備えることを特徴とする請求項３記載のコンテンツ再生装置。
【請求項５】
上記状態取得部は、
上記表示部を視認可能な範囲に存在する人物を撮影する撮影部と、
上記撮影部で得た画像中の人物の顔認識を行なって、当該人物の特徴情報を抽出する顔認識部と、
予め複数の人物の顔特徴情報を過去のコンテンツデータの再生履歴情報と関連付けて記憶する記憶部と、
上記顔認識部で抽出した特徴情報を用いて上記記憶部を検索する検索部と、
を備え、
上記再生制御部は、上記検索部で検索した特徴情報と関連付けられた過去のコンテンツデータの再生履歴情報に基づいて、上記コンテンツ再生部で画像を再生して上記表示部に表示させる表示領域を切換える
ことを特徴とする請求項１または２記載のコンテンツ再生装置。
【請求項６】
上記表示部は、複数の主となるキャラクタ表示領域を選択的に設定し、
上記再生制御部は、上記主となるキャラクタ表示領域に重畳して表示させる表示領域の形状を選択的に設定した主となるキャラクタ表示領域に合わせて変形させる
ことを特徴とする請求項２乃至５いずれか記載のコンテンツ再生装置。
【請求項７】
上記状態取得部は、上記表示部から所定の範囲内における人物の音声を入力する音声入力部を備え、
上記音声入力部で得た音声中の人物の音声認識を行なって、当該人物の性別、年齢層、及び人種の少なくとも１つの属性を推定する
ことを特徴とする請求項１または２記載のコンテンツ再生装置。
【請求項８】
複数の表示領域を有する表示部を備えた装置でのコンテンツ表示方法であって、
上記複数の表示領域のうちの第１の表示領域にコンテンツの情報を表示させるコンテンツ再生工程と、
上記表示部から所定の範囲内における周囲状態を取得する状態取得工程と、
上記状態取得工程で取得した周囲状態に応じて、上記複数の表示領域のうちの第２の表示領域に上記コンテンツに関連する情報を表示させる再生制御工程と、
を有することを特徴とするコンテンツ再生方法。
【請求項９】
複数の表示領域を有する表示部を備えた装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
上記複数の表示領域のうちの第１の表示領域にコンテンツの情報を表示させるコンテンツ再生部、
上記表示部から所定の範囲内における周囲状態を取得する状態取得部、及び
上記状態取得部で取得した周囲状態に応じて、上記複数の表示領域のうちの第２の表示領域に上記コンテンツに関連する情報を表示させる再生制御部、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば店舗等で不特定多数の顧客に商品の説明を実施する必要がある状態に好適なコンテンツ再生装置、コンテンツ再生方法及びプログラムに関する。
【背景技術】
【０００２】
再生音声と周囲の騒音レベルとに応じて、字幕文字情報の表示の実行の有無を制御するようにした技術が提案されている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３０４５３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献に記載された技術では、騒音が大きくなるのに対応して字幕文字情報を表示するようにしているが、騒音の大小以外にその装置が設置されている周囲の状態を判断する手段がなく、また実際に表示する内容を含めて、視聴する対象となる人物の属性等も考慮されていない。
【０００５】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、視聴する側の人物の属性等に適応して、より訴求力のあるコンテンツを提示することが可能なコンテンツ再生装置、コンテンツ再生方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、複数の表示領域を有する表示部と、上記複数の表示領域のうちの第１の表示領域にコンテンツの情報を表示させるコンテンツ再生部と、上記表示部から所定の範囲内における周囲状態を取得する状態取得部と、上記状態取得部で取得した周囲状態に応じて、上記複数の表示領域のうちの第２の表示領域に上記コンテンツに関連する情報を表示させる再生制御部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、視聴する側の人物の属性等に適応して、より訴求力のあるコンテンツを提示することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係るシステム全体の構成を示す図。
【図２】同実施形態に係るサイネージ装置の外観構成を示す斜視図。
【図３】同実施形態に係るサイネージの電子回路の機能構成を示すブロック図。
【図４】同実施形態に係る第１の動作例の処理内容を示すフローチャート。
【図５】同実施形態に係るサイネージボード上の表示エリアの切換えを例示する図。
【図６】同実施形態に係る第２の動作例の処理内容を示すフローチャート。
【図７】同実施形態に係る他のサイネージボードの構成を例示する図。
【発明を実施するための形態】
【０００９】
以下、本発明を店舗で使用されるサイネージシステムに適用した場合の一実施形態について、図面を参照して説明する。
【００１０】
［構成］  
図１は、同システム全体の接続構成を示すブロック図である。店舗フロア内に複数のサイネージ装置１０，１０，‥‥が設置される。これらサイネージ装置１０，１０，‥‥が、無線ＬＡＮやインターネットを含むネットワークＮＷを介して、外部の販売支援サーバＳＶと接続される。
【００１１】
販売支援サーバＳＶは、各サイネージ装置１０，１０，‥‥で再生するための複数のコンテンツデータを記憶するデータベース（ＤＢ）を備える。
【００１２】
図２は、上記サイネージ装置１０の外観構成を示す示す図である。サイネージ装置１０はプロジェクタ技術を用いた電子マネキンであり、装置筐体１０Ａの上面前端側に、交換可能なサイネージボードＳＢが立設される。このサイネージボードＳＢは、サイネージ１０の本来は矩形の投影可能領域内に収まるように設置された、任意形状を有する半透過板状の構成を有する。
【００１３】
本実施形態では、上記サイネージボードＳＢが、向かって左側の不定型な人物キャラクタを投影したキャラクタ表示エリア（表示部）ＩＭＣと、向かって右側の略円形の吹出し状の第１のテキスト表示エリア（表示部）ＩＭ１とから構成されているものとする。このサイネージボードＳＢは、サイネージ装置１０に対して着脱可能である。
【００１４】
サイネージボードＳＢは、装置筐体１０Ａの上面に設けられた、図示しないリアプロジェクション方式の投影レンズから出射された光像が背面側から投影されることで、形状に合致した画像を表示する。
【００１５】
このサイネージボードＳＢの下部には複数、ここでは４個の操作ボタンＢ１〜Ｂ４を合わせて投影しており、当該ボタン中のいずれかを来店客がタッチ操作した場合、ボード取付け基部に配列された、それぞれが指向性を有するライン状の赤外線センサアレイ（不図示）により当該操作位置が検知可能となっている。
【００１６】
さらに装置筐体１０Ａの前面には、このサイネージ装置１０の前面側の状態を撮影するための超広角光学系の撮像部（撮影部）ＣＭと、左右１対のマイクロホン（音声入力部）ＭＣｌ，ＭＣｒを備える。
【００１７】
次に図３によりサイネージ１０の主として電子回路の機能構成を説明する。コンテンツメモリ２０には上記販売支援サーバＳＶから受信したコンテンツデータが記憶される。このコンテンツデータは、複数の画像データと音データ、及び商品説明のためのテキストデータを含む付加データ等から構成される。コンテンツデータ中の画像データは、後述するＣＰＵ３２により読出され、バスＢを介して投影画像駆動部２１に送られる。
【００１８】
上記投影画像駆動部２１は、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、表示素子であるマイクロミラー素子２２を表示駆動する。
【００１９】
このマイクロミラー素子２２は、アレイ状に配列された複数個、例えばＷＸＧＡ（横１２８０画素×縦７６８画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。
【００２０】
一方で、光源部２３から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。光源部２３は、半導体発光素子であるＬＥＤを有し、Ｒ，Ｇ，Ｂの原色光を時分割で繰返し出射する。光源部２３が有するＬＥＤは、広義でのＬＥＤとして、ＬＤ（半導体レーザ）や有機ＥＬ素子を含むものとしても良い。
【００２１】
この光源部２３からの原色光が、ミラー２４で全反射して上記マイクロミラー素子２２に照射される。そして、マイクロミラー素子２２での反射光で光像が形成され、形成された光像が投影レンズ部２５を介して上記サイネージボードＳＢに背面側から投射される。
【００２２】
上記撮像部ＣＭは、サイネージ装置１０の正面方向を向いた超広角系の撮影レンズ部２７、及びこの撮影レンズ部２７の焦点位置に配設された固体撮像素子であるＣＭＯＳイメージセンサ２８を含む。
【００２３】
ＣＭＯＳイメージセンサ２８で得られる画像信号は、Ａ／Ｄ変換器２９でデジタル化された後、撮影画像処理部３０に送られる。
【００２４】
この撮影画像処理部３０は、画像処理専用のプロセッサで構成されるもので、上記ＣＭＯＳイメージセンサ２８を走査駆動して撮影動作を実行させ、撮影により得た画像データをデータファイル化して、後述するＣＰＵ３２に送出する。
【００２５】
加えて撮影画像処理部３０は、撮影により得た画像データに対する顔認識処理を実行し、顔全体の輪郭、顔を構成する各パーツである眉、目、鼻、口、耳の形と配置バランス、目の下の涙袋やほうれい線、肌の色素の量、瞳の色などを認識、抽出することで、画像中の人物の性別、年令層、人種等を算出する。
【００２６】
上記各回路の動作すべてをＣＰＵ３２が制御する。このＣＰＵ３２は、メインメモリ３３及びプログラムメモリ３４と直接接続される。メインメモリ３３は、例えばＳＲＡＭで構成され、ＣＰＵ３２のワークメモリとして機能する。プログラムメモリ３４は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ３２が実行する動作プログラムや各種定型データ等を記憶する。
【００２７】
ＣＰＵ３２は、上記プログラムメモリ３４に記憶されている動作プログラムや定型データ等を読出し、メインメモリ３３に展開して記憶させた上で当該プログラムを実行することにより、このサイネージ１０を統括して制御する。
【００２８】
上記ＣＰＵ３２は、操作部３５からの操作信号に応じて各種投影動作を実行する。この操作部３５は、サイネージ１０の本体に備える、電源キーを含むいくつかの操作キーのキー操作信号、または上記サイネージボードＳＢの一部に仮想的に投影する上記操作ボタンＢ１〜Ｂ４への操作を検出する、上記赤外線センサアレイからの検出信号を受付け、受付けた操作に応じた信号を上記ＣＰＵ３２へ送出する。
【００２９】
上記ＣＰＵ３２はさらに、上記バスＢを介して音処理部３６、無線ＬＡＮインタフェース（Ｉ／Ｆ）３８と接続される。  
音処理部３６は、ＰＣＭ音源等の音源回路を備え、投影動作時に上記コンテンツメモリ２０から読出されるコンテンツデータ中の音データをアナログ化し、このサイネージ装置１０の装置筐体１０Ａ背面側に設けられるスピーカ部３７を駆動して放音させ、あるいは必要によりビープ音等を発生させる。
【００３０】
また、上記マイクロホンＭＣｌ，ＭＣｒから入力したアナログの音声信号をデジタル化し、音声データファイル化して上記ＣＰＵ３２へ出力する。
【００３１】
無線ＬＡＮインタフェース３８は、無線ＬＡＮアンテナ３９を介して図示しない最寄りの無線ＬＡＮルータと接続し、データの送受を行なうもので、上記図１の販売支援サーバＳＶと交信する。
【００３２】
［第１の動作例］  
次に上記実施形態の第１の動作例について説明する。  
図４は、主として端末側の装置であるサイネージ装置１０で実行される、コンテンツの再生に係る動作を示すフローチャートである。
【００３３】
その当初にサイネージ装置１０のＣＰＵ３２は、コンテンツメモリ２０に予め記憶されている、デフォルトのコンテンツデータを読出して、投影画像駆動部２１、マイクロミラー素子２２、及び光源部２３により光像を形成して投影レンズ部２５によりサイネージボードＳＢに画像を投影させると共に、音処理部３６によりスピーカ部３７から音声を放音させる（ステップＳ１０１）。
【００３４】
このときサイネージボードＳＢでは、上記図２で示した如く、キャラクタ表示エリアＩＭＣに人物キャラクタの画像が投影されるのみで、第１のテキスト表示エリアＩＭ１は白一色の画像として具体的な画像は投影されない。
【００３５】
このデフォルトのコンテンツ再生状態でＣＰＵ３２は撮像部ＣＭによりサイネージ装置１０が設置されている前面側に位置する来店客を撮影させる（ステップＳ１０２）。
【００３６】
ＣＰＵ３２は、この撮影により得られた画像データに対して撮影画像処理部３０で人物の顔認識処理を実行させ、画像に写っている来店客の性別と年令層とを算出させる（ステップＳ１０３）。
【００３７】
この場合、年齢層は、例えば「７才未満」「小学生（低学年）」「小学生（高学年）」「１３〜１９才」「２０代」「３０代」‥‥「７０代以上の高齢者」のように年代分けを行なう。また、画像中に複数の人物が写っていた場合には、その撮影された画像中の位置に応じて、サイネージ装置１０に近い側に位置する人物が、サイネージ装置１０でのコンテンツ再生により興味を持っているものとして、各人物に対する優先順位を設定した上で集計処理を行なう。
【００３８】
上記顔認識処理に対する集計の結果、ＣＰＵ３２はまず撮影画像から人物を認識することができたか否かにより、サイネージ装置１０の前に来店客が存在するか否かを判断する（ステップＳ１０４）。
【００３９】
ここで撮影画像から人物を認識することができず、サイネージ装置１０の前に来店客が存在しないと判断した場合（ステップＳ１０４のＮｏ）、ＣＰＵ３２は上記ステップＳ１０１からの処理に戻り、デフォルトのコンテンツ再生状態を維持しながら、来店客の到来を待機する。
【００４０】
また上記ステップＳ１０４において、撮影画像から人物を認識することができ、サイネージ装置１０の前に来店客が存在すると判断した場合、ＣＰＵ３２は撮影画像処理部３０での認識結果から、まず「１３〜１９才」「２０代」‥‥「６０代」の女性の来店客が多いか否かを判断する（ステップＳ１０５）。
【００４１】
写っていた来店客が１名で女性であった場合、あるいは複数名で女性の来店客の方が多いと判断した場合（ステップＳ１０５のＹｅｓ）、ＣＰＵ３２はその時点で再生していたコンテンツデータが、女性向けのカラーバリエーションがあるような商品の画像を含むコンテンツデータであった場合には、その女性向けのカラーバリエーションの商品の色の名前を含むテキストデータを読出し、サイネージボードＳＢ上のそれまで画像投影を行なっていなかった第１のテキスト表示エリアＩＭ１を含む表示エリア（表示部）に当該テキストデータを画像化して投影させるべく追加表示設定を行なわせる（ステップＳ１０６）。
【００４２】
この場合、キャラクタ表示エリアＩＭＣに次いで大きな表示エリアである第１のテキスト表示エリアＩＭ１にテキストデータの表示を行なうのに加えて、コンテンツデータ中にその女性向けのカラーバリエーションのさらに詳細な説明を行なうメッセージやその他の商品説明などのテキストデータがある場合には、それらを用いてさらにサイネージボードＳＢ上に表示エリアを設定してそれらの投影も行なう。
【００４３】
図５（Ａ）は、上記第１のテキスト表示エリアＩＭ１に加えて、キャラクタ表示エリアＩＭＣ上に第２のテキスト表示エリアＩＭ２を重畳して設定した場合を例示する図である。
【００４４】
図５（Ｂ）は、上記第１のテキスト表示エリアＩＭ１に加えて、キャラクタ表示エリアＩＭＣ上に、第２のテキスト表示エリアＩＭ２と第３のテキスト表示エリアＩＭ３とを重畳して設定した場合を例示する図である。
【００４５】
こうして女性向けのテキストデータが予め設定されていた場合にはそのテキストデータの画像を第１のテキスト表示エリアＩＭ１と必要により第２のテキスト表示エリアＩＭ２及び第３のテキスト表示エリアＩＭ３を用いて再生し、これら追加表示を行なったテキストデータが予め設定されている再生時間を終了した時点で、一旦それらの再生を終了して、上記ステップＳ１０１からのデフォルトのコンテンツ再生状態に戻る。
【００４６】
また上記ステップＳ１０５において、撮影画像処理部３０での認識結果から、女性の来店客が多くはないと判断した場合（ステップＳ１０５のＮｏ）、ＣＰＵ３２は次に７０代以上の高齢者が多いか否かを判断する（ステップＳ１０７）。
【００４７】
写っていた来店客が１名で高齢者であった場合、あるいは複数名で高齢者の来店客の方が多いと判断した場合（ステップＳ１０７のＹｅｓ）、ＣＰＵ３２はその時点で再生していたコンテンツデータに対応するテキストデータをコンテンツメモリ２０から取得し、第１のテキスト表示エリアＩＭ１と第２のテキスト表示エリアＩＭ２、必要により第３のテキスト表示エリアＩＭ３を広げられるだけ表示エリアを大きく設定した上で、第１のテキスト表示エリアＩＭ１を含む表示エリアに当該テキストデータの画像を投影させるべく追加表示設定を行なわせる（ステップＳ１０８）。
【００４８】
このようにすることで、来店客が視力が弱い場合または耳が遠い場合であっても、通常音声出力していた内容の一部をテキストデータとしてあらたな領域に大きく表示することで、内容を理解しやすくすることができる。
【００４９】
この場合、特にサイネージボードＳＢのキャラクタ表示エリアＩＭＣで投影している人物キャラクタ、第１のテキスト表示エリアＩＭ１、及び必要により第２のテキスト表示エリア（表示部）ＩＭ２、第３のテキスト表示エリア（表示部）ＩＭ３で投影しているテキストデータの画像に関し、よりコントラストを強調して画像の輪郭がはっきりと視認できるように、投影する画像の色、シャープネスを調整するものとしても良い。
【００５０】
こうして高齢者向けのテキストデータの画像をより読みやすい状態で第１のテキスト表示エリアＩＭ１と必要により第２のテキスト表示エリアＩＭ２及び第３のテキスト表示エリアＩＭ３を用いて再生し、これら追加表示を行なったテキストデータが予め設定されている再生時間を終了した時点で、一旦それらの再生を終了して、上記ステップＳ１０１からのデフォルトのコンテンツ再生状態に戻る。
【００５１】
また上記ステップＳ１０７において、撮影画像処理部３０での認識結果から、７０代以上の高齢者が多くはないと判断した場合（ステップＳ１０７のＮｏ）、ＣＰＵ３２は次に「７才未満」「小学生（低学年）」「小学生（高学年）」の子どもと、「２０代」乃至「５０代」の成人とが画像中のほぼ同位置に揃って写っているか否かにより、親子連れがいるか否かを判断する（ステップＳ１０９）。
【００５２】
ここで親子連れがいると判断した場合（ステップＳ１０９のＹｅｓ）、ＣＰＵ３２はその時点で再生していたコンテンツデータに対応するテキストデータをコンテンツメモリ２０から取得し、子どもの年齢層に応じた文字種別と表示位置で第１のテキスト表示エリアＩＭ１と第２のテキスト表示エリアＩＭ２、必要により第３のテキスト表示エリアＩＭ３を設定した上で、第１のテキスト表示エリアＩＭ１を含む表示エリアに当該テキストデータの画像を投影させるべく追加表示設定を行なわせる（ステップＳ１１０）。
【００５３】
具体的には子どもが「７才未満」であった場合には、特に第２のテキスト表示エリアＩＭ２及び第３のテキスト表示エリアＩＭ３の表示位置をキャラクタ表示エリアＩＭＣ上のより低い位置に設定すると共に、テキストデータに代えて別途用意したゲームやマンガのキャラクタ画像を投影させるものとしても良い。
【００５４】
子どもが「小学生（低学年）」であった場合には、テキストデータとしてひらがなの画像を取得し、第１のテキスト表示エリアＩＭ１と第２のテキスト表示エリアＩＭ２、必要により第３のテキスト表示エリアＩＭ３を広げられるだけ表示エリアを大きく設定した上で、これら第１のテキスト表示エリアＩＭ１を含む表示エリアにひらがなの画像を投影させるべく追加表示設定を行なわせる。
【００５５】
子どもが「小学生（高学年）」であった場合には、テキストデータとして漢字部分にはルビを付したテキストデータの画像を取得し、第１のテキスト表示エリアＩＭ１と第２のテキスト表示エリアＩＭ２、必要により第３のテキスト表示エリアＩＭ３を広げられるだけ表示エリアを大きく設定した上で、これら第１のテキスト表示エリアＩＭ１を含む表示エリアにテキストデータの画像を投影させるべく追加表示設定を行なわせる。
【００５６】
こうして親子連れに対して特に子ども向けの画像を第１のテキスト表示エリアＩＭ１と必要により第２のテキスト表示エリアＩＭ２及び第３のテキスト表示エリアＩＭ３を用いて再生し、これら追加表示を行なったテキストデータ（あるいはキャラクタ画像）が予め設定されている再生時間を終了した時点で、一旦それらの再生を終了して、上記ステップＳ１０１からのデフォルトのコンテンツ再生状態に戻る。
【００５７】
また上記ステップＳ１０９において、撮影画像処理部３０での認識結果から、親子連れはいないと判断した場合（ステップＳ１０９のＮｏ）、ＣＰＵ３２は次に「１３〜１９才」「２０代」‥‥「６０代」の男性客が多いか否かを判断する（ステップＳ１１１）。
【００５８】
写っていた来店客が１名で男性であった場合、あるいは複数名で男性の来店客の方が多いと判断した場合（ステップＳ１１１のＹｅｓ）、ＣＰＵ３２はその時点で再生していたコンテンツデータが、商品のハードウェアを強調するようなテキストデータを含むコンテンツデータであった場合には、そのハードウェアを強調するテキストデータを読出し、サイネージボードＳＢ上のそれまで画像投影を行なっていなかった第１のテキスト表示エリアＩＭ１を含む表示エリアに当該テキストデータを画像化して投影させるべく追加表示設定を行なわせる（ステップＳ１１２）。
【００５９】
この場合、キャラクタ表示エリアＩＭＣに次いで大きな表示エリアである第１のテキスト表示エリアＩＭ１にテキストデータの表示を行なうのに加えて、コンテンツデータ中にハードウェアを強調するその他の商品説明などのテキストデータがある場合には、それらを用いてさらにサイネージボードＳＢ上に第２のテキスト表示エリアＩＭ２と必要により第３のテキスト表示エリアＩＭ３表示エリアを設定してそれらのテキストデータの画像の投影も行なう。
【００６０】
こうして男性向けと思われるテキストデータが予め設定されていた場合にはそのテキストデータの画像を第１のテキスト表示エリアＩＭ１と必要により第２のテキスト表示エリアＩＭ２及び第３のテキスト表示エリアＩＭ３を用いて再生し、これら追加表示を行なったテキストデータが予め設定されている再生時間を終了した時点で、一旦それらの再生を終了して、上記ステップＳ１０１からのデフォルトのコンテンツ再生状態に戻る。
【００６１】
なお上記ステップＳ１１１において、撮影画像処理部３０での認識結果から、男性の来店客が多くはないと判断した場合（ステップＳ１１１のＮｏ）、ＣＰＵ３２は再び上記ステップＳ１０１に戻って、デフォルトのコンテンツ再生を行なう。
【００６２】
なお上記動作例では、撮影画像処理部３０での認識結果からサイネージ装置１０の前に来店客が存在すると判断した場合に、女性の来店客が多いか否か、高齢者が多いか否か、親子連れがいるか否か、男性の来店客が多いか否かを順次判断する場合について説明した。しかしながらこれらの判断順序は固定されたものではなく、サイネージ装置１０が設置されている店舗内の売場での取り扱い商品や、当該店舗が販売促進のキャンペーンでターゲットとしている購買層などに応じて、任意に可変することが可能である。
【００６３】
例えば、日本語のコンテンツを再生中に、撮像部ＣＭにより、２種類の人種（日本人と白人）を検知したら、白人が英語の操作ボタンが操作されずとも英語のテキスト表示を行なう。その後、白人が停止しなかったら、次に該当すると予想される別の言語にテキスト表示を切り替える。または、撮像部ＣＭにより２種類の人種（日本人と白人）を検知したら、予想される２ヶ国の言語（日本語と英語）のダブルテロップで表示する。
【００６４】
上記実施形態では、状態取得部として備えている撮像部（撮影部）ＣＭを用いて、撮影部で得た画像中の人物の顔認識を行なって、人物の性別、年齢層、及び人種の少なくとも１つの属性を推定することとした。しかし、本発明はこの構成に限らない。状態取得部として備えているマイクロホン（音声入力部）ＭＣｌ，ＭＣｒを用いて、表示部から所定の範囲内における人物の音声を入力し、音声入力部で得た音声中の人物の音声認識を行なって、人物の性別、年齢層、及び人種の少なくとも１つの属性を推定するようにしても良い。または、撮像部（撮影部）ＣＭと、マイクロホン（音声入力部）ＭＣｌ，ＭＣｒとを併用して上記属性を推定しても良い。
【００６５】
動作例としては、状態取得部として備えているマイクロホン（音声入力部）ＭＣｌ，ＭＣｒを用いて表示部から所定の範囲内における人物の音声を入力し、日本語のコンテンツを再生中に、音声入力部で得た音声中の人物の音声認識を行なって、英語を認識したら、ユーザが英語の操作釦を押さなくても英語のテキスト表示を行なう。
【００６６】
また上記実施形態では、コンテンツメモリ２０が販売支援サーバＳＶから予め受信して記憶しているコンテンツデータに基づいた再生動作を行なうものとして説明したが、本実施形態はこれに限らず、必要に応じてサイネージ装置１０がネットワークＮＷを介して販売支援サーバＳＶからその都度必要なコンテンツデータを取得した上で再生するものとしても良い。
【００６７】
［第２の動作例］  
次に上記実施形態の第２の動作例について説明する。  
なお本動作例では、サイネージ装置１０を設置している店舗で商品の説明を行なう説明員、及びこの店舗の来店客で会員登録を行なっている顧客に関し、販売支援サーバＳＶで顔認識技術上の特徴パラメータ、具体的には顔全体の輪郭、顔を構成する各パーツである眉、目、鼻、口、耳の形と配置バランス、目の下の涙袋やほうれい線、肌の色素の量、瞳の色などを認識、抽出して本人の情報と関連付けて登録しているものとする。
【００６８】
加えて、説明員であれば、当該説明員が説明可能な商品の分野や個別機種等の情報をコンテンツデータ化した上で説明員本人の情報と関連付けて販売支援サーバＳＶで登録しているものとする。  
また顧客であれば、過去に当該店舗で説明を受けた商品、既に購入済の商品等に関する情報を顧客本人の情報と関連付けて販売支援サーバＳＶに登録しているものとする。
【００６９】
またコンテンツメモリ２０に記憶されるコンテンツデータには、テキストデータとして日本語のテキストデータと合わせて、外国語、例えば英語のテキストデータが含まれているものとする。
【００７０】
図６は、主として端末側の装置であるサイネージ装置１０で実行される、コンテンツの再生に係る動作を示すフローチャートである。
【００７１】
その当初にサイネージ装置１０のＣＰＵ３２は、コンテンツメモリ２０に予め記憶されている、デフォルトのコンテンツデータを読出して、投影画像駆動部２１、マイクロミラー素子２２、及び光源部２３により光像を形成して投影レンズ部２５によりサイネージボードＳＢに画像を投影させると共に、音処理部３６によりスピーカ部３７から音声を放音させる（ステップＳ２０１）。
【００７２】
このときサイネージボードＳＢでは、上記図２で示した如く、キャラクタ表示エリアＩＭＣに人物キャラクタの画像が投影されるのみで、第１のテキスト表示エリアＩＭ１は白一色の画像として具体的な画像は投影されない。
【００７３】
このデフォルトのコンテンツ再生状態で、ＣＰＵ３２は撮像部ＣＭによりサイネージ装置１０が設置されている前面側に位置する来店客等を撮影させる（ステップＳ１０２）。
【００７４】
ＣＰＵ３２は、この撮影により得られた画像データに対して撮影画像処理部３０で人物の顔認識処理を実行させ、画像に写っている来店客等の上記特徴パラメータを抽出させた上で、人種の識別を行なわせる（ステップＳ２０３）。
【００７５】
上記顔認識処理の結果、ＣＰＵ３２はまず撮影画像処理部３０により撮影画像から人物を認識することができたか否かにより、サイネージ装置１０の前に対象となる人物が存在するか否かを判断する（ステップＳ２０４）。
【００７６】
ここで撮影画像から人物を認識することができず、サイネージ装置１０の前に対象となる人物が存在しないと判断した場合（ステップＳ２０４のＮｏ）、ＣＰＵ３２は上記ステップＳ２０１からの処理に戻り、デフォルトのコンテンツ再生状態を維持しながら、来店客等の到来を待機する。
【００７７】
また上記ステップＳ２０４において、撮影画像から人物を認識することができ、サイネージ装置１０の前に来店客等が存在すると判断した場合、ＣＰＵ３２は撮影画像処理部３０での認識結果から、まず白人とアジア人の２種類の人物が存在するか否かを判断する（ステップＳ２０５）。
【００７８】
写っている人物で白人とアジア人の２種類が識別できたと判断した場合（ステップＳ２０５のＹｅｓ）、ＣＰＵ３２はその時点で再生していたコンテンツデータに対応するテキストデータとして、日本語のテキストデータと英語のテキストデータとをコンテンツメモリ２０から読出し、サイネージボードＳＢ上のそれまで画像投影を行なっていなかった第１のテキスト表示エリアＩＭ１を含む表示エリアに当該２カ国語のテキストデータを画像化して投影させるべく追加表示設定を行なわせる（ステップＳ２０６）。
【００７９】
この場合、キャラクタ表示エリアＩＭＣに次いで大きな表示エリアである第１のテキスト表示エリアＩＭ１に日本語と英語のテキストデータの表示を行なうのに加えて、上記図５で説明したように、キャラクタ表示エリアＩＭＣに投影している人物キャラクタ上に、第２のテキスト表示エリアＩＭ２、及び必要により第３のテキスト表示エリアＩＭ３を重畳して、それぞれ必要なテキストデータを投影させる。
【００８０】
こうして外国人向けのテキストデータを追加設定して再生し、これら追加表示を行なったテキストデータが予め設定されている再生時間を終了した時点で、一旦それらの再生を終了して、上記ステップＳ２０１からのデフォルトのコンテンツ再生状態に戻る。
【００８１】
また上記ステップＳ２０５において、撮影画像には白人とアジア人の２種類の人物が存在しないと判断した場合、ＣＰＵ３２は次いで上記抽出した撮影画像中の人物の特徴パラメータをネットワークＮＷを介して販売支援サーバＳＶに送信し、この店舗に登録された説明員、あるいは顧客の情報を取得する（ステップＳ２０７）。
【００８２】
ここでＣＰＵ３２は、販売支援サーバＳＶから対応する説明員または顧客の情報が取得できたか否かにより、サイネージ装置１０の前に登録済みの説明員または顧客が存在するか否かを判断する（ステップＳ２０８）。
【００８３】
ここで販売支援サーバＳＶから登録済の説明員または顧客の情報が取得できなかったと判断した場合（ステップＳ２０８のＮｏ）、ＣＰＵ３２は上記ステップＳ２０１からの処理に戻り、デフォルトのコンテンツ再生状態を維持しながら、来店客等の到来を待機する。
【００８４】
また上記ステップＳ２０８において、販売支援サーバＳＶから登録済の説明員または顧客の情報が取得できたと判断した場合（ステップＳ２０８のＹｅｓ）、ＣＰＵ３２はその取得できた情報が登録済の説明員のものであるか否かを判断する（ステップＳ２０９）。
【００８５】
ここで取得できた情報が登録済の説明員のものであると判断した場合（ステップＳ２０９のＹｅｓ）、ＣＰＵ３２は同時に販売支援サーバＳＶから取得する、当該説明員が説明可能な商品の分野や個別機種等の情報をコンテンツデータ化した内容に基づいて、サイネージボードＳＢの第１のテキスト表示エリアＩＭ１、及び必要により第２のテキスト表示エリアＩＭ２及び第３のテキスト表示エリアＩＭ３において、より詳細な説明を行なうためのボタンを表示させるべく表示領域（表示部）を設定して、追加表示させる（ステップＳ２１０）。
【００８６】
これらのボタンの操作に対しては、上記操作ボタンＢ１〜Ｂ４と同様に、サイネージボードＳＢの取付け基部に配列された、それぞれが指向性を有するライン状の赤外線センサアレイ（不図示）により当該操作位置が検知可能であるものとする。
【００８７】
上記ボタンが操作された場合、上述した如く販売支援サーバＳＶから受信したコンテンツデータに基づいた、より詳細な説明を行なう一方で、特にボタンが操作されない状態では、これら追加表示を行なった内容が予め設定されている再生時間を終了した時点で、一旦それらの再生を終了して、上記ステップＳ２０１からのデフォルトのコンテンツ再生状態に戻る。
【００８８】
また上記ステップＳ２０９において、取得できた情報が登録済の説明員のものではないと判断した場合（ステップＳ２０９のＮｏ）、取得できた情報は登録済の顧客のものであることになるので、ＣＰＵ３２は同時に販売支援サーバＳＶから取得する、当該顧客が過去に説明を受けた商品に基づいて、関連する商品を紹介するテキストデータをコンテンツメモリ２０から読出し、それらテキストデータの画像をサイネージボードＳＢの第１のテキスト表示エリアＩＭ１、及び必要により第２のテキスト表示エリアＩＭ２及び第３のテキスト表示エリアＩＭ３において表示領域を設定して、追加表示させる（ステップＳ２１１）。
【００８９】
こうして過去の説明の履歴に応じたテキストデータを再生させ、これら追加表示を行なった内容が予め設定されている再生時間を終了した時点で、一旦それらの再生を終了して、上記ステップＳ２０１からのデフォルトのコンテンツ再生状態に戻る。
【００９０】
なお上記第１及び第２の動作例では、撮像部ＣＭでサイネージ装置１０前方を撮影して得た画像に対する顔認識処理を、撮像部ＣＭ内の撮影画像処理部３０により行なうものとして説明したが、本実施形態はこれに限らず、撮影により得た画像データを直接販売支援サーバＳＶに送信し、販売支援サーバＳＶ側で顔認識処理を行なう構成としても良い。そして、販売支援サーバＳＶでは顔認識の結果に基づいたコンテンツデータを適宜サイネージ装置１０に送信して、サイネージボードＳＢの第１のテキスト表示エリアＩＭ１、第２のテキスト表示エリアＩＭ２、及び第３のテキスト表示エリアＩＭ３により表示させるもので、サイネージ装置１０側での処理負担を軽減すると共に、多彩なコンテンツデータに基づくコンテンツ再生が実現できる。
【００９１】
なお上記実施形態では、図５に示したようにキャラクタ表示エリアＩＭＣの人物キャラクタ上に重畳して共に略矩形の第２のテキスト表示エリアＩＭ２、第３のテキスト表示エリアＩＭ３を設けるものとして説明したが、本実施形態はこれに限らず、キャラクタ表示エリアＩＭＣの人物キャラクタの体型に合わせて、テキスト表示エリアの形状を変化させるよう設定するものとしても良い。
【００９２】
図７は、上記図２のサイネージボードＳＢに代わる、サイネージボードＳＢ′を例示する図である。同図に示すようにキャラクタ表示エリアＩＭＣにおけるキャラクタが太めの人物となっており、この人物キャラクタに重畳して設定する第２のテキスト表示エリアＩＭ２も、矩形ではなく、中央付近の幅が広く、両端の幅が細くなるような、両端を切り落とした楕円状の形状とした例を示している。
【００９３】
このような形状の第２のテキスト表示エリアＩＭ２とすることで、キャラクタ表示エリアＩＭＣの人物キャラクタと合わせて、より立体的な画像とすることができる。
【００９４】
以上詳述した如く本実施形態によれば、コンテンツを視聴する側の人物の属性等に適応して、より訴求力のあるコンテンツを提示することが可能となる。
【００９５】
また上記実施形態では、コンテンツを視聴する側の人物の属性を顔認識処理の結果から推定するものとしたので、人物側からのボタン操作等、煩わしい操作を人物側に負担させることなく、最適と思われるコンテンツを提供できる。
【００９６】
さらに上記実施形態では、複数の人物の属性の組合せから関係性、例えば親子であることなどを抽出して、提供するコンテンツを選択するものとしたので、より最適と思われる訴求力あるコンテンツを提供できる。
【００９７】
また上記実施形態では、人物を特定できるように顔認識処理の結果を人物の情報と共に登録しておくことで、過去の履歴や人物の素養等を考慮して、より多彩で実用的なコンテンツを提供できる。
【００９８】
なお上記実施形態は、サイネージ装置１０をＤＬＰ（登録商標）（Ｄｉｇｉｔａｌ  Ｌｉｇｈｔ  Ｐｒｏｃｅｓｓｉｎｇ）方式のプロジェクタ技術を用いて構成した場合について説明したが、本実施形態は投影装置谷投影方式等を限定するものではなく、例えばカラー液晶パネルを用いたタブレット状のコンテンツ再生装置としても良い。
【００９９】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【０１００】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。  
［請求項１］  
複数の表示領域を有する表示部と、  
上記複数の表示領域のうちの第１の表示領域にコンテンツの情報を表示させるコンテンツ再生部と、  
上記表示部から所定の範囲内における周囲状態を取得する状態取得部と、  
上記状態取得部で取得した周囲状態に応じて、上記複数の表示領域のうちの第２の表示領域に上記コンテンツに関連する情報を表示させる再生制御部と、  
を備えることを特徴とするコンテンツ再生装置。  
［請求項２］  
上記表示部は、主となるキャラクタ表示領域を含み、  
上記コンテンツ再生部は、コンテンツデータを再生し、上記表示部の少なくとも主となるキャラクタ表示領域に画像を表示させ、  
上記所定の範囲は、ユーザが表示部を視認可能な範囲である  
ことを特徴とする請求項１記載のコンテンツ再生装置。  
［請求項３］  
上記状態取得部は、上記表示部を視認可能な範囲に存在する人物を撮影する撮影部を備え、  
上記撮影部で得た画像中の人物の顔認識を行なって、当該人物の性別、年齢層、及び人種の少なくとも１つの属性を推定する  
ことを特徴とする請求項１または２記載のコンテンツ再生装置。  
［請求項４］  
上記状態取得部は、さらに上記顔認識で推定した複数の人物の属性の組合せによる関係性を抽出して推定する関係性抽出部を備えることを特徴とする請求項３記載のコンテンツ再生装置。  
［請求項５］  
上記状態取得部は、  
上記表示部を視認可能な範囲に存在する人物を撮影する撮影部と、  
上記撮影部で得た画像中の人物の顔認識を行なって、当該人物の特徴情報を抽出する顔認識部と、  
予め複数の人物の顔特徴情報を過去のコンテンツデータの再生履歴情報と関連付けて記憶する記憶部と、  
上記顔認識部で抽出した特徴情報を用いて上記記憶部を検索する検索部と、  
を備え、  
上記再生制御部は、上記検索部で検索した特徴情報と関連付けられた過去のコンテンツデータの再生履歴情報に基づいて、上記コンテンツ再生部で画像を再生して上記表示部に表示させる表示領域を切換える  
ことを特徴とする請求項１または２記載のコンテンツ再生装置。  
［請求項６］  
上記表示部は、複数の主となるキャラクタ表示領域を選択的に設定し、  
上記再生制御部は、上記主となるキャラクタ表示領域に重畳して表示させる表示領域の形状を選択的に設定した主となるキャラクタ表示領域に合わせて変形させる  
ことを特徴とする請求項２乃至５いずれか記載のコンテンツ再生装置。  
［請求項７］  
上記状態取得部は、上記表示部から所定の範囲内における人物の音声を入力する音声入力部を備え、  
上記音声入力部で得た音声中の人物の音声認識を行なって、当該人物の性別、年齢層、及び人種の少なくとも１つの属性を推定する  
ことを特徴とする請求項１または２記載のコンテンツ再生装置。  
［請求項８］  
複数の表示領域を有する表示部を備えた装置でのコンテンツ表示方法であって、  
上記複数の表示領域のうちの第１の表示領域にコンテンツの情報を表示させるコンテンツ再生工程と、  
上記表示部から所定の範囲内における周囲状態を取得する状態取得工程と、  
上記状態取得工程で取得した周囲状態に応じて、上記複数の表示領域のうちの第２の表示領域に上記コンテンツに関連する情報を表示させる再生制御工程と、  
を有することを特徴とするコンテンツ再生方法。  
［請求項９］  
複数の表示領域を有する表示部を備えた装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、  
上記複数の表示領域のうちの第１の表示領域にコンテンツの情報を表示させるコンテンツ再生部、  
上記表示部から所定の範囲内における周囲状態を取得する状態取得部、及び  
上記状態取得部で取得した周囲状態に応じて、上記複数の表示領域のうちの第２の表示領域に上記コンテンツに関連する情報を表示させる再生制御部、  
として機能させることを特徴とするプログラム。
【符号の説明】
【０１０１】
１０…サイネージ装置、
１０Ａ…装置筐体、
２０…コンテンツメモリ、
２１…投影画像駆動部、
２２…マイクロミラー素子２２、
２３…光源部、
２４…ミラー、
２５…投影レンズ部、
２７…撮影レンズ部、
２８…ＣＭＯＳイメージセンサ、
２９…Ａ／Ｄ変換器、
３０…撮影画像処理部、
３２…ＣＰＵ、
３３…メインメモリ、
３４…プログラムメモリ、
３５…操作部、
３６…音処理部、
３７…スピーカ部、
３８…無線ＬＡＮインタフェース（Ｉ／Ｆ）、
３９…無線ＬＡＮアンテナ、
Ｂ…バス、
Ｂ１〜Ｂ４…操作ボタン、
ＣＭ…撮像部、
ＩＭＣ…キャラクタ表示エリア（表示部）、
ＩＭ１…第１のテキスト表示エリア（表示部）、
ＩＭ２…第２のテキスト表示エリア（表示部）、
ＩＭ３…第３のテキスト表示エリア（表示部）、
ＭＣｌ，ＭＣｒ…マイクロホン、
ＮＷ…ネットワーク、
ＳＢ，ＳＢ′…サイネージボード、
ＳＶ…販売支援サーバ。
【図１】
2017116693.tif 000003
【図２】
2017116693.tif 000004
【図３】
2017116693.tif 000005
【図４】
2017116693.tif 000006
【図５】
2017116693.tif 000007
【図６】
2017116693.tif 000008
【図７】
2017116693.tif 000009