(57)【要約】【課題】状況に応じてコンテンツの再生を制御できるようにする。【解決手段】デジタルサイネージ装置１によれば、制御部２３は、撮像部３０により取得された撮影画像に基づいて、店員の顔の検出処理を行う。また、制御部２３は、音声入力部３１から入力された音声に基づいて、店員の声の検出を行う。そして、店員の顔の検出結果及び店員の声の検出結果に基づいて、コンテンツの再生を制御する。【選択図】図３
2017058423.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを再生する再生手段と、
特定の人物の声を検出する声検出手段と、
前記声検出手段による検出結果に基づいて、前記再生手段によるコンテンツの再生を制御する制御手段と、
を備えるコンテンツ再生装置。
【請求項２】
前記制御手段は、前記特定の人物の声が検出された場合に、前記再生手段により再生中のコンテンツを一時停止する請求項１に記載のコンテンツ再生装置。
【請求項３】
前記制御手段は、前記特定の人物の声が検出された場合に、前記再生手段により再生中のコンテンツの音量を下げる請求項１に記載のコンテンツ再生装置。
【請求項４】
前記制御手段は、前記特定の人物の声が検出された場合に、前記再生手段により再生中のコンテンツを所定のコンテンツに切り替える請求項１に記載のコンテンツ再生装置。
【請求項５】
前記特定の人物の顔を検出する顔検出手段を更に備え、
前記制御手段は、前記声検出手段及び前記顔検出手段による検出結果に基づいて、前記再生手段によるコンテンツの再生を制御する請求項１に記載のコンテンツ再生装置。
【請求項６】
前記制御手段は、前記特定の人物の声及び顔が検出された場合に、前記再生手段により再生中のコンテンツを一時停止する請求項５に記載のコンテンツ再生装置。
【請求項７】
前記制御手段は、前記特定の人物の声及び顔が検出された場合に、前記再生手段により再生中のコンテンツの音量を下げる請求項５に記載のコンテンツ再生装置。
【請求項８】
前記制御手段は、前記特定の人物の声及び顔が検出された場合に、前記再生手段により再生中のコンテンツを所定のコンテンツに切り替える請求項５に記載のコンテンツ再生装置。
【請求項９】
前記制御手段は、前記特定の人物の声及び顔が検出された場合に、前記顔が検出された方向に基づいて、前記コンテンツの音声出力の指向性を制御する請求項５に記載のコンテンツ再生装置。
【請求項１０】
コンテンツを再生する再生工程と、
特定の人物の声を検出する検出工程と、
前記検出工程における検出結果に基づいて、前記コンテンツの再生を制御する制御工程と、
を含むコンテンツ再生方法。
【請求項１１】
コンテンツを再生する再生手段を備えるコンテンツ再生装置に用いられるコンピュータを、
特定の人物の声を検出する声検出手段、
前記声検出手段による検出結果に基づいて、前記再生手段によるコンテンツの再生を制御する制御手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ再生装置、コンテンツ再生方法及びプログラムに関する。
【背景技術】
【０００２】
従来、コンテンツに登場する人物等の輪郭の形状に形成されたスクリーンにコンテンツを投影することにより、閲覧者に対して印象を高めることができる映像出力装置搭載機器が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１５０２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、店舗における店員による商品説明の補助として、特許文献１に記載のような機器で商品説明のコンテンツを再生する場合がある。しかし、特許文献１に記載の機器では、一方的にコンテンツを再生するだけであるため、店員が顧客に対して説明をしている状況にあるときに、その説明がコンテンツの音声により阻害されてしまう。このような場合、店員は、手動でコンテンツを一時停止したり音量を下げたりする等の作業を行っているが、顧客への説明が中断することになるので好ましくない。
【０００５】
本発明の課題は、状況に応じてコンテンツの再生を制御できるようにすることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明のコンテンツ再生装置は、
コンテンツを再生する再生手段と、
特定の人物の声を検出する声検出手段と、
前記声検出手段による検出結果に基づいて、前記再生手段によるコンテンツの再生を制御する制御手段と、
を備える。
【発明の効果】
【０００７】
本発明によれば、状況に応じてコンテンツの再生を制御することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態におけるデジタルサイネージ装置の機能的構成を示すブロック図である。
【図２】図１のスクリーン部の概略構成を示す図である。
【図３】図１の制御部により実行される再生制御処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。以下の実施形態では、本発明に係るコンテンツ再生装置としてデジタルサイネージ装置１を適用した場合を例にとり説明する。なお、本発明は、図示例に限定されるものではない。
【００１０】
［デジタルサイネージ装置１の構成］
図１は、本実施形態におけるデジタルサイネージ装置１の主制御構成を示すブロック図である。デジタルサイネージ装置１は、店舗等に設置され、商品を説明するコンテンツを再生する装置である。
【００１１】
図１に示すように、デジタルサイネージ装置１は、コンテンツの映像光を照射する投影部２１と、投影部２１から照射された映像光を背面で受けて前面に投影するスクリーン部２２とを備えている。
【００１２】
まず、投影部２１について説明する。
投影部２１は、制御部２３と、プロジェクタ２４と、記憶部２５と、通信部２６と、を備えている。プロジェクタ２４、記憶部２５、通信部２６は、図１に示すように制御部２３に接続されている。
【００１３】
制御部２３は、記憶部２５に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）とプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部２３は、記憶部２５のプログラム記憶部２５１に記憶されているプログラムとの協働により、制御手段として機能する。また、制御部２３は、音声入力部３１及び記憶部２５のプログラム記憶部２５１に記憶されているプログラムとの協働により、声検出手段として機能する。更に、制御部２３は、撮像部３０及び記憶部２５のプログラム記憶部２５１に記憶されているプログラムとの協働により、顔検出手段として機能する。
【００１４】
プロジェクタ２４は、制御部２３から出力されたコンテンツの画像データを映像光に変換してスクリーン部２２に向けて照射する投影装置である。プロジェクタ２４は、例えば、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。
プロジェクタ２４は、画像形成部２７及び音声出力部３３とともに、コンテンツ再生手段を構成する。
【００１５】
記憶部２５は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部２５には、図１に示すように、プログラム記憶部２５１、コンテンツ記憶部２５２、顔画像記憶部２５３、声紋記憶部２５４が設けられている。
【００１６】
プログラム記憶部２５１には、制御部２３で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
【００１７】
コンテンツ記憶部２５２には、コンテンツを識別するためのコンテンツＩＤに対応付けてコンテンツデータが記憶されている。コンテンツデータは、主として複数のフレーム画像により構成される動画データ及び各フレーム画像に対応する音声データにより構成されていることとするが、画像データ（静止画データ又は動画データ）のみ、又は音声データのみにより構成されるものが含まれていてもよい。
【００１８】
顔画像記憶部２５３には、当該デジタルサイネージ装置１が設置されている店舗の店員（ヘルパー）の識別情報（店員ＩＤ、名前等）に対応付けて、その店員の正面の顔画像、横顔の顔画像の画像データが記憶されている。
【００１９】
声紋記憶部２５４には、当該デジタルサイネージ装置１が設置されている店舗の店員の識別情報（店員ＩＤ、名前等）に対応付けて、その店員の声紋のデータが記憶されている。
【００２０】
通信部２６は、モデム、ルータ、ネットワークカード等により構成され、外部機器との通信を行う。
【００２１】
次に、スクリーン部２２について説明する。
図２は、スクリーン部２２の概略構成を示す正面図である。図２に示すようにスクリーン部２２には、画像形成部２７と、画像形成部２７を支持する台座２８とが備えられている。
【００２２】
画像形成部２７は、映像光の照射方向に対して略直交するように配置された、例えばアクリル板などの人型に成形された一枚の透光板２９に、フィルム状のフレネルレンズが積層された背面投影用のフィルムスクリーンが貼付されて構成されたスクリーンである。
【００２３】
画像形成部２７の上部には、例えばカメラなどの撮像部３０が設けられている。この撮像部３０は、画像形成部２７に対向する空間の画像を撮影して撮影画像を生成する。
撮像部３０は、図示は省略するが、光学系及び撮像素子を備えるカメラと、カメラを制御する撮像制御部とを備えている。カメラの光学系は、画像形成部２７の前にいる人物を撮影可能な方向に向けられている。また、その撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサであり、光学系を通過した光学像を２次元の画像信号に変換する。
【００２４】
台座２８には、マイク等の音声入力部３１と、ボタン式の操作部３２と、音声を出力するスピーカなどの音声出力部３３とが設けられている。
撮像部３０、音声入力部３１、操作部３２、音声出力部３３は、図１に示すように制御部２３に接続されている。
【００２５】
［デジタルサイネージ装置１の動作］
次に、デジタルサイネージ装置１の動作について説明する。
【００２６】
図３に、デジタルサイネージ装置１において実行される再生制御処理のフローチャートを示す。再生制御処理は、制御部２３とプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。
【００２７】
まず、制御部２３は、コンテンツの再生を開始する（ステップＳ１）。具体的に、制御部２３は、コンテンツ記憶部２５２から再生対象のコンテンツの画像データを読み出し、そのフレーム画像を順次プロジェクタ２４に出力してプロジェクタ２４により画像形成部２７に投影させる。また、再生対象のコンテンツの音声データを音声出力部３３に出力し、コンテンツの音声を出力させる。
【００２８】
次いで、制御部２３は、フラグを初期化する（ステップＳ２）。具体的には、flag_HelperIsExistにfalse、flag_HelperIsTalkingにfalseを設定する。
【００２９】
次いで、制御部２３は、撮像部３０により撮影を行わせ（ステップＳ３）、得られた撮影画像に基づいて、店員の顔検出処理を行う（ステップＳ４）。
例えば、制御部２３は、公知の画像処理技術である顔認識処理によって撮影画像から顔領域を抽出する処理を行い、顔領域が抽出された場合、抽出された顔領域の画像と、顔画像記憶部２５３に記憶されている店員の顔画像（正面の顔画像及び横顔の顔画像）とを照合する。具体的に、制御部２３は、抽出された顔領域の画像と、顔画像記憶部２５３に記憶されている店員の顔画像との類似度（例えば、相互相関係数）を算出する。そして、撮影画像から抽出された顔領域との類似度が所定の閾値を超えた顔画像が顔画像記憶部２５３に存在する場合、その顔画像に対応する店員の顔が検出されたと判断する。
【００３０】
顔検出処理の結果、店員の顔が検出された場合（ステップＳ５；ＹＥＳ）、制御部２３は、店員がデジタルサイネージ装置１の前に存在していると判断してflag_HelperIsExistにtrueを設定し（ステップＳ６）、ステップＳ８に移行する。一方、店員の顔が検出されなかった場合（ステップＳ５；ＮＯ）、制御部２３は、flag_HelperIsExistにfalseを設定し（ステップＳ７）、ステップＳ８に移行する。
【００３１】
ステップＳ８において、制御部２３は、店員の声検出処理を行う（ステップＳ８）。例えば、音声入力部３１から入力された音声を解析して声紋を生成し、生成した声紋と、声紋記憶部２５４に記憶されている、ステップＳ４で顔が検出された店員の声紋とを照合する。具体的に、制御部２３は、音声入力部３１から入力された音声の声紋と、声紋記憶部２５４に記憶されているステップＳ４で顔が検出された店員の声紋との類似度（例えば、相互相関係数）を算出する。そして、算出した類似度が所定の閾値を超えた場合、デジタルサイネージ装置１の前にいる店員の声が検出されたと判断する。
【００３２】
声検出処理の結果、ステップＳ４で顔が検出された店員の声が検出された場合（ステップＳ９；ＹＥＳ）、制御部２３は、flag_HelperIsTalkingにtrueを設定し（ステップＳ１０）、ステップＳ１２に移行する。一方、ステップＳ４で顔が検出された店員の声が検出されなかった場合（ステップＳ９；ＮＯ）、制御部２３は、flag_HelperIsTalkingにfalseを設定し（ステップＳ１１）、ステップＳ１２に移行する。
【００３３】
ステップＳ１２において、制御部２３は、「flag_HelperIsExist=trueかつflag_HelperIsTalking=true」であるか否かを判断する（ステップＳ１２）。「flag_HelperIsExist=trueかつflag_HelperIsTalking=true」であると判断した場合（ステップＳ１２；ＹＥＳ）、制御部２３は、店員がデジタルサイネージ装置１の前で商品の説明をしていると判断し、プロジェクタ２４及び音声出力部３３を制御してコンテンツ再生を一時停止し（ステップＳ１３）、ステップＳ３に戻る。
【００３４】
一方、「flag_HelperIsExist=trueかつflag_HelperIsTalking=true」ではないと判断した場合（ステップＳ１２；ＮＯ）、制御部２３は、コンテンツ再生が一時停止状態であるか否かを判断する（ステップＳ１４）。コンテンツ再生が一時停止状態であると判断した場合（ステップＳ１４；ＹＥＳ）、制御部２３は、プロジェクタ２４及び音声出力部３３を制御してコンテンツ再生を再開し（ステップＳ１５）、ステップＳ３に戻る。コンテンツ再生が一時停止状態ではない（再生中である）と判断した場合（ステップＳ１４；ＮＯ）、制御部２３は、ステップＳ３に戻る。
【００３５】
制御部２３は、デジタルサイネージ装置１の電源がＯＦＦされるまでステップＳ３〜ステップＳ１５の処理を繰り返し実行する。
【００３６】
上記再生制御処理では、店員の顔及び声が検出された場合、制御部２３は、店員がデジタルサイネージ装置１の前で商品の説明をしていると判断してコンテンツの再生を一時停止する。従って、店員が説明中の状況である場合には自動的にコンテンツが一時停止されるので、コンテンツの音声により店員の説明が阻害されてしまうことを防止することができる。また、店員が手動でコンテンツを一時停止させる等の作業を行うことにより顧客への説明が中断してしまうことを防止することができる。
【００３７】
上記再生制御処理では、店員の顔及び声が検出された場合の制御部２３によるコンテンツ再生制御の一例として、プロジェクタ２４及び音声出力部３３を制御して再生中のコンテンツを一時停止することとして説明したが、再生制御の内容は、これに限定されるものではない。
例えば、音声出力部３３を制御して再生中のコンテンツの音量を下げることとしてもよい。
或いは、プロジェクタ２４及び音声出力部３３を制御して、再生中のコンテンツを所定のコンテンツに切り替えることとしてもよい。例えば、音声のない画像のみのコンテンツに切り替えてもよいし、検出された店員の自己紹介のコンテンツに切り替えてもよいし、検出された店員の声質にマッチした音声のコンテンツ（店員の声を阻害しない音声のコンテンツ）に切り替えることとしてもよい。
或いは、店員の顔が検出された方向に基づいて、音声出力部３３によるコンテンツの音声出力の指向性を制御することとしてもよい。例えば、音声出力部３３が複数のスピーカを備える構成である場合、撮影画像から店員の顔が検出された方向を特定し、その方向に存在するスピーカを無効にすることとしてもよい。
【００３８】
また、上記再生制御処理では、制御部２３は、店員の顔及び声の双方の検出結果に基づいて、コンテンツの再生制御を行うこととしたが、簡易的に、店員の声のみの検出結果に基づいて、コンテンツの再生制御を行うこととしてもよい。例えば、店員の声が検出された場合に、店員が商品の説明をしていると判断して、プロジェクタ２４及び音声出力部３３を制御して再生中のコンテンツを一時停止してもよい。或いは、音声出力部３３を制御して再生中のコンテンツの音量を下げることとしてもよい。或いは、プロジェクタ２４及び音声出力部３３を制御して、再生中のコンテンツを所定のコンテンツに切り替えることとしてもよい。
【００３９】
以上説明したように、デジタルサイネージ装置１によれば、制御部２３は、音声入力部３１から入力された音声に基づいて、店員の声の検出を行い、その検出結果に基づいて、コンテンツの再生を制御する。
従って、店員が説明を行っているか否かの状況に応じてコンテンツの再生を制御することが可能となる。
【００４０】
更に、撮像部３０により取得された撮影画像に基づいて店員の顔を検出し、店員の声の検出結果及び店員の顔の検出結果に基づいて、コンテンツの再生を制御することで、より精度良く店員が説明している状況であるか否かを判断して、状況に応じたコンテンツの再生制御を行うことが可能となる。
【００４１】
例えば、店員の声（声及び顔）が検出された場合に、再生中のコンテンツを一時停止するよう制御することで、店員の説明がコンテンツの音声により阻害されてしまうことを防止することができる。
【００４２】
また、例えば、店員の声（声及び顔）が検出された場合に、再生中のコンテンツの音量を下げるように制御することで、店員の説明がコンテンツの音声により阻害されてしまうことを防止することができる。
【００４３】
また、例えば、店員の声（声及び顔）が検出された場合に、再生中のコンテンツを所定のコンテンツに切り替えるように制御することで、店員が説明している状況に応じたコンテンツ、例えば、画像のみのコンテンツや店員の自己紹介のコンテンツ等に自動的に切り替えることが可能となる。
【００４４】
また、例えば、店員の声及び顔が検出された場合に、撮像部３０により顔が検出された方向に基づいて、コンテンツの音声出力の指向性を制御することで、店員の説明がコンテンツの音声により阻害されてしまうことを防止することができる。
【００４５】
なお、上記実施形態における記述内容は、本発明に係るデジタルサイネージ装置の好適な一例であり、これに限定されるものではない。
【００４６】
例えば、上記実施形態においては、撮像部３０をデジタルサイネージ装置１の正面に配置することとしたが、これに限定されず、正面及び側面に配置することとしてもよい。この場合、顔画像記憶部２５３に店員の正面又は横顔の何れか一方の顔画像のみを登録しておけば、店員の顔の検出を行うことが可能となる。
【００４７】
また、上記実施形態においては、声や顔の検出対象となる特定の人物が店舗の店員である場合を例にとり説明したが、特定の人物は、例えば、展示会の説明員としてもよく、店員に限定されるものではない。
【００４８】
また、上記実施形態においては、本発明をプロジェクタからスクリーンに画像を投影することで画像の表示を行うデジタルサイネージ装置に適用した場合を例にとり説明したが、例えば、液晶ディスプレイ、プラズマディスプレイ等、他の表示装置を備えるコンテンツ再生装置に適用しても同様の効果を奏することができ、この例に限定されない。
【００４９】
その他、デジタルサイネージ装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００５０】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
コンテンツを再生する再生手段と、
特定の人物の声を検出する声検出手段と、
前記声検出手段による検出結果に基づいて、前記再生手段によるコンテンツの再生を制御する制御手段と、
を備えるコンテンツ再生装置。
＜請求項２＞
前記制御手段は、前記特定の人物の声が検出された場合に、前記再生手段により再生中のコンテンツを一時停止する請求項１に記載のコンテンツ再生装置。
＜請求項３＞
前記制御手段は、前記特定の人物の声が検出された場合に、前記再生手段により再生中のコンテンツの音量を下げる請求項１に記載のコンテンツ再生装置。
＜請求項４＞
前記制御手段は、前記特定の人物の声が検出された場合に、前記再生手段により再生中のコンテンツを所定のコンテンツに切り替える請求項１に記載のコンテンツ再生装置。
＜請求項５＞
前記特定の人物の顔を検出する顔検出手段を更に備え、
前記制御手段は、前記声検出手段及び前記顔検出手段による検出結果に基づいて、前記再生手段によるコンテンツの再生を制御する請求項１に記載のコンテンツ再生装置。
＜請求項６＞
前記制御手段は、前記特定の人物の声及び顔が検出された場合に、前記再生手段により再生中のコンテンツを一時停止する請求項５に記載のコンテンツ再生装置。
＜請求項７＞
前記制御手段は、前記特定の人物の声及び顔が検出された場合に、前記再生手段により再生中のコンテンツの音量を下げる請求項５に記載のコンテンツ再生装置。
＜請求項８＞
前記制御手段は、前記特定の人物の声及び顔が検出された場合に、前記再生手段により再生中のコンテンツを所定のコンテンツに切り替える請求項５に記載のコンテンツ再生装置。
＜請求項９＞
前記制御手段は、前記特定の人物の声及び顔が検出された場合に、前記顔が検出された方向に基づいて、前記コンテンツの音声出力の指向性を制御する請求項５に記載のコンテンツ再生装置。
＜請求項１０＞
コンテンツを再生する再生工程と、
特定の人物の声を検出する検出工程と、
前記検出工程における検出結果に基づいて、前記コンテンツの再生を制御する制御工程と、
を含むコンテンツ再生方法。
＜請求項１１＞
コンテンツを再生する再生手段を備えるコンテンツ再生装置に用いられるコンピュータを、
特定の人物の声を検出する声検出手段、
前記声検出手段による検出結果に基づいて、前記再生手段によるコンテンツの再生を制御する制御手段、
として機能させるためのプログラム。
【符号の説明】
【００５１】
１  デジタルサイネージ装置
２１  投影部
２２  スクリーン部
２３  制御部
２４  プロジェクタ
２５  記憶部
２５１  プログラム記憶部
２５２  コンテンツ記憶部
２５３  顔画像記憶部
２５４  声紋記憶部
２６  通信部
２７  画像形成部
２８  台座
２９  透光板
３０  撮像部
３１  音声入力部
３２  操作部
３３  音声出力部
【図１】
2017058423.tif 000003
【図２】
2017058423.tif 000004
【図３】
2017058423.tif 000005