(57)【要約】【課題】視聴者がコンテンツの注目すべき箇所を見逃さないようにする。【解決手段】投影装置１の制御部１１によれば、撮像部１４により取得された撮影画像から出力中のコンテンツ内の視聴者の視認可能領域を検出し、コンテンツの注目すべき箇所が視認可能領域に含まれているか否かを判断する。そして、コンテンツの注目すべき箇所が視聴者の視認可能領域に含まれていないと判断した場合に、コンテンツの注目すべき箇所を報知するための報知情報を出力させる。【選択図】図４
2017227659.tif 000002
【特許請求の範囲】
【請求項１】
一つのコンテンツ内の視聴者の視認可能領域を検出する検出手段と、
前記コンテンツの注目すべき箇所が前記視認可能領域に含まれているか否かを判断する判断手段と、
前記判断手段により前記コンテンツの注目すべき箇所が前記視認可能領域に含まれていないと判断された場合に、前記コンテンツの注目すべき箇所を報知するための報知情報を出力させる制御手段と、
を備える出力制御装置。
【請求項２】
撮影手段を備え、
前記検出手段は、前記撮影手段により取得された撮影画像に基づいて前記視聴者の顔の向きを認識し、認識した顔の向きに基づいて、前記視聴者の視認可能領域を検出する請求項１に記載の出力制御装置。
【請求項３】
撮影手段を備え、
前記検出手段は、前記撮影手段により取得された撮影画像に基づいて前記視聴者の視線方向を認識し、認識した視線方向に基づいて、前記視聴者の視認可能領域を検出する請求項１に記載の出力制御装置。
【請求項４】
前記コンテンツの再生時間が所定の再生時間になったか否かを判定する判定手段を備え、
前記制御手段は、更に前記判定手段が前記コンテンツの再生時間が所定の再生時間となったと判定した場合に、前記コンテンツの注目すべき箇所を報知するための報知情報を出力させる請求項１〜３の何れか一項に記載の出力制御装置。
【請求項５】
前記コンテンツの注目すべき箇所は、前記視聴者の属性によって異なる請求項１〜４の何れか一項に記載の出力制御装置。
【請求項６】
前記コンテンツを出力する出力手段を備える請求項１〜５の何れか一項に記載の出力制御装置。
【請求項７】
前記出力手段は、全方位に前記コンテンツの映像を出力する請求項６に記載の出力制御装置。
【請求項８】
一つのコンテンツ内の視聴者の視認可能領域を検出する工程と、
前記コンテンツの注目すべき箇所が前記視認可能領域に含まれているか否かを判断する工程と、
前記コンテンツの注目すべき箇所が前記視認可能領域に含まれていないと判断された場合に、前記コンテンツの注目すべき箇所を報知するための報知情報を出力させる工程と、
を含む出力制御方法。
【請求項９】
コンピュータを、
一つのコンテンツ内の視聴者の視認可能領域を検出する検出手段、
前記コンテンツの注目すべき箇所が前記視認可能領域に含まれているか否かを判断する判断手段、
前記判断手段により前記コンテンツの注目すべき箇所が前記視認可能領域に含まれていないと判断された場合に、前記コンテンツの注目すべき箇所を報知するための報知情報を出力させる制御手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、出力制御装置、出力制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来、全方位に映像を投影する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２７７６７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、全方位に映像を投影した場合、視聴者の視認可能な領域にコンテンツの注目すべき箇所が含まれていない場合があり、視聴者がコンテンツの注目すべき箇所を見逃す恐れがあった。
【０００５】
本発明の課題は、視聴者がコンテンツの注目すべき箇所を見逃さないようにすることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の出力制御装置は、
一つのコンテンツ内の視聴者の視認可能領域を検出する検出手段と、
前記コンテンツの注目すべき箇所が前記視認可能領域に含まれているか否かを判断する判断手段と、
前記判断手段により前記コンテンツの注目すべき箇所が前記視認可能領域に含まれていないと判断された場合に、前記コンテンツの注目すべき箇所を報知するための報知情報を出力させる制御手段と、
を備える。
【発明の効果】
【０００７】
本発明によれば、視聴者がコンテンツの注目すべき箇所を見逃さないようにすることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態における投影装置の設置状態を示す図である。
【図２】図１の投影装置によりコンテンツを投影した状態を示すイメージ図である。
【図３】図１の投影装置の機能的構成を示すブロック図である。
【図４】図３の制御部により実行される出力制御処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明に係る実施形態を詳細に説明する。以下の実施形態では、本発明に係る出力制御装置を投影装置１に適用した場合を例にとり説明する。なお、本発明は、図示例に限定されるものではない。
【００１０】
［投影装置１の構成］
投影装置１は、例えば、図１に示すように、室内の天井等に設けられ、図２に示すように、室内の全方位（３６０°全面）にコンテンツの出力（投影）を行う装置である。
【００１１】
図３は、本実施形態における投影装置１の主制御構成を示すブロック図である。図３に示すように、投影装置１は、制御部１１、記憶部１２、操作部１３、撮像部１４、プロジェクタ１５、音声出力部１６、通信部１７等を備えて構成されている。
【００１２】
制御部１１は、記憶部１２に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）とプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部１１は、記憶部１２のプログラム記憶部１２１に記憶されているプログラムとの協働により、後述する出力制御処理を実行し、検出手段、判断手段、制御手段、判定手段として機能する。
【００１３】
記憶部１２は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部１２には、図３に示すように、プログラム記憶部１２１、コンテンツ記憶部１２２、注目方向テーブル記憶部１２３が設けられている。
【００１４】
プログラム記憶部１２１には、制御部１１で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
【００１５】
コンテンツ記憶部１２２には、コンテンツを識別するためのコンテンツＩＤに対応付けて、投影装置１でコンテンツを出力するためのコンテンツ情報（コンテンツデータ）が記憶されている。コンテンツ情報は、例えば、複数のフレーム画像により構成される動画データ及び各フレーム画像に対応する音声データにより構成されていることとするが、画像データ（静止画データ又は動画データ）のみで構成されるものであってもよい。
【００１６】
注目方向テーブル記憶部１２３には、注目方向テーブルが記憶されている。注目方向テーブルは、「コンテンツＩＤ」、「再生時間」、「注目方向」等の項目を有し、各コンテンツの再生時間（再生開始からの経過時間）に対応付けて、そのコンテンツのその再生時間に注目すべき箇所が存在する方向（注目すべき方向）を記憶する。即ち、注目方向テーブル記憶部１２３には、コンテンツの再生時間毎に、異なる方向を注目すべき方向として記憶しておくことができる。なお、フレーム画像毎に視聴者が注目すべき方向を記憶することとしてもよい。また、注目すべき方向は、例えば、東、西、南、北、上、下等で表されていてもよいし、角度で表されていてもよい。
【００１７】
操作部１３は、複数の機能ボタンを備え、機能ボタンの押下信号を検出して制御部１１に出力する。
【００１８】
撮像部１４は、光学系及び撮像素子を備えるカメラと、カメラを制御する撮像制御部とを備える撮影手段である。カメラの光学系は、室内の人物を上から撮影可能な方向に向けられている。また、その撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサであり、光学系を通過した光学像を２次元の画像信号に変換する。
【００１９】
プロジェクタ１５は、魚眼レンズを備え、制御部１１から出力されたコンテンツの画像データを全方位に向けて投影する。
【００２０】
音声出力部１６は、Ｄ／Ａコンバータ、増幅器、スピーカ等を備え、制御部１１から出力される制御信号に従って映像信号の音声信号をＤ／Ａコンバータによりアナログ信号に変換後、このアナログ音声信号を増幅器により所定の音量に増幅して、スピーカから音声として出力する。音声出力部１６は、サラウンドであり、複数方向からの音声出力が可能である。
プロジェクタ１５、音声出力部１６は、出力手段として機能する。
【００２１】
通信部１７は、モデム、ルータ、ネットワークカード等により構成され、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続された外部機器との通信を行う。
【００２２】
［投影装置１の動作］
次に、本実施形態における投影装置１の動作について説明する。
図４は、投影装置１において実行される出力制御処理のフローチャートである。出力制御処理は、操作部１３により出力対象のコンテンツが指定されて出力が指示された際に、制御部１１とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。
【００２３】
まず、制御部１１は、プロジェクタ１５及び音声出力部１６により指定された一つのコンテンツの出力を開始する（ステップＳ１）。即ち、制御部１１は、コンテンツ記憶部１２２に記憶されているコンテンツ情報を読み出し、読み出したコンテンツ情報の動画データを全方位投影用の投影データに変換してプロジェクタ１５によりコンテンツの画像を投影させる。また、読み出した動画データの音声データに基づいて音声出力部１６によりコンテンツの音声を出力させる。
【００２４】
次いで、制御部１１は、視聴者の視認可能領域を検出する（ステップＳ２）。
例えば、制御部１１は、まず、撮像部１４により撮影を行わせ、撮影により得られた撮影画像から視聴者の顔の向きを認識する。そして、視聴者の顔の向きに基づいて、出力中のコンテンツ内の視聴者の視認可能領域を検出する。或いは、撮像部１４が天井ではなく周囲の壁に備えられている構成とし、撮像部１４により取得された撮影画像から視聴者の視線方向を検出し、視聴者の視線方向に基づいて、視認可能領域を検出することとしてもよい。撮影画像からの視聴者の顔の向きや視線方向の認識は、公知の画像処理技術により行うことができる。
【００２５】
次いで、制御部１１は、注目方向テーブル記憶部１２３に記憶されている注目方向テーブルを参照して、コンテンツの再生時間が注目方向テーブルに記憶されているコンテンツの再生時間になった場合、出力中のコンテンツの注目すべき方向を特定し、注目すべき方向が視聴者の視認可能領域に含まれているか否かを判断する（ステップＳ３）。
【００２６】
注目すべき方向が視聴者の視認可能領域に含まれていると判断した場合（ステップＳ３；ＹＥＳ）、制御部１１は、ステップＳ５に移行する。
【００２７】
注目すべき方向が視聴者の視認可能領域に含まれていないと判断した場合（ステップＳ３；ＮＯ）、制御部１１は、注目すべき方向を示す報知情報を出力し（ステップＳ４）、ステップＳ５に移行する。
ステップＳ４においては、例えば、出力中のコンテンツの視聴者が向いている方向に注目すべき方向を示す矢印を付加する、音声出力部１６により注目すべき方向から通知音を出力する等により、注目すべき方向を示す報知情報を出力する。
【００２８】
ステップＳ５において、制御部１１は、コンテンツが終了したか否かを判断する（ステップＳ５）。コンテンツが終了していないと判断した場合（ステップＳ５；ＮＯ）、制御部１１は、ステップＳ２に戻り、ステップＳ２〜ステップＳ５の処理を繰り返し実行する。コンテンツが終了したと判断した場合（ステップＳ５；ＹＥＳ）、出力制御処理を終了する。
【００２９】
以上説明したように、投影装置１の制御部１１によれば、撮像部１４により取得された撮影画像から出力中のコンテンツ内の視聴者の視認可能領域を検出し、コンテンツの注目すべき箇所が視認可能領域に含まれているか否かを判断する。そして、コンテンツの注目すべき箇所が視聴者の視認可能領域に含まれていないと判断した場合に、コンテンツの注目すべき箇所を報知するための報知情報を出力させる。
従って、視聴者がコンテンツの注目すべき箇所を見逃さないようにすることが可能となる。
【００３０】
例えば、制御部１１は、撮像部１４により取得された撮影画像に基づいて視聴者の顔の向きを認識し、認識した顔の向きに基づいて、視聴者の視認可能領域を検出することができる。または、撮像部１４により取得された撮影画像に基づいて視聴者の視線方向を認識し、認識した視線方向に基づいて、視聴者の視認可能領域を検出することができる。
【００３１】
コンテンツの注目すべき箇所は、コンテンツの再生時間によって異ならせることができるので、その時に注目すべき箇所の方向を視聴者に報知することができる。
【００３２】
なお、上記実施形態における記述内容は、本発明に係る投影装置１の好適な一例であり、これに限定されるものではない。
【００３３】
例えば、注目方向テーブル記憶部１２３に記憶されている各コンテンツの各再生時間における注目すべき方向は、視聴者の属性（性別、大人、子供等）毎に異なっていてもよい。そして、制御部１１は、撮像部１４から取得された撮影画像から視聴者の性別及び年齢を推定して視聴者の属性を特定し、特定した属性に応じた注目すべき方向が視聴者の視認可能領域に含まれているか否かを判断し、含まれていない場合に、注目すべき方向を示す報知情報を出力することとしてもよい。このようにすれば、方向（場所）によって異なるコンテンツを出力している場合に、属性に応じたコンテンツを視聴者に見てもらうことが可能となる。
【００３４】
また、上記実施形態においては、投影装置１のコンテンツ記憶部１２２にコンテンツ情報が記憶されている場合を例にとり説明したが、コンテンツ情報は、投影装置１の通信部１７に接続されたＰＣ（Personal Computer）等の外部機器にコンテンツ情報を記憶しておくこととしてもよい。そして、コンテンツ出力時に外部機器においてコンテンツ情報を全方位投影用の投影データに変換して投影装置１に送信し、投影装置１においてプロジェクタ１５によりコンテンツを投影することとしてもよい。
【００３５】
また、上記実施形態においては、各コンテンツの各再生時間において注目すべき方向が予め記憶（指定）されている場合を例にとり説明したが、注目すべき方向を特定する手法はこれに限定されない。例えば、制御部１１によりコンテンツ情報を解析して各フレームにおけるオブジェクトの移動量及び音量を取得し、例えば、オブジェクトの移動量の大きい方向及び／又は音量の大きい方向を注目すべき方向として特定してもよい。
【００３６】
また、上記実施形態では、本発明を投影装置１に適用する場合を例にとり説明したが、ＶＲ（Virtual Reality）ヘッドマウントディスプレイに適用することとしてもよい。ＶＲヘッドマウントディスプレイは、視聴者の正面方向から所定の角度までのコンテンツを表示領域に表示させることができ、この表示領域に表示されている範囲が視聴者の視認可能領域となるが、装着した視聴者が顔の向きを変えることにより３６０度の全方位の映像を表示することが可能である。例えば、ＶＲヘッドマウントディスプレイにおいて、コンテンツの出力中に、注目すべき方向が視聴者の視認可能領域（即ち表示されている領域）に含まれているか否かを判断し、含まれていない場合には、投影装置１と同様に、注目すべき方向を示す報知情報（表示や音声）を出力する。これにより、ＶＲヘッドマウントディスプレイでコンテンツを視聴している場合において、視聴者が注目すべき方向を見逃すことを防止することができる。
【００３７】
また、上記実施形態においては、コンテンツの注目すべき箇所をその箇所が存在する注目すべき方向により特定する場合を例にとり説明したが、座標により特定することとしてもよい。
【００３８】
その他、投影装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００３９】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
一つのコンテンツ内の視聴者の視認可能領域を検出する検出手段と、
前記コンテンツの注目すべき箇所が前記視認可能領域に含まれているか否かを判断する判断手段と、
前記判断手段により前記コンテンツの注目すべき箇所が前記視認可能領域に含まれていないと判断された場合に、前記コンテンツの注目すべき箇所を報知するための報知情報を出力させる制御手段と、
を備える出力制御装置。
＜請求項２＞
撮影手段を備え、
前記検出手段は、前記撮影手段により取得された撮影画像に基づいて前記視聴者の顔の向きを認識し、認識した顔の向きに基づいて、前記視聴者の視認可能領域を検出する請求項１に記載の出力制御装置。
＜請求項３＞
撮影手段を備え、
前記検出手段は、前記撮影手段により取得された撮影画像に基づいて前記視聴者の視線方向を認識し、認識した視線方向に基づいて、前記視聴者の視認可能領域を検出する請求項１に記載の出力制御装置。
＜請求項４＞
前記コンテンツの再生時間が所定の再生時間になったか否かを判定する判定手段を備え、
前記制御手段は、更に前記判定手段が前記コンテンツの再生時間が所定の再生時間となったと判定した場合に、前記コンテンツの注目すべき箇所を報知するための報知情報を出力させる請求項１〜３の何れか一項に記載の出力制御装置。
＜請求項５＞
前記コンテンツの注目すべき箇所は、前記視聴者の属性によって異なる請求項１〜４の何れか一項に記載の出力制御装置。
＜請求項６＞
前記コンテンツを出力する出力手段を備える請求項１〜５の何れか一項に記載の出力制御装置。
＜請求項７＞
前記出力手段は、全方位に前記コンテンツの映像を出力する請求項６に記載の出力制御装置。
＜請求項８＞
一つのコンテンツ内の視聴者の視認可能領域を検出する工程と、
前記コンテンツの注目すべき箇所が前記視認可能領域に含まれているか否かを判断する工程と、
前記コンテンツの注目すべき箇所が前記視認可能領域に含まれていないと判断された場合に、前記コンテンツの注目すべき箇所を報知するための報知情報を出力させる工程と、
を含む出力制御方法。
＜請求項９＞
コンピュータを、
一つのコンテンツ内の視聴者の視認可能領域を検出する検出手段、
前記コンテンツの注目すべき箇所が前記視認可能領域に含まれているか否かを判断する判断手段、
前記判断手段により前記コンテンツの注目すべき箇所が前記視認可能領域に含まれていないと判断された場合に、前記コンテンツの注目すべき箇所を報知するための報知情報を出力させる制御手段、
として機能させるためのプログラム。
【符号の説明】
【００４０】
１  投影装置
１１  制御部
１２  記憶部
１２１  プログラム記憶部
１２２  コンテンツ記憶部
１２３  注目方向テーブル記憶部
１３  操作部
１４  撮像部
１５  プロジェクタ
１６  音声出力部
１７  通信部
【図１】
2017227659.tif 000003
【図２】
2017227659.tif 000004
【図３】
2017227659.tif 000005
【図４】
2017227659.tif 000006