(57)【要約】【課題】視聴者の視界を超える大きさの映像を表示する場合に、視聴者に所望する映像を適切に視聴させる。【解決手段】画像処理装置１００は、視界を超える大きさの映像を視聴する視聴者の顔の向きに関する情報を取得する取得手段と、取得手段により取得された顔の向きに関する情報に基づいて、映像の再生速度の変更を決定する決定手段と、を備える。また、画像処理装置１００は、決定手段により決定された再生速度で再生された映像を表示装置に表示させる表示制御手段を備える。【選択図】      図２
2017126899.tif 000002
【特許請求の範囲】
【請求項１】
視界を超える大きさの映像を視聴する視聴者の顔の向きに関する情報を取得する取得手段と、
前記取得手段により取得された顔の向きに関する情報に基づいて、前記映像の再生速度の変更を決定する決定手段と、
前記決定手段により決定された再生速度で再生された前記映像を表示装置に表示させる表示制御手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記決定手段は、
前記映像の再生速度が第一の再生速度である場合に、前記顔の向きが所定の回転速度以上で所定の回転量以上変化した場合、前記再生速度を前記第一の再生速度よりも遅い第二の再生速度に変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、
前記映像の再生速度が第一の再生速度である場合に、前記顔の向きが所定の回転速度以上で所定の回転量以上変化した後、異なる方向に所定の回転速度以上で所定の回転量以上変化した場合、前記再生速度を前記第一の再生速度よりも遅い第二の再生速度に変更することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記決定手段は、
前記再生速度が前記第二の再生速度である場合に、前記顔の向きが所定の期間中、所定の回転量以上変化しない場合、前記再生速度を前記第一の再生速度に変更することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記第二の再生速度は、前記映像の再生を停止または略停止する速度であることを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記映像の特徴量を抽出する抽出手段をさらに備え、
前記決定手段は、
前記抽出手段により抽出された特徴量が所定値以上である場合に、前記取得手段により取得された顔の向きに関する情報に基づいて、前記映像の再生速度を決定することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記特徴量は、音声情報、顔認識情報、動きベクトル情報の少なくとも１つを含むことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記表示装置は、前記視聴者が装着する頭部装着型表示装置であることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記表示装置は、前記視聴者の視界を覆うドーム型表示装置であることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項１０】
視界を超える大きさの映像を視聴する視聴者の顔の向きに関する情報を取得するステップと、
前記顔の向きに関する情報に基づいて、前記映像の再生速度の変更を決定するステップと、
決定された再生速度で再生された前記映像を表示装置に表示させるステップと、を含むことを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視聴者の視界を超える大きさの映像を表示するための画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、水平方向や垂直方向といった全方位を撮像した全天球映像や、水平方向３６０度を撮像した全周囲映像を表示し、視聴者に、あたかもその場にいるような高い臨場感と没入感とを体験させるシステムが提案されている。特許文献１には、ヘッドマウントディスプレイ（ＨＭＤ）を装着したユーザ（視聴者）が向いている方向を検出し、検出された方向に対応する映像をＨＭＤに表示することによって、全周囲映像を視聴可能とする装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２１８１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、全天球（全周囲）映像には、視聴者の視界の外側の領域に表示する映像も含まれる。視聴者が、視界の外側に表示された映像を視聴するためには、その映像が視界に入るように頭を動かす必要がある。また、このとき視聴者が所望する映像を的確に捉えることができずに、所望する映像を探さなければならない場合もある。このように、視聴者の視界の外側に所望する映像が表示される場合、視聴者が所望の映像を視界に入れて認識するまでに数秒程度の時間がかかり、決定的なシーンを見逃してしまうおそれがある。
そこで、本発明は、視聴者の視界を超える大きさの映像を表示する場合に、視聴者に所望する映像を適切に視聴させることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る画像処理装置の一態様は、視界を超える大きさの映像を視聴する視聴者の顔の向きに関する情報を取得する取得手段と、前記取得手段により取得された顔の向きに関する情報に基づいて、前記映像の再生速度の変更を決定する決定手段と、前記決定手段により決定された再生速度で再生された前記映像を表示装置に表示させる表示制御手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、視聴者の視界を超える大きさの映像を表示する場合に、視聴者に所望する映像を適切に視聴させることができる。
【図面の簡単な説明】
【０００７】
【図１】第一の実施形態における画像処理装置のハードウェア構成図である。
【図２】画像処理装置の機能ブロック図である。
【図３】画像処理装置の動作を説明するフローチャートである。
【図４】再生速度の変更判定処理の一例を示すフローチャートである。
【図５】再生速度の変更判定処理の一例を示すフローチャートである。
【図６】通常再生速度への変更判定処理を示すフローチャートである。
【図７】第二の実施形態における画像処理装置のハードウェア構成図である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
（第一の実施形態）
第一の実施形態では、頭部装着型表示装置であるＨＭＤ（Head Mounted Display）を用いて、視聴者（ユーザ）の視界を超える大きさの映像として全天球映像を表示する際に、視聴者の動作に応じて映像の再生速度を変更する方法について説明する。
図１は、第一の実施形態における画像処理装置１００のハードウェア構成図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、ＨＤＤ  Ｉ／Ｆ１０５、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０７およびシステムバス１０８を備える。
【０００９】
ＣＰＵ１０１は、画像処理装置１００における動作を統括的に制御するものであり、システムバス１０８を介して、各構成部（１０２、１０３、１０５〜１０７）を制御する。ＲＡＭ１０２は、ＣＰＵ１０１のワークメモリとして機能する。ＣＰＵ１０１が処理を実行するために必要なプログラムや各種データは、ＲＯＭ１０２やＨＤＤ１０４に格納されている。つまり、ＣＰＵ１０１は、処理の実行に際してＲＯＭ１０２やＨＤＤ１０４に格納されたプログラムを実行することで、各種の機能動作を実現する。ＨＤＤ  Ｉ／Ｆ１０５は、ＨＤＤ１０４や光ディスクドライブなどの二次記憶装置（不図示）を接続する、例えばＳＡＴＡ（Serial ATA）等である。ＣＰＵ１０１は、ＨＤＤ  Ｉ／Ｆ１０５を介して、ＨＤＤ１０４に対してデータを読み書きすることができる。また、ＣＰＵ１０１は、ＨＤＤ１０４に格納されたデータをＲＡＭ１０２に展開したり、ＲＡＭ１０２に展開されたデータをＨＤＤ１０４に保存したりすることができる。そして、ＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。
【００１０】
入力Ｉ／Ｆ１０６は、ＨＭＤ２００が備える各種センサ２０１や、不図示のキーボード、マウスなどの入力デバイスと接続されている。入力Ｉ／Ｆ１０６は、例えばＵＳＢ等により構成することができる。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して、センサ２０１から各種データを読み込むことが可能である。出力Ｉ／Ｆ１０７は、ＨＭＤ２００が備える表示部２０２やプロジェクタ等の表示デバイスと接続されている。出力Ｉ／Ｆ１０７は、例えばＤＶＩ（Digital Visual Interface）やＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等により構成することができる。ＣＰＵ１０１は、出力Ｉ／Ｆ１０７を介して、表示部２０２にデータを送ることで、表示部２０２に映像を表示することができる。
ＨＭＤ２００は、センサ２０１と表示部２０２とを備える。センサ２０１は、ＨＭＤ２００を装着した視聴者の顔の向きに関する情報を取得するためのものであり、加速度センサ、角速度センサ、地磁気センサ、ＧＰＳ等を含む。表示部２０２は、ユーザの左右の目にそれぞれ対応して配置されたディスプレイを備え、画像処理装置１００から出力された映像を表示する。
【００１１】
図２は、画像処理装置１００の機能ブロック図である。画像処理装置１００は、全天球映像入力部１１１、顔の向き検出部１１２、特徴量抽出部１１３、再生速度決定部１１４および全天球映像再生部１１５を備える。この図２に示す情報処理装置１００の各部（１１１〜１１５）の機能は、図１のＣＰＵ１０１がプログラムを実行することにより実現され得る。なお、図２に示す情報処理装置１００の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１０１の制御に基づいて動作する。
【００１２】
全天球映像入力部１１１は、ＨＭＤ２００の表示部２０２に表示する全天球映像をＨＤＤ１０４から取得し、ＲＡＭ１０２に展開する。なお、ＨＤＤ１０４には、不図示の撮像装置によって撮像された全天球映像や、コンピュータグラフィックスを使って作成された全天球映像などが予め格納されているものとする。
顔の向き検出部１１２は、ＨＭＤ２００のセンサ２０１のうち、角速度センサの情報と、加速度センサの情報とを入力Ｉ／Ｆ１０６を介して取得する。次に、顔の向き検出部２０２は、加速度センサの情報をもとに重力方向を検出しながら、その変位角を角速度センサの情報をもとに検出することで、ＨＭＤ２００の向きを検出する。顔の向き検出部１１２は、検出したＨＭＤ２００の向きを、ＨＭＤ２００を装着した視聴者の顔の向きに関する情報に置き換えて検出することができる。
【００１３】
特徴量抽出部１１３は、全天球映像入力部１１１がＲＡＭ１０２に展開した全天球映像を解析し、映像中の特徴量を抽出する。映像から抽出できる特徴量としては、音声情報、顔認識情報、動きベクトル情報などがある。本実施形態では、特徴量抽出部１１３は、音声情報を特徴量として用いる。ここで、音声情報は、例えば特開平９−２８４７０４号公報に記載の技術のように、ＡＤＣ（アナログ−デジタル変換器）により量子化された音声信号に基づいて検出される音声信号レベルであってもよい。
なお、特徴量抽出部１１３は、特徴量として複数種類の情報を抽出する場合、これら複数の特徴量を個別に出力するのではなく、目的に合わせて、ひとつの特徴量にまとめて出力してもよい。この場合、特徴量抽出部１１３は、例えば特開２００９−５５５２８号公報に記載の技術のように、複数の特徴量をそれらの最大レベルが１００％となるように正規化し、正規化された特徴量を演算（例えば、乗算）して合成特徴量を生成してもよい。
【００１４】
再生速度決定部１１４は、顔の向き検出部１１２により取得された顔の向きに関する情報と、特徴量抽出部１１３により取得された特徴量とに基づいて、全天球映像の再生速度を決定する。一般的に、映像に含まれる音声が単調な場合、その映像は風景等を撮像した映像であることが多い。その場合、視聴者は、ゆっくりと落ち着いて映像を見たい場合が多い。そのため、このような場合には、再生速度決定部１１４は視聴者の動きにかかわらず、映像の再生速度を変更しない。一方で、音声が一時的に大音量になる場合は、その映像に重要なシーンが含まれている可能性が高い。例えば、運動会を撮像した映像の場合、大きな歓声が上がったときにはアクシデント、もしくはファインプレーが行われた可能性が高い。そして、このような決定的なシーンが視聴者の視界の外側で再生された場合、視聴者はそのシーンを見るために映像を探す動作を行う。しかしながら、視聴者が頭を動かして視界の外側の所望の映像を認識するまでには、数秒程度の時間を要することがあり、決定的なシーンを見逃してしまうおそれがある。そこで、このような状況下では、再生速度決定部１１４は、映像の再生速度をスロー再生速度に変更する。このように、再生速度決定部１１４は、映像の特徴量と、視聴者の顔の向きに関する情報とに基づいて、映像の再生速度の変更を決定する。再生速度決定部１１４の具体的な動作については後述する。
【００１５】
全天球映像再生部１１５は、ＲＡＭ１０２に展開された全天球映像を、再生速度決定部１１４により決定された再生速度で再生する。そして、全天球映像再生部１１５は、再生した映像を、出力Ｉ／Ｆ１０７を介してＨＭＤ２００の表示部２０２に出力する。これにより、表示部２０２に、再生速度決定部１１４により決定された再生速度で再生された全天球映像が表示される。
なお、本実施形態では、ＨＭＤ２００を用いて水平方向や垂直方向といった全方位を網羅する全天球映像を表示する場合について説明するが、ＨＭＤ２００に表示する映像は全天球映像に限定されない。ＨＭＤ２００に表示する映像は、視聴者の視界を超える大きさの映像であればよく、例えば、水平方向３６０度を撮像した全周囲映像であってもよい。また、水平方向の撮像範囲は３６０度でなくてもよい。
【００１６】
図３は、画像処理装置１００の動作を説明するフローチャートである。画像処理装置１００は、ＣＰＵ１０１が必要なプログラムを読み出して実行することにより、図３に示す各処理を実現することができる。
まずＳ１において、全天球映像入力部１１１は、ＨＤＤ１０４から全天球映像を入力し、ＲＡＭ１０２に展開する。Ｓ２では、特徴量抽出部１１３は、Ｓ１において入力された全天球映像を解析し、特徴量を抽出する。Ｓ３では、顔の向き検出部１１２は、ＨＭＤ２００に備えられたセンサ２０１からの情報をもとに、視聴者の顔の向きを検出する。Ｓ４では、再生速度決定部１１４は、現在の映像の再生速度が、通常再生速度であるか否かを判定する。そして、再生速度決定部１１４は、再生速度が通常再生速度であると判定した場合にはＳ５に移行し、再生速度が、通常再生速度よりも遅いスロー再生速度に変更されていると判定した場合にはＳ６に移行する。
【００１７】
Ｓ５では、再生速度決定部１１４は、Ｓ２において取得された特徴量と、Ｓ３において検出された顔の向きとに基づいて、全天球映像の再生速度の変更判定処理を行い、再生速度を決定する。再生速度の変更判定処理については後で詳述する。Ｓ６では、再生速度決定部１１４は、Ｓ３において検出された顔の向きに基づいて、通常再生速度への変更判定処理を行い、再生速度を決定する。通常再生速度への変更判定処理については後で詳述する。Ｓ５では、全天球映像再生部１１５は、全天球映像を再生し、ＨＭＤ２００の表示部２０２に表示する。Ｓ６では、画像処理装置１００は、映像の再生停止の指示の有無を確認する。再生停止の指示は、入力Ｉ／Ｆ１０６に接続されたキーボードやマウスを用いて行われる。画像処理装置１００は、再生停止の指示がないと判定した場合はＳ２に戻り、再生停止の指示があったと判定した場合はＳ７に進み、全天球映像の再生を停止する。
【００１８】
以下、図３のＳ５において実行される再生速度の変更判定処理について詳細に説明する。本実施形態では、再生速度の変更判定処理として、２つの例を説明する。１つ目の例は、視聴者が視点を１８０度回転させて後ろを振り返る動作を行った場合に、再生速度を通常再生速度からスロー再生速度に変更する例である。２つ目の例は、視聴者が頭を左右に動かして探し物をする動作を行った場合に、再生速度を通常再生速度からスロー再生速度に変更する例である。
図４は、再生速度の変更判定処理の１つ目の例を示すフローチャートである。まず、Ｓ５０１において、再生速度決定部１１４は、図３のＳ２において特徴量抽出部１１３が取得した特徴量を読み込む。Ｓ５０２では、再生速度決定部１１４は、Ｓ５０１において取得された特徴量と、予め設定された特徴量の閾値ＴＨ１とを比較する。ここで、閾値ＴＨ１は、視聴者が注目すると思われる特別なシーンが再生されたと判断できる音声信号レベル相当に設定する。そして、特徴量が閾値ＴＨ１よりも小さい場合には、再生速度決定部１１４は、再生速度を変更しないと判断してそのまま変更判定処理を終了する。つまり、再生速度は通常再生速度のままとする。一方、特徴量が閾値ＴＨ１以上である場合には、再生速度決定部１１４は、Ｓ５０３に移行する。
【００１９】
Ｓ５０３では、再生速度決定部１１４は、図３のＳ３において顔の向き取得部１１２が取得した視聴者の顔の向きに関する情報を取得する。次にＳ５０４では、再生速度決定部１１４は、Ｓ５０３において取得された顔の向きの単位時間当たりの変化量を顔の回転速度として算出する。視聴者が顔の向きをゆっくりと変化させた場合、顔の向きの単位時間当たりの変化量は小さくなるため、顔の回転速度も小さく算出される。これに対して、視聴者が顔の向きを素早く変化させた場合は、顔の向きの単位時間当たりの変化量が大きくなるため、顔の回転速度も大きく算出される。
Ｓ５０５では、再生速度決定部１１４は、Ｓ５０４において算出された顔の回転速度と、予め設定された回転速度の閾値ＴＨ２とを比較する。このとき、回転速度が閾値ＴＨ２よりも遅い場合には、視聴者は周りをゆっくりと見回しているだけであるため、再生速度決定部１１４は、再生速度を変更する必要はないと判断してそのまま変更判定処理を終了する。一方、回転速度が閾値ＴＨ２以上である場合には、再生速度決定部１１４は、Ｓ５０６に移行する。Ｓ５０６では、再生速度決定部１１４は、視聴者の顔の回転量を算出する。視聴者の顔の回転量は、顔の向きの変化量の積算値である。
【００２０】
Ｓ５０７では、再生速度決定部１１４は、Ｓ５０６において算出された回転量と、予め設定された回転量の閾値ＴＨ３とを比較する。このとき、回転量が閾値ＴＨ３よりも小さい場合にはＳ５０３に戻る。つまり、Ｓ５０３からＳ５０５の処理を新たに実行し、再び回転速度が閾値ＴＨ２を上回れば、Ｓ５０６において回転量が更新される。したがって、Ｓ５０６において算出される回転量は、閾値ＴＨ２以上の速度で回転した顔の総回転量となる。そして、Ｓ５０６において算出された回転量が閾値ＴＨ３以上となると、再生速度決定部１１４は、映像の再生速度をスロー再生速度に変更することを決定し、Ｓ５０７からＳ５０８に移行する。ここで、閾値ＴＨ３は、９０度前後の値に設定する。つまり、再生速度決定部１１４は、閾値ＴＨ２以上の回転速度で、視聴者の顔が閾値ＴＨ３以上回転した場合に、視聴者が映像を探して後ろを振り返る動作をしたと判断して、再生速度を通常再生速度からスロー再生速度に変更することを決定する。Ｓ５０８では、再生速度決定部１１４は、再生速度を通常再生速度よりも遅い速度（例えば、０．５倍速や０．７倍速）に設定し、再生速度の変更判定処理を終了する。
なお、Ｓ５０２、Ｓ５０５およびＳ５０７においては、それぞれ閾値を複数設定し、スロー再生速度を段階的（０．３倍速、０．５倍速、０．７倍速など）に変更するようにしてもよい。また、通常再生速度からスロー再生速度への変更ではなく、再生を一時停止するようにしてもよい。ただし、再生を一時停止させると臨場感が損なわれるおそれがあるため、再生速度の変更方法は、スロー再生速度に変更する方が好ましい。
【００２１】
図５は、図３のＳ５において実行される再生速度の変更判定処理の２つ目の例を示すフローチャートである。図５において、図４と同様の処理には同一ステップ番号を付し、以下、処理の異なる部分を中心に説明する。
Ｓ５０１からＳ５０６までは、図４と同様である。Ｓ５１１では、再生速度決定部１１４は、Ｓ５０６において算出された回転量と、予め設定された回転量の閾値ＴＨ４とを比較する。このとき、回転量が閾値ＴＨ４よりも小さい場合にはＳ５０３に戻り、回転量が閾値ＴＨ４以上である場合にはＳ５１２に移行する。ここで、閾値ＴＨ４は、上述した閾値ＴＨ３とは異なる値である。閾値ＴＨ３は、視聴者が後ろを振り返る動作を検出できるよう９０度前後の値に設定したが、閾値ＴＨ４は、視聴者が頭を左右に動かして探し物をする動作を検出できるような値に設定する。視聴者が頭を左右に動かして探し物をする場合、視聴者は、短時間で小角度、頭を回転させた後、すぐに反対方向にも同様に、短時間で小角度、頭を回転する。そこで、閾値ＴＨ４は、例えば９０度よりも小さな値に設定する。
【００２２】
Ｓ５１２では、再生速度決定部１１４は、図３のＳ３において顔の向き取得部１１２が取得した視聴者の顔の向きに関する情報を取得する。Ｓ５１３では、再生速度決定部１１４は、Ｓ５１２において取得された顔の向きが、Ｓ５０３において取得された顔の向きと比べて逆方向であるか否かを判定する。このとき、再生速度決定部１１４は、顔の向きが逆方向であると判定した場合にはＳ５１４に移行し、顔の向きが逆方向ではないと判定した場合には、所定期間、視聴者の顔の向きを繰り返し取得し、その都度、顔の向きが逆方向であるか否かを判定する。そして、上記の所定期間中に顔の向きが逆方向になった場合にはＳ５１４に移行し、上記の所定期間中に顔の向きが逆方向にならなった場合にはそのまま処理を終了する。Ｓ５１４からＳ５１７までは、Ｓ５０４からＳ５０６、およびＳ５１１と同様である。つまり、視聴者の顔が、閾値ＴＨ２以上の回転速度で閾値ＴＨ４以上回転したか否かを判定する。Ｓ５０８は、図４と同様であり、再生速度決定部１１４は、再生速度を通常再生速度よりも遅い速度（例えば、０．５倍速や０．７倍速）に設定し、再生速度の変更判定処理を終了する。
【００２３】
次に、通常再生速度への変更判定処理について詳細に説明する。
図６は、図３のＳ６において実行される通常再生速度への変更判定処理を示すフローチャートである。先ずＳ６０１において、再生速度決定部１１４は、顔の向き取得部１１２から視聴者の顔の向きを取得する。Ｓ６０２では、再生速度決定部１１４は、顔の向きの変化量（回転量）を算出する。Ｓ６０３では、再生速度決定部１１４は、Ｓ６０２において算出された顔の向きの変化量と、予め設定された変化量の閾値ＴＨ５とを比較する。そして、再生速度決定部１１４は、顔の向きの変化量が閾値ＴＨ５以上である場合には、視聴者が所望のシーンを探して頭を動かしているため、通常再生速度への変更は行わないと判断してそのまま処理を終了する。一方、再生速度決定部１１４は、顔の向きの変化量が閾値ＴＨ５よりも小さい場合にはＳ６０４に移行する。Ｓ６０４では、再生側と決定部１１４は、通常再生速度への変更判定処理が開始されてから、予め設定した所定時間Ｔ１が経過したか否かを判定する。そして、再生速度決定部１１４は、所定時間Ｔ１が経過していない場合にはＳ６０１に戻り、所定時間Ｔ１が経過した場合には、視聴者の頭が一定期間動いておらず、視聴者がシーンを探すのをやめた可能性が高いと判断してＳ６０５に移行する。Ｓ６０５では、再生速度決定部１１４は、再生速度をスロー再生速度から通常再生速度に変更する。
【００２４】
以上のように、画像処理装置１００は、視界を超える大きさの映像を視聴する視聴者の顔の向きに関する情報を取得し、取得された顔の向きに関する情報に基づいて、映像の再生速度の変更を決定する。そして、画像処理装置１００は、決定された再生速度で再生された映像を表示装置に表示させる。本実施形態において、視界を超える大きさの映像とは全天球映像であり、表示装置は、視聴者が装着する頭部装着型表示装置（ＨＭＤ）である。このように、画像処理装置１００は、視聴者の視線の方向や顔の動きに応じて映像の再生速度を決定することができるので、視聴者に所望の映像を適切に視聴させることができる。
【００２５】
具体的には、画像処理装置１００は、映像の再生速度が第一の再生速度である場合に、視聴者の顔の向きが所定の回転速度（閾値ＴＨ２）以上で所定の回転量（閾値ＴＨ３）以上変化した場合に、再生速度を第一の再生速度よりも遅い第二の再生速度に変更する。本実施形態においては、第一の再生速度は通常再生速度であり、第二の再生速度はスロー再生速度である。このように、画像処理装置１００は、視聴者が比較的速く頭を動かして視線の方向を変化させている場合、視聴者が視界の外側（例えば、視聴者の後ろ側）に表示された所望の映像を見ようとしていると判断し、映像の再生速度を通常再生速度と比較して遅くする。したがって、視聴者が頭を動かしている間に決定的なシーンが終わってしまうことを抑制することができる。
【００２６】
また、画像処理装置１００は、映像の再生速度が第一の再生速度である場合に、視聴者の顔の向きが所定の回転速度（閾値ＴＨ２）以上で所定の回転量（閾値ＴＨ４）以上変化した後、異なる方向に同様に変化した場合、再生速度を第一の再生速度よりも遅い第二の再生速度に変更する。このように、画像処理装置１００は、視聴者が比較的速く頭を左右に動かしている場合、視聴者が着目する対象を探していると判断して、映像の再生速度を通常再生速度と比較して遅くすることができる。したがって、視聴者は所望のシーンを見つけやすくなる。
【００２７】
以上のように、画像処理装置１００は、ＨＭＤ２００にて全天球映像を表示する際に、視聴者の所望のシーンを探す動作を検出し、映像をスロー再生にすることができる。そのため、視聴者に所望の映像を適切に視聴させることができる。また、従来、視聴者が視線入力などにより意図的に映像の再生をコントロールする装置もあるが、操作に対する習熟が不十分だと、適切に映像の再生をコントロールすることができない。これに対して、本実施形態における画像処理装置１００は、視聴者の必然的に行われる動作を検出して自動的に映像の再生をコントロールするので、視聴者が意図的に操作を行う必要がなく、適切に映像の再生をコントロールすることができる。
なお、第二の再生速度は、映像の再生を停止または略停止する速度であってもよい。視聴者が所望のシーンを探す動作を行っている場合に、映像の再生を停止または略停止するようにすれば、視聴者はより確実に所望のシーンを探し出すことができる。
【００２８】
さらに、画像処理装置１００は、映像の再生速度が第二の再生速度である場合に、視聴者の顔の向きが所定の期間（所定時間Ｔ１）中、所定の回転量（閾値ＴＨ５）以上変化しない場合、再生速度を第一の再生速度に変更する。つまり、画像処理装置１００は、視聴者の視線の方向が定まっていない場合には、映像の再生速度を通常再生速度よりも遅いスロー再生速度へ変更し、視聴者の視線の方向が定まると、映像の再生速度を通常再生速度へ戻す。このように、画像処理装置１００は、視聴者が所望のシーンを探す動作をやめたことを適切に検出し、映像の再生速度を適切に決定することができる。
【００２９】
また、画像処理装置１００は、映像の特徴量を抽出し、抽出された特徴量が所定値（閾値ＴＨ１）以上である場合に、視聴者の顔の向きに関する情報に基づいて、映像の再生速度を決定する。つまり、画像処理装置１００は、映像が単調である場合など、映像の特徴量が所定値を下回る場合には、視聴者の視線の方向や顔の動きにかかわらず、映像の再生速度を変更しないようにすることができる。したがって、画像処理装置１００は、不必要に映像の再生速度を変更することを防止することができる。
上記特徴量は、音声情報、顔認識情報、動きベクトル情報の少なくとも１つを含む。一時的に大音量になった場合や、視聴者が注目すると思われる人物が映像に映った場合、映像中に目立った動きがあった場合、視聴者は対象を探す動作を行う可能性が高い。したがって、画像処理装置１００は、これらの特徴量が所定値以上である場合に、映像の再生速度を変更するか否かを判定することで、適切に映像の再生速度を決定することができる。
【００３０】
（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
上述した第一の実施形態では、ＨＭＤ２００を用いて全天球（全周囲）映像を表示する場合について説明した。第二の実施形態では、視聴者を取り囲むスクリーンやディスプレイを用いて全天球（全周囲）映像を表示する場合について説明する。なお、以下では、上述した第一の実施形態とは異なる部分を中心に説明する。
図７は、第二の実施形態における画像処理装置１００のハードウェア構成図である。図１と異なる部分は、入力Ｉ／Ｆ１０６がセンサ３００から情報を取得し、出力Ｉ／Ｆ１０７が表示装置４００にデータを出力する点である。
センサ３００は、図１のセンサ２０１と同様、加速度センサ、角速度センサ、地磁気センサ、ＧＰＳ等である。ただし、センサ３００は、視聴者がヘッドセットなどを通じて身に付けるものとする。なお、センサ３００としてカメラを用い、視聴者を撮影した画像から顔の向きを画像処理により検出してもよい。表示装置４００は、ドーム型の大型スクリーンと、その大型スクリーンに映像を投影する複数のプロジェクタとを備える。なお、表示装置４００は、視聴者を取り囲むように配置された大型液晶ディスプレイであってもよい。
【００３１】
本実施形態における画像処理装置１００は、上記のハードウェア構成以外、上述した第一の実施形態と同様である。この場合にも、上述した第一の実施形態と同様に、視聴者の所望のシーンを探す動作を検出し、映像の再生速度をスロー再生速度に変更することができ、第一の実施形態と同様の効果が得られる。このように、画像処理装置１００は、視聴者の視界を覆うドーム型表示装置を用いて、視聴者の視界を超える大きさの映像を表示する場合にも、視聴者に所望する映像を適切に視聴させることができる。
【００３２】
（変形例）
上記各実施形態においては、視聴者が後ろを振り返る動作を検出した場合や、視聴者が頭を左右に動かして探し物をする動作を検出した場合に、映像の再生速度をスロー再生速度に変更するようにした。しかしながら、映像の再生速度を変更することを決定する動作は上記に限定されない。例えば、視聴者が、短時間で顔の向きを下に移動する動作を検出した場合に、映像の再生速度を変更するようにしてもよい。全天球（全周囲）映像を視聴している最中に目を背けたくなる映像が表示された場合、視聴者はとっさに映像から目をそらすために、短時間で顔の向きを下方向に移動する可能性が高い。したがって、このような目をそらす動作を検出した場合には、映像の再生を停止する（表示しない）ようにしてもよい。また、上記のような目をそらす動作を検出した場合には、映像の再生速度を速め、視聴者の不所望な映像を早回しで飛ばすようにしてもよい。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３３】
１００…画像処理装置、１１１…全天球映像入力部、１１２…顔の向き検出部、１１３…特徴量抽出部、１１４…再生速度決定部、１１５…全天球映像再生部、２００…ＨＭＤ、２０１…センサ、２０２…表示部、３００…センサ、４００…表示装置
【図１】
2017126899.tif 000003
【図２】
2017126899.tif 000004
【図３】
2017126899.tif 000005
【図４】
2017126899.tif 000006
【図５】
2017126899.tif 000007
【図６】
2017126899.tif 000008
【図７】
2017126899.tif 000009