(57)【要約】  ユーザの動画像の閲覧をより快適にする。制御部（２０）は、動画像に含まれる所定の対象物を追従するように、画像全体における表示領域の位置を補正する表示領域補正部（２５）と、所定の対象物の単位時間当たりの変位量に応じて、上記補正における所定の対象物の追従度合いを決定する追従度合決定部（２４）と、を備える。
2018150711.tif 000002
【特許請求の範囲】
【請求項１】
動画像のあるフレーム画像の一部分を表示領域として表示部に表示させる表示制御装置であって、
上記動画像に含まれる所定の対象物を追従するように、上記フレーム画像における上記表示領域の位置を補正する表示領域補正部と、
上記動画像における上記所定の対象物の単位時間当たりの変位量に応じて、上記表示領域補正部の上記補正における上記所定の対象物の追従度合いを決定する追従度合決定部と、を備えていることを特徴とする表示制御装置。
【請求項２】
上記追従度合決定部は、上記所定の対象物の上記単位時間当たりの変位量が大きいほど、上記追従度合いが小さくなるように上記追従度合いを決定することを特徴とする、請求項１に記載の表示制御装置。
【請求項３】
ユーザの視線の方向が変化する速度を検出する視線方向検出部を備え、
上記追従度合決定部は、上記視線の方向が変化する速度が速いほど、上記追従度合いが小さくなるように上記追従度合いを決定することを特徴とする、請求項１または２に記載の表示制御装置。
【請求項４】
上記表示領域補正部は、上記視線方向検出部が検出した上記視線の方向が変化する速度が所定の閾値以上の速度である場合、上記表示領域の位置の補正を行わないことを特徴とする、請求項３に記載の表示制御装置。
【請求項５】
上記追従度合決定部は、上記動画像の内容に応じて上記所定の対象物の追従度合いを決定することを特徴とする、請求項１〜４のいずれか１項に記載の表示制御装置。
【請求項６】
請求項１〜５のいずれか１項に記載の表示制御装置と、
上記表示部と、
ユーザの頭の向きに応じて表示領域を決定する表示領域決定部と、を備えていることを特徴とする、ヘッドマウントディスプレイ。
【請求項７】
動画像のあるフレーム画像の一部分を表示領域として表示部に表示させる表示制御装置の制御方法であって、
上記動画像に含まれる所定の対象物を追従するように、上記フレーム画像における上記表示領域の位置を補正する表示領域補正ステップと、
上記動画像における上記所定の対象物の単位時間当たりの変位量に応じて、上記表示領域補正ステップで行う上記補正における上記所定の対象物の追従度合いを決定する追従度合決定ステップと、を含むことを特徴とする、表示制御装置の制御方法。
【請求項８】
請求項７に記載の表示制御装置の制御方法を、コンピュータに実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示部に動画像を表示させる表示制御装置等に関する。
【背景技術】
【０００２】
予め広画角の動画像を用意しておき、当該動画像の一部分の領域を表示部に表示させる技術が開発されている。例えば、ヘッドマウントディスプレイの場合、広画角（例えば３６０°全方位）の動画像のうち、ユーザの視野に応じた一部分の領域が、実際にディスプレイに表示される表示領域である。特許文献１には、ユーザの頭部の位置情報および回転情報に応じて次に生成すべき画像範囲を決定することで、ユーザの意思に基づく画像を表示する、頭部搭載型の画像表示装置が開示されている。【０００３】
また、上記技術とは別個の技術として、動画像の手ぶれ補正技術が存在する。これは、動画像に含まれるある物体が略定位置に含まれるようにフレーム画像をトリミングする技術である。当該技術によると、フレーム画像では手ぶれにより上記物体の位置が動いていても、トリミング後の画像では上記物体が略定位置に含まれることとなる。このトリミング後の画像を表示することで、元の動画像の手ぶれを補正して表示することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】日本国公開特許公報「特開平８−２９２３９４号」（１９９６年１１月５日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、広画角の動画像においても手ぶれ補正を行いたいという要求がある。しかし、上述のように広画角の動画像から一部分を抽出して表示する場合、従来の手ぶれ補正技術を単純に適用することは困難である。広画角の動画像では、補正の基準となる物体を過剰に追従してしまうからである。【０００６】
具体的に説明すると、画角の狭い（例えば１２０°）動画像であれば、補正の基準となる物体自体が動画中で大きく移動した場合、当該物体は動画像からフレームアウトすることになる。すなわち、動画像に元々写っていないものを表示範囲に収めるように手ぶれ補正を行うことはできない。その結果、画角の狭い動画像では、補正の基準となる物体を過剰に追従することは起こらなかった。【０００７】
しかし、広画角の動画像の場合、上記物体が大きく移動した場合でも、当該物体がフレームアウトしない場合が多い。特に全方位画像の場合、上記物体がどこに移動しようと、動画像自体には写っていることとなる。そのため、広画角の動画像に従来の手ぶれ補正技術を単純に適用すると、補正の基準となる物体を過剰に追従してしまう。そして、このように過剰に追従した（すなわち、補正しすぎた）画像を補正後フレーム画像として表示すると、却って不自然な映像になったり、ユーザによっては映像に酔ったりする虞がある。【０００８】
本発明の一態様は、上記の問題点に鑑みたものであり、ユーザの動画像の閲覧をより快適にすることができる表示制御装置等を実現することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の一態様に係る表示制御装置は、動画像のあるフレーム画像の一部分を表示領域として表示部に表示させる表示制御装置であって、上記動画像に含まれる所定の対象物を追従するように、上記フレーム画像における上記表示領域の位置を補正する表示領域補正部と、上記動画像における上記所定の対象物の単位時間当たりの変位量に応じて、上記表示領域補正部の上記補正における上記所定の対象物の追従度合いを決定する追従度合決定部と、を備えている。【００１０】
上記の課題を解決するために、本発明の一態様に係る表示制御装置の制御方法は、動画像のあるフレーム画像の一部分を表示領域として表示部に表示させる表示制御装置の制御方法であって、上記動画像に含まれる所定の対象物を追従するように、上記フレーム画像における上記表示領域の位置を補正する表示領域補正ステップと、上記動画像における上記所定の対象物の単位時間当たりの変位量に応じて、上記表示領域補正ステップで行う上記補正における上記所定の対象物の追従度合いを決定する追従度合決定ステップと、を含む。
【発明の効果】
【００１１】
本発明の一態様によれば、ユーザの動画像の閲覧をより快適にすることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１に係るヘッドマウントディスプレイの要部構成の一例を示すブロック図である。
【図２】撮影対象物の変位量と、表示領域の補正強度との相関関係を示すグラフである。
【図３】上記ヘッドマウントディスプレイが実行する処理の流れの一例を示すフローチャートである。
【図４】本発明の実施形態２に係るヘッドマウントディスプレイの要部構成の一例を示すブロック図である。
【図５】ユーザの頭の加速度と補正強度の相関関係を示すグラフである。
【図６】上記ヘッドマウントディスプレイが実行する処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
〔実施形態１〕
以下、本発明の実施形態１について、図１〜図３を用いて詳細に説明する。
【００１４】
（ヘッドマウントディスプレイの構成）
図１は、ヘッドマウントディスプレイ（ＨＭＤ）１００の要部構成の一例を示すブロック図である。
【００１５】
ＨＭＤ１００は、ユーザの頭に装着される装置であって、ユーザの動作に応じた動画像を表示する装置である。ＨＭＤ１００は、広画角（例えば３６０°）の動画像の各フレームにおける画像全体のうち、上記ユーザの動作に応じた一部分の領域を表示する。以降、ＨＭＤ１００（さらに詳しくは、後述する表示部１３）があるフレームにおいて表示する上記一部分の領域を、「表示領域」と称する。
【００１６】
なお、本実施形態において、ＨＭＤ１００の具体的な大きさや形状は特に限定されない。ＨＭＤ１００は、センサ１１、記憶部１２、表示部１３、および制御部２０を備えている。なお、ＨＭＤ１００は外部カメラまたは図示しない内蔵カメラで撮影した動画をリアルタイムに表示する装置であってもよい。
【００１７】
センサ１１は、ＨＭＤ１００を装着したユーザの動き（頭の動き、向き、または傾き）を示す情報を検出する。例えば、センサ１１は、ユーザの頭の動きを加速度として検出する加速度センサであってもよい。センサ１１の検出結果は、制御部２０に送信される。
【００１８】
記憶部１２は、ＨＭＤ１００が用いる各種データを記憶する。例えば、記憶部１２は、表示部１３に表示する動画像のデータを記憶する。また、記憶部１２は、動画像のデータとともに、後述する撮影対象物の設定に係るデータ、および撮影対象物の変位量（位置の変化量）の算出に係るデータ等を記憶していてもよい。
【００１９】
表示部１３は、動画像を表示する。本実施形態に係る表示部１３は、制御部２０が作成したフレーム画像を表示可能であればその構成は特に限定されない。なお、表示部１３はユーザがＨＭＤ１００を装着した際に、当該ユーザの視野全体に動画像を表示できるように構成されていることが望ましい。
【００２０】
制御部２０は、ＨＭＤ１００の各部を統括して制御するものである。制御部２０は、画像取得部２１、対象物特定部２２、対象物変位量算出部２３、追従度合決定部２４、および表示領域補正部（表示領域決定部）２５を備えている。
【００２１】
画像取得部２１は、記憶部１２から動画像のデータを読み出す。また、画像取得部２１は、ＨＭＤ１００がカメラの撮影映像をリアルタイムに表示する装置である場合は、図示しないカメラから撮影映像のデータを取得する。なお、画像取得部２１が動画像のデータまたは撮影映像のデータを取得するタイミングは適宜設定されてよい。さらに、画像取得部２１が取得するデータの時間的長さは適宜設定されてよい。例えば、画像取得部２１は、記憶部１２から１フレーム分の動画像のデータを読み出してもよいし、１秒や１０秒単位で動画像のデータを読み出してもよい。画像取得部２１は、取得した動画像のデータを対象物特定部２２に送信する。
【００２２】
対象物特定部２２は、画像取得部２１より受信した動画像に含まれる撮影対象物を特定する。ここで、撮影対象物とは、動画像に含まれる所定の対象物であって、後述する表示領域補正部２５による表示領域の補正における、位置の基準となる物体である。なお、対象物特定部２２は、動画像のフレーム画像における所定の領域を、上記補正の基準となる対象領域として特定し、撮影対象物と同様に扱っても良い。また、撮影対象物は、ＨＭＤ１００または外部の装置にて予め設定されたものであってもよいし、対象物特定部２２が動画像における１つ以上のフレーム画像から設定するものであってもよい。例えば、対象物特定部２２は、動画像中に含まれる人物を顔認証技術によって検出し、当該人物を撮影対象物に設定してもよい。また、対象物特定部２２は、動画像の中央付近の領域に含まれる特定の物体を検出し、当該物体を撮影対象物に設定してもよい。
【００２３】
対象物変位量算出部２３は、対象物特定部２２が特定した撮影対象物の、単位時間あたりの変位量と、変位の方向とを算出する。この単位時間は、当該単位時間あたりの変位量に基づいて後述する表示領域補正部２５が適切に補正を行える範囲であれば、適宜設定されてよい。本実施形態では、対象物変位量算出部２３は、１フレーム期間における撮影対象物の変位量および変位の方向を算出することとする。つまり、対象物変位量算出部２３は、動画像のあるフレームの画像における撮影対象物の位置と、当該フレームの次のフレームの画像における撮影対象物の位置との変位量を算出する。対象物変位量算出部２３は、算出した変位量を示す情報を追従度合決定部２４へ送信する。また、対象物変位量算出部２３は、算出した変位の方向を表示領域補正部２５に送信する。
【００２４】
追従度合決定部２４は、撮影対象物の単位時間当たりの変位量に応じて、後述する表示領域補正部２５の補正における、撮影対象物の追従度合いを決定する。ここで、追従度合いとは、撮影対象物の変位量に対する、表示領域を移動させる距離の割合を示す値である。なお、追従度合決定部２４は、撮影対象物の追従度合いをどのような間隔で設定してもよい。例えば、対象物変位量算出部２３が１フレーム期間における撮影対象物の変位量を算出した場合、追従度合決定部２４は１フレーム毎に撮影対象物の追従度合いを設定してもよい。また、追従度合決定部２４は、例えば３０フレームや６０フレーム毎に、受信した上記変位量の一連のデータに基づいて追従度合いを設定してもよい。
【００２５】
また、詳しくは後述するが、追従度合決定部２４は、撮影対象物の単位時間当たりの変位量が大きくなるほど追従度合いを小さくするように、追従度合いを決定する。追従度合決定部２４は、決定した追従度合いを表示領域補正部２５へ送信する。
【００２６】
表示領域補正部２５は、動画像の各フレームにおける表示領域の位置を特定および補正する。表示領域補正部２５は、まず、制御部２０がセンサ１１から受信した、ユーザの動きを示す情報に応じて表示領域の位置を特定する。例えばセンサ１１がユーザの頭の傾きを示す情報を送信した場合、表示領域補正部２５は、当該頭の傾きに沿って、動画像の１フレーム画像全体から、一部分を表示領域として特定する。
【００２７】
そして、表示領域補正部２５は、対象物変位量算出部２３から受信した撮影対象物の変位量および変位の方向と、追従度合決定部２４から受信した追従度合いとに応じて、上記特定した表示領域の位置を補正する。具体的には、表示領域補正部２５は、特定した表示領域を、上記変位の方向が示す方向に、上記追従度合いが示す距離だけ移動させる。
【００２８】
（撮影対象物の変位量と追従度合いについて）
図２は、撮影対象物の変位量と、表示領域の補正強度との相関関係を示すグラフである。ここで、補正強度とは、表示領域の位置を補正する際の、表示領域を移動させる距離を示す。補正強度は、撮影対象物の変位量に追従度合いを乗算することで得られる。グラフの縦軸は表示領域の補正強度を示す。また、グラフの横軸は、対象物変位量算出部２３が算出する、撮影対象物の変位量を示す。なお、図２では縦軸および横軸の各値を０〜５の数値で示しているが、これは相対的な大きさを示すものであって、具体的な係数や値を示すものではない。
【００２９】
図２のグラフには、「完全追従」、「補正強め」、および「補正弱め」の３つの相関関係が示されている。ここで、「完全追従」とは、撮影対象物を完全に追従するように、表示領域を補正することを意味する。つまり、「完全追従」の場合、表示領域補正部２５は、表示領域と撮影対象物との相対的位置が常に一定になるように表示領域を補正する。そのため「完全追従」の場合、追従度合いは常に一定であり、撮影対象物の変位量と補正強度とは図示の通り正比例する。
【００３０】
ここで、ＨＭＤ１００において、表示する動画像は、例えば画角３６０°の全方位画像である。そのため、「完全追従」の場合、表示領域の位置は大きく変化する場合がある。例えば、あるフレームにおける表示領域は、その前のフレームにおける表示領域から１８０°回転した位置になる場合もあり得る。このとき、例えば表示領域に対する補正量が非常に大きい（補正強度が高い）場合、表示部１３の表示領域をユーザが視認すると、視覚から得た情報によって非常に大きな移動の感覚を得ることができる。しかしながら、ユーザの身体が実際に移動しているわけではないので、当該ユーザが表示領域を視認して得た非常に大きな移動の感覚と、当該ユーザの身体の実際の移動の感覚との間に、非常に大きな差異を生じる。また、補正量が非常に大きい場合、視覚による移動の感覚と実際の移動の感覚との間の前記差異により、ユーザは映像に酔ってしまうおそれがある。そのため、ユーザが表示部１３の表示領域を視認したときに認識する、視覚による移動の感覚と、実際の移動の感覚との間の差異が、上記酔いが発生しない程度に抑制することが好ましい。
【００３１】
図２に示す「補正強め」および「補正弱め」の相関関係は、撮影対象物の変位量に対する補正強度を、撮影対象物の変位量が大きくなるにつれて抑制した相関関係である。「補正弱め」の相関関係の方が、「補正強め」の相関関係よりも、補正強度の抑制度合いが大きい。つまり、「補正強め」および「補正弱め」の場合、追従度合決定部２４は、撮影対象物の単位時間当たりの変位量が大きいほど、追従度合いが小さくなるように追従度合いを決定する。
【００３２】
撮影対象物の単位時間当たりの変位量が大きい場合、動画像自体がぶれている可能性よりも、動画像において対象物が実際に移動している可能性が高い。したがって、「補正強め」および「補正弱め」の相関関係に示すように、表示領域補正部２５は、追従度合いを変更して補正強度を決定することで、動画像のぶれ以上に対象物を追従しすぎないような補正強度に決定することができる。
【００３３】
ところで、補正による表示領域の位置変化は、表示領域を見ているユーザの視線の動きに関わらず起こる。そして、「完全追従」の相関関係に示したように補正強度を決定した場合、撮影対象物の単位時間当たりの変位量が大きいほど、表示領域の位置も速く変化することになる。例えば、撮影対象物が高速で移動している場合、表示領域を見ているユーザにとっては、自身の視線の動きと関係なく激しく動く動画像を見せられることになり、映像に酔ってしまう虞があった。これに対し、「補正強め」および「補正弱め」の相関関係に示すように補正強度を定めることで、ユーザが映像に酔ってしまうことを防ぎつつ、表示領域の位置補正を行うことができる。
【００３４】
なお、「補正強め」と「補正弱め」とのそれぞれの補正強度の抑制度合い、および抑制度合いの差は適宜設定されてよい。例えば、「補正強め」と「補正弱め」とにおける補正強度の抑制度合いは、ユーザが適宜設定できるようにしてもよい。
【００３５】
（処理の流れ）
ＨＭＤ１００が実行する処理の流れについて、図３を用いて以下に説明する。図３は、本実施形態に係るＨＭＤ１００が実行する処理の流れの一例を示すフローチャートである。図３の説明において、表示部１３には、動画像中のあるフレームである第１フレームの表示領域の画像が表示中であることとし、当該第１フレームの次に表示するフレームを、第２フレームと称する。
【００３６】
まず、画像取得部２１は、記憶部１２から次のフレームである第２フレームで表示する画像を取得する（Ｓ１）。次に、対象物特定部２２は、Ｓ１で取得した画像の中から、第２フレームにおける撮影対象物を特定する（Ｓ２）。そして、対象物変位量算出部２３は、Ｓ２で特定した撮影対象物について、当該撮影対象物の第１フレームにおける位置および第２フレームにおける位置から、当該撮影対象物の単位時間当たりの変位量を算出する（Ｓ３）。
【００３７】
追従度合決定部２４は、Ｓ３で算出された、変位量に基づいて、第２フレームにおける撮影対象物の追従度合いを決定する（Ｓ４：追従度合決定ステップ）。その後、表示領域補正部２５は、決定された追従度合いに基づいて、第２フレームにおける表示領域の位置の補正を行った後（Ｓ５：表示領域補正ステップ）、第２フレームの画像全体のうち、位置補正された表示領域の画像を表示部１３に表示する（Ｓ６）。
【００３８】
上記の処理によれば、動画像に含まれる撮影対象物を基準として表示領域の位置を補正することで、動画像自体の変化（ぶれ）を補正することができる。さらに、撮影対象物の単位時間当たりの変位量に応じて上記補正における追従度合いを変更するため、ユーザが快適に閲覧できる適切な追従度合いで表示領域の位置補正を行うことができる。
【００３９】
例えば、撮影対象物の変位量から、動画像自体がぶれていることで、動画像中の撮影対象物の位置が変化しているのか、それとも、動画像中で撮影対象物が実際に移動しているのかに応じた追従度合いで、表示領域を補正することができる。したがって、ユーザの動画像の閲覧をより快適にすることができる。
【００４０】
〔実施形態２〕
本発明の実施形態２について、図４〜６に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００４１】
（ヘッドマウントディスプレイの構成）
本実施形態に係るＨＭＤ２００の構成について、図４を用いて以下に説明する。図４は、実施形態２に係るＨＭＤ２００の要部構成の一例を示すブロック図である。本実施形態に係るＨＭＤ２００は、センサ１１が検出したユーザの頭の動きから視線の方向が変化する速度（以下、視線変化速度と称する）を算出し、当該速度を表示領域の補正の際に考慮する点で、実施形態１に係るＨＭＤ１００と異なる。
【００４２】
ＨＭＤ２００は、ＨＭＤ１００が備える構成に加えて、視線方向検出部２６を含む。視線方向検出部２６は、センサ１１より受信した、ユーザの動作に示す情報（例えばユーザの頭の加速度）に基づいて、視線変化速度を検出する。例えば、視線方向検出部２６はユーザの頭の加速度に単位時間を乗ずることにより、単位時間当たりの視線の方向の変化量、すなわち視線変化速度を検出することができる。視線方向検出部２６は、視線変化速度を示す情報を追従度合決定部２４へ送信する。
【００４３】
追従度合決定部２４は、視線方向検出部２６が検出した視線変化速度と、撮影対象物の単位時間あたりの変位量とに応じて、表示領域の位置の補正における撮影対象物の追従度合いを決定する。追従度合決定部２４は、決定した追従度合いを表示領域補正部２５へ送信する。
【００４４】
（ユーザの頭の加速度と追従度合い）
図５は、本実施形態に係るＨＭＤ２００において、ユーザの頭の加速度と補正強度の相関関係を示すグラフである。
【００４５】
図５は、ユーザの頭の加速度と、追従度合いとの相関関係を示すグラフである。グラフの縦軸は、追従度合いをパーセントで示す。また、グラフの横軸は単位時間当たりのユーザの頭の加速度（すなわち、視線変化速度）を示す。なお、図５の値および相関関係は一例であって、本実施形態に係るＨＭＤ２００の処理および構成を限定するものではない。
【００４６】
図５のグラフには、「追従性重視」および「補正重視」の２つの相関関係が示されている。図示の通り、いずれの相関関係も、単位時間当たりの視線の方向の変位量が大きくなると、追従性が小さくなる。
【００４７】
動画像について、図示の「追従性重視」の相関関係において、ユーザの頭の加速度が「１０ｍ／ｓ２」であるとき、表示領域の位置の追従度合いは、撮影対象物の単位時間当たりの変位量に対して「１００％」である。一方、ユーザの頭の加速度が「１０ｍ／ｓ２」を越えると、追従度合いは減少し、当該ユーザの頭の加速度が「２０ｍ／ｓ２」であるときの追従度合いは「０％」となる。
【００４８】
ユーザの頭の加速度が「２０ｍ／ｓ２」以上である場合に追従度合いを「０％」とする理由について、以下に説明する。ユーザは、当該ユーザの頭を激しく動かしているときに、表示部１３に表示中である動画像を注視していないと予測される。換言すれば、ユーザは頭が激しく動作している場合は、動画像にぶれがあったとしても、これを視認できないと予測できる。ゆえに、ユーザの頭の加速度が大きい場合は、動画像のぶれを補正しても効果は小さいといえる。したがって、ＨＭＤ２００は、例えばユーザの頭の加速度が「２０ｍ／ｓ２」以上である場合は表示領域の位置の補正を行わないことで生じた演算リソースの余裕を、表示制御に係る他の制御処理に回すことができる。
【００４９】
これにより、ＨＭＤ２００は、ユーザの頭の加速度が「２０ｍ／ｓ２」未満である場合は、撮影対象物の変位量に基づいて表示領域の位置を補正することができる一方、ユーザの頭の加速度が「２０ｍ／ｓ２」以上であるときは、表示領域の追従を行わない。
【００５０】
「補正重視」の相関関係では、ユーザの頭の加速度が「２０ｍ／ｓ２」以下であるとき、表示領域の位置の追従度合いは、撮影対象物の単位時間当たりの変位量に対して「１００％」である。一方、ユーザの頭の加速度が「２０ｍ／ｓ２」を越えると、追従度合いは急激に減少し、当該ユーザの頭の加速度が「３０ｍ／ｓ２」であるときの追従度合いは「０％」となる。つまり、「補正重視」の場合は、「追従性重視」よりも頭の加速度が大きい場合でも表示領域の追従を行う。そして、ユーザの頭の加速度が「３０ｍ／ｓ２」以上になると、表示領域の追従を行わなくなる。つまり、この範囲においてフレームの表示遅延を抑制する点は「追従性重視」の相関関係と同一である。
【００５１】
なお、ＨＭＤ２００は上述のように、頭の加速度が所定の閾値（「追従性重視」の場合は２０ｍ／ｓ２、「補正重視」の場合は３０ｍ／ｓ２）以上か否かに応じて、補正を行うか否かを決定してもよい。また、表示領域補正部２５は頭の加速度が大きく（速く）なるほど追従度合いが小さくなるような補正を行ってもよい。
【００５２】
上記のように、ユーザの頭の加速度、すなわち視線変化速度が速いほど、ユーザは表示画面に表示された画像（すなわち、表示領域の画像）を注視していないといえる。ユーザが表示画面を注視していない場合、例え動画像にぶれがあったとしても、ユーザがぶれを視認する可能性は低い。したがって、上記の構成によれば、ユーザが動画像のぶれを視認しづらいときは、追従度合いを小さくして、表示領域の位置が変化しすぎないようにすることができる。したがって、ユーザが映像に酔うことを防止しつつ、ユーザの動画像の閲覧をより快適にすることができる。
【００５３】
（処理の流れ）
ＨＭＤ２００が実行する処理の流れについて、図６を用いて以下に説明する。図６は、本実施形態に係るＨＭＤ２００が実行する処理の流れの一例を示すフローチャートである。なお、第１フレームおよび第２フレームの意味定義については、実施形態１の図３の説明と同一である。
【００５４】
図３のＳ１およびＳ２と同一の処理を実行した後、視線方向検出部２６は、センサ１１を用いて、ユーザの頭の加速度を検出する（Ｓ１１）。そして、制御部２０は上記実施形態１と同様にＳ３の処理を実行した後、視線方向検出部２６にて、Ｓ１１にて検出したユーザの頭の加速度と、第１フレーム表示時における当該ユーザの頭の加速度に基づいて、当該ユーザの頭の加速度の単位時間当たりの変位量を算出する（Ｓ１２）。
【００５５】
Ｓ１２の後、追従度合決定部２４は、Ｓ１２で算出した、ユーザの頭の加速度の単位時間当たりの変位量（すなわち、視線変化速度）が所定の閾値以上か否かを判定する（Ｓ１３）。所定の閾値未満と判定した場合（Ｓ１３でＮＯ）、制御部２０は、上記実施形態１と同様にＳ４〜Ｓ６の処理を実行した後、一連の処理を終了する。一方、所定の閾値以上と判定した場合（Ｓ１３でＹＥＳ）、制御部２０は、表示領域補正部２５による表示領域の位置補正を行わずに、第２フレームの表示領域に相当する画像を表示部１３に表示させ（Ｓ６）、一連の処理を終了する。
【００５６】
以上の処理により、本実施形態に係るＨＭＤ２００は、撮影対象物の単位時間当たりの変位量および視線変化速度に基づいて、適切な補正の強度を決定することができる。これによりユーザは、動画像の変位を予測して視線方向を変化させたときに、違和感がないように適切に決定された追従度合いに基づく補正がなされた動画像を視認することができるという効果を奏する。
【００５７】
また、本実施形態に係るＨＭＤ２００は、視線変化速度が所定の閾値を越えた場合は、表示領域の位置の補正を行わなくてもよい。これにより、ＨＭＤ２００は、表示領域の位置の補正に処理能力を割り当てる必要がないため、動画像の表示により多くの処理能力を割り当てることができる。
【００５８】
なお、上述の説明において、視線方向検出部２６は、ユーザの頭の加速度に基づいて視線変化速度を検出する構成であった。しかしながら当該速度を検出できるのであれば、視線方向検出部２６はどのような算出方法で当該速度を算出してもよい。視線方向検出部２６は、例えば表示部１３の表示面に対するユーザの注視点の単位時間あたりの変位量を算出し、これを視線の方向の変化する速度としてもよい。
【００５９】
〔実施形態３〕
上記各実施形態に係るＨＭＤ１００または２００において、追従度合決定部２４は、動画像の内容に応じて追従度合いを決定してもよい。ここで、動画像の内容とは例えば、アーティストのライブ映像（以下、単にライブ映像と称する）、ゲーム画面、風景動画などである。また、動画像の内容は、表示する動画像を決定したときに画像取得部２１等が動画像を解析することで特定されてもよいし、予め動画像ごとに設定されてもよい。
【００６０】
以下、本発明の一態様として、動画像の内容に応じて追従度合いを決定するＨＭＤ１００について図２および図５〜６を用いて説明する。なお、以下の説明では便宜上、実施形態１に係るＨＭＤ１００において本実施形態に係る構成を実現する例について説明する。しかしながら、本実施形態に係る構成は、実施形態２に係るＨＭＤ２００にて実現することも可能である。
【００６１】
（動画像の内容と追従度合いについて）
まず、動画像の内容に応じた適切な補正強度の設定について、図２を用いて説明する。
【００６２】
動画像がライブ映像である場合を考える。ライブ映像をＨＭＤ１００または２００において表示してユーザに閲覧させる場合、当該ユーザは映像に写っているアーティストを視界に入れたいと所望すると考えられる。
【００６３】
そのため、動画像がライブ映像の場合、当該アーティストを撮影対象物と設定しておき、さらに例えば図２における「補正強め」のデータに基づいて表示領域の位置の補正を行うことが望ましい。これにより、アーティストを確実に追従することができる。
【００６４】
一方、動画像がゲーム画面である場合を考える。ゲーム画面は、主にユーザの操作に応じて変化し、当該ユーザの操作は、短い期間で複数回行われることが考えられる。したがって、動画像がゲーム画面である場合は、ユーザは特定の物体を追従して画面表示するよりも、画面切替えや視点移動等の自分のゲーム内操作にレスポンス良く反応して画面表示することを所望すると考えられる。
【００６５】
そのため、動画像がゲーム画面の場合、表示領域補正部２５は、例えば図２における「補正弱め」のデータに基づいて表示領域の位置の補正を行うことが望ましい。これにより、補正強度が抑制されるので、ユーザの操作感が損なわれないようにすることができる。
【００６６】
上記処理によれば、動画像の内容に応じた適切な強度で表示領域の位置を補正することができる。例えば、動画像がライブ映像である場合、アーティストを撮影対象物と設定し、かつ表示領域の位置補正における撮影対象物の追従度合いを大きくすることによって、ＨＭＤ１００または２００は当該アーティストを確実に追従した動画像を表示することができる。
【００６７】
一方、動画像がゲーム画面である場合は、対象物の追従度合いを小さくすることによって、撮影対象物の追従よりも、ゲームをプレイしているユーザの意思に沿った表示を優先することができる。より具体的に言えば、ＨＭＤ１００または２００は、例えば撮影対象物を確実に追従するよりも、ユーザによる画面切替えや視点移動等のゲーム内操作による表示領域の変化に沿った表示を行うことができる。
【００６８】
なお、本実施形態に係る構成をＨＭＤ２００（実施形態２）で実現した場合、ＨＭＤ２００は、視線変化速度の閾値（実施形態２で説明した所定の閾値）を、動画像の内容に応じて変更してもよい。これにより、ＨＭＤ２００は、動画像の内容に応じて、表示に係る処理負荷の軽減を優先させるか、撮影対象物の追従を優先させるかを、動画像の内容、すなわち動画像の内容に応じて適切に定めることができる。
【００６９】
（処理の流れ）
本実施形態に係る構成をＨＭＤ２００で実現した場合の処理の流れについて、図６を参照して以下に説明する。なお、第１フレームおよび第２フレームの意味定義については、実施形態１の図３および実施形態２の図６の説明と同一である。
【００７０】
上記実施形態２と同様に、図６に示すＳ１〜Ｓ２、Ｓ１１、Ｓ３、Ｓ１２の処理を実行した後、追従度合決定部２４は、視線変化速度の単位時間当たりの変位量が、動画像の内容に応じた所定の閾値より大きいか否かを判定する。ここで、追従度合決定部２４は、上記変位量が動画像の内容に応じた所定の閾値未満である場合、撮影対象物の単位時間当たりの変位量、視線変化速度、および動画像の内容に基づいて、第２フレームにおける、撮影対象物を含む画像全体の追従度合いを決定する。その後、制御部２０は、上記実施形態２と同様にＳ５〜Ｓ６の処理を実行して、一連の処理を終了する。一方、上記変位量が動画像の内容に応じた所定の閾値以上である場合、制御部２０はＳ６の処理を実行して、一連の処理を終了する。
【００７１】
〔変形例〕
上記各実施形態では、表示制御装置（制御部２０）を備えたＨＭＤ１００および２００について説明した。しかしながら、本発明の一態様に係る表示制御装置は、ＨＭＤ１００および２００の以外の表示制御に用いられてもよい。例えば、表示制御装置はプロジェクタ等の表示装置の表示制御に用いられてもよい。
【００７２】
なお、プロジェクタは、プロジェクタと接続されたセンサ１１として、ユーザの視線（プロジェクタの表示面に対する注視点の位置）を検出するセンサ群を備えることで、ＨＭＤ２００の構成および処理を実現することもできる。当該センサ群は、従来あるアイトラッキング機能を実現するセンサを用いてもよい。
【００７３】
〔ソフトウェアによる実現例〕
制御部２０の制御ブロック（特に追従度合決定部２４および表示領域補正部２５）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【００７４】
後者の場合、制御部２０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００７５】
〔まとめ〕
本発明の態様１に係る表示制御装置（制御部２０）は、動画像のあるフレーム画像の一部分を表示領域として表示部に表示させる表示制御装置であって、上記動画像に含まれる所定の対象物（撮影対象物）を追従するように、上記フレーム画像における上記表示領域の位置を補正する表示領域補正部（２５）と、上記動画像における上記所定の対象物の単位時間当たりの変位量に応じて、上記表示領域補正部の上記補正における上記所定の対象物の追従度合いを決定する追従度合決定部（２４）と、を備えていることを特徴としている。
【００７６】
上記の構成によれば、動画像に含まれる所定の対象物を基準として、動画像自体のぶれを補正することができる。さらに、所定の対象物の単位時間当たりの変位量に応じて上記補正における追従度合いを変更するため、ユーザが快適に閲覧できる適切な追従度合いで表示領域の位置補正を行うことができる。
【００７７】
例えば、上記変位量から、動画像自体がぶれることで対象物の位置が変化しているように見える状態、および、動画像において対象物が実際に移動している状態に合った、それぞれの追従度合いで表示領域を補正することができる。したがって、ユーザの動画像の閲覧をより快適にすることができる。
【００７８】
本発明の態様２に係る表示制御装置は、上記態様１において、上記追従度合決定部は、上記所定の対象物の上記単位時間当たりの変位量が大きいほど、上記追従度合いが小さくなるように上記追従度合いを決定してもよい。
【００７９】
所定の対象物の単位時間当たりの変位量が大きい場合、動画像自体がぶれている可能性よりも、動画像において対象物が実際に移動している可能性が高い。したがって、上記の構成によれば、動画像のぶれ以上に、対象物を追従しすぎないようにすることができる。
【００８０】
また、補正による表示領域の位置変化は、表示領域を見ているユーザの視線の動きに関わらず起こる。そして、上記補正において対象物を完全に追従することとした場合、対象物の単位時間当たりの変位量が大きいほど、表示領域の位置も速く変化する。例えば、対象物が高速で移動する場合、表示領域を見ているユーザにとっては、自身の視線の動きと関係なく激しく動く動画像を見せられることになり、映像に酔い易くなる。
【００８１】
これに対し、上記構成によれば、対象物の単位時間当たりの変位量が大きくなるほど当該対象物の追従度合いを小さくするため、上述したユーザの酔いを防止しつつ、表示領域の位置補正を行うことができる。
【００８２】
本発明の態様３に係る表示制御装置は、上記態様１または２において、ユーザの視線の方向が変化する速度を検出する視線方向検出部（２６）を備え、上記追従度合決定部は、上記視線の方向が変化する速度が速いほど、上記追従度合いが小さくなるように上記追従度合いを決定してもよい。
【００８３】
視線の方向が変化する速度が速いほど、ユーザは表示部の表示画面に表示された画像（すなわち、表示領域の画像）を注視していないといえる。ユーザが表示画面を注視していない場合、例え動画像にぶれがあったとしても、ユーザがぶれを視認する可能性は低い。したがって、上記の構成によれば、ユーザが動画像のぶれを視認しづらいときは、追従度合いを小さくして、表示領域の位置が変化しすぎないようにすることができる。したがって、ユーザが映像に酔うことを防止しつつ、ユーザの動画像の閲覧をより快適にすることができる。
【００８４】
本発明の態様４に係る表示制御装置は、上記態様３において、上記表示領域補正部は、上記視線方向検出部が検出した上記視線の方向が変化する速度が所定の閾値以上の速度である場合、上記表示領域の位置の補正を行わなくてもよい。
【００８５】
視線の方向が変化する速度が当該閾値以上の速さである場合、例え動画像にぶれがあったとしても、ユーザがぶれを視認する可能性は低い。
【００８６】
したがって、上記の構成によれば、動画像のぶれの補正を行う効果が小さい時は補正を行わず、当該補正に割かれていた演算リソースを他の表示制御に係る処理に割り当てることができる。これにより、限られた演算リソースを有効に分配することができるため、演算リソースの枯渇による動画像の表示遅延を抑制し、ユーザの動画像の閲覧をより快適にすることができる。
【００８７】
本発明の態様５に係る表示制御装置は、上記態様１〜４のいずれか一態様において、上記追従度合決定部は、上記動画像の内容に応じて上記所定の対象物の追従度合いを決定してもよい。
【００８８】
上記構成によれば、動画像の内容に応じた適切な強度で表示領域の位置を補正することができる。
【００８９】
例えば、動画像が特定のアーティストのライブ映像である場合は、当該アーティストを所定の対象物と設定し、かつ表示領域の位置補正における対象物の追従度合いを大きくすることによって、当該アーティストを確実に追従するようにすることができる。
【００９０】
一方、動画像がゲーム画面である場合は、対象物の追従度合いを小さくすることによって、対象物の追従よりも、ゲームをプレイしているユーザの意思に沿った表示を優先することができる。より具体的に言えば、例えばユーザによる画面切替えや視点移動等のゲーム内操作を優先して、表示領域を決定することができる。
【００９１】
本発明の態様６に係る、ヘッドマウントディスプレイ（ＨＭＤ１００）は、上記態様１〜５のいずれか１態様に記載の表示制御装置（制御部２０）と、上記表示部（表示部１３）と、ユーザの頭の向きに応じて表示領域を決定する表示領域決定部（表示領域補正部２５）と、を備えていてもよい。
【００９２】
上記の構成によれば、ヘッドマウントディスプレイは、動画像のうち、当該ヘッドマウントディスプレイの装着者の頭の向きに応じた領域であって、動画像内の所定の対象物に基づき動画像自体のぶれを補正した領域を表示部に表示させることができる。したがって、ヘッドマウントディスプレイは、ユーザの動画像の視聴をより快適にすることができる。
【００９３】
本発明の態様７に係る、表示制御装置の制御方法は、動画像のあるフレーム画像の一部分を表示領域として表示部（表示部１３）に表示させる表示制御装置（制御部２０）の制御方法であって、上記動画像に含まれる所定の対象物（撮影対象物）を追従するように、上記フレーム画像における上記表示領域の位置を補正する表示領域補正ステップ（Ｓ５）と、上記動画像における上記所定の対象物の単位時間当たりの変位量に応じて、上記表示領域補正ステップで行う上記補正における上記所定の対象物の追従度合いを決定する追従度合決定ステップ（Ｓ４）と、を含むことを特徴としている。上記の構成によれば、上記態様１に係る表示制御装置と同様の作用効果を奏する。
【００９４】
本発明の各態様に係る表示制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示制御装置が備える各部（ソフトウェア要素）として動作させることにより上記表示制御装置をコンピュータにて実現させる表示制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００９５】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【００９６】
１００  ヘッドマウントディスプレイ
１１  センサ
１２  記憶部
１３  表示部
２０  制御部（表示制御装置）
２１  画像取得部
２２  対象物特定部
２３  対象物変位量算出部
２４  追従度合決定部
２５  表示領域補正部（表示領域決定部）
２６  視線方向検出部
【図１】
2018150711.tif 000003
【図２】
2018150711.tif 000004
【図３】
2018150711.tif 000005
【図４】
2018150711.tif 000006
【図５】
2018150711.tif 000007
【図６】
2018150711.tif 000008
【国際調査報告】
2018150711.tif 000009
2018150711.tif 000010
2018150711.tif 000011
2018150711.tif 000012