(57)【要約】【課題】人間の中心視・周辺視視野における視覚特性を考慮した映像表示フレームレートを設定することによって、観察者に映像の画質低下を知覚させることなく映像データ量を削減することを可能とすること。【解決手段】表示装置の画面上の観察者の視点位置を獲得する視点検出手段と、観察者の視点位置に応じて、視点位置を中心とする少なくとも２つの表示領域を設定する領域設定手段と、オリジナルの映像データを獲得する手段と、設定した表示領域毎に異なるフレームレートを設定するフレームレート設定手段と、オリジナルの映像データに対して、設定された表示領域毎に設定されたフレームレートの映像データにそれぞれ変換する映像変換手段とを有し、フレームレート設定手段は、視点位置からの距離が大きい表示領域は、視点位置からの距離が小さい表示領域よりも低いフレームレートに設定すること。【選択図】図１
2017062279.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
表示装置の画面上の観察者の視点位置を獲得する視点検出手段と、観察者の視点位置に応じて、視点位置を中心とする少なくとも２つの表示領域を設定する領域設定手段と、オリジナルの映像データを獲得する手段と、設定した表示領域毎に異なるフレームレートを設定するフレームレート設定手段と、オリジナルの映像データに対して、設定された表示領域毎に設定されたフレームレートの映像データにそれぞれ変換する映像変換手段とを有し、フレームレート設定手段は、視点位置からの距離が大きい表示領域は、視点位置からの距離が小さい表示領域よりも低いフレームレートに設定することを特徴とする画像処理装置。
【請求項２】
前記映像変換手段は、映像データにおける視点位置を含む表示領域以外の領域において、表示領域毎に少なくとも画像の空間軸もしくは時間軸に対しての画素変化を低減する補正処理をかけることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フレームレート設定手段は、表示する映像の運動方向もしくは速度に応じて、上記フレームレート設定値を可変とすることを特徴とすることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記映像変換手段は、表示する映像の運動方向もしくは速度に応じて、画素変化を低減する補正処理の強度を可変とすることを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
【請求項５】
前記領域設定手段は、表示する映像の運動方向もしくは速度に応じて、上記に設定される領域の形状や大きさを可変とすることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項６】
前記フレームレート設定手段は、観察者の視点位置の変動量によって、上記フレームレート設定値を可変とすることを特徴とすることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項７】
前記映像変換手段は、観察者の視点位置の変動量によって、画素変化を低減する補正処理の強度を可変とすることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項８】
前記領域設定手段は、観察者の視点位置の変動量によって、上記に設定される領域の形状や大きさを可変とすることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項９】
画像処理方法であって、
表示装置の画面上の観察者の視点位置を獲得する視点検出工程と、観察者の視点位置に応じて、視点位置を中心とする少なくとも２つの表示領域を設定する領域設定工程と、オリジナルの映像データを獲得する工程と、設定した表示領域毎に異なるフレームレートを設定するフレームレート設定工程と、オリジナルの映像データに対して、設定された表示領域毎に設定されたフレームレートの映像データにそれぞれ変換する映像変換工程とを有し、フレームレート設定工程は、視点位置からの距離が大きい表示領域は、視点位置からの距離が小さい表示領域よりも低いフレームレートに設定することを特徴とする画像処理方法。
【請求項１０】
画像処理方法であって、
前記映像変換工程は、映像データにおける視点位置を含む表示領域以外の領域において、表示領域毎に少なくとも画像の空間軸もしくは時間軸に対しての画素変化を低減する補正処理を有することを特徴とする画像処理方法。
【請求項１１】
観察者の視線方向を取得する視野情報取得手段と、
前記視線方向を中心とする少なくとも２つの表示領域を設定する領域設定手段と、
前記表示領域毎にフレームレートを設定するフレームレート設定手段と、
前記表示領域毎に前記フレームレートに従い映像データを取得する映像データ取得手段と、
前記視線方向からの距離が大きい表示領域の映像データを、前記視線方向からの距離が小さい表示領域に対して設定されたフレームレートの映像データに変換する表示画像データ生成手段と
を備え、
前記フレームレート設定手段は、視線方向からの距離が大きい表示領域に対して、視線方向からの距離が小さい表示領域よりも低いフレームレートを設定することを特徴とする画像処理装置。
【請求項１２】
前記表示画像データ生成手段は、前記映像データ取得手段により取得された映像データを用いて映像中の動体の動きを特定できる領域については、その動きに基づき表示画像データを生成し、前記映像中の動体の動きを特定できない領域については、前記観察者の視線方向の動きに基づき表示画像データを生成することで、前記映像データの変換を行うことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
クライアントから観察者の視線方向を取得する視野情報取得手段と、
観察者の視線方向を中心とする少なくとも２つの表示領域を設定する領域設定手段と、
前記表示領域毎にフレームレートを設定するフレームレート設定手段と、
前記表示領域毎に前記フレームレートに従い映像データを取得し、当該映像データを前記クライアントへ配信する映像データ取得手段と、
前記視線方向からの距離が大きい表示領域の映像データを、前記視線方向からの距離が小さい表示領域に対して設定されたフレームレートの映像データに変換するようにクライアントへ指示を送信する指示手段と
を備え、
前記フレームレート設定手段は、視線方向からの距離が大きい表示領域に対して、視線方向からの距離が小さい表示領域よりも低いフレームレートを設定し、
前記指示手段は、前記映像データ取得手段により取得された映像中の動体の動き、もしくは、前記観察者の視線方向の動きのうち、少なくともいずれか一方に基づき前記映像データの変換を行うように指示することを特徴とする画像処理装置。
【請求項１４】
前記指示手段は、前記表示領域内に動体が存在しない場合に、前記映像中の動体の動きと前記視線方向の動きのうち前記視線方向の動きのみを用いて表示画像データを生成することで前記映像データの変換を行うように、クライアントへ指示を送信することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記指示手段は、前記表示領域内の各画素について、前記映像データ取得手段により取得された映像データ中の以前の時刻のフレームにおいて対応する画素位置を求め、この対応する画素のいずれも前記以前の時刻のフレームにおける表示領域に含まれない場合に、前記映像中の動体の動きと前記視線方向の動きのうち前記視線方向の動きのみを用いて表示画像データを生成することで前記映像データの変換を行うように、クライアントへ指示を送信することを特徴とする請求項１３又は請求項１４に記載の画像処理装置。
【請求項１６】
観察者の視線方向を取得する工程と、
前記視線方向を中心とする少なくとも２つの表示領域を設定する工程と、
前記表示領域毎にフレームレートを設定する工程と、
前記表示領域毎に前記フレームレートに従い映像データを取得する工程と、
前記視線方向からの距離が大きい表示領域の映像データを、前記視線方向からの距離が小さい表示領域に対して設定されたフレームレートの映像データに変換する工程と
を備え、
前記表示領域毎にフレームレートを設定する工程は、視線方向からの距離が大きい表示領域に対して、視線方向からの距離が小さい表示領域よりも低いフレームレートを設定することを特徴とする画像処理方法。
【請求項１７】
クライアントから観察者の視線方向を取得する工程と、
観察者の視線方向を中心とする少なくとも２つの表示領域を設定する工程と、
前記表示領域毎にフレームレートを設定する工程と、
前記表示領域毎に前記フレームレートに従い映像データを取得し、当該映像データを前記クライアントへ配信する工程と、
前記視線方向からの距離が大きい表示領域の映像データを、前記視線方向からの距離が小さい表示領域に対して設定されたフレームレートの映像データに変換するようにクライアントへ指示を送信する工程と
を備え、
前記表示領域毎にフレームレートを設定する工程は、視線方向からの距離が大きい表示領域に対して、視線方向からの距離が小さい表示領域よりも低いフレームレートを設定し、
前記視線方向からの距離が大きい表示領域の映像データを、前記視線方向からの距離が小さい表示領域に対して設定されたフレームレートの映像データに変換するようにクライアントへ指示を送信する工程は、前記表示領域毎に前記フレームレートに従い映像データを取得し、当該映像データを前記クライアントへ配信する工程により取得された映像中の動体の動き、もしくは、前記観察者の視線方向の動きのうち、少なくともいずれか一方に基づき前記映像データの変換を行うように指示することを特徴とする画像処理方法。
【請求項１８】
コンピュータに、
観察者の視線方向を取得する手順と、
前記視線方向を中心とする少なくとも２つの表示領域を設定する手順と、
前記表示領域毎にフレームレートを設定する手順と、
前記表示領域毎に前記フレームレートに従い映像データを取得する手順と、
前記視線方向からの距離が大きい表示領域の映像データを、前記視線方向からの距離が小さい表示領域に対して設定されたフレームレートの映像データに変換する手順と
を実行させ、
前記表示領域毎にフレームレートを設定する手順は、視線方向からの距離が大きい表示領域に対して、視線方向からの距離が小さい表示領域よりも低いフレームレートを設定することを特徴とするプログラム。
【請求項１９】
コンピュータに、
クライアントから観察者の視線方向を取得する手順と、
観察者の視線方向を中心とする少なくとも２つの表示領域を設定する手順と、
前記表示領域毎にフレームレートを設定する手順と、
前記表示領域毎に前記フレームレートに従い映像データを取得し、当該映像データを前記クライアントへ配信する手順と、
前記視線方向からの距離が大きい表示領域の映像データを、前記視線方向からの距離が小さい表示領域に対して設定されたフレームレートの映像データに変換するようにクライアントへ指示を送信する手順と
を実行させ、
前記表示領域毎にフレームレートを設定する手順は、視線方向からの距離が大きい表示領域に対して、視線方向からの距離が小さい表示領域よりも低いフレームレートを設定し、
前記視線方向からの距離が大きい表示領域の映像データを、前記視線方向からの距離が小さい表示領域に対して設定されたフレームレートの映像データに変換するようにクライアントへ指示を送信する手順は、前記表示領域毎に前記フレームレートに従い映像データを取得し、当該映像データを前記クライアントへ配信する工程により取得された映像中の動体の動き、もしくは、前記観察者の視線方向の動きのうち、少なくともいずれか一方に基づき前記映像データの変換を行うように指示することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイなどに代表される表示装置において、映像データ転送効率を向上するための画像変換処理に関する。
【背景技術】
【０００２】
従来、映像データ量を削減し映像データ転送を効率化する処理を実行するものとしては、以下の人間の視覚解像度特性に基づき人間が解像度分解能を持たない視野領域の映像データに特化してデータ量を削減する技術が従来技術として知られている（特許文献１参照）。人間の視覚は中心視野・周辺視野において視覚解像度が異なる。
【０００３】
そこで、従来技術では、観察者の中心視野と周辺視野に対応する表示画面上の領域を、視点検出手段によって獲得する。そして、中心視野の画面領域に高解像度画像を呈示し、周辺視野の画面領域には低解像度画像を提示することによって、周辺視野の低解像度化した分の画像データ量を削減しデータ転送効率を向上させるものであった。人間の視覚における周辺視野は、特許文献１が示すように解像度分解能は低い。
【０００４】
一方で、人間の視覚における周辺視野は、周波数応答特性が高く時間特性に優れる。よって、画素の明滅によるフリッカ（ちらつき）には敏感な特性を持っている。更に、明順応と暗順応環境下においては、中心視野と周辺視野の周波数応答特性が逆転することも示されている(非特許文献１参照)。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−５６３３５号公報
【非特許文献】
【０００６】
【非特許文献１】福田忠彦、"ＣＦＦで示される中心視と周辺視の感度差"、「テレビジョン学会誌32(3)」、日本、一般社団法人映像情報メディア学会、1978年3月1日、210-216頁
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術は、表示画面内の周辺視野に対応する画面領域の解像度を低下させることによって１画素の表示サイズが大きくなる。従って、周辺視野の臨界融合周波数（ＣＦＦ：Ｃｒｉｔｉｃａｌ Ｆｌｉｃｋｅｒ Ｆｒｅｑｕｅｎｃｙ）以上のフレームレートで映像を表示しない限りは、フリッカを増幅し映像の画質劣化を生ずるという課題があった。加えて、フリッカの発生を回避するために映像のフレームレートを上げることは、更なる映像データの大容量化につながってしまうという課題も発生する。
【０００８】
そこで、本発明では、表示画面上の人間の中心視野・周辺視野に対応する画面領域のフレームレートを、各視野の周波数応答特性に応じて設定した映像データを作成し、表示装置に表示することを特徴とする。そして、本発明による映像データ作成手段によって、知覚的な映像の画質を維持しながらもデータ量の削減を実現し、データ転送効率を向上することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明に係る画像処理装置は、
表示装置の画面上の観察者の視点位置を獲得する視点検出手段（図２、視点検出部）と、観察者の視点位置に応じて、視点位置を中心とする少なくとも２つの表示領域を設定する領域設定手段（図３、映像領域設定部）と、オリジナルの映像データを獲得する手段（図２、映像格納部）と、設定した表示領域毎に異なるフレームレートを設定するフレームレート設定手段（図３、フレームレート設定部）と、オリジナルの映像データに対して、設定された表示領域毎に設定されたフレームレートの映像データにそれぞれ変換する映像変換手段（図３、映像変換部）とを有し、フレームレート設定手段は、視点位置からの距離が大きい表示領域は、視点位置からの距離が小さい表示領域よりも低いフレームレートに設定することを特徴とする。
【発明の効果】
【００１０】
本発明に係る画像処理装置によれば、人間の中心視・周辺視視野における視覚特性を考慮した映像表示フレームレートを設定することによって、観察者に映像の画質低下を知覚させることなく映像データ量を削減することを可能とする。結果、大画面や高解像度なディスプレイに表示するための大容量映像データ、または、高フレームレートの大容量映像データの転送効率を向上することができる。
【図面の簡単な説明】
【００１１】
【図１】画像処理装置の構成を示すブロック図
【図２】画像処理装置の構成を示すブロック図
【図３】映像データ作成処理の構成を示すブロック図
【図４】映像データ変換処理の構成を示すブロック図
【図５】視野領域の一例を示す図
【図６】フレーム間画像変換処理の一例を示す図
【図７】フレーム内画像変換処理の一例を示す図
【図８】映像データ作成処理を示すフローチャート
【図９】映像データ変換処理を示すフローチャート
【図１０】画像処理装置の構成を示すブロック図
【図１１】シーン特徴条件と設定条件を格納するメモリ構成
【図１２】シーン特徴条件と設定条件を格納するメモリ構成
【図１３】映像データ作成処理を示すフローチャート
【図１４】実施例３、４に係る画像処理装置のハードウェア構成を示すブロック図
【図１５】実施例３に係る画像処理装置の機能ブロック図
【図１６】実施例３に係る画像処理装置における一連の処理の流れを示すフローチャート
【図１７】実施例３に係る画像取得モード設定の処理の流れを示すフローチャート
【図１８】実施例３に係る表示画像データ生成の処理の流れを示すフローチャート
【図１９】実施例３に係る全周囲映像の例を示す図
【図２０】実施例３に係る各種画像データの例を示す図
【図２１】実施例３に係る動きベクトルの例を示す図
【図２２】実施例３に係る軌道の例を示す図
【図２３】実施例３に係るボケフィルタの例を示す図
【図２４】実施例３に係る補間画像の例を示す図
【図２５】実施例４に係る画像処理装置の機能ブロック図
【図２６】実施例４に係る画像処理装置における一連の処理の流れを示すフローチャート
【図２７】実施例４に係る生成モード設定の処理の流れを示すフローチャート
【図２８】実施例４に係る表示画像データ生成の処理の流れを示すフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１３】
［実施例１］
本発明における概要、構成について、図１に示されるブロック図を参照しながら説明する。
【００１４】
ＣＰＵ101は、ＲＯＭ102が記憶している制御プログラム、オペレーティングシステム、アプリケーションプログラム、デバイスドライバ等に従って、ＲＡＭ103、操作部104、演算処理部105、モニタ106、入力機器107、出力機器108の制御を行う。108は出力機器であり、画像を出力するデバイス等が含まれる。また、出力機器108がモニタ106に相当する場合もある。ＲＡＭ103は各種制御プログラムや操作部104から入力されるデータの作業領域及び一時待避領域である。104は操作部であり、入力機器107や出力機器108等へのデータ入力を行う。105は演算処理部であり、本発明における映像データ作成や映像変換処理等を行う画像処理装置を含める。106はモニタであり、演算処理部105の処理結果や操作部104で入力されたデータ等を表示する。
【００１５】
本実施例では、オリジナルの映像データから、画面上の周辺視野領域における映像データのフレームレートを変換することによりデータ量を削減した映像データを作成する技術について、以下詳細に説明する。
【００１６】
図２は本発明における映像データ作成技術を実現する画像処理装置の一例を示すブロック図である。
【００１７】
出力機器である表示装置１０８は、表示装置１０８の画面に対する、観察者２０２の視野の中心視野および周辺視野に対応する画面領域を設定するため、観察者が表示部２０４の画面を見ている視点位置を取得する視点検出部２０３を備える。
【００１８】
画像処理装置２０１において、映像変換部２０６は、視点検出部２０３が取得した視点位置情報に基づいて表示部の画面上に中心視野・周辺視野領域を設定する。映像格納部２０５に格納した映像データのフレームレートについて、中心視野・周辺視野領域毎に異なるフレームレートの映像に変換することによってデータ量を削減した映像データを作成する。作成した映像データは転送部２０７によって表示部２０４に送られ、映像を表示する。
【００１９】
図３は本発明における映像データ作成処理の詳細な構成を示すブロック図である。
視点検出部２０３は表示画面上の観察者の注目位置を取得する。視野解析部３０１は、取得した画面上の注目位置を中心にあらかじめ設定した中心視野領域を配置することで、画面上の中心視野領域を決定する。また、表示画面上の中心視野領域以外の領域を周辺視野領域として決定する。
【００２０】
本実施例では、表示画面上で中心視野領域と周辺視野領域とで異なるフレームレートの映像を表示することから、映像領域設定部３０２において、中心視野領域と周辺視野領域の境界から周辺視野領域側の任意領域を合成領域として設定する。
【００２１】
設定された表示画面上における各領域を定義する座標データは、図３に非図示の映像領域設定部３０２内にある映像領域格納部に格納される。
【００２２】
図５は表示画面上の観察者の注目位置５０１、中心視野領域５０２、周辺視野領域５０４、合成領域５０３の一例を示す図である。
【００２３】
フレームレート設定部３０３は、映像領域設定部３０２により設定された中心視野領域、周辺視野領域、合成領域に対して表示する映像のフレームレートを設定する。この時、周辺視野領域のフレームレートは中心視野領域のフレームレートよりも低く設定される。合成領域のフレームレートは、中心視野領域のフレームレートと同じか、周辺視野領域に設定されるフレームレートとの間の値が設定される。中心視野領域のフレームレートは、映像格納部に格納されているオリジナルの映像データのフレームレートが設定される。設定された各領域のフレームレートはフレームレート設定部３０３内の非図示のフレームレート格納部に格納される。
【００２４】
図４は映像変換部３０４における映像変換処理の詳細な構成を示すブロック図である。以降の処理では、周辺視野領域と合成領域を合わせた領域を周辺視野領域と呼ぶことにする。
映像変換部３０４は、映像格納部２０５に格納されているオリジナルの映像データより、各フレーム毎に中心視野領域と、周辺視野領域に表示する映像データに分割し、周辺視野領域の映像データに対して以下に説明する映像変換を行う。
【００２５】
映像データの変換は、映像データのフレーム間の画像に対する時間軸方向の変換と、１フレーム内の合成領域を変換対象とする中心視野領域と周辺視野領域間の画像データを変換する空間軸方向の変換を行う。第一の変換処理として、フレーム間画像変換部４０３は、映像格納部２０５よりオリジナルの映像データを獲得し、映像領域格納部４０２に格納されている中心視野領域、周辺視野領域、合成領域の座標データを獲得する。また、フレームレート格納部４０１から各領域に設定されたフレームレートの値も獲得する。
【００２６】
図６に、フレーム間画像変換部における映像変換処理の一例を示す。
周辺視野領域のオリジナルの映像データ６０１の各フレームより、低フレームレートに設定された映像データ６０２に変換するため、オリジナルの映像データから時系列に沿って複数のフレームを選択する。
【００２７】
本実施例における周辺視野領域における低フレームレート映像作成には、２種類のフレーム作成方法を用いる。一つは基準フレーム作成である。もうひとつは、基準フレーム間のフレームを作成する中間フレーム作成である。
【００２８】
基準フレーム作成について説明する。基準フレームＡ２は、オリジナルの映像データの任意の数で選択したフレーム映像を合成して作成される。合成においては、選択したフレーム映像の各画素の変化量を参照し、変化量の大きい画素についてはブラー処理をかけることにより１フレームの画像に変換する。図６では基準フレームＡ２は３つのフレームＡ、Ｂ、Ｃの画像を合成することにより作成している。
【００２９】
次に、フレームＡ２に対して、時系列上の次の基準フレームＧ２を同様にオリジナルの映像データの任意の数のフレーム映像より作成する。
【００３０】
基準フレームの決定の一例としては、オリジナルの映像データのシーン変化を参照し、シーンの切り替え部分やシーン内の局所的変化量などを参照し、シーン内の変化が大きなフレームを抽出する方法がある。またユーザが任意の基準シーンを設定するなど、オリジナルの映像データのシーン変化に対して、映像の飛びなどの破たんがなく要所をおさえたより少ないフレームを抽出可能な手段であれば、どのような手段を用いてもなんら問題はない。また、視点検出時点から任意の時間制限を設けておき、時間制限内にあるフレームから選択するようにしても良く、時間制限は視点検出部の視点取得間隔の時間と連動していても何ら問題はない。
【００３１】
また、基準フレームとしてオリジナルの映像データの１シーンを選択した場合は、基準フレーム作成におけるブラー処理は行わない。
【００３２】
次に、中間フレーム作成について説明する。基準フレームＡ２とＧ２の間の中間フレームＣ２、Ｅ２は、基準フレーム作成と同様にオリジナルの映像データの複数のフレーム映像より作成する。次に、基準フレームＡ２とＧ２間の各画素の変化と、フレームＣ２、Ｅ２の各画素の変化量を参照して、基準フレームＡ２とＧ２間の画素の変化基準に、フレームＣ２、Ｅ２の画素の変化量が急峻な変化にならないようにフレームＣ２、Ｅ２の画素にブラー処理をかける。また、基準フレームとしてオリジナルの映像データの１シーンを選択した場合は、中間フレームと基準フレームの両方に対してブラー処理を行ってもよい。
【００３３】
本実施例においてフレーム間にブラー処理を行うことによって、低フレームレートの映像であっても画素のちらつきを回避することが容易となる。
以上の処理を繰り返し、時間軸方向の周辺視野領域における低フレームレート映像を作成する。
【００３４】
第二の変換処理として、フレーム内画像変換部４０４において、映像格納部２０５よりオリジナルの映像データを獲得し、映像領域格納部４０２に格納されている中心視野領域、周辺視野領域、合成領域の座標データを獲得する。フレームレート格納部４０１から各領域に設定されたフレームレートの値も獲得する。フレーム内画像変換部４０４は、中心視野領域と周辺視野領域の異なるフレームレート映像を合成するため、合成領域の画像を変換する。
【００３５】
図７に、フレーム内画像変換部４０４における映像変換処理の一例を示す。中心視野領域の映像のフレーム７０１は、オリジナルの映像データの高フレームレートの映像データである。周辺視野領域の映像のフレーム６０２は、本実施例において作成された低フレームレートの映像データである。
【００３６】
本実施例では、合成領域の映像のフレームの７０２フレームレートは中心視野領域のフレームレートと同じ値とする。合成領域における各フレーム画像作成は、合成領域におけるオリジナルの映像データと、周辺視野領域における合成領域に相当する領域の画像について、中心視野領域の画像から連続的につなげるようなブラー処理を行う。
【００３７】
図７では、オリジナルの映像データのフレームＡ、フレームＢの画像と、周辺視野領域における合成領域のフレームＡ２の画像をブラー処理によって合成することによって、合成領域のフレームＡ‘、 およびフレームＢ’を作成する。ここで、本実施例では、低フレームレート映像におけるフレーム切替の時点で発生するフリッカを抑制するために、ブラー処理を用いているが、同様の効果を得られる画像変換処理方法であればブラー処理に限らず用いることができることは言うまでもない。また、フレーム内画像変換における合成領域に対する変換処理方法についても同様である。
【００３８】
合成部４０５は、フレームレートが同一のフレーム内画像変換部４０４が変換した合成領域の映像データと中心視野領域の映像データを中心視領域変換映像データとして合成する。また、周辺視野領域映像データより合成領域に相当する領域の映像を除外する。そして、作成された中心視領域変換映像データと周辺視野領域映像データを、それぞれの映像領域の座標値とフレームレート値と共に変換映像格納部４０６に格納する。
【００３９】
変換映像格納部４０６に格納された映像データは、転送部２０７により表示部２０４に転送される。データ転送においては、圧縮処理によって更なるデータ量削減を行っても良い。表示部２０４では、受信した各映像領域の座標値とフレームレート値データを参照して、表示画面に中心視領域変換映像データと周辺視野領域映像データを表示する。
【００４０】
本実施例の処理工程について、フローチャートを用いて説明する。
図８は本実施例の映像データ作成処理のフローチャートである。
ステップＳ８０１において、視点検出部から表示画面上の視点位置を取得する。ステップＳ８０２において、取得した視点位置を参照し、表示画面における中心視野領域、周辺視野領域、合成領域を設定する。ステップＳ８０３において、オリジナルの映像データを取得する。ステップＳ８０４において、設定した中心視野領域、周辺視野領域、合成領域におけるフレームレートを設定する。
【００４１】
ステップＳ８０５において、オリジナルの映像データを、中心視野領域と、周辺視野領域と合成領域を合わせた領域に分離する。以降、周辺視野領域と合成領域を合わせた領域を周辺視野領域と呼ぶ。ステップＳ８０６において、上記で説明した周辺視野領域のフレームレート変換処理および合成領域における映像変換処理を行う。ステップＳ８０７において、中心視野領域映像データして、フレームレートが同一の中心視野領域と合成領域における映像データとを合体し、映像領域の座標値とフレームレート値と共に変換映像格納部に格納する。
【００４２】
ステップＳ８０８において、周辺視野領域映像データより合成領域に相当する領域の映像を除外し、映像領域の座標値とフレームレート値と共に変換映像格納部に格納する。ステップＳ８０９において、格納した映像データを、各領域に設定されたフレームレートにより表示部に出力する。ステップＳ８１０において、視点検出部により、視点が変更したかを判定する。視点が変更した場合は、ステップ０１からの処理を繰り返す。視点が変更しなかった場合は、ステップ０３からの処理を繰り返す。ステップＳ８１１において映像データの表示が終了したかを判定し、映像が終了の場合は、本フローの処理を終了する。
【００４３】
図９は本実施例の映像変換処理の詳細を示すフローチャートである。
ステップＳ９０１において、映像領域格納部に格納されている中心視野領域、周辺視野領域、合成領域の座標データを獲得する。ステップＳ９０２において、中心視野領域、周辺視野領域、合成領域に設定されたフレームレートの値を獲得する。
【００４４】
ステップＳ９０３において、オリジナルの映像データより、中心視野領域、周辺視野領域、合成領域における映像データをそれぞれ取得する。また、周辺視野領域と合成領域の映像データを合体し、以降、周辺視野領域として扱う。ステップＳ９０４において、周辺視野領域のオリジナルの映像データの各フレームより、低フレームレートに設定された映像に変換する。本実施例では、基準フレーム作成手法と中間フレーム作成方法を用いて周辺視野領域の低フレームレート映像を作成する。
【００４５】
ステップＳ９０５において、周辺視野領域における低フレームレート映像のフレーム間にブラー処理をかける。これにより、低フレームレート映像におけるフリッカの発生を抑制する。ステップＳ９０６において、中心視野領域と周辺視野領域間の合成領域における映像データを、ブラー処理を用いて作成する。ステップＳ９０７において、中心視野領域と合成領域に対して作成した変換映像データを合体し、中心視野領域の変換映像データを作成する。
【００４６】
ステップＳ９０８において、周辺視野領域の変換映像データより合成領域の映像データを分離し、周辺視野領域の変換映像データを作成する。ステップＳ９０９において、中心視野領域の変換映像データと周辺視野領域の変換映像データを、それぞれの映像領域の座標値とフレームレート値と共に変換映像格納部に格納する。
【００４７】
なお、本実施例では、表示画面を中心視野領域と周辺視野領域の２領域に分け、２領域間の合成領域を設定して説明したが、周辺視野領域を更に分割し、分割領域毎にフレームレートを細かく設定してもよい。
【００４８】
以上説明した処理制御を行うことで、フリッカの発生を回避する、映像画質を保存した映像データ量の削減を実現し、データ転送効率を向上することができる。
【００４９】
［実施例２］
実施例１では、視点検出手段から画面上の中心視野領域・周辺視野領域を設定する際に、映像のシーンの内容に関わらず、あらかじめ設定されている視野領域の範囲と各領域における映像のフレームレートを設定し、変換映像データを作成する方法について説明した。一方、観察者は映像のシーンの内容によって、視点を動かさずに画面を注視し続けたり、また、シーンの動きが視点の動きに影響を及ぼす。
【００５０】
本実施例においては、シーンの内容によって観察者の視点位置やその移動に影響を受けることを鑑み、シーン内容に応じて各視野領域の範囲やフレームレート、またブラー処理の強度をリアルタイムに可変制御が可能な映像変換処理の例について説明する。
【００５１】
実施例２における映像データ作成処理の詳細な構成を示すブロック図を図１０に示す。なお、中心視野領域と周辺視野領域の設定処理と設定された領域毎のフレームレートに応じた映像変換処理は実施例１と同一であるため説明を省略し、実施例１と異なる点を中心に簡潔に説明する。
【００５２】
視点検出部２０３により表示画面上の観察者の注目位置を取得すると同時に、シーン解析部１００１は、表示している映像のシーン特徴を解析する。シーン特徴については、図１１に示すように、あらかじめ参照すべきシーンの特徴と、特徴に合致するシーンにおける視野領域の設定、各視野領域におけるフレームレート設定、および映像変換におけるブラー処理の強度設定についての指定された項目がメモリ１１０１に格納されている。
【００５３】
シーン解析部１００１によって、シーン特徴が合致した場合は、対応する視野領域の設定値、フレームレート設定値、ブラー処理の強度設定値をメモリ１１０１より獲得し、映像領域設定部３０２、フレームレート設定部３０３、映像変換部３０４のブラー処理の強度設定にそれぞれの値が設定される。
【００５４】
また、シーン特徴以外にも、視点検出部２０３における検出される視点の挙動に対して、同様に各種設定条件を決定しても良い。一例として、図１２に示すように、あらかじめ画面上の視点の動きに対する、特徴に合致するシーンにおける視野領域の設定、各視野領域におけるフレームレート設定、および映像変換におけるブラー処理の強度設定について指定された条件がメモリ１２０１に格納されている。
【００５５】
なお、図１１に示すシーン特徴と各設定値は、観察する人間の視覚特性の応答の傾向に対して決定される設定条件である。従って、シーン特徴や視点の変化に対して参照する人間の視覚特性の応答の傾向によっては、視野領域、フレームレート、ブラー処理の強度の設定値が変更される場合もあるため、図１１および図１２に記載の条件は、異なる傾向の値となっても何ら問題はない。また、図１１および図１２に記載以外のシーン特徴や視点変化の条件が追加されることにも、何ら問題はない。
【００５６】
図１３は本実施例の映像データ作成処理のフローチャートである。なお、ステップＳ８０１、ステップＳ８０３、ステップＳ８０５、ステップＳ８０６からステップＳ８１１については、実施例１の図のフローチャートの工程と同一であるため説明を省略し、実施例１と異なる点を中心に簡潔に説明する。
【００５７】
ステップＳ１３０１において、表示部２０４に表示しているシーンの特徴を解析する。ステップＳ１３０２において、シーン特徴に応じた表示画面における中心視野領域、周辺視野領域、合成領域の領域データを取得し、取得した視点位置を参照し、表示画面上の各領域を設定する。ステップＳ１３０３において、シーン特徴に応じた中心視野領域、周辺視野領域、合成領域におけるフレームレートを獲得し、各領域に設定する。ステップＳ１３０４において、シーン特徴に応じたブラー補正強度を獲得し、周辺視野領域のフレームレート変換処理および合成領域に対する映像変換処理のブラー補正強度の設定を行う。
【００５８】
以上説明した処理制御を行うことで、シーン特徴や観察者の視点変化に応じて最適な映像を表示する、映像データ変換処理を実現することができる。
【００５９】
以上説明した処理制御を行うことで、フリッカの発生を回避する、映像画質を保存した映像データ量の削減を実現し、データ転送効率を向上することができる。
【００６０】
［実施例３］
実施例１、２では、周辺視野領域にフレーム間ブラー処理を施して中心視野領域よりも低いフレームレートの映像を生成し、中心視野領域と周辺視野領域とで異なるフレームレートの映像を表示する方法について説明した。
【００６１】
本実施例では、周辺視野領域についてオリジナル映像からフレームを間引いた低フレームレート映像を取得し、映像の内容と観察者の視点の動きに基づいたフレーム補間により、中心視野領域と同じフレームレートの表示用映像を生成する。これにより、サーバーが多数のクライアントへ映像データを配信するような１対多間でのデータ転送において、配信に係る転送データ量を削減しながら、表示映像のフリッカの発生を抑制する。以下、表示装置を接続したクライアントへネットワーク越しのサーバーが映像を配信する例について説明する。
【００６２】
図１４は本実施例における画像処理装置のハードウェア構成例を示す図である。
映像データを配信するサーバーを担う画像処理装置１４００は、ＣＰＵ１４０１、ＲＡＭ１４０２、ＲＯＭ１４０３、ＨＤＤ１４０４、ＨＤＤ  Ｉ／Ｆ１４０５、通信Ｉ／Ｆ１４０６、システムバス１４０７で構成される。ＣＰＵ１４０１は、ＲＡＭ１４０２をワークメモリとして、ＲＯＭ１４０３及びハードディスクドライブ（ＨＤＤ）１４０４に格納されたプログラムを実行し、システムバス１４０７を介して後述する各部を制御する。
【００６３】
ＨＤＤインタフェイス（Ｉ／Ｆ）１４０５は、ＨＤＤ１４０４や光ディスクドライブなどの二次記憶装置を接続する、例えばＳＡＴＡやＵＳＢ等のインタフェイスである。ＣＰＵ１４０１は、ＨＤＤＩ／Ｆ１４０５を介して、ＨＤＤ１４０４からのデータ読み出し、およびＨＤＤ１４０４へのデータ書き込みが可能である。さらにＣＰＵ１４０１は、ＨＤＤ１４０４に格納されたデータをＲＡＭ１４０２に展開し、同様に、ＲＡＭ１４０２に展開されたデータをＨＤＤ１４０４に保存することが可能である。
【００６４】
そしてＣＰＵ１４０１は、ＲＡＭ１４０２に展開したデータをプログラムとみなし、実行することができる。通信インタフェイス（Ｉ／Ｆ）１４０６は、通信ネットワークに接続するための、例えばイーサネット（登録商標）等のインタフェイスである。ＣＰＵ１４０１は、通信Ｉ／Ｆ１４０６を介して通信ネットワーク越しに後述するクライアントと各種データをやりとりすることが可能である。
【００６５】
配信された映像データを受けとるクライアントとしての画像処理装置１４１０は、ＣＰＵ１４１１、ＲＡＭ１４１２、ＲＯＭ１４１３、通信Ｉ／Ｆ１４１４、入力Ｉ／Ｆ１４１５、出力Ｉ／Ｆ１４１６、システムバス１４１７で構成される。
【００６６】
ＣＰＵ１４１１は、ＲＡＭ１４１２をワークメモリとして、ＲＯＭ１４１３に格納されたプログラムを実行し、システムバス１４１７を介して後述する各部を制御する。また、通信Ｉ／Ｆ１４１４を介して先述したサーバーを担う画像処理装置１４００と各種データをやりとりすることが可能である。入力インタフェイス（Ｉ／Ｆ）１４１５は、ＨＭＤ１４１８に備えられた加速度センサ、地磁気センサ、ＧＰＳセンサ等の各種センサ１４１９や、図示しないキーボード、マウス等の入力デバイスを接続する、例えばＵＳＢ等のシリアルバスインタフェイスである。
【００６７】
ＣＰＵ１４１１は、入力Ｉ／Ｆ１４１５を介してセンサ１４１９からの各種データの読み込み、および、入力デバイスからのユーザ指示信号の読み込みが可能である。出力インタフェイス（Ｉ／Ｆ）１４１６は、ＨＭＤ１４１８に備えられたディスプレイ１４２０やプロジェクタ等の表示デバイスを接続する、例えばＤＶＩ等の映像出力インタフェイスである。ＣＰＵ１４１１は、出力インタフェイス１４１６を介してディスプレイ１４２０にデータを送り、表示を実行させることができる。
【００６８】
図１５は画像処理装置１４００、１４１０のソフトウェア構成を示す機能ブロック図である。
視野情報取得部１５０１は、観察者の視線方向を、センサ１４１９からのセンサ情報に基づいて取得する。本実施例で用いる視線方向と全周囲映像中の１フレームの例を図１９に示す。全周囲映像１９０２の各画素の座標は、３次元空間中の基準位置１９０１からの方向を表わす極座標(θ,φ)と対応付けられており、３次元空間中の球面状の画像データが２次元平面上に射影された形で保持されている。
【００６９】
したがって、観察者の視線方向が(θ,φ)の向きを向いている場合、ディスプレイ１４２０には、その画面サイズに相当する領域１９０３を(θ,φ)を基準として２次元平面上へ射影した領域（以後、表示領域と呼ぶ）１９０４を表示すればよい。取得された視線方向は、ディスプレイ１４２０の画面サイズと併せて視野情報として映像領域設定部１５０４へ送られる。
【００７０】
フレームレート設定部１５０２は、中心視野領域および周辺視野領域のそれぞれに対する画像データの取得フレームレートを設定する。この時、周辺視野領域のフレームレートは中心視野領域のフレームレートよりも低く設定される。設定されたフレームレートは、画像取得モード設定部１５０３へ送られる。
【００７１】
画像取得モード設定部１５０３は、周辺視野画像データを取得するか否かを示す画像取得モードを、時刻とフレームレートに基づき設定する。詳細は後述する。設定された画像取得モードは、周辺視野画像データ取得部１５０６および転送画像データ取得部１５０７へ送られる。
【００７２】
映像領域設定部１５０４は、視線方向(θ,φ)を中心として、予め形状および大きさを定めた中心視野領域を全周囲映像中の当該フレーム画像上に配置する。また、視線方向(θ,φ)およびディスプレイ１４２０の画面サイズに基づき、全周囲映像中の当該フレーム画像上において表示領域を決定する。そして、表示領域内の中心視野領域以外の領域を周辺視野領域として決定する。さらに、中心視野領域と周辺視野領域の境界から周辺視野領域側の任意領域を合成領域として設定する。設定された各種の領域は、中心視野画像データ取得部１５０５、周辺視野画像データ取得部１５０６、転送画像データ取得部１５０７へ送られる。
【００７３】
中心視野画像データ取得部１５０５は、ＨＤＤ１４０４等の記憶装置に格納されている全周囲映像データから、中心視野領域と合成領域との和領域内の画像データを中心視野画像データとして取得する。取得された中心視野画像データは、転送画像データ取得部１５０７へ送られる。
【００７４】
周辺視野画像データ取得部１５０６は、画像取得モードに応じて、ＨＤＤ１４０４等の記憶装置に格納されている全周囲映像データから、周辺視野領域内の画像データを周辺視野画像データとして取得する。取得された周辺視野画像データは、転送画像データ取得部１５０７へ送られる。転送画像データ取得部１５０７は、サーバー１４００から送信された各種の画像データと領域情報を受信する。受信された画像データと領域情報は、表示画像データ生成部１５０８へ送られる。
【００７５】
表示画像データ生成部１５０８は、転送画像データ取得部１５０７から送られた各種の画像データに基づき表示領域内における映像の動きを推定し、周辺視野画像データに動き方向に順じたブラーを施して表示画像データを生成する。これにより、フリッカの発生を抑制する。詳細は後述する。生成された表示画像データは、ＨＭＤ１４１８へ送られてディスプレイ１４２０に表示される。
【００７６】
図１６は画像処理装置１４００、１４１０における一連の処理の動作手順を示すフローチャートである。
ステップ１６１０１において、視野情報取得部１５０１は、現時刻tにおける視野情報を取得する。
【００７７】
ステップ１６１０２において、視野情報取得部１５０１は、ステップ１６１０１で取得した視野情報をサーバー１４００へ送信する。そしてこの視野情報を、ステップ１６００１において映像領域設定部１５０４が受信する。ステップ１６００２において、映像領域設定部１５０４は、ステップ１６００１で受信した視野情報に基づき、中心視野領域および周辺視野領域、合成領域を設定する。
【００７８】
ステップ１６１０３において、フレームレート設定部１５０２は、中心視野画像データの取得フレームレートN0、および、周辺視野画像データの取得フレームレートN1を設定する。本実施例では、N0=60[fps]、N1=30[fps] として以下の説明を行う。なお、フレームレートはこれらの値に限らず、N0>N1であれば本発明を適用可能である。ステップ１６１０４において、画像取得モード設定部１５０３は、時刻tにおける画像取得モードを設定する。
【００７９】
＜画像取得モード設定の詳細＞
図１７は画像取得モード設定処理の詳細を示すフローチャートである。
ステップ１７０１において、画像取得モード設定部１５０３は、最後に周辺視野画像データが転送された時刻t0から現時刻tまでの経過時間t-t0と、周辺視野画像データの取得周期T（=1/N1[sec]、本実施例では1/30[sec]）とを比較する。t-t0≧Tである場合、ステップ１７０２へ進み、画像取得モードを「１（取得する）」に設定して画像取得モード設定処理を終了する。t-t0＜Tの場合、ステップ１７０３へ進み、画像取得モードを「0（取得しない）」に設定して画像取得モード設定処理を終了する。以下、図１６のフローチャートの説明に戻る。
【００８０】
ステップ１６１０５において、画像取得モード設定部１５０３は、ステップ１６１０４で設定した画像取得モードを示す信号をサーバー１４００へ送信する。そしてこの画像取得モード信号を、ステップ１６００３において周辺視野画像データ取得部１５０６が受信する。ステップ１６００４において、中心視野画像データ取得部１５０５は、ステップ１６００２で映像領域設定部１５０４が設定した中心視野領域および合成領域に基づき、時刻tの中心視野画像データを取得してクライアント１４１０へ送信する。そしてこの中心視野画像データを、ステップ１６１０６において、転送画像データ取得部１５０７が受信する。
【００８１】
ステップ１６００５において、周辺視野画像データ取得部１５０６は、時刻tの周辺視野画像データを送信するか否かを、ステップ１６００３で受信した画像取得モードに基づき判断する。具体的には、画像取得モードが「0」であった場合、周辺視野画像データの送信は不要と判断し、ステップ１６００７へ進む。それ以外の場合、ステップ１６００６へ進み、ステップ１６００２で映像領域設定部１５０４が設定した周辺視野領域に基づき、時刻tの周辺視野画像データを取得してクライアント１４１０へ送信する。
【００８２】
ステップ１６１０７において、転送画像データ取得部１５０７は、時刻tの周辺視野画像データを受信するか否かを、ステップ１６１０４で設定した画像取得モードに基づき判断する。具体的には、画像取得モードが「0」であった場合、周辺視野画像データの受信は不要と判断し、ステップ１６１０９へ進む。それ以外の場合、ステップ１６１０８へ進み、ステップ１６００６でサーバー１４００から送信された時刻tの周辺視野画像データを受信する。ステップ１６１０９において、表示画像データ生成部１５０８は、これまでの処理で受信した中心視野画像データおよび周辺視野画像データを用いて表示画像データを生成する。
【００８３】
＜実施例３における表示画像データ生成の詳細＞
図１８は表示画像データ生成処理の詳細を示すフローチャートである。
以下、現時刻tにおける画像取得モードが「0(周辺視野画像データを取得しない)」である場合を例にして説明を行う。また、最後に周辺視野画像データが転送された時刻t0について中心視野画像データと周辺視野画像データとを合成して得られる画像を転送画像F (t0)と呼び、時刻t0-Tについて中心視野画像データと周辺視野画像データとを合成して得られる画像を転送画像F(t0-T)と呼ぶ。図２０に転送画像F(t0),F(t0-T)の例を示す。
【００８４】
この図の例では、表示領域１９０４と動物体２００１とがそれぞれ別個に全周囲映像中を+θ方向から-θ方向へ向かって移動している。図２０において、F(t0),F(t0-T)中の鎖線で示した楕円内がそれぞれの時刻における中心視野画像に相当し、その外側が周辺視野画像に相当する。なお、図２０中のF'(t)およびF'(t-T)は、それぞれクライアント１４１０が受信する時刻tおよび時刻t-Tの中心視野画像を表している。
【００８５】
ステップ１８０１において、表示画像データ生成部１５０８は、時刻t0の転送画像F(t0)の各画素について、時刻t0-Tからの動きベクトルV(t0)を算出する。動きベクトルV(t0)の算出には、例えば公知のブロックマッチング法を利用可能である。その場合、転送画像F(t0)を適当なブロック領域に分割し、領域ごとに転送画像F(t0-T)上において領域内の画素値の類似度が最大となる位置を求め、この位置から転送画像F(t0)上での位置へ向かうベクトルを当該領域に属する画素の動きベクトルとすればよい。
【００８６】
ただし、領域の類似度が予め定めた閾値に満たないなどの理由により転送画像F(t0-T)上での対応位置を特定できない画素については、視線方向の移動量に基づいて動きベクトルを与える。具体的には、全周囲画像上における時刻t0-Tの視線方向P(t0-T)から時刻t0の視線方向P(t0)へ向かうベクトルを求め、これを転送画像F(t0)上に射影したベクトル（以後、視野移動ベクトルと呼ぶ）Et0の逆ベクトル-Et0を動きベクトルとして割り当てる。これにより、視線方向の移動によりフレームインした（表示領域内に現れた）映像中の物体に対して、より違和感のない表示画像を生成することができる。
【００８７】
図２１に、動きベクトルの例を示す。同図（ａ）は図２０に示した時刻t0および時刻t0-Tにおける全周囲映像の輪郭線を重畳した図であり、図中の２１０１は時刻t0における表示領域である。また、図２１（ｂ）は図２０に示した転送画像F(t0),F(t0-T)の輪郭線を重畳した図である。これらの図において、実線は時刻t0における画像の輪郭線を表し、破線は時刻t0-Tにおける画像の輪郭線を表している。図２１（ｂ）中におけるベクトルvは、図２０に示した動物体２００１の表示領域内における動きに相当する。
【００８８】
また、ベクトルv'は視線方向が変化することによる背景部分の相対的な動きに相当し、視野移動ベクトルEt0の逆向きのベクトルと略一致する。このとき得られる転送画像F(t0)に関する動きベクトルV(t0)を、図２１（ｃ）に示す。
【００８９】
なお、現時刻より以前に算出した動きベクトルV(t0)をＲＡＭ１４０２等に記憶してある場合には、転送画像f(t0)、f(t0-T)にそれぞれ変化が無ければ再度動きベクトルを算出する必要はなく、記憶しておいたV(t0)を用いればよい。また、動きベクトルの算出には、上記のブロックマッチングを用いた方法に限らず、公知の動体抽出手法により抽出した動体をテンプレートとしたテンプレートマッチングなど、他の方法を用いても良い。
【００９０】
ステップ１８０２において、ステップ１８０１で算出した動きベクトルV(t0)に基づき、転送画像F(t0)の各画素について、時刻t-1/N0から時刻t（すなわち、前フレームの時刻から現フレームの時刻）にかけての移動の軌道を推定する。本実施例では、転送画像F(t0)の各画素の値が時刻t-1/N0および時刻tにおいて転送画像F(t0)上のどの画素位置に移動するかを、時刻t0からの経過時間と動きベクトルV(t0)を用いて推定する。例えば、転送画像F(t0)上の画素位置(i,j)に対応する動きベクトルが(vi,vj)であった場合、当該画素の画素値は時刻tにおいて画素位置(i+vi*(t-t0)/T,j+vj*(t-t0)/T)に移動すると推定する。そして、時刻t-1/N0での画素位置を始点として時刻tでの画素位置へ向かうベクトルを、当該画素の軌道とする。軌道の例を図２２中に矢印で示す。
【００９１】
ステップ１８０３において、転送画像F(t0）に対し、ステップ１８０２で推定した軌道に沿ったブラー（動きボケ）を付与した補間画像を生成する。具体的には、まず、転送画像F(t0)を動きベクトルV(t0)に基づいて領域分割する。各領域は、ステップ１８０２で推定した軌道の向きと距離が略一致する画素の集合となる。
【００９２】
次に、分割して得られた領域ごとに、転送画像F(t0)から当該領域内の画素値のみを抽出した画像（以後、領域画像）を生成し、これに当該領域の軌道に基づいて係数を決定したボケフィルタを適用する。フィルタの係数は、注目画素に関してステップ１８０２で推定した軌道と点対称となる位置の画素の重みが高くなるように定める。図２３に、図２２中の動物体２００１を抽出した領域画像に適用するフィルタの例を示す。最後に、動きボケを付与した各領域画像の積画像を生成し、これを補間画像とする。
【００９３】
ステップ１８０４において、ステップ１８０３で生成した補間画像から周辺視野領域および合成領域を切り出し、これとステップ１６１０６で取得した現時刻tの中心視野画像F’(t)とを合成して表示画像データとする。このとき、補間画像と中心視野画像とで画像データが重複する合成領域については、両画像の画素値をブレンドすることで合成を行う。ブレンド比率は、例えば中心視野領域に近い画素ほど中心視野画像の画素値の比率が大きくなり、周辺視野領域に近い画素ほど補間画像の画素値の比率が大きくなるように設定する。図２４（ａ）に補間画像の例を、同図（ｂ）に表示画像の例を示す。
【００９４】
なお、現時刻tにおける画像取得モードが「1(周辺視野画像データを取得する)」である場合は、現時刻の転送画像F(t)について動きベクトルを算出し、前フレームからの軌道を求めて動きボケを付与すればよい。具体的には、まず上述したステップ１８０１における時刻t0およびt0-Tをそれぞれ時刻t、t-Tに置き換えて動きベクトルV(t)を算出する。
【００９５】
次に、ステップ１８０２において、転送画像F(t)の各画素の値が当該画像上のどの画素位置から移動してきたかを、前フレームの時刻（=t-1/N0）からの経過時間と動きベクトルV(t)を用いて推定する。例えば、転送画像F(t)上の画素位置(i,j)に対応する動きベクトルが(vi,vj)であった場合、当該画素の画素値は時刻t-1/N0において画素位置(i+vi*((t-1/N0)-t)/T,j+vj*((t-1/N0)-t)/T)にあったと推定する。この画素位置を始点として時刻tでの画素位置へ向かうベクトルを、当該画素の軌道とする。
【００９６】
そして、上述したステップ１８０３における時刻t0を時刻tに置き換えて、推定した軌道に沿った動きボケを付与した補間画像を生成する。最後に、ステップ１８０４において、補間画像から周辺視野領域および合成領域を切り出し、これと転送画像F(t)から切り出した中心視野領域および合成領域とを合成して表示画像データとすればよい。また、ステップ１８０１で転送画像F(t0-T)上での対応位置を特定できない画素については、ステップ１８０２で時刻t-1/N0から時刻tにかけての視野移動ベクトルに基づき軌道を推定してもよい。
【００９７】
また、補間画像の生成方法はステップ１８０３で説明した方法に限らない。例えば、公知の動き補償手法を用いて、転送画像に基づき時刻t-1/N0から時刻tまでの間の時刻の予測画像を微小時間刻みで複数生成し、これらの予測画像を合成して補間画像としてもよい。また、中心視野領域については、ステップ１８０１からステップ１８０３の処理を省略可能である。
【００９８】
以下、図１６のフローチャートの説明に戻る。ステップ１６１１０において、表示画像データ生成部１５０８は、ステップ１６１０９で生成した時刻tの表示画像データをＨＭＤ１４１８へ出力し、ディスプレイ１４２０に表示する。ステップ１６１１１において、クライアント１４１０が入力デバイスを介して観察者により観賞終了を指示された場合、ステップ１６１１２へ進む。それ以外の場合、ステップ１６１０１へ戻る。ステップ１６１１２において、クライアント１４１０は、終了信号をサーバー１４００へ送信し、一連の処理を終了する。ステップ１６００７において、サーバー１４００が終了信号を受信した場合、一連の処理を終了する。それ以外の場合、ステップ１６００１へ戻る。
【００９９】
以上で説明したステップ１６００１からステップ１６００７の処理を１サイクルとして、サーバー１４００は１サイクル毎に１フレーム分の中心視野画像データを配信する。また、設定したフレームレート比に応じた複数サイクル（本実施例では２サイクル）毎に、１フレーム分の周辺視野画像データを配信する。同様に、ステップ１６１０１からステップ１６１１１の処理を１サイクルとして、クライアント１４１０は１サイクル毎に１フレーム分の中心視野画像データを受信する。また、設定したフレームレートに応じた複数サイクル毎に、１フレーム分の周辺視野画像データを受信する。そして１サイクル毎に、受信済みの周辺視野画像データと中心視野画像データを用いて表示画像データを生成し、表示を行う。
【０１００】
なお、中心視野画像データの取得フレームレートN0と周辺視野画像データの取得フレームレートN1の比を予め定めた値から変化させない場合は、常にその比に応じたサイクル毎に周辺視野画像データの送受信を行えばよく、毎時刻取得モード信号を送受信する必要はない。また、視野領域の範囲やフレームレート、ブラーの強度は、実施例２で述べたように、映像のシーン内容に応じて動的に設定してもよい。
【０１０１】
以上説明した処理制御を行うことで、映像を取得する際にかかる転送データ量を削減しながら、表示映像のフリッカの発生を抑制することができる。
【０１０２】
［実施例４］
実施例３では、転送画像データと観察者の視線方向から映像の動きを算出し、この動きに基づいて表示画像データを生成する方法について説明した。本実施例では、サーバーが周辺視野画像データの転送要否を判定し、周辺視野画像データの転送を要する場合には、転送画像に基づく動きベクトルの算出が必要であるか否かを判定する例について説明する。
【０１０３】
時刻tの転送画像F(t)において周辺視野領域内に動体が含まれない場合、および、同領域内の画素について対応画素が時刻t-Tにおける転送画像F(t-T)に含まれない場合、当該時刻間における画素の移動を転送画像F(t)、F(t-T)から検出することは困難である。そこで、本実施例では上記の場合に転送画像に基づく動きベクトルの算出を不要とサーバーが判定し、判定結果をクライアントへ知らせる。
【０１０４】
実施例４における画像処理装置１４００、１４１０のソフトウェア構成を示す機能ブロック図を図２５に示す。本実施例におけるサーバーとしての画像処理装置１４００は、フレームレート設定部２５０１と生成モード設定部２５０２を備える。なお、視野情報取得部１５０１、映像領域設定部１５０４、中心視野画像データ取得部１５０５については実施例３と同一であるため説明を省略し、実施例３と異なる点を中心に簡潔に説明する。
【０１０５】
フレームレート設定部２５０１は、中心視野領域および周辺視野領域のそれぞれに対して画像データの取得フレームレートを設定する。詳細は実施例３と同一であるため説明を省略する。設定されたフレームレートは、生成モード設定部２５０２へ送られる。生成モード設定部２５０２は、表示画像データの生成方法を示す生成モードを、時刻およびフレームレート、表示領域、全周囲映像のフレーム間における画素位置の対応関係に基づき設定する。詳細は後述する。設定された生成モードは、周辺視野画像データ取得部２５０３および転送画像データ取得部２５０４へ送られる。
【０１０６】
周辺視野画像データ取得部２５０３は、生成モードに応じて、ＨＤＤ１４０４等の記憶装置に格納されている全周囲映像データから、周辺視野領域内の画像データを周辺視野画像データとして取得する。取得された周辺視野画像データは、転送画像データ取得部２５０４へ送られる。転送画像データ取得部２５０４は、サーバー１４００から送信された各種の画像データおよび領域情報と、生成モード信号とを受信する。受信された画像データ、領域情報、生成モード信号は、表示画像データ生成部２５０５へ送られる。
【０１０７】
表示画像データ生成部２５０５は、生成モード信号に応じて表示領域内における映像の動きを推定し、表示画像データを生成する。詳細は後述する。生成された表示画像データは、ＨＭＤ１４１８へ送られてディスプレイ１４２０に表示される。
【０１０８】
以下、図２６に示すフローチャートを用いて、本実施例に係る画像処理装置１４００、１４１０における一連の処理の動作手順を説明する。
【０１０９】
ステップ２６１０１、２６１０２、２６００１、２６００２、２６００３、２６００４、２６１０３の詳細は、それぞれ実施例３のステップ１６１０１、１６１０２、１６００１、１６００２、１６１０３、１６００４、１６１０６と同一であるため説明を省略する。ステップ２６００５において、生成モード設定部２５０２は、時刻tにおける生成モードを設定する。
【０１１０】
＜生成モード設定の詳細＞
図２７は生成モード設定処理の詳細を示すフローチャートである。
ステップ２７０１において、生成モード設定部２５０２は、実施例３のステップ１７０１における画像取得モード設定部１５０３と同様に、最後に周辺視野画像データを転送した時刻t0から現時刻tまでの経過時間t-t0と、周辺視野画像データの取得周期Tとを比較する。比較の結果、t-t0≧Tである場合はステップ２７０２へ進み、t-t0＜Tである場合はステップ２７０４へ進む。
【０１１１】
ステップ２７０２では、現時刻tにおける周辺視野領域と合成領域の和領域内に動体が含まれるか否かを判定する。具体的には、時刻tの全周囲映像中において周辺視野領域および合成領域に相当する領域を適当なブロック領域に分割し、分割した領域ごとに時刻t0の全周囲映像上において画素値の類似度が最大となる位置Qを求める。この位置が時刻tでの位置と略一致する場合には、そのブロック領域は動体を含まないと判断する。そして、いずれかのブロック領域が動体を含むと判断された場合は、周辺視野領域と合成領域の和領域内に動体が含まれると判定してステップ２７０３へ進む。また、どのブロック領域も動体を含まないと判断された場合は、周辺視野領域と合成領域の和領域内に動体が含まれないと判定してステップ２７０６へ進む。
【０１１２】
なお、位置Qの求め方は上記の方法に限らない。他の方法としては、例えば、予め全周囲映像の各フレームをブロック領域に分割し、領域毎に前フレーム上における対応位置を求めて記憶しておく。そして、ステップ２７０２の実行時に、周辺視野領域および合成領域に相当するブロック領域の位置を、時刻tから時刻t0までフレーム毎に順次遡って参照することで、位置Qを求めてもよい。
【０１１３】
ステップ２７０３では、現時刻ｔにおける周辺視野領域と合成領域の和領域内の画素について、その対応画素が時刻t0における表示領域（すなわち、時刻t0の転送画像）に含まれるか否かを判定する。具体的には、ステップ２７０２において求めた位置Qのブロック領域が時刻t0の表示領域と重複領域を持つ場合に、対応画素が当該表示領域内に含まれると判断してステップ２７０５へ進む。それ以外の場合は、対応画素が当該表示領域内に含まれないと判断してステップ２７０６へ進む。
【０１１４】
ステップ２７０４では、生成モードを「Mode0（周辺視野画像データなし）」に設定し、生成モード設定処理を終了する。ステップ２７０５では、生成モードを「Mode1（動きベクトル算出：要）」に設定し、生成モード設定処理を終了する。ステップ２７０６では、生成モードを「Mode2（動きベクトル算出：不要）」に設定し、生成モード設定処理を終了する。
【０１１５】
以上のステップ２７０１〜２７０６の処理により、転送画像間において画素位置の対応付けが可能であるか否かが判定され、可能である場合にのみ、生成モードに「Mode1（動きベクトル算出：要）」が設定される。以下、図２６のフローチャートの説明に戻る。ステップ２６００６において、生成モード設定部２５０２は、ステップ２６００５で設定した生成モードを示す信号をクライアント１４１０へ送信する。そしてこの生成モード信号を、ステップ２６１０４において転送画像データ取得部２５０４が受信する。
【０１１６】
ステップ２６００７において、周辺視野画像データ取得部２５０３は、時刻tの周辺視野画像データを送信するか否かを、ステップ２６００５で設定した生成モードに基づき判断する。具体的には、生成モードが「Mode0」であった場合、周辺視野画像データの送信は不要と判断し、ステップ２６００９へ進む。それ以外の場合、ステップ２６００８へ進み、ステップ２６００２で映像領域設定部１５０４が設定した周辺視野領域に基づき、時刻tの周辺視野画像データを取得してクライアント１４１０へ送信する。
【０１１７】
ステップ２６１０５において、転送画像データ取得部２５０４は、時刻tの周辺視野画像データを受信するか否かを、ステップ２６１０４で受信した生成モードに基づき判断する。具体的には、生成モードが「Mode0」であった場合、周辺視野画像データの受信は不要と判断し、ステップ２６１０７へ進む。それ以外の場合、ステップ２６１０６へ進み、ステップ２６００８でサーバー１４００から送信された時刻tの周辺視野画像データを受信する。また、このときの生成モード（「Mode1」または「Mode2」）を時刻tと対応付けてにＲＡＭ１４０２等に記憶しておく。ステップ２６１０７において、表示画像データ生成部２５０５は、これまでの処理で受信した中心視野画像データおよび周辺視野画像データを用いて表示画像データを生成する。
【０１１８】
＜実施例４における表示画像データ生成の詳細＞
本実施例における表示画像データ生成処理は、ステップ２６１０６において記憶した、最後に周辺視野画像データが転送された時刻t0での生成モードに応じて、転送画像F(t0)に基づく動きベクトルの算出を行うか否かを切りかえる点が実施例３と異なる。また、動きベクトルを算出しない場合には、視野移動ベクトルのみに基づいて転送画像F(t0)中の画素に関する移動の軌道を推定する。
【０１１９】
図２８は本実施例における表示画像データ生成処理の詳細を示すフローチャートである。
ステップ２８００において、表示画像データ生成部２５０５は、転送画像F(t0)に基づく動きベクトルの算出が必要であるか否かを、時刻t0での生成モードに基づき判定する。生成モードが「Mode1」である場合は、転送画像F(t0)に基づく算出が必要と判断してステップ１８０１へ進む。生成モードが「Mode2」である場合は、転送画像F(t0)に基づく算出は不要と判断してステップ２８０１へ進む。ステップ１８０１、１８０２は、実施例３と同一であるため説明を省略する。
【０１２０】
ステップ２８０１では、時刻t-1/N0から時刻tにかけての視野移動ベクトルを算出する。具体的には、実施例３のステップ１８０１で述べた方法と同様にして、全周囲画像上における時刻t-1/N0の視線方向から時刻tの視線方向へ向かうベクトルを求め、これを転送画像F(t0)上に射影したベクトルを算出する。
【０１２１】
ステップ２８０２では、ステップ２８０１で求めた視野移動ベクトルに基づき、転送画像F(t0)の各画素について、時刻t-1/N0から時刻tにかけての移動の軌道を推定する。具体的には、実施例３におけるステップ１８０２の処理を、動きベクトルの替わりに視野移動ベクトルの逆ベクトルを用いて行えばよい。ステップ１８０３、１８０４は、実施例３と同一であるため説明を省略する。
【０１２２】
以下、図２６のフローチャートの説明に戻る。ステップ２６１０８において、表示画像データ生成部２５０５は、ステップ２６１０７で生成した時刻tの表示画像データをＨＭＤ１４１８へ出力し、ディスプレイ１４２０に表示する。ステップ１６１０９、１６１１０、２６００９は、それぞれ実施例３のステップ１６１１１、１６１１２、１６００７と同一であるため説明を省略する。
【０１２３】
以上説明した処理制御を行うことで、不要な動きベクトル算出処理をスキップし、クライアントの処理コストを削減することができる。
【符号の説明】
【０１２４】
２０３  視点検出部、２０５  映像格納部、３０１  視野解析部、
３０２  映像領域設定部、３０３  フレームレート設定部、３０４  映像変換部、
４０３  フレーム間画像変換部、４０４  フレーム内画像変換部、４０５  合成部、
５０１  観察者の注目位置、５０２  中心視野領域、５０４  周辺視野領域、
５０３  合成領域、１００１  シーン解析部
【図１】
2017062279.tif 000003
【図２】
2017062279.tif 000004
【図３】
2017062279.tif 000005
【図４】
2017062279.tif 000006
【図５】
2017062279.tif 000007
【図６】
2017062279.tif 000008
【図７】
2017062279.tif 000009
【図８】
2017062279.tif 000010
【図９】
2017062279.tif 000011
【図１０】
2017062279.tif 000012
【図１１】
2017062279.tif 000013
【図１２】
2017062279.tif 000014
【図１３】
2017062279.tif 000015
【図１４】
2017062279.tif 000016
【図１５】
2017062279.tif 000017
【図１６】
2017062279.tif 000018
【図１７】
2017062279.tif 000019
【図１８】
2017062279.tif 000020
【図１９】
2017062279.tif 000021
【図２０】
2017062279.tif 000022
【図２１】
2017062279.tif 000023
【図２２】
2017062279.tif 000024
【図２３】
2017062279.tif 000025
【図２４】
2017062279.tif 000026
【図２５】
2017062279.tif 000027
【図２６】
2017062279.tif 000028
【図２７】
2017062279.tif 000029
【図２８】
2017062279.tif 000030