(57)【要約】【課題】容易な手法で、ユーザに提供する情報の量を適応的に調整する。【解決手段】再生速度が所定の速度に設定された映像に所定量の遅延を加えて、複数の表示部２Ｌ、２Ｒのうちの第１の表示部以外の表示部に出力する遅延部８０Ｌ、８０Ｒと、与えられた変数に基づいて入力映像の再生速度を変換して、第１の表示部及び遅延部８０Ｌ、８０Ｒに出力する再生速度変換部７０とを備えた。また、ユーザの視線の位置を検出する視線検出部３で検出された視線の位置の変化に基づいてユーザの情報取得に対する余裕度を推定して、推定した余裕度を出力する余裕度決定部４０と、余裕度決定部４０から出力された余裕度の大きさに基づいて映像の再生速度を決定し、決定した再生速度に応じた変数を再生速度変換部７０に出力する再生速度決定部６０とを備えた。【選択図】図３
2009117988.tif 000002
【特許請求の範囲】
【請求項１】
再生速度が所定の速度に設定された映像に所定量の遅延を加えて、複数の表示部のうちの第１の表示部以外の表示部に出力する遅延部と、
与えられた変数に基づいて入力映像の再生速度を変換して、前記第１の表示部及び前記遅延部に出力する再生速度変換部と、
ユーザの視線の位置を検出する視線検出部で検出された視線の位置の変化に基づいて前記ユーザの情報取得に対する余裕の度合いを示す余裕度を決定して、決定した余裕度を出力する余裕度決定部決定部と、
前記余裕度決定部から出力された余裕度の大きさに基づいて前記映像の再生速度を決定し、前記決定した再生速度に応じた変数を前記再生速度変換部に出力する再生速度決定部とを備えたことを特徴とする
情報提示装置。
【請求項２】
請求項１記載の情報提示装置において、
前記ユーザの視線の位置が、現在視線の位置がある表示部から他の表示部に移動した場合、前記視線の位置が移動した先にある前記表示部の位置に基づいて、前記第１の表示部に割り当てられる表示部が変更することを特徴とする
情報提示装置。
【請求項３】
請求項２記載の情報提示装置において、
前記余裕度決定部から出力された余裕度の大きさに応じて、前記遅延部における遅延量を設定する遅延量決定部を備えたことを特徴とする
情報提示装置。
【請求項４】
請求項３記載の情報提示装置において、
前記遅延量決定部は、
前記ユーザの視線の位置がある表示部を前記第１の表示部として、前記第１の表示部以外の表示部に前記遅延量を設定することを特徴とする
情報提示装置。
【請求項５】
請求項１記載の情報提示装置において、
前記余裕度決定部は、前記ユーザの視線の位置が、現在視線の位置がある表示部から他の表示部に移動した場合、前記余裕度の値を小さくすることを特徴とする
情報提示装置。
【請求項６】
請求項５記載の情報提示装置において、
前記余裕度決定部は、前記ユーザの視線の位置が、現在視線の位置がある表示部から他の表示部に移動した場合で、かつ前回の前記ユーザの視線位置の変化が所定の時間内に起こった場合には、前記余裕度の値を、前回の前記ユーザの視線位置の変化が所定の時間内に起こらない場合に算出される余裕度よりも小さな値とすることを特徴とする
情報提示装置。
【請求項７】
請求項１記載の情報提示装置において、
前記余裕度決定部は、前記ユーザの視線の位置が、所定の表示部上に留まっていると判断した場合には、前記余裕度の値を大きくすることを特徴とする
情報提示装置。
【請求項８】
請求項１記載の情報提示装置において、
前記再生速度決定部は、前記余裕度決定部から出力された余裕度が所定の値より大きい場合には、前記映像の再生速度を速くする変数を前記再生速度変換部に出力し、前記余裕度決定部から出力された余裕度が所定の値以下である場合には、前記映像の再生速度を遅くする変数を前記再生速度変換部に出力することを特徴とする
情報提示装置。
【請求項９】
請求項８記載の情報提示装置において、
前記再生速度決定部は、現在前記ユーザの視線の位置がある表示部から他の表示部に移動した場合は、前記映像の再生速度と、前記遅延量決定部で決定された遅延量とに基づいて算出される量だけ前記映像の再生位置を戻す処理を行うことを特徴とする
情報提示装置。
【請求項１０】
請求項１記載の情報提示装置において、
前記再生速度決定部は、前回処理を行ってから今回処理を行うまでの間に経過した時間と再生速度とを積算して得られる量だけ、前記映像の再生位置を進めることを特徴とする
情報提示装置。
【請求項１１】
請求項１記載の情報提示装置において、前記再生速度決定部は、前記視線検出部で検出された視線の位置が、所定の表示部の画面上に留まっていると判断した場合には、前記再生速度を変更しないことを特徴とする
情報提示装置。
【請求項１２】
請求項１記載の情報提示装置において、
前記再生速度変換部は、前記入力映像を構成するフレームを所定の間隔で間引くことにより前記映像の再生速度を変換することを特徴とする
情報提示装置。
【請求項１３】
請求項１記載の情報提示装置において、
前記再生速度変換部は、前記入力映像のフレームレートを変えることにより前記映像の再生速度を変換することを特徴とする
情報提示装置。
【請求項１４】
請求項１記載の情報提示装置において、
前記再生速度変換部は、前記入力映像の各フレームにおける、隣接画素との画素値の差が所定の値以上となる画素の総数を算出し、前記算出した総数が大きいフレームから順番に所定フレーム数出力することにより、前記映像の再生速度を変換することを特徴とする
情報提示装置。
【請求項１５】
請求項１記載の情報提示装置において、
前記表示部は、一つの画面を複数の領域に分割した場合の、分割されたそれぞれの領域であることを特徴とする
情報提示装置。
【請求項１６】
再生速度が所定の速度に設定された映像に所定量の遅延を加えて、複数の表示部のうちの第１の表示部以外の表示部に出力する手順と、
与えられた変数に基づいて入力映像の再生速度を変換して、前記第１の表示部に出力する手順と、
ユーザの視線の位置を検出する視線検出部で検出された視線の位置の変化に基づいて前記ユーザの情報取得に対する余裕度を推定して、推定した余裕度を出力する手順と、
前記出力された余裕度の大きさに基づいて前記映像の再生速度を決定し、前記決定した再生速度に応じた変数を出力する手順とを備えたことを特徴とする
情報提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば複数の表示装置を利用して情報を提示するのに好適な情報提示装置及び情報提示方法に関する。
【背景技術】
【０００２】
従来、表示装置等で再生中の映像等から情報を効率よく取得しようとする場合、早回しでの再生等が行われる。早回しで再生することにより、単位時間内に取得可能な情報量を増やすことができるためである。ところが、早回しで再生した情報を視聴する場合には、ユーザ（視聴者）は必要な情報を取り逃すことも多い。
【０００３】
情報を取り逃してしまった場合には、再生位置を巻き戻す操作をすればよいが、取り逃しの度に操作を行う必要があり、手間がかかるという問題があった。また、このような操作は、かえって情報の取得効率を落としてしまうことになり兼ねない。
【０００４】
このため、再生する映像において、動きの多い場面では再生速度を落とし、動きの少ない場面では再生速度を上げるといったように、映像の特徴に応じて再生速度を自動的に調整することも行われている。
【０００５】
例えば特許文献１には、動画像と音声を含む映像の中の映像特徴を検出し、この映像特徴に応じ自動的に再生速度を調整しながら、映像を再生することについて開示されている。
【特許文献１】特開平１０−２４３３５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところが、特許文献１に記載の手法では、動きの多い場面であっても映像の再生速度を上げて再生したいユーザのニーズ等には、応えることができないという問題があった。つまり、ユーザが映像の再生速度を落としたり上げたりしたい場面は、ユーザのそれぞれが置かれた状態やユーザの能力、嗜好によって異なるものであり、映像中の特徴に基づく調整のみでは、ユーザの多様なニーズに合った情報提供を行うことはできないという問題があった。
【０００７】
ユーザの状態や能力や嗜好に合わせて情報提供の量を最適化するには、まずユーザの状態や能力を計測する必要があり、このようなデータの計測には、脳波計や心電図、ＮＩＲＳ（Near-Infrared Spectroscopy）等の大掛かりな装置を用いる必要がある。すなわちコストがかさんでしまうため、情報提示システムの実現が難しい場合が多かった。
【０００８】
このような装置を用いずに、ユーザの状態や能力、嗜好等の内部状態を取得するには、これらの情報をユーザに自己申告させるという手法も考えられる。しかし、キー入力などの煩雑な操作をユーザに行わせるとなると、ユーザにかかる負担は増大し、そのことがかえって、ユーザの効率的な情報取得の妨げとなってしまうことが予想される。
【０００９】
本発明はかかる点に鑑みてなされたものであり、容易な手法で、ユーザに提供する情報の量を適応的に調整することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、再生速度が所定の速度に設定された映像に所定量の遅延を加えて、複数の表示部のうちの第１の表示部以外の表示部に出力する遅延部と、与えられた変数に基づいて入力映像の再生速度を変換して、第１の表示部及び遅延部に出力する再生速度変換部とを備えた。また、ユーザの視線の位置を検出する視線検出部で検出された視線の位置の変化に基づいてユーザの情報取得に対する余裕度を推定して、推定した余裕度を出力する余裕度決定部と、余裕度決定部から出力された余裕度の大きさに基づいて映像の再生速度を決定し、決定した再生速度に応じた変数を再生速度変換部に出力する再生速度決定部とを備えた。
【００１１】
このようにしたことで、複数の表示部を視聴中のユーザの視線の動きに基づいて、再生される映像の速度が調整されるようになる。
【発明の効果】
【００１２】
本発明によると、複数の表示部を視聴中のユーザの視線の動きに基づいて、再生される映像の速度が調整されるため、ユーザに提供される情報の量が適応的に調整されるようになる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の第１の実施の形態を、添付図面を参照して説明する。本実施の形態におけるシステムの構成例を、図１に示してある。図１に示したシステムは、画像や映像等を例えば２倍速等の再生速度で再生する再生装置１と、再生映像を表示する表示装置２Ｌ，２Ｒと、ユーザＵの視線Ｌ１の位置をユーザＵの目の位置によって検出する視線検出装置３とで構成される。表示装置２Ｌと２Ｒは横一列に並べて配置してあり、視線検出装置３で、ユーザＵが表示装置２Ｌと２Ｒのどちらの画面を視聴しているかの情報を取得できるようにしてある。
【００１４】
表示装置２Ｌ，２Ｒには、後述する再生装置１内の蓄積部３０から読み出した同一の素材の映像が表示されるが、ユーザＵが視聴中の画面とユーザＵが見ていない画面とで、映像の再生位置を変えるようにしてある。ユーザＵが視聴していない画面、つまりユーザＵの視線Ｌ１が位置しない表示装置２Ｒには、ユーザＵが視聴中の画面に表示している映像よりＤ秒遅延させた映像を常に表示させるようにしてある。ユーザＵが視線Ｌ１を移動させた場合にも、この関係は保たれる。
【００１５】
ユーザＵが、今まで視聴していなかった側の表示装置２Ｒの画面に視線Ｌ１を移動させた場合は、その画面での再生位置は変化させないが、今まで見ていた表示装置２Ｌの画面に表示される映像に２Ｄ秒の遅延が加えられる。このような処理を行うことで、視線Ｌ１が移動した先の表示装置２Ｒの画面で表示される映像に対して、視線Ｌ１が移動する前の表示装置２Ｌの画面に表示される映像はＤ秒遅延したものとなる。つまり、ユーザＵが視聴していない側の画面に、ユーザＵが視聴中の映像よりＤ秒遅延された映像が常に表示されるようになる。ここでいうＤ秒とは、例えば３秒等の秒数であり、表示装置２の台数やユーザの情報取得能力や嗜好に応じて、任意の値に設定可能であるものとする。
【００１６】
このような構成において、ユーザＵがその時点で視聴中の画面から他の画面に視線Ｌ１を移動させるということは、視聴中の映像より過去（Ｄ秒遅れ）の映像を見たい場合であると想定される。過去の映像を見たい状況としては、視聴中の画面で情報を取り逃がした場合などが考えられ、つまり、ユーザＵの情報取得に余裕がない場合であると推定できる。反対に、ユーザＵが１つの画面を視聴し続けているということは、情報取得にまだ余裕があるものと考えられる。
【００１７】
本例では、ユーザＵにおける情報取得に対する余裕の度合いに応じて、映像の再生速度を変化させることにより、ユーザＵにとっての情報理解効率を向上させている。図２に、映像の再生速度とユーザＵにおける情報理解効率と、ユーザＵでの情報取得に対する余裕の度合いとの関係を模式的に示してある。図２では、縦軸にユーザの情報理解効率及び情報取得に対する余裕度を、横軸に映像の再生速度を示している。この例では、ユーザＵにおける情報取得の余裕の度合いを、「余裕度」として０．０〜１．０で表現してある。最も余裕度がない場合が０．０、最も余裕度がある場合が１．０である。
【００１８】
図２においては、再生速度が遅い段階ではユーザＵにおける情報理解効率が低く、再生速度がある速度となった時点で情報理解効率が最も高くなり、以降は再生速度と反比例するように情報理解効率が落ちていく様子が示されている。再生速度が遅いということは、表示装置に提示される情報の量が少ないということであり、この量がユーザＵの情報取得能力に対して少ない場合には、ユーザＵの情報理解効率は低くなる。
【００１９】
ユーザＵに提示される情報の量がユーザＵにとって適切な量であるときには、ユーザＵの情報理解効率は最大になる。
【００２０】
さらに、表示装置に提示される情報の量がユーザＵの情報取得能力に対して多すぎる場合には、ユーザＵによる情報の取り逃がし等が発生するため、情報理解の効率は低くなる。つまり、ユーザＵの情報理解効率が最大となる場合の再生速度が、ユーザＵにとっての最適な再生速度であるといえる。図３には、ユーザＵにとっての最適な再生速度を、一点鎖線で示してある。
【００２１】
また、図３にはユーザＵの情報取得に対する余裕度を実線で示してあり、再生速度がある一定の速度を超えない間は、余裕度は１．０であることが示されている。つまり、ユーザＵにおける情報取得に対する余裕度がもっとも高い状態が維持される。また、再生速度がある速度を超えた辺りから、ユーザＵの情報取得に対する余裕度が急激に落ちることが示されている。このように、提示する情報の再生速度と情報理解効率、及び、提示する情報の再生速度と余裕度の間にはそれぞれに相関関係が存在する。
【００２２】
このように、図２の例からユーザＵの情報取得に対する余裕度が最も高い状態のときに、ユーザＵでの情報理解効率が最も高くなるわけではないことが理解できる。ユーザＵにおいて情報の取得にもっとも余裕がある状態は、ユーザＵの情報取得能力に対して提示される情報の量がまだ少ない状態であるともいえるため、情報理解効率は最大にはならない。ユーザＵにおける余裕度が多少減少した状態、つまりユーザＵの情報取得能力の限界に限りなく近づいた状態において、情報の理解効率は最大となる。
【００２３】
上述した内容から、ユーザＵにとって最適な再生速度で映像が再生されたときに、ユーザＵの情報理解効率は最大となり、このときのユーザＵでの情報取得に対する余裕度の値を、０．５とする。
【００２４】
よって本例では、ユーザＵの視線の変化に基づいてユーザＵの余裕度を決定し、余裕度の値が所定の値より小さい場合には映像の再生速度を速くし、余裕度の値が所定の値より大きい場合には映像の再生速度を遅くするようにした。このような映像の再生速度の調整を行うことにより、余裕度の値は次第に０．５に近づくようになる。それと同時に、映像の再生速度を、ユーザＵの情報理解効率が最大となるときの再生速度に近づけることができるようになる。余裕度の算出方法や、算出した余裕度に基づいて再生速度の変換を行う方法については後述する。
【００２５】
視線検出装置３は、ユーザＵの視線Ｌ１の位置と視線Ｌ１の動きを検出し、検出した結果を視線情報として再生装置１に送出する。視線検出装置３はユーザＵの視線Ｌ１の位置を検出する装置であり、例えばユーザＵと対面する位置等、ユーザＵの視線Ｌ１を検出しやすい位置に配置してある。
【００２６】
なお、本例においては、視線検査装置３として据え置き型の装置を用いるようにしたが、ユーザＵに着用させるタイプの視線検出用の眼鏡を用いるようにしてもよい。もしくは、遠方に設置した監視カメラによってユーザＵの視線Ｌ１の位置を検出させるようにしてもよい。もしくは、ユーザＵが映像視聴時に座る椅子として回転型の椅子を用いるようにし、その椅子に、座面の角度を取得可能なセンサを埋め込むことによってユーザＵの体の向きを検出し、検出した体の向きを視線方向と推定するようにしてもよい。又は、リモートコントロール装置等を用いて、ユーザＵに見ている画面を申告してもらうことにより、視線の向き情報を取得するようにしてもよい。
【００２７】
表示装置２Ｌ，２Ｒ及び視線検出装置３は、ケーブル４によって再生装置１と接続してある。なお、本例では表示装置２を２台用いた場合に適用してあるが、台数はこれに限定されるものではない。
【００２８】
次に、システムの内部構成例について図３に示すブロック図を参照して説明する。再生装置１には、映像入力部１０と、符号化・復号処理部２０と、蓄積部３０と、余裕度決定部４０と、遅延量決定部５０と、再生速度・再生位置決定部６０と、再生速度変換部７０と、遅延部８０Ｌ，８０Ｒとが含まれる。図３において、蓄積部３０に記録される記録映像は破線で示してあり、表示装置２Ｌ，２Ｒ上に再生される再生映像は一点鎖線で、データは実線で示してある。
【００２９】
映像入力部１０は、入力端子等を介して再生装置１内に映像信号を取り込み、信号レベルの変換処理を行う。符号化・復号処理部２０は、映像入力部１０から入力された映像信号を符号化し、記録映像として蓄積部３０に出力する処理を行う。又、蓄積部３０に蓄積された圧縮映像データを、再生速度・再生位置決定部６０から出力された再生位置から読み出して復号し、再生速度変換部７０に出力する処理を行う。符号化のレートは、映像入力部１０から入力された映像のフレームレートと同一のレートを用いるものとし、復号は、再生速度・再生位置決定部６０から送信される再生速度Ｖｋ（単位：倍速）に基づいて行うようにしてある。そして再生速度変換部７０においては、現在の（その時点での）再生速度Ｖを、再生速度・再生位置決定部６０から出力された再生速度Ｖｋに変換する処理が行われる。蓄積部３０は、例えばＨＤＤ（Hard Disc Drive）で構成してあり、符号化・復号処理部２０で符号化された映像を蓄積する。
【００３０】
余裕度決定部４０は、視線検出装置３から入力されたユーザＵの視線Ｌ１の位置情報に基づいて、ユーザＵの情報取得に対する余裕度を推定し、推定した余裕度を遅延量決定部５０と再生速度・再生位置決定部６０に出力する。余裕度決定部４０においては、図２に示した例と同様に、ユーザＵにおける情報取得の余裕度を、推定値Ｓとして０．０〜１．０で表現するようにしてある。最も余裕度がない場合を０．０とし、最も余裕度がある場合を１．０としてある。余裕度Ｓの初期値として、本例では０．５を設定してあるが、余裕度Ｓの初期値は、０．０以上１．０以下の範囲内の任意の値に設定可能であるものとする。
【００３１】
この余裕度Ｓの値は、更新係数ｒによって随時更新されるようにしてあり、更新係数ｒは、視線検出装置３から出力される視線Ｌ１の位置と、視線Ｌ１の位置の履歴情報とに基づいて決定される。更新係数ｒとしては、余裕度Ｓを大きくするための更新係数ｒ３と、余裕度Ｓを小さくするための更新係数ｒ２と、余裕度Ｓを大幅に小さくするための更新係数ｒ１とを予め用意してある。
【００３２】
更新係数ｒ３は、例えば１．１等の１．０より大きい値としてあり、ユーザＵの視線Ｌ１の向きが変化していないと判断された場合に選択される。そして更新係数ｒ３が余裕度Ｓに乗算されることで、余裕度Ｓが大きくなる。つまり、ユーザＵの視線Ｌ１の向きが変化していない場合には、ユーザＵにおける情報取得に対する余裕度があると判断し、余裕度Ｓを大きくするようにしてある。更新係数ｒ２は、例えば０．９等の値としてあり、ユーザＵの視線Ｌ１の向きが変化ており、かつ過去ｎ秒以内には視線Ｌ１の向きの変化がなかった場合に選択される。そして更新係数ｒ２が余裕度Ｓに乗算されることで、余裕度Ｓが小さくなる。更新係数ｒ２の値としては、０．０以上１．０未満の値を設定するようにする。
【００３３】
更新係数ｒ１は、例えば０．８等の値としてあり、ユーザＵの視線Ｌ１の向きが変化しており、かつ過去ｎ秒以内にも視線Ｌ１の変化があった場合に選択される。そして更新係数ｒ１が余裕度Ｓに乗算されることで、余裕度Ｓがより小さな値となる。更新係数ｒ１は、０．０以上ｒ２以下の値とする。更新係数ｒ１〜ｒ３の値は、０．０＜＝ｒ１＜＝ｒ２＜＝１．０＜ｒ３の範囲内で設定するものとし、再生速度・再生位置決定部６０のルーチンが実施される周期の長さ等に基づいて、任意の値に設定可能であるものとする。
【００３４】
遅延量決定部５０は、余裕度決定部４０から出力された余裕度Ｓを基に、再生映像に付与する遅延量Ｄを算出する。遅延量決定部５０では、遅延量Ｄを決定するための係数として変数Ｄｍｉｎと変数Ｄｍａｘを有しており、これらの変数と、余裕度決定部４０から出力された余裕度Ｓに基づいて遅延量Ｄの算出を行う。本例では、変数Ｄｍｉｎとしては例えば０．１（秒）、変数Ｄｍａｘとしては１０（秒）の値を設定してあるが、これらの変数の値の大きさは、ユーザＵの能力や使用感に基づいて任意の値に設定可能であるものとする。
【００３５】
図４には、余裕度Ｓと遅延量Ｄとの関係を模式的に示してある。図４においては、横軸に余裕度Ｓをとってあり、縦軸に遅延量Ｄをとってある。そして、余裕度Ｓが０．０、つまりユーザＵにおける情報取得の余裕度がまったくない場合には、変数Ｄｍａｘが適用され、余裕度Ｓが１．０、つまりユーザＵにおける情報取得に余裕がかなりある場合には、変数Ｄｍｉｎが適用されることが示されている。また、余裕度Ｓが０．０から１．０の間の値である場合には、余裕度Ｓの大きさに応じた遅延量Ｄが選択されることが示されている。
【００３６】
また、遅延量決定部５０は、視線検出装置３から出力される視線情報に基づいて、表示装置２Ｌ上に表示される映像と表示装置２Ｒ上に表示される映像のどちらに遅延量Ｄを適用するかの決定も行う。具体的には、ユーザＵの視線Ｌ１が位置する方の表示装置２に出力する映像には遅延量０を設定し、ユーザＵの視線Ｌ１が位置しない方の表示装置２に出力する映像には、遅延量Ｄを設定する。視線検出装置３から出力された視線情報は、図示せぬメモリ等に蓄積してあるものとし、遅延量決定部５０は、視線情報の履歴情報も参照して遅延量Ｄを設定するようにしてある。
【００３７】
再び図３に戻って説明を続けると、再生速度・再生位置決定部６０は、視線検出装置３から出力された視線情報と、余裕度決定部４０から出力された余裕度Ｓに基づいて、各表示装置２に出力される映像の再生速度Ｖｋと映像の再生位置とを決定する。再生速度Ｖｋは、余裕度Ｓに基づいて算出される再生速度の変化率Ｐに、その時点の再生速度Ｖを乗算することにより算出する。
【００３８】
図５に、余裕度Ｓと再生速度変化率Ｐとの関係を示してある。図５においては、横軸に余裕度Ｓをとってあり、縦軸に再生速度変化率Ｐをとってある。再生速度変化率Ｐの最小値としては−Ｐｍｉｎが、最大値としてはＰｍａｘが設定されており、余裕度Ｓが０．０の時には−Ｐｍｉｎが選択され、余裕度Ｓが１．０の時にはＰｍａｘが選択されることが示されている。また、余裕度Ｓが０．５のときには、再生速度変化率Ｐとしては０が選択され、余裕度Ｓが０．１から１．０までのいずれかの値である場合には、余裕度Ｓの大きさに応じた再生速度変化率Ｐが選択されることが示されている。
【００３９】
Ｐｍｉｎとしては例えば−０．０５、Ｐｍａｘとしては０．０２の値を設定してある。ＰｍｉｎやＰｍａｘの値は、図５のルーチンが呼び出される例えば１秒間等の周期毎に、余裕度Ｓの変化に応じて再生速度Ｖｋが数％ずつ増減するような値に設定するものとし、これらの値の大きさも、ユーザＵの能力や使用感に基づいて任意の値に設定可能であるものとする。
【００４０】
余裕度Ｓの大きさに応じて選択された再生速度変化率Ｐに基づいて、再生速度Ｖｋが算出されることにより、余裕度Ｓが０．０に近い値となるにつれて、再生速度Ｖｋは−Ｐｍｉｎの割合で落ち、余裕度Ｓが１．０に近くなるにつれて再生速度ＶｋはＰｍａｘの割合で上がるようになる。また、余裕度Ｓが０．５のときには再生速度Ｖ＝Ｖｋとなる。つまり、再生速度は変化しない。再生速度・再生位置決定部６０は、このようにして求めた再生速度Ｖｋを、符号化・復号処理部２０と再生速度変換部７０に送信する。
【００４１】
また再生速度・再生位置決定部６０は、視線検出装置３から送信された視線位置に変化があった場合には、表示装置２Ｌと２Ｒに出力される映像の再生位置を、変数Ｖｋに遅延量Ｄを乗算することで得られるフレーム数分だけ、戻す処理も行う。そして、そのようにして求めた再生位置の情報を、符号化・復号処理部２０と再生速度変換部７０に出力する。
【００４２】
再生速度変換部７０は、映像処理部７１と音声処理部７２とで構成される。映像処理部７１は、符号化・復号処理部２０から出力された映像の再生速度Ｖが、再生速度・再生位置決定部６０から入力される再生速度Ｖｋになるように、再生速度を変換する処理を行う。そして再生速度が変換された映像を、遅延部８０Ｌと８０Ｒに供給する。音声処理部７２は、音声信号のうち無音の部分や音声的な特徴が連続した部分は削除する等の手法で、ピッチを変えることなく再生速度を変換する処理を行う。音声の再生速度変換の具体的な処理については、一例として特開２０００−９９０９７号公報に記載がある。再生速度変換部７０（映像処理部７１）の処理の詳細については後述する。
【００４３】
遅延部８０Ｌ，８０Ｒは、再生速度変換部７０から出力された映像に対して、遅延量決定部５０から出力された遅延量の分だけ遅延をかけて、それぞれに対応する表示装置２Ｌ又は２Ｒに出力する。遅延部８０Ｌは表示装置２Ｌに、遅延部８０Ｒは表示装置２Ｒに映像を出力するようにしてある。
【００４４】
次に、図６のフローチャートを参照して、余裕度決定部４０の処理の例について説明する。余裕度決定部４０は図６において、まず視線検出装置３から出力された視線情報と、メモリ等に蓄積された視線情報の履歴情報とを比較することにより、ユーザＵの視線Ｌ１が前回と比べて変化したか否かの判断を行う（ステップＳ１）。前回ルーチンを実行した際に記憶しておいた視線位置と、今回入力された視線Ｌ１の位置とが同じである場合には、視線向きは変化していないということになり、ステップＳ１では“Ｎｏ”が選択される。そして、余裕度Ｓを更新するための更新係数ｒに、変数ｒ３が代入される（ステップＳ２）。変数ｒ３を１．１と設定してある場合には、更新係数ｒは１．１に設定される。
【００４５】
そして、次のステップＳ３で、更新係数ｒと余裕度Ｓとを乗算して得られる値が、新たな余裕度Ｓとして設定される。その時点での余裕度Ｓが０．５であった場合には、ｒ×Ｓ＝１．１×０．５＝０．５５が新たな余裕度Ｓとなる。つまり、ユーザＵの視線Ｌ１に変化がない場合には、ユーザＵによる情報取得に余裕があると判断され、余裕度Ｓの値を大きくする処理が行われる。
【００４６】
次に、余裕度Ｓの値が１．０より大きいか否かの判断が行われ（ステップＳ４）、余裕度Ｓの値が１．０より大きい場合には余裕度Ｓを１．０とする処理が行われる（ステップＳ５）。本例では余裕度Ｓの上限値を１．０と設定しているため、計算の結果余裕度Ｓが１．０より大きくなってしまった場合には、ステップＳ５で値をクリッピングすることにより、余裕度を１．０以下に収めるようにしてある。余裕度Ｓが０．５５である場合には、ステップＳ４では“Ｎｏ”が選択されるため、処理は終了となる。
【００４７】
ステップＳ１で、視線Ｌ１の向きが変化したと判断された場合にはステップＳ６に進み、過去ｎ秒以内にも視線Ｌ１の向きが変化したか否かの判断が行われる。過去ｎ秒以内には視線Ｌ１の向きに変化がなかった場合には、ステップＳ７に進み、更新係数ｒに変数ｒ２が代入される。変数ｒ２を０．９と設定してある場合には、更新係数ｒは０．９に設定される。
【００４８】
そして、次のステップＳ３で、更新係数ｒと余裕度Ｓとを乗算して得られる値が、新たな余裕度Ｓとして設定される。その時点での余裕度Ｓが０．５であった場合には、ｒ×Ｓ＝０．９×０．５＝０．４５が新たな余裕度Ｓとなる。つまり、ユーザＵの視線Ｌ１に変化があった場合で、過去ｎ秒以内には視線Ｌ１に変化がなかった場合には、ユーザＵによる情報取得に多少余裕がなくなっていると判断され、余裕度Ｓの値を少し小さくする処理が行われる。余裕度Ｓが０．４５の場合には、ステップＳ４では“Ｎｏ”が選択され、処理が終了される。
【００４９】
ステップＳ１で視線Ｌ１の向きに変化があったと判断され、かつステップＳ６で過去ｎ秒以内にも視線Ｌ１の向きに変化があったと判断された場合には、ステップＳ８に進む。そして、更新係数ｒに変数ｒ１が代入される。変数ｒ１を０．８と設定してある場合には、更新係数ｒは０．８に設定される。
【００５０】
そして、次のステップＳ３で、更新係数ｒと余裕度Ｓとを乗算して得られる値が、新たな余裕度Ｓとして設定される。その時点での余裕度Ｓが０．５であった場合には、ｒ×Ｓ＝０．８×０．５＝０．４が新たな余裕度Ｓとなる。つまり、ユーザＵの視線Ｌ１に変化があった場合で、かつ過去ｎ秒以内にも視線Ｌ１に変化があった場合には、ユーザＵにおける情報取得に余裕が相当なくなってきていると判断され、余裕度Ｓの値を小さくする処理が行われる。余裕度Ｓが０．４の場合には、ステップＳ４では“Ｎｏ”が選択され、処理が終了される。
【００５１】
次に、図７のフローチャートを参照して、遅延量決定部５０の処理の例について説明する。図１０において遅延量決定部５０は、まず、余裕度Ｓ×（Ｄｍｉｎ−Ｄｍａｘ）＋Ｄｍａｘで求められる値を、遅延量Ｄとして設定する（ステップＳ１１）。その時点での余裕度Ｓが０．５であり、変数Ｄｍａｘが１０（秒）、変数Ｄｍｉｎは０．１（秒）に設定されている場合には、余裕度Ｓ×（Ｄｍｉｎ−Ｄｍａｘ）＋Ｄｍａｘ＝０．５×（０．１−１０）＋１０＝５．０５となるため、遅延量Ｄは５．０５となる。
【００５２】
そして次に、ユーザＵの視線Ｌ１の向きが左側を向いているか否かの判断がされる（ステップＳ１２）。ユーザＵの視線Ｌ１の向きが左側を向いていると判断された場合には、ユーザＵから見て左側に配置された表示装置２Ｌに出力される映像にかける遅延量ＤＬが、ゼロに設定され、ユーザＵから見て右側に配置された表示装置２Ｒに出力される映像にかける遅延量ＤＲに、遅延量Ｄが設定される。
【００５３】
ステップＳ１２で、ユーザＵの視線Ｌ１が左側にない、つまり右側にあると判断された場合にはステップＳ１４に進み、ユーザＵから見て左側に配置された表示装置２Ｌに出力される映像にかける遅延量ＤＬがゼロに設定され、ユーザＵから見て右側に配置された表示装置２Ｒに出力される映像にかける遅延量ＤＲには、遅延量Ｄが設定される。つまり遅延量決定部５０では、視線Ｌ１がある側の画面には遅延量がゼロの映像が表示され、視線Ｌ１がない側の画面には、遅延量Ｄの遅延がかけられた映像が表示されるように、遅延量を割り振る処理を行う。
【００５４】
次に図８のフローチャートを参照して、再生速度・再生位置決定部６０の処理の例について説明する。図８において再生速度・再生位置決定部６０は、まず余裕度Ｓが０．５より大きいか否かの判断を行う（ステップＳ２１）。余裕度Ｓが０．５より大きいと判断された場合には“Ｙｅｓ”が選択され、ステップＳ２２に進む。そしてステップＳ２２で、Ｐｍａｘ（Ｓ−０．５）／０．５の解が、再生速度変化率Ｐに設定される。
【００５５】
変数Ｐｍａｘは０．０２に設定してあり、その時点での余裕度Ｓが０．６であった場合には、再生速度変化率ＰはＰｍａｘ（Ｓ−０．５）／０．５＝０．０２×（０．６−０．５）／０．５＝０．００４となる。そして次のステップＳ２３で、１に再生速度変化率Ｐを足した値と、その時点での再生速度Ｖを乗算して得た値が、再生速度Ｖｋとして設定される。その時点での再生速度Ｖが１倍速であり、再生速度変化率Ｐが０．００４であった場合には、再生速度Ｖｋは１．００４に設定される。
【００５６】
そして、映像の再生位置をＶｋ×Δｔだけ進める処理が行われる（ステップＳ２４）。ここでいうΔｔとは、前回この処理（ルーチン）が呼び出されてから、今回の処理が行われるまでに経過した時間を指す。図８に示したルーチンは、視線検出装置３から情報を受け取る一定時間間隔毎に実行されるようにしてあり、視線検出装置３から情報を受け取る周期は、任意の値に設定可能であるものとする。
【００５７】
映像入力部１０（図１参照）から入力された映像のフレームレートが、３０ｆｐｓであり、Δｔが１秒であると想定すると、ステップＳ２４では、Ｖｋ×Δｔ＝１．００４×１×３０≒３０フレーム分だけ映像の再生位置が進められる。
【００５８】
そして次に、視線Ｌ１の方向が前回のルーチン実施時と比べて変化しているか否かの判断が行われ（ステップＳ２５）、視線Ｌ１の方向が変化していると判断された場合には、再生位置をＶｋ×Ｄだけ戻す処理が行われる（ステップＳ２６）。Ｖｋは１．００４（倍速）であり、遅延量Ｄは３（秒）であり、映像のフレームレートが３０（ｆｐｓ）である場合には、Ｖｋ×Ｄ＝１．００４×３×３０＝フレーム≒９０フレームとなり、ステップＳ２５で、再生位置を９０フレーム戻す処理が行われる。ステップＳ２６の処理は、表示装置２Ｌと２Ｒのどちらに出力される映像に対しても行われる。ステップＳ２５で、視線Ｌ１の方向は変化していないと判断された場合には、ここで処理が終了となる。
【００５９】
また、ステップＳ２１で、余裕度Ｓが０．５以下であると判断された場合には“Ｎｏ”が選択され、ステップＳ２７に進む。ステップＳ２７では、−Ｐｍｉｎ（Ｓ−０．５）／０．５で求められる値が、再生速度変化率Ｐに設定される。
【００６０】
変数Ｐｍｉｎは−０．０５に設定してあり、余裕度Ｓが０．４であった場合には、再生速度変化率Ｐは−Ｐｍｉｎ（０．５−Ｓ）／０．５＝−０．０５×（０．５−０．４）／０．５＝−０．０１となる。そして次のステップＳ２３で、１に再生速度変化率Ｐを足した値と、その時点での再生速度Ｖを乗算して得た値が、再生速度Ｖｋとして設定される。その時点での再生速度Ｖが１倍速であり、再生速度変化率Ｐが−０．０１であった場合には、再生速度Ｖｋは０．９９に設定される。
【００６１】
以降の処理は、上述した通りであり、再生速度Ｖｋが０．９９で、Δｔが１秒、遅延量Ｄが３秒である場合には、ステップＳ２４でＶｋ×Δｔ＝０．９９×１×３０≒２９フレーム分だけ映像の再生位置が進められる。次のステップＳ５で視線Ｌ１の方向が変化したと判断された場合には、Ｖｋ×Ｄ＝０．９９×３×３０＝フレーム≒８９フレームが、映像の再生位置から戻される。
【００６２】
つまり、再生速度・再生位置決定部６０では、余裕度Ｓが大きい場合には再生速度を速め、余裕度Ｓが小さい場合には再生速度を落とすための処理を行っている。ユーザＵにおいて情報の取り逃がしがあった場合などには、ユーザＵの視線Ｌ１が移動して過去の映像を確認しようとするため、余裕度Ｓは小さな値となり、ユーザＵ側で情報の取得に余裕がある場合などには、ユーザＵは１つの画面を見続けるため視線Ｌ１が動かず、余裕度Ｓは大きな値となる。よって、ユーザＵが頻繁に視線Ｌ１を動かした場合には、視線Ｌ１の移動回数に比例して映像の再生速度が遅くなり、ユーザＵが同一の画面を視聴し続けている場合には、映像の再生速度は徐々に速くなる。
【００６３】
なお、図８のステップＳ２４で行う、再生位置をΔｔ秒進める処理は、図８のルーチンが呼び出される時間間隔Δｔの間に進んだと想定される再生位置を、表示装置２Ｌ及び２Ｒに表示させる各映像の再生位置に反映させるための処理である。また、ステップＳ２６で、再生位置をＶｋ×Ｄ分だけ戻す処理は、視線が移動した先の画面に、視線を移動させる前に見ていた画面に表示されていた映像と時間的に連続する映像を表示させるための処理である。
【００６４】
次に、図９を参照して、再生速度変換部７０の処理例について説明する。図９（ａ）には、再生速度変換部７０に入力されるフレームを、時系列に左から順に並べた状態を示してあり、図９（ｂ）には、再生速度変換部７０から出力される各フレームを、同じく時系列に左から順に並べた状態を示してある。図９では、それぞれのフレームにｆ１〜ｆｎ（ｎは自然数）のフレーム番号を付与してある。
【００６５】
再生速度変換部７０に入力されるフレーム数は、再生速度Ｖｋ×ブロックサイズＢで求められる。ブロックサイズＢは、再生速度変換部７０のルーチンが実施される時間の間隔Ｔに、蓄積部３０に蓄積された映像のフレームレートｆｒを乗算することで算出される。例えば再生速度変換部７０のルーチンが実施される時間の間隔Ｔが１秒であり、蓄積部３０に蓄積された映像のフレームレートｆｒが３０ｆｐｓであった場合には、ブロックサイズＢは、１（Ｔ）×３０（Ｂ）＝３０（フレーム）となる。そして、再生速度Ｖｋが３であった場合には、再生速度変換部７０に入力されるフレーム数は、３０×３＝９０（フレーム）となる。
【００６６】
再生速度変換部７０に入力されるフレーム数とは、つまり符号化・復号処理部２０が蓄積部３０から抽出したフレーム数である。符号化・復号処理部２０は、再生速度・再生位置決定部６０から入力された再生速度Ｖｋと、蓄積部３０に記録された映像のフレームレートｆｒと、再生速度変換部７０のルーチンが実施される時間の間隔Ｔを基に、蓄積部３０から抽出するフレーム数を算出する。そして、算出したフレーム数分だけ蓄積部３０からフレームを抽出して再生速度変換部７０に出力する。
【００６７】
図９（ａ）には、再生速度変換部７０に９０フレームの映像が入力された例を示してある。再生速度変換部７０では、取得したフレームをブロックサイズＢ以内に収めるよう、一定のサンプリング間隔でフレームを間引くことによって、再生速度の変換を行う。たとえばブロックサイズＢが３０である場合には、取得した９０フレームを３フレーム単位で間引いて、３０フレームとする処理を行う。図９（ｂ）には、３０フレームに間引きされた後のフレームを示してあり、間引きされた３０フレームが、符号化・復号処理部２０から入力されたフレームの中の、フレーム番号ｆ１、ｆ４、ｆ７、ｆ１０…ｆ８８で構成されていることを示してある。図９に示した例においては、このような処理を行うことにより、再生速度を３倍としている。この手法は、複雑な構成を用いることなく実現可能であるため、この手法を用いることでハードウェアの規模を抑えることができるようになる。
【００６８】
なお、図９に示した例では、符号化・復号処理部２０から入力されたフレームを一定のサンプリング間隔で間引くことによって、再生速度の変換を行う場合を示したが、フレームレート自体を変換することにより再生速度を変換するようにしてもよい。例えば、図１０（ａ）に示した９０フレームのフレームレートを、３０ｆｐｓから９０ｆｐｓに変換することにより、図１０（ｂ）に示したように、９０ｆｐｓのフレームレートの映像を９０フレーム分出力するようにしてもよい。このように処理することで、入力されたフレームのすべてが出力されるようになるため、出力映像におけるちらつきが少なくなり、高品質の映像を得ることができる。
【００６９】
もしくは、符号化・復号処理部２０から入力されたフレームのうち、情報量の多いフレームのみを抽出して再生用のフレームとすることで、速度変換を行うようにしてもよい。この場合の処理例を図１１のフローチャートに示してある。図１１に示した処理は、１秒間隔で行われるものとする（つまり、Ｔ＝１）。まず、符号化・復号処理部２０によって、再生速度Ｖｋ×ブロックサイズＢ分のフレームが蓄積部３０から取得され（ステップＳ２１）、次にフレーム番号ｆｘ（ｘは１からｎの間の所定の数を示す）のフレームにおいて、注目画素とその隣接画素との画素値の差を算出した上で、隣接画素との画素値の差が閾値Ｔｈ以上になる画素の総数Ｓｉを算出する（ステップＳ２２）。つまり、符号化・復号処理部２０から入力されたすべてのフレームにおいて、上述した画素の総数Ｓｉが算出されるようになる。  
【００７０】
ステップＳ２１では、例えば再生速度Ｖｋが１．５、ブロックサイズが３０の場合には、１．５×４０＝４５フレームが取得される。よって、ステップＳ２２で処理されるフレーム番号は、ｆ１〜ｆ４５となる。ステップＳ２２で用いる閾値Ｔｈとしては、例えば５０等の数値を設定するものとする。
【００７１】
ステップＳ２２の処理は、ステップＳ２１で取得したすべてのフレームに対して行われるものであり、ステップＳ２３では、取得したすべてのフレームの処理が完了したか否かの判断を行う。すべてのフレームにおいて処理が完了したと判断された場合には、次に、隣接画素との画素値の差が閾値Ｔｈ以上になる画素の総数Ｓｉの大きいフレームをブロックサイズ分だけ抽出し、フレーム番号順に出力する処理を行う（ステップＳ２４）。
【００７２】
図１２に、このような処理を行った場合の例を示してある。図１２（ａ）には、再生速度変換部７０に入力された４５フレームを、フレーム番号の若い順に左から並べた状態を示してある。この４５フレームの中から、隣接画素との画素値の差が閾値Ｔｈ以上になる画素の総数であるＳｉが大きいフレームを、ブロックサイズである３０フレーム分だけ抽出し、フレーム番号順に並べた状態を、図１２（ｂ）に示してある。図１２（ｂ）には、再生速度変換部７０から出力される３０フレームが、フレーム番号ｆ２，ｆ３，ｆ５，ｆ７，ｆ９，ｆ１０…ｆ２５で構成されていることを示してある。
【００７３】
つまり、図１１及び図１２に示した方法によれば、情報量の多いフレームのみを抽出することにより、再生速度を早める（図１１、図１２の例では１．５倍）ことができる。またこのような処理によれば、入力フレームのうち、テロップ等の文字情報が多く含まれる可能性が高いフレームを残すことができるため、速度変換処理によって、ユーザが必要とする情報を削除してしまうようなことがなくなる。これにより、ユーザＵは効率的に情報を取得することができるようになる。
【００７４】
次に、図１３を参照して、ユーザＵが視線Ｌ１を移動させてから、各表示装置２に表示される映像の再生速度や再生位置が変わるまでの間に行われる処理を説明する。図１３には、ユーザＵが、それまで視聴していた表示装置２Ｌから、その右隣の表示装置２Ｒに視線Ｌ１を移動させた場合の例を示してある。なお、図１３では、説明を分かりやすくするために、各部での処理が行われる都度、表示装置２Ｌと２Ｒに表示される映像の再生位置が変化する例を示してあるが、実際は、最終的に算出された再生位置から読み出された映像のみが、両画面上に表示されるものとする。
【００７５】
図１３（ａ）は、ユーザＵの視線Ｌ１が変化する前の初期状態を示した図である。図１３（ａ）においては、図１に示した例と同様に、ユーザＵに対して左側に表示装置２Ｌを、右側に表示装置２Ｒを配置してあり、表示装置２Ｌ上に、ユーザＵの視線Ｌ１がある様子を示してある。図１３において括弧で示した数字は、映像中のフレーム番号を示すものである。ユーザＵの視線Ｌ１が位置する表示装置２Ｌ上では、５４０フレーム目の映像が表示されている。また、その右側の表示装置２Ｒ上には、３９０フレーム目の映像が表示されている様子が示されている。
【００７６】
映像のフレームレートが３０ｆｐｓであると想定すると、視線Ｌ１が位置していない表示装置２Ｒに表示されている映像は、視線Ｌ１が位置する表示装置２Ｌに表示される映像より（５４０−３９０）／３０＝５秒遅延されていることになる。
【００７７】
この状態で、ユーザＵの視線Ｌ１が表示装置２Ｒ上に移動した場合の例を、図１３（ｂ）に示してある。視線Ｌ１の位置が変化した場合は、その変化は余裕度決定部４０によって検知され、余裕度決定部４０でその時点のユーザＵにおける余裕度Ｓが算出される。図６のフローチャートに示した処理によると、視線Ｌ１の向きが変化したか否かを判断するステップＳ１では“Ｙｅｓ”が選択されるため、ステップＳ６に進む。ステップＳ６では、過去ｎ秒以内にも視線Ｌ１の向きに変化があったか否かが判断されるが、ここではなかったものと想定する。よって“Ｎｏ”が選択され、変数ｒ２が更新係数ｒに代入される（ステップＳ７）。変数ｒ２としては０．９が設定されているものと想定すると、変数ｒの値は０．９となる。
【００７８】
更新計数ｒの値が算出された後は、図６のステップＳ３の処理により、新たな余裕度Ｓが算出される。更新係数ｒは０．９であり、図１３（ａ）の時点での余裕度Ｓが０．５であったと想定すると、余裕度Ｓは＝ｒ×Ｓ＝０．９×０．５＝０．４５となる。このようにして求められた余裕度Ｓは遅延量決定部５０に出力され、遅延量決定部５０で、余裕度Ｓに基づいて新たな遅延量Ｄが算出される。
【００７９】
遅延量決定部５０の処理の例を示した図７のフローチャートによれば、ステップＳ１１で、余裕度Ｓ×（変数Ｄｍｉｎ−Ｄｍａｘ）＋Ｄｍａｘの計算式の解が、新たな遅延量Ｄとして設定される。Ｄｍｉｎは０．１、Ｄｍａｘは１０と設定してあるものとすると、ステップＳ１１では遅延量Ｄ＝０．４５×（０．１−１０）＋１０≒５．６となる。次のステップＳ１２では、視線Ｌ１の向きが左向きか否かの判断がされるが、図１３（ｂ）に示した状態ではユーザＵの視線Ｌ１は右側にあるので、“Ｎｏ”が選択され、ステップＳ１４に進む。そしてステップＳ１４の処理により、表示装置２Ｌに出力される映像にかけられる遅延量ＤＬとして、遅延量Ｄ（５．６秒）が設定され、表示装置２Ｒに出力される映像にかけられる遅延量ＤＲは、ゼロに設定される。
【００８０】
図１３（ｂ）には、このような処理が行われた後の状態を示してある。よって、ユーザＵの視線Ｌ１がある表示装置２Ｒ上には、遅延が加えられていない５４０フレーム目の映像が表示され、ユーザＵの視線Ｌ１がない表示装置２Ｌ上には、５４０−５．６（秒）×３０（ｆｐｓ）＝３７２フレーム目の映像が表示されている様子が示されている。
【００８１】
遅延量決定部５０で遅延量Ｄが求められた後は、次に再生速度・再生位置決定部６０によって、映像の再生速度Ｖｋや再生位置が算出される。再生速度・再生位置決定部６０の処理の例を示した図８のフローチャートによれば、再生速度・再生位置決定部６０ではまず、余裕度Ｓが０．５より大きいか否かの判断がされる（ステップＳ２１）。余裕度決定部４０で算出された余裕度は０．４５であるため、ここでは“Ｎｏ”が選択され、ステップＳ２２に進む。そしてステップＳ２２で、変数Ｐｍａｘと余裕度Ｓに基づいて再生速度変化率Ｐが算出される。
【００８２】
ステップＳ２２では、再生速度変化率Ｐは、−Ｐｍｉｎ（０．５−Ｓ）／０．５によって求めるようにしてあるため、−Ｐｍｉｎが−０．０５に設定してあると想定すると、再生速度変化率Ｐ＝−０．０５（０．５−０．４５）／０．５＝−０．０５となる。そして次のステップＳ２３で、１に再生速度変化率Ｐを足した値と、その時点での再生速度Ｖとを積算した値を、新たな再生速度Ｖｋとする処理が行われる。その時点での再生速度Ｖを１（倍速）と想定すると、再生速度Ｖｋ＝（１＋Ｐ）×Ｖ＝０．９９５×１＝０．９９５となる。
【００８３】
このようにして求めた再生速度Ｖｋを基に、ステップＳ２４では、映像の再生位置をＶｋ×Δｔ進める処理が行われる。再生速度・再生位置決定部６０の呼び出される周期であるΔｔが１秒であると想定すると、ステップＳ２４では、Ｖｋ×Δｔ＝０．９９５×１（秒）×３０（ｆｐｓ）≒２９フレーム分が、映像の再生位置に追加される。この処理が行われた後の様子を図１３（ｃ）に示してある。
【００８４】
図１３（ｃ）では、表示装置２Ｒ上には、図１３（ｂ）の段階で割り当てられた５４０フレーム＋２９フレーム＝５６９フレーム目の映像が割り当てられており、表示装置２Ｌ上には、図１３（ｂ）の段階で割り当てられた３７２フレーム＋２９フレーム＝４０１フレーム目の映像が割り当てられている。
【００８５】
この処理が行われた後に、図８のステップＳ２５において、ユーザＵの視線Ｌ１は変化したか否かの判断が行われる。ユーザＵの視線Ｌ１は、図１３（ａ）から図１３（ｂ）に進む段階で、左から右に移動しているため、ここでは“Ｙｅｓ”が選択され、ステップＳ２６に進む。
【００８６】
ステップＳ２６では、映像の再生位置を、Ｖｋ×Ｄ分だけ戻す処理が行われる。Ｖｋ×Ｄ＝０．９９５×５．６×３０（ｆｐｓ）≒１６７となるため、表示装置２Ｒには、図１３（ｃ）の段階で割り当てられた５６９フレーム−１６７フレーム＝４０２フレーム目の映像が割り振られ、表示装置２Ｌには、図１３（ｃ）の段階で割り当てられた４０１フレーム−１６７フレーム＝２３４フレーム目の映像が割り振られる。
【００８７】
このようにして算出された再生速度Ｖｋと、再生位置（図１３（ｄ）に示した再生位置）は、符号化・復号処理部２０と再生速度変換部７０（共に図３参照）に出力される。そして、符号化・復号処理部２０により、再生速度・再生位置決定部６０から入力された再生位置情報に基づいて蓄積部３０から映像が読み出される。読み出された映像は、再生速度変換部７０に出力されて、再生速度ＶがＶｋに変換された上で遅延部８０Ｌと８０Ｒに出力される。そして、遅延部８０Ｌと８０Ｒによって、遅延量決定部５０から出力された遅延量に基づく遅延がかけられた後に、表示部２Ｌ又は２Ｒに出力される。
【００８８】
図１３（ｄ）には、上述した処理が行われることにより、表示部２Ｌと２Ｒに表示される映像の再生位置が調整された状態を示してある。この状態からｎ秒以内に、ユーザＵの視線Ｌ１の方向がさらに変化した場合には、新たな余裕度Ｓと遅延量Ｄ、再生速度Ｖｋが算出され、それらの情報を基に、表示装置２Ｌと２Ｒに表示される映像の再生位置が変更されるようになる。この場合の例を図１４に示してある。
【００８９】
図１４（ａ）〜（ｄ）も、図１３（ａ）〜（ｄ）と同様に、各部で処理が行われる毎に算出される映像の再生位置を、各フェーズに合わせて段階的に表現した図である。図１４（ａ）は、図１３（ｄ）と同一状態を示す図であり、表示装置２Ｒ上に、ユーザＵの視線Ｌ１がある様子を示してある。そして、この時点では、図１３（ｄ）に示した状態から何も変化していないため、表示装置２Ｌに表示される映像には、遅延量Ｄ＝５．６秒遅延がかけられている。
【００９０】
この状態で、ユーザＵの視線Ｌ１が再び左側に移動し、表示装置２Ｌ側に移った場合の例を、図１４（ｂ）に示してある。ここで余裕度決定部４０によって、新たな余裕度Ｓが算出される。図６に示した処理によると、視線Ｌ１の向きが変化したか否かを判断するステップＳ１では“Ｙｅｓ”が選択されるため、ステップＳ６に進む。ステップＳ６では、過去ｎ秒以内にも視線Ｌ１の向きに変化があったため、“Ｙｅｓ”が判断される。このためステップＳ８に進み、変数ｒ１が更新係数ｒに代入される。変数ｒ２としては０．８が設定されているものと想定すると、変数ｒの値は０．８となる。
【００９１】
次に、ステップＳ３の処理により、新たな余裕度Ｓが算出される。更新係数ｒは０．８であり、図１３（ａ）の時点での余裕度Ｓは０．４５であるため、余裕度Ｓは＝ｒ×Ｓ＝０．８×０．４５＝０．３６となる。ここで求められた余裕度Ｓは、遅延量決定部５０に出力され、遅延量決定部５０で、余裕度Ｓに基づいて新たな遅延量Ｄが算出される。
【００９２】
遅延量決定部５０の処理の例を示した図７のフローチャートによれば、ステップＳ１１で、余裕度Ｓ×（変数Ｄｍｉｎ−Ｄｍａｘ）＋Ｄｍａｘの計算式の解が、新たな遅延量Ｄとして設定される。Ｄｍｉｎは０．１、Ｄｍａｘは１０と想定してあるため、遅延量Ｄ＝０．３６×（０．１−１０）＋１０≒６．５となる。次のステップＳ１２では、視線Ｌ１の向きが左向きか否かの判断がされるが、図１４（ｂ）に示した状態ではユーザＵの視線Ｌ１は左側にあるので、“Ｙｅｓ”が選択され、ステップＳ１３に進む。そしてステップＳ１３の処理により、表示装置２Ｌに出力される映像にかけられる遅延量ＤＬには、ゼロが設定されて、表示装置２Ｒに出力される映像にかけられる遅延量ＤＲには、遅延量Ｄ＝６．５秒が設定される。
【００９３】
図１４（ｂ）には、このような処理が行われた後の状態を示してある。よって、ユーザＵの視線Ｌ１がある表示装置２Ｌ上には、遅延が加えられていない４０２フレーム目の映像が表示され、ユーザＵの視線Ｌ１がない表示装置２Ｒ上には、４０２−６．５（秒）×３０（ｆｐｓ）＝２０７フレーム目の映像が表示されている様子が示されている。
【００９４】
遅延量決定部５０で遅延量Ｄが求められた後は、次に再生速度・再生位置決定部６０によって、映像の再生速度Ｖｋや再生位置が算出される。再生速度・再生位置決定部６０の処理の例を示した図８によれば、ステップＳ２１で、余裕度Ｓが０．５より大きいか否かの判断がされるが、この時点での余裕度は０．３６であるため、ここでも“Ｎｏ”が選択される。そして、ステップＳ２２に進み、−Ｐｍｉｎ（０．５−Ｓ）／０．５によって求める値が、新たな再生速度変化率Ｐとされる。
【００９５】
再生速度変化率Ｐ＝−０．０５（０．５−０．３６）／０．５＝−０．０１４となるため、次のステップＳ２３で求められる再生速度Ｖｋは、（１＋再生速度変化率Ｐ）×再生速度Ｖ＝０．９８６×０．９９５≒０．９８となる。
【００９６】
このようにして求めた再生速度Ｖｋを基に、ステップＳ２４では、映像の再生位置をＶｋ×Δｔ進める処理が行われる。よって、Ｖｋ×Δｔ＝０．９８×１（秒）×３０（ｆｐｓ）≒２９フレーム分が、映像の再生位置に追加される。この処理が行われた後の様子を図１４（ｃ）に示してある。
【００９７】
図１４（ｃ）では、表示装置２Ｌ上には、図１４（ｂ）の段階で割り当てられた４０２フレーム＋２９フレーム＝４３１フレーム目の映像が割り当てられており、表示装置２Ｒ上には、図１４（ｂ）の段階で割り当てられた２０７フレーム＋２９フレーム＝２３６フレーム目の映像が割り当てられている。
【００９８】
この処理が行われた後に行われる、図８のステップＳ２５においては、ユーザＵの視線Ｌ１は変化したか否かの判断が行われるが、ユーザＵの視線Ｌ１は、図１４（ａ）から図１４（ｂ）に進む段階で、右から左に移動している。よって、ここでは“Ｙｅｓ”が選択され、ステップＳ２６に進む。
【００９９】
ステップＳ２６では、Ｖｋ×Ｄ＝０．９８×６．５×３０（ｆｐｓ）≒１９１として算出されたフレームが、映像の再生位置から戻される処理が行われる。これにより、図１４（ｄ）に示したように、表示装置２Ｌには、図１４（ｃ）の段階で割り当てられた４３１フレーム−１９１フレーム＝２４０フレーム目の映像が割り振られ、表示装置２Ｒには、図１４（ｃ）の段階で割り当てられた２３６フレーム−１９１フレーム＝４５フレーム目の映像が割り振られる。
【０１００】
以上説明した本実施の形態の構成及び処理によると、ユーザＵの右側と左側に表示装置２を並べて配置し、ユーザＵの視線Ｌ１が位置しない表示装置２上には、ユーザＵの視線Ｌ１が位置する表示装置２に表示する映像よりも、所定の量だけ遅延させた映像を常に表示させるようにしたため、ユーザＵは、視聴中の画面で必要な情報を取り逃がしてしまった場合などにも、隣の画面に視線Ｌ１を移すことで再び情報を確認することができるようになる。
【０１０１】
また、ユーザＵの視線Ｌ１の方向に変化があった場合には、ユーザＵの余裕度を推定する値Ｓを小さくするようにしてあり、その値に基づいて、画面に表示する映像の再生速度Ｖを落とすようにしたため、単位時間内にユーザＵに提示されている情報の量が少なくなる。つまり、ユーザＵに提供される情報の量が、ユーザＵの情報取得能力に適したものに近づくようになる。
【０１０２】
また、ユーザＵの視線Ｌ１の方向の変化に基づく再生速度Ｖの調整が、ユーザＵの視線Ｌ１が右に動いた場合にも左に動いた場合にも行われる。このため、ユーザＵが視線Ｌ１を移動させた先で表示されている映像の再生速度が、ユーザＵにとってまだ速すぎるような場合であっても、ユーザＵは、視聴していない側の画面に視線Ｌ１を何度も移動させることで、再生速度Ｖをどんどん遅くさせることができる。
【０１０３】
また、ユーザＵの視線Ｌ１が１つの画面上に留まっている場合には、ユーザＵの余裕度を推定する値Ｓを大きくし、その値に基づいて映像の再生速度Ｖを徐々に上げるようにしてある。このため、ユーザＵの情報取得能力が高さに再生速度Ｖが追いついていない場合等には、再生速度Ｖが上がることにより、単位時間内でユーザＵに提示される情報の量が増え、ユーザＵに提供される情報の量が、ユーザＵの情報取得能力に適したものに近づくようになる。
【０１０４】
また、再生速度・再生位置決定部６０において、視線Ｌ１が変化した方向に応じて、映像の再生位置から、変数Ｖｋと遅延量Ｄとを掛け合わせて得られるフレーム数が減算されることにより、ユーザＵの視線Ｌ１がどのように変化しても、視線Ｌ１の変化の前と後で、表示される映像が不連続になってしまうことがなくなる。
【０１０５】
なお、上述した実施の形態では、ユーザＵの視線Ｌ１が一定の時間特定の画面上に留まっている場合には、ユーザＵの情報取得にまだ余裕があるものとみなして映像の再生速度を上げる構成としてあるが、ユーザＵの視線Ｌ１が一定の時間特定の画面上に留まっている場合には再生速度を変えない構成としてもよい。
【０１０６】
また、上述した実施の形態では、表示装置２を２台用いた場合を例に挙げたが、３台や４台や５台等の台数を用いるようにしてもよい。例えば表示装置２を横方向に３台用いた場合で、ユーザＵの視線Ｌ１が、一番右端に配置された表示装置２上にある場合には、視線Ｌ１のある表示装置２に隣接する真ん中の表示装置２には、Ｄ秒遅延を加えた映像を出力し、一番左端の表示装置２には、２Ｄ秒遅延を加えた映像を出力するようにすればよい。この状態で例えばユーザＵの視線Ｌ１が一番左端に配置された表示装置２に移動した場合には、真ん中の表示装置２にはＤ秒遅延させた映像を出力し、一番右に配置された表示装置２には２Ｄ秒遅延させた映像を出力するようにすればよい。
【０１０７】
また、表示装置２を３台以上用いる場合には、各表示装置２を環状に並べるようにしてもよい。
【０１０８】
また、上述した実施の形態では、表示装置２を複数台用いた構成を例に挙げて説明したが、一台の表示装置２の画面を複数の表示領域に分割し、分割した各領域に対して映像を出力するようにしてもよい。
【図面の簡単な説明】
【０１０９】
【図１】本発明の一実施の形態によるシステムの構成例を示す説明図である。
【図２】本発明の一実施の形態による再生速度と情報理解効率との関係の例を示す説明図である。
【図３】本発明の一実施の形態によるシステムの内部構成例を示すブロック図である。
【図４】本発明の一実施の形態による遅延量と余裕度との関係の例を示す説明図である。
【図５】本発明の一実施の形態による再生速度変化率と余裕度との関係の例を示す説明図である。
【図６】本発明の一実施の形態による余裕度決定部の処理例を示すフローチャートである。
【図７】本発明の一実施の形態による遅延量決定部の処理例を示すフローチャートである。
【図８】本発明の一実施の形態による再生速度・再生位置決定部の処理例を示すフローチャートである。
【図９】本発明の一実施の形態による再生速度変換部の処理例を示す説明図であり、（ａ）は入力フレームを示し、（ｂ）は出力フレームを示す。
【図１０】本発明の一実施の形態による再生速度変換部の別の処理例を示す説明図であり、（ａ）は入力フレームを示し、（ｂ）は出力フレームを示す。
【図１１】本発明の一実施の形態による情報の多いフレームを残す場合の処理例を示すフローチャートである。
【図１２】本発明の一実施の形態による再生速度変換部の別の処理例を示す説明図であり、（ａ）は入力フレームを示し、（ｂ）は出力フレームを示す。
【図１３】本発明の一実施の形態による映像の再生位置の変遷の例を示す説明図である。
【図１４】本発明の一実施の形態による映像の再生位置の変遷の例を示す説明図である。
【符号の説明】
【０１１０】
１…再生装置、２Ｌ、２Ｒ…表示装置、３…視線検出装置、１０…映像入力部、２０…符号化・復号処理部、３０…蓄積部、４０…余裕度決定部、５０…遅延量決定部、６０…再生速度・再生位置決定部、７０…再生速度変換部、８０Ｌ、８０Ｒ…遅延部
【図１】
2009117988.tif 000003
【図２】
2009117988.tif 000004
【図３】
2009117988.tif 000005
【図４】
2009117988.tif 000006
【図５】
2009117988.tif 000007
【図６】
2009117988.tif 000008
【図７】
2009117988.tif 000009
【図８】
2009117988.tif 000010
【図９】
2009117988.tif 000011
【図１０】
2009117988.tif 000012
【図１１】
2009117988.tif 000013
【図１２】
2009117988.tif 000014
【図１３】
2009117988.tif 000015
【図１４】
2009117988.tif 000016