(57)【要約】【課題】  ユーザの視線方向に応じた画質で動画像を表示させることができる画像表示装置を提供する。【解決手段】  表示領域内に動画像を表示するディスプレイ１１１と、ユーザの視線方向を検出する視線方向検出部１１６と、視線方向に基づいて、動画像を注視しているか否かを判別する注視判別部１１７と、視線方向の移動方向を判別する視線移動判別部１１８と、移動方向が表示領域外から表示領域へ向かう方向であるか否かを判別する移動方向判別部１１９と、注視判別部１１７の判別結果に基づいて、動画像を注視している場合に表示対象を高負荷動画像にする一方、動画像を注視していない場合に表示対象を低負荷動画像にするとともに、動画像を注視していない場合であっても、視線方向が表示領域へ向かって移動した場合には、表示対象を低負荷動画像から高負荷動画像に切り替える表示画像切替部１２０により構成される。【選択図】  図２
2012095229.tif 000002
【特許請求の範囲】
【請求項１】
表示領域内に動画像を表示する表示手段と、
ユーザの視線方向を検出する視線方向検出手段と、
上記視線方向に基づいて、上記動画像を注視しているか否かを判別する注視判別手段と、
上記視線方向の移動方向を判別する視線移動判別手段と、
上記移動方向が上記表示領域外から上記表示領域へ向かう方向であるか否かを判別する移動方向判別手段と、
上記注視判別手段の判別結果に基づいて、上記動画像を注視している場合に表示対象を高負荷動画像にする一方、上記動画像を注視していない場合に表示対象を低負荷動画像にするとともに、上記動画像を注視していない場合であっても、上記視線方向が上記表示領域へ向かって移動した場合には、表示対象を上記低負荷動画像から上記高負荷動画像に切り替える表示画像切替手段とを備えたことを特徴とする画像表示装置。
【請求項２】
上記注視判別手段は、上記視線方向が上記表示領域内を向いているか否かに基づいて、上記動画像の注視を判別することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
上記視線方向に基づいて、上記動画像を周辺視しているか否かを判別する周辺視判別手段を備え、
上記表示画像切替手段は、上記動画像を周辺視している状態で上記視線方向が上記表示領域へ向かって移動した場合に、表示対象を上記高負荷動画像へ切り替え、上記動画像を周辺視していない状態では、上記視線方向が上記表示領域へ向かって移動しても、表示対象を切り替えないことを特徴とする請求項１又は２に記載の画像表示装置。
【請求項４】
ユーザの目の位置を検出する目位置検出手段と、
上記目の位置に基づいて、上記ユーザが表示画面の３Ｄ視野角内にいるか否かを判別する視野角判別手段とを備え、
上記表示手段は、３Ｄ動画像及び２Ｄ動画像のいずれかを上記表示領域内に表示し、
上記表示画像切替手段は、上記ユーザが上記３Ｄ視野角内にいる状態で上記視線方向が上記表示領域へ向かって移動した場合に、表示対象を上記２Ｄ動画像から上記３Ｄ動画像に切り替え、上記ユーザが上記３Ｄ視野角外にいる状態では、上記視線方向が上記表示領域へ向かって移動しても、表示対象を切り替えないことを特徴とする請求項１又は２に記載の画像表示装置。
【請求項５】
通信ネットワーク上のストリーミングサーバーから一連の画像フレームからなる動画像データを順次に取得する動画像データ取得手段を備え、
上記表示手段は、上記動画像データに基づいて上記動画像を表示し、
上記表示画像切替手段は、上記ストリーミングサーバーに対し、上記動画像を注視している場合に高負荷動画像データを要求する一方、上記動画像を注視していない場合に低負荷動画像データを要求するとともに、上記動画像を注視していない場合であっても、上記視線方向が上記表示領域へ向かって移動した場合には、上記高負荷動画像データへの切り替えを要求することを特徴とする請求項１から４のいずれかに記載の画像表示装置。
【請求項６】
被写体を撮影して一連の画像フレームからなる動画像データを生成するカメラから上記動画像データを順次に取得する動画像データ取得手段を備え、
上記表示手段は、上記動画像データに基づいて上記動画像を表示し、
上記表示画像切替手段は、上記カメラに対し、上記動画像を注視している場合に高負荷動画像データを要求する一方、上記動画像を注視していない場合に低負荷動画像データを要求するとともに、上記動画像を注視していない場合であっても、上記視線方向が上記表示領域へ向かって移動した場合には、上記高負荷動画像データへの切り替えを要求することを特徴とする請求項１から４のいずれかに記載の画像表示装置。
【請求項７】
２以上の監視カメラのそれぞれから一連の画像フレームからなる動画像データを取得する動画像データ取得手段を備え、
上記表示手段は、２以上の上記表示領域を有し、対応する上記監視カメラの上記動画像データに基づいて、上記動画像をそれぞれ表示し、
上記表示画像切替手段は、上記動画像が注視されている上記監視カメラに対して高負荷動画像データを要求する一方、上記動画像が注視されていない上記監視カメラに対して低負荷動画像データを要求するとともに、上記動画像が注視されていない場合であっても、上記視線方向が上記表示領域へ向かって移動した上記監視カメラに対し、上記高負荷動画像データへの切り替えを要求することを特徴とする請求項１から４のいずれかに記載の画像表示装置。
【請求項８】
それぞれが一連の画像フレームからなる２以上の動画像データを保持する動画像データ記憶手段と、
上記動画像データをデコードするデコード手段とを備え、
上記表示手段は、２以上の上記表示領域を有し、デコードされた上記動画像データに基づいて、上記動画像をそれぞれ表示し、
上記表示画像切替手段は、上記デコード手段に対し、上記動画像が注視されている上記表示領域について高負荷動画像データを要求する一方、上記動画像が注視されていない上記表示領域について低負荷動画像データを要求するとともに、上記動画像が注視されていない場合であっても、上記視線方向が上記表示領域へ向かって移動した場合には、当該表示領域に表示させる上記動画像データについて、上記高負荷動画像データへの切り替えを要求することを特徴とする請求項１から４のいずれかに記載の画像表示装置。
【請求項９】
画像表示装置用のコンピュータプログラムであって、
表示領域内に動画像を表示する表示手順と、
ユーザの視線方向を検出する視線方向検出手順と、
上記視線方向に基づいて、上記動画像を注視しているか否かを判別する注視判別手順と、
上記視線方向の移動方向を判別する視線移動判別手順と、
上記移動方向が上記表示領域外から上記表示領域へ向かう方向であるか否かを判別する移動方向判別手順と、
上記注視の判別結果に基づいて、上記動画像を注視している場合に表示対象を高負荷動画像にする一方、上記動画像を注視していない場合に表示対象を低負荷動画像にするとともに、上記動画像を注視していない場合であっても、上記視線方向が上記表示領域へ向かって移動した場合には、表示対象を上記低負荷動画像から上記高負荷動画像に切り替える表示画像切替手順とからなることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置及び画像表示装置用のコンピュータプログラムに係り、さらに詳しくは、所定の表示領域内に動画像を表示する画像表示装置の改良に関する。
【背景技術】
【０００２】
近年、動画再生の技術として、インターネットなどの通信ネットワーク上のサーバーから動画パケットを順次に受信しながら、動画パケットからなるストリーム画像を表示するストリーミングが知られている。最近では、この様なストリーミング機能を備えた携帯電話機も提案されている。通常、ストリーム画像は、携帯端末の状態に関わらず、一定のビットレートで転送され、ストリーミング中は、サーバー及び携帯端末間で通信資源が占有される。
【０００３】
そこで、ユーザの視線方向を検知し、ユーザが注視している画像領域に比べて、その周辺領域の解像度を低下させることにより、サーバーから転送させる動画像のデータ量を小さくする技術が提案されている（例えば、特許文献１〜３）。この技術を携帯端末に適用すれば、ストリーミング中のデータ伝送量が抑制されるので、携帯端末における処理負荷が低減され、ストリーミング時の消費電力を抑制することができる。
【０００４】
しかし、視線方向の注視領域の周辺の画像領域を低解像度化する場合、視線方向の変化に十分に追従させるのは容易ではなかった。特に、視線方向が移動した場合、新たな注視領域について解像度を上げることをストリーミングサーバーに指示する必要があるが、注視領域の解像度が実際に上がるまでにタイムラグが生じてしまうという問題があった。なお、特許文献４には、目の瞬きを利用して眼球の位置を特定することにより、画面上の注視点を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１−１４１４７９号公報
【特許文献２】特開平７−４４１１０号公報
【特許文献３】特開２００４−５６３３５号公報
【特許文献４】特開平１０−１５４２２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記事情に鑑みてなされたものであり、ユーザの視線方向に応じて動画像を表示させることができる画像表示装置を提供することを目的としている。特に、視線方向が表示領域外から表示領域内に移動した場合に、動画像が低負荷動画像から高負荷動画像に切り替えられるまでのタイムラグを抑制することができる画像表示装置を提供することを目的としている。
【０００７】
また、本発明は、視線方向の移動に追従させて動画像の画質を切り替えることができるとともに、動画像を全く見ていないときに誤って低負荷動画像から高負荷動画像に切り替えられるのを抑制することができる画像表示装置を提供することを目的としている。さらに、ユーザの視線方向の移動に追従させて、ストリーミングサーバーから取得した動画像を表示させることができる画像表示装置を提供することを目的としている。
【０００８】
また、本発明は、その様な画像表示装置としてコンピュータを機能させるためのコンピュータプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
第１の本発明による画像表示装置は、表示領域内に動画像を表示する表示手段と、ユーザの視線方向を検出する視線方向検出手段と、上記視線方向に基づいて、上記動画像を注視しているか否かを判別する注視判別手段と、上記視線方向の移動方向を判別する視線移動判別手段と、上記移動方向が上記表示領域外から上記表示領域へ向かう方向であるか否かを判別する移動方向判別手段と、上記注視判別手段の判別結果に基づいて、上記動画像を注視している場合に表示対象を高負荷動画像にする一方、上記動画像を注視していない場合に表示対象を低負荷動画像にするとともに、上記動画像を注視していない場合であっても、上記視線方向が上記表示領域へ向かって移動した場合には、表示対象を上記低負荷動画像から上記高負荷動画像に切り替える表示画像切替手段とを備えて構成される。
【００１０】
この画像表示装置では、ユーザの視線方向を検出して動画像を注視しているか否かを判別し、視線方向の移動方向が表示領域外から表示領域へ向かう方向であるか否かが判別される。そして、視線方向が表示領域へ向かって移動した場合に、表示対象を低負荷動画像から高負荷動画像に切り替えている。このため、視線方向が表示領域外から表示領域内に移動した場合に、動画像が低負荷動画像から高負荷動画像に切り替えられるまでのタイムラグを抑制することができる。特に、視線方向が表示領域に到達する前に、高負荷動画像への切り替えを実行させることも可能になる。従って、ユーザの視線方向に応じて適切な動画像を表示させることができる。
【００１１】
第２の本発明による画像表示装置は、上記構成に加え、上記注視判別手段が、上記視線方向が上記表示領域内を向いているか否かに基づいて、上記動画像の注視を判別するように構成される。この様な構成によれば、視線方向が表示領域内を向いているか否かに応じて、高負荷動画像及び低負荷動画像を切り替えることができる。
【００１２】
第３の本発明による画像表示装置は、上記構成に加え、上記視線方向に基づいて、上記動画像を周辺視しているか否かを判別する周辺視判別手段を備え、上記表示画像切替手段が、上記動画像を周辺視している状態で上記視線方向が上記表示領域へ向かって移動した場合に、表示対象を上記高負荷動画像へ切り替え、上記動画像を周辺視していない状態では、上記視線方向が上記表示領域へ向かって移動しても、表示対象を切り替えないように構成される。
【００１３】
この画像表示装置では、動画像を周辺視していなければ、視線方向が表示領域へ向かって移動しても、表示対象を切り替えない。このため、動画像を全く見ていないにもかかわらず、表示対象が低負荷動画像から高負荷動画像に切り替えられることを抑制することができる。従って、視線方向の移動に追従させて動画像の画質を切り替えることができるとともに、動画像を全く見ていないときに誤って高負荷動画像に切り替えられることを抑制することができる。
【００１４】
第４の本発明による画像表示装置は、上記構成に加え、ユーザの目の位置を検出する目位置検出手段と、上記目の位置に基づいて、上記ユーザが表示画面の３Ｄ視野角内にいるか否かを判別する視野角判別手段とを備え、上記表示手段が、３Ｄ動画像及び２Ｄ動画像のいずれかを上記表示領域内に表示し、上記表示画像切替手段が、上記ユーザが上記３Ｄ視野角内にいる状態で上記視線方向が上記表示領域へ向かって移動した場合に、表示対象を上記２Ｄ動画像から上記３Ｄ動画像に切り替え、上記ユーザが上記３Ｄ視野角外にいる状態では、上記視線方向が上記表示領域へ向かって移動しても、表示対象を切り替えないように構成される。
【００１５】
この画像表示装置では、ユーザが表示画面の３Ｄ視野角内にいなければ、視線方向が表示領域へ向かって移動しても、表示対象を切り替えない。このため、ユーザが３Ｄ動画像を正しく視認できない位置にいるにもかかわらず、表示対象が２Ｄ動画像から３Ｄ動画像に切り替えられることを抑制することができる。従って、視線方向の移動に追従させて動画像を切り替えることができるとともに、３Ｄ動画像を正しく視認できないときに誤って２Ｄ動画像から３Ｄ動画像に切り替えられるのを抑制することができる。
【００１６】
第５の本発明による画像表示装置は、上記構成に加え、通信ネットワーク上のストリーミングサーバーから一連の画像フレームからなる動画像データを順次に取得する動画像データ取得手段を備え、上記表示手段が、上記動画像データに基づいて上記動画像を表示し、上記表示画像切替手段は、上記ストリーミングサーバーに対し、上記動画像を注視している場合に高負荷動画像データを要求する一方、上記動画像を注視していない場合に低負荷動画像データを要求するとともに、上記動画像を注視していない場合であっても、上記視線方向が上記表示領域へ向かって移動した場合には、上記高負荷動画像データへの切り替えを要求するように構成される。
【００１７】
この様な構成によれば、ストリーミングサーバーに対し、視線方向が表示領域に到達するよりも前に、高負荷動画像への切り替えが指示されるので、ストリーミングサーバーから取得した動画像であっても、ユーザの視線方向の移動に追従させて表示させることができる。
【００１８】
第６の本発明による画像表示装置は、上記構成に加え、被写体を撮影して一連の画像フレームからなる動画像データを生成するカメラから上記動画像データを順次に取得する動画像データ取得手段を備え、上記表示手段が、上記動画像データに基づいて上記動画像を表示し、上記表示画像切替手段が、上記カメラに対し、上記動画像を注視している場合に高負荷動画像データを要求する一方、上記動画像を注視していない場合に低負荷動画像データを要求するとともに、上記動画像を注視していない場合であっても、上記視線方向が上記表示領域へ向かって移動した場合には、上記高負荷動画像データへの切り替えを要求するように構成される。
【００１９】
この様な構成によれば、カメラに対し、視線方向が表示領域に到達するよりも前に、高負荷動画像への切り替えが指示されるので、ユーザの視線方向の移動に追従させてカメラの動画像を表示させることができる。
【００２０】
第７の本発明による画像表示装置は、上記構成に加え、２以上の監視カメラのそれぞれから一連の画像フレームからなる動画像データを取得する動画像データ取得手段を備え、上記表示手段が、２以上の上記表示領域を有し、対応する上記監視カメラの上記動画像データに基づいて、上記動画像をそれぞれ表示し、上記表示画像切替手段が、上記動画像が注視されている上記監視カメラに対して高負荷動画像データを要求する一方、上記動画像が注視されていない上記監視カメラに対して低負荷動画像データを要求するとともに、上記動画像を注視していない場合であっても、上記視線方向が上記表示領域へ向かって移動した上記監視カメラに対し、上記高負荷動画像データへの切り替えを要求するように構成される。
【００２１】
この画像表示装置では、視線方向が表示領域へ向かって移動した場合に、当該表示領域に動画像データを表示させている監視カメラに対し、視線方向が表示領域に到達するよりも前に、高負荷動画像への切り替えが指示される。このため、ユーザの視線方向の移動に追従させて監視カメラの動画像を表示させることができる。
【００２２】
第８の本発明による画像表示装置は、上記構成に加え、それぞれが一連の画像フレームからなる２以上の動画像データを保持する動画像データ記憶手段と、上記動画像データをデコードするデコード手段とを備え、上記表示手段が、２以上の上記表示領域を有し、デコードされた上記動画像データに基づいて、上記動画像をそれぞれ表示し、上記表示画像切替手段が、上記デコード手段に対し、上記動画像が注視されている上記表示領域について高負荷動画像データを要求する一方、上記動画像が注視されていない上記表示領域について低負荷動画像データを要求するとともに、上記動画像を注視していない場合であっても、上記視線方向が上記表示領域へ向かって移動した場合には、当該表示領域に表示させる上記動画像データついて、上記高負荷動画像データへの切り替えを要求するように構成される。
【００２３】
この画像表示装置では、視線方向が表示領域へ向かって移動した場合に、当該表示領域に表示させる動画像データについて、高負荷動画像データへの切り替えがデコード手段に指示される。このため、ユーザの視線方向に応じて適切な動画像を表示させつつ、ユーザの視線方向の移動に追従させて動画像を表示させることができる。
【００２４】
第９の本発明による画像表示装置用のコンピュータプログラムは、表示領域内に動画像を表示する表示手順と、ユーザの視線方向を検出する視線方向検出手順と、上記視線方向に基づいて、上記動画像を注視しているか否かを判別する注視判別手順と、上記視線方向の移動方向を判別する視線移動判別手順と、上記移動方向が上記表示領域外から上記表示領域へ向かう方向であるか否かを判別する移動方向判別手順と、上記注視の判別結果に基づいて、上記動画像を注視している場合に表示対象を高負荷動画像にする一方、上記動画像を注視していない場合に表示対象を低負荷動画像にするとともに、上記動画像を注視していない場合であっても、上記視線方向が上記表示領域へ向かって移動した場合には、表示対象を上記低負荷動画像から上記高負荷動画像に切り替える表示画像切替手順とからなる。
【発明の効果】
【００２５】
本発明による画像表示装置では、視線方向が表示領域へ向かって移動した場合に、表示対象を高負荷動画像に切り替えるので、視線方向が表示領域外から表示領域内に移動した場合に、動画像が低負荷動画像から高負荷動画像に切り替えられるまでのタイムラグを抑制することができる。従って、ユーザの視線方向に応じて動画像を表示させることができる。
【００２６】
また、本発明による画像表示装置では、視線方向の移動に追従させて動画像を切り替えることができるとともに、動画像を全く見ていないときに誤って低負荷動画像から高負荷動画像に切り替えられることを抑制することができる。さらに、ストリーミングサーバーに対し、視線方向が表示領域に到達するよりも前に、高負荷動画像への切り替えが指示されるので、ストリーミングサーバーから取得した動画像であっても、ユーザの視線方向の移動に追従させて表示させることができる。
【００２７】
また、上述した画像表示装置としてコンピュータを機能させるためのコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施の形態１による画像表示装置を含む動画ストリーミングシステム１の一構成例を示したシステム図である。
【図２】図１の携帯電話機１１の構成例を示したブロック図であり、携帯電話機１１内の機能構成の一例が示されている。
【図３】人の視力の特性を示した図であり、黄斑部中心窩近傍でピークとなり、中心窩から離れると急激に低下する視力の特性曲線が示されている。
【図４】ユーザの目の位置及び視線方向と携帯電話機１１との位置関係を模式的に示した説明図である。
【図５】図２の携帯電話機１１において用いられる座標と視線方向との関係を示した図である。
【図６】図２の携帯電話機１１において動画像の注視を判別するための注視判定領域４の一例を示した図である。
【図７】図２の携帯電話機１１におけるストリーミング時の動作の一例を模式的に示した説明図であり、視線方向に基づくストリーム画像の画質切替の様子が示されている。
【図８】図２の携帯電話機１１におけるストリーミング時の動作の一例を示したフローチャートである。
【図９】本発明の実施の形態２による画像表示装置の一構成例を示したブロック図であり、携帯電話機１１内の機能構成の一例が示されている。
【図１０】図９の携帯電話機１１において動画像の周辺視を判別するための周辺視判定領域５の一例を示した図である。
【図１１】図９の携帯電話機１１におけるストリーミング時の動作の一例を模式的に示した説明図である。
【図１２】図９の携帯電話機１１におけるストリーミング時の動作の一例を示したフローチャートである。
【図１３】本発明の実施の形態３による画像表示装置の一構成例を示したブロック図であり、携帯電話機１１内の機能構成の一例が示されている。
【図１４】本発明の実施の形態４による画像表示装置１０２を含む監視システム１０１の一構成例を示したシステム図である。
【図１５】図１４の画像表示装置１０２におけるコントローラ１０３の構成例を示したブロック図である。
【図１６】本発明の実施の形態５による画像表示装置の一構成例を示した斜視図であり、画像表示装置の一例として２画面端末２０１が示されている。
【図１７】図１６の２画面端末２０１の構成例を示したブロック図であり、２画面端末２０１内の機能構成の一例が示されている。
【図１８】本発明の実施の形態６による画像表示装置の一構成例を示したブロック図であり、携帯電話機１１内の機能構成の一例が示されている。
【図１９】図１８の携帯電話機１１におけるディスプレイ１１１の３Ｄ視野角Ｂとユーザの目の位置との関係を示した図である。
【発明を実施するための形態】
【００２９】
実施の形態１．
＜動画ストリーミングシステム＞
図１は、本発明の実施の形態１による画像表示装置を含む動画ストリーミングシステム１の一構成例を示したシステム図であり、画像表示装置の一例として携帯電話機１１が示されている。この動画ストリーミングシステム１は、携帯電話機１１、基地局１２、通信ネットワーク１３及びストリーミングサーバー１４からなる動画再生システムであり、動画像データがストリーミングサーバー１４から携帯電話機１１に転送され、画面表示される。
【００３０】
携帯電話機１１は、携帯可能な通信端末であり、上下方向に長い薄型の端末筐体の前面には、操作部１１０、ディスプレイ１１１及びカメラ１１２が配置されている。ディスプレイ１１１は、矩形形状の表示画面を有する表示装置であり、所定の表示領域内に動画像を表示する。カメラ１１２は、ユーザの視線方向を検出するために、端末操作者自身を被写体として撮影する撮像装置であり、端末操作者の顔又は上半身を撮影した被写体画像データが生成される。このカメラ１１２は、ディスプレイ１１１の前方の被写体を撮影するために、魚眼レンズが搭載されている。
【００３１】
基地局１２は、移動体通信網を介して携帯電話機１１と通信する移動体基地局であり、インターネットなどの通信ネットワーク１３に接続されている。ストリーミングサーバー１４は、通信ネットワーク１３を介してストリーム画像を提供する動画像提供装置である。
【００３２】
ストリーム画像は、一連の画像フレーム１５ａからなる動画像データとして、動画像記憶部１５内に予め保持され、通信ネットワーク１３及び基地局１２を介して携帯電話機１１に転送される。動画像記憶部１５には、転送用にデータ圧縮されたストリーム画像が保持される。この様なストリーム画像としては、撮像装置を用いて撮影されたライブ映像であっても良いし、コンピュータグラフィックスにより作成されたＣＧ映像であっても良い。また、ストリーム画像は、所定の動画パケットに分割して順次に転送される。
【００３３】
この動画ストリーミングシステム１では、被写体画像データに基づいて、ユーザの視線方向が検出され、その検出結果に基づいて、表示中のストリーム画像を注視しているか否かを判別してストリーム画像の画質が調整される。画質の調整は、例えば、ストリーミングサーバー１４がストリーム画像を転送用にデータ圧縮する際の圧縮率を制御することにより行われ、高解像度動画像と、高解像度動画像よりも画質の低い低解像度動画像との間で画質が切り替えられる。
【００３４】
画質を切り替える際の具体例としては、輝度周波数、色周波数、動き補完の精度、画素補完の精度、フレームレート、色数、量子化ビット数又は画素数を高解像度動画像及び低解像度動画像間で異ならせる。また、フレーム間補完、画質補正、フレームレートの高速化などの画像処理の有無を高解像度動画像及び低解像度動画像間で異ならせても良い。
【００３５】
＜携帯電話機＞
図２は、図１の携帯電話機１１の構成例を示したブロック図であり、携帯電話機１１内の機能構成の一例が示されている。この携帯電話機１１は、ディスプレイ１１１、カメラ１１２、セルラー通信部１１３、動画像データ取得部１１４、デコード部１１５、視線方向検出部１１６、注視判別部１１７、視線移動判別部１１８、移動方向判別部１１９及び表示画像切替部１２０により構成される。
【００３６】
セルラー通信部１１３は、アンテナ１１３ａを介して基地局１２と通信し、移動体通信網に接続された他の通信装置との間で音声信号などを送受信する。動画像データ取得部１１４は、移動体通信網を介して通信ネットワーク１３上のストリーミングサーバー１４からストリーム画像を取得し、デコード部１１５へ出力する。
【００３７】
デコード部１１５は、ストリーム画像を表示用にデータ伸張する復号処理部であり、データ伸張後のストリーム画像は、ディスプレイ１１１へ出力される。ストリーム画像は、動画パケットとして順次に取得され、デコードされて画面表示される。
【００３８】
視線方向検出部１１６は、カメラ１１２からの被写体画像データに基づいて、ユーザの視線方向を検出し、その検出結果を注視判別部１１７へ出力する。被写体画像データに基づく視線方向の検出方法としては、従来から知られている種々の方法を用いることができる。例えば、顔認識処理により操作者の顔の位置及び向きを判別し、さらに、眼球上の瞳の位置を判別することにより、操作者の視線方向が検出される。
【００３９】
注視判別部１１７は、視線方向検出部１１６により検出された視線方向に基づいて、ユーザが表示中のストリーム画像を注視しているか否かを判別する。一般に、視野は、視線方向に形成される視力の高い注視領域と、注視領域を取り囲むように形成され、注視領域よりも視力の低い周辺視領域からなる。
【００４０】
ストリーム画像の注視の判別は、視線方向が表示領域内を向いているか否かに基づいて行われる。すなわち、視線方向の注視領域の一部又は全部がストリーム画像の表示領域に含まれていれば、ストリーム画像を注視していると判断される。一方、注視領域が表示領域から離間している場合には、ストリーム画像を注視していないと判断される。
【００４１】
表示画像切替部１２０は、注視判別部１１７の判別結果に基づいて、ユーザの視線方向に応じた画質に表示対象のストリーム画像を切り替えるために、ストリーミングサーバー１４に対して画質の切替要求を行う。具体的には、ストリーム画像を注視している場合に、表示対象を低解像度動画像から高解像度動画像に切り替えるために、高解像度動画像データが要求される。一方、ストリーム画像を注視していない場合には、表示対象を高解像度動画像から低解像度動画像に切り替えるために、低解像度動画像データが要求される。
【００４２】
視線移動判別部１１８は、視線方向の移動方向を判別し、その判別結果を移動方向判別部１１９へ出力する。移動方向の判別は、例えば、ある時刻に検出された視線方向の注視点と、当該時刻から微小時間が経過した後の視線方向の注視点とを求めることにより行われる。
【００４３】
移動方向判別部１１９は、視線方向の移動方向がストリーム画像の表示領域外から表示領域へ向かう方向であるか否かを判別する。具体的には、注視点とストリーム画像の表示領域との距離を微小時間の経過前後で比較するとともに、微小時間の経過前後の注視点を結ぶ直線が表示領域と交差するか否かを判別することにより、表示領域へ向かう方向であるか否かが判別される。
【００４４】
表示画像切替部１２０では、視線方向の移動に十分に追従させてストリーム画像の画質を切り替えるために、ストリーム画像を注視していない場合であっても、視線方向がストリーム画像の表示領域外から表示領域へ向かって移動した場合には、ストリーミングサーバー１４に対し、高解像度動画像データへの切り替えが要求される。
【００４５】
＜視力の特性＞
図３は、人の視力の特性を示した図であり、黄斑部中心窩近傍でピークとなり、中心窩から離れると急激に低下する視力の特性曲線が示されている。人の視力は、網膜上の黄斑部中心窩（位置ａ）近傍で最大（最大値ｂ）となり、中心窩から耳側又は鼻側に離れると、急激に減少する。
【００４６】
つまり、表示面のある点を凝視している場合、その注視点を含む視線方向の狭小領域内のみ十分な視力が得られ、狭小領域外では、たとえ視野内であっても、極端に視力が低下する。本明細書では、上記狭小領域を注視領域と呼び、視野内における注視領域外の領域を周辺視領域と呼んでいる。通常、注視領域は、視線方向を中心として、±５°程度の領域からなる。周辺視領域では、漠然とした視力しかなく、物の動きや明るさの変化は認識できるが、物の形状や色は識別できない。
【００４７】
＜ユーザの目の位置と視線方向＞
図４は、ユーザの目の位置及び視線方向と携帯電話機１１との位置関係を模式的に示した説明図である。ユーザの目の位置Ｅ（ＥＸ，ＥＹ，ＥＺ）と、視線方向を示す方向ベクトルρとは、携帯電話機１１のディスプレイ１１１を基準とするＸＹＺ座標系を用いて表すことができる。
【００４８】
具体的には、ディスプレイ１１１の表示画面の中心を原点とし、表示画面に垂直にＸ軸、表示画面に対して左右方向にＹ軸、上下方向にＺ軸をそれぞれ配置した座標系を用いて表すことができる。
【００４９】
＜座標と視線方向との関係＞
図５は、図２の携帯電話機１１において用いられる座標と視線方向との関係を示した図である。図中の（ａ）には、ディスプレイ１１１の表示領域２に基づいて設定されたＸＹＺの各座標軸からなる座標系が示されている。表示領域２は、表示画面内の矩形領域であり、ストリーム画像が表示領域２内に表示される。座標系は、表示領域２の中心を原点とし、表示領域２に垂直にＸ軸が配置されている。
【００５０】
また、表示領域２の左右方向をＹ軸とし、上下方向をＺ軸としている。また、表示領域２は、そのＹ軸方向の長さがＳＹであり、Ｚ軸方向の長さがＳＺである。この様な座標系を用いて、目の位置Ｅ（ＥＸ，ＥＹ，ＥＺ）が表される。
【００５１】
図中の（ｂ）には、視線方向を示す方向ベクトルρと各座標軸との位置関係が示されている。方向ベクトルρ＝（α，β，γ）は、長さが１の単位ベクトルであり、ＸＹ平面上の正射影がＸ軸となす角をθ１とし、ＸＹ平面に垂直な垂直面内で正射影となす角をθ２とすれば、α，β，γは次式（１）により表される。
【数１】
2012095229.tif 000003
【００５２】
被写体画像に基づいて、角度θ１，θ２を判別すれば、上式（１）を用いて方向ベクトルρの各成分を求めることができる。
【００５３】
＜表示領域と注視判定領域＞
図６は、図２の携帯電話機１１において動画像の注視を判別するための注視判定領域４の一例を示した図である。ストリーム画像を注視しているか否かの判別は、視線方向の注視点が注視判定領域４内に存在するか、或いは、注視判定領域４外に存在するかを判別することにより行われる。
【００５４】
注視点は、視線がＹＺ平面と交差する点であり、注視点が注視判定領域４内に存在するか、或いは、注視判定領域４外に存在するかに応じて、適切なストリーム画像の画質が選択される。本実施の形態では、処理を簡素化するために、表示領域２の頂点３を通る円の内部をストリーム画像の注視判定領域４とする。つまり、注視点が表示領域２内であるか、或いは、表示領域２外であるかが、注視点が注視判定領域４内であるか、或いは、注視判定領域４外であるかにより簡易的に判定される。
【００５５】
注視判定領域４は、その外縁を示す境界線が矩形形状の表示領域２に外接する領域であり、上記境界線は、ＹＺ平面の原点を中心とし、表示領域２の対角線を直径とする円である。
【００５６】
具体的に説明すれば、目の位置Ｅ（ＥＸ，ＥＹ，ＥＺ）及び方向ベクトルρ＝（α，β，γ）を用いて、注視点のＹＺ平面における位置は、（ＥＹ−ＥＸ×β／α，ＥＺ−ＥＸ×γ／α）により表される。
【００５７】
従って、注視点が注視判定領域４内に存在するか、或いは、注視判定領域４外に存在するかは、次式（２）に基づいて判別することができる。
【数２】
2012095229.tif 000004
【００５８】
すなわち、上式（２）を満たせば、注視点は注視判定領域４内に存在することから、ストリーム画像を注視していると判断して高解像度動画像が選択される。一方、上式（２）を満たさない場合には、注視点は注視判定領域４外に存在することから、ストリーム画像を注視していないと判断して低解像度動画像が選択される。ただし、視線方向が注視判定領域４外から注視判定領域４へ向かって移動した場合には、低解像度動画像から高解像度動画像に動作モードが切り替えられる。
【００５９】
視線方向が注視判定領域４外から注視判定領域４へ向かって移動したか否かの判別は、注視点と注視判定領域４との距離を微小時間の経過前後で比較した比較結果と、微小時間の経過前後の注視点を結ぶ直線が注視判定領域４と交差するか否かの判別結果とに基づいて行われる。
【００６０】
一般に、注視点が注視判定領域４に近づいている場合であっても、視線方向がそのまま注視判定領域４内に移動するとは限らない。注視点が注視判定領域４に近づき、かつ、注視点の移動方向が注視判定領域４内へ向かう方向である場合に、動作モードが高解像度動画像に切り替えられる。
【００６１】
ここでは、目の位置ＥのＸ成分ＥＸが十分に大きく、目の位置の変化が注視点の移動に及ぼす影響は、視線方向の変化が注視点の移動に及ぼす影響に比べて十分に小さいものとして、目の位置の変化を無視する。
【００６２】
従って、ある時刻における方向ベクトルρ＝（α，β，γ）に対し、微小時間が経過した時点での方向ベクトルを（α＋ｄα，β＋ｄβ，γ＋ｄγ）とすれば、微小時間の経過後の注視点は、（ＥＹ−ＥＸ×（β＋ｄβ）／（α＋ｄα），ＥＺ−ＥＸ×（γ＋ｄγ）／（α＋ｄα））により表される。
【００６３】
注視点が注視判定領域４に近づいたか否かは、注視点と注視判定領域４の中心との距離を微小時間の経過前後で比較した次式（３）に基づいて判別することができる。
【数３】
2012095229.tif 000005
【００６４】
すなわち、上式（３）を満たせば、注視点は、注視判定領域４に近づいたと判断することができる。一方、上式（３）を満たさない場合には、注視点は注視判定領域４に近づいていないと判断することができる。
【００６５】
注視点の移動方向が注視判定領域４内へ向かう方向であるか否かは、微小時間の経過前後の注視点を結ぶ直線を求め、この直線と注視判定領域４の中心との距離を注視判定領域４の半径と比較することにより判別することができる。
【００６６】
微小時間の経過前後の注視点を結ぶ直線は、次式（４）により表すことができる。
【数４】
2012095229.tif 000006
【００６７】
ｄαがαに比べて十分に小さいものとして、上式（４）を整理してまとめれば、次式（５）が得られる。
【数５】
2012095229.tif 000007
【００６８】
上式（５）の直線と注視判定領域４の中心（原点）との距離が、注視判定領域４の半径（ＳＹ２／４＋ＳＺ２／４）１／２以下であれば、注視点の移動方向は、注視判定領域４内へ向かう方向である。ここでは、ストリーム画像を注視しているか否か、及び、視線方向が表示領域２へ向かって移動したか否かについて、円形状の注視判定領域４を用いて簡易的に判別する場合の例について説明したが、矩形形状の表示領域２を直接に用いて判別する場合も、注視判定領域４を用いる場合と同様にして行うことができる。
【００６９】
＜表示画像の切り替え＞
図７は、図２の携帯電話機１１におけるストリーミング時の動作の一例を模式的に示した説明図であり、視線方向に基づくストリーム画像の画質切替が示されている。図中の（ａ）には、ユーザの目がＸ軸上にある場合のディスプレイ１１１が示されている。図中の（ｂ）には、目の位置Ｅ（ＥＸ，ＥＹ，ＥＺ）を含むＸＺ平面に関し、視線方向と視線方向の移動方向とに基づいて、ディスプレイ１１１に表示中のストリーム画像の画質を高解像度動画像及び低解像度動画像間で切り替える様子が示されている。
【００７０】
ユーザの視線方向がディスプレイ１１１内を向いている場合、すなわち、方向ベクトルρ＝（α，β，γ）が高負荷領域Ａ１内にあれば、ユーザはストリーム画像を注視していると判断され、表示対象として高解像度動画像が選択される。高負荷領域Ａ１の境界は、ディスプレイ１１１の外縁に対応する。
【００７１】
一方、視線方向がディスプレイ１１１外を向いている場合、すなわち、方向ベクトルρ＝（α，β，γ）が低負荷領域Ａ２内にあれば、ユーザはストリーム画像を注視していないと判断され、表示対象として低解像度動画像が選択される。低負荷領域Ａ２は、高負荷領域Ａ１に隣接して形成される。
【００７２】
低解像度動画像が選択されている場合、視線方向がディスプレイ１１１へ向かって移動することが検知されれば、ストリーム画像がいずれ注視されると判断し、表示対象が低解像度動画像から高解像度動画像に切り替えられる。ただし、高解像度動画像への切り替え後、一定時間内に視線方向が高負荷領域Ａ１内に移動しなければ、動作モードは低負荷動画像に復帰する。
【００７３】
なお、方向ベクトルρのＸ成分αが０以上である場合（非表示領域Ａ３）には、ユーザは端末側を向いていないと判断し、ストリーム画像の表示処理を中断させる非表示モードが選択される。非表示領域Ａ３は、その境界がＸ成分α＝０に対応する。
【００７４】
図８のステップＳ１０１〜Ｓ１１１は、図２の携帯電話機１１におけるストリーミング時の動作の一例を示したフローチャートである。まず、視線方向検出部１１６は、カメラ１１２により撮影された被写体画像データに基づいて、ユーザの視線方向を検出する（ステップＳ１０１）。このとき、視線方向の角度から方向ベクトルρのＸ成分αを求め、そのＸ成分αに基づいて、ユーザが端末側を見ていないと判断すれば、非表示モードが選択される（ステップＳ１０２，Ｓ１１１）。
【００７５】
次に、注視判別部１１７は、検出された視線方向に基づいて、注視点を算出し（ステップＳ１０３）、ユーザが表示中のストリーム画像を注視しているか否かを判別する（ステップＳ１０４）。
【００７６】
このとき、表示画像切替部１２０は、注視判別部１１７による判別結果に基づいて、ユーザの視線方向の応じた画質に表示対象を切り替えるために、ストリーミングサーバー１４に対して画質の切替要求を行う。すなわち、ストリーム画像が注視されていれば、高解像度動画像を表示対象とする高負荷動画像モードが選択され、ストリーム画像が注視されていなければ、低解像度動画像を表示対象とする低負荷動画像モードが選択される。
【００７７】
低負荷動画像モードが選択された場合、視線移動判別部１１８は、視線の移動方向を判別し（ステップＳ１０５）、移動方向判別部１１９は、視線の移動方向の判別結果に基づいて、微小時間の経過により注視点が注視判定領域４に近づいたか否かを判別する（ステップＳ１０６）。このとき、注視点が注視判定領域４に近づいていなければ、低負荷動画像モードがそのまま維持される（ステップＳ１１０）。
【００７８】
一方、注視点が注視判定領域４に近づいていれば、さらに、微小時間の経過前後の注視点を結ぶ直線が注視判定領域４と交差するか否かに基づいて、視線方向が注視判定領域４へ向かって移動したか否かが判別される（ステップＳ１０７）。このとき、視線方向が注視判定領域４へ向かって移動していなければ、低負荷動画像モードがそのまま維持される（ステップＳ１１０）。
【００７９】
一方、視線方向が注視判定領域４へ向かって移動していれば、表示画像切替部１２０は、ストリーミングサーバー１４に対し、低負荷動画像モードから高負荷動画像モードへの切り替えを要求する（ステップＳ１０８）。
【００８０】
つまり、高負荷動画像モード時に、注視判定領域４外への視線方向の移動が検知されれば、低負荷動画像モードへの切り替えが要求される。また、低負荷動画像モード時に、注視判定領域４内への視線方向の移動が検知されれば、高負荷動画像モードへの切り替えが要求される。一方、低負荷動画像モード時に、非表示領域Ａ３内への視線方向の移動が検知されれば、動作モードが非表示モードに切り替えられる。
【００８１】
また、非表示モード時に、非表示領域Ａ３外への視線方向の移動が検知されれば、動作モードが低負荷動画像モードに切り替えられる。ステップＳ１０１からステップＳ１０８までの処理手順は、ストリーミングを終了するまで繰り返される（ステップＳ１０９）。
【００８２】
本実施の形態によれば、視線方向が表示領域２へ向かって移動した場合に、表示対象を高解像度動画像に切り替えているので、視線方向が表示領域２外から表示領域２内に移動した場合に、ストリーム画像が低解像度動画像から高解像度動画像に切り替えられるまでのタイムラグを抑制することができる。特に、ストリーミングサーバー１４に対し、視線方向が表示領域２に到達するよりも前に、高解像度動画像への切り替えが指示されるので、ストリーミングサーバー１４から取得したストリーム画像であっても、ユーザの視線方向の移動に十分に追従させて表示させることができる。
【００８３】
実施の形態２．
実施の形態１では、視線方向が表示領域２へ向かって移動すれば、ストリーム画像を高解像度動画像へ切り替える場合の例について説明した。これに対し、本実施の形態では、ストリーム画像を周辺視しているか否かを判別し、周辺視している状態で視線方向が表示領域２へ向かって移動すれば、高解像度動画像へ切り替えるが、周辺視していない状態では、視線方向が表示領域２へ向かって移動しても、高解像度動画像へ切り替えない場合について説明する。
【００８４】
図９は、本発明の実施の形態２による画像表示装置の一構成例を示したブロック図であり、携帯電話機１１内の機能構成の一例が示されている。この携帯電話機１１は、図２の携帯電話機１１と比較すれば、周辺視判別部１２１を備えている点で異なる。
【００８５】
周辺視判別部１２１は、ストリーム画像を全く見ていないときに誤って低解像度動画像から高解像度動画像に切り替えられることを防ぐために、視線方向検出部１１６により検出された視線方向に基づいて、ユーザが表示中のストリーム画像を周辺視しているか否かを判別する。
【００８６】
ストリーム画像の周辺視の判別は、視線方向が所定の周辺視判定領域内を向いているか否かに基づいて行われる。すなわち、視線方向の注視領域の一部又は全部が周辺視判定領域に含まれていれば、ストリーム画像を周辺視していると判断される。一方、注視領域が周辺視判定領域から離間している場合には、ストリーム画像を周辺視していないと判断される。
【００８７】
表示画像切替部１２０では、ストリーム画像を周辺視している状態で、視線方向が表示領域へ向かって移動した場合に、表示対象を低負荷動画像から高負荷動画像に切り替える。一方、ストリーム画像を周辺視していない状態では、視線方向が表示領域へ向かって移動しても、表示対象を切り替えない。
【００８８】
＜周辺視判定領域＞
図１０は、図９の携帯電話機１１において動画像の周辺視を判別するための周辺視判定領域５の一例を示した図である。ストリーム画像を周辺視しているか否かの判別は、視線方向の注視点が周辺視判定領域５内に存在するか、或いは、周辺視判定領域５外に存在するかを判別することにより行われる。
【００８９】
周辺視判定領域５は、注視判定領域４の外縁を示す境界線（円）を内縁とし、当該境界線よりも半径が大きく、境界線と同心の円を外縁とする円環状の領域である。注視点が周辺視判定領域５内に存在すれば、ストリーム画像を周辺視していると判断され、注視点が周辺視判定領域５外に存在すれば、ストリーム画像を周辺視していないと判断される。
【００９０】
図１１は、図９の携帯電話機１１におけるストリーミング時の動作の一例を模式的に示した説明図である。周辺視判定領域５は、低負荷領域Ａ２内において、高負荷領域Ａ１に隣接して形成される。
【００９１】
視線方向を示す方向ベクトルρが周辺視判定領域５内にある場合、視線方向が高負荷領域Ａ１へ向かって移動することが検知されれば、表示対象が高解像度動画像へ切り替えられる。これに対し、方向ベクトルρが低負荷領域Ａ２内であっても、周辺視判定領域５内でない場合には、視線方向が高負荷領域Ａ１へ向かって移動することが検知されても、表示対象を切り替えない。
【００９２】
図１２のステップＳ２０１〜Ｓ２１２は、図９の携帯電話機１１におけるストリーミング時の動作の一例を示したフローチャートである。ステップＳ２０１からステップＳ２０７までの処理手順は、図８のステップＳ１０１からステップＳ１０７までの処理手順と同様である。
【００９３】
ステップＳ２０７において、視線方向が注視判定領域４へ向かって移動していなければ、低負荷動画像モードがそのまま維持される（ステップＳ２１１）。一方、視線方向が注視判定領域４へ向かって移動している場合、周辺視判別部１２１は、検出された視線方向に基づいて、ユーザが表示中のストリーム画像を周辺視しているか否かを判別する（ステップＳ２０８）。
【００９４】
このとき、表示画像切替部１２０は、ストリーム画像が周辺視されていれば、ストリーミングサーバー１４に対し、低負荷動画像モードから高負荷動画像モードへの切り替えを要求する（ステップＳ２０９）。一方、ストリーム画像が周辺視されていなければ、低負荷動画像モードがそのまま維持される（ステップＳ２１１）。ステップＳ２０１からステップＳ２０９までの処理手順は、ストリーミングを終了するまで繰り返される（ステップＳ２１０）。
【００９５】
本実施の形態によれば、ストリーム画像を周辺視していなければ、視線方向が表示領域２へ向かって移動しても、表示対象を切り替えないので、ストリーム画像を全く見ていないにもかかわらず、表示対象が低解像度動画像から高解像度動画像に切り替えられることを防止することができる。
【００９６】
実施の形態３．
実施の形態１では、通信ネットワーク１３上のストリーミングサーバー１４からストリーム画像を取得して表示する際に、ユーザの視線方向を検知してストリーム画像の画質を切り替える場合の例について説明した。これに対し、本実施の形態では、カメラから動画像データを取得して表示させる際に、ユーザの視線方向を検知して動画像データの画質を切り替える場合について説明する。
【００９７】
図１３は、本発明の実施の形態３による画像表示装置の一構成例を示したブロック図であり、携帯電話機１１内の機能構成の一例が示されている。この携帯電話機１１は、図２の携帯電話機１１と比較すれば、カメラ１３１を備えている点で異なる。
【００９８】
カメラ１３１は、被写体を撮影して被写体画像を生成する撮像装置である。静止画撮影の待機時や動画撮影時には、一連の画像フレームからなる動画像データが生成される。このカメラ１３１では、動画像データの画質を調整することができる。
【００９９】
動画像データ取得部１１４は、カメラ１３１から動画像データを順次に取得し、ディスプレイ１１１へ出力する。ディスプレイ１１１は、カメラ１３１により撮影された被写体画像をファインダー表示する表示装置であり、動画像データ取得部１１４が取得した動画像データに基づいて、動画像を表示領域内に表示する。
【０１００】
表示画像切替部１２０は、カメラ１３１に対し、動画像を注視している場合、高解像度動画像データを要求する。一方、動画像を注視していない場合には、低解像度動画像データが要求される。そして、動画像を注視していない場合であっても、視線方向が表示領域へ向かって移動した場合には、高解像度動画像データへの切り替えが要求される。
【０１０１】
本実施の形態によれば、カメラ１３１に対し、視線方向が表示領域２に到達するよりも前に、高解像度動画像への切り替えが指示されるので、ユーザの視線方向の移動に十分に追従させてカメラ１３１の動画像を表示させることができる。
【０１０２】
なお、カメラ１３１が、被写体にピントを自動的に合わせるオートフォーカス機能や被写体を照明する照明機能を有する場合、撮影待機時に、カメラ１３１の動画像を注視しているか否かに応じて、オートフォーカス機能をオン又はオフさせ、或いは、照明を異ならせても良い。
【０１０３】
実施の形態４．
実施の形態１では、通信ネットワーク１３上のストリーミングサーバー１４からストリーム画像を取得して表示する際に、ユーザの視線方向を検知してストリーム画像の画質を切り替える場合の例について説明した。これに対し、本実施の形態では、複数の監視カメラから動画像データを取得して監視カメラごとに表示させる際に、ユーザの視線方向を検知して動画像データの画質を切り替える場合について説明する。
【０１０４】
＜監視システム＞
図１４は、本発明の実施の形態４による画像表示装置１０２を含む監視システム１０１の一構成例を示したシステム図である。この監視システム１０１は、画像表示装置１０２、通信ネットワーク１０４及び複数の監視カメラ１０５からなる動画再生システムであり、各監視カメラ１０５により撮影された動画像データが画像表示装置１０２に転送され、それぞれ画面表示される。
【０１０５】
監視カメラ１０５は、ＬＡＮ（ローカルエリアネットワーク）などの通信ネットワーク１０４に接続された監視用の撮像装置であり、一連の画像フレームからなる動画像データを生成する。監視カメラ１０５により撮影された動画像データは、その画質を調整することができ、監視カメラ１０５内の記憶装置に記録される。
【０１０６】
画像表示装置１０２は、複数のディスプレイ１１１及びコントローラ１０３からなり、対応する監視カメラ１０５の動画像をそれぞれ表示する。その際、視線方向に基づいて、ユーザがいずれのディスプレイ１１１を注視しているかを検知し、動画像が注視されている監視カメラ１０５に対して高解像度動画像データを要求する一方、動画像が注視されていない監視カメラ１０５に対して低解像度動画像データが要求される。
【０１０７】
図１５は、図１４の画像表示装置１０２におけるコントローラ１０３の構成例を示したブロック図である。このコントローラ１０３は、図２の携帯電話機１１と比較すれば、ネットワークＩ／Ｆ１４１及び表示制御部１４２を備えている点で異なる。
【０１０８】
ネットワークＩ／Ｆ（インターフェース）１４１は、通信ネットワーク１０４を介して各監視カメラ１０５と通信する通信部である。動画像データ取得部１１４は、ネットワークＩ／Ｆ１４１を介して監視カメラ１０５のそれぞれから動画像データを取得し、表示制御部１４２へ出力する。表示制御部１４２は、監視カメラ１０５により撮影された監視映像を表示するための画面データを生成し、各ディスプレイ１１１へ出力する画面データ生成部である。各ディスプレイ１１１には、対応する監視カメラ１０５から取得された動画像データに基づいて、動画像が表示される。
【０１０９】
例えば、「監視カメラ１」の動画像データは、「ディスプレイ１」に表示され、「監視カメラ２」の動画像データは、「ディスプレイ２」に表示され、「監視カメラ３」の動画像データは、「ディスプレイ３」に表示される。
【０１１０】
表示画像切替部１２０は、動画像が注視されている監視カメラ１０５に対して高解像度動画像データを要求する一方、動画像が注視されていない監視カメラ１０５に対して低解像度動画像データを要求する。そして、動画像が注視されていない場合であっても、視線方向が表示領域へ向かって移動した監視カメラ１０５に対しては、高解像度動画像データへの切り替えが要求される。
【０１１１】
本実施の形態によれば、視線方向が表示領域へ向かって移動した場合に、当該表示領域に動画像データを表示させている監視カメラ１０５に対し、視線方向が表示領域に到達するよりも前に、高解像度動画像への切り替えが指示される。このため、ユーザの視線方向の移動に十分に追従させて監視カメラ１０５の動画像を表示させることができる。
【０１１２】
実施の形態５．
実施の形態１では、通信ネットワーク１３上のストリーミングサーバー１４からストリーム画像を取得して表示する際に、ユーザの視線方向を検知してストリーム画像の画質を切り替える場合の例について説明した。これに対し、本実施の形態では、記憶装置内の動画像データをデコードして表示する際に、ユーザの視線方向を検知して動画像データの画質を切り替える場合について説明する。
【０１１３】
＜２画面端末＞
図１６は、本発明の実施の形態５による画像表示装置の一構成例を示した斜視図であり、画像表示装置の一例として２画面端末２０１が示されている。この２画面端末２０１は、操作部１１０、２つのディスプレイ１１１及びカメラ１１２を備えた携帯端末である。各ディスプレイ１１１は、互いに離間して配置されている。
【０１１４】
この２画面端末２０１は、動画像を各ディスプレイ１１１にそれぞれ表示している際に、視線方向に基づいて、ユーザがいずれのディスプレイ１１１を注視しているかを検知し、注視されている動画像の画質を高解像度にする一方、注視されていない動画像の画質を低解像度する。
【０１１５】
図１７は、図１６の２画面端末２０１の構成例を示したブロック図であり、２画面端末２０１内の機能構成の一例が示されている。この２画面端末２０１は、図２の携帯電話機１１と比較すれば、動画像データ記憶部１５１を備えている点で異なる。
【０１１６】
動画像データ記憶部１５１には、２つの動画像データ１５１ａ，１５１ｂが保持されている。動画像データ１５１ａ，１５１ｂは、一連の画像フレームからなり、保存用に予めデータ圧縮されている。
【０１１７】
デコード部１１５は、動画像データ記憶部１５１内の動画像データ１５１ａ，１５１ｂを表示用にデータ伸張する復号処理部であり、デコード量を調整することにより、動画像データ１５１ａ，１５１ｂの画質を調整することができる。データ伸張後の動画像データは、対応するディスプレイ１１１へ出力される。
【０１１８】
各ディスプレイ１１１は、デコードされた動画像データに基いて、動画像を表示領域内にそれぞれ表示する。例えば、デコード後の動画像データ「動画１」は、「ディスプレイ１」に表示され、デコード後の動画像データ「動画２」は、「ディスプレイ２」に表示される。
【０１１９】
表示画像切替部１２０は、デコード部１１５に対し、動画像が注視されているディスプレイ１１１について高解像度動画像データを要求する一方、動画像が注視されていないディスプレイ１１１について低解像度動画像データを要求する。そして、動画像が注視されていない場合であっても、視線方向が表示領域へ向かって移動した場合には、当該表示領域に表示させる動画像データについて、高解像度動画像データへの切り替えが要求される。
【０１２０】
本実施の形態によれば、視線方向が表示領域へ向かって移動した場合に、当該表示領域に表示させる動画像データについて、高解像度動画像データへの切り替えがデコード部１１５に指示される。このため、ユーザの視線方向に応じて適切な動画像を表示させつつ、ユーザの視線方向の移動に十分に追従させて動画像を表示させることができる。
【０１２１】
実施の形態６．
実施の形態１では、通信ネットワーク１３上のストリーミングサーバー１４からストリーム画像を取得して表示する際に、ユーザの視線方向を検知してストリーム画像の画質を切り替える場合の例について説明した。これに対し、本実施の形態では、ユーザの目の位置を検知し、ユーザがディスプレイ１１１の３Ｄ視野角内にいるか否かを判別してストリーム画像を３Ｄ動画像及び２Ｄ動画像間で切り替える場合について説明する。
【０１２２】
図１８は、本発明の実施の形態６による画像表示装置の一構成例を示したブロック図であり、携帯電話機１１内の機能構成の一例が示されている。この携帯電話機１１は、図２の携帯電話機１１と比較すれば、目位置検出部１６１及び視野角判別部１６２を備えている点で異なる。
【０１２３】
目位置検出部１６１は、カメラ１１２からの被写体画像データに基づいて、ユーザの目の位置Ｅ（ＥＸ，ＥＹ，ＥＺ）を検出し、その検出結果を視野角判別部１６２へ出力する。視野角判別部１６２は、目位置検出部１６１により検出された目の位置Ｅに基づいて、ユーザがディスプレイ１１１の３Ｄ視野角内にいるか否かを判別し、その判別結果を表示画像切替部１２０へ出力する。
【０１２４】
３Ｄ視野角は、３Ｄ動画像（３次元映像）をディスプレイ１１１の表示画面内に表示した際に、その３Ｄ動画像を正しく視認（立体視）することができる範囲を示す物理量であり、表示画面に垂直な直線に対する角度により規定される。
【０１２５】
ディスプレイ１１１は、３Ｄ動画像又は２Ｄ動画像のいずれかを表示領域２内に表示する。表示画像切替部１２０は、ユーザが３Ｄ視野角内にいる状態で視線方向が表示領域２へ向かって移動した場合に、表示対象を２Ｄ動画像から３Ｄ動画像に切り替える。一方、ユーザが３Ｄ視野角外にいる状態では、視線方向が表示領域２へ向かって移動しても、表示対象を切り替えない。
【０１２６】
＜３Ｄ視野角＞
図１９は、図１８の携帯電話機１１におけるディスプレイ１１１の３Ｄ視野角Ｂとユーザの目の位置との関係を示した図である。３Ｄ動画像をディスプレイ１１１に表示する場合、３Ｄ動画像を正しく立体視することができるのは、ディスプレイ１１１の３Ｄ視野角Ｂ内に制限される。この３Ｄ視野角Ｂは、ディスプレイ１１１の中心を通ってディスプレイ１１１に垂直な直線（Ｘ軸）に対する角度により規定され、通常、２Ｄ動画像を表示する場合の視野角よりも狭い。
【０１２７】
ユーザの目の位置Ｅがこの様な３Ｄ視野角Ｂ内にある場合に、視線方向が表示領域２へ向かって移動すれば、表示対象が２Ｄ動画像から３Ｄ動画像に切り替えられる。一方、目の位置Ｅが３Ｄ視野角Ｂ外にある場合には、視線方向が表示領域２へ向かって移動しても、表示対象は切り替えない。
【０１２８】
本実施の形態によれば、ユーザがディスプレイ１１１の３Ｄ視野角Ｂ内にいなければ、視線方向が表示領域へ向かって移動しても、表示対象を切り替えない。このため、ユーザが３Ｄ動画像を正しく視認できない位置にいるにもかかわらず、表示対象が２Ｄ動画像から３Ｄ動画像に切り替えられることを防止することができる。従って、視線方向の移動に十分に追従させて動画像の画質を切り替えることができるとともに、３Ｄ動画像を正しく視認できないときに誤って２Ｄ動画像から３Ｄ動画像に切り替えられることを防止することができる。
【０１２９】
なお、実施の形態１〜６では、カメラ１１２を用いて被写体を撮影し、その画像データを解析することにより、ユーザの視線方向を検出する場合の例について説明したが、視線方向の検出方法はこれに限定されるものではない。例えば、眼球の定常電位を測定して眼球の位置を特定する方法、或いは、角膜による反射像を位置検出センサで検出する方法を用いて視線方向を検知するものも本発明には含まれる。
【０１３０】
また、実施の形態１〜６では、ユーザの視線方向を検知して動画像の画質を切り替える場合の例について説明したが、動画像の画質切り替えと連動させてタッチパネルの有効又は無効を切り替えても良い。例えば、ディスプレイ１１１が、ユーザ操作を検知するタッチパネル式の表示装置である場合、動画像を注視しているか否かに応じて、高負荷動画像及び低負荷動画像間で動画像の画質を切り替えるのに連動させて、タッチパネルの有効又は無効を切り替えるようなものも本発明には含まれる。
【符号の説明】
【０１３１】
１  動画ストリーミングシステム
２  表示領域
３  頂点
４  注視判定領域
５  周辺視判定領域
１１  携帯電話機
１１０  操作部
１１１  ディスプレイ
１１２  カメラ
１１３  セルラー通信部
１１３ａ  アンテナ
１１４  動画像データ取得部
１１５  デコード部
１１６  視線方向検出部
１１７  注視判別部
１１８  視線移動判別部
１１９  移動方向判別部
１２０  表示画像切替部
１２１  周辺視判別部
１２  基地局
１３  通信ネットワーク
１４  ストリーミングサーバー
１５  動画像記憶部
１５ａ  画像フレーム
１０１  監視システム
１０２  画像表示装置
１０３  コントローラ
１０４  通信ネットワーク
１０５  監視カメラ
１３１  カメラ
１４１  ネットワークＩ／Ｆ
１４２  表示制御部
１５１  動画像データ記憶部
１６１  目位置検出部
１６２  視野角判別部
２０１  ２画面端末
Ａ１  高負荷領域
Ａ２  低負荷領域
Ａ３  非表示領域
Ｂ  ３Ｄ視野角
【図１】
2012095229.tif 000008
【図２】
2012095229.tif 000009
【図３】
2012095229.tif 000010
【図４】
2012095229.tif 000011
【図５】
2012095229.tif 000012
【図６】
2012095229.tif 000013
【図７】
2012095229.tif 000014
【図８】
2012095229.tif 000015
【図９】
2012095229.tif 000016
【図１０】
2012095229.tif 000017
【図１１】
2012095229.tif 000018
【図１２】
2012095229.tif 000019
【図１３】
2012095229.tif 000020
【図１４】
2012095229.tif 000021
【図１５】
2012095229.tif 000022
【図１６】
2012095229.tif 000023
【図１７】
2012095229.tif 000024
【図１８】
2012095229.tif 000025
【図１９】
2012095229.tif 000026