(57)【要約】【課題】ユーザに対する視認性を落とさずに、ユーザ以外の第３者に画像の内容を容易に除き見られないようにする。【解決手段】視点検出部２２は、カメラ１１により撮像されたユーザ２の画像データに基づいて、表示装置１３の画面上におけるユーザ２の視点を検出する。画像処理部２３は、入力部２４を介して入力画像データを取得し、入力画像データ内のユーザ２の視点からより距離が遠い画素ほどより低いカットオフ周波数で高域の空間周波数成分を抑制した出力画像データを、出力部２５を介して表示装置１３に出力し、表示装置１３は、出力画像データに基づいて、画像を表示する。本発明は、PDA（Personal Digital Assistant）に適用することができる。【選択図】図１
2005208182.tif 000002
【特許請求の範囲】
【請求項１】
表示装置への画像の表示を制御する表示制御装置において、
前記表示装置の画面上におけるユーザの視点を検出する検出手段と、
前記検出手段により検出された前記ユーザの視点の周辺の前記画像の空間周波数の成分を抑制するように、前記画像の表示を制御する制御手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記制御手段は、前記画像の画素の高域の空間周波数の成分を、前記画素と前記ユーザの視点との間の距離に基づいて抑制するように、前記画像の表示を制御する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像の画素の高域の空間周波数の成分を除去するフィルタをさらに含み、
前記制御手段は、前記フィルタからの出力を選択することによって、前記ユーザの視点の周辺の前記画像の空間周波数の成分を抑制するように、前記画像の表示を制御する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記ユーザを撮像した画像データを取得する取得手段をさらに備え、
前記検出手段は、前記取得手段により取得された前記画像データに基づいて、前記ユーザの視点を検出する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
表示装置への画像の表示を制御する表示制御方法において、
前記表示装置の画面上におけるユーザの視点を検出する検出ステップと、
前記検出ステップの処理により検出された前記ユーザの視点の周辺の前記画像の空間周波数の成分を抑制するように、前記画像の表示を制御する制御ステップと
を含むことを特徴とする表示制御方法。
【請求項６】
表示装置への画像の表示を制御する表示制御処理を実行するプログラムであって、
前記表示装置の画面上におけるユーザの視点を検出する検出ステップと、
前記検出ステップの処理により検出された前記ユーザの視点の周辺の前記画像の空間周波数の成分を抑制するように、前記画像の表示を制御する制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項７】
表示装置への画像の表示を制御する表示制御処理を実行するプログラムであって、
前記表示装置の画面上におけるユーザの視点を検出する検出ステップと、
前記検出ステップの処理により検出された前記ユーザの視点の周辺の前記画像の空間周波数の成分を抑制するように、前記画像の表示を制御する制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置および方法、記録媒体、並びにプログラムに関し、特に、画像の視認性を制御できるようにした表示制御装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
近年、携帯電話、PDA（Personal Digital Assistant）、電子ペーパーなど、ユーザが特定され、公共の場で使用される携帯用の情報処理装置が普及している。
【０００３】
また、観察対象物の方位と、ユーザの視線の方向を検出し、ユーザが注視している観察対象物の位置を検出するヘッドマウント・ディスプレイが提案されている（例えば、特許文献１）。
【０００４】
さらに、人の身体にカメラを装着し、その人の動きに応じて、その人が着目する対象が撮像された画像のブレを補正したり、シーンの変更をしたりするなど、そのカメラが撮像した画像の表示を制御する画像処理システムが提案されている（例えば、特許文献２）。
【特許文献１】特開２００１−３４４０８号広報
【特許文献２】特開２００３−１９８８６号広報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、これらの携帯用の情報処理装置では、表示装置の視認性をよくすると、ユーザ以外の第３者に表示されている内容を覗き見られやすくなり、逆に、第３者に画像の内容を容易に覗き見られないように表示装置の視野角を狭くすると、表示装置の視認性が落ち、ユーザが表示されている内容を認識しづらくなってしまう課題があった。
【０００６】
また、特許文献１および特許文献２に記載されている発明では、表示されている画像の視認性を制御することについては開示されておらず、上記の課題については解決されていなかった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、ユーザの視点に基づいて、画像の視認性を制御できるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の表示制御装置は、表示装置の画面上におけるユーザの視点を検出する検出手段と、検出手段により検出されたユーザの視点の周辺の画像の空間周波数の成分を抑制するように、画像の表示を制御する制御手段とを備えることを特徴とする。
【０００９】
制御手段は、画像の画素の高域の空間周波数の成分を、画素とユーザの視点との間の距離に基づいて抑制するように、画像の表示を制御するようにすることができる。
【００１０】
画像の画素の高域の空間周波数の成分を除去するフィルタをさらに含み、制御手段は、フィルタからの出力を選択することによって、ユーザの視点の周辺の画像の空間周波数の成分を抑制するように、画像の表示を制御するようにすることができる。
【００１１】
ユーザを撮像した画像データを取得する取得手段をさらに設け、検出手段は、取得手段により取得された画像データに基づいて、ユーザの視点を検出するようにすることができる。
【００１２】
本発明の表示制御方法は、表示装置の画面上におけるユーザの視点を検出する検出ステップと、検出ステップの処理により検出されたユーザの視点の周辺の画像の空間周波数の成分を抑制するように、画像の表示を制御する制御ステップとを含むことを特徴とする。
【００１３】
本発明の記録媒体に記録されているプログラムは、表示装置の画面上におけるユーザの視点を検出する検出ステップと、検出ステップの処理により検出されたユーザの視点の周辺の画像の空間周波数の成分を抑制するように、画像の表示を制御する制御ステップとを含むことを特徴とする。
【００１４】
本発明のプログラムは、表示装置の画面上におけるユーザの視点を検出する検出ステップと、検出ステップの処理により検出されたユーザの視点の周辺の画像の空間周波数の成分を抑制するように、画像の表示を制御する制御ステップとを含むことを特徴とする。
【００１５】
本発明の表示制御装置、表示制御方法、記録媒体に記録されているプログラム、およびプログラムにおいては、表示装置の画面上におけるユーザの視点が検出され、検出されたユーザの視点の周辺の画像の空間周波数の成分を抑制するように、画像の表示が制御される。
【発明の効果】
【００１６】
以上のように、本発明によれば、画像の視認性を制御することができる。また、この発明によれば、ユーザが確実に表示されている内容を認識できるようにしたまま、ユーザ以外の第３者が表示されている内容を容易に覗き見ることができないようにすることができる。
【発明を実施するための最良の形態】
【００１７】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００１８】
さらに、この記載は、本明細書に記載されている発明が、全て請求されていることを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現したり、追加される発明の存在を否定するものではない。
【００１９】
本発明によれば、表示制御装置が提供される。この表示制御装置（例えば、図１の表示制御装置１２）は、前記表示装置（例えば、図１の表示装置１３）の画面上におけるユーザの視点を検出する検出手段（例えば、図１の視点検出部２２）と、前記検出手段により検出された前記ユーザの視点の周辺の前記画像の空間周波数の成分を抑制するように、前記画像の表示を制御する制御手段（例えば、図１の画像処理部２３）とを備える。
【００２０】
この表示制御装置（例えば、図１の表示制御装置１２）においては、前記画像の画素の高域の空間周波数の成分を除去するフィルタ（例えば、図６のフィルタ５２−１乃至５２−ｎ）をさらに含み、前記制御手段は、前記フィルタからの出力を選択することによって、前記ユーザの視点の周辺の前記画像の空間周波数の成分を抑制するように、前記画像の表示を制御するようにすることができる。
【００２１】
この表示制御装置（例えば、図１の表示制御装置１２）においては、前記ユーザを撮像した画像データ（例えば、ユーザ画像データ）を取得する取得手段（例えば、図１の入力部２１）をさらに備え、前記検出手段は、前記取得手段により取得された前記画像データに基づいて、前記ユーザの視点を検出するようにすることができる。
【００２２】
本発明によれば、表示制御方法が提供される。この表示制御方法は、前記表示装置（例えば、図１の表示装置１３）の画面上におけるユーザの視点を検出する検出ステップ（例えば、図１１のステップＳ３）と、前記検出ステップの処理により検出された前記ユーザの視点の周辺の前記画像の空間周波数の成分を抑制するように、前記画像の表示を制御する制御ステップ（例えば、図１２のステップＳ２３乃至Ｓ２７）とを含む。
【００２３】
本発明によれば、プログラムが提供される。このプログラムは、前記表示装置（例えば、図１の表示装置１３）の画面上におけるユーザの視点を検出する検出ステップ（例えば、図１１のステップＳ３）と、前記検出ステップの処理により検出された前記ユーザの視点の周辺の前記画像の空間周波数の成分を抑制するように、前記画像の表示を制御する制御ステップ（例えば、図１２のステップＳ２３乃至Ｓ２７）とを含む。
【００２４】
このプログラムは、記録媒体（例えば、図１８のリムーバルメディア５２１）に記録することができる。
【００２５】
以下、図を参照して、本発明の実施の形態について説明する。
【００２６】
本発明を適用した画像表示システム１の基本構成例を示すブロック図である。画像表示システム１は、カメラ１１、表示制御装置１２、および表示装置１３により構成される。
【００２７】
カメラ１は、表示装置１３の近傍に設けられ、画像表示システム１を使用するユーザ２を常時撮像し、撮像したデータ（以下、ユーザ画像データと称する）を表示制御装置１２に出力する。
【００２８】
表示制御装置１２は、カメラ１より取得したユーザ画像データに基づいて、ユーザ２が注視している表示装置１３の画面上の位置、すなわちユーザ２の視点を検出する。表示制御装置１２は、検出したユーザ２の視点に基づいて、入力された画像データ（以下、入力画像データと称する）から、視認性を制御した画像データ（以下、出力画像データと称する）を生成し、生成した出力画像データを表示装置１３に出力する。
【００２９】
人間は、視線を中心とした近傍（中心視野）において、画像の細かな変化まで認識できるのに対して、視線から離れた位置になるほど、画像の細かな変化を認識できなくなる視覚特性を持っている。すなわち、人間が認識できる空間周波数の帯域は、中心視野においていちばん広く、視線から離れた位置になるほど、高域成分が落ち込み、狭くなる。
【００３０】
表示制御装置１２は、例えば、図２に示される画像が入力され、表示装置１３に表示されているとき、ユーザ２の視点の中心が図３内の点Ａ１に注がれた場合、この人間の視覚特性を利用して、図４に示されるように、点Ａ１の近傍の画像の空間周波数成分はそのままとして、点Ａ１から離れるほど、高域の空間周波数成分を抑制した画像を表示させるように制御する。すなわち、表示装置１３に表示される画像は、ユーザ２の視点の中心近傍は入力画像のままとされ、ユーザ２の視点の中心から離れるほど、ユーザ２が識別することができない細かな変化が画像から除去される。
【００３１】
表示装置１３は、表示制御装置１２から取得した出力画像データに基づいて、画像を表示する。
【００３２】
表示制御装置１２は、入力部２１、視点検出部２２、画像処理部２３、入力部２４、および出力部２５により構成される。
【００３３】
視点検出部２２は、図１１を参照して後述するように、入力部２１を介して、カメラ１１より取得したユーザ画像データに基づいて、図５に示されるように、表示装置１３の画面４１上におけるユーザ２の視点Vの中心の座標（以下、視点座標と称する）を求める。画面４１の座標系は、画面４１の左上隅を原点とし、水平左方向がｘ軸方向、垂直下方向がｙ軸方向として表わされる。視点検出部２２は、検出した視点座標を画像処理部２３に伝達する。
【００３４】
画像処理部２３は、入力部２４を介して入力画像データを取得する。画像処理部２３は、図１２を参照して後述するように、視点検出部２２より伝達された視点座標に基づいて、入力画像データの空間周波数成分を制御した出力画像データを、出力部２５を介して、表示装置１３に出力する。
【００３５】
図６は、画像処理部２３の基本構成例を示すブロック図である。画像処理部２３は、入力データ処理部５１、フィルタ５２−１乃至５２−ｎ（以下、フィルタ５２−１乃至５２−ｎを個々に区別する必要がない場合、単にフィルタ５２と称する）、距離算出部５３、セレクタ５４、および画像データ生成部５５により構成される。
【００３６】
入力データ処理部５１は、入力部２４を介して入力画像データを取得する。入力データ処理部５１は、入力画像データ内の各画素を、順に空間周波数成分のフィルタリング対象となる画像処理点に指定する。入力データ処理部５１は、画像処理点に指定した画素の画像データをセレクタ５４に供給するとともに、画像処理点を中心とした所定の領域内の画素の画像データをフィルタ５２に供給する。入力データ処理部５１は、指定した画像処理点の画面４１上における座標を距離算出部５３に伝達する。
【００３７】
フィルタ５２は、入力データ処理部５１から取得した画像処理点の画像データから所定のカットオフ周波数以上の空間周波数成分を抑制して、セレクタ５４に供給する。
【００３８】
フィルタ５２は、それぞれ異なるカットオフ周波数を持つフィルタである。以下、フィルタ５２−１の周波数特性を図７に示されるグラフとし、フィルタ５２−２の周波数特性を図８に示されるグラフとし、フィルタ５２−３の周波数特性を図９に示されるグラフとし、フィルタ５２−ｎの周波数特性を図１０に示されるグラフとして説明する。図７乃至図１０に示されるように、フィルタ５２−１のカットオフ周波数Ｆ１、フィルタ５２−２のカットオフ周波数Ｆ２、フィルタ５２−３のカットオフ周波数Ｆ３の順に周波数が低くなり、フィルタ５２−ｎのカットオフ周波数Ｆｎが、全てのフィルタ５２の中で最も低くなる。
【００３９】
図７乃至図１０の周波数特性に示されるように、フィルタ５２により、画像データのカットオフ周波数より少し低い空間周波数成分から減衰が開始され、カットオフ周波数より高い空間周波数成分が画像データからほとんど除去される。
【００４０】
例えば、フィルタ５２は、空間フィルタとされ、画像処理点を中心とした所定の領域（フィルタサイズ）内の各画素の画像データに所定の係数を乗じて足し合わせた（畳み込み積分した）データを、画像処理点の画像データとして出力する。これにより、画像処理点の画像データに含まれるカットオフ周波数以上の空間周波数成分が抑制される。空間フィルのカットオフ周波数は、フィルタサイズの大きさ、すなわち畳み込み積分する領域の大きさ（畳み込み積分する画素数の数）や係数により調整される。
【００４１】
距離算出部５３は、検出部２２より視点座標を取得し、入力データ処理部５１より画像処理点の座標を取得し、画像処理点と視点座標との間の距離（以下、画像処理点距離と称する）を求め、セレクタ５４に伝達する。
【００４２】
セレクタ５４は、距離算出部５３より伝達された画像処理点距離に基づいて、入力データ処理部５１から直接供給された画像データ、およびフィルタ５２により高域の空間周波数成分が抑制（除去）された画像データのうち１つを選択し、画像データ生成部５５に供給する。
【００４３】
画像データ生成部５５は、セレクタ５４より供給された各画素の画像データから１フレーム分の出力画像データを生成し、出力部２５を介して、表示装置１３に出力する。
【００４４】
次に、図１１乃至図１６を参照して、画像表示システム１により実行される処理を説明する。
【００４５】
まず、図１１のフローチャートを参照して、画像表示システム１により実行される視点検出処理について説明する。なお、この処理は、ユーザ２により処理の開始が指令されたとき、開始され、ユーザ２により処理の停止が指令されたとき、終了される。
【００４６】
ステップＳ１において、視点検出部２２は、カメラ１１により撮像されたユーザ画像データを入力部２１を介して取得する。
【００４７】
ステップＳ２において、視点検出部２２は、ユーザ画像データに基づいて、ユーザ２の視線の方向を検出する。例えば、視点検出部２２は、ユーザ画像データに基づいて、ユーザ２の両目の輪郭、両目の両端の位置および鼻孔の位置を検出する。視点検出部２２は、両目の両端の位置と鼻孔の位置に基づいて、眼球の中心位置および半径を推定し、ユーザ２の目の輪郭内の輝度情報に基づいて瞳孔の中心の位置を検出する。視点検出部２２は、眼球の中心と瞳孔の中心を結ぶベクトルを演算し、得られたベクトルの方向をユーザ２の視線の方向とする。
【００４８】
ステップＳ３において、視点検出部２２は、ステップＳ２の処理で検出したユーザ２の視線の方向に基づいて、ユーザ２が注視している表示装置１３の画面４１上の視点を検出する。視点検出部２２は、検出した視点の中心に位置する画素の座標を視点座標とする。その後、処理はステップＳ１に戻り、ステップＳ１乃至Ｓ３の処理が繰り返される。
【００４９】
次に、図１２のフローチャートを参照して、画像表示システム１により実行される画像表示処理について説明する。なお、この処理は、ユーザ２により処理の開始が指令されたとき、開始され、ユーザ２により処理の停止が指令されたとき、終了される。
【００５０】
ステップＳ２１において、入力データ処理部５１は、入力部２４を介して入力画像データを取得する。以下、ステップＳ２１において、図２に示される画像の入力画像データが取得されたものとして説明する。
【００５１】
ステップＳ２２において、距離算出部５３は、視点検出部２２より図１１のステップＳ３の処理で求められた視点座標を取得する。以下、ステップＳ２２において、図３に示される点Ａ１の座標が視点座標として取得されたものとして説明する。
【００５２】
ステップＳ２３において、入力データ処理部５１は、入力画像データの中の１画素を画像処理点に指定する。例えば、画像処理点の画素は、ラスタスキャン順に指定される。
【００５３】
ステップＳ２４において、画像処理点の画像データに対してフィルタリング処理を行う。具体的には、入力データ処理部５１は、画像処理点を中心とした所定の領域内の画像データをフィルタ５２に供給する。フィルタ５２は、画像処理点の画像データに含まれるカットオフ周波数以上の空間周波数成分を抑制して、セレクタ５４に供給する。また、入力データ処理部５１は、フィルタ５２を介さずに、直接セレクタ５４に画像処理点の画像データ、すなわち空間周波数成分が入力画像データのままの画像データをセレクタ５４に供給する。従って、セレクタ５４には、画像処理点の画像データとして、入力画像データのままの空間周波数成分を持つ画像データ、およびフィルタ５２−１乃至５２−ｎにより、カットオフ周波数Ｆ１乃至Ｆｎのいずれか以上の空間周波数成分が抑制された画像データのｎ+１種類の画像データが供給される。
【００５４】
ステップＳ２５において、距離算出部５３は、入力データ処理部５１より画像処理点の座標を取得し、画像処理点距離ｚを算出し、セレクタ５４に伝達する。視点座標である点Ａ１の座標を（ｖｘ，ｖｙ）、画像処理点の座標を（ｘ，ｙ）とすると、画像処理点距離ｚは、次の式（１）で求められる。
【００５５】
【数１】
2005208182.tif 000003
【００５６】
ステップＳ２６において、セレクタ５４は、距離算出部５３より伝達された画像処理点距離ｚに基づいて、ステップＳ２４において、入力データ処理部５１より供給された画像データおよびフィルタ５２−１乃至５２−ｎより供給された画像データの中から１つを選択し、画像処理点の画像データとして、画像データ生成部５５に供給する。
【００５７】
例えば、セレクタ５４は、図１３に示されるように、ユーザ２の視点の中心である点Ａ１（視点座標）を中心としたそれぞれ半径の異なる同心円１０１−１乃至１０１−ｎにより、画面４１内を領域１０２−１乃至１０２−ｎ＋１のｎ＋１個の領域に分割する。同心円１０１−１乃至１０１−ｎの半径をそれぞれ半径ｚ1乃至ｚｎとすると、半径ｚ1乃至ｚｎの大きさの関係は、次の式（２）で表わされる。
【００５８】
０＜ｚ１＜ｚ２＜ｚ３＜・・・＜ｚｎ          ・・・（２）
【００５９】
画面４１は、同心円１０１−１の内側の領域が領域１０２−１、同心円１０１−１と同心円１０１−２の間の領域が領域１０２−２、同心円１０１−２と同心円１０１−３の間の領域が領域１０２−３のように領域が分割され、同心円１０１−ｎの外側の領域が領域１０２−ｎ＋１とされる。
【００６０】
セレクタ５４は、画像処理点距離ｚに基づいて、０≦ｚ＜ｚ１の場合、すなわち、画像処理点が領域１０２−１に含まれる場合、入力データ処理部５１より直接供給された画像データを画像データ生成部５５に供給する。すなわち、視点座標である点A１を含む領域１０２−１に含まれる画素の画像データは、図１４の周波数特性に示されるようにその空間周波数成分は変更されない。
【００６１】
セレクタ５４は、ｚ１≦ｚ＜ｚ２の場合、すなわち、画像処理点が領域１０２−２に含まれる場合、フィルタ５２−１により供給された画像データを画像データ生成部５５に供給する。セレクタ５４は、ｚ２≦ｚ＜ｚ３の場合、すなわち、画像処理点が領域１０２−３に含まれる場合、フィルタ５２−２により供給された画像データを画像データ生成部５５に供給する。セレクタ５４は、以下同様に、画像処理点距離ｚに基づいて、画像データ生成部５５に供給する画像データを選択して、供給し、ｚ≧ｚｎの場合、すなわち、画像処理点が領域１０２−ｎ＋１に含まれる場合、フィルタ５２−ｎにより供給された画像データ生成部５５に供給する。
【００６２】
すなわち、視点座標である点A１から遠い画素ほど、図７乃至図１０に示されるような各フィルタ５２の周波数特性に基づいて、より低いカットオフ周波数により画像データの高域の空間周波数成分が抑制される。
【００６３】
なお、ステップＳ２２において、視点座標を取得できなかった場合、ステップＳ２６において、セレクタ５４は、フィルタ５２−ｎより供給された画像データを画像データ生成部５５に供給する。これにより、ユーザ２が画面４１を見ていない場合、画像全体に対して、最も低いカットオフ周波数Ｆｎ以上の画像データの空間周波数成分が抑制される。
【００６４】
また、ステップＳ２２において、視点座標を取得できなかった場合、ステップＳ２６において、セレクタ５４は、フィルタ５２を介さずに、入力データ処理部５１より供給された画像データを画像データ生成部５５に供給するようにしてもよい。この場合、表示装置１３には、入力画像がそのまま表示される。
【００６５】
ステップＳ２７において、入力データ処理部５１は、入力画像データ内の全ての画素について、処理したか否かを判定する。入力画像データ内の全ての画素について処理されていないと判定された場合、処理はステップＳ２３に戻り、ステップＳ２７において、入力画像データ内の全ての画素について処理されたと判定されるまで、ステップＳ２３乃至Ｓ２７の処理が繰り返される。すなわち、入力画像データ内の全ての画素の空間周波数成分が、ユーザ２の視点の中心である点Ａ１と各画素の間の距離に基づいて抑制される。
【００６６】
ステップＳ２７において、全ての画素について処理されたと判定された場合、処理はステップＳ２８に進む。ステップＳ２８において、画像データ生成部５５は、セレクタ５４より供給された全ての画素の画像データより１フレーム分の出力画像データを生成する。
【００６７】
ステップＳ２９において、画像データ生成部５５は、出力部２５を介して出力画像データを表示装置１３に出力し、表示装置１３は、出力画像データに基づく画像を表示する。すなわち、図４に示されるように、ユーザの視点の中心である点Ａ１の近傍の画像の視認性は入力画像のままとされ、点Ａ１から距離が遠くなり、ユーザ２が画像の細かい変化を識別できなくなる領域ほど、より視認性が落とされた画像が表示される。
【００６８】
その後、処理はステップＳ２１に戻り、ステップＳ２１乃至Ｓ２９の処理が繰り返され、ユーザ２の視点の移動に基づいて、表示装置１３に表示される画像の空間周波数成分が制御される。例えば、ユーザ２の視点の中心が図４の点Ａ１から図１５の点Ａ２に移動された場合、図１６に示されるように、点Ａ２を中心として画像の高域の空間周波数が抑制され、画像の視認性が制御される。
【００６９】
以上のようにして、ユーザ２の視点に基づいて、入力された画像の高域の空間周波数成分を抑制した画像を表示することにより、ユーザ２に対する画像の視認性を落とさずに、ユーザ２以外の第３者に対して画像の視認性を落とすことができ、ユーザ２以外の第３者が容易に画像の内容を覗き見ることができないようにすることができる。すなわち、ユーザ２は、表示された画像の内容を違和感なく自然に見たり、判別したりすることができる一方、ユーザ２と視点が異なる第３者に対して、画像の高域の空間周波数成分が抑制されていないユーザ２の視点の中心近傍の領域を除いて鮮鋭度の劣化した画像となり、ユーザ２以外の第３者は、画像の内容を容易に認識できなくなる。
【００７０】
また、画像に含まれる高域の空間周波数成分が抑制され、ユーザ２の視点の中心近傍の領域を除いて鮮鋭度の高い画像が表示されなくなるとともに、ユーザ２の視点の移動に伴い表示されている画像が変化することにより、例えば、ＰＤＰ（Plasma Display Panel）等の固定画素の表示デバイスからなる表示装置１３の画面４１の焼き付きの発生等による経年劣化を緩和することができる。
【００７１】
このように、表示装置の画面上におけるユーザの視点を検出し、検出されたユーザの視点に基づいて、表示画像の視認性を制御するようにした場合には、ユーザが確実に表示されている内容を認識できるようにしたまま、ユーザ以外の第３者が表示されている内容を容易に覗き見ることができないようにすることができる。
【００７２】
なお、以上の本発明を適用した画像表示システム１の実施の形態では、１フレーム分の画像データを処理するごとに視点座標を取得し、１フレーム分の画像データについては視点座標を固定して画像表示処理を行う例を示したが、視点座標を固定せずに、同じフレーム内でもユーザの視線の方向にあわせて常に視点座標を変更しながら画像表示処理を実施させることも可能である。以下、図１７のフローチャートを参照して、常に視点座標を変更する場合の画像表示処理について説明する。
【００７３】
図１２のフローチャートと図１７のフローチャートを比較して明らかなように、１フレーム分の画像データを処理している間、視点座標を固定するようにした場合（図１２）と、視点座標を変更するようにした場合（図１７）の画像表示処理の基本的な処理は同様である。
【００７４】
ただし、視点座標を変更するようにした場合、視点座標を固定するようにした場合と異なり、図１２のステップＳ２７に対応するステップＳ１２７の処理において、入力画像データ内の全ての画素について処理されていないと判定された場合、処理は、ステップＳ２３に対応するステップＳ１２３ではなく、ステップＳ２２に対応するステップＳ１２２に戻り、ステップＳ１２７において、入力画像データ内の全ての画素について処理されたと判定されるまで、ステップＳ１２２乃至Ｓ１２７の処理が繰り返される。すなわち、入力画像データ内の１画素について処理が行われるごとに視点座標が取得され、取得された視点座標に基づいて、画像処理点に指定された画素の画像データの高域の空間周波数成分が抑制される。
【００７５】
これにより、より厳密にユーザ２の視点の移動に基づいて、表示装置１３に表示される画像の空間周波数成分が制御される。
【００７６】
また、ユーザの視線の方向を検出する方法として、ユーザに赤外線を照射して、反射した赤外線の画像を用いて行う手法や、各種顔画像認識技術を用いるようにしてもよい。
【００７７】
さらに、画像処理点として入力画像データを所定のサイズ（例えば、８×８画素）毎に分割した領域を指定するようにし、その領域内の画像データを離散コサイン変換（Discrete Cosine Transform（DCT））等により直行変換して空間周波数成分に分解した画像データをフィルタ５２に供給し、高域の空間周波数成分を抑制するようにしてもよい。
【００７８】
なお、本発明は、電子ペーパー、携帯電話、PDA（Personal Digital Assistant）などの携帯用の情報処理装置に適用できる。
【００７９】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【００８０】
図１８は、汎用のパーソナルコンピュータ５００の内部の構成例を示す図である。CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００８１】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インターフェース５０５も接続されている。
【００８２】
入出力インターフェース５０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部５０６、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成される出力部５０７、ハードディスクなどで構成される記憶部５０８、およびモデムやターミナルアダプタなどで構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介して通信処理を行う。
【００８３】
入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア５１１が適宜装着され、そこから読み出されたコンピュータプログラムが、記憶部５０８にインストールされる。
【００８４】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図１８に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０３または記憶部５０８に含まれるハードディスクなどで構成される。
【００８５】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８６】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。
【図面の簡単な説明】
【００８７】
【図１】本発明を適用した画像表示システムの構成例を示す図である。
【図２】画像表示システムに入力される画像の例を示す図である。
【図３】表示装置の画面上の視点の位置を示す図である。
【図４】表示装置に表示される画面の例を示す図である。
【図５】表示装置の座標系を説明する図である。
【図６】表示制御部の構成例を示す図である。
【図７】フィルタの周波数特性の例を示す図である。
【図８】フィルタの周波数特性の例を示す図である。
【図９】フィルタの周波数特性の例を示す図である。
【図１０】フィルタの周波数特性の例を示す図である。
【図１１】画像表示システムにおける視点検出処理を説明するフローチャートである。
【図１２】画像表示システムにおける画像表示処理を説明するフローチャートである。
【図１３】表示装置の画面の領域の分割例を示す図である。
【図１４】画像データの周波数特性の例を示す図である。
【図１５】表示装置の画面上の視点の位置を示す図である。
【図１６】表示装置に表示される画面の例を示す図である。
【図１７】画像表示システムにおける画像表示処理を説明するフローチャートである。
【図１８】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【００８８】
１  画像表示システム，  ２  ユーザ，  １１  カメラ，  １２  表示制御部，  １３  表示装置，  ２１  入力部，  ２２  視点検出部，  ２３  画像処理部，  ２４  入力部，  ２５  出力部，  ４１  画面，  ５１  入力データ処理部，  ５２  フィルタ，  ５３  距離算出部，  ５４  セレクタ，  ５５  画像データ生成部
【図１】
2005208182.tif 000004
【図２】
2005208182.tif 000005
【図３】
2005208182.tif 000006
【図４】
2005208182.tif 000007
【図５】
2005208182.tif 000008
【図６】
2005208182.tif 000009
【図７】
2005208182.tif 000010
【図８】
2005208182.tif 000011
【図９】
2005208182.tif 000012
【図１０】
2005208182.tif 000013
【図１１】
2005208182.tif 000014
【図１２】
2005208182.tif 000015
【図１３】
2005208182.tif 000016
【図１４】
2005208182.tif 000017
【図１５】
2005208182.tif 000018
【図１６】
2005208182.tif 000019
【図１７】
2005208182.tif 000020
【図１８】
2005208182.tif 000021