(57)【要約】【課題】ユーザが画面を斜めから見た場合であっても、ユーザの位置に応じて画面を補正することによって、ユーザが画面に正対しているかのように画面の表示をする。【解決手段】撮影方向に応じて回転可能に設置されたカメラ２１と、カメラ２１の回転角を方位角および仰角として検出する回転角センサ２２と、カメラ２１で撮影されたユーザの顔の輪郭を抽出する顔輪郭抽出部２３と、を備え、ユーザ視点推定部２４は、撮像内で定義される座標系において抽出されたユーザの顔に輪郭の重心位置の座標を求め、座標と、カメラ２１の既知の画角とに基づいて、方位角および仰角の補正角度を算出し、表示画像変形部２６は、補正角度に基づいて、表示部（モニタ）２０に表示する画像を拡大し、縮小し、または回転させる。【選択図】図２
2013127672.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの視点の相対方位に応じて画面に表示する画像の形状を補正する画像表示装置であって、
前記画面に対するユーザの視点の相対方位を推定する視点推定部と、
前記推定した視点の相対方位に応じて前記画面に表示する画像を拡大し、縮小し、または回転させる表示画像変形部と、を備えることを特徴とする画像表示装置。
【請求項２】
撮影方向に応じて回転可能に設置されたカメラと、
前記カメラの回転角を、画面に対する相対方位として検出する回転角センサと、を備え、
前記視点推定部は、前記カメラの既知の画角および前記カメラの回転角に基づいて、前記ユーザの視点の相対方位を推定することを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記カメラで撮影された画像からユーザの顔の輪郭を抽出する顔輪郭抽出部を備え、
前記視点推定部は、前記画像内で定義される座標系において前記抽出されたユーザの顔の輪郭内の特徴点の座標を求め、前記座標、前記カメラの既知の画角および前記カメラの回転角に基づいて、前記ユーザの視点の相対方位を推定することを特徴とする請求項２記載の画像表示装置。
【請求項４】
カメラと、
前記カメラで撮影された画像からユーザの顔の輪郭を抽出する顔輪郭抽出部を備え、
前記視点推定部は、前記画像内で定義される座標系において前記抽出されたユーザの顔の輪郭内の特徴点の座標を求め、前記座標と、前記カメラの既知の画角に基づいて、前記ユーザの視点の相対方位を推定することを特徴とする請求項１記載の画像表示装置。
【請求項５】
前記画面の少なくとも一つの辺上に人感センサを備え、
前記視点推定部は、前記人感センサの反応に応じて、前記画面に対するユーザの視点の相対方位を推定することを特徴とする請求項１記載の画像表示装置。
【請求項６】
前記カメラは、魚眼カメラであることを特徴とする請求項２から請求項４のいずれかに記載の画像表示装置。
【請求項７】
ユーザの操作を受け付けて前記画面に対するユーザの視点の相対方位を選定する相対方位指定部を更に備え、
前記視点推定部は、前記相対方位指定部を介して入力された相対方位を特定することを特徴とする請求項１記載の画像表示装置。
【請求項８】
ユーザの視点の相対方位に応じて画面に表示する画像の形状を補正する画像表示装置のプログラムであって、
前記画面に対するユーザの視点の相対方位を推定する処理と、
前記推定した視点の相対方位に応じて前記画面に表示する画像を拡大し、縮小し、または回転させる処理と、の一連の処理を、コンピュータに実行させることを特徴とするプログラム。
【請求項９】
画像表示装置に実装されることにより、前記画像表示装置に複数の機能を発揮させる集積回路であって、
ユーザの視点の相対方位に応じて画面に表示する画像の形状を補正する機能と、
前記画面に対するユーザの視点の相対方位を推定する機能と、
前記推定した視点の相対方位に応じて前記画面に表示する画像を拡大し、縮小し、または回転させる機能と、の一連の機能を、前記画像表示装置に発揮させることを特徴とする集積回路。
【請求項１０】
ユーザの視点の相対方位に応じて画面に表示する画像の形状を補正する画像表示方法であって、
前記画面に対するユーザの視点の相対方位を推定するステップと、
前記推定した視点の相対方位に応じて前記画面に表示する画像を拡大し、縮小し、または回転させるステップと、を少なくとも含むことを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの位置に応じて画面に表示する画像の形状を補正する技術に関する。
【背景技術】
【０００２】
従来から、“タブレット端末”と呼ばれる情報端末装置が知られている。タブレット端末は、平板状に形成されているため、机の上に置いて使用することが可能である。ここで、ユーザが机の上に置いたタブレット端末の画面を斜め方向から見ると、画像が歪んで見えることがある。このため、ユーザは、タブレット端末を立てたり、画面に対して正対する位置に顔を移動させたりしていた。
【０００３】
このように、画面を斜め方向から見ることによる画像の歪みを補正するための技術が提案されている。例えば、特許文献１には、ユーザが傾いた画面を見る場合に、表示画面の傾き方向および傾き角度を検知し、その検知した表示画面の傾き方向に基づいて、表示画面の手前端部を基準とし、表示画面の傾き角度に比例した拡大率または縮小率を演算し、その演算結果に基づいて、画像の遠近感を解消させるように変形させる技術が開示されている。また、特許文献２には、スクリーンに対して、斜め方向の補正を行なう技術が開示されている。この技術では、投射表示された画像と投射画面近傍に設置されたスクリーンとを撮像するイメージセンサを用いる。そして、このイメージセンサで撮像された画像より、プロジェクタの表示画面の複数点とプロジェクタとの距離を算出し、プロジェクタとスクリーンとの位置関係を検出し、検出した位置関係情報より、スクリーンに目的の形状で画像を表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１６５６５０号公報
【特許文献２】特開２００６−２４６５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載の技術では、カーナビゲーションを想定しているため、ユーザの位置が一方向であることが前提となっている。このため、タブレット端末のように、持ち運びが自由で、画像の表示方向をどの方向にも変更できる場合の補正については考慮されていない。また、特許文献２記載の技術では、プロジェクタからの見え方を基準に画像を補正するものであって、ユーザからの見え方に基づくものではない。従って、タブレット端末の画面を斜めから見る場合には適用することができない。
【０００６】
このため、従来、ユーザは、画面に対して正対する位置関係を作るため、タブレット端末を手で保持したり、顔を移動させたりする必要があった。しかし、手で保持する方法では、手の自由が利かなくなる上に、長時間の使用に耐えない場合がある。また、タブレット端末を固定するための道具を用いる場合は、携帯性が損なわれ、利便性が低下する。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、ユーザが画面を斜めから見た場合であっても、ユーザの位置に応じて画面を補正することによって、ユーザが画面に正対しているかのように画面の表示をすることができる画像表示装置、プログラム、集積回路および画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の画像表示装置は、ユーザの視点の相対方位に応じて画面に表示する画像の形状を補正する画像表示装置であって、前記画面に対するユーザの視点の相対方位を推定する視点推定部と、前記推定した視点の相対方位に応じて前記画面に表示する画像を拡大し、縮小し、または回転させる表示画像変形部と、を備えることを特徴とする。
【０００９】
このように、画面に対するユーザの視点の相対方位を推定し、推定した視点の相対方位に応じて画面に表示する画像を拡大し、縮小し、または回転させるので、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。なお、ここで相対方位とは、３次元的な方向性を包括的に表した概念であって、例えば画面の中心を原点として設定した３次元座標上のベクトル表現や、単位ベクトルのオイラー角回転表現（方位角と仰角の組）、ロール・ピッチ・ヨー表現（X, Y, Z 各軸に対する回転角の組）で表すことができるものとする。
【００１０】
（２）また、本発明の画像表示装置は、撮影方向に応じて回転可能に設置されたカメラと、前記カメラの回転角を、画面に対する相対方位として検出する回転角センサと、を備え、前記視点推定部は、前記カメラの既知の画角および前記カメラの回転角に基づいて、前記ユーザの視点の相対方位を推定することを特徴とする。
【００１１】
このように、カメラの既知の画角および前記カメラの回転角に基づいて、前記ユーザの視点の相対方位を推定するので、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。
【００１２】
（３）また、本発明の画像表示装置は、前記カメラで撮影された画像からユーザの顔の輪郭を抽出する顔輪郭抽出部を備え、前記視点推定部は、前記画像内で定義される座標系において前記抽出されたユーザの顔の輪郭内の特徴点の座標を求め、前記座標、前記カメラの既知の画角および前記カメラの回転角に基づいて、前記ユーザの視点の相対方位を推定することを特徴とする。
【００１３】
このように、画像内で定義される座標系において前記抽出されたユーザの顔の輪郭内の特徴点の座標を求め、前記座標、前記カメラの既知の画角および前記カメラの回転角に基づいて、前記ユーザの視点の相対方位を推定するので、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。なお、ユーザの顔の輪郭内の特徴点とは、本明細書では、例えば、輪郭画像の重心、目の中心、鼻の頭など、その輪郭を見た人が、その点によって顔の方向を認識するような点のことを意味するものとする。
【００１４】
（４）また、本発明の画像表示装置は、カメラと、前記カメラで撮影された画像からユーザの顔の輪郭を抽出する顔輪郭抽出部を備え、前記視点推定部は、前記画像内で定義される座標系において前記抽出されたユーザの顔の輪郭内の特徴点の座標を求め、前記座標と、前記カメラの既知の画角に基づいて、前記ユーザの視点の相対方位を推定することを特徴とする。
【００１５】
このように、画像内で定義される座標系において前記抽出されたユーザの顔の輪郭内の特徴点の座標を求め、前記座標と、前記カメラの既知の画角に基づいて、前記ユーザの視点の相対方位を推定するので、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。
【００１６】
（５）また、本発明の画像表示装置は、前記画面の少なくとも一つの辺上に人感センサを備え、前記視点推定部は、前記人感センサの反応に応じて、前記画面に対するユーザの視点の相対方位を推定することを特徴とする。
【００１７】
このように、各人感センサの反応に応じて、前記画面に対するユーザの視点の相対方位を推定するので、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。
【００１８】
（６）また、本発明の画像表示装置において、前記カメラは、魚眼カメラであることを特徴とする。
【００１９】
このように、魚眼カメラで撮影された画像からユーザの顔の輪郭を抽出し、前記画像内で定義される座標系において前記抽出されたユーザの顔の輪郭内の任意の点の座標を求め、前記座標と、前記カメラの既知の画角に基づいて、前記相対方位の補正角度を算出し、補正角度に基づいて、画面に表示する画像を拡大し、縮小し、または回転させるので、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。
【００２０】
（７）また、本発明の画像表示装置は、ユーザの操作を受け付けて前記画面に対するユーザの視点の相対方位を選定する相対方位指定部を更に備え、前記視点推定部は、前記相対方位指定部を介して入力された相対方位を特定することを特徴とする。
【００２１】
このように、相対方位指定部を介して入力された相対方位を特定するので、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。なお、ここで「相対方位指定部」とは、トラックボール、レバー、ダイヤル、タッチパネルで操作可能な画面上のスライダ等、角度を指定できるような手段を指すものとする。
【００２２】
（８）また、本発明のプログラムは、ユーザの視点の相対方位に応じて画面に表示する画像の形状を補正する画像表示装置のプログラムであって、前記画面に対するユーザの視点の相対方位を推定する処理と、前記推定した視点の相対方位に応じて前記画面に表示する画像を拡大し、縮小し、または回転させる処理と、の一連の処理を、コンピュータに実行させることを特徴とする。
【００２３】
このように、画面に対するユーザの視点の相対方位を推定し、推定した視点の相対方位に応じて画面に表示する画像を拡大し、縮小し、または回転させるので、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。なお、ここで相対方位とは、３次元的な方向性を包括的に表した概念であって、例えば画面の中心を原点として設定した３次元座標上のベクトル表現や、単位ベクトルのオイラー角回転表現（方位角と仰角の組）、ロール・ピッチ・ヨー表現（X, Y, Z 各軸に対する回転角の組）で表すことができるものとする。
【００２４】
（９）また、本発明の集積回路は、画像表示装置に実装されることにより、前記画像表示装置に複数の機能を発揮させる集積回路であって、ユーザの視点の相対方位に応じて画面に表示する画像の形状を補正する機能と、前記画面に対するユーザの視点の相対方位を推定する機能と、前記推定した視点の相対方位に応じて前記画面に表示する画像を拡大し、縮小し、または回転させる機能と、の一連の機能を、前記画像表示装置に発揮させることを特徴とする。
【００２５】
このように、画面に対するユーザの視点の相対方位を推定し、推定した視点の相対方位に応じて画面に表示する画像を拡大し、縮小し、または回転させるので、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。なお、ここで相対方位とは、３次元的な方向性を包括的に表した概念であって、例えば画面の中心を原点として設定した３次元座標上のベクトル表現や、単位ベクトルのオイラー角回転表現（方位角と仰角の組）、ロール・ピッチ・ヨー表現（X, Y, Z 各軸に対する回転角の組）で表すことができるものとする。
【００２６】
（１０）また、本発明の画像表示方法は、ユーザの視点の相対方位に応じて画面に表示する画像の形状を補正する画像表示方法であって、前記画面に対するユーザの視点の相対方位を推定するステップと、前記推定した視点の相対方位に応じて前記画面に表示する画像を拡大し、縮小し、または回転させるステップと、を少なくとも含むことを特徴とする。
【００２７】
このように、画面に対するユーザの視点の相対方位を推定し、推定した視点の相対方位に応じて画面に表示する画像を拡大し、縮小し、または回転させるので、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。なお、ここで相対方位とは、３次元的な方向性を包括的に表した概念であって、例えば画面の中心を原点として設定した３次元座標上のベクトル表現や、単位ベクトルのオイラー角回転表現（方位角と仰角の組）、ロール・ピッチ・ヨー表現（X, Y, Z 各軸に対する回転角の組）で表すことができるものとする。
【発明の効果】
【００２８】
本発明によれば、推定したユーザの視点の相対方位に応じて、画面に表示する画像の少なくとも前後または左右方向の長さを変更するので、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】本実施形態に係る情報端末装置の外観を示す図である。
【図２】第１の実施形態に係る画像表示装置の概略構成を示すブロック図である。
【図３】第１の実施形態に係る画像表示装置の動作を示すフローチャートである。
【図４】第１の実施形態に係る画像表示装置の外観を示す図である。
【図５】ユーザの顔の輪郭の重心位置をカメラ画像内座標系で表わす様子を示す図である。
【図６】画像変形処理後の画像の一例を示す図である。
【図７】画像変形処理後の画像の一例を示す図である。
【図８】画像変形処理後の画像の一例を示す図である。
【図９】画像変形処理後の画像の一例を示す図である。
【図１０】第２の実施形態に係る画像表示装置の概略構成を示すブロック図である。
【図１１】第２の実施形態に係る画像表示装置の外観を示す図である。
【図１２Ａ】第２の実施形態に係る画像表示装置の動作を示すフローチャートである。
【図１２Ｂ】人感センサの各素子の反応の有無と方位角との関係を示す表である。
【図１２Ｃ】第２の実施形態の変形例の動作を示すフローチャートである。
【図１２Ｄ】第２の実施形態の変形例の概念を示す図である。
【図１３】第３の実施形態に係る画像表示装置の概略構成を示すブロック図である。
【図１４】第３の実施形態に係る画像表示装置の外観を示す図である。
【図１５】魚眼カメラ４０で撮影した画像の一例を示す図である。
【図１６】第３の実施形態に係る画像表示装置の動作を示すフローチャートである。
【図１７】第４の実施形態に係る画像表示装置の概略構成を示すブロック図である。
【図１８】第４の実施形態に係る画像表示装置の外観を示す図である。
【図１９】第４の実施形態に係る画像表示装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、本発明の実施形態について図面を参照して説明する。図１は、本実施形態に係る情報端末装置の外観を示す図である。情報端末装置１は、画像表示装置２と、本体３とから構成されており、これらが一体化して平板状に形成されている。画像表示装置２には、各種の動画または静止画が表示される。また、情報端末装置１は、平面上に寝かせて使用することが可能であり、また、ユーザが手に持ったり、壁に立てかけたりして使用することも可能である。
【００３１】
（第１の実施形態）
図２は、第１の実施形態に係る画像表示装置の概略構成を示すブロック図である。この画像表示装置２は、例えば、液晶ディスプレイで構成される表示部（モニタ）２０を備えている。また、カメラ２１は、上下左右に回転可能に設けられており、ユーザの顔を撮影する。回転角センサ２２は、カメラ２１の回転角を検出する。顔輪郭抽出部２３は、カメラ２１で撮影したユーザの顔の映像から顔の輪郭を抽出する。ユーザ視点推定部２４は、顔輪郭抽出部２３で抽出したユーザの顔の輪郭に基づいて、ユーザの視点の位置を推定する。表示画像生成部２５は、表示部２０に表示する画像を生成する。表示画像変形部２６は、ユーザ視点推定部２４で推定されたユーザの視点の位置に応じて、表示部２０に表示する画像を変形（補正）する。
【００３２】
図３は、第１の実施形態に係る画像表示装置の動作を示すフローチャートである。まず、カメラ２１でユーザの顔の写真を撮影する。その時、回転角センサ２２が、カメラ２１の方位角θ０と仰角φ０を検出する（ステップＳ１）。この様子を図４に示す。次に、顔輪郭抽出部２３が、カメラ２１に移っているユーザの画像から、ユーザの顔の輪郭を検出し、その重心位置をカメラ画像内座標系で表わした値（ｘ，ｙ）を求める（ステップＳ２）。この様子を図５に示す。次に、事前に測定しておいたカメラの水平方向の画角αと、垂直方向の画角βとに基づいて、ユーザ視点推定部２４が、補正済方位角θと補正済仰角φを、次式から求める（ステップＳ３）。
θ＝θ０＋ｘα
φ＝φ０＋ｙβ
【００３３】
次に、ユーザ視点推定部２４は、方位角および仰角の直近３回の測定結果が一致したかどうかを判断する（ステップＳ４）。この判断の結果、方位角および仰角の直近３回の測定結果が一致しなかった場合は、処理を終了する。一方、方位角および仰角の直近３回の測定結果が一致した場合は、ユーザ視点推定部２４が求めた値に基づいて、表示画像生成部２５が生成した画像を表示画像変形部２６が変形（補正）する（ステップＳ５）。変形のさせ方は、以下に示す４通りのいずれかである。どれを使うかは、あらかじめユーザが選択する。
（１）方位角θ方向に画像をｓｉｎ−１φ倍に拡大する（図６参照）。
（２）方位角θと直交する方向に画像をｓｉｎφ倍に縮小する（図７参照）。
（３）ｙ軸方向にｓｉｎ−１φ倍に拡大した後、ｙ軸が方位角θと一致するように画像全体を画面の中央を中心として、回転させる（図８参照）。
（４）ｘ軸方向にｓｉｎφ倍に縮小した後、ｙ軸が方位角θと一致するように画像全体を画面の中央を中心として、回転させる（図９参照）。なお、ここでは、画像変換で画像を回転させる際、回転の中心を画面の中央としたが、必ずしも回転の中心は画面中央である必要はなく、例えば表示している画像に対し顔輪郭抽出を実施し、その結果抽出された輪郭画像の重心としても良いし、ユーザが指定する任意の場所としても良い。また、拡大した画像を表示する場合に、画像を画面の上下左右へのどちらへどのような割合ではみ出させるかについて、また、縮小した画像を表示する場合に余白を画面の上下左右のどちらへどれだけの割合で作るかについては、あらかじめユーザが選択するように構成することも可能である。
【００３４】
以上説明したように、第１の実施形態によれば、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。なお、ここでは顔輪郭抽出部の出力（x, y）に基づいて方位角と仰角を補正するとしたが、画像補正に使用する値は顔輪郭から求める必要は必ずしもなく、例えば、画像の一定閾値より暗い部分の重心から（x, y）を求める構成や、xを0、yは一定閾値より暗い点の中で最もy座標の小さいものとして（x, y）を決定する構成を採ることも可能である。また、補正をせず、回転角センサの出力だけでユーザの視点を推定する構成を採ることも可能である。また、ここではユーザ視点をオイラー角（方位角と仰角の組）で求め、それをもとに画像変換を行なうとしたが、ユーザ視点を求めるために画像変換を行なう場合に、必ずしもオイラー角を使用する必要はなく、ロール・ピッチ・ヨー角や３次元ベクトルを用いても良い。
【００３５】
なお、上記のステップＳ２の説明では、ユーザの顔の輪郭を検出し、その重心位置をカメラ画像内座標系で表わす例を示したが、本発明は、これに限定されるわけではない。本発明では、ユーザの顔の輪郭内の任意の点の座標を用いることも可能である。例えば、重心位置の他、ユーザの顔の目の中間や鼻の頭の位置の座標を用いても良い。
【００３６】
また、上記のステップＳ４の説明では、ユーザ視点推定部２４が、方位角および仰角の直近３回の測定結果が一致したかどうかを判断する例を示したが、本発明は、これに限定されるわけではない。すなわち、測定回数は３回である必要はなく、３回以上または未満であっても良い。また、比較対象を回数で限定する必要はなく、例えば「３秒前までの全ての測定結果」等としてもよい。また、測定結果が一致した場合でなくても、例えば、“直近の測定結果が現在採用しているユーザの推定方位と１０度以上異なり、かつ直近３回の測定結果の平均との差分が１度以下である場合”とすることも可能である。
【００３７】
（第２の実施形態）
図１０は、第２の実施形態に係る画像表示装置の概略構成を示すブロック図である。図１１は、第２の実施形態に係る画像表示装置の外観を示す図である。第２の実施形態では、カメラの代わりに、アレイ型の人感センサ３０を用いる。このアレイ型の人感センサには、４つの人感センサ３１〜３４が含まれている。図１１に示すように、人感センサ３１〜３４は、それぞれ、画像表示装置２の４辺に設けられている。各人感センサ３１〜３４は、３つの素子から構成されている。各人感センサ３１〜３４は、仰角０度〜３０度のみに反応する素子ａと、仰角３０度〜６０度のみに反応する素子ｂと、仰角６０度〜９０度のみに反応する素子ｃと、から構成されている。例えば、人感センサ３１は、素子３１ａ〜素子３１ｃを備えている。その他の構成は、第１の実施形態と同様である。
【００３８】
図１２Ａは、第２の実施形態に係る画像表示装置の動作を示すフローチャートである。まず、人感センサ３１の素子３１ａ、３２ａ、３３ａ、３４ａのいずれかに反応があるかどうかを判断する（ステップＳ１０）。ステップＳ１０の判断の結果、いずれの素子にも反応が無い場合は、処理を中止する。一方、いずれかの素子に反応があった場合は、図１２Ｂに示す表に従って、方位角θを決定する（ステップＳ１１）。
【００３９】
次に、素子Ｘ３に反応があるかどうかを判断する（ステップＳ１２）。ここで、素子Ｘｎ（ｎは１〜３の自然数）とは、その直前のステップで反応が検出された素子と同じアレイに配置されている素子を示す。ステップＳ１２において、素子Ｘ３に反応がある場合は、仰角φを９０度として（ステップＳ１３）、ステップＳ１７に遷移する。一方、ステップＳ１２において、素子Ｘ３に反応が無い場合は、素子Ｘ２に反応があるかどうかを判断する（ステップＳ１４）。素子Ｘ２に反応がある場合は、仰角φを４５度として（ステップＳ１５）、ステップＳ１７に遷移する。一方、ステップＳ１４において、素子Ｘ２に反応が無い場合は、仰角φを３０度として（ステップＳ１６）、ステップＳ１７に遷移する。ステップＳ１７では、上述した画像変形処理が行なわれる。
【００４０】
以上説明したように、第２の実施形態によれば、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。なお、人感センサについては、特定の方向については無視しても良い。この場合、４辺すべてにセンサを搭載する必要はなく、画面の周囲のどこかに一つでもセンサがあれば良い。例えば、センサが１つである場合は、センサに反応があった時に、センサの取り付け方向を方位角θとして上記画像変形処理を適用する。センサが２つである場合は、図１２Ａ、図１２Ｂで示した処理と同様に、反応が検出されるかどうかを１つ目のセンサから順に判定し、反応があれば、そのセンサの取り付け方向を方位角θとして上記画像変形処理を適用することが可能である。なお、上記の説明では、人感センサを構成する素子が３つである例を示したが、本発明は、これに限定されるわけではない。
【００４１】
（第２の実施形態の変形例）
第２の実施形態は、次のように変形させて適用することも可能である。図１２Ｃは、第２の実施形態の変形例の動作を示すフローチャートである。また、図１２Ｄは、第２の実施形態の変形例の概念を示す図である。図１２Ｃにおいて、まず、人感センサ３１の素子３１ａ、３２ａ、３３ａ、３４ａのいずれかに反応があるかどうかを判断する（ステップＳ１２０）。ステップＳ１２０の判断の結果、いずれの素子にも反応が無い場合は、処理を中止する。一方、いずれかの素子に反応があった場合は、反応があった素子のうち、ユーザまでの距離が最も短かった素子を選ぶ（ステップＳ１２１）。そして、複数の素子が同じ距離を検出した場合は、その中から設置位置の方位角が最も小さいものを選ぶ（ステップＳ１２１）。
【００４２】
次に、選んだ素子に隣接する素子においても、距離を検出することができたかどうかを判断する（ステップＳ１２２）。ステップＳ１２２において、選んだ素子に隣接する素子においても、距離を検出することができなかった場合は、選んだ素子の設置位置の方位角をユーザの方位角θとし（ステップＳ１２３）、ステップＳ１２７へ遷移する。
【００４３】
一方、ステップＳ１２２において、選んだ素子に隣接する素子においても、距離を検出することができた場合は、図１２Ｄに示すように、選んだ素子と、それに隣接する素子のうち、検出できた距離がより短いものとについて、それぞれの設置位置を中心とし、ユーザまでの距離を半径とする円を描く（ステップＳ１２４）。次に、描いた２つの円が、交わっているかどうかを判断する（ステップＳ１２５）。ステップＳ１２５において、描いた２つの円が、交わっていない場合は、ステップＳ１２３へ遷移する。一方、ステップＳ１２５において、描いた２つの円が、交わっている場合は、２円の交点のうち、画面中央から遠い方を採用し、その交点の画面中央からみた方位角を、ユーザの方位角θとし（ステップＳ１２６）、ステップＳ１２７へ遷移する。ステップＳ１２７では、後述する第３の実施形態と同じ処理を行なう。
【００４４】
（第３の実施形態）
図１３は、第３の実施形態に係る画像表示装置の概略構成を示すブロック図である。図１４は、第３の実施形態に係る画像表示装置の外観を示す図である。第３の実施形態では、魚眼カメラを用いる。図１４に示すように、魚眼カメラ４０は、画像表示装置２の上部の中央に１つ設けられている。その他の構成は、第１の実施形態と同様である。
【００４５】
図１５は、魚眼カメラ４０で撮影した画像の一例を示す図である。図１５では、画像の半径を１とし、ユーザの顔の画像について、方位角θと中心からの距離Ｌを用いる。図１６は、第３の実施形態に係る画像表示装置の動作を示すフローチャートである。まず、顔輪郭抽出部２３が、魚眼カメラ４０の画像からユーザの顔の輪郭を抽出し、その中心位置の方位角θと中心からの距離Ｌを計算する（ステップＳ３０）。次に、ユーザ視点推定部２４が、仰角φを求める（ステップＳ３１）。仰角φは、次式で算出することができる。
φ＝ａｒｃｃｏｓＬ
そして、上述した画像変形処理が行なわれる（ステップＳ３２）。
【００４６】
以上説明したように、第３の実施形態によれば、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。
【００４７】
（第４の実施形態）
図１７は、第４の実施形態に係る画像表示装置の概略構成を示すブロック図である。図１８は、第４の実施形態に係る画像表示装置の外観を示す図である。第４の実施形態では、相対方位指定部としてのユーザ視点情報入力トラックボール（システム）５０を用いる。図１８に示すように、トラックボール５０ａが、画像表示装置２の下部の右側に１つ設けられている。ユーザは、このトラックボール５０ａを操作することによって、ユーザの視点情報を入力する。すなわち、ユーザは、画像を変形させたい分量だけ、トラックボール５０ａを操作する。表示画像変形部２６は、トラックボール５０ａの動作に対応して表示部２０に表示する画像を変形する。
【００４８】
図１９は、第４の実施形態に係る画像表示装置の動作を示すフローチャートである。ユーザ視点推定部２４が、現在のトラックボール５０ａの回転状態を測定し、その状態を情報端末装置１の起動時のトラックボール位置を原点として、方位角θ、仰角φで表わす（ステップＳ４０）。そして、画像変形処理を行なう（ステップＳ４１）。
【００４９】
以上説明したように、第４の実施形態によれば、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。なお、ここではトラックボール本発明に適用した実施形態を示したが、本発明は、トラックボールに限られるわけではない。すなわち、トラックボール以外であっても、例えば、レバー、ダイヤル、タッチパネルで操作可能な画面上のスライダ等で角度を指定する構成を採ることも可能である。
【００５０】
なお、画面に表示する画像を変形させる場合、単純に引き延ばしても良いが、台形状にしたり、ユーザから遠い方を横に伸ばしたりしても良い。また、画面が３Ｄに対応している場合も、本発明は適用可能である。
【００５１】
また、本発明は、コンピュータにプログラムを実行させることによって実現することが可能である。すなわち、本発明のプログラムは、ユーザの視点の相対方位に応じて画面に表示する画像の形状を補正する画像表示装置のプログラムであって、前記画面に対するユーザの視点の相対方位を推定する処理と、前記推定した視点の相対方位に応じて前記画面に表示する画像を拡大し、縮小し、または回転させる処理と、の一連の処理を、コンピュータに実行させることを特徴とする。
【００５２】
このように、画面に対するユーザの視点の相対方位を推定し、推定した視点の相対方位に応じて画面に表示する画像を拡大し、縮小し、または回転させるので、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。なお、ここで相対方位とは、３次元的な方向性を包括的に表した概念であって、例えば画面の中心を原点として設定した３次元座標上のベクトル表現や、単位ベクトルのオイラー角回転表現（方位角と仰角の組）、ロール・ピッチ・ヨー表現（X, Y, Z 各軸に対する回転角の組）で表すことができるものとする。
【００５３】
また、本発明は、いわゆるチップ等の集積回路で実現することも可能である。すなわち、本発明の集積回路は、画像表示装置に実装されることにより、前記画像表示装置に複数の機能を発揮させる集積回路であって、ユーザの視点の相対方位に応じて画面に表示する画像の形状を補正する機能と、前記画面に対するユーザの視点の相対方位を推定する機能と、前記推定した視点の相対方位に応じて前記画面に表示する画像を拡大し、縮小し、または回転させる機能と、の一連の機能を、前記画像表示装置に発揮させることを特徴とする。
【００５４】
このように、画面に対するユーザの視点の相対方位を推定し、推定した視点の相対方位に応じて画面に表示する画像を拡大し、縮小し、または回転させるので、ユーザが画面を斜めから見た場合であっても、画像の歪みが少なく、ユーザにとって見易い画像を提供することが可能となる。なお、ここで相対方位とは、３次元的な方向性を包括的に表した概念であって、例えば画面の中心を原点として設定した３次元座標上のベクトル表現や、単位ベクトルのオイラー角回転表現（方位角と仰角の組）、ロール・ピッチ・ヨー表現（X, Y, Z 各軸に対する回転角の組）で表すことができるものとする。
【符号の説明】
【００５５】
１  情報端末装置
２  画像表示装置
３  本体
２０  表示部（モニタ）
２１  カメラ
２２  回転角センサ
２３  顔輪郭抽出部
２４  ユーザ視点推定部
２５  表示画像生成部
２６  表示画像変形部
３０  人感センサ
３１〜３４  人感センサ
４０  魚眼カメラ
５０  ユーザ視点情報入力トラックボール（システム）
５０ａ  トラックボール
【図１】
2013127672.tif 000003
【図２】
2013127672.tif 000004
【図３】
2013127672.tif 000005
【図４】
2013127672.tif 000006
【図５】
2013127672.tif 000007
【図６】
2013127672.tif 000008
【図７】
2013127672.tif 000009
【図８】
2013127672.tif 000010
【図９】
2013127672.tif 000011
【図１０】
2013127672.tif 000012
【図１１】
2013127672.tif 000013
【図１２Ａ】
2013127672.tif 000014
【図１２Ｂ】
2013127672.tif 000015
【図１２Ｃ】
2013127672.tif 000016
【図１２Ｄ】
2013127672.tif 000017
【図１３】
2013127672.tif 000018
【図１４】
2013127672.tif 000019
【図１５】
2013127672.tif 000020
【図１６】
2013127672.tif 000021
【図１７】
2013127672.tif 000022
【図１８】
2013127672.tif 000023
【図１９】
2013127672.tif 000024