(57)【要約】【課題】利用者が携帯端末装置の画面を見る角度に応じて画像を補正する。【解決手段】携帯端末装置１は、画像を表示する表示部５と、表示部５の画面を見ている利用者を撮影するカメラ８と、自装置の加速度を計測する加速度センサ９と、自装置の角速度を計測する角速度センサ１０と、カメラ８によって撮影された画像データから、利用者の眼球座標と注視点座標とを取得する画像解析処理部３０と、眼球座標および注視点座標、自装置の加速度および角速度から、利用者が画面を見難い状態か否かを判断する補正判断部３２と、利用者が画面を見難い状態と判断された場合に、加速度および角速度をキャンセルするように画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように画像の形状を変化させる画像補正部３３とを備える。【選択図】  図１
2011234272.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示手段と、
この表示手段の画面を見ている利用者を撮影するカメラと、
自装置の加速度を計測する加速度センサと、
自装置の角速度を計測する角速度センサと、
前記カメラによって撮影された画像データから、利用者の眼球座標と注視点座標とを取得する画像解析処理手段と、
前記眼球座標および注視点座標、自装置の加速度および角速度から、利用者が画面を見難い状態か否かを判断する補正判断手段と、
利用者が画面を見難い状態と判断された場合に、前記加速度および角速度をキャンセルするように画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように画像の形状を変化させる画像補正手段とを備えることを特徴とする携帯端末装置。
【請求項２】
請求項１記載の携帯端末装置において、
前記画像補正手段は、前記画像の補正により、画像補正時に想定した視線と実際に検出される利用者の視線とに角度のずれがなくなっているときに、画像の輝度を増大させることを特徴とする携帯端末装置。
【請求項３】
請求項１または２記載の携帯端末装置において、
前記画像補正手段は、自装置の加速度と利用者の注視点座標の変化を微分した加速度との差をキャンセルするように画像を補正することを特徴とする携帯端末装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の携帯端末装置において、
前記補正判断手段は、前記加速度のパラメータ、前記角速度のパラメータ、前記表示手段の画面の垂線と利用者の視線との角度のずれのパラメータのうち少なくとも１つが、所定の閾値範囲を超えているときに、利用者が画面を見難い状態と判断することを特徴とする携帯端末装置。
【請求項５】
携帯端末装置から、この携帯端末装置の画面を見ている利用者の画像データと前記携帯端末装置の加速度のデータと前記携帯端末装置の角速度のデータとを受信する受信手段と、
前記画像データから、前記携帯端末装置の利用者の眼球座標と注視点座標とを取得する画像解析処理手段と、
前記眼球座標および注視点座標、前記携帯端末装置の加速度および角速度から、前記携帯端末装置の利用者が画面を見難い状態か否かを判断する補正判断手段と、
前記携帯端末装置の利用者が画面を見難い状態と判断された場合に、前記加速度および角速度をキャンセルするように、前記携帯端末装置に送信する画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように、前記携帯端末装置に送信する画像の形状を変化させる画像補正手段と、
この画像補正手段によって補正された画像を前記携帯端末装置に送信する送信手段とを備えることを特徴とするサーバ装置。
【請求項６】
請求項５記載のサーバ装置において、
前記画像補正手段は、前記画像の補正により、画像補正時に想定した視線と実際に検出される利用者の視線とに角度のずれがなくなっているときに、画像の輝度を増大させることを特徴とするサーバ装置。
【請求項７】
請求項５または６記載のサーバ装置において、
前記画像補正手段は、前記携帯端末装置の加速度と利用者の注視点座標の変化を微分した加速度との差をキャンセルするように画像を補正することを特徴とするサーバ装置。
【請求項８】
請求項５乃至７のいずれか１項に記載のサーバ装置において、
前記補正判断手段は、前記加速度のパラメータ、前記角速度のパラメータ、前記携帯端末装置の画面の垂線と利用者の視線との角度のずれのパラメータのうち少なくとも１つが、所定の閾値範囲を超えているときに、前記携帯端末装置の利用者が画面を見難い状態と判断することを特徴とするサーバ装置。
【請求項９】
携帯端末装置の画面を見ている利用者をカメラで撮影する撮影ステップと、
前記カメラによって撮影された画像データから、利用者の眼球座標と注視点座標とを取得する画像解析処理ステップと、
前記携帯端末装置の加速度および角速度を計測する計測ステップと、
前記眼球座標および注視点座標、前記携帯端末装置の加速度および角速度から、利用者が画面を見難い状態か否かを判断する補正判断ステップと、
利用者が画面を見難い状態と判断した場合に、前記加速度および角速度をキャンセルするように画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように画像の形状を変化させる画像補正ステップとを備えることを特徴とする携帯端末装置の画像補正方法。
【請求項１０】
携帯端末装置から、この携帯端末装置の画面を見ている利用者の画像データと前記携帯端末装置の加速度のデータと前記携帯端末装置の角速度のデータとを受信する受信ステップと、
前記画像データから、前記携帯端末装置の利用者の眼球座標と注視点座標とを取得する画像解析処理ステップと、
前記眼球座標および注視点座標、前記携帯端末装置の加速度および角速度から、前記携帯端末装置の利用者が画面を見難い状態か否かを判断する補正判断ステップと、
前記携帯端末装置の利用者が画面を見難い状態と判断した場合に、前記加速度および角速度をキャンセルするように、前記携帯端末装置に送信する画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように、前記携帯端末装置に送信する画像の形状を変化させる画像補正ステップと、
この画像補正ステップによって補正した画像を前記携帯端末装置に送信する送信ステップとを備えることを特徴とするサーバ装置の画像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置の振れまたは利用者の振れによる画像の見難さを軽減できるだけでなく、利用者が携帯端末装置の画面を正面から見ることができない場合でも画像の見難さを軽減することができる携帯端末装置、サーバ装置および画像補正方法に関するものである。
【背景技術】
【０００２】
従来、利用者が電車などの外乱の多い状況で携帯電話機などの携帯端末装置の画面を見ると、外乱によってブレが生じ、端末装置の画面が見難くなるという問題点があった。
そこで、特許文献１に開示された技術では、装置に設けた加速度センサを用いて、利用者の視線と画面とが交差する交差位置の移動量を算出し、算出した移動量に基づいて、利用者の視点と画面に表示される画像との相対位置が変化しないように画像の表示位置を移動させていた。
また、特許文献２に開示された技術では、装置に設けたカメラで利用者の顔を撮像して、カメラ座標系を基準とする利用者の顔の位置を求め、利用者の顔の位置の移動方向と移動量に応じて画像の表示位置を補正するようにしていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３２３２５５号公報
【特許文献２】特開２００７−２７４３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１、特許文献２に開示された技術では、利用者が携帯端末装置の画面を見る角度を考慮していないという問題点があった。利用者が携帯端末装置の画面を正面から見ることができない場合、表示されている画像を見難くなるが、特許文献１、特許文献２に開示された技術では、このような問題点に対応することができなかった。
【０００５】
本発明は、上記課題を解決するためになされたもので、利用者が携帯端末装置の画面を見る角度に応じて画像を補正することができる携帯端末装置、サーバ装置および画像補正方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の携帯端末装置は、画像を表示する表示手段と、この表示手段の画面を見ている利用者を撮影するカメラと、自装置の加速度を計測する加速度センサと、自装置の角速度を計測する角速度センサと、前記カメラによって撮影された画像データから、利用者の眼球座標と注視点座標とを取得する画像解析処理手段と、前記眼球座標および注視点座標、自装置の加速度および角速度から、利用者が画面を見難い状態か否かを判断する補正判断手段と、利用者が画面を見難い状態と判断された場合に、前記加速度および角速度をキャンセルするように画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように画像の形状を変化させる画像補正手段とを備えることを特徴とするものである。
【０００７】
また、本発明のサーバ装置は、携帯端末装置から、この携帯端末装置の画面を見ている利用者の画像データと前記携帯端末装置の加速度のデータと前記携帯端末装置の角速度のデータとを受信する受信手段と、前記画像データから、前記携帯端末装置の利用者の眼球座標と注視点座標とを取得する画像解析処理手段と、前記眼球座標および注視点座標、前記携帯端末装置の加速度および角速度から、前記携帯端末装置の利用者が画面を見難い状態か否かを判断する補正判断手段と、前記携帯端末装置の利用者が画面を見難い状態と判断された場合に、前記加速度および角速度をキャンセルするように、前記携帯端末装置に送信する画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように、前記携帯端末装置に送信する画像の形状を変化させる画像補正手段と、この画像補正手段によって補正された画像を前記携帯端末装置に送信する送信手段とを備えることを特徴とするものである。
【０００８】
また、本発明の携帯端末装置の画像補正方法は、携帯端末装置の画面を見ている利用者をカメラで撮影する撮影ステップと、前記カメラによって撮影された画像データから、利用者の眼球座標と注視点座標とを取得する画像解析処理ステップと、前記携帯端末装置の加速度および角速度を計測する計測ステップと、前記眼球座標および注視点座標、前記携帯端末装置の加速度および角速度から、利用者が画面を見難い状態か否かを判断する補正判断ステップと、利用者が画面を見難い状態と判断した場合に、前記加速度および角速度をキャンセルするように画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように画像の形状を変化させる画像補正ステップとを備えることを特徴とするものである。
【０００９】
また、本発明のサーバ装置の画像補正方法は、携帯端末装置から、この携帯端末装置の画面を見ている利用者の画像データと前記携帯端末装置の加速度のデータと前記携帯端末装置の角速度のデータとを受信する受信ステップと、前記画像データから、前記携帯端末装置の利用者の眼球座標と注視点座標とを取得する画像解析処理ステップと、前記眼球座標および注視点座標、前記携帯端末装置の加速度および角速度から、前記携帯端末装置の利用者が画面を見難い状態か否かを判断する補正判断ステップと、前記携帯端末装置の利用者が画面を見難い状態と判断した場合に、前記加速度および角速度をキャンセルするように、前記携帯端末装置に送信する画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように、前記携帯端末装置に送信する画像の形状を変化させる画像補正ステップと、この画像補正ステップによって補正した画像を前記携帯端末装置に送信する送信ステップとを備えることを特徴とするものである。
【発明の効果】
【００１０】
本発明によれば、カメラによって撮影された画像データから、利用者の眼球座標と注視点座標とを取得し、眼球座標および注視点座標、自装置の加速度および角速度から、利用者が画面を見難い状態か否かを判断し、利用者が画面を見難い状態と判断した場合に、加速度および角速度をキャンセルするように画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように画像の形状を変化させるので、携帯端末装置の振れまたは利用者の振れによる画像の見難さを軽減できるだけでなく、利用者が携帯端末装置の画面を正面から見ることができない場合でも、画像の見難さを軽減することができる。
【００１１】
また、本発明では、携帯端末装置から、この携帯端末装置の画面を見ている利用者の画像データと携帯端末装置の加速度のデータと携帯端末装置の角速度のデータとを受信し、画像データから、携帯端末装置の利用者の眼球座標と注視点座標とを取得し、眼球座標および注視点座標、携帯端末装置の加速度および角速度から、携帯端末装置の利用者が画面を見難い状態か否かを判断し、携帯端末装置の利用者が画面を見難い状態と判断した場合に、加速度および角速度をキャンセルするように、携帯端末装置に送信する画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように、携帯端末装置に送信する画像の形状を変化させるので、携帯端末装置の振れまたは利用者の振れによる画像の見難さを軽減できるだけでなく、利用者が携帯端末装置の画面を正面から見ることができない場合でも、画像の見難さを軽減することができる。また、本発明では、画像補正を、携帯端末装置側ではなく、画像を送信するサーバ装置側で行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施の形態に係る携帯端末装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る携帯端末装置の動作を示すフローチャートである。
【図３】利用者の眼球座標、注視点座標について説明する図である。
【図４】本発明の第１の実施の形態に係る携帯端末装置の補正判断部および画像補正部の動作を示すフローチャートである。
【図５】本発明の第１の実施の形態に係る携帯端末装置による画像補正の様子を模式的に示す図である。
【図６】本発明の第３の実施の形態に係るサーバ装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
［第１の実施の形態］
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の第１の実施の形態に係る携帯端末装置の構成を示すブロック図である。携帯端末装置１は、携帯端末装置全体を制御する制御部２と、各種の情報を表示するための表示部５と、キーボード等からなる操作部６と、基地局（不図示）との通信を行うための無線通信部７と、表示部５の画面を見ている利用者を撮影するカメラ８と、携帯端末装置１の加速度を計測する加速度センサ９と、携帯端末装置１の角速度を計測する角速度センサ１０とを有する。
【００１４】
制御部２は、ＣＰＵ３と、情報記憶のための記憶手段であるメモリ４とを有する。ＣＰＵ３は、メモリ４に格納されているプログラムに従って処理を行い、携帯端末装置１の各構成を制御する。また、ＣＰＵ３は、プログラムに従って処理を行うことにより、画像解析処理部３０と、加速度・角速度データ取得部３１と、補正判断部３２と、画像補正部３３として動作する。なお、図１では、携帯端末装置１の１例として携帯電話機の構成を示しているが、携帯電話機として必要なマイクロホンやスピーカについては記載を省略している。
【００１５】
携帯端末装置１の表示部５には、待ち受け、発信、着信、メール作成、メール受信、画像の撮影、画像の再生などの状況に応じて様々な画像が表示される。本実施の形態は、これらの画像に対して補正を実施するものである。
以下、本実施の形態の携帯端末装置１の動作を図２のフローチャートを参照して説明する。カメラ８は、表示部５の画面を見ている利用者を常に撮影している。画像解析処理部３０は、カメラ８によって撮影された画像データを処理して、利用者の眼球の座標と、利用者が見ている位置である注視点の座標を取得する（図２ステップＳ１）。
【００１６】
ここでは、図３に示すように、携帯端末装置１の表示部５の画面を基準とする画面座標系において、利用者の眼球座標（ＥＸ，ＥＹ，ＥＺ）と、注視点座標（ＰＸ，ＰＹ，ＰＺ）とを取得する。図３の例では、表示部５の画面と垂直な軸をＸ軸、Ｘ軸と垂直かつ画面と平行な軸をＹ軸、Ｘ軸およびＹ軸と垂直な軸をＺ軸とする。なお、利用者の眼球座標を取得する場合は、例えば両眼の間の座標を眼球座標とする。また、画像処理によって眼球座標と注視点座標とを取得することについては、公知の手法を適用することができるので、ここでは詳細な説明は省略する。
【００１７】
続いて、加速度・角速度データ取得部３１は、画像解析処理部３０が取得した注視点座標が携帯端末装置１の画面内に存在する場合、すなわち利用者が携帯端末装置１の画面を見ている場合（図２ステップＳ２においてＹＥＳ）、加速度センサ９から携帯端末装置１の加速度のデータを取得すると共に、角速度センサ１０から携帯端末装置１の角速度のデータを取得する（図２ステップＳ３）。
【００１８】
補正判断部３２は、利用者の眼球座標および注視点座標、携帯端末装置１の加速度および角速度から、利用者が画面を見難い状態か否かを判断し（図２ステップＳ４）、画像補正部３３は、利用者が画面を見難い状態と判断された場合に、表示部５に表示させる画像を補正して、見難さを軽減する（図２ステップＳ５）。
【００１９】
表示部５の画面の振れに関しては以下のケースが存在する。
（１）携帯端末装置１が振れていて明らかに見難いと判断できる場合。この場合については、加速度および角速度のデータから判断することができる。
（２）携帯端末装置１は振れていないが、利用者が振れているか、画面を正面から見ていない場合。この場合、加速度および角速度のデータから携帯端末装置１の状態を判断することができ、さらに眼球座標および注視点座標の時間変化から利用者の状態を判断することができる。
（３）携帯端末装置１が振れていて、利用者の注視点が追いついていない場合。この場合、加速度および角速度のデータから携帯端末装置１の状態を判断することができ、さらに眼球座標および注視点座標の時間変化から利用者の状態を判断することができる。
【００２０】
補正判断部３２は、以上のような各ケースの考え方に基づいて、利用者が画面を見難い状態か否かを判断する。図４は補正判断部３２および画像補正部３３の動作を示すフローチャートである。
まず、補正判断部３２は、利用者が画面を見難い状態か否かを判断するためのパラメータを計算する（図４ステップＳ１０）。
【００２１】
補正判断部３２は、利用者の注視点座標の変化を微分した加速度Ａ１と、加速度センサ９によって計測された加速度Ａ２との差（Ａ２−Ａ１）を加速度評価のパラメータＡとする。Ａ＝０のとき、利用者の視線と携帯端末装置１の振れとが同期していることになる。
また、補正判断部３２は、角速度センサ１０によって計測された角速度を角速度評価のパラメータＢとする。
【００２２】
また、補正判断部３２は、表示部５の画面の垂線と利用者の視線との角度のずれを利用者の視線の角度評価のパラメータＣとする。利用者の眼球と注視点とを結ぶ線が利用者の視線である。したがって、利用者の眼球座標と注視点座標とから、画面の垂線と利用者の視線との角度のずれＣを、図３に示すＺ軸廻りのＹａｗ角、Ｘ軸廻りのＲｏｌｌ角、Ｙ軸廻りのＰｉｔｃｈ角の各々について計算することができる。ここでは、Ｘ軸廻りの角度のずれをＣRoll、Ｙ軸廻りの角度のずれをＣPitch、Ｚ軸廻りの角度のずれをＣYawとする。ＣRoll＝０、ＣPitch＝０、ＣYaw＝０のとき、画面と利用者の視線とが直交していることになる。
【００２３】
次に、補正判断部３２は、ステップＳ１０で計算したパラメータが所定の閾値を超えているか否かを判断することにより、利用者が画面を見難い状態か否かを判断する（図４ステップＳ１１）。補正判断部３２は、加速度評価のパラメータＡが±αの範囲内の場合、問題ないと判断し、パラメータＡが±αの範囲を超えている場合、利用者が画面を見難い状態と判断する。また、補正判断部３２は、角速度評価のパラメータＢが±βの範囲内の場合、問題ないと判断し、パラメータＢが±βの範囲を超えている場合、利用者が画面を見難い状態と判断する。また、補正判断部３２は、角度評価のパラメータＣRoll，ＣPitch，ＣYawが全て±γの範囲内の場合、問題ないと判断し、パラメータＣRoll，ＣPitch，ＣYawのうち少なくとも１つが±γの範囲を超えている場合、利用者が画面を見難い状態と判断する。α，β，γは予め定められた閾値である。
【００２４】
画像補正部３３は、利用者が画面を見難い状態と判断された場合に、パラメータＡ，Ｂ，Ｃに応じて、表示部５に表示される画像を補正する（図４ステップＳ１２）。具体的には、画像補正部３３は、パラメータＡをキャンセルする逆方向の加速度で画像を移動させると共に、パラメータＢをキャンセルする逆方向の角速度で画像を３次元的に回転させ、さらにパラメータＣをキャンセルすべく、利用者が画面を正面から見ているときの見え方になるように画像の形状を変化させる。これにより、携帯端末装置１の振れまたは利用者の振れによる画像の見難さを軽減すると共に、利用者が携帯端末装置１の画面を正面から見ていないときの画像の見難さを軽減することができる。画像補正部３３による画像補正は、画像処理の技術を適用することで実現することができる。
【００２５】
図５（Ａ）〜図５（Ｃ）は画像補正の様子を模式的に示す図である。図５（Ａ）は利用者Ｕが携帯端末装置１の表示部５の画面を正面から見ている場合を示している。一方、図５（Ｂ）は表示部５の画面の垂線と利用者Ｕの視線Ｌとに角度のずれがある場合（パラメータＣRoll，ＣPitch，ＣYawのうち少なくとも１つが±γの範囲を超えている場合）を示している。この場合、画像補正部３３は、利用者Ｕが画面を正面から見ているときの見え方になるように画像の形状を変化させる。また、画像の形状を３次元的に変化させるときに、変形後の画像を、奥行きを表現しない画像とするのではなく、図５（Ｃ）に示すように奥行きを表現する３次元的な画像としてもよい。
【００２６】
以上のように、本実施の形態では、携帯端末装置１の振れまたは利用者の振れによる画像の見難さを軽減できるだけでなく、利用者が携帯端末装置１の画面を正面から見ることができない場合でも、画像の見難さを軽減することができる。
【００２７】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。第１の実施の形態の画像補正では、利用者もしくは携帯端末装置１の動きが激しい場合に画像の見難さが残ることがある。本実施の形態は、このような画像の見難さを軽減するためのものである。本実施の形態においても、携帯端末装置１の構成は第１の実施の形態と同様であるので、図１の符号を用いて説明する。
【００２８】
第１の実施の形態で説明した画像補正により、画像補正時に想定した視線と実際に検出される利用者の視線とに角度のずれがなくなっているときに、画像補正部３３は、画像の輝度を所定量だけ増大させる。利用者もしくは携帯端末装置１が激しく動いている状況では、画像を補正したとしても、画像補正時に想定した視線と実際に検出される利用者の視線との角度のずれが一瞬なくなるだけで、再びずれが生じるが、角度のずれがなくなっているときに画像の輝度を増大させることにより、残像効果を与えることができ、利用者もしくは携帯端末装置１の動きが激しい場合でも、画像の見難さを軽減することができる。
【００２９】
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。第１、第２の実施の形態では、画像補正を携帯端末装置１で行っているが、サーバ装置から送信する画像をサーバ装置側で補正するようにしてもよい。図６は本発明の第３の実施の形態に係るサーバ装置の構成を示すブロック図である。サーバ装置１１は、サーバ装置全体を制御する制御部１２と、ネットワークを介して携帯端末装置１との通信を行うための通信部１５とを有する。
【００３０】
制御部１２は、ＣＰＵ１３と、情報記憶のための記憶手段であるメモリ１４とを有する。ＣＰＵ１３は、メモリ１４に格納されているプログラムに従って処理を行い、サーバ装置１１の各構成を制御する。また、ＣＰＵ１３は、プログラムに従って処理を行うことにより、画像解析処理部１３０と、補正判断部１３１と、画像補正部１３２として動作する。携帯端末装置１の構成は第１、第２の実施の形態と同様であるので、図１の符号を用いて説明する。
【００３１】
携帯端末装置１のＣＰＵ３は、カメラ８によって撮影された画像データ、加速度センサ９によって計測された加速度のデータ、および角速度センサ１０によって計測された角速度のデータを無線通信部７を介してサーバ装置１１に送信する。
【００３２】
サーバ装置１１の通信部１５は、携帯端末装置１からデータを受信すると、受信したデータをＣＰＵ１３に渡す。画像解析処理部１３０は、携帯端末装置１から受信した画像データを処理して、携帯端末装置１の利用者の眼球座標と利用者の注視点座標とを取得する。この画像解析処理部１３０の動作は、携帯端末装置１の画像解析処理部３０と同様である。
【００３３】
続いて、補正判断部１３１は、画像解析処理部１３０が取得した注視点座標が携帯端末装置１の画面内に存在する場合、すなわち利用者が携帯端末装置１の画面を見ている場合、利用者の眼球座標および注視点座標、携帯端末装置１の加速度および角速度から、利用者が画面を見難い状態か否かを判断する。この補正判断部１３１の動作は、携帯端末装置１の補正判断部３２と同様である。
【００３４】
画像補正部１３２は、携帯端末装置１の利用者が画面を見難い状態と判断された場合に、携帯端末装置１に送信する画像を補正する。この画像補正部１３２の動作は、画像補正部３３と同様である。
通信部１５は、携帯端末装置１に送信する画像をＣＰＵ１３から受け取って、この画像をネットワークを介して携帯端末装置１に送信する。
携帯端末装置１の無線通信部７は、サーバ装置１１から受信した画像をＣＰＵ３に渡す。ＣＰＵ３は、この画像を表示部５に表示させる。
【００３５】
こうして、本実施の形態では、第１、第２の実施の形態で説明した画像補正をサーバ装置１１で実現することができる。
なお、第１〜第３の実施の形態の制御部２，１２は、上記のとおりＣＰＵ、メモリおよびインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。ＣＰＵは、メモリに格納されたプログラムに従って第１〜第３の実施の形態で説明した処理を実行する。
【００３６】
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００３７】
（付記１）画像を表示する表示手段と、この表示手段の画面を見ている利用者を撮影するカメラと、自装置の加速度を計測する加速度センサと、自装置の角速度を計測する角速度センサと、前記カメラによって撮影された画像データから、利用者の眼球座標と注視点座標とを取得する画像解析処理手段と、前記眼球座標および注視点座標、自装置の加速度および角速度から、利用者が画面を見難い状態か否かを判断する補正判断手段と、利用者が画面を見難い状態と判断された場合に、前記加速度および角速度をキャンセルするように画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように画像の形状を変化させる画像補正手段とを備えることを特徴とする携帯端末装置。
【００３８】
（付記２）付記１記載の携帯端末装置において、前記画像補正手段は、前記画像の補正により、画像補正時に想定した視線と実際に検出される利用者の視線とに角度のずれがなくなっているときに、画像の輝度を増大させることを特徴とする携帯端末装置。
【００３９】
（付記３）付記１または２記載の携帯端末装置において、前記画像補正手段は、自装置の加速度と利用者の注視点座標の変化を微分した加速度との差をキャンセルするように画像を補正することを特徴とする携帯端末装置。
【００４０】
（付記４）付記１乃至３のいずれか１項に記載の携帯端末装置において、前記補正判断手段は、前記加速度のパラメータ、前記角速度のパラメータ、前記表示手段の画面の垂線と利用者の視線との角度のずれのパラメータのうち少なくとも１つが、所定の閾値範囲を超えているときに、利用者が画面を見難い状態と判断することを特徴とする携帯端末装置。
【００４１】
（付記５）携帯端末装置から、この携帯端末装置の画面を見ている利用者の画像データと前記携帯端末装置の加速度のデータと前記携帯端末装置の角速度のデータとを受信する受信手段と、前記画像データから、前記携帯端末装置の利用者の眼球座標と注視点座標とを取得する画像解析処理手段と、前記眼球座標および注視点座標、前記携帯端末装置の加速度および角速度から、前記携帯端末装置の利用者が画面を見難い状態か否かを判断する補正判断手段と、前記携帯端末装置の利用者が画面を見難い状態と判断された場合に、前記加速度および角速度をキャンセルするように、前記携帯端末装置に送信する画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように、前記携帯端末装置に送信する画像の形状を変化させる画像補正手段と、この画像補正手段によって補正された画像を前記携帯端末装置に送信する送信手段とを備えることを特徴とするサーバ装置。
【００４２】
（付記６）付記５記載のサーバ装置において、前記画像補正手段は、前記画像の補正により、画像補正時に想定した視線と実際に検出される利用者の視線とに角度のずれがなくなっているときに、画像の輝度を増大させることを特徴とするサーバ装置。
【００４３】
（付記７）付記５または６記載のサーバ装置において、前記画像補正手段は、前記携帯端末装置の加速度と利用者の注視点座標の変化を微分した加速度との差をキャンセルするように画像を補正することを特徴とするサーバ装置。
【００４４】
（付記８）付記５乃至７のいずれか１項に記載のサーバ装置において、前記補正判断手段は、前記加速度のパラメータ、前記角速度のパラメータ、前記携帯端末装置の画面の垂線と利用者の視線との角度のずれのパラメータのうち少なくとも１つが、所定の閾値範囲を超えているときに、前記携帯端末装置の利用者が画面を見難い状態と判断することを特徴とするサーバ装置。
【００４５】
（付記９）携帯端末装置の画面を見ている利用者をカメラで撮影する撮影ステップと、前記カメラによって撮影された画像データから、利用者の眼球座標と注視点座標とを取得する画像解析処理ステップと、前記携帯端末装置の加速度および角速度を計測する計測ステップと、前記眼球座標および注視点座標、前記携帯端末装置の加速度および角速度から、利用者が画面を見難い状態か否かを判断する補正判断ステップと、利用者が画面を見難い状態と判断した場合に、前記加速度および角速度をキャンセルするように画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように画像の形状を変化させる画像補正ステップとを備えることを特徴とする携帯端末装置の画像補正方法。
【００４６】
（付記１０）携帯端末装置から、この携帯端末装置の画面を見ている利用者の画像データと前記携帯端末装置の加速度のデータと前記携帯端末装置の角速度のデータとを受信する受信ステップと、前記画像データから、前記携帯端末装置の利用者の眼球座標と注視点座標とを取得する画像解析処理ステップと、前記眼球座標および注視点座標、前記携帯端末装置の加速度および角速度から、前記携帯端末装置の利用者が画面を見難い状態か否かを判断する補正判断ステップと、前記携帯端末装置の利用者が画面を見難い状態と判断した場合に、前記加速度および角速度をキャンセルするように、前記携帯端末装置に送信する画像を補正すると同時に、利用者が画面を正面から見ているときの見え方になるように、前記携帯端末装置に送信する画像の形状を変化させる画像補正ステップと、この画像補正ステップによって補正した画像を前記携帯端末装置に送信する送信ステップとを備えることを特徴とするサーバ装置の画像補正方法。
【産業上の利用可能性】
【００４７】
本発明は、携帯端末装置の画像の見難さを軽減する技術に適用することができる。
【符号の説明】
【００４８】
１…携帯端末装置、２，１２…制御部、３，１３…ＣＰＵ、４，１４…メモリ、５…表示部、６…操作部、７…無線通信部、８…カメラ、９…加速度センサ、１０…角速度センサ、１１…サーバ装置、１５…制御部、３０，１３０…画像解析処理部、３１…加速度・角速度データ取得部、３２，１３１…補正判断部、３３，１３２…画像補正部。
【図１】
2011234272.tif 000003
【図２】
2011234272.tif 000004
【図３】
2011234272.tif 000005
【図４】
2011234272.tif 000006
【図５】
2011234272.tif 000007
【図６】
2011234272.tif 000008