(57)【要約】【課題】ユーザの視認性を向上させること。【解決手段】ユーザの顔を撮像する撮像部と、前記撮像部により撮像された顔の動きを検知する動き検知部と、前記動き検知部により時系列で検知された顔の動きに基づいて、次の時点で検知される前記顔の動きを予測する動き予測部と、画像データを表示する画像データ表示部と、前記画像データ表示部に対し、前記動き予測部により予測された顔の動きがキャンセルされる方向に前記画像データを動かす制御を実行する動き補正部と、を備える、画像安定化装置が提供される。【選択図】図３
2011257502.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの顔を撮像する撮像部と、
前記撮像部により撮像された顔の動きを検知する動き検知部と、
前記動き検知部により時系列で検知された顔の動きに基づいて、次の時点で検知される前記顔の動きを予測する動き予測部と、
画像データを表示する画像データ表示部と、
前記画像データ表示部に対し、前記動き予測部により予測された顔の動きがキャンセルされる方向に前記画像データを動かす制御を実行する動き補正部と、
を備える、
画像安定化装置。
【請求項２】
前記撮像部により撮像された顔の画像から視点の位置を検知する視点検知部と、
前記画像データのうち、前記視点検知部により検知された視点の位置を中心とする所定範囲の画像領域を保護領域に設定する保護領域設定部と、
をさらに備え、
前記動き補正部は、前記保護領域設定部により設定された保護領域の全てが表示される範囲内で、前記画像データ表示部に対し、前記動き予測部により予測された顔の動きがキャンセルされる方向に前記画像データを動かす制御を実行する、
請求項１に記載の画像安定化装置。
【請求項３】
前記撮像部により撮像された顔の画像から視点の位置を検知する視点検知部と、
前記画像データのうち、前記視点検知部により検知された視点の位置にある表示オブジェクトが含まれる所定サイズの注視領域を決定する注視領域決定部と、
をさらに備え、
前記動き補正部は、前記注視領域決定部により決定された注視領域が表示される範囲内で、前記画像データ表示部に対し、前記動き予測部により予測された顔の動きがキャンセルされる方向に前記画像データを動かす制御を実行する、
請求項１に記載の画像安定化装置。
【請求項４】
前記動き補正部は、前記画像データが表示される表示画面の枠と、前記注視領域との間の距離が短くなるにつれて前記顔の動きに対するキャンセルの度合いが徐々に小さくなるように、前記画像データ表示部に対し、前記動き予測部により予測された顔の動きがキャンセルされる方向に前記画像データを動かす制御を実行する、
請求項３に記載の画像安定化装置。
【請求項５】
ユーザの顔を撮像する撮像ステップと、
前記撮像ステップで撮像された顔の動きを検知する動き検知ステップと、
前記動き検知ステップにて時系列で検知された顔の動きに基づいて、次の時点で検知される前記顔の動きを予測する動き予測ステップと、
画像データを表示する画像データ表示ステップと、
前記画像データ表示ステップにおいて、前記動き予測ステップで予測された顔の動きがキャンセルされる方向に前記画像データを動かす制御を実行する動き補償ステップと、
を含む、
画像安定化方法。
【請求項６】
ユーザの顔を撮像する撮像機能と、
前記撮像機能により撮像された顔の動きを検知する動き検知機能と、
前記動き検知機能により時系列で検知された顔の動きに基づいて、次の時点で検知される前記顔の動きを予測する動き予測機能と、
画像データを表示する画像データ表示機能と、
前記画像データ表示機能に対し、前記動き予測機能により予測された顔の動きがキャンセルされる方向に前記画像データを動かす制御を実行する動き補償機能と、
をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像安定化装置、画像安定化方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、携帯電話、携帯ゲーム機、携帯情報端末、ノート型コンピュータ（以下、ノートＰＣ）、携帯音楽プレーヤ、デジタルビデオカメラやデジタルスチルカメラ（以下、撮像装置）など、小型の電子機器（以下、携帯機器）が広く普及するに至った。こうした携帯機器は、様々な場所で利用される。例えば、移動中の車内、街角、オフィスビルの待合室、自宅のリビングルームなどで携帯機器を利用しているユーザを見かけることがある。
【０００３】
このように、携帯機器が小型化し、その携帯性が向上するにつれて利用シーンが多様化してくる。しかし、携帯性の向上効果は、持ち運びの利便性を向上させるが、様々な利用シーンへの適用性を向上させるわけではない。例えば、携帯機器は小型であるため、車内に持ち込むことは容易であるが、大きく揺れる車内では素早く正確な操作は難しい。そのため、携帯機器を製造する各社は、携帯機器を把持する部分の構造を工夫したり、操作手段の形状を工夫したりしている。
【０００４】
また、大きく揺れる車内や歩行中において、携帯機器の表示手段に表示された画像や文字などを正しく認識し難いという問題もある。つまり、携帯機器の振動に伴って表示手段に表示された画像や文字などがぶれるため、その表示内容が見づらくなってしまうのである。このような画像や文字などのぶれは、ユーザの視神経に大きな疲労を与えてしまう。そこで、携帯機器の振動をキャンセルする方向に画像や文字などを動かして、画像や文字などのぶれを低減させる技術が開発された。
【０００５】
上記の技術に関し、例えば、下記の特許文献１には、携帯機器の振動を検知し、その振動がキャンセルされる方向に表示画像を動かす技術が開示されている。また、同文献には、表示画像を動かした際に画面上に表示されない領域を切り取る技術が開示されている。さらに、同文献には、加速度センサを用いて携帯機器の振動を検知する技術が開示されている。但し、同文献１に記載の技術は、携帯機器の振動をキャンセルするために、当該振動の位相と逆位相になる振動を算出し、その振動を表示画像に与えるというものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−２２１９５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、携帯機器の振動が生じるタイミングと、表示画像を動き補償するタイミングとの間には演算処理などに起因して遅延が生じる。そのため、携帯機器の振動が緩やかな場合には携帯機器に生じた振動の位相と、表示画像に与えられる振動の位相とがほぼ逆位相になるが、携帯機器の振動が激しい場合には両振動の位相は逆位相にならない。場合によっては、両振動の位相が強めあってしまう。その結果、ユーザの視点から見た表示画像の振動は大きくなり、ユーザの視神経に却って大きな疲労を与えてしまう。
【０００８】
例えば、揺れる車内で携帯機器を利用する場合には、携帯機器に小刻みで早い振動が生じることが多い。そのため、上記文献１の技術を適用すると、携帯機器の振動と、その振動をキャンセルするために表示画像に与えられた振動との間で頻繁に位相のずれが生じ、ユーザの視点に対する表示画像の振動が却って増大してしまう。また、人間の目は、視認対象の動きに対して追従する機能を有している。そのため、ユーザの視点に対して表示画像が完全に静止していなくても、その表示画像を正しく視認することができる。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、携帯機器に振動が生じた場合にユーザの視点に対する表示画像の振動を低減して、ユーザの疲労を軽減することが可能な、新規かつ改良された画像安定化装置、画像安定化方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、ユーザの顔を撮像する撮像部と、前記撮像部により撮像された顔の動きを検知する動き検知部と、前記動き検知部により時系列で検知された顔の動きに基づいて、次の時点で検知される前記顔の動きを予測する動き予測部と、画像データを表示する画像データ表示部と、前記画像データ表示部に対し、前記動き予測部により予測された顔の動きがキャンセルされる方向に前記画像データを動かす制御を実行する動き補正部と、を備える、画像安定化装置が提供される。
【００１１】
また、上記の画像安定化装置は、前記撮像部により撮像された顔の画像から視点の位置を検知する視点検知部と、前記画像データのうち、前記視点検知部により検知された視点の位置を中心とする所定範囲の画像領域を保護領域に設定する保護領域設定部と、をさらに備えていてもよい。この場合、前記動き補正部は、前記保護領域設定部により設定された保護領域の全てが表示される範囲内で、前記画像データ表示部に対し、前記動き予測部により予測された顔の動きがキャンセルされる方向に前記画像データを動かす制御を実行する。
【００１２】
また、上記の画像安定化装置は、前記撮像部により撮像された顔の画像から視点の位置を検知する視点検知部と、前記画像データのうち、前記視点検知部により検知された視点の位置にある表示オブジェクトが含まれる所定サイズの注視領域を決定する注視領域決定部と、をさらに備えていてもよい。この場合、前記動き補正部は、前記注視領域決定部により決定された注視領域が表示される範囲内で、前記画像データ表示部に対し、前記動き予測部により予測された顔の動きがキャンセルされる方向に前記画像データを動かす制御を実行する。
【００１３】
また、前記動き補正部は、前記画像データが表示される表示画面の枠と、前記注視領域との間の距離が短くなるにつれて前記顔の動きに対するキャンセルの度合いが徐々に小さくなるように、前記画像データ表示部に対し、前記動き予測部により予測された顔の動きがキャンセルされる方向に前記画像データを動かす制御を実行するように構成されていてもよい。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、ユーザの顔を撮像する撮像ステップと、前記撮像ステップで撮像された顔の動きを検知する動き検知ステップと、前記動き検知ステップにて時系列で検知された顔の動きに基づいて、次の時点で検知される前記顔の動きを予測する動き予測ステップと、画像データを表示する画像データ表示ステップと、前記画像データ表示ステップにおいて、前記動き予測ステップで予測された顔の動きがキャンセルされる方向に前記画像データを動かす制御を実行する動き補償ステップと、を含む、画像安定化方法が提供される。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、ユーザの顔を撮像する撮像機能と、前記撮像機能により撮像された顔の動きを検知する動き検知機能と、前記動き検知機能により時系列で検知された顔の動きに基づいて、次の時点で検知される前記顔の動きを予測する動き予測機能と、画像データを表示する画像データ表示機能と、前記画像データ表示機能に対し、前記動き予測機能により予測された顔の動きがキャンセルされる方向に前記画像データを動かす制御を実行する動き補償機能と、をコンピュータに実現させるためのプログラムが提供される。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、上記のプログラムが記録された、コンピュータにより読み取り可能な記録媒体が提供される。
【発明の効果】
【００１７】
以上説明したように本発明によれば、携帯機器に振動が生じた場合にユーザの視点に対する表示画像の振動を低減して、ユーザの疲労を軽減することが可能になる。
【図面の簡単な説明】
【００１８】
【図１】振動キャンセリングを適用する際に生じる課題について説明するための説明図である。
【図２】振動キャンセリングを適用する際に生じる課題について説明するための説明図である。
【図３】本発明の一実施形態に係る携帯機器の機能構成について説明するための説明図である。
【図４】同実施形態に係る画像安定化モジュールの動作について説明するための説明図である。
【図５】同実施形態に係る振動キャンセリングの適用制御方法について説明するための説明図である。
【図６】同実施形態に係る振動キャンセリングの適用制御方法について説明するための説明図である。
【図７】同実施形態に係る振動キャンセリングに用いる補正量の算出方法について説明するための説明図である。
【図８】同実施形態に係る振動キャンセリングに用いる補正量の算出方法について説明するための説明図である。
【図９】同実施形態に係る振動キャンセリングに用いる補正量の算出方法について説明するための説明図である。
【図１０】ＦＩＲフィルタの回路構成例を示す説明図である。
【図１１】同実施形態に係る振動キャンセリング方法について説明するための説明図である。
【図１２】同実施形態に係る振動キャンセリング方法について説明するための説明図である。
【図１３】同実施形態に係る振動キャンセリング方法について説明するための説明図である。
【図１４】同実施形態に係る振動キャンセリング方法について説明するための説明図である。
【図１５】同実施形態に係る振動キャンセリング方法について説明するための説明図である。
【図１６】同実施形態に係る振動キャンセリング方法について説明するための説明図である。
【図１７】同実施形態に係る振動キャンセリング方法について説明するための説明図である。
【図１８】同実施形態に係る振動キャンセリング方法について説明するための説明図である。
【図１９】同実施形態に係る振動キャンセリング方法について説明するための説明図である。
【図２０】同実施形態に係るレイヤーの多重化方法について説明するための説明図である。
【図２１】同実施形態に係るフィルタ強度の決定方法について説明するための説明図である。
【図２２】同実施形態に係る携帯機器が有する構成要素の機能を実現することが可能なハードウェア構成について説明するための説明図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
［説明の流れについて］
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。
【００２１】
まず、図１、図２を参照しながら、ユーザと機器が振動した場合に画像データの視認性に与える影響について考察する。次いで、図３を参照しながら、本発明の一実施形態に係る携帯機器１０の機能構成について説明する。次いで、図４を参照しながら、同実施形態に係るユーザ状態検知部１１５の動作について説明する。次いで、図５、図６を参照しながら、同実施形態に係るキャンセル適用強度の算出方法について説明する。
【００２２】
次いで、図７を参照しながら、同実施形態に係るフィルタ部１１６の動作について説明する。次いで、図８、図９を参照しながら、同実施形態に係る振動キャンセリングの適用時に用いる補正量の算出方法について説明する。この中で、図１０を参照しながら、同実施形態に係る振動キャンセリングの適用時に用いるフィルタの一例について述べる。
【００２３】
次いで、図１１、図１２を参照しながら、同実施形態に係る振動キャンセリングの適用時に考慮する保護領域、及び最大画面移動量の設定方法について説明する。また、図１３、図１３〜図１８を参照しながら、同実施形態に係る振動キャンセリングの適用時に考慮する注視領域、保護領域、及び最大画面移動量の設定方法についても説明する。次いで、図１９を参照しながら、同実施形態に係る動き補償方法について説明する。さらに、図２０を参照しながら、同実施形態に係るレイヤーの多重化方法について説明する。
【００２４】
また、図２１を参照しながら、同実施形態の一変形例に係るレイヤーの用途に応じたキャンセル適用強度の制御方法について説明する。次いで、図２２を参照しながら、同実施形態に係る携帯機器１０の機能を実現することが可能なハードウェアの構成について説明する。最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。
【００２５】
（説明項目）
１：はじめに
２：実施形態
２−１：携帯機器１０の機能構成
２−２：ユーザ状態検知部１１５の動作
２−２−１：処理の流れ
２−２−２：振動係数の算出方法
２−２−３：キャンセル適用強度の算出方法
２−３：フィルタ部１１６の動作
２−３−１：処理の流れ
２−３−２：予測位置の算出
２−３−３：補正量の算出
２−３−４：保護領域等を考慮した最大画面移動量の決定方法
２−３−５：注目領域を考慮した最大画面移動量の決定方法
２−４：変形例（レイヤーの用途に応じたキャンセル適用強度の制御方法）
３：ハードウェア構成
４：まとめ
【００２６】
＜１：はじめに＞
はじめに、図１、図２を参照しながら、携帯機器１０とユーザ２０が共に振動した場合に画像データ（表示オブジェクト１４）の視認性に与える影響について考察する。先に説明したように、携帯電話や携帯ゲーム機などの携帯機器１０は、揺れる車内で利用されたり、歩行中に利用されたりする。この場合、携帯機器１０がユーザ２０の視点に対して振動するため、画面に表示された表示オブジェクト１４の視認性が低下してしまう。
【００２７】
そこで、このような視認性の低下を抑制するため、携帯機器１０の振動を検知し、その振動をキャンセルするように表示オブジェクト１４を動かす技術が考案されている。しかしながら、図１に示すように、携帯機器１０の振動とユーザ２０の振動に相関がない場合、携帯機器１０の振動をキャンセルするように表示オブジェクト１４を動かしても、ユーザ２０の視点に対する表示オブジェクト１４の振動はキャンセルされない。
【００２８】
一方、図２に示すように、携帯機器１０の振動とユーザ２０の振動に相関がある場合、携帯機器１０の振動をキャンセルするように表示オブジェクト１４を動かすと、ユーザ２０の視点に対する表示オブジェクト１４の振動はキャンセルされる。つまり、携帯機器１０とユーザ２０が共に振動することにより、両者の相対的な位置関係が変化しており、この変化をキャンセルするように表示オブジェクト１４を動かさなければ、ユーザ２０の視点に対する表示オブジェクト１４の振動はキャンセルされない。
【００２９】
そこで、本件発明者は、携帯機器１０から見たユーザ２０の動き（相対的な動き）がキャンセルされる方向に表示オブジェクト１４を動かす方法を考案した。以下、この方法について詳細に説明する。
【００３０】
＜２：実施形態＞
本発明の一実施形態について説明する。本実施形態は、携帯機器１０に振動が加えられた状況で、ユーザ２０の視点に対して生じる表示オブジェクト１４の振動を低減させる方法に関する。特に、本実施形態は、携帯機器１０、ユーザ２０が無相関に振動している場合でも、ユーザ２０の視点に対する表示オブジェクト１４の振動を低減させる方法に関する。なお、この方法は、ユーザ２０の視点に対して表示オブジェクト１４を「静止」させる方法ではなく、ユーザの疲労を軽減させるために表示オブジェクト１４の振動を「低減」させる方法である点に注意されたい。
【００３１】
［２−１：携帯機器１０の機能構成］
まず、図３を参照しながら、本実施形態に係る携帯機器１０の機能構成について説明する。図３は、本実施形態に係る携帯機器１０の機能構成について説明するための説明図である。
【００３２】
図３に示すように、携帯機器１０は、主に、画像安定化モジュール１１と、多重化部１２と、表示部１３とにより構成される。画像安定化モジュール１１は、ユーザ２０の視点に対する表示オブジェクト１４の振動を低減させる手段である。多重化部１２は、複数のレイヤーを多重化して表示オブジェクト１４を生成する手段である。表示部１３は、多重化部１２により生成された表示オブジェクト１４を表示する手段である。本実施形態に係る携帯機器１０の特徴は、主に、画像安定化モジュール１１の構成にある。そこで、以下では画像安定化モジュール１１の構成について、より詳細に説明する。
【００３３】
図１に示すように、画像安定化モジュール１１は、主に、画像データ取得部１１１と、撮像データ取得部１１２と、ユーザ入力部１１３と、ＦＩＦＯバッファ１１４と、ユーザ状態検知部１１５とを有する。さらに、画像安定化モジュール１１は、フィルタ部１１６と、補正ベクトル生成部１１７と、動き補償部１１８とを有する。
【００３４】
（画像データ取得部１１１）
画像データ取得部１１１は、画像データを取得する手段である。例えば、画像データ取得部１１１は、時系列で並んだフレーム群を取得する。但し、このフレーム群を構成する各フレームは、一定の時間間隔（固定フレーム間隔）で配置されていてもよいし、不定の時間間隔（可変フレーム間隔）で配置されていてもよい。また、各フレームは、複数のレイヤーにより構成される。
【００３５】
なお、各レイヤーには、重ね合わせる順番を示す番号と用途情報が対応付けられている。例えば、最上位のレイヤーには番号０が、次のレイヤーには番号１が対応付けられている。また、用途情報は、メニュー画面、映像面、操作オブジェクトなど、レイヤーに表示される画像の用途を規定するものである。画像データ取得部１１１により取得された画像データは、動き補償部１１８に入力される。以下の説明においては、各フレーム又は各レイヤーのことを画像データと呼ぶ場合がある。
【００３６】
（撮像データ取得部１１２）
撮像データ取得部１１２は、ユーザ２０を撮影して得られた撮像データを取得する手段である。例えば、撮像データ取得部１１２は、ユーザ２０の顔の動きを示す動きデータを取得する。また、撮像データ取得部１１２は、ユーザ２０の目の動きを示す動きデータを取得する。これらの動きデータから顔の動きや視点の位置を検出することができる。ユーザ２０の視点を検知することができる。なお、撮像データ取得部１１２は、ユーザ２０を撮像する撮像手段及び撮像データからユーザ２０の動きデータを検出する画像処理手段を含んでいてもよい。また、撮像データ取得部１１２により取得されたユーザ２０の動きデータは、ＦＩＦＯバッファ１１４に入力される。
【００３７】
（ユーザ入力部１１３）
ユーザ入力部１１３は、ユーザ２０が様々なデータを入力する手段である。
【００３８】
（ＦＩＦＯバッファ１１４）
ＦＩＦＯバッファ１１４は、撮像データ取得部１１２により入力された動きデータを蓄積する手段である。なお、ＦＩＦＯバッファ１１４は、所定の蓄積量が一杯になった状態で次の動きデータが入力されると、最も古い動きデータを廃棄する。この蓄積量は、例えば、１秒分（例えば、フレームレートが３０ｆｐｓならば３０フレーム分）のデータ量に設定される。ＦＩＦＯバッファ１１４に蓄積された動きデータは、ユーザ状態検知部１１５、フィルタ部１１６により読み出される。
【００３９】
（ユーザ状態検知部１１５）
ユーザ状態検知部１１５は、キャンセル適用強度を算出する手段である。但し、ここで言うキャンセル適用強度とは、ユーザ２０の視点に対する画像データの振動をキャンセルする強さを表す値である。まず、ユーザ状態検知部１１５は、ＦＩＦＯバッファ１１４から動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）を取得する。但し、Ｄｔは、時刻ｔにおいて検知された動きデータである。動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）を取得したユーザ状態検知部１１５は、下記の式（１）に示すように、所定の関数ｆに動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）を入力して振動係数ｓを算出する。
【００４０】
【数１】
2011257502.tif 000003
【００４１】
この関数ｆは、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）で表現された動きの激しさを数値化するための変換式である。また、振動係数ｓは、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）で表現された動きの激しさを表現した数値である。例えば、上記の関数ｆは、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）を直交変換し、所定の周波数領域における最大振幅値を出力する変換式である。なお、直交変換の例としては、フーリエ変換などを挙げることができる。
【００４２】
上記のようにして振動係数ｓを算出したユーザ状態検知部１１５は、振動係数ｓに基づいてキャンセル適用強度を算出する。例えば、キャンセルを適用する状態とキャンセルを適用しない状態の２状態しか考慮しない場合、ユーザ状態検知部１１５は、図５に示すように、２つの閾値Ｔ１、Ｔ２と振動係数ｓとの比較結果に基づいてキャンセル適用強度を算出する。但し、キャンセル適用状態の場合にはキャンセル適用強度は１．０である。一方、キャンセル非適用状態の場合にはキャンセル適用強度は０．０である。
【００４３】
上記の通り、振動係数ｓが大きい場合とは、携帯機器１０の振動は激しい状態を示している。携帯機器１０の振動が激しい場合、その振動をキャンセルする方向に画像データを動かそうとすると、ユーザ２０の視点に対する画像データの振動が低減しないばかりか、却ってユーザ２０の視点に対する画像データの振動が増大してしまう可能性がある。また、画像データを大きく動かすと、多くの画像領域が画面外に移動してしまい、画像データの非表示領域が大きくなり過ぎてしてしまう。そのため、携帯機器１０の振動が激しい場合には、振動のキャンセルを適用しない方が好ましいと考えられる。
【００４４】
一方、振動係数ｓが小さい場合とは、携帯機器１０の振動が緩やかな状態を示している。携帯機器１０の振動が緩やかな場合には、ユーザ２０が疲労せずに画像データの動きを追従できる。そのため、振動係数ｓが小さい場合にはキャンセルを適用する必要がない。
【００４５】
上記の理由から閾値Ｔ１、Ｔ２は、次のように決定することが好ましい。例えば、閾値Ｔ１は、振動係数ｓが示す振動の幅が画面サイズの１％程度になるように決定することが好ましい。つまり、閾値Ｔ１は、ユーザ２０の視点に対する画像データの振動が無視できる程度の値になるように決定することが好ましい。一方、閾値Ｔ２は、振動係数ｓが示す振動の幅が画面サイズの１０％程度にする。つまり、キャンセルを適用した場合に、キャンセルの効果を得られ、かつ、非表示領域が大きくなり過ぎてしまわない程度の値に決定することが好ましい。
【００４６】
なお、閾値Ｔ１、Ｔ２の数値は、上記の例に限定されない。また、閾値Ｔ１、Ｔ２は固定値であってもよいし、可変にしてもよい。
【００４７】
これまで説明してきたキャンセル適用強度の決定方法は、キャンセルを適用する状態とキャンセルを適用しない状態の２状態のみを考慮したものであった。一方で、振動係数ｓに応じて連続的にキャンセル適用強度を決定する方法も考えられる。
【００４８】
例えば、図６に示すように、キャンセル適用強度を０．０〜１．０の実数で定義することができる。この場合、キャンセル非適用状態は、キャンセル適用強度が０．０の状態として定義される。また、キャンセル適用強度の特性は、例えば、図６に示すような曲線又はその他の曲線や直線により表現される。もちろん、振動係数ｓに応じてキャンセル適用強度を決める特性曲線の形状は図６の例に限定されない。なお、以下の説明においては、連続的な値で定義されたキャンセル適用強度を用いる場合を想定して説明を進める。
【００４９】
上記のように、ユーザ状態検知部１１５は、ＦＩＦＯバッファ１１４から読み出した動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）を用いて振動係数ｓを算出し、その振動係数ｓに基づいてキャンセル適用強度を算出する。このようにしてユーザ状態検知部１１５により算出されたキャンセル適用強度は、フィルタ部１１６に入力される。
【００５０】
また、ユーザ状態検知部１１５は、ＦＩＦＯバッファ１１４から読み出したユーザ２０の目の動きデータに基づいてユーザ２０の視点を検知する。例えば、ユーザ状態検知部１１５は、特開平１０−９１３２５号公報に記載された視線検出システムの技術を利用して、目の動きを示す動きデータからユーザ２０の視点を検出する。このようにしてユーザ状態検知部１１５により検出されたユーザ２０の視点（画面内のどこを見ているか）を示す視点データは、フィルタ部１１６に入力される。
【００５１】
（フィルタ部１１６）
フィルタ部１１６は、ユーザ２０の視点に対する画像データの振動をキャンセルするために画像データを動かす量（以下、補正量）を算出する手段である。まず、フィルタ部１１６は、ＦＩＦＯバッファ１１４から顔の動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）を読み出し、次フレームの表示時点ｔ＋ｎ＋１における顔の動きデータＤｔ＋ｎ＋１を算出する。なお、顔の動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）は、各時点において携帯機器１０から見た相対的なユーザ２０の顔の位置（座標値）を示している。
【００５２】
また、顔の動きデータＤｔ＋ｎ＋１は、撮像データ取得部１１２により取得された顔の動きデータから予測される顔の予測位置を示している。なお、動きデータＤｔ＋ｎ＋１の算出方法は、例えば、図８に示すように、直近の２サンプル（Ｄｔ＋ｎ−１，Ｄｔ＋ｎ）を利用した線形予測方法であってもよいし、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）のスプライン曲線を利用した予測方法であってもよい。
【００５３】
次に、フィルタ部１１６は、予測位置を含む動きデータ（Ｄｔ，…，Ｄｔ＋ｎ，Ｄｔ＋ｎ＋１）を所定のフィルタに適用する。このフィルタとしては、平均化フィルタやバイラテラルフィルタなど、ローパス特性又はバンドパス特性のあるフィルタを利用することができる。例えば、図１０に示したＦＩＲフィルタを利用することができる。但し、フィルタ部１１６は、ユーザ状態検知部１１５により入力されたキャンセル適用強度、又はユーザ入力部１１３を介してユーザ２０により入力されたフィルタ強度に応じてフィルタのタップ長を変える。
【００５４】
例えば、キャンセル適用強度が大きい場合、フィルタ部１１６は、フィルタのタップ長を長くする。一方、キャンセル適用強度が小さい場合、フィルタ部１１６は、フィルタのタップ長を短くする。また、ユーザ２０により入力されたフィルタ強度が強い場合、フィルタ部１１６は、フィルタのタップ長を長くする。一方、ユーザ２０により入力されたフィルタ強度が弱い場合、フィルタ部１１６は、フィルタのタップ長を短くする。例えば、フィルタ部１１６は、基準となるタップ長を３０サンプルなどと定め、キャンセル適用強度に応じて基準となるタップ長からタップ長を増減させる。
【００５５】
さて、顔の予測位置を含む動きデータ（Ｄｔ，…，Ｄｔ＋ｎ，Ｄｔ＋ｎ＋１）を適用したフィルタの出力値は、図９に示したフィルタ適用後の補間ラインのようになる。なお、以下の説明においては、フィルタ適用後の補間ライン上の値をフィルタ適用後データと呼ぶことにする。フィルタ適用後データを得たフィルタ部１１６は、次フレームの表示時点ｔ＋ｎ＋１におけるフィルタ適用後データと予測位置Ｄｔ＋ｎ＋１との差分を補正量に設定する。また、フィルタ部１１６は、補正量の単位を動きデータの単位（インチなど）から画像データの単位（ピクセル）に変換する。
【００５６】
次に、フィルタ部１１６は、画面上で画像データを移動可能な距離の最大値（以下、最大画面移動量）を算出する。最大画面移動量は、例えば、図１１に示すように、画像データに設定された保護領域と画枠の位置との関係から算出される。この保護領域は、画像データ中で必ず表示したい領域として予め設定された領域である。この場合、最大画面移動量は、保護領域の境界と画枠との間の距離により決定される。
【００５７】
上記のようにして最大画面移動量を算出した後、フィルタ部１１６は、各軸の方向に対して補正量と最大画面移動量を比較する。そして、フィルタ部１１６は、補正量が最大画面移動量よりも大きい場合、補正量が最大画面移動量となるように補正量を再設定する。このようにして補正量を再設定することにより、補正量に基づいて画像データを動かしたとしても、図１１に示すように保護領域が画面外にはみ出すことがなくなる。
【００５８】
なお、フィルタ部１１６は、図１２に示すように、画像データが画面全体に必ず表示されるように最大画面移動量を設定してもよい。図１２に例示した画像データは、画面サイズよりも大きい。この場合、図１２に示した最大画面移動量Ａだけ画像データを移動させても、画像データが画面全体に表示されることになる。つまり、画面全体に画像データが必ず表示されるようにしたい場合には、図１２に示した最大画面移動量Ａのように最大画面移動量を設定すればよい。一方、保護領域が必ず表示されるようにしたい場合には、図１２に示した最大画面移動量Ｂのように最大画面移動量を設定すればよい。
【００５９】
なお、図１２に示すように画枠外に画像データが存在するケースとしては、例えば、ゲーム画面や電子書籍の画面などがある。一方、画枠外に画像データが存在しないケースは、例えば、映画やプライベート映像などの映像コンテンツに多い。従って、図１１に示すように保護領域に基づく最大画面移動量を選択するか、図１２のＡに示すように表示領域に基づく最大画面移動量を選択するかは、適用される画像データの種類に応じて異なる。なお、画枠外に画像データが存在するケースであっても、保護領域を基準とする最大画面移動量を選択し、その最大画面移動量に基づいて補正量が設定されるようにしてもよい。
【００６０】
上記のように、フィルタ部１１６により算出された補正量、又は最大画面移動量に基づいて再設定された補正量は、補正ベクトル生成部１１７に入力される。ところで、上記説明においては、画像データの補正量、画像データの最大画面移動量という表現を用いてきたが、上記の処理はレイヤー毎に実行される。つまり、レイヤー毎に保護領域が設定されていたり、各レイヤーに対して最大画面移動量が算出されたりして、レイヤー毎に補正量が設定される。そして、レイヤー毎に設定された補正量がフィルタ部１１６から補正ベクトル生成部１１７に入力される。
【００６１】
（補正ベクトル生成部１１７、動き補償部１１８）
補正ベクトル生成部１１７は、フィルタ部１１６により入力された補正量を用いてレイヤーの位置を補正するための補正ベクトルを生成する手段である。この補正ベクトルは、動き補償によりキャンセル適用前のレイヤーをキャンセル適用後のレイヤーに変換する変換手段である。キャンセル適用前のレイヤーを構成する各画素の座標をＸ、キャンセル適用後の各画素の座標をＸ’とすると、座標Ｘ’は、下記の式（２）〜式（７）を用いて表現される。但し、パラメータ（ｈ，ｖ，θ，ｐ，ｈｃ，ｖｃ）は、フィルタ部１１６により入力された各軸の補正量に関するパラメータである。
【００６２】
【数２】
2011257502.tif 000004
【００６３】
補正ベクトル生成部１１７は、フィルタ部１１６により入力された軸毎の補正量から、上記の式（２）〜式（７）を用いてパラメータ（ｈ，ｖ，θ，ｐ，ｈｃ，ｖｃ）を算出し、下記の式（８）で表現される補正行列Ｖを動き補償部１１８に入力する。動き補償部１１８は、補正ベクトル生成部１１７により入力された補正行列Ｖを用いてレイヤーの動き補償を実施する。例えば、動き補償部１１８は、図１９に示すように、線形補間を用いて整数ピクセル以下の精度で動き補償を実施する。動き補償部１１８により動き補償されたレイヤーは、多重化部１２に入力される。
【００６４】
【数３】
2011257502.tif 000005
【００６５】
以上、画像安定化モジュール１１の構成について詳細に説明した。動き補償部１１８から多重化部１２に入力されたレイヤー群は、図２０に示すように、アルファブレンディングされて１枚のフレームに多重化される。但し、各レイヤーには、ピクセル単位又はレイヤー単位でアルファ値（透過量を示すパラメータ）が設定されているものとする。そして、多重化部１２により得られた１枚のフレームは、表示部１３に表示される。
【００６６】
以上、本実施形態に係る携帯機器１０の機能構成について説明した。
【００６７】
［２−２：ユーザ状態検知部１１５の動作］
次に、図４を参照しながら、ユーザ状態検知部１１５の動作について説明を補足する。図４は、ユーザ状態検知部１１５による処理の流れについて説明するための説明図である。
【００６８】
（２−２−１：処理の流れ）
図４に示すように、ユーザ状態検知部１１５は、ＦＩＦＯバッファ１１４から動きデータを取得する（Ｓ１０１）。次いで、ユーザ状態検知部１１５は、ステップＳ１０１で取得した動きデータに基づいて振動係数を算出する（Ｓ１０２）。次いで、ユーザ状態検知部１１５は、ステップＳ１０２で算出した振動係数に基づいてキャンセル適用強度を算出する（Ｓ１０３）。
【００６９】
（２−２−２：振動係数の算出方法）
ここで、ステップＳ１０２における振動係数ｓの算出方法について説明する。なお、ステップＳ１０１においてユーザ状態検知部１１５により動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）が取得されているものとする。振動係数ｓは、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）で表現された動きの激しさを表現するための数値である。動きの激しさは、高周波成分の強度により表現することができる。そこで、ユーザ状態検知部１１５は、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）をフーリエ変換して周波数データを算出し、その高周波成分の振幅を利用する。例えば、ユーザ状態検知部１１５は、周波数データのうち、所定の周波数領域における最大振幅値を振動係数ｓとして算出する。
【００７０】
（２−２−３：キャンセル適用強度の算出方法）
次に、ステップＳ１０３におけるキャンセル適用強度の算出方法について説明する。
【００７１】
（２状態しか考慮しない場合）
キャンセルを適用する場合とキャンセルを適用しない場合の２状態しか考慮しない場合、図５に示すように、ユーザ状態検知部１１５は、２つの閾値Ｔ１、Ｔ２と振動係数ｓとの比較結果に基づいてキャンセル適用強度を算出する。但し、キャンセル適用状態の場合にはキャンセル適用強度は１．０である。一方、キャンセル非適用状態の場合にはキャンセル適用強度は０．０である。
【００７２】
上記の通り、振動係数ｓが大きい場合、携帯機器１０の振動は激しい。携帯機器１０の振動が激しい場合、演算処理に起因する遅延などから、その振動をキャンセルする方向に画像データを動かそうとすると、ユーザの視点に対する画像データの振動が低減しないばかりか、却ってユーザの視点に対する画像データの振動が増大してしまう可能性がある。また、画像データを大きく動かすと、多くの画像領域が画面外に移動してしまい、画像データの非表示領域が大きくなり過ぎてしてしまう。そのため、携帯機器１０の振動が激しい場合には、振動のキャンセルを適用しない方が好ましい。
【００７３】
一方、振動係数ｓが小さい場合、携帯機器１０の振動は緩やかである。携帯機器１０の振動が緩やかな場合には、ユーザが疲労せずに画像データの動きを追従できる。そのため、振動係数ｓが小さい場合にはキャンセルを適用する必要がない。
【００７４】
上記の理由から閾値Ｔ１、Ｔ２は、次のように決定することが好ましい。例えば、閾値Ｔ１は、振動係数ｓが示す振動の幅が画面サイズの１％程度にする。つまり、閾値Ｔ１は、ユーザの視点に対する画像データの振動が無視できる程度の値に設定する。一方、閾値Ｔ２は、振動係数ｓが示す振動の幅が画面サイズの１０％程度にする。つまり、キャンセルを適用した場合に、キャンセルの効果が得られ、かつ、非表示領域が大きくなり過ぎてしまわない値に設定する。なお、閾値Ｔ１、Ｔ２の数値は、これらの例に限定されない。なお、閾値Ｔ１、Ｔ２は固定値であってもよいし、可変にしてもよい。
【００７５】
（キャンセル適用強度を連続値にする場合）
また、振動係数ｓに応じて連続的にキャンセル適用強度を決定する方法も考えられる。例えば、図６に示すように、キャンセル適用強度を０．０〜１．０の実数で定義することができる。このとき、キャンセル非適用状態は、キャンセル適用強度が０．０の状態として定義される。図６に例示したキャンセル適用強度の特性曲線は、振動係数ｓの増加に伴って滑らかにキャンセル適用強度が増減するものであるが、キャンセル適用強度の特性はこれに限定されない。例えば、振動係数ｓ１からキャンセル適用強度が線形に増加し、振動係数ｓ２（ｓ２＞ｓ１）でキャンセル適用強度１．０に到達した後、振動係数ｓ３（ｓ３＞ｓ２）からキャンセル適用強度が線形に減少するような特性であってもよい。
【００７６】
以上、ユーザ状態検知部１１５の動作について説明した。
【００７７】
［２−３：フィルタ部１１６の動作］
次に、図７を参照しながら、フィルタ部１１６の動作について説明を補足する。図７は、フィルタ部１１６による処理の流れについて説明するための説明図である。
【００７８】
（２−３−１：処理の流れ）
図７に示すように、フィルタ部１１６は、ＦＩＦＯバッファ１１４から読み出した動きデータに基づいて次フレームの表示時刻における動きデータ（顔の予測位置；図８を参照）を予測する（Ｓ１１１）。次いで、フィルタ部１１６は、顔の予測位置を含む動きデータを所定のフィルタに適用してキャンセル適用後の予測位置を算出する（Ｓ１１２）。次いで、フィルタ部１１６は、キャンセル適用後の予測位置からフィルタ適用前の予測位置を差し引いて補正量（図９を参照）を算出する（Ｓ１１３）。
【００７９】
次いで、フィルタ部１１６は、図１１、図１２に示すような画像データの有効領域（画像の情報を含む領域）を算出する（Ｓ１１４）。次いで、フィルタ部１１６は、図１１又は図１２に示すような最大画面移動量に基づいて補正量を再設定（クリッピング処理）する（Ｓ１１５）。例えば、補正量が最大画面移動量を超えている場合には最大画面移動量を新たな補正量に設定し、補正量が最大画面移動量を超えていない場合にはステップＳ１１３で算出された補正量のまま維持する。
【００８０】
（２−３−２：予測位置の算出）
ここで、ステップＳ１１１における予測位置の算出方法について説明する。
【００８１】
予測位置の算出方法としては、例えば、図８に示すように、直近の２サンプル（Ｄｔ＋ｎ−１，Ｄｔ＋ｎ）を利用した線形予測方法がある。この方法は、直近の２サンプル（Ｄｔ＋ｎ−１，Ｄｔ＋ｎ）を結ぶ直線を延長し、次フレームの表示時点ｔ＋ｎ＋１における動きデータＤｔ＋ｎ＋１を予測するというものである。
【００８２】
また、予測位置の算出方法としては、例えば、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）のスプライン曲線を利用した予測方法も考えられる。この方法は、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）に基づくスプライン曲線を算出し、そのスプライン曲線を次フレームの表示時点ｔ＋ｎ＋１まで延長することにより動きデータＤｔ＋ｎ＋１を予測するというものである。
【００８３】
（２−３−３：補正量の算出）
次に、ステップＳ１１２、Ｓ１１３における補正量の算出方法について説明する。
【００８４】
補正量を算出する際、まず、図９に示すようにフィルタ適用後の補間ラインが算出される。このフィルタ適用後の補間ラインは、予測位置を含む動きデータ（Ｄｔ，…，Ｄｔ＋ｎ，Ｄｔ＋ｎ＋１）を適用したフィルタの出力値である。フィルタ適用後の補間ラインは、ユーザの視点に対する画像データの振動を抑制した振動状態に相当する。つまり、次フレームの表示時点ｔ＋ｎ＋１におけるフィルタ適用後データは、キャンセル適用後に得られる動きデータの予測位置に相当する。そこで、フィルタ適用後データを得たフィルタ部１１６は、次フレームの表示時点ｔ＋ｎ＋１におけるフィルタ適用後データと予測位置Ｄｔ＋ｎ＋１の差分を補正量に設定する。
【００８５】
（２−３−４：保護領域等を考慮した最大画面移動量の決定方法）
次に、図１１、図１２を参照しながら、ステップＳ１１５におけるクリッピング処理に関し、画像データの保護領域及び最大画面移動量の決定方法について説明する。
【００８６】
（保護領域を保護する構成）
画像データには、画面内に表示しておきたい領域がある。そこで、この領域を保護領域に設定しておくことにする。例えば、携帯機器１０がｅＢｏｏｋＲｅａｄｅｒの場合、本文が記載された領域などが保護領域に設定される。また、携帯機器１０が携帯ゲーム機の場合、ユーザがプレイしている主人公の表示領域などは保護領域に設定される。保護領域を画面内に表示するためには、振動のキャンセルが適用されても保護領域の境界と画枠の距離が０以上になっていればよい。そこで、現時点における保護領域の境界と画枠の距離が最大画面移動量に設定されていればよい。また、補正量が最大画面移動量を超えなければよい。そこで、フィルタ部１１６は、補正量が最大画面移動量を越える場合には、補正量を最大画面移動量に再設定する。
【００８７】
（画像データを画面全体に表示する構成）
画像データには、画面サイズよりも大きなものがある。例えば、ゲーム画面の背景画像などは画面サイズよりも大きく設定されていることがある。また、画像データが画面全体に表示されるようにしたい場合がある。このような場合、最大画面移動量は、保護領域の境界と画枠の距離ではなく、画像データの境界と画枠の距離により決定される。図１２に示すように、保護領域の境界と画枠の距離により最大画面移動量を決めると、その最大画面移動量はＢのようになる。一方、画像データの境界と画枠の距離により最大画面移動量を決めると、最大画面移動量はＡのようになる。
【００８８】
Ｂの最大画面移動量に基づいて振動のキャンセルを適用すると、画面の一部に画像データの表示されない領域が含まれてしまう可能性がある。しかし、Ａの最大画面移動量に基づいて振動のキャンセルを適用しても、画面の一部に画像データの表示されない領域が含まれてしまう可能性はない。従って、画像データを画面全体に表示したい場合には、Ａの最大画面移動量に決定される。そして、この最大画面移動量Ａよりも補正量が大きい場合には、最大画面移動量Ａに基づいて補正量が再設定される。このようにして最大画面移動量を決定することにより、画像データを画面全体に表示しつつ、振動のキャンセリングを適用することが可能になる。
【００８９】
（２−３−５：注目領域を考慮した最大画面移動量の決定方法）
ところで、本実施形態においては、ユーザ状態検知部１１５により、ユーザ２０の視点が検出されている。そのため、ユーザ２０の視点を考慮して最大画面移動量及び補正量を決定することが可能である。そこで、図１３〜図１８を参照しながら、ユーザ２０の視点を考慮した最大画面移動量の決定方法について考察する。
【００９０】
まず、図１３を参照する。ユーザ２０が注目している表示オブジェクト１４を含む領域を注視領域１５と呼ぶことにする。注視領域１５は、ユーザ２０が注目している対象であるから、振動キャンセリングの適用後に表示部１３の枠外に出てしまうことがないように制御する必要がある。図１３に示すように、振動キャンセリングを適用しない場合、注視領域１５は、表示部１３に対して静止した状態であるため、表示部１３の枠外に出てしまうことがない。
【００９１】
一方、振動キャンセリングを適用した場合、ユーザ２０の視点に対して表示オブジェクト１４の振動が抑制されるように表示オブジェクト１４が動かされるため、注視領域１５が表示部１３の枠外に出てしまう可能性がある。そこで、フィルタ部１１６は、図１４に示すように、注視領域１５を含むレイヤーに対するキャンセル適用強度を弱め、注視領域１５が表示部１３の枠内に収まるように制御する。なお、ユーザ状態検知部１１５により検出されたユーザ２０の視点から、フィルタ部１１６は、注視領域１５の位置を特定することができる。そのため、フィルタ部１１６は、表示部１３の枠と注視領域１５の位置関係を考慮し、キャンセル適用強度を決定することができる。
【００９２】
例えば、フィルタ部１１６は、図１５に示すように、注視領域１５に含まれる表示オブジェクト１４と表示部１３の枠との間の距離ｄを算出する。そして、フィルタ部１１６は、図１６又は図１７に示すような特性曲線に基づいてキャンセル適用強度を制御するための重み係数を決定する。この重み係数は、キャンセル適用強度に乗算される。図１６、図１７に示すように、この特性曲線は、距離ｄが小さくなるにつれて重み係数が小さくなる形状を有する。つまり、この特性曲線は、注視領域１５が表示部１３の枠に近づくにつれ、キャンセル適用強度が小さくなるように設定されている。従って、この特性曲線に基づいてキャンセル適用強度を調整することにより、注視領域１５が表示部１３の枠外に出ないように制御することができる。
【００９３】
次に、ユーザ２０の視点（注視点１６）に基づく保護領域の決定方法について説明する。これまで、保護領域は、レイヤー毎に予め設定されているものと考えてきた。しかし、図１８に示すように、注視点１６に基づいて保護領域を決定する方法も考えられる。例えば、保護領域のサイズを予め設定しておき、図１８に示すように注視点１６が中心となるように保護領域を決定する方法が考えられる。この場合、フィルタ部１１６は、ユーザ状態検知部１１５により検出された注視点１６が中心となるように保護領域を決定し、振動フィルタリングの適用後に、その保護領域が表示部１３の枠外に出ないように制御する。
【００９４】
まず、フィルタ部１１６は、決定した保護領域と表示部１３の枠との間の距離を検出し、その検出結果に応じて図１８に示すように最大画面移動量Ｂを算出する。このとき、フィルタ部１１６は、表示部１３の各枠に対する最大画面移動量Ｂを算出する。そして、フィルタ部１１６は、補正量が最大画面移動量Ｂの範囲内に収まるように補正量を再設定する。このように注視点１６を中心として保護領域を決定することにより、ユーザ２０が注視している領域が表示部１３の枠外に出てしまうことを防止することが可能になる。例えば、ユーザ２０が電子書籍を読んでいる場合に、振動キャンセリングにより、読んでいる部分が表示部１３の枠外に隠れてしまうのを防止することが可能になる。
【００９５】
以上、フィルタ部１１６の動作について説明した。
【００９６】
［２−４：変形例（レイヤーの用途に応じたキャンセル適用強度の制御方法）］
次に、図２１を参照しながら、本実施形態の一変形例として、レイヤーの用途に応じたキャンセル適用強度の制御方法について説明する。一般に、画像データを構成する各レイヤーには、その用途が決められていることが多い。
【００９７】
例えば、映像用のレイヤー、文字用のレイヤー、属性情報表示用のレイヤーなど、様々な用途のレイヤーが多重化されて画像データが構成されている。そして、映像、文字、属性情報など、その表示内容によって、ユーザ２０が求める視認性の度合いが異なる。例えば、映像は、ユーザ２０の視点に対して多少振動していても十分に視認することができる。一方、文字は、ユーザ２０の視点に対して振動していると読み取ることが難しくなる。また、操作ボタンなどの表示オブジェクト１４は、携帯機器１０の動きに追従していないと操作が難しくなる。こうした理由から、レイヤーの用途に応じてキャンセル適用強度を制御することが好ましい。
【００９８】
レイヤーの用途に応じたキャンセル適用強度の制御を実現する方法として、本変形例では、図２１に示すフィルタ強度重み係数を導入する。このフィルタ強度重み係数は、キャンセル適用強度を調整するための係数である。つまり、フィルタ強度重み係数が大きいほど、キャンセル適用強度が大きくなり、フィルタのタップ長が長く設定される。逆に、フィルタ強度重み係数が小さいほどキャンセル適用強度が小さくなり、フィルタのタップ長が短く設定される。言い換えると、フィルタ強度重み係数が大きい場合には強く振動キャンセリングが適用され、フィルタ強度重み係数が小さい場合に振動キャンセリングの適用強度が弱められる。
【００９９】
図２１の例では、映像用のレイヤーに対してフィルタ強度重み係数１が設定されている。また、文字用のレイヤーには、フィルタ強度重み係数３が設定されている。さらに、属性情報表示用のレイヤーには、フィルタ強度重み係数０が設定されている。従って、図２１に例示した設定の場合、文字用のレイヤーは、ユーザ２０の視点に対して振動が強くキャンセルされる。一方、属性情報表示用のレイヤーには、全くキャンセルが適用されない。このように、レイヤーの用途に応じてキャンセルの適用強度が調整されることにより、ユーザの視認性を向上させることができる。
【０１００】
以上、本発明の一実施形態について説明した。
【０１０１】
＜３：ハードウェア構成＞
上記の携帯機器１０が有する各構成要素の機能は、例えば、図２２に示す情報処理装置のハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図２２に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔの略である。
【０１０２】
図２２に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略である。
【０１０３】
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１０４】
これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
【０１０５】
出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ  ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙの略である。
【０１０６】
記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略である。
【０１０７】
ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略である。
【０１０８】
接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅの略である。
【０１０９】
通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ  ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅの略である。
【０１１０】
＜４：まとめ＞
最後に、本発明の実施形態に係る技術内容について簡単に纏める。ここで述べる技術内容は、例えば、ＰＣ、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム等、種々の情報処理装置に対して適用することができる。
【０１１１】
上記の情報処理装置の機能構成は次のように表現することができる。当該情報処理装置は、次のような撮像部と、動き検知部と、動き予測部と、画像データ表示部と、動き補正部とを有する。上記の撮像部は、ユーザの顔を撮像するものである。また、上記の動き検知部は、前記撮像部により撮像された顔の動きを検知するものである。このように、動き検知部により顔の動きが検知されることにより、当該情報処理装置とユーザの顔との間の相対的な動きが検知されることになる。
【０１１２】
また、上記の動き予測部は、前記動き検知部により時系列で検知された顔の動きに基づいて、次の時点で検知される前記顔の動きを予測するものである。さらに、上記の画像データ表示部は、画像データを表示するものである。そして、上記の動き補正部は、前記画像データ表示部に対し、前記動き予測部により予測された顔の動きがキャンセルされる方向に前記画像データを動かす制御を実行するものである。つまり、当該情報処理装置に対する顔の相対的な動きがキャンセルされるように画像データが動かされる。その結果、当該情報処理装置とユーザの顔が共に動いていても、ユーザの視点に対する画像データの動きを緩和することが可能になり、ユーザの疲労を低減させることができる。
【０１１３】
（備考）
上記の撮像データ取得部１１２は、撮像部、動き検知部、視点検知部の一例である。上記のユーザ状態検知部１１５、フィルタ部１１６は、動き予測部の一例である。上記のフィルタ部１１６、補正ベクトル生成部１１７、動き補償部１１８は、動き補正部の一例である。上記のフィルタ部１１６は、保護領域設定部、注視領域決定部の一例である。
【０１１４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１１５】
１０      携帯機器
１１      画像安定化モジュール
１１１    画像データ取得部
１１２    撮像データ取得部
１１３    ユーザ入力部
１１４    ＦＩＦＯバッファ
１１５    ユーザ状態検知部
１１６    フィルタ部
１１７    補正ベクトル生成部
１１８    動き補償部
１２      多重化部
１３      表示部
１４      表示オブジェクト
２０      ユーザ
【図１】
2011257502.tif 000006
【図２】
2011257502.tif 000007
【図３】
2011257502.tif 000008
【図４】
2011257502.tif 000009
【図５】
2011257502.tif 000010
【図６】
2011257502.tif 000011
【図７】
2011257502.tif 000012
【図８】
2011257502.tif 000013
【図９】
2011257502.tif 000014
【図１０】
2011257502.tif 000015
【図１１】
2011257502.tif 000016
【図１２】
2011257502.tif 000017
【図１３】
2011257502.tif 000018
【図１４】
2011257502.tif 000019
【図１５】
2011257502.tif 000020
【図１６】
2011257502.tif 000021
【図１７】
2011257502.tif 000022
【図１８】
2011257502.tif 000023
【図１９】
2011257502.tif 000024
【図２０】
2011257502.tif 000025
【図２１】
2011257502.tif 000026
【図２２】
2011257502.tif 000027