(57)【要約】【課題】表示画面の振動に伴うユーザの疲労を軽減すること。【解決手段】動きデータを検出する動きセンサと、画像データを表示する画像データ表示部と、前記動きセンサにより検出された時系列の動きデータに基づいて振動の激しさを示す振動係数を算出する振動係数算出部と、前記振動係数算出部により算出された振動係数が所定の第１閾値よりも小さくなった場合に、前記画像データ表示部に対し、前記振動をキャンセルする方向に前記画像データを動かす制御を実行する動き補正部と、を備える、画像安定化装置が提供される。【選択図】図１
2011257503.tif 000002
【特許請求の範囲】
【請求項１】
動きデータを検出する動きセンサと、
画像データを表示する画像データ表示部と、
前記動きセンサにより検出された時系列の動きデータに基づいて振動の激しさを示す振動係数を算出する振動係数算出部と、
前記振動係数算出部により算出された振動係数が所定の第１閾値よりも小さくなった場合に、前記画像データ表示部に対し、前記振動をキャンセルする方向に前記画像データを動かす制御を実行する動き補正部と、
を備える、
画像安定化装置。
【請求項２】
前記動き補正部は、前記所定の第１閾値より小さい所定の第２閾値よりも、前記振動係数算出部により算出された振動係数が小さくなった場合に、前記振動をキャンセルする方向に前記画像データを動かす制御を停止する、
請求項１に記載の画像安定化装置。
【請求項３】
前記動き補正部は、前記振動係数が前記所定の第１閾値よりも小さくなった場合に前記振動をキャンセルする度合いが徐々に大きくなるように前記画像データを動かす制御を実行し、前記振動係数が前記所定の第２閾値に近づくにつれて前記振動をキャンセルする度合いが徐々に小さくなるように前記画像データを動かす制御を実行する、
請求項２に記載の画像安定化装置。
【請求項４】
前記動きセンサにより現在及び過去に検出された動きデータから、次の時点で検出される動きデータを推定する動き推定部と、
前記動き推定部により推定された動きデータに基づいて前記振動をキャンセルする度合いを決定するキャンセル度合い決定部と、
をさらに備え、
前記動き補正部は、前記キャンセル度合い決定部により決定された前記振動をキャンセルする度合いに応じて前記画像データを動かす制御を実行する、
請求項２に記載の画像安定化装置。
【請求項５】
前記動き補正部は、前記画像データの中に設定された保護領域が表示される範囲内で前記画像データを動かす制御を実行する、
請求項３に記載の画像安定化装置。
【請求項６】
前記前記画像データが表示される表示画面の枠位置と前記保護領域の枠位置との関係から、前記画像データの最大移動量を算出する最大移動量算出部をさらに備え、
前記動き補正部は、前記最大移動量算出部により算出された最大移動量を超えない範囲内で前記画像データを動かす制御を実行する、
請求項５に記載の画像安定化装置。
【請求項７】
前記画像データは、複数のレイヤーにより構成されており、
前記各レイヤーには、互いに異なる用途が設定されており、
前記各用途には、互いに異なる、前記振動をキャンセルする度合いが設定されており、
前記動き補正部は、前記レイヤーの用途毎に設定された前記振動をキャンセルする度合いに応じて、前記画像データを構成する各レイヤーを動かす制御を実行する、
請求項１又は５に記載の画像安定化装置。
【請求項８】
前記動き補正部は、前記振動係数算出部により算出された振動係数が所定の第１閾値よりも小さくなった状態で所定時間が経過した場合に、前記画像データをスケーリングした上で、前記振動をキャンセルする方向に前記画像データを動かす制御を実行する、
請求項１又は６に記載の画像安定化装置。
【請求項９】
動きデータが検出される動き検出ステップと、
画像データが表示される画像データ表示ステップと、
前記動き検出ステップで検出された時系列の動きデータに基づいて振動の激しさを示す振動係数が算出される振動係数算出ステップと、
前記振動係数算出ステップで算出された振動係数が所定の第１閾値よりも小さくなった場合に、前記画像データ表示ステップで表示される画像データが、前記振動をキャンセルする方向に動かされる動き補償ステップと、
を含む、
画像安定化方法。
【請求項１０】
動きデータを検出する動きセンサ機能と、
画像データを表示する画像データ表示機能と、
前記動きセンサ機能により検出された時系列の動きデータに基づいて振動の激しさを示す振動係数を算出する振動係数算出機能と、
前記振動係数算出機能により算出された振動係数が所定の第１閾値よりも小さくなった場合に、前記画像データ表示機能に対し、前記振動をキャンセルする方向に前記画像データを動かす制御を実行する動き補償機能と、
をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像安定化装置、画像安定化方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、携帯電話、携帯ゲーム機、携帯情報端末、ノート型コンピュータ（以下、ノートＰＣ）、携帯音楽プレーヤ、デジタルビデオカメラやデジタルスチルカメラ（以下、撮像装置）など、小型の電子機器（以下、携帯機器）が広く普及するに至った。こうした携帯機器は、様々な場所で利用される。例えば、移動中の車内、街角、オフィスビルの待合室、自宅のリビングルームなどで携帯機器を利用しているユーザを見かけることがある。
【０００３】
このように、携帯機器が小型化し、その携帯性が向上するにつれて利用シーンが多様化してくる。しかし、携帯性の向上効果は、持ち運びの利便性を向上させるが、様々な利用シーンへの適用性を向上させるわけではない。例えば、携帯機器は小型であるため、車内に持ち込むことは容易であるが、大きく揺れる車内では素早く正確な操作は難しい。そのため、携帯機器を製造する各社は、携帯機器を把持する部分の構造を工夫したり、操作手段の形状を工夫したりしている。
【０００４】
また、大きく揺れる車内や歩行中において、携帯機器の表示手段に表示された画像や文字などを正しく認識し難いという問題もある。つまり、携帯機器の振動に伴って表示手段に表示された画像や文字などがぶれるため、その表示内容が見づらくなってしまうのである。このような画像や文字などのぶれは、ユーザの視神経に大きな疲労を与えてしまう。そこで、携帯機器の振動をキャンセルする方向に画像や文字などを動かして、画像や文字などのぶれを低減させる技術が開発された。
【０００５】
上記の技術に関し、例えば、下記の特許文献１には、携帯機器の振動を検知し、その振動がキャンセルされる方向に表示画像を動かす技術が開示されている。また、同文献には、表示画像を動かした際に画面上に表示されない領域を切り取る技術が開示されている。さらに、同文献には、加速度センサを用いて携帯機器の振動を検知する技術が開示されている。但し、同文献１に記載の技術は、携帯機器の振動をキャンセルするために、当該振動の位相と逆位相になる振動を算出し、その振動を表示画像に与えるというものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−２２１９５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、携帯機器の振動が生じるタイミングと、表示画像を動き補償するタイミングとの間には演算処理などに起因して遅延が生じる。そのため、携帯機器の振動が緩やかな場合には携帯機器に生じた振動の位相と、表示画像に与えられる振動の位相とがほぼ逆位相になるが、携帯機器の振動が激しい場合には両振動の位相は逆位相にならない。場合によっては、両振動の位相が強めあってしまう。その結果、ユーザの視点から見た表示画像の振動は大きくなり、ユーザの視神経に却って大きな疲労を与えてしまう。
【０００８】
例えば、揺れる車内で携帯機器を利用する場合には、携帯機器に小刻みで早い振動が生じることが多い。そのため、上記文献１の技術を適用すると、携帯機器の振動と、その振動をキャンセルするために表示画像に与えられた振動との間で頻繁に位相のずれが生じ、ユーザの視点に対する表示画像の振動が却って増大してしまう。また、人間の目は、視認対象の動きに対して追従する機能を有している。そのため、ユーザの視点に対して表示画像が完全に静止していなくても、その表示画像を正しく視認することができる。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、携帯機器に振動が生じた場合にユーザの視点に対する表示画像の振動を低減して、ユーザの疲労を軽減することが可能な、新規かつ改良された画像安定化装置、画像安定化方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、動きデータを検出する動きセンサと、画像データを表示する画像データ表示部と、前記動きセンサにより検出された時系列の動きデータに基づいて振動の激しさを示す振動係数を算出する振動係数算出部と、前記振動係数算出部により算出された振動係数が所定の第１閾値よりも小さくなった場合に、前記画像データ表示部に対し、前記振動をキャンセルする方向に前記画像データを動かす制御を実行する動き補正部と、を備える、画像安定化装置が提供される。
【００１１】
また、前記動き補正部は、前記所定の第１閾値より小さい所定の第２閾値よりも、前記振動係数算出部により算出された振動係数が小さくなった場合に、前記振動をキャンセルする方向に前記画像データを動かす制御を停止するように構成されていてもよい。
【００１２】
また、前記動き補正部は、前記振動係数が前記所定の第１閾値よりも小さくなった場合に前記振動をキャンセルする度合いが徐々に大きくなるように前記画像データを動かす制御を実行し、前記振動係数が前記所定の第２閾値に近づくにつれて前記振動をキャンセルする度合いが徐々に小さくなるように前記画像データを動かす制御を実行するように構成されていてもよい。
【００１３】
また、上記の画像安定化装置は、前記動きセンサにより現在及び過去に検出された動きデータから、次の時点で検出される動きデータを推定する動き推定部と、前記動き推定部により推定された動きデータに基づいて前記振動をキャンセルする度合いを決定するキャンセル度合い決定部と、をさらに備えていてもよい。この場合、前記動き補正部は、前記キャンセル度合い決定部により決定された前記振動をキャンセルする度合いに応じて前記画像データを動かす制御を実行する。
【００１４】
また、前記動き補正部は、前記画像データの中に設定された保護領域が表示される範囲内で前記画像データを動かす制御を実行するように構成されていてもよい。
【００１５】
また、上記の画像安定化装置は、前記前記画像データが表示される表示画面の枠位置と前記保護領域の枠位置との関係から、前記画像データの最大移動量を算出する最大移動量算出部をさらに備えていてもよい。この場合、前記動き補正部は、前記最大移動量算出部により算出された最大移動量を超えない範囲内で前記画像データを動かす制御を実行する。
【００１６】
また、前記画像データは、複数のレイヤーにより構成されていてもよい。さらに、前記各レイヤーには、互いに異なる用途が設定されていてもよい。そして、前記各用途には、互いに異なる、前記振動をキャンセルする度合いが設定されていてもよい。この場合、前記動き補正部は、前記レイヤーの用途毎に設定された前記振動をキャンセルする度合いに応じて、前記画像データを構成する各レイヤーを動かす制御を実行する。
【００１７】
また、前記動き補正部は、前記振動係数算出部により算出された振動係数が所定の第１閾値よりも小さくなった状態で所定時間が経過した場合に、前記画像データをスケーリングした上で、前記振動をキャンセルする方向に前記画像データを動かす制御を実行するように構成されていてもよい。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、動きデータが検出される動き検出ステップと、画像データが表示される画像データ表示ステップと、前記動き検出ステップで検出された時系列の動きデータに基づいて振動の激しさを示す振動係数が算出される振動係数算出ステップと、前記振動係数算出ステップで算出された振動係数が所定の第１閾値よりも小さくなった場合に、前記画像データ表示ステップで表示される画像データが、前記振動をキャンセルする方向に動かされる動き補償ステップと、を含む、画像安定化方法が提供される。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、動きデータを検出する動きセンサ機能と、画像データを表示する画像データ表示機能と、前記動きセンサ機能により検出された時系列の動きデータに基づいて振動の激しさを示す振動係数を算出する振動係数算出機能と、前記振動係数算出機能により算出された振動係数が所定の第１閾値よりも小さくなった場合に、前記画像データ表示機能に対し、前記振動をキャンセルする方向に前記画像データを動かす制御を実行する動き補償機能と、をコンピュータに実現させるためのプログラムが提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、上記のプログラムが記録された、コンピュータにより読み取り可能な記録媒体が提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、携帯機器に振動が生じた場合にユーザの視点に対する表示画像の振動を低減して、ユーザの疲労を軽減することが可能になる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１実施形態に係る携帯機器の機能構成について説明するための説明図である。
【図２】同実施形態に係る携帯機器を構成する状態検知部の動作について説明するための説明図である。
【図３】同実施形態に係るキャンセル適用強度の算出方法について説明するための説明図である。
【図４】同実施形態に係るキャンセル適用強度の算出方法について説明するための説明図である。
【図５】同実施形態に係る携帯機器を構成するフィルタ部の動作について説明するための説明図である。
【図６】同実施形態に係る振動キャンセリングの適用時に用いる補正量の算出方法について説明するための説明図である。
【図７】同実施形態に係る振動キャンセリングの適用時に用いる補正量の算出方法について説明するための説明図である。
【図８】ＦＩＲフィルタの回路構成例を示す説明図である。
【図９】同実施形態に係る振動キャンセリングの適用時に考慮する保護領域及び最大画面移動量の設定方法について説明するための説明図である。
【図１０】同実施形態に係る振動キャンセリングの適用時に考慮する保護領域及び最大画面移動量の設定方法について説明するための説明図である。
【図１１】同実施形態に係る動き補償方法について説明するための説明図である。
【図１２】同実施形態に係るレイヤーの多重化方法について説明するための説明図である。
【図１３】本発明の第２実施形態に係る携帯機器の機能構成について説明するための説明図である。
【図１４】同実施形態に係るフィルタ強度の決定方法について説明するための説明図である。
【図１５】本発明の第３実施形態に係る携帯機器の機能構成について説明するための説明図である。
【図１６】同実施形態に係る振動キャンセリング方法について説明するための説明図である。
【図１７】本発明の第１〜第３実施形態に係る携帯機器の機能を実現することが可能なハードウェア構成について説明するための説明図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
［説明の流れについて］
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。
【００２５】
まず、図１を参照しながら、本発明の第１実施形態に係る携帯機器１０の機能構成について説明する。次いで、図２を参照しながら、同実施形態に係る状態検知部１１５の動作について説明する。次いで、図３、図４を参照しながら、同実施形態に係るキャンセル適用強度の算出方法について説明する。
【００２６】
次いで、図５を参照しながら、同実施形態に係るフィルタ部１１７の動作について説明する。次いで、図６、図７を参照しながら、同実施形態に係る振動キャンセリングの適用時に用いる補正量の算出方法について説明する。この中で、図８を参照しながら、同実施形態に係る振動キャンセリングの適用時に用いるフィルタの一例について述べる。
【００２７】
次いで、図９、図１０を参照しながら、同実施形態に係る振動キャンセリングの適用時に考慮する保護領域及び最大画面移動量の設定方法について説明する。また、図１１を参照しながら、同実施形態に係る動き補償方法について説明する。さらに、図１２を参照しながら、同実施形態に係るレイヤーの多重化方法について説明する。
【００２８】
次いで、図１３を参照しながら、本発明の第２実施形態に係る携帯機器１０の機能構成について説明する。次いで、図１４を参照しながら、同実施形態に係るフィルタ強度の決定方法について説明する。次いで、図１５を参照しながら、本発明の第３実施形態に係る携帯機器１０の機能構成について説明する。次いで、図１６を参照しながら、同実施形態に係る振動キャンセリングの適用方法について説明する。
【００２９】
次いで、図１７を参照しながら、本発明の第１〜第３実施形態に係る携帯機器１０の機能を実現することが可能なハードウェアの構成について説明する。最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。
【００３０】
（説明項目）
１：第１実施形態
１−１：携帯機器１０の機能構成
１−２：状態検知部１１５の動作
１−２−１：処理の流れ
１−２−２：振動係数の算出方法
１−２−３：キャンセル適用強度の算出方法
１−３：フィルタ部１１７の動作
１−３−１：処理の流れ
１−３−２：予測値の算出
１−３−３：補正量の算出
１−３−４：保護領域及び最大画面移動量の決定方法
２：第２実施形態
２−１：携帯機器１０の機能構成
２−２：フィルタ強度の決定方法
３：第３実施形態
３−１：携帯機器１０の機能構成
４：ハードウェア構成
５：まとめ
【００３１】
＜１：第１実施形態＞
本発明の第１実施形態について説明する。本実施形態は、携帯機器１０に振動が加えられた状況で、ユーザの視点に対して生じる表示画像の振動を低減させる方法に関する。この方法は、ユーザの視点に対して表示画像を「静止」させる方法ではなく、ユーザの疲労を軽減させるために表示画像の振動を「低減」させる方法である点に注意されたい。
【００３２】
［１−１：携帯機器１０の機能構成］
まず、図１を参照しながら、本実施形態に係る携帯機器１０の機能構成について説明する。図１は、本実施形態に係る携帯機器１０の機能構成について説明するための説明図である。
【００３３】
図１に示すように、携帯機器１０は、主に、画像安定化モジュール１１と、多重化部１２と、表示部１３とにより構成される。画像安定化モジュール１１は、ユーザの視点に対する表示画像の振動を低減させる手段である。多重化部１２は、複数のレイヤーを多重化して表示画像を生成する手段である。表示部１３は、多重化部１２により生成された表示画像を表示する手段である。本実施形態に係る携帯機器１０の特徴は、主に、画像安定化モジュール１１の構成にある。そこで、以下では画像安定化モジュール１１の構成について、より詳細に説明する。
【００３４】
図１に示すように、画像安定化モジュール１１は、主に、画像データ取得部１１１と、動きセンサ１１２と、座標変換部１１３と、ＦＩＦＯバッファ１１４と、状態検知部１１５とを有する。さらに、画像安定化モジュール１１は、ユーザ入力部１１６と、フィルタ部１１７と、補正ベクトル生成部１１８と、動き補償部１１９とを有する。
【００３５】
（画像データ取得部１１１）
画像データ取得部１１１は、画像データを取得する手段である。例えば、画像データ取得部１１１は、時系列で並んだフレーム群を取得する。但し、このフレーム群を構成する各フレームは、一定の時間間隔（固定フレーム間隔）で配置されていてもよいし、不定の時間間隔（可変フレーム間隔）で配置されていてもよい。また、各フレームは、複数のレイヤーにより構成される。
【００３６】
なお、各レイヤーには、重ね合わせる順番を示す番号と用途情報が対応付けられている。例えば、最上位のレイヤーには番号０が、次のレイヤーには番号１が対応付けられている。また、用途情報は、メニュー画面、映像面、操作オブジェクトなど、レイヤーに表示される画像の用途を規定するものである。画像データ取得部１１１により取得された画像データは、動き補償部１１９に入力される。以下の説明においては、各フレーム又は各レイヤーのことを画像データと呼ぶ場合がある。
【００３７】
（動きセンサ１１２）
動きセンサ１１２は、携帯機器１０の動きを検知する手段である。例えば、動きセンサ１１２は、６軸センサや２軸センサなどにより構成される。なお、６軸センサは、互いに直交する３つの軸方向に対する加速度と、互いに直交する３つの軸を基軸とする回転とを検知することが可能なセンサである。また、２軸センサは、直交する２つの軸方向に対する加速度を検知することが可能なセンサである。以下の説明においては、動きセンサ１１２により検知された動きを示すデータを動きデータと呼ぶことにする。
【００３８】
動きセンサ１１２は、所定のサンプリング周期で動きデータを出力する。このサンプリング周期は、画像データのフレームレートとは無関係である。また、このサンプリングレートは、固定レートであってもよいし、可変レートであってもよい。但し、サンプリング定理により、携帯機器１０の振動をキャンセルするために画像データを振動させる周波数の２倍以上のサンプリングレートが必要になる。また、動きセンサ１１２から出力された動きデータは、座標変換部１１３に入力される。
【００３９】
（座標変換部１１３）
座標変換部１１３は、動きセンサ１１２から入力された動きデータを後段のフィルタ部１１７において利用できるデータ形式に変換する手段である。例えば、動きセンサ１１２が６軸センサの場合、重力加速度を含む動きデータが得られる。つまり、座標変換部１１３に入力される動きデータは、純粋に携帯機器１０の動きを表現した動きデータになっていない。そこで、座標変換部１１３は、動きセンサ１１２から入力された動きデータから重力加速度の成分を除去し、携帯機器１０の動きを表現した動きデータを生成する。座標変換部１１３により生成された動きデータは、ＦＩＦＯバッファ１１４に入力される。
【００４０】
（ＦＩＦＯバッファ１１４）
ＦＩＦＯバッファ１１４は、座標変換部１１３により入力された動きデータを蓄積する手段である。なお、ＦＩＦＯバッファ１１４は、所定の蓄積量が一杯になった状態で次の動きデータが入力されると、最も古い動きデータを廃棄する。この蓄積量は、例えば、１秒分（例えば、フレームレートが３０ｆｐｓならば３０フレーム分）のデータ量に設定される。ＦＩＦＯバッファ１１４に蓄積された動きデータは、状態検知部１１５、フィルタ部１１７により読み出される。
【００４１】
（状態検知部１１５）
状態検知部１１５は、キャンセル適用強度を算出する手段である。但し、ここで言うキャンセル適用強度とは、ユーザの視点に対する画像データの振動をキャンセルする強さを表す値である。まず、状態検知部１１５は、ＦＩＦＯバッファ１１４から動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）を取得する。但し、Ｄｔは、時刻ｔにおいて検知された動きデータである。動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）を取得した状態検知部１１５は、下記の式（１）に示すように、所定の関数ｆに動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）を入力して振動係数ｓを算出する。
【００４２】
【数１】
2011257503.tif 000003
【００４３】
この関数ｆは、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）で表現された動きの激しさを数値化するための変換式である。また、振動係数ｓは、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）で表現された動きの激しさを表現した数値である。例えば、上記の関数ｆは、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）を直交変換し、所定の周波数領域における最大振幅値を出力する変換式である。なお、直交変換の例としては、フーリエ変換などを挙げることができる。
【００４４】
上記のようにして振動係数ｓを算出した状態検知部１１５は、振動係数ｓに基づいてキャンセル適用強度を算出する。例えば、キャンセルを適用する状態とキャンセルを適用しない状態の２状態しか考慮しない場合、状態検知部１１５は、図３に示すように、２つの閾値Ｔ１、Ｔ２と振動係数ｓとの比較結果に基づいてキャンセル適用強度を算出する。但し、キャンセル適用状態の場合にはキャンセル適用強度は１．０である。一方、キャンセル非適用状態の場合にはキャンセル適用強度は０．０である。
【００４５】
上記の通り、振動係数ｓが大きい場合とは、携帯機器１０の振動は激しい状態を示している。携帯機器１０の振動が激しい場合、その振動をキャンセルする方向に画像データを動かそうとすると、ユーザの視点に対する画像データの振動が低減しないばかりか、却ってユーザの視点に対する画像データの振動が増大してしまう可能性がある。また、画像データを大きく動かすと、多くの画像領域が画面外に移動してしまい、画像データの非表示領域が大きくなり過ぎてしてしまう。そのため、携帯機器１０の振動が激しい場合には、振動のキャンセルを適用しない方が好ましいと考えられる。
【００４６】
一方、振動係数ｓが小さい場合とは、携帯機器１０の振動が緩やかな状態を示している。携帯機器１０の振動が緩やかな場合には、ユーザが疲労せずに画像データの動きを追従できる。そのため、振動係数ｓが小さい場合にはキャンセルを適用する必要がない。
【００４７】
上記の理由から閾値Ｔ１、Ｔ２は、次のように決定することが好ましい。例えば、閾値Ｔ１は、振動係数ｓが示す振動の幅が画面サイズの１％程度になるように決定することが好ましい。つまり、閾値Ｔ１は、ユーザの視点に対する画像データの振動が無視できる程度の値になるように決定することが好ましい。一方、閾値Ｔ２は、振動係数ｓが示す振動の幅が画面サイズの１０％程度にする。つまり、キャンセルを適用した場合に、キャンセルの効果を得られ、かつ、非表示領域が大きくなり過ぎてしまわない程度の値に決定することが好ましい。
【００４８】
なお、閾値Ｔ１、Ｔ２の数値は、上記の例に限定されない。また、閾値Ｔ１、Ｔ２は固定値であってもよいし、可変にしてもよい。
【００４９】
これまで説明してきたキャンセル適用強度の決定方法は、キャンセルを適用する状態とキャンセルを適用しない状態の２状態のみを考慮したものであった。一方で、振動係数ｓに応じて連続的にキャンセル適用強度を決定する方法も考えられる。
【００５０】
例えば、図４に示すように、キャンセル適用強度を０．０〜１．０の実数で定義することができる。この場合、キャンセル非適用状態は、キャンセル適用強度が０．０の状態として定義される。また、キャンセル適用強度の特性は、例えば、図４に示すような曲線又はその他の曲線や直線により表現される。もちろん、振動係数ｓに応じてキャンセル適用強度を決める特性曲線の形状は図４の例に限定されない。なお、以下の説明においては、連続的な値で定義されたキャンセル適用強度を用いる場合を想定して説明を進める。
【００５１】
上記のように、状態検知部１１５は、動きセンサ１１２の各軸について、ＦＩＦＯバッファ１１４から読み出した動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）を用いて振動係数ｓを算出し、その振動係数ｓに基づいてキャンセル適用強度を算出する。このようにして状態検知部１１５により算出されたキャンセル適用強度は、フィルタ部１１７に入力される。
【００５２】
（ユーザ入力部１１６）
ユーザ入力部１１６は、ユーザが様々なデータを入力する手段である。
【００５３】
（フィルタ部１１７）
フィルタ部１１７は、ユーザの視点に対する画像データの振動をキャンセルするために画像データを動かす量（以下、補正量）を算出する手段である。まず、フィルタ部１１７は、ＦＩＦＯバッファ１１４から動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）を読み出し、次フレームの表示時点ｔ＋ｎ＋１における動きデータＤｔ＋ｎ＋１を算出する。このとき、動きデータＤｔ＋ｎ＋１（予測値）は、動きセンサ１１２の軸毎に算出される。
【００５４】
なお、動きデータＤｔ＋ｎ＋１の算出方法は、例えば、図６に示すように、直近の２サンプル（Ｄｔ＋ｎ−１，Ｄｔ＋ｎ）を利用した線形予測方法であってもよいし、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）のスプライン曲線を利用した予測方法であってもよい。
【００５５】
次に、フィルタ部１１７は、予測値を含む動きデータ（Ｄｔ，…，Ｄｔ＋ｎ，Ｄｔ＋ｎ＋１）を所定のフィルタに適用する。このフィルタとしては、平均化フィルタやバイラテラルフィルタなど、ローパス特性又はバンドパス特性のあるフィルタを利用することができる。例えば、図８に示したＦＩＲフィルタを利用することができる。但し、フィルタ部１１７は、状態検知部１１５により入力されたキャンセル適用強度、又はユーザ入力部１１６を介してユーザにより入力されたフィルタ強度に応じてフィルタのタップ長を変える。
【００５６】
例えば、キャンセル適用強度が大きい場合、フィルタ部１１７は、フィルタのタップ長を長くする。一方、キャンセル適用強度が小さい場合、フィルタ部１１７は、フィルタのタップ長を短くする。また、ユーザにより入力されたフィルタ強度が強い場合、フィルタ部１１７は、フィルタのタップ長を長くする。一方、ユーザにより入力されたフィルタ強度が弱い場合、フィルタ部１１７は、フィルタのタップ長を短くする。例えば、フィルタ部１１７は、基準となるタップ長を３０サンプルなどと定め、キャンセル適用強度に応じて基準となるタップ長からタップ長を増減させる。
【００５７】
予測値を含む動きデータ（Ｄｔ，…，Ｄｔ＋ｎ，Ｄｔ＋ｎ＋１）を適用したフィルタの出力値は、図７に示したフィルタ適用後の補間ラインのようになる。なお、以下の説明においては、フィルタ適用後の補間ライン上の値をフィルタ適用後データと呼ぶことにする。フィルタ適用後データを得たフィルタ部１１７は、次フレームの表示時点ｔ＋ｎ＋１におけるフィルタ適用後データと予測値Ｄｔ＋ｎ＋１の差分を補正量に設定する。また、フィルタ部１１７は、補正量の単位を動きデータの単位（インチなど）から画像データの単位（ピクセル）に変換する。このようにして各軸に対応する補正量が画像データの単位で得られる。
【００５８】
次に、フィルタ部１１７は、画面上で画像データを移動可能な距離の最大値（以下、最大画面移動量）を算出する。最大画面移動量は、例えば、図９に示すように、画像データに設定された保護領域と画枠の位置との関係から算出される。この保護領域は、画像データ中で必ず表示したい領域として予め設定された領域である。この場合、最大画面移動量は、保護領域の境界と画枠との間の距離により決定される。
【００５９】
上記のようにして最大画面移動量を算出した後、フィルタ部１１７は、各軸の方向に対して補正量と最大画面移動量を比較する。そして、フィルタ部１１７は、補正量が最大画面移動量よりも大きい場合、補正量が最大画面移動量となるように補正量を再設定する。このようにして補正量を再設定することにより、補正量に基づいて画像データを動かしたとしても、図９に示すように保護領域が画面内に必ず表示されるようになる。
【００６０】
なお、フィルタ部１１７は、図１０に示すように、画像データが画面全体に必ず表示されるように最大画面移動量を設定してもよい。図１０に例示した画像データは、画面サイズよりも大きい。この場合、図１０に示した最大画面移動量Ａだけ画像データを移動させても、画像データが画面全体に表示されることになる。つまり、画面全体に画像データが必ず表示されるようにしたい場合には、図１０に示した最大画面移動量Ａのように最大画面移動量を設定すればよい。一方、保護領域が必ず表示されるようにしたい場合には、図１０に示した最大画面移動量Ｂのように最大画面移動量を設定すればよい。
【００６１】
上記のように、フィルタ部１１７により算出された補正量又は最大画面移動量に基づいて再設定された補正量は、補正ベクトル生成部１１８に入力される。ところで、上記説明においては、画像データの補正量、画像データの最大画面移動量という表現を用いてきたが、上記の処理はレイヤー毎に実行される。つまり、レイヤー毎に保護領域が設定されていたり、各レイヤーに対して最大画面移動量が算出されたりして、レイヤー毎に補正量が設定される。そして、レイヤー毎に設定された補正量がフィルタ部１１７から補正ベクトル生成部１１８に入力される。
【００６２】
（補正ベクトル生成部１１８、動き補償部１１９）
補正ベクトル生成部１１８は、フィルタ部１１７により入力された補正量を用いてレイヤーの位置を補正するための補正ベクトルを生成する手段である。この補正ベクトルは、動き補償によりキャンセル適用前のレイヤーをキャンセル適用後のレイヤーに変換する変換手段である。キャンセル適用前のレイヤーを構成する各画素の座標をＸ、キャンセル適用後の各画素の座標をＸ’とすると、座標Ｘ’は、下記の式（２）〜式（７）を用いて表現される。但し、パラメータ（ｈ，ｖ，θ，ｐ，ｈｃ，ｖｃ）は、フィルタ部１１７により入力された各軸の補正量に関するパラメータである。
【００６３】
【数２】
2011257503.tif 000004
【００６４】
補正ベクトル生成部１１８は、フィルタ部１１７により入力された軸毎の補正量から、上記の式（２）〜式（７）を用いてパラメータ（ｈ，ｖ，θ，ｐ，ｈｃ，ｖｃ）を算出し、下記の式（８）で表現される補正行列Ｖを動き補償部１１９に入力する。動き補償部１１９は、補正ベクトル生成部１１８により入力された補正行列Ｖを用いてレイヤーの動き補償を実施する。例えば、動き補償部１１９は、図１１に示すように、線形補間を用いて整数ピクセル以下の精度で動き補償を実施する。動き補償部１１９により動き補償されたレイヤーは、多重化部１２に入力される。
【００６５】
【数３】
2011257503.tif 000005
【００６６】
以上、画像安定化モジュール１１の構成について詳細に説明した。動き補償部１１９から多重化部１２に入力されたレイヤー群は、図１２に示すように、アルファブレンディングされて１枚のフレームに多重化される。但し、各レイヤーには、ピクセル単位又はレイヤー単位でアルファ値（透過量を示すパラメータ）が設定されているものとする。そして、多重化部１２により得られた１枚のフレームは、表示部１３に表示される。
【００６７】
以上、本実施形態に係る携帯機器１０の機能構成について説明した。
【００６８】
［１−２：状態検知部１１５の動作］
次に、図２を参照しながら、状態検知部１１５の動作について説明を補足する。図２は、状態検知部１１５による処理の流れについて説明するための説明図である。
【００６９】
（１−２−１：処理の流れ）
図２に示すように、状態検知部１１５は、ＦＩＦＯバッファ１１４から動きデータを取得する（Ｓ１０１）。次いで、状態検知部１１５は、ステップＳ１０１で取得した動きデータに基づいて振動係数を算出する（Ｓ１０２）。次いで、状態検知部１１５は、ステップＳ１０２で算出した振動係数に基づいてキャンセル適用強度を算出する（Ｓ１０３）。
【００７０】
（１−２−２：振動係数の算出方法）
ここで、ステップＳ１０２における振動係数ｓの算出方法について説明する。なお、ステップＳ１０１において状態検知部１１５により動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）が取得されているものとする。振動係数ｓは、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）で表現された動きの激しさを表現するための数値である。動きの激しさは、高周波成分の強度により表現することができる。そこで、状態検知部１１５は、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）をフーリエ変換して周波数データを算出し、その高周波成分の振幅を利用する。例えば、状態検知部１１５は、周波数データのうち、所定の周波数領域における最大振幅値を振動係数ｓとして算出する。
【００７１】
（１−２−３：キャンセル適用強度の算出方法）
次に、ステップＳ１０３におけるキャンセル適用強度の算出方法について説明する。
【００７２】
（２状態しか考慮しない場合）
キャンセルを適用する場合とキャンセルを適用しない場合の２状態しか考慮しない場合、図３に示すように、状態検知部１１５は、２つの閾値Ｔ１、Ｔ２と振動係数ｓとの比較結果に基づいてキャンセル適用強度を算出する。但し、キャンセル適用状態の場合にはキャンセル適用強度は１．０である。一方、キャンセル非適用状態の場合にはキャンセル適用強度は０．０である。
【００７３】
上記の通り、振動係数ｓが大きい場合、携帯機器１０の振動は激しい。携帯機器１０の振動が激しい場合、演算処理に起因する遅延などから、その振動をキャンセルする方向に画像データを動かそうとすると、ユーザの視点に対する画像データの振動が低減しないばかりか、却ってユーザの視点に対する画像データの振動が増大してしまう可能性がある。また、画像データを大きく動かすと、多くの画像領域が画面外に移動してしまい、画像データの非表示領域が大きくなり過ぎてしてしまう。そのため、携帯機器１０の振動が激しい場合には、振動のキャンセルを適用しない方が好ましい。
【００７４】
一方、振動係数ｓが小さい場合、携帯機器１０の振動は緩やかである。携帯機器１０の振動が緩やかな場合には、ユーザが疲労せずに画像データの動きを追従できる。そのため、振動係数ｓが小さい場合にはキャンセルを適用する必要がない。
【００７５】
上記の理由から閾値Ｔ１、Ｔ２は、次のように決定することが好ましい。例えば、閾値Ｔ１は、振動係数ｓが示す振動の幅が画面サイズの１％程度にする。つまり、閾値Ｔ１は、ユーザの視点に対する画像データの振動が無視できる程度の値に設定する。一方、閾値Ｔ２は、振動係数ｓが示す振動の幅が画面サイズの１０％程度にする。つまり、キャンセルを適用した場合に、キャンセルの効果が得られ、かつ、非表示領域が大きくなり過ぎてしまわない値に設定する。なお、閾値Ｔ１、Ｔ２の数値は、これらの例に限定されない。なお、閾値Ｔ１、Ｔ２は固定値であってもよいし、可変にしてもよい。
【００７６】
（キャンセル適用強度を連続値にする場合）
また、振動係数ｓに応じて連続的にキャンセル適用強度を決定する方法も考えられる。例えば、図４に示すように、キャンセル適用強度を０．０〜１．０の実数で定義することができる。このとき、キャンセル非適用状態は、キャンセル適用強度が０．０の状態として定義される。図４に例示したキャンセル適用強度の特性曲線は、振動係数ｓの増加に伴って滑らかにキャンセル適用強度が増減するものであるが、キャンセル適用強度の特性はこれに限定されない。例えば、振動係数ｓ１からキャンセル適用強度が線形に増加し、振動係数ｓ２（ｓ２＞ｓ１）でキャンセル適用強度１．０に到達した後、振動係数ｓ３（ｓ３＞ｓ２）からキャンセル適用強度が線形に減少するような特性であってもよい。
【００７７】
以上、状態検知部１１５の動作について説明した。
【００７８】
［１−３：フィルタ部１１７の動作］
次に、図５を参照しながら、フィルタ部１１７の動作について説明を補足する。図５は、フィルタ部１１７による処理の流れについて説明するための説明図である。
【００７９】
（１−３−１：処理の流れ）
図５に示すように、フィルタ部１１７は、ＦＩＦＯバッファ１１４から読み出した動きデータに基づいて次フレームの表示時刻における動きデータ（予測値；図６を参照）を予測する（Ｓ１１１）。次いで、フィルタ部１１７は、予測値を含む動きデータを所定のフィルタに適用してキャンセル適用後の予測値を算出する（Ｓ１１２）。次いで、フィルタ部１１７は、キャンセル適用後の予測値からフィルタ適用前の予測値を差し引いて補正量（図７を参照）を算出する（Ｓ１１３）。
【００８０】
次いで、フィルタ部１１７は、補正量の単位を動きデータの単位（インチなど）から画像データの単位（ピクセル）に変換する（Ｓ１１４）。次いで、フィルタ部１１７は、図９又は図１０に示すような最大画面移動量に基づいて補正量を再設定（クリッピング処理）する（Ｓ１１５）。例えば、補正量が最大画面移動量を超えている場合には最大画面移動量を新たな補正量に設定し、補正量が最大画面移動量を超えていない場合にはステップＳ１１３で算出された補正量のまま維持する。
【００８１】
（１−３−２：予測値の算出）
ここで、ステップＳ１１１における予測値の算出方法について説明する。
【００８２】
予測値の算出方法としては、例えば、図６に示すように、直近の２サンプル（Ｄｔ＋ｎ−１，Ｄｔ＋ｎ）を利用した線形予測方法がある。この方法は、直近の２サンプル（Ｄｔ＋ｎ−１，Ｄｔ＋ｎ）を結ぶ直線を延長し、次フレームの表示時点ｔ＋ｎ＋１における動きデータＤｔ＋ｎ＋１を予測するというものである。
【００８３】
また、予測値の算出方法としては、例えば、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）のスプライン曲線を利用した予測方法も考えられる。この方法は、動きデータ（Ｄｔ，…，Ｄｔ＋ｎ）に基づくスプライン曲線を算出し、そのスプライン曲線を次フレームの表示時点ｔ＋ｎ＋１まで延長することにより動きデータＤｔ＋ｎ＋１を予測するというものである。
【００８４】
（１−３−３：補正量の算出）
次に、ステップＳ１１２、Ｓ１１３における補正量の算出方法について説明する。
【００８５】
補正量を算出する際、まず、図７に示すようにフィルタ適用後の補間ラインが算出される。このフィルタ適用後の補間ラインは、予測値を含む動きデータ（Ｄｔ，…，Ｄｔ＋ｎ，Ｄｔ＋ｎ＋１）を適用したフィルタの出力値である。フィルタ適用後の補間ラインは、ユーザの視点に対する画像データの振動を抑制した振動状態に相当する。つまり、次フレームの表示時点ｔ＋ｎ＋１におけるフィルタ適用後データは、キャンセル適用後に得られる動きデータの予測値に相当する。そこで、フィルタ適用後データを得たフィルタ部１１７は、次フレームの表示時点ｔ＋ｎ＋１におけるフィルタ適用後データと予測値Ｄｔ＋ｎ＋１の差分を補正量に設定する。
【００８６】
（１−３−４：保護領域及び最大画面移動量の決定方法）
次に、図９、図１０を参照しながら、ステップＳ１１５におけるクリッピング処理に関し、画像データの保護領域及び最大画面移動量の決定方法について説明する。
【００８７】
（保護領域を保護する構成）
画像データには、画面内に表示しておきたい領域がある。そこで、この領域を保護領域に設定しておくことにする。例えば、携帯機器１０がｅＢｏｏｋＲｅａｄｅｒの場合、本文が記載された領域などが保護領域に設定される。また、携帯機器１０が携帯ゲーム機の場合、ユーザがプレイしている主人公の表示領域などは保護領域に設定される。保護領域を画面内に表示するためには、振動のキャンセルが適用されても保護領域の境界と画枠の距離が０以上になっていればよい。そこで、現時点における保護領域の境界と画枠の距離が最大画面移動量に設定されていればよい。また、補正量が最大画面移動量を超えなければよい。そこで、フィルタ部１１７は、補正量が最大画面移動量を越える場合には、補正量を最大画面移動量に再設定する。
【００８８】
（画像データを画面全体に表示する構成）
画像データには、画面サイズよりも大きなものがある。例えば、ゲーム画面の背景画像などは画面サイズよりも大きく設定されていることがある。また、画像データが画面全体に表示されるようにしたい場合がある。このような場合、最大画面移動量は、保護領域の境界と画枠の距離ではなく、画像データの境界と画枠の距離により決定される。図１０に示すように、保護領域の境界と画枠の距離により最大画面移動量を決めると、その最大画面移動量はＢのようになる。一方、画像データの境界と画枠の距離により最大画面移動量を決めると、最大画面移動量はＡのようになる。
【００８９】
Ｂの最大画面移動量に基づいて振動のキャンセルを適用すると、画面の一部に画像データの表示されない領域が含まれてしまう可能性がある。しかし、Ａの最大画面移動量に基づいて振動のキャンセルを適用しても、画面の一部に画像データの表示されない領域が含まれてしまう可能性はない。従って、画像データを画面全体に表示したい場合には、Ａの最大画面移動量に決定される。そして、この最大画面移動量Ａよりも補正量が大きい場合には、最大画面移動量Ａに基づいて補正量が再設定される。このようにして最大画面移動量を決定することにより、画像データを画面全体に表示しつつ、振動のキャンセリングを適用することが可能になる。
【００９０】
以上、フィルタ部１１７の動作について説明した。
【００９１】
以上、本発明の第１実施形態について説明した。本実施形態は、振動係数ｓに基づいてキャンセル適用強度を算出し、そのキャンセル適用強度に基づく振動のキャンセリングを実施する方法に特徴がある。この方法を適用することにより、携帯機器１０が手振れなどにより振動しても、ユーザの疲労を低減させることが可能になる。
【００９２】
＜２：第２実施形態＞
次に、本発明の第２実施形態について説明する。本実施形態は、レイヤーの用途に応じてフィルタ強度を決定する方法に関する。
【００９３】
［２−１：携帯機器１０の機能構成］
まず、図１３を参照しながら、本実施形態に係る携帯機器１０の機能構成について説明する。図１３は、本実施形態に係る携帯機器１０の機能構成について説明するための説明図である。なお、上記の第１実施形態に係る携帯機器１０と実質的に同じ機能を有する構成要素については同一の符号を付することにより詳細な説明を省略する。
【００９４】
図１３に示すように、携帯機器１０は、主に、画像安定化モジュール１１と、多重化部１２と、表示部１３とにより構成される。画像安定化モジュール１１は、ユーザの視点に対する表示画像の振動を低減させる手段である。多重化部１２は、複数のレイヤーを多重化して表示画像を生成する手段である。表示部１３は、多重化部１２により生成された表示画像を表示する手段である。本実施形態に係る携帯機器１０の特徴は、主に、画像安定化モジュール１１の構成にある。そこで、以下では画像安定化モジュール１１の構成について、より詳細に説明する。
【００９５】
図１３に示すように、画像安定化モジュール１１は、主に、画像データ取得部１１１と、動きセンサ１１２と、座標変換部１１３と、ＦＩＦＯバッファ１１４と、状態検知部１１５とを有する。さらに、画像安定化モジュール１１は、ユーザ入力部１１６と、フィルタ部１１７と、補正ベクトル生成部１１８と、動き補償部１１９と、コンテンツ情報解析部１２０とを有する。上記の第１実施形態に係る画像安定化モジュール１１との主な違いは、コンテンツ情報解析部１２０の存在にある。そこで、コンテンツ情報解析部１２０について詳細に説明する。
【００９６】
（コンテンツ情報解析部１２０）
コンテンツ情報解析部１２０には、画像データ取得部１１１から画像データが入力される。画像データが入力されると、コンテンツ情報解析部１２０は、入力された画像データを解析し、画像データを構成する各レイヤーの用途を判別する。そして、コンテンツ情報解析部１２０は、判別したレイヤーの用途に応じて、各レイヤーにフィルタ強度重み係数を割り当て、割り当てたフィルタ強度重み係数をフィルタ部１１７に入力する。フィルタ強度重み係数は、図１４に示すように、用途毎に予め設定されている。また、フィルタ強度重み係数は、フィルタ部１１７がフィルタのタップ長を決める際に利用される。例えば、フィルタ強度重み係数が大きい場合にはフィルタのタップ長が長く設定され、フィルタ強度重み係数が小さい場合にはフィルタのタップ長が短く設定される。
【００９７】
以上、携帯機器１０の機能構成について説明した。
【００９８】
［２−２：フィルタ強度の決定方法］
ここで、図１４を参照しながら、具体的なフィルタ強度の決定方法について説明する。図１４は、具体的なフィルタ強度重み係数の構成例を示す説明図である。
【００９９】
上記の通り、本実施形態においては、フィルタ強度が各レイヤーの用途に応じて決定される。そして、そのフィルタ強度を決めるのが、図１４に例示したフィルタ強度重み係数の大きさである。例えば、映像用のレイヤーには、フィルタ強度重み係数１が設定されている。また、文字用のレイヤーには、フィルタ強度重み係数３が設定されている。さらに、属性情報表示用のレイヤーには、フィルタ強度重み係数０が設定されている。従って、図１４に例示した設定の場合、文字用のレイヤーは、ユーザの視点に対して振動が強くキャンセルされるように動きが制御される。一方、属性情報表示用のレイヤーには、全くキャンセルが適用されない。このように、レイヤーの用途に応じてフィルタ強度が決定され、キャンセルの適用強度が制御される。
【０１００】
以上、フィルタ強度の決定方法について説明した。
【０１０１】
以上、本発明の第２実施形態について説明した。本実施形態のようにレイヤーの用途に応じてキャンセルの適用強度が調整されることにより、ユーザの視点に対する振動を強く抑制したい情報と、携帯機器１０の動きに追従させたい情報とに応じた振動キャンセリングの制御が可能になる。その結果、ユーザの視認性を向上させることができる。
【０１０２】
＜３：第３実施形態＞
次に、本発明の第３実施形態について説明する。本実施形態は、後述するスケーリング状態と非スケーリング状態を切り替える方法に関する。
【０１０３】
［３−１：携帯機器１０の機能構成］
以下、図１５を参照しながら、本実施形態に係る携帯機器１０の機能構成について説明する。図１５は、本実施形態に係る携帯機器１０の機能構成について説明するための説明図である。なお、上記の第１実施形態に係る携帯機器１０と実質的に同じ機能を有する構成要素については同一の符号を付することにより詳細な説明を省略する。
【０１０４】
図１５に示すように、携帯機器１０は、主に、画像安定化モジュール１１と、多重化部１２と、表示部１３とにより構成される。画像安定化モジュール１１は、ユーザの視点に対する表示画像の振動を低減させる手段である。多重化部１２は、複数のレイヤーを多重化して表示画像を生成する手段である。表示部１３は、多重化部１２により生成された表示画像を表示する手段である。本実施形態に係る携帯機器１０の特徴は、主に、画像安定化モジュール１１の構成にある。そこで、以下では画像安定化モジュール１１の構成について、より詳細に説明する。
【０１０５】
図１５に示すように、画像安定化モジュール１１は、主に、画像データ取得部１１１と、動きセンサ１１２と、座標変換部１１３と、ＦＩＦＯバッファ１１４と、状態検知部１１５とを有する。さらに、画像安定化モジュール１１は、ユーザ入力部１１６と、フィルタ部１１７と、補正ベクトル生成部１１８と、動き補償部１１９と、コンテンツ情報解析部１２０とを有する。上記の第１実施形態に係る画像安定化モジュール１１との主な違いは、状態検知部１１５により算出されたキャンセル適用強度が補正ベクトル生成部１１８に入力される点、及び補正ベクトル生成部１１８の機能にある。そこで、補正ベクトル生成部１１８の機能について詳細に説明する。
【０１０６】
（補正ベクトル生成部１１８）
先に述べた通り、補正ベクトル生成部１１８は、フィルタ部１１７により入力された補正量を用いてレイヤーの位置を補正するための補正ベクトルを生成する手段である。上記の第１実施形態に係る補正ベクトル生成部１１８は、回転、平行移動、原点の移動、アスペクト比の変換などを示す行列Ｍ、Ｐ、Ｃを用いて補正行列Ｖを表現した。一方、本実施形態に係る補正ベクトル生成部１１８は、後述するスケーリング状態と非スケーリング状態を区別し、下記の式（９）に示すスケーリングを示す行列Ｓを追加して補正行列Ｖ（下記の式（１０）を参照）を表現する。
【０１０７】
【数４】
2011257503.tif 000006
【０１０８】
上記のスケーリングとは、上記の式（１０）で表現される行列Ｓを適用した補正行列Ｖを用いて動き補償することを言う。一方、上記の非スケーリングとは、上記の第１実施形態に係る補正行列Ｖを用いて動き補償することを言う。スケーリングを適用するか否かの判断は、次のように行う。
【０１０９】
まず、図１６に示すように、補正ベクトル生成部１１８は、状態検知部１１５により入力されたキャンセル適用強度を一定時間蓄積する。次いで、補正ベクトル生成部１１８は、一定時間蓄積したキャンセル適用強度のうち、閾値Ｔ１を越える値が所定数より多いか否かを判断する。そして、閾値Ｔ１を越えるキャンセル適用強度が所定数より多い場合、補正ベクトル生成部１１８は、スケーリングの適用を開始する。同様に、補正ベクトル生成部１１８は、一定時間蓄積したキャンセル適用強度のうち、閾値Ｔ２を越える値が所定数より多いか否かを判断する。そして、閾値Ｔ２を越えるキャンセル適用強度が所定数より少ない場合、補正ベクトル生成部１１８は、スケーリングの適用を終了する。
【０１１０】
以上、携帯機器１０の機能構成について説明した。
【０１１１】
以上、本発明の第３実施形態について説明した。本実施形態の構成を適用することにより、ユーザの疲労とならないように視認対象の動きを緩和させ、視認性を向上させることが可能になる。
【０１１２】
＜４：ハードウェア構成＞
上記の携帯機器１０が有する各構成要素の機能は、例えば、図１７に示す情報処理装置のハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図１７に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔの略である。
【０１１３】
図１７に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略である。
【０１１４】
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１１５】
これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
【０１１６】
出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ  ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙの略である。
【０１１７】
記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略である。
【０１１８】
ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略である。
【０１１９】
接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅの略である。
【０１２０】
通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ  ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅの略である。
【０１２１】
＜５：まとめ＞
最後に、本発明の実施形態に係る技術内容について簡単に纏める。ここで述べる技術内容は、例えば、ＰＣ、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム等、種々の情報処理装置に対して適用することができる。
【０１２２】
上記の情報処理装置の機能構成は次のように表現することができる。当該情報処理装置は、次のような動きセンサと、画像データ表示部と、振動係数算出部と、動き補償部とを有する。上記の動きセンサは、動きデータを検出するものである。また、上記の画像データ表示部は、画像データを表示するものである。上記の振動係数算出部は、前記動きセンサにより検出された時系列の動きデータに基づいて振動の激しさを示す振動係数を算出するものである。例えば、振動係数算出部は、動きデータの高周波成分を参照し、その高周波成分の最大振幅値を振動係数として算出する。
【０１２３】
また、上記の動き補償部は、前記振動係数算出部により算出された振動係数が所定の第１閾値よりも小さくなった場合に、前記画像データ表示部に対し、前記振動をキャンセルする方向に前記画像データを動かす制御を実行するものである。例えば、振動をキャンセルする方向に画像データを動かした際、画像データの動きが装置の動きに追従できず、却って画像データの視認性が乱れてしまうような激しい振動が生じる場合（振動係数が所定の第１閾値よりも大きい場合）に、振動をキャンセルする処理を実行しないようにする。このような構成にすることで、振動のキャンセルにより視認性が却って悪化してしまうことを防止し、ユーザの疲労を緩和することが可能になる。
【０１２４】
（備考）
上記の表示部１３は、画像データ表示部の一例である。上記の状態検知部１１５は、振動係数算出部の一例である。上記の状態検知部１１５、フィルタ部１１７、補正ベクトル生成部１１８、動き補償部１１９は、動き補正部の一例である。上記の状態検知部１１５、フィルタ部１１７は、動き推定部、キャンセル度合い決定部の一例である。上記のフィルタ部１１７は、最大移動量算出部の一例である。上記の画像安定化モジュール１１は、画像安定化装置の一例である。
【０１２５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１２６】
１０      携帯機器
１１      画像安定化モジュール
１１１    画像データ取得部
１１２    動きセンサ
１１３    座標変換部
１１４    ＦＩＦＯバッファ
１１５    状態検知部
１１６    ユーザ入力部
１１７    フィルタ部
１１８    補正ベクトル生成部
１１９    動き補償部
１２０    コンテンツ情報解析部
１２      多重化部
１３      表示部
【図１】
2011257503.tif 000007
【図２】
2011257503.tif 000008
【図３】
2011257503.tif 000009
【図４】
2011257503.tif 000010
【図５】
2011257503.tif 000011
【図６】
2011257503.tif 000012
【図７】
2011257503.tif 000013
【図８】
2011257503.tif 000014
【図９】
2011257503.tif 000015
【図１０】
2011257503.tif 000016
【図１１】
2011257503.tif 000017
【図１２】
2011257503.tif 000018
【図１３】
2011257503.tif 000019
【図１４】
2011257503.tif 000020
【図１５】
2011257503.tif 000021
【図１６】
2011257503.tif 000022
【図１７】
2011257503.tif 000023