(57)【要約】      （修正有）【課題】画面に表示された画像によって画面内において認識される方位と現実空間の方位とのずれを低減する方位追従表示装置を提供する。【解決手段】方位追従表示装置は、画面に対して固定され画面が基準姿勢にあるとき、ｘ軸が現実空間において左右方向に平行でありｚ軸が画面に対して垂直であるｘｙｚ直交座標空間の姿勢を表す正格直交行列である姿勢行列Ａにもとづき、画面内において基準水平方位を認識させる画像であって、基準姿勢の画面に表示されると画面内において認識される基準水平方位が現実空間における基準水平方位に一致する画像が、任意の姿勢の画面に表示されるときに、画像から認識される基準水平方位が現実空間における基準水平方位に対して追従するように、画像を回転させる角度θを導出する表示制御手段を備える。【選択図】図７Ａ
2010049076.tif 000002
【特許請求の範囲】
【請求項１】
画面に対して固定され前記画面が基準姿勢にあるときｘ軸が現実空間において左右方向に平行でありｚ軸が前記画面に対して垂直であるｘｙｚ直交座標空間の姿勢を表す正格直交行列である姿勢行列Ａを
【数１】
2010049076.tif 000022
とし、
前記基準姿勢における姿勢行列Ａが
【数２】
2010049076.tif 000023
であって、
−π≦φ＜πの範囲において関数ｆ（β、α）＝φが
【数３】
2010049076.tif 000024
を満たし、
閾値ｔを０＜ｔ＜１を満たす定数とするとき、
前記画面内において基準水平方位を認識させる画像であって前記基準姿勢の前記画面に表示されると前記画面内において認識される前記基準水平方位が前記現実空間における前記基準水平方位に一致する画像が任意の姿勢の前記画面に表示されるときに前記画像から認識される前記基準水平方位が前記現実空間における前記基準水平方位に対して追従するように前記画像を回転させる角度θを、
ａ３３≧ｔである場合、
θ＝ｆ（ａ１２，ａ２２）
として導出し、
｜ａ３３｜＜ｔである場合、
θ＝ｆ（−ａ１３，−ａ２３）＋ｆ（−ａ３１，ａ３２）
として導出する表示制御手段を備える、
方位追従表示装置。
【請求項２】
前記表示制御手段は、
ａ３３≦−ｔである場合、
θ＝ｆ（-ａ１２，-ａ２２）
として角度θを導出する、
請求項１に記載の方位追従表示装置。
【請求項３】
３軸の加速度成分を表す加速度データを出力する加速度センサと、
３軸の地磁気成分を表す地磁気データを出力する地磁気センサと、
をさらに備え、
前記表示制御手段は、前記加速度データと前記地磁気データとに基づいて前記姿勢行列Ａを導出し、前記姿勢行列Ａに応じて前記画像を角度θだけ回転させる、
請求項１または２に記載の方位追従表示装置。
【請求項４】
画面に対して固定され前記画面が基準姿勢にあるときｘ軸が現実空間において左右方向に平行でありｚ軸が前記画面に対して垂直であるｘｙｚ直交座標空間の姿勢を表す正格直交行列である姿勢行列Ａを
【数４】
2010049076.tif 000025
とし、
前記基準姿勢における姿勢行列Ａが
【数５】
2010049076.tif 000026
であって、
−π≦φ＜πの範囲において関数ｆ（β、α）＝φが
【数６】
2010049076.tif 000027
を満たし、
閾値ｔを０＜ｔ＜１を満たす定数とするとき、
前記画面内において基準水平方位を認識させる画像であって前記基準姿勢の前記画面に表示されると前記画面内において認識される前記基準水平方位が前記現実空間における前記基準水平方位に一致する画像が任意の姿勢の前記画面に表示されるときに前記画像から認識される前記基準水平方位が前記現実空間における前記基準水平方位に対して追従するように前記画像を回転させる角度θを、
ａ３３≧ｔである場合、
θ＝ｆ（ａ１２，ａ２２）
として導出し、
｜ａ３３｜＜ｔである場合、
θ＝ｆ（−ａ１３，−ａ２３）＋ｆ（−ａ３１，ａ３２）
として導出する、
ことを含む方位追従表示方法。
【請求項５】
画面に対して固定され前記画面が基準姿勢にあるときｘ軸が現実空間において左右方向に平行でありｚ軸が前記画面に対して垂直であるｘｙｚ直交座標空間の姿勢を表す正格直交行列である姿勢行列Ａを
【数７】
2010049076.tif 000028
とし、
前記基準姿勢における姿勢行列Ａが
【数８】
2010049076.tif 000029
であって、
−π≦φ＜πの範囲において関数ｆ（β、α）＝φが
【数９】
2010049076.tif 000030
を満たし、
閾値ｔを０＜ｔ＜１を満たす定数とするとき、
前記画面内において基準水平方位を認識させる画像であって前記基準姿勢の前記画面に表示されると前記画面内において認識される前記基準水平方位が前記現実空間における前記基準水平方位に一致する画像が任意の姿勢の前記画面に表示されるときに前記画像から認識される前記基準水平方位が前記現実空間における前記基準水平方位に対して追従するように前記画像を回転させる角度θを、
ａ３３≧ｔである場合、
θ＝ｆ（ａ１２，ａ２２）
として導出し、
｜ａ３３｜＜ｔである場合、
θ＝ｆ（−ａ１３，−ａ２３）＋ｆ（−ａ３１，ａ３２）
として導出する表示制御手段、
としてコンピュータを機能させる方位追従表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は方位追従表示装置、方位追従表示方法および方位追従表示プログラムに関し、特に電子コンパス、ＰＮＤ（Personal Navigation Device）などで用いられる方位追従表示技術に関する。
【背景技術】
【０００２】
従来、電子コンパス、ＰＮＤ、携帯型電話端末などの画面の姿勢に応じて地図などの画像を回転させることによって、画像によって表されている方位を現実空間の方位に追従させる方位追従表示技術が知られている。地図などの画像が方位に追従するように表示されると画像が表している情報と現実空間とを対応付けて認識することが容易になる。ヘディングアップ表示ともいわれる方位追従表示では、例えば画面が水平な状態では画像によって表されている画面の手前から奥に向かう方位を現実空間におけるその方位と対応付けて認識する人の習性にあわせて画像を回転させる。特許文献１、２には、歩行している人の進行方位に対応する地図上の方位を画面の下辺から上辺または手前側の辺から奥側の辺に向かう方向に一致させる方位追従表示方法が記載されている。従来の方位追従表示方法では、画面に対して固定された座標軸の現実空間の水平面への投影と現実空間の北方位とがなす角の大きさに応じて表示画像を回転させる。
【特許文献１】特開２００１−２８９６４６号公報
【特許文献２】特開２００５−２４２２８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来の方位追従表示方法では、画面に固定された３つの直交座標軸の１つを画面の姿勢に応じて選択し、選択した軸の投影と現実空間の北方位との角度差に応じて表示画像を回転させるため、画面が特定の姿勢にあるときには進行方位に対応する地図上の方位が現実の進行方位に追従しない。画面の長辺方向に延びるｙ軸の水平面への射影と北方位とのなす角に応じてコンパス針の画像を回転させる状態から、画面の垂線方向に延びるｚ軸の水平面への射影と北方位とのなす角に応じてコンパス針の画像を回転させる状態に切り替わる例を図１３を用いて具体的に説明すると次の通りである。ｚ軸が水平である状態を維持しながらｚ軸周りに画面Ｆを回転させるとき、ｙ軸が水平面に対して４５度傾いているｙ１の位置にあるときにｙ軸からｚ軸に切り替わるとする。ｙ軸がｙ０からｙ１に回転する区間ではｙ軸の水平面への射影と北（Ｎ）方位とのなす角θは一定であるため、画面Ｆに表示されるコンパス針Ｄは回転しない。したがってｙ軸がｙ０からｙ１に回転する区間においてコンパス針Ｄが指し示す北方位と現実空間の北方位とのずれは０度から４５度まで漸増する。なお、このずれは、ユーザが主観的にずれとして認識するものであって、コンパス針Ｄを水平面に投影したときに投影されたコンパス針Ｄが指し示す北方位と現実空間の北方位とのずれである。そしてｙ軸がｙ１からｙ２に回転する区間では、ｚ軸が回転しないためにコンパス針Ｄが指し示す北方位と現実空間の北方位とのずれは４５度から０度に漸減する。ここではコンパス針Ｄの画像を表示対象として説明したが地図を表示対象とする場合にも同様のずれが生ずる。このように画面に表示された画像によって表されている方位が現実空間の方位に追従しない場合、ユーザは違和感を感じることとなり、表示内容に対するユーザの信頼感が減退したり、ユーザが混乱したりする。
【０００４】
本発明はこのような問題を解決するために創作されたものであって画面に表示された画像によって画面内において認識される方位と現実空間の方位とのずれを低減することを目的の１つとする。
【課題を解決するための手段】
【０００５】
（１）上記目的を達成するための方位追従表示装置は、画面に対して固定され前記画面が基準姿勢にあるときｘ軸が現実空間において左右方向に平行でありｚ軸が前記画面に対して垂直であるｘｙｚ直交座標空間の姿勢を表す正格直交行列である姿勢行列Ａを
【数１】
2010049076.tif 000003
とし、
前記基準姿勢における姿勢行列Ａが
【数２】
2010049076.tif 000004
であって、
−π≦φ＜πの範囲において関数ｆ（β、α）＝φが
【数３】
2010049076.tif 000005
を満たし、
閾値ｔを０＜ｔ＜１を満たす定数とするとき、
前記画面内において基準水平方位を認識させる画像であって前記基準姿勢の前記画面に表示されると前記画面内において認識される前記基準水平方位が前記現実空間における前記基準水平方位に一致する画像が任意の姿勢の前記画面に表示されるときに前記画像から認識される前記基準水平方位が前記現実空間における前記基準水平方位に対して追従するように前記画像を回転させる角度θを、
ａ３３≧ｔである場合、
θ＝ｆ（ａ１２，ａ２２）
として導出し、
｜ａ３３｜＜ｔである場合、
θ＝ｆ（−ａ１３，−ａ２３）＋ｆ（−ａ３１，ａ３２）
として導出する表示制御手段を備える。
【０００６】
基準水平方位とは現実空間において水平面と平行な特定の方向に対して人為的に定められる方位である。本発明によると、画面に表示された画像によって画面内において認識される方位と現実空間の方位とのずれを低減することができる。
【０００７】
（２）前記表示制御手段は、ａ３３≦−ｔである場合、θ＝ｆ（-ａ１２，-ａ２２）として角度θを導出してもよい。
【０００８】
（３）上記目的を達成するための方位追従表示装置において、３軸の加速度成分を表す加速度データを出力する加速度センサと、３軸の地磁気成分を表す地磁気データを出力する地磁気センサと、をさらに備え、前記表示制御手段は、前記加速度データと前記地磁気データとに基づいて前記姿勢行列Ａを導出し、前記姿勢行列Ａに応じて前記画像を角度θだけ回転させてもよい。
【０００９】
（４）上記目的を達成するための方位追従表示方法は、画面に対して固定され前記画面が基準姿勢にあるときｘ軸が現実空間において左右方向に平行でありｚ軸が前記画面に対して垂直であるｘｙｚ直交座標空間の姿勢を表す正格直交行列である姿勢行列Ａを
【数４】
2010049076.tif 000006
とし、
前記基準姿勢における姿勢行列Ａが
【数５】
2010049076.tif 000007
であって、
−π≦φ＜πの範囲において関数ｆ（β、α）＝φが
【数６】
2010049076.tif 000008
を満たし、
閾値ｔを０＜ｔ＜１を満たす定数とするとき、
前記画面内において基準水平方位を認識させる画像であって前記基準姿勢の前記画面に表示されると前記画面内において認識される前記基準水平方位が前記現実空間における前記基準水平方位に一致する画像が任意の姿勢の前記画面に表示されるときに前記画像から認識される前記基準水平方位が前記現実空間における前記基準水平方位に対して追従するように前記画像を回転させる角度θを、
ａ３３≧ｔである場合、
θ＝ｆ（ａ１２，ａ２２）
として導出し、
｜ａ３３｜＜ｔである場合、
θ＝ｆ（−ａ１３，−ａ２３）＋ｆ（−ａ３１，ａ３２）
として導出する、ことを含む。
本発明によると画面に表示された画像によって画面内において認識される方位と現実空間の方位とのずれを低減することができる。
【００１０】
（４）上記目的を達成するための方位追従表示プログラムは、画面に対して固定され前記画面が基準姿勢にあるときｘ軸が現実空間において左右方向に平行でありｚ軸が前記画面に対して垂直であるｘｙｚ直交座標空間の姿勢を表す正格直交行列である姿勢行列Ａを
【数７】
2010049076.tif 000009
とし、
前記基準姿勢における姿勢行列Ａが
【数８】
2010049076.tif 000010
であって、
−π≦φ＜πの範囲において関数ｆ（β、α）＝φが
【数９】
2010049076.tif 000011
を満たし、
閾値ｔを０＜ｔ＜１を満たす定数とするとき、
前記画面内において基準水平方位を認識させる画像であって前記基準姿勢の前記画面に表示されると前記画面内において認識される前記基準水平方位が前記現実空間における前記基準水平方位に一致する画像が任意の姿勢の前記画面に表示されるときに前記画像から認識される前記基準水平方位が前記現実空間における前記基準水平方位に対して追従するように前記画像を回転させる角度θを、
ａ３３≧ｔである場合、
θ＝ｆ（ａ１２，ａ２２）
として導出し、
｜ａ３３｜＜ｔである場合、
θ＝ｆ（−ａ１３，−ａ２３）＋ｆ（−ａ３１，ａ３２）
として導出する表示制御手段としてコンピュータを機能させる。
本発明によると画面に表示された画像によって画面内において認識される方位と現実空間の方位とのずれを低減することができる。
【００１１】
尚、請求項に記載された各手段の機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら各手段の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。さらに、本発明は方位追従表示プログラムの記録媒体としても成立する。むろん、そのコンピュータプログラムの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体であってもよい。
【発明を実施するための最良の形態】
【００１２】
１．原理
１．１  座標系の定義
図１は現実空間の直交座標軸Ｎ、Ｅ、Ｇと、現実空間において運動する画面Ｆに固定された直交座標軸ｘ、ｙ、ｚとの関係を示している。現実空間の方位は任意の基準方位を１つ定めることによって規定される。そこで、地表上の任意の１点において磁極北に向かうベクトルの水平成分の向きを正方向とするＮ軸とその点における鉛直上向きを正方向とするＧ軸とＮ軸をＧ軸周りに９０度回転させたＥ軸とを定め、Ｎ軸正方向（以下、北という）を基準水平方位とする。
【００１３】
そして画面Ｆに対して固定されるｘｙｚ直交座標空間を次のように定める。まず画面Ｆの長辺と平行で画面Ｆの下辺から上辺に向かう方向が正方向となるｙ軸を定める。画面Ｆの上辺および下辺は重力方向とは無関係に一般に画面Ｆの周囲に配置されるスイッチなどのとの関係で画面Ｆに対して固定的に定められるものである。ここでは文字情報が回転を伴わずに表示されるときにその文字情報が正立していると認識されるように画面Ｆを直立させたときに鉛直上側にある辺を上辺、上辺に対向する辺を下辺とする。次に画面Ｆの短辺と平行で画面Ｆの左辺から右辺に向かう方向が正方向となるｘ軸を定める。画面Ｆの左辺および右辺については画面Ｆを見るユーザから見て上辺が鉛直上側に下辺が鉛直下側になるように直立している画面Ｆを正対して見るときに左に位置する辺を画面Ｆの左辺、そのときに右に位置する辺を画面Ｆの右辺というものとする。そしてｘ軸およびｙ軸のそれぞれに直交し画面Ｆの奥から手前に向かう方向が正方向となるｚ軸を定める。
【００１４】
１．２  基準姿勢
現実空間における画面Ｆの基準姿勢を定めることによって画面Ｆの任意の姿勢を数学的に一意に表現可能になる。そこで１．１のようにｘｙｚ直交座標空間を定義した画面Ｆの基準姿勢を図２に示すように定める。すなわちｘ軸の正方向とＥ軸の正方向とが一致し、ｙ軸の正方向と基準水平方位である北とが一致し、ｚ軸の正方向とＧ軸の正方向とが一致する画面Ｆの姿勢を基準姿勢として定める。
【００１５】
１．３  姿勢行列
画面Ｆの任意の姿勢は、正格直交行列によって一意に表すことができる。画面Ｆの任意の姿勢を表す正格直交行列である姿勢行列Ａを次式（１）によって表すものとする。
【数１０】
2010049076.tif 000012
【００１６】
姿勢行列Ａの第一列の成分は、ｘｙｚ直交座標空間のｘ軸の正の向きを持つベクトルｘをＮＥＧ直交座標空間において表したものである。姿勢行列Ａの第二列の成分は、ｘｙｚ直交座標空間のｙ軸の正の向きを持つベクトルｙをＮＥＧ直交座標空間において表したものである。姿勢行列Ａの第三列の成分は、ｘｙｚ直交座標空間のｚ軸の正の向きを持つベクトルｚをＮＥＧ直交座標空間において表したものである。そしてベクトルｘ、ベクトルｙおよびベクトルｚの大きさは等しく、これらの合成ベクトルの大きさは常に１である。したがって姿勢行列Ａは、基準姿勢から任意の姿勢に画面Ｆが回転したときに現実空間に固定されたＮＥＧ直交座標空間で定義される点を画面Ｆに固定されたｘｙｚ座標空間で表現するために座標軸を回転させる行列である。
【００１７】
このように姿勢行列Ａを定めるとき、基準姿勢を表す姿勢行列Ａは次式（２）の通りである。
【数１１】
2010049076.tif 000013
【００１８】
１．４  方位の認識
本発明はコンパス針などそれ自体が方位を指し示す画像や、地図、海図、建築設計図、星座図、上空から地表を写し取った写真（航空写真、衛星写真）などその情報の認識について方位の認識が伴う画像を対象としている。一般に、そのような画像を見ることによって画面Ｆ内において認識される方位が現実空間の方位と一致していると認識されるためには、また、そのような画像の表示によって画面Ｆ内において認識すべき方位が現実空間の方位と一致していると認識されるためには、画面Ｆに表示された画像を図３の破線で示すように水平面に投影したときに投影された画像から認識すべき北方位（投影されたコンパス針Ｄ'が指し示す方向）と現実空間の北方位（Ｎ軸正方向）とが一致するか、左右方向に平行な軸を中心にして画面Ｆを奥行き方向に水平になるまで倒したときに表示対象であるコンパス針Ｄが指し示す北方位と現実空間の北方位と一致していればよい。尚、図４に示すように画面Ｆを見るユーザの視線と鉛直軸（Ｇ軸）とを含む平面Ｐと、画面Ｆを含む平面Ｑとは常に垂直に交わることを前提としている。
【００１９】
１．５  方位追従表示
方位の認識を伴う画像を現実空間の方位に追従するように画面Ｆに表示するには、特定の姿勢の画面Ｆに表示されると画面内において認識される基準水平方位が現実空間における基準水平方位に一致する画像を、画面Ｆの姿勢に応じて回転させ、回転させた画像を画面Ｆに表示することになる。基準姿勢の画面Ｆに表示されると画面内において指し示す方向が現実空間における北に一致するコンパス針Ｄの画像（図２参照）について詳細に説明すると次の通りである。
【００２０】
１．５．１  方位追従表示の対象となる画像
方位追従表示の対象となるコンパス針Ｄの画像は、回転を伴わずに画面Ｆに表示されるとｙ軸正方向を指し示す画像である。基準姿勢においてｙ軸正方向は基準水平方位である北（Ｎ軸正方向）に一致する。したがってｙ軸正方向を指し示すコンパス針Ｄの画像を回転させずに基準姿勢の画面Ｆに表示するとき、コンパス針Ｄが指し示すことによって画面Ｆ内において認識される北と現実空間の北とが一致する。そして基準姿勢でない画面Ｆにおいてコンパス針Ｄが指し示す方向と現実空間の北とを一致させるためには、コンパス針Ｄの画像を画面Ｆの姿勢に応じた特定の角度だけ回転させ、回転したコンパス針Ｄの画像を画面Ｆに表示することになる。
【００２１】
１．５．２  画面が水平上向きに近い場合
画面Ｆが図５Ａに示すように水平上向きに近い姿勢（すなわちａ３３が１に近い状態）にあるとき、コンパス針Ｄの画像を回転させずにそのまま画面Ｆに表示するとすれば、コンパス針ＤのＮＥ平面への投影が指し示す方向はベクトルｙのＮＥ平面への投影の方向と等しいため、コンパス針Ｄが指し示す北と現実空間の北とはベクトルｙのＮＥ平面への投影の方向とＮ軸正方向とがなす角度θ１だけずれることになる。したがって、画面Ｆが図５Ａに示すように水平上向きに近い姿勢にある場合は、ｙ軸のＮＥ平面への投影の正方向とＮ軸正方向とがなす角度θ１、すなわち姿勢行列Ａの第二列の成分によって表されるベクトルｙのＮＥ平面への投影の正方向とＮ軸正方向とがなす角度θ１だけコンパス針Ｄを逆方向に回転させ、図５Ｂに示すように回転したコンパス針Ｄ１の画像を画面Ｆに表示すると、コンパス針Ｄ１が指し示す北が現実空間の北に対して一致することになる。このとき、コンパス針Ｄの画像を回転させる方向は、画面Ｆの回転方向と逆向きである。すなわち画面Ｆが画面Ｆを見る人から見て時計回りに基準姿勢から回転しているならば、コンパス針Ｄの画像は反時計回りに回転させる。
【００２２】
ここでθ１は次式（３）、（４）を満たす。
【数１２】
2010049076.tif 000014
【００２３】
したがって、画面Ｆが図５Ａに示すように水平上向きに近い姿勢である場合、式（３）、（４）を満たすθ１を姿勢行列Ａから導出し、図５Ｂに示すようにθ１だけコンパス針Ｄの画像を回転させ、回転したコンパス針Ｄ１の画像を画面Ｆに表示すると、コンパス針Ｄ１が指し示す北が現実空間の北に対して一致することになる。
【００２４】
１．５．２  画面が垂直に近い場合
画面Ｆが図６Ａに示すように垂直に近く（すなわちａ３３の絶対値が０に近い状態）ｘ軸がＮＥ平面と平行な姿勢であるとき、コンパス針Ｄの画像を回転させずにそのまま画面Ｆに表示するとすれば、コンパス針ＤのＮＥ平面への投影の方向はベクトルｙまたはベクトル−ｚのＮＥ平面への投影の方向と等しいため、コンパス針Ｄが指し示す北と現実空間の北とはベクトルｙまたはベクトル−ｚのＮＥ平面への投影の方向とＮ軸正方向とがなす角度θ２だけずれることになる。したがって、画面Ｆが図６Ａに示すように垂直に近くｘ軸がＮＥ平面と平行な姿勢にある場合は、ｚ軸のＮＥ平面への投影の負方向とＮ軸正方向とがなす角度θ２、すなわち姿勢行列Ａの第三列の成分を用いて表されるベクトル−ｚのＮＥ平面への投影の方向とＮ軸正方向とがなす角度θ２だけコンパス針Ｄを逆方向に回転させ、回転したコンパス針Ｄ２の画像を図６Ｂに示すように画面Ｆに表示すると、コンパス針Ｄ２が指し示す北が現実空間の北に対して一致することになる。このとき、コンパス針Ｄの画像を回転させる方向は、画面Ｆの回転方向と逆向きである。すなわち画面Ｆが画面Ｆを見る人から見て時計回りに基準姿勢から回転しているならば、コンパス針Ｄの画像は反時計回りに回転させる。なお、画面Ｆが垂直に近い状態では、ｙ軸のＮＥ平面への投影はｚ軸のＮＥ平面への投影よりも短くなるため、ｙ軸のＮＥ平面への投影の正方向とＮ軸正方向とがなす角度だけコンパス針Ｄを回転させるとすれば、誤差が大きくなるため好ましくない。
【００２５】
θ２は次式（５）、（６）を満たす。
【数１３】
2010049076.tif 000015
【００２６】
次に、画面Ｆが図６Ａに示すように垂直に近くｘ軸がＮＥ平面と平行な姿勢である状態から、図７Ａに示すようにｚ軸周りに回転するとする。この場合、図７Ｂに示すようにｚ軸周りの回転角度θ３だけコンパス針Ｄ２の画像を画面Ｆの回転方向と逆向きに回転させると、回転したコンパス針Ｄ３が指し示す北と現実空間の北とが一致する。
【００２７】
ここで、図８Ａに示すようにｘｙ平面（すなわち画面Ｆ）とＧ軸がなす角度をθ４、Ｇ軸およびｚ軸を含む平面Ｇｚへのベクトルｘの射影の長さをｘｈ、平面Ｇｚへのベクトルｙの射影の長さをｙｈとする。このときｘｈおよびｙｈはそれぞれ次式（７）、（８）を満たす。
【数１４】
2010049076.tif 000016
【００２８】
また図８Ｂに示すｘｙ平面において、
∠ｘａｏ＝∠ｏｂｙ
ｏｘ＝ｏｙ
∠ｘｏａ＝∠ｏｙｂ
であるから、
△ｏｘａ≡△ｙｏｂ
である。
したがって、
ｏａ＝ｙｂ
ａ＝（ｙｈ、０）
である。
【００２９】
したがって式（７）、（８）から次式（９）、（１０）が成り立つ。
【数１５】
2010049076.tif 000017
【００３０】
したがってθ３は次式（１１）、（１２）を満たす。
【数１６】
2010049076.tif 000018
【００３１】
すなわち画面Ｆが垂直に近い（すなわちａ３３の絶対値が０に近い）場合、基準姿勢からみた画面ＦのＧ軸周りの回転角度θ２と画面Ｆの垂線周りの画面Ｆの回転角度θ３の和であるθ２＋θ３だけコンパス針Ｄの画像を逆方向に回転させれば、回転したコンパス針Ｄ３が指し示す北と現実空間の北とが一致する。
【００３２】
１．５．３  画面が水平下向きに近い場合
画面Ｆが図９Ａに示すように水平下向きに近い場合（すなわちａ３３が−１に近い状態）にあるとき、コンパス針Ｄの画像を回転させずにそのまま画面Ｆに表示するとすれば、コンパス針ＤのＮＥ平面への投影が指し示す方向はベクトルｙのＮＥ平面への投影の方向と等しいため、コンパス針Ｄが指し示す北と現実空間の北とはベクトルｙのＮＥ平面への投影の方向とＮ軸正方向とがなす角度だけずれることになる。水平下向きに近い状態の画面Ｆをユーザが見ることは希であるとともに、コンパス針Ｄの画像の表示によって画面内に認識する方位をどのようにして現実空間の方位と対応付けて認識するかという点についてユーザによって認識方法が異なるため、このような状態の画面Ｆにはコンパス針Ｄを表示しないように制御しても良い。このような状態の画面Ｆを見るとき、ユーザは頭部をのけえぞらせて画面Ｆを地表側から仰ぎ見ることになる。このとき画面Ｆの下辺から上辺に向かう方向が自分自身の前方向としてコンパス針Ｄが画面Ｆに表示されていると認識するユーザを想定するとすれば、−ｙ軸のＮＥ平面への投影の方向とＮ軸正方向とがなす角度θ５だけコンパス針Ｄを逆方向に回転させ、図９Ｂに示すように回転したコンパス針Ｄ５の画像を画面Ｆに表示すると、コンパス針Ｄ５が指し示す北が現実空間の北と一致していると認識される。このとき、コンパス針Ｄの画像を回転させる方向は、画面Ｆの回転方向と逆向きである。すなわち画面Ｆが画面Ｆを見る人から見て時計回りに基準姿勢から回転しているならば、コンパス針Ｄの画像は反時計回りに回転させる。
【００３３】
ここでθ１は次式（１３）、（１４）を満たす。
【数１７】
2010049076.tif 000019
【００３４】
したがって、画面Ｆが図９Ａに示すように水平下向きに近い姿勢である場合、式（１３）、（１４）を満たすθ５を姿勢行列Ａから導出し、図９Ｂに示すようにθ５だけコンパス針Ｄの画像を回転させ、回転したコンパス針Ｄ５の画像を画面Ｆに表示すると、コンパス針Ｄ５が指し示す北が現実空間の北に対して一致することになる。
【００３５】
１．５．４  回転角度を求める関数の整理
ここで、−π≦φ＜πの範囲において
【数１８】
2010049076.tif 000020
を満たす関数ｆ（β、α）＝φを定義する。
【００３６】
すると、画面Ｆが水平上向きに近い場合にコンパス針Ｄを回転させる角度θ１は式（３）、（４）から
θ１＝ｆ（ａ１２，ａ２２）・・・（１７）
と書ける。
また画面Ｆが垂直に近い場合にコンパス針Ｄを回転させる角度θ２＋θ３は式（７）、（８）、（１１）、（１２）から
θ２＋θ３＝ｆ（−ａ１３，−ａ２３）＋ｆ（−ａ３１，ａ３２）・・・（１８）
画面Ｆが水平下向きに近い場合にコンパス針Ｄを回転させる角度θ５は式（１３）、'（１４）から
θ５＝ｆ（-ａ１２，-ａ２２）・・・（１９）
と書ける。
【００３７】
そして画面Ｆが水平上向きに近いか、垂直に近いか、水平下向きに近いかはａ３３の値に相関するため、ａ３３の値と閾値ｔとを比較し、
ａ３３≧ｔである場合、
θ＝ｆ（ａ１２，ａ２２）
としてθを導出し、
｜ａ３３｜＜ｔである場合、
θ＝ｆ（−ａ１３，−ａ２３）＋ｆ（−ａ３１，ａ３２）
としてθを導出し、
ａ３３≦−ｔである場合、
θ＝ｆ（-ａ１２，-ａ２２）
としてθを導出し、角度θだけコンパス針の画像を回転させ、回転したコンパス針の画像を画面Ｆに表示すると、コンパス針が指し示す北と現実空間の北とが一致していると認識されるようになる。
【００３８】
閾値ｔは０＜ｔ＜１の間で適宜定めればよいが、例えば水平面に対する画面Ｆの角度が４５度である状態を閾とするならば、
【数１９】
2010049076.tif 000021
となる。
【００３９】
２．実施例
２．１  方位追従表示装置の構成
図１０、図１１は本発明の方位追従表示装置の実施例としてのデジタルカメラ１の構成を示す図である。
デジタルカメラ１はビューファインダおよび写真画像データを再生するためのディスプレイ１０とディスプレイ１０の画面Ｆにおいてコンパス針Ｄによって方位を案内するための加速度センサ４０と地磁気センサ５０とを備えている。ディスプレイ１０、加速度センサ４０、地磁気センサ５０、操作部３０、図示しないレンズなどは筐体２０に固定されている。
【００４０】
加速度センサ４０は、ピエゾ抵抗型、静電容量型、熱検知型などどのような検知方式であってもよく、加速度センサ４０と一体となって運動する物体固定の系における慣性力と重力との合力を後述するｘ軸、ｙ軸およびｚ軸の３成分を有するベクトルデータである加速度データとして検出する。したがって静止状態または等速直線運動状態にある加速度センサ４０から出力される加速度データは画面Ｆに対して固定されたｘｙｚ座標空間において重力加速度の大きさと方向とを示すベクトルデータである。
【００４１】
地磁気センサ５０は、ＭＩ素子（磁気インピーダンス素子）、ＭＲ素子（磁気抵抗効果素子）などからなる３軸の磁気センサユニットを備え、後述するｘ軸、ｙ軸およびｚ軸の３成分によって磁極北に向かう方向を持つベクトルデータである地磁気データを出力する。すなわち地磁気データは画面Ｆに対して固定されたｘｙｚ座標空間において現実空間の北を示すベクトルデータである。
【００４２】
デジタルカメラ１の制御部６０は方位追従表示のためのデータ処理を実行するマイクロコンピュータであって、図示しないプロセッサ、メモリ、バス、入出力インタフェースなどで構成されている。制御部６０の入出力インタフェースには加速度センサ４０、地磁気センサ５０、操作部３０、ディスプレイ１０などが接続されている。操作部３０はメニュー操作キー３１、３２、レリーズボタン３３などで構成され、これらのスイッチに対する操作に応じて制御部６０が各種の処理を実行し、画面Ｆにコンパス針Ｄや写真や現在地の緯度経度を表示したり、写真画像データを図示しない不揮発性記憶媒体に記録したりする。コンパス針Ｄは回転させずに画面Ｆに表示されると画面Ｆの下辺から上辺を向かう方向を指し示す針を模した画像に基づいて表示される。
【００４３】
制御部６０は加速度データ処理モジュール６１、地磁気データ処理モジュール６２、方位追従表示モジュール６３などで構成される方位追従表示プログラムを実行することにより、現実空間の方位に追従するコンパス針Ｄを画面Ｆに表示するための方位追従表示処理を実行する。すなわち制御部６０が方位追従表示プログラムを実行するとき、制御部６０は表示制御手段として機能する。
【００４４】
加速度データ処理モジュール６１は、加速度センサ４０から出力される加速度データを所定の時間間隔（例えば０．２秒）で入力し、加速度データにオフセット補正などの所定の補正処理を施すためのプログラムモジュールである。
【００４５】
地磁気データ処理モジュール６２は、地磁気センサ５０から出力される地磁気データを所定の時間間隔（例えば０．２秒）で入力し、地磁気データにオフセット補正などの所定の補正処理を施すためのプログラムモジュールである。
【００４６】
方位追従表示モジュール６３は加速度データ及び地磁気データに基づいて姿勢行列Ａを生成し、コンパス針Ｄの画像を回転させる角度を姿勢行列Ａに基づいて導出し、導出した角度だけコンパス針Ｄの画像を回転させ、回転させたコンパス針Ｄの画像をディスプレイ１０のフレームメモリ領域に格納するためのプログラムモジュールである。
【００４７】
図１０は基準姿勢と現実空間の関係を示している。本実施例において画面Ｆの基準姿勢は、画面Ｆが水平上向き（画面Ｆに対して垂直な視線が鉛直下向き）であるとともに長方形の画面Ｆの短辺が現実空間のＮ軸と平行であり、画面Ｆの下辺から上辺に向かう方向がＮ軸の正方向になる姿勢とする。本実施例において画面Ｆの上辺は画面Ｆの２つの長辺のうちレリーズボタン３３に近い方の長辺を意味し、これに準じて画面Ｆの上下左右を表現するものとする。このように画面Ｆの基準姿勢を定義すると、画面Ｆが基準姿勢にあるとき、ｘ軸はＥ軸正向（東方向）に一致し、ｙ軸正方向はＮ軸正方向に一致し、ｚ軸正方向はＧ軸正方向に一致する。そしてｘ軸は画面Ｆを見るユーザが認識する左右方向に平行である。
【００４８】
２．２  方位追従表示処理
図１２は制御部６０による方位追従表示処理の流れを示すフローチャートである。
はじめに制御部６０は加速度センサ４０および地磁気センサ５０から加速度データおよび地磁気データを入力する（ステップＳ１０）。
次に制御部６０は加速度データおよび地磁気データを補正する（ステップＳ１２）。このとき、加速度データおよび地磁気データのオフセットなどが補正される。
次に制御部６０は加速度データおよび地磁気データに基づいて、画面Ｆの姿勢を表す姿勢行列Ａを導出する（ステップＳ１４）。姿勢行列Ａはオフセット補正された加速度データｇ（３次元ベクトル）と地磁気データｈ（三次元ベクトル）とから次のようにして導出される。
【００４９】
まず、
ｆ＝ｇ×ｈ
なるベクトルｆを定義する（「×」は外積記号とする）。ｆはｘｙｚ座標空間においてＥ軸正方向を示すベクトルである。
また
ｈ'＝ｆ×ｇ
なるベクトルｈ'を定義する。ｈ'はｘｙｚ座標空間においてＮ軸正方向を示すベクトルである。
そしてこのように定義したｆ、ｈ'、−ｇをそれぞれ大きさ１に正規化して上から順に行ベクトルとして並べた行列が姿勢行列Ａである。
【００５０】
次に制御部６０はコンパス針Ｄの画像を回転させる角度θを姿勢行列Ａに基づいて導出する（ステップＳ１６）。すなわち、
ａ３３≧ｔである場合、
θ＝ｆ（ａ１２，ａ２２）
としてθを導出し、
｜ａ３３｜＜ｔである場合、
θ＝ｆ（−ａ１３，−ａ２３）＋ｆ（−ａ３１，ａ３２）
ａ３３≦−ｔである場合、
θ＝ｆ（-ａ１２，-ａ２２）
としてθを導出する。
ａ３３が−１であるときθは不定となる。このとき画面Ｆは水平下向き（ｚ軸正方向が鉛直下向きの状態）であり、基準姿勢から裏返った状態である。また姿勢検出の誤差を考慮するとａ３３が−１に近いときにはａ３３が−１と等しくないとしても画面Ｆが基準姿勢から裏返った姿勢である確率が高い。したがって姿勢行列Ａのａ３３成分を指標としてθの信頼性を判定してもよい。姿勢行列Ａのａ３３成分を指標として用いる場合、指標の値域は［−１，１］であり、指標の値が小さいほど信頼性が低いことを表すことになる。
【００５１】
次に制御部６０は、角度θだけコンパス針Ｄの画像を回転させ、画面Ｆに表示される対象画像の少なくとも一部を生成する（ステップＳ１８）。
次に制御部６０は回転させたコンパス針Ｄの画像をフレームメモリ領域に書き込み、ディスプレイ１０の画面Ｆを更新する（ステップＳ２０）。
【００５２】
以上の処理を繰り返すことにより、コンパス針Ｄが指し示す方向が現実空間の基準水平方位である北の方向に追従するように画面Ｆが定期的に更新される。そして画面Ｆの更新間隔が短ければ、画面Ｆがどのような姿勢になったとしても常に現実空間の北を示しているように認識されるコンパス針Ｄが画面Ｆに表示されることになる。
【００５３】
３．他の実施形態
尚、本発明の技術的範囲は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、基準水平方位に追従させる画像は地図などであってもよい。現実空間の基準水平方位に対して地図を追従させるには、地図上の北が下辺から上辺に向かう方向となる地図の画像を上述した方法で導出するθだけ回転させればよい。このように地図を表示すると、地図上の進行方位と現実空間の進行方位とが一致するように地図が表示されることになる。また例えば本発明は電子コンパス、携帯型電話端末、ＰＮＤなどの様々な携帯型情報機器に適用できる。また例えば本発明は画面とユーザとが一体的に運動するような据え置き型のゲーム機器などにも適用できる。すなわち本発明は画面の姿勢を検出する手段がある様々な電子機器に適用可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施形態にかかる斜視図。
【図２】本発明の実施形態にかかる斜視図。
【図３】本発明の実施形態にかかる斜視図。
【図４】本発明の実施形態にかかる斜視図。
【図５Ａ】本発明の実施形態にかかる斜視図。
【図５Ｂ】本発明の実施形態にかかる平面図。
【図６Ａ】本発明の実施形態にかかる斜視図。
【図６Ｂ】本発明の実施形態にかかる平面図。
【図７Ａ】本発明の実施形態にかかる斜視図。
【図７Ｂ】本発明の実施形態にかかる平面図。
【図８Ａ】本発明の実施形態にかかるベクトル図。
【図８Ｂ】本発明の実施形態にかかるベクトル図。
【図９Ａ】本発明の実施形態にかかる斜視図。
【図９Ｂ】本発明の実施形態にかかる平面図。
【図１０】本発明の実施形態にかかる斜視図。
【図１１】本発明の実施形態にかかるブロック図。
【図１２】本発明の実施形態にかかるフローチャート。
【図１３】従来技術の説明にかかる斜視図。
【符号の説明】
【００５５】
１：デジタルカメラ、１０：ディスプレイ、２０：筐体、３０：操作部、３１：メニュー操作キー、３２：メニュー操作キー、３３：レリーズボタン、４０：加速度センサ、５０：地磁気センサ、６０：制御部、６１：加速度データ処理モジュール、６２：地磁気データ処理モジュール、６２：姿勢データ処理モジュール、６３：方位追従表示モジュール、Ｄ：コンパス針、Ｄ：矢印、Ｆ：画面
【図１】
2010049076.tif 000031
【図２】
2010049076.tif 000032
【図３】
2010049076.tif 000033
【図４】
2010049076.tif 000034
【図５Ａ】
2010049076.tif 000035
【図５Ｂ】
2010049076.tif 000036
【図６Ａ】
2010049076.tif 000037
【図６Ｂ】
2010049076.tif 000038
【図７Ａ】
2010049076.tif 000039
【図７Ｂ】
2010049076.tif 000040
【図８Ａ】
2010049076.tif 000041
【図８Ｂ】
2010049076.tif 000042
【図９Ａ】
2010049076.tif 000043
【図９Ｂ】
2010049076.tif 000044
【図１０】
2010049076.tif 000045
【図１１】
2010049076.tif 000046
【図１２】
2010049076.tif 000047
【図１３】
2010049076.tif 000048