(57)【特許請求の範囲】
【請求項１】
所定のサンプリング周期で撮影した画像を出力する撮影手段と、
前記撮影画像とは異なる画像情報を保持する記憶手段と、
前記画像情報を表示する表示手段と、
前記撮影画像を解析して撮影手段と被写体との間の空間的位置関係の変化を推定する推定手段と、
前記記憶手段から読み出して表示手段に表示させる、前記撮影画像とは異なる画像情報を、前記推定手段により推定された空間的位置関係の変化に基づいて制御する制御手段とを備え、
前記推定手段は、動き検知手段および向き推定手段を備え、
前記動き検知手段は、
撮影画像の所定方向に関するエッジ特徴量を算出するエッジ特徴量算出手段と、
今回のサンプリング時刻で撮影された今回画像および今回以前のサンプリング時刻で撮影された前回画像の各エッジ特徴量の分散値の比を所定の判定閾値と比較して撮影画像の動きを検知する動き検知部とを具備し、
前記向き検知手段は、
前回画像から今回画像への移動量を算出する移動量算出手段と、
今回画像の撮影中に撮影手段と被写体との間の空間的位置関係が変化することに応じて今回画像に生じる流れ量を、前記移動量に基づいて推定する流れ量推定手段と、
前回画像および前記流れ量に基づいて、前回画像を前記流れ量だけ流した場合と等価な移動後推定画像を生成する手段と、
前記今回画像および移動後推定画像の各エッジ特徴量の差が最低となる座標の相対位置に基づいて移動の向きを推定する向き推定手段とを具備し、
前記動きの検知結果および向き推定結果に基づいて、撮影手段と被写体との間の空間的位置関係の変化を推定することを特徴とする情報端末装置。
【請求項２】
前記エッジ特徴量算出手段は、撮影画像の所定方向に関する微分画像を算出することを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記推定手段がさらに、
前記エッジ特徴量の定量値を算出する定量値算出手段を備え、
前記動き検知手段は、前回画像および今回画像の各エッジ特徴量の定量値の比を所定の判定閾値と比較することを特徴とする請求項１または２に記載の情報端末装置。
【請求項４】
前記定量値算出手段が、前記エッジ特徴量の分散値を算出することを特徴とする請求項３に記載の情報端末装置。
【請求項５】
前記定量値算出手段が、前記エッジ特徴量の平均値を算出することを特徴とする請求項３に記載の情報端末装置。
【請求項６】
前記移動後推定画像を生成する手段は、
前回画像を所定の単位量だけ流れ方向へ移動させた画像を射影し、これを総移動量が前記流れ量に達するまで繰り返す手段と、
前記各射影画像を合算し、対応画素ごとに平均化して移動後推定画像を生成する手段とを含むことを特徴とする請求項１に記載の情報端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報を表示する機能を備えた情報端末装置に係り、特に、撮影部と撮影対象との間の空間的位置関係を変化させることによって表示部に表示させる情報を制御できる情報端末装置に関する。
【背景技術】
【０００２】
電子機器回路の集積化に伴って携帯電話やPDAなどの情報端末装置の小型・軽量化が進み、それらの情報端末装置が備える表示デバイスも高精細なものとなってきている。表示デバイスの高精細化により一度に表示する情報量を増大させることができる。小型・軽量化が図られた情報端末装置では、情報を表示する表示部が確保できる面積は限られている。
【０００３】
このような情報端末装置で、表示部の面積を十分に確保しないまま膨大な量の情報を表示させた場合、情報の読み取りが困難になる。例えば、地図と共に地名などを文字で表示させた場合、地名などが微細な文字で表示されるため読み取りが困難となる。表示部に表示される情報を読み取りやすくするため、表示画面に表示される表示領域や表示倍率を変更するようにすることは公知である。
【０００４】
特許文献１には、画面上に仮想的な縮尺選択ボタンや縮尺変更ボタンを装備し、ユーザによるこれらのボタン操作に応じて画面上に表示される地図の表示領域や縮尺を変化させる地図データ提供装置が記載されている。
【０００５】
特許文献２には、テンキーを用いて、ディスプレイに表示させるデータ範囲をスクロールさせるテンキーの使用方法が記載されている。
【０００６】
特許文献３には、携帯電話機において、撮像部が異なるタイミングで撮像した複数の画像を解析して携帯電話機の向きの変化すなわち表示部(撮像部)の方向の変化を算出し、算出した表示部の方向の変化を表示制御装置(サーバ)に送信し、表示制御装置では、携帯電話機から送信された表示部の方向の変化に基づいて、表示すべき表示画像を選択して携帯電話機に送信し、携帯電話機では表示制御装置から送信された表示画像に更新することにより、表示部の方向によって表示している画像を切り換える画像表示システムが記載されている。
【０００７】
特許文献４には、表示部近傍に３軸加速度センサなどのセンサを内蔵させ、機器本体を持って表示部がその表示画面に対して垂直方向および水平方向へ移動されたときの移動量を検出し、垂直方向への移動量に応じて情報表示サイズを動的に変更させ、水平方向への移動量に応じて情報表示範囲を動的に変更するようにした電子機器が記載されている。
【０００８】
特許文献５には、情報端末装置の内蔵カメラで前方を周期的に撮影して画像を取り込み、情報端末装置を上下左右あるいは前後方向に移動させた際の画像の局所的な動きを推定し、局所的動き情報を統合した大域的な動きに応じて、表示部に表示させる情報を変化させる技術が開示されている。
【特許文献１】特開２００２−２７７２７７号公報
【特許文献２】特開２００３−６７１２０号公報
【特許文献３】特開２００５−１２２１００号公報
【特許文献４】特開２００５−２５１７０号公報
【特許文献５】特開２００７−９４７０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１、２に記載されている地図データ提供装置やテンキーの使用方法では、所望の表示領域および倍率に至るまでのボタン操作やタッチパネル操作が煩雑であるばかりでなく、小さなボタンやタッチパネルの領域を正しく押下操作する必要があるため操作性に難がある。指先での細かな操作が求められるこのようなインタフェースは、特に、倍率を大きくして情報表示することを望む高齢者にとって使いづらいという課題がある。
【００１０】
特許文献３に記載されている画像表示システムでは、利用者が携帯電話機を操作する度に表示制御装置(サーバ)への通信が発生するためコストが増大するという課題がある。また、表示制御装置との通信を行うためレスポンスが遅いという課題もある。
【００１１】
特許文献４に記載されている電子機器では、直感的かつ容易な操作で倍率の変更が実現可能であるが、高価な３軸加速度センサなどのセンサを組み込まなければならず、機器の高価格化を招くという課題がある。また、センサの追加に伴い消費電力が増加するという課題もある。
【００１２】
特許文献５に開示されている情報端末装置では、ボタン操作や加速度センサを必要とせずに、情報端末に内蔵されている汎用のカメラ機能だけを用いて、ディスプレイに表示させる情報を直感的な操作で制御できる。しかしながら、操作性が動き推定の精度に依存し、速すぎる動きや大きすぎる動きには正しく動作しない場合があるため、慎重で細やかな操作が求められる。
【００１３】
本発明の目的は、上記した従来技術の課題を解決し、ボタン操作などの細かい操作が不要であり、かつ加速度センサなどの付加的なハードウェアを搭載することなく、撮影部と撮影対象との間の空間的位置関係を変化させることによって表示部に表示させる情報を精度良く制御できる情報端末装置を提供することにある。
【課題を解決するための手段】
【００１４】
上記した目的を達成するために、本発明は、所定のサンプリング周期で撮影した画像を出力する撮影手段と、画像情報を保持する記憶手段と、前記画像情報を表示する表示手段と、前記撮影画像を解析して撮影手段と被写体との間の空間的位置関係の変化を推定する推定手段と、前記記憶手段から読み出して表示手段に表示させる画像情報を、前記推定手段により推定された空間的位置関係の変化に基づいて制御する制御手段とを備えた情報端末装置において、以下のような特徴を備えた点に特徴がある。
【００１５】
(1)推定手段が、撮影画像の所定方向に関するエッジ特徴量を算出するエッジ特徴量算出手段と、今回のサンプリング時刻で撮影された今回画像および今回以前のサンプリング時刻で撮影された前回画像の各エッジ特徴量を比較して撮影画像を動きを検知する動き検知手段とを具備し、動きの検知結果に基づいて、撮影手段と被写体との間の空間的位置関係の変化を推定することを特徴とする。
【００１６】
(2)前記エッジ特徴量算出手段が、撮影画像の所定方向に関する微分画像を算出することを特徴とする。
【００１７】
(3)推定手段がさらに、前記エッジ特徴量の定量値を算出する定量値算出手段を備え、前記動き検知手段は、前回画像および今回画像の各エッジ特徴量の定量値を比較することを特徴とする。
【００１８】
(4)定量値算出手段が、前記エッジ特徴量の分散値を算出することを特徴とする。
【００１９】
(5)定量値算出手段が、前記エッジ特徴量の平均値を算出することを特徴とする。
【００２０】
(6)前回画像から今回画像への移動量を算出する移動量算出手段と、今回画像の撮影中に撮影手段と被写体との間の空間的位置関係が変化することに応じて今回画像に生じる流れ量を、前記移動量に基づいて推定する流れ量推定手段と、前回画像および前記流れ量に基づいて、前回画像を前記流れ量だけ流した場合と等価な移動後推定画像を生成する手段と、前記今回画像および移動後推定画像に基づいて移動の向きを推定する向き推定手段とを含むことを特徴とする。
【００２１】
(7)移動後推定画像を生成する手段は、前回画像を所定の単位量だけ流れ方向へ移動させた画像を射影し、これを総移動量が前記流れ量に達するまで繰り返す手段と、前記各射影画像を合算し、対応画素ごとに平均化して移動後推定画像を生成する手段とを含むことを特徴とする。
【００２２】
(8)前記向き推定手段は、移動後推定画像のエッジ特徴量を算出する手段と、今回画像のエッジ特徴量と移動後推定画像のエッジ特徴量とに基づいて移動の向きを推定する手段とを含むことを特徴とする。
【発明の効果】
【００２３】
本発明によれば、以下のような効果が達成される。
【００２４】
上記した特徴(1)によれば、撮影画像の動きの有無を当該画像のエッジ特徴量に基づいて検知できるので、動きの速度や量が大きい場合でも、これを確実に検知できるようになる。
【００２５】
上記した特徴(2)によれば、撮影画像の微分画像をエッジ特徴量とできるので、処理負荷の小さな演算でエッジ特徴量を算出できるようになる。
【００２６】
上記した特徴(3)，(4)，(5)によれば、撮影画像のエッジ特徴量を定量化できるので、エッジ特徴量の比較が容易になる。
【００２７】
上記した特徴(6)，(7)，(8)によれば、撮影のためにシャッターが開いている間に被写体が相対的に移動して画像に流れが生じている場合でも、画像の動きの向きを正確に検知できるようになる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明を適用した携帯電話１の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不用な構成は図示が省略されている。
【００２９】
撮像部１１は、所定のサンプリング周期で被写体を撮影して、その撮影画像を出力する。この撮像部１１としては携帯電話１に標準装備されるデジタルカメラを用いることができる。利用者が携帯電話１を被写体に対して水平(x)方向や垂直(y)方向に傾けると、撮影部１１と被写体との間の空間的位置関係が同じように変化し、その変化が表示画像に反映される。推定部１２は、撮影画像の変化に基づいて携帯電話１の動きを検知する動き検知部１２ａと、この動き検知部１２ａにより検知された動きの向きを推定する向き推定部１２ｂとを備え、後に詳述するように、撮影部１１により撮影された画像を解析して撮影部１１と被写体との間の空間的位置関係の変化を推定する。
【００３０】
記憶部１４では、表示部１５に表示させる地図などの画像情報Eが予め展開されている。制御部１３は、推定部１２で推定された撮影部１１と被写体との間の空間的位置関係の変化に基づいて、記憶部１４から画像情報Eの一部範囲を表示画像Edisとして切り出し、これを表示部１５へ出力する。表示部１５は、制御部１３から出力された表示画像Edisを可視表示する。
【００３１】
図２は、記憶部１４に記憶されている画像情報Eから切り出されて表示部１５に表示される表示画像Edisが、前記推定部１２での推定結果に応じて変化する様子を模式的に表現した図であり、ここでは、画像情報Eの中央部に表示画像Edisが設定されている状態から説明を始める。
【００３２】
利用者が携帯電話１を左方向へ傾ける（左パーンする）と撮像画像が左方向へ移動するので、画像情報Eから切り出される表示画像Edisも左方向へ移動する。利用者が携帯電話１を左方向へ連続的に傾けると、撮影画像も左方向へ連続的に移動するので、画像情報Eから切り出される表示画像Edisも左方向へ連続的に移動する。右方向へ傾ける場合も同様である。
【００３３】
また、利用者が携帯電話１を上方向へ傾けると撮像画像が上方向へ移動するので、画像情報Eから切り出される表示画像Edisも上方向へ移動する。利用者が携帯電話１を上方向へ連続的に傾けると、撮影画像も上方向へ連続的に移動するので、画像情報Eから切り出される表示画像Edisも上方向へ連続的に移動する。下方向へ傾ける場合も同様である。
【００３４】
さらに、利用者が携帯電話１を左上方向へ傾けると撮影画像が左上方向へ移動するので、画像情報Eから切り出される表示画像Edisも左上方向へ移動する。利用者が携帯電話１を左上方向へ連続的に傾けると、撮像画像も左上方向へ連続的に移動するので、画像情報Eから切り出される表示画像Edisも左上方向へ連続的に移動する。左下方向、右上方向、右下方向へ傾ける場合も同様である。
【００３５】
次いで、前記推定部１２が撮影部１１と被写体との間の空間的位置関係の変化を推定する動作について説明する。撮影部１１と被写体との間の空間的位置関係の変化は、利用者が携帯電話１を持って、それを上下左右に傾ける動作に基づくので、以下では、それを利用者の動作として説明する。
【００３６】
図３は、前記動き検知部１２ａの構成を示した機能ブロック図であり、第１および第２エッジ特徴量算出部５１，５２は、サンプリング時刻tiで撮影された今回画像Ftiに対して、空間的な方向別に微分演算を実行してエッジ特徴量を算出する。すなわち、第１エッジ特徴量算出部５１は、今回画像Ftiをx方向に微分してx方向エッジ特徴量Gxtiを算出する。第２エッジ特徴量算出部５２は、今回画像Ftiをy方向に微分してy方向エッジ特徴量Gytiを算出する。各エッジ特徴量Gxti，Gytiは正規化部５３、５４で正規化される。
【００３７】
第１および第２分散値算出部５５，５６は、サンプリング時刻の異なる各画像のエッジ特徴量を定量的に比較するために、エッジ特徴量の分散値を算出する。すなわち、第１分散値算出部５５は、x方向エッジ特徴量Gxtiの分散値VARxtiを算出する。第２分散値算出部５６は、y方向エッジ特徴量Gytiの分散値VARytiを算出する。なお、分散値の代わりに平均値を求めるようにしても良い。
【００３８】
動き検知部５７は、第１および第２分散値算出部５５，５６から出力される今回画像Ftiのエッジ特徴量に関する今回分散値VARxti，VARytiと、前回分散値記憶部５８，５９に記憶されている、前回画像Fti-1のエッジ特徴量に関する前回分散値VARxti-1，VARyti-1との比較結果に基づいて、xy方向への動きの有無を検知する。
【００３９】
図４は、前記動き検知部１２ａの動作を示したフローチャートである。時刻tiにおいて今回画像Ftiが入力され、これがステップＳ１１で検知されると、ステップＳ１２，Ｓ１３では、今回画像Ftiが前記第１および第２エッジ特徴量算出部５１，５２において、それぞれx方向およびy方向へ微分されてエッジ特徴量Gjtiが算出される。なお、添字jは微分方向（xまたはy）を示している。本実施形態では、今回画像Ftiおよび微分オペレータHjが次式(1)の積和演算＊に適用されて微分画像Gjtiが算出され、これがエッジ特徴量とされる。
【００４０】
【数１】
0005083887.tif 000002
【００４１】
本実施形態では、微分オペレータHx，Hyとして、それぞれ次式(2)、(3)のSobelオペレータを適用できる。そして、今回画像Ftiから３画素×３画素のブロック単位で画素情報を読み出し、これと微分オペレータHx，Hyとの積和演算＊に基づいて微分画像Gxti，Gytiの１画素を算出し、これを１フレーム分だけ繰り返して微分画像Gxti(Gyti)を生成する。
【００４２】
【数２】
0005083887.tif 000003
【００４３】
【数３】
0005083887.tif 000004
【００４４】
なお、微分オペレータHx，Hyのサイズは３×３に限定されるものではなく、より大きなサイズの微分オペレータを採用すればノイズに対する耐性を向上させることができる。さらに、上記したSobelオペレータの代わりにRobertsオペレータを用いても良いし、あるいはKirschオペレータを採用すれば、xyの２方向のみならず８方向に関してエッジ特徴量を算出できるようになる。
【００４５】
図５は、携帯電話１を傾ける直前の時刻ti-1で撮影された前回画像Fti-1[同図(a)]と、そのx方向微分画像Gxti-1[同図(b)]およびy方向微分画像Gyti-1[同図(c)]との関係を示した図であり、図６は、左向きに傾け動作中の時刻tiで撮影された今回画像Fti[同図(a)]と、そのx方向微分画像Gxti[同図(b)]およびy方向微分画像Gyti[同図(c)]との関係を示した図である。
【００４６】
図５のx方向微分画像Gxti-1[同図(b)]では、前回画像Fti-1のx方向に関するエッジのみが抽出され、y方向微分画像Gyti-1[同図(c)]では、撮影画像Fti-1のy方向に関するエッジのみが抽出されている。これに対して、図６では今回画像Fti[同図(a)]がx方向に流れているので、そのy方向微分画像Gyti[同図(c)]では、今回画像Ftiのy方向に関するエッジが抽出されているのに対して、x方向微分画像Gxti[同図(b)]ではエッジが不明瞭となっている。したがって、微分画像の時間的な変化を評価すれば各方向への動きの有無を検知できることが判る。
【００４７】
図４へ戻り、ステップＳ１４，Ｓ１５では、各エッジ特徴量Gxti，Gytiが前記正規化部５３，５４において正規化される。ステップＳ１６，Ｓ１７では、前記第１および第２分散値算出部５５，５６において各エッジ特徴量Gxti，Gytiの分散値が算出され、それぞれ今回の分散値VARx_cur，VARy_curとして一時記憶される。ステップＳ１８，１９では、前回画像Fti-1に基づいて算出された前回の各分散値VARj_pred (VARx_pred，VARy_pred)と、今回の分散値VARj_cur (VARx_cur，VARy_cur)とが、次式(4)、(5)に適用されて動きの存在が検知される。
【００４８】
【数４】
0005083887.tif 000005
【００４９】
【数５】
0005083887.tif 000006
【００５０】
上式(4)では、分散値の比(VARj_pred/VARj_cur)が第１基準値TH1を下回るか、あるいは第２基準値TH2（＞TH1）を上回ると方向jへの動きが存在すると判定される。ここで、上式(4)の左辺が成立するのは、携帯電話１が停止状態から移動状態へ移行したときであり、右辺が成立するのは、携帯電話１が移動状態から停止状態へ移行したときである。また、上式(5)が成立する場合には、動きが存在しないと判定される。
【００５１】
ステップＳ２０では、各方向への動きの有無に基づいて携帯電話１の動きが判定される。すなわち、x方向およびy方向のいずれかへの動きが検知されると、当該方向への動きが存在すると推定される。x方向およびy方向のいずれにも動きが検知されなければ、動きが存在しないと推定される。また、本実施形態ではx方向およびy方向のいずれにも動きの存在が検知されると、前記分散値の比に応じた斜め方向への動きが存在すると判定される。たとえば、x方向の分散値の比とy方向の分散値の比とが同値であれば、４５°方向への動きが存在すると判定される。ステップＳ２１，Ｓ２２では、今回の各分散値VARx_cur，VARy_curが、それぞれ前回の分散値VARx_pred，VARy_predとして前回分散値記憶部５８，５９に更新登録されて、次の推定に利用される。
【００５２】
次いで、図７，８，９を参照して前記推定部１２の向き推定部１２ｂについて説明する。本実施形態では、向き推定部１２ｂが前記動き検知部１２ａにより動きが検知された方向に関してのみ動きの向き推定を行うようにすることで、処理負荷の低減を図っている。
【００５３】
図７は、前記向き推定部１２ｂの構成を示した機能ブロック図であり、流れ量推定部７１は、前回画像Fti-1および今回画像Ftiの分散値VARj_pred，VARj_curに基づいて、表示部１５上での前回画像Fti-1から今回画像Ftiへの移動量ΔDfを算出し、さらにこの移動量ΔDfに基づいて、今回画像Ftiを撮影するためのシャッター開放中に撮影部１１と被写体との間の空間的位置関係が変化することに応じて今回画像Ftiに生じた画像の流れ量ΔDを推定する。
【００５４】
射影画像生成部７２は、前回画像Fti-1が前記流れ量ΔDだけ流れた場合を想定し、その過程のn個の射影画像Fti-1+nΔdを生成する。移動後画像推定部７３は、前記n個の射影画像Fti-1+nΔdを合算、平均化することで、前回画像Fti-1を前記流れ量ΔDだけ仮想的に流した場合と実質的に等価な移動後推定画像Fti_sを生成する。エッジ特徴量算出部７４は、今回画像Ftiおよび移動後推定画像Fti_sの各エッジ特徴量Gti，Gti_sを算出する。向き推定部７５は、各エッジ特徴量Gti，Gxti_sの二乗誤差が最低となる座標の相対位置に基づいて、前回のサンプリング時刻ti-1から今回のサンプリング時刻tiまでに携帯電話１が傾けられた向きを推定する。
【００５５】
次いで、図８のフローチャートおよび図９の模式図を参照しながら、本実施形態における動きの向きの推定方法について説明する。ここでは、前記動き検知部１２ａにおいてx方向への動きの存在が予め検知されており、図９に示したように、前回のサンプリング時刻ti-1における撮影画像を前回画像Fti-1、今回のサンプリング時刻tiにおける撮影画像を今回画像Ftiとし、時刻tiでは携帯電話１がx方向へ傾けられている最中であり、今回画像Ftiを撮影するためのシャッター開放中に被写体が相対的に流れた結果、今回画像Ftiにはx方向への流れが生じているものとする。
【００５６】
ステップＳ３１では、前回画像Fti-1の分散値VARx_predおよび今回画像Ftiの分散値VARx_curが流れ量推定部７１へ取り込まれる。ステップＳ３２では、各分散値の比(VARx_pred/VARx_cur)に基づいて、前回画像Fti-1から今回画像Ftiまでのx方向への移動量ΔDfが推定される。本実施形態では、分散値の比と移動量ΔDfとの関係を実験的に求めて得られ関数式やデータテーブルが予め流れ量推定部７１に登録されており、これに分散値の比を適用することで移動量ΔDfが推定される。
【００５７】
ステップＳ３３では、前記移動量ΔDfに基づいて、今回画像Ftiの撮影中に撮影部１１と被写体との間の空間的位置関係が変化することに応じて今回画像Ftiに生じた画像の流れ量ΔDが推定される。すなわち、画像の撮影周期は一定なので、画像の移動量ΔDfが大きければ移動速度が速く、したがって流れ量ΔDも大きくなると推定される。そこで、本実施形態では移動量ΔDfと流れ量ΔDとの関係を実験的に求めて関数式やデータテーブルとして移動量推定部７１に予め登録しておき、これに移動量ΔDfを適用することで流れ量ΔDが推定される。
【００５８】
ステップＳ３４では、前記射影画像生成部７２において、前回画像Fti-1をx方向に単位画素Δd（例えば、１画素）だけ移動させた射影画像Fti-1+Δdが生成される。ステップＳ３５では、前記流れ量ΔDだけ移動した射影画像の生成が完了したか否かが判定される。完了していなければステップＳ３４へ戻り、前回画像Fti-1をx方向へ更に単位画素Δdだけ移動させた射影画像Fti-1+2Δdが生成される。その後、射影画像Fti-1+4Δdが生成され、前記流れ量ΔDだけ移動した射影画像（ΔD＝4Δd）の生成が完了したと判定されるとステップＳ３６へ進む。
【００５９】
ステップＳ３６では、前記移動後画像推定部７３において、前回画像および各射影画像Fti-1〜Fti-1+4Δdの各画素値を対応画素ごとに合算して、その平均値を求めることで、移動後推定画像Fti_sが算出される。このようにして得られた移動後推定画像Fti_sは、前回画像Fti-1を流れ量ΔDだけ流して得られる画像と実質的に等価である。
【００６０】
ステップＳ３７では、前記エッジ特徴量算出部７４において、今回画像Ftiおよび移動後推定画像Fti_sのx方向に関するエッジ特徴量Gxti，Gxti_sが算出される。ステップＳ３８では、前記移動方向推定部７５において、各画像のエッジ特徴量Gxti，Gxti_sの二乗誤差が最低となる座標の相対位置に基づいて、前回から今回への移動の向きが推定される。すなわち、図９に示したように、今回画像Ftiに対して移動後推定画像Fti_sが図中右側に位置していれば、携帯電話１は右向きに傾けられた（右パーンされた）ものと推定される。
【００６１】
以上のようにして、移動量ΔDfおよび向きが推定されると、前記制御部１３では、画像情報Eから切り出す表示画像Edisの切り出し位置を前記移動量ΔDおよび動きの向きに応じて移動させ、当該移動後の領域から表示画像Edisを切り出して表示部１５へ順次に出力する。したがって、表示部１５では携帯電話１を傾けた量や向き応じて変化した領域や範囲の表示が可能になる。
【００６２】
あるいは、携帯電話１が傾けられたことが検知されると、画像情報Eから切り出す表示画像Edisの切り出し位置を所定の速度で移動させながら当該表示画像Edisを表示部１５へ順次に出力し、これを異なる傾きが検知されるまで継続させるようにしても良い。
【００６３】
なお、上記した実施形態では、携帯電話１が上下左右方向へ傾けられると、表示画像もこれに同期して上下左右方向へ移動されるものとして説明したが、例えばWebブラウジングのように、画面移動が主に上下方向のスクロールである場合には、上下方向への傾きは上下方向のスクロールに対応付け、左右方向への傾きは拡大縮小に割り当てるようにしても良い。
【００６４】
図１０および図１１は、拡大縮小表示の一例を示した図であり、画像情報Eが地図情報であれば、利用者が携帯電話１を左右の一方へ傾けることにより、図１０(a)の画像を同図(b)のように拡大させることができる。また、画像情報Eが立体地図情報であれば、利用者が携帯電話１の左右方向や上下方向へ傾けることにより、図１１(a)の画像を同図(b)のように拡大させたり、同図(c)のように視点(俯瞰角度)を移動させた画像としたり、その状態でさらに拡大して、同図(d)に示した画像を表示させたりすることができる。
【００６５】
また、上記した実施形態では、本発明を携帯電話への適用を例にして説明したが、撮像部を備えた情報端末であれば、PDAや可搬性のコンピュータなどにも同様に適用できる。
【図面の簡単な説明】
【００６６】
【図１】本発明を適用した携帯電話の機能ブロック図である。
【図２】画像情報Eと表示画像Edisとの関係を模式的に表現した図である。
【図３】動き検知部の構成を示した機能ブロック図である。
【図４】動き検知部の動作を示したフローチャートである。
【図５】撮影画像と微分画像との関係を示した図である。
【図６】流れのある撮影画像と微分画像との関係を示した図である。
【図７】向き推定部の構成を示した機能ブロック図である。
【図８】向き推定部の動作を示したフローチャートである。
【図９】向き推定部の動作を模式的に表現した図である。
【図１０】表示部で表示される画像の例を示す図である。
【図１１】表示部で表示される画像の他の例を示す図である。
【符号の説明】
【００６７】
１１…撮像部，１２…推定部，１３…制御部，１４…記憶部，１５…表示部，５１，５２…エッジ特徴量算出部，５３、５４…正規化部，５５，５６…分散値算出部，５７…動き検知部，５８，５９…前回分散値記憶部，７１…流れ量推定部，７２…射影画像生成部，７３…移動後画像推定部，７４…エッジ特徴量算出部，７５…向き推定部
【図１】
0005083887.tif 000007
【図２】
0005083887.tif 000008
【図３】
0005083887.tif 000009
【図４】
0005083887.tif 000010
【図７】
0005083887.tif 000011
【図８】
0005083887.tif 000012
【図９】
0005083887.tif 000013
【図１０】
0005083887.tif 000014
【図１１】
0005083887.tif 000015
【図５】
0005083887.tif 000016
【図６】
0005083887.tif 000017