(57)【特許請求の範囲】
【請求項１】
連続して複数の画像を撮像するカメラと、
前記撮像された複数の画像と動き方向に対応した文字データとを保存するメモリと、
当移動通信端末機がいずれかの方向に動いたときに前記カメラが撮像して前記メモリに保存される複数の画像を用いて当移動通信端末機の動き方向を推定し、該推定した動き方向に対応する前記文字データを前記メモリから抽出するプロセッサと、
を含んで構成され、
前記プロセッサは、
前記抽出した文字データが、当移動通信端末機に設定されている機能の名称又は当該機能を呼び出す番号を表すか否か判断し、
前記機能の名称又は番号を表すと判断した場合に、該当機能を実行する、
ことを特徴とする移動通信端末機。
【請求項２】
連続して複数の画像を撮像するカメラと、
前記撮像された複数の画像と動き方向に対応した文字データとを保存するメモリと、
当移動通信端末機がいずれかの方向に動いたときに前記カメラが撮像して前記メモリに保存される複数の画像を用いて当移動通信端末機の動き方向を推定し、該推定した動き方向に対応する前記文字データを前記メモリから抽出するプロセッサと、
呼接続を実行する呼接続部と、
を含んで構成され、
前記プロセッサは、
前記抽出した文字データが、当移動通信端末機に保存されている連絡先の名称又は当該名称に該当する番号を表すか否か判断し、
前記呼接続部は、
前記プロセッサが前記名称又は番号を表すと判断した場合に、該当連絡先へ呼を接続する、
ことを特徴とする移動通信端末機。
【請求項３】
前記プロセッサは、
任意の時点を基準にして、その前後に撮像された前記画像を構成する複数のブロックのうちからマッチングするブロックがあるか否かを判断し、
マッチングするブロックがあれば、そのマッチングするブロックを基準にして、前記動き方向を推定する、
ことを特徴とする請求項１又は請求項２に記載の移動通信端末機。
【請求項４】
前記プロセッサは、
連続して撮像された２つの前記画像のうち、前に撮像された画像に基準ブロックを設定し、後に撮像された画像に前記基準ブロックが含まれているか否かを判断することによって、前記動き方向を推定する、
ことを特徴とする請求項１又は請求項２に記載の移動通信端末機。
【請求項５】
前記プロセッサは、
連続して撮像された２つの前記画像に共通して含まれる共通ブロックの動きベクトル値を算出し、前記動き方向を推定する、
ことを特徴とする請求項１又は請求項２に記載の移動通信端末機。
【請求項６】
前記メモリの保存容量が規定値以下となったときに、当該メモリに保存されている前記画像が保存時間に従って削除される、
請求項１〜５のいずれかに記載の移動通信端末機。
【請求項７】
カメラを介して、当移動通信端末機がいずれかの方向に動いたときに連続した複数の画像を撮像する撮像段階と、
前記撮像した複数の画像を用いて、当移動通信端末機の動き方向を推定する推定段階と、
動き方向に対応して保存されている文字データのうちから、前記推定した動き方向に対応する文字データを抽出する抽出段階と、
前記抽出した文字データが、当移動通信端末機に設定されている機能の名称又は当該機能を呼び出す番号を表すか否か判断し、前記機能の名称又は番号を表すと判断した場合に、該当機能を実行する実行段階と、
を含むことを特徴とする、移動通信端末機が実行する動き方向推定方法。
【請求項８】
カメラを介して、当移動通信端末機がいずれかの方向に動いたときに連続した複数の画像を撮像する撮像段階と、
前記撮像した複数の画像を用いて、当移動通信端末機の動き方向を推定する推定段階と、
動き方向に対応して保存されている文字データのうちから、前記推定した動き方向に対応する文字データを抽出する抽出段階と、
前記抽出した文字データが、当移動通信端末機に保存されている連絡先の名称又は当該名称に該当する番号を表すか否か判断し、前記名称又は番号を表すと判断した場合に、該当連絡先へ呼を接続する発呼段階と、
を含むことを特徴とする、移動通信端末機が実行する動き方向推定方法。
【請求項９】
前記撮像した複数の画像を保存する保存段階をさらに含む、
ことを特徴とする請求項７又は請求項８に記載の動き方向推定方法。
【請求項１０】
前記推定段階は、前記撮像した画像を、複数のブロックに分割する分割段階をさらに含む、
ことを特徴とする請求項９に記載の動き方向推定方法。
【請求項１１】
前記推定段階は、
任意の時点を基準にして、その前後に撮像された前記画像を構成する複数のブロックのうちからマッチングするブロックがあるか否かを判断する段階と、
前記判断の結果、マッチングするブロックがある場合、当該マッチングするブロックを基準にして、前記動き方向を推定する段階と、
を含むことを特徴とする請求項１０に記載の動き方向推定方法。
【請求項１２】
前記推定段階は、
前記判断の結果、マッチングするブロックがない場合、前記後に撮像された画像を構成する複数のブロックの中から相関の最も高いブロックを検索する段階と、
前記検索の結果による相関の最も高いブロックを基準にして、前記動き方向を推定する段階と、
を含むことを特徴とする請求項１１に記載の動き方向推定方法。
【請求項１３】
前記推定段階は、
連続して撮像された２つの前記画像のうち、前に撮像された画像に基準ブロックを設定する段階と、
前記連続して撮像された２つの画像のうち、後に撮像された画像に前記基準ブロックが含まれているか否かを判断する段階と、
前記判断の結果、前記基準ブロックが含まれている場合、前記基準ブロックの位置を基準にして、前記動き方向を推定する段階と、
を含むことを特徴とする請求項１０に記載の動き方向推定方法。
【請求項１４】
前記推定段階は、
前記判断の結果、前記基準ブロックが含まれていない場合、前記後に撮像された画像を構成する複数のブロックの中から、前記基準ブロックと相関の最も高いブロックを検索する段階と、
前記検索の結果による相関の最も高いブロックを基準にして、前記動き方向を推定する段階と、
を含むことを特徴とする請求項１３に記載の動き方向推定方法。
【請求項１５】
前記推定段階は、
連続して撮像された２つの前記画像に共通して含まれる共通ブロックを検索する段階と、
前記検索した共通ブロックの動きベクトル値を算出する段階と、
前記算出した動きベクトル値を基準にして、前記動き方向を推定する段階と、
を含むことを特徴とする請求項１０に記載の動き方向推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動通信端末機に係り、より詳細には、動き方向（motion direction）を推定する移動通信端末機及び該移動通信端末機の動き方向を推定する方法に関する。
【背景技術】
【０００２】
従来の移動通信端末機における入力について説明すると、移動通信端末機は、複数のキーからなるキーパッドを備え、特定の数字や文字がそれぞれ割り当てられた複数のキーが用いられて数字または文字が入力される。このように入力された数字または文字が表示されると、使用者は、当該入力された数字または文字を修正するか、あるいは、入力された数字または文字に連続して他の数字または文字を入力する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前述の従来技術では、特定機能を実行させたり文字を入力するには、それぞれ別個にキーを操作しなければならず、キー入力に時間がかかるという煩雑さがあった。
【０００４】
また、従来技術では、情報全体の一部を表示している場合、その他の情報を表示するためには、使用者による別途のキー操作が必要であり、そのキー操作に時間と手間がかかるという煩雑さがあった。
【０００５】
そこで、本発明の目的は、移動通信端末機が備えるカメラで複数の画像を撮像して、移動通信端末機の動き方向を推定し、前述の煩雑さを解消することができる移動通信端末機及びその方法を提供することにある。
【０００６】
本発明の他の目的は、動き方向を推定し、その推定した動き方向に対応する様々な情報を表示及び実行できる移動通信端末機及び動き方向推定方法を提供することにある。
【課題を解決するための手段】
【０００７】
このような目的を達成する本発明に係る動き方向を推定する移動通信端末機は、連続して複数の画像を撮像するカメラと、前記撮像された複数の画像と動き方向に対応した文字データとを保存するメモリと、当移動通信端末機がいずれかの方向に動いたときに前記カメラが撮像して前記メモリに保存される複数の画像を用いて当移動通信端末機の動き方向を推定し、該推定した動き方向に対応する前記文字データを前記メモリから抽出するプロセッサと、を含んで構成され、前記プロセッサは、前記抽出した文字データが、当移動通信端末機に設定されている機能の名称又は当該機能を呼び出す番号を表すか否か判断し、前記機能の名称又は番号を表すと判断した場合に、該当機能を実行する、ことを特徴とする。
【０００９】
また、本発明に係る動き方向を推定する移動通信端末機は、連続して複数の画像を撮像するカメラと、前記撮像された複数の画像と動き方向に対応した文字データとを保存するメモリと、当移動通信端末機がいずれかの方向に動いたときに前記カメラが撮像して前記メモリに保存される複数の画像を用いて当移動通信端末機の動き方向を推定し、該推定した動き方向に対応する前記文字データを前記メモリから抽出するプロセッサと、呼接続を実行する呼接続部と、を含んで構成され、前記プロセッサは、前記抽出した文字データが、当移動通信端末機に保存されている連絡先の名称又は当該名称に該当する番号を表すか否か判断し、前記呼接続部は、前記プロセッサが前記名称又は番号を表すと判断した場合に、該当連絡先へ呼を接続する、ことを特徴とする。
【００１１】
前記プロセッサは、任意の時点を基準にして、その前後に撮像された画像を構成する複数のブロックのうちからマッチングするブロックがあるか否かを判断し、マッチングするブロックがあれば、そのマッチングするブロックを基準にして、前記動き方向を推定するとよい。また、前記プロセッサは、連続して撮像された２つの画像のうち、前に撮像された画像に基準ブロックを設定し、後に撮像された画像に前記基準ブロックが含まれているか否かを判断することによって、前記動き方向を推定するようにしてもよい。さらに、前記プロセッサは、連続して撮像された２つの画像に共通して含まれる共通ブロックの動きベクトル値を算出し、前記動き方向を推定するとよい。
【００１２】
また、上記の目的を達成する本発明に係る移動通信端末機の動き方向推定方法は、カメラを介して、当移動通信端末機がいずれかの方向に動いたときに連続した複数の画像を撮像する撮像段階と、前記撮像した複数の画像を用いて、当移動通信端末機の動き方向を推定する推定段階と、動き方向に対応して保存されている文字データのうちから、前記推定した動き方向に対応する文字データを抽出する抽出段階と、前記抽出した文字データが、当移動通信端末機に設定されている機能の名称又は当該機能を呼び出す番号を表すか否か判断し、前記機能の名称又は番号を表すと判断した場合に、該当機能を実行する実行段階と、を含むことを特徴とする、移動通信端末機が実行する動き方向推定方法である。
【００１４】
あるいは、上記の目的を達成する本発明に係る移動通信端末機の動き方向推定方法は、カメラを介して、当移動通信端末機がいずれかの方向に動いたときに連続した複数の画像を撮像する撮像段階と、前記撮像した複数の画像を用いて、当移動通信端末機の動き方向を推定する推定段階と、動き方向に対応して保存されている文字データのうちから、前記推定した動き方向に対応する文字データを抽出する抽出段階と、前記抽出した文字データが、当移動通信端末機に保存されている連絡先の名称又は当該名称に該当する番号を表すか否か判断し、前記名称又は番号を表すと判断した場合に、該当連絡先へ呼を接続する発呼段階と、を含むことを特徴とする、移動通信端末機が実行する動き方向推定方法である。
【００１５】
上記方法では、前記撮像した複数の画像を保存する保存段階をさらに含むことができる。
【００１６】
前記推定段階は、前記撮像した画像を、複数のブロックに分割する分割段階をさらに含むことができる。
【００１７】
この場合の前記推定段階は、任意の時点を基準にして、その前後に撮像された画像を構成する複数のブロックのうちからマッチングするブロックがあるか否かを判断する段階と、前記判断の結果、マッチングするブロックがある場合、当該マッチングするブロックを基準にして、前記動き方向を推定する段階と、を含むことができる。一方、前記推定段階は、前記判断の結果、マッチングするブロックがない場合、前記後に撮像された画像を構成する複数のブロックの中から相関の最も高いブロックを検索する段階と、前記検索の結果による相関の最も高いブロックを基準にして、前記動き方向を推定する段階と、を含むことができる。
【００１８】
また、前記推定段階は、連続して撮像された２つの画像のうち、前に撮像された画像に基準ブロックを設定する段階と、前記連続して撮像された２つの画像のうち、後に撮像された画像に前記基準ブロックが含まれているか否かを判断する段階と、前記判断の結果、前記基準ブロックが含まれている場合、前記基準ブロックの位置を基準にして、前記動き方向を推定する段階と、を含むことができる。一方、前記推定段階は、前記判断の結果、前記基準ブロックが含まれていない場合、前記後に撮像された画像を構成する複数のブロックの中から、前記基準ブロックと相関の最も高いブロックを検索する段階と、前記検索の結果による相関の最も高いブロックを基準にして、前記動き方向を推定する段階と、を含むことができる。
【００１９】
また、前記推定段階は、連続して撮像された２つの画像に共通して含まれる共通ブロックを検索する段階と、前記検索した共通ブロックの動きベクトル値を算出する段階と、前記算出した動きベクトル値を基準にして、前記動き方向を推定する段階と、を含むことができる。
【発明の効果】
【００２０】
本発明によれば、移動通信端末機は、移動通信端末機が備えるカメラが撮像した画像から自己の動き方向を推定することができるようになる。これにより、推定した動き方向に対応する機能を実行したり、特定文字を表示することができるようになる。また、推定した動き方向に対応させて、情報の全体の一部分を表示することができるようにもなる。さらに、本発明によれば、移動通信端末機の動き方向に対応する文字データを抽出できるため、該抽出した文字データに割り当てられた特定機能を実行することが可能になる。
【発明を実施するための最良の形態】
【００２１】
以下、添付の図面を参照して、本発明の好適な実施形態を詳細に説明する。
【００２２】
図１及び図２を参照して、本発明に従って動き方向を推定する移動通信端末機及びその方法の実施形態について詳細に説明する。
【００２３】
図１に示すように、本発明の移動通信端末機は、カメラ１２０、メモリ１３０、プロセッサ１４０及びディスプレイ１５０を含んで構成されている。なお、この移動通信端末機は、所定信号を発生する入力部１１０をさらに含んでいる。また、プロセッサ１４０は、画像分割部１４２を含んで構成されている。
【００２４】
これら各構成要素の詳細を説明する。
【００２５】
入力部１１０は、使用者の選択によって、当該移動通信端末機の動き方向に従う特定情報を表示する機能を選択するための信号（選択信号）を発生する（Ｓ２１０）。この動き方向に従う特定情報を表示する機能とは、撮像された複数の画像（picture）を用いて当該移動通信端末機の動き方向を把握し、該把握した動き方向に対応する特定情報を表示する機能のことを意味する。この機能には、例えば、動き方向に対応する文字表示機能、動き方向に対応するページ表示機能、動き方向に対応する、情報の全体の一部を表示する機能などがある。
【００２６】
このような機能を入力するための特定キーが、移動通信端末機に備えられており、入力部１１０は、当該特定キーが押下されることによって、上記のような選択信号を発生する。例えば、特定キーとは、移動通信端末機に備えられた複数のキーの中で上記の機能が設定された（割り当てられた）キーであり、また、上記の機能用に特別に設けられたキーである。
【００２７】
なお、上記の選択信号は、例えば、特定キーが１回又は所定回数押下されることで発生させるようにしてもよく、上記機能が実行された後に特定キーが連続して押下されることによって続けて発生させたり、該特定キーに対する押下が解除されると発生しないようにすることもできる。
【００２８】
カメラ１２０は、複数の画像を撮像する（Ｓ２２０）。カメラ１２０は、上記の選択信号が発生することによって、画像を撮像するための待機状態に設定され、カメラモジュールを通して画像が撮像される。
【００２９】
カメラ１２０は、移動通信端末機の動きによって、相異なる複数の画像を撮像する。例えば、カメラ１２０は、移動通信端末機が‘左方向’に動く場合に、漸次‘左方向’へ移動している複数の画像を連続して撮像する。すなわち、これら複数の画像を、撮像された時間順に組み合わせると、当該移動通信端末機が‘左方向’へ移動していることが分かるようになる。
【００３０】
また、カメラ１２０は、一定の速度で複数の画像を連続して撮像する。ここで、速度とは、１秒につき１６フレーム、又は１秒につき３２フレームなどのような撮像速度を意味し、フレームは、連続した画像における単位画像を意味する。例えば、移動通信端末機は、設定可能な複数の撮像速度をディスプレイ１５０を介して使用者に表示し、使用者は、この表示された複数の撮像速度の中で、特定の撮像速度を選択することができる。これにより、カメラ１２０は、当該選択された撮像速度で複数の画像を連続して撮像する。特定撮像速度がデフォルト（Default）に設定されている場合には、デフォルトに設定されている撮像速度で複数の画像を撮像する。
【００３１】
メモリ１３０は、撮像された複数の画像を保存する（Ｓ２３０）。例えば、メモリ１３０は、保存容量を周期的に検査し、所定の保存容量に達するか又は規定値以下と判断された場合に、保存された複数の画像のうち、保存時間が一番目の画像から削除する。また、使用者の削除選択によっても、画像が削除される。なお、この場合、移動通信端末機は、使用者に対して、保存済みの画像を削除するか否かを問う文章を表示することができる。使用者が削除を選択すると、複数の画像の中の選択された特定画像を削除する。
【００３２】
プロセッサ１４０は、撮像された複数の画像を用いて、移動通信端末機の動き方向を推定する（Ｓ２４０）。また、本実施形態では、プロセッサ１４０は、撮像された画像を複数のブロック（Block）に分割する画像分割部１４２を有する。
【００３３】
プロセッサ１４０は、任意の時点を基準にして、その前後に撮像された画像を構成する複数のブロックの中から一致（マッチング）するブロックがあるか否かを判断し、マッチングするブロックがある場合に、そのマッチングするブロックを基準にして、移動通信端末機の動き方向を推定する。例えば、プロセッサ１４０は、マッチングするブロックを基準にして、前に撮像された画像と、後に撮像された画像とを配列する。例えば、前に撮像された画像に対する後に撮像された画像の配列方向が‘左方向’である場合、動き方向を‘左方向’と推定する。
【００３４】
また、プロセッサ１４０は、連続して撮像された２つの画像のうち、前に撮像された画像に基準ブロック（reference block）を設定し、この基準ブロックが、後に撮像された画像にあるか否か、その移動方向などを判断することによって、移動通信端末機の動き方向を推定する。例えば、プロセッサ１４０は、後に撮像された画像において基準ブロックの位置を把握し、前に撮像された画像における当該基準ブロックの位置を、後に撮像された画像に表示する。続いて、プロセッサ１４０は、前に撮像された画像から後に撮像された画像への基準ブロックの移動方向を把握し、この移動方向の反対方向の動きを、動き方向として推定する。
【００３５】
さらに、プロセッサ１４０は、連続して撮像された２つの画像に共通して含まれたブロックの動きベクトル値（motion vector）を算出して、移動通信端末機の動き方向を推定することもできる。例えば、連続して撮像された２つの画像を、いずれも８×８個のブロックに分割する。この連続して撮像された２つの画像のうち、前に撮像された画像の（１，１）ブロックと、後に撮像された画像の（４，５）ブロックとが共通すると判断した場合、プロセッサ１４０は、後に撮像された画像を基準画像として、（４、５）ブロックのベクトル値から（１，１）ブロックのベクトル値を減算することによって動きベクトル値を算出し、これを基準にして当該移動通信端末機の動き方向を推定する。
【００３６】
このプロセッサ１４０による動き方向推定の段階については、図３Ａ〜図３Ｃを参照して後述する。
【００３７】
ディスプレイ１５０は、推定された動き方向に対応する情報を表示する（Ｓ２５０）。ディスプレイ１５０及びこれによる表示段階は、各例に該当する図面を参照して適宜後述するものとする。
【００３８】
以下、図３Ａを参照して、移動通信端末機の動き方向を推定する第１例について詳細に説明する。
【００３９】
まず、画像分割部１４２が、撮像した画像を複数のブロック（Block）に分割する（Ｓ３１２）。この場合、画像は、複数のピクセル（Pixel）で構成されており、所定数のピクセルを含んで構成された複数のブロックに分割される。例えば、画像分割部１４２は、あらかじめ設定された分割回数によって、撮像した画像を複数のブロックに分割する。この場合に、複数の画像ブロックのそれぞれは、同一サイズのブロックとなるように分割される。
【００４０】
プロセッサ１４０は、任意の時点を基準にして、その前後に撮像された画像を構成する複数のブロックのうち、マッチング又は一致するブロックが存在するか否かを判断する（Ｓ３１４）。すなわち、プロセッサ１４０は、後に撮像された画像を構成する複数のブロックのそれぞれに対して、前に撮像された画像を構成する複数のブロックの中にマッチングするブロックが少なくとも一つあるか否かを判断する。例えば、プロセッサ１４０は、後に撮像された画像を構成する複数のブロックの中から任意のブロックを基準に設定し、前に撮像された画像を構成する複数のブロックのそれぞれにマッチングするブロックが存在するか又は一致するブロックが存在するか否かを判断する。この場合、マッチングするブロックは、少なくとも１つであるか又はそれ以上である。
【００４１】
この判断結果、マッチングするブロックが存在しないと判断した場合、プロセッサ１４０は、複数のブロックの中から最も高い相関（correlation）を有するブロックを検索する（Ｓ３１６）。すなわち、プロセッサ１４０は、後に撮像された画像を構成する複数のブロックの中から、前に撮像された画像を構成する複数のブロックのうちの特定ブロックと相関が最も高いブロックを検索する。
【００４２】
例えば、プロセッサ１４０は、後に撮像された画像を構成する複数のブロックのそれぞれに対して、各ブロックを構成する複数のピクセルのそれぞれに対するピクセル値（pixel value）を算出する。そして、プロセッサ１４０は、各ブロックに対して算出したピクセル値を基準にして、前に撮像された画像を構成する複数のブロックのそれぞれに対するピクセル値を算出して比較し、その中から最も高い相関を有するブロックを検索する。この時、前に撮像された画像を構成する複数のブロックのそれぞれに対するピクセル値は、プロセッサ１４０によって自動的に算出される。すなわち、最も高い相関を有するブロックとは、ブロックがマッチング又は一致するものではないが、対応するブロックを構成する複数のピクセルについて、最も類似するピクセル値を有するブロックのことを意味する。
【００４３】
一方、プロセッサ１４０が、段階Ｓ３１４の判断の結果、一致するブロックが存在すると判断した場合、該一致するブロックを基準にして、当該移動通信端末機の動き方向を推定する（Ｓ３１８）。
【００４４】
本例では、撮像された前後の画像が、それぞれ９個のブロック（３×３ブロック）を含むものとする。また、動き方向は、‘上方向’、‘下方向'、‘左方向’、‘右方向’、または‘東方向'、‘西方向'、‘南方向’、‘北方向’及びこれら各方向を組み合わせた複数の方向で表現する。例えば、前に撮像された画像において（３、１）ブロック、（３、２）ブロック及び（３、３）ブロックがそれぞれ、後に撮像された画像において（２、１）ブロック、（２、２）ブロック及び（２、３）ブロックとマッチング又は一致する場合、プロセッサ１４０は、これらそれぞれのマッチング又は一致するブロックを基準にして、その前後に撮像された画像を配列し、動き方向を‘右方向’または‘東方向’と推定する。これは、後に撮像された画像は、マッチング又は一致するブロックを基準にすると、前に撮像された画像に対して‘右方向’または‘東方向’に位置するためである。また、例えば、前に撮像された画像における（１、２）ブロック、（２、２）ブロック及び（３、２）ブロックがそれぞれ、後に撮像された画像における（１、３）ブロック、（２、３）ブロック及び（３、３）ブロックとマッチング又は一致する場合、プロセッサ１４０は、それぞれのマッチング又は一致するブロックを基準にして、その前後に撮像された画像を配列し、動き方向を‘上方向’または‘北方向’と推定する。さらに、例えば、前に撮像された画像における（３、１）ブロックと、後に撮像された画像における（１、３）ブロックとがマッチング又は一致する場合、プロセッサ１４０は、マッチング又は一致するブロックを基準にして、その前後に撮像された画像を配列し、動き方向を‘北東方向’と推定する。
【００４５】
また、プロセッサ１４０は、上記検索結果によって、最も高い相関を有するブロックを基準にして、当該移動通信端末機の動き方向を推定することができる（Ｓ３１８）。最も高い相関を有するブロックは、少なくとも一つ存在するとよい。好ましくは、最も高い相関を有するブロックは一つ存在すればよい。例えば、後に撮像された画像における（２、２）ブロックが、前に撮像された画像の（３、２）ブロックと相関が最も高い場合、プロセッサ１４０は、該相関の最も高いブロックを基準にして、その前後に撮像された画像を配列し、動き方向を‘右方向’または‘東方向’と推定する。これは、後に撮像された画像は、相関の最も高いブロックを基準にして、前に撮像された画像に対して‘右方向’または‘東方向'に位置するからである。また、例えば、後に撮像された画像において（１、３）ブロックが、前に撮像された画像の（３、１）ブロックと相関が最も高い場合、プロセッサ１４０は、相関の最も高いブロックを基準にして、その前後に撮像された画像を配列し、動き方向を‘北東方向’と推定する。
【００４６】
次に、図３Ｂを参照して、移動通信端末機の動き方向を推定する第２例について詳細に説明する。
【００４７】
画像分割部１４２は、保存された画像を複数のブロックに分割する（Ｓ３２１）。この画像分割部１４２による画像分割段階Ｓ３２１は、図１及び図３Ａを参照して説明した画像分割部１４２による画像分割段階Ｓ３１２と同一であるので、その詳細な説明は省略する。
【００４８】
プロセッサ１４０は、保存された複数の画像の中から、連続して撮像された２つの画像を選択し、これら２つの画像のうち、前に撮像された画像に基準ブロック（reference block）を設定する（Ｓ３２３）。ここで、プロセッサ１４０は、複数のブロックの中で任意のブロックを基準ブロックとして設定する。また、プロセッサ１４０は、複数のブロックの中で少なくとも一つのブロックを基準ブロックとして設定することもできる。好ましくは、プロセッサ１４０は、複数のブロックの中で中央に位置するブロックを基準ブロックに設定する。
【００４９】
プロセッサ１４０は、これら２つの画像のうち、後に撮像された画像に当該基準ブロックが存在するか否かを判断する（Ｓ３２５）。この場合、プロセッサ１４０は、ブロック整合アルゴリズム（Block Matching Algorithm）を用いて、基準ブロックの存在有無を判断する。
【００５０】
このブロック整合アルゴリズムは、画像を所定サイズのブロックに分割し、ブロック内の全てのピクセルを一つの動きベクトル（motion vector）で表現する方法である。すなわち、ブロック整合アルゴリズムは、動きベクトルを探すために、前に撮像された画像のブロックを１ピクセルずつ移動しながら、後に撮像された画像のブロックと最も類似するブロックを探す方法である。その整合基準には、平均絶対誤差（Mean Absolute Error）や平均２乗誤差（Mean Squared Error）などが多く用いられる。
【００５１】
これによれば、プロセッサ１４０は、基準ブロックを構成する複数のピクセルに対するピクセル値をあらかじめ算出して保存しているので、後に撮像された画像を構成する複数のブロックのそれぞれに対してピクセル値を算出し、該算出したピクセル値を参照して、基準ブロックの存在有無を判断することができる。
【００５２】
プロセッサ１４０は、段階Ｓ３２５の判断の結果、基準ブロックが存在しないと判断した場合、後に撮像された画像を構成する複数のブロックの中から、基準ブロックと相関の最も高いブロックを検索する（Ｓ３２７）。この場合、プロセッサ１４０は、ブロック整合アルゴリズムを用いて、基準ブロックと相関の最も高いブロックを検索する。
【００５３】
一方、プロセッサ１４０は、段階Ｓ３２５の判断の結果、基準ブロックが存在すると判断した場合、基準ブロックの位置を基準にして、移動通信端末機の動き方向を推定する（Ｓ３２９）。
【００５４】
本例では、撮像された前後の画像が、それぞれ９個のブロック（３×３ブロック）を含むものとする。また、動き方向は、‘上方向’、‘下方向’、‘左方向’、‘右方向’、または‘東方向’、‘西方向’、‘南方向’、‘北方向’及びこれら各方向を組み合わせた複数の方向で表現する。
【００５５】
ここで、例えば、前に撮像された画像において（２、２）ブロックを基準ブロックに設定し、後に撮像された画像における基準ブロックが（１、３）ブロックであると判断した場合、プロセッサ１４０は、（２、２）から（１、３）へ基準ブロックの位置が移動したと判断し、この基準ブロックの移動方向とは反対方向の動きを、動き方向と推定する。また、例えば、前に撮像された画像において（２、２）ブロックを基準ブロックに設定し、後に撮像された画像において基準ブロックが（３、２）ブロックであると判断した場合、プロセッサ１４０は、（２、２）から（３、２）へ基準ブロックの位置が移動したと判断し、この基準ブロックの移動方向とは反対方向の動きを、動き方向と推定する。
【００５６】
また、プロセッサ１４０は、段階Ｓ３２７の検索結果によって、基準ブロックと相関の最も高いブロックを基準にして、移動通信端末機の動き方向を推定する（Ｓ３２９）。これによれば、例えば、前に撮像された画像において（２、２）ブロックを基準ブロックに設定し、後に撮像された画像において基準ブロックと相関の最も高いブロックが（１、３）ブロックであると判断した場合、プロセッサ１４０は、（２、２）から（１、３）へ基準ブロックの位置が移動したと判断し、この基準ブロックの移動方向とは反対方向の動きを、動き方向と推定する。また、例えば、前に撮像された画像において（２、２）ブロックを基準ブロックに設定し、後に撮像された画像において当該基準ブロックと相関の最も高いブロックが（３、２）ブロックであると判断した場合、プロセッサ１４０は、（２、２）から（３、２）へ基準ブロックの位置が移動したと判断し、この基準ブロックの移動方向とは反対方向の動きを、動き方向と推定する。
【００５７】
次に、図３Ｃを参照して、移動通信端末機の動き方向を推定する第３例について詳細に説明する。
【００５８】
画像分割部１４２は、保存された画像を複数のブロックに分割する（Ｓ３３２）。この画像分割部１４２による画像分割段階Ｓ３３２は、図３Ａを参照して説明した画像分割部１４２による画像分割段階Ｓ３１２と同一であるので、その詳細な説明は省略する。
【００５９】
プロセッサ１４０は、連続して撮像された２つの画像に共通して含まれるブロック（共通ブロック（common block））が存在するか否かを判断する（Ｓ３３４）。例えば、プロセッサ１４０は、連続して撮像された２つの画像のうち、前に撮像された画像を構成する複数のブロックのそれぞれに対するピクセル値をあらかじめ算出して保存する。そして、プロセッサ１４０は、後に撮像された画像を構成する複数のブロックのそれぞれに対するピクセル値を算出し、これを、あらかじめ算出しておいた、前に撮像された画像を構成する複数のブロックのピクセル値と比較する。これにより、プロセッサ１４０は、算出したピクセル値を基準にして、撮像された前後の画像に共通して含まれる共通ブロックの存在有無を判断することができる。
【００６０】
この判断の結果、共通するブロックが存在する場合、プロセッサ１４０は、その共通ブロックを検索する（Ｓ３３６）。例えば、プロセッサ１４０は、撮像された前後の画像のそれぞれにおいて、共通ブロックの位置を検索する。
【００６１】
その後、プロセッサ１４０は、検索した共通ブロックの動きベクトル値を算出する（Ｓ３３８）。ここで、撮像された前後の画像が、それぞれ９個のブロック（３×３ブロック）を含むものとする。まず、プロセッサ１４０は、９個のブロックの位置の値をそれぞれＸ−Ｙ座標平面のｘ、ｙの座標の値として認識する。つまり、プロセッサ１４０は、任意のブロックの位置（１、１）をＸ−Ｙ座標平面上の座標（１、１）として認識する。前に撮像された画像の（１、３）ブロックと、後に撮像された画像の（３、１）ブロックとが共通ブロックである場合、プロセッサ１４０は、後に撮像された画像の（３、１）ブロックのベクトル値（３、１）から、前に撮像された画像の（１、３）ブロックのベクトル値（１、３）を減算することによって、共通ブロックを基準とする動きベクトル値を算出できる。検索された共通ブロックが複数である場合は、プロセッサ１４０は、それぞれの共通ブロックに対する動きベクトル値を全て算出する。
【００６２】
一方、プロセッサ１４０は、段階Ｓ３３４の判断の結果、共通ブロックが存在しないと判断した場合、撮像された前後の画像のそれぞれを構成する複数のブロックの中から相関の最も高いブロックを検索する（Ｓ３４０）。この場合、プロセッサ１４０は、算出した各ブロックのピクセル値を用いて、ピクセル値が最も類似するブロックを、相関の最も高いブロックとして認識する。
【００６３】
その後、プロセッサ１４０は、検索した相関の最も高いブロックの動きベクトル値を算出する（Ｓ３４２）。この場合、動きベクトル値を算出する過程Ｓ３４２は、前述した段階Ｓ３８８と同一であるので、その詳細な説明は省略する。
【００６４】
プロセッサ１４０は、算出した動きベクトル値を基準にして、移動通信端末機の動き方向を推定する（Ｓ３４４）。例えば、プロセッサ１４０は、算出した動きベクトル値の大きさと方向に基づいて、動き方向を推定することができる。また、共通ブロックが複数ある場合には、それぞれの共通ブロックに対する動きベクトル値が存在するので、プロセッサ１４０は、複数の動きベクトル値の平均を算出し、該算出した平均動きベクトル値の大きさと方向に基づいて、動き方向を推定することができる。
【００６５】
以下、図４及び図５を参照して、本発明に従って動き方向を推定し、情報を抽出する移動通信端末機及びその方法の実施形態について説明する。図４に示すように、本実施形態の移動通信端末機は、図１に示す入力部１１０、カメラ１２０、メモリ１３０、プロセッサ１４０及びディスプレイ１５０の他、呼接続部４４０をさらに含んで構成されている。また、プロセッサ１４０は、画像分割部４１０、文字抽出部４２０及び駆動部４３０を含んで構成されている。
【００６６】
メモリ１３０は、移動通信端末機の動き方向に対応する文字データを保存する（Ｓ５１０）。すなわち、メモリ１３０は、移動通信端末機が提供する全ての文字情報を保存することができ、移動通信端末機が支援可能な言語、記号または数字を保存することができる。そして、メモリ１３０は、保存した全ての文字情報、言語、記号及び数字に対して、動き方向に対応する文字データの形態で保存する。
【００６７】
例えば、メモリ１３０は、‘右下’の動き方向に対応する‘Ｘ１’、‘下右’の動き方向に対応する‘Ｘ２’、‘右下右’の動き方向に対応する‘Ｘ３’などを含む文字データを保存する。また、メモリ１３０は、‘下上右'の動き方向に対応する‘Ｘ４’、‘下左右’の動き方向に対応する‘Ｘ５’などを含む文字データを保存する。ここで、Ｘ１〜Ｘ５は、例えば、アルファベットであり、日本語を表示させる場合には平仮名やカタカナを構成する母音、子音となる。また、漢字を構成する‘つくり’、‘へん’又は部首などであってもよい。さらに、Ｘ１〜Ｘ５は、数字であり、平仮名の５０音をマトリックス配置し、これに対応させて平仮名を構成するようにしてもよい。例えば、Ｘ１が数字の２、Ｘ２が数字の１であれば‘か’、Ｘ３が数字の３、Ｘ４が数字の２であれば‘し’のように設定しておけばよい。Ｘ１〜Ｘ５は、韓国語を構成する文字であってもよい。
【００６８】
入力部１１０は、使用者の選択によって、移動通信端末機の動き方向に従う特定情報を表示する機能を選択するための信号（選択信号）を発生する（Ｓ５２０）。この入力部１１０の選択信号発生段階は、図１及び図２を参照して前述した入力部１１０の選択信号発生段階Ｓ２１０と同一であるので、その詳細な説明は省略する。
【００６９】
カメラ１２０は、複数の画像を撮像する（Ｓ５３０）。カメラ１２０の撮像段階は、図１及び図２を参照して前述したカメラ１２０の撮像段階Ｓ２２０と同一であるので、その詳細な説明は省略する。
【００７０】
メモリ１３０は、撮像された複数の画像を保存する（Ｓ５４０）。メモリ１３０への画像保存段階は、図１及び図２を参照して前述したメモリ１３０への画像保存段階Ｓ２３０と同一であるので、その詳細な説明は省略する。
【００７１】
続いて、プロセッサ１４０は、撮像された複数の画像を用いて、移動通信端末機の動き方向を推定する（Ｓ５５０）。このプロセッサ１４０による方向推定段階は、図１及び図２を参照して前述したプロセッサ１４０による方向推定段階Ｓ２４０と同一であるので、その詳細な説明は省略する。
【００７２】
その後、文字抽出部４２０は、推定した動き方向に対応する文字データを、上記保存した文字データから抽出する（Ｓ５６０）。ここで、文字データは、推定した動き方向と正確に対応する文字データの他に、推定した動き方向と相関を有する文字データも含まれる。例えば、文字抽出部４２０は、推定した動き方向が‘下下右右’である場合、動き方向を‘下右’と認識し、メモリ１３０から‘Ｘ２’を抽出する。また、文字抽出部４２０は、推定した動き方向が‘右右右下下下’である場合、動き方向を‘右下’と認識し、メモリ１３０から‘Ｘ１’を抽出する。また、文字抽出部４２０は、推定した動き方向が‘下下下上上右右'である場合、動き方向を‘下上右’と認識し、メモリ１３０から‘Ｘ４’を抽出する。また、文字抽出部４２０は、推定した動き方向が‘下下左左右右右右'である場合、動き方向を‘下左右'と認識し、メモリ１３０から‘Ｘ５’を抽出する。
【００７３】
その後、ディスプレイ１５０は、抽出した文字データに従う特定文字を表示する（Ｓ５７０）。例えば、ディスプレイ１５０は、抽出した文字データが‘Ｈ’と‘Ａ’である場合、‘は’を表示する。また、ディスプレイ１５０は、抽出した文字データが‘竹’と‘世’である場合、‘笹’を表示する。
【００７４】
次に、図４及び図６Ａを参照して、抽出した文字データを用いる第１例について詳細に説明する。
【００７５】
プロセッサ１４０は、抽出した文字データが、移動通信端末機に設定された任意の機能を表すか否かを判断する（Ｓ６１２）。すなわち、プロセッサ１４０は、抽出した文字データが、移動通信端末機に設定された任意の機能の名称又はこの任意の機能を呼び出す短縮番号を表す場合、その任意の機能を表すものと判断する。
【００７６】
例えば、プロセッサ１４０は、抽出した文字データが‘メッセージ’である場合、当該文字データが、移動通信端末機に設定されたメッセージ機能を表すものと判断する。また、プロセッサ１４０は、移動通信端末機に設定されたメッセージ機能に該当する短縮番号が‘７’である場合、抽出した文字データ‘７’が、メッセージ機能を表すものと判断する。
【００７７】
入力部１１０は、上記の判断の結果、任意の機能を表すものと判断した場合、この任意の機能に対応する実行信号を発生する（Ｓ６１４）。この場合、入力部１１０は、使用者の選択によって、実行信号を発生する。また、実行信号の発生がデフォルトに設定されている場合には、この実行信号を自動的に発生する。
【００７８】
駆動部４３０は、発生した実行信号に従って該当機能を実行する（Ｓ６１６）。すなわち、駆動部４３０は、移動通信端末機に設定された全ての機能に対する駆動プログラムを保存しており、実行信号に応じて、該当する機能に相当するプログラムを駆動して、その機能を実行する。
【００７９】
次に、図４及び図６Ｂを参照して、抽出した文字データを用いる第２例について詳細に説明する。
【００８０】
プロセッサ１４０は、抽出した文字データが、移動通信端末機に保存されている連絡先の名称うち、任意の名称を表すか否かを判断する（Ｓ６２２）。すなわち、プロセッサ１４０は、抽出した文字データが、移動通信端末機に保存された連絡先の任意の名称、又はこの任意の名称に該当する短縮番号や任意の名称を呼び出すアドレス帳番号などを表す場合、その任意の名称を表すものと判断する。
【００８１】
入力部１１０は、上記判断の結果、任意の名称を表すものと判断した場合、この任意の名称に該当する連絡先の呼接続信号を発生する（Ｓ６２４）。すなわち、入力部１１０は、使用者の選択によって、呼接続信号を発生するか、又は呼接続信号の発生がデフォルトに設定されている場合、この呼接続信号を自動的に発生する。
【００８２】
呼接続部４４０は、呼接続信号によって、上記名称に該当する連絡先へ呼を接続する（Ｓ６２６）。
【００８３】
以下、図１及び図７を参照して、本発明に従って動き方向を推定し、一部情報を表示する移動通信端末機及びその方法の実施形態について詳細に説明する。
【００８４】
入力部１１０は、使用者の選択によって、移動通信端末機の動き方向に従う特定情報を表示する機能を選択するための信号（選択信号）を発生する（Ｓ７１０）。入力部１１０の選択信号発生段階Ｓ７１０は、図１及び図２を参照して前述した入力部１１０の選択信号発生段階Ｓ２１０と同一であるので、その詳細な説明は省略する。
【００８５】
カメラ１２０は、複数の画像を撮像する（Ｓ７２０）。カメラ１２０の撮像段階Ｓ７２０は、図１及び図２を参照して前述したカメラ１２０の撮像段階Ｓ２２０と同一であるので、その詳細な説明は省略する。
【００８６】
メモリ１３０は、撮像された複数の画像を保存する（Ｓ７３０）。メモリ１３０への画像保存段階Ｓ７３０は、図１及び図２を参照して前述したメモリ１３０への画像保存段階Ｓ２３０と同一であるので、その詳細な説明は省略する。
【００８７】
プロセッサ１４０は、撮像された複数の画像を用いて、移動通信端末機の動き方向を推定する（Ｓ７４０）。プロセッサ１４０による動き方向推定段階Ｓ７４０は、図１及び図２を参照して前述したプロセッサ１４０による動き方向推定段階Ｓ２４０と同一であるので、その詳細な説明は省略する。
【００８８】
プロセッサ１４０は、ディスプレイ１５０が現在表示している情報が、情報の全体のうち、その一部の情報であるか否かを判断する（Ｓ７５０）。ここで、情報の全体とは、複数のページから構成された全ての情報であり、その一部の情報とは、当該複数のページのうちの特定ページを表す情報である。例えば、プロセッサ１４０は、ディスプレイ１５０が、移動通信端末機に保存された複数の電話番号を表示する複数のページのうち、特定ページに表示された電話番号を表示している場合、情報全体の一部情報を表していると判断する。
【００８９】
また、情報の全体とは、一つの画像の全体であってもよく、この場合、その一部情報とは、画像全体の一部分の画像となる。例えば、プロセッサ１４０は、ディスプレイ１５０が、全国地図のうち特定地域を表示している場合、または、写真画像の全体のうち特定部分を表示している場合、情報の全体の一部分を表示していると判断する。
【００９０】
また、情報の全体とは、移動通信端末機に設定された複数の機能に対する情報であってもよく、この場合、その一部情報とは、それら複数の機能のうち特定機能に対する情報である。例えば、プロセッサ１４０は、ディスプレイ１５０が、移動通信端末機に設定された複数の機能のそれぞれに対する情報のうち、‘メッセージ’機能に対する情報を表示している場合、情報の全体の一部分を表示していると判断する。ここで、メッセージ機能に対する情報とは、受信メッセージリスト、発信メッセージリスト、特定メッセージ内容などである。
【００９１】
プロセッサ１４０が、段階Ｓ７５０の判断の結果、一部情報を表示していると判断した場合、推定した動き方向に対応する他の一部情報をディスプレイ１５０に表示させる（Ｓ７６０）。例えば、プロセッサ１４０は、推定した動き方向が‘上方向’である場合、現在表示しているページの前ページをディスプレイ１５０に表示させる。また、プロセッサ１４０は、推定した動き方向が‘右方向’である場合、現在表示しているページから移動し、複数のページの最後のページをディスプレイ１５０に表示させることができる。推定した動き方向に対応するページの移動方向は、移動通信端末機にあらかじめ設定されているか、あるいは、使用者によって設定されている。プロセッサ１４０は、推定した動き方向に対応するページ移動方向によって、現在表示しているページから移動先の他のページを表示するようにディスプレイ１５０を制御する。
【００９２】
また、例えば、プロセッサ１４０は、推定した動き方向が‘上方向’である場合、全国地図のうち、現在表示している特定地域から‘上方向’へ移動した地域をディスプレイ１５０に表示させる。また、プロセッサ１４０は、推定した動き方向と、動いた距離とによって、全国地図のうち現在表示している特定地域から動いた距離だけ移動させた地域をディスプレイ１５０に表示させる。さらに、プロセッサ１４０は、推定した動き方向と動いた距離とによって、画像全体のうち現在表示されている一部画像から、推定した動き方向及び動いた距離に基づいて他の一部画像を表示するようにディスプレイ１５０を制御する。
【００９３】
さらに、例えば、プロセッサ１４０は、推定した動き方向が‘上方向’である場合、現在表示している機能に対する情報の表示を中断して、‘上方向’に該当する機能に対する情報をディスプレイ１５０に表示させることができる。プロセッサ１４０は、推定した動き方向に対する機能の移動方向をあらかじめ設定しているので、動き方向を推定すると、この動き方向に従う移動した機能に対する情報を表示するようにディスプレイ１５０を制御する。
【００９４】
以上、本発明を説明したが、本発明の属する技術分野における通常の知識を有する者によれば、本発明の技術的思想を逸脱しない範囲内で種々の置換、変形及び変更が可能であり、本発明は、前述の実施形態や実施例、及び添付の図面によって限定されるものでない。
【図面の簡単な説明】
【００９５】
【図１】本発明に従って動き方向を推定する移動通信端末機のブロック構成図である。
【図２】本発明に従う移動通信端末機の動き方向推定方法のフローチャートである。
【図３Ａ】移動通信端末機の動きを推定する第１例を示すフローチャートである。
【図３Ｂ】移動通信端末機の動きを推定する第２例を示すフローチャートである。
【図３Ｃ】移動通信端末機の動きを推定する第３例を示すフローチャートである。
【図４】本発明に従って動き方向を推定し、情報を抽出する移動通信端末機のブロック構成図である。
【図５】本発明に従って移動通信端末機の動き方向を推定し、情報を抽出する、動き方向推定方法のフローチャートである。
【図６Ａ】抽出した文字データを用いる第１例を示すフローチャートである。
【図６Ｂ】抽出した文字データを用いる第２例を示すフローチャートである。
【図７】本発明に従って移動通信端末機の動き方向を推定し、一部情報を表する、動き推定方法のフローチャートである。
【符号の説明】
【００９６】
１１０  入力部
１２０  カメラ
１３０  メモリ
１４０  プロセッサ
１４２  画像分割部
１５０  ディスプレイ
【図１】
0004611257.tif 000002
【図２】
0004611257.tif 000003
【図３Ａ】
0004611257.tif 000004
【図３Ｂ】
0004611257.tif 000005
【図３Ｃ】
0004611257.tif 000006
【図４】
0004611257.tif 000007
【図５】
0004611257.tif 000008
【図６Ａ】
0004611257.tif 000009
【図６Ｂ】
0004611257.tif 000010
【図７】
0004611257.tif 000011