(57)【要約】【課題】  携帯端末を移動時に使用する際にディスプレイ上に生じる見掛け上の画像の振れを効果的に抑制することのできる画像表示位置補正方法および画像表示位置補正機能付携帯端末を提供する。【解決手段】  携帯電話１上に一体的に配備されたカメラ６で所定周期毎にユーザの顔を撮像して、カメラ座標系を基準とするユーザの顔の位置を求め、ユーザの顔の位置の移動方向と移動量に応じてディスプレイ５上の画像の表示位置を補正する。【選択図】図１
2007274333.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイを有する携帯端末上に一体的に配備されたカメラで所定の撮像周期毎にユーザの顔を撮像してカメラ座標系を基準とするユーザの顔の位置を求め、
ユーザの顔の位置の移動方向と移動量に応じ、前記移動方向と同方向に前記移動量に比例した値で前記ディスプレイ上の画像の表示位置を補正することを特徴とした画像表示位置補正方法。
【請求項２】
ユーザの顔が撮像された時間とユーザの顔の位置との対応関係をデータベースに記憶させ、
前記データベースに記憶された時間とユーザの顔の位置との対応関係から次の補正周期におけるユーザの顔の位置を予測して前記ディスプレイ上の画像の表示位置を補正することを特徴とした請求項１記載の画像表示位置補正方法。
【請求項３】
同一周期で求められたユーザの顔の位置と当該周期に対応して予測されたユーザの顔の位置との間の位置偏差が予め決められた許容値を超えた時点で、前記データベースを再構築することを特徴とした請求項２記載の画像表示位置補正方法。
【請求項４】
ディスプレイを目視するユーザの顔が撮像できる位置に一体的に設けられたカメラと、前記カメラを所定の撮像周期毎に作動させて画像を取り込む補正用画像取込手段と、補正用画像取込手段で取り込まれた画像からカメラ座標系を基準とするユーザの顔の位置を求める顔位置取得手段と、少なくとも当該撮像周期で求められたユーザの顔の位置と１周期前の撮像周期で求められたユーザの顔の位置を記憶するデータベースと、前記データベースに基づいてユーザの顔の位置の移動方向と移動量を求め、前記移動方向と同方向に前記移動量に比例した値で前記ディスプレイ上の画像の表示位置を補正する表示位置補正手段とを備えたことを特徴とする画像表示位置補正機能付携帯端末。
【請求項５】
前記データベースは、少なくともユーザの顔の移動が一巡するまでの期間に亘ってユーザの顔が撮像された時間とユーザの顔の位置との対応関係を記憶し、
前記表示位置補正手段は、前記データベースに記憶された時間とユーザの顔の位置との対応関係から次の補正周期におけるユーザの顔の位置を予測して前記ディスプレイ上の画像の表示位置を補正することを特徴とした請求項４記載の画像表示位置補正機能付携帯端末。
【請求項６】
同一周期で求められたユーザの顔の位置と当該周期に対応して予測されたユーザの顔の位置との間の位置偏差を求め、該位置偏差が予め決められた許容値を超えた時点で、前記データベースを再構築するデータベース再構築手段を備えたことを特徴とする請求項５記載の画像表示位置補正機能付携帯端末。
【請求項７】
前記カメラは、そのレンズの光軸を前記ディスプレイの表示面に略直交させた状態で前記ディスプレイの直近に配備されていることを特徴とする請求項４，請求項５または請求項６記載の画像表示位置補正機能付携帯端末。
【請求項８】
カメラ付携帯電話から成り、非撮影モードにおいてのみ前記補正用画像取込手段，顔位置取得手段，表示位置補正手段を作動させることを特徴とした請求項４，請求項５，請求項６または請求項７記載の画像表示位置補正機能付携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話やＧＰＳ等を始めとする携帯端末を移動時に使用する際にディスプレイ上に生じる見掛け上の画像の振れを抑制するための画像表示位置補正方法および画像表示位置補正機能付携帯端末に関する。
【背景技術】
【０００２】
移動や振動に伴って生じる振れを抑制するための技術としてはカメラ用の手振れ補正機構が公知である。
【０００３】
一般的な手振れ補正機構は、光軸と直交する２軸の方向に加速度センサを設けてレンズのピッチングやヨーイングを検知し、光学系に設置された補正用レンズをヴォイスコイルモータ等でチルト方向もしくはシフト方向に移動させることで、フィルム面上あるいはＣＣＤ上における実質的な結像位置の変動を抑制する構造を有する。
【０００４】
また、これとは別に、携帯端末の振動等でディスプレイ上に生じる水平垂直方向の見掛け上の画像の振れを抑制すべく特化した技術が特許文献１として開示されている。
【０００５】
特許文献１として開示された振れの補正原理は、補正の対象は別として、本質的に前述したカメラ用の手振れ補正機構と同様である。つまり、加速度センサからの出力で補正用レンズを移動させる代わりに、加速度センサからの出力でディスプレイ上の画像の表示位置を補正するようにしたものに過ぎない。
【０００６】
従って、特許文献１として開示された携帯端末によれば、画像の表示位置を携帯端末自体の振動に抗して絶対的な座標系内で一定の位置に保持することが可能となるが、この携帯端末を人が持って移動するような状況下においては、人の目と画像の表示位置との相対的な位置関係が一定の状態に保持されなくなってディスプレイ上の画像が見難くなるといった問題が生じる。
【０００７】
つまり、目と携帯端末の夫々が、自由度が高く姿勢制御も完全とは言い難い相異なる多数の間接や多数の骨を介して独立的に人の胴体に保持されている関係上、歩行等の移動に伴って携帯端末に発生する振動と目に発生する振動との間に差異が生じ、人の目と画像の表示位置との間に相対的な位置ずれが発生して携帯端末のディスプレイ上に見掛け上の画像の振れが生じるのであって、この問題は、カメラ用の手振れ補正機構や此れを転用した携帯端末では解消され得ない。
【０００８】
【特許文献１】特開２００４−１２８７１２号公報（段落００２４）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
そこで、本発明の課題は、前記従来技術不都合を改善し、携帯端末を移動時に使用する際にディスプレイ上に生じる見掛け上の画像の振れを効果的に抑制することのできる画像表示位置補正方法および画像表示位置補正機能付携帯端末を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の画像表示位置補正方法は、ディスプレイを有する携帯端末上に一体的に配備されたカメラで所定の撮像周期毎にユーザの顔を撮像してカメラ座標系を基準とするユーザの顔の位置を求め、ユーザの顔の位置の移動方向と移動量に応じ、この移動方向と同方向に前記移動量に比例した値でディスプレイ上の画像の表示位置を補正することにより前記課題を達成した。
【００１１】
ユーザの顔を撮像するカメラが携帯端末上に一体的に配備されているので、携帯端末自体の振動状態やユーザの顔の振動状態が如何様なものであれ、カメラで撮像されるユーザの顔の画像は、カメラとユーザの顔との間の生じる相対的な振動、言い換えれば、携帯端末の振動とユーザの頭部の振動を重畳した合成振動にのみ依存して変化する。
従って、カメラ座標系を基準とするユーザの顔の位置を所定の撮像周期毎に求め、ユーザの顔の位置の移動方向と移動量に応じ、前記移動方向と同方向に前記移動量に比例した値でディスプレイ上の画像の表示位置を補正するといった極めて簡単な処理で、携帯端末のディスプレイとユーザの目の間に生じる水平垂直方向の位置ずれ、すなわち、携帯端末を移動時に使用する際に携帯端末と目が絶対座標系上で異なる動きをするために生じるディスプレイ上の見掛け上の画像の振れを効果的に抑制することができる。
但し、実際には、カメラ座標系を基準とするユーザの顔の位置のずれを水平方向と垂直方向の成分に分割し、各方向毎の偏差に基づいて各方向毎個別に表示位置の補正量を求めるようにしているので、ベクトルとしての顔の位置の移動方向や水平垂直方向の移動量を合成した絶対的な移動量を演算によって敢えて求める必要はない。
また、撮像した画像から目，鼻，口等の特徴点を抽出して顔の位置や姿勢を特定する画像処理の技術に関しては、セキュリティーや認証関連のコンピュータ技術として既に公知である。
【００１２】
更に、ユーザの顔が撮像された時間とユーザの顔の位置との対応関係をデータベースに記憶させ、
データベースに記憶された時間とユーザの顔の位置との対応関係から次の補正周期におけるユーザの顔の位置を予測してディスプレイ上の画像の表示位置を補正するようにしてもよい。
【００１３】
ユーザの顔を撮像した画像からユーザの顔の位置を求めるためには、この画像から目，鼻，口等の特徴点を抽出して顔の位置や姿勢を特定する必要があるが、少なくとも、現状の画像処理技術では、光線の変化やユーザの顔の姿勢の変化等のために特徴点の抽出に失敗する場合があり、単純なリアルタイムのフィードバック制御で表示位置を補正しようとすると、特徴点の抽出に失敗した際に表示位置の補正が中断し、補正が不連続となる弊害が生じる恐れがある。
そこで、このような不都合を解消するため、データベースに記憶された時間とユーザの顔の位置との対応関係から次の補正周期におけるユーザの顔の位置を予測してディスプレイ上の画像の表示位置を補正し、特徴点の抽出に失敗した場合であっても、円滑に表示位置の補正を継続できるようにした。
前述した通り、実際には、ユーザの顔の位置のずれを水平方向と垂直方向の成分に分割し、各方向毎の偏差に基づいて各方向毎個別に表示位置の補正量を求めるようにしているので、データベースに記憶された時間とユーザの顔の位置との対応関係は、具体的には、時間と水平方向における顔の位置との関係、および、時間と垂直方向における顔の位置との関係によって表される。時間と変量の関係を表す直交座標上にプロットされた多数の点に対し最小二乗法等を適用して時間軸と変量の関係を表す近似関数を求める技術に関しては既に公知であり、ユーザの顔の位置の予測に際しては、この種の公知技術を各軸毎に適用するものとする。
【００１４】
データベースを利用して表示位置の補正を行う場合には、同一周期で求められたユーザの顔の位置と当該周期に対応して予測されたユーザの顔の位置との間の位置偏差が予め決められた許容値を超えた時点で、データベースを再構築することが望ましい。
【００１５】
携帯端末を持って移動するユーザの移動状態が変化した場合、例えば、歩行時における歩幅や歩調が変化したような場合、携帯端末に発生する振動と目に発生する振動が独立して様々に変化し、その時点で生成されていたデータベースに基づいてなされたユーザの顔の位置の予測と実際の顔の位置との間に差異が生じ、表示位置の補正が適切に行われなくなる可能性がある。
そこで、同一周期で求められたユーザの顔の位置と当該周期に対応して予測されたユーザの顔の位置との間の位置偏差が予め決められた許容値を超えた時点、つまり、その時点で生成されていたデータベースに基づく予測が正に不適化しようとする時点でデータベースを再構築し、常に適切な表示位置の補正が行われるようにした。
【００１６】
本発明の画像表示位置補正機能付携帯端末は、ディスプレイを目視するユーザの顔が撮像できる位置に設けられたカメラと、前記カメラを所定の撮像周期毎に作動させて画像を取り込む補正用画像取込手段と、補正用画像取込手段で取り込まれた画像からカメラ座標系を基準とするユーザの顔の位置を求める顔位置取得手段と、少なくとも当該撮像周期で求められたユーザの顔の位置と１周期前の撮像周期で求められたユーザの顔の位置を記憶するデータベースと、前記データベースに基づいてユーザの顔の位置の移動方向と移動量を求め、前記移動方向と同方向に前記移動量に比例した値で前記ディスプレイ上の画像の表示位置を補正する表示位置補正手段とを備えたことを特徴とする構成を有する。
【００１７】
以上の構成により、補正用画像取込手段が所定の撮像周期毎にカメラを作動させて画像を取り込み、この画像から、顔位置取得手段が、カメラ座標系を基準とするユーザの顔の位置を求め、ユーザの顔の位置を記憶するデータベースに記憶させる。データベースは、少なくとも当該撮像周期で求められたユーザの顔の位置と１周期前の撮像周期で求められたユーザの顔の位置を記憶する構造を有し、表示位置補正手段が、このデータベースに基づいて１撮像周期間のユーザの顔の位置の移動方向と移動量を求め、ユーザの顔の位置の移動方向と同方向に当該移動量に比例した値でディスプレイ上の画像の表示位置を補正する。
前述した通り、ユーザの顔を撮像するカメラが携帯端末上に一体的に配備されているので、携帯端末自体の振動状態やユーザの顔の振動状態が如何様なものであれ、カメラで撮像されるユーザの顔の画像は、カメラとユーザの顔との間の生じる相対的な振動、つまり、携帯端末の振動とユーザの頭部の振動を重畳した合成振動にのみ依存して変化するので、カメラ座標系を基準とするユーザの顔の位置を所定の撮像周期毎に求め、ユーザの顔の位置の移動方向と移動量に応じ、この移動方向と同方向に移動量に比例した値でディスプレイ上の画像の表示位置を補正するといった簡単な処理で、携帯端末のディスプレイとユーザの目の間に生じる水平垂直方向の位置ずれを効果的に抑制することができる。
【００１８】
更に、ユーザの顔の移動が一巡するまでの期間に亘ってユーザの顔が撮像された時間とユーザの顔の位置との対応関係を記憶するデータベースを利用し、
表示位置補正手段により、前記データベースに記憶された時間とユーザの顔の位置との対応関係から次の補正周期におけるユーザの顔の位置を予測してディスプレイ上の画像の表示位置を補正するようにしてもよい。
【００１９】
ユーザの移動を歩行に限定した場合、ユーザの顔の移動が一巡するまでの期間は、左右両足を使用した歩行の１シーケンス、例えば、右足の蹴り出しから次のサイクルにおける右足の蹴り出しまでに必要とされる所要時間と見做して差し支えない。
データベースに記憶された時間とユーザの顔の位置との対応関係から次の補正周期におけるユーザの顔の位置を予測してディスプレイ上の画像の表示位置を補正することにより、ユーザの顔の位置を求めるために必要とされる特徴点の抽出に失敗した場合であっても、円滑に表示位置の補正を継続することができる。
【００２０】
このように、データベースを利用して表示位置の補正を行う場合には、同一周期で求められたユーザの顔の位置と当該周期に対応して予測されたユーザの顔の位置との間の位置偏差を求め、この位置偏差が予め決められた許容値を超えた時点で、データベースを再構築するデータベース再構築手段を併設することが望ましい。
【００２１】
データベースに基づく予測が不適化する前に予測に用いるデータベースを再構築することにより常に適切な表示位置の補正を行うことができる。
【００２２】
また、構造上の問題として、撮像用のカメラは、そのレンズの光軸をディスプレイの表示面に略直交させた状態でディスプレイの直近に配備されていることが望ましい。
【００２３】
レンズの光軸をディスプレイの表示面に略直交させることによりカメラの受光面とディスプレイを略平行の状態とすることができるので、ディスプレイの水平垂直方向に対する顔の相対移動を画像上に同一方向で的確に反映させることが可能となり、この画像に基づいて正確な表示位置の補正が可能となる。レンズとディスプレイの離間距離自体は補正の精度上では特に問題とならないが、カメラの受光面とディスプレイを略平行の状態とすること、つまり、レンズの光軸を傾けないことが前提となるので、ユーザの顔を確実に画角内に収める必要上、レンズはディスプレイの直近に配備されていることが望ましい。
【００２４】
カメラ付携帯電話から成る画像表示位置補正機能付携帯端末においては、当然、非撮影モードにおいてのみ補正用画像取込手段，顔位置取得手段，表示位置補正手段を作動させるようにする。
また、近年のカメラ付携帯電話においては、ワイドからテレをカバーするズームレンズを搭載したものもあり、このようなものに関しては、表示位置の補正の精度の観点から、補正用画像取込手段，顔位置取得手段，表示位置補正手段を作動させる必要の生じた環境下で、レンズの設定を自動的にテレ側に切り替えられる構成とすることが望ましい。カメラで捕えられる画像が実質的に拡大されるので、ユーザの顔の位置の検出精度が向上し、画像の表示位置の補正に関わる精度が向上する。
【発明の効果】
【００２５】
本発明の画像表示位置補正方法および画像表示位置補正機能付携帯端末は、携帯端末上に一体的に配備されたカメラで所定周期毎にユーザの顔を撮像してカメラ座標系を基準とするユーザの顔の位置を求め、ユーザの顔の位置の移動方向と移動量に応じてディスプレイ上の画像の表示位置を補正するようにしたので、加速度センサを利用した従来の補正装置では達成し得ない携帯端末の振動とユーザの頭部の振動から成る複雑な振動に対処してディスプレイ上の画像の振れを効果的に抑制することができる。
【００２６】
特に、カメラ付携帯電話から成る携帯端末においては、格別な部品を追加することなくディスプレイ上の画像の振れを効果的に抑制することができ、製造コストの低減化の面で有利である。
【発明を実施するための最良の形態】
【００２７】
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。
【００２８】
図１は本発明の画像表示位置補正方法を携帯端末の一種であるカメラ付携帯電話に適用した一実施形態の構成について簡略化して示した機能ブロック図である。
【００２９】
カメラ付携帯電話１は、図１に示される通り、通話用のマイク２およびスピーカ３と送受信部４ならびにディスプレイ５を有し、対象物を撮影するためのデジタルカメラ６を備える。
【００３０】
デジタルカメラ６のレンズ１６は、図２に示されるように、光軸をディスプレイ５の表示面に直交させた状態で、ディスプレイ５を目視するユーザ１７の顔が撮像できるように、ディスプレイ５の直近の上方位置でカメラ付携帯電話１の筐体に一体的に固設されている。レンズ１６は光学式の自動焦点ズームレンズである。
【００３１】
ディスプレイ５は液晶モニタ等によって構成され、電話番号の選択表示や着信履歴等の表示、更には、作成過程にあるメールや受信メールの表示等に利用され、また、デジタルカメラ６を利用した通常の撮影モードにおいては、デジタルカメラ６が捕えている画像の確認等に利用される。
【００３２】
カメラ制御部７はＣＰＵを備えた中央制御部８からの指令を受けてデジタルカメラ６を駆動し、デジタルカメラ６で撮像された画像は、画像処理部９で色補正等の処理を施されてから中央制御部８に読み込まれ、データメモリ部１０に格納される。データメモリ部１０には、撮影モードで撮影された画像データの他にもメールのテキストデータや登録済電話番号および電子メールアドレス等が記憶され、特に、本実施形態においては、このデータメモリ部１０が、非撮影モードの処理で利用されるデータベースを格納するための記憶手段として機能する。
【００３３】
従来と同様、カメラ付携帯電話１を携帯通信端末として使用する際には、マイク２から入力された音声が音声処理部１２でＡ／Ｄ変換されて中央制御部８に転送され、更に、中央制御部８で通信形式データに変換された後、送受信部４で変調されて内蔵式もしくは伸縮式のアンテナ１３を介して外部に送信される。
【００３４】
また、アンテナ１３で受信された通信電波は送受信部４で復調されて中央制御部８に転送され、音声データに変換されてから、音声処理部１２でＤ／Ａ変換等の処理操作を受けてスピーカ３から音声として出力される。
【００３５】
キー操作部１１は、電話番号の入力操作等の場合にはテンキーとして使用され、また、電子メールの作成等に際してはテキストデータ入力用のカナキー等として利用される。
【００３６】
ＲＯＭ１５には、通話や電子メールの送受信さらには画像の撮影ならびに画像の再生等に必要とされる処理を実行するための制御プログラムに加え、本実施形態においては、特に、中央制御部８のＣＰＵを補正用画像取込手段，顔位置取得手段，表示位置補正手段，データベース再構築手段として機能させるために必要とされる位置ずれ補正処理のプログラムが格納されている。
【００３７】
時計部１４は中央制御部８のクロック信号を分周する時計回路や水晶発振子等で構成され、現在時刻に連動して作動する。
【００３８】
以上に述べた通り、カメラ付携帯電話１のハードウェア上の構成に関しては従来のものと同様である。
【００３９】
この実施形態においては、更に、中央制御部８のＣＰＵが、非撮影モードにおける補正用画像取込手段，顔位置取得手段，表示位置補正手段，データベース再構築手段として機能するようになっている。
【００４０】
図３はメールの作成や確認あるいは撮像された画像の確認等のようにディスプレイ５に文字データや画像データを表示する必要が生じた場合を始め、非撮影モードにおいてユーザ１７がキー操作部１１を操作して位置ずれ補正機能を起動した場合に限って中央制御部８のＣＰＵが実行する位置ずれ補正処理の概略について示したフローチャートである。この位置ずれ補正処理は、通常の撮影モード、つまり、デジタルカメラ６を通常のカメラ撮影に利用する必要がある場合には起動されないようになっている。
【００４１】
次に、図３を参照して補正用画像取込手段，顔位置取得手段，表示位置補正手段，データベース再構築手段として機能する中央制御部８のＣＰＵの処理動作について具体的に説明する。
【００４２】
ユーザ１７がキー操作部１１を操作して位置ずれ補正機能を起動すると、ＣＰＵは、まず、デジタルカメラ６のレンズ１６をテレ側に切り替え、状態記憶フラグＦに、位置ずれ補正処理開始直後の状態を示す値０をセットする（ステップａ１）。
【００４３】
次いで、補正用画像取込手段として機能するＣＰＵが、カメラ制御部７に画像取込指令を出力し、デジタルカメラ６を作動させて１ショットの画像を取り込ませる（ステップａ２）。
【００４４】
そして、顔位置取得手段として機能するＣＰＵが画像処理部９を介してデジタルカメラ６から１ショットの画像データを受け取り、この画像からユーザ１７の目，鼻，口等の特徴点を抽出し、カメラ座標系を基準とするユーザ１７の顔の位置（Ｘ，Ｙ）を求め（ステップａ３）、その結果を一時記憶する（ステップａ４）。
但し、目，鼻，口等の特徴点の抽出が必ずしも成功するとは限らない。特徴点の抽出に失敗してユーザ１７の顔の位置（Ｘ，Ｙ）が特定されなかった場合には、位置（Ｘ，Ｙ）に代えて抽出失敗の履歴が結果として一時記憶される。
【００４５】
次いで、ＣＰＵは、状態記憶フラグＦの値が０であるか否か、つまり、この撮像周期の処理が位置ずれ補正処理開始直後のものであるか否かを判定する（ステップａ５）。
【００４６】
現時点では状態記憶フラグＦの値は０であり、当該撮像周期の処理が位置ずれ補正処理開始直後のものであることを意味するので、ＣＰＵは、直前に実行されたステップａ３の処理つまり当該撮像周期におけるステップａ３の処理が成功しているか否か、要するに、ユーザ１７の顔の位置（Ｘ，Ｙ）が特定されているか否かを判定する（ステップａ６）。
【００４７】
そして、ユーザ１７の顔の位置（Ｘ，Ｙ）が特定されていなければ、顔位置取得手段として機能するＣＰＵが前記と同様にしてステップａ２〜ステップａ６の処理をリトライ処理として繰り返し実行する。
【００４８】
そして、顔の位置（Ｘ，Ｙ）が特定されると、ＣＰＵは、指標ｉに初期値０をセットし（ステップａ７）、時計部１４に連動する経過時間測定タイマＴをリスタートさせて顔の初期位置（Ｘ，Ｙ）が確認されてからの経過時間の計測を開始し（ステップａ８）、状態記憶フラグＦに、データベースを構築するためのサンプリング処理が開始されたことを示す値１をセットする（ステップａ９）。
【００４９】
次いで、顔位置取得手段として機能するＣＰＵが、指標ｉの現在値に基づいてデータメモリ部１０のデータベースにおけるアドレスｉの位置に経過時間測定タイマＴの計測値である時間Ｔとユーザ１７の顔の位置との対応関係（Ｔ，Ｘ，Ｙ）を記憶させる（ステップａ１０）。
【００５０】
そして、補正用画像取込手段および顔位置取得手段として機能するＣＰＵが、前記と同様にしてステップａ２〜ステップａ４の処理を繰り返し実行し、デジタルカメラ６で撮像された画像からユーザ１７の目，鼻，口等の特徴点を抽出し、カメラ座標系を基準とするユーザ１７の顔の位置（Ｘ，Ｙ）を求め、顔の位置（Ｘ，Ｙ）もしくは抽出失敗の履歴を一時記憶する。
【００５１】
次いで、ＣＰＵは、状態記憶フラグＦの値が０であるか否かを判定するが（ステップａ５）、この時点では既に状態記憶フラグＦに１がセットされ、データベースを構築するためのサンプリング処理が開始されているので、ステップａ５の判定結果が偽、そして、これに続くステップａ１１の判定結果が真となる。
【００５２】
従って、ＣＰＵは、直前に実行されたステップａ３の処理つまり当該撮像周期におけるステップａ３の処理が成功しているか否か、要するに、ユーザ１７の顔の位置（Ｘ，Ｙ）が特定されているか否かを判定し（ステップａ１２）、特定されていなければ、前記と同様にしてステップａ２〜ステップａ５，ステップａ１１〜ステップａ１２の処理をリトライ処理として繰り返し実行し、ユーザ１７の顔の位置（Ｘ，Ｙ）を特定してから、指標ｉの値を１インクリメントし（ステップａ１３）、経過時間測定タイマＴの計測時間Ｔが設定値Ｔｓに達しているか否かを判定する（ステップａ１４）。
設定値Ｔｓはユーザ１７の顔の移動が一巡するまでの期間に相当する時間であり、ユーザ１７の移動を歩行に限定した場合では、左右両足を使用した歩行の１シーケンス、例えば、右足の蹴り出しから次のサイクルにおける右足の蹴り出しまでに必要とされる所要時間を僅かに上回る値である。
【００５３】
ここで、ステップａ１４の判定結果が偽となった場合、つまり、ユーザ１７の顔の移動を予測するのに十分なデータがデータメモリ部１０のデータベースに蓄積されていないと判定された場合には、顔位置取得手段として機能するＣＰＵが、指標ｉの現在値に基づいて、データメモリ部１０のデータベースにおけるアドレスｉの位置に経過時間測定タイマＴの計測値である時間Ｔとユーザ１７の顔の位置との対応関係（Ｔ，Ｘ，Ｙ）を記憶させ、データベースの構築を継続して実行する（ステップａ１０）。
【００５４】
以下、経過時間測定タイマＴの計測時間Ｔが設定値Ｔｓに達するまでの間、前記と同様にして、ステップａ２〜ステップａ５，ステップａ１１〜ステップａ１４，ステップａ１０の処理が繰り返し実行され、データメモリ部１０のデータベースにおけるアドレスｉの位置に経過時間測定タイマＴの計測値である時間Ｔとユーザ１７の顔の位置との対応関係（Ｔ，Ｘ，Ｙ）を記憶させていく。
【００５５】
データメモリ部１０のデータベースに記憶された経過時間Ｔとユーザ１７の顔の位置（Ｘ，Ｙ）との対応関係の一例を図４に示す。
【００５６】
そして、最終的にステップａ１４の判定結果が真となり、ユーザ１７の顔の移動が一巡するまでの期間に相当する時間に亘って時間Ｔとユーザ１７の顔の位置（Ｘ，Ｙ）との対応関係（Ｔ，Ｘ，Ｙ）がデータメモリ部１０のデータベースに格納されたことが確認されると、表示位置補正手段として機能するＣＰＵは、データベースに記憶された時間Ｔとユーザ１７の顔の位置との対応関係（Ｔ，Ｘ，Ｙ）の関係に基づいて、時間Ｔとユーザ１７の顔の位置Ｘとの対応関係を表す関数ｆｘ（ｔ）、および、時間Ｔとユーザ１７の顔の位置Ｙとの対応関係を表す関数ｆｙ（ｔ）を求め（ステップａ１５）、状態記憶フラグＦに、ユーザ１７の顔の移動位置の予測が可能となったことを示す値２をセットする（ステップａ１６）。
【００５７】
関数ｆｘ（ｔ）と関数ｆｙ（ｔ）の一例を図５に示す。
【００５８】
次いで、表示位置補正手段として機能するＣＰＵが、経過時間測定タイマＴの現在の計測値Ｔを関数ｆｘ（ｔ）と関数ｆｙ（ｔ）に代入して現時点におけるユーザ１７の顔の位置の予測値ｆｘ（Ｔ）とｆｙ（Ｔ）を求めると共に（ステップａ１７）、次の補正周期に相当する時間Ｔ＋Δｔを関数ｆｘ（ｔ）と関数ｆｙ（ｔ）に代入して次の補正周期におけるユーザ１７の顔の位置の予測値ｆｘ（Ｔ＋Δｔ）とｆｙ（Ｔ＋Δｔ）を求める（ステップａ１８）。
【００５９】
そして、次の補正周期におけるユーザ１７の顔の位置の予測値ｆｘ（Ｔ＋Δｔ）とｆｙ（Ｔ＋Δｔ）を予測位置Ｘ’と予測位置Ｙ’として一時記憶すると共に（ステップａ１９）、これらの値から、次の補正周期までのユーザ１７の顔の位置の移動量の予測値ΔＸとΔＹを算出する（ステップａ２０）。
【００６０】
次いで、補正用画像取込手段および顔位置取得手段として機能するＣＰＵが、前記と同様にしてステップａ２〜ステップａ４の処理を繰り返し実行し、デジタルカメラ６で撮像された画像からユーザ１７の目，鼻，口等の特徴点を抽出し、カメラ座標系を基準とするユーザ１７の顔の位置（Ｘ，Ｙ）を求め、顔の位置（Ｘ，Ｙ）もしくは抽出失敗の履歴を一時記憶する。
【００６１】
次いで、ＣＰＵは、状態記憶フラグＦの値が０であるか否かを判定するが（ステップａ５）、この時点では既に状態記憶フラグＦに２がセットされ、ユーザ１７の顔の移動位置の予測が可能となっているので、ステップａ５の判定結果が偽、そして、これに続くステップａ１１の判定結果も偽となる。
【００６２】
従って、表示位置補正手段として機能するＣＰＵは、この時点で求められている移動量の予測値ΔＸとΔＹの値に基づいて、ディスプレイ５上で画像の表示位置をΔＸとΔＹと同じ方向に同じ量だけ移動させる補正を実行する（ステップａ２１）。
【００６３】
この結果、例えば、ユーザ１７の顔の位置が図６に示されるように１補正周期Δｔの間にカメラ付携帯電話１に対して相対的にΔＸだけ右方向にずれたとすれば、ディスプレイ５上における画像１８の表示位置も図７に示されるようにΔＸだけ右方向にずれされることになる。このようにしてユーザ１７の顔と画像１８の表示位置との間の相対移動が相殺されるため、見掛け上の画像１８の振れが解消される。
【００６４】
次いで、ＣＰＵは、直前に実行されたステップａ３の処理つまり当該撮像周期におけるステップａ３の処理が成功しているか否か、要するに、ユーザ１７の顔の位置（Ｘ，Ｙ）が特定されているか否かを判定し（ステップａ２２）、ユーザ１７の顔の位置（Ｘ，Ｙ）が特定されていれば、データベース再構築手段として機能するＣＰＵが、カメラ座標系上におけるユーザ１７の顔の実際の位置（Ｘ，Ｙ）と前述の予測位置（Ｘ’，Ｙ’）の間の位置偏差｜Ｘ−Ｘ’｜および｜Ｙ−Ｙ’｜を求め、これらの位置偏差が予め決められた許容値εの範囲内にあるか否かを判定する（ステップａ２３）。
【００６５】
位置偏差が許容値εの範囲内にあれば、現時点で作成されているデータベースに基づいて算出された関数ｆｘ（ｔ）と関数ｆｙ（ｔ）に従って次の補正周期におけるユーザ１７の顔の位置の移動量の予測値ΔＸとΔＹを算出することが可能であることを意味するので、表示位置補正手段として機能するＣＰＵが、前記と同様にして、経過時間測定タイマＴの現在の計測値Ｔを関数ｆｘ（ｔ）と関数ｆｙ（ｔ）に代入して現時点におけるユーザ１７の顔の位置の予測値ｆｘ（Ｔ）とｆｙ（Ｔ）を求めると共に（ステップａ１７）、次の補正周期に相当する時間Ｔ＋Δｔを関数ｆｘ（ｔ）と関数ｆｙ（ｔ）に代入して次の補正周期におけるユーザ１７の顔の位置の予測値ｆｘ（Ｔ＋Δｔ）とｆｙ（Ｔ＋Δｔ）を求め（ステップａ１８）、次の補正周期におけるユーザ１７の顔の位置の予測値ｆｘ（Ｔ＋Δｔ）とｆｙ（Ｔ＋Δｔ）を予測位置Ｘ’と予測位置Ｙ’として一時記憶すると共に（ステップａ１９）、これらの値から、次の補正周期までのユーザ１７の顔の位置の移動量の予測値ΔＸとΔＹを算出する（ステップａ２０）。
【００６６】
一方、位置偏差｜Ｘ−Ｘ’｜や｜Ｙ−Ｙ’｜が許容値εの範囲を超えてステップａ２３の判定結果が偽となった場合には、現時点で作成されているデータベースに基づいて算出された関数ｆｘ（ｔ）と関数ｆｙ（ｔ）に従って次の補正周期におけるユーザ１７の顔の位置の移動量の予測値ΔＸとΔＹを算出してしまうと誤差が増大し、表示位置の補正が不適当となる可能性が高いことを意味するので、データベース再構築手段として機能するＣＰＵが状態記憶フラグＦの値を改めて０に初期化し（ステップａ２４）、次周期以降の処理周期で補正用画像取込手段および顔位置取得手段を繰り返し作動させ、データベースの再構築に必要とされるサンプリング処理を再実行させてデータベースを再構築した後、改めて現状に即した関数ｆｘ（ｔ）と関数ｆｙ（ｔ）を求めさせる（ステップａ２〜ステップａ１６）。
【００６７】
また、ステップａ２２の判定結果が偽となり、直前に実行されたステップａ３の処理つまり当該撮像周期におけるステップａ３の処理でユーザ１７の顔の位置（Ｘ，Ｙ）の特定に失敗したことが明らかとなった場合には、カメラ座標系上におけるユーザ１７の顔の実際の位置（Ｘ，Ｙ）と予測位置（Ｘ’，Ｙ’）の間の位置偏差｜Ｘ−Ｘ’｜や｜Ｙ−Ｙ’｜を求めることは不可能である。
【００６８】
従って、この場合は、現時点で作成されているデータベースに基づいて算出された関数ｆｘ（ｔ）と関数ｆｙ（ｔ）に従って次の補正周期におけるユーザ１７の顔の位置の移動量の予測値ΔＸとΔＹを算出することが可能であるという前提のもとで、表示位置補正手段として機能するＣＰＵが、前記と同様にして、経過時間測定タイマＴの現在の計測値Ｔを関数ｆｘ（ｔ）と関数ｆｙ（ｔ）に代入して現時点におけるユーザ１７の顔の位置の予測値ｆｘ（Ｔ）とｆｙ（Ｔ）を求めると共に（ステップａ１７）、次の補正周期に相当する時間Ｔ＋Δｔを関数ｆｘ（ｔ）と関数ｆｙ（ｔ）に代入して次の補正周期におけるユーザ１７の顔の位置の予測値ｆｘ（Ｔ＋Δｔ）とｆｙ（Ｔ＋Δｔ）を求め（ステップａ１８）、次の補正周期におけるユーザ１７の顔の位置の予測値ｆｘ（Ｔ＋Δｔ）とｆｙ（Ｔ＋Δｔ）を予測位置Ｘ’と予測位置Ｙ’として一時記憶すると共に（ステップａ１９）、これらの値から、次の補正周期までのユーザ１７の顔の位置の移動量の予測値ΔＸとΔＹを算出する（ステップａ２０）。
【００６９】
従って、デジタルカメラ６で撮像された画像から目，鼻，口等の特徴点を抽出することに失敗してユーザ１７の顔の位置（Ｘ，Ｙ）が特定できなかったような場合であっても、ディスプレイ５上の画像の表示位置の補正を継続して実行することが可能である。
【００７０】
また、ユーザ１７の顔の実際の位置（Ｘ，Ｙ）と当該周期に対応して予測されたユーザ１７の顔の位置（Ｘ’，Ｙ’）との間の位置偏差が予め決められた許容値εを超えた時点、つまり、その時点で生成されていたデータベースに基づく予測が不適化しようとする時点でデータベースを再構築し、改めて新規のデータベースに基づいてユーザ１７の顔の移動位置を予測するようにしているので、常に適切な表示位置の補正が可能である。
【００７１】
しかも、デジタルカメラ６のレンズ１６の光軸がディスプレイ５の表示面に略直交しているので、デジタルカメラ６の受光面（ＣＣＤ面）とディスプレイ５は略平行の状態となり、ディスプレイ５に対するユーザ１７の顔の移動方向や移動量がデジタルカメラ６で撮像された画像に的確に反映され、ディスプレイ５上の画像の表示位置の補正を正確に行うことができる。
【００７２】
また、位置ずれ補正処理を開始する時点でデジタルカメラ６のレンズ１６をテレ側に切り替えることによって撮影倍率を増大させるようにしているので、カメラ付携帯電話１つまりディスプレイ５に対するユーザ１７の顔の相対移動を精度よく検出することができ、画像の表示位置の補正精度が向上する。
【００７３】
以上、一例として、データベースを利用してユーザ１７の顔の移動方向や移動量を予測しながらディスプレイ５上の画像の表示位置を補正し、予測が不正確になる前の時点でデータベースを再構築することで顔の移動方向や移動量の予測を常に適正化するものについて説明したが、画像の取り込みや目，鼻，口等の特徴点の抽出および顔の位置の特定に関わる処理を相当に短い処理周期で実施できる場合には、１周期前に画像から求められた顔の位置と当該処理周期で画像から求められた顔の位置との実際の位置偏差ΔＸ，ΔＹを求め、この値に応じてディスプレイ５上の画像の表示位置を補正するフィードバック制御を行うようにすることもできる。その場合は、当該処理周期で画像から求められた顔の位置（Ｘ，Ｙ）をデータベースに代わるレジスタＲ（Ｘ），Ｒ（Ｙ）に一時記憶して次の処理周期に持ち越し、次の処理周期で画像から求められた顔の位置（Ｘ，Ｙ）に基づいてＸ−Ｒ（Ｘ），Ｙ−Ｒ（Ｙ）の式でΔＸ，ΔＹを求めて表示位置の補正を行った後で、現在のＸ，Ｙの値をレジスタＲ（Ｘ），Ｒ（Ｙ）に一時記憶して次の処理周期に持ち越すといった処理を繰り返し実行するようにする。
【００７４】
次に、図８を参照して他の一実施形態について簡単に説明する。図８に示される携帯電話１’は、前述したカメラ付携帯電話１の場合と同様、マイク２，スピーカ３，送受信部４，ディスプレイ５，中央制御部８，データメモリ部１０，キー操作部１１，音声処理部１２，アンテナ１３，時計部１４，ＲＯＭ１５を備えるが、前述のカメラ付携帯電話１とは相違し、デジタルカメラ，レンズ，カメラ制御部，画像処理部を備えていない。
【００７５】
この携帯電話１’は、カメラ付携帯電話１のデジタルカメラ，レンズ，カメラ制御部，画像処理部に代わる構成要素として加速度センサ１９と加速度センサ２０を備える。
【００７６】
加速度センサ１９は携帯電話１’に内蔵された加速度センサであり、携帯電話１’の水平垂直方向の振動すなわち加速度を検出し、ＣＰＵを有する中央制御部８に実質的にリアルタイムで入力する。
【００７７】
また、加速度センサ２０は携帯電話１’に付属するイヤフォンやヘッドフォンに内蔵された加速度センサであり、ユーザの頭部の水平垂直方向の振動すなわち加速度を検出し、中央制御部８に実質的にリアルタイムで入力する。
【００７８】
中央制御部８のＣＰＵは、加速度センサ１９，２０から入力された加速度のデータに基づいて所定のサンプリング周期で積分処理を実行し、携帯電話１’の移動位置とユーザの頭部の移動位置を求め、携帯電話１’を基準とするユーザの頭部の移動位置つまり携帯電話１’に対するユーザの顔の相対位置を求める。求められた頭部の移動位置は、前述した実施形態においてカメラ座標系を基準とし求められるユーザの顔の位置Ｘ，Ｙと同等である。
【００７９】
従って、１周期前に求められた頭部の位置と当該処理周期で求められた頭部の位置との実際の位置偏差ΔＸ，ΔＹを求め、この値に応じてディスプレイ５上の画像の表示位置を補正するフィードバック制御を行うことで、ディスプレイ５上の見掛け上の画像の振れを抑制することができる。
【００８０】
画像処理でユーザの顔の特徴点を抽出して顔の位置を特定する場合とは相違し、顔の位置を特定する処理に失敗が生じることはないので、必ずしも、データベースを作成して顔の移動位置を予測する必要はなく、位置偏差を解消するための単純なフィードバック制御によってディスプレイ５上の画像の振れを抑制することが可能である。
【００８１】
何れの実施形態を適用した場合であっても、携帯電話１，１’自体の振動状態やユーザの顔の振動状態が如何様なものであれ、携帯電話１，１’とユーザの顔との間の生じる相対的な振動に基づいてディスプレイ５上の画像の表示位置を補正する点では同様であり、これにより、携帯端末の本体にのみ加速度センサを設置した従来の装置では困難であった携帯端末の移動時に生じる見掛け上の画像の振れを効果的に抑制することが可能となる。
【図面の簡単な説明】
【００８２】
【図１】本発明の画像表示位置補正方法を携帯端末の一種であるカメラ付携帯電話に適用した一実施形態の構成について簡略化して示した機能ブロック図である。
【図２】カメラ付携帯電話の外観とユーザの顔の位置との関係を簡略化して示した斜視図である。
【図３】中央制御部のＣＰＵが実行する位置ずれ補正処理の概略について示したフローチャートである。
【図４】データメモリ部のデータベースに記憶された経過時間とユーザの顔の位置との対応関係の一例を示した概念図である。
【図５】データベースに記憶されたデータから次の補正周期におけるユーザの顔の位置を予測するための関数の一例について簡略化して示した作用原理図である。
【図６】カメラ付携帯電話に対するユーザの顔の位置のずれを簡略化して示した模式図である。
【図７】ユーザの顔の位置のずれに対処して見掛け上の画像の振れを抑制するための画像表示位置の補正方向と量を簡略化して示した模式図である。
【図８】デジタルカメラを備えていない携帯電話において画像の表示位置を補正する際に必要とされる構成の一例について簡略化して示した機能ブロック図である。
【符号の説明】
【００８３】
１  カメラ付携帯電話（画像表示位置補正機能付携帯端末）
２  マイク
３  スピーカ
４  送受信部
５  ディスプレイ
６  デジタルカメラ
７  カメラ制御部
８  中央制御部（補正用画像取込手段，顔位置取得手段，表示位置補正手段，データベース再構築手段）
９  画像処理部
１０  データメモリ部（データベース）
１１  キー操作部
１２  音声処理部
１３  アンテナ
１４  時計部
１５  ＲＯＭ
１６  レンズ
１７  ユーザ
１８  画像
【図１】
2007274333.tif 000003
【図２】
2007274333.tif 000004
【図３】
2007274333.tif 000005
【図４】
2007274333.tif 000006
【図５】
2007274333.tif 000007
【図６】
2007274333.tif 000008
【図７】
2007274333.tif 000009
【図８】
2007274333.tif 000010