(57)【要約】画像センサを備えた携帯型装置（６０２）を用いる画像制御の方法であって、ユーザが携帯型装置を移動するように要請する捕捉モードで画像のシリーズを捕捉する段階と、携帯型装置の移動中に動き評価を行う段階と、動き評価にしたがって表示を修正する段階と、を有する方法であり、動き評価は、ａ）画像のシリーズの少なくとも１つの第１画像（１０）及び少なくとも１つの第２画像を選択する段階であって、第２画像は第１画像に比べて後で捕捉される、段階と、ｂ）複数の移動方向に対応する予測移動の集合（１０ｄ、１０ｇ、１０ｈ、１０ｂ、１０ｈｄ、１０ｂｄ、１０ｈｇ、１０ｂｇ）を第１画像に適用する段階と、ｃ）予測移動（ｄｐ）の各々をそれぞれ割り当てられた第１画像の少なくとも１つの特徴の値と第２画像の同じ特徴の値とを計算し、第１画像の少なくとも１つの特徴の値を第２画像の同じ特徴の値と比較する段階と、ｄ）第２画像の特徴の値に最も近い特徴の値に導く予測移動を決定する段階と、ｅ）動き予測として段階ｄ）において決定された予測移動を用いる段階と、を有する方法について開示している。
2008516319.tif 000002
【特許請求の範囲】
【請求項１】
画像センサを備えた携帯型装置を用いる画像制御の方法であって：
ユーザが前記携帯型装置を移動するように要請する捕捉モードで画像のシリーズを捕捉する段階；
前記携帯型装置の移動の間に動き評価を行う段階；及び
前記動き評価にしたがって前記表示を修正する段階；
を有する方法であり、前記動き評価は：
ａ）前記の画像のシリーズの少なくとも１つの第１画像及び少なくとも１つの第２画像を選択する段階であって、前記第２画像は前記第１画像に比べて後で捕捉される、段階；
ｂ）複数の移動方向に対応する予測移動の集合を第１画像に適用する段階；
ｃ）前記予測移動の各々をそれぞれ割り当てられた前記第１画像の少なくとも１つの特徴の値と前記第２画像の同じ特徴の値とを計算し、前記第１画像の少なくとも１つの特徴の値を前記第２画像の同じ特徴の値と比較する段階；
ｄ）前記第２画像の特徴の値に最も近い前記特徴の値に導く前記予測移動を決定する段階；及び
ｅ）前記動き予測として段階ｄ）において決定された前記予測移動を用いる段階；
を有する、ことを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、前記予測移動と、前記移動された第１画像及び前記第２画像の特徴の値の計算とが、画素のサブセットについて実行される、ことを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、前記特徴は、光強度、局所的光強度の和、局所的光強度の組み合わせ、色又は色の組み合わせ、局所的空間周波数若しくは局所的空間周波数の組み合わせの中から選択される、ことを特徴とする方法。
【請求項４】
請求項３に記載の方法であって、前記特徴は光強度であり、前記段階ｃ）及びｄ）は次の式のような関数Ｄの最小のための探索を有し、
【数１】
2008516319.tif 000004
前記式において、第１画像及び第２画像の画素の所定の集合について和が計算され、上記式において、Ｉ１（ｐ＋ｐｄ）及びＩ２（ｐ）は、画素ｐに対してｄｐだけの画素オフセットの第１画像における強度値及び画素ｐの第２画像における強度値を表し、段階ｄ）において、前記予測移動は、前記関数Ｄが最小であるかどうかについて判定される、ことを特徴とする方法。
【請求項５】
請求項４に記載の方法であって、前記関数Ｄの計算は、前記第１画像のフレームに接しないで、前記第１画像の前記フレーム内に分布されている所定の限定された数の画素について、実行される、ことを特徴とする方法。
【請求項６】
請求項４に記載の方法であって、前記関数Ｄの前記最小は閾値と比較され、ユーザは、前記関数の前記最小が前記閾値より大きいときに、警告される、ことを特徴とする方法。
【請求項７】
請求項１に記載の方法であって、前記段階ａ）乃至ｅ）は、前の画像に対して第２画像としての及び次の画像に対して第１画像としての系列の各々の新しい画像を用いることにより繰り返される、ことを特徴とする方法。
【請求項８】
請求項１に記載の方法であって、一連の個々の動き評価は一連の捕捉された画像を用いて確立され、全体的可変動き評価は前記個々の動き評価をフィルタリングすることにより計算される、ことを特徴とする方法。
【請求項９】
請求項８に記載の方法であって、カルマン型のフィルタリングが実行される、ことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像センサを備えた携帯型装置を有する表示制御方法に関する。携帯型装置は、例えば、内蔵型電源を備え且つユーザが手で持つことができる携帯電話、撮影カメラ、携帯情報端末又はコンピュータ等の装置である。携帯型装置は、一般に、表示スクリーンを備えている。スクリーンは、装置の寸法に関連する寸法を有し、それ故、小さい表示領域を有する。改善された快適な視認性を提供するように、携帯型装置は、表示されるべき画像が全体的に表示されないで、分けて表示される表示モードを一般に備えている。更に正確には、画像の選択された部分を拡大して表示することができる。その場合、表示される画像の一部を選択するように、それ故、スクリーンに比べて大きい寸法で画像内を“ナビゲートする”ように制御することが可能である。アナログ制御はまた、必要に応じて、ポインタで画像内を移動し、画像の一部を選択することを可能にし、このことはコンピュータのマウスに対しても同様に可能である。それらの制御は、本発明における表示制御を実行する。
【０００２】
本発明は、携帯型装置の表示制御の改善及び自由に制御できるマウスのような有効使用を提供する。
【背景技術】
【０００３】
携帯型装置の表示制御は、通常、タッチパッドを用いて、又は、更に頻度低く、１つ又はそれ以上の方向選択ボタン（上、下、右又は左）を用いて、実行される。それらの制御手段は、表示スクリーンと同様に、装置の携帯性のために小さい。表示制御は、したがって、しばしば、困難である又は不適切である。
【０００４】
米国特許第６，４６６，１９８号明細書及び国際公開第０２／０９３３３１号パンフレットにおいては、表示制御のための制御手段として携帯型装置の動きを用いて画像におけるナビゲーションを可能にする表示モードが提案されている。携帯型装置の動きは、例えば、加速度計を用いることを考慮している。
【０００５】
加速度計のような特定の動きセンサを用いることは、しかしながら、携帯型装置の複雑性及びコストを増大させる影響を有する。
【０００６】
国際公開第００／７５９１４号パンフレットにおいては、携帯型装置に組み込まれた画像センサを使用することにより、画像における、例えば、地図の画像における“ナビゲーション”方法を提案している。動きのモニタリングは。画像センサにより捕捉される画像を用いてリアルタイムに実行される。実際には、捕捉された画像を用いて確立される携帯型装置の動きは、表示される画像の一部がスクリーンにおいて現れるようにするディスプレイを制御するように用いられる。
【０００７】
考慮される動きは、携帯型装置と、画像センサの視野において位置付けられた所定の目的物との間の相対的動きである。この目的物は、特に、ユーザの体の一部、例えば、頭部又は衣服の一部であることが可能である。
【特許文献１】米国特許第６，４６６，１９８号明細書
【特許文献２】国際公開第０２／０９３３３１号パンフレット
【特許文献３】国際公開第００／７５９１４号パンフレット
【発明の開示】
【課題を解決するための手段】
【０００８】
本発明は、上記の方法の実施において、特に、目的物のモニタリングを用いるナビゲーション方法の実施において現れる傾向にある複数の困難性を示すことからもたらされたものである。
【０００９】
第１の困難性は、画像センサを備える携帯電話においてその方法を実施することにある。一般に、それらの装置は、画像センサの反対側に位置付けられた表示スクリーンを有する。それ故、表示スクリーンをユーザが見ている間には、ユーザに付けられている目的物をモニタすることは困難である。
【００１０】
他の困難性は、ユーザが携帯型装置を傾けているときの、目的物の表示及び目的物を見失うリスクに関するものである。実際には、目的物を見失うことは、ユーザにより携帯型装置に与えられる動きの大きさが、表示される目的物が画像センサの視野から外れることを意味するときに起こる。
【００１１】
他の困難性は、目的物の認識に関するものである。目的物が認識又は識別されない場合、その目的物をモニタリングすることは明らかに可能ではない。
【００１２】
本発明の目的は、画像センサを備えた携帯型装置を用いる表示制御方法であって、上記の困難性が克服された表示制御方法を提供することである。特に、本発明の一目的は、動きの評価が目的物のモニタリングから開放された方法を提供することである。
【００１３】
本発明の他の目的は、光の干渉による変化、動き又はアイコンコンテンツに対してロバストであり且つ殆ど感応せず、動きを評価するためにセンサにより捕捉される画像に影響を与えることができる制御方法を提供することである。
【００１４】
それらの目的を達成するように、本発明は、画像センサを備えた携帯型装置を用いて表示制御方法であって：
−  ユーザが携帯型装置を移動させるように要請する捕捉モードで画像のシリーズの捕捉の段階、
−  携帯型装置の移動においてなされる動き評価の段階、及び
−  動き評価にしたがった表示の変調の段階、
を有する方法をオブジェクトのために適切に有する。
【００１５】
本発明にしたがって、動き評価の段階は：
ａ）画像のシリーズの少なくとも１つの第１画像及び少なくとも１つの第２の画像の選択の段階、
ｂ）種々の移動方向に対応する予測移動の集合の、第１画像への適用の段階
ｃ）予測移動の各々をそれぞれ割り当てられる第１画像の少なくとも１つの特徴の値の計算、及びそれを第２画像の同じ特徴の値との比較の段階、
ｄ）第２画像の特徴に最も近い特徴の値に繋がる予測移動の決定の段階、及び
ｅ）移動予測として段階ｄ）において決定された予測移動の選択の段階、
を有する。
【００１６】
移動予測は僅かに２つの捕捉画像により行われる一方、その方法は、好適には、第１画像のシリーズと、第１画像と共にそれぞれ一対一で後の第２画像のシリーズとを用いることにより連続して実施される。携帯型装置の計算容量が十分であるとき、各々の捕捉画像は、先行する画像に対しては“第２画像”として、画像フローの後続の画像に対しては“第１画像”として用いられる実施形態を想定することができる。更に限定された画像のサンプリングがまた、適切であることが可能である。
【００１７】
本発明を用いることにより、目的物を用いることなく且つ目的物識別をし損なうリスク又は目的物を“見失う”リスクを伴うことなく、移動評価を達成することができる。更に、その方法を、画像センサが制御スクリーンと同じ側にある携帯型装置を用い、且つスクリーンが担持されている反対側にセンサが位置付けられている携帯型装置を用いて、実施することができる。後者の場合が、携帯電話については高頻度のものである。
【００１８】
予測移動の決定、移動が割り当てられた第１画像の特徴の計算及び第２画像の特徴の計算が、第１及び第２画像の画素全てを用いて実行される。必要な計算容量を減少させるように、少ない画素数でそれらの動作を実行することがまた、可能である。５個の画素のうちの一の画素の又は１０個の画素のうちの一の画素の計算フレームのみを選択することが可能である。
【００１９】
同様なことが予測移動に適用できる。予測移動は、複数の方向について及び複数の振幅を用いて、実行されることが可能である。しかしながら、このことは、かなりの計算容量を必要とする。方向について減少されたサブセット及び振幅について減少されたサブセットのみにおいて、予測移動が行われる場合、減少された計算容量で十分である。例えば、４５°のステップで、等方的に割り当てられた８つの方向に予測移動を限定することが可能である。各々の移動について、５個、１０個又は２０個の画素のステップで、移動振幅の減少された数のみを調べることが可能である。単独の振幅を有する予測移動を想定することができる。
【００２０】
最も関連する予測移動は、第１画像及び第２画像の捕捉の間の携帯型装置の移動を最も適切に伝える予測移動である。この予測移動を求めることは、各々の予測移動について、移動が割り当てられた第１画像の特徴の値と第２画像の同じ特徴の値とを比較することにより行われる。例えば、これは、局所的な光の強度、光強度の和、光強度の組み合わせ、色又は色の組み合わせ、局所的な空間周波数又は局所的な空間周波数の組み合わせの中から選択される１つの特徴である。上記のように、それらの特徴の値は、画像の画素全てについて又は画素のサブセットのみについて、計算されることが可能である。
【００２１】
その方法の特定の実施形態にしたがって、考慮される特徴は光強度である。その方法の段階ｃ）及びｄ）は、この場合、次式の類似度関数の全体的な最小を求めることを有し、
【００２２】
【数２】
2008516319.tif 000003
ここで、ｄｐは第１画像と第２画像との間の予測移動のベクトルであり、それらの画像において、第１及び第２画像の所定の画素の集合に関して合計され、その和において、Ｉ１（ｐ＋ｄｐ）及びＩ２（ｐ）は、画素ｐに対してｄｐだけ画素オフセットの第１画像における強度値及び画素ｐの第２画像における強度値のそれぞれを示している。その方法の段階ｄ）においては、関数Ｄが最小であるかどうかについて、予測移動ｄｐが判定される。関数Ｄの最小に繋がる予測移動ｄｐが最も関連するものとして取られる。移動を評価すること及び表示を修正することが用いられる。上記の二乗の差の総和を、例えば、それらの差の絶対値の総和で、又は、更に一般的には、相関関数で置き換えられることができる。移動ｄｐは一定であることが可能である、又は、用いられるパラメータの数が、多かれ少なかれ複雑な移動が考慮されることを可能にするパラメータモデルを用いてモデル化されることが可能である。
【００２３】
ｐに関する加算が、全ての画像画素か又は画像画素のサブセットについて実行される。
【００２４】
特に、関数Ｄは、好適には特定の領域において、第１画像のフレームにおいて接していず、中央の領域の第１画像のフレーム内に分布された所定の限定された画素数について計算される。
【００２５】
関数Ｄの最小は、最も関連する予測移動を表す。その最小値はまた、不均一なシーンの場合に、予測の関連度の度合いのインジケータを与える。
【００２６】
それ故、本発明の特定の特徴にしたがって、関数Ｄの最小値は閾値と比較され、関数Ｄの最小値が閾値より大きいとき、ユーザに警告される。この場合、表示を修正するように評価移動を考慮しないことが可能である。
【００２７】
実際には、Ｄの最小値は大きく、即ち、閾値より大きく、このことは、予測移動に関連付けられる第１画像の何れも第２画像の特徴に近くないことを意味する。このように警告されたユーザは、次いで、携帯型装置に新しい移動運動を与えることにより制御を繰り返すことができる。移動予測はまた、例えば、更に複雑な移動モデル、例えば、時間変化を特徴付けるために適切であるパラメータモデルを用いることにより、同じ画像の対を用いて繰り返されることが可能である。
【００２８】
何れの異常な移動を補償するように、表示の変調は、第１及び第２画像の対を用いて、そして更に全体的評価を用いてなされる個々の移動評価を考慮する必要はない。例えば、捕捉された画像のシリーズを用いて個々の移動評価のシリーズを確立し、次いで、個々の評価をフィルタリングすることにより全体的移動評価を計算することが可能である。
【００２９】
例えば、フィルタリングは、各々の新しい個々の移動評価に関係がある一成分、及び先行する評価に関係がある１つ又はそれ以上の成分のそれぞれを考慮するカルマン型である。
【００３０】
本発明の他の特徴及び有利点は、添付図を参照する以下の詳細説明において明らかになる。その詳細説明は、例示として与えられるものであり、限定的なものではない。
【発明を実施するための最良の形態】
【００３１】
下記においては、単純化目的で、そして携帯型装置に対してユーザにより与えられる動きを良好に示すように、被写体、この場合は、顔Ｖが、画像の各々において表される。しかしながら、顔Ｖは目標物ではないことに留意する必要がある。予測移動を確立して、画像を比較するように実行する計算は、何れの特定のアイコンコンテンツから切り離して実行される。ここでは、描画の理解し易くして容易化している。
【００３２】
図１は、第１画像及び第１画像１０の後に捕捉された第２画像１２を示している。画像１０と１２との間で、ユーザは、携帯型装置に左側で僅かに上方への移動を与えた、このことは、顔が、画像フレーム内において右側で僅かに下方に移動されていることにより示されている。
【００３３】
第１画像１０はまた、図２の中央部分に示されている。複数の予測移動がこの画像に適用される。それらの予測移動は、画像１０の画素全てに又は画素１４のサブセットに適用されることが可能である。例えば、画素のサブセットは、５個又は１０個から取り出された１個の画素である。それは、多かれ少なかれ一様に画像中に分布されている。画素のサブセットについての予測移動を計算することは、必要な計算容量の低減及び／又は計算時間の短縮の効果を有する。予測移動は、複数の好適な方向に限定されている。例示として、８つの方向、即ち、上、下、右、左及びそれらの間の４５°の方向が選択される。それらの予測移動は、８つの予測画像１０ｄ、１０ｇ、１０ｈ、１０ｂ、１０ｈｄ、１０ｈｇ、１０ｂｄ、１０ｂｇにより表される。それらの予測移動はまた、矢印で示されている。
【００３４】
例示として、予測移動全ては同じ振幅を有する。しかしながら、各々の方向において異なる振幅を有する幾つかの予測移動を可能にすることが可能である。例えば、２０画素ステップで変えられる振幅を有する多くの予測移動が描かれることが可能である。この場合はまた、予測移動は、上記のように、画像の画素又は画素のサブセット全てについて確立されることが可能である。このことは、低解像度の画像についての計算を実行することを意味する。
【００３５】
第１画像を用いて確立された予測移動全てにおいて、第２画像に最も類似する画像に導く予測移動の一が選択される。
【００３６】
最も類似する予測画像は、１つ又はそれ以上の画像特徴にしたがって選択される。例えば、この画像特徴は、光及び／又は色強度及び／又は画像の空間周波数である。画像特徴は、特に、最小であって、第２画像に最も近い予測画像が到達する、最小を求めることができる制約関数において考慮されることができる。
【００３７】
図１及び２に示す例示の場合、第２画像１２に最も近い予測画像は、中央の画像の右側に位置している予測画像１０ｄである。予測画像１０ｄに導く予測移動は、右への画素の移動である。これは、左への携帯型装置の移動に対応する。右への移動は、その場合、予測移動のインジケータとして用いられ、そして携帯型装置の表示を変調するように用いられる。
【００３８】
移動予測が画像におけるポインタの移動のために又は表示スクリーンの寸法より大きい寸法を有する仮想画像におけるナビゲーションのために用いられるかどうかにしたがって、表示に又はポインタに適用される移動は、予測移動との関連において反転される又はされないことが可能である。
【００３９】
図３は、携帯型装置のショットセンサにより捕捉された画像のシリーズ１００を示している。画像は、１０１から１０７までの基準を有する。それらの基準は全て、携帯型装置の移動をより簡単に示されることが可能であるように、顔Ｖを示している。図の明確化を支援する顔の存在は、特にルールを有するためのものではない。
【００４０】
最初と最後を除く画像の各々は、本発明にしたがった第１及び第２画像の両方を有する。例えば、画像１０２は、“第１画像”として選択された画像１０１に対してなされた移動評価における“第２画像”を有する。これの結果は、下方に向いた矢印２０１にしたがった移動評価である。
【００４１】
同じ画像２０１はまた、“第２画像”として選択された画像１０３に対してなされた移動評価における“第１画像”を有する。これの結果は、右下方４５°の方向を向いた矢印２０２にしたがった移動評価である。
【００４２】
第１画像として及び第２画像として画像シリーズ１００の画像の各々を順に用いることにより、評価された移動インジケータの集合が確立される。それらのインジケータは、参照番号２０１乃至２０６で表されている実線の矢印として示されている。改善にしたがって、評価移動インジケータはまた、２つの連続する画像間の移動振幅についての情報を、それらの２つの画像が可変振幅の予測移動からもたらされるときに、与えることができる。
【００４３】
予測移動インジケータは、したがって、表示を修正するために用いられる。しかしながら、全体的可変移動予測を得るように、それらのインジケータにフィルタリングを適用することが可能である。特に、このことは、携帯型装置に与えられる突然の移動の影響、それ故、表示の突然の修正の排除を意味する。例えば、そのフィルタリングは、一の移動評価と最も近い先行の評価との間の重み付け平均を実行することを意味する。他のオプションにしたがって、そのフィルタリングは、次の評価において移動インジケータの４５°より大きい回転を回避し、そして直前の評価のインジケータを考慮するように計画されることが可能である。
【００４４】
図３の例示においては、移動評価の大きい変化が、インジケータ２０４について、右に、そして、インジケータ２０５について、上方に起こる。それ故、上方へのインジケータ２０５は、右上４５°のインジケータ４０５で置き換えられることにより減衰される。フィルタリング後の全体的移動評価は、二重線の矢印４０１又は４０６により表され、それらは、表示を修正するように用いられる新しいインジケータに対応している。
【００４５】
フィルタリングはまた、携帯型装置の制御できない移動又は移動評価の何れの局所的エラーを排除する効果を有する。図３の画像１０５は例示を与えている。評価移動は、偶然に又は間違って、実線の顔Ｖに対応する評価移動の代わりに、破線の顔Ｖ′に対応する評価移動であることを考えることができる。
【００４６】
したがって、右を、次いで上をそれぞれ指す移動インジケータ２０４及び２０５は、上、次いで右をそれぞれ指すインジケータ３０４及び３０５により置き換えられる。
【００４７】
直前の評価を考慮し、インジケータの４５°より大きい回転を回避するフィルタリングを実行することにより、破線の二重線の矢印５０１乃至５０６により表されるインジケータのシリーズが得られる。それらの新しいインジケータは、フィルタリング後に、インジケータ２０１、２０２、２０３、３０４、３０５及び３０６を用いて得られる。
【００４８】
インジケータ４０１乃至４０６はインジケータ５０１乃至５０６と同じであることが理解できる。このことは、エラーのない移動評価又は携帯型装置の不所望の移動が移動評価のフィルタリングにより軽減される又は完全に排除されることが可能であることを意味する。
【００４９】
図４は、フローチャートとして、本発明の方法の一実施オプションを示している。
【００５０】
参照番号６００は、携帯電話６０２が表示制御手段として用いられる捕捉モードにおける画像捕捉に対応している。電話６０２は、ここでは、画像センサを備えた一種の携帯型装置を表している。画像は、破線で示されている画像センサ６０４により捕捉され、制御スクリーン６０６を担持する視認側の反対側の携帯電話６０２の一方側に位置付けられている。
【００５１】
スクリーン６０６に表示される画像の何れもセンサにより捕捉された画像ではないことを注記しておく。センサにより捕捉された画像は、ユーザが携帯電話に与えた移動を評価する唯一の機能を有する。
【００５２】
捕捉された画像の全て又は一部が、上記のように、“第１画像”及び／又は“第２画像”として選択される。この段階は、参照番号６１０に対応している。第１画像は予測移動と関連付けられ、“第２画像”と比較される。
【００５３】
考慮される第１画像と第２画像との間の最適な一致度を与える予測移動をとることにより実行される移動評価６２０が結果として得られる。その一致度が低過ぎるとき、移動評価は、表示の制御を考慮せず、警告６２５がユーザに与えられる。例えば、相関関数の最小が閾値より大きいときがこの場合である。
【００５４】
第１画像及び第２画像の選択並びに移動評価は、ここでは、画像の取得と共に、継続して繰り返される操作である。
【００５５】
その場合、フィルタリング操作が行われ、そのフィルタリング操作は、上記のように、移動評価のエラー及び異常な移動が補正される又は減じられることを可能にする。
【００５６】
最後に、参照番号６４０は、移動評価にしたがった表示の修正を示している。画像の修正は、図４に示す携帯電話のスクリーン６０６において行われる。その画像修正は、電話から切り離して、他のスクリーンにおいて行われることが可能であり、それにおいては、携帯電話は、単に表示制御手段として用いられる。
【図面の簡単な説明】
【００５７】
【図１】表示の制御に用いられる、一連の捕捉画像の第１画像及び第２画像のそれぞれを示す画像である。
【図２】図１の第１画像及び予測移動の集合を示す画像の集合を示す図である。
【図３】一連の画像の集合を用いて動き評価モードを示す図である。
【図４】本発明にしたがった方法の主な段階を示す図である。
【図１】
2008516319.tif 000005
【図２】
2008516319.tif 000006
【図３】
2008516319.tif 000007
【図４】
2008516319.tif 000008
【国際調査報告】
2008516319.tif 000009
2008516319.tif 000010
2008516319.tif 000011