(57)【要約】【課題】本発明は、情報が対象方向を有しており、ディスプレイ上にユーザのために表示された情報の方向を制御するための方法に関連する。【解決手段】この方法においては、ディスプレイの方向が、ディスプレイ上に表示される情報の方向との相対的な関係において定義され、ディスプレイ上に表示された情報の方向が、そのために設定された対象方向とは異なる場合に、方向変更が実行され、その変更の結果として、ディスプレイ上に表示された情報の方向が対象方向に対応するようにされる。ディスプレイに動作するように接続されたカメラ手段が使用されることで、設定された方法においてインターバル毎に、ディスプレイの方向が定義される。【選択図】図２
2010016907.tif 000002
【特許請求の範囲】
【請求項１】
情報（ＩＮＦＯ）が対象方向（Ｏimage）を有しており、少なくとも一人のユーザ（２１）のためにディスプレイ（２０）上に表示された情報（ＩＮＦＯ）の方向（Ｏinfo）を制御するための方法において、
画像情報（ＩＭＡＧＥｘ）を形成するようにディスプレイ（２０）へ動作可能なように接続されたカメラ手段（１１）を使用することにより、ディスプレイ（２０）の方向（Ｏdisplay）がディスプレイ（２０）上に表示される情報（ＩＮＦＯ）の方向（Ｏinfo）との相対的な関係において定義され、前記画像情報が解析されることで、画像情報（ＩＭＡＧＥｘ）において、一つ以上の選択された特徴（２４）が検出され、その／それらの方向（Ｏeyeline）が定義され（２００〜２０３）、
ディスプレイ（２０）上に表示された情報（ＩＮＦＯ）の方向（Ｏinfo）がそのために設定された対象方向（Ｏitgt）と異なる場合に、方向変更（ΔＯ）が実行され、その変更の結果としてディスプレイ（２０）上に表示された情報（ＩＮＦＯ）の方向が対象方向（Ｏitgt）に対応するようにされ（２０４〜２０６）、
それらの連続的なファインダー検出の頻度と比較して少ない頻度で、画像情報（ＩＭＡＧＥｘ）が形成されるようにカメラ手段（１１）を使用するようなやり方で、方向定義がインターバル毎に実行されることを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、少なくとも一人のユーザ（２１）の頭部（２２）が画像情報（ＩＭＡＧＥｘ）の画像対象として選択されることを特徴とする方法。
【請求項３】
請求項２に記載の方法であって、選択される特徴が、例えば、少なくとも一人のユーザ（２１）の顔の特徴（２３．１、２３．２、２４）を含み、それらは顔の特徴解析（１２）を使用することにより解析され、一つ以上の顔の特徴を検出することを特徴とする方法。
【請求項４】
請求項３に記載の方法であって、顔の特徴が、例えば、少なくとも一人のユーザ（２１）の目の部分（２３．１、２３．２）であって、選択された特徴が、例えば、前記目の部分（２３．１、２３．２）によって定義されるアイライン（２４）であることを特徴とする方法。
【請求項５】
請求項１ないし４のいずれか一項に記載の方法であって、方向の定義が、１〜５秒、例えば、２〜４秒、好ましくは、２〜３秒のインターバル毎に実行されることを特徴とする方法。
【請求項６】
請求項１ないし５のいずれか一項に記載の方法であって、３０〜９５％、例えば、５０〜８０％、しかし、好ましくは９０％未満のデバイスリソースが、方向の定義のために予約されることを特徴とする方法。
【請求項７】
請求項１ないし６のいずれか一項に記載の方法であって、少なくとも二人のユーザが画像情報（ＩＭＡＧＥｘ）から検出され、それらのユーザの顔の特徴から平均値を定義し、前記特徴（２４）に対応するように設定されることを特徴とする。
【請求項８】
デバイス（１０）において、少なくとも一人のユーザ（２１）のために、ディスプレイ（２０）上に表示される情報の方向（Ｏinfo）を制御するためのシステムであって、前記システムは、
情報（ＩＮＦＯ）を表示するために、デバイス（１０）に接続されて構成されるディスプレイ（２０）と、
動作可能なようにデバイス（１０）に接続されるように構成され、画像情報（ＩＭＡＧＥｘ）を形成するためのカメラ手段であって、画像情報（ＩＭＡＧＥｘ）からディスプレイ（２０）の方向（Ｏdisplay）が、ディスプレイ（２０）上に表示される情報（ＩＮＦＯ）の方向（Ｏinfo）との相対的な関係において定義されるように構成されるカメラ手段（１１、１１．１）と、
ディスプレイ（２０）の方向（Ｏdisplay）とディスプレイ（２０）上に表示される情報（ＩＮＦＯ）の方向（Ｏinfo）とが、設定された方法において、互いに異なる場合、そのために設定された対象方向（Ｏitgt）へディスプレイ上に表示される情報（ＩＮＦＯ）の方向を変更するための手段（１４）とを備え、
連続的なファインダー検出周期と比較して少ない頻度で、画像情報（ＩＭＡＧＥｘ）を形成するように、カメラ手段（１１）が構成されるようなやり方で、ディスプレイ（２０）の方向の定義がインターバル毎に実行されるように構成されることを特徴とするシステム。
【請求項９】
請求項８に記載のシステムであって、画像情報（ＩＭＡＧＥｘ）の画像対象が、デバイス（１０）の隣に居る少なくとも一人のユーザ（２１）として選択され、その場合に、前記システムは、画像情報（ＩＭＡＧＥｘ）から一人または幾人かのユーザ（２１）の顔の部分（２３．１、２３．２）を検出するための顔の特徴解析機能（１２）を備え、画像情報（ＩＭＡＧＥｘ）と関連して定義された特徴（２４）において、前記ディスプレイ（２０）の方向（Ｏdisplay）が定義されるように構成されることを特徴とするシステム。
【請求項１０】
請求項８または９に記載されたシステムであって、方向の定義が、１〜５秒、例えば、２〜４秒、好ましくは、２〜３秒のインターバル毎に実行されるように構成されていることを特徴とするシステム。
【請求項１１】
請求項８ないし１０のいずれか一項に記載のシステムであって、３０〜９５％、例えば、５０〜８０％、しかし、好ましくは９０％未満のデバイスリソースが、方向の定義のために使用されるように構成されることを特徴とするシステム。
【請求項１２】
請求項８ないし１１のいずれか一項に記載のシステムであって、少なくとも二人のユーザが画像情報（ＩＭＡＧＥｘ）から検出され、それらのユーザの顔の特徴から平均値が定義されるように構成され、それは前記特徴（２４）に対応するように設定されるように構成されることを特徴とするシステム。
【請求項１３】
携帯デバイス（１０）であって、
前記形態デバイス（１０）に、
情報（ＩＮＦＯ）を表示するためのディスプレイ（２０）と、
動作可能なようにデバイス（１０）に接続され、画像情報（ＩＭＡＧＥｘ）を形成するためのカメラ手段であって、画像情報（ＩＭＡＧＥｘ）からディスプレイ（２０）上に表示される情報（ＩＮＦＯ）の方向（Ｏinfo）との相対的な関係におけるディスプレイ（２０）の方向（Ｏdisplay）が定義されるように構成されるカメラ手段（１１、１１．１）と、
ディスプレイ（２０）の方向（Ｏdisplay）とディスプレイ（２０）上に表示される情報（ＩＮＦＯ）の方向（Ｏinfo）とが、設定された方法において、互いに異なる場合に、ディスプレイ（２０）上に表示される情報（ＩＮＦＯ）の方向（Ｏinfo）をそのために設定された対象方向（Ｏitgt）に変更するための手段（１４）と、
が接続されるように構成され、
連続的なファインダー検出周期と比較して少ない頻度で、画像情報（ＩＭＡＧＥｘ）を形成するように、カメラ手段（１１）が構成されるようなやり方で、ディスプレイ（２０）の方向の定義がインターバル毎に実行されるように構成されることを特徴とする携帯デバイス。
【請求項１４】
請求項１３に記載のデバイス（１０）であって、方向の定義が、１〜５秒、例えば、２〜４秒、好ましくは、２〜３秒のインターバル毎に実行されるように構成されていることを特徴とするデバイス。
【請求項１５】
請求項１３または１４に記載のデバイス（１０）であって、３０〜９５％、例えば、５０〜８０％、しかし、好ましくは９０％未満のデバイスリソースが、方向の定義のために使用されるように構成されていることを特徴とするデバイス。
【請求項１６】
請求項１３ないし１５のいずれか一項に記載のデバイス（１０）であって、少なくとも二人のユーザが画像情報（ＩＭＡＧＥｘ）から検出され、それらのユーザの顔の特徴から平均値が定義されるように構成され、それに基づいて、ディスプレイ（２０）の方向（Ｏdisplay）が定義されるように構成されることを特徴とするデバイス。
【請求項１７】
請求項１ないし７のいずれか一項に記載の方法を実施するためのソフトウェア手段であって、
画像情報（ＩＭＡＧＥｘ）を形成するためのカメラ手段であって、ディスプレイ（２０）上に表示される情報（ＩＮＦＯ）の方向（Ｏinfo）との相対的な関係におけるディスプレイ（２０）の方向（Ｏdisplay）を定義するための一つ以上の選択されたアルゴリズムを適用するソフトウェア手段（１２、１３）を使用することで、画像情報（ＩＭＡＧＥｘ）が解析されるように構成されるカメラ手段（１１、１１．１）と、
ディスプレイの方向（Ｏdisplay）とディスプレイ（２０）上に表示される情報（ＩＮＦＯ）の方向（Ｏinfo）とが、設定された方法において、互いに異なる場合、ディスプレイ（２０）上に表示される情報（ＩＮＦＯ）の方向（Ｏinfo）をそのために設定される対象方向（Ｏitgt）へ変更するためのソフトウェア手段（１４）と、
が動作するようにディスプレイ（２０）に接続され、
連続的なファインダー検出周期と比較してより少ない頻度で、画像情報（ＩＭＡＧＥｘ）を形成するようにカメラ手段（１１）が構成されるようなやり方で、ディスプレイ（２０）の方向（Ｏdisplay）と、それに基づいて設定するための情報（ＩＮＦＯ）の方向（Ｏinfo）を定義するためのソフトウェア手段（１２〜１４）がインターバル毎に実行するように構成されることを特徴とするソフトウェア手段。
【請求項１８】
請求項１７に記載のソフトウェア手段であって、顔の特徴解析（１２）は方向の定義において使用されるように構成されることを特徴とするソフトウェア手段。
【請求項１９】
請求項１７または１８に記載のソフトウェア手段であって、方向の定義が、１〜５秒、例えば、２〜４秒、好ましくは、２〜３秒のインターバル毎に実行されるように構成されることを特徴とするソフトウェア手段。
【請求項２０】
請求項１７ないし１９のいずれか一項に記載のソフトウェア手段であって、３０〜９５％、例えば、５０〜８０％、しかし、好ましくは９０％未満のデバイスリソースが、方向の定義のために予約されるように構成されることを特徴とするソフトウェア手段。
【請求項２１】
請求項１７ないし２０のいずれか一項に記載のソフトウェア手段であって、少なくとも二人のユーザが画像情報（ＩＭＡＧＥｘ）から検出され、それらのユーザの顔の特徴から平均値が定義されるように構成され、それに基づいて、ディスプレイ（２０）の方向（Ｏdisplay）が定義されるように構成されることを特徴とするソフトウェア手段。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報は対象方向を有している、ディスプレイ上で使用する少なくとも一人のユーザのために表示される情報の方向を制御するための方法に関連する。この方法において、ディスプレイの方向が、画像情報を形成するようにディスプレイへ動作可能なように接続されたカメラ手段を使用することにより、ディスプレイ上に表示される情報の方向との相対的な関係において定義され、該画像情報が解析されることで、画像情報において、一つ以上の選択された特徴が検出され、かつその／それらの方向が定義され、ディスプレイ上に表示された情報の方向が、そのために設定された対象方向とは異なる場合に、方向変更が実行され、その変更の結果として、ディスプレイ上に表示された情報の方向が対象方向に対応するようにされる。加えて、本発明は前記方法を実施するためのシステム、対応するデバイス、およびソフトウェアデバイスにもまた関連する。
【背景技術】
【０００２】
例えば、（その他の形態のデバイスを排除するものではないが）移動局およびＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）デバイス等のディスプレイ構成要素を備えた携帯デバイスからの、様々なマルチメディアおよびビデオ会議機能が、近年知られている。このため、ユーザは、デバイスのディスプレイ上に示される情報を監視するのと同時に、（例えばビデオ会議において）通信相手として彼ら自身もまた出現させるため、デバイスは、そのデバイスに接続されたカメラ手段を有する。
【０００３】
例えば、前述の装置の使用に関連するある場合において（今一度、その他の場合を排除するものではないが）、ユーザは操作の途中で（例えば、ビデオクリップを見ていたり、会議中において）、ディスプレイ構成要素の方向を、例えば垂直方向であるノーマルから例えば、水平方向であるその他の方向に変更したいと希望することが考えられる。将来において、他にも理由はあるが、これらの装置の飛躍的な進歩によって、ディスプレイ上に表示される情報のための方向操作に対する必要性は大きく増加するであろう。
【０００４】
前記のことに加え、最近の新しい携帯電話のいくつかのモデルは、異なる操作配置の選択肢を公表してきた。従来の垂直方向に構成されたデバイスと並んで、デバイスは水平方向にも構成することが可能である。この場合、デバイスのキーボードもまた、この方向の変更に対応させられる。ディスプレイもまた、垂直と水平の特徴で効果の違いが有り、それによって、例えば、いつでも最も適したディスプレイポジションを探す場合に、ディスプレイの水平／垂直方向の間で変更する必要性が生じる。
【０００５】
車を運転しているような特別な状況が、そういった方向調整を要求するようなさらにもうひとつの状況である。運転中に、例えば、移動局が車のダッシュボードに取り付けられた場合は、移動局は運転手に対して不都合なポジションにあると考えられる。この場合、少なくとも、より使いやすさを要求する場合には、示される情報を、運転手と移動局の共通のポジショニングに調整することが好ましい。実際には、これは、ディスプレイに表示される情報を可能な限り好ましく運転手に対して方向あわせすることが好ましいことを意味する。すなわち、それは、従来の垂直か水平方向のかわりに、ある角度を持って表示される。
【０００６】
直交した方向から異なる方向のそういった変更を達成するために、先行技術を使用することは、現実的には不可能である。そういった状況では、特に、先行技術に従って、この操作を達成することは、次の事実によりさらに妨げられる。その事実とは、この場合、正確にデバイスから、そのために設定された基準点との相対的な関係におけるディスプレイの方向変更を検出するようなデバイスを方向変更が対象としていないということである。
【０００７】
デバイスと、特にディスプレイ構成要素の再方向合わせを行なうための従来技術を表す第一の解決方法は、デバイスメニューの設定からデバイスのディスプレイ上に表示された情報の方向変更を行なうことである。この場合、デバイスのディスプレイ構成要素の方向は、例えば、設定方法によって定義された（例えば、ディスプレイの短辺が、視聴者との相対的な関係において上辺および底辺に配置される）垂直に配置されたディスプレイから、設定方法によって定義された（例えば、ディスプレイの短辺が、視聴者との相対的な関係において左辺および右辺に配置される）水平に配置されたディスプレイに変更される。
【０００８】
メニューセッティングから実行される方法変更は、希望する操作を達成するアイテムを発見する前に、メニューハイアラーキーを非常に深く探し回ることをユーザに要求することが考えられる。しかし、この操作を、例えば、マルチメディアクリップを視聴している最中やビデオ会議に参加している最中に実行しなければならない場合には、ユーザフレンドリーな方法ではない。加えて、メニューセッティングによってなされる方向変更は、予めプリセットされた情報配置変更に限定される。この例としては、例えば、ディスプレイ上に表示される情報の方向が９０から１８０度の角度においてのみ変更することができる機能である。
【０００９】
さらに、前述の操作に関連した問題を解決するための、そしてさらに、例えば、それを完全に自動的に実行するためのより発展した数多くの解決方法が先行技術によって知られている。そういった解決方法のいくつかの例は、様々な角度／傾きのプローブ／センサ／スイッチ、リミットスイッチ、加速度センサ、およびフラップオープニング（ｆｌａｐ  ｏｐｅｎｉｎｇ）のためのセンサを備える。これらは機械的に、または電気的に、さらには両者の組み合わせとして、実装することが可能である。傾き／角度測定に基づいてデバイス解決方法において、デバイスおよび特にそのディスプレイ構成要素の方向が、そのために設定された基準点との相対的な関係において定義される。そして、基準点は地球であり、それらの動作原理は重力の影響に基づいている。
【００１０】
これらに関連する一つの参考文献としては、ＷＯ公開公報０１／４３４７３（ＴＥＬＢＩＲＤ  ＬＴＤ）があり、該文献において開示されている解決方法においては、デバイスに設置されたマイクロマシンによる傾き計測器が使用されている。
【００１１】
しかし、機械的および準機械的なセンサによる解決方法は、例えば、携帯デバイスに実装することは困難である。それらは、デバイスの製造コストを増加させ、そのため、それらの消費者価格が上昇する。加えて、それらの使用は、常にある一定の破損の可能性を危険性をもたらす。この破損については、デバイスにおいて高密度に集積されているため、交換が可能である場合であっても、壊れたセンサの交換は採算が取れるものではない。
【００１２】
電気的なタイプのセンサの操作は、デバイスの特定の方向ポジションにおいてはっきりしないことも考えられる。加えて、非線形装置はこれらの解決方法の方向定義に関連付けて言及される。この例は傾き測定であって、この傾き測定においては、デバイス／ディスプレイの方向を示す信号が正弦波の形状をしている。
【００１３】
前述のセンサによる解決方法は、例えば、携帯デバイスにおいて実装することが難しく、不都合であるという事実があるが、それらはほとんど常に、設定された基準点（地球）との相対的な関係におけるデバイスの方向における物理的な変更を要求する。この基準点との相対的な関係において方向が定義される。例えば、もし、車を運転しているときに、移動局のディスプレイ、およびそこに表示される情報との相対的な関係において、デバイスのユーザが不都合なポジションにいる場合、前述のセンサによる解決方法は、どのような方法でも、この状況に対処することはできない。動作状況を考慮すると、固定量としてメニューセッティングによってなされる方向変更は、こういった状況において、適切な方法によって、情報の方向合わせを行なうための解決方法を提供することはできないであろう。デバイスの方向が、例えば、固定されるような場合において、ユーザの頭部を連続的に傾かせることが、ユーザにとってより適当であり、これにより情報が方向合わせされるが、これは、好ましくなくいし、満足できないデバイスを使用する方法である。
【００１４】
動作するようにディスプレイに接続して構成されたカメラ手段を使用して作成されたディスプレイの方向が画像情報から定義される解決方法は、国際（ＰＣＴ）特許公開ＷＯ−０１／８８６７９（Ｍａｔｈｅｎｇｉｎｅ  ＰＬＣ）によって知られている。例えば、デバイスを使用する人の頭部が画像情報から探し出され、さらに特に、彼／彼女のアイライン（ｅｙｅ  ｌｉｎｅ）が画像情報の中で定義され得る。前述の公報において開示された解決方法は、３−Ｄ仮想アプリケーションに大きく重点を置いており、この３−Ｄ仮想アプリケーションは一般的には単一の人に対するものである。もし、幾人かの人がデバイスの隣にいたとした場合であって、例えば移動局を持っており、その移動局を使用して、例えばビデオクリップを視聴している場合、ディスプレイの方向を定義する機能は、ディスプレイがどこのポジションにあるのかをもはや決定することはできないであろう。さらに、例えば、３−Ｄアプリケーションのリアルタイム性は方向定義を要求することで、原則的に連続的になる。その結果、例えば、ファインダー画像において使用する検出周期で、画像情報は連続的に検出されなければならない。結果として、画像情報からの連続的な画像化および方向定義は、多量なデバイスリソースを消費する。既知の画像化周期で実行もされる原則的に連続的な画像化は、デバイスパワーの消費において相当な影響をも有する。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】Ru-Shang Wang and YaoWang,"Facial Feature Extraction and Tracking in Video Sequences", IEEE Signal Processing Society 1997 Workshop on Multimedia Signal Processing, June 23-25, 1997, Princeton New Jersey, USA Electronic Proceedings. pp.233-238.
【非特許文献２】Richard Fateman, Paul Debevec, "A Neural Network for Fa- cial Feature Location", CS283 Course Project, UC Berkeley, USA.
【発明の概要】
【課題を解決するための手段】
【００１６】
本発明は、ディスプレイ上に示された情報の方向を制御するための新しいタイプの方法、およびシステムを創造することを意図している。本発明に従った方法の特徴が、添付された請求項１、およびそれらのシステムについての請求項８において記載される。加えて、本発明は、その特徴が請求項１３に記載された対応するデバイス、およびその特徴が請求項１７に記載されたその方法を実施するためのソフトウェアデバイスにもまた関連する。
【００１７】
本発明は、ディスプレイ上に少なくとも一人のユーザのために表示された情報の方向が、情報がユーザとの相対的な関係において常に正しく方向合わせされるような方法において制御されることで特徴付けられる。これを実施するために、カメラ手段がディスプレイに接続され、または、一般的には、ディスプレイを備えるデバイスに接続される。このカメラ手段は、ディスプレイの方向を定義するための画像情報を作成するために使用される。ディスプレイの方向は、例えば、画像情報の画像対象から選択された固定ポジションとの相対的な関係において定義されることが考えられる。一度、ディスプレイの方向が既知となると、これに基づいて、一人以上のユーザに対して、適切にそこに表示される情報が方向合わせされる。
【００１８】
一つの実施形態にしたがうと、この方法において、例えば、カメラ手段によって撮像された、デバイスの少なくとも一人のユーザが、画像情報の画像対象として選択され得る。画像情報が解析され、一つか幾つかの選択された特徴が、画像対象から検出される。選択された特徴は、好ましくは少なくとも一人のユーザの顔の特徴である。一度選択された特徴が検出されると、ディスプレイ構成要素に対する少なくとも一人のユーザの方向が定義され得る。検出された特徴は、一つの実施形態にしたがうと、例えば、少なくとも一人のユーザの目の部分（ｅｙｅ  ｐｏｉｎｔ）と、それらによって形成されるアイラインとすることができる。
【００１９】
この後、例えば、定義された基準点、すなわち、例えば、ユーザに対するディスプレイ構成要素の方向が、画像情報における方向の特徴から決定され得る。一度、基準点に対する、または一般的には、それ上に表示される情報の方向との相対的な関係におけるディスプレイ構成要素の方向が既知となれば、非常に好ましくは、少なくとも一人のユーザとの相対的な関係におけるディスプレイ構成要素上に表示される情報を方向合わせするための基準として使用されることも可能となる。
【００２０】
一つの実施形態にしたがえば、ディスプレイ構成要素の方向の状態は、インターバル毎に設定された方法において、定義され得る。この方法による方向の連続的な定義は、本質的ではないが、それは確実に可能である。しかし、従来のファインダー／ビデオ撮像におけるものより低い検出頻度でそれを実行することが可能である。インターバル毎にそういった定義を使用することで、特に、デバイスの電流消費、および全体的な処理能力において節約することができる。しかし、本発明にしたがった方法のアプリケーションは決して不合理であるロードを行なわない。
【００２１】
情報の方向が合理的な早いペースでディスプレイ構成要素の方向調整を継続する代わりに、インターバル毎の方向の定義が実行される場合、例えば、一つの実施形態にしたがうと、１から５秒ごと、好ましくは、例えば、２から３秒のインターバル毎に一度実行されるような方法において、非連続な認識は、実質的に方法の操作性またはデバイス使用の快適性に実質的に影響を与えない。しかし、例えば、ファインダー撮像のような連続的な撮像と比較すると、この方法から生じる電力消費における節約は飛躍的なものである。
【００２２】
例えば、目の部分のような顔の特徴を検出したり、それらによって定義されるアイラインを画像情報から定義するような、画像情報を解析するために使用される多くのアルゴリズムが、顔の特徴についてのアルゴリズムに関する分野で本発明にしたがう方法において少しも制限されずになされるそれらの選択から知られる。加えて、画像情報において、画像情報から検出される画像対象の方向の定義、およびディスプレイ構成要素上に表示される情報に基づいた方向が、多くの異なるアルゴリズム、および基準方向、基準点の選択を利用して実行され得る。
【００２３】
本発明にしたがう方法、システムおよびソフトウェアデバイスは、比較的単純に集積された、一つの実施形態にしたがって携帯可能な既存のデバイス、そして、目下設計されているデバイスの両方において実施され得る。方法は、純粋にソフトウェアレベルにおいて実装することが可能であるが、一方で、ハードウェアレベル、または両者の組み合わせにおいても可能である。しかし、最も好ましい実装方法は純粋なソフトウェアによる実装である。なぜなら、そうすることで、例えば、先行技術においてみられる機構はすべて排除され、デバイスの製造コストを削減し、そして価格もまた低下させるためである。
【００２４】
本発明にしたがう解決方法は、例えば、デバイスの処理能力やメモリ動作について著しく干渉しうる範囲への、カメラ手段を備えるデバイスの複雑性をほとんど増加させない。
【００２５】
本発明にしたがう方法、システム、デバイスおよびソフトウェアデバイスのその他の特徴は、添付された特許請求の範囲から明らかとなる。一方、達成される有利な点は、詳細な説明で詳細に示される。
【００２６】
以下開示される実施形態に制限されない本発明にしたがう方法、システム、デバイスおよび該方法を実行するためのソフトウェアデバイスについて、添付した図面を参照しながら、以下でより詳細に検討する。
【図面の簡単な説明】
【００２７】
【図１】図１は、携帯デバイスにおいて構成された本発明にしたがったシステムの一例の概略図を示す。
【図２】図２は、本発明に従った方法の一例のフローチャートを示す。
【図３ａ】図３ａは、本発明にしたがった方法の第１の実施形態を示す。
【図３ｂ】図３ｂは、本発明にしたがった方法の第１の実施形態を示す。
【図３ｃ】図３ｃは、本発明にしたがった方法の第１の実施形態を示す。
【図３ｄ】図３ｄは、本発明にしたがった方法の第１の実施形態を示す。
【図４ａ】図４ａは、本発明にしたがった方法の第２の実施形態を示す。
【図４ｂ】図４ｂは、本発明にしたがった方法の第２の実施形態を示す。
【発明を実施するための形態】
【００２８】
図１は、以下では移動局における実施形態の形で示される、携帯デバイス１０における本発明にしたがったシステムの一例を示す。本発明にしたがう方法およびシステムが適用され得る携帯ハンドヘルドのカテゴリーは、極めて広範であることに注意されたい。その他のそういった携帯デバイスの例としては、ＰＤＡタイプのデバイス、（例えば、Ｐａｌｍ、Ｖｉｚｏｒ）、パームコンピュータ、高度自動機能電話、携帯ゲーム機、音楽再生機、およびデジタルカメラが挙げられる。しかし、本発明にしたがうデバイスは、共通の特徴を有している。つまり、それらには何らかの形で取り付けられた、画像情報ＩＭＡＧＥｘを作成するためのカメラ手段１１を備えるか、備えることが可能なように構成される特徴を有している。このデバイスは、固定されて構成されたビデオ会議用の装置とすることも可能であり、この装置においては、話しているグループが、例えば、マイクの処理によって認識される。
【００２９】
図１に示される移動局１０は、それ自体は既知である構成要素であり、その送信／受信構成要素１５のような構成要素は、本発明に関して言えば無関係であり、ここでは詳細に説明する必要はない。移動局１０は、デジタル画像化チェーン（ｃｈａｉｎ）１１を有しており、それは、レンズを有しているものとして知られるカメラセンサ手段１１．１、およびデジタル静止画および／またはビデオ画像情報ＩＭＡＧＥｘを処理し、生成するように構成されたものとして知られたタイプの画像処理チェーン１１．２含む。
【００３０】
カメラセンサ１１．１を備える現実の物理的な全体は、デバイス１０において外れないように取り付けられるか、または一般的には、デバイス１０のディスプレイ２０に接続され外れないように取り付けられるか、または、取り外せるよう取り付けられる。加えて、センサ１１．１が対象に向けられるようにすることも可能である。一つの実施形態にしたがえば、カメラセンサ１１．１が、デバイス１０の少なくとも一人のユーザ２１に向けられ、または少なくとも向けられるように構成されることで、本発明にしたがった方法の好ましい形態を可能とする。移動局の場合、ディスプレイ２０とカメラ１１．１は、デバイス１０の同じ側に配置されるであろう。
【００３１】
デバイス１０の操作は、処理ユニットＤＳＰ／ＣＰＵ１７を用いることで制御される。とりわけ、デバイス１０のユーザインターフェイスＧＵＩ１８が、その手段によって制御される。さらに、ユーザインターフェイス１８は、ディスプレイドライバ１９を制御するために使用され、ディスプレイドライバ１９が、今度は、物理的なディスプレイ構成要素２０およびその上に示される情報ＩＮＦＯの操作を制御する。加えて、デバイス１０はキーボード１６をもまた含むことができる。
【００３２】
この方法を可能とする様々な機能がデバイス１０において構成されることで、本発明にしたがう方法が実施される。画像情報ＩＭＡＧＥｘのために選択された解析アルゴリズム機能１２が画像処理チェーン１１．２に接続される。一つの実施形態にしたがうと、このアルゴリズム機能１２は、一つ以上の選択された特徴２４を画像情報ＩＭＡＧＥｘから探し出す手段となるタイプのものになる。
【００３３】
カメラセンサ１１．１がこの方法の観点から好ましく対象に向けられれば、すなわち、デバイス１０のディスプレイ２０をよく見る少なくとも一人のユーザ２１に向けられれば、少なくともユーザ２１の頭部２２が、通常、カメラセンサ１１．１によって作成された画像情報ＩＭＡＧＥｘにおいて画像対象とされる。選択された顔の特徴は、ユーザ２１の頭部２２から探し出され、そこから一つ以上の選択された特徴２４またはそれらの組み合わせが探し出されるか、または定義される。
【００３４】
そういった顔の特徴の第１の例は、ユーザ２１の目の部分２３．１、２３．２である。複数の異なるフィルタリングアルゴリズムが存在し、その手段によって、ユーザ２１の目の部分２３．１、２３．２、またはそれらのうちの目でさえ特定され得る。例えば、選択された非線形フィルタリングアルゴリズム１２を用いることで、目の部分２３．１、２３．２が特定される。その手段を用いることで、両目の位置におけるくぼみ部が検出される。
【００３５】
本実施形態にしたがう場合、デバイス１０が機能１３をもまた備える。機能１３は、目の部分２３．１、２３．１の方向Ｏeyeline、または、一般的には、それらが形成する、この場合はアイライン２４である特徴を、カメラ手段１１．１によって作成される画像情報ＩＭＡＧＥｘにおいて特定する。この機能１３は、機能１４によって後を引き継がれる。この手段によって、ディスプレイ１４上に示される情報ＩＮＦＯが、画像情報ＩＭＡＧＥｘから特定される特徴２４の方向Ｏeyelineにしたがって方向を合わせられ、それは現在の操作状況に適したものとなる。これは、ディスプレイ２０の方向Ｏdisplayが、画像情報（ＩＭＡＧＥｘ）における特徴２４の方向Ｏeyelineから特定され得るものであり、そして、ディスプレイ２０によって示された情報が、好ましくはユーザ２１に関連して方向を合わせられることを意味する。
【００３６】
方向合わせ機能１４は、ユーザインターフェイスＧＵＩのタスクを処理する対応する機能１８を直接的に制御するために使用される。それは、デバイス１０のディスプレイ２０のために定義された方向Ｏeyelineにしたがい、情報ＩＮＦＯの方向を合わせるための対応する調整操作を実行する。
【００３７】
図２は本発明にしたがった方法の一例のフローチャートを示す。デバイス１０のディスプレイ構成要素２０上の情報ＩＮＦＯの方向が、デバイス１０の動作手順の中で自動化さ得る。その一方で、それは選択的に設定される動作とすることもでき、そうすると、適切な方法で、例えば、デバイス１０のユーザインターフェイスＧＵＩ１８から、それをアクチベートすることができる。さらに、このアクチベーションが、例えば、ビデオ会議またはマルチメディア機能のアクチベートに関連付けられるようなデバイス１０を使用するいくつかの特定の動作段階に関連付けられることもできる。
【００３８】
本発明にしたがう方法が、デバイス１０（段階２００）においてアクティブであるとき、デジタル画像ＩＭＡＧＥｘが、カメラセンサ１１．１によって連続的にまたは設定された周期的にキャプチャされる（段階２０１）。カメラセンサ１１．１は、好ましくは、デバイス１０のユーザ２１の方に向けるために、上述の方法によって構成されるので、カメラセンサ１１．１が作成する画像情報ＩＭＡＧＥｘの画像の対象は、例えば、少なくとも一人のユーザ２１の頭部２２である。これにより、ユーザ２１との相対的な関係においてディスプレイ２０および情報ＩＮＦＯの各方向状態を定義するとき、例えば、ユーザ２１の頭部２２は、一つの実施形態にしたがうと、基準点として設定され得る。したがって、ディスプレイ構成要素２０、および情報ＩＮＦＯの方向Ｏdisplay、Ｏinfoは、ユーザ２１の頭部２２の方向との相対的な関係において定義され得る。今度は、設定された方法で定義された画像情報ＩＭＡＧＥｘの方向Ｏimageに関連して、設定された方法で選択された特徴２４の方向Ｏeyelineを定義することで、頭部２２の方向が得られる。
【００３９】
次に、画像情報ＩＭＡＧＥ１、ＩＭＡＧＥ２が解析されることで、一つ以上の特徴２４が画像対象２２から、機能１２を用いることで検出される（段階２０２）。特徴２４は、例えば、幾何学的なものとすることができる。解析は、例えば、一つ以上の選択された顔の特徴解析アルゴリズムを用いることで実行される。ある意味では、顔の特徴解析は一つの手順であって、この手順において、例えば、目、鼻、および口の位置を、画像情報ＩＭＡＧＥｘから位置付けることができる手順である。
【００４０】
本実施形態に示される場合において、この選択された特徴は、ユーザ２１の目２３．１、２３．２によって形成されるアイライン２４である。その他の有力な特徴は、例えば、ユーザ２１の頭部２２によって形成される幾何学的な回転画像（例えば、楕円）とすることも可能である。そこから選択された基準点２２の配置が、極めて明確に特定され得る。さらに、顔から検出される鼻孔もまた、特定する特徴として選択することが可能である。それは、もう一度、鼻孔によって定義される鼻孔の線、口、またはこれらの特徴の組み合わせの問題である。このように、特定される特徴を選択する数多くの方法がある。
【００４１】
顔の特徴解析１２を実施するための一つの方法は、輝度の値に基づいて特定され得る、顔におけるこれらの特定の位置において形成された深いくぼみ部（これは、その他の顔の部分に比べてより暗い影の領域として現れる）に基づくものである。このくぼみ部の場所は、したがって、画像情報ＩＭＡＧＥｘから、ソフトウェアフィルタリングを用いることで検出され得る。非線形フィルタリングが、顔の特徴定義の前処理段階においてくぼみ部を特定するためにもまた使用される。顔の特徴解析についての幾つかの例が、詳細な説明の段落〔００１５〕において開示されている。本発明にしたがう方法に関連する顔の特徴解析の実施は、当業者にとっては、明らかな手続の操作であるため、これに関しては、詳細に述べないこととする。
【００４２】
一度、選択された顔の特徴２３．１、２３．２が画像情報ＩＭＡＧＥｘから検出されると、次のステップは、画像情報ＩＭＡＧＥｘに関連してそれらの方向Ｏeyelineを定義するために機能１３を使用するステップである（段階２０３）。
【００４３】
一度画像情報ＩＭＡＧＥｘにおける特徴２４の方向Ｏeyelineが決定されると、設定された方法によって、そこから、基準点、すなわち、ユーザ２１の頭部である画像対象２２との相対的な関係におけるディスプレイ構成要素２０の方向Ｏdisplayを決定することも可能である。当然に、これは、選択された基準点、定義された特徴、およびそれらの方向、そして、一般的には、選択された方向の向きに依存する。
【００４４】
対象方向Ｏitgtが、選択された基準点２２に関連してディスプレイ２０上に表示された情報ＩＮＦＯのために設定されることで、ディスプレイ２０上の情報ＩＮＦＯを、最も適切な方法で、ディスプレイ２０の方向Ｏdisplayにしたがって方向合わせをする。対象方向Ｏitgtは、ディスプレイ構成要素２０および情報ＩＮＦＯの方向Ｏdisplay、Ｏinfoを定義する基準点２２にしたがって固定され得る。この場合、対象方向Ｏitgtは、したがって、デバイス１０との相対的な関係において、デバイス１０のユーザ２１の頭部２２の方向に対応する。
【００４５】
さらに、一度、選択された基準点２２からの相対的なディスプレイ２０の方向Ｏdisplayが既知となると、選択された基準点２２からの相対的なディスプレイ２０上に表示される情報ＩＮＦＯの方向Ｏinfoを決定することもまた可能である。これは、デバイス１０のディスプレイ２０を制御する機能１８、１９が、情報ＩＮＦＯのデバイス１０のディスプレイ２０上の方向Ｏinfoを常に知ることができるようにするためである。
【００４６】
段階２０４においては、比較操作が行なわれる。ディスプレイ構成要素２０上に表示される情報ＩＮＦＯの方向Ｏinfoが、選択された基準点２２との相対的な関係において、そのために設定された対象方向Ｏitgtと、設定された方法において、違っていれば、ディスプレイ構成要素２０上に表示される情報ＩＮＦＯにおいて、配置変更)Ｏが実行される。次に、要求される配置変更)Ｏが定義される（段階２０５）。その変更の結果、ディスプレイ構成要素２０上に表示される情報ＩＮＦＯの方向Ｏinfoが、選択された基準点２２との相対的な関係において、そのために設定された対象方向Ｏitgtと一致させられる（段階２０６）。
【００４７】
情報ＩＮＦＯの方向Ｏinfoおよび対象方向Ｏitgtの間に、その設定にしたがって、違いが無ければ、ディスプレイ２０上に表示される情報ＩＮＦＯの方向Ｏinfoは適切である、すなわち、この場合、情報ＩＮＦＯはユーザ２１のアイライン２４に対して正しい角度で方向合わせされているということである。これを確定した後、予定される遅延段階（２０７）の後に（後述)、段階（２０１）へ戻ることができる。段階（２０１）においては、新たな画像情報ＩＭＡＧＥｘがキャプチャされることで、ユーザ２１とデバイス１０のディスプレイ構成要素２０の間の方向の関係を調べることができる。その設定にしたがった違いが、例えば、ユーザ２１のアイライン２４が頭部２２の垂直方向に対する完全に正しい角度ではない状態として、（すなわち、頭部の断面に対して少し異なるレベルに位置している）定義され得る。ディスプレイ構成要素２０によって表示される情報ＩＮＦＯを再方向合わせするために測定を要求しない。
【００４８】
以下に、本発明にしたがう方法において使用される配置アルゴリズムのＣ擬似コードの例を、図３〜４の実施形態を参照しながら記載する。本発明にしたがうシステムにおいては、そういったソフトウェアの実装が、例えば、機能１４において行なわれ得る。この手段によって、ディスプレイ２０の方向設定タスクは自動的に処理される。本実施形態において、垂直および水平方向のみが扱われる。しかし、当業者にとっては、このコードが他の方向についても適用でき、それにより、基準点２２と相対的な関係において、ディスプレイ構成要素２０の方向の向きを考慮することが明らかであろう（水平時計回り／水平反時計回り＆垂直標準／垂直上下）。
【００４９】
第１に、方向を制御するのに必要ないくらかの方向調整選択がコードにおいて作られ得る。
ｉｆ(Ｏimage ＝＝ ｖｅｒｔｉｃａｌ) → Ｏdisplay ＝ ｖｅｒｔｉｃａｌ;
ｉｆ(Ｏimage ＝＝ ｈｏｒｉｚｏｎｔａｌ) → Ｏdisplay ＝ ｈｏｒｉｚｏｎｔａｌ;
【００５０】
図３ａ〜４ｂを参照すると、そのような定義の後に、もし、カメラ１１．１が画像情報ＩＭＡＧＥ１をキャプチャするために使用されており、画像情報ＩＭＡＧＥ１が垂直（縦長書式）ポジションである場合には、デバイス１０もまた、選択された基準点、すなわち、この場合ユーザ２１の頭部２２と相対的な関係で垂直ポジションとなる。これに対して、もし、画像情報ＩＭＡＧＥ２が、水平（横長書式）位置であるときは、定義を決定する設定された方向に基づいて、選択された基準点２２と相対的な関係においてデバイス１０が水平ポジションとなる。
【００５１】
次に、いくつかの初期定義がなされ得る。
ｓｅｔ Ｏitgt，Ｏinfo ＝ ｖｅｒｔｉｃａｌ；
【００５２】
そういった初期定義の後に、情報ＩＮＦＯの方向Ｏinfoの初期設定でもあるが、選択された基準点２２との相対的な関係においてディスプレイ２０上に表示される情報ＩＮＦＯの対象方向Ｏitgtは垂直である。
【００５３】
次に、カメラ手段１１、１１．１を使用して、（ｉ）画像情報ＩＭＡＧＥｘがキャプチャされ、（ｉｉ）画像情報ＩＭＡＧＥｘが解析されることで、選択された幾何学的な特徴２４を検出し、（ｉｉｉ）画像情報ＩＭＡＧＥｘにおけるその方向Ｏeyelineを定義する。
（ｉ）      ｃａｐｔｕｒｅ＿ｉｍａｇｅ（ＩＭＡＧＥ）；
（ｉｉ）    ｄｅｔｅｃｔ＿ｅｙｅｐｏｉｎｔｓ（ＩＭＡＧＥ）；
（ｉｉｉ）  ｄｅｔｅｃｔ＿ｅｙｅｌｉｎｅ（ＩＭＡＧＥ，ｅｙｅｐｏｉｎｔｓ）；
【００５４】
次の段階として、画像情報の配置定義Ｏimageとの相対的な関係において、カメラ１１．１によってキャプチャされた画像情報ＩＭＡＧＥｘ（ｘ＝１〜３）から定義される選択された幾何学的な特徴２２の方向Ｏeyelineを検討し、これに基づいて、選択された基準点２２との関係においてディスプレイ２０上に表示される情報ＩＮＦＯのＯinfoへの変更操作を指示する。記述された二段階の実施形態を考慮すると、ディスプレイ２０の方向Ｏdisplayは、選択された基準点、すなわちユーザ２１との相対的な関係において、垂直または水平である。実施形態の第１の段階においては、次のことを検討することができる。
Ｉｆ（（Ｏeyeline ２ Ｏimage） ＆＆ （Ｏdisplay ！＝ Ｏinfo）） ｛
ｓｅｔ＿ｏｒｉｅｎｔａｔｉｏｎ（Ｏdisplay，Ｏinfo，Ｏitgt）；
｝
【００５５】
換言すると、コードの初期段階において作られる初期定義および基準点２２の選択された幾何学的な特徴２４の方向性によって、この段階は図３ａに示される状態を表す。この場合、デバイス１０および作られる方向定義によるそのディスプレイ構成要素２０が、ユーザとの相対的な関係において垂直である。カメラ手段１１、１１．１が、垂直ポジションにおいてデバイス１０のユーザ２１の画像ＩＭＡＧＥ１をキャプチャするために使用される場合、（初期設定において作成される画像ＩＭＡＧＥ１の配置定義にも起因して）画像ＩＭＡＧＥ１から検出されるユーザ２１のアイライン２４の方向Ｏeyelineが、画像ＩＭＡＧＥ１の方向Ｏimageとの相対的な関係において正しい角度にされる。
【００５６】
しかし、この場合、後の状況検査は有効ではない。これは、作成される方向設定に起因して、画像ＩＭＡＧＥ１が垂直であるとして特定されるためであり、その結果、すでに初期段階で作成された定義は、基準点２２と相対的な関係においてＯdisplayもまた垂直であるということである。これらの結論に関連して、情報ＩＮＦＯの方向Ｏinfoもまた、基準点２２との相対的な関係において垂直であるとして初期化されたという事実のために許可がなされた場合、後の状況調査は有効でなく、情報ＩＮＦＯは正しい方向、すなわち、選択された基準点２２との相対的な関係において垂直である方向においてディスプレイ構成要素２０が既に表示される。
【００５７】
しかし、この状態調査段階が図３ｄに示される状態に適用される場合、後の状況調査もまた有効である。図３ｄにおいて、デバイス１０は、ユーザ２１との相対的な関係において、図３ｃ（図３ｃにおいて、ユーザ２１との相対的な関係において情報ＩＮＦＯの方向Ｏinfoは正しい）に示される水平ポジションから垂直ポジションにされる。この結果、ユーザ２１との相対的な関係においてディスプレイ２０上に示される情報ＩＮＦＯの方向Ｏinfoは、まだ水平である。すなわち、対象方向Ｏitgtとは異なる。ここで、状況調査の後の状態は、また真である。なぜなら、ディスプレイ２０の方向Ｏdisplayは、設定された方法において、情報ＩＮＦＯの方向Ｏinfoとは異なるためである。この結果、情報のための方向合わせ手順は、ディスプレイ２０上で繰り返される（ｓｅｔ＿ｏｒｉｅｎｔａｔｉｏｎ）。しかし、それについては、詳細に説明する必要は無い。なぜなら、その動作は、当業者にとっては明らかだからである。この動作の結果として、図３ａに示される状況に到達する。
【００５８】
この手順は、第２のｉｆ調査段階を含んでおり、予め作成された初期設定選択および調整に基づいて、例えば、以下のように形成され得る。
Ｉｆ（（Ｏeyeline ｜｜ Ｏimage） ＆＆ （Ｏdisplay ＝＝Ｏinfo）） ｛
ｓｅｔ＿ｏｒｉｅｎｔａｔｉｏｎ（Ｏdisplay，Ｏinfo，Ｏitgt）；
｝
【００５９】
これは、例えば、図３ｂに示される状況を処理するために使用される。この場合、デバイス１０と、それと同時にそのディスプレイ２０もまた、ユーザ２１との相対的な関係において、図３ａに示される垂直ポジションから水平ポジションへ回転される（垂直−＞水平）。この方向変更の結果、ディスプレイ２０に表示される情報ＩＮＦＯがユーザ２１との相対的な関係において、水平に配置される。すなわち、誤ったポジションである。
【００６０】
画像ＩＭＡＧＥ２においてユーザ２１のアイライン２４の方向Ｏeyelineが初期設定において定義された画像方向Ｏimageに平行であることが、このＩｆ文において決定される。ここから、デバイス１０のディスプレイ構成要素２０がユーザ２１との相対的な関係において水平であることが推測される（既になされた初期設定に基づいて）。さらに、Ｉｆ文において後者の状況を調査する場合、基準点、すなわちユーザ２１との相対的な関係においてディスプレイ２０の方向が、ディスプレイ２０に表示された情報ＩＮＦＯと水平、および平行であることがわかる。これは、情報ＩＮＦＯがそのために設定された対象方向Ｏitgtになく、したがって、再方向合わせ手順（ｓｅｔ＿ｏｒｉｅｎｔａｔｉｏｎ）が情報ＩＮＦＯのためにディスプレイ２０上で実行されなければならないことを意味する。これは、しかし、詳細には説明しない。なぜならこの動作は当業者にとっては明らかであり、ディスプレイドライバエンティティ１９において、多くの異なる方法によって実行され得るからである。この場合、最終的な結果は、図３ｃにおいて示される状態である。
【００６１】
さらに、一つの実施形態にしたがうと、もし、デバイス２０のディスプレイ構成要素２０だけが追加的に方向を変更することに対応する場合、長方形方向（縦長書式、横長書式）のみの変更であるその他の調査が導出され得る。図４ａおよび４ｂがそういった実施形態に関連する状態の例を示す。一つの実施形態にしたがうと、これは、例えば以下に示すような方法で、擬似コードレベルで表すことができる。
ｄｅｆｉｎｅ＿ｏｒｉｅｎｔａｔｉｏｎ＿ｄｅｇｒｅｅ（Ｏimage，Ｏeyeline）；
【００６２】
概略的には、この手順においては（しかし、詳細には説明しない）、アイラインの回転度αが、例えば、選択された画像ＩＭＡＧＥ３の方向Ｏimage（縦長書式／横長書式）との相対的な関係において定義される。これから、デバイス１０との相対的な関係において、したがって、ディスプレイとの相対的な関係においてもユーザ２１のポジションを確定することが可能である。要求される方向変更が、前の段階におけるものと同様の原理を利用することで、しかし、画像方向Ｏimage、および可能な追加的パラメータとして幾何学的な特徴２４の方向Ｏeyelineとの間の度の数とともに、実行される。
【００６３】
さらにもう一つの最後の段階として、該手順における遅延インターバルを置くことができる。
ｄｅｌａｙ（２ ｓｅｃｏｎｄｓ）；
このあと、画像キャプチャ段階（ｃａｐｔｕｒｅ＿ｉｍａｇｅ）へ戻ることとすることができる。
【００６４】
もし、幾人かの人がディスプレイ２０上に表示される情報ＩＮＦＯを調査するデバイス１０の隣に居る場合に、いくつかの顔が画像情報ＩＭＡＧＥｘにおいて検出され得る。この場合、画像情報ＩＭＡＧＥｘから、例えば、その中で検出されるべき顔、そしてそれらによって定義されるアイライン２４の平均的な方向を定義することが可能である。これは、ディスプレイ２０の方向Ｏdisplayを定義する特徴に対応するために設定する。この平均的な特徴２４の方向Ｏeyelineに基づいて、ディスプレイ２０の方向Ｏdisplayが定義され、そして、これに基づき、情報ＩＮＦＯはディスプレイ２０上で、適切なポジションへ方向合わせされる。もう一つの可能性としては、もし、ディスプレイ２０の方向が機能を用いて明確に定義することができない場合は、ディスプレイ２０上で、情報ＩＮＦＯを例えば、デフォルト方向へ方向合わせすることである。
【００６５】
デバイス１０のディスプレイ２０の現在の方向Ｏdisplayを、画像情報ＩＭＡＧＥｘから、基準点２２との相対的な関係において特定する上記の例は、単なる例示である。様々な画像情報解析アルゴリズム、およびそれらによって定義される対象の特定および取り扱いは、当業者にとっては明らかであろう。加えて、デジタル画像処理においては、画像情報縦長書式／横長書式を適用する必要性が無い。代わりに、センサ１１．１によって生成される画像情報ＩＭＡＧＥｘはすべての方向について同じ幅とすることができる。この場合、画像センサ１１．１の一つの辺は、基準辺として選択されることができ、これとの相対的な関係においてディスプレイ構成要素２０および選択された特徴２４の方向が定義される。
【００６６】
一般的に、ディスプレイ２０上に表示される情報ＩＮＦＯに関連するディスプレイ２０の方向Ｏdisplayを定義することは十分である。もし、ディスプレイ２０の方向Ｏdisplayが定義され、ディスプレイ２０に関連してディスプレイ２０上に表示される情報ＩＮＦＯの現在の方向Ｏinfoが既知である場合、情報ＩＮＦＯの方向Ｏinfoはそのために設定された対象方向Ｏitgtに合致すると結論付けられる。したがって、本発明にしたがう方法は、上述の基準点方法を使用するために必要であろうそういった方法において適応される。
【００６７】
これにより、選択された特徴の方向を、カメラセンサ１１．１によって生成された画像情報ＩＭＡＧＥｘから定義するためのより高度に開発された解決方法もまた、当業者にとっては明らかであろう。そして、例えば、センサマトリクス１１．１の調和よく組み合わされたものによって形成された方向の特定に基づくことができる。
【００６８】
既に前述したように、基本的に連続的に実行されるデバイス１０のディスプレイ構成要素２０の方向の特定の代わり、特定は、設定された方法により、インターバル毎に行なわれることとすることもできる。実施形態にしたがうと、方向の特定は、１〜５秒インターバル毎で実行されることができ、例えば、２〜４秒インターバル、好ましくは２〜３秒インターバルとすることもできる。
【００６９】
インターバルの使用は、多くの異なる機能にも適用することができる。第１の実施形態にしたがうと、これはプロセッサ１７のクロック周波数に結合され、または、第２の実施形態にしたがうと、マルチメディアクリップに、または、ビデオ会議機能に結合される。先行する状態操作は、インターバルの使用に影響をも与える。そして、デバイス１０を使用する間に変更することもできる。デバイス１０が同じ方向で長期間使用され、その方向が突然変更される場合、配置の定義の周期が増加される。なぜなら、先行の長い期間の方向へすぐに戻ると考えられるためである。
【００７０】
画像情報ＩＭＡＧＥｘおよび／方向の検出を使用することで実行される、そういったいくらか遅延された、さもなければ少ない頻度の方向合わせ実行の使用は、実際には、デバイス１０の有用性については深刻な不利点を有さない。代わりに、例えば、カメラ手段１７の連続的な検出周期より頻度の少ない撮像および／または検出を使用することで実行されるそういったインターバル毎の撮像および／または検出は、例えば、連続的なファインダまたはビデオ撮像（例えば１５〜３０フレーム毎秒）において使用される撮像周波数と比較すると、より低い電流消費であるという利点を達成する。
【００７１】
個別のフレームキャプチャまたは実質的に頻度の少ない連続的な検出（例えば、１〜５（１０）フレーム毎秒）の代わりに、既知の周期であるような連続的な撮像を、例えば、設定された時間インターバル毎に頻度の少ない周期で実行することができる。先行技術にしたがう撮像は、例えば前述の期間、例えば２〜４秒の間の、例えば、１秒間実行される。一方で、単一期間においてほんの少ない画像フレームのキャプチャもまた考えられる。しかし、おそらく少なくともいくらかの画像フレームが、単一の撮像セッションのために要求され、それにより、解析される画像情報ＩＭＡＧＥｘを形成するために適しているカメラパラメータを調整する。
【００７２】
さらにもう一つの追加的な利点としては、デバイス１０のその他の操作のためのデバイスリソース（ＤＳＰ／ＣＰＵ）の節約が達成される。したがって、プロセッサパワーで、デバイスリソース（ＤＳＰ／ＣＰＵ）の３０〜９５％、例えば、５０〜８０％、しかし、好ましくは９０％未満（＞８０％）が方向定義／撮像のために予約され得る。そういった頻度の少ないインターバルで実行される定義が、制限された処理能力、電力容量によって特徴付けられる携帯デバイス、例えば、移動局、およびデジタルカメラの場合において特に重要である。
【００７３】
上記詳細な説明および関連する図は、本発明を説明することのみを目的とすることが理解されなければならない。本発明は、したがって、上述の実施形態、または、特許請求の範囲に述べられたものにのみ制限されることは無い。その代わりに、添付された特許請求の範囲において定義される本発明の思想の範囲内において可能な本発明の多くの異なる変形および調整が当業者には明らかであろう。
【図１】
2010016907.tif 000003
【図２】
2010016907.tif 000004
【図３ａ】
2010016907.tif 000005
【図３ｂ】
2010016907.tif 000006
【図３ｃ】
2010016907.tif 000007
【図３ｄ】
2010016907.tif 000008
【図４ａ】
2010016907.tif 000009
【図４ｂ】
2010016907.tif 000010
【手続補正書】
【提出日】平成21年10月22日(2009.10.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ディスプレイを含む携帯デバイスに接続されたカメラ手段によって画像対象の複数の画像を取得し、
電力節約のために所定のインターバルでディスプレイの方向に対する画像対象の方向を定義するために、画像対象の少なくとも一つの選択された特徴を検出するために、前記画像の画像情報を解析し、
定義された画像対象の方向に基づいて縦長書式及び横長書式方向から選択された画像対象の方向に最も近い方向にディスプレイ上に表示された情報の方向を変更することを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、少なくとも一人のユーザの頭部が画像情報の画像対象であることを特徴とする方法。
【請求項３】
請求項２に記載の方法であって、画像対象の選択された特徴が少なくとも一人のユーザの顔の複数の特徴を含み、当該顔の複数の特徴は顔の特徴解析を使用することにより解析され、少なくとも一つの顔の特徴を検出することを特徴とする方法。
【請求項４】
請求項３に記載の方法であって、前記顔の特徴が、少なくとも一人のユーザの目の部分、鼻または口であって、対応して、前記選択された特徴が、目の部分、鼻孔、口によって定義されるアイライン、鼻孔ライン、口ラインであることを特徴とする方法。
【請求項５】
請求項３のいずれか一項に記載の方法であって、少なくとも二人のユーザが画像情報から検出され、それらのユーザの顔の特徴から平均値を定義し、前記特徴に対応するように設定されることを特徴とする方法。
【請求項６】
請求項１から４のいずれか一項に記載の方法であって、前記方向の定義は１〜５秒のインターバルで実行されることを特徴とする方法。
【請求項７】
請求項１から５のいずれか一項に記載の方法であって、同じ方向でデバイスが所定時間使用された後の方向の変更に応答して、前記デバイスの方向の定義の頻度を増加させることを更に含むことを特徴とする方法。
【請求項８】
情報を表示するディスプレイと、
画像対象の複数の画像を取得する前記デバイスに接続されたカメラ手段と、
電力節約のために所定のインターバルでディスプレイの方向に対する画像対象の方向を定義するために、画像対象の少なくとも一つの選択された特徴を検出するために、前記画像の画像情報を解析するプロセッサ部と、
定義された画像対象の方向に基づいて縦長書式及び横長書式方向から選択された画像対象の方向に最も近い方向にディスプレイ上に表示された情報の方向を変更するディスプレイドライバと
を備えることを特徴とする携帯装置。
【請求項９】
請求項８に記載の装置であって、少なくとも１人のユーザの頭部が前記画像情報の画像対象であることを特徴とする装置。
【請求項１０】
請求項８に記載の装置であって、当該携帯装置は、同じ方向で当該携帯装置が所定時間使用された後の方向の変更に応答して、前記デバイスの方向の定義の頻度を増加させることを特徴とする装置。
【請求項１１】
請求項９に記載の装置であって、前記顔の特徴が少なくとも一人のユーザの目の部分、鼻または口であって、対応して前記選択された特徴が目の部分、鼻孔または口によって定義されるアイライン、鼻孔ライン、口ラインであることを特徴とする装置。
【請求項１２】
請求項１１に記載の装置であって、少なくとも二人のユーザが画像情報から検出され、それらのユーザの顔の特徴から平均値が定義され、それに基づいて、画像対象の方向が定義されることを特徴とする装置。
【請求項１３】
請求項１２に記載の装置であって、前記プロセッサユニットは、少なくとも二人のユーザを画像情報から検出し、それらのユーザの顔の特徴から平均値が定義され、当該平均値に基づいて、画像対象の方向が定義されることを特徴とする装置。
【請求項１４】
請求項７から１３のいずれか一項に記載の装置であって、プロセッサのクロック周波数、マルチメディアクリップを視聴する期間及びビデオ会議の時間の少なくとも１つに従うことを特徴とする装置。
【請求項１５】
請求項７から１３のいずれか一項に記載の装置であって、前記プロセッサユニットは１〜５秒のインターバルで方向を定義することを特徴とする装置。
【請求項１６】
請求項７から１３のいずれか一項に記載の装置であって、前記装置のユーザがマルチメディアクリップを視聴しているときまたはビデオ会議に出席しているときに、前記プロセッサユニットは、前記方向の定義を実行することを特徴とする装置。
【請求項１７】
携帯装置に、
画像対象の少なくとも一つの選択された特徴を検出するための少なくとも一つのアルゴリズムを適用して、前記携帯装置に接続されたカメラ手段によって形成された画像情報を解析し、
電力節約のために所定のインターバルで画像対象の前記少なくとも一つの選択された特徴に基づいてディスプレイの方向に対する画像対象の方向を定義し、
前記画像対象の定義された方向に基づいて縦長書式及び横長書式から選択された前記画像対象の方向に最も近い方向にディスプレイ上に表示された情報の方向を画像対象の方向に変更する
手順を実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。