(57)【要約】電子機器、好ましくは携帯電話の形態をした電子機器であり、支持構造体およびこの支持構造体により支持されたカメラを備える。方向検出器がカメラに接続されている。方向検出器はカメラで撮像された画像の特徴を特定するように構成され、たとえば使用者の両目や口であり、基準方向に対する回転方向を決定するように構成されている。支持構造体上に支持された表示装置はデータ表現を表示するように構成されている。さらに決定された回転方向に依存する方向となるようにデータ表現を表示するように構成されている。このように、データ表現は機器がどのような回転方向で保持されているか、またいつ電子機器の使用者がデータ表現を見るときに、電子機器がどのような回転方向に向けて保持されているかによってポートレート用の方向や風景用の方向に回転させて表示できる。【選択図】なし
2010525425.tif 000002
【特許請求の範囲】
【請求項１】
電子機器であって、
支持構造体と、
前記支持構造体に支持されたカメラと、
前記カメラに接続され、前記カメラで撮像された画像の特徴を識別し、基準方向に対する前記撮像画像の回転方向を決定するように構成された方向検出器と、
前記支持構造体に支持され、前記決定された回転方向に依存した方向でデータ表現を表示するように構成された表示装置と
を備えることを特徴とする電子機器。
【請求項２】
前記カメラは画像を連続して撮像するように構成されていることを特徴とする請求項１に記載の電子機器。
【請求項３】
前記方向検出器は前記カメラによって撮像された画像から３つまたはそれ以上の特徴を識別するように構成されていることを特徴とする請求項１に記載の電子機器。
【請求項４】
前記方向検出器は人間の使用者の画像的な特徴を識別するように構成されていることを特徴とする請求項１に記載の電子機器。
【請求項５】
前記画像的な特徴は顔の特徴を含むことを特徴とする請求項４に記載の電子機器。
【請求項６】
前記画像的な特徴は目を含むことを特徴とする請求項４に記載の電子機器。
【請求項７】
前記画像的な特徴は口を含むことを特徴とする請求項４に記載の電子機器。
【請求項８】
前記画像的な特徴はあごを含むことを特徴とする請求項４に記載の電子機器。
【請求項９】
前記画像的な特徴はまゆげを含むことを特徴とする請求項４に記載の電子機器。
【請求項１０】
前記画像的な特徴は人間である使用者のシルエットを含むことを特徴とする請求項４に記載の電子機器。
【請求項１１】
前記データ表現はデータを含むことを特徴とする請求項１に記載の電子機器。
【請求項１２】
前記データは文章または視覚的な画像の少なくとも一方を含むことを特徴とする請求項１１に記載の電子機器。
【請求項１３】
前記方向検出器は垂直方向及び水平方向に対する撮像画像の方向を検出するように構成され、前記垂直方向と前記水平方向とのうちどちらの方向が前記カメラの撮像画像の向きにもっとも整合しているかに応じて、前記支持構造体の向きが前記垂直方向であるか前記水平方向であるかを決定するように構成されることを特徴とする請求項１に記載の電子機器。
【請求項１４】
前記電子機器は、携帯無線通信装置、移動型無線端末、携帯電話、セルラー電話、ページャー、通信機、電子手帳、スマートフォン、デジタルカメラ、デジタル記録媒体再生機、携帯ゲーム機、ＧＰＳ装置及びコンピューターのいずれか１つであることを特徴とする請求項１に記載の電子機器。
【請求項１５】
電子機器の表示装置に表示されるデータ表現の表示方法を調整する方法であって、
前記電子機器の支持構造体に支持されたカメラを用いて画像を撮像するステップと、
前記カメラによって撮像された画像の特徴を識別するステップと、
基準方向に対しする前記カメラで撮像された画像の回転方向を決定するステップと、
前記決定された回転方向に依存した方向で前記電子機器の表示装置上に前記データ表現を表示するステップと
を備えることを特徴とする方法。
【請求項１６】
画像を連続的に撮像するステップをさらに備えることを特徴とする請求項１５に記載の方法。
【請求項１７】
前記装置の使用者に前記カメラを向けるステップを備えることを特徴とする請求項１５に記載の方法。
【請求項１８】
前記カメラによって撮像された画像から３つかそれ以上の特徴を識別するステップを備えることを特徴とする請求項１５に記載の方法。
【請求項１９】
人間である使用者の画像的な特徴を識別するステップを備えることを特徴とする請求項１５に記載の方法。
【請求項２０】
前記画像的な特徴は顔の特徴を含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記画像的な特徴は目を含むことを特徴とする請求項１９に記載の方法。
【請求項２２】
前記画像的な特徴は口を含むことを特徴とする請求項１９に記載の方法。
【請求項２３】
前記画像的な特徴はあごを含むことを特徴とする請求項１９に記載の方法。
【請求項２４】
前記画像的な特徴はまゆげを含むことを特徴とする請求項１９に記載の方法。
【請求項２５】
前記画像的な特徴は人間使用者のシルエットを含むことを特徴とする請求項１９に記載の方法。
【請求項２６】
前記データ表現はデータを含むことを特徴とする請求項１５に記載の方法。
【請求項２７】
前記データは文章または視覚的な画像の少なくとも一方を含むことを特徴とする請求項２６に記載の方法。
【請求項２８】
垂直方向及び水平方向に対して前記カメラで撮像された画像の方向を検出するステップと、前記垂直方向と前記水平方向とのうちどちらの方向が前記カメラの撮像画像の向きにもっとも整合しているかに応じて、前記支持構造体の向きが前記垂直方向であるか前記水平方向であるかを決定するステップとをさらに備えることを特徴とする請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は電子機器およびこの電子機器の表示装置にデータや情報を表示する方法に関し、特にデータ表現が電子機器の方向によってもっとも適切な表示方法で表示されるように電子機器の表示装置に表示されるデータ表現の回転方向を調整することに関する。
【背景技術】
【０００２】
従来の可搬型電子機器（たとえば携帯電話、可搬型媒体読取装置または可搬型ゲーム機器）は通常それによって可搬型電子機器が使用され動作されるユーザーインターフェースが備えられている。このユーザーインターフェースは通常電子機器にデータや情報および指示を入力するための入力インターフェースを有している。またこのユーザーインターフェースはたとえばデータを表示するための表示装置という形態の出力インターフェースを有する。この明細書に用いられているように、“Ｄａｔａ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ（データ表現）”という用語は表示装置に表示又は展開されるいかなるデータや情報の外観を指し示すために用いられている。このデータ表現は文章や可視画像を含んでもよい。このように、データ表現はそれらのみに限定されるわけではないが、メニューリスト、カメラで撮像されたデジタル写真画像、ＳＭＳメッセージ、ＭＭＳメッセージ、ＷＥＢのブラウザー、テレビ放送を含んでもよい。したがって、従来の可搬型電子機器の使用者はその機器の表示装置を、とりわけ、文章、視覚画像、テレビ放送やビデオ等を見るために使用することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第５９００９０９号明細書
【特許文献２】米国特許出願公開第２００４／００１７５０６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
可搬型電子機器の表示装置に表示されるとき縦長または横長の表示方法かによって“ｐｏｒｔｒａｉｔ（ポートレート）“や”ｌａｎｄｓｃａｐｅ（風景）”という用語がデータ表現の異なる表示方法を意味する言葉としてしばしば用いられる。ポートレート画像的表示方法は表示されるデータ表現の高さが幅よりも大きい場合を意味し、反対に風景的表示とは表示されるデータ表現の幅が高さより大きいものを意味し、ポートレート画像的表示のものより幅広のデータ表現に用いられてもよい。従来の可搬型電子機器の表示装置は比較的大きさが小さく、それゆえそのような表示装置でデータ表現を見るのは使用者にとってちょっとみづらい面がある。そのため使用者はしばしばデータ表現の表示方法を横向きの風景的表示か縦向きのポートレート画像的表示を自由に選べるようにする。たとえばテレビ放送のようなデータ表示は風景的表示とし、メニューリストのようなデータ表示はポートレート画像的表示が適切であるとしばしば考えられている。したがって、多くの従来例の携帯電話において、使用者は携帯電話の回転方向に応じて風景的表示とポートレート画像的表示とのいずれかを手動で選択するためにソフトウエアアプリケーションを使用する選択肢を有する。しかしながらこれは手動動作であるため、きわめて時間のかかる作業となる。時間のかかる作業というのは一部の使用者にとっては大変迷惑なものである。
【０００５】
したがって、電子機器の回転方向によってデータ表現が最適な表示方法で表示装置に表示されるように、電子機器の表示装置に表示されるデータ表現のより自動的な調整手段や方法が必要とされるであろう。データ表現の表示方法の調整は好ましくは使用者の少しの介在、好ましくは全く介在なしに達成されるべきである。
【０００６】
可能性のある解決方法は可搬型電子機器の回転方向を検知する水銀の充填されたスイッチ、遮光型のスイッチ、または重力検知型のスイッチ等を有する可搬型電子機器を備えることである。検知された可搬型電子機器の回転方向に基づいて、電子機器の回転方向によってデータ表現が最適な形で表示されるように、電子機器の表示装置に表示されるデータ表現の調整が行われる。前記したスイッチのような物理的な補助装置を用いることはたとえば、Ｐａｒｕｌｓｋｉ  ｅｔ  ａｌに付与され米国特許第５９００９０９号明細書またはＬｉｖｉｎｇｓｔｏｎの米国特許出願公開第２００４／００１７５０６号明細書等のデジタルカメラの分野で示唆されている。しかしながら、スイッチのような方向検知のための物理的な補助手段を有することはコストを増大したり、問題となる可搬型電子機器の内部空間を占有することにつながる。それゆえ、スイッチのような方向検知のための物理的な補助装置を用いることは特に携帯電話機、可搬型媒体再生装置や、手持ちのゲーム機器のような小型の可搬型電子機器では欠点になるであろう。
【課題を解決するための手段】
【０００７】
前記および以下の記載にしたがって、本発明のひとつの態様は前記した従来技術の欠点や不利益を単独でまたは組み合わせによって軽減もしくは除去する改良された手段または方法を提供することである。本発明の他の態様は、たとえば、携帯電話のような電子機器の表示装置に表示されるデータ表現の表示方法の調整のための改良された手段や方法を提供することである。
【０００８】
発明の実施例によると、以下の要件を有する電子機器で、支持構造体、この支持構造体に支持されたカメラ、カメラに接続されカメラによって撮像された画像の特徴を識別し基準方向に対して撮像された画像の回転方向を決定するように構成された方向検知器、前記支持構造体に支持された表示装置を備え、前記表示装置は決定された回転方向による表示方法によってデータ表現を表示するように構成される。
【０００９】
カメラは画像を連続して撮像するように構成されてもよい。
【００１０】
方向検知器はカメラによって撮像された画像から３つまたはそれ以上の特徴を識別するように構成されてもよい。
【００１１】
方向検知器は人間である使用者の画像的な特徴を識別するように構成されてもよい。
【００１２】
画像の特徴は顔の特徴を含んでもよい。
【００１３】
画像の特徴は目を含んでもよい。
【００１４】
画像の特徴は口を含んでもよい。
【００１５】
画像の特徴はあごを含んでもよい。
【００１６】
画像の特徴はまゆげを含んでもよい。
【００１７】
画像の特徴は使用者のシルエットを含んでもよい。
【００１８】
データ表現はデータそのものを含んでもよい。
【００１９】
データは文章およびまたは視覚的な画像を含んでもよい。
【００２０】
方向検知器は垂直および水平方向に対する撮像画像の方向を検出するように構成されてもよく、垂直方向と水平方向のうちカメラの撮像画像の向きに対してにもっとも整合する方向に応じて支持構造体の向きが垂直方向であるかそれとも水平方向であるかを決定する。
【００２１】
電子機器は以下のグループうちのひとつでもよい。携帯無線通信装置、携帯無線端末、携帯電話、セルラー電話、ページャー、通信機、ＰＤＡ（個人用デジタル補助装置）のようなシステム手帳、高度自動機能電話、デジタルカメラ、携帯ゲーム機器（たとえばソニーコンピュータエンターテインメントが提供するＰＳＰ）、ＧＰＳ（グローバル・ポジショニング・システム）装置およびコンピューター（たとえばＰＣ）。
【００２２】
本発明の他の実施例によると、電子機器の表示装置上のデータ表現を表現する方法を調整する方法で以下を含む、電子機器の支持構造体上に支持されたカメラによって撮像するステップ、カメラによって撮像された画像の特徴を識別するステップ、カメラによって撮像された画像の基準方向に対する回転方向を決定するステップ。さらに本方法は決定された回転方向に依存する表示方法でデータ表現を電子機器の表示装置上に表示する。
【００２３】
方法は画像を連続的に撮像するステップを含んでもよい。
【００２４】
方法はカメラを装置の使用者のほうに向けるステップを含んでもよい。
【００２５】
方法はカメラで撮像された画像から３つまたはそれ以上の特徴を識別するステップを含んでもよい。
【００２６】
方法は使用者の画像的な特徴を識別するステップを含んでもよい。
【００２７】
画像的な特徴は顔の特徴を含んでもよい。
【００２８】
画像的な特徴は目を含んでもよい。
【００２９】
画像的な特徴は口を含んでもよい。
【００３０】
画像的な特徴はあごを含んでもよい。
【００３１】
画像的な特徴はまゆげを含んでもよい。
【００３２】
画像的な特徴は使用者のシルエットを含んでもよい。
【００３３】
データ表現はデータそのものを含んでもよい。
【００３４】
データは文章およびまた視覚画像を含んでもよい。
【００３５】
また、方法は以下のステップを含んでもよい。
【００３６】
カメラで撮像された画像の垂直および水平方向に対する方向を検出するステップ、および、垂直方向と水平方向のうちカメラの撮像画像の向きに対してもっとも整合する方向に応じて支持構造体の向きが垂直方向であるかそれとも水平方向であるかを決定するステップ
本発明のいくつかの実施例はデータ表現が電子機器の使用者によって見られるとき、機器が現在保持されている回転方向によってデータ表現が電子機器の表示装置上にポートレート画像的かまたは風景的な表示方法で表示されうる解決方法を提供する。いくつかの本発明の実施例ではすでに何らかの目的でカメラを有する電子機器でこれらが実現されているという利点がある。現在知られている発明の最適態様ではいくつかの本発明の実施例はテレビ電話目的のカメラを備えた携帯電話機で実現されている。携帯電話機に適用されるとき、発明の実施例で提案されている利点は既存の部品を用いて使用者に付加価値を提供できることである。
【図面の簡単な説明】
【００３７】
発明の更なる目的、特徴および利点は以下の発明の実施例の詳細な説明から明らかになるが、ここで発明の実施例が添付した図面を参照して詳しく説明される。
【図１】携帯電話の形態としての電子機器の正面を表す図面で正面に表示装置とカメラを有する。
【図２】第１図の装置の側面を表す。
【図３】第１図、第２図の装置の背面を表し、背面側には更なるカメラを設けてもよい。
【図４】第１−３図の電子機器を第１図に表された方向から約９０度回転して保持して使用者が操作するシナリオを表す。
【図５】第１図に示されたカメラによって撮像された使用者の画像を表す。
【図６】使用者の画像の選択された特徴、たとえば両目や口が電子機器の画像識別機能によってどのようにして識別されるかを表す。
【図７】識別された特徴が使用者の顔の標準の垂直軸、水平軸とどのように関連するかを表す。
【図８】電子機器の方向と比較して画像の相対的な回転方向がどのようにして決定されるかを表す。
【図９】電子機器の表示装置上に表示されるデータ表現に操作者機能がどのように適用されるかを表す、ここで操作者機能は決定された回転方向に依存する。
【図１０】表示装置に表示されるデータ表現が回転によってどのように調整されたかを表す。
【図１１】本発明の実施例による電子機器の機能的な特徴を示すブロック図を表す。
【発明を実施するための形態】
【００３８】
本発明の実施例がこれから実施例が示された添付の図面を参照して詳しく説明される。本発明は多くの異なる形で具現化され、ここで詳細に説明される実施形態に限定されるように解釈されるべきではない。むしろ、これらの実施形態はこの開示が詳細かつ十分になるよう提供されるものであり、本発明の範囲を十分に当業者に伝えることができるであろう。図面では同様の番号は同様の構成要素を示している。さらにこの明細書で用いられている用語は特定の実施例のみを記載する目的であり、発明を限定する意図はない。
【００３９】
ここで使用されるように、単数形を示す「ａ」（一つの）、「ａｎ」（一つの）及び「ｔｈｅ」（その）は特段の記載がない限り、複数をも含むものとする。さらに「ｃｏｍｐｒｉｓｅｓ」（備える）、「ｃｏｍｐｒｉｓｉｎｇ」（備える）、「ｉｎｃｌｕｄｅｓ」（含む）、及びまたは「ｉｎｃｌｕｄｉｎｇ」（含む）という用語は本明細書で使用される場合には、言及された特徴、整数、工程、動作、要素及びまたは構成要素の存在を特定するものであり、一つまたは複数の他の特徴、整数、工程、動作、要素及びまたは構成要素の存在または追加を排除するものではないと解される。
【００４０】
本明細書はデジタルカメラを含む電子機器の分野に関する。本発明の好ましい実施例はテレビ電話で実現される第三世代の携帯電話機のような可搬型通信機器に関する。本発明は特に携帯電話機に適しているが、無線通信機能を有さないデジタル機器に等しく適用できる。しかしながら、説明を簡単にかつ明瞭にするために、ここで示されたほとんどの実施例は携帯電話機に関する。好適な実施例が添付の図面を参照して記載される。
【００４１】
本発明の実施例にしたがって実現される可搬型通信機器１が第１図から第３図に異なった角度から示され、第１１図のブロック図に示される。可搬型無線通信機器１はたとえば図面に示されるように携帯電話機でもよい。可搬型無線通信機器１は筐体とシャーシを含み、装置の他の要素を保持するように配置された支持構造体１０を有する。ユーザーインターフェースはキーパッドやキーボード１１及び表示装置１２を有する。典型的に、電子機器１はまた無線トランシーバーやアンテナ２３はもちろんマイク１３、スピーカー１４を含むオーディオインターフェースを含む。これらの要素は発明にとってさほど重要ではない。もし本発明が他の電子機器たとえばＰＤＡのような携帯情報端末に適用されると省略することもできる。通常バッテリー（図示しないが）も含まれる。通信機器としての機器１の特定の機能やデザインは当業者にとってよく知られたものであり、それゆえ、ここでは詳しく記載されない。装置１に含まれる特徴や要素は決して網羅されてはいない。反対にここに示され記載される装置１はただ一つのありうる実施例を示し、更なる特徴や他の機能を提供する要素は備えられてもよい。
【００４２】
しかしながら、前記に示された要素以外に装置１はまた第１図に示されるように、表示装置１２の近くに配され、表示装置を見る使用者を含む視野を狙うようにされたカメラ１５を有する。したがって、カメラ１５は表示装置１２の標準視野方向と実質的に共通の方向に向けられている。装置１は付加的に更なるカメラ１６を含んでもよい。この更なるカメラ１６は本発明にとってはあまり重要ではないので、本発明のいくつかの実施例では省略しうる。以下の説明から明らかになるように、第１図の表示装置１２の近くに配置されたカメラ１５だけでも本発明の実施例による回転方向の調整の目的のためには十分であることがわかるであろう。もし装置１がそれでもなお更なるカメラ１６を含むとすると、カメラ１６は好ましくはカメラ１５の視野１５０とは重複しない視野１６０をもって向けられるべきである。好ましくは二つのカメラ１５と１６は反対の方向に向けられるが、互いに略９０度の方向に向けられてもよい。実際問題、二つのカメラ１５と１６は固定の視野方向を持つ必要はなく、更なるカメラ１６は支持構造体１０のソケット内である程度回転可能にされてもよい。
【００４３】
第１図において、垂直軸ｙと水平軸ｘが装置１に対して定義されている。さらに詳細にいうと、ｙ軸は装置１の長手方向を表す。装置１が第１図に示されるように保持されるとき、すなわちｙ軸が垂直方向に保持されるとき、もし使用者が装置１を取り扱い操作するならば、表示装置１２上のデータ表示方法は通常ポートレート画像的表示方法となる。第４図は使用者が別の方向で装置を取り扱い操作する別のシナリオを表す。この位置では装置１はほぼ９０度反時計方向に回転され、装置１の水平軸ｘが垂直方向の上方を表す。この位置では従来の装置は表示装置にデータ表現を表示するとき、初期のきまり（デフォルトルール）にしたがって装置１の反時計方向の９０度回転を補償しない。代わりに、従来の装置は初期のきまりにしたがって、第１図に示されるように装置１が保持されるのと全く同じ回転方向に、すなわちポートレート画像的方法で表示装置１２上にデータ表現が表示される。しかしながら、多くの場合、装置１が第４図に示されるように向けられた場合は使用者にとってデータが風景的に表示されるほうがより適切である。
【００４４】
しかしながら、本発明の目的は装置１の方向に依存してもっとも適切な回転方向でデータ表現が表示装置上に表示されるようなデータ表示装置を実現することである。本発明の実施例によると、カメラ１５は撮像時装置１の方向を決定するように使用される。これはテレビ電話用のカメラ１５が含まれるテレビ電話が保持される携帯電話１では特に有用である。テレビ電話用のカメラは通常使用者の顔に向けられ、連続的にまたは画像記録のトリガー動作に応じて撮像されるように構成される。装置１の現在の方向はカメラ１５で撮像される画像を分析することにより決定され、その決定された方向が表示装置上のデータ表現を操作するのに使用され、決定された装置１の方向によってポートレート画像的表示か風景的表示かになるようにデータ表現が回転される。装置１が第１図に示された位置の時、装置１は表示装置上にポートレート画像的な表示を行うように配される。さらに、装置１が第４図に示された位置の時、装置１は表示装置上に風景的表示を行うように配される。
【００４５】
装置の現在の方向はカメラによって撮像された画像の少なくとも二つの特徴を識別することによって決定される。好ましくは使用者４１の顔の３つの特徴が識別される。これらの特徴は好ましくは使用者の両目と口を含む。その他の例としては、たとえば、あご、鼻、耳やヘアーラインのようにこの目的により適したものであるならば、その他の特徴が識別されてもよい。好ましくは画像の３つの特徴が装置１がどの方向を向いているかを決定するのに識別される。２つだけの特徴を使用すると時計方向か反時計方向かを決定するのが非常に難しくなる。顔の特徴識別や認識目的の数多くのソフトウエアー上での処理が文献や実際の製品で提供され、この分野でいくつかの特許が付与されている。単なる例として、Ａ．Ｗ．  Ｓｅｎｉｏｒが”ｐｒｏｃｅｅｄｉｎｇ  ｏｆ  Ａｕｄｉｏ−ａｎｄ  Ｖｉｄｅｏ−ｂａｓｅｄ  Ｂｉｏｍｅｔｒｉｃ  Ｐｅｒｓｏｎ  Ａｕｔｈｅｎｔｉｃａｔｉｏｎ  ’９９，  ｐｐ．  １５４−１５９．  Ｗａｓｈｉｎｇｔｏｎ  Ｄ．Ｃ．  ＵＳＡ，  Ｍａｒｃｈ  ２２−２４，１９９９で著した”Ｆａｃｅ  ａｎｄ  Ｆｅａｔｕｒｅ  Ｆｉｎｄｉｎｇ  ｆｏｒ  ａ  Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｓｙｓｔｅｍ”がある。他の例としてはＩｓｈｉｋａｗａに付与された米国特許第５，９３３，５２７号はそれによって顔の特徴的な領域が取り出され、それらの領域の座標データが取り出される顔画像の処理方法及び装置を開示している。
【００４６】
本発明のいくつかの実施例によるデータ表現の回転調整方法が図面を参考に、特に第４図に示されたシナリオに基づいて説明される。
【００４７】
装置１が第４図に示される回転方向を有するとき、使用者４１の画像がカメラ１５によって撮像され、この画像が第５図に示される。この画像は好ましくはカメラ１５によって連続的に撮像される。しかしながら変形例としては画像記録トリガー２２の操作に基づいて撮像されてもよい。画像トリガー２２は典型的には押しボタンや類似の構成でカメラ１５に機能的に接続され、トリガーの操作はカメラが視野１５０内の画像を記録することを可能にする。第５図の画像はカメラ１５から方向検出器１７に送られたものである。方向検出器１７はこのましくは処理装置によって実行されるソフトウエアーによって実現されるが、そのような処理を容易に理解し簡略化のための機能要素として第１１図に示される。方向検出器１７はカメラによって撮像された画像の特徴を識別するために受け取られた画像を分析するように動作する画像的な特徴検出器１８を有する。これは第６図に示され、画像の両目の部分と口の部分が使用者の両目と口として識別される。
【００４８】
第７図において、両目の部分を表す画像領域１８１と口の部分を表す画像領域１８２が使用者の撮像画像から抽出される。これは第７図に示された画像が必ずしも生成されなければならないことを意味するわけではなく、撮像画像の対象領域であるということを意味する。方向検出器１７はこのましくは顔画像の特徴を検出するように構成され、したがって目の部分１８１を通る線が基本線を表し、その基本線に対して口の部分の位置は画像の下方部分を表すように構成される。このように撮像画像の座標系が定められ、水平画像軸ｘ’は基本線と平行で垂直画像軸ｙ’は基本線と直行し、基本線から測定してｙ’軸の正の方向は口領域の位置から離れる方向に延びている。
【００４９】
カメラ１５によって撮像された画像の方向は画像面において第７図にしたがって決定される。計算部１９において、画像の回転方向は予め蓄積された基準方向に対して決められる。識別される特徴が顔の特徴である示された実施例に対して、基準位置は好ましくは顔の垂直方向であり、それは第８図において、装置１の水平及び垂直軸に対応して垂直軸ｙ、水平軸ｘによって表される。計算部１９はｘ’，ｙ’軸の座標系とｘ，ｙ軸の座標系の回転差を計算して、回転角θを決定するように構成されている。
【００５０】
好ましい実施例において、計算部１９は装置１の完全な垂直および水平の方向からの偏移は無視するように構成されている。実際問題、これら直行する２方向からの傾きは使用者の芸術的自由度によるものである。さらに、使用者がその顔をまっすぐの位置に保持するという保証はない。これらの理由により、計算部１９は好ましくは回転角θを９０度刻みで出力するように構成され、表示装置１２上で表示されるデータ表現をポートレート画像的表示と風景的表示との間で変換するため、また上と下の区別をするために用いられるように回転角θが形成される。方向検出器は垂直及び水平方向に対する撮像画像の方向を検出するように構成され、装置１の支持構造体がカメラ１５の撮像画像にもっとも近い垂直か水平の方向に向けられているかを決定するように構成されている。一例として、もし計算部１９がｙ’とｙの実際の角度が±４５°以下と決定した場合θの出力値は０である。同様にもし  ４５°＜θ＜１３５°の場合  θの値は９０°となる
１３５°＜θ＜２２５°の場合  θの値は１８０°となる
２２５°＜θ＜３１５°の場合  θの値は２７０°、すなわち９０°となる
方向検出器１７は角度θの出力値をマイクロプロセッサ２０に出力する。第９図に示されるようにマイクロプロセッサ２０は表示装置１２に表示されたデータ表現９０（この表示された例では可視画像はもちろん文章も含む）を受信された角度θによって表示装置１２上に表示されるデータ表現９０の回転演算を含む演算関数ｆ（θ）を用いて処理する。その結果は第１０図に示される。これから明らかなように、データ表現９０は方向検出器１７で検出されるように約９０°回転される。
【００５１】
角度θの情報は装置１の記憶装置２１に記憶されてもよい。言うまでもなく、記憶装置２１はいつも装置１に取り付けられなくてもよく、例えば挿入可能なＩＣメモリーに配置してもよい。予め計算された回転角度を記憶することはとりわけ装置がなんらかの理由で後で有効な顔認識ができなかった場合、最後にわかっている回転角度を使うことができる。
【００５２】
第４図に関連して記載された画像の回転方向調整処理の例は装置１の回転方向を決定するために顔の特徴の識別と認識を利用している。しかしながら、付加的にまたは変形例として人間のシルエット認識を用いることも可能である。人間のシルエット認識においては使用者の顔の特徴に対して使用者のシルエットが識別され認識される。使用者のシルエットは使用者の顔のシルエットを含んでもよい。人間のシルエットの識別や認識処理については文献が提供されている。単なる例示として、Ｒｏｃｉｏ  Ｄｉａｚ  ｄｅ  ＬｅｏｎとＬｕｉｓ  Ｅｎｒｉｑｕｅがｉｃｐｒ  ｐ３７１３，  １５ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＰＲ’００）  Ｖｏｌｕｍｅ  ３，２０００の「フーリエ記述子を用いた人間のシルエット認識」がある。人間のシルエット認識は強い太陽光下で使用者の顔の特徴が識別しずらい場合に特に利点がある。その代わり、人間のシルエット識別、認識の技術の助けを借りて使用者のシルエットを十分に識別できる。
【００５３】
さらに、装置１の回転方向を決定するために識別や認識の他の例として、光学的文字認識（ＯＣＲ）が使用しうる。第４図に関連して記載された画像の回転方向修正処理の例は装置の回転方向を決定するために顔の識別や認識が利用されている。しかしながら、付加的にまたは変形例として装置１の回転方向を決定するために光学的文字認識を利用することも可能である、すなわち手書きやタイプで打たれた文章画像の回転方向を決定できる。
【００５４】
示された解決手段はとりわけ従来の解決手段と方向検出器としてカメラを用いる点で異なる。本発明による装置１はしたがってすでに何らかの理由でカメラを含む場合には特に好適である。それゆえ、現在知られた発明の最適態様ではテレビ電話目的でカメラを備えた携帯電話に発明を適用することである。そのような携帯電話に発明が適用されるとき、発明の利点は存在する部品を用いて使用者に付加価値を提供することである。
【００５５】
装置１がカメラ１５及び１６を両方含む場合、画像が更なるカメラ１６で撮像されるとき、装置１がどのような方向に向けられていても更なるカメラ１６で撮像された画像が共通の方向で蓄積されても良いように装置１は更なるカメラで撮像された画像の回転方向調整のための解決手段と組み合わされても良い。そのような解決手段は２００６年６月２１日に出願されたＵＳ特許出願番号１１／４２５、３９５号に開示されている。この目的を達成するために、装置１はそれゆえ、以下の要件を備える、支持構造体、支持構造体に保持されたカメラ１５、支持構造体に保持された更なるカメラ１６、カメラ１５に接続された方向検出器であってカメラ１５で撮像される画像の特徴を識別して、基準の方向に対する画像の回転方向決定するように構成された方向検出器と決定された回転方向依存する方向に配された更なるカメラ１６で撮像された画像の画像データを蓄積するように構成されたデータ蓄積装置。データ蓄積装置は方向検出器で検出されたように更なるカメラ１６で撮像されたと同一の方向かまたはさらに９０°刻みで回転された方向で画像データを蓄積するように構成されてもよい。
【００５６】
本発明の各種実施例が前記に示され、特定の例が添付する図面を参照して詳しく記載された。しかしながら、発明はこれら特定の例に限定されるわけではなく、実際問題として添付の特許請求の範囲内で修正されても良いことに注意すべきである。
【図１】
2010525425.tif 000003
【図２】
2010525425.tif 000004
【図３】
2010525425.tif 000005
【図４】
2010525425.tif 000006
【図５】
2010525425.tif 000007
【図６】
2010525425.tif 000008
【図７】
2010525425.tif 000009
【図８】
2010525425.tif 000010
【図９】
2010525425.tif 000011
【図１０】
2010525425.tif 000012
【図１１】
2010525425.tif 000013
【国際調査報告】
2010525425.tif 000014
2010525425.tif 000015
2010525425.tif 000016