【手続補正書】
【提出日】平成20年5月23日(2008.5.23)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】  明細書
【発明の名称】  携帯通信端末、情報表示装置、制御入力装置および制御入力方法
【特許請求の範囲】
【請求項１】  映像を表示する表示面を有する表示部と、
無線通信のための電波を送受信するアンテナ、音声を出力するスピーカおよび、少なくとも前記表示面上に表示されるカーソルをコントロールするためのポインティングデバイスを少なくとも有する本体部と、
前記表示部と前記本体部とを角度可変に接続する接続部とを備え、
前記スピーカは前記本体部の一方の主面上に配置され、
前記ポインティングデバイスは前記本体部の、前記一方の主面と対向する他方の主面上に配置されている携帯通信端末。
【請求項２】  前記本体部に設けられた、少なくとも文字情報を表示する補助表示部をさらに備えた請求項１に記載の携帯通信端末。
【請求項３】  前記表示部は、前記表示面が設けられた第１部材と、前記第１部材と角度可変に接続した第２部材とを有する請求項１に記載の携帯通信端末。
【請求項４】  前記表示部の前記表示面が前記本体部により被覆された状態で、外部からの通信に応答するための応答ボタンを備えた請求項１に記載の携帯通信端末。
【請求項５】  前記接続部は、前記表示部と前記本体部とを、着脱自在に接続している請求項１に記載の携帯通信端末。
【請求項６】  画像を撮像する撮像手段と、
前記撮像手段が撮像した画像を処理する画像処理手段と、
前記処理された画像から、該画像の画面における位置を検出する位置検出手段と、
所定の情報を表示面に表示する表示手段と、
前記位置検出手段が検出した位置に応じて、所定のポインタを前記表示面に表示する制御手段と、
無線通信のための電波を送受信するアンテナと、
前記電波として送信される信号を処理するための送信処理手段と、
前記アンテナにより受信される電波を信号として処理するための受信処理手段とを備えた情報表示装置。
【請求項７】  前記表示手段は、前記表示面を、前記撮像手段が前記画像を撮像する領域と一致させるか、または前記撮像する領域より狭くとる請求項６に記載の情報表示装置。
【請求項８】  前記画像処理手段は、
前記画像の輪郭を抽出し、
前記位置検出手段は、
前記抽出された輪郭から前記位置を検出する請求項６に記載の情報表示装置。
【請求項９】  前記画像処理手段は、
前記画像の中から、所定の色および／または所定の温度の処理、および／または前記撮像手段の焦点距離内にある対象の処理を行う請求項６に記載の情報表示装置。
【請求項１０】  請求項６から９のいずれかに記載の情報表示装置と、
前記表示面において前記ポインタにより指示される対象に対する制御入力を行うための入力手段とを備えた制御入力装置。
【請求項１１】  一つまたは複数の前記制御入力とそれぞれ対応づけられた、一つまたは複数の映像パターンが登録された映像パターン登録手段をさらに備え、
前記入力手段は、前記撮像手段が撮像した画像または前記画像処理手段により抽出された画像と、前記映像パターン登録手段の有する映像パターンとを比較し、前記撮像した画像または前記抽出された画像が、前記映像パターンと一致したときに、この一致した映像パターンに対応した制御入力を行う請求項１０に記載の制御入力装置。
【請求項１２】  請求項１０に記載の制御入力装置と、
前記撮像手段、及び前記アンテナを少なくとも内蔵する本体部と、
前記表示手段を少なくとも内蔵する表示部と、
前記本体部と前記表示部とを角度可変に接続する接続部とを備えた携帯通信端末。
【請求項１３】  前記本体部の前記他方の主面または側面に設けられた、利用者の把持状態を検知する検知スイッチを備え、
前記検知スイッチが前記把持状態を検知すると前記表示部を動作させ、
前記検知スイッチが前記把持状態を検知しないと前記表示部の表示を停止する請求項１または１２に記載の携帯通信端末。
【請求項１４】  映像を表示する表示面を有する表示部と、
無線通信のための電波を送受信するアンテナ、音声を出力するスピーカを少なくとも有する本体部と、
前記表示部と前記本体部とを角度可変に接続する接続部と、
前記本体部の姿勢を検出する姿勢検出手段と、
前記姿勢検出手段の検出結果に基づき、前記表示部に表示される画像の方向を切り換える表示方向切換手段とを備えた携帯通信端末。
【請求項１５】  前記姿勢検出手段は、水銀スイッチにより前記本体部の姿勢を検出する請求項１４に記載の携帯通信端末。
【請求項１６】  前記姿勢検出手段は、ジャイロにより前記本体部の姿勢を検出する請求項１４に記載の携帯通信端末。
【請求項１７】  請求項１１に記載の制御入力装置を用い、
前記撮像手段に撮像されるように所定のジェスチャーを行う工程を備え、
前記所定のジェスチャーによって前記制御入力を得ることを特徴とする制御入力方法。
【請求項１８】  請求項６に記載の情報表示装置の、画像を撮像する撮像手段と、前記撮像手段が撮像した画像を処理する画像処理手段と、前記処理された画像から、該画像の画面における位置を検出する位置検出手段と、所定の情報を表示面に表示する表示手段としてコンピュータを機能させるプログラム。
【請求項１９】  請求項１０に記載の制御入力装置の、前記表示面において前記ポインタにより指示される対象に対する制御入力を行うための入力手段としてコンピュータを機能させるプログラム。
【請求項２０】  請求項１４に記載の携帯通信端末の、前記本体部の姿勢を検出する姿勢検出手段と、前記姿勢検出手段の検出結果に基づき、前記表示部に表示される画像の方向を切り換える表示方向切換手段としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば携帯電話に代表される携帯通信端末、携帯通信端末やパーソナルコンピュータ等に用いられる情報表示装置、およびそれを用いた入力装置等に関する。
【０００２】
【従来の技術】
近年、携帯電話はｉ−ＭＯＤＥやｅＺ−Ｗｅｂといった、電子メール他の利用が可能な、インターネット接続サービス機能を搭載した機種の普及に示されるように、情報通信機能を取り込んで進歩してきている。
【０００３】
図１４（ａ）に、従来の技術による情報通信機能を備えた携帯電話の構成図を示す。図に示すように、携帯電話１４００は、電話番号や文字を入力するためのテンキー他を有する入力部１４０１、電話番号や受信した情報を表示する表示部１４０２、通信相手の音声を聴くためのスピーカ１４０３、および音声入力のためのマイク１４０４を備えている。
【０００４】
このような携帯電話１４００においては、主に透過型液晶ディスプレイを用いた小型の表示部１４０２が、スピーカ１４０３とマイク１４０４との間に設けられており、この表示部１４０２に、電子メールやｉ−ＭＯＤＥ用に作られたＷＥＢなどを表示している。
【０００５】
ところで、このような携帯電話１４００では、表示部１４０２の表示画面の大きさに制約があるため、情報通信端末として用いる場合、ｉ−ＭＯＤＥ等用の携帯端末用に作成されているコンテンツの表示は良いが、ネットワーク上の他の一般的なｗｅｂ等のコンテンツを見る場合、画面の解像度が不足して見にくくなってしまう。
【０００６】
そこで近年では、従来の液晶画面の代わりに、投射型の高解像度のマイクロディスプレイを用い、図１４（ｂ）に示すように、この投射型マイクロディスプレイ１４１１を携帯電話１４１０のマイク１４０４近傍に設けて情報を表示する構成や、携帯電話本体よりケーブルを介して外部に別途投射型マイクロディスプレイを接続して、テンキー等にて携帯電話を操作することで情報端末として利用する方法が提案されている。投射型マイクロディスプレイとは、小型のディスプレイと光学系とを組み合わせることにより、ディスプレイより離れて位置する空間上の虚像を見ることにより、仮想的に大画面・高解像度のディスプレイを実現するものである。これにより、実際に用いられている表示面の大きさが１センチ角程度の大きさでも、上記の保持固定の状態において、利用者に表示される画像として、ＳＶＧＡ（８００×６００画素）といった高解像度の映像が得られる。
【０００７】
一方、このような従来の目元で表示を確認する表示装置に対応した入力装置としては、操作者の動作をカメラによる撮影や身体に装着した筋電信号検知器などによって検知し、検知した動作を対応するコマンドに変換して情報処理装置の制御を行なうようにした構成が提案されている。
【０００８】
【発明が解決しようとする課題】
しかしながら、図１４（ｂ）に示すような、従来の携帯電話においては、マイクロディスプレイは携帯電話の本体部に一体的に装着されているため、ディスプレイの表示部分と目との距離を調整できず、さらに操作のために携帯電話のテンキー他の入力ボタンを用いるため、一旦表示部の投射型マイクロディスプレイ１４１１から目を離して入力部１４０１を目視する必要があり、パーソナルコンピュータの場合とは異なり、画面を見ながらの操作は困難なものとなっていた。
【０００９】
また、携帯電話と外部のマイクロディスプレイを接続して使用する場合においては、携帯電話のボタンを片手で操作し、他方の手でマイクロディスプレイを保持して操作するため、両手での使用が強いられ、操作性に問題があった。
【００１０】
一方、入力装置に関しては、操作者の動作を検知する検知器と検知された動作に対応するコマンドで制御される情報処理装置が別体であるために、検知器と情報処理装置から成るシステム全体のスペースが大きくなったり、可搬性が悪かったり、設置場所の関係で検知器と情報処理装置が離れて設置されている場合には操作者の動作に対応したコマンドによって情報処理装置が正しく制御されているかどうかの確認が難しいといった問題があった。
【００１１】
本発明は、このような課題に鑑みてなされたもので、表示部を見ながら同時に制御のための入力を行うことが可能な、操作性にすぐれた携帯通信端末等を提供する事を目的とする。
【００１２】
また、本発明は、操作者の動作によって制御のための入力がより簡単に行なえるコンパクトな情報表示装置およびそれを用いた制御入力装置等を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記の目的を達成するために、第１の本発明（請求項１に対応）は、映像を表示する表示面を有する表示部と、
無線通信のための電波を送受信するアンテナ、音声を出力するスピーカおよび、少なくとも前記表示面上に表示されるカーソルをコントロールするためのポインティングデバイスを少なくとも有する本体部と、
前記表示部と前記本体部とを角度可変に接続する接続部とを備え、
前記スピーカは前記本体部の一方の主面上に配置され、
前記ポインティングデバイスは前記本体部の、前記一方の主面と対向する他方の主面上に配置されている携帯通信端末である。
【００１４】
また、第２の本発明（請求項２に対応）は、前記本体部に設けられた、少なくとも文字情報を表示する補助表示部をさらに備えた上記本発明である。
【００１５】
また、第３の本発明（請求項３に対応）は、前記表示部は、前記表示面が設けられた第１部材と、前記第１部材と角度可変に接続した第２部材とを有する上記本発明である。
【００１６】
また、第４の本発明（請求項４に対応）は、前記表示部の前記表示面が前記本体部により被覆された状態で、外部からの通信に応答するための応答ボタンを備えた上記本発明である。
【００１７】
また、第５の本発明（請求項５に対応）は、前記接続部は、前記表示部と前記本体部とを、着脱自在に接続している上記本発明である。
【００１８】
また、第６の本発明（請求項６に対応）は、画像を撮像する撮像手段と、
前記撮像手段が撮像した画像を処理する画像処理手段と、
前記処理された画像から、該画像の画面における位置を検出する位置検出手段と、
所定の情報を表示面に表示する表示手段と、
前記位置検出手段が検出した位置に応じて、所定のポインタを前記表示面に表示する制御手段と、
無線通信のための電波を送受信するアンテナと、
前記電波として送信される信号を処理するための送信処理手段と、
前記アンテナにより受信される電波を信号として処理するための受信処理手段とを備えた情報表示装置である。
【００１９】
また、第７の本発明（請求項７に対応）は、前記表示手段は、前記表示面を、前記撮像手段が前記画像を撮像する領域と一致させるか、または前記撮像する領域より狭くとる上記本発明である。
【００２０】
また、第８の本発明（請求項８に対応）は、前記画像処理手段は、
前記画像の輪郭を抽出し、
前記位置検出手段は、
前記抽出された輪郭から前記位置を検出する上記本発明である。
【００２１】
また、第９の本発明（請求項９に対応）は、前記画像処理手段は、
前記画像の中から、所定の色および／または所定の温度の処理、および／または前記撮像手段の焦点距離内にある対象の処理を行う上記本発明である。
【００２２】
また、第１０の本発明（請求項１０に対応）は、第６から第９のいずれかに記載の情報表示装置と、
前記表示面において前記ポインタにより指示される対象に対する制御入力を行うための入力手段とを備えた制御入力装置である。
【００２３】
また、第１１の本発明（請求項１１に対応）は、一つまたは複数の前記制御入力とそれぞれ対応づけられた、一つまたは複数の映像パターンが登録された映像パターン登録手段をさらに備え、
前記入力手段は、前記撮像手段が撮像した画像または前記画像処理手段により抽出された画像と、前記映像パターン登録手段の有する映像パターンとを比較し、前記撮像した画像または前記抽出された画像が、前記映像パターンと一致したときに、この一致した映像パターンに対応した制御入力を行う上記本発明である。
【００２４】
また、第１２の本発明（請求項１２に対応）は、第１０の本発明の制御入力装置と、
前記撮像手段、及び前記アンテナを少なくとも内蔵する本体部と、
前記表示手段を少なくとも内蔵する表示部と、
前記本体部と前記表示部とを角度可変に接続する接続部とを備えた携帯通信端末である。
【００２５】
また、第１３の本発明（請求項１３に対応）は、前記本体部の前記他方の主面または側面に設けられた、利用者の把持状態を検知する検知スイッチを備え、
前記検知スイッチが前記把持状態を検知すると前記表示部を動作させ、
前記検知スイッチが前記把持状態を検知しないと前記表示部の表示を停止する第１または第１２の本発明の携帯通信端末である。
【００２６】
また、第１４の本発明（請求項１４に対応）は、映像を表示する表示面を有する表示部と、
無線通信のための電波を送受信するアンテナ、音声を出力するスピーカを少なくとも有する本体部と、
前記表示部と前記本体部とを角度可変に接続する接続部と、
前記本体部の姿勢を検出する姿勢検出手段と、
前記姿勢検出手段の検出結果に基づき、前記表示部に表示される画像の方向を切り換える表示方向切換手段とを備えた携帯通信端末である。
【００２７】
また、第１５の本発明（請求項１５に対応）は、前記姿勢検出手段は、水銀スイッチにより前記本体部の姿勢を検出する上記本発明である。
【００２８】
また、第１６の本発明（請求項１６に対応）は、前記姿勢検出手段は、ジャイロにより前記本体部の姿勢を検出する上記本発明である。
【００２９】
また、第１７の本発明（請求項１７に対応）は、第１０の本発明の制御入力装置を用い、
前記撮像手段に撮像されるように所定のジェスチャーを行う工程を備え、
前記所定のジェスチャーによって前記制御入力を得ることを特徴とする制御入力方法である。
【００３０】
また、第１８の本発明（請求項１８に対応）は、第６の本発明の情報表示装置の、画像を撮像する撮像手段と、前記撮像手段が撮像した画像を処理する画像処理手段と、前記処理された画像から、該画像の画面における位置を検出する位置検出手段と、所定の情報を表示面に表示する表示手段としてコンピュータを機能させるプログラムである。
【００３１】
また、第１９の本発明（請求項１９に対応）は、第１０の本発明の制御入力装置の、前記表示面において前記ポインタにより指示される対象に対する制御入力を行うための入力手段としてコンピュータを機能させるプログラムである。
【００３２】
また、第２０の本発明（請求項２０に対応）は、第１４の本発明の携帯通信端末の、前記本体部の姿勢を検出する姿勢検出手段と、前記姿勢検出手段の検出結果に基づき、前記表示部に表示される画像の方向を切り換える表示方向切換手段としてコンピュータを機能させるプログラムである。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
【００３４】
（実施の形態１）
図１（ａ）は本発明の実施の形態１における携帯電話の正面側の斜視図であり、図１（ｂ）は同じく背面からみた斜視図であり、図１（ｃ）は携帯電話の利用状態を説明するための斜視図である。
【００３５】
図１（ａ）〜（ｃ）に示すように、携帯電話１００は、本体部１１０、主画面表示部１２０、および本体部１１０と主画面表示部１２０とを接続するヒンジ部１３０とから構成され、角度可変に折り曲げ可能であって、折り畳み可能となっている。
【００３６】
本体部１１０において、アンテナ１１１は無線通信のための電波を送受信するための手段、スピーカ１１２は音声を出力するための手段、補助表示部１１３は主に電話操作のための電話番号等の情報状態を表示する手段、入力部１１４は、例えばテンキー等を有する、電話番号等の入力するための操作を行う手段、ポインティングデバイス１１５は、例えばＸ−Ｙの２軸平面的に操作入力が可能なジョグスティックにて実現される、制御入力を行うための手段、応答ボタン１１６は、携帯電話１００に外部から着信があった場合、これに応答して携帯電話１００を通話可能な状態にするための手段である。
【００３７】
次に主画面表示部１２０において、表示面１２１は投射型マイクロディスプレイにより実現される、画像情報を表示する手段である。投射型マイクロディスプレイは、小型のディスプレイと光学系とを組み合わせることにより、ディスプレイより離れて位置する空間上の虚像を見ることにより、仮想的に大画面・高解像度のディスプレイを実現するものである。これにより、実際に用いられている表示面の大きさが１センチ角程度の大きさでも、上記の保持固定の状態において、利用者に表示される画像として、ＳＶＧＡ（８００×６００画素）といった高解像度の映像が得られる。さらに、主画面表示部１２０には、表示面１２１の、よりヒンジ部１３０側にマイク１２２が設けられている。
【００３８】
図１（ｂ）に示すように、本体部１１０において、ポインティングデバイス１１５はスピーカ１１２のほぼ裏側に設けられており、図１（ｃ）に示すように、主画面表示部１２０を折り畳み、入力部１１４と表示面１２１とが実質的に当接した状態においてもスピーカ１１２は露出している。なお、上記の説明において、本体部１１０は本発明の本体部に相当し、主画面表示部１２０は本発明の表示部に相当し、ヒンジ部１３０は本発明の接続部に相当し、ポインティングデバイス１１５は本発明のポインティングデバイスに装置し、補助表示部１１３は本発明の補助表示部に相当し、応答ボタン１１６は本発明の応答ボタンに相当する。
【００３９】
以上のような構成を有する本発明の実施の形態１による携帯電話の動作について、以下説明を行う。
【００４０】
携帯電話１００の使用時においては、従来の折り畳み式携帯電話と同様に、利用者はスピーカ１１２を耳に押し当て、ヒンジ部１３０を開いて表示面１２１が露出する状態にし、本体部１１０を、手のひらと人差し指を除く４本の指で保持する。このため使用者が歩くなどして、携帯電話１００に振動が加えられるような状態でも、使用者が目視する表示面１２１の画面の位置を安定させることができる。
【００４１】
次に、携帯電話１００を用いて、インターネット等のネットワークに接続し、ＷＥＢなどの情報を表示する場合は、図１（ａ）（ｂ）に示すように、従来の折り畳み式携帯電話と同様に、ヒンジ部１３０を開いて表示面１２１が露出する状態にし、右手あるいは左手の手のひらを入力部１１４のほぼ背面に触れるようにし、親指で、本体部１１０の片方の端面を、中指から小指をもう一方の端面に添えるようにし、スピーカ１１２が耳に触れるようにして保持固定する。この状態で利用者の目は表示面１２１をのぞき込むようになり、投射型マイクロディスプレイの画面を目視することが可能となる。
【００４２】
すなわち、本実施の形態による携帯電話は、電話として用いる場合と、情報端末として用いる場合とで、実質的に同一の姿勢にて本体部１１０を保持することになる。さらに、この状態において、本体部１１０を保持固定する手の指で、ポインティングデバイスを操作する。
【００４３】
一般に、ＰＣにおいてＷＥＢを閲覧する場合は、ポインティングデバイスを操作するにより画面上に表示したカーソルを移動し、所望する機能のアイコンの上に重ねた状態でクリックすることにより新たなＵＲＬに移行して表示を行う、あるいはメニューを選択する、といった動作を行っている。
【００４４】
図２（ａ）に示すように、表示面として投射型マイクロディスプレイを用いた場合は、表示面と目とが接近しているが、本体部１１０の背面に設けたポインティングデバイス１１５によって、利用者は携帯電話１００の保持姿勢を保ったままで、表示面に表示されている画像を目視しながら、制御のための入力を行うことができる。
【００４５】
次に、本実施の形態は、携帯電話の機能のみを用いる場合は、図１（ｃ）に示すように、本体部１１０と主画面表示部１２０とを折り畳んで、スピーカ１１２および補助表示部１１３のみが露出した状態で利用することができる。このとき、音声入力はマイク１２２によって行う。このとき、マイク１２２はヒンジ部１３０に設けられているため、主画面表示部１２０が折り畳まれた状態でも、開けられた状態でも同一のマイク１２２を介して通話することができる。
【００４６】
また、外部から着信があった際は応答ボタン１１６を入力して通話可能な状態となるようにし、発信を行う場合は、ポインティングデバイス１１５を用いて電話番号の入力を行えばよい。なお、図１（ｃ）にて応答ボタンは本体部の側面に設けられているものとして説明を行ったが、スピーカ１１２の配置された面上など、本体部１１０または主画面表示部１２０の他の露出している部分であればどこに設けるようにしてもよい。また、ポインティングデバイス１１５に応答ボタンの機能を兼用させてもよい。さらに、図１（ｃ）に示す状態で携帯電話としての機能を持たせない場合には、補助表示部１１３および応答ボタン１１６は省略した構成としても良い。
【００４７】
また、図３に示す構成例のように、主画面表示部１２０は、第２ヒンジ１３１にて互いに角度可動に結合した、表示面１２１を有する第１部材１２０ａおよび本体部１１０と接続した第２部材１２０ｂとから構成されるようにしてもよい。これにより、本体部１１０と、主画面表示部１２０との間の角度を、ヒンジ部１３０と第２ヒンジ１３１とで、より精密に調整することができるので、利用者は表示面１２１を、より目視しやすい位置に調整することができる。
【００４８】
このように、本実施の形態の携帯電話１００によれば、携帯電話の電話機能を利用するときと同様に、適度に肘を曲げて本体部を保持することができるので操作者は、普段の慣れた姿勢、および楽な姿勢で操作ができる。
【００４９】
また、操作者は本体部を手のひらおよび人差し指を除く指で保持して操作を行うので、本体部の位置を確実に固定できるため、目と表示面の位置関係が安定するため、表示面を目視したまま簡単に制御のための入力を行うことができる。
【００５０】
なお、上記の説明において、ヒンジ部１３０は本発明の接続部の一例であるが、本発明の接続部はヒンジに限定するものではなく、ボールジョイントや、ゴム部材など、本体部１１０と主画面表示部１２０とを角度可変に接続できるものであれば、その具体的な構成に限定されるものではない。さらに、このとき、本体部１１０と主画面表示部１２０とが、ねじれの位置となるような角度で可変となるよう接続してもよい。
【００５１】
また、上記の構成において、ポインティングデバイス１１５は、Ｘ−Ｙの２軸平面的に操作入力が可能なジョグスティックであるとして説明を行ったが、本発明のポインティングデバイスは、表示面上に表示されるカーソルをコントロールすることができるものであれば、これに限定する必要はなく、マウスに用いられるトラックボールを用いたものや、指の印圧や接触時の静電気、もしくは光学的な位置を検出するタッチパッドを用いたものでもよい。
【００５２】
また、本体部１１０において、ポインティングデバイス１１５が設けられた面もしくは側面部に、検知スイッチを設け、利用者が本体部を把持した場合に前記検知スイッチがこの把持を検知すると主画面表示部１２０のマイクロディスプレイを動作させるようにしてもよい。この場合、誤って画面表示が行われて、電池が消耗するのを防ぐことができる。
【００５３】
また、ポインティングデバイス１１５の設置位置は、スピーカ１１２が設けられている主面の反対側の他の主面であれば、その上での位置は任意としても良い。例えば、スピーカ１１２に対向する位置でも良いし、スピーカ１１２よりも、ヒンジ部１３０に一層近付いた方向、もしくは遠ざかった方向でもよい。さらに、本体部１１０の、左右どちらかの側面寄りに設けられていても良い。
【００５４】
（実施の形態２）
図４（ａ）〜（ｃ）は、本発明の実施の形態２による携帯電話の動作を説明するための図である。
【００５５】
本実施の形態による携帯電話の基本的な構成は、実施の形態１と同様なので、説明には図１を用い、詳細な説明は省略する。また、図５は、本実施の形態の携帯電話の部分的な構成図である。図において、姿勢検出手段５０１は本体部１１０に内蔵された、本体部の姿勢を検出するための手段、表示方向切換手段５０２は表示面１２１に表示される画像信号および姿勢検出手段５０１からの入力を受け、これに基づき表示手段に表示される画像の向きを切り換える手段、表示手段５０３は、画像信号を表示面１２１に画像として表示する手段である。
【００５６】
このような構成を有する本発明の実施の形態２による携帯電話の動作は、次のようなものである。
【００５７】
携帯電話１００は、右利きの利用者が利用している場合は、本体部１１０は右手によって保持されるために、図４（ａ）に示すように、本体部１１０は主画面表示部１２０の右側面に位置し、この状態で主画面表示部１２０の表示面１２１には画像や文字が表示される。図４（ａ）には一例として「画」という一文字が表示されている例を示す。
【００５８】
ところでこの画像が表示されている状態で、左利きの利用者が携帯電話１００を保持すると、本体部１１０は左手によって保持されるために、図４（ｂ）に示すように、本体部１１０は主画面表示部１２０の左側面に位置することとなり、この状態では主画面表示部１２０の表示面１２１には、表示される画像が天地反転して示されることになる。
【００５９】
本実施の形態はこのような不具合を防ぐためのものであり、本体部１１０内の姿勢検出手段５０１が、本体部１１０の姿勢を検出する。図４（ａ）と図（ｂ）とを比較すると、右利きの利用者と左利きの利用者とが携帯電話１００を利用する状態では、傾斜した本体部１１０の上下の位置が反転しているので、姿勢検出手段５０１は、この反転を検知することによって、表示方向切換手段５０２に切換信号を出力する。
【００６０】
表示方向切換手段５０２は、切換信号の入力を受けると、これに基づき画像の向きを切り換えて表示手段５０３に出力する。
【００６１】
これにより、図４（ｃ）に示すように、本体部１１０の保持されている状態によらず。表示面１２１に常に一定の向きで画像を表示することが可能となる。
【００６２】
姿勢検出手段５０１の具体例としては、水銀スイッチを用いてもよいし、圧電体を振動させておいて、それ自体が動いたときの変化を検出することにより自身の姿勢の変化を検出する振動型ジャイロや、光ファイバー内の光の干渉を利用して姿勢の変化を検出する光ファイバージャイロ等のジャイロを用いても良い。また、姿勢検出手段５０１は主画面表示部１２０に設けられていてもよい。
【００６３】
また、上記の実施の形態は、本発明の実施の形態１の携帯電話において実現しているものとして説明を行ったが、本発明はこれに限定するものではなく、ポインティングデバイス１１５を有さない、単に角度可変に折り畳み可能に接続された本体部と主画面表示部とを備えた携帯通信端末において実現するようにしてもよい。
【００６４】
（実施の形態３）
図６（ａ）は本発明の実施の形態３における携帯通信端末の使用状態での斜視図であり、図６（ｂ）は不使用状態の斜視図である。図に示すように、携帯通信端末６００は折り畳み可能に接続された撮像本体部６１０と表示部６２０とを備え、撮像本体部６１０において、ＣＣＤカメラ６１１は操作者の指の動きなどを撮像する手段であり、アンテナ６１２は外部と電波により通信を行うための手段である。表示部６２０において、液晶ディスプレイ６２１は各種の情報表示を行う手段、外部インタフェース６２３は、外部の機器と接続し、情報の授受を行うための手段である。
【００６５】
また、図７は本実施の形態による携帯通信端末の内部構成図である。図７に示すように、画像処理手段７０１はＣＣＤカメラ６１１が撮像した画像に所定の処理を施す手段、位置検出手段７０２は、画像処理手段７０１により処理された画像が、液晶ディスプレイの表示画面上における位置を検出する手段、制御手段７０３は、位置検出手段７０２が検出した位置に応じて、ポインタを生成し、これを液晶ディスプレイ６２１の表示画面に重ね合わせ表示させる手段、入力手段７０４は、外部インタフェース６２３から制御出力を出力する手段である。送信処理手段７０６は、携帯通信端末６００がアンテナ６１２を介して出力する信号を処理する手段、受信処理手段７０７は、携帯通信端末６００がアンテナ６１２を介して受信した信号を処理する手段、また、位置検出手段７０２は、所定の位置の動きのパターンを登録する映像パターン登録手段７０５を有している。
【００６６】
なお、画像処理手段７０１、位置検出手段７０２、制御手段７０３および入力手段７０４は、情報処理装置の撮像本体部６１０、表示部６２０のいずれの側に設けていてもよい。また、上記の説明において、ＣＣＤカメラ６１１は本発明の撮像手段の一例であり、液晶ディスプレイ６２１は本発明の表示手段の一例である。
【００６７】
このような構成を有する本発明の実施の形態３による携帯通信端末の動作は、次のようなものである。
【００６８】
はじめに、図８に示すように、利用者８００は携帯通信端末６００を左手８０１に保持し、左目８０２で液晶ディスプレイ６２１を見ながら、右手の人差し指８０３をＣＣＤカメラ６１１で撮影している。この状態では、液晶ディスプレイ６２１にはＣＣＤカメラ６１１で撮影した人差し指８０３の指先の位置がオーバーラップして表示され、この指先の位置によって液晶ディスプレイ６２１上に表示された表示面上の任意の位置を指定することができる。なお、表示部６２０によって、ＣＣＤカメラ６１１の撮像範囲と、表示面の見かけの大きさとは、一致するようにしておいてもいいし、撮像範囲の方が、表示面の見かけの大きさよりも大きくなる、すなわち、表示面に対し、ＣＣＤカメラ６１１の撮像範囲のほうが、大きくなるように別途設定してもよい。これにより、撮像範囲内で人差し指８０３の指先をどれだけ動かしても、オーバーラップされた位置は液晶ディスプレイから漏れることなく表示される。
【００６９】
図９（ａ）（ｂ）は、本実施の形態の携帯通信端末が認識する手の形状の一例であり、液晶ディスプレイ６２１の表示面９００上に、人差し指９０１を突き出した形状（形状Ａ）であって、指先の周囲がオーバーラップ領域９０２にて示されている。
【００７０】
また、図９（ｂ）は、本実施の形態の携帯通信端末が認識する手の形状の他の一例であり、液晶ディスプレイ６２１の表示面９００上に、人差し指および親指を突き出した形状（形状Ｂ）であって、人差し指９０１の指先に加え、親指９０３の周囲がそれぞれオーバーラップ領域９０２、および９０４にて示されている。
【００７１】
ここで、図９における指先のオーバーラップをさせる動作を、図７および図９を用いて説明する。はじめに、ＣＣＤカメラ６１１が人差し指９０１を撮像すると、その撮像された画像は画像処理手段７０１にて画像処理され、人差し指９０１の輪郭が抽出される。
【００７２】
次いで輪郭が処理された画像は、位置検出手段７０２にて、その先端部が特定されるとともに、液晶ディスプレイ６２１の表示面９００上のどの位置にあるかが検出される。このとき、先端部の特定は、あらかじめ所定の画像パターンを設定しておき、これと照合するようにして求めてもよいし、輪郭の曲線を演算して求めるようにしてもよい。また、ＣＣＤカメラ６１１の焦点距離を、例えば３０ｃｍ程度とすることにより、撮像対象の背景の影響を少なくすることができる。
【００７３】
次に、制御手段７０３は、位置検出手段７０２にて検出された先端部の位置は、オーバーラップ領域として設定し、液晶ディスプレイ６２１にて、ＣＣＤカメラ６１１が撮像している表示面と重ね合わせて表示される。
【００７４】
本実施の形態は、このような、液晶ディスプレイ６２１の表示面９００上にて利用者の指先を特定して表示することにより、これを外部インタフェース６２３またはアンテナ６１２から受信処理手段７０７を介して入力した、外部機器やネットワーク／サーバのＧＵＩ（グラフィカル・ユーザ・インタフェース）等のインタフェースを組み合わせることにより、利用者の指の動きで、外部インタフェース６２３に接続された機器や、送信処理手段７０６の無線通信の相手となる機器に対する制御入力を生成することが可能となる。以下、本発明の制御入力方法の一例としての、上記制御入力を生成する動作について、図１０〜図１３を用いて説明する。
【００７５】
図１０（ａ）は、本実施の形態におけるカーソル移動を指示する、指先のジェスチャーを示す図であり、形状Ａの手を左から右に移動させることで、オーバーラップ領域９０２を、図１０（ｂ）に示すように、外部インタフェース６２３にて接続された外部機器のＧＵＩ画面上に示されたカーソル１００１として、液晶ディスプレイ６２１の表示面９００上に重ね合わせられた、外部機器のＧＵＩ画面の右方向に移動させることができる。
【００７６】
次に、利用者は、手の形状を形状Ａから形状Ｂへと変化させることにより、制御入力を行うことができる。このとき、位置検出手段７０２は、位置検出手段７０２内に設けられた映像パターン登録手段７０５を参照して、形状Ａから形状Ｂへの利用者の手の形状の変化に相当する映像パターンがあるかどうかを検索する。そして、図９（ｂ）に示すオーバーラップ領域が、一つ（９０２）から二つ（９０２，９０４）に変化したパターンと同一のパターンを見いだすと、入力手段７０４が、このパターンに対応づけられた制御入力を生成し、外部インタフェースおよび制御手段７０３へ出力する。今回の場合、形状Ａから形状Ｂへの手の形状の変化を、制御入力としてオブジェクトの指定動作と対応づけることにより、人差し指９０１により、先に、液晶ディスプレイ６２１の表示面９００上に重ね合わせられたＧＵＩ画面上にて示されているオブジェクトを指定することが可能となる。
【００７７】
また、図１０（ｃ）に示すように、形状Ｂの状態を保ったまま、利用者がその手を左から右に移動させることで、図１０（ｄ）に示すように、オーバーラップ領域９０２を、液晶ディスプレイ６２１の表示面９００上に示された、ドラッグ状態のカーソルとして、オブジェクト１００２を、液晶ディスプレイ６２１の表示面９００上に重ね合わせられた、ＧＵＩ画面上の右方向に移動させることができる。
【００７８】
このような、利用者の手の動きの変化は、予め映像パターン登録手段７０５に設定しておくことにより、さらに複雑な制御入力を設定することができる。例えば、図１１（ａ）〜（ｃ）に示すような、形状Ａ−形状Ｂ−形状Ａといった変化をマウスのシングルクリック、、図１２（ａ）〜（ｅ）に示すような、形状Ａ−形状Ｂ−形状Ａ−形状Ｂ−形状Ａといった変化をマウスのダブルクリックに、それぞれ相当するような動作と設定することができる。
【００７９】
また、オブジェクトの指定動作としては、形状Ａから形状Ｂへの変化に限らず、例えば、図１５（ａ）に示すように、形状Ａから、人差し指９０１と親指９０３とで輪を作るような形状Ｃへの変化としてもよい。この場合、オーバーラップ領域９０２，９０４が互いに重なることで、オブジェクト指定の旨の制御入力が発生し、図１５（ｂ）に示すように、利用者は、オブジェクト１００２の指定を、表示面９００上にて仮想的にオブジェクト１００２を摘む動作として直感的に行うことができ、図１５（ｃ）に示すオブジェクト移動の動作も、図１５（ｄ）に示すように、わかりやすいものとして行うことができる。
【００８０】
また、本実施の形態は、マウスのような動作ばかりでなく、アプレットのような手書き入力や、キーボードやテンキー入力を行わせるようにしてもよい。例えば、図１３（ａ）（ｂ）に示すように、外部インタフェース６２３の機器がグラフィックソフトを稼働させているような場合、その表示面は線画入力を受け付けることができるので、映像パターン登録手段７０５に、先に示した形状Ｂの手の形を線画入力であると設定しておけば、利用者が形状Ｂの手の形を右に動かすだけで、液晶ディスプレイ６２１の表示面９００上に重ね合わせられたグラフィックソフトの表示面には、手書き線１３０１が入力される。
【００８１】
また、外部インタフェース６２３に接続された機器が、計算器等のテンキー入力を必要とする機器を稼働させているような場合、その表示面９００はテンキー入力を受け付けることができるので、映像パターン登録手段７０５に、先に図１２（ａ）〜（ｅ）に示した手の形変化を入力であると設定しておけば、利用者が表示面９００上で指の先端を動かし、手の形を、形状Ａ−形状Ｂ−形状Ａ−形状Ｂ−形状へと動かすだけで、テンキー入力が実現される。図１３（ｃ）（ｄ）に示す例では、液晶ディスプレイ６２１の表示面９００上に重ね合わせられた数値入力ＢＯＸ１３０２に数字の「９」が入力されている。キーボードの場合は、表示面９００にテンキーの代わりにアルファベットのキーボード配列を表示すればよい。
【００８２】
このように、本実施の形態の携帯通信端末によれば、ＣＣＤカメラで撮像した操作者の動作を表示装置に表示させると同時に、操作者の指の動作を認識して対応する制御入力を生成することができる。
【００８３】
なお、上記の実施の形態においては、液晶ディスプレイ６２１には、外部インタフェース６２３を介して接続された外部機器のＧＵＩが重ね合わせて入力されるものとして説明を行ったが、本発明の情報表示装置および情報入力装置を備えた携帯通信端末６００自体が独立した機器として動作するものであってもよい。例えば、実施の形態１の携帯電話１００に、本発明の情報入力装置を搭載することにより、携帯電話１００から制御入力としてのポインティングデバイス１１５を省いた構成を実現することができる。このとき、受信処理手段と送信処理手段とは、携帯電話機としての通話機能が実現できるようにするのが望ましい。また、本実施の形態は実施の形態２の携帯電話とも組み合わせてよいことは言うまでもない。
【００８４】
また、上記の実施の形態においては、携帯通信端末６００は、外部インタフェース６２３、またはアンテナ６１２，送信処理手段７０６、受信処理手段７０７を用いて、外部に接続した機器から得た情報を液晶ディスプレイ６２１に表示したり、入力手段７０４に、操作者の動作に基づく制御入力を行い、前記外部に接続した機器を制御するための出力を行うようにしたが、本発明の情報表示装置および情報入力装置は、必ずしも外部の機器と通信して情報の授受をやりとりする必要はない。すなわち、本発明の送信処理手段および受信処理手段は、本発明の撮像手段、画像処理手段、位置検出手段、表示手段、制御手段にて扱われる、所定の情報を含む情報を処理する必要はない。
【００８５】
例えば、携帯通信端末６００において、外部インタフェース６２３を省略して、アンテナ６１２，送信処理手段７０６、受信処理手段７０７は、携帯電話の機能のみに特化したものも本発明に含まれる。この場合、本発明の情報表示装置および情報入力装置は、携帯通信端末６００を、スタンドアローンな情報処理装置として用いる際の、ユーザ用インタフェースとして用いられていることになる。
【００８６】
なお、上記の実施の形態において、ＣＣＤカメラ６１１は本発明の撮像手段の一例であるが、本発明の撮像手段はこれに限定するものではなく、Ｃ−ＭＯＳを用いた撮像素子など、光学的に画像を撮像して、これを画像処理手段が後に処理可能にデータ化することができるものであればよい。また、焦熱素子を用いたサーモグラフィなど、熱的に画像を撮影して、これを画像処理手段が後に処理可能にデータ化できるものであってもよい。さらに、画像処理手段は、撮像手段が撮像した画像から、特定の波長（色の）の部分だけを処理して、位置検出に必要な部分をピックアップできるようにしてもよい。また、液晶ディスプレイ６２１は本発明の表示手段の一例であるが、本発明の表示手段はこれに限定するものではなく、実施の形態１や２と同様の投射型ディスプレイであってもよい。
【００８７】
また、上記の実施の形態において、映像パターン登録手段７０５は、位置検出手段７０２内に設けられたものとして説明を行ったが、入力手段７０４内に設けていてもよいし、位置検出手段７０２と入力手段７０４との間に設けるようにしてもよく、その配置によって限定されるものではない。
【００８８】
また、上記の実施の形態において、携帯通信端末６００は、本発明の情報表示装置に入力手段を備えたものとして説明を行ったが、本発明の情報表示装置は、撮像手段、画像処理手段、位置検出手段、制御手段、表示手段、送信処理手段および受信処理手段を備えて、入力手段７０４を省いた構成としてもよい。
【００８９】
また、携帯通信端末６００は、本発明の携帯通信端末の一例であり、入力手段７０４は本発明の入力手段の一例であって、位置検出手段７０２からの入力に基づいて動作するものとして説明を行ったが、本発明の入力手段は、利用者からのボタン入力など、外部からの入力により基づき行われるようにしてもよい。
【００９０】
さらに、本発明の制御入力装置は、携帯通信端末６００のような、折り畳み式携帯通信端末のような形態でなく、通常の携帯電話同様の折り畳み部分をもたない構成にて実現してもよい。図１６（ａ）に示す例は、折り畳み部分を持たない携帯電話１６００において、液晶ディスプレイ６２１を底部に配置し、図１６（ｂ）に示すように、底部の背面にＣＣＤカメラ６１１を配置するようにしたものである。
【００９１】
また、上記の説明においては、本発明の実施の形態における携帯電話、携帯通信端末について説明を行ったが、本発明は、上述した本発明の携帯通信端末、情報表示装置、制御入力装置の全部又は一部の手段の機能をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムであってもよい。
【００９２】
ここで、本発明の一部の手段（又は、装置、素子、回路、部等）、は、それらの複数の手段の内の、幾つかの手段を意味し、あるいは、一つの手段の内の、一部の機能又は一部の動作を意味するものである。
【００９３】
また、上記の説明においては、本発明の実施の形態における制御入力方法について説明を行ったが、本発明は、上述した本発明の制御入力方法の全部または一部のステップ（または、工程、動作、作用等）の動作をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムであってもよい。
【００９４】
このとき、本発明の一部のステップ（または、工程、動作、作用等）は、それらの複数のステップの内の、幾つかのステップを意味し、あるいは、一つのステップの内の、一部の動作を意味するものである。
【００９５】
なお、本発明のプログラムを記録した、コンピュータに読みとり可能な記録媒体も本発明に含まれる。
【００９６】
また、本発明のプログラムの一利用形態は、コンピュータにより読み取り可能な記録媒体に記録され、コンピュータと協働して動作する態様であっても良い。
【００９７】
また、本発明のプログラムの一利用形態は、伝送媒体中を伝送し、コンピュータにより読みとられ、コンピュータと協働して動作する態様であっても良い。
【００９８】
記録媒体としては、ＲＯＭ等が含まれ、伝送媒体としては、インターネット等の伝送媒体、光・電波・音波等が含まれる。
【００９９】
また、上述した本発明のコンピュータは、ＣＰＵ等の純然たるハードウェアに限らず、ファームウェアや、ＯＳ、更に周辺機器を含むものであっても良い。
【０１００】
したがって、以上説明した様に、本発明の構成は、ソフトウェア的に実現しても良いし、ハードウェア的に実現しても良い。
【０１０１】
【発明の効果】
以上説明したところから明らかなように、本発明によれば、画面により多くの情報を見ながら、本体を保持する手で同時にポインティングデバイスを操作することができる。
【０１０２】
また、撮像した操作者の動作を表示装置に表示させ、操作者の動作を認識して対応してカーソル表示を行なうことで、入力操作が容易に行なえる。
【図面の簡単な説明】
【図１】
本発明の実施の形態１の携帯電話の構成図
【図２】
本発明の実施の形態１の携帯電話の使用状態を説明する図
【図３】
本発明の実施の形態１の携帯電話の他の構成例を示す図
【図４】
本発明の実施の形態２の携帯電話の構成を示す図
【図５】
本発明の実施の形態２の携帯電話のブロック構成図
【図６】
本発明の実施の形態３の情報処理装置の構成図
【図７】
本発明の実施の形態３の情報処理装置のブロック構成図
【図８】
本発明の実施の形態３の情報処理装置の使用状態を説明する図
【図９】
本発明の実施の形態３の情報処理装置の使用状態を説明する図
【図１０】
本発明の実施の形態３の情報処理装置の動作を説明する図
【図１１】
本発明の実施の形態３の情報処理装置の動作を説明する図
【図１２】
本発明の実施の形態３の情報処理装置の動作を説明する図
【図１３】
本発明の実施の形態３の情報処理装置の他の動作例を説明する図
【図１４】
従来の技術による携帯電話の構成を示す図
【図１５】
本発明の実施の形態３の情報処理装置の他の動作例を説明する図
【図１６】
本発明の実施の形態３の情報処理装置の他の構成を示す図
【符号の説明】
１００  携帯電話
１１０  本体部
１１１  アンテナ
１１２  スピーカ
１１３  補助表示部
１１４  入力部
１１５  ポインティングデバイス
１１６  応答ボタン
１２０  主画面表示部
１２１  表示面
１２２ａ、１２２ｂ  マイク
１３１  第２ヒンジ