(57)【要約】  【課題】指示手段を画面上に近接させることでポインティングデバイスの機能を発揮させる画像表示部を有する情報端末装置において、指示検出を繰り返し行っても画像表示部全体の画質が劣化することが無く、製品の高い信頼性を得ることができるようにする。  【解決手段】画像を表示する画像表示部２と、画像表示部２から出射された光の反射を受光する受光素子２ｃと、画像を画像表示部２上に表示させるためのバックライト２ｂとを備え、画像表示部２の所定位置に指示検出箇所２１を設け、指示検出箇所２１に配設した受光素子２ｃからの信号レベルに基づいてスタイラスペン４の近接を検出する。【選択図】図３
2006178773.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する画像表示手段と、上記画像表示手段から出射された光の反射を受光する受光手段と、上記画像を上記画像表示手段上に表示させるための光源とを備える情報端末装置において、
上記画像表示手段上の指示位置に設けた指示検出箇所と、
上記指示検出箇所に配設した上記受光手段からの信号レベルに基づいて指示手段の近接を検出する指示検出手段とを備えることを特徴とする情報端末装置。
【請求項２】
上記指示検出箇所には予め設定された表示パターンの画像が表示され、上記指示検出手段では、上記指示検出箇所に表示された画像の表示フレームデータと、上記受光手段で受光した信号レベルに基づいて作成した読取りフレームデータとを比較して上記指示手段の近接を検出することを特徴とする請求項１記載の情報端末装置。
【請求項３】
上記指示検出箇所が点滅されており、
上記指示検出手段は、点灯時の上記受光手段で受光した信号レベルに基づいて作成した読取りフレームデータと消灯時の上記受光手段で受光した信号レベルに基づいて作成した読取りフレームデータとを比較して上記指示手段の近接を検出することを特徴とする請求項１記載の情報端末装置。
【請求項４】
少なくとも上記指示検出箇所の光源を赤外光源とし、
上記指示検出箇所が点滅されており、
上記指示検出手段は、点灯時の上記受光手段で受光した上記赤外光の信号レベルと消灯時の上記受光手段で受光した信号レベルとを比較して上記指示手段の近接を検出することを特徴とする請求項１記載の情報端末装置。
【請求項５】
上記画像表示手段に複数のオブジェクトが表示され、
上記各オブジェクトに上記指示検出箇所が従属されており、
上記各指示検出箇所が上記各オブジェクトに対して異なる位置に従属されていることを特徴とする請求項１〜４の何れかに記載の情報端末装置。
【請求項６】
上記各オブジェクトに従属する上記各指示検出箇所の位置が可変可能であることを特徴とする請求項５記載の情報端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示機能と画像取り込み機能とを備えた情報端末装置に関する。
【背景技術】
【０００２】
従来、この種の情報端末装置では、マウス等のポインティングデバイスを用いる代わりに、画像表示部の画面上を手指やスタイラスペンなどの指示手段で指示し、当該指示位置の座標を検出することでポインティングデバイスとしての機能を発揮させる技術が種々提案されている。
【０００３】
例えば特許文献１（特開平６−２３６２３７号公報）には、コピー機などの操作に必要な種々の名称を表示する画面の周辺に複数の発光ダイオードとフォトダイオードとを配設し、特定の名称が記載されている位置に手指を近接させると、この手指に照射された発光ダイオードからの投光が反射されて、特定のフォトダイオードで受光される。そして、フォトダイオードの受光信号から手指の輝度比を算出し、この輝度比に基づいて手指の指示位置を検出する技術が開示されている。
【０００４】
又、特許文献２（特開平８−２４９１１２号公報）には、画像表示部の画面上の２隅位置に赤外線発光部と赤外線受光部とを各々配設し、画面上をスタイラスペンで指示したとき、各赤外線発光部から出射した赤外光がスタイラスペンで反射して各赤外線受光部で受光されるまでの時間をそれぞれ計測し、この各時間に基づいてスタイラスペンの位置する方向を求め、この方向からスタイラスペンの指示位置を特定する技術が開示されている。
【特許文献１】特開平６−２３６２３７号公報
【特許文献２】特開平８−２４９１１２号公報
【特許文献３】特開平７−２０３１５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１、及び特許文献２に開示されている技術では、発光部と受光部とが画面の周辺、或いは画面の上部に設けられているため、装置自体が大型化してしまい、ＰＤＡ(Personal Digital Assistance)や携帯型パーソナルコンピュータ等の携帯型情報端末装置に適用することができず、適用可能な機種が検定される問題がある。
【０００６】
又、最近では、ＰＤＡ、携帯電話などのモバイル機器、パーソナルコンピュータ、カーナビゲーションシステムなどに代表される液晶ディスプレイやプラズマディスプレイなどの画像表示部を備える情報端末装置では、画像表示部に受光素子を配設し、画面上にセットされた紙媒体等に記載されている文字や絵、或いは写真などを、受光素子でスキャンして直接キャプチャできるようにした技術が知られている。
【０００７】
例えば特許文献３（特開平７−２０３１５７号公報）には、液晶表示部に受光素子を配設し、画面上にセットされた紙媒体などに記録されている情報を受光素子からの受光信号に基づいて読み取り、画面上に、その情報を表示した後、スタイラスペン等の指示手段を用いて、表示された情報から必要な領域を囲むことで、データピックアップ領域を指定する技術が開示されている。
【０００８】
しかし、特許文献３に開示されている技術には、指示手段で指定したデータピックアップ領域の座標を検出する具体的な手段が記載されておらず、実現することが困難である。
【０００９】
このような画像表示部に受光素子が配設されているものにおいては、例えば画像表示の３０フレーム中に、１フレームだけ全面白色光を挿入し、画像表示部の画面上に手指、スタイラスなど指示手段を近接させたときの反射光を受光素子で受光し、この受光素子からの受光信号に基づいて指示手段の指示位置の座標を検出することで、ポインティングデバイスとしての機能を得るようにした技術が提案されている。しかし、この技術では、指示手段で指示した位置座標を検出するために全面白色光を所定フレーム毎に表示させるようにしているので、指示検出毎に画質が劣化する問題がある。
【００１０】
又、特定のオブジェクトを指示手段で指定する場合に、指示検出位置と当該オブジェクトとの関係が不明確で、指示検出位置を簡単に認識することができず、使い勝手が悪いと云う問題がある。
【００１１】
本発明は、上記事情に鑑み、指示手段を画面上に近接させることでポインティングデバイスの機能を発揮させる画像表示部を有する情報端末装置において、汎用性、及び取扱性に優れているばかりでなく、指示検出を繰り返し行っても画像表示部全体の画質が劣化することがなく、製品の高い信頼性を得ることのできる情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため本発明は、画像を表示する画像表示手段と、上記画像表示手段から出射された光の反射を受光する受光手段と、上記画像を上記画像表示手段上に表示させるための光源とを備える情報端末装置において、上記画像表示手段上の指示位置に設けた指示検出箇所と、上記指示検出箇所に配設した上記受光手段からの信号レベルに基づいて指示手段の近接を検出する指示検出手段とを備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、汎用性、及び取扱性に優れており、しかも指示検出を繰り返し行っても画像表示部全体の画質が劣化することが無く、製品の高い信頼性を得ることができるなど優れた効果が奏される。
【発明を実施するための最良の形態】
【００１４】
以下、図面に基づいて本発明の一形態を説明する。図１〜図６に本発明の第１形態を示す。図１には携帯型情報端末装置の外観図が示されている。
【００１５】
情報端末装置の一例である携帯型情報端末装置１はバッテリを内蔵するＰＤＡ等のモバイル機器であり、使用者が片手で保持できる程度の大きさを有している。携帯型情報端末装置１の前面に、画像表示手段としての画像表示部２、及び電源スイッチ、キースイッチ等が所定に配設された操作部３などが設けられ、又、携帯型情報端末装置１の側面に指示手段の一例であるスタイラスペン４が抜き差し自在に配設されている。尚、画像表示部としては、液晶ディスプレイ、プラズマディスプレイなどがある。
【００１６】
画像表示部２は前面の２／３以上を締めており、少なくとも名刺全体を載置できるだけの大きさを有している。又、この画像表示部２の予め設定された指示位置（本形態では右上）に指示検出箇所２１が表示される。
【００１７】
図２に示すように、画像表示部２は、画像を表示する多数の画素で構成された液晶などの表示素子２ａを主体に形成されており、この表示素子２ａの底面に、画像表示と画像読取り時の照明光を出射する光源としてのバックライト２ｂが配設されている。更に、表示素子２ａに、受光手段としての光センサなどから成る受光素子２ｃが配設されている。この受光素子２ｃは、表示素子２ａの各画素に対応して、例えば１画素毎に１個設けられている。尚、受光素子２ｃは、１画素毎に１個である必要はなく、例えば数画素毎に１個設けられていても良く、或いは１画素に複数個設けられていても良い。１画素当たりの受光素子２ｃの数を増加させれば、画像読取り時の解像度を高めることができる。
【００１８】
ところで、図２に示すように、バックライト２ｂから照明光が出射されている状態でスタイラスペン４を画面上に近接させると、スタイラスペン４で反射された照明光が受光素子２ｃで受光され光電変換される。一方、スタイラスペン４で反射されなかった照明光は受光素子２ｃで受光されないため、各受光素子２ｃから出力される受光信号に基づいて、スタイラスペン４にて指示した位置座標を検出することができる。
【００１９】
又、上述したように、本形態では、指示検出箇所２１が画像表示部２上の予め設定された位置に表示されているため、スタイラスペン４がポインティングデバイスとして機能させ、このスタイラスペン４からの反射光を、指示検出箇所２１に設けられている受光素子２ｃで受光することで、指示検出箇所２１がポイントされたことを検知することができる。
【００２０】
図３に示すように、指示検出箇所２１に表示する画像、及び指示検出箇所２１に配設されている受光素子２ｃで受光した受光信号は、携帯型情報端末装置１に内蔵されている、指示検出手段としての機能を有する演算処理部５で処理される。この演算処理部５はＣＰＵを主体に構成されており、この演算処理部５にフレームメモリ部６が接続されている。
【００２１】
フレームメモリ部６には、表示素子２ａの予め設定されている指示検出箇所２１に画像表示させる１フレーム分の表示フレームデータ６ａが格納されていると共に、受光素子２ｃで受光した１フレーム分の読取りフレームデータ６ｂが一時記憶される。
【００２２】
図３、図４に示すように、指示検出箇所２１に表示させる画像は、本形態では縦縞の特定の表示パターンを有している。この指示検出箇所２１に表示される画像の縦すじ２１ａはバックライト２ｂからの照明光が表示素子２ａで遮光された暗部である。又、縦すじ２１ａ以外の指示検出箇所２１にはバックライト２ｂからの照明光が透過される。
【００２３】
一方、読取りフレームデータ６ｂは、指示検出箇所２１に設けられている受光素子２ｃで受光した受光信号に基づいて作成される。
【００２４】
演算処理部５では、フレームメモリ部６に格納されている表示フレームデータ６ａと読取りフレームデータ６ｂとを比較し、読取りフレームデータ６ｂの表示パターンが表示フレームデータ６ａの表示パターンに、少なくとも一部が類似している、或いは同一のとき、スタイラスペン４が指示検出箇所２１に近接した、換言すれば指示検出箇所２１がポイントされたと判定する。尚、指示検出箇所２１に表示する表示パターンは、縦縞に限らず、横縞、或いは格子模様であっても良い。
【００２５】
次に、このような構成による本形態の作用について説明する。演算処理部５では、フレームメモリ部６に格納されている表示フレームデータ６ａを読み込み、表示フレームデータ６ａに対応する画像信号を表示素子２ａへ出力する。すると、画像表示部２の予め設定されている指示検出箇所２１に、縦縞の画像が表示される。
【００２６】
一方、指示検出箇所２１に配設されている受光素子２ｃは、光電変換した受光信号を所定にＡ／Ｄ変換、及び波形整形した後、演算処理部５へ出力する。
【００２７】
演算処理部５は、受光素子２ｃからの受光信号に基づいて、１フレーム分の読取りフレームデータ６ｂを作成し、フレームメモリ部６に格納すると共に、この読取りフレームデータ６ｂと表示フレームデータ６ａとを比較する。
【００２８】
図５に示すように、指示検出箇所２１に対してスタイラスペン４が非近接状態にある場合、バックライト２ｂからの照明光は、画像表示部２から外方へ透過され、指示検出箇所２１に設けられている受光素子２ｃは外光のみが受光されるため、同図（ａ）のラインＬに沿って一次元に測定した受光量の信号レベルは、同図（ｂ）に示すようにほぼ一定となる。
【００２９】
従って、演算処理部５において、読取りフレームデータ６ｂと表示フレームデータ６ａとを比較した場合、両データの相関が低く、指示検出箇所２１は未だポイントされていないと判定する。
【００３０】
一方、指示検出箇所２１にスタイラスぺン４を近接させると、バックライト２ｂからの照明光がスタイラスペン４に反射して、指示検出箇所２１に設けられている受光素子２ｃに受光される。このとき縦すじ２１ａからは照明光が出射されていないため、この縦すじ２１ａに対応する反射光を受光する受光素子２ｃで検出された受光量の信号レベルは低く、それ以外の指示検出箇所２１に配設されている受光素子２ｃで検出する受光量の信号レベルは高くなる。
【００３１】
その結果、図６（ａ）のラインＬに沿って測定した一次元の信号レベルを見た場合、同図（ｂ）に示すように、縦すじ２１ａに対応する受光素子２ｃで受光した信号レベルが低くなる。尚、図６は説明を簡単にするために、指示検出箇所２１の全域にスタイラスペン４からの反射光が入射されたと仮定した状態が示されている。
【００３２】
従って、演算処理部５において、フレームメモリ部６に格納されている表示フレームデータ６ａと読取りフレームデータ６ｂとを比較した場合、両データの相関が高いと判断し、演算処理部５では指示検出箇所２１がポイントされたと判定する。
【００３３】
ところで、指示検出箇所２１の全域を白色光で照射し、受光素子２ｃで受光した信号レベルのみに基づいてスタイラスペン４の近接、非近接を検出することも考えられるが、信号レベルのみで近接状態を判定しようとした場合、外光の影響を受け易く、検出精度が低下してしまう。
【００３４】
これに対し、本形態のように、縦縞などの特定の表示パターンを比較すれば、外光の影響を受け難く、高い精度でスタイラスペン４の近接、非近接を検出することができる。尚、本形態では、１フレーム分の画像データを比較してスタイラスペン４の近接、非近接を検出するようにしているが、例えば、図５（ｂ）、図６（ｂ）に示すような、一次元の信号レベルを比較して、スタイラスペン４の近接、非近接を判定するようにしても良い。
【００３５】
又、読取りフレームデータ６ｂと表示フレームデータ６ａとを比較するに際しては、読取りフレームデータ６ｂが表示フレームデータ６ａの表示パターンの照射による反射光を受光して生成したものであるため、両データ６ｂ，６ａを同期させた状態で行う。
【００３６】
このように、本形態ではスタイラスペン４などの指示手段を画像表示部２に近接させることで指示位置を検出させるに際し、指示検出箇所２１が画像表示部２上に予め決めてあるため、指示検出の際に、画像表示部２の全面を白色光で照射する必要が無く、従って、指示検出を繰り返し行っても画像表示部２全体の画質が劣化することが無く、製品の高い信頼性を得ることができる。
【００３７】
又、指示検出箇所２１位置が予め決められているため、この指示検出箇所２１の領域を狭くしても、操作者は指示手段を指示検出箇所２１に正確に近接させることができる。従って、画像表示部２が大型の場合は勿論、小型の表示部であっても、本形態を適用することができ、汎用性、及び取扱性が良い。
【００３８】
又、図７に本発明の第２形態を示す。本形態では、画像表示部２上に、複数のオブジェクト３１，３２が表示されている場合について説明する。画像表示部２上に表示されている各オブジェクト３１，３２には指示検出箇所３１ａ，３２ａが各々従属されている。
【００３９】
操作者は、各オブジェクト３１，３２に従属されている指示検出箇所３１ａ，３２ａのいずれかをスタイラスペン４や手指などの指示手段でポイントすることで、オブジェクト３１，３２の一方を選択することができる。
【００４０】
尚、本形態における指示検出箇所３１ａ，３２ａに表示される画像は、第１形態の指示検出箇所２１に表示される画像と同様であり、更に指示検出箇所２１をポイントしたか否かを判定する方法も第１形態と同様であるため、説明を省略する。
【００４１】
ところで、指示検出箇所３１ａ，３２ａが近接している場合、スタイラスペン４や手指などの指示手段を指示検出箇所３１ａ，３２ａに近接させたとき、双方の指示検出箇所３１ａ，３２ａにて、指示手段の近接を同時に検出する可能性がある。
【００４２】
このような場合は、図８に示すように、指示検出箇所３１ａ，３２ａを、各オブジェクト３１，３２に対し異なる位置に従属させて、指示検出箇所３１ａ，３２ａを離すようにすると良い。指示検出箇所３１ａ，３２ａを離すことで、各オブジェクト３１，３２に従属する指示検出箇所３１ａ，３２ａを同時にポイントすることがなくなり、誤操作を防止することができる。その際、各オブジェクト３１，３２に従属する指示検出箇所３１ａ，３２ａを可変可能とし、操作者が指示検出箇所３１ａ，３２ａを任意に設定できるようにしても良い。
【００４３】
又、図９、図１０に本発明の第３形態を示す。上述した第１形態では指示検出箇所２１に縦縞など、特定のパターンの画像を表示し、当該表示フレームデータ６ａと受光素子２ｃからの受光信号に基づいて作成した読取りフレームデータ６ｂとを比較して、その相関から指示検出箇所２１がポイントされたか否かを判定するようにしたが、本形態では、指示検出箇所２１を点滅させ、点灯時の読取りフレームデータと消灯時の読取りフレームデータとを比較することで、当該指示検出箇所２１がポイントされたか否かを判定するようにしたものである。尚、図９は点灯時の状態、図１０は消灯時の状態が示されており、これらの図においては説明を簡単にするために、指示検出箇所２１の全域がスタイラスペン４や手指などの指示手段で覆われたと仮定した状態が示されている。
【００４４】
指示検出箇所２１に対してスタイラスペン４や手指などが近接されていない場合、この指示検出箇所２１に配設されている受光素子２ｃ（図２参照）で受光される光量は外光のみとなるため、この受光素子２ｃから出力される信号レベルは、点灯時と消灯時でほぼ同様のパターンとなる。
【００４５】
一方、操作者がスタイラスペン４や手指などの指示手段を指示検出箇所２１に近接させると、図９（ａ）に示すように指示検出箇所２１が点灯しているときは、照明光が指示手段で反射されて受光素子２ｃ（図２参照）で受光されるため、同図（ｂ）に示すように信号レベルが高くなる。又、図１０（ａ）に示すように、指示検出箇所２１が消灯しているときは、指示手段が指示検出箇所２１を覆い、受光素子２ｃに入射される外光が遮断されるため、同図（ｂ）に示すように信号レベルが低くなる。尚、図９（ｂ）、図１０（ｂ）は、図９（ａ）、図１０（ａ）のラインＬに沿って測定した一次元の信号レベルが示されている
その結果、演算処理部において点灯時の信号レベルと消灯時の信号レベルとを比較することで、その相関から指示検出箇所２１がポイントされたか否かを調べることができる。
【００４６】
このように本形態では、指示検出箇所２１を点滅させ、そのときの信号レベルを比較して、指示手段の近接、非近接、換言すれば指示手段により指示検出箇所２１がポイントされたか否かを調べるようにしたので、第１形態のような表示フレームデータ６ａを予め用意する必要が無く、構成が簡素化され、取扱性が良くなる。勿論、点灯時の指示検出箇所２１に、第１形態で説明したような特定パターンの画像を表示させるようにしても良い。
【００４７】
更に、上述した第１形態では、受光素子２ｃが外光を受光したときの信号レベルと、指示手段からの反射光を受光したときの信号レベルとの間の差が少ない状態では、指示手段の近接を検出することが困難となる場合があるが、本形態では、外光の状態に影響することなく指示手段の近接を検出することができるので、高い検出精度を得ることができる。
【００４８】
更に、例えば点灯時に第１形態で説明したような特定パターンの画像を表示させ、点灯時の１フレーム分の読取りフレームデータと表示フレームデータとを比較し、更に、消灯時と点灯時の信号レベルを比較することで、指示手段の近接、非近接を検知するようにすれば、より高い検出精度を得ることができる。
【００４９】
ところで、画像表示部２全体は通常のバックライトを用いて可視光で表示させ、指示検出箇所２１には赤外線を発光する赤外線バックライトを併せて配設し、指示検出箇所２１では赤外光を点滅させるようにしても良い。
【００５０】
スタイラスペンや手指などの指示手段が指示検出箇所２１に近接されていない場合、受光素子２ｃで受光する信号レベルは、点灯時と消灯時ではほぼ同じパターンとなる。一方、指示検出箇所２１に指示手段が近接すると、受光素子２ｃで受光する赤外光の信号レベルは、点灯時は指示手段からの反射光が受光されるため、点灯時と消灯時とで異なる特性が示される。従って、点灯時と消灯時との赤外光の信号のレベルを比較することで、指示手段の近接、非近接を検出することができる。
【産業上の利用可能性】
【００５１】
本発明による情報端末装置は、ＰＤＡ、携帯電話などのモバイル機器、パーソナルコンピュータ、カーナビゲーションシステム、テレビジョン受像機など、画像表示部を備える機器に適用することができる。
【図面の簡単な説明】
【００５２】
【図１】第１形態による情報端末装置の外観図
【図２】同、画像表示部の概略断面図
【図３】同、情報端末装置の概略構成図
【図４】同、指示検出箇所に表示される画像の説明図
【図５】同、スタイラスペンが非近接状態を示し、（ａ）は指示検出箇所に表示される画像の説明図、（ｂ）は指示検出箇所で受光する信号レベルを表示する特性図
【図６】同、スタイラスペンが近接した状態を示し、（ａ）は各受光素子の受光状態を示す説明図、（ｂ）は受光素子で受光した信号レベルを示す特性図
【図７】第２形態による画像表示部の表示内容を示す説明図
【図８】同、別態様における画像表示部の表示内容を示す説明図
【図９】第３形態を示し、（ａ）は点灯時の各受光素子の受光状態を示す説明図、（ｂ）はそのときの受光素子で受光する信号レベルを示す特性図
【図１０】同、（ａ）は消灯時の各受光素子の受光状態を示す説明図、（ｂ）はそのときの受光素子で受光する信号レベルを示す特性図
【符号の説明】
【００５３】
１  携帯型情報端末装置
２  画像表示部
２ａ  表示素子
２ｂ  バックライト
２ｃ  受光素子
３  操作部
４  スタイラスペン
５  演算処理部
６  フレームメモリ部
６ａ  表示フレームデータ
６ｂ  読取りフレームデータ
２１，３１ａ，３２ａ  指示検出箇所
３１，３２  オブジェクト
Ｌ  ライン
代理人    弁理士    伊  藤    進
【図１】
2006178773.tif 000003
【図２】
2006178773.tif 000004
【図３】
2006178773.tif 000005
【図４】
2006178773.tif 000006
【図５】
2006178773.tif 000007
【図６】
2006178773.tif 000008
【図７】
2006178773.tif 000009
【図８】
2006178773.tif 000010
【図９】
2006178773.tif 000011
【図１０】
2006178773.tif 000012