(57)【要約】  【課題】対象物の温度、対象物の意味、内容、対象物に対する所定の基準等を、使用者が容易に認識できる情報重畳表示装置及び情報重畳表示システムを提供する。  【解決手段】表示部１０１と、半透過光学素子１０２と、実視野内の所定領域を撮像する撮像部１０４を有すると共に、対象物の画像と該対象物に関連する関連情報とを電子情報データベースとして格納する情報格納部１２２と、撮像された所定領域の画像から、所定の対象物を特定する対象特定部１０５と、該特定された前記所定の対象物の関連情報を情報格納部１２２から抽出する情報抽出部１０６を備えたコンピュータ１２０と通信可能に構成され、半透過光学素子１０２を介して観察される観察対象の実視野に、情報抽出部１０６を介して抽出された関連情報を重畳して表示するようにした携帯情報端末装置からなる。  【選択図】  図１
2006145988.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
前記表示部で表示した情報を、観察対象の実視野に重畳して表示する半透過光学素子と、
前記実視野内の所定領域を撮像する撮像部を有すると共に、
対象物の画像と該対象物に関連する関連情報とを電子情報データベースとして格納する情報格納部と、撮像された所定領域の画像から、所定の対象物を特定する対象特定部と、該特定された前記所定の対象物の関連情報を前記情報格納部から抽出する情報抽出部を備えたコンピュータと通信可能に構成され、
前記半透過光学素子を介して観察される観察対象の実視野に、前記情報抽出部を介して抽出された前記関連情報を重畳して表示するようにした携帯情報端末装置からなることを特徴とする情報重畳表示装置。
【請求項２】
前記関連情報が、前記特定された所定の対象物の温度情報であることを特徴とする請求項１に記載の情報重畳表示装置。
【請求項３】
前記関連情報が、前記特定された所定の対象物の意味、内容を説明する文字情報であることを特徴とする請求項１に記載の情報重畳表示装置。
【請求項４】
表示部と、
所定領域を撮像する撮像部と、
撮像された所定領域の画像から、所定の対象物を特定する対象物特定部と、
前記特定された前記所定の対象物に対応して、基準となる模様を該所定の対象物に投影する、投影部を備えたことを特徴とする情報重畳表示装置。
【請求項５】
請求項１に記載の携帯情報端末装置とコンピュータとを備え、
前記半透過光学素子を介して観察される観察対象の実視野に、前記情報抽出部を介して抽出された前記関連情報を重畳して表示するようにしたことを特徴とする情報重畳表示システム。
【請求項６】
前記情報格納部が、対象物の画像と該対象物に関連する関連情報を、該対象物の状態ごとに電子情報データベースとして格納しており、
前記対象物特定部が、撮像された所定領域の画像から、所定の対象物及び該対象物の状態を特定し、
前記情報抽出部が、特定された前記所定の対象物の状態に対応した関連情報を抽出することを特徴とする請求項５に記載の情報重畳表示システム。
【請求項７】
前記関連情報が、前記特定された所定の対象物の温度情報であることを特徴とする請求項５又は６に記載の情報重畳表示システム。
【請求項８】
前記関連情報が、前記特定された所定の対象物の意味、内容を説明する文字情報であることを特徴とする請求項５又は６に記載の情報重畳表示システム。
【請求項９】
前記対象物特定部が、撮像された所定領域の画像から、所定の対象物及び該所定の対象物の状態を特定すると共に、
前記対象物特定部を介して特定された前記所定の対象物の内容に対応して、前記基準となる模様の該所定の対象物への投影状態を制御するようにしたことを特徴とする請求項４に記載の情報重畳表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、液晶パネルなどの表示素子を有する情報重畳表示装置及び情報重畳表示システムに関する。
【背景技術】
【０００２】
近年、一人の人間が複数のコンピュータを使用するネットワーク社会、いわゆるユビキタス・ネットワーク社会が提唱されている。ユビキタス・ネットワーク社会では、インターネット等の情報ネットワークに、いつでも、どこからでもアクセスできる環境が実現できる。このようなアクセスに使うことのできる携帯情報端末装置は、パソコンに限られず、例えば携帯電話等も用いることができる。
【０００３】
また、携帯電話においては、通話とディスプレイ認識とを同時に行える表示機能付き携帯情報端末装置としての構成が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００１−３０８９９７号公報
【０００４】
特許文献１に開示されている構成では、小型のディスプレイをホログラム素子により遠方に拡大投影する。これにより、例えば、通話をしながら表示画像情報を見ることができる。さらに、ホログラム素子を介して遠方の物体の透過像を同時に観察できる。このような表示機能付き携帯情報端末装置は、実視野の像にデジタル情報を重畳させて表示する、いわゆるシースルービュアー（ｓｅｅ−ｔｈｒｏｕｇｈ  ｖｉｅｗｅｒ）として用いることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
シースルー機能を備える携帯情報端末装置は、実視野の対象物に関する情報を重畳して表示することができる。そこで、このような携帯情報端末装置では、対象物の温度を、重畳して表示された情報を介して使用者が容易に認識できることが望まれる。また、対象物の意味、内容等を、重畳して表示された文字情報を介して使用者が容易に認識できることが望まれる。さらには、光学装置においては、対象物に対する所定の基準を重畳して表示することによって、使用者が容易に認識できることが望まれる。
【０００６】
本発明は、上記に鑑みてなされたものであって、対象物の温度、対象物の意味、内容、対象物に対する所定の基準等を、使用者が容易に認識できる情報重畳表示装置及び情報重畳表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明による情報重畳表示装置は、表示部と、前記表示部で表示した情報を、観察対象の実視野に重畳して表示する半透過光学素子と、前記実視野内の所定領域を撮像する撮像部を有すると共に、対象物の画像と該対象物に関連する関連情報とを電子情報データベースとして格納する情報格納部と、撮像された所定領域の画像から、所定の対象物を特定する対象特定部と、該特定された前記所定の対象物の関連情報を前記情報格納部から抽出する情報抽出部を備えたコンピュータと通信可能に構成され、前記半透過光学素子を介して観察される観察対象の実視野に、前記情報抽出部を介して抽出された前記関連情報を重畳して表示するようにした携帯情報端末装置からなることを特徴とする。
【０００８】
また、本発明の情報重畳表示装置においては、前記関連情報が、前記特定された所定の対象物の温度情報であるのが好ましい。
【０００９】
また、本発明の情報重畳表示装置においては、前記関連情報が、前記特定された所定の対象物の意味、内容を説明する文字情報であるのが好ましい。
【００１０】
また、本発明による情報重畳表示装置は、表示部と、所定領域を撮像する撮像部と、撮像された所定領域の画像から、所定の対象物を特定する対象特定部と、前記特定された前記所定の対象物に対応して、基準となる模様を該所定の対象物に投影する、投影部を備えたことを特徴とする。
【００１１】
また、本発明による情報重畳表示システムは、前記携帯情報端末とコンピュータとを備え、前記半透過光学素子を介して観察される観察対象の実視野に、前記情報抽出部を介して抽出された前記関連情報を重畳して表示するようにしたことを特徴とする。
【００１２】
また、本発明の情報重畳表示システムにおいては、前記情報格納部が、対象物の画像と該対象物に関連する関連情報を、該対象物の状態ごとに電子情報データベースとして格納しており、前記対象物特定部が、撮像された所定領域の画像から、所定の対象物及び該対象物の状態を特定し、前記情報抽出部が、特定された前記所定の対象物の状態に対応した関連情報を抽出するのが好ましい。
【００１３】
また、本発明の情報重畳表示システムにおいては、前記関連情報が、前記特定された所定の対象物の温度情報であるのが好ましい。
【００１４】
また、本発明の情報重畳表示システムにおいては、前記関連情報が、前記特定された所定の対象物の意味、内容を説明する文字情報であるのが好ましい。
【００１５】
また、本発明の情報重畳表示システムにおいては、前記対象物特定部が、撮像された所定領域の画像から、所定の対象物及び該所定の対象物の状態を特定すると共に、前記対象物特定部を介して特定された前記所定の対象物の内容に対応して、前記基準となる模様の該所定の対象物への投影状態を制御するようにするのが好ましい。
【発明の効果】
【００１６】
本発明によれば、観察している対象物の温度、対象物の意味、内容、対象物に対する基準等を、使用者が容易に認識できる情報重畳表示装置及び情報重畳表示システムが得られる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施例について、図面を用いて説明する。
【実施例１】
【００１８】
図１は本発明の実施例１に係る情報重畳表示システム全体の概略構成を示す説明図である。図２は実施例１の情報重畳表示システムで用いる情報重畳表示装置としての携帯情報端末装置の斜視構成図である。図３は図２に示す携帯情報端末装置の概略構成を模式的に示す説明図であり、(a)は上面図、(b)は断面図、(c)は底面図である。
なお、実施例１情報重畳表示システムは、使用者ＯＢＳが携帯情報端末１００を用いて、観察しているキッチン１１０の観察領域に存在する所定の対象物の温度情報を、認識することができるようにしたシステムの一構成例として示してある。
なお、キッチン１１０に、流し台１１１と、ガスコンロ１１２と、オーブンレンジ１１３が設けられているものとする。
【００１９】
実施例１のシステムは、携帯情報端末装置１００と、サーバーコンピュータ１２０を有している。  携帯情報端末１００は、図２に示すように、撮像部１０４と、電子情報表示部１０１と、半透過光学素子１０２と、入出力部１０３と、情報入力部１３０を有している。
撮像部１０４は、図３に示すように、光学レンズ１０４ａと、撮像デバイス１０４ｂとから構成されており、キッチン１１０を撮像するために用いられる。撮像デバイス１０４ｂには、例えば２次元ＣＣＤを用いることができる。光学レンズ１０４ａは、ズームレンズとして構成されていて、使用者の必要に応じて、撮像範囲を変化させることができるようになっている。撮像部１０４には、小型カメラを用いることができる。
【００２０】
電子情報表示部１０１は、一般に用いられる携帯情報端末の表示画面で構成されており、サーバーコンピュータ１２０との通信を介して得られる所定の対象物に関連する温度等の情報を表示する。電子情報表示部１０１には、液晶表示パネルや有機ＥＬパネルを用いることができる。
【００２１】
半透過光学素子１０２は、外部の観察対象と電子情報表示部１０１に表示された情報とを重畳して観察するために用いられる。半透過光学素子１０２には、ホログラム素子やハーフミラーを用いることができる。半透過光学素子１０２は、キッチン１１０からの光を透過するとともに、電子情報表示部１０１からの光を使用者の眼Ｅの方向へ反射する。これにより、半透過光学素子１０２は、電子情報表示部１０１に表示された情報を、キッチン１１０の実視野に重畳的に表示することができるようになっている。
また、電子情報表示部１０１、半透過光学素子１０２は、携帯情報端末１００の本体に対して開閉可能に取り付けられており、図１では、開いた状態を示している。なお、電子情報表示部１０１、半透過光学素子１０２を、携帯情報端末１００の本体に対して例えば図１の状態に固定して構成してもよい。
図３(b)に示すように、使用者ＯＢＳは、半透過光学素子１０２を介して、キッチン１１０を実視野で透過観察する。同時に、電子情報表示部１０１に表示された情報の像は、半透過光学素子１０２により使用者ＯＢＳの眼Eの方向へ反射される。これにより、使用者ＯＢＳは、キッチン１１０を実視野で観察しつつ、これに重畳して電子情報表示部１０１に表示された情報を認識できる。
情報入力部１３０は、数字キー、記号キー、アルファベットキー等から構成される、いわゆるテンキーで構成されている。
【００２２】
図４は実施例１に係る情報重畳表示システムの機能ブロック図である。
サーバーコンピュータ１２０と携帯情報端末１００とは、入出力部１０３を介して通信可能に構成されている。
サーバーコンピュータ１２０は、対象物特定部１０５と、情報抽出部１０６と、情報格納部１２２とを有している。情報格納部１２２は、対象物画像データベース１２３と、対象物特定情報データベース１２４と、特定対象物関連情報データベース１２５とで構成されている。
対象物画像１２３データベースは、例えばキッチン１１０に存在するガスコンロ１１２やオーブンレンジ１１３等の、撮像対象となり得る対象物の画像が格納されているデータベースである。
対象物特定情報データベース１２４は、対象物画像１２３データベースに画像として格納されている、例えば、ガスコンロ１１２やオーブンレンジ１１３等の個々の対象物に関連する、例えば器具及びその機種等、対象物を文字や数字等で特定するための情報が格納されているデータベースである。
特定対象物関連情報データベース１２５は、対象物特定情報データベース１２４に格納されている個々の対象物に関連する、例えば最高温度や待機温度などの情報が格納されているデータベースである。
対象特定部１０５は、携帯情報端末１００の入出力部１０３を介して送信されたキッチン１１０の画像を、情報格納部１２２の対象物画像データベース１２３の画像と照合することによって、対象物特定情報データベース１２４を介して、キッチン１１０の画像内に撮像されている所定の対象物（例えば、図１では右側のガスコンロ１１２と、オーブンレンジ１１３）を特定するように構成されている。
情報抽出部１０６は、対象特定部１０５を介して特定された対象物に関連する情報を、情報格納部１２２の特定対象物関連情報データベース１２５から抽出するように構成されている。
【００２３】
その他、サーバーコンピュータ１２０は、例えば、特定されたガスコンロ１１２及びオーブンレンジ１１３に関連する温度情報が、半透過光学素子１０２を介して観察される実視野においてガスコンロ１１２及びオーブンレンジ１１３のそれぞれの情報であることが識別できる適切な位置に表示されるように、表示位置を算出する表示位置制御部（図示省略）を備えており、算出した表示位置情報をガスコンロ１１２及びオーブンレンジ１１３に関連する温度情報とともに携帯情報端末１００に送信するように構成されている。
また、携帯情報端末１００は、サーバーコンピュータ１２０から送信された表示位置情報に基づいて、表示部１０１における適切な位置に、ガスコンロ１１２及びオーブンレンジ１１３に関連する温度情報を表示する表示位置制御部（図示省略）を備えている。
【００２４】
このように構成された実施例１に係る情報重畳表示システムによる温度情報の重畳表示処理について以下に説明する。図５は実施例１に係る情報重畳表示システムにおいて、対象物の温度情報を実視野に重畳して表示する手順の概略を示すフローチャートである。
使用者ＯＢＳは、携帯情報端末装置１００を用いて、半透過光学素子１０２を介してキッチン１１０を透過観察しながら、撮像部１０４を介してキッチン１１０（の所望範囲）を撮像する（ステップＳ４０１）。撮像部１０４を介して撮像された画像は、入出力部１０３を介してサーバーコンピュータ１２０に送信される。サーバーコンピュータ１２０にキッチン１１０の画像が送信されると、サーバーコンピュータ１２０の対象物特定部１０５が、キッチン１１０の画像を、情報格納部１２２の対象物画像データベース１２３の画像と照合するとともに、対象物特定情報データベース１２４を介して、キッチン１１０において撮像対象となった器具及びその機種等を特定する。なお、ここでは、ガスコンロ１１２及びオーブンレンジ１１３並びにそれらの機種が特定されるものとする（ステップＳ４０２）。次いで、情報抽出部１０６が、特定されたキッチン１１０のガスコンロ１１２及びオーブンレンジ１１３に関連する情報（ここでは、最高温度や待機温度などの温度情報）を情報格納部１２２の特定対象物関連情報データベース１２５から抽出（取得）する（ステップＳ４０３）。電子情報表示部１０１は、受信された温度情報を表示する。電子情報表示部１０１に表示された温度情報は、半透過光学素子１０２の表示面に表示される（ステップＳ４０４）。これにより、使用者ＯＢＳは、キッチン１１０のガスコンロ１１２及びオーブンレンジ１１３に関連する温度情報を、半透過光学素子１０２を介して、キッチン１１０の実視野に重畳して表示された状態で認識することができる。なお、温度情報の表示には、数字のほかに、色を用いてもよい。例えば、電子情報表示部１０１の表示面のうち、ガスコンロ１１２に対応する表示領域には、赤色の画像を表示するようにし、一方、オーブンレンジ１１３に対応する表示領域には、橙色の画像を表示するようにする。また、表示する画像の模様は、表示領域全体を塗りつぶしたものや、ハッチング（格子模様）にすればよい。
【００２５】
ところで、ガスコンロ１１２やオーブンレンジ１１３は、動作状況によって、温度が異なる。そこで、実施例１の情報重畳表示システムでは、対象物の状態（動作状況など）まで特定し、特定した状態ごとの温度情報が抽出できるように、情報格納部１２２の対象物画像データベース１２３、対象物特定情報データベース１２４、及び特定対象物関連情報データベース１２５を構築している。
例えば、ガスコンロ１１２を使用中の場合、撮像部１０４で撮像された画像には、ガスの炎が含まれている。そこで、この場合の温度情報は、ガスコンロ１１２を使用しているときの最高温度が抽出されるようにする。一方、ガスコンロ１１２を使用していない場合、撮像部１０４で撮像された画像には、ガスの炎が含まれていない。そこで、この場合の温度情報は、ガスコンロ１１２を使用していないときの待機温度が抽出されるようにする。
同様に、オーブンレンジ１１３についても、作動中の最高温度、待機中の温度がそれぞれ抽出できるように温度情報を格納しておけばよい。なお、オーブンレンジ１１３が作動中であるのか、待機中であるのかは、オーブンレンジ１１３の窓から見える内部の状態や、オーブンレンジ１１３の操作部の状態で判断できる。
【００２６】
なお、上述した温度情報は、対象物がとり得る温度のうちの、最高温度と最低温度であり、実際に観察しているときの温度ではない。そこで、対象物に、温度測定機能と通信機能を持たせるようにしてもよい。例えば、実施例１において、ガスコンロ１１２やオーブンレンジ１１３に、温度測定機能と通信機能を持たせる。このようにすると、ガスコンロ１１２やオーブンレンジ１１３は、温度測定機能によって、リアルタイムで自身の温度を測定することになる。そして、その温度は、通信機能よって、リアルタイムで、サーバーコンピュータ１２０に送られる。また、サーバーコンピュータ１２０では、特定対象物関連情報データベース１２５に格納されているガスコンロ１１２やオーブンレンジ１１３の温度情報を、このリアルタイムの温度情報に更新するようにする。
一方、携帯情報端末１００は、上述したように、サーバーコンピュータ１２０の温度情報を取得できる。よって、取得した温度情報に基づいて表示を行えば、使用者は、実際に観察している時の温度を認識することができる。
なお、撮像部１０４の撮像デバイスのかわりに、二次元サーモグラフィーを用いることも可能である。この場合、サーモグラフフィーが得た情報のうち、高温情報を抜出し、可視化（映像化）することにより、調理後の残熱表示や、温水器における水の温まり具合を見て取ることが可能になる。もちろん、通常の撮像素子との併用も可能である。
【実施例２】
【００２７】
図１〜図５に示した実施例１の情報重畳表示システムでは、情報格納部１２２から温度情報を抽出するように情報格納部１２２の対象物画像データベース１２３、対象物特定情報データベース１２４、及び特定対象物関連情報データベース１２５を構築した。よって、実施例１の情報重畳表示システムでは、使用者は、対象物の情報を数字及び記号で認識することができる。
本発明の実施例２の情報重畳表示システムでは、情報格納部から対象物の意味、内容等を説明するための文字情報を抽出するように、情報格納部の対象物画像データベース、対象物特定情報データベース、及び特定対象物関連情報データベースを構築している。よって、実施例２の情報重畳表示システムでは、使用者は、対象物の情報を文字で認識することができる。実施例２における携帯情報端末１００及びその他のシステムの基本構成は、実施例１とほぼ同じである。
【００２８】
図６は本発明の実施例２に係る情報重畳表示システムの携帯情報端末１００を用いて、街の風景を観察したときの様子を示す図であり、(a)は半透過光学素子１０２を介して観察している風景に存在する対象物の名称が、日本語でもって、その風景の実視野に重畳して表示されている状態を示す説明図、(b)は半透過光学素子１０２を介して観察している風景に存在する対象物の名称が、英語でもって、その風景の実視野に重畳して表示されている状態を示す説明図である。また、図７は実施例２に係る情報重畳表示システムの携帯情報端末１００を用いて観察している文章に含まれている漢字のふりがなが、その漢字の実視野に重畳して表示されている状態を示す説明図である。また、図８は実施例２に係る情報重畳表示装置の携帯情報端末１００を用いて観察している道路標識の意味が、その観察している道路標識の実視野に重畳して表示されている状態を示す説明図である。
風景等のなかには、例えば、電柱や自動販売機、ポスト、車、建物等、様々な対象物が存在している。そこで、実施例２では、これらの対象物の意味、内容に関する文字情報（即ち、対象物が何であるかを説明するための文字情報）を、風景等の実視野に重畳して表示している。
【００２９】
これらの文字情報は、情報格納部１２２の特定対象物関連情報データベース１２５に格納されている。また、対象物画像データベース１２３、対象物特定情報データベース１２４には、風景等に存在する対象物の画像及びその対象物を文字や数字等で特定するための情報が格納されている。
実施例２の情報重畳表示システムでは、撮像部１０４を介して撮像した街の風景の画像から、電柱や自動販売機、ポスト、車、建物等の対象物を、対象特定部１０５を介して特定する。次いで、特定した対象物に関する文字情報を、情報抽出部１０６を介して情報格納部１２２から抽出する。次いで、抽出した文字情報を、電子情報表示部１０１に表示する。電子情報表示部１０１に表示された情報は、半透過光学素子１０２を介して、風景の実視野に重畳して表示される。このようにすることによって、使用者は、半透過光学素子１０２を介して観察している風景に存在する対象物の意味、内容等の情報を認識することができる。
【実施例３】
【００３０】
実施例３の情報重畳表示システムは、使用者が、対象物に対する基準を認識することができるようにした光学装置を用いた構成例である。
実施例３の光学装置は、図１〜図３に示した実施例１の携帯情報端末１００と同様の携帯情報端末に、対象物特定部１０５を備えて構成されている。また、実施例３の光学装置では、実施例１のシステムで用いた情報格納部１２２を用いず、実施例１のサーバーコンピュータ１２０を備える必要のない構成となっている。  また、実施例３の光学装置に備わる対象物特定部１０５は、撮像された画像から、対象物を特定する機能と共に、対象物の隅の位置や辺の向き等、対象物の位置や大きさに関する情報を算出し、算出した情報から、対象物の基準となる模様の位置及び大きさ等を算出する制御手段としての機能を兼ね備えている。
【００３１】
図９は本発明の実施例３に係る光学装置としての携帯情報端末を用いて、用紙２００を観察したときの様子を示す説明図である。観察している用紙２００自体は、無地である。そして、用紙２００の実視野に、半透過光学素子１０２を介して罫線２１０が重畳して表示されている。この罫線２１０が、基準となる模様である。
この罫線を重畳表示するために、使用者ＯＢＳは、携帯情報端末装置１００を用いて、半透過光学素子１０２を介して用紙２００を透過観察しながら、撮像部１０４を介して用紙２００を撮像する。すると、撮像された用紙２００の画像から、用紙２００の隅の位置が抽出される。この隅の位置の抽出は、対象物特定部１０５によって行われる。さらに、対象物特定部１０５は、用紙２００の隅の位置の情報に基づいて、用紙２００の辺の向きを算出する。そして、対象物特定部１０５の制御により、この辺に所定の間隔で平行となるように、所定の大きさの罫線２１０が電子情報表示部１０１に表示される。電子情報表示部１０１に表示された罫線２１０は、半透過光学素子１０２を介して、使用者の眼に向けて投影される。よって、使用者は、罫線２１０が重畳した状態で、用紙２００を観察することになる。すなわち、対象物に対する基準となる模様（罫線）を、使用者は容易に認識できる。そこで、使用者は、この罫線に沿って文字を書けばよいことになる。
【００３２】
なお、隅の位置の抽出は、少なくとも２つの隅を撮像することで行われる。例えば、用紙２００における短辺の２つの隅のみを、撮像部１０４で撮像した場合、罫線は、短辺と平行に表示される。一方、用紙２００における長辺の２つの隅のみを、撮像部１０４で撮像した場合、罫線は、長辺と平行に表示される。
また、隅の位置の抽出において、用紙２００の３つの隅を、撮像部１０４で撮像してもよい。その場合には、短辺の向きと長辺の向きが算出されることになる。そこで、短辺と長辺のいずれか沿って罫線を表示させるかを、例えば、情報入力部１３０を介して使用者が選択することができるようにすれば良い。
【実施例４】
【００３３】
図１０は本発明の実施例４に係る情報重畳表示システムに用いる光学装置の概略構成図である。
実施例４の光学装置も、使用者が、対象物に対する基準を認識することができる光学装置である。但し、実施例４の光学装置は、実施例３のような半透過光学素子に重畳して表示する携帯情報端末とは異なり、対象物に対する基準を対象物に投影するプロジェクタとして構成されている。
実施例４の光学装置は、パソコン３００と液晶プロジェクタ３０１とを組み合わせて構成されている。
液晶プロジェクタ３０１は、処理制御部３０２と、液晶パネル（ＬＣＰ）３０３と、光源３０４と、投影光学系３０６を有している。
パソコン３００上で作成された画像・原稿データは、モニタ出力から分岐して液晶プロジェクタ３０１の処理制御部３０２に出力されるようになっている。液晶プロジェクタ３０１の処理制御部３０２は、この出力されたデータに対して所定の処理を施して、液晶パネル（ＬＣＰ）３０３に出力する。液晶パネル３０３は、所定の処理が施されたデータに応じた画像を表示する。光源３０４からの光は、液晶パネル３０３に表示された画像の階調によってその透過量が決定される。投影光学系３０６は、透過量が決定された光源３０４からの光による液晶パネル３０３を透過した像をスクリーン３０５に投影する。なお、投影光学系３０６は、フィールドレンズ３０７と、プリズム３０８と、絞り３０９と、カバーレンズ３１０とで構成されている。
【００３４】
更に、液晶プロジェクタ３０１には、撮像部３１１が設けられている。撮像部３１１は、撮像光学系３１２と撮像素子（ＣＣＤ）３１３とで構成されている。
撮像部３１０の撮像範囲は、投影光学系３０６の投影範囲と略一致している。また、撮像素子３１３を介して撮像した画像は、処理制御部３０２に送られるようになっている。処理制御部３０２は、撮像素子３１３で撮像された画像から、対象物を特定する機能を備えている。また、処理制御部３０２は、特定した対象物の位置や大きさなどの状態に応じて、パソコン３００上で作成された画像・原稿データに対して上記所定の処理を行うようになっている。
【００３５】
このように構成された実施例４の光学装置を用いて、白板（ホワイトボード）、あるいは黒板（ブラックボード）の対象物を観察する場合について説明する。
図１１は実施例４の光学装置を用いて黒板を対象物として観察した場合の様子を示す説明図である。
実施例４の光学装置では、液晶プロジェクタ３０１を介して黒板に、パソコン３００上で作成された原稿データである罫線が投影される。この罫線が、基準となる模様である。なお、罫線を黒板に適合した位置に投影するために、黒板の隅の位置が撮像部３１１を介して撮像される。そして、処理制御部３０２が、この画像における黒板を特定すると共に、黒板に適合した位置に罫線を表示することができるように、原稿データである罫線に対して所定の処理（罫線の位置や間隔の調整処理）を施して液晶パネル３０３へ出力するようになっている。
このように、実施例４の光学装置によれば、罫線が黒板に投影された状態になる。すなわち、対象物（黒板）に対する基準（罫線）を、使用者は容易に認識できる。そこで、使用者は、この罫線に沿って文字を書けばよいことになる。
【００３６】
なお、図９〜図１１に示した実施例３や実施例４の光学装置では、罫線の数が予め決まっているものとし、罫線の間隔は、用紙や黒板の大きさから、自動的に決まるようにしている。しかしながら、このような構成に限定されるものではなく、例えば、罫線の間隔を予め決めておくようにしても良い。
また、実施例３や実施例４の光学装置では、全ての罫線を、予め投影するようにしている。しかしながら、このような構成に限定されるものではなく、例えば、罫線を一本づつ、順に投影するようにしても良い。その場合には、文字が書かれている様子を、例えば図１１に示した光学装置の撮像部３１０で撮像し続けておくと良い。そのようにすれば、罫線の端に文字が書かれたタイミングを処理制御部３０２で検出でき、この検出のタイミングに基づいて、処理制御部３０２による液晶パネル３０３への罫線の出力制御を介して、次の罫線が投影されるようにすればよいことになる。
また、罫線を一本づつ投影する場合、書かれた文字を、撮像部３１０で撮像して、文字の大きさを特定すると共にし、処理制御部３０２を介してその文字の大きさから、次に投影する罫線の位置（罫線の間隔）を決定するようにしても良い。
【００３７】
なお、基準となる模様は罫線に限られるものではなく、例えば、２次元の格子模様を基準となる模様として投影するようにしても良い。例えば、図１２に示すように、テーブル上に２次元の格子模様を投影してもよい。このようにすれば、食器類を整然と配置させることができる。
また、基準となる模様は直線に限られるものではない。例えば、ひらがなや漢字を基準となる模様として投影するようにしてもよい。このようにすれば、小学生の低学年では、投影されたひらがなや漢字をなぞることで、ひらがなや漢字の学習になる。また、その場合、処理制御部３０２を介して、漢字の書き順に沿って、順番に投影していくようにするのもよい。そのようにすれば、生徒は、正しい書き順を習得できる。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施例１に係る情報重畳表示システム全体の概略構成を示す説明図である。
【図２】実施例１の情報重畳表示システムで用いる情報重畳表示装置としての携帯情報端末装置の斜視構成図である。
【図３】図２に示す携帯情報端末装置の概略構成を模式的に示す説明図であり、(a)は上面図、(b)は断面図、(c)は底面図である。
【図４】実施例１に係る情報重畳表示システムの機能ブロック図である。
【図５】実施例１に係る情報重畳表示システムにおいて対象物の温度情報を実視野に重畳して表示する手順の概略を示すフローチャートである。
【図６】本発明の実施例２に係る情報重畳表示システムにおける重畳表示の様子を示す図であって、(a)は日本語で文字情報が実視野に重畳して表示されている様子を示す説明図、(b)は英語で文字情報が実視野に重畳して表示されている様子を示す説明図である。
【図７】実施例２に係る情報重畳表示システムにおける重畳表示の様子を示す図であって、漢字のふりがなが実視野に重畳して表示されている様子を示す図である。
【図８】実施例２に係る情報重畳表示システムにおける重畳表示の様子を示す図であって、標識に関する文字情報が実視野に重畳して表示されている様子を示す図である。
【図９】本発明の実施例３に係る光学装置としての携帯情報端末における重畳表示の様子を示す図であって、用紙の実視野に罫線が重畳して表示されている様子を示す説明図である。
【図１０】本発明の実施例４に係る情報重畳表示システムに用いる光学装置の概略構成図である。
【図１１】実施例４の光学装置を用いて黒板を対象物として観察した場合における重畳表示の様子を示す図であって、黒板に罫線が重畳して投影されている様子を示す説明図である。
【図１２】実施例４の光学装置を用いて黒板を対象物として観察した場合における重畳表示の様子を示す図であって、テーブルに２次元格子の模様が重畳して投影されている様子を示す説明図である。
【符号の説明】
【００３９】
１００          携帯情報端末
１０１          電子情報表示部
１０２          半透過光学素子
１０３          入出力部
１０４          撮像部
１０５          対象特定部
１０６          情報抽出部
１１０          キッチン
１１１          流し台
１１２          コンロ
１１３          オーブンレンジ
１２０          サーバーコンピュータ
１２２          情報格納部
１２３          対象物画像データベース
１２４          対象物特定情報データベース
１２５          特定対象物関連情報データベース
１３０          情報入力部
２００          無地の用紙
２１０          罫線
３００          パソコン
３０１          液晶プロジェクタ
３０２          処理制御部
３０３          液晶パネル（ＬＣＰ）
３０４          光源
３０５          スクリーン
３０６          投影光学系
３０７          フィールドレンズ
３０８          プリズム
３０９          絞り
３１０          カバーレンズ
３１１          撮像部
３１２          撮像光学系
３１３          撮像素子（ＣＣＤ）
ＯＢＳ          携帯情報端末の使用者
Ｅ              使用者の観察している側の眼                                                                                    
【図１】
2006145988.tif 000003
【図２】
2006145988.tif 000004
【図３】
2006145988.tif 000005
【図４】
2006145988.tif 000006
【図５】
2006145988.tif 000007
【図６】
2006145988.tif 000008
【図７】
2006145988.tif 000009
【図８】
2006145988.tif 000010
【図９】
2006145988.tif 000011
【図１０】
2006145988.tif 000012
【図１１】
2006145988.tif 000013
【図１２】
2006145988.tif 000014