(57)【要約】【課題】所望の背景上に仮想的な書き込みを行うとともに、その書き込み内容を記録して読み出すことができる空間手書き装置を提供すること。【解決手段】空間手書き装置Ｗは、背景及び手書きの軌跡を撮像した書き込み画像または表示対象の背景を撮像した表示背景画像を入力する画像入力部１と、書き込み画像から画像処理により手書きの軌跡を抽出して背景画像及び手書きの軌跡画像に分ける手書き抽出部２と、背景画像及び手書きの軌跡画像を互いに関連づけて記録する画像記録部３と、画像記録部３に記録された背景画像の中から表示背景画像と一致する背景画像を検索する画像処理部４と、手書きの抽出画像または画像処理部４で検索された背景画像に関連づけられた手書き軌跡画像を表示する画像表示部２０と、画像表示部２０からの光を反射するとともに使用者の視線方向の実視野からの光を透過するコンバイナーとを備えている。【選択図】図１
2006154901.tif 000002
【特許請求の範囲】
【請求項１】
背景とともに手書きの軌跡を撮像した書き込み画像、または表示対象の背景を撮像した表示背景画像を入力する画像入力手段と、
前記書き込み画像から画像処理により手書きの軌跡を抽出し、前記書き込み画像を背景画像と手書きの軌跡画像とに分ける手書き抽出手段と、
前記背景画像及び手書きの軌跡画像を互いに関連づけて記録する画像記録手段と、
該画像記録手段に記録された前記背景画像の中から前記表示背景画像と一致する背景画像を検索する画像処理手段と、
前記手書きの抽出画像、または前記画像処理手段で検索された背景画像に関連づけられた前記手書き軌跡画像を表示する画像表示手段と、
該画像表示手段からの光を反射するとともに使用者の視線方向の実視野からの光を透過する半透過型光学素子とを備え、
前記使用者から見て前記半透過型光学素子よりも前方に前記画像表示手段が表示する軌跡画像の虚像を前記表示対象の背景に重畳して表示するように構成したことを特徴とする空間手書き装置。
【請求項２】
携帯情報端末に一体化して組み込まれていることを特徴とする請求項１に記載の空間手書き装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所望の背景上に仮想的な書き込みを行うとともに、その書き込み内容を記録して読み出すことができる空間手書き装置に関するものである。
【背景技術】
【０００２】
従来より、平面的な実体（たとえば手書き入力パネル等）のない状況でも、空間上に手書き等の方法で仮想的に文字や図形をなぞることにより、その経路から文字パターンや図形パターンを入力することができる空間手書き図形入力装置が提案されている。この装置では、手書きにより文字や図形をなぞる指先にセンサを装着し、同センサの移動に伴う空間位置の空間座標から移動速度や加速度を測定してトレース像を抽出するように構成されている。（たとえば、特許文献１参照）
【特許文献１】特開平６−２８０９６号公報（〔図１〕及び〔図２〕を参照）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来技術の空間手書き図形入力装置は、センサと一体に移動する指先をトレースしてその軌跡を入力（記録）するものであり、センサの移動速度や加速度を測定して指先の軌跡を抽出するので、指先の軌跡に背景情報（画像情報）を重ね合わせて記録することはできなかった。
このような背景から、指先等による仮想的な手書き入力（書き込み）を空間上で行い、この手書き入力及び背景の画像を同時に記録するとともに、必要に応じて記録した手書き入力を読み出すこともできる空間手書き装置の開発が望まれる。
【０００４】
本発明は、上記の事情に鑑みてなされたものであり、その目的とするところは、所望の背景上に仮想的な書き込みを行うとともに、その書き込み内容を記録して読み出すことができる空間手書き装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明は、上記の課題を解決するため、下記の手段を採用した。
本発明に係る空間手書き装置は、背景とともに手書きの軌跡を撮像した書き込み画像、または表示対象の背景を撮像した表示背景画像を入力する画像入力手段と、前記書き込み画像から画像処理により手書きの軌跡を抽出し、前記書き込み画像を背景画像と手書きの軌跡画像とに分ける手書き抽出手段と、前記背景画像及び手書きの軌跡画像を互いに関連づけて記録する画像記録手段と、該画像記録手段に記録された前記背景画像の中から前記表示背景画像と一致する背景画像を検索する画像処理手段と、前記手書きの抽出画像、または前記画像処理手段で検索された背景画像に関連づけられた前記手書き軌跡画像を表示する画像表示手段と、該画像表示手段からの光を反射するとともに使用者の視線方向の実視野からの光を透過する半透過型光学素子とを備え、前記使用者から見て前記半透過型光学素子よりも前方に前記画像表示手段が表示する軌跡画像の虚像を前記表示対象の背景に重畳して表示するように構成したことを特徴とするものである。
【０００６】
このような空間手書き装置によれば、画像入力手段により背景とともに手書きの軌跡を撮像した書き込み画像を入力し、手書き抽出手段で書き込み画像から画像処理により手書きの軌跡を抽出して書き込み画像を背景画像及び手書きの軌跡画像に分ける。この後、手書きの軌跡画像を画像表示手段に表示することにより、半透過型光学素子が画像表示手段からの光を反射するとともに使用者の視線方向の実視野からの光を透過し、使用者から見て半透過型光学素子よりも前方に、画像表示手段に表示した軌跡画像の虚像が表示対象の背景に重畳して表示される。そして、背景画像及び手書きの軌跡画像については、両画像を互いに関連づけて画像記録手段に記録することで、書き込みモードが完了する。
また、画像入力手段により表示対象の背景を撮像した表示背景画像を入力し、画像処理手段において、画像記録手段に記録された背景画像の中から表示背景画像と一致する背景画像を検索する。そして、画像処理手段で検索された背景画像に関連づけられた手書き軌跡画像を画像表示手段に表示することにより、半透過型光学素子が画像表示手段からの光を反射するとともに使用者の視線方向の実視野からの光を透過し、使用者から見て半透過型光学素子よりも前方に、画像表示手段に表示した軌跡画像の虚像が表示対象の背景に重畳して表示される。
【０００７】
上述した空間手書き装置は、たとえばデジタルカメラ、携帯電話機及びＰＤＡ（Personal Digital Assistance ）等のように通常持ち歩くことが容易な携帯情報端末に一体化して組み込むことが好ましい。
【発明の効果】
【０００８】
上述した本発明の空間手書き装置によれば、たとえば本、雑誌及びパンフレット等の書面（背景）に対し、装置を使用した状態で指先等により手書きをすれば、同装置の使用者のみが書面等の背景上に重畳表示された虚像の書き込み内容を確認しながら、読み出し可能なメモ書き等の書き込みを記憶させて残すことができる。この書き込みは指先等の軌跡を画像処理して抽出される実体のない仮想のものであるため、実際の書面等の背景はきれいなまま残すことができ、しかも、同装置のない他人が同書面等の背景を見ても書き込み内容を知ることはできない。
また、使用者が書き込み内容を見たい場合には、空間手書き装置を使用して同様の書面等背景を見ることにより、表示したい書面等の表示背景画像を撮像して一致する背景画像が画像処理により検索され、この背景画像と関連づけられて記憶されている書き込み内容が書面等の背景上に虚像として重畳表示される。従って、装置の使用者は、書き込んだ時と同様の背景上に重畳された書き込み内容を見ることが可能になる。
【０００９】
すなわち、装置の使用者が所望の背景上（書面や壁面等）に実体のない仮想的な書き込みを行ってこれを背景とともに記憶し、同装置の使用者のみが同一背景上に重畳表示される虚像の書き込み内容を読み出し可能な空間手書き装置を提供することができる。
そして、このような空間手書き装置をデジタルカメラ、携帯電話機及びＰＤＡ等の携帯情報端末に組み込んで一体化した構成とすれば、空間書き込み装置を常時携帯して必要時に書き込み及び読み出しを容易に行うことができるようになり、多機能で利便性の高い装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明に係る空間手書き装置の一実施形態を図面に基づいて説明する。
空間手書き装置は、所望の背景上に仮想的な書き込みを行ってその書き込み内容を記録するとともに、必要に応じて同一背景上に重畳表示した書き込み内容を読み出すことができるように構成されている。
図３及び図４は、本発明による空間手書き装置の使用状況を示す図であり、この場合の空間手書き装置は、たとえばデジタルカメラ、携帯電話機及びＰＤＡ等の小型で携帯性に優れた携帯情報端末１０の本体１１内に一体的に組み込まれた構成とされる。携帯情報端末１０の本体１１には、画像入力手段となる撮影レンズ１２、図示しない電源等の各種操作スイッチ類、各種制御機構及び制御基板等の他、本体１１を貫通させた開口部１１ａから取り出して使用する開閉式の画像表示装置２０及び半透過型光学素子のコンバイナー３０が設けられている。この携帯情報端末１０は、空間手書き装置を使用する際、画像表示装置２０及びコンバイナー３０を開き、本体適所を使用者の側頭部に押し当てた状態にして、コンバイナー３０を通して背景を見ながら書き込みまたは読み出しを行うように構成されている。
【００１１】
ここで、空間手書き装置の構成を図１のブロック図に基づいて説明する。
この空間手書き装置Ｗは、書面等の背景とともに指先等による手書きの軌跡を撮像した書き込み画像、または表示対象となる背景を撮像した表示背景画像を入力する画像入力部（画像入力手段）１と、書き込み画像から画像処理により手書きの軌跡を抽出し、書き込み画像を背景画像と手書きの軌跡画像とに分ける手書き抽出部（手書き抽出手段）２と、手書き抽出部２で分けた背景画像及び手書きの軌跡画像を互いに関連づけて記録する画像記録部（画像記録手段）３と、画像記録部３に記録された背景画像の中から表示背景画像と一致する背景画像を検索する画像処理部（画像処理手段）４と、手書き抽出部３で抽出された手書きの軌跡画像、または画像処理部４で検索された背景画像に関連づけられた手書き軌跡画像を表示する画像表示装置（画像表示手段）２０と、画像表示装置２０からの光を反射するとともに使用者の視線方向の実視野からの光を透過するコンバイナー３０とを備えており、使用者から見てコンバイナー３０よりも前方に画像表示装置２０が表示する軌跡画像の虚像を表示対象の背景に重畳して表示するように構成されている。
【００１２】
画像入力部１は、撮影レンズ１２を含む各種レンズ等を組み合わせた撮影光学系を介して撮像する画像をＣＣＤやＭＯＳ等の半導体素子によりデジタルデータの画像情報に変換し、この画像情報を手書き抽出部２または画像処理部４に送る機能を有している。この撮影入力部１では、空間手書き装置Ｗの使用者が選択する後述の操作モード（書き込みモードまたは表示モード）に応じて、書き込み画像または表示背景画像を撮像する。
書き込みモードでは、書面等の背面に合わせて文字やアンダーライン等を仮想で手書きする軌跡を重ねた書き込み画像が撮像される。この場合の背面は、たとえば本や雑誌等の書面があり、これを背景画像として、図３に示す使用者の指先Ｆ等により書面上に手書きした軌跡も合わせて撮像する。
また、表示モードは、書き込みモードで書き込んだ内容を背景上に表示して読み出し可能とするもので、使用者が書き込み内容を表示したい書面等の背景、すなわち表示対象となる表示背景画像が撮像される。
【００１３】
手書き抽出部２は、書き込みモードにおいて画像入力部１で撮像した書き込み画像の入力を受け、画像処理により手書きの軌跡を抽出する機能を有している。この場合の画像処理は、書き込み画像に含まれる移動または変化しない背景画像と、手書きで移動する指先Ｆ等の軌跡画像とに分けて区別し、書き込み画像から手書きで入力した文字等の軌跡画像のみを抽出する。すなわち、手書き抽出部２は、入力されれた書き込み画像の画像処理を行うことにより、手書きの軌跡を抽出して背景画像と手書きの軌跡画像とに分ける機能を有している。
画像記録部３は、たとえばフラッシュメモリ等の記憶媒体が用いられ、手書き抽出部２で分けた手書きの軌跡画像を背景画像と関連づけして記憶する機能を有している。すなわち、手書きの内容を抽出した軌跡画像は、書き込みモードで新たに手書き入力を行うたびに、実際に手書きした書面等の背景画像と関連づけした一対の画像データとして画像記録部３に記憶される。
【００１４】
画像処理部４は、画像記録部３に記録されている背景画像の中から、表示モードで撮像した表示背景画像と一致するものを検索する機能を有している。すなわち、書き込みモードで記憶した背景画像の中から、表示モードで撮像した表示背景画像と一致するものを画像処理により検索する。
画像表示部２０は、書き込みモードにおいては、手書き抽出部２で抽出した手書き中の軌跡画像を表示し、さらに、表示モードにおいては、画像処理部４で検索された表示背景画像と一致する背景画像に関連づけて記憶されている手書き軌跡画像を表示する機能を有している。この画像表示部２０は、たとえば液晶表示パネル（ＬＣＤ）や有機ＥＬ表示パネル等のいわゆる薄型ディスプレイが用いられる。なお、画像表示部２０は、図示しないヒンジ等を用い、本体１１に対して揺動自在に軸支されている。
【００１５】
コンバイナー３０は、画像表示部２０からの光、すなわち画像表示部２０の表示面２１（図４参照）に表示される画像の光を反射するとともに、使用者の視線方向の実視野からの光を透過する半透過型光学素子である。換言すれば、コンバイナー３０は、少なくとも１面に自由曲面（３次元非球面）を有し、実視野となる外界像（実像）を透過するとともに、画像表示部２０の表示面２１に表示された手書き軌跡画像の電子画像を光学的に虚像として投影し、外界像の実像に電子画像の虚像を重畳的に表示する半透過型光学素子である。
【００１６】
ここで、図４に基づいてコンバイナー３０の構成を具体的に説明する。
このコンバイナー３０は、格納状態で表示面２１と対向する面に凹曲面状の反射面３１を有する部材であって、使用時には、この反射面３１と表示面２１とが略対向し、かつ、本体１１とともに略Ｚ字状を形成するように開かれている。この使用状態では、本体１１を貫通する開口部１１ａを通じて画像表示部２０の表示面２１から斜め前方へ向けて手書き軌跡画像（電子画像）の光が出され、この光（手書き軌跡画像の電子画像）は、反射面３１によって本体１１の後端部側（使用者の頭部側）へ向けて反射される。
【００１７】
この反射面３１は凹面鏡として機能するため、本体１１の後端部側となる側面を使用者の頭側部に押し当てた使用状態では、コンバイナー３０の前方に、すなわち、使用者から見てコンバイナー３０よりも遠方に、手書き軌跡画像の虚像が結像して表示される。
また、コンバイナー３０において、反射面３１が形成される領域は、使用者の実視界からの光を透過させる構成とされるため、使用者は、コンバイナー３０を通して視線方向遠方に書面等の背景画像を実像として視認できるようになっている。
【００１８】
本実施形態では、コンバイナー３０は、アクリルやポリカーボネート等の透明な材質からなる略長方形の曲面板状部材であって、その片面側に形成された金属膜等の反射層がハーフミラーとして機能する。この反射層の表面が、画像表示部２０の表示面２１から入射した手書き軌跡画像等の光線を表面で反射させる反射面３１となる。
なお、コンバイナー３０は、図示しないヒンジ等を用い、本体１１に対して揺動自在に軸支されている。
【００１９】
次に、上述した構成の空間手書き装置Ｗについて、その作用と、操作及び動作の手順を図２のフローチャートに基づいて説明する。
ステップＳ１で空間手書き装置Ｗの操作を開始すると、続くステップＳ２では図示しないスイッチ操作により操作モードの選択を実施する。最初の使用では、書き込みモードを選択するため、ステップＳ３では「ＹＥＳ」に進んだ後、ステップＳ４で書き込み画像の入力を実施する。
【００２０】
書き込み画像の入力は、たとえば図５（ａ）に示すように、適当な筆記具Ｐや指先Ｆによる手書きで仮想の書き込みを行う様子が、画像入力部１で背景とともに撮像されることにより実施される。図示の例では、書面４０に記載されている「ＡＢＣＤＥＦＧＨ・・・・・」の記載内容に対し、「ＡＢＣＤＥＦＧＨ」部分に想像線で示す仮想のアンダーライン４１を引いているが、この動作による筆記具Ｐの移動が手書きの軌跡として、背景となる書面４０の記載内容とともに撮像される。このようなアンダーライン４１を書き込む手書きの軌跡及び書面４０の記載事項は、コンバイナー３０を通して使用者の目により実像として見ることができる。
なお、上述した書き込みのアンダーライン４１は、図５（ｂ）に示すように、書面４０には全く記載されていない仮想の線である。
【００２１】
続くステップＳ５では、手書き抽出部２で画像処理により手書きの抽出を実施する。すなわち、ステップＳ４で入力した書き込み画像について、所定の画像処理により背景画像から手書きの軌跡を抽出する。この場合の画像処理は、たとえば書き込み画像に含まれる移動または変化しない背景画像と、手書きの動作で移動する軌跡画像とに分けて区別し、一方の軌跡画像が手書きで入力した文字等の画像として抽出されることにより、書き込み画像は背景画像と手書きの軌跡画像とに分けられる。なお、図５に示した例では、背景画像となる書面４０から仮想のアンダーライン４１が軌跡画像として抽出される。
【００２２】
こうして背景画像及び手書きの軌跡画像に区分された書き込み画像は、次のステップＳ６で手書きの軌跡画像のみが画像表示部２０に表示される。画像表示部２０に表示された軌跡画像は、空間手書き装置Ｗの使用者がコンバイナー３０を通して、書面４０に重畳された虚像として見ることができる。すなわち、使用者は、実際の書き込み内容を確認しながら書面４０に仮想の書き込みを行うことができる。
また、背景画像及び手書きの軌跡画像に区分された書き込み画像は、次のステップＳ７で互いを関連づけした一対の画像情報として、画像記録部３に記録される。
この結果、書面４０に仮想のアンダーライン４１を引いて記憶するという書き込みモードは終了する（ステップＳ８）が、同様に他の書面等に書き込みを続ける場合は上述したステップＳ２に戻り、以下同様の操作を繰り返して書き込み画像の画像情報（背景画像及び手書きの軌跡画像）を順次画像記録部３に記録する。
【００２３】
一方、上述した操作で記録した画像情報を表示して読み出す場合には、ステップＳ３で「ＮＯ」に進んだ後、表示対象の背景画像を画像入力部１で撮像して入力する。表示対象の背景画像である表示背景画像は、書き込みモードで書き込んだ内容を表示したい書面４０、すなわち書き込んだものと同一の書面４０を空間書き込み装置Ｗの画像入力部１で撮像して入力することにより、次のステップＳ１２で画像処理部４に記録される。
続くステップＳ１３では、画像処理部４において、画像記録部３に記録されている背景画像の中から、表示背景画像と一致する背景画像を検索する。そして、次のステップＳ１４では、検索した背景画像と関連づけして記録されている手書きの軌跡画像を呼び出し、画像表示部２０に表示する。
【００２４】
従って、空間手書き装置Ｗの使用者は、コンバイナー３０を通して、画像表示部２０に表示された手書きの軌跡画像を書面４０に重畳された虚像として見ることができる。すなわち、書き込みモードで書き込んだ書き込み内容の虚像が、図５（ｃ）に示すように、書面４０にアンダーライン４１′の虚像が重畳して表示されるので、使用者は書き込み時と同様の書き込みを読み出すことが可能になる。
この結果、書面４０の書き込みを読み出すという表示モードは終了する（ステップＳ１５）が、同様に他の書面等の読み出しを続ける場合は上述したステップＳ２に戻り、以下同様の操作を繰り返すことにより、撮像した表示背景画像と同一の背景画像に対応する手書きの軌跡画像を順次重畳表示して読み出すことができる。
【００２５】
上述したように、本発明の空間手書き装置Ｗによれば、本、雑誌及びパンフレット等の書面４０や壁面等の変化しない背景に対し、装置Ｗを使用した状態で指先Ｆや筆記具Ｐ等によりアンダーライン４１等の手書き入力を実施すれば、同装置Ｗの使用者のみが背景上に重畳表示された虚像のアンダーライン４１を確認しながら、読み出し可能な書き込みを行って手書きの軌跡画像として背景画像とともに記憶させて残すことができる。この書き込みは、アンダーライン４１等の書き込みの軌跡を画像処理して抽出される軌跡画像が虚像として表示される実体のない仮想のものであるため、実際の書面４０等の背景はきれいなまま残すことができ、しかも、同装置Ｗを所持していない他人が同書面４０等の背景を見ても書き込み内容は見えない。
【００２６】
また、使用者が書き込み内容を見たい場合には、空間手書き装置Ｗを使用して同様の書面４０を見ることにより、表示したい書面４０の表示背景画像を撮像して一致する背景画像が画像処理により検索され、この背景画像と関連づけられて記憶されているアンダーライン４１′が書面４０の背景上に虚像として重畳表示される。従って、空間手書き装置Ｗの使用者は、書き込んだ時と同様の背景上に重畳されたアンダーライン４１′を読み出して見ることが可能になる。
また、このような空間手書き装置Ｗは、デジタルカメラ、携帯電話機及びＰＤＡ等の携帯情報端末１０に組み込んで一体化すれば、使用者は空間書き込み装置Ｗを常時携帯して必要時に書き込み及び読み出しを容易に行うことができるようになり、多機能で利便性の高い装置を提供することができる。
なお、本発明は上述した実施形態に限定されるものではなく、たとえば空間手書き装置Ｗを携帯情報端末に組み込まないで単独の装置とするなど、本発明の要旨を逸脱しない範囲内において適宜変更することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明に係る空間手書き装置の一実施形態として、構成例を示すブロック図である。
【図２】図１の空間手書き装置について、操作及び動作の手順を示すフローチャートである。
【図３】本発明に係る空間手書き装置の使用状況を示す斜視図である。
【図４】本発明に係る空間手書き装置の使用状況とともにコンバイナーの構成例を示す平面図である。
【図５】本発明に係る空間手書き装置のコンバイナーを通して使用者に見える書き込み内容を示す説明図であり、（ａ）は書き込みモード時、（ｂ）は不使用時、（ｃ）は表示モード時を示している。
【符号の説明】
【００２８】
１    画像入力部
２    手書き抽出部
３    画像記録部
４    画像処理部
１０    携帯情報端末
１１    本体
１２    撮影レンズ
２０    画像処理部
２１    表示面
３０    コンバイナー
３１    反射面
４０    書面
４１，４１′    アンダーライン
【図１】
2006154901.tif 000003
【図２】
2006154901.tif 000004
【図３】
2006154901.tif 000005
【図４】
2006154901.tif 000006
【図５】
2006154901.tif 000007