(57)【要約】  自筆支援装置は、ハーフミラーと、ハーフミラーのミラー面側に位置する画像表示面と、ハーフミラーのミラー面を挟んで、画像表示面と対向して位置する筆記面とを備え、画像表示面に表示された画像の虚像が、筆記面に投影される自筆支援装置であって、第１の画像を画像表示面に表示させる画像表示制御部を備え、筆記面上に現実物体が挿入された場合に、画像表示制御部は、第１の画像の、現実物体の筆記面への垂直投影領域に対応する領域の少なくとも一部領域が非表示処理された非表示処理画像を画像表示面に表示させる。自筆支援装置においては、非表示処理画像の虚像であって、現実物体の垂直投影領域の内側の少なくとも一部のみが非表示とされた像が筆記面に投影される。
2019064987.tif 000002
【特許請求の範囲】
【請求項１】
ハーフミラーと、前記ハーフミラーのミラー面側に位置する画像表示面と、前記ハーフミラーの前記ミラー面を挟んで、前記画像表示面と対向して位置する筆記面とを備え、前記画像表示面に表示された画像の虚像が、前記筆記面に投影される自筆支援装置であって、
第１の画像を前記画像表示面に表示させる画像表示制御部を備え、
前記筆記面上に現実物体が挿入された場合に、前記画像表示制御部が、前記第１の画像の、前記現実物体の前記筆記面への垂直投影領域に対応する領域の少なくとも一部領域が非表示処理された非表示処理画像を前記画像表示面に表示させることにより、前記非表示処理画像の虚像であって、前記現実物体の前記垂直投影領域の内側の少なくとも一部が非表示とされた像が前記筆記面に投影される自筆支援装置。
【請求項２】
前記画像表示制御部が、前記筆記面上における前記現実物体を検出する物体位置センサを備え、前記物体位置センサにより取得された前記現実物体の画像データから前記非表示処理画像を生成し前記画像表示面に表示させる請求項１記載の自筆支援装置。
【請求項３】
前記画像表示制御部が、前記非表示処理画像として、前記第１の画像の、前記現実物体の前記筆記面への垂直投影領域に対応する領域から所定長の位置より内側の領域のみが非表示処理された画像を前記画像表示面に表示させる請求項１または２記載の自筆支援装置。
【請求項４】
前記画像表示制御部が、前記第１の画像よりも表示面積が小さい第２の画像を、前記非表示処理画像にオーバーレイして、前記画像表示面に表示させる請求項１から３いずれか１項に記載の自筆支援装置。
【請求項５】
前記画像表示制御部が、前記第２の画像を、前記非表示処理画像の、前記非表示処理された前記一部領域に、少なくとも一部重ねて前記画像表示面に表示させる請求項４に記載の自筆支援装置。
【請求項６】
前記画像表示制御部が、前記第２の画像の全域を、前記一部領域に重ねて表示させる請求項５に記載の自筆支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、手書きで文字を書く際の列やバランスの崩れを防ぐためのガイドを行う自筆支援装置に関する。
【背景技術】
【０００２】
現在、現実空間に仮想物体などの視覚的な情報を付加して、人が観察する現実世界を拡張する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術が知られている。特開２０１６−１９４７４４号公報（以下において、特許文献１という。）には、仮想的な物体（以下において「ＡＲ物体」という。）に対する現実の物体の奥行き方向の位置関係からＡＲ物体の描写を制御する方法が開示されている。観測者の視点から、現実物体までの距離に対するＡＲ物体表面までの距離の比をＲとしたとき、観測者から見える現実物体の大きさをＲ倍してＡＲ物体表面に描写する方法である。【０００３】
また、特開２００８−０２７２２３号公報（以下において、特許文献２という。）は、映像に対応する触覚を映像空間に位置する対象物をなぞることにより知覚させる、ＡＲ物体の存在を現実に近いものとする技術が提案されている。特許文献２には、映像提示手段として、シースルー型ヘッドマウントディスプレイ、ディスプレイとハーフミラーとよりなるシースルー型ディスプレイ、ディスプレイからの映像を投射するプロジェクタ等が挙げられている。映像提示手段が対象物を触る使用者の指より眼に近い位置関係にある場合、指の上に映像が乗り、ＡＲ物体が指よりも手前に知覚されてしまうという問題点があるが、映像提示手段を指より眼から遠い位置関係にすることにより、指の上に映像が表示されるという不具合を解消できることが開示されている。【０００４】
一方、手書きする必要がある書類に対し、文字を書き込む際に、列やバランスが崩れてしまうのを防ぐための手書き支援システムが国際公開第２０１６／１２１３６２号（以下において、特許文献３という。）において提案されている。特許文献３の装置は、ＡＲ技術を利用したものであり、画像表示面において表示される手本となる像の鏡像画像をハーフミラーで反射させ、使用者にその反射像（虚像）を筆記面に一致して視認させるように構成されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献３の自筆支援装置において、使用者の筆記時の手の下にあるべき虚像が、手の上に重なって表示されてしまうために、奥行き知覚に問題が発生し、筆記時に強い違和感を覚える場合がある。人間の奥行き知覚は、両眼性と単眼性との２つの視覚情報に基づいて得られる。ハーフミラーを用いた虚像（ＡＲ物体）が筆記面に投影される構成においては、「両眼視差」からは、ＡＲ物体が、手よりも奥に存在すると判断される。一方、現実には、ＡＲ物体が現実物体である手と重なり、手を透けて視認されてしまうことから、「単眼性の遮蔽効果」によりＡＲ物体が手の手前に存在するように判断されてしまう。使用者はこの両眼性と単眼性からの視覚情報を同時に取得することになるため、この情報のずれによって、使用者には強い違和感が生じる。【０００６】
本発明は、上記事情に鑑みてなされたものであって、使用時に使用者が感じる違和感を低減して自筆支援機能を向上させることができる自筆支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示による自筆支援装置は、ハーフミラーと、ハーフミラーのミラー面側に位置する画像表示面と、ハーフミラーのミラー面を挟んで、画像表示面と対向して位置する筆記面とを備え、画像表示面に表示された画像の虚像が、筆記面に投影される自筆支援装置であって、
第１の画像を画像表示面に表示させる画像表示制御部を備え、
筆記面上に現実物体が挿入された場合に、画像表示制御部が、第１の画像の、現実物体の筆記面への垂直投影領域に対応する領域の少なくとも一部領域が非表示処理された非表示処理画像を画像表示面に表示させることにより、非表示処理画像の虚像であって、現実物体の垂直投影領域の内側の少なくとも一部が非表示とされた像が筆記面に投影される。【０００８】
本開示による自筆支援装置は、画像表示制御部が、筆記面上における現実物体を検出する物体位置センサを備え、物体位置センサにより取得された現実物体の画像データから非表示処理画像を生成し、画像表示面に表示させてもよい。【０００９】
本開示による自筆支援装置は、画像表示制御部が、非表示処理画像として、第１の画像の、現実物体の筆記面への垂直投影領域に対応する領域から所定長の位置より内側の領域のみが非表示処理された画像を画像表示面に表示させてもよい。
この場合、非表示処理画像の虚像として、垂直投影領域の輪郭から所定長の位置より内側の領域のみを非表示とされた像が筆記面に投影されることとなる。【００１０】
ここで、所定長とは、輪郭から０ｍｍ超であり、本発明の効果を奏する範囲で任意の長さを取りうるが、輪郭から１０ｍｍ以内とすることが好ましい。【００１１】
本開示による自筆支援装置においては、画像表示制御部が、第１の画像よりも表示面積が小さい第２の画像を、上記非表示処理画像にオーバーレイして、画像表示面に表示させてもよい。【００１２】
本開示による自筆支援装置においては、画像表示制御部が、第２の画像を、非表示処理画像の、非表示処理された上記一部領域に、少なくとも一部重ねて表示面に表示させることが好ましい。【００１３】
本開示による自筆支援装置においては、画像表示制御部が、第２の画像の全域を、上記一部領域に重ねて表示させることがさらに好ましい。
【発明の効果】
【００１４】
本開示による自筆支援装置によれば、使用者の筆記具を持つ手に重なって虚像が表示されるのを抑制することができるため、虚像と手の位置との位置情報に関して使用者が感じる違和感を低減することができる。したがって、自筆支援機能を向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る自筆支援装置の概略構成を示す斜視図である。
【図２】図１に示す自筆支援装置の概略構成を示す側面図である。
【図３】画像表示面および筆記面に表示される画像を示す模式図である。
【図４】自筆支援装置における演算ブロックダイアグラムを示すブロック図である。
【図５】第１の表示方法を説明するための図である。
【図６】第１の表示方法の場合の使用者からみた筆記面の状態を説明する図である。
【図７】第２の表示方法を説明するための図である。
【図８】第２の表示方法の場合の使用者からみた筆記面の状態を説明する図である。
【図９】第３の表示方法を説明するための図である。
【図１０】第３の表示方法の場合の使用者からみた筆記面の状態を説明する図である。
【図１１】第４の表示方法の場合の使用者からみた筆記面の状態を示す図である。
【図１２】比較例１の表示方法における、使用者からみた筆記面の状態を説明する図である。
【図１３】比較例２の表示方法における、使用者からみた筆記面の状態を説明する図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照して説明する。
【００１７】
図１は、本発明の実施形態の自筆支援装置の概略構成を斜視図であり、図２は、本実施形態の自筆支援装置１における筆記面、ミラー面および画像表示面の位置関係を示す側面図である。
【００１８】
図１、図２に示すように、本実施形態の自筆支援装置１は、ハーフミラー２０と、ハーフミラー２０のミラー面２２側に位置する画像表示面３２と、ハーフミラー２０のミラー面２２を挟んで、画像表示面３２と対向して位置する筆記面１２とを備える。本構成により、自筆支援装置１においては画像表示面３２に表示された画像の虚像が、筆記面１２に投影される。本実施形態においては、筆記面１２とミラー面２２との光学距離が、ミラー面２２と画像表示面３２との間の光学距離と等しくなるように、ハーフミラー２０、画像表示面３２および筆記面１２の位置は調整されている。但し、ハーフミラー２０において反射させた虚像が、筆記面１２に所望の大きさで投影される構成であれば本構成に限らない。なお、筆記面１２は、自筆支援装置１を使用する際に使用者が文字、絵などを筆記する用紙等の筆記媒体１０が配置される面であるが、以下において筆記面１２は筆記媒体１０の表面と見做して説明する。画像表示面３２は、例えば、ディスプレイあるいはディスプレイを備えたタブレット型コンピュータおよびスマートフォンなどの画像提示体３０のパネル面から構成される。
【００１９】
図３の左図が画像提示体３０の画像表示面３２に表示される画像１００Ａであり、右図が筆記面１２に投影される、画像１００Ａの反射像（虚像）１００Ｂである。図３に示すように、画像表示面３２には、筆記面１２に表示すべき像１００Ｂの鏡像となる画像１００Ａが表示される。ここで例示されている像１００Ｂは、はがきの表書きの住所、宛先等を記載すべき領域のレイアウト画像である。
【００２０】
図２に示すように、使用者がハーフミラー２０のミラー面２２側の観察部６０から筆記面１２を見たときに、画像表示面３２に表示された鏡像画像１００Ａがミラー面２２で反射されて視認される反射像（虚像）１００Ｂが筆記面１２に一致して見えるのである。すなわち、本明細書において「筆記面に虚像が投影される」とは、使用者に筆記面１２に像が直接投影されているかのように見える状態を意味する。しかし、実際には、使用者は、ミラー面２２で反射された鏡像画像の虚像を見ているのであり、プロジェクタによる画像表示のように像が直接投影されているわけではない。
【００２１】
ハーフミラー２０はミラー面２２を備えている。ハーフミラー２０は、ミラー面２２に入射する光の一部を反射し、一部を透過させるものであればよく、図２に示すように、観察部６０から筆記面１２を視認することができ、また、その筆記面１２に、ハーフミラー２０により反射された画像表示面３２に表示される鏡像画像の鏡像（そもそも表示すべき像）を重ねて視認できる反射率および透過率を有するものであればよい。
【００２２】
本実施形態の自筆支援装置１において、画像表示面３２を有する画像提示体３０は、画像表示面３２がハーフミラー２０のミラー面２２と向かい合うように、支持部材４０に支持されている。支持部材４０は、画像提示体３０を載置するための支持板４１を備えている。支持板４１は画像提示体３０の画像表示面３２に表示される画像をミラー面２２に写すことができる透明度を有する。
【００２３】
自筆支援装置１は、筆記媒体１０が載置される支持台５とその支持台５上にハーフミラー２０および画像提示体３０の支持部材４０を位置させるための支持軸６を備えている。ハーフミラー２０と支持部材４０は支持軸６に沿って上下に移動できるように構成されていることが好ましい。
【００２４】
本実施形態において、ハーフミラー２０のミラー面２２は、画像提示体３０側の面にあり、筆記面１２、ミラー面２２および画像表示面３２は互いに平行に、画像表示面３２とミラー面２２との光学距離ｈ１と、ミラー面２２と筆記面１２との光学距離ｈ２とが等しくなるように位置される。すなわち、ミラー面２２の任意の点Ｏから、この任意の点Ｏを通ってミラー面２２と垂直に交わる垂線の画像表示面３２との交点Ａまでの光学距離ｈ１と、同一垂線の筆記面１２との交点Ｂまでの光学距離ｈ２とが等しい。
【００２５】
本構成において、画像表示面３２とミラー面２２との光学距離ｈ１は、支持板４１の厚みｄ１と屈折率ｎ１との積ｎ１・ｄ１と、支持板４１の下面４４とミラー面２２との距離Ｌ１との和すなわち、ｈ１＝ｎ１・ｄ１＋Ｌ１で表される。また、ミラー面２２と筆記面１２との光学距離ｈ２は、ハーフミラー２０の厚みｄ２と屈折率ｎ２との積ｎ２・ｄ２と、ハーフミラー２０の下面２４と筆記面１２との距離Ｌ２との和、すなわち、ｈ２＝ｎ２・ｄ２＋Ｌ２で表される。
【００２６】
このように、本実施形態の自筆支援装置１においては、光学距離ｈ１とｈ２が等しくなるようにハーフミラー２０の位置および画像提示体３０の位置が調整されていることにより、画像表示面３２に表示される画像の虚像を筆記面１２に投影させることができる。
【００２７】
本自筆支援装置１は、画像表示面３２に画像を表示させる画像表示制御部３５を備えている。画像表示制御部３５は、筆記面１２上に現実物体７０が挿入された場合に、現実物体７０の筆記面１２への垂直投影領域に対応する領域の少なくとも一部領域が非表示処理された非表示処理画像を画像表示面３２に表示させる。これにより、自筆支援装置１においては、画像表示面３２に表示された非表示処理画像の虚像であって、現実物体の垂直投影領域の内側の少なくとも一部のみが非表示とされた像が筆記面に投影される。
【００２８】
ここで、筆記面１２上とは筆記面１２とハーフミラー２０との間の空間である。この筆記面１２上に挿入される現実物体７０とは、主として、使用者の手指７６および筆記具７４が想定される。
【００２９】
本実施形態において、画像提示体３０内部に画像表示制御部３５が備えられている。この場合の画像表示制御部３５による演算ブロックダイアグラムを図４に示す。画像表示制御部３５は、筆記面１２上に挿入された現実物体７０を検出する物体位置センサ３６と、筆記面１２に表示すべき画像の鏡像画像の画像データを保持する画像保持部３７と、演算部３８とを備えている。物体位置センサ３６は、例えば、カメラあるいは赤外線センサである。
【００３０】
画像表示制御部３５による第１の表示方法について図５および図６を参照して説明する。以下において、筆記面１２がはがきの表面であり、筆記面１２に表示すべき画像は住所、宛名等を筆記すべき領域のはがき用レイアウト画像１００を第１の画像として表示する場合について説明する。画像保持部３７は、レイアウト画像１００の画像データを記憶する記憶部である。画像保持部３７には、はがき用のレイアウト画像のみならず、各種のレイアウト画像の画像データが記憶されており、演算部３８は、筆記面に応じて適切な画像データを読み出すことができる。
【００３１】
既述の通り、画像表示面３２には、筆記面１２に投影される画像の鏡像画像が表示されるが、視覚的に理解しやすいように、図５以降の図面においては、画像表示面に表示される画像について、その投影される虚像を図示して説明する。
【００３２】
演算部３８は、物体位置センサ３６により取得された現実物体の画像データから筆記面１２上における現実物体７０の垂直投影領域の輪郭情報を算出する。輪郭情報は、例えば、垂直投影領域の形状データおよび筆記面上における座標データである。
【００３３】
演算部３８では、上述の輪郭情報に基づいて、筆記面上の垂直投影領域に対応する画像表示面上の領域を非表示にする処理対象領域画像１１０を作成する（図５参照）。図５において、処理対象領域画像１１０の周囲を囲む破線は、レイアウト画像１００の外周と一致する。処理対象領域画像１１０は、レイアウト画像１００上の座標において、現実物体７０の筆記面上の垂直投影領域に対応する領域に一致している。この処理対象領域画像１１０をレイアウト画像１００と重畳させて、レイアウト画像１００の、現実物体の筆記面への垂直投影領域に対応する領域が非表示処理された非表示処理画像１０２を作成する。そして、この非表示処理画像１０２を画像表示面３２に表示させる。以下において、レイアウト画像１００において非表示処理された領域を非表示領域という。
【００３４】
上記作用により、図６の下図に示すように、使用者は、筆記面１２、非表示処理画像１０２および自分の手指７６が積層された視野像１１２を認識する。使用者には、筆記面１２および非表示処理画像１０２の上に自分の手指７６が位置しているように認識されるため、奥行感に違和感なく筆記作業を行うことができる。
【００３５】
なお、物体位置センサ３６により検出される現実物体７０の表示面１２上における動きは常に演算部３８に送られ、現実物体７０の動きに応じて非表示領域が変化する非表示処理画像が表示される。
【００３６】
上記第１の表示方法において、画像表示制御部３５は現実物体７０の垂直投影領域と一致する領域を非表示とした非表示処理画像１０２を作成して、画像表示面に表示させている。しかし、現実物体７０の垂直投影領域の全域を非表示とする表示方法に限らず、垂直投影領域の少なくとも一部を非表示とすれば、手指の全域にレイアウト画像が投影されている場合と比較して、違和感を低減することができる。
【００３７】
第２の表示方法として図７に示すように、現実物体７０の垂直投影領域の輪郭１２１より所定長内側の領域のみを非表示とする処理対象領域画像１２０を作成し、レイアウト画像１００と重畳して、非表示処理画像１２２としてもよい。所定長は、輪郭１２１より内側であって、輪郭１２１から１０ｍｍ以内とすることが好ましい。この場合、使用者は、図８に示す視野像１２４のように、現実物体７０である自分の手指の輪郭に沿った縁部において、第１の画像が一部透過して視認される。しかし手指の中央には第１の画像が重ならないため、手指の全域に第１の画像が重なって視認される場合と比較して、違和感なく筆記作業を行うことができる。また、手の動きに画像処理が十分に追随しない場合や、視る位置がずれた場合に、非表示領域と手の垂直投影領域とが一部ずれた場合であっても、レイアウト画像の情報の欠落を防ぐことができる。
【００３８】
本発明においては、画像表示制御部３５において、非表示処理される領域は現実物体７０の筆記面への垂直投影領域の輪郭およびそれより内側のみであって、垂直投影領域の輪郭を超えた範囲には非表示処理を行わない。しかしながら、画像表示処理のずれ、視認方向のずれによって非表示処理領域が、現実物体の垂直投影領域からずれて表示される場合はある。筆記作業の効率に影響を与えない程度のずれにより投影画像の一部に非表示領域が視認されるのは許容されるが、手指などの現実物体７０の陰を形成するための陰影処理は本発明における非表示処理の範囲に含まない。現実物体の垂直投影領域の輪郭を超えた広い範囲に非表示処理を行うと、表示させたいレイアウト画像の情報が欠損する。本開示のように、垂直投影領域より内側のみに非表示処理であれば、レイアウト画像における実物体と重なる領域以外の情報に欠落が生じることがなく、好ましい
【００３９】
画像表示制御部３５は、さらに、第２の画像を非表示処理画像１２２にオーバーレイして、画像表示面３２に表示させるように構成されていてもよい。第２の画像は、レイアウト画像１００よりも小さい表示面積の画像であり、例えば、記入領域に記載すべき内容について示すガイド画像である。
【００４０】
第２の画像として「宛名」と示すガイド画像１３０をオーバーレイ表示させる第３の表示方法について場合について図９を参照して説明する。
【００４１】
レイアウト画像１００に、処理対象領域画像１２０を重畳させて、現実物体７０の垂直投影領域と一致する領域を非表示とした非表示処理画像１０２を、第１の表示方法の場合と同様にして作成する。その非表示処理画像１０２の上層のレイヤーにガイド画像１３０をオーバーレイさせたオーバーレイ画像１３２を画像表示面３２に表示させる。
【００４２】
上記作用により、図１０の下図に示す視野像１３４のように、使用者は、オーバーレイ画像１３２中のガイド画像１３０が、自分の手指７６に一部重なるように視認され、一方で、自分の手指７６を透過してレイアウト画像の虚像を視認することなく、手指７６の奥の表示面１２にのみレイアウト画像を視認することができる。この場合も、使用者は筆記面１２と一致して表示される非表示処理画像１０２の上に手指７６が位置しているように認識できる。さらに、ガイド画像１３０により、記入すべき内容がすぐにわかるため、作業を効率よく進めることができる。なお、ガイド画像１３０は、非表示領域と重ならない領域に表示されていてもよい。しかし、ガイド画像１３０が手と重なり、手の手前に存在するように認識されることによりレイアウト画像を含む非表示処理画像１０２が手の奥に存在するように使用者に感じさせることができ、違和感を低減する効果がより高まるため好ましい。
【００４３】
さらに、図１１に示すように、ガイド画像１３０の全域を非表示領域と重ねて表示するようにしてもよい。レイアウト画像にガイド画像１３０がオーバーレイされないため、現実物体７０の奥にレイアウト画像が位置し、ガイド画像１３０が現実物体７０の手前に位置するように知覚しやすくなり、奥行き知覚の違和感をさらに解消することができる。
【００４４】
なお、はがき表書き用のガイド画像１３０としては、「宛名」の他、例えば、「住所」「郵便番号」などが挙げられる。これらの画像データも画像保持部３７に記憶されており、演算部３８は、筆記面の手の位置に応じて適切な画像データを読み出し、表示させることができる。
【００４５】
画像表示制御部３５は、中央処理装置（ＣＰＵ：Central Processing Unit）、主記憶装置、補助記憶装置、入出力インターフェースおよび通信インターフェースなどの周知のハードウェア構成を備えたコンピュータに実装されている。コンピュータには上述の画像表示制御のための所定のプログラムがインストールされており、このプログラムを実行することにより、筆記面上における現実物体の検出を物体位置センサに実行させ、物体位置センサからの情報から、現実物体の輪郭情報を求める演算処理、輪郭情報に基づいてレイアウト画像の所定の領域を非表示とする画像処理および画像表示面に画像を表示させることができる。
【００４６】
上記実施形態においては、画像表示制御部３５が画像提示体３０に備えられている。画像提示体３０は、例えば、タブレット型コンピュータである。しかしながら、画像提示体３０はフラットパネルディスプレイから構成されていてもよく、その場合、画像表示制御部が実装された別体のコンピュータと、無線もしくは有線で接続されていてもよい。本実施形態においては、タブレット型コンピュータに備えられたカメラを物体位置センサとして用いたが、物体位置センサは、画像提示体３０とは別途に備えられていてもよい。
【００４７】
筆記面１２に投影させる第１の画像としては、例えば、上述したはがきの宛名面（表面）の他、手紙やはがきの文面（裏面）のレイアウトやマス目、達筆のナビゲート、お絵かきのフレーム、および役所や銀行などにおける記入書類のレイアウトなどが挙げられる。
【００４８】
なお、本発明の一実施形態の自筆支援装置は、書面作成の支援の他、手術支援、手術教育、組立作業支援、実験作業支援などにも適用可能である。
【実施例】
【００４９】
以下、実施例および比較例について説明する。【００５０】
実施例および比較例では、図１に示す装置において、物体位置センサはカメラとし、位置センサから筆記面までの距離を約３００ｍｍとした。筆記面にはがきの宛名書き面が位置されており、第１の画像として住所、宛名などの記入位置を示すレイアウト画像を用いた。物体である使用者の手（の甲）の高さは約５０ｍｍとした。カメラで取得したＲＧＢ情報から手の存在位置を決定した。各実施例および比較例は自筆支援装置内の画像表示制御部における作用が異なる。【００５１】
[実施例１]
上記実施形態の第１の表示方法に沿って、レイアウト画像の、現実物体である手および筆記具の垂直投影領域に対応する領域のみ全て非表示処理された非表示処理画像を画像表示面に表示させた。これにより、非表示処理画像の虚像であって、現実物体の垂直投影領域の内側が非表示とされた像が筆記面に投影された（図６参照）。【００５２】
[実施例２]
上記実施形態の第２の表示方法に沿って、レイアウト画像の、手および筆記具の垂直投影領域に対応する領域の輪郭よりも内側の領域のみ非表示処理された非表示処理画像を画像表示面に表示させた。これにより、非表示処理画像の虚像であって、手および筆記具の垂直投影領域の輪郭から１０ｍｍ内側のみを非表示とされた像が筆記面に投影された（図８参照）。【００５３】
[実施例３]
上記実施形態の第３の表示方法に沿って、実施例１と同様の非表示処理画像に、筆記面における手の位置に応じて、筆記すべき内容を表示するガイド画像を、オーバーレイさせて表示させた。これにより、ガイド画像の虚像が筆記面に投影された。ここでは、ガイド画像は、レイアウト画像上であっても手に重ならない位置に投影されるようにした。【００５４】
[実施例４]
実施例３において、ガイド画像の虚像が手に一部重なって投影されるようにした（図１０参照）。【００５５】
[実施例５]
実施例３において、第２の画像の虚像の全域が手に重なって投影されるようにした（図１１参照）。【００５６】
[比較例１]
筆記面１２上に投影されるレイアウト画像１００に対して非表示処理することなく画像表示面に表示させることにより、図１２に示すように、レイアウト画像が手に重ねて投影されるようにした。この場合、使用者による視野像１４０において、レイアウト画像１００が現実物体７０である手を透けて見えた。【００５７】
[比較例２]
レイアウト画像の、手および筆記具の垂直投影領域よりに対応する領域の輪郭よりも広い領域１５０を非表示処理した非表示処理画像１５２を作成し、画像表示面に表示させた。これにより、図１３に示すように、非表示処理画像１５２の虚像であって、現実物体の垂直投影領域よりも広い領域が非表示とされた像が筆記面に投影された。この場合、使用者による視野像１６０において、非表示処理画像１５２が使用者の手指７６の奥に視認され、手指７６の周りに非表示処理により画像が表示されていない領域が手指７６より広い範囲に広がっており、手指７６の影が表示されているように観察された。【００５８】
以上の実施例１〜５および比較例１、２の表示方法において、使用者によるユーザビリティを比較した。２０人に、ランダムな順に各例の表示方法による表示をおこなった状態で、はがき表面に宛名を筆記させる試験を行い、以下の評価を行った。【００５９】
＜宛名記入するのにかかった時間＞
筆記開始から終了までの時間（秒）を測定した。【００６０】
＜宛名の中心からのずれ量＞
宛名字重心のレイアウト中心から横方向にずれた量の和（ｍｍ）を求めた。【００６１】
＜宛名を記入する体験の自然さ＞
不自然１から自然５の５段階で被験者にアンケートを取った。官能評価である。【００６２】
各例についての評価結果を表１に示す。
【表１】
2019064987.tif 000003
【００６３】
図１に示すように、比較例１に比べて実施例１〜５は、奥行の違和感が少ないという評価結果が得られた。比較例２では、奥行の違和感はないが、中心からのずれ量が実施例と比較して大きかった。これは、レイアウトの一部情報の欠落による影響と考えられる。
【図１】
2019064987.tif 000004
【図２】
2019064987.tif 000005
【図３】
2019064987.tif 000006
【図４】
2019064987.tif 000007
【図５】
2019064987.tif 000008
【図６】
2019064987.tif 000009
【図７】
2019064987.tif 000010
【図８】
2019064987.tif 000011
【図９】
2019064987.tif 000012
【図１０】
2019064987.tif 000013
【図１１】
2019064987.tif 000014
【図１２】
2019064987.tif 000015
【図１３】
2019064987.tif 000016
【国際調査報告】
2019064987.tif 000017
2019064987.tif 000018
2019064987.tif 000019
2019064987.tif 000020