(57)【要約】【課題】透過性の高いディスプレイを用いた手書き入力を容易に行うことができる仕組みを提供することを目的とする。【解決手段】文書の上に配置され、文書への入力を受け付ける入力装置であって、所定のタイミングにおいて、表示手段の表示を、表示手段を透過して表示手段の裏面側に配置された文書を表示する透過表示から、表示手段による文書の透過表示を仮想的に示す仮想画像を表示する非透過表示に切り替える切替手段と、文書に対するユーザからの入力を受け付ける入力受付手段とを有することによって課題を解決する。【選択図】図２
2014203131.tif 000002
【特許請求の範囲】
【請求項１】
文書の上に配置され、前記文書への入力を受け付ける入力装置であって、
所定のタイミングにおいて、表示手段の表示を、前記表示手段を透過して前記表示手段の裏面側に配置された前記文書を表示する透過表示から、前記表示手段による文書の透過表示を仮想的に示す仮想画像を表示する非透過表示に切り替える切替手段と、
前記文書に対するユーザからの入力を受け付ける入力受付手段と
を有することを特徴とする入力装置。
【請求項２】
前記切替手段は、前記入力受付手段が前記表示手段の所定範囲への入力を受け付けた前記タイミングにおいて、前記表示手段の表示を切り替えることを特徴とする請求項１に記載の入力装置。
【請求項３】
前記入力受付手段は、ユーザから前記表示手段の表示の切替指示の入力をさらに受け付け、
前記切替手段は、前記入力受付手段が前記切替指示の入力を受け付けた前記タイミングにおいて、前記表示手段の表示を切り替えることを特徴とする請求項１又は２に記載の入力装置。
【請求項４】
前記透過表示されている前記文書を特定する文書特定手段をさらに有し、
前記切替手段は、前記文書を表示する前記透過表示から、前記文書特定手段により特定された文書の前記仮想画像を表示する前記非透過表示に切り替えることを特徴とする請求項１乃至３何れか１項に記載の入力装置。
【請求項５】
前記表示手段は、前記入力受付手段が受け付けた入力情報を前記仮想画像上に重畳して表示することを特徴とする請求項１乃至４何れか１項に記載の入力装置。
【請求項６】
文書の上に配置され、前記文書への入力を受け付ける入力装置が実行する入力処理方法であって、
所定のタイミングにおいて、表示手段の表示を、前記表示手段を透過して前記表示手段の裏面側に配置された前記文書を表示する透過表示から、前記表示手段による文書の透過表示を仮想的に示す仮想画像を表示する非透過表示に切り替える切替ステップと、
前記文書に対するユーザからの入力を受け付ける入力受付ステップと
を含むことを特徴とする入力処理方法。
【請求項７】
コンピュータを、
所定のタイミングにおいて、表示手段の表示を、前記表示手段を透過して前記表示手段の裏面側に配置された文書を表示する透過表示から、前記表示手段による文書の透過表示を仮想的に示す仮想画像を表示する非透過表示に切り替える切替手段と、
前記文書に対するユーザからの入力を受け付ける入力受付手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力装置、入力処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、カメラから取得した画像に、情報を重ね合わせて表示するものとしては、拡張現実が知られている。例えば、特許文献１においては、撮影した文書に関連する情報を重ねて表示する技術が開示されている。このように撮影した文書に対し、手書きによって情報を入力したいという要求があった。
また、特許文献２に開示されるような透過性の高いタッチパネル式ディスプレイを用い、装置を文書上に重ね合わせておいた上で、装置を介して文書に対する情報入力を行いたいという要求もあった。透過性の高いディスプレイ装置を介して文書への入力を行う場合、装置の背面側に存在する文書を、装置上から透過した状態において、手書き入力可能とすることが望ましい。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−８７５２号公報
【特許文献２】特開２０００−３５３０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に文書のサイズは、上述のような透過性の高いディスプレイ装置のサイズより大きい。このため、手書き入力が広範囲に及ぶ場合には、ユーザは、入力を希望する位置に応じて、ディスプレイ装置を移動させなければならず、手間がかかるという問題があった。
【０００５】
本発明はこのような問題点に鑑みなされたもので、透過性の高いディスプレイを用いた手書き入力を容易に行うことができる仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、文書の上に配置され、前記文書への入力を受け付ける入力装置であって、所定のタイミングにおいて、表示手段の表示を、前記表示手段を透過して前記表示手段の裏面側に配置された前記文書を表示する透過表示から、前記表示手段による文書の透過表示を仮想的に示す仮想画像を表示する非透過表示に切り替える切替手段と、前記文書に対するユーザからの入力を受け付ける入力受付手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、透過性の高いディスプレイを用いた手書き入力を容易に行うことができる仕組みを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】入力装置を示す図である。
【図２】データ処理部を示す図である。
【図３】入力装置を示す図である。
【図４】入力装置と文書の位置関係を示す図である。
【図５】文書への書き込みの動作を説明するための図である。
【図６】表示切替処理を示すフローチャートである。
【図７】配置判定処理を示すフローチャートである。
【図８】表示切替処理を説明するための図である。
【図９】表示切替処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１は、入力装置を示す図である。本実施形態にかかる入力装置は、表示画面を有するタブレット端末である。ＣＰＵ１０１は、ＲＯＭ１０２に格納されている制御プログラムを実行することにより本装置全体の制御を行う。ＲＯＭ１０２は、ＣＰＵ１０１が実行するプログラムを格納する。後述する入力装置の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。ＲＡＭ１０３は、各構成要素からの各種データを一時記憶する。また、プログラムを展開し、ＣＰＵ１０１によって実行する。
読取部１０４は、例えばスキャナであり、本装置を原稿上に置いた場合に、原稿を読み取り、静止画像化するものである。撮像部１０５は、撮像素子で撮影した画像をデジタルデータとして記録する。
【００１０】
記憶装置１０６は、各種データを格納する装置である。記憶装置１０６としては、フラッシュメモリ、ＨＤＤ等を用いることができる。入力部１０７は、操作ボタン、タッチパネル等を有し、ユーザからの指示等の入力を受け付ける。表示部１０８は、液晶パネル等を有し、各種データを表示する。
表示部１０８は、透過性の高いディスプレイであり、透過表示及び非透過表示が可能である。透過表示においては、表示部１０８は、表示部１０８の裏面側に存在する物体等を透過表示する。入力装置が文書の上に重ねて置かれた場合には、表示部１０８は、表示部１０８の裏面側に存在するこの文書を透過表示する。また、非透過表示においては、表示部１０８は、裏面側を透過表示するのに替えて、仮想画像を表示する。ここで、仮想画像は、裏面側に存在する文書の透過表示を仮想的に示す画像情報である。透過表示及び非透過表示については後述する。入力部１０７と表示部１０８とは、一体型に形成されている。
【００１１】
通信部１０９は、無線等によってインターネットに接続する。通信部１０９は、例えば、外部サーバ１１０と通信する。外部サーバ１１０は、文書情報データベース１１１を有する。文書情報データベース１１１は、入力装置が処理対象とするデータの管理情報等を格納している。文書情報データベース１１１は、例えば、文書を示す文書情報と、文書情報に対してユーザから入力された入力情報とを対応付けて格納する。
なお、本実施形態にかかる入力装置は、図６を参照しつつ説明する表示切替処理を、ＣＰＵ１０１を用いてソフトウェアで実現するが、他の例としては、処理の一部又は全部を電子回路等のハードウェアで実現するようにしても良い。
【００１２】
図２は、入力装置のデータ処理部を示す図である。配置判定部１１２は、撮像部１０５から情報を受け取り、入力装置の配置状態を判定する。配置状態としては、中空状態・接地状態の２つがある。中空状態は、入力装置が人の手等によって、中空に保持された状態である。接地状態は、入力装置が文書の上又は机の上等の場所に置かれている状態である。すなわち、接地状態においては、入力装置は、何らかのオブジェクトに接触している。なお、配置判定処理については、図７を参照しつつ後述する。なお、接地状態であると判定されると、読取部１０４は、接地面の読み取りを行う。
重なり判定部１１３は、読取部１０４から情報を受け取り、文書重なり状態であるか否かを判定する。ここで、文書重なり状態とは、入力装置が、文書の上に重ねて置かれた状態である。文書重なり状態である場合には、通信部１０９は、外部サーバ１１０に読取部１０４により得られた情報を送信する。
外部サーバ１１０は、読取部１０４から受け取った情報に基づき、入力装置と重なり状態にある文書を特定し、特定した文書を識別する文書識別情報を入力装置に返す。
【００１３】
画像生成部１１４は、入力装置と重なり状態にある文書に対応する仮想画像を生成する。具体的には、画像生成部１１４は、文書識別情報を外部サーバ１１０に送信し、外部サーバ１１０から文書識別情報により識別される文書情報を受信する。画像生成部１１４は、受信した文書情報を表示可能な状態に加工することにより、仮想画像を生成する。
入力情報合成部１１５は、入力情報を合成する。入力情報合成部１１５は、入力部１０７を介してユーザにより入力された入力情報を、透過表示上又は非透過表示上に重畳して表示するための処理を行う。入力情報合成部１１５は、非透過表示においては、ユーザにより入力された文字や、ユーザによる手書き描画の軌跡等を入力情報として仮想画像に合成する。表示切替部１１６は、所定のタイミングにおいて、表示部１０８の表示を、透過表示及び非透過表示のいずれかに切り替える。
【００１４】
図３は、入力装置の外観を示す図である。外枠２０１は、例えばプラスチックや金属で構築される。パネル２０２は、十分な透過性を持った有機ＥＬディスプレイ等で構築され、パネル２０２の表から裏側の物体を透過して閲覧することが可能である。パネル２０２は、入力部１０７及び表示部１０８として機能する。
図４は、入力装置と文書の位置関係を説明するための図である。図４（Ａ）は、入力装置が、文書３００と重ならない場所に置かれている状態を示す図である。このとき、配置判定部１１２は、接地状態と判定する。また、図４（Ｂ）は、入力装置が、ユーザの手で持ち上げられている状態を示す図である。このとき、配置判定部１１２は、中空状態と判定する。また、表示部１０８は、文書３００を透過表示する。図４（Ｃ）は、入力装置がユーザの手から離され、文書３００上に重ねて置かれている状態を示す図である。このとき、重なり判定部１１３は、文書重なり状態と判定する。さらにこのとき、表示部１０８は、適宜透過表示又は非透過表示を行う。
【００１５】
図５は、入力装置を用いた、ユーザによる文書への書き込み動作を説明するための図である。図５（Ａ）は、タッチペン４０１を用いて、ユーザが書き込み文字４０２を記入している様子を示す図である。なお、図５（Ａ）に示すパネル２０２には、入力装置の裏面側に配置された文書３００が透過表示されており、ユーザは、透過表示された文書３００を閲覧している。
この状態において、ユーザは、タッチペン４０１を用いて、パネル２０２上をなぞる。これに対応し、入力部１０７は、タッチペン４０１の軌跡を入力情報として取得する。そして、入力情報合成部１１５により透過表示上にタッチペン４０１による書き込みに対応する書き込み文字４０２が重畳されて、パネル２０２に表示される。
図５（Ｂ）は、ユーザが続けて書き込み文字４０３を記入している様子を示す図である。書き込み文字４０３は、パネル２０２の末端に達しており、パネル２０２の外側に位置する文書上への書き込みを行うことができない。この場合には、表示切替部１１６は、パネル２０２の表示を透過表示から非透過表示に切り替える。
【００１６】
図５（Ｃ）は、非透過表示に切り替えられた後のパネル２０２の表示例を示す図である。図５（Ｃ）に示すパネル２０２には、文書３００に対応する仮想画像が表示されている。なお、図５（Ｃ）に示すパネル２０２においては、仮想画像上に書き込み文字４０２，４０３が重畳表示されている。図５（Ｂ）に示す例においては、書き込み文字は文書３００の下方の方向に向けて継続されることが想定される。そのため、図５（Ｃ）に示す例においては、直前に透過表示された文書３００の表示位置に比べて、下方の画像が表示されている。
図５（Ｄ）は、ユーザが仮想画像中の文書の下方の領域に新規に書き込み文字４０４を記入している様子を示す図である。このように、ユーザは、入力装置を移動させることなく、文書３００のうち入力装置に重なっていない領域への書き込み文字を記入することができる。このように、入力装置は、透過表示だけでなく、透過表示していた文書を示す仮想画像を非透過表示することができ、また、任意のタイミングで両表示を切り替えることができる。
【００１７】
図６は、入力装置による表示切替処理を示すフローチャートである。ステップＳ５０１において、ＣＰＵ１０１は、撮像部１０５を用いて、パネル２０２の裏面（背面）側を撮像し、撮像画像を得る。なお、撮像部１０５は、表示部１０８としてのパネル２０２の裏面側に配置されているものとする。撮像画像は、静止画でもよく動画でもよい。
次に、Ｓ５０２において、配置判定部１１２撮像画像に基づいて、配置状態を判定する。配置状態を判定する処理については、図７を参照しつつ後述する。Ｓ５０２において、接地状態と判定された場合には、ＣＰＵ１０１は、処理をＳ５０４へ進める。Ｓ５０２において、中空状態と判定された場合には、ＣＰＵ１０１は、処理をＳ５０３へ進める。
【００１８】
Ｓ５０３において、表示切替部１１６は、表示部１０８の表示を、パネル２０２を透過して、入力装置のパネル２０２において、入力装置の裏面側に存在する物体を閲覧可能な透過表示にする。一方、Ｓ５０４において、重なり判定部１１３は、文書重なり状態であるか否かを判定する。具体的には、ＣＰＵ１０１は、読取部１０４を用いて、裏面側の情報を読み込む。そして、重なり判定部１１３は、読み込まれた情報が文書を示すか否かを判定する。重なり判定部１１３は、例えば、ＯＣＲ技術を適用し、文字情報が含まれるか否かを基準として、文書を示すか否かを判定する。
Ｓ５０４において、文書重なり状態と判定された場合には、ＣＰＵ１０１は、処理をＳ５０５へ進める。Ｓ５０４において、文書重なり状態ではないと判定された場合には、ＣＰＵ１０１は、処理をＳ５０３へ進める。
【００１９】
Ｓ５０５において、ＣＰＵ１０１は、重なり状態と判定された読み込み情報を外部サーバ１１０へ送信する。このとき、外部サーバ１１０においては、読み込み情報に示される文書を特定する。そして、外部サーバ１１０は、特定した文書を識別する文書識別情報を入力装置に送信する。そして、入力装置は、文書識別情報を受信し、ＣＰＵ１０１は、文書識別情報により、読み込み情報に示される文書、すなわち表示部１０８に透過表示されている文書を特定する（文書特定処理）。
次に、Ｓ５０６において、ＣＰＵ１０１は、入力部１０７を介してユーザから入力された情報を受け取る（入力受付処理）。そして、ＣＰＵ１０１は、受け取った情報に基づいて、ユーザによる入力位置が、予め設定された端領域内か否かを判定する。ここで、端領域は、パネル２０２の端から一定距離内の領域とする。なお、端領域は、所定範囲の一例である。
【００２０】
Ｓ５０６において、入力位置が端領域内である場合には、ＣＰＵ１０１は、処理をＳ５０７へ進める。Ｓ５０６において、入力位置が端領域外である場合には、ＣＰＵ１０１は、処理をＳ５０３へ進める。Ｓ５０７において、画像生成部１１４は、仮想画像を生成する。具体的には、画像生成部１１４は、Ｓ５０５において、特定された文書の文書識別情報を外部サーバ１１０に送信し、外部サーバ１１０から対応する文書情報を受信する。そして、画像生成部１１４は、受信した文書情報を画像化して、仮想画像を得る。
次に、Ｓ５０８において、入力情報合成部１１５は、ユーザにより入力された入力情報を仮想画像に合成する。次に、Ｓ５０９において、表示切替部１１６は、表示部１０８の表示を透過表示から非透過表示に切り替える（切替処理）。これにより、表示部１０８には、入力情報が合成された仮想画像が非透過表示される。
【００２１】
このように、ＣＰＵ１０１は、端領域内への入力を受け付けたタイミングにおいて、Ｓ５０７〜Ｓ５０９の処理により、表示部１０８の表示を非透過表示に切り替える。これにより、文書上に入力装置を重ねて置いた状態において、パネル２０２に透過表示できない文書の領域については、文書情報を用いた仮想画像としてパネル２０２に表示することができる。したがって、ユーザは、入力装置を移動させることなく、入力対象とする文書の全領域をパネル２０２に表示させることができる。
【００２２】
図７は、図６を参照しつつ説明した配置判定処理における詳細な処理を示すフローチャートである。まず、Ｓ６０１において、配置判定部１１２は、暗転状態か否かを判定する。具体的には、撮像部１０５は、照度を検出する。そして、配置判定部１１２は、照度が予め設定された照度閾値以下である場合には、暗転状態であると判定する。
他の例としては、配置判定部１１２は、撮像部１０５により得られた撮像画像の輝度により暗転状態か否かを判定してもよい。具体的には、配置判定部１１２は、輝度の最大値や平均値が予め設定された輝度閾値以下である場合に、暗転状態であると判定してもよい。ここで、撮像画像は、動画又は静止画である。
【００２３】
Ｓ６０１において、暗転画像でないと判定された場合には、配置判定部１１２は、中空状態と判定する（Ｓ６０２）。一方、Ｓ６０１において、暗転画像であると判定された場合には、配置判定部１１２は、接地状態と判定する（Ｓ６０３）。
以上のように、本実施形態にかかる入力装置は、入力装置のパネル２０２に透過表示されない文書の領域を仮想表示することができる。したがって、ユーザは、入力装置を移動させることなく、文書の全領域をパネル２０２に表示させ、希望する位置への入力を行うことができる。
【００２４】
（第２の実施形態）
次に、第２の実施形態にかかる入力装置について説明する。第２の実施形態にかかる入力装置は、ユーザから表示の切替指示の入力を受け付けたタイミングにおいて、透過表示と非透過表示とを切り替える。
【００２５】
図８は、表示切替処理を説明するための図である。図８（Ａ）は、タッチペン７０１を用いて、ユーザが書き込み文字７０２を記入している様子を示す図である。図８（Ａ）に示すパネル２０２には、入力装置の裏面側に配置された文書３００が透過表示されており、ユーザは、透過表示された文書を閲覧している。さらに、図８（Ａ）に示すパネル２０２には、ユーザにより入力された書き込み文字７０２が透過表示された文書３００に重畳して表示されている。
入力・移動切り替えボタン７０３がユーザにより押下されると、ＣＰＵ１０１は、パネル２０２の動作モードを変更する。動作モードとしては、ユーザが文字等の入力を行う「入力モード」と、ユーザから表示位置の切替指示の入力を受け付ける「移動モード」の２モードがある。図８（Ａ）に示すパネル２０２の動作モードは、入力モードに設定されている。
【００２６】
図８（Ｂ）は、「移動モード」に切り替えられた後のパネル２０２の表示例を示す図である。図８（Ａ）に示すパネル２０２において、ユーザが入力・移動切り替えボタン７０３を押下した場合に、動作モードが「移動モード」に切り替えられる。この状態において、図８（Ｂ）に示すように、ユーザが手７０４でパネル２０２上をなぞると、パネル２０２に表示される文書の位置が変更される。図８（Ｂ）に示すように、パネル２０２を下から上になぞった場合には、ＣＰＵ１０１は、文書の下方向への移動指示を含む切替指示の入力を受け付ける。そして、表示切替部１１６は、切替指示に従い、透過表示から非透過表示に切り替える。
そして、表示部１０８は、透過表示されていた領域よりも移動指示に応じた量だけ下側の範囲の仮想画像を非透過表示する。図７（Ｃ）は、移動指示に応じて表示された非透過表示例を示す図である。なお、図７（Ｃ）に示す非透過表示においては、書き込み文字７０２の入力情報が重畳表示されている。そして、図７（Ｄ）に示すように、非透過表示の仮想画像上に、ユーザは新規に書き込み文字７０５を記入することができる。
このように、ユーザは、切替指示を入力することにより、パネル２０２に透過表示されない文書の領域を仮想表示することができる。そして、ユーザは、仮想画像を見ながら、希望する位置への入力を行うことができる。
【００２７】
図９は、第２の実施形態にかかる入力装置における表示切替処理を示すフローチャートである。第２の実施形態にかかる入力処理においては、Ｓ５０５において文書を特定した後、Ｓ５２０において、ＣＰＵ１０１は、ユーザから切替指示を受け付けたか否かを判定する。Ｓ５２０において、切替指示の入力を受け付けた場合には、ＣＰＵ１０１は、処理をＳ５０７へ進める。Ｓ５２０において、切替指示の入力を受け付けない場合には、ＣＰＵ１０１は、処理をＳ５０３へ進める。なお、第２の実施形態にかかる入力装置のこれ以外の構成及び処理は、第１の実施形態にかかる入力装置の構成及び処理と同様である。
ユーザは、パネル２０２の端まで入力を行っていない場合であっても、他の離れた位置への書き込みを行いたい場合がある。このような場合において、第２の実施形態にかかる入力装置においては、ユーザからの入力に応じて、透過表示と非透過表示とを切り替えることができる。したがって、ユーザは、入力装置を移動させることなく、文書の全領域をパネル２０２に表示させ、希望する位置への入力を行うことができる。
【００２８】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００２９】
以上、上述した各実施形態によれば、透過性の高いディスプレイを用いた手書き入力を容易に行うことができる提供することができる。
【００３０】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００３１】
１０１  ＣＰＵ、１０２  ＲＯＭ、１０３  ＲＡＭ、１０４  読取部、１０５  撮像部、１０６  記憶装置、１０７  入力部、１０８  表示部、１０９  通信部、１１０  外部サーバ、１１１  文書情報データベース
【図１】
2014203131.tif 000003
【図２】
2014203131.tif 000004
【図３】
2014203131.tif 000005
【図４】
2014203131.tif 000006
【図５】
2014203131.tif 000007
【図６】
2014203131.tif 000008
【図７】
2014203131.tif 000009
【図８】
2014203131.tif 000010
【図９】
2014203131.tif 000011