(57)【要約】【課題】他の表示中の画像などに重畳して入力軌跡の表示を行うことができ、入力軌跡についての保存や消去などの取り扱いの設定を容易に行える情報処理システムを実現する。【解決手段】操作者による手描き入力を受け付けて、該入力軌跡に応じた座標データを生成する入力装置１１０と、表示装置に対する表示用データと前記入力装置からの座標データとを重畳して表示する表示用データを生成する画像処理装置１３０と、を備え、前記入力装置は、前記入力軌跡に関する記憶方法，表示時間，セキュリティ設定，共有条件のいずれかについての属性を設定する属性設定部１２０を有する、ことを特徴とする。【選択図】図１
2008129907.tif 000002
【特許請求の範囲】
【請求項１】
操作者による手描き入力を受け付けて、該入力軌跡に応じた座標データを生成する入力装置と、
表示装置に対する表示用データと前記入力装置からの座標データとを重畳して表示する表示用データを生成する画像処理装置と、
を備え、
前記入力装置は、前記入力軌跡に関する記憶方法，表示時間，セキュリティ設定，共有条件のいずれかについての属性を設定する属性設定手段を有する、
ことを特徴とする情報処理システム。
【請求項２】
前記属性設定手段は、手描き入力が行われる入力装置もしくは手描き入力と画像表示とが行われる入力装置に設けられている、
ことを特徴とする請求項１記載の情報処理システム。
【請求項３】
前記属性設定手段は、手描き入力の際における、スタイラスと入力装置との間の距離、入力装置に対するスタイラスの筆圧、入力装置に対するスタイラスの太さ、入力装置に対するスタイラスの種類、入力装置における入力位置、入力装置に対して予め定められた所定形状の画像の入力、入力装置に対して予め定められた所定の接触状態の入力、入力装置に設けられている属性設定操作手段の設定、いずれかに応じて属性の設定が決定される、
ことを特徴とする請求項２記載の情報処理システム。
【請求項４】
前記属性設定手段は、手描き入力が行われる入力装置もしくは手描き入力と画像表示とが行われる入力装置に対して使用されるスタイラス側に設けられている属性設定操作手段と、該属性設定操作手段により設定された属性を前記入力装置に対して送信する送信手段とを備え、
前記入力装置は、前記送信手段からの属性の設定を受信する受信手段を備える、
ことを特徴とする請求項１記載の情報処理システム。
【請求項５】
前記属性設定手段は、手描き入力がなされた後、続けて入力された第２の入力により属性の設定を行う、
ことを特徴とする請求項１乃至請求項４のいずれかに記載の情報処理システム。
【請求項６】
前記属性設定手段は、第１の入力により属性の設定を行い、続けて入力された第２の
手描き入力は前記第１の入力により設定された属性に従って扱う、
ことを特徴とする請求項１乃至請求項４のいずれかに記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ等に表示する情報と、タブレットなどの入力装置に手描き入力された入力軌跡とを重畳して表示する際に、手描き入力に対して所定の属性の設定を行って、所望の状態で表示できる情報処理システムに関する。
【背景技術】
【０００２】
ディスプレイ等に表示している情報と、タブレットやタッチパネルを介してその上に書き込んだ情報を関連付けて保存するものが存在している。
また、複数のディスプレイに共通の画像を表示し、遠隔地でも資料を共有するものがある。筆跡の表示を共有できるものもある。これを用いることで、説明箇所を遠隔地の人に伝えることはできる。
【０００３】
そして、この種の情報処理システムとしては、以下の特許文献などに提案がなされている。
【特許文献１】特開平７−１０５１０５号公報（第１頁、図１）
【特許文献２】特開平６−２６６９０３号公報（第１頁、図１）
【特許文献３】特開２０００−４７８０４号公報（第１頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１は、手書き入力会議システムに関するものであり、１つのウィンドウ上に共有情報と、各個人のプライベートな手書き情報を区別できる形式で表示し、かつ、会議参加者が共有する共有情報と、各個人のプライベートな手書き情報を一括あるいは分割して保存することが可能な手書き入力表示端末装置を用いた手書き入力会議システムである。
【０００５】
そして、この手書き入力会議システムでは、複数の相手と同時に通信が可能で、かつ、マルチウィンドウを表示可能な手書き入力表示端末装置を使用する手書き入力会議システムにおいて、各手書き入力表示端末装置が、各個人のプライベートな手書き情報を入力する入力手段と、該入力手段により入力された各個人のプライベートな手書き情報と会議参加者が共有する共有手書き情報とを、同時に同一ウィンドウ内に表示する表示手段とを具備する。また、共有情報は他の任意の入力表示端末装置に転送する。プライベートな情報と共有情報の表示は色、階調で区別する。
【０００６】
この場合、メモを書いた後に、そこから共有情報とする対象を選択するため、メニューが出てきて選択する構成である。したがって、設定方法が煩雑であるという問題がある。
すなわち、メモを書いた後に、そこから共有情報とする対象を選択、メニューが出てきて選択するという設定方法の例が記載されているが、それでは設定方法が大変煩雑である。また、メモを書いた後に共有化の選択をするため、資料を使って内容の説明を行う場合に、他の任意の入力表示端末装置に表示中の資料に対して、説明をしながらリアルタイムで説明している箇所を指し示すということができない。
【０００７】
上記特許文献２は、一度入力した筆跡を消去するものである。すなわち、入力者には入力文字の筆跡が分かるようにし、且つ側で見ている第３者には入力事項が認知され難いようにするために、一定時間が経過すると筆跡を消去する技術である。すなわち、書き込んだ情報は全て消去するものであり、書き込み毎に設定することはできない。従って、汎用性が無いという問題がある。
【０００８】
上記特許文献３は、ペンによる筆跡を消去することにより、表示部に表示されたデータをも消去する。順に選択して消去の作業を行うか、全て記録するかのどちらかである。順に選択して消去の作業を行う必要がある。このため、設定方法が煩雑であるという問題がある。
【０００９】
本発明は、以上のような課題を解決するためになされたものであって、他の表示中の画像などに重畳して入力軌跡の表示を行うことができ、入力軌跡についての保存や消去などの取り扱いの設定を容易に行える情報処理システムを実現することを目的とする。
【課題を解決するための手段】
【００１０】
以上の課題を解決する本発明は、以下に記載するようなものである。
（１）請求項１記載の発明は、操作者による手描き入力を受け付けて、該入力軌跡に応じた座標データを生成する入力装置と、表示装置に対する表示用データと前記入力装置からの座標データとを重畳して表示する表示用データを生成する画像処理装置と、を備え、前記入力装置は、前記入力軌跡に関する記憶方法，表示時間，セキュリティ設定，共有条件のいずれかについての属性を設定する属性設定手段を有する、ことを特徴とする情報処理システムである。
【００１１】
（２）請求項２記載の発明は、前記属性設定手段は、手描き入力が行われる入力装置もしくは手描き入力と画像表示とが行われる入力装置に設けられている、ことを特徴とする請求項１記載の情報処理システムである。
【００１２】
（３）請求項３記載の発明は、前記属性設定手段は、手描き入力の際における、スタイラスと入力装置との間の距離、入力装置に対するスタイラスの筆圧、入力装置に対するスタイラスの太さ、入力装置に対するスタイラスの種類、入力装置における入力位置、入力装置に対して予め定められた所定形状の画像の入力、入力装置に対して予め定められた所定の接触状態の入力、入力装置に設けられている属性設定操作手段の設定、いずれかに応じて属性の設定が決定される、ことを特徴とする請求項２記載の情報処理システムである。
【００１３】
（４）請求項４記載の発明は、前記属性設定手段は、手描き入力が行われる入力装置もしくは手描き入力と画像表示とが行われる入力装置に対して使用されるスタイラス側に設けられている属性設定操作手段と、該属性設定操作手段により設定された属性を前記入力装置に対して送信する送信手段とを備え、前記入力装置は、前記送信手段からの属性の設定を受信する受信手段を備える、ことを特徴とする請求項１記載の情報処理システムである。
【００１４】
（５）請求項５記載の発明は、前記属性設定手段は、手描き入力がなされた後、続けて入力された第２の入力により属性の設定を行う、ことを特徴とする請求項１乃至請求項４のいずれかに記載の情報処理システムである。
【００１５】
（６）請求項６記載の発明は、前記属性設定手段は、第１の入力により属性の設定を行い、続けて入力された第２の手描き入力は前記第１の入力により設定された属性に従って扱う、ことを特徴とする請求項１乃至請求項４のいずれかに記載の情報処理システムである。
【発明の効果】
【００１６】
本発明の情報処理システムによると以下のような効果が得られる。
（１）請求項１記載の発明では、操作者による入力軌跡に応じた座標データを入力装置が生成し、表示装置に対する表示用データと入力装置からの座標データとを重畳して表示可能な表示用の画像データを画像処理装置が生成することで表示を行う際に、前記入力軌跡に関する記憶方法，表示時間，セキュリティ設定，共有条件のいずれかについての属性を入力装置に設けられた属性設定手段により設定する。
【００１７】
この結果、他の表示中の画像などに重畳して入力軌跡の表示を行うことができ、属性設定手段を用いることで入力軌跡についての保存や消去などの取り扱いの設定を容易に行うことが可能になる。
【００１８】
（２）請求項２記載の発明では、属性設定手段は、手描き入力が行われる入力装置もしくは手描き入力と画像表示とが行われる入力装置側のいずれかに設けられているため、メニュー方式などと比較して、入力軌跡についての保存や消去などの取り扱いの設定を容易に行うことが可能になる。
【００１９】
（３）請求項３記載の発明では、手描き入力の際における、スタイラスと入力装置との間の距離、入力装置に対するスタイラスの筆圧、入力装置に対するスタイラスの太さ、入力装置に対するスタイラスの種類、入力装置における入力位置、入力装置に対して予め定められた所定形状の画像の入力、入力装置に対して予め定められた所定の接触状態の入力、入力装置に設けられている属性設定操作手段の設定、いずれかに応じて属性の設定が決定されることにより、メニュー方式などと比較して、直接的に入力操作と連動した状態で、入力軌跡についての保存や消去などの取り扱いの設定を容易に行うことが可能になる。
【００２０】
（４）請求項４記載の発明では、属性設定手段は、手描き入力が行われる入力装置もしくは手描き入力と画像表示とが行われる入力装置に対して使用されるスタイラス側に設けられている属性設定操作手段と、該属性設定操作手段により設定された属性を入力装置に対して送信する送信手段とを備え、入力装置は、送信手段からの属性の設定を受信する受信手段を備えることにより、メニュー方式などと比較して、直接的に入力操作と連動した状態で、入力軌跡についての保存や消去などの取り扱いの設定を容易に行うことが可能になる。
【００２１】
（５）請求項５記載の発明では、手描き入力がなされた後、続けて入力された第２の入力により属性の設定を行うことにより、メニュー方式などと比較して、直接的に入力操作と連動した状態で、入力軌跡についての保存や消去などの取り扱いの設定を容易に行うことが可能になる。
【００２２】
（６）請求項６記載の発明では、第１の入力により属性の設定を行い、続けて入力された第２の手描き入力は第１の入力により設定された属性に従って扱うことにより、メニュー方式などと比較して、直接的に入力操作と連動した状態で、入力軌跡についての保存や消去などの取り扱いの設定を容易に行うことが可能になる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明を実施するための最良の形態（以下、実施形態）を詳細に説明する。
（１）情報処理システムの内容：
（１−１）システム構成：
図１は本発明の第１の実施形態の情報処理システム１００内の詳細構成を示すブロック図である。なお、この図１では、本実施形態の動作説明に必要な部分の周囲を中心に記載してあり、その他の情報処理システム１００として既知の電源スイッチ、電源回路、インタフェースなどの各種の部分については省略してある。
【００２４】
本実施形態の情報処理システム１００は、操作者による手描き入力を受け付けて、該入力軌跡に応じた座標データを生成する入力装置１１０と、入力軌跡に関する記憶方法，表示時間，セキュリティ設定，共有条件のいずれかについての属性を設定する属性設定手段としての属性設定部１２０と、表示装置に対する表示用データと入力装置１１０からの座標データとを重畳して表示する表示用データを生成する画像処理装置１３０と、画像処理装置１３０で重畳された表示装置に対する表示用データと入力装置１１０からの座標データとを表示する画像表示装置１４０と、表示用データや座標データを記憶する記憶装置１５０と、前記入力装置１１０に対して操作者が手描き入力を行う入力用ペンとしてのスタイラス１６０と、を有する。
【００２５】
ここで、記憶装置１５０は、一時記憶装置１５１と、記憶媒体１５２により構成されている。また、入力装置として、手描き入力の軌跡や入力位置の座標を得るために、ステレオカメラ１８１と座標データ生成部１８２とから構成された入力装置１８０を用いてもよい。
【００２６】
なお、図示されないインタフェースを介してネットワークと接続され、他の表示装置に対して表示用データを配布することも可能である。
また、図２（ａ）のように、タブレットなどの入力装置１１０と、液晶ディスプレイなどの画像表示装置１４０とを用いることも可能であるが、図２（ｂ）のように入力装置１１０と画像表示装置１４０とが一体に入力・表示装置１７０として構成されていてもよい。この入力・表示装置１７０としては、入力・表示面１７０ａで、透明タッチパネルによる入力と、透明タッチパネルの下で画像表示を行うこととが、平行して行えるように構成されている。
【００２７】
また、ネットワークを介して接続された場合、図３に示されるように、入力・表示装置１７０と、複数の画像表示装置１４０とを組み合わせて使用することも可能である。
そして、入力・表示装置１７０に対する表示用データに基づく図４（ａ）の元画像に、入力装置１１０または入力・表示装置１７０からの手描き入力により、図４（ｂ）のように入力軌跡が重畳された状態で表示がなされる。
【００２８】
なお、入力装置１１０としては、タブレットなど以外に、特開２００２−３６６２９４号公報に記載されたような、ステレオカメラを用いたデータ入力装置などを用いて入力軌跡の座標データを生成することも可能である。
【００２９】
（１−２）属性設定：
ここで、属性設定部１２０で設定される属性情報、あるいは、画像処理装置１３０での検出結果、スタイラス１６０に設けられた属性設定部による属性情報、などから設定される属性について、以下に説明する。
【００３０】
（１−２−１）入力軌跡の記憶方法と入力軌跡の表示時間：
まず、入力軌跡の記憶方法と入力軌跡の表示時間を設定する場合を具体例として説明を行う。
【００３１】
手描き入力による入力軌跡の記憶方法の例として、入力軌跡を元画像と関連付けて、一時記憶装置１５１と記憶媒体１５２の双方に記録するか、一時記憶装置１５１のみに記憶するかの何れかを操作者が選択する。また、表示時間は数値（例えばｍｓｅｃ単位）で操作者が設定する。
【００３２】
この場合の記憶方法の選択や表示時間の設定の入力方法として、各種の手法が考えられるが、ここでは、入力装置１１０の表面から描画が行われたスタイラス１６０のペン先位置までの距離を計測する方法を例とする。
【００３３】
この場合に、まず、接触／非接触を判断する。入力装置１１０の入力面で判断として、接触は入力面で感知し、接触していない場合に非接触と判断する。また、スタイラスのペン先側で判断することも可能である。接触はペン先にかかる圧力で感知し、圧力を感知しない場合に非接触と判断する。そして、入力装置の表面から描画が行われた位置（ペン等の入力ツールの位置）の距離を測り、閾値以下の距離の場合は操作が行われていると認識する。
【００３４】
たとえば、スタイラス１６０と入力装置１１０とが接触して、すなわち、距離ｚ＝０の状態で入力軌跡が入力された場合は、入力軌跡を元画像と関連付けて記憶媒体１５２に記録する。また、スタイラス１６０と入力装置１１０とが非接触で、すなわち距離≠０で入力軌跡が入力された場合は、一時記憶装置１５１にのみ記録し、他の記憶媒体１５２に記憶しない、とする。なお、この逆に割り当ててもよい。
【００３５】
また、入力軌跡の表示時間の設定の例としては、スタイラス１６０と入力装置１１０とが接触して、すなわち距離＝０で入力軌跡が入力された場合は元画像に対して常に表示がなされる状態に表示する。また、、スタイラス１６０と入力装置１１０とが非接触で、すなわち距離≠０で入力軌跡が入力された場合は、描画されたペン先の位置から表示面の距離に反比例して表示時間が設定される、とすることが可能である。また、後述するように、入力装置１１０やスタイラス１６０に表示時間の設定部を設けておくことも可能である。
【００３６】
ここでは、スタイラス１６０のペン先から入力面１１１までの距離ｚ（図１０参照）を、各種手法により測定して生成する。
この場合、特開２００４−２７９１１１号公報に記載されているステレオカメラの技術を用いて、入力軌跡の位置や、タブレットの入力面１１１までの距離ｚを測定する。あるいは、スタイラスのペン先から測距のための、超音波や電波などを発信し、入力面からの反射信号の戻り時間で距離を測定する。
【００３７】
また、ここで、図１３（ａ）のように、スタイラス１６０のペン先１６１ａと１６１ｂの太さ（入力軌跡の太さ）が異なる場合、その違いに応じて記録／表示のみを割り当てておき、入力装置１１０で検出されたスタイラス１６０のペン先の太さに応じて、属性設定部１２０が記録／表示のみのいずれかの属性データを生成して画像処理装置１３０に供給する。
【００３８】
この場合、入力装置１１０の入力面で、圧力がかかっている面積を検知するセンサを設け、後述する図１１や図１２でのフローチャートにおける「入力画像記録スイッチ状態取得」において、圧力がかかっている面積が設定値以下なら入力画像記録スイッチをＯＮ、設定値より大きければＯＦＦと設定してもよい。また、圧力と圧力がかかっている面積を検知するセンサはペン先に設けても良い。
【００３９】
また、入力装置１１０の入力面に硬さを感知するセンサを設け、「入力画像記録スイッチ状態取得」において、硬さを感知するセンサからの出力値が設定値以下なら、手の入力と判断し、設定値より大きければ手でないと判断してもよい。
【００４０】
また、ペン先１６１ａと１６１ｂとから、異なる周波数の電波や超音波が出力されており、これを検知することで、いずれのペン先か、すなわち、記録や表示をどのようにするかを割り当てておいてもよい。
【００４１】
また、図１３（ｂ）のように、スタイラス１６０に設定スイッチ１６２が設けられており、この設定スイッチ１６２の設定に応じた信号がスタイラス１６０から出力され、図示されない受信部で受信された受信信号に応じて、属性設定部１２０が記録／表示のみのいずれかの属性データを生成して画像処理装置１３０に供給する。
【００４２】
また、図１３（ｃ）のように、入力装置１１０または入力・表示装置１７０に設定スイッチ１１２または１７２が設けられており、この設定スイッチ１１２または１７２の設定に応じて属性設定部１２０が記録／表示のみのいずれかの属性データを生成して画像処理装置１３０に供給してもよい。
【００４３】
また、図１３（ａ）（ｂ）のように、スタイラス１６０の側面などに目盛り付きのスライダが設けられていて、このスライダの操作や設定が、後述するフローチャートにおける設定表示時間の取得の際に用いられてもよい。
【００４４】
（１−２−２）セキュリティ設定：
また、属性設定として、表示／記録や表示時間だけでなく、セキュリティレベルの設定によって編集の制限を設けるようにしてもよい。この場合、設定されたセキュリティレベルにより、編集不可、制限つきで編集可能、編集の制限なし、などとすることが可能である。
【００４５】
また、このセキュリティレベルは単独で設定されても良いし、表示時間に反比例して自動的に定まるものであってもよい。この場合、単独設定される場合には、上述した表示時間などの場合と同様に定めればよい。
【００４６】
また、このセキュリティの設定に関連して、手描き入力による入力軌跡の共有に関する設定によって、共有についての制限を設けるようにしてもよい。この場合、設定された共有レベルにより、共有不可、制限つきで共有可能、共有の制限なし、などとすることが可能である。
【００４７】
（１−２−３）変形例：
以上の属性の設定において、入力面での圧力やスイッチなどの設定に加え、以下のような変形も可能である。
【００４８】
（１−２−３−１）変形例＃１：
入力装置１１０の入力面に、入力とは別の余白（入力画像の描画を受け付けないエリア）を設けておき、切り替えのスイッチや目盛りを表すグラフィカル・ユーザ・インタフェースを表示し、この部分を操作させるようにしてもよい。
【００４９】
入力装置１１０の入力面に、入力とは別の余白（入力画像の描画を受け付けないエリア）を設けておき、ここに、書かれた手描き入力の入力軌跡を文字や数字として認識し、この文字や数字を取得して、表示／記録の設定や表示時間の設定としてもよい。
【００５０】
（１−２−３−２）変形例＃２：
入力装置１１０の入力面に、入力とは別の余白（入力画像の描画を受け付けないエリア）を設けておき、ここに、書かれた手描き入力の入力軌跡の線（直線や曲線）の長さを認識し、この線の長さを取得して、表示時間の設定としてもよい。
【００５１】
（１−２−３−３）変形例＃３：
手描き入力の入力軌跡の入力後、続けて入力された第２の入力を、属性の設定として認識する。
【００５２】
たとえば、一定時間辺りに圧力がかかった回数（表面をノック（タップ）する回数）を計測する手段を設ける。予め、ノックのパターンと記録するか否かの選択肢を対応付けておき、予め対応付けられたノックのパターンを検知した場合に直前に入力された入力軌跡のＳＷを切り替える。ノックのパターンは入力画像の記録先毎、表示時間等、に対応付けておき、記録の切り替えと同時にそれらを設定しても良い。
【００５３】
また、予め、ジェスチャと記録するか否かの選択肢を対応付けておき、予め対応付けられたジェスチャが認識された場合に直前に入力された入力軌跡のＳＷを切り替える。ジェスチャは入力画像の記録先毎、表示時間毎、に対応付けておき、記録の切り替えと同時にそれらを設定しても良い。
【００５４】
なお、この場合に、特開２００６−４０２７１号公報に記載された「ソフトウェアアプリケーションと対話するためのジェスチャの認識および使用」に関する技術を適用することが可能である。
【００５５】
さらに、予め、図形と記録するか否かの選択肢を対応付けておき、予め対応付けられた記号が描かれた場合に直前に入力された入力軌跡のＳＷを切り替える。
（１−２−３−４）変形例＃４：
手描き入力の入力軌跡の入力直前に、入力された第１の入力を、属性の設定の入力であるとして認識する。
【００５６】
この場合、以上の（１−２−３−３）と同様に、ノック、ジェスチャ、図形のパターンを検知した場合、直後に入力された入力軌跡の属性を設定することが可能である。
（２）情報処理システムの基本動作：
以下、図５以降のフローチャートを参照して、本実施形態の動作説明を行う。なお、ここでは、図２（ａ）のようにタブレットと画像表示装置１４０とを用いる場合を具体例にする。
【００５７】
（２−１）全体動作:
このような場合、まず、表示装置１１０の表示面に、外部の機器から与えられる表示用データに基づく元画像を表示する（図５中のステップＳ５０１）。この場合、外部機器からの表示用データは画像処理装置で画像処理されると共に、記憶装置１５０に記憶されつつ、画像表示装置１４０に対して画像表示がなされる。
【００５８】
そして、入力装置１１０を介して操作者により手描き入力で画像が描かれると、入力装置１１０から出力される座標データが、属性設定部１２０で設定された属性データと共に画像処理装置１３０に送られる。ここで、画像処理装置１３０は、手描き入力による座標データや属性データが供給されると、イベント発生として（図５中のステップＳ５０２でＹＥＳ）、後述するイベント処理を実行する（図５中のステップＳ５０３）。この場合、後述する入力軌跡の記憶方法に従って記憶装置１５０に軌跡が記憶される。
【００５９】
そして、画像処理装置１３０において、元画像と共に、手描き入力があればその軌跡を重畳した状態にして、表示用の画像データを画像表示装置１４０に供給して、画像表示を行う（図５中のステップＳ５０４）。
【００６０】
（２−２）イベント処理：
ここで、全体動作に関する図５のステップＳ５０３のイベント処理について、図６のフローチャートを参照して説明する。
【００６１】
手描き入力の入力軌跡の認識は、入力装置１１０を構成するタブレットとスタイラス１６０とによる場合には、タブレットが座標データを生成する。また、入力装置としてステレオカメラ１８１を使用する場合には、ステレオカメラ１８１で得られた撮像信号を元にして、座標データ生成部１８２が手描き入力の入力軌跡の座標データと、スタイラス１６０のペン先から入力面１１１までの距離ｚ（図１０参照）を生成する。この場合、特開２００４−２７９１１１号公報に記載されているステレオカメラの技術を用いて、入力軌跡の位置や、タブレットの入力面１１１までの距離ｚを測定する。
【００６２】
すなわち、スタイラス１６０と入力装置１１０とが接触した状態で手描き入力が開始されれば、入力装置１１０が座標データを生成する。また、スタイラス１６０と入力装置１１０とが非接触であっても、ステレオカメラ１８１の撮影結果により両者が所定の距離以下であれば、座標データ生成部１８２が座標データを生成する。これらが、手描き入力の開始である。
【００６３】
手描き入力が開始されて以上のようにして座標データが生成されると（図６中のステップＳ６０１でＹＥＳ）、入力装置１１０またはスタイラス１６０に設けられている設定手段により、手描き入力の入力軌跡を記録（記録と表示）するか、表示のみにするか、のいずれの設定になっているかを画像処理装置１３０が判定する（図６中のステップＳ６０２）。
【００６４】
そして、手描き入力の入力軌跡を、元画像の画像データに関連付けてた状態で、入力画像情報（入力軌跡の座標リスト等）として、一時記憶装置１５１に一時的に記憶する（図６中のステップＳ６０３）。すなわち、手描き入力の入力軌跡を、入力画像テーブルなどに新オブジェクトとして追加登録する（図６中のステップＳ６０４）。そして、入力テーブルにおいて、追加されたオブジェクトの位置情報を追加する（図６中のステップＳ６０５）。
【００６５】
（２−３）新オブジェクト追加：
ここで、図６ステップＳ６０４の新オブジェクト追加について、図７のフローチャートを参照し説明する。
【００６６】
この新オブジェクト追加とは、一連の手描き入力の入力軌跡を１つのオブジェクトとしてオブジェクト番号を付与し、座標データのリスト（座標リスト）、属性として設定された設定表示時間、表示開始時刻などのデータを、図１５のようなテーブル形式で、記憶装置１５０に登録することを意味する。
【００６７】
すなわち、手描き入力の入力軌跡について、新たな一連の入力があると、その新たな一連の入力について、入力画像テーブルにオブジェクトとして追加する（図７中のステップＳ７０１）。そして、新たに追加されたオブジェクトを現オブジェクトとして（図７中のステップＳ７０２）、属性設定部１２０の設定から表示時間の設定を行い（図７中のステップＳ７０３）、図示されないタイマなどから現時刻を取得し（図７中のステップＳ７０４）、現オブジェクトの表示開始時刻に現時刻を設定する（図７中のステップＳ７０５）。
【００６８】
ここで、図１３（ａ）（ｂ）のように、スタイラス１６０の側面などにスライダが設けられている場合、このスライダ１６３の設定に応じた信号がスタイラス１６０から出力され、図示されない受信部で受信された受信信号に応じて、属性設定部１２０が表示時間の属性データを生成して画像処理装置１３０に供給する。また、図１３（ｃ）のように、入力装置１１０または入力・表示装置１７０にスライダ１１３または１７３が設けられており、この設定スイッチ１１３または１７３の設定に応じて属性設定部１２０が表示時間の属性データを生成して画像処理装置１３０に供給してもよい。
【００６９】
（２−４）入力軌跡表示：
ここで、図５ステップＳ５０４の入力軌跡表示について、図８のフローチャートを参照し説明する。
【００７０】
ここで、画像処理装置１３０は、記憶装置１５０内の入力画像テーブルを参照し（図８中のステップＳ８０１）、未参照のオブジェクトが存在するかを調べる（図８中のステップＳ８０２）。未参照のオブジェクトが無ければ（図８中のステップＳ８０２でＮＯ）、処理を終了する。未参照のオブジェクトがあれば（図８中のステップＳ８０２でＹＥＳ）、参照すべきオブジェクトを抽出する（図８中のステップＳ８０３）。
【００７１】
そして、設定表示時間と表示監視時刻とを参照し（図８中のステップＳ８０４，Ｓ８０５）、設定表示時間に相当する時間の表示を行う（図８中のステップＳ８０７でＹＥＳ、Ｓ８０９）。すなわち、画像処理装置１３０は、元画像に重畳した状態で、手描き入力の入力軌跡を設定表示時間だけ表示する。
【００７２】
また、設定表示時間に相当する時間の表示が完了した場合には（図８中のステップＳ８０７でＮＯ）、そのオブジェクトを入力画像テーブルから削除する（図８中のステップＳ８０８）。
【００７３】
（２−５）オブジェクト表示：
ここで、図８ステップＳ８０９のオブジェクトの表示について図９のフローチャートを参照し説明する。
【００７４】
この場合、１つのオブジェクトは一連の手描き入力の入力軌跡であるため、１つのオブジェクトの座標リストには複数の座標点のデータが存在している。そこで、画像処理装置１３０は、現在参照しているオブジェクトについての座標リストに未表示の座標点が存在するかを調べる（図９中のステップＳ９０１）。未表示の座標点がなければ（図９中のステップＳ９０１でＮＯ）、処理を終了する。
【００７５】
未表示の座標点が存在すれば（図９中のステップＳ９０１でＹＥＳ）、その座標点を抽出し（図９中のステップＳ９０２）、画像処理装置１３０は、関連する元画像の座標値を元にして、元画像との関係における表示座標値を算出する（図９中のステップＳ９０３）。そして、その座標点について表示データを生成し、画像表示装置１４０に表示を行う（図９中のステップＳ９０４）。
【００７６】
このように、元画像との関係から表示すべき座標を計算することで、元画像をスクロールさせた場合には、手描き入力の入力軌跡も同じようにスクロールする状態となる。
すなわち、元画像データをページの概念がある文書と仮定すると、ページ毎に手描き入力の入力軌跡の座標データをオブジェクト毎に、入力画像テーブルに記録しておく。そして、元画像をスクロールさせる場合は、それに応じて表示面における入力軌跡の位置も変化させる。
【００７７】
（２−６）元画像更新：
元画像を別の画像に更新する場合、あるいは、複数頁の画像の頁送りをする場合、前述した元画像のスクロールの場合と同様に、元画像にあわせて入力軌跡の表示も更新する。
【００７８】
（２−７）表示例と記憶内容例：
図１４（ａ）は表示画面の表示例、図１４（ｂ）は一時記憶装置１５１の記憶内容、図１４（ｃ）は記憶媒体１５２の記憶内容を示し、これらの組み合わせが、（１）、（２）、（３）と変化する様子を示している。
【００７９】
この場合、「浅き夢見じ酔ひもせず」という元画像の表示に、手描き入力により「必要」という入力軌跡が表示される（図１４（１））。さらに、先ほどの「必要」という入力軌跡の表示に加え、「浅き夢見じ」の元画像の下に手描き入力によりアンダーラインの入力軌跡が表示される（図１４（２））。そして、「浅き夢見じ」の元画像の下の手描き入力によるアンダーラインの入力軌跡と記憶内容が設定時間の経過により消去され、元画像に対して先ほどの「必要」という入力軌跡の表示が残った状態を示している（図１４（３））。
【００８０】
（３）情報処理システムの詳細動作の具体例：
ここで、図１１と図１２のフローチャートを参照して、本実施形態の一連の詳細動作の具体例について説明を行う。
【００８１】
（３−１）動作例＃１:
まず、画像処理装置１３０はタブレットなどの接触用の入力装置１１０の入力スイッチの状態を検知する（図１１中のステップＳ１１００）。
【００８２】
入力スイッチがオンであれば（図１１中のステップＳ１１０１でＹＥＳ）、直前までの入力状態を調べ（図１１中のステップＳ１１０２）、直前までの入力状態が非接触でなければ（図１１中のステップＳ１１０２でＮＯ）、接触で入力中と判断し（図１２中のステップＳ１１０３）、接触用の入力装置１１０が生成する座標データ（２次元位置情報）を画像処理装置１３０が取得する（図１１中のステップＳ１１０７）。
【００８３】
また、直前までの入力状態が非接触であれば（図１１中のステップＳ１１０２でＹＥＳ）、接触の開始を入力の開始として扱い（図１２中のステップＳ１１０４）、入力画像記録スイッチがオンであると設定し（図１２中のステップＳ１１０５）、設定表示時間＝ＩＮＦと設定し（図１１中のステップＳ１１０６）、接触用の入力装置１１０が生成する座標データ（２次元位置情報）を画像処理装置１３０が取得する（図１１中のステップＳ１１０７）。
【００８４】
この場合、入力画像記録スイッチとは、入力装置１１０における入力面に所定の操作で手描き入力がなされた場合にオンと判断されるものを意味している。
そして、画像処理装置１３０は、上述した手描き入力の入力軌跡に関するイベント発生の処理を実行し（図１１中のステップＳ１１１７）、状態が入力中であるとして（図１１中のステップＳ１１１８）、スタート（入力スイッチ検出（Ｓ１１００））に戻る。
【００８５】
一方、入力スイッチがオンでなければ（図１１中のステップＳ１１０１でＮＯ）、画像処理装置１３０はステレオカメラ１８１を有する入力装置１８０で撮影した結果から３次元位置情報を取得し（図１１中のステップＳ１１０８）、スタイラスのペン先から入力面までの距離ｚが設定値を超えていれば（図１１中のステップＳ１１０９でＮＯ）、非入力中の状態である（図１１中のステップＳ１１１１）としてスタート（入力スイッチ検出（Ｓ１１００））に戻る。
【００８６】
また、スタイラスのペン先から入力面までの距離ｚが設定値内（図１１中のステップＳ１１０９でＹＥＳ）であっても、設定時間内のｚ方向の移動距離が設定値を超えていれば（図１１中のステップＳ１１１０でＮＯ）、非入力中の状態である（図１１中のステップＳ１１１１）としてスタート（入力スイッチ検出（Ｓ１１００））に戻る。
【００８７】
また、スタイラスのペン先から入力面までの距離ｚが設定値内（図１１中のステップＳ１１０９でＹＥＳ）であって、設定時間内のｚ方向の移動距離が設定値内であって（図１１中のステップＳ１１１０でＹＥＳ）、直前までの入力状態が非入力であれば（図１１中のステップＳ１１１２でＮＯ）、非接触で入力中と判断し（図１２中のステップＳ１１１３）、入力画像記録スイッチがオンであると設定する（図１２中のステップＳ１１１４）。そして、画像処理装置１３０は、上述した手描き入力の入力軌跡に関するイベント発生の処理を実行し（図１１中のステップＳ１１１７）、状態が入力中であるとして（図１１中のステップＳ１１１８）、スタート（入力スイッチ検出（Ｓ１１００））に戻る。
【００８８】
また、スタイラスのペン先から入力面までの距離ｚが設定値内（図１１中のステップＳ１１０９でＹＥＳ）であって、設定時間内のｚ方向の移動距離が設定値内であって（図１１中のステップＳ１１１０でＹＥＳ）、直前までの入力状態が入力中であれば（図１１中のステップＳ１１１２でＹＥＳ）、非接触で入力を開始し（図１２中のステップＳ１１１５）、距離ｚに応じて設定表示時間を取得する（図１２中のステップＳ１１１６）。そして、画像処理装置１３０は、上述した手描き入力の入力軌跡に関するイベント発生の処理を実行し（図１１中のステップＳ１１１７）、状態が入力中であるとして（図１１中のステップＳ１１１８）、スタート（入力スイッチ検出（Ｓ１１００））に戻る。
【００８９】
（３−２）動作例＃２:
まず、画像処理装置１３０はタブレットなどの接触用の入力装置１１０の入力スイッチの状態を検知する（図１２中のステップＳ１２００）。入力スイッチがオンでなければ（図１２中のステップＳ１２０１でＮＯ）、非入力中の状態である（図１２中のステップＳ１２１１）としてスタート（入力スイッチ検出（Ｓ１２００））に戻る。
【００９０】
また、画像処理装置１３０は入力装置１１０の入力スイッチの状態を検知（図１２中のステップＳ１２００）して、入力スイッチがオンであれば（図１２中のステップＳ１２０１でＹＥＳ）、直前までの入力状態を調べ（図１２中のステップＳ１２０２）、直前までの入力状態が非入力であれば（図１２中のステップＳ１２０２でＹＥＳ）、入力開始と判断し（図１２中のステップＳ１２０４）、入力画像記録スイッチの状態を取得し（図１２中のステップＳ１２０５）、設定表示時間を取得する（図１２中のステップＳ１２０６）。また、直前までの入力状態が非入力でなければ（図１２中のステップＳ１２０２でＮＯ）、入力中と判断する（図１２中のステップＳ１２０３）。
【００９１】
なお、入力画像記録スイッチとは、操作部を備えたスイッチでも良いし、入力装置１１０における所定の手描き入力がなされた場合にオンと判断されるものであってもよい。
そして、接触用の入力装置１１０が生成する座標データ（２次元位置情報）を画像処理装置１３０が取得する（図１２中のステップＳ１２０７）。
【００９２】
さらに、画像処理装置１３０は、上述した手描き入力の入力軌跡に関するイベント発生の処理を実行し（図１２中のステップＳ１２０８）、状態が入力中であるとして（図１２中のステップＳ１２０９）、スタート（入力スイッチ検出（Ｓ１２００））に戻る。
【００９３】
（４）実施形態により得られる効果：
以上の実施形態の情報処理システムによれば、入力装置１１０での入力軌跡に関する属性を設定する属性設定部１２０をもつため、入力軌跡そのものだけでなく属性を設定することによって、入力軌跡を汎用的に利用することができる。
【００９４】
以上の実施形態によれば、入力装置や入力手法を分けることなく同じ筆記（手描き入力）行為で複数の処理ができる。例えば、入力軌跡をコマンドの指示に使う場合とメモとして記録する場合などが可能であり、操作性がよい。
【００９５】
以上の実施形態によれば、入力軌跡に関する属性として入力軌跡の表示時間を設定できるため、一時的に表示して欲しい情報と元画像の表示にあわせて常に表示したい情報が混在する場合に、同じ入力装置や入力手法で複数の使い方ができる。例えば、説明をしながらリアルタイムで説明箇所を指し示すこととメモとして記録することがある場合などが可能になる。
【００９６】
以上の実施形態によれば、入力軌跡に関する属性として、入力軌跡のセキュリティ情報を設定できるため、同じ入力装置や入力手法で複数のセキュリティレベルの情報を入力できる。書き込みをする情報の中に、他人に編集されたくない情報と、自由に編集しても構わない情報が混在する場合などが可能になる。
【００９７】
以上の実施形態によれば、入力軌跡に関する属性として、入力軌跡の共有方法を設定できるため、同じ入力装置や入力手法で他人に公開したい情報と個人的な情報の両方を入力できる。例えば、説明をしながらリアルタイムで説明箇所を指し示すことと個人的なメモとして記録することがある場合などが可能になる。
【００９８】
以上の実施形態によれば、属性設定部１２０は、入力装置１１０の表面から描画が行われた位置の距離を計測する手段を有し、その距離に応じて属性を設定するため、特別な入力装置や入力手法を使わずに同じ描画という動作で入力軌跡以外の情報を設定できる。特に、説明をしながらリアルタイムで説明箇所を指し示すことと、細かい文字などでメモすることがある場合、前者は太い入力軌跡、後者は細い入力軌跡が適している。
【００９９】
以上の実施形態によれば、属性設定部１２０は、描画が人間の手によって行われたのかを判断する手段を有し、その判断結果に応じて属性を設定することができるため、手とペン等の特別な入力装置や入力手法を用いることで入力軌跡以外の情報を設定できる。特に、説明をしながらリアルタイムで説明箇所を指し示すことと、細かい文字などでメモすることがある場合、前者は手を用いて大まかな位置を示すこと、後者は詳細な情報を入力するのに適している。
【０１００】
以上の実施形態によれば、属性設定部１２０は、描画がペンの一方の端と他方の端のどちらかによって行われたのかを判断する手段を有し、その判断結果に応じて属性を設定するため、同じペンを使うことで、入力軌跡以外の情報を設定できる。特に、説明をしながらリアルタイムで説明箇所を指し示すこととメモとして記録する２つのモードが必要な場合に、モード切り替えが容易になる。
【０１０１】
以上の実施形態によれば、属性設定部１２０は、スタイラス１６０側に設けられた属性入力手段であり、前記属性入力手段の状態に応じて属性を設定するため、描画に用いるペンを使って入力軌跡以外の情報を設定できる。描画しながら設定を変更することも容易になるというメリットがある。
【０１０２】
以上の実施形態によれば、属性設定部１２０は、入力装置１１０や画像表示装置１４０や入力・表示装置１７０に設けられた属性入力手段であり、前記属性入力手段の状態に応じて属性を設定するため、描画を手で行いたい場合でも、入力軌跡以外の情報を設定できる。表示側で設定が可能であるので、入力軌跡の入力者毎に設定を変える等も可能になる。
【０１０３】
以上の実施形態によれば、属性設定部１２０は、入力軌跡入力後、続けて入力された第２の入力を認識する手段を有し、その入力結果に応じて属性を設定するため、描画以外の特別な動作なしで、既に入力した入力軌跡の状態を変更できる。
【０１０４】
以上の実施形態によれば、属性設定部１２０は、入力された第１の入力を認識する手段を有し、その入力結果に応じて続けて入力された入力軌跡の属性を設定するため、描画以外の特別な動作なしで、入力軌跡の状態を変更できる。描画する前に表示装置に表示しない等の設定ができるので、セキュリティ確保に役立つ。
【０１０５】
以上の実施形態によれば、入力結果として、筆記時の距離、入力軌跡の形状、色、圧力、入力手段(ペン、指など）に応じて属性を設定するため、描画動作の中で、入力軌跡の状態を変更できる。特に、描画する前に表示装置に表示しない等の設定ができ、その設定自体も他人に気づかれずに行うことができるので、パスワードの入力などに有効であるというメリットがある。
【０１０６】
なお、以上の実施形態では、画像処理装置１３０が各種処理を実行していたが、ＣＰＵやプロセッサなどが画像処理プログラムによって画像処理と各種処理とを実行するような構成であってもよい。
【図面の簡単な説明】
【０１０７】
【図１】本発明の実施形態の構成を示すブロック図である。
【図２】本発明の実施形態の構成を示す説明図である。
【図３】本発明の実施形態の構成を示す説明図である。
【図４】本発明の実施形態における表示例を示す説明図である。
【図５】本発明の実施形態の動作を示すフローチャートである。
【図６】本発明の実施形態の動作を示すフローチャートである。
【図７】本発明の実施形態の動作を示すフローチャートである。
【図８】本発明の実施形態の動作を示すフローチャートである。
【図９】本発明の実施形態の動作を示すフローチャートである。
【図１０】本発明の実施形態における入力状態を示す説明図である。
【図１１】本発明の実施形態における  を示す説明図である。
【図１２】本発明の実施形態における  を示す説明図である。
【図１３】本発明の実施形態における構成を示す説明図である。
【図１４】本発明の実施形態における表示例を示す説明図である。
【図１５】本発明の実施形態におけるテーブルのデータ状態を示す説明図である。
【符号の説明】
【０１０８】
１００  情報処理システム
１１０  入力装置
１２０  属性設定部
１３０  画像処理装置
１４０  画像表示装置
１５０  記憶装置
１６０  スタイラス（入力用のペン）
１７０  入力・表示装置
１８０  入力装置（ステレオカメラを用いた入力装置）
１８１  ステレオカメラ
１８２  座標データ生成部
【図１】
2008129907.tif 000003
【図２】
2008129907.tif 000004
【図３】
2008129907.tif 000005
【図４】
2008129907.tif 000006
【図５】
2008129907.tif 000007
【図６】
2008129907.tif 000008
【図７】
2008129907.tif 000009
【図８】
2008129907.tif 000010
【図９】
2008129907.tif 000011
【図１０】
2008129907.tif 000012
【図１１】
2008129907.tif 000013
【図１２】
2008129907.tif 000014
【図１３】
2008129907.tif 000015
【図１４】
2008129907.tif 000016
【図１５】
2008129907.tif 000017