(57)【要約】【課題】  銀行の窓口等でお客がペンで紙文書に記入をする際に、記入しようとしているペン先の範囲が手で隠れてしまうため、お客が記入しようとしている記入範囲を推定することが難しく、ユーザを支援する情報を的確に提供することができていなかった。【解決手段】  記入対象へ記入しているペンに対して、センサデータから取得したペン尻部分の３次元位置とペン尻からペン先への向きとを用いて、ペン先の３次元位置を推定し、推定した前記ペン先の３次元位置に基づいて、前記ペンが記入対象へ記入する記入範囲を推定し、推定した前記記入範囲に関連する関連情報を提示する。【選択図】  図１
2018018309.tif 000002
【特許請求の範囲】
【請求項１】
記入対象へ記入しているペンに対して、センサデータから取得したペン尻部分の３次元位置とペン尻からペン先への向きとを用いて、ペン先の３次元位置を推定するペン先推定手段と、
前記ペン先推定手段で推定した前記ペン先の３次元位置に基づいて、前記ペンが記入対象へ記入する記入範囲を推定する記入範囲推定手段と、
前記記入範囲推定手段で推定した前記記入範囲に関連する関連情報を提示する提示手段と、を備えることを特徴とする情報処理装置。
【請求項２】
前記ペン先推定手段では、距離データから得られるペンの形状の特徴に基づいてペン尻部分の３次元位置を取得することを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記ペン先推定手段では、ＲＧＢデータから得られる色の特徴に基づいてペン尻部分の３次元位置を取得することを特徴とする請求項１記載の情報処理装置。
【請求項４】
前記記入範囲推定手段は、前記ペン先の３次元位置の前記記入対象からの高さに基づいて、前記記入範囲を推定することを特徴とする請求項１乃至３何れか１項に記載の情報処理装置。
【請求項５】
前記提示手段は、前記記入範囲に関連する関連情報を前記記入範囲の近傍に提示することを特徴とする請求項１乃至４何れか１項に記載の情報処理装置。
【請求項６】
前記提示手段は、プロジェクタ、ディスプレイ、音声出力の少なくとも何れか１つであることを特徴とする請求項１乃至５何れか１項に記載の情報処理装置。
【請求項７】
前記提示手段は、前記ペン尻からペン先への向きが記入対象に向いている場合に前記関連情報を提示し、前記ペン尻からペン先への向きが記入対象に向いていない場合に前記関連情報を提示しないことを特徴とする請求項１乃至６何れか１項に記載の情報処理装置。
【請求項８】
前記ペンが記入中であることを検出する検出手段を更に備え、
前記提示手段は、前記検出手段により記入中であることを検出している間は、前記関連情報の提示を抑制することを特徴とする請求項１乃至７何れか１項に記載の情報処理装置。
【請求項９】
前記記入対象の識別子と前記記入対象内の項目の識別子と前記関連情報とを対応付けて記憶した第１の記憶手段と、
前記記入対象内の項目の識別子とその項目の範囲情報とを対応付けて記憶した第２の記憶手段と、を更に備え、
前記提示手段は、前記記入範囲と前記範囲情報とが重なる項目を第２の記憶手段から取得し、取得した項目に対応付けられた前記関連情報を第１の記憶手段から取得することを特徴とする請求項１乃至８何れか１項に記載の情報処理装置。
【請求項１０】
前記記入範囲が複数の項目にまたがる場合、前記提示手段は、前記関連情報が複数の項目に関連することを示すように提示することを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
記入対象へ記入しているペンに対して、センサデータから取得したペン尻部分の３次元位置とペン尻からペン先への向きとを用いて、ペン先の３次元位置を推定するペン先推定工程と、
前記ペン先推定工程で推定した前記ペン先の３次元位置に基づいて、前記ペンが記入対象へ記入する記入範囲を推定する記入範囲推定工程と、
前記記入範囲推定工程で推定した前記記入範囲に関連する関連情報を提示する提示工程と、を備えることを特徴とする情報処理方法。
【請求項１２】
コンピュータを、
記入対象へ記入しているペンに対して、センサデータから取得したペン尻部分の３次元位置とペン尻からペン先への向きとを用いて、ペン先の３次元位置を推定するペン先推定手段と、
前記ペン先推定手段で推定した前記ペン先の３次元位置に基づいて、前記ペンが記入対象へ記入する記入範囲を推定する記入範囲推定手段と、
前記記入範囲推定手段で推定した前記記入範囲に関連する関連情報を提示する提示手段と、として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はペンにより文書へ記入するユーザを支援する技術に関する。
【背景技術】
【０００２】
金融機関や行政機関の窓口において、紙文書を用いた契約や各種申し込みが日々行われている。契約書や申込書用紙には様々な項目があるため、窓口を訪れたお客はそれぞれの項目に対して、書式や選択項目などに注意をしながら、正しい内容を記入する必要がある。
【０００３】
窓口では、紙文書への記入時にお客を支援するため、担当の人がついて説明したり、別紙で記入例を用意していたりする。
【０００４】
お客自身が、ペンで紙文書に記入をする際に、記入しようとしている範囲に関する情報を知るには、お客が担当の人に聞いたり記入例を見たりする必要があり、手間がかかっていた。
【０００５】
特許文献１では、文書中の記入状態を検出して、未記入の項目に対して、近傍に記入候補を投影することを行っている。
【０００６】
特許文献２では、手の輪切りの画像から指の位置を推定している。
【０００７】
また、これとは別に、特殊なペン（ペン先から超音波や赤外線を発信して記入位置を特定するデバイス）を用いて記入範囲を推定することも行われている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１５−１１５８７公報
【特許文献２】米国特許  ＵＳ８６３８９８９
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、記入者が文書に文字を記入している時のように、手が紙の上にある状態では、文書が手で隠れてしまうことがある。このようなときに、特許文献１の方法では、文書の記入状態を読み取り、記入者が今記入しようとしている位置の項目に対して支援する情報を投影することは難しかった。
【００１０】
また、特許文献２のように手の輪切り画像から指の位置を推定する方法では、指先が密に接触してしまうと、推定した指先の位置と、正しい指先の位置とがずれてしまうことがある。特に文書を記入している時のように手を握りこんでいる状態では、手の輪切り画像から指先の位置を正確に推定することが難しかった。そのため、手の輪切り画像から推定した指先の位置を用いて記入範囲を推定することは難しかった。
【００１１】
特殊なペンを使う方法は、記入者に特殊なペンを使用することを強制しなければならず、使い慣れたペンを使用することができないため、使い勝手がよくなかった。  本発明は上記の課題に鑑みてなされたものであり、ユーザが記入しようとしている範囲を的確に推定して、ユーザを支援する情報処理装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る情報処理装置は以下の構成を備える。即ち、記入対象へ記入しているペンに対して、センサデータから取得したペン尻部分の３次元位置とペン尻からペン先への向きとを用いて、ペン先の３次元位置を推定するペン先推定手段と、前記ペン先推定手段で推定した前記ペン先の３次元位置に基づいて、前記ペンが記入対象へ記入する記入範囲を推定する記入範囲推定手段と、前記記入範囲推定手段で推定した前記記入範囲に関連する関連情報を提示する提示手段。
【発明の効果】
【００１３】
ペンの状態を基に、ユーザが記入している文書中の範囲を推定し、記入位置に応じた的確な支援情報を記入者に提供することができる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係る記入支援装置の銀行における使用例を示す図
【図２】情報処理装置のブロック図
【図３】情報処理装置のハードウェア構成図
【図４】第１実施形態に係る制御部２０１が保持する検知情報の一例を示すテーブル
【図５】第１実施形態に係る制御部２０１が保持する紙文書の記入支援情報及び項目情報の一例を示す図
【図６】第１実施形態に係る記入範囲推定部２０３が推定した記入範囲の一例を示す図
【図７】第１実施形態に係る紙文書の一例を示す図
【図８】第１実施形態に係る制御部２０１及びペン状態推定部２０２の処理を説明するフローチャート
【図９】第２実施形態及び第２実施形態の変形例に係るペンに取り付けるキャップの一例を示す図
【図１０】第２実施形態及び第２実施形態の変形例に係る制御部２０１及びペン状態推定部２０２の処理を説明するフローチャート
【発明を実施するための形態】
【００１５】
（第１の実施形態）
金融機関や行政機関の窓口において、電子的な機構を持たないボールペンを用いた重要な契約や申し込みが行われており、その支援を的確に行うことが求められている。
【００１６】
図１に、文書生成においてユーザを支援する情報処理装置１０４を、銀行の窓口で利用した場合を想定した模式図を示す。銀行内の窓口においてテーブル１０１をはさんで銀行の担当者１０２とお客１０３が対面している。お客１０３は口座開設のための紙文書１０６にボールペン１０７を用いて記入している。このようなケースにおいて、記入対象の紙文書中のお客が記入しようとしている範囲に関連付けられた情報を提供し、記入時にお客１０３を支援しようとしている。お客１０３が記入しようとしている範囲とは異なる記入範囲に関連付けられた情報を提供すると、お客を支援できなくなる。第１の実施形態では、テーブル１０１上の情報処理装置１０４を用いてお客１０３の支援を行う。お客１０３が紙文書１０６に記入している時に、お客１０３が持っているペン１０７の形状からペン１０７の状態を推定し、その状態から記入範囲を推定し、記入範囲に対応する支援情報１０８を紙文書の近傍にプロジェクタ１０５から投射する。以下、「支援情報」を、記入範囲または項目に対応付けられている「関連情報」とも記載する。テーブル上の座標系は１０９に示すように、お客から見てテーブル面の右方向をｘ軸、手前方向をｙ軸、上方向をｚ軸とする。
【００１７】
図２は、本実施形態に係る情報処理装置２００の機能ブロック図の一例である。情報処理装置２００は図１の情報処理装置１０４と同義である。同図において、２０１は制御部、２０２はペン状態推定部、２０３は記入範囲推定部、２０４は提示部である。制御部２０１は、ＣＰＵ３０１等から構成され、ＲＯＭ３０３に記憶されたプログラムやデータをＲＡＭ３０２に読み出して表示制御などの処理を実行する。ペン状態推定部２０２は、入力装置３０４から得た情報を基にお客が持つペンの状態を推定する。記入範囲推定部２０３は、ペン状態推定部２０２で得たペンの状態と、入力装置３０４から得た文書の位置を基にお客が記入しようとしている紙文書中の範囲を推定する。提示部２０４は出力装置３０５で構成され、制御部２０１で生成した表示情報を出力する。
【００１８】
図３は、本実施形態に係る情報処理装置２００の一例である投射型デバイスのハードウェア構成を示す構成図である。尚、図２の機能ブロック図の説明において示した要素には同一符号を付し、その説明を省略する。同図において、３０１はＣＰＵ、３０２はＲＡＭ、３０３はＲＯＭ、３０４は入力装置、３０５は出力装置、３０７はネットワーク・インタフェース、３０８はシステムバスである。入力装置３０４はペンの状態を推定するためのＲＧＢカメラや赤外線カメラ、距離センサなどの少なくとも何れか１つであるセンサからのセンサデータが入力される。出力装置３０５は映像を投射するプロジェクタや、表示するためのディスプレイ、音声出力のためのスピーカーなどの少なくとも何れか１つである。ネットワーク・インタフェース３０６はネットワーク３０７を介して外部の機器との間でデータ等の授受を行う。システムバス３０８は、本装置の各要素を接続し、各要素間における信号の授受を行う。
【００１９】
尚、ＣＰＵはプログラムを実行することで各種の手段として機能することが可能である。なお、ＣＰＵと協調して動作するＡＳＩＣなどの制御回路がこれらの手段として機能してもよい。また、ＣＰＵと画像処理装置の動作を制御する制御回路との協調によってこれらの手段が実現されてもよい。また、ＣＰＵは単一のものである必要はなく、複数であってもよい。この場合、複数のＣＰＵは分散して処理を実行することが可能である。また、複数のＣＰＵは単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、ＣＰＵがプログラムを実行することで実現する手段が専用の回路によって実現されてもよい。
【００２０】
次に、ペン状態推定部２０２が保持する入力装置３０４から取得したデータ及び中間データの一例について図４に基づいて説明する。図４（ａ）は入力装置３０４のＲＧＢカメラから取得したカラー画像（ＲＧＢデータ）を表している。画像には例としてお客の手とボールペン１０７を映した画像を用いている。図４（ｂ）は同じ被写体に対して入力装置３０４の距離センサから取得した距離データをマッピングした距離画像を表している。距離画像とは被写体までの距離を白黒の濃淡で表現した画像のことである。白いものほど手前に、黒いものほど奥に物体は存在していることを表している。図４（ｃ）は図４（ｂ）の距離画像を、テーブル面を基準とした距離に補正した距離画像を表している。図４（ｄ）は図４（ｃ）からペン後部（ペン尻部分）だけを抽出した距離画像を表している。ペン尻の抽出方法については後述する。
【００２１】
次に、制御部２０１が保持する紙文書に関連付けられた記入支援情報及び項目情報の一例についてそれぞれ図５（ａ）、図５（ｂ）のテーブルに基づいて説明する。図５（ａ）のテーブル５００は情報処理装置が提示する記入支援情報を、文書ＩＤと項目ＩＤと対応付けて表している。テーブルには文書ＩＤ５０１と、記入支援提示条件５０２、記入支援情報５０３が格納されている。文書ＩＤは一つの種類の紙文書を特定するための識別子を表している。記入支援提示条件には、文書中（記入対象内）のどの項目がお客によって選択されたと判断した時に記入支援を提示するかが表されている。記入支援情報には条件５０２に適合した時に表示される文言を表している。続いて、図５（ｂ）のテーブル５０９は文書ＩＤ１に関する項目情報を表している。記入支援情報及び項目情報は装置内で持っていてもよいし、ネットワーク・インタフェース３０６を介して外部の機器から定期的に受信してもよい。図５（ｂ）のテーブル５０９には項目ＩＤ５１０、項目名５１１、文書内の項目の位置５１２が範囲情報として格納されている。項目ＩＤは文書中の項目ごとの識別子を表している。項目名は項目を説明する名称を表している。文書内の項目の位置は、文書中の項目の相対的な位置を４つ組の数値（ｘ、ｙ、ｗ、ｈ）で表している。例えば５１３の行の項目は、項目ＩＤに「１」、項目名に「ご住所」を持ち、文書中の左上を原点としてｘ＝１０ｍｍ、ｙ＝７０ｍｍの場所に幅１８５ｍｍ、高さ２０ｍｍの項目領域があることを表している。そして記入支援情報のテーブル５００の５０４、５０５、５０６の行はそれぞれ、項目情報のテーブル５０９の５１３、５１４、５１５がお客によって選択されたと判断した時に提示する情報を表している。また、記入支援情報のテーブル５００の５０７の行は５１４と５１５の行の項目（項目ＩＤが「１と２」）が同時に選択された場合に提示する情報を表している。５０８の行は５１３から５１５までの行の項目（項目ＩＤが「１と２と３」）が同時に選択された場合に提示する情報を表している。
【００２２】
次に、記入範囲推定部２０３が推定した記入範囲の一例について図６を用いて説明する。図６（ａ）、図６（ｂ）の６００は記入者が持つペンを表している。ペンは状態を推定できるものであればどのようなペンを用いてもよい。図６（ａ）、図６（ｂ）の６０１、６０２はペンの状態を基に推定したテーブル上の記入範囲を表している。記入範囲の算出方法は後述する。
【００２３】
次に、本実施形態で使用する紙文書の一例について図７を用いて説明する。図７（ａ）〜図７（ｄ）の文書７００は海外預金口座の開設を銀行に申し込むための紙文書を表している。これに限らず、お客がペンを使って記入する対象であればどのような記入対象を扱ってもよい。記入対象は、ディスプレイ面に表示された電子ドキュメントでも良いし、プロジェクタが投影した投影情報でも良い。この紙文書は図５（ａ）の記入支援情報のテーブルの文書ＩＤ１に対応する紙文書とする。また文書中の項目７０１、７０２、７０３は図５（ｂ）項目情報のテーブルの項目ＩＤ１，２，３にそれぞれ対応するものとする。図７（ｂ）、（ｃ）、（ｄ）の７０４は記入範囲推定部２０３によって推定された記入範囲を表し、７０５、７０６、７０７はそれぞれの記入範囲に対応する支援情報が紙文書に対して重畳投射されている様子を表している。
【００２４】
続いて、制御部２０１及びペン状態推定部２０２において実行させる処理について図８のフローチャートを用いて説明する。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。図８（ａ）において、制御部２０１は、ステップＳ８０１において、後述するペンの状態推定処理においてテーブル上におけるペンの状態を推定し、ステップＳ８０２に移行する。ステップＳ８０２において、制御部は前のステップＳ８０１においてペンの状態が取得できていればステップＳ８０３に移行し、取得できていなければ処理を終了する。ステップＳ８０３において、ペン先の位置とテーブル面までの高さから記入範囲を算出し、ステップＳ８０４に移行する。記入範囲は図６（ａ）で示したように、ペン先を頂点とする頂角固定の円錐の底面をテーブル面に接地させたときの底面の範囲とする。座標系１０９において、ペン先の３次元空間上の３次元位置をｐｈ＝（ｘ１、ｙ１、ｚ１）、円錐の頂角の半分をθとする。ペン先のテーブル面からの高さはｚ１、記入範囲は点ｃ＝（ｘ１、ｙ１、０）を中心とする半径ｒ＝ｚ１＊ｃｏｓθの範囲と算出することができる。紙文書中の記入範囲は、紙文書の位置と算出した範囲を基に求めることができる。ステップＳ８０４では後述する記入範囲に関連する情報を提示する処理を行い、処理を終了する。
【００２５】
続いて、図８（ｂ）のフローチャートにおいて、ステップＳ８０１の処理の流れを説明する。状態推定部２０２は、ステップＳ８０１１において、入力装置３０４の距離データから取得した距離画像をテーブル面が基準になるように補正してステップＳ８０１２に移行する。例えば図４（ｂ）で示した距離画像をテーブル面を基準になるように補正した場合、図４（ｃ）で示す画像になる。図４（ｃ）は補正した結果を画像として表現した場合このように表現可能というだけで、各ピクセルの距離情報を数値として持つだけでも良い。このステップは、距離センサをテーブル面が正面に来るように配置した場合は省略することができる。続いてステップＳ８０１２において、補正した画像を基にテーブル面から垂直方向成分に突出した物体を検出してステップＳ８０１３に移行する。ここでは先ほど補正した距離データから、垂直方向に突出した物体を検出する。まず図４（ｃ）の距離画像の手前側から一定の距離の範囲ごとにペンの断面に該当する部分があるかどうかを各ピクセルごとの距離を基に確認し、各距離の範囲を横断する形でペンの形状が見つかった場合それをペンとして判定する。例として図４（ｃ）の距離画像からペンの部分を抜き出したものが図４（ｄ）に示したものである。ここではペンの形状を抽出する方法として距離データを手前側からの距離の範囲で分割してペンの形状を検出する方法を用いた。その他、距離画像から点群を生成し、点群とペンの３Ｄモデルとのモデルフィッティングを用いてペン尻の形状を認識し、ペンの位置を推定してもよい。いずれにせよ距離画像からペンの後部（ペン尻部分）の３次元空間上の３次元位置が把握できる方法であればよい。続いてステップＳ８０１３において、ペンの後部（ペン尻）の位置とペンの向きとペンの長さからペン全体の３次元上の位置姿勢（ポーズ）を推定し、処理を終了する。ペンの長さは予め与えられた値を使用する。ここではペンの長さを１４０ｍｍとする。ペン全体の位置姿勢はペンの後部（ペン尻）の位置と向き、ペンの長さを基に算出する。ペンの最後部の３次元空間上の３次元位置をｐｂ＝（ｘ２、ｙ２、ｚ２）、向きのベクトルをｖ＝（ｖｘ２、ｖｙ２、ｖｚ２）とするとペン先の位置ｐｈは計算式ｐｈ＝ｐｂ＋１４０＊ｖを用いて計算し、ペン先推定することができる。ペンの長さは記入者が記入をしているときに計測してもよい。記入中はペンがテーブルに接していると仮定できるため、ペン最後部の位置と向きから最前部の位置を求め、ペンの長さを求めることができる。
【００２６】
続いて、図８（ｃ）のフローチャートにおいて、ステップＳ８０４の処理の流れを説明する。制御部２０１は、ステップＳ８０４１において、紙文書中の記入範囲に関連する情報を取得し、ステップＳ８０４２に移行する。記入範囲に関連する情報は制御部２０１に格納された図５（ａ）、図５（ｂ）で示すテーブルを参照して取得する。まず、図８のフローチャートのステップＳ８０３で求めた記入範囲の円と、図５（ｂ）のテーブルの項目の位置が重なっているかどうかを５１２の列の値から判定し、重なっているものがあれば対応する項目ＩＤを抽出する。次に、図５（ａ）のテーブルにおいて対応する文書ＩＤと項目ＩＤを持つ行があれば、その行の記入支援情報を関連情報として返す。例えば図７（ｂ）のように文書の７０２の“フリガナ”の領域が記入範囲７０４と重なりがある場合、図５（ｂ）の５１４の行が抽出されるため、図５（ａ）の５０５が選択され、関連情報として「カタカナでお名前を記入してください。（例：シモマルコ  タロウ）」という記入支援情報が返る。同様に図７（ｃ）に示すように文書の７０３の“お名前”の領域が記入範囲７０４と重なる場合は、図５（ｂ）の５１５が抽出され、図５（ａ）の５０６が選択され、「漢字でお名前を入力してください。（例：下丸子  太郎）」という記入支援情報が返る。一方、図７（ｄ）のように文書のフリガナ（７０２）とお名前（７０３）の両方が記入範囲と重なる場合は、図５（ｂ）の５１４と５１５が抽出され、図５（ａ）では５０７が選択される。そのため、返る記入支援情報は「お名前を入力してください。」となる。続いて、制御部２０１はステップＳ８０４２において、文書の近傍に取得した関連情報を投影する。ここでは前ステップで選択された項目の範囲を図５（ｂ）のテーブルから取得し、それらの範囲を含む矩形を算出し、その矩形の脇に関連情報を投射する。例えば前ステップで記入範囲にフリガナ（７０２）とお名前（７０３）が含まれた場合は、図５（ｂ）のテーブルから２つの項目の範囲を合わせた大きさの範囲、つまり（１０、９０、１８５、２５）が選択されたと考える。この矩形の脇に関連情報７０７を投射する。関連情報７０７は、関連情報７０６よりも少し大きめに投射するなど複数の項目に関連することを示すように提示し、フリガナ７０２の項目への記入を忘れないようにさせる。本ステップにおいて、関連情報の投射位置を選択された項目の脇としたが、文書中に空きスペースがあればそこに投射してもよいし、テーブル上の空いたスペースに投射し、どの項目の関連情報を示しているのかを線で接続して表現してもよい。いずれにせよ、投射可能なエリアで項目とのつながりがわかるようになっていればどこに投射してもよい。また、映像を投影する以外にも、ディスプレイを設置し、ディスプレイ上に関連情報を表示するようにしてもよい。
【００２７】
以上のように、ペン後部（ペン尻部分）の形状をまず抽出し、そこから推定したペンの状態（ペン尻の位置、ペン先への向き、ペン先の位置）を基に記入している文書中の範囲を推定し、範囲に応じた記入支援のための情報を投射する。記入位置に応じた的確な支援情報を記入者に提供することができる。さらにペンの種類を問わないため、記入者は使い慣れたペンを利用することができる。
【００２８】
（第２の実施形態）
第１の実施形態では、ペン後部（ペン尻部分）の形状からペンの状態を推定し、記入支援情報をプロジェクタで投影する例について説明した。本実施形態では、ペンの状態をペンに取り付けたキャップにより検出し、記入支援情報を音声で通知するケースについて説明する。
【００２９】
ペンに取り付けるキャップの一例について図９を用いて説明する。図９（ａ）の６００は記入者が使用するペンの例を示している。このペンにキャップを取り付けた図を図９（ｂ）に示す。図９（ｂ）の９０１がキャップを表している。キャップにはペンの位置と姿勢を推定するために、色の異なる２つの球状のマーカ９０２と９０３が取りつけられている。ペンの位置を推定できるように、色付きのマーカを付与したが、色の代わりに四角や三角等の形状を持つマーカを使用してもよいし、２つ以上のマーカを配置してもよい。いずれにせよ、ペンの位置姿勢を推定可能な目印がキャップに組み込まれていればよい。
【００３０】
続いて、制御部２０１において実行させる情報処理について図１０（ａ）のフローチャートを用いて説明する。ステップＳ８０１、Ｓ８０２、Ｓ８０４は図８で示した処理と同様のため、説明を省略する。ステップＳ１００１において、記入者が持つペンの向きがテーブル面の向き、つまり下向きを向いている時は、記入者が紙文書に何かしら記入していると考えステップＳ１００２に移行し、下を向いていない場合は処理を終了する。ペンの向きはペンの向きベクトルｖ＝（ｖｘ１、ｖｙ１、ｖｚ１）を基に判定する。ｖｚ１の値が負の場合は下を向いていると判定し、正の場合は上を向いていると判定する。ステップＳ１００２において、記入者がペンで記入中かどうかを判定し、記入中であれば処理を終了し、記入していなければステップＳ１００３に移行する。記入中に関連情報の提示を抑制する処理を入れている理由は、記入者がペンで文章を記入している間に関連情報を提示すると、記入の妨げになる可能性があるからである。ペンで記入中かどうかの判定は、ペン先の位置とペン先の移動速度を基に決定する。ペン先の推定位置がテーブル面に十分近い位置にあり、かつペン先が閾値以上の速度で移動している場合は記入中であると判定する。ペン先の速度以外に、ペン先の軌跡を基に判断してもよいし、キャップ自体に加速度センサを組み込み、そこで計測された速度の値を使用してもよい。ステップＳ１００３において、ペン先の向きとテーブル面までの距離から記入範囲を算出し、ステップＳ８０４に移行する。本実施形態では記入範囲を図６（ｂ）に示すようにペン先が指している方向がテーブル面とぶつかる位置を中心とするテーブル面までの距離に応じた半径を持つ円である。座標系１０９において、ペン先の３次元空間上の３次元位置をｐｈ＝（ｘ１、ｙ１、ｚ１）、ペンの向きベクトルをｖ＝（ｖｘ１、ｖｙ１、ｖｚ１）とする。記入範囲は点ｃ＝（ｘ１−ｖｘ１＊ｚ／ｖｚ、ｙ１−ｖｙ１＊ｚ／ｖｚ、０）を中心とする円として算出できる。円の半径は第一の実施例と同様にテーブル面までの高さを基に算出するものとする。
【００３１】
続いて、図１０（ｂ）のフローチャートにおいて、状態推定部２０２は、ステップＳ１００４において、ペンのキャップに付けられた色マーカの位置を取得してステップＳ１００５に移行する。色マーカ９０２，９０３の空間上の位置はＢｌｏｂ  Ｄｅｔｅｃｔｉｏｎとカラーフィルタを使用することで推定することができる。ステップＳ１００５においてマーカの位置からペンの状態を推定し、処理を終了する。それぞれの色マーカの位置からペンの位置を向きがわかるので、所定のペンの長さを基にペン全体の位置姿勢を推定する。
【００３２】
次に図１０（ｃ）のフローチャートにおいて、ステップＳ８０４１は図８で示した処理と同様のため、説明を省略する。ステップＳ１００６において、前ステップで取得した記入範囲に関連する情報を出力装置３０５のスピーカーから出力する。
【００３３】
以上のように、ペンに取り付けたキャップのマーカを基に記入している文書中の範囲を特定し、範囲に応じた記入支援のための情報を投射することで、記入位置に応じた的確な支援情報を記入者に提供することができる。さらに本手法はキャップの取り付け可能なペン全てに適用できるため、記入者は使い慣れたペンを利用することができる。
【００３４】
（第２の実施形態の変形例）
第２の実施形態では、ペンの状態をペンの後部（ペン尻）に取り付けたキャップにより検出するケースについて説明したが、本実施形態では、ペンの状態をペンの前部（ペン先）と後部（ペン尻）に取り付けたキャップにより検出するケースについて説明する。
【００３５】
ペンに取り付けるキャップの一例について図９（ｃ）を用いて説明する。図９（ｂ）のキャップに加え、ペン先に色マーカ付のキャップ９０４を装着する。このようにすることでペン先の位置を直接検出することが可能となる。
【００３６】
その際、図１０（ｂ）のフローチャートにおいて、制御部２０１は、ステップＳ１００４において、ペンの後部（ペン尻）のキャップに付けられた色マーカだけでなく、ペンの前部のキャップの色マーカの位置も推定する。そしてステップＳ１００５において、ペン前部のキャップが検出できた場合は、その位置を使い、検出できなかった場合はペン後部（ペン尻部分）のキャップから算出した位置を基にペン先の位置を推定する。
【００３７】
以上のように、ペンに取り付けた２つのキャップのマーカを基に記入している文書中の範囲を特定し、範囲に応じた記入支援のための情報を投射することで、より効率的に記入位置に応じた的確な支援情報を記入者に提供することができる。
【００３８】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３９】
２００  情報処理装置
２０１  制御部
２０２  ペン状態推定部
２０３  記入範囲推定部
２０４  提示部
【図１】
2018018309.tif 000003
【図２】
2018018309.tif 000004
【図３】
2018018309.tif 000005
【図４】
2018018309.tif 000006
【図５】
2018018309.tif 000007
【図６】
2018018309.tif 000008
【図７】
2018018309.tif 000009
【図８】
2018018309.tif 000010
【図９】
2018018309.tif 000011
【図１０】
2018018309.tif 000012