(57)【要約】【課題】入力面で検出された操作点と表示体の表示点とを、姿勢や視点などを考慮して位置合わせする。【解決手段】表示座標系で規定された画像を表示する表示体１６と、表示された画像に対してなされた操作点を、検出座標系で規定された座標値で検出するタブレット１８と、検出された座標値を、行列（Ａ＋ΔＡ）を用いて表示座標系に変換する変換部１２２と、基準となる線画を、表示体に表示させる基準画像描画部１２６と、線画をなぞる操作がタブレット１８になされたときに、変換部１２２による座標値と線画を構成する座標値との偏差を算出する偏差算出部１２８と、算出された偏差に基づいて行列（Ａ＋ΔＡ）を更新する補正パラメーター更新部１３０とを有する。【選択図】図３
2011034485.tif 000002
【特許請求の範囲】
【請求項１】
表示座標系で規定された画像を表示する表示体と、
前記表示体により表示された画像への操作点を、検出座標系で規定された座標で検出する検出部と、
前記検出部により検出された座標を、補正パラメーターを用いて前記表示座標系に変換する変換部と、
少なくとも２以上の点を結んだ基準線を、前記表示体に表示させる基準画像描画部と、
前記基準線をなぞる操作がなされたときに、前記変換部により変換された座標と前記基準線を構成する座標との偏差を算出する偏差算出部と、
前記偏差算出部により算出された偏差に基づいて前記補正パラメーターを更新する補正パラメーター更新部と、
を具備することを特徴とする情報端末装置。
【請求項２】
前記基準線をなぞる操作がなされたときに、前記変換部により変換された座標に基づいた軌跡を前記表示体に表示させる軌跡画像描画部を有する
ことを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記基準線をなぞる操作が終了したときに、前記補正パラメーター更新部は、前記補正パラメーターの更新を終了する
ことを特徴とする請求項２に記載の情報端末装置。
【請求項４】
前記補正パラメーター更新部は、前記偏差が閾値よりも小さくなくなったときに前記補正パラメーターの更新を終了する
ことを特徴とする請求項２に記載の情報端末装置。
【請求項５】
前記補正パラメーターの更新が終了したとき、  更新時の補正パラメーターを記憶する
ことを特徴とする請求項３または４に記載の情報端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子ペンなどによって指定された位置を表示体に表示させる情報端末装置に関する。
【背景技術】
【０００２】
この種の情報端末装置は、液晶ディスプレイや電子ペーパーなどの表示体に、例えばタブレットやタッチパネルなどの入力面を重ねて配置した構成となっている。このような構成において、電子ペンや指などが入力面をタッチ等すると、その指定された点（操作点）を示す座標が検出される。このため、検出された座標に対応する画素を順次点灯等させることによって、入力面をなぞったときの軌跡を表示体に表示させることなどができる。
ところで、入力面や表示体には、ある程度の厚みがある。また、電子ペンによっては、傾きによって操作点の座標が異なってしまうタイプもある。このため、電子ペン等による操作点を表示体に表示させるときに、その表示点が操作点からずれて視認される場合がある。
そこで、電子ペン等がタッチパネル等をタッチしたときに、補正したい位置を入力するとともに、その位置でのずれ量をカーソルキーにより入力することによって、ずれ量に応じた補正パラメーターを計算し、該補正パラメーターを用いて、操作点を表示体に表示させる技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３５６８７９号公報（段落００３４−００４３）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この技術では、補正したい位置を入力した後、その位置でのずれ量をカーソルキー等により入力する手間をユーザーに与えてしまう。
本発明は、上述した事情に鑑みてなされたもので、その目的の一つは、そのような手間をユーザーに強いることなく、表示点が入力面の操作点からずれないように補正することが可能な情報端末装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明に係る情報端末装置にあっては、表示座標系で規定された画像を表示する表示体と、前記表示体により表示された画像への操作点を、検出座標系で規定された座標で検出する検出部と、前記検出部により検出された座標を、補正パラメーターを用いて前記表示座標系に変換する変換部と、少なくとも２以上の点を結んだ基準線を、前記表示体に表示させる基準画像描画部と、前記基準線をなぞる操作がなされたときに、前記変換部により変換された座標と前記基準線を構成する座標との偏差を算出する偏差算出部と、前記偏差算出部により算出された偏差に基づいて前記補正パラメーターを更新する補正パラメーター更新部と、を具備することを特徴とする。本発明によれば、ユーザーは、表示された基準線をなぞるような操作をすれば良いので、補正する位置やずれ量などを入力する手間が不要となる。
【図面の簡単な説明】
【０００６】
【図１】実施形態に係る情報端末装置のハードウェアの構成を示す図である。
【図２】情報端末装置における表示体とタブレットとの配置構成を示す図である。
【図３】情報端末装置におけるキャリブレーション時の構成を示すブロック図である。
【図４】情報端末装置のキャリブレーション動作を示すフローチャートである。
【図５】情報端末装置における基準画像の一例を示す図である。
【図６】情報端末装置における各処理を示す図である。
【図７】情報端末装置における操作および表示の一例を示す図である。
【図８】情報端末装置における操作および表示の一例を示す図である。
【図９】情報端末装置における操作および表示の一例を示す図である。
【図１０】情報端末装置における基準画像の別例を示す図である。
【図１１】情報端末装置における基準画像の別例を示す図である。
【発明を実施するための形態】
【０００７】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る情報端末装置のハードウェアの構成を示す図である。この図に示されるように、情報端末装置１は、端末本体１０と電子ペン５０とを備え、このうち、端末本体１０は、ＣＰＵ１２、記憶部１４、表示体１６およびタブレット１８を含む。
ＣＰＵ１２は、バスＢを介して各部を制御するものであり、特に本実施形態にあっては後述するキャリブレーションプログラムを実行することによって、タブレット１８で検出される操作点と表示体１６で表示させる表示点とを位置合わせするキャリブレーション処理を実行する。
記憶部１４は、不揮発性記憶領域と揮発性記憶領域とを有し、このうち、不揮発性記憶領域は、オペレーションシステムや、上記キャリブレーションプログラム、各種のアプリケーションプログラム、後述する補正パラメーター、基準画像を記憶し、揮発性記憶領域は、ＣＰＵ１２によるプログラムの実行時に発生するデータ等を一時的に記憶する。
表示体１６は、液晶表示パネルや電子ペーパーなどのような表示デバイスであり、各画素の階調をそれぞれ変化させることによって画像を表示する。タブレット１８は、電子ペン５０による操作点の座標を検出座標系で規定して出力する。
【０００８】
図２に示されるように、タブレット１８の入力面（電子ペン５０によって操作される面）は、表示体１６の表示面よりも操作・観察側に配置されている。このため、電子ペン５０の先端でタブレット１８の入力面をタッチする操作がなされたときに、操作点の座標を、表示面の座標に変換して表示体１６に表示させることができるし、入力面をなぞる操作がなされたときには、その軌跡を表示させることもできる。
なお、本実施形態では、操作点の座標検出用としてタブレット１８を用いているが、表示画面に対する操作点の座標を、なんらかの形で取得することができれば良いので、例えばタッチパネルなどを用いてもよい。
【０００９】
タブレット１８によって検出される操作点の座標は検出座標系で規定され、表示体１６の表示最小単位である画素の配置は、検出座標系とは異なる表示座標系で規定される。このため、タブレット１８によって検出された操作点の座標を表示体１６に表示させるには、座標系を変換する必要がある。
この座標変換について説明すると、タブレット１８によって検出されるとともに検出座標系で規定される操作点Ｐの座標を（Ｐx、Ｐy）と表し、表示体１６において当該操作点Ｐに相当する表示点Ｄの座標を（Ｄx、Ｄy）と表したとき、両者の座標は、次の式（１）に示されるように、行列Ａを介して結び付けることができる。
【００１０】
【数１】
2011034485.tif 000003
【００１１】
説明簡略化のために、座標変換については拡大縮小および平行移動のみとする。これにより、式（１）における行列Ａのうち、成分ｂ、ｄについてはゼロとして扱うことができる。なお、行列Ａの各成分のうち、成分ａは、表示座標系からみた検出座標系のｘ方向の伸縮率に相当し、成分ｕはｘ方向の偏差に相当し、成分ｃはｙ方向の伸縮率に相当し、成分ｖはｙ方向の偏差に相当する。
【００１２】
ところで、端末本体１０での使用形態を考えたとき、表示体１６（タブレット１８）に対するユーザーの視認（操作）方向は、姿勢や視点位置などによって一定ではない。例えば、図２に示されるように、ユーザーは、表示体１６の表示面に対して法線方向（ａ）から視認する場面もあれば、斜め方向（ｂ）から視認する場面もある。
このため、表示体１６およびタブレット１８の厚みや視差などを考慮すると、タブレット１８の入力面の地点Ｐを指定しても、表示面において地点Ｐに相当すべき地点は、法線方向（ａ）からみたときでは地点Ｄとなり、斜め方向（ｂ）からみたときでは地点Ｄeとなり、互いに異なることになる。さらに、電子ペンによっては、操作点が同一でも、電子ペンの傾きによっては検出される操作点の座標が異なってしまうタイプもある。
したがって、ユーザーの使用形態などに応じて、次の式（２）に示されるように、行列Ａにおける各成分を行列ΔＡの各成分で補正する必要がある。
【００１３】
【数２】
2011034485.tif 000004
【００１４】
詳細については後述するように、本実施形態では、表示体１６に対して座標が定まった線画を表示させる一方、ユーザーは、ある姿勢を保って、ある角度で電子ペンを傾けた使用形態で当該線画をなぞるように操作する。このときの偏差に基づいて行列ΔＡの各成分を修正することによって、当該使用形態において視差等による位置ずれを補正する。
【００１５】
図３は、本実施形態において、行列ΔＡの各成分を使用形態に応じて適切に修正する構成を含むブロック図である。
この図において、制御部１２０、変換部１２２、軌跡画像描画部１２４、基準画像描画部１２６、偏差算出部１２８および補正パラメーター更新部１３０は、それぞれ図１におけるＣＰＵ１２が、上記キャリブレーションプログラムを実行することによって構築される機能ブロックである。初期パラメーター記憶部１４２、補正パラメーター記憶部１４４および基準画像記憶部１４６は、記憶部１４における不揮発性記憶領域に割り当てられた記憶部分である。
【００１６】
同図において、制御部１２０は、変換部１２２、軌跡画像描画部１２４、基準画像描画部１２６、偏差算出部１２８および補正パラメーター更新部１３０から各種の情報を取得するとともに、これらの各部をそれぞれ制御するものである。
タブレット１８は、入力面が操作されたときに、その操作点Ｐの座標（Ｐx、Ｐy）を、サンプリング間隔毎に出力する。変換部１２２は、操作点Ｐの座標（Ｐx、Ｐy）を、補正パラメーター記憶部１４４に記憶された行列（Ａ＋ΔＡ）を用い、式（２）にしたがって表示座標系の表示点の座標（Ｄx、Ｄy）に変換するものである。軌跡画像描画部１２４は、変換された座標（Ｄx、Ｄy）を順次プロットしたり、補間処理したり等することによって、表示体１６に対し走査軌跡を描画させるものである。
【００１７】
基準画像記憶部１４６は、キャリブレーションの際に基準となる画像データを記憶するものである。本実施形態では、基準画像の一例として、図５（ａ）および（ｂ）に示されるように、一筆書きが可能な５画の線画４１を用いる。詳細には、線画４１は、ｘ方向に沿って互いに平行な線分４１ａの３本と、上方に位置する線分４１ａの右端から斜め下方に向かって下方に位置する線分４１ａの左端まで結ぶ線分４１ｂの２本とからなる。
なお、便宜的に線画４１の端点を、同図に示されるように、それぞれＢ１〜Ｂ６とし、これらの端点の表示座標系における座標値をそれぞれ同図に示される通りとする。また、線画４１は、例えば図５（ａ）に示されるように、表示体１６の画面において左上方に表示される。基準画像記憶部１４６は、線画４１に相当する画像データを、例えば、表示座標系で規定された点（画素）の集合体として記憶する。
また、線画４１の大きさは、表示体１６のサイズおよび解像度、タブレット１８の検出能力にも依るが、表示体のサイズがＡ４版程度であれば、２センチメートル程度（端点Ｂ１、Ｂ２の距離）である。
【００１８】
基準画像描画部１２６は、基準画像記憶部１４６から出力される画像データを表示体１６に描画させる。これにより、表示体１６には、実際に線画４１が図５（ａ）に示されるように表示される。
なお、表示体１６の表示領域のうち、線画４１の表示領域以外の領域では、特に図示しないが、他のアプリケーションプログラムによって、例えば電子文書が表示されるとともに、タブレット１８の指示によって閲覧および編集する機能などが実行される。
【００１９】
偏差算出部１２８は、基準画像記憶部１４６に記憶された線画４１を構成する点のうち後述する特定の１点の座標と、変換部１２２によって表示座標系に変換された座標（Ｄx、Ｄy）との偏差のｘ、ｙ成分を、後述する「始点」、「線分１」、「端点１」、「線分２」、「端点２」等の各処理に応じて求めて出力するものである。
補正パラメーター更新部１３０は、キャリブレーション時における各処理に応じて、偏差算出部１２８から出力される偏差、タブレット１８から出力される操作点の座標、および、線画４１を構成する座標から、行列ΔＡの各成分を算出して出力する。
初期パラメーター記憶部１４２は、初期値である行列Ａの各成分を記憶する。
補正パラメーター記憶部１４４は、行列Ａの各成分を、行列ΔＡの各成分でそれぞれ補正した行列（Ａ＋ΔＡ）を記憶するとともに、変換部１２２に対し当該行列（Ａ＋ΔＡ）を供給する。
【００２０】
次に、キャリブレーション時における処理の変遷について説明する。図６は、その変遷を示す図である。上述したように、キャリブレーション時において表示体１６には線画４１が表示される。ユーザーは、この線画４１を、端点Ｂ１→Ｂ２→Ｂ３（→Ｂ４→Ｂ５）の順番で、一筆書きでなぞるように電子ペン５０を操作する。
この操作において、電子ペン５０が端点Ｂ１をタップするような操作がなされたときに実行されるのが「始点」の処理である。続いて、電子ペン５０が、端点Ｂ１から端点Ｂ２までの線分４１ａをなぞるような操作したときに実行されるのが「線分１」の処理である。電子ペン５０が、端点Ｂ２に達して端点Ｂ３に向かうように折り返すような操作がなされたときに実行されるのが「端点１」の処理である。さらに、電子ペン５０が、端点Ｂ２から端点Ｂ３までの線分４１ｂをなぞるような操作したときに実行されるのが「線分２」の処理である。そして、電子ペン５０が、端点Ｂ３に達したときに実行されるのが「端点２」の処理である。
【００２１】
次に、キャリブレーション動作について説明する。図４は、キャリブレーションプログラムを実行したときの動作を示すフローチャートである。
なお、このキャリブレーションプログラムは、例えば、予めキャリブレーションプログラムに対応したアイコンを表示体１６に表示させておき、そのアイコンがタッチされたときなどを契機として実行される。
【００２２】
まず、ステップＳ１において制御部１２０は、変数Ｍに「１」をセットし、フラグＮを「０」にリセットする。
ステップＳ２において制御部１２０は、タブレット１８から、操作点の座標（ペンデータ）が出力されたか否かを判別する。なお、制御部１２０は、この判別をタブレット１８における検出のサンプリング間隔毎に実行する。
電子ペン５０の先端がタブレット１８の入力面から離れた状態であれば、ペンデータが出力されないので、制御部１２０は、処理手順を後述するステップＳ１２を実行する。一方、ペンデータが出力されていれば、ステップＳ３において制御部１２０は、当該ペンデータを変換部１２２に取得させて、表示座標系に変換させる。
【００２３】
次に、ステップＳ４において制御部１２０は、フラグＮが「０」であるか否かを判別する。フラグＮは、キャリブレーション開始した直後のステップＳ１において「０」にリセットされ、「始点」の処理後の後述するステップＳ６において「１」にセットされる。このため、フラグＮが「０」であるということは、キャリブレーション開始直後であって未だ「始点」の処理が実行されていない状態であることを意味している。さらに、この状態においてペンデータが出力され、ステップＳ４の判別結果が「Ｙｅｓ」であるということは、ユーザーが線画４１をなぞるために、電子ペン５０の先端を端点Ｂ１に接触させるような操作をしたことも意味している。
したがって、フラグＮが「０」であって、ペンデータが出力されていれば、ステップＳ５において制御部１２０は「始点」の処理を実行する。
なお、視差等によって表示座標系と検出座標系とに位置ずれが生じていれば、図７に示されるように、電子ペンの操作座標を表示座標系に変換した表示点Ｄ１は、基準である端点Ｂ１からずれる場合がある。
【００２４】
ステップＳ５における「始点」の処理では、行列ΔＡのうち、修正成分Δｕが求められる。詳細には、図７に示されるように、偏差算出部１２８が、ペンデータを表示座標系に変換した表示点Ｄ１のｘ成分である（Ｄx1）と、端点Ｂ１のｘ座標（ｘ1）とを用いて、端点Ｂ１に対する表示点Ｄ１のｘ方向の偏差を算出し、補正パラメーター更新部１３０が、当該偏差を修正成分Δｕとして出力する。
これにより、補正パラメーター記憶部１４４に記憶される行列（Ａ＋ΔＡ）のうち、ΔＡのΔｕは、ステップＳ５においてｘ方向の偏差を考慮して更新されることになる。この後、ステップＳ６において制御部１２０は、フラグＮを「１」にセットし、処理手順を再びステップＳ２に戻す。
【００２５】
一方、ステップＳ４においてフラグＮが「０」でないということは、すでに「始点」の処理が実行されたことを意味している。さらに、この状態において、変数ＭがステップＳ１にてセットされた初期値の「１」であって、ペンデータが出力されたということは、ユーザーが電子ペン５０の先端を端点Ｂ１から端点Ｂ２に向けて線分４１ａに沿って移動するような操作をしていることを意味している。
このため、ステップＳ７において制御部１２０は「線分１」の処理を実行する。この「線分１」の処理では、サンプリング時刻ｔにおいて実行されたときに、当該時刻に対応した修正成分Δｖ（ｔ）が、図８の式（３）に示されるように算出される。
すなわち、偏差算出部１２８が、サンプリング時刻ｔにおけるペンデータを表示座標系に変換した表示点Ｄのｘ成分と、端点Ｂ１およびＢ２を結ぶ線分４１ａのｙ座標（ｙ1）とを用いて、当該サンプリング時刻ｔにおけるｙ方向の偏差Δｙ（ｔ）を算出し、補正パラメーター更新部１３０が、当該サンプリング時刻ｔの１つ前のサンプリング時刻（ｔ−１）で求めたΔｖ（ｔ−１）から、偏差Δｙ（ｔ)に係数αを乗じた積を減じた値を算出して、この値を修正成分Δｖ（ｔ）として出力する。なお、係数αは０以上１以下の値に設定される。
これにより、補正パラメーター記憶部１４４に記憶される行列（Ａ＋ΔＡ）のうち、ΔＡのΔｖは、ステップ７の処理毎に、すなわちタブレット１８における検出のサンプリング間隔毎に、更新される
【００２６】
この後、ステップＳ８において制御部１２０は、軌跡画像描画部１２４に対し、例えば前回のサンプリング時刻（ｔ−１）において変換された座標の点から、今回のサンプリング時刻ｔにおいて変換された座標の点までを線で結ばせて、軌跡として表示体１６に表示させる。
【００２７】
次に、ステップＳ９において制御部１２０は、電子ペンの方向反転があったか否かを判別する。例えば、制御部１２０は、今回取得したペンデータのｘまたはｙ座標の増減方向が前回取得したペンデータのｘまたはｙ座標の増減方向から変化したか否かを判別する。
なお、この判別動作には、電子ペンの走査が停止状態にあるか否か、詳細にはペンデータが発生していても、その座標が変化していない状態にあるか否かが含まれる。
制御部１２０は、電子ペンの方向反転（停止）でなければ、処理手順をステップＳ２に戻す。
一方、方向反転（停止）があって、変数Ｍが初期値の「１」であれば、線画の端点Ｂ２から端点Ｂ３への折り返しに対応した操作であるので、ステップＳ１０において制御部１２０は「端点１」の処理を実行する。
なお、表示座標系と検出座標系とにおいて伸縮率が相違していれば、図８に示されるように、電子ペンによる折り返し地点の座標を表示座標系に変換した表示点Ｄ２は、基準の端点Ｂ２からずれる場合がある。
【００２８】
ステップＳ１０における「端点１」の処理では、表示座標系からみた検出座標系のｘ方向の伸縮率の修正成分Δａが図８の式（４）にしたがって算出されるとともに、ｘ方向の偏差の修正成分Δｕが同図の式（５）にしたがって算出される。
詳細には、補正パラメーター更新部１３０は、電子ペン５０の先端を端点Ｂ１に接触させようとしたときのｘ方向の偏差Δｘ１と、そのときのペンデータのｘ方向の座標値Ｐx1と、端点Ｂ２で方向反転させようとしたときのｘ方向の偏差Δｘ２と、そのときのペンデータのｘ方向の座標値Ｐx2とを用いて、修正成分Δａを式（４）にしたがって算出する。なお、偏差Δｘ２は、偏差算出部１２８が、表示点Ｄ２の座標値Ｄx2と端点Ｂ２の座標値ｘ2とを用いて算出する。偏差Δｘ１については、上述した通りである。
また、補正パラメーター更新部１３０は、ペンデータの座標値Ｐx1、Ｐx2と、端点Ｂ１でのｘ方向の偏差（ｘ1−Ｄx1）と、端点Ｂ２でのｘ方向の偏差（ｘ2−Ｄx2）とを用いて、修正成分Δｕを式（５）にしたがって算出する。
これにより、補正パラメーター記憶部１４４に記憶される行列（Ａ＋ΔＡ）のうち、ΔＡのΔａおよびΔｕは、ｘ方向の伸縮率および偏差を考慮して更新されることになる。
【００２９】
この「端点１」の処理の後、端点Ｂ２から端点Ｂ３への折り返しに対応して、「線分２」の処理を実行するために、制御部１２０は、ステップＳ１１において制御部１２０は、Ｍを「１」だけインクリメントする。この後、制御部１２０は処理手順をステップＳ２に戻す。ステップＳ２に戻ったとき、変数Ｍが「２」となっているので、ペンデータが発生していれば、ステップＳ７では変数Ｍを「２」とした「線分２」の処理が実行され、ステップＳ１０では「端点２」の処理が実行されることになる。
【００３０】
「線分２」の処理では、サンプリング時刻ｔに対応した修正成分Δｕ（ｔ）が、図９の式（６）にしたがって算出される。すなわち、偏差算出部１２８が、サンプリング時刻ｔにおける表示点Ｄのｘ座標値であるｘ（ｔ）と、端点Ｂ２およびＢ３を結ぶ線分４１ｂのうち、そのｙ座標値が表示点Ｄのｙ座標値に一致する点のｘ座標値との偏差Δｘ（ｔ）を算出し、補正パラメーター更新部１３０が、当該サンプリング時刻ｔの１つ前のサンプリング時刻（ｔ−１）で求めたΔｕ（ｔ−１）から、偏差Δｘ（ｔ)に係数βを乗じた積を減じた値を算出して、この算出した値を修正成分Δｕ（ｔ）として出力する。なお、係数βは０以上１以下の値に設定される。これにより、補正パラメーター記憶部１４４に記憶される行列（Ａ＋ΔＡ）のうち、ΔＡのΔｕは、タブレット１８における検出のサンプリング間隔毎に更新されることになる。
【００３１】
一方、「線分２」の処理がサンプリング間隔毎に繰り返し実行されているときに、ステップＳ９において電子ペンの方向反転が検出されると、ステップＳ１０において変数Ｍを「２」とした「端点２」の処理が実行される。この「線分２」の処理では、修正成分Δａが図９の式（７）にしたがって再び算出され、修正成分Δｕが同図の式（８）にしたがって再び算出され、修正成分Δｃが同図の式（９）にしたがって算出され、修正成分Δｖが同図の式（１０）にしたがって算出される。
これにより、補正パラメーター記憶部１４４に記憶される行列（Ａ＋ΔＡ）のうち、ΔＡのΔａ、Δｕ、ΔｕおよびΔｖは、ｘ、ｙ方向の伸縮率および偏差を考慮して更新されることになる。
【００３２】
なお、ステップＳ２においてペンデータが発生していないと判別したとき、制御部１２０は、ステップＳ１２において、そのペンデータが発生していない状態が例えば３秒間継続したか否かを判別する。
ペンデータが発生していない状態が３秒間継続していなければ、それは、キャリブレーションのための操作、すなわち線画４１をなぞる操作が終了していない、と考えられるので、制御部１２０は、制御手順をステップＳ２に戻す。一方、ペンデータが発生していない状態が３秒間継続していれば、それは、線画４１をなぞる操作を止めたというユーザーの行動の表れであるから、制御部１２０は、このキャリブレーション動作を終了する。
キャリブレーション動作が終了すると、補正パラメーター更新部１３０による行列ΔＡの各成分の更新が停止するが、補正パラメーター記憶部１４４が、最後に更新された成分ΔＡに基づく行列（Ａ＋ΔＡ）を記憶し、これを変換部１２２に供給する。このため、以後、操作点の座標を表示座標系に変換に際しては、最後に更新された成分ΔＡに基づく行列（Ａ＋ΔＡ）が用いられることになる。
【００３３】
図４に示したキャリブレーション動作では、電子ペンの先端が線画４１の端点Ｂ１付近にタップされたとき、ステップＳ１〜Ｓ６の経路のうち、特にステップＳ５の「始点」の処理によって、まず、行列ΔＡのΔｕがｘ方向の偏差を考慮して更新される。
次に、電子ペンの先端が端点Ｂ１から端点Ｂ２に向かって、線画４１の第１画である線分４１ａをなぞる操作がなされたときに、キャリブレーション動作では、変数が「１」にセットされた状態で、ステップＳ２で「Ｙｅｓ」、ステップＳ４で「Ｎｏ」、ステップＳ９で「Ｎｏ」、とそれぞれ判別されるので、ステップＳ２〜Ｓ４、Ｓ７〜Ｓ９という経路で、特にステップＳ７の「線分１」の処理がサンプリング間隔毎に繰り返し実行される。これによって、行列ΔＡのΔｖがｙ方向の偏差を考慮して逐一更新される。したがって、図８に示されるように、端点Ｂ１から端点Ｂ２の方向に電子ペンをなぞったとき、その表示軌跡６２と線分４１ａとの差は、特にｙ方向では徐々に小さくなる。これにより、ユーザーは、電子ペン５０でなぞったときの表示軌跡は、線画４１に徐々に近づくので、違和感を伴うことなく電子ペンを操作することができる。
電子ペンの先端が線分４１ａの端点Ｂ２に達したとき、ステップＳ９で「Ｙｅｓ」と判別されるので、ステップＳ１０の「端点１」の処理が実行される。これによって、行列ΔＡのΔａおよびΔｖがｘ方向の偏差と伸縮を考慮して更新される。
この時点において、ｘ、ｙ方向の偏差とｘ方向の伸縮率とを補正するように、行列ΔＡの成分Δａ、ΔｕおよびΔｖが更新されるので、タブレット１８で検出される操作点と表示体１６の表示点とは、比較的良好に位置合わせされた状態となっている。
【００３４】
ユーザーが、その状態で良いと判断して、電子ペン５０をタブレット１８の入力面から（３秒以上）離間させると、ステップＳ２が「Ｎｏ」、ステップＳ１２が「Ｙｅｓ」、とそれぞれ判別されるので、このキャリブレーション動作が終了する。一方、ユーザーが、その状態では十分に位置合わせがなされていないと判断すれば、さらに端点Ｂ３に向かって線分４１ｂをなぞる操作を行うことになる。
このため、線画４１の第２画である線分４１ｂをなぞる操作がなされたとき、キャリブレーション動作では、変数が「２」にインクリメントされた状態で、ステップＳ２で「Ｙｅｓ」、ステップＳ４で「Ｎｏ」、ステップＳ９で「Ｎｏ」、とそれぞれ判別されるので、ステップＳ２〜Ｓ４、Ｓ７〜Ｓ９という経路で、特にステップＳ７の「線分２」の処理がサンプリング間隔毎に繰り返し実行される。これによって、行列ΔＡのΔｕがｘ方向の偏差を考慮して逐一更新される。
このため、図９に示されるように、端点Ｂ２から端点Ｂ３の方向に電子ペンをなぞったとき、その表示軌跡６３と線分４１ｂとの差は、特にｘ方向では徐々に小さくなる。
【００３５】
ところで、線画４１の端点Ｂ１から端点Ｂ２をなぞる操作がなされたときに、表示軌跡６２の終点は、端点Ｂ２に一致せず、表示点Ｄ２にずれる場合がある。このとき、電子ペン５０の先端が端点Ｂ３に向けて方向反転したとき、「端点１」の処理によって、ｘ方向における伸縮率の修正成分Δａと、ｘ方向における偏差の修正成分Δｕとが更新される。このため、線画の端点Ｂ２から端点Ｂ３に向けて方向反転するような操作がなされたときに、電子ペンの表示軌跡６３の始点は、ほぼ端点Ｂ２となるように修正される。このため、図９において、表示軌跡６２、６３は、非連続的に示されている。
【００３６】
ここでは「端点２」の処理までの説明となっているが、さらに端点Ｂ３から端点Ｂ４に向かう線分４１ａをなぞる操作がなされたときに「線分３」の処理を、端点Ｂ４において端点Ｂ５に方向反転されたときに「端点３」の処理を、それぞれ引き続き実行してもよい。同様に端点Ｂ４から端点Ｂ５に向かう線分４１ｂをなぞる操作がなされたときに「線分４」の処理を、端点Ｂ５において端点Ｂ６に方向反転されたときに「端点４」の処理を、引き続き端点Ｂ５から端点Ｂ６に向かう線分４１ａをなぞる操作がなされたときに「線分５」の処理を、端点Ｂ６に達したときに「端点５」の処理を、それぞれ実行してもよい。
また、線画４１については５画に限れず、端点Ｂ１、Ｂ２、Ｂ３を結ぶ２画のように、ｘ方向およびｙ方向のそれぞれに広がりがあれば良い。さらに例えば図１０や図１１に示されるような線画であってもよい。
【００３７】
なお、上述した実施形態では、ステップＳ１２において、ペンデータが３秒以上発生していない（または電子ペンが３秒以上移動していない）状態を、線画４１をなぞる操作が終了した判別して、キャリブレーション動作を終了させたが、キャリブレーション動作の終了については、これに限られない。例えば、偏差算出部１２８によって求められる偏差、すなわち、操作点Ｐの座標を変換した表示点Ｄの座標と基準となる線画の座標との偏差が閾値よりも小さくなったときに、視差等の影響が無視できる程度に位置合わせできたと判別してキャリブレーション動作を終了させてもよい。
【００３８】
また、補正パラメーター記憶部１４４は、初期パラメーター記憶部１４２に記憶された行列Ａを、補正パラメーター更新部１３０による行列ΔＡで修正した行列（Ａ＋ΔＡ）を不揮発的に記憶して変換部１２２に供給する構成とした。これに限られず、補正パラメーター記憶部１４４は、行列（Ａ＋ΔＡ）を揮発的に記憶する構成としてもよい。この構成では、補正パラメーター記憶部１４４は、電源投入直後では初期パラメーター記憶部１４２に記憶された行列Ａを初期値としてセットするとともに、当該行列Ａを、キャリブレーション動作が実行されたときの行列ΔＡで修正することになる。
【００３９】
実施形態における偏差の取り方については、例えば図９におけるΔｘ（ｔ）については、表示点Ｄのｘ座標値であるｘ（ｔ）と、線分４１ｂのうちのｙ座標値が表示点Ｄのｙ座標値に一致する点のｘ座標値と差としたが、単純に表示点Ｄと線分４１ｂとの距離として計算しても良い。
【００４０】
また、本実施形態では、表示体１６の表示面を、タブレット１８の入力面と重ねた直視型パネルで説明した。本発明は、これに限られず、例えば、表示体を投写型プロジェクターとする一方、投写画像に対して指定されたポインタ座標を、例えば撮像素子により入力するとともに画像解析することによって取得する構成にも適用可能である。
さらに、実施形態では、説明簡略化のために、行列Ａ（ΔＡ）の成分のうち、ｂ、ｄについてはゼロとしたが、回転等を考慮して、これらの成分についても補正する構成としてもよい。
【符号の説明】
【００４１】
１…情報端末装置、１０…端末本体、１２…ＣＰＵ、１６…表示体、１８…タブレット、５０…電子ペン、１２０…制御部、１２２…変換部、１２４…軌跡画像描画部、１２６…基準画像描画部、１２８…偏差算出部、１３０…補正パラメーター更新部、１４４…補正パラメーター記憶部、１４６…基準画像記憶部
【図１】
2011034485.tif 000005
【図２】
2011034485.tif 000006
【図３】
2011034485.tif 000007
【図４】
2011034485.tif 000008
【図５】
2011034485.tif 000009
【図６】
2011034485.tif 000010
【図７】
2011034485.tif 000011
【図８】
2011034485.tif 000012
【図９】
2011034485.tif 000013
【図１０】
2011034485.tif 000014
【図１１】
2011034485.tif 000015