(57)【要約】【課題】安価で、且つ簡単に必要とする指示点の座標を指示することが可能な座標指示装置を提供することである。【解決手段】特殊ペンを撮影することにより、該特殊ペンによって指示された指示点の座標を求める座標指示装置１００であって、上記特殊ペンの表面に特定パターンが形成され、少なくとも特定パターンを含んだ状態で上記特殊ペンを撮像装置５４によって撮影して得られた画像データから、該特定パターンに対応する演算パターンを抽出するパターン認識部１１０と、上記パターン認識部１１０によって抽出された演算パターンから、上記指示点の座標を算出する座標演算部１２０とを有する。【選択図】図１
2008117083.tif 000002
【特許請求の範囲】
【請求項１】
指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示装置であって、
上記指示具の表面には、上記指示点との位置関係が既知であり、上記指示点の座標を求めるための要素である演算用の特定パターンが形成され、
少なくとも上記特定パターンを含んだ状態で、上記指示具を撮影して得られた画像データから、上記特定パターンに対応する演算パターンを抽出するパターン抽出手段と、
上記パターン抽出手段によって抽出された上記演算パターンから、上記指示点の座標を算出する座標算出手段とを有することを特徴とする座標指示装置。
【請求項２】
上記特定パターンは、上記指示具の表面の異なる位置に形成される２つのマークから構成されることを特徴とする請求項１に記載の座標指示装置。
【請求項３】
上記特定パターンは、上記指示具の表面の異なる位置に形成される少なくとも３つのマークから構成されることを特徴とする請求項１に記載の座標指示装置。
【請求項４】
上記マークが２つ以上の場合、
上記マークは、それぞれ異なる識別可能な属性を有することを特徴とする請求項１から３のいずれか１項に記載の座標指示装置。
【請求項５】
上記属性は、色であることを特徴とする請求項４に記載の座標指示装置。
【請求項６】
上記属性は、マークの明るさであることを特徴とする請求項５に記載の座標指示装置。
【請求項７】
上記属性は、形状であることを特徴とする請求項４に記載の座標指示装置。
【請求項８】
上記パターン抽出手段は、他の画素に対して、上記属性によって差別化されている画素のみを抽出する特定領域抽出手段と、
上記特定領域抽出手段によって抽出される画素から、上記演算パターンを特定するパターン特定手段とを備えることを特徴とする請求項４から７のいずれか１項に記載の座標指示装置。
【請求項９】
上記特定パターンの上記形状に対応する、照合用のパターンデータを予め格納しているパターン情報格納手段をさらに備え、
上記パターン抽出手段は、上記特定領域抽出手段によって抽出される画素と、上記照合用のパターンデータとを照合することにより、上記特定パターンを抽出することを特徴とする請求項８に記載の座標指示装置。
【請求項１０】
指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示装置であって、
上記指示具の表面には、上記指示点との位置関係が既知であり、上記指示点の座標を求めるための要素である演算用の特定パターンが形成され、
少なくとも上記特定パターンを含んだ状態で、上記指示具を撮影して得られた画像データから、上記特定パターンに対応する演算パターンを抽出するパターン抽出手段と、
上記指示具に対する撮影位置、撮影方向、拡大率などの撮影パラメータを検出する撮影パラメータ検出手段と、
上記パターン抽出手段によって抽出された上記演算パターンと、上記撮影パラメータ検出手段によって検出された上記撮影パラメータとから、上記指示点の座標を算出する座標算出手段とを有することを特徴とする座標指示装置。
【請求項１１】
上記指示具の表面には、さらに、上記指示点の座標を指示する対象となる装置側で処理すべき処理モードを設定するためのモード設定用パターンが形成されており、
指示具表面に形成された上記モード設定用パターンと、上記処理モードを設定するためのモード設定用データとを対応付けて一つのモードパターン情報として予め格納するモード情報格納手段と、
上記モード設定用パターンに応じた処理モードを設定するモード設定手段とを備え、
上記パターン抽出手段は、少なくとも上記特定パターンと上記モード設定用パターンとを含んだ状態で上記指示具を撮影して得られた画像データから、上記モード設定用パターンに対応するモードパターンを抽出し、
上記モード設定手段は、上記特定パターン抽出手段が抽出した上記モードパターンに対応付けられるモード設定用データを、上記モード情報格納手段を参照することによって取得し、上記モード設定用データを用いて処理モードの設定を行うことを特徴とする請求項１、９、１０に記載の座標指示装置。
【請求項１２】
指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示装置と、
上記座標指示装置によって求められた指示点の座標に基づいて、上記指示具によって指示された指示点を表示する表示装置とを備え、
上記座標表示装置として、請求項１〜１１の何れか１項に記載の座標指示装置を用いることを特徴とする電子機器。
【請求項１３】
上記指示具が電子機器本体に接続された連結部材に設けられていることを特徴とする請求項１２に記載の電子機器。
【請求項１４】
指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示方法であって、
撮影手段によって、指示具表面に形成された上記指示点との位置関係が既知である演算用の特定パターンを含めて撮影する撮影ステップと、
パターン抽出手段によって、上記撮影ステップで撮影した画像データの中から、他の画素に対して差別化された画素のみを抽出し、上記抽出した画素から上記特定パターンに対応する演算パターンを抽出するパターン抽出ステップと、
座標算出手段によって、上記パターン抽出ステップで抽出した演算パターンから、上記指示点の座標を算出する座標算出ステップとを含むことを特徴とする座標指示方法。
【請求項１５】
コンピュータに、請求項１〜１１の何れか１項に記載の座標指示装置の各手段を実現させるための座標指示プログラム。
【請求項１６】
請求項１５に記載の座標指示プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、座標指示装置、座標指示装置を備えた電子機器、座標指示方法、座標指示プログラム、及び座標指示プログラムを記録した記録媒体に関するものであり、特に、携帯端末における文字入力に用いられるものである。
【背景技術】
【０００２】
近年、携帯電話等の携帯端末が広く普及している。また、携帯電話等は多機能化しており、それに伴って機能を操作するためのキー操作も複雑化している。
【０００３】
このようにキー操作が複雑になると、キー操作に不慣れな人は、文字を入力するのにも時間がかかってしまう。
【０００４】
また、一方で、キー操作のみの入力機能を有する携帯電話等では、自分で作成した自由な文字あるいは図形等（以下、文字等）を表示することが困難であるという不便さも生じる。
【０００５】
そこで、キー操作をせずに入力パッドを用いて文字等を入力する手書き文字入力方法がある。これは、感圧素子を透明なフィルムにマトリクス状に配置した入力パッドを表示装置上に貼り合わせ、ペン状の器具で圧力を加えることにより、座標を指示したり、手書き文字等を入力したりするものである。
【０００６】
また、非特許文献１には、椎尾一郎氏が開発した「空気ペン」が開示されている。
【０００７】
非特許文献１では、ウェアラブルなコンピュータを身につけたユーザが、任意の場所にペンを使って情報を書き込み、他のユーザとその情報を共有することを可能にするシステムが開示されている。このシステムでは、透過型ヘッドマウントディスプレイ（ＨＭＤ）または、単眼のアイフォンを装着したユーザが屋外、屋内を移動し、適当な場所で立ち止まり、宙でジャイロセンサなどによる２次元入力装置を動かすと、面前に仮想のメモ書きができる。
【０００８】
また、従来、ペンライトなどの光の軌跡をカメラで撮影することにより文字や図形の入力を可能にするシステムが考えられている。
【０００９】
また、非特許文献２には、ペンデバイスにカメラとレーザポインタを装備し、レーザポインタの軌跡をカメラで撮影することにより手書き文字等を入力する手書き入力システムが開示されている。
【非特許文献１】椎尾一郎、山本吉伸「空気ペン：空間への描画による情報共有」、“第５９回情報処理学会全国大会    論文集（４）PP.39-40,1999.9.29
【非特許文献２】左官雄介「ウェアラブルコンピュータに適した高精細手書き情報生成のためのペンデバイス」  修士論文  2004.2.6
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記のキー操作をせずに文字等を入力する方法では、以下のような問題が生じる。
【００１１】
入力パッドを利用した手書き文字入力方法では、携帯電話等のように書き込み対象画面が小さい場合には、書きづらかったり、図形を描く際に細かい部分まで精密に描くことができなかったりする。また、入力パッドを用いるため、部品のコストも高くなってしまう。
【００１２】
また、上記空気ペンを利用した文字入力方法においても、空気ペンに用いられるジャイロセンサ等を用いているので、部品のコストが高くなってしまうという問題がある。さらには、ペンの位置やユーザの顔の位置を測定するのに大掛かりな装置が必要となり、文字等を容易に入力することができない。
【００１３】
また、ペンライトは、文字等を描く際に先端部が発光していることが必要であるため、公共の場で用いると迷惑になってしまう。さらに、ペンライトを用いた場合には、以下に示すような問題が生じる。
【００１４】
図２２は、ペンライトの一例を示す図である。
【００１５】
上記ペンライトの先端部には、光源となる発光部があり、発光軌跡を認識させるためには、前記発光部はある程度の大きさが必要である。
【００１６】
よって、このように大きな先端部では、座標位置を精度よく指定することが困難となるので、ユーザが先端と感じる部分と装置が算出する座標とが正確に一致せず、ユーザの思いどおりに文字等を描けないという問題が生じる。
【００１７】
また、上記手書き入力システムでは、描いた文字を表示するためのＨＭＤや、撮影した情報を処理するウェアラブルコンピュータが必要であり、装置全体が高価になるおそれがある。
【００１８】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、安価で、且つ簡単に必要とする指示点の座標を指示することが可能な座標指示装置を提供することである。
【課題を解決するための手段】
【００１９】
本発明の座標指示装置は、上記の課題を解決するために、指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示装置であって、上記指示具の表面には、上記指示点との位置関係が既知であり、上記指示点の座標を求めるための要素である演算用の特定パターンが形成され、少なくとも上記特定パターンを含んだ状態で、上記指示具を撮影して得られた画像データから、上記特定パターンに対応する演算パターンを抽出するパターン抽出手段と、上記パターン抽出手段によって抽出された上記演算パターンから、上記指示点の座標を算出する座標算出手段とを有することを特徴としている。
【００２０】
また、本発明の座標指示方法は、上記の課題を解決するために、指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示方法であって、撮影手段によって、指示具表面に形成された上記指示点との位置関係が既知である演算用の特定パターンを含めて撮影する撮影ステップと、パターン抽出手段によって、上記撮影ステップで撮影した画像データの中から、他の画素に対して差別化された画素のみを抽出し、上記抽出した画素から上記特定パターンに対応する演算パターンを抽出するパターン抽出ステップと、座標算出手段によって、上記パターン抽出ステップで抽出した演算パターンから、上記指示点の座標を算出する座標算出ステップとを含むことを特徴としている。
【００２１】
上記の構成によれば、指示具によって指示される点（指示点）の座標を、該指示具の表面に形成された演算用の特定パターンから求められるので、指示具側に特別なハードウェアを設けることなく、画像処理のみで指示点の座標を求めることができる。
【００２２】
これにより、安価で、且つ簡単に必要とする指示点の座標を指示することが可能な座標指示装置を実現できる。
【００２３】
また、上記特定パターンは、上記指示具の表面の異なる位置に形成される２つのマークから構成されてもよい。
【００２４】
また、上記特定パターンは、上記指示具の表面の異なる位置に形成される少なくとも３つのマークから構成されてもよい。
【００２５】
このように、複数の特定パターンを指示具の表面の異なる位置に形成すると、指示点の座標を算出するための要素が多くなるため、座標算出の精度を高めることができる。
【００２６】
また、上記マークが２つ以上の場合は、上記マークはそれぞれ異なる識別可能な属性を有していてもよい。
【００２７】
また、本発明の座標指示装置は、上記マークの上記異なる識別可能な属性が色であることを特徴としてもよいし、マークの明るさであることを特徴としてもよい。
【００２８】
また、上記異なる識別可能な属性が形状であることを特徴としてもよい。
【００２９】
このように、特定パターンが異なる属性であることで、それぞれの特定パターンの識別が容易となり、座標算出の精度を高めることができる。
【００３０】
また、本発明の座標指示装置は、上記の課題を解決するために、上記パターン抽出手段は、他の画素に対して、上記属性によって差別化されている画素のみを抽出する特定領域抽出手段と、上記特定領域抽出手段によって抽出される画素から、上記指示具に形成される演算用の特定パターンに対応する演算パターンを特定するパターン特定手段とを備えることを特徴としている。
【００３１】
上記構成によれば、上記指示点の座標を求めるための要素である演算用の特定パターンに対応する演算パターンを特定することができるため、これらを用いて指示具の指示点の座標を算出することができる。
【００３２】
これにより、指示具側に特別なハードウェアを設けることなく、画像処理のみで指示点の座標を求めることができ、さらには、安価で、且つ簡単に必要とする指示点の座標を指示することが可能な座標指示装置を実現できる。
【００３３】
また、本発明の座標指示装置は、上記の課題を解決するために、上記特定パターンの上記形状に対応する、照合用のパターンデータを予め格納しているパターン情報格納手段をさらに備え、上記パターン抽出手段は、上記特定領域抽出手段によって抽出される画素と、上記照合用のパターンデータとを照合することにより、上記特定パターンを抽出することを特徴としている。
【００３４】
上記の構成によれば、使用する指示具の表面に形成される特定パターンに対応付けられた照合用のパターンデータが予めパターン情報格納手段に格納されているので、座標算出手段は抽出された特定パターンから該パターン情報格納手段を参照するだけで簡単に目的とする指示点の座標を算出することができる。
【００３５】
本発明の座標指示装置は、上記の課題を解決するために、指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示装置であって、上記指示具の表面には、上記指示点との位置関係が既知であり、上記指示点の座標を求めるための要素である演算用の特定パターンが形成され、少なくとも上記特定パターンを含んだ状態で、上記指示具を撮影して得られた画像データから、上記特定パターンに対応する演算パターンを抽出するパターン抽出手段と、上記指示具に対する撮影位置、撮影方向、拡大率などの撮影パラメータを検出する撮影パラメータ検出手段と、上記パターン抽出手段によって抽出された上記演算パターンと、上記撮影パラメータ検出手段によって検出された上記撮影パラメータとから、上記指示点の座標を算出する座標算出手段とを有することを特徴としている。
【００３６】
上記の構成によれば、指示具によって指示される点（指示点）の座標を、該指示具の表面に形成された演算用の特定パターンから求められるので、指示具側に特別なハードウェアを設けることなく、画像処理のみで指示点の座標を求めることができる。
【００３７】
これにより、安価で、且つ簡単に指示点の座標を指示することが可能な座標指示装置を実現できる。
【００３８】
しかも、指示具に対する撮影位置、撮影方向、拡大率などの撮影パラメータを検出し、検出した撮影パラメータに基づいて、上記指示点の座標を算出することで、撮影パラメータを考慮して指示点の座標を算出することが可能となる。
【００３９】
これにより、指示具が撮影範囲から外れる時には、撮影パラメータ検出手段によって撮影パラメータを検出することができないので、ユーザは指示具が撮影範囲に無いことを認識にし、指示具を撮影範囲に収まるように移動させるように促すことができる。
【００４０】
また、本発明の座標指示装置は、上記指示具の表面には、さらに、上記指示点の座標を指示する対象となる装置側で処理すべき処理モードを設定するためのモード設定用パターンが形成されており、指示具表面に形成された上記モード設定用パターンと、上記処理モードを設定するためのモード設定用データとを対応付けて一つのモードパターン情報として予め格納するモード情報格納手段と、上記モード設定用パターンに応じた処理モードを設定するモード設定手段とを備え、上記パターン抽出手段は、少なくとも上記特定パターンと上記モード設定用パターンとを含んだ状態で上記指示具を撮影して得られた画像データから、上記モード設定用パターンに対応するモードパターンを抽出し、上記モード設定手段は、上記特定パターン抽出手段が抽出した上記モードパターンに対応付けられるモード設定用データを、上記モード情報格納手段を参照することによって取得し、上記モード設定用データを用いて処理モードの設定を行うことを特徴としている。
【００４１】
上記構成によれば、モード設定手段は、モード情報格納手段を参照するだけで簡単に目的とする処理モードに設定することができる。
【００４２】
これにより、ユーザは、指示具に形成されたモード設定用パターンを指で隠したりする等によって、モード設定用のパターンを変化させることで、容易にモードの切替を行うことが可能となる。
【００４３】
本発明の電子機器は、上記の課題を解決するために、指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示装置と、上記座標指示装置によって求められた指示点の座標に基づいて、上記指示具によって指示された指示点を表示する表示装置とを備え、上記座標表示装置として、上述した構成の座標指示装置を用いてもよい。
【００４４】
また、上記指示具が電子機器本体に接続された連結部材に設けられていてもよい。
【００４５】
本発明の座標指示プログラムは、コンピュータに、上記構成の座標指示装置の各手段を実現させるためのプログラムである。
【００４６】
この場合、安価で、且つ簡単に必要とする指示点の座標を指示することが可能な座標指示処理を汎用のコンピュータに実行させることが可能となる。
【００４７】
さらに、上記構成の座標指示プログラムをコンピュータ読取可能な記録媒体に記録してもよい。
【００４８】
この場合、安価で、且つ簡単に必要とする指示点の座標を指示することが可能な座標指示処理を実行するプログラムを、コンピュータに容易に供給することが可能となる。
【発明の効果】
【００４９】
本発明の座標指示装置は、以上のように、指示具の表面に特定パターンが形成され、少なくとも上記特定パターンを含んだ状態で上記指示具を撮影して得られた画像データから、該特定パターンを抽出するパターン抽出手段と、上記パターン抽出手段によって抽出された特定パターンから、上記指示点の座標を算出する座標算出手段とを有することで、安価で、且つ簡単に必要とする指示点の座標を指示することが可能な座標指示装置を実現できるという効果を奏する。
【発明を実施するための最良の形態】
【００５０】
〔実施の形態１〕
以下、本発明の一実施形態について、図面を用いて説明する。
【００５１】
本実施形態における座標指示装置は、指示具を撮影することにより、該指示具によって指示された指示点の座標を求める座標指示装置であって、上記指示具の表面には、上記指示点との位置関係が既知であり、上記指示点の座標を求めるための要素である演算用の特定パターンが形成され、少なくとも上記特定パターンを含んだ状態で、上記指示具を撮影して得られた画像データから、上記特定パターンに対応する演算パターンを抽出するパターン抽出手段と、上記パターン抽出手段によって抽出された上記演算パターンから、上記指示点の座標を算出する座標算出手段とを有し、撮像した画像から、指示点の指す座標値を算出するものである。
【００５２】
本実施形態では、図２に示すように、前記座標指示装置を備えたハードウェアの一例としてカメラ機能つきの携帯電話機５０を用い、また前記指示具の一例として特殊ペン７１を用いる。
【００５３】
図２に示すように、前記携帯電話機５０の利用者は、片手で携帯電話機５０を保持し、特殊ペン７１（指示具）の画像が携帯電話機５０の液晶表示画面５２内に納まるように他方の手で特殊ペン７１を保持する。利用者は、座標指示装置を起動させ、携帯電話機５０のカメラ機能で特殊ペン７１の文字を描く動作を撮影する。そして、前記座標指示装置は、撮影して得た特殊ペン７１の画像データより、液晶表示画面５２において特殊ペン７１の先端部の軌跡を表示することができる。すなわち、利用者が、カメラのレンズ部の前方における空間に特殊ペン７１を用いて描いた文字等は、携帯電話機５０の液晶表示画面５２に表示されることとなる。
【００５４】
以下、特殊ペン７１及び携帯電話機５０について詳細に説明する。
【００５５】
図３には、特殊ペン７１の一例が示してある。
【００５６】
本実施形態における特殊ペン７１は、一般的なペン等とは異なり、インク等が注入されている必要はない。
【００５７】
本実施形態における特殊ペン７１は、図３に示すように、表面の一部の異なる領域に、特殊ペン７１の先端部の座標を算出するために用いられる２つの座標算出用のマーク（以下、座標算出用マーク）が形成されている。
【００５８】
ここで、座標算出用マークとは、指示具の表面における一部の領域に形成され、指示具の先端部の座標を算出するために用いられるマークのことをいう。
【００５９】
また、本実施の形態では、この２つの座標算出用マークをまとめて、特殊ペン７１が有する特定パターンという。
【００６０】
ここで、特定パターンとは、指示具の表面に形成された座標算出用マークによって構成されるパターンをいう。すなわち、本実施の形態における特定パターンは、特殊ペン７１の表面の異なる位置に形成された２つの座標算出用マークによって構成され、指示具の指示点の座標値を求めるために用いられる。
【００６１】
本実施の形態における前記２つの座標算出用マークとは、具体的に、特殊ペン７１の先端部Ｃに近い側の一部の領域に赤色でマーキングされたことにより形成される座標算出用マークＡ(以下、マークＡ)と、特殊ペン７１の先端部Ｃとは異なる端部に近い側の一部の領域に青色でマーキングされたことにより形成される座標算出用マークＢ(以下、マークＢ)とのことをいう。
【００６２】
また、本実施形態では、特殊ペン７１をカメラのレンズと平行に配置して撮影する場合の撮影される赤色領域（マークＡ）の中央点と青色領域（マークＢ）の中央点との距離をａとしている。また、前記マークＡ領域の中央点と先端部Ｃとの距離をｂとしている。
【００６３】
次に、図４を用いて、携帯電話機５０について具体的に説明する。
【００６４】
図４は、本実施形態における携帯電話機５０の外観を示した平面図であり、（ａ）は、携帯電話機５０を折り曲げた際に内側となる部分の平面図であり、（ｂ）は、外側となる部分の平面図である。
【００６５】
上記携帯電話機５０は、筐体５１と、液晶表示画面５２と、操作ボタン群５３と、カメラ等の撮像装置５４と、マイクロフォン５５と、スピーカ５６とを備える。
【００６６】
また、上記携帯電話機５０と上記特殊ペン７１とは、上記携帯電話機５０に設けられた連結部材であるストラップ５７によって連結されている構成でもよい。これにより、特殊ペン７１を紛失するおそれが低減される。
【００６７】
図５は、本実施形態における携帯電話機５０のハードウェア構成の具体例を示す機能ブロック図である。
【００６８】
本実施形態の携帯電話機５０は、ＣＰＵ（Central Processing Unit）等の制御部６０と、入出力部６１と、メインメモリ等の記憶部６２と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）（図示せず）とを含む。
【００６９】
制御部６０は、装置全体を制御するものであり、また、ＲＯＭやＲＡＭは記憶素子の一種である。
【００７０】
入出力部６１は、数字ボタンやメニュー項目指示・選択ボタン等の操作部６３と、ユーザに情報を伝達する液晶表示画面等の表示部６４と、ＣＣＤカメラ等で撮影した画像を入力する画像入力部６５と、他の装置と通信するための通信部６６と、音声を入力するマイクロフォンなどの音声入力部６７と、音声を出力するスピーカなどの音声出力部６８と、カメラ等で撮影する際の撮影パラメータを検出する撮影パラメータ検出部９０とを含む。
【００７１】
また、記憶部６２は、制御部６０において実行されるプログラムを記憶するプログラム格納領域６９と、そのプログラムの中間データまたは他のコンピュータから受信したデータ等を記憶するデータ格納領域７０とを含む構成である。
【００７２】
前記データ格納領域７０は、座標指示装置１００（図１）で算出される特殊ペン７１の先端部Ｃが指し示す位置の撮像面５４ａ上（図３）における座標値データ（指示座標データ）を格納する指示座標データ格納部７０ａを含む。
【００７３】
なお、上記の構成は、一般的な携帯電話機のハードウェア構成であって、本発明における座標指示装置のハードウェア構成は、上記に示されるハードウェア構成に限定されない。
【００７４】
ところで、上記制御部６０は、特殊ペン７１のペン先、すなわち特殊ペン７１の先端部Ｃが指示す位置の撮像面５４ａ上における座標値を求めるために座標指示装置１００を備えている。
【００７５】
ここで、撮像面５４ａとは、表示領域に相当する撮像装置５４（撮影手段）の撮像面のことをいい、例えば、ＣＣＤ等の撮像素子の光照射面に相当する。
【００７６】
図１は、座標指示装置１００の概略構成を示すブロック図である。
【００７７】
図１を用いて、以下、座標指示装置１００について説明する。
【００７８】
まず、撮像装置５４によって撮影された画像は、画像入力部６５に入力される。
【００７９】
画像入力部６５は、取得した前記画像を座標指示装置１００内の画像データ取得部（図示せず）を介して、画像データとして図１に示すパターン認識部１１０（パターン抽出手段）に出力する。具体的には、画像入力部６５は、パターン認識部１１０の内部に備えられる特定領域抽出部１１１（特定領域抽出手段）に出力する。
【００８０】
座標指示装置１００は、画像データ取得部（図示せず）とパターン認識部１１０と座標演算部１２０（座標算出手段）とを備える。
【００８１】
まず、パターン認識部１１０について説明する。
【００８２】
パターン認識部１１０は、特定領域抽出部１１１とパターン特定部１１２とを備え、これにより、座標算出用マークＡ、Ｂにそれぞれ対応する撮像面５４ａ上のマーク（以下、対応マークＡ’、Ｂ’という）から構成される演算パターンを特定するようになっている。
【００８３】
本実施の形態の演算パターンは、先端部Ｃの座標値を演算するために実際に用いられるものであり、特殊ペン７１の有する特定パターンに対応する撮像面５４ａ上のパターンである。本実施形態の演算パターンは、対応マークＡ’及び対応マークＢ’から構成される。
【００８４】
ここで、対応マークとは、指示具を撮影することにより得た画像のうち、座標算出用マークに対応する撮像面上の領域をいう。
【００８５】
また、演算パターンとは、特定パターンに対応するものであり、座標算出用マークの対応マークから構成される撮像面上のパターンをいい、指示具の先端部の座標値を算出するのに実際に用いられるものである。
【００８６】
特定領域抽出部１１１は、取得した画像データから赤色又は青色のピクセル（画素）のデータのみを抽出するようになっており、具体的には、取得した画像データから、対応マークＡ’を構成する赤色のピクセルと、対応マークＢ’を構成する青色のピクセルとを抽出する。
【００８７】
前記赤色及び青色のピクセルを抽出する方法の具体例について、２４ビットカラーの場合を用いて、以下説明する。
【００８８】
各ピクセルの色はＲＧＢ（赤、緑、青）成分で記録・表現できる。また、２４ビットカラーにおける各成分は、０〜２５５の数値で表現することができる。例えば、成分が（Ｒ，Ｇ，Ｂ）＝（２５５，０，０）で表現されるピクセルは、純粋な赤色のピクセルである。
【００８９】
実際の画像データでは、純粋な赤色を撮影しても、照明等の影響により少し緑や青の成分が含まれる可能性が大きいため、（２５５，０，０）を中心としたある程度の範囲に含まれるピクセルは赤色と判定される。具体例としては、Ｒ＞２４０、Ｇ＜２０、Ｂ＜２０で表現されるピクセルは赤と判定される。
【００９０】
特定領域抽出部１１１は、上記抽出方法で抽出した赤色及び青色と判定されるピクセルのデータを、パターン特定部１１２に出力する。
【００９１】
パターン特定部１１２は、特定領域抽出部１１１で抽出された赤色及び青色のピクセルから、同じ色のピクセルが連続して隣接してなる集合を一つの領域として区分けし、赤色のピクセルが集合した領域を対応マークＡ’と認識し、青色のピクセルが集合した領域を対応マークＢ’と認識する。
【００９２】
そして、パターン特定部１１２は、認識した対応マークＡ’、Ｂ’から、特殊ペン７１の表面に形成された特定パターンに対応する、撮像面５４ａ上の演算パターンを特定する。
【００９３】
前記区分け方法の具体例として、画像が１次元の場合を用いて以下説明する。
【００９４】
パターン特定部１１２は、座標Ｘのピクセルの色をＬ（Ｘ）とした場合に、Ｌ（Ｘ）＝Ｌ（Ｘ−１）であれば、座標Ｘと座標Ｘ−１のピクセルは同じ色の領域に属すると判断する。
【００９５】
座標Ｘと座標Ｘ−１のピクセルが両者とも赤色である場合、パターン特定部１１２は、座標Ｘ及び座標Ｘ−１のピクセルは、撮像面５４ａ上の赤色の領域、すなわち、対応マークＡ’の領域に属すると判断する。
【００９６】
一方、座標１０Ｘと座標１０Ｘ−１のピクセルが両者とも青色である場合、パターン特定部１１２は、座標１０Ｘ及び座標１０Ｘ−１のピクセルは、撮像面５４ａ上の青色の領域、すなわち対応マークＢ’の領域に属すると判断する。
【００９７】
また、前記区分け方法の別の具体例として、以下のような方法があるが、この場合も、簡便のために１次元画像であると仮定する。
【００９８】
（各ピクセルの色）    白白白赤赤赤白白白白青青青青白白
（グループ）          ０００１１１００００２２２２００
上記の例では、白のピクセルをグループ０とし、赤色のピクセルをグループ１とし、青色のピクセルをグループ２とする。
【００９９】
パターン特定部１１２は、上記のような方法で、同じグループ、すなわち同じ色のピクセルが連続して成るピクセルの集合を一つの領域として区分けし、その領域を一つの対応マークと特定する。つまり、パターン特定部１１２は、上記１のグループに属するピクセルが連続して成る集合を対応マークＡ’であると、２のグループに属するピクセルが連続して成る集合を対応マークＢ’であるとそれぞれ特定する。
【０１００】
そして、パターン特定部１１２は、特定した対応マークＡ’及び対応マークＢ’を組み合わせて成る演算パターンをさらに特定し、該演算パターンのデータを座標演算部１２０に出力する。
【０１０１】
上記座標演算部１２０は、第１座標算出部１２１と、第２座標算出部１２２とを含み、これらによって、パターン認識部１１０で抽出、特定した上記演算パターンから、撮像面５４ａ上の対応先端部Ｃ’の座標値を算出するようになっている。
【０１０２】
ここで、対応先端部Ｃ’とは、撮像面５４ａ上の先端部Ｃに対応する点をいう。
【０１０３】
上記第１座標算出部１２１は、パターン特定部１１２で特定された対応マークＡ’及び対応マークＢ’の各領域の中央点、すなわち各領域の中央点の２次元座標値（以下、中心座標）を求める。
【０１０４】
上記対応マークＡ’及び対応マークＢ’の各領域の中心座標を算出する方法の具体的例を以下に示す。
【０１０５】
第１座標算出部１２１は、対応マークＡ’を構成するすべてのピクセル座標の平均値を求めることによって、対応マークＡ’の領域の中心座標を算出し、同じ方法で対応マークＢ’の領域の中心座標も算出するようになっている。
【０１０６】
なお、上記対応マークの領域の中心座標を算出する具体的な方法は、上述した具体例に限らず、以下のような方法であってもよい。
【０１０７】
第１座標算出部１２１は、対応マークＡ’の領域を形成する点のうち、Ｘ座標の値が最大となる点のＸ座標値（Ｘ座標の最大値）からＸ座標の値が最小となる点のＸ座標値（Ｘ座標の最小値）を差し引いて、２で除することにより、すなわち（Ｘ座標の最大値−Ｘ座標の最小値）÷２の式によって、中央点のＸ座標の値を求めることができる。また、第１座標算出部１２１は、対応マークＡ’の領域を形成する点のうち、Ｙ座標の値が最大となる点のＹ座標値（Ｙ座標の最大値）からＹ座標の値が最小となる点のＹ座標値（Ｙ座標の最小値）を差し引いて、２で除することにより、すなわち（Ｙ座標の最大値−Ｙ座標の最小値）÷２の式によって、中央点のＹ座標の値を求めることができる。これにより、第１座標算出部１２１は、対応マークＡ’の中央点の座標を算出することができる。
【０１０８】
また、第１座標算出部１２１は、上記最大値と最小値を用いた対応マークＡ’の中央点の座標値を算出する方法と同様に、対応マークＢ’の中央点の座標値を算出することができる。
【０１０９】
第１座標算出部１２１は、算出した対応マークＡ’及び対応マークＢ’の各領域の中央点の座標値データ（中心座標値データ）を第２座標算出部１２２に出力する。
【０１１０】
上記第２座標算出部１２２は、第１座標算出部１２１から取得した対応マークＡ’及び対応マークＢ’の領域の各中心座標値データから、撮像面５４ａ上の対応先端部Ｃ’の座標値を算出するようになっている。
【０１１１】
対応先端部Ｃ’の座標値を算出する具体的な方法について、図３を用いて説明する。
【０１１２】
図３は、特殊ペン７１における座標算出用マークＡ、Ｂ及び先端部Ｃと、前記撮像面５４ａ上の対応マークＡ’、Ｂ’及び対応先端部Ｃ’との対応関係を示した図である。
【０１１３】
ここで、対応マークＡ’、Ｂ’の中央点の位置ベクトルをそれぞれＰ１、Ｐ２とし、前記撮像面５４ａ上の対応先端部Ｃ’の位置ベクトルをＰ３とする。
【０１１４】
上述したように、撮像面５４ａ上の対応マークＡ’、Ｂ’及び対応先端部Ｃ’は、それぞれ特殊ペン７１の座標算出用マークＡ、Ｂ及び先端部Ｃに対応する。よって、対応マークＡ’の中央点と対応マークＢ’の中央点の距離と、対応マークＡ’の中央点と対応先端部Ｃ’の距離との比は、座標算出用マークＡの中央点と座標算出用マークＢの中央点の距離と座標算出用マークＡの中央点と先端部Ｃの距離との比に等しくなる。
【０１１５】
従って、対応マークＡ’の中央点と対応マークＢ’の中央点との距離と、対応マークＡ’の中央点と対応先端部Ｃ’との距離の比は、ａ：ｂ（特定パラメータ）である。
【０１１６】
また、上記特定パラメータａ及びｂの値は、定数として予めプログラムに組み込まれるものである。
｜Ｐ１―Ｐ２｜が距離の比ａに対応するため、以下の式が成立する。
｜Ｐ１―Ｐ３｜＝｜Ｐ１―Ｐ２｜×ｂ／ａ
これにより、Ｐ３は、
Ｐ３＝Ｐ１+｜Ｐ１―Ｐ２｜×ｂ／ａ
で求められる。
【０１１７】
ただし、上記の対応先端部Ｃ’の座標値の算出方法は、特殊ペン７１における少なくとも座標算出用マークが形成されている領域が、撮像装置５４のレンズ面に対して平行な面に存在していることを条件とする。
【０１１８】
そして、第２座標算出部１２２は、算出した対応先端部Ｃ’の撮像面５４ａ上の座標値データを表示制御部１４０に出力すると共に、指示座標データ格納部７０ａに出力する。
【０１１９】
表示制御部１４０は、第２座標算出部１２２から取得した対応先端部Ｃ’の撮像面５４ａ上の座標値データに基づいて、表示部６４の表示領域における前記座標値で表される位置に、先端部Ｃに対応するカーソルを表示させる。
【０１２０】
これにより、特殊ペン７１の先端部Ｃが現時点で指示している位置が、表示部６４の表示領域に表示される。
【０１２１】
また、表示制御部１４０は、第２座標算出部１２２から、対応先端部Ｃ’の撮像面５４ａ上における現時点の位置の座標値データを取得すると共に、指示座標データ格納部７０ａから過去の対応先端部Ｃ’の撮像面５４ａ上における座標値データを取得する。
【０１２２】
そして、表示制御部１４０は、取得した過去の対応先端部Ｃ’の座標値データから、表示部６４の表示領域上の該座標値で表される位置に、特殊ペン７１の筆跡、すなわち先端部Ｃの軌跡として表示する。
【０１２３】
本実施形態では、座標指示装置１００を用いることにより、特殊ペン７１が指し示す点、すなわち先端部Ｃに対応する撮像面５４ａ上の点の座標を、特殊ペン７１の表面に形成された前記座標算出用マークＡ及びＢから構成される特定パターンを用いて求めている。これにより、特殊ペン７１に特別な座標算出用のハードウェアを設ける必要がない。従って、安価で、且つ簡単に、座標指示することが可能な座標指示装置を実現できる。
【０１２４】
また、特殊ペン７１と携帯電話機５０との間には空間があり、利用者は特殊ペン７１を空間で自由に操作することができるので、特殊ペン７１の移動に伴って、携帯電話機５０における表示部６４の表示領域（表示画面）の枠内から、特殊ペン７１で入力した文字等の軌跡がはみ出しそうになったり、または、実際にはみ出したりすることがある。
【０１２５】
このような場合、利用者は、前記文字の筆跡が表示画面からはみ出さないように撮像装置５４を特殊ペン７１の移動に伴って移動させることで、調整することができる。
【０１２６】
上述したように、撮像装置５４を移動させると、撮像装置５４の撮影位置、撮影方向、拡大率等の撮影パラメータが変化する。このように、撮影パラメータが変化する場合において、携帯電話機５０が、図５に示すように、撮影パラメータ検出部９０を備えていると、携帯電話機５０は、変化前の撮影パラメータだけでなく、変化後の撮影パラメータも自動検出することができる。
【０１２７】
以下、撮影パラメータ検出部９０を備える場合について説明する。
【０１２８】
撮影パラメータ検出部９０には６軸センサや位置センサ等が用いられる。
【０１２９】
図６は、特殊ペン７１で描いた文字が、表示画面内に表示できる場合の様子を示した図である。
【０１３０】
図７は、特殊ペン７１で描いた文字が、表示画面からはみ出す場合の様子を示した図である。
【０１３１】
図６、７に関しては、簡便のために２軸（Ｘ軸、Ｙ軸）の位置センサを用いた例を示している。
【０１３２】
特殊ペン７１で描いた文字が、表示画面からはみ出す場合の、特殊ペン７１の前記対応先端部Ｃ’の撮像面５４ａ上における座標値を求める方法について、図６及び図７を用いて、以下説明する。
【０１３３】
まずは、図６に示すように、表示画面内の座標をローカル座標、また、ローカル座標より大きい規模の座標をグローバル座標として設定する。そして、位置センサにより、表示画面の原点、すなわちローカル座標の原点Ｇのグローバル座標を求める。また、その他の撮影パラメータも検出する。
【０１３４】
表示画面内から文字がはみ出さない場合は、同じローカル座標系内で連続して文字を描くことができるため、ローカル座標のみを求めればよい。
【０１３５】
しかしながら、図７に示すように、表示画面の範囲から文字がはみ出しそう又は、はみ出す場合においては、利用者は文字がはみ出さないように携帯電話機５０を移動させる必要がある。そうすると、同じローカル座標系内においては、連続して文字を描くことはできなくなる。その場合、ローカル座標よりも大きい規模のグローバル座標系を用いると、ローカル座標系では連続して描くことが出来なかった文字も、同一のグローバル座標系内において連続して描くことが出来る。よって、表示画面から文字がはみ出しそう又は、はみ出す場合においては、グローバル座標系における座標値を用いる。
【０１３６】
特殊ペン７１の先端部Ｃのグローバル座標系における座標を求める場合、本実施形態で求めた方法を用いるだけでは足りず、本実施形態で算出したローカル座標Ｒに、ローカル座標の原点Ｇのグローバル座標を足さなければならない。
【０１３７】
すなわち、特殊ペン７１の先端部Ｃに対応する撮像面５４ａ上の対応先端部Ｃ’の座標（指示制御用の座標）は、「点Ｇのグローバル座標」+「点Ｒのローカル座標」で求められる。
【０１３８】
また、表示画面から文字がはみ出しそう又は、はみ出す場合において、３軸（Ｘ軸、Ｙ軸、Ｚ軸）の位置センサを用いた場合は、「点Ｇのグローバル座標」+「点Ｒのローカル座標」×「Ｚ座標から求めた拡大率」によって、指示制御用の座標を求めることができる。
【０１３９】
例えば、特殊ペン７１の先端部と撮像装置５４との距離が２倍になると、拡大率は１／２になる。
【０１４０】
以上のように、文字がはみ出しそう、又は、はみ出る場合において、本実施形態係る座標指示装置１００は、撮影パラメータ検出部９０を用いることによって、グローバル座標系における特殊ペン７１の先端部に対応する座標を算出することができる。
【０１４１】
これにより、表示画面から文字等がはみ出る場合でも、利用者が表示画面を移動させることにより、途切れることなく連続して書き続けることができるため、座標制御の精度を高く保ったまま、再度入力し直す等の文字入力の手間も省くことができる。
【０１４２】
ところで、本実施形態では、利用者が撮像装置５４により特殊ペン７１を撮影する際、特殊ペン７１の表面の少なくとも座標算出用マークＡ、Ｂが形成されている面が、撮像装置５４のレンズ面に対して平行であることを条件としたが、実際には、平行でないことが多い。
【０１４３】
図８は、特殊ペン７１の先端部Ｃと、前記撮像面５４ａにおける対応先端部Ｃ’と、特殊ペン７１の先端部Ｃが撮像装置５４のレンズ面に平行な面から少しずれた場合の前記撮像面５４ａにおける対応先端部Ｃ”との対応関係を示した図である。
【０１４４】
図８に示すように、特殊ペン７１の先端部が前記撮像装置５４のレンズ面に平行な面から少しずれた場合でも、実際に表示領域に投影されるペン先の座標のずれはほんのわずかである。
【０１４５】
具体的には、特殊ペン７１の先端部が図８に示すように、前記レンズ面に対して平行な面から少しずれた場合の対応先端部はＣ”であり、撮像装置５４のレンズ面に対して特殊ペン７１が平行な場合の対応先端部Ｃ’との座標位置の差は微差である。
【０１４６】
また、人が特殊ペン７１を用いる場合、特殊ペン７１の傾きは概ね一定となり、変動することは少ない。
【０１４７】
したがって、本実施形態では、図８に示すように、特殊ペン７１の先端部がずれた場合であっても、特殊ペン７１の表面の前記座標算出用マークが形成されている面と、撮像装置５４のレンズ面とが平行であると仮定することができる。
【０１４８】
その結果、特殊ペン７１の先端部がずれた場合であっても、本実施形態に係る座標指示装置１００は、特殊ペン７１の対応先端部Ｃ’の座標値を求めることができ、実用上の操作性は損なわれない。
〔実施の形態２〕
以下、本発明の他の実施形態について説明する。
【０１４９】
本実施形態の特殊ペン８１は、表面にモード設定用マーク（図１１）が形成されている点で実施形態１の特殊ペン７１と異なる。
【０１５０】
また、本実施形態の携帯電話機は、座標指示装置が前記モード設定用マークを撮像して得られるモードパターンに応じた処理をする機能を備える点とモード情報格納部７０ｃ（モード情報格納手段）を備える点で、実施形態１の携帯電話機とは異なる構成を有する。
【０１５１】
上記以外の構成は同じであるため、本実施形態では、実施形態１と同一の構成については、実施形態１と同一の符号を付すことによって説明を省略する。
【０１５２】
図１１は、モード設定用マークが表面に形成されている特殊ペン８１を示す図である。
【０１５３】
本実施形態の特殊ペン８１の表面には、図１１に示すように、実施形態１と同じ座標算出用マークＡ及びＢが形成されている他に、２つのモード設定用マーク１及びモード設定用マーク２が形成されている。
【０１５４】
ここで、モード設定用マークとは、指示具の表面における一部の領域に形成され、表示領域上での表示態様（モード）を切り替えるために用いられるマークのことをいう。
【０１５５】
また、モード設定用パターンとは、指示具の表面に形成されたモード設定用マークによって構成されるパターンをいう。このモード設定用パターンにより、利用者が選択する表示態様を特定することができる。
【０１５６】
本実施の形態のモード設定用マークは、特殊ペン８１の先端部Ｃの軌跡を表示する表示領域上での表示態様（モード）を切り替えるために用いられる。
【０１５７】
また、本実施形態における前記モード設定用マーク１は、緑色でマーキングされることにより形成される。また、モード設定用マーク２は、黄色でマーキングされることにより形成される。
【０１５８】
図９は、本実施形態の座標指示装置２００の概略構成を示すブロック図である。
【０１５９】
本実施形態の座標指示装置２００は、図９に示すように、実施形態１の座標指示装置１００の構成（パターン認識部１１０と座標演算部１２０）に加えて、さらに、図９に示すようにモード認識部２１０（モード設定手段）を含む。
【０１６０】
モード認識部２１０は、モードパターン特定部２１１と、モード設定用データ取得部２１２と、モード設定部２１３とを備える。これらにより、モード認識部２１０は、撮像して取得した画像データから、利用者が選択する表示モードを認識し、表示部６４がその認識した表示モードに基づいて動作するように、表示モードを設定するようになっている。
【０１６１】
まず、特定領域抽出部１１１は、実施形態１と同じ抽出方法で、赤、青、緑、黄色に色づけられたピクセルを抽出し、そのデータをパターン特定部１１２に出力する。
【０１６２】
パターン特定部１１２は、抽出される赤、青、緑、黄色のピクセルから、実施形態１と同じ区分け方法で、同じ色のピクセルが連続して成る集合を一つの領域として区分けし、赤色のピクセルからなる領域を対応マークＡ’と、青色のピクセルからなる領域を対応マークＢ’と特定する。パターン特定部１１２は、対応マークＡ’及び対応マークＢ’から構成される演算パターンを特定するとともに、残りの緑色と黄色のピクセルからなる領域のデータをモードパターン特定部２１１に出力する。
【０１６３】
モードパターン特定部２１１は、前記残りの緑色と黄色のピクセルからなる領域のデータをパターン特定部１１２から取得し、その取得したデータからモード設定用パターンに対応するモードパターンを特定する。
【０１６４】
ここにおいて、対応マークとは、指示具を撮影することにより得た画像のうち、モード設定用マークに対応する撮像面上の領域をいう。
【０１６５】
また、モードパターンとは、モード設定用パターンに対応するパターンであり、前記モード設定用マークの対応マークから構成される撮像面上のパターンをいう。モードパターンは、実際のモード設定に用いられる。
【０１６６】
本実施の形態のモードパターンは、特殊ペン８１が表面に有するモード設定用パターンに対応する撮像面５４ａ上のパターンである。
【０１６７】
具体的には、モードパターン特定部２１１は、取得したデータから、緑色の領域をモード設定用マーク１に対応する対応マーク１と、また、黄色の領域をモード設定用マーク２に対応する対応マーク２と判断する。さらに、モードパターン特定部２１１は、対応マーク１と対応マーク２との組み合わせたものを一つのモードパターンとして特定し、モード設定用データ取得部２１２に出力する。
【０１６８】
図１０はモード情報格納部７０ｃに格納されているモード設定用データとモードパターンとを対応させてテーブル化したものの一例を示す図である。
【０１６９】
ここで、モード情報格納部７０ｃは、図１０に示すように、モード設定用マークに対応する対応マークから構成されるモードパターンＭと、それに対応するモード設定用データｍとをテーブル化して格納している。
【０１７０】
モード設定用データ取得部２１２は、モードパターン特定部２１１から取得した対応マーク１と対応マーク２とから成るモードパターンに基づいて、モード情報格納部７０ｃに格納されるテーブル（図１０）を参照する。そして、モード設定用データ取得部２１２は、前記取得したモードパターンに対応するモード設定用データをモード情報格納部７０ｃから取得し、取得したモード設定用データをモード設定部２１３に出力する。
【０１７１】
ここで、モード設定用データとは、表示部６４の表示領域における表示態様を切り替えるモードのデータである。具体的には、モードｍ＝１は入力モード、モードｍ＝２は消しゴムモード、モードｍ＝３はオフモード（カーソルのみ移動）を表す。
【０１７２】
前記入力モードとは、表示部６４の表示領域内で特殊ペン８１のペン先に対応するカーソルを表示させて、このカーソルの軌跡を表示させるモードをいう。これにより、特殊ペン８１のペン先の移動だけで文字、絵を表示部の表示領域内に書くことが可能となる。
【０１７３】
消しゴムモードとは、表示部６４の表示領域内で特殊ペン８１のペン先に対応するカーソル（消しゴム形状のカーソル）を表示させて、表示部の表示領域内に表示されたカーソルの軌跡を該カーソルでなぞって該軌跡を消すモードをいう。
【０１７４】
オフモードとは、表示部６４の表示領域に表示された特殊ペン８１のペン先に対応するカーソルを該特殊ペン１の動きに連動して移動させるモードをいう。
【０１７５】
モード設定部２１３は、モード設定用データ取得部２１２から取得したモード設定用データに基づいて、表示部６４における表示モードを設定する。そして、モード設定部２１３は、利用者が設定する表示モードで表示部６４に表示させるための表示制御信号を表示制御部２４０に出力する。
【０１７６】
表示制御部２４０は、第２座標算出部１２２から取得した座標値のデータと、モード設定部２１３から取得したモード設定に応じた表示制御信号と、指示座標データ格納部７０ａから取得した座標値のデータとを基に、表示部６４の制御を行う。
【０１７７】
以下に、具体的な表示制御部２４０の動作について説明する。
【０１７８】
表示制御部２４０は、第２座標算出部１２２から取得した座標値に基づいて、表示部６４の表示領域における前記座標値で表される位置に、先端部Ｃに対応するカーソルを表示させる。このとき、表示制御部２４０は、前記表示制御信号に基づいたモードでカーソルを表示させる。
【０１７９】
つまり、前記入力モードの場合には、表示部６４の表示領域内で特殊ペン８１の先端部Ｃに対応するカーソルの軌跡を表示させるようにする。
【０１８０】
また、前記消しゴムモードの場合には、表示部６４の表示領域内で特殊ペン８１の先端部Ｃに対応するカーソル（消しゴム形状のカーソル）を表示させて、表示部６４の表示領域内に表示されたカーソルの軌跡を該カーソルでなぞって該軌跡を消すようにする。
【０１８１】
さらに、前記オフモード（又は移動モード）の場合には、表示部６４の表示領域に表示された特殊ペン８１の先端部Ｃに対応するカーソルを該特殊ペン８１の動きに連動して移動させるだけにする。
【０１８２】
上記構成により、特殊ペン８１に形成されたモード設定用パターンを用いて、モード切替を行うことができるため、別途、モード切替えのための装置を備える必要はない。このことより、部品コストを安くすることができる。
【０１８３】
また、前記モードの切替えは、本実施形態における特殊ペン８１に形成されたモード設定用パターンの一部、具体的には一部のモード設定用マークを利用者が指で覆う等して行うことができるようになっている。
【０１８４】
以下に、モード設定用マークの１つを利用者が指等で覆うことによりモードを切り替える場合の例を示す。
【０１８５】
例えば、本実施形態のモードパターン特定部２１１で特定されたモードパターン、すなわち黄色及び緑色のモード設定用マークに対応する対応マークから構成されるモードパターンをＭ１とする。
【０１８６】
そして、利用者が特殊ペン８１の黄色のモード設定用マーク２を指で覆う場合、すなわち、撮像面５４ａ上における黄色の対応マーク２の領域を特定することができなくなる場合、特定できる領域は緑色の対応マーク１のみになる。前記モードパターンＭ１のうち、緑色の領域のみを特定できる場合をＭ１ａとする。
【０１８７】
モード設定用データ取得部２１２は、モード情報格納部７０ｃからＭ１ａに対応付けられるｍ＝１のモード設定用データを取得し、モード設定部２１３に出力する。モード設定部２１３は、ｍ＝１は入力モードであるので、モードを入力モードと設定し、表示制御信号を表示制御部２４０に出力する。
【０１８８】
モード認識部２１０は、利用者が特殊ペン８１の緑色のモード設定用マーク１を覆う場合、すなわち撮像面５４ａ上の黄色の領域のみを特定できる場合をＭ１ｂとすると、モード設定用データはｍ＝２であるため、消しゴムモードになる。また、利用者がどのモード設定用マークも覆わないことにより、モード認識部２１０が撮像面５４ａ上の黄色及び緑色の両者の領域を特定できる場合をＭ１ｃとすると、モード設定用データはｍ＝３であるためオフモードとなる。
【０１８９】
これにより、キー操作ではなく、利用者の指等によってモード切替を行うことができるため、文字入力や文字消去を容易に行うことができる。
【０１９０】
また、本実施形態における切替えモードは、オフモード、入力モード、消去入力モードとしているが、これに限られない。
【０１９１】
本実施形態におけるモード設定用パターンは、緑色と黄色でマーキングしたモード設定用マーク１、２から構成されているが、本発明はこれに限られず、他の色でマーキングされたモード設定用マークから構成されるものであってもよいし、特殊な図形等によるモード設定用マークから構成されるものであってもよい。
【０１９２】
また、モード設定用マークと座標算出用マークとが同じ色等の同じ属性である場合でも、パターン特定部１１２は、予めプログラムに組み込まれている特定パラメータａ、ｂにより、座標算出用マークから上記演算パターンを特定することができるため、残りのモードパターンも自動的に特定できる。
【０１９３】
このことより、モード設定用マークと座標算出用マークとは同じ属性を有するものであってもよい。
【０１９４】
また、実施形態における前記モード設定用マークは、物理的に指示具の表面に形成されるものを前提としているが、本発明はこれに限らず、指示具を保持する手の指の爪に貼るマーク等であってもよい。
【０１９５】
これにより、モード設定用マークを指示具の表面に置くだけで、モードの切替を行うことができるため、モード切替の操作が容易となる。
【０１９６】
ところで、実施形態１及び本実施形態における特殊ペン７１、８１は、表面に、赤色でマーキングされたマークＡと青色でマーキングされたマークＢの２つの座標算出用マークから構成される特定パターンを有する。しかしながら、本発明にかかる指示具は、この構成に限られず、３つ以上の座標算出用マークから構成される特定パターンを有していてもよい。
【０１９７】
以下、実施の形態３では、指示具が、３つの座標算出用マークから成る特定パターンを有する場合について説明する。
〔実施の形態３〕
本実施形態では、指示具として、赤色の３つの座標算出用マークＧ、Ｈ、Ｉ（以下、マークＧ、Ｈ、Ｉ）から構成される特定パターンを表面に有する特殊ペン９１を用いた場合の座標指示方法について、図１２を用いて説明する。また、特殊ペン９１の先端部を先端部Ｊとする。
【０１９８】
また、本実施形態の特殊ペン９１は、特殊ペン９１をカメラのレンズと平行に配置して撮影する場合に撮影されるマークＧの領域の中央点とマークＨの領域の中央点との距離をａとし、マークＧの領域の中央点と先端部Ｊとの距離をｂとしている。さらには、マークＨの領域の中央点とマークＩの領域の中央点との距離をｃとしている。
【０１９９】
本実施形態は、特殊ペン９１の表面に形成される座標算出用マークが３つである点と、本実施形態の座標指示装置の、前記撮像面５４ａ上の特殊ペン９１の対応先端部の座標値を算出方法とが実施形態１と異なる。
【０２００】
本実施形態における携帯電話機５０については、座標演算部１２０における上記対応先端部の座標値の算出方法については実施形態１と異なるものの、構成については実施形態１と同じであるため、同じ構成のものについては同一の符号を付して、説明を省略している。
【０２０１】
本実施形態では、座標算出用マークＧ、Ｈ、Ｉにそれぞれ対応する撮像面５４ａ上で特定されたマークを対応マークＧ’、Ｈ’、Ｉ’とする。
【０２０２】
図１２は、特殊ペン９１におけるマークＧ、Ｈ、Ｉと、前記撮像面５４ａにおける対応マークＧ’、Ｈ’、Ｉ’との対応関係を示した図である。
【０２０３】
本実施形態の座標演算部１２０について、以下説明する。
【０２０４】
座標演算部１２０は、第１座標算出部１２１と、第２座標算出部１２２とを備え、これらにより、パターン認識部１１０で抽出、特定された、特定パターンに対応する撮像面５４ａ上の演算パターンのデータから、撮像面５４ａ上の対応先端部Ｊ’の座標値を算出するようになっている。
【０２０５】
ここで、対応先端部Ｊ’とは、撮像面５４ａ上の先端部Ｊに対応する点をいう。
【０２０６】
第１座標算出部１２１は、パターン特定部１１２で特定された対応マークＧ’、Ｈ’、Ｉ’の各領域の中央点、すなわち中心座標の２次元座標値を求める。
【０２０７】
上記各対応マークの領域における中央点の座標（以下、中心座標）を算出する具体的な方法としては、実施形態１で例示した方法等が挙げられる。
【０２０８】
第１座標算出部１２１は、上記方法等で求めた対応マークＧ’、Ｈ’、Ｉ’の各領域の各中心座標値データを第２座標算出部１２２に出力する。
【０２０９】
第２座標算出部１２２は、第１座標算出部１２１から取得した対応マークＧ’、Ｈ’、Ｉ’の領域の各中心座標値データから、撮像面５４ａ上の対応先端部Ｊ’の座標値を算出する。
【０２１０】
次に、第２座標算出部１２２について説明する。
【０２１１】
対応先端部Ｊ’の座標値を算出する具体的な方法について、図１２を用いて説明する。
【０２１２】
本実施形態では、マークＧ、Ｈ、Ｉのすべてが赤色でマーキングされ、また、マークが３つあるため、前記撮像面５４ａ上で特定された３つの対応マークがマークＧ、Ｈ、Ｉのどれに対応するマークであるかが不明である。よって、本実施形態では、第２座標算出部１２２は、まず、これらの対応関係を明らかにする動作を行う。
【０２１３】
前記撮像面５４ａ上で特定された３つの対応マークが、マークＧ、Ｈ、Ｉのどれに対応するマークであるかの対応関係を明らかにするために、以下の動作を行う。
【０２１４】
対応マークＧ’、Ｈ’、Ｉ’の中央点の位置ベクトルをそれぞれＱ１、Ｑ２、Ｑ３とし、対応先端部Ｊ’の位置ベクトルをＱ４とすると、各対応マーク間の距離は以下の式で表すことができる。
【０２１５】
Ｄ１＝｜Ｑ２−Ｑ１｜
Ｄ２＝｜Ｑ３−Ｑ２｜
Ｄ３＝｜Ｑ１−Ｑ３｜
以上の式でもとめられた各対応マーク間の距離の大小関係が、Ｄ３＞Ｄ１＞Ｄ２となったとする。
【０２１６】
また、特定パラメータａ、ｂ、ｃの値は、定数として予めプログラムに組み込まれているため、ａ＞ｃであることは既知である。よって、中間の大きさの値であるＤ１がａに対応し、ｃがＤ２に対応することが分かる。
【０２１７】
これにより、Ｄ１とＤ２との共通の端点であるＱ２は、対応マークＧ’と対応マークＩ’との間に存在する対応マークＨ’の中央点の位置ベクトルであることが分かる。
【０２１８】
また、上記式と、Ｑ２が対応マークＨ’の中央点の位置ベクトルであるということより、Ｑ１は、対応マークＧ’の中央点の位置ベクトルであり、Ｑ３は、対応マークＩ’の中央点の位置ベクトルであることが分かる。
【０２１９】
以上の動作により、マークＧ、Ｈ、Ｉと対応マークＧ’、Ｈ’、Ｉ’の対応関係が明らかになる。
【０２２０】
特殊ペンに形成された座標算出用マークが３色の異なるマークである場合等では、パターンと演算パターンの対応関係を色によって識別することができるため、上記対応関係を明らかにする動作は、特に必要ないと考えられる。
【０２２１】
このことより、対応マークＧ’の中央点と対応マークＨ’の中央点の距離と、対応マークＧ’の中央点と対応先端部Ｊ’の距離と、対応マークＨ’の中央点と対応マークＩ’の距離との比は、それぞれａ：ｂ：ｃ（特定パラメータ）となる。
【０２２２】
上記特定パラメータａ、ｂ及びｃの値は、定数として予めプログラムに組み込まれるものである。
【０２２３】
従って、第１座標算出部１２１から取得したデータ、及び、前記位置ベクトルより、対応先端部Ｊ’の位置ベクトルＱ４は、以下の式で表すことができる。
｜Ｑ２−Ｑ１｜が前記比ａ、｜Ｑ４−Ｑ１｜が前記比ｂにそれぞれ対応するため、
｜Ｑ４−Ｑ１｜＝｜Ｑ２−Ｑ１｜×ｂ／ａ
Ｑ４＝Ｑ１＋｜Ｑ２−Ｑ１｜×ｂ／ａ
で求められる。
【０２２４】
そして、第２座標算出部１２２は、上記算出方法で算出した対応先端部Ｊ’の撮像面５４ａにおける座標値データを表示制御部１４０に出力すると共に、指示座標データ格納部７０ａに出力する。
【０２２５】
ただし、上記の対応先端部Ｊ’の座標値の算出方法は、実施形態１と同様に、特殊ペン９１における少なくともマーキングされている領域、すなわち、座標算出用マークが形成されている面が、撮像装置５４のレンズ面に対して平行な面に存在していることを条件として用いることができる。
【０２２６】
また、本実施形態における特殊ペン９１にモード設定用パターンを形成すれば、実施形態２と同じ方法でモード切替を行うことができる。
【０２２７】
また、実施形態１で、特殊ペン７１の先端部がずれた場合について図８を用いて説明した。本実施形態における特殊ペン９１の先端部がずれた場合についても、実施形態１と同様に、特殊ペン９１の座標算出用マークが形成されている面と、撮像装置５４のレンズ面とが平行であると仮定することができる。
【０２２８】
また、本実施形態においても、実施形態１と同様、特殊ペン９１で空中に描いた文字の筆跡が、携帯電話機５０における表示部６４である表示画面の枠内からはみ出しそうな場合を考慮して、携帯電話機５０に撮影パラメータ検出手段を備える構成としてもよい。
【０２２９】
ところで、実施形態１〜３では、指示具としてペン形状のものを用いているが、指示具の形状はこれに限られない。指示具の形状として好ましいのは、先端が尖っている形状のものである。指示具は、先端が尖っていることにより、座標位置を指示し易く、また、的確に指示することができるからである。これにより、本発明の座標指示装置は、より精度の高い座標値を算出することが可能となる。
【０２３０】
さらに、実施形態１〜３では、指示具として、インク等の注入されていないペンを用いたが、これに限らず、表面に座標指示装置が読み取り可能なマーキングが形成されているものであればどんなものでも良い。
【０２３１】
本発明の座標算出用マークは、図１３に示すように、異なる識別可能な属性を有していてもよいし、同じ属性を有していてもよい。
【０２３２】
また、前記識別可能な属性は、実施形態１のように異なる色によるものであってもよいし、同じ色でも暗い赤色と明るい赤色等のようなマークの明るさや色の明度によるものであってもよい。また、前記識別可能な属性は、模様であってもよいし、局所的なパターン（形状）であってもよい。さらには、前記識別可能な属性は、色、色の明度、マークの明るさ、局所パターン等を組み合わせたものであってもよい。
【０２３３】
前記識別可能な属性がマークの明るさである場合の具体例としては、前記座標算出用マークＡが明るい赤色をしており、前記座標算出用Ｂが暗い赤色をしている場合等がある。
【０２３４】
ここにおけるマークの明るさとは、色の明度とは異なるものである。具体的に説明すると、ＲＧＢで表現した場合における赤色の最大の明度を（２５５，０，０）とすると、強い照明やペンライトなどを用いることにより、２５５を超える「明るさ」を作ることができる。このような２５５を超える「明るさ」は、カメラ側で感度を落とすことにより測定することができる。例えば、前記カメラ側の感度を１／２にしたときのＲＧＢ値が（２００，０，０）であれば、実際の明るさは（４００，０，０）となるが、「明度」としては（２５５，０，０）となり、純粋な赤を超えることはない。よって、マークの明るさと色の明度とは異なる。
【０２３５】
前記識別可能な属性が局所的なマークである場合の例としては、図１４に示すように、指示具の表面に、座標算出用マークＡとして◎の図形が、また、座標算出用マークＢとして○等の図形が形成されている場合が考えられる。
【０２３６】
前記組み合わせた場合の例としては、座標算出用マークＡとして◎の図形がマーキングされ、座標算出用マークＢとして赤色でマーキングされている場合等が考えられる。
【０２３７】
このように座標算出用マークが局所的な図形によるものである場合の具体例として、実施形態１の座標指示装置１００を用いて説明する。
【０２３８】
データ格納領域７０は、図１に示すように、前記局所的な図形の座標算出用マークによって構成される特定パターンに対応する演算パターンのデータを予め格納しているパターン格納部７０ｂ（パターン情報格納手段）を備える。この場合、パターン特定部１１２は、前記局所的な図形の座標算出用マークからなる特定パターンと、前記パターン格納部７０ｂに格納される演算パターンとを照合し、照合した結果、特殊ペン７１が有する特定パターンと一致またはほぼ一致する演算パターンデータを取得する。そして、前記パターン特定部１１２は、取得した前記演算パターンを前記座標演算部１２０に出力する。
【０２３９】
以下、パターン特定部１１２による前記照合方法について、図２１を用いて説明する。
【０２４０】
図２１は、パターン格納部７０ｂに格納される演算パターンを構成する対応マークの特定方法を示す図である。
【０２４１】
図２１（ａ）は、２値化され、前記特定領域抽出部１１１で抽出されたデータの各画素を左上から右下へ順に走査し、前記局所的な図形からなる座標算出用マークの中心を中心として周囲計５×５画素を取得したデータの一例である。
【０２４２】
図２１（ｂ）は、前記パターン格納部７０ｂに格納され、２値化された前記対応マークを、２次元配列によって示したものである。
【０２４３】
図２１（ｃ）は、図２１（ａ）の各要素から、図２１（ｂ）の対応する各要素を差し引いた結果の配列を示す図である。
【０２４４】
図２１（ｃ）において、各要素の絶対値の総和を計算すると３である。この値は、マークの類似度の評価値とすることができる。前記評価値が小さいほど、類似していると考えられる。そして、パターン特定部１１２は、パターン格納部７０ｂに格納される様々なマークと上記のように照合し、前記評価値がもっとも小さい対応マークを、指示具の表面に形成された座標算出用マークに対応する対応マークとして特定する。
【０２４５】
さらに、前記座標算出用マークは、実施形態１で説明したように、指示具に２つ形成されていてもよく、実施形態３で説明したように、指示具に３つ形成されていてもよく、図１５に示すように、１つだけ形成されるものであってもよく、座標算出用マークの数は限られない。
【０２４６】
上記の構成により、座標指示装置は、前記座標算出用マークを容易に、かつ、より正確に認識することが可能となる。
（利用例１）
本実施形態における携帯電話機は、座標指示装置及び特殊ペンを用いて文字等の入力データを、撮影した写真画像データ上に組み込んだデータを他の端末間と送受信することができる。
【０２４７】
本実施形態における座標指示装置を備えた携帯電話の利用例１について、図１６を用いて説明する。
【０２４８】
図１６は、本実施形態の携帯電話機における利用の一例を示す図であって、写真画像を撮影するステップから、文字を入力したデータを送信するステップまでの携帯電話機の表示画面の遷移を示す図である。
【０２４９】
まずは、上記携帯電話機に備えられたカメラで、ある人物の写真画像を撮影し、表示画面に撮影画像を表示する（図１６の１参照）。次に、特殊ペンの先端部を上記カメラの前方、且つ該カメラの撮影範囲の空間で「Ｉ  ＬＯＶＥ  Ｕ」と動かすと、その先端部の座標の遷移を文字として座標指示装置によって表示させる。例えば、図１６の２に示すように、前記ある人物の写真画像上に、「Ｉ  ＬＯＶＥ  Ｕ」という文字が表示される。
【０２５０】
次いで、図１６の３及び４に示すように、送信先のＥ−ｍａｉｌアドレスを設定し、メッセージ等を送信すると共に、前記画像データと前記先端部の座標データとを組み合わせたデータを送信先に送信する。これにより、フリーハンドで文字等を書きこんだデータを送受信することができるようになるため、本実施形態の携帯電話機の利用シーンは拡大する。
【０２５１】
また、特殊ペンによる写真画像への文字入力は、以下の変形例を用いてもよい。これは、図１７を用いて以下説明する。
【０２５２】
図１７は、本実施形態の携帯電話における利用例を示す図であって、特に図１６の２において、表示画面に表示されている写真画像への文字入力の入力例を示す図である。
【０２５３】
図１７（ａ）に示すように、表示画面に表示されている写真画像を半透明表示にしてペンやそれを保持する手の実写画像と合成しながら書いてもよい。
【０２５４】
また、図１７（ｂ）に示すように、表示画面に表示されている写真画像をそのまま表示して「指示具の先端の位置を示すポインタ画像」を重ねて表示しながら書いてもよい。
【０２５５】
また、図１７（ｃ）を示すように、表示画面に表示されている写真画像をそのまま表示して「指示具のパターンの位置情報をもとに算出して生成した、指示具の仮想画像」を重ねて表示しながら書いてもよい。
（利用例２）
本実施形態における携帯電話機は、動画を撮影しつつ、同時に、特殊ペンの先端部の軌跡を「背景と同一の動画像」または「時間情報を伴う座標データ」として記録し、後の再生時に文字を入力するという動作を再現することができる。
【０２５６】
図１８は、時間情報を伴う座標データの一例を示す表である。
【０２５７】
図１９は、時間変化にともなう座標変化の一例を示す図である。
【０２５８】
時間情報を伴う座標データとは、時系列に沿った座標指示のデータをいい、例えば、図１８の表のデータを用いて説明すると、以下のようになる。
【０２５９】
図１８の表によると、０ミリ秒の時における特殊ペンの先端部の座標位置は、（Ｘ，Ｙ）＝（１０，２０）と指示され、モードは座標移動となっている。すなわち、先端部の座標位置が（１０，２０）に合わせられる。次に、１０ミリ秒後の先端部の座標位置は（２０，３０）と指示され、モードは描画モードとなっている。すなわち、（１０，２０）から（２０，３０）までは線分が描画される。さらには、２０ミリ秒後のペン先の座標位置は（４０，５０）と指示され、モードは描画モードとなっている。すなわち、（２０，３０）から（４０，５０）までは線分が描画される。
【０２６０】
このような時間情報を伴う座標データに基づいて文字を入力していくと、図１９に示すように、時間が変化しても連続して文字を入力することができる。
【０２６１】
以上のように、文字書き込み時の動作を「位置ベクトル＋時間データ」として記録し、これらのデータを携帯電話機の利用者間で送受信することができる。また、チャットにも用いることができる。また、前記時間情報を伴う座標データは、ベクトルをデータとして送信しているため、動画データではあるが、比較的データ量を抑えることができる。
（利用例３）
本実施形態における携帯電話機では、座標指示装置で算出した座標データを複数の端末間で送受信することができる。
【０２６２】
図２０は、本実施形態の携帯電話機における利用の一例を示す図であって、複数の端末間でチャットを行っている様子を示した携帯電話機の表示画面の図である。
【０２６３】
本実施形態における座標指示装置を備えた携帯電話機の利用例３について、図２０を用いて具体的に説明する。
【０２６４】
図２０に示すように、携帯端末Ａの保持者が、端末Ａの表示画面上に「もうかりまっか？」と文字を入力する。その文字が入力されたデータを送信し、そのデータを受信した携帯端末Ｂの保持者は、「サッパリですわ。」と同じデータ上に異なる文字を書き込むことができる。
【０２６５】
上記メッセージの表示位置は、時間的順序に依存しないため、端末Ｂでは、端末Ａによって入力された「もうかりまっか？」という文字上に重ねて新たな文字を入力することができる。
【０２６６】
また、チャットをする際に、特殊ペンの先端部の軌跡、つまりは、ペン先の座標データだけを送受信してもよいし、背景画像データと共に送受信してもよい。これにより、背景を映しながらチャットを行うことができる。
【０２６７】
また、表示画面上におけるペンの先端部の近傍に、ペン先端部の座標の表示と同時に、図２０の図中に示したような「ペンを保持した手」の画像を表示することができる。これによれば、言葉だけで伝えるのではないため、動的で、かつ、よりリアリティ感のあるチャットを楽しむことが可能となる。
【０２６８】
また、本実施形態における携帯電話機のような小さい表示画面上においても操作性を落とさずにチャットを行うことが可能である。
【０２６９】
また、さらには、本実施形態における携帯電話機は、表示画面が比較的大きく、該表示画面上に入力パッドを備えた携帯端末による入力処理と同じことを、携帯電話機のように表示画面の小さい携帯端末でも実現できる。
【０２７０】
最後に、座標指示装置１００の各ブロック、特にパターン認識部１１０および座標演算部１２０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２７１】
すなわち、座標指示装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである座標指示装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記座標指示装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２７２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２７３】
また、座標指示装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２７４】
本発明の座標指示装置は、文字や絵などの情報の入力を、簡単な構成で、しかも比較的狭い表示領域の表示部において可能にしているので、携帯電話機、ＰＤＡなどの携帯端末機器に利用可能である。
【図面の簡単な説明】
【０２７５】
【図１】座標指示装置の概略構成を示すブロック図である。
【図２】特殊ペンを用いて携帯電話機に文字入力をする様子を示した図である。
【図３】特殊ペンにおける座標算出用パターンと、撮像装置の撮像面における演算パターンとの対応関係を示す図である。
【図４】携帯電話機の外観を示した平面図であり、（ａ）は、携帯電話機を折り曲げた際に内側となる部分の平面図であり、（ｂ）は、携帯電話機を折り曲げた際に外側となる部分の平面図である。
【図５】携帯電話機のハードウェア構成の具体例を示す機能ブロック図である。
【図６】特殊ペンで描いた文字が、表示画面内に表示できる場合の様子を示した図である。
【図７】特殊ペンで描いた文字が、表示画面内に表示できない場合の様子を示した図である。
【図８】特殊ペンにおける座標算出用パターンと、撮像装置の撮像面における演算パターンとの対応関係を示す図である。
【図９】座標指示装置の概略構成を示すブロック図である。
【図１０】パターン格納部に格納されているパターンデータをテーブル化したものの一例を示す図である。
【図１１】特殊ペンの一例を示す図である。
【図１２】特殊ペンにおける座標算出用パターンと、撮像装置の撮像面における演算パターンとの対応関係を示す図である。
【図１３】特殊ペンの一例を示す図である。
【図１４】特殊ペンの一例を示す図である。
【図１５】特殊ペンの一例を示す図である。
【図１６】本実施形態の携帯電話機における利用の一例を示す図である。
【図１７】本実施形態の携帯電話機における利用の一例を示す図である。
【図１８】本実施形態の携帯電話機における利用の一例を示す図である。
【図１９】本実施形態の携帯電話機における利用の一例を示す図である。
【図２０】本実施形態の携帯電話機における利用の一例を示す図である。
【図２１】パターン格納部に格納される演算パターンを構成する対応マークの探索方法を示す図である。（ａ）は、局所的なパターンの中心を中心として周囲計５×５画素を取得したデータの一例である。（ｂ）は、２値化された演算パターンを２次元配列によって示したものである。（ｃ）は、（ａ）の各要素から、（ｂ）の対応する各要素を差し引いた結果の配列を示す図である。
【図２２】従来の指示具の一例を示す図である。
【符号の説明】
【０２７６】
５４    撮像装置（撮影手段）
６０    制御部
６４    表示部
６５    画像入力部
７０    データ格納領域
７０ａ    指示座標データ格納部
７０ｂ    パターン格納部（パターン情報格納手段）
７０ｃ    モード情報格納部（モード情報格納手段）
７１、８１、９１  特殊ペン（指示具）
９０    撮影パラメータ検出部（撮影パラメータ検出手段）
１００、２００    座標指示装置
１１０    パターン認識部（パターン抽出手段）
１１１    特定領域抽出部（特定領域抽出手段）
１１２    パターン特定部（パターン特定手段）
１２０    座標演算部（座標算出手段）
１２１    第１座標算出部
１２２    第２座標算出部
１４０、２４０    表示制御部
２１０    モード認識部（モード設定手段）
２１１    モードパターン特定部
２１２    モード設定用データ取得部
２１３    モード設定部
【図１】
2008117083.tif 000003
【図２】
2008117083.tif 000004
【図３】
2008117083.tif 000005
【図４】
2008117083.tif 000006
【図５】
2008117083.tif 000007
【図６】
2008117083.tif 000008
【図７】
2008117083.tif 000009
【図８】
2008117083.tif 000010
【図９】
2008117083.tif 000011
【図１０】
2008117083.tif 000012
【図１１】
2008117083.tif 000013
【図１２】
2008117083.tif 000014
【図１３】
2008117083.tif 000015
【図１４】
2008117083.tif 000016
【図１５】
2008117083.tif 000017
【図１６】
2008117083.tif 000018
【図１７】
2008117083.tif 000019
【図１８】
2008117083.tif 000020
【図１９】
2008117083.tif 000021
【図２０】
2008117083.tif 000022
【図２１】
2008117083.tif 000023
【図２２】
2008117083.tif 000024