(57)【要約】【課題】画像パターンの回転方向により符号化された情報を、撮像手段と情報入力媒体との位置関係が変動し得る環境においても高精度に認識することのできる情報入力装置や端末装置を提供する。【解決手段】端末装置１にコンテンツとして提供可能な画像を特定する情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体４３の情報記載領域をＣＣＤカメラ３により撮像する。撮像された画像情報を処理して画像パターン４８の回転方向の判別を行う。この際、最小二乗法による撮像座標系から媒体座標系への座標変換によって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪を画像データから除去し、この歪が除去された画像データから画像パターン４８の回転方向を判別し、コンテンツとして提供可能な画像を特定する情報の認識を行う。【選択図】　　図９
2004094909.tif 000002
【特許請求の範囲】
【請求項１】
入力すべき情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域を撮像する撮像手段と、
前記撮像手段により撮像された画像情報の座標を撮像座標系から媒体座標系に最小二乗法により変換する座標変換手段と、
この座標変換手段により変換された画像情報に基づいて前記画像パターンの回転方向を判別して前記入力すべき情報を認識する認識手段と
を具備することを特徴とする情報入力装置。
【請求項２】
入力すべき情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域を撮像し、
この撮像された画像情報の座標を撮像座標系から媒体座標系に最小二乗法により変換し、
この変換された画像情報に基づいて前記画像パターンの回転方向を判別して前記入力すべき情報を認識することを特徴とする情報入力方法。
【請求項３】
画像を表示可能な表示部と、
コンテンツとして提供可能な画像を特定する情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域を撮像する撮像手段と、
前記撮像手段により撮像された画像情報の座標を撮像座標系から媒体座標系に最小二乗法により変換する座標変換手段と、
この座標変換手段により変換された画像情報に基づいて前記画像パターンの回転方向を判別して前記コンテンツとして提供可能な画像を特定する情報を認識する認識手段と、
前記認識手段によって認識された情報に基づいて該当するコンテンツとしての画像を取得するコンテンツ取得手段と
を具備することを特徴とする端末装置。
【請求項４】
前記端末装置の移動を検出する検出手段と、
前記表示部の表示画面にこの表示画面よりサイズが大きい画像を表示させる場合に前記検出手段によって検出された前記端末装置の移動に応じて前記表示画面に表示させる前記画像の位置を移動させるスクロール手段と
を具備することを特徴とする請求項３に記載の端末装置。
【請求項５】
前記コンテンツ取得手段によってコンテンツとして取得した画像を区分する複数の領域それぞれに個別の機能を設定するためのテーブルを取得するテーブル取得手段と、
前記スクロール手段によって前記画像を移動させて前記表示画面に表示させた領域に設定された機能を前記テーブル取得手段によって取得された前記テーブルに基づいて実行する手段と
を具備することを特徴とする請求項３に記載の端末装置。
【請求項６】
画像を表示可能な表示部と、撮像を行う撮像部とを備えた端末装置の画像コンテンツ取得方法であって、
コンテンツとして提供可能な画像を特定する情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域を撮像するステップと、
前記撮像された画像情報の座標を撮像座標系から媒体座標系に最小二乗法により変換するステップと、
前記座標変換された画像情報に基づいて前記画像パターンの回転方向を判別して前記コンテンツとして提供可能な画像を特定する情報を認識するステップと、この認識された情報に基づいて該当するコンテンツとしての画像を取得するステップと
を有することを特徴とする端末装置のコンテンツ取得方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像パターンの回転方向により符号化された情報を画像として取り込み認識して情報の入力を行う情報入力装置および情報入力方法と、ウェブなどからの取得したコンテンツを表示する機能を有する端末装置、さらにはこの端末装置のコンテンツ取得方法に関する。
【０００２】
【従来の技術】
情報を画像パターンを用いて符号化する技術には次のようなものがある。たとえば、特開平１０−２１４３１８号公報には、情報を所定の画像パターンの回転方向により符号化する技術が開示されている。この技術によると、単純な画像パターンのｎ個の種類の回転方向に対してｎ種類のコードを割り当てることによって、たとえばｍ個の画像パターンでｎｍ種類のコードを定義することができる。このように画像パターンにより符号化された情報を認識する場合には、画像パターンの記載部分をカメラで撮像することで得られた画像情報から画像パターンを抽出し、この画像パターンについて回転方向などの特徴を計算すればよい。したがって、簡単な処理でコードを高い精度で判別することが可能である。また、人間による符号化と認識も可能であるという利点を有する。
【０００３】
【発明が解決しようとする課題】
上記のような情報の符号化・認識システムを、利用者が携帯するＣＣＤカメラなどの撮像手段で画像パターンの記載部分を撮像して、この画像情報に基づいて符号化情報を認識しようとした場合、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪が画像パターンの回転方向の判別に影響し、コードを正しく認識することが困難になるというおそれがあった。
【０００４】
本発明は、以上のような事情を鑑みて、画像パターンの回転方向により符号化された情報を、撮像手段と情報入力媒体との位置関係が変動し得る環境においても高精度に認識することのできる情報入力装置および情報入力方法を提供することを目的とする。
【０００５】
また、本発明は、目的のコンテンツを簡単な手順で、かつ画像パターンの回転方向により符号化されたコンテンツ特定情報を、撮像手段と情報入力媒体との位置関係が変動し得る環境においても精度良く認識することのできる端末装置およびそのコンテンツ取得方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明の情報入力装置は、入力すべき情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域を撮像する撮像手段と、前記撮像手段により撮像された画像情報の座標を撮像座標系から媒体座標系に最小二乗法により変換する座標変換手段と、この座標変換手段により変換された画像情報に基づいて前記画像パターンの回転方向を判別して前記入力すべき情報を認識する認識手段とを具備する。
【０００７】
この発明によれば、最小二乗法による撮像座標系から媒体座標系への座標変換によって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪を画像データから除去し、この歪が除去された画像データから画像パターンの回転方向を判別することによって、入力すべき情報を精度良く認識することができる。
【０００８】
本発明の別の観点に基づいた情報入力方法は、入力すべき情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域を撮像し、この撮像された画像情報の座標を撮像座標系から媒体座標系に最小二乗法により変換し、この変換された画像情報に基づいて前記画像パターンの回転方向を判別して前記入力すべき情報を認識することを特徴とする。
【０００９】
この発明によれば、最小二乗法による撮像座標系から媒体座標系への座標変換によって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪を画像データから除去し、この歪が除去された画像データから画像パターンの回転方向を判別することによって、入力すべき情報を精度良く認識することができる。
【００１０】
本発明の別の観点に基づいた端末装置は、画像を表示可能な表示部と、コンテンツとして提供可能な画像を特定する情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域を撮像する撮像手段と、前記撮像手段により撮像された画像情報の座標を撮像座標系から媒体座標系に最小二乗法により変換する座標変換手段と、この座標変換手段により変換された画像情報に基づいて前記画像パターンの回転方向を判別して前記コンテンツとして提供可能な画像を特定する情報を認識する認識手段と、前記認識手段によって認識された情報に基づいて該当するコンテンツとしての画像を取得するコンテンツ取得手段とを具備する。
【００１１】
ここで、コンテンツとは、情報サービスから提供される様々な内容のことである。したがって、情報サービスが提供する情報であれば、画像、音楽、文書、実用機能すべてをコンテンツと言うことができる。
【００１２】
この発明の端末装置では、端末装置にコンテンツとして提供可能な画像を特定する情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域をＣＣＤカメラなどの撮像手段により撮像する。ここで、情報入力媒体には、複数の画像について、これらを個々に特定する複数の情報の符号化情報が記載されていてもよく、その中の所望の一画像についてこれを特定する情報の符号化情報の記載領域を撮像の対象として選択するようにしてもよい。
【００１３】
この後、撮像された画像情報を処理して画像パターンの回転方向の判別を行う。この際、最小二乗法による撮像座標系から媒体座標系への座標変換によって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪を画像データから除去し、この歪が除去された画像データから画像パターンの回転方向を判別するようにする。これにより、コンテンツとして提供可能な画像を特定する情報を精度良く認識することができる。
【００１４】
また、この発明によれば、情報入力媒体における一つの情報記載領域を撮像するだけで目的のコンテンツである画像を取得することができ、コンテンツの取得のための利用者の負担が軽減される。また、符号化できるコード長を自由に選択できるので、提供可能なコンテンツの数の増大に柔軟に対応できる。
【００１５】
この発明の端末装置は、端末装置の移動を検出する検出手段と、表示部の表示画面にこの表示画面よりサイズが大きい画像を表示させる場合に検出手段によって検出された端末装置の移動に応じて表示画面に表示させる画像の位置を移動させるスクロール手段とをさらに具備するものであってよい。
【００１６】
これにより、表示画面よりサイズが大きい画像を鑑賞する場合のスクロール表示のための操作部が不要になるとともに、人間の直感に合致した画像のスクロール表示が可能になる。
【００１７】
本発明の端末装置はさらに、コンテンツ取得手段によってコンテンツとして取得した画像を区分する複数の領域それぞれに個別の機能を設定するためのテーブルを取得するテーブル取得手段と、スクロール手段によって画像を移動させて表示画面に表示させた領域に設定された機能をテーブル取得手段によって取得されたテーブルに基づいて実行する手段とを具備するものであってもよい。
【００１８】
ここで、画像を区分する各領域に設定された機能とは、たとえば、ウェブ上のサイトから画像、音楽、文書、アプリケーションプログラム等の様々なコンテンツを入手する機能の他に、地図検索、辞書検索といったウェブ上の各種サービスを利用する機能、あるいは、この端末装置を各種機器を赤外線通信などによって遠隔操作する端末として利用した場合には機器を操作する機能などである。
【００１９】
このようにウェブ上のサイトなどからコンテンツを入手する機能を実現するために、テーブルには、画像を区分する複数の領域それぞれの機能を設定する情報として、その機能を実現するために必要なウェブ上のコンテンツの入手場所が登録されていればよい。
【００２０】
この発明によれば、領域ごとに様々な機能が設定された画像を表示画面の背景画像として設定でき、画面のスクロールによって領域を選択してその領域に設定された機能を選択実行することができる。したがって、表示画面のサイズが小さくても、簡単な操作で、背景画像の交換を通じて、様々なコンテンツの提供を受けられる。
この発明において、複数の画像が蓄積されている場所および複数のテーブルが蓄積されている場所はウェブ上のサイト、あるいは着脱自在な記憶媒体であってよい。
【００２１】
本発明の別の観点に基づいた端末装置のコンテンツ取得方法は、画像を表示可能な表示部と、撮像を行う撮像部とを備えた端末装置の画像コンテンツ取得方法であって、コンテンツとして提供可能な画像を特定する情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域を撮像するステップと、前記撮像された画像情報の座標を撮像座標系から媒体座標系に最小二乗法により変換するステップと、前記座標変換された画像情報に基づいて前記画像パターンの回転方向を判別して前記コンテンツとして提供可能な画像を特定する情報を認識するステップと、この認識された情報に基づいて該当するコンテンツとしての画像を取得するステップとを有することを特徴とする。
【００２２】
この発明によれば、最小二乗法による撮像座標系から媒体座標系への座標変換によって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪を画像データから除去し、この歪が除去された画像データから画像パターンの回転方向を判別することによって、コンテンツとして提供可能な画像を特定する情報を精度良く認識することができる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図１は本発明の実施の一形態に係る端末装置１の外観を概略的に示す斜視図である。
【００２４】
図１に示すように、この端末装置１は、例えば利用者が片手で持てるような大きさの筐体２を有する。筐体２の前面２ａには、撮像手段としてのカメラ３、マイク４、スピーカ５、表示部６及び操作領域７などが設けられている。また、筐体２の側面２ｂには、例えばスティック状の記憶媒体８が着脱自在に装着される装着部９が設けられている。カメラ３は例えばＣＣＤカメラにより構成され、表示部６は例えばカラー液晶表示装置により構成される。操作領域７には、ＯＫボタン１０、Ｕｎｄｏボタン１１、カメラキャプチャーボタン１２等が設けられている。
【００２５】
図２はこの端末装置１のハードウェア構成を示すブロック図である。
図２に示すように、端末装置１は、メインバス１４にＣＰＵ１５、ＲＯＭ１６、Ｓ−ＲＡＭ（スタティックラム）１７、ＲＡＭ１８、記憶媒体用インタフェース１９、センサインタフェース２０の他、各種のインタフェース、例えばＴＴＹ（Ｔｅｌｅ　Ｔｙｐｅｗｒｉｔｅｒ）２１、イーサネット（登録商標）ボード（Ｅｔｈｅｒｎｅｔ（登録商標）　Ｂｏａｒｄ）２２、イメージプロセッシングユニット（Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２３、Ｖｉｓｃａインタフェース（Ｖｉｓｃａ　Ｉｎｔｅｒｆａｃｅ）２４、ＶＧＡボード（ＶＧＡ　Ｂｏａｒｄ）２５、オーディオビデオインタフェース（Ａｕｄｉｏ＆Ｖｉｄｅｏ
Ｉｎｔｅｒｆａｃｅ）２６を接続して構成される。
【００２６】
ＣＰＵ１５は、この端末装置１全体を統括的に制御するもので、ＲＯＭ１６にはその動作に必要なプログラムが記憶され、Ｓ−ＲＡＭ１７には、たとえば後述するコンテンツテーブル、コード変換テーブルなどが記憶され、ＲＡＭ１８は処理の際の作業スペースとして用いられる。
記憶媒体用インタフェース１９には、装着部９が接続され、装着部９に装着された記憶媒体８との間でデータの通信が行われるようになっている。
【００２７】
センサインタフェース２０には、位置検出センサ２７が接続されている。位置検出センサ２７としては、例えば加速度センサを用いることができる。加速度センサは例えば利用者はがこの端末装置１を手に持った状態で空間を移動させたとき、２軸方向あるいは３軸方向の加速度を検知する素子である。例えば加速度センサを２軸方向の加速度を検出するセンサとして用い、端末装置１に加わる加速度の縦方向成分及び横方向成分を検知し、それぞれの成分ごとに時間積分演算を行って速度成分、変位成分を算出するようになっている。この算出結果は後述する画像のスクロール表示に用いられる。
【００２８】
ＴＴＹ（Ｔｅｌｅ　Ｔｙｐｅｗｒｉｔｅｒ）２１は、上記の操作領域の各種のボタン１０，１１，１２と接続されている。
イーサネット（登録商標）ボード（Ｅｔｈｅｒｎｅｔ（登録商標）　Ｂｏａｒｄ）２２は、イーサネット（登録商標）に接続可能とするものである。イーサネット（登録商標）を介してたとえばホスト装置に接続され、このホスト装置を介してインターネットに接続できるようになっている。また、ホスト装置を介さず、端末装置１を直接インターネットにオンライン接続して、コンテンツを提供するサービスを行っているサーバ装置に接続するようにしてもよい。
【００２９】
イメージプロセッシングユニット（Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２３にはカメラインタフェース（Ｃａｍｅｒａ　Ｉｎｔｅｒｆａｃｅ）２８が接続され、このカメラインタフェース２８には上記のＣＣＤカメラ３が接続されている。ＣＣＤカメラ３により撮影された画像はカメラインタフェース２８を通じて端末装置１内にデジタル画像として取り込まれ、表示部６に表示できるようになっている。
【００３０】
Ｖｉｓｃａインタフェース（Ｖｉｓｃａ　Ｉｎｔｅｒｆａｃｅ）２４には外部のパーソナルコンピュータ等が接続され、このインタフェースを介して端末装置１の各種の制御を行うことが可能とされている。
ＶＧＡボード（ＶＧＡ　Ｂｏａｒｄ）２５には上記の表示部６としての液晶表示装置が接続されている。
【００３１】
オーディオビデオインタフェース（Ａｕｄｉｏ＆Ｖｉｄｅｏ　Ｉｎｔｅｒｆａｃｅ）２６には、オーディオビデオ系の機器が接続されるようになっている。このインタフェース２６を介してオーディオビデオ系の機器からの信号を端末装置１内に取り込んだり、逆にオーディオ信号や画像信号をオーディオビデオ系の機器に出力することができる。
【００３２】
図３に、ＲＯＭ１６およびＳ−ＲＡＭ１７に記憶されたプログラムおよびデータの構成の一部を示す。
ＲＯＭ１６には、基本プログラム３１、コンテンツ処理プログラム３２、コード認識プログラム３３、コンテンツ取得プログラム３４、座標変換プログラム７１などが格納されている。
【００３３】
基本プログラム３１は、この端末装置１を動作させるために必要な基本的なプログラムである。
コンテンツ処理プログラム３２は、コンテンツとして取得した画像、サウンド、文書などを処理するためのプログラムであり、たとえば画像を描画するプログラム、サウンドを再生するプログラム、文書を処理するためのプログラムなどである。
【００３４】
コード認識プログラム３３は、コンテンツとして提供可能な画像を特定する情報（コード）が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域をカメラ３にて撮像することによって得られた画像情報に基づいて、上記画像パターンの回転方向を判別して、コンテンツとして提供可能な画像を特定する情報（コード）を認識する処理を行うためのプログラムである。
【００３５】
コンテンツ取得プログラム３４は、コード認識プログラム３３によって認識されたコードに基づき後述するコード変換テーブルを参照して目的の背景画像およびコンテンツテーブルを取得するためのプログラムである。
座標変換プログラム７１は、カメラ３により撮像された画像情報の撮像座標系から媒体座標系への座標変換を行うためのプログラムである。
なお、上記のコード認識プログラム３３、コンテンツ取得プログラム３４および座標変換プログラム７１は基本プログラム３１に含まれるものであってよい。
【００３６】
Ｓ−ＲＡＭ１７には、画像、サウンド、文書、アプリケーションプログラムなどのコンテンツの実体３５のほか、コンテンツテーブル３６、コード変換テーブル５０などが格納される。なお、これらのコンテンツの実体３５、コンテンツテーブル３６、コード変換テーブル５０は端末装置１に着脱自在な記憶媒体８に記憶させてもよい。
【００３７】
この端末装置１はスクロール表示機能を備えている。このスクロール表示機能はハードウェアもしくはソフトウェア、あるいはその両方によって実現される。
図４を用いて、この端末装置１のスクロール表示機能について説明する。
【００３８】
ここで、ＡＢは全体の背景画像であり、この全体の背景画像ＡＢはたとえばこれを縦横に等分割する複数（この例では４つ）の部分画像の領域Ａ１、Ａ２、Ｂ１、Ｂ２で構成される。なお、部分画像の領域の数は可変である。
図中点線で囲まれる領域Ｃは、背景画像ＡＢの中で実際の表示画面に表示される範囲である。すなわち、背景画像ＡＢは実際の表示画面より大きなサイズの画像であり、表示画面には常に全体の背景画像ＡＢのうち一部が表示されている。
【００３９】
端末装置１が右方向に移動されると、位置検出センサ２７によりその移動が検出されて表示画面の領域Ｃに対して背景画像ＡＢが右方向へスクロールされ、逆に端末装置１が左方向に移動されると、位置検出センサ２７によりその移動が検出されて表示画面の領域Ｃに対して背景画像ＡＢが左方向へスクロールされる。同様に、端末装置１が上（下）方向に移動されると、位置検出センサ２７によりその移動が検出され、表示画面の領域Ｃに対して背景画像ＡＢが上（下）方向へスクロールされる。
【００４０】
このように、端末装置１を左右上下に動かすことによって、背景画像ＡＢの全体を利用者が参照することができる。そして、全体の背景画像ＡＢの中で利用者が希望する部分画像の領域をスクロール操作によって表示画面の領域Ｃに表示させ、ＯＫボタン１０を押すことによって、その部分画像の領域を選択することができる。
【００４１】
上記背景画像ＡＢの各領域Ａ１、Ａ２、Ｂ１、Ｂ２は、ウェブや着脱自在な記憶媒体８より取得可能なコンテンツとコンテンツテーブル３６上で関連付けられており、ある一つの領域が選択されると、コンテンツテーブル３６上でその領域に関連付けられたコンテンツをウェブや着脱自在な記憶媒体８より取り込むことができる。すなわち、背景画像ＡＢの各領域Ａ１、Ａ２、Ｂ１、Ｂ２には、コンテンツテーブル３６によってそれぞれ個別の機能が設定されている。
【００４２】
図５に、コンテンツテーブル３６の一例を示す。
同図に示すように、コンテンツテーブル３６には、符号３７の項目に示される部分画像の領域Ａ１、Ａ２、Ｂ１、Ｂ２ごとに、これに関連付けられたコンテンツの情報として、少なくとも、コンテンツＩＤ３８、コンテンツ名３９、コンテンツ属性４０、コンテンツ価格４１、コンテンツ名４２などが登録されている。
【００４３】
コンテンツＩＤ３８は、システムがコンテンツを識別するために個々のコンテンツごとにユニークに付与された識別情報である。
コンテンツ名３９とは、便宜上利用者等がコンテンツを識別するために個々のコンテンツに付けられた名前である。
【００４４】
コンテンツ属性４０とは、たとえばコンテンツの入手日時、作成日時、バージョン番号などの属性情報である。
コンテンツ価格４１とは、コンテンツの入手に対して課される料金あるいはコンテンツの利用に対して課される料金等である。
【００４５】
コンテンツ名４２は、たとえばＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）など、ウェブ上でのコンテンツの置き場所を示す情報である。
端末装置１は、このようなコンテンツテーブルを背景画像の情報とともに外部から入手し、Ｓ−ＲＡＭ１７や着脱自在な記憶媒体８に保存する。
【００４６】
背景画像とコンテンツテーブルの入手方法には、たとえば、ウェブ上に背景画像とコンテンツテーブルを提供するサービスを行うサイトを設けておき、このサイトに端末装置１からアクセスして所望の背景画像とこれに対応するコンテンツテーブルとをダウンロードする方法、背景画像とコンテンツテーブルが記憶されたスティック状の記憶媒体８を購入して端末装置１に装着し、ここから所望の背景画像とこれに対応するコンテンツテーブルとを読み込む方法などがある。
なお、前者の場合、背景画像とコンテンツテーブルを提供するサービスを行うサイトは一つのサイトであっても複数のサイトであっても構わない。
【００４７】
また、後者の場合、背景画像と、コンテンツテーブルの入手場所を示すコンテンツテーブル名とを記憶媒体８に記憶しておき、コンテンツテーブルについてはウェブ上のサイトから端末装置１が配信を受けるようにしてもよい。
さらに、前者の、ウェブ上のサイトから背景画像とこれに対応するコンテンツテーブルとを取得する場合、利用者に様々な背景画像とこれに関連する情報を紹介することによってそれらの取得を利用者に喚起し、そのなかで利用者に希望の背景画像を選択させることによって、その選択された背景画像とコンテンツテーブルを提供するようにしてもよい。以下に、この仕組みについて詳細に説明する。
【００４８】
この端末装置１では、上記の仕組みを実現する手段の一つとして、背景画像を特定するコードを所定の画像パターンの回転方向によって符号化する技術を用いている。
そこで、かかる符号化技術について説明する。
図６に、画像パターンの回転方向によって符号化された情報を含む認識対象画像４７とこの認識対象画像４７が記載された情報入力媒体４３の例を示す。
【００４９】
同図に示す情報入力媒体４３は、たとえば冊子状の媒体であり、この情報入力媒体４３の各ページ４４には、たとえば背景画像（の見本）４５と、この背景画像４５に関する情報として画像名（ｔｉｔｌｅ）、関連付けられたコンテンツ名（ｃｏｎｔｅｎｔｓ）、価格（ｐｒｉｃｅ）などの詳細情報４６と、上記の認識対象画像４７が少なくとも記載されている。ここで認識対象画像４７は同ページに掲載されている背景画像に対応させたコードを符号化した情報である。
【００５０】
たとえば、図中左側のページ（４４Ｌ）の背景画像（４５Ｌ）は、４つの異なる都会の部分画像４５Ｌ（Ａ１），４５Ｌ（Ａ２），４５Ｌ（Ｂ１），４５Ｌ（Ｂ２）により全体画像が構成され、画像名（ｔｉｔｌｅ）として「都会のパノラマ風景」が付けられている。
【００５１】
コンテンツ名（ｃｏｎｔｅｎｔｓ）は、上記４つの異なる都会の部分画像４５Ｌ（Ａ１），４５Ｌ（Ａ２），４５Ｌ（Ｂ１），４５Ｌ（Ｂ２）にそれぞれ設定された機能の内容を示しており、この例では「カレンダー」「地図検索」「道路検索」「電卓」といった実用機能が個々の都会の部分画像に設定されていることを示している。
【００５２】
これらの実用機能は、たとえば、ウェブ上の特定のサイトで提供されているサービスであったり、あるいは、端末装置１上で実行される形式のアプリケーションプログラムであってもよい。前者の場合、コンテンツテーブルに示すコンテンツの入手場所は、サービスを提供するウェブサイトのページなどであり、後者の場合はアプリケーションプログラムのダウンロード用のページなどである。
【００５３】
また、図中右側のページ（４４Ｒ）の背景画像（４５Ｒ）は、４つの異なる乗り物の部分画像４５Ｒ（Ａ１），４５Ｒ（Ａ２），４５Ｒ（Ｂ１），４５Ｒ（Ｂ２）により全体画像が構成され、画像名（ｔｉｔｌｅ）として「乗り物」が付けられている。上記４つの異なる部分画像４５Ｒ（Ａ１），４５Ｒ（Ａ２），４５Ｒ（Ｂ１），４５Ｒ（Ｂ２）には、「ゲーム１」「ゲーム３」「音楽１」「イラスト１」の機能が設定されていることを示している。たとえば「音楽１」「イラスト１」といったコンテンツ名はこれがダウンロード対象のコンテンツであって、端末装置１上で鑑賞できる音楽、画像であることを意味する。
【００５４】
図７に認識対象画像４７の一例を示す。同図に示すように、認識対象画像４７は１つ以上の画像パターン４８（４８ａ，４８ｂ，４８ｃ，４８ｄ）とこれらの画像パターン４８（４８ａ，４８ｂ，４８ｃ，４８ｄ）を一体に囲う矩形の枠線４９とで構成される。
【００５５】
図８に示すように、画像パターン４８は８つの回転モードを持ち、その方向によって８種類のコードが割り当てられている。したがって、たとえば、４個の画像パターンで、８６　＝４０９６種類のコードを定義することができる。たとえば図７の認識対象画像４７のコードは”８５７２”である。
【００５６】
図９に、情報入力媒体４３に記載されている認識対象画像４７からコードを認識する処理の流れを示す。
端末装置１の利用者は、たとえば図６に示した情報入力媒体４３の各ページ４４に掲載されている背景画像の見本４５とその詳細情報４６を参考に、取得したい背景画像があればそのページ４４に記載されている認識対象画像４７を端末装置１のカメラ３で撮像する。
【００５７】
認識対象画像４７を撮像してコード認識を行う場合、利用者はボタン操作等によって端末装置１を通常の撮像モードからコード認識モードに切り替える。コード認識モードが設定されると、カメラ３で撮像された画像データに対してコード認識のための以下の処理が実行される。
【００５８】
まず、画像データの前処理として、ノイズ除去、濃淡処理、しきい値調整などを行われる（ステップ９０１）。次に全体の画像の中から枠線４９を検出し、検出された枠線４９内の画像データを切り出す。そして検出された枠線４９内の画像データについて、撮像座標系から媒体座標系への変換を行うことによって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪の成分を取り除く処理を行う（ステップ９０２）。この歪補正処理については後で詳述する。
【００５９】
次に、このように歪成分か除去された枠線４９内の画像データから個々の画像パターンを抽出する処理を行う（ステップ９０３）。この画像パターン抽出処理は、たとえば、図１０に示すように、個々の画像パターン４８の濃淡値の重心座標６８と外接矩形６９を求めることによって行われる。
【００６０】
次に、この画像パターン抽出処理によって求められた画像パターン４８の濃淡値の重心座標と外接矩形の縦横比をパラメータとして、たとえば図１１に示すような方向特徴テーブルを参照することにより、画像パターン４８の回転モード（方向）を求める。そして求めた画像パターンの方向に対応するコードを、図８に示した画像パターンの方向とコードとの対応を示す情報に基づいて判定する（ステップ９０４）。
【００６１】
さらに、このようにして４つの画像パターンについて判定されたコードと、あらかじめ定義された図１２に示すようなコードの候補群７０とを比較し、最も距離の近いコードを認識対象画像４７の認識結果として判定する（ステップ９０５）。ここでの距離とは、４つの画像パターンそれぞれについての判定コードと定義コードとの差の総和である。いずれの距離も予め定められたしきい値を越えている場合には認識不可となる。
【００６２】
以上により、端末装置１は、情報入力媒体４３に掲載された背景画像の中で利用者が取得することを希望する背景画像の掲載ページ４４に記載されている認識対象画像４７の認識結果であるコードを得ることができる。
【００６３】
次に、最小二乗法を用いた撮像座標系から媒体座標系への座標変換について詳述する。
一般に、二次元平面での座標変換は、下式（１），（２）のように記述できる。
2004094909.tif 000003
いま、撮像面上で検出されたｎ個の画像パターンの位置を（ｘｉ，ｙｉ）（ｉ＝１，…，ｎ）とし、この位置に対応する認識対象座標系上の座標値をそれぞれ（Ｘｉ，Ｙｉ）とすると、（Ｘｉ，Ｙｉ）と（ｘｉ，ｙｉ）との関係は式（１），（２）となり、ａｘ，ｂｘ，ｃｘおよびａｙ，ｂｙ，ｃｙを定められれば撮像面上の任意の点をこの変換によって認識対象座標系上での座標値に変換できる。３点（ｎ＝３）について（Ｘｉ，Ｙｉ）と（ｘｉ，ｙｉ）の値か与えられれば、パラメータ｛ａｘ，ｂｘ，ｃｘ｝および｛ａｙ，ｂｙ，ｃｙ｝を求めることができる。しかし、この端末装置１では、複数の画像パターンを含んだ領域が撮像されることを想定しており、また、撮像される画像はあおりや回転歪のみでなく、撮像画面上での座標検出誤差や、認識対象画像が撮像平面から外れることによる誤差等も考えられる。
【００６４】
そこで、撮像領域全体にわたる点の座標値ができるだけ少ない誤差で認識対象座標系上の座標値に変換できるように最小２乗法によって上記の変換パラメータ｛ａｘ，ｂｘ，ｃｘ｝および｛ａｙ，ｂｙ，ｃｙ｝を定めることとした。
すなわち、下式（３）で示される平均２乗誤差Ｊを最小にするようなパラメータ｛ａｘ，ｂｘ，ｃｘ｝および｛ａｙ，ｂｙ，ｃｙ｝を求める。
2004094909.tif 000004
このＪが最小値（極値）をとる変換パラメータ｛ａｘ，ｂｘ，ｃｘ｝および｛ａｙ，ｂｙ，ｃｙ｝を求めるため、Ｊを各パラメータについて偏微分したものを０とおき下式（４），（５）を得る。
2004094909.tif 000005
上式（４），（５）をそれぞれ解くことによって座標変換パラメータ｛ａｘ，ｂｘ，ｃｘ｝および｛ａｙ，ｂｙ，ｃｙ｝が求まる。
2004094909.tif 000006
の逆行列とする。
すなわち、
図１３に、認識対象画像４７のデータの撮像座標系から媒体座標系への座標変換の結果を示す。同図において、（ａ）は認識対象画像４７（情報入力媒体４３）をカメラ３に向かって右に回転された場合の撮像座標系の画像７２ａから媒体座標系の画像７３ａへ変換結果、（ｂ）は認識対象画像４７をカメラ３に向かって左に回転された場合の撮像座標系の画像７２ｂから媒体座標系の画像７３ｂへ変換結果である。
このように、最小二乗法による座標変換により、撮像座標系から媒体座標系への変換を良好に行うことができる。
【００６５】
次に、このように認識対象画像４７を認識することによって得たコードから背景画像およびコンテンツテーブルを特定する方法について説明する。
コードから、これに対応させた背景画像とコンテンツテーブルを特定するために、たとえば図１４に示すようなコード変換テーブル５０が用いられる。
【００６６】
同図に示すように、このコード変換テーブル５０には、コード５１、背景画像ＩＤ５２、背景画像名５３、画像価格５４、コンテンツテーブル名５５などが対応付けて登録されている。
ここで、コード５１は、コード変換テーブル５０の個々の項目にユニークに割り当てられたコードであり、このコードを上記画像パターンの回転方向によって符号化したものが、上記の認識対象画像４７の画像パターン４８である。
【００６７】
画像名５２は、背景画像を特定するための情報であり、たとえばＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）など、ウェブ上での背景画像の置き場所を示す情報からなる。
画像ＩＤ５３は、システムが個々の背景画像を識別するための情報である。
画像価格５４は、背景画像とコンテンツテーブルの入手に対して課される料金である。
コンテンツテーブル名５５は、背景画像に対応付けられたコンテンツテーブルを特定するための情報である。たとえばＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）など、ウェブ上でのコンテンツテーブルの置き場所を示す情報からなる。
【００６８】
図１５は背景画像、コンテンツテーブル、コンテンツを端末装置１に提供するシステム構成を示す図である。
【００６９】
同図に示すように、ウェブ（インターネット）６０上には、コンテンツを提供するコンテンツ提供サイト６１、背景画像とコンテンツテーブルを提供する背景画像・コンテンツテーブル提供サイト６２、そしてコード変換テーブルを提供するコード変換テーブル提供サイト６３が設けられている。ただし、背景画像とコンテンツテーブルは別々のサイトによって提供されるものであってよいし、コンテンツ、背景画像、コンテンツテーブル、コード変換テーブルが同じサイトから取得可能であってもよい。すなわち、コンテンツ、背景画像、コンテンツテーブル、コード変換テーブルの提供元はウェブ上のどこかに存在していればよい。また、記憶媒体８から端末装置１が直接入手してもよい。
【００７０】
コンテンツ提供サイト６１は、コンテンツのソース６４を管理しており、端末装置１からのコンテンツ配信要求ＲＱ１に対する応答ＲＳ１として、該当するコンテンツを端末装置１に提供するサービスを行う。
背景画像・コンテンツテーブル提供サイト６２は、背景画像のソース６５とコンテンツテーブルのソース６６とを管理しており、端末装置１からの背景画像・コンテンツテーブル配信要求ＲＱ２に対する応答ＲＳ２として、該当する背景画像とコンテンツテーブルを端末装置１に配信するサービスを行う。
【００７１】
コード変換テーブル提供サイト６３は、コード変換テーブルのソース６７を管理しており、端末装置１からのコード変換テーブル配信要求ＲＱ３に対する応答ＲＳ３として、該当するコード変換テーブルを端末装置１に配信するサービスを行う。なお、端末装置１にはデフォルトのコード変換テーブルが設定されていてもよい。
また、端末装置１は、装着された記憶媒体８を読み込んで、この記憶媒体８からコンテンツ、背景画像、コンテンツテーブル、コード変換テーブルを入手することも可能である。
【００７２】
次に、この実施形態の端末装置１の動作を説明する。
図１６に、端末装置１がウェブから背景画像、コンテンツテーブル、コンテンツを取得する場合の動作の流れを示す。
【００７３】
まず、端末装置１の利用者は、図６に示した情報入力媒体４３から取得したい背景画像とコンテンツテーブルがあれば、ボタン操作等によって端末装置１にコード認識モードを設定する。このコード認識モードが設定されることによって、コード認識プログラム３３が起動され（ステップ１６０１）、以降カメラ３により撮像された画像データに対して上記のコード認識が行われるようになっている。
【００７４】
コード認識プログラム３３は、起動後、まずコード変換テーブル５０の所有を確認する（ステップ１６０２）。コード変換テーブル５０を所有していないことを確認したならば、このコード変換テーブル５０をウェブ６０や記憶媒体８などから取り込む処理が行われる（ステップ１６０３）。ただし、端末装置１内にデフォルトのコード変換テーブル５０を用意しておくことで、外部からのコード変換テーブル５０の取り込みは不要である。
【００７５】
また、外部からコード変換テーブル５０を取り込む方法としては、端末装置１内にコード変換テーブル提供サイト６３のＵＲＬをデフォルトで登録しておき、コード認識プログラム３３がこのＵＲＬを読み込んでコード変換テーブル提供サイト６３へのオンライン接続を実行し、同サイト６３から自動的に取り込む方法などが考えられる。
【００７６】
コード変換テーブル５０の所有が確認できたなら（ステップ１６０２のＹＥＳ）、情報入力媒体４３に紹介されているもののなかから取得したい背景画像の掲載ページに記載された認識対象画像４７の記載領域をカメラ３で撮像する（ステップ１６０４）。
次に、カメラ３で撮像された認識対象画像４７の情報に対して上述した認識処理が行われ、利用者が選択した背景画像に対応するコードが得られる（ステップ１６０５）。
【００７７】
続いて、コード認識プログラム３３は、コード変換テーブル５０から、上記コードに対応付けられている画像名５２およびコンテンツテーブル名５５を調べる（ステップ１６０６）。
たとえば、図６において図中右側のページ（４４Ｒ）の認識対象画像（４７Ｒ）をカメラ３で撮像した場合、認識結果としてコード”８５７２”が得られ、このコードを基にたとえば図１２に示したコード変換テーブル５０から、画像ＩＤが”２”の項目の画像名とコンテンツテーブル名とが得られる。
【００７８】
すると後述する課金のための処理を挟んで（ステップ１６０７，１５０８）、端末装置１から背景画像・コンテンツテーブル提供サイト６２に目的の背景画像とコンテンツテーブルの配信要求ＲＱ２が送られる（ステップ１６０９）。
背景画像・コンテンツテーブル提供サイト６２は、この端末装置１からの要求ＲＱ２に対する応答ＲＳ２として、該当する背景画像とコンテンツテーブルを端末装置１に配信する。端末装置１は背景画像とコンテンツテーブルを受信してこれらをＳ−ＲＡＭ１７に保存する（ステップ１６１０）。
【００７９】
このようにして端末装置１は、画像名が「乗り物」の背景画像と、この背景画像の個々の部分画像に設定されている各種機能を取得するために必要なコンテンツテーブル（図５）を入手することができる。
以後、端末装置１にて、入手した背景画像を表示画面に表示させることができる（ステップ１６１１）。そして上記のスクロール操作によって、背景画像の中の任意の部分画像の領域を表示画面に表示させ、ＯＫボタン１０を押すことによって、その表示された部分画像の領域に設定されている機能が選択される（ステップ１６１２）。
【００８０】
ここで、たとえば図４に示した例において、領域Ｂ２が選択されたとする。すると図５に示したコンテンツテーブル３６から、この選択された領域Ｂ２に関連付けられている情報が読み出され、たとえば以下の処理が行われる。
【００８１】
後述する課金のための処理が行われた後（ステップ１６１３，１５１４）、端末装置１は、コンテンツテーブル３６から領域Ｂ２に関連付けられているコンテンツの入手場所４２を読み込む。そして、このコンテンツの入手場所４２が示すコンテンツ提供サイト６１にアクセスし、このコンテンツ提供サイト６１に対してコンテンツの提供を要求する（ステップ１６１５）。
コンテンツ提供サイト６１は、この要求ＲＱ１に応じて端末装置１にコンテンツを提供する（ステップ１６１６）。
【００８２】
次に、課金処理について説明する。
コンテンツテーブル３６にはコンテンツごとのコンテンツ価格４１が設定されている。このコンテンツ価格４１は、コンテンツの入手や利用に対して課せられる料金である。このコンテンツ価格４１に基づいて、端末装置１へのコンテンツの提供について課金処理を行うことが可能になる。
【００８３】
たとえば、背景画像の中の部分画像の領域が選択された後（ステップ１６１２）、この選択された領域に関連付けられているコンテンツのコンテンツ価格４１をコンテンツテーブル３６から読み出して端末装置１の表示画面に表示し、課金についての利用者の承諾を求める（ステップ１６１３）、利用者が課金に承諾したならば（ステップ１６１４のＹＥＳ）、端末装置１がコンテンツ提供サイト６１からコンテンツの配信を受けることを許可する。
【００８４】
このとき、ウェブ６０を通じて端末装置１からコンテンツ提供サイト６１へ、利用者のＩＤ、コンテンツＩＤ、コンテンツ価格等が送られることで、これらの情報に基づいて画像提供者側で課金処理を行うことができる。また、端末装置１の側で一定期間分のコンテンツの入手や利用についての課金金額を計算し、この課金金額と利用者のＩＤを画像提供者へ送るようにしてもよい。
【００８５】
また、コード変換テーブル５０には、背景画像ごとの画像価格５４が設定されており、この画像価格５４に基づいて、端末装置１への背景画像の提供について課金処理を行うことが可能である。
たとえば、認識対象画像４７の認識結果であるコードが得られた後（ステップ１６０５）、端末装置１は、このコードに対応する背景画像の画像価格５４をコード変換テーブル５０から読み出して端末装置１の表示画面に表示し、課金についての利用者の承諾を求める（ステップ１６０７）。利用者が課金に承諾したならば（ステップ１６０８のＹＥＳ）、端末装置１が背景画像・コンテンツテーブル提供サイト６２から背景画像とコンテンツテーブルの配信を受けることを許可する。
【００８６】
このとき、ウェブ６０を通じて端末装置１から背景画像・コンテンツテーブル提供サイト６２へ、利用者のＩＤ、画像ＩＤ、画像価格等が送られることで、これらの情報に基づいて背景画像・コンテンツテーブル提供者側で課金処理を行うことができる。
また、端末装置１の側で一定期間分の背景画像とコンテンツテーブルの入手や利用についての課金金額を計算し、この課金金額と利用者のＩＤを背景画像・コンテンツテーブル提供者へ送るようにしてもよい。
【００８７】
なお、記憶媒体８から背景画像とコンテンツテーブルを入手する場合は、記憶媒体８に、背景画像の読み込みに対し、オンラインでの課金処理を行うプログラムを記憶しておく。このプログラムは、記憶媒体８からの背景画像の読み出しが発生すると、コード変換テーブル５０から当該背景画像の画像価格５４を読み出して端末装置１の表示画面に表示させ、課金についての利用者の承諾を求める。利用者が課金に承諾したならば、プログラムは、端末装置１に記憶媒体８からの目的の背景画像の読み込みを許可する。このときプログラムは端末装置１をウェブ上の課金用のサーバにオンライン接続し、読み出された背景画像の画像ＩＤ、画像価格、利用者のＩＤ等をサーバに送る。これによりサーバで課金処理が行われる。
なお、記憶媒体８の購入時に背景画像とコンテンツテーブルの権利を同時に購入する場合は、上記のような課金の機能は不要であることは言うまでもない。
【００８８】
以上説明したように、この端末装置１は、情報入力媒体４３に記載された認識対象画像４７を端末装置１に装備されたカメラ３で撮像し、認識処理を行うことによって、利用者が所望する背景画像とこの背景画像に付加価値として設けられた機能を利用するために必要なコンテンツテーブルを取得することができる。すなわち、利用者自身で背景画像やコンテンツテーブルの置き場所をサーチするといった手間を要することなく、容易に背景画像とコンテンツテーブルを入手することができる。
【００８９】
また、最小二乗法による撮像座標系から媒体座標系への座標変換によって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪を画像データから除去し、この歪が除去された画像データから画像パターン４８の回転方向を判別することによって、背景画像とコンテンツテーブルを特定するコードを精度良く認識することが可能になる。
【００９０】
また、コンテンツとして提供可能な背景画像やコンテンツテーブルを特定するコードを画像パターンの回転方向によって符号化する方式は、符号化できるコード長を自由に選択できるので、提供可能なコンテンツの数の増大に柔軟に対応することができる。
【００９１】
さらに、この端末装置１は、領域ごとに様々な機能が設定された画像を表示画面の背景画像として設定でき、画面のスクロールによって領域を選択してその領域に設定された機能を選択実行することができる。したがって、表示画面のサイズが小さくても、簡単な操作で、背景画像の交換を通じて、様々な機能を利用することができる。
【００９２】
本発明は、以上の実施形態に限定されるものではない。
背景画像を区分する部分画像の数は４に限らない。４未満でも、５以上でもよい。
画面のスクロールは、領域の単位で行われてもよい。設定により、スクロールの分解能を可変できるようにしてもよい。
【００９３】
記憶媒体には、背景画像とコンテンツテーブルの両方が記憶されていてもよい。また、記憶媒体には、背景画像ではなく、コンテンツテーブルおよび／またはコンテンツが記憶されていてもよい。
一つの背景画像に対して複数のコンテンツテーブルの中から取得したいテーブルを選択できるようにしてもよい。すなわち、背景画像の領域に割り当てられる機能を選択できるようにしても構わない。
【００９４】
記憶媒体としては、コピーガード付きのメモリーデバイス等、不正コピー防止技術を用いたものでもよい。
符号化のための画像パターン４８は、様々なものを利用可能である。図１７に、他の画像パターン４８−１，４８−２，４８−３の例を示す。
情報入力媒体４３は、冊子状のものに限定されない。認識対象画像４７を記載可能なものであれば、いかなる物品を用いてもよい。
【００９５】
また、本発明は、上記の端末装置１への適用に限定されるものではなく、入力すべき情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域を撮像する撮像手段と、この撮像手段により撮像された画像情報の座標を撮像座標系から媒体座標系に最小二乗法により変換する座標変換手段と、この座標変換手段により変換された画像情報に基づいて画像パターンの回転方向を判別して前記入力すべき情報を認識する認識手段とを具備する、あらゆる形態の情報入力装置への適用も可能である。
【００９６】
【発明の効果】
以上説明したように、本発明によれば、最小二乗法による撮像座標系から媒体座標系への座標変換によって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪を画像データから除去し、この歪が除去された画像データから画像パターンの回転方向を判別することによって、入力すべき情報を精度良く認識することができる。
【図面の簡単な説明】
【図１】図１は本発明の実施の一形態に係る端末装置の外観を概略的に示す斜視図である。
【図２】この端末装置のハードウェア構成を示すブロック図である。
【図３】この端末装置のプログラムおよびデータの構成の一部を示すブロック図である。
【図４】この端末装置のスクロール表示機能を説明するための図である。
【図５】コンテンツテーブルの一例を示す図である。
【図６】認識対象画像が記載された情報入力媒体の例を示す図である。
【図７】認識対象画像の例を示す図である。
【図８】認識対象画像を構成する画像パターンの回転モードとコードとの関係を示す図である。
【図９】情報入力媒体に記載されている認識対象画像からコードを認識する処理の流れを示す図である。
【図１０】画像パターンの抽出処理を示す図である。
【図１１】方向特徴テーブルの例を示す図である。
【図１２】コード認識結果を判定するために用いられる候補コード群の例を示す図である。
【図１３】最小二乗法による撮像座標系から媒体座標系への座標変換の例を示す図である。
【図１４】コード変換テーブルの例を示す図である。
【図１５】背景画像、コンテンツテーブル、コンテンツを端末装置に提供するネットワークシステムの構成を示す図である。
【図１６】この端末装置の動作を示すフローチャートである。
【図１７】画像パターンの他の例を示す図である。
【符号の説明】
１　　　端末装置
３　　　カメラ
６　　　表示部
７　　　操作領域
８　　　記憶媒体
２７　　　位置検出センサ
３１　　　基本プログラム
３２　　　コンテンツ処理プログラム
３３　　　コード認識プログラム
３４　　　コンテンツ取得プログラム
３５　　　コンテンツの実体
３６　　　コンテンツテーブル
４３　　　情報入力媒体
４７　　　認識対象画像
４８　　　画像パターン
５０　　　コード変換テーブル
７１　　　座標変換プログラム
７２ａ，７２ｂ　　　撮像座標系の画像
７３ａ，７３ｂ　　　媒体座標系の画像
【図１】
2004094909.tif 000007
【図２】
2004094909.tif 000008
【図３】
2004094909.tif 000009
【図４】
2004094909.tif 000010
【図５】
2004094909.tif 000011
【図６】
2004094909.tif 000012
【図７】
2004094909.tif 000013
【図８】
2004094909.tif 000014
【図９】
2004094909.tif 000015
【図１０】
2004094909.tif 000016
【図１１】
2004094909.tif 000017
【図１２】
2004094909.tif 000018
【図１３】
2004094909.tif 000019
【図１４】
2004094909.tif 000020
【図１５】
2004094909.tif 000021
【図１６】
2004094909.tif 000022
【図１７】
2004094909.tif 000023