(57)【要約】  【課題】  ビジュアルコードとの位置関係を利用して、数値の入力を行い、ビジュアルコードに付与された情報を閲覧しながら操作し、従来困難であったコンテンツを連携させたアプリケーションの実装を簡易に行う。  【解決手段】  携帯端末等のカメラで、ビジュアルコードを撮像し（１５１）、携帯端末等を所定の動きで動かし、ビジュアルコードの頂点座標と識別番号を取得する（１５４）。取得した識別番号を元に、ビジュアルコード情報を取得し、その情報を基にカメラ映像から算出する位置関係の要素、数値入力の対象情報を取得する（１５５）。その後、カメラ映像から位置関係を算出し、数値へ変換する（１５８）。数値は携帯端末等の入力対象へ入力され、端末等のモニタ上でカメラ映像に数値が入力された結果を示す画像が重畳表示される（１６０）。  【選択図】  図１３
2006114943.tif 000002
【特許請求の範囲】
【請求項１】
所定の形状を持つビジュアルコードと撮像手段を用いた数値入力方法であって、
撮像手段による映像中のビジュアルコードの領域を検出するステップと、
前記ビジュアルコードの領域の形状からビジュアルコードと撮像手段の位置関係を算出するステップと、
前記位置関係を示す位置関係ベクトルを数値に変換するステップと
を持つことを特徴とする数値入力方法。
【請求項２】
請求項１に記載の数値入力方法において、
前記位置関係ベクトルは、
撮像手段の撮影方向に対するビジュアルコードの傾きを示すパラメータと、
撮像手段とビジュアルコードの間の距離を示すパラメータと、
撮像手段の位置からビジュアルコードの位置への方向を示すパラメータのうちひとつ、あるいはいずれかを組み合わせたステップである
ことを特徴とする数値入力方法。
【請求項３】
請求項１に記載の数値入力方法において、
前記数値へ変換するステップが、前記位置関係ベクトルを所定の関数に代入し、数値へと変換する
ことを特徴とする数値入力方法。
【請求項４】
請求項１に記載の数値入力方法において、
前記数値へ変換するステップが、前記位置関係ベクトルと一定時間前に算出された位置関係ベクトルとを、所定の関数に代入し、数値へ変換する
ことを特徴とする数値入力方法。
【請求項５】
請求項１、３及び４に記載の数値入力方法において、
前記算出された数値あるいは位置関係ベクトルを、表示ステップにより文字や図形で表示する
ことを特徴とする数値入力方法。
【請求項６】
所定の形状を持つビジュアルコードと撮像手段を用いた数値入力装置であって、
撮像手段による映像中のビジュアルコードの領域を検出する手段と、
前記ビジュアルコードの領域の形状からビジュアルコードと撮像手段の位置関係を算出する手段と、
前記位置関係を示す位置関係ベクトルを数値に変換する手段と
を持つことを特徴とする数値入力装置。
【請求項７】
請求項６に記載の数値入力装置において、
前記位置関係ベクトルは、
撮像手段の撮影方向に対するビジュアルコードの傾きを示すパラメータと、
撮像手段とビジュアルコードの間の距離を示すパラメータと、
撮像手段の位置からビジュアルコードの位置への方向を示すパラメータのうちひとつ、あるいはいずれかを組み合わせた手段である
ことを特徴とする数値入力装置。
【請求項８】
請求項６に記載の数値入力装置において、
前記数値へ変換する手段が、前記位置関係ベクトルを所定の関数に代入し、数値へと変換する
ことを特徴とする数値入力装置。
【請求項９】
請求項６に記載の数値入力装置において、
前記数値へ変換する手段が、前記位置関係ベクトルと一定時間前に算出された位置関係ベクトルとを、所定の関数に代入し、数値へ変換する
ことを特徴とする数値入力装置。
【請求項１０】
請求項６、８及び９に記載の数値入力装置において、
前記算出された数値あるいは位置関係ベクトルを、表示手段により文字や図形で表示する
ことを特徴とする数値入力装置。
【請求項１１】
請求項１〜５のいずれかに記載の数値入力方法におけるステップを、コンピュータに実行させるためのプログラムとした
こと特徴とする数値入力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の形状を持つビジュアルコードとカメラの位置関係を算出し、該位置関係を数値に変換し、入力する数値入力方法及び装置並びに数値入力プログラム関するものである。
【背景技術】
【０００２】
従来よりＰＤＡ、携帯電話等の小型携帯情報端末には、ハードウェアの制限がある。特に今日普及している携帯電話は、表示のための液晶ディスプレイは小さく、多くの情報を同時に表示することは難しい。また、携帯電話には数字キーや各機能を持つ小さなボタンが最小限に配置され、ユーザはこれらの小さなボタンを利用しなければならない。
【特許文献１】特開平０８−１２９５５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献１などでは、ＰＤＡでは片手でボタン操作が行い難い問題の解決や、ユーザが端末を持った方向に書類の向きを合わせた自動提示システム構築を目的とし、端末に姿勢検出手段を付加し、端末を動かすことで、情報を入力あるいは提示する技術が開示されている。
【０００４】
しかし、通常、小型携帯情報端末上で複数の数値を設定する場合、数値設定の対象を画面で切り替えながら、煩雑なボタン操作でそれぞれの数値を入力する情報端末がほとんどであり、小型携帯情報端末の操作が複雑になりやすい。このため、小型携帯情報端末では、複数のコンテンツが連携したアプリケーションを実現することが難しい。
【０００５】
例えば、小型携帯情報端末を用いて、地図を表示させながら、その地図上の施設を指定し、さらに時刻を指定して該施設を予約するといったアプリケーションは、画面の切り替えや、煩雑な数値入力を何回も行わねばならないため、特に操作が煩雑になりやすいという問題点がある。
【０００６】
本発明は、上記の事情に鑑みてなされたもので、紙面に付与したビジュアルコードを画像処理によって検出し、端末とビジュアルコードの位置関係を算出し、さらに数値へ変換し、端末へ該数値を入力したり、既存の多くの端末が備えているデジタルカメラを使用するため、姿勢検出のためのデバイスの追加が不要であるという利点があり、上記従来技術とは目的も姿勢や位置の検出手法も異なる数値入力方法及び装置並びに数値入力プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、所定の形状を持つビジュアルコードと撮像手段を用いた数値入力方法であって、撮像手段による映像中のビジュアルコードの領域を検出するステップと、前記ビジュアルコードの領域の形状からビジュアルコードと撮像手段の位置関係を算出するステップと、前記位置関係を示す位置関係ベクトルを数値に変換するステップとを持つことを特徴とする。
【０００８】
あるいは、前記位置関係ベクトルは、撮像手段の撮影方向に対するビジュアルコードの傾きを示すパラメータ、または、撮像手段とビジュアルコードの間の距離を示すパラメータ、または、撮像手段の位置からビジュアルコードの位置への方向を示すパラメータのひとつ、あるいはいずれかを組み合わせたステップであることを特徴とする。
【０００９】
あるいは、前記数値へ変換するステップが、前記位置関係ベクトルを所定の関数に代入し、数値へと変換することを特徴とする。
【００１０】
あるいは、前記数値へ変換するステップが、前記位置関係ベクトルと一定時間前に算出された位置関係ベクトルとを、所定の関数に代入し、数値へ変換することを特徴とする。
【００１１】
あるいは、前記算出された数値あるいは位置関係ベクトルを、表示ステップにより文字や図形で表示することを特徴とする。
【００１２】
また、所定の形状を持つビジュアルコードと撮像手段を用いた数値入力装置であって、撮像手段による映像中のビジュアルコードの領域を検出する手段と、前記ビジュアルコードの領域の形状からビジュアルコードと撮像手段の位置関係を算出する手段と、前記位置関係を示す位置関係ベクトルを数値に変換する手段とを持つことを特徴とする。
【００１３】
あるいは、前記位置関係ベクトルは、撮像手段の撮影方向に対するビジュアルコードの傾きを示すパラメータ、または、撮像手段とビジュアルコードの間の距離を示すパラメータ、または、撮像手段の位置からビジュアルコードの位置への方向を示すパラメータのひとつ、あるいはいずれかを組み合わせた手段であることを特徴とする。
【００１４】
あるいは、前記数値へ変換する手段が、前記位置関係ベクトルを所定の関数に代入し、数値へと変換することを特徴とする。
【００１５】
あるいは、前記数値へ変換する手段が、前記位置関係ベクトルと一定時間前に算出された位置関係ベクトルとを、所定の関数に代入し、数値へ変換することを特徴とする。
【００１６】
あるいは、前記算出された数値あるいは位置関係ベクトルを、表示手段により文字や図形で表示することを特徴とする。
【００１７】
さらに、数値入力方法におけるステップを、コンピュータに実行させるためのプログラムとしたこと特徴とする。
【発明の効果】
【００１８】
以上述べたように、本発明によれば、ビジュアルコードとの位置関係を利用して、数値の入力を行い、さらにビジュアルコードを付与した紙面等に印刷された情報を閲覧しながら操作することで、従来の携帯電話端末では、困難であったコンテンツを連携させたアプリケーションの実装を簡易に行うことができる。
【００１９】
また、本発明によれば、音量を実際に携帯電話端末を回すことで調整でき、ユーザは、従来のボタンによる操作よりも連続量を直感的に入力することができ、また地図上で施設を指定し、さらに予約をするといった前記システムを容易に構築することができる。
【発明を実施するための最良の形態】
【００２０】
以下本発明の実施の形態を図面に基づいて説明する。本実施の形態で以下に説明する図１のシステムは、携帯情報端末である携帯電話端末１と紙面に印刷されたビジュアルコード２０（図２）から構成される。本システムでは、ユーザが、携帯電話端末１の撮像手段であるカメラで、ビジュアルコード２０を撮像し、携帯電話端末１を所定の動きで動かすことで、携帯電話端末１に数値を入力するものである。
［情報端末の構成］
次に本実施の形態で使用する携帯電話端末１について説明する。図１において、携帯電話端末１は、データを保存する内蔵メモリ２、インターネットを利用する無線通信手段３、他の電子機器と通信するための赤外線通信手段４、撮像手段であるデジタルカメラ５、入力手段である操作ボタン６、画像処理等の情報処理を行うＣＰＵ７、表示手段である液晶モニタ８を備える。
【００２１】
ＣＰＵ７は、画像処理等の情報処理を行なうために、識別番号取得手段７ａ、ビジュアルマーカ検出手段７ｂ、ビジュアルコード情報取得手段７ｃ及び位置関係算出手段７ｄの機能を備えている。
【００２２】
なお、図１において、上記の構成の他に、外部データベース手段９を有し、この外部データベース手段９には、ビジュアルコード情報１０から構成されるビジュアルコード情報データベース１１などが蓄積されている。
【００２３】
［ビジュアルコード２０の構成］
本実施の形態で使用するビジュアルコード２０について図２、図３により説明する。ビジュアルコード２０は、大きさと色（図では濃淡で表示）の異なる２重の同心円から構成されるビジュアルマーカー２１と、カラーバーコード２２から構成される。
【００２４】
ビジュアルコード２０は、紙面に印刷され、ユーザに提供される。ビジュアルコード２０は、正方形であり、各頂点にビジュアルマーカー２１が配置され、所定の頂点の間に１つ以上のカラーバーコード２２が配置される。
【００２５】
該ビジュアルコード２０は、内部にアイコンなどのユーザの手助けとなる文字や図形を配置することができる。以下の実施の形態で用いるビジュアルコード２０のＸ，Ｙ，Ｚ軸（５１，５２，５３）の構成は、図６ａ，ｂに示すように設定される。以下の３次元の座標系はすべて左手系とする。
【００２６】
ビジュアルマーカー２１は２つの円から構成されている。大小の円の半径の比は、１：２となっている。２つの円は、同心円であり、それらの中心が一致するように配置されている。該２つの円は、それぞれ異なる色相を持つ色で塗りつぶされている。
【００２７】
本実施の形態では、塗りつぶしに青色、赤色および黄色の固定の３色を用いている。このマーカーに用いる色の組み合わせを用いて、ビジュアルマーカー２１を識別することができる。本実施の形態では、ビジュアルマーカー２１の頂点番号として、これを利用する。
【００２８】
本実施の形態における色の組み合わせと頂点番号の対応は、図４に示すようになっている。例えば、本実施の形態で用いる正方形のビジュアルコード２０の場合、正対したビジュアルマーカー２１の各頂点に、図３に示すように、左上、右上、右下、左下の順に頂点番号：１〜：４が割り振られる。
【００２９】
ビジュアルマーカー２１に配置されるカラーバーコード２２は、塗りつぶしに青色、赤色および黄色の固定の３色を用いる。バーコードの成分は、図５に示すように、すべて隣合うブロック４０が異なる色（図５では濃淡で示している）になるように設定される。
【００３０】
以下にビジュアルコード２０の検出、位置関係の算出、数値への変換の各処理について具体的に説明する。
［ビジュアルコード２０の検出］
次に本実施の形態で使用するビジュアルコード２０のカメラ映像からの検出方法、識別番号の抽出方法について説明するに当たり、まず、ビジュアルマーカー２１のカメラ映像から該マーカー２１を検出する処理について説明する。
【００３１】
ＣＰＵ７は、はじめに、図７に示すカメラ映像６０から前記固定の３色以外の色相値を持つ画素の値を黒色に置き換える。次にカメラ映像を左上隅の点から右方向に調査する。
【００３２】
このとき、図４に従って、検出した領域の頂点番号も同時に検出できる。例えば、赤色、青色、黄色と色が変化している領域が検出された場合、該領域は外側が赤色、内側が青色の円で構成されたビジュアルマーカー２１の一部であり、頂点番号は図４から「６」と検出できる。
【００３３】
ＣＰＵ７は、ビジュアルマーカー２１の一部である領域が検出されると、該領域に検出した頂点番号を書き込む。カメラ映像の１行の調査が終了すると下の行へ移動し、同様の調査を行う。
【００３４】
また同様の処理を左上の隅の点から下方向へも行う。右方向と下方向の調査のいずれにも検出され、さらに上書きされた頂点番号が両方向の調査で一致する画素を、ビジュアルマーカー２１を構成する領域であるとし、該領域の重心を検出し、ビジュアルマーカー２１のカメラ映像中の位置と頂点番号を検出する（図７の７０）。
【００３５】
最後にＣＰＵ７は、頂点番号順にビジュアルコード２０の重心を直線で結び、該直線で囲まれた領域をカメラ映像中のビジュアルコード領域８１（図７）として抽出することができる。
【００３６】
ＣＰＵ７は、前記処理で得られたカメラ映像中の頂点番号：１と頂点番号：２のマーカーの頂点座標を取得し、頂点番号：１の頂点から頂点番号：２の頂点への直線上に見られるブロック毎の色の変化を検出する。
【００３７】
図５に示すように、隣のブロック４０との色相差が１２０゜であれば、ビットが「１」であり、色相差が−１２０゜であれば、ビットが「０」であるという手法でブロックの色の変化の様子からビット情報を取り出す。
【００３８】
隣り合うブロック４０に同色を許し、バーコードの所定の位置から情報を読み取るようにバーコードを構成した場合、射影変換によってバーコードがカメラ映像中で歪んでしまった場合、その位置も歪みの影響を受け、読み取ることが困難である。
【００３９】
しかし、色が常に異なるようにブロックを配置し、その色の変化を読み取るように構成すれば、射影変換で歪んで投影されたバーコードでも的確に読み取ることができる。
［位置関係の算出］
次に上記の処理によって得られたカメラ映像中の図７に示したビジュアルコード領域８１の形状、及び頂点座標を用いた位置関係の算出方法について図８により説明する。
［カメラパラメータ行列］
初めにすべての位置関係の算出に用いることができるカメラパラメータ行列について説明する。図８ａに示すように、ビジュアルコード２０が１つの平面上にあることを利用して、カメラ映像上の点と実世界の紙面の座標の幾何的関係を算出することができる。
【００４０】
この幾何的関係を利用し、カメラ映像中のビジュアルコード２０（図８ｂ）を正対から見た元の実世界の平面に正規化（図８ａ）することができる。具体的には、画像中のビジュアルコード２０の４隅の点と実世界のビジュアルコードの４隅の点とを対応付け、カメラパラメータ行列を次式（１）により算出する。
【００４１】
【数１】
2006114943.tif 000003
【００４２】
このカメラパラメータ行列を用いることで、カメラ映像中の２次元の座標から実世界の３次元の座標を算出することが可能である。[参考文献、暦本純一、２次元マトリックスコードを利用した拡張現実感の構成手法、ＷＩＳＳ’９６]
該参考文献に記述の手法を用いて、図９に示すようにカメラ座標系におけるビジュアルコード２０の法線ベクトル、およびビジュアルコード２０の２つの直交する対角線のベクトル、また、次式（２）によりカメラ座標系におけるビジュアルコード２０の重心の位置ベクトルを検出することができる。この４つのベクトルを用いて、ビジュアルコード２０に対するカメラの姿勢および位置を算出することができ、行列Ｃを得ることができる。
【００４３】
【数２】
2006114943.tif 000004
【００４４】
［Ｚ軸周りの傾き］
カメラの撮影方向に対するビジュアルコード２０のＺ軸周りの傾きの算出方法について説明する。
［行列Ｃを用いた回転角度の算出］
ビジュアルコード２０の中心を通り、Ｚ軸周りのみの回転である場合、行列Ｃは、次式（３）に示すものとなる。この行列Ｃから傾きを示す、回転角度φを算出することができる。
【００４５】
【数３】
2006114943.tif 000005
【００４６】
［重心から頂点へのベクトルを用いた回転角度の算出］
上述のカメラパラメータ行列を用いた手法は、複雑なため計算コストが高くなる。そこで、より計算コストが低い手法について以下に説明する。
【００４７】
図１０ａに示すように、カメラ映像から得られた頂点番号：１の頂点の座標、ビジュアルコード２０の重心の座標から、この２点を結ぶベクトルＡを算出する。ビジュアルコード２０がカメラに正対している場合、ベクトルＡが画像中のＹ軸と成す角は、４５゜である（１１０）。
【００４８】
カメラ映像から得られたベクトルＡが、Ｙ軸と成す角度を算出し、そこから４５゜引くことによって、図１０ｂに示すように、ビジュアルコードのＺ軸周りの回転角度を得ることができる（１１１）。
［Ｘ軸周りの傾き］
カメラの撮影方向に対するビジュアルコード２０のＸ軸周りの傾きの算出方法について図１１ａ，ｂにより説明する。
［辺の比で傾きを算出］
まず、図１１ａにより、ビジュアルコード２０の１組の対辺の比を用いて、傾きを算出する。この手法は、厳密な回転角度を検出することはできないが、回転方向と回転角度の大まかな大きさを容易に検出することができる。
【００４９】
Ｘ軸周りの傾きを算出する場合について説明する。頂点番号：１の頂点から頂点番号：２の頂点へのベクトルの長さＬ１と、頂点番号：３の頂点から頂点番号：４の頂点へのベクトルの長さＬ３の比を算出する（図１１ａの１２０）。
【００５０】
カメラ映像中では、Ｘ軸の周りにψ（：−１８０＜ψ＜１８０）だけ回転している。ψ＞０のとき、Ｌ１＞Ｌ３となり、ψ＜０のときＬ１＜Ｌ３となる。このことから、Ｌ１とＬ３の比を算出することで、Ｘ軸周りにどの程度回転しているかを算出することができる。Ｌ１／Ｌ３の値が大きくなれば、ψの値が大きくなり，Ｌ１／Ｌ３の値が小さくなれば、ψの値は小さくなる。
［行列Ｃを用いた回転角度の算出］
Ｚ軸周りの傾きと同様に行列Ｃを用いて、厳密にＸ軸周りの回転角度を算出することができる。Ｘ軸周りのみの回転である場合、行列Ｃは、次式（４）に示すものとなり、ψがその回転角度として算出される。
【００５１】
【数４】
2006114943.tif 000006
【００５２】
［Ｙ軸周りの傾き］
次に、図１１ｂによりカメラの撮影方向に対するビジュアルコード２０のＹ軸周りの傾きの算出方法について説明する。
［辺の比で傾きを算出］
前記Ｘ軸周りの回転角度算出手法と同様に、ビジュアルコード２０の１組の対辺の比を用いて、傾きを算出する。Ｙ軸周りの回転角度を算出する場合、頂点番号：２の頂点から頂点番号：３の頂点へのベクトルの長さＬ２と、頂点番号：４の頂点から頂点番号：１の頂点へのベクトルの長さＬ４の比を算出する（図１１ｂの１２１）。
【００５３】
カメラ映像中では、Ｙ軸の周りにθ（：−１８０＜θ＜１８０）だけ回転している。θ＞０のとき、Ｌ２＞Ｌ４となり、θ＜０のときＬ２＜Ｌ４となる。このことから、Ｌ２とＬ４の比を算出することで、Ｙ軸周りにどの程度回転しているかを算出することができる。Ｌ２／Ｌ４の値が大きくなれば、θの値が大きくなり、Ｌ２／Ｌ４の値が小さくなれば、θの値は小さくなる。
［行列Ｃを用いた回転角度の算出］
また、行列Ｃを用いて、厳密にＹ軸周りの回転角度を算出することができる。このとき、Ｙ軸周りにのみ回転している場合の行列Ｃは、次式（５）に示すものとなり、θがその回転角度として算出される。
【００５４】
【数５】
2006114943.tif 000007
【００５５】
［カメラの位置からビジュアルコードの位置へのベクトル］
カメラの位置からビジュアルコード２０の位置へのベクトルの算出方法について説明する。
［行列Ｃを用いた手法］
行列Ｃのｅtがカメラの位置からビジュアルコード２０の位置へのベクトルとなる（図９と数２）。
［距離］
カメラの位置からビジュアルコード２０の位置の間の距離の算出方法について説明する。
［行列Ｃを用いた手法］
前記ベクトルｅtの絶対値を求めることで、端末とビジュアルコード２０の距離を算出することができる（図９と数２）。
［面積による距離の算出］
図１２において、カメラ映像中のビジュアルコード領域の面積１３４は、端末がビジュアルコード２０に正対しているとき、端末とビジュアルコード２０の距離の２乗に比例する。ビジュアルコード２０が検出できる状態でのビジュアルコード領域の面積１３４の最大値とそのときの前記距離、面積の最小値とそのときの距離を事前に算出する。この最大値と最小値の間で面積に比例して距離が変化するものとして、面積から距離を求める関数を作成する。この関数を元に面積から距離を算出することができる。
［周の長さを用いた距離の算出］
前記ビジュアルコード領域の面積１３４の算出は、ラスタスキャンを行う必要があるため、計算コストが大きくなりやすい。そこで、隣り合う頂点間の距離の和から算出できる周の長さ１３０を距離の検出に用いる。周の長さ１３０は、端末とビジュアルコード２０の距離に比例する。
【００５６】
ビジュアルコード２０が検出できる状態でのビジュアルコード領域の周の長さの最大値とそのときの前記距離、該周の長さの最小値とそのときの距離を事前に算出する。この最大値と最小値の間で距離が線形的に変化するものとして、周の長さから距離を求める関数を作成する。この関数を元に周の長さから距離を算出することができる。
［対角線による距離の算出］
図１２において、対角線の長さ１３１も、前記ビジュアルコード領域の周の長さ１３４と同様に端末とビジュアルコード２０の距離に比例する。対角線の長さ１３１を利用して、端末とビジュアルコード２０の距離を算出することもできる。
【００５７】
ビジュアルコード２０が検出できる状態でのビジュアルコード領域の対角線の長さの最大値とそのときの前記距離、該対角線の長さの最小値とそのときの距離を事前に算出する。この最大値と最小値の間で距離が線形的に変化するものとして、対角線の長さから距離を求める関数を作成する。この関数を元に対角線の長さから距離を算出することができる。
［外接長方形による距離の算出］
図１２において、外接長方形１３２の面積は前記領域の面積、外接長方形の辺の長さは前記領域の対角線や周の長さと同様に端末とビジュアルコード２０の距離の２乗、あるいは距離に比例する。これら辺の長さ、面積を利用して、端末とビジュアルコード２０の距離を算出することもできる。
【００５８】
外接長方形１３２は、カメラ映像中のビジュアルコード領域の中で、もっともＸおよびＹ座標が小さい値から構成される点と、もっともＸおよびＹ座標が大きい値から構成される点の２点を対角点とする長方形である。
【００５９】
デジタルカメラに正対したビジュアルコード２０がその画角に収まり、ビジュアルコード２０が検出できる状態でのビジュアルコード領域の辺の長さあるいは面積の最大値とそのときの前記距離、辺の長さあるいは面積の最小値とそのときの距離を事前に算出する。
【００６０】
この最大値と最小値の間で距離が線形的に変化するものとして、外接長方形１３２の辺の長さあるいは面積から距離を求める関数を作成する。この関数を元に外接長方形１３２の辺の長さあるいは面積から距離を算出することができる。
［Ｘ−Ｙ平面上でのビジュアルコードの位置とカメラの位置のズレ］
カメラの位置からビジュアルコード２０の位置へのベクトルのＸ−Ｙ平面上での成分の算出方法について説明する。
［行列Ｃを用いた手法］
前記ベクトルｅtの（ｘ，ｙ）成分を算出する（図９、数２）。
［領域の重心とカメラ画角の中心のズレ］
図１２において、カメラ映像の中心と該映像中のビジュアルコード領域の重心１３３の差分ベクトルを算出することで、前記カメラの位置からビジュアルコード２０の位置へのベクトルのＸ−Ｙ平面上での成分を算出することができる。
［数値への変換］
次に、位置関係を数値に変換する方法について説明する。
［１次元の位置関係ベクトルから１次元の数値］
位置関係ベクトルがひとつのパラメータからなる場合、変換は、ｙを数値、ｘを位置関係と定義すると、ｙ＝ｆ（ｘ）で表すことができる。以下にこの関数ｆ（ｘ）で行う変換手法について具体的に説明する。
［最大最小の対応付け・１次関数・反対バージョン］
数値入力の対象が値域を持つ場合、位置関係の最大値と最小値を、入力対象の最大値と最小値に対応づけ、位置関係から数値を算出できる１次関数を作成することができる。ビジュアルコード２０を検出できる状態での前記位置関係の最大・最小値を算出し、その値域を事前に算出し、該１次関数を前記ｆ（ｘ）に用いる。算出した距離の最大値が１００で、最小値が２０であり、数値入力の対象の値域が０〜１２７であった場合、ｆ（ｘ）＝１２７*（ｘ／８０−１／４）となる。
【００６１】
この１次関数を用いて、位置関係を数値に変換することができる。また位置関係の最大値を数値入力対象の最小値に、位置関係の最小値を数値入力対象の最大値に対応づけた１次関数を同様に作成して、変換することも可能である。
［最大最小の対応付け・ｎ次関数・反対バージョン］
前記ｆ（ｘ）をｎ次多項式に拡張し、位置関係を数値に変換することも可能である。
［対数・指数関数］
前記ｆ（ｘ）に対数関数、指数関数を用いることも可能である。例えば、距離を位置関係として使用する場合に、近いほど微妙な位置関係の変化を変換しやすく、遠いほど大まかに位置関係を数値に変換するといった変換を行うことができる。
［ガウス関数による離散的操作］
前記ｆ（ｘ）にガウス関数を用いることも可能である。ガウス関数はｙ＝［ｘ］で表され、それを超えない整数の値を返す。例えば、[１．４５]＝１となり、［−２．１］＝−３となる。これを位置関係からの数値への変換に用いることで、連続量の位置関係を離散的なメニューの選択などに容易に変換することができる。
【００６２】
ｙ＝ｎ*［ｘ］（ｎは任意の実数）。この式のようにガウス関数に実数を乗算することで、１つのメニュー項目を移動するときに必要な位置関係の量を調節することができる。
［閾値を用いた離散的操作］
前記ｆ（ｘ）を閾値によって処理するように構成することも可能である。具体的にはｆ（ｘ）＝０：０＜ｘ＜１０，ｆ（ｘ）＝１：ｘ≧１０と構成することで、位置関係を「０」、「１」の数値に変換することができる。
【００６３】
また、複数の閾値を使用し、ｆ（ｘ）＝０：０＜ｘ＜１０，ｆ（ｘ）＝１：１０≦ｘ＜２０，ｆ（ｘ）＝２：２０≦ｘと構成することで、何段階かの戻り値を持つ関数としてｆ（ｘ）を構成することができる。ガウス関数と同様にメニューや２択からの項目の選択等に用いることができる。
［周期関数による周期的入力］
前記ｆ（ｘ）にsin，cosといった周期関数を用いて、位置関係を周期的に数値変換することができる。
［実数そのまま入力］
メジャーとして端末とビジュアルコード２０を使用したり、実際の距離等をアプリケーションで使用するために、算出された位置関係をそのまま数値として使用することもできる。このときｆ（ｘ）＝ｘとなる。
［位置関係の変化量を変換］
端末が具備するメモリ手段に、算出したｘを位置履歴情報として保存し、算出したｘと位置履歴情報に保存されている一定時間前の位置関係ｘｐの差分を関数ｆを用いて、ｆ（ｘ−ｘｐ）として、位置関係の変化量に応じた数値へ変換することも可能である。
［位置関係の比を変換］
端末が具備するメモリ手段に、算出したｘを位置履歴情報として保存し、算出したｘと位置履歴情報に保存されている一定時間前の位置関係ｘｐの比を関数ｆを用いて、ｆ（ｘ／ｘｐ）として、位置関係の比に応じた数値へ変換することも可能である。
［関数を変化させる］
ｆ（ｘ）を位置関係の値や時間に応じて変化させて、構成することもできる。例えば、ｘが前記距離であった場合に、ｆ（ｘ）＝１２７*（ｘ／８０−１／４）：２０＜ｘ＜６０，ｆ（ｘ）＝６４*（ｘ／８０＋３／４）：６０≦ｘ＜１００とすると、距離が６０である点を境界に数値の変化量が小さくなるように構成することができる。
［多入力］
位置関係がＺ軸周りの回転、距離などのいくつかのパラメータから構成される場合、Ｙを数値、Ｘを位置関係ベクトルと定義すると、Ｙ＝Ｆ（Ｘ）で表すことができ、複数の入力から数値を検出するように構成することもできる。
［多入力の差分］
端末が具備するメモリ手段に、算出したＸを位置履歴情報として保存し、算出したＸと位置履歴情報に保存されている一定時間前の位置関係Ｘ’の差分を関数Ｆを用いて、Ｆ（Ｘ−Ｘ’）として、位置関係の比に応じた数値へ変換することも可能である。
［多入力の比］
端末が具備するメモリ手段に、算出したＸを位置履歴情報として保存し、算出したＸと位置履歴情報に保存されている一定時間前の位置関係Ｘ’の各成分の比を関数Ｆを用いて、位置関係ベクトルの各成分の比に応じた数値へ変換することも可能である。例えば、Ｘ＝（ａ，ｂ，ｃ），Ｘ’＝（ａ’，ｂ’，ｃ’）である場合、Ｙ＝Ｆ（（ａ／ａ’，ｂ／ｂ’，ｃ／ｃ’））とすることができる。
【００６４】
また各成分ではなく位置関係ベクトルの絶対値の比を代入し、数値へ変換することも可能である。この場合、前記位置関係ベクトルがひとつのパラメータからなる場合の関数を用い、ｙ＝ｆ（｜ｘ｜／｜ｘ’｜）で数値へ変換することも可能である。
［システム例］
以下に本実施の形態におけるシステムについて説明する。
［操作の流れの概要］
処理の流れの概要を図１３のフローチャートに示す。ユーザは、ビジュアルコード２０が印刷された紙面をデジタルカメラで撮像する（１５１）。撮像されたカメラ映像は、ＣＰＵ７へ送られ、モニタ８に表示される（１５２）。前記方法によって、ビジュアルコード２０の検出が行われる（１５３）。ＣＰＵ７は、カメラ映像中のビジュアルコードの４つの頂点の座標と識別番号を取得する（１５４）。
【００６５】
次にＣＰＵ７は、識別番号を元にビジュアルコード情報を外部データベース手段（１５６）から取得し、ビジュアルコード情報から、カメラ映像から算出する位置関係の要素、数値入力の対象情報等を取得する（１５５）。
【００６６】
ＣＰＵ７は、カメラ映像から位置関係を算出し（１５７）、数値へ変換する（１５８）。数値は端末の入力対象へ入力され（１５９）、モニタ８上でカメラ映像に数値が入力された結果を示す画像が重畳表示される（１６０）。
【００６７】
これらのプロセスは、リアルタイムで行われるため、ユーザは、ビジュアルコード２０を、モニタ８を通して見ながら、端末を直接動かして、数値入力を行うことができる。最後にボタンで、数値入力の終了を決定すると（１６１）、その数値は端末のメモリに保存され、反映される。以上の処理の流れを以下に詳細に説明していく。
［ビジュアルコードの撮像とカメラ映像の表示］
ビジュアルコード２０がデジタルカメラの画角に収まるようにユーザが撮影すると、ＣＰＵ７に送られたカメラ映像から前記手法によってビジュアルコード２０の４つの頂点の画像上の座標が検出される。次に上述のカラーバーコード２２の読み取り手法によって、ビジュアルコード２０の識別番号が検出される。
［ビジュアルコード情報］
次にＣＰＵ７は、識別番号を用いて、外部ビジュアルコードデータベース手段９から図１４に示すビジュアルコード情報１７０を取得する。ビジュアルコード情報１７０は、カメラ映像から算出する位置関係の要素を識別する位置関係情報１７１、数値入力対象情報１７２、数値入力補助情報１７３を含む。
［位置関係情報］
位置関係情報１７１は、カメラ映像中のビジュアルコード領域から算出するカメラとビジュアルコード２０の位置関係の要素を識別する情報である。要素には、カメラに対するビジュアルコードの位置、姿勢、傾き等がある。位置関係情報は識別子を保持し、該識別子によって要素を識別する。本実施の形態では、図１４に示す以下の４つの識別子がある。
【００６８】
１．「spinner」は、ビジュアルコード２０のＺ軸周りの回転角度、傾きを位置関係要素とすることを示す識別子である。「spinner」では、ユーザは前記Ｚ軸周りに端末を回転させ、数値を入力する。
【００６９】
２．「tilt」は、ＹあるいはＸ軸周りの端末の回転角度あるいは傾きを位置関係要素とすることを示す識別子である。「tilt」では、ユーザは、前記ＹあるいはＸ軸周りに端末を傾け、数値を入力する。
【００７０】
３．「sink」は、ビジュアルコード２０と端末間の距離を位置関係要素とすることを示す識別子である。「sink」では、ユーザはビジュアルコード２０に端末を近づけたり、遠ざけたりして、数値を入力する。
【００７１】
４．「slider」は、端末から見たビジュアルコード２０の位置を位置関係要素とすることを示す識別子である。「slider」では、ユーザは前記Ｘ−Ｙ平面に平行に端末を動かし、数値を入力する。
［数値入力対象情報］
数値入力対象情報１７２は、数値入力の対象を識別する情報である。端末の音量、テキスト閲覧時のスクロール量、時刻などの数値入力の対象が該情報によって識別される。また対象によって、位置関係からの数値変換の方法も決定される。
［数値入力対象補助情報］
数値入力補助情報１７３は、ビジュアルコード２０が外部のネットワーク手段等からコンテンツ情報を取得する必要がある際に、該コンテンツ情報のネットワーク上の情報を識別する情報である。
［ビジュアルコード情報の読み取り］
ＣＰＵ７は、外部データベース手段９から受け取ったビジュアルコード情報１７０を読み取り、算出する位置関係、位置関係からの数値の変換方法、入力対象を識別する。以下にビジュアルコード情報の具体的な構成例を挙げ、処理内容について説明する。
［spinnerによる音量調整］
位置関係情報１７１が「spinner」で、入力対象が端末の音量であった場合について説明する。まず、前記いずれかの位置関係の算出方法によって、ビジュアルコードが最初に画角に入り、検出された瞬間のカメラの撮影方向に対するビジュアルコード２０のＺ軸周りの傾きが、初期値として保存される。
【００７２】
ユーザが端末を動かし、ビジュアルコード２０が検出され続ける間、算出される回転角度と初期値との差分値が算出される。回転であるため該差分値の最大値と最小値は、０°〜３６０°となる。前記一次関数による変換方法に基づき、端末の音量の最大及び最小値と該差分値の最大および最小値を対応付け、音量を算出する。
【００７３】
図１５において、ユーザがビジュアルコード２０をカメラで撮影している間、モニタ１８０には図のような実際にボリュームを回しているような図形１８１が重畳表示される。ユーザが数値入力終了ボタンを押すことで、設定した音量が端末側に保存される。ユーザは、端末を実際の音響機器の音量ボリュームを回す感覚で操作することができる。
［tiltによるテキスト閲覧］
位置関係情報１７１の識別子が「tilt」であり、入力対象がスクロール量であり、入力対象補助情報からテキストを取得し、ビジュアルコード２０に関連づけられたテキストページを上下方向にスクロールさせながら閲覧するという例について説明する。
【００７４】
図１６において、ＣＰＵ７は数値入力補助情報１７２からテキストページの外部ネットワーク上でのアドレスを取得し、モニタ１９０のカメラ映像上に該テキストページを重畳表示する。次に前記カメラの撮影方向に対するビジュアルコードのＸ軸周りの傾きの算出方法によって、大まかな角度を算出する。
【００７５】
次に前記ガウス関数を用いた変換方法によって、角度の数値を整数値で、算出する。この整数値の大きさによって一度にスクロールする量を決定し、整数値の符号によって、正ならば上方向１９１、負ならば下方向１９２という風にスクロールの方向を決定する。
【００７６】
ＣＰＵ７は、前記スクロール量及び方向に従って重畳されたテキストをスクロール表示する。変換方法にガウス関数を用いることで、ユーザは、段階的にスクロール量を調整することができる。
［sinkによる時刻表閲覧］
位置関係情報１７１の識別子が「sink」であり、数値入力対象がスクロールであり、入力対象補助情報から飛行機の時刻表を取得し、ビジュアルコード２０に関連づけられた時刻表を上下方向にスクロールさせながら閲覧するという例について説明する。
【００７７】
図１７において、ユーザは、ビジュアルコード２０に端末を近づけたり２０１、遠ざけたり２００してビジュアルコード２０に関連づけられた飛行機の時刻表をスクロールさせながら閲覧し、所望の出発時刻の飛行機を選択する。
【００７８】
初めにＣＰＵ７は数値入力補助情報１７３から飛行機の時刻表の外部ネットワーク上でのアドレスを取得し、モニタのカメラ映像上に該飛行機の時刻表を重畳表示する。
【００７９】
次に前記方法によって、ビジュアルコード２０とカメラの間の距離を算出する。距離は、前記指数関数による手法によって、スクロール量に変換される。指数関数の性質から距離が大きくなるほど、スクロール量の変化量は大きくなる。ビジュアルコード２０からカメラが離れた状態で画角に常にコードを収めながら大きく端末を動かすことは困難であるが、指数関数による数値変換方法を用いることでこの困難性を軽減することができる。ユーザが端末を動かしながら、所望のフライトスケジュールを見つけたときボタンで予約を決定することで、そのフライトを予約することができる。
［sliderによる時刻設定］
位置関係情報１７１の識別子が「slider」であって、数値入力の対象が、時刻である例について説明する。ユーザは、ビジュアルコード２０のＸ−Ｙ平面に平行に端末を動かし、紙面上のスライダーを動かし、時刻を指定する例について説明する。
【００８０】
前記方法によって、カメラの位置からビジュアルコード２０の位置へのベクトルのＸ−Ｙ平面上での成分を算出する。このＸ成分を利用する。カメラ映像の中心がビジュアルコードの左端に近づくと、カメラ映像の中心からのビジュアルコードの中心までの２次元ベクトルのＸ座標の差分は正の値となる。またビジュアルコードが右端に近づくと前記Ｘ座標の差分は、負の値となる。正の値に近づくことを早い時刻に近づくことにマッピングし、同様に負の値に近づくことを遅い時刻に近づくことにマッピングすることで、Ｘ軸方向の移動量を時刻に変換する。
【００８１】
図１８において、ユーザは、端末をビジュアルコード２０に近付けて、太陽および月の図形、スライダーバーのような図形および時刻を得（２１０）、その太陽の図形の方向、つまり左端へビジュアルコード２０を撮像しながら端末を動かすと、スライダーバーのように指定する時刻は早朝の時刻に近づいていき（２１１）、月の図形の方向、つまり右端へビジュアルコード２０を撮像しながら端末を動かすと、時刻は深夜に近づいていくというように時刻を指定することができる（２１２）。ユーザは所望の時刻を指定しているときにボタンを押すことで、端末に時刻を設定することができる。
［変形例・sink＆slider・多入力多出力］
前記位置関係要素を組み合わせて構成することも可能である。「sliderとsink」を組み合わせ、ビジュアルコード２０と端末の距離で明るさを調整し、端末のビジュアルコード２０に対する位置に色相と彩度を割り当てることで、色を調整する例について説明する。
【００８２】
図１９において、ビジュアルコード２０が検出されると、前記距離に応じた明るさを持つ色相を角度に、彩度を色相環の中心からの距離に割り当てた色相環２２１が、モニタに重畳表示される。カメラ映像の中心にはカーソル２２３が表示され、カーソルが指し示す選択色がモニタの左上に表示される（２２２）。
【００８３】
端末がビジュアルコード２０のＸ−Ｙ平面上で移動すると、カーソルはカメラ映像に対して相対的に動き、色相と彩度が変更された色が選択色として表示される。また、ユーザが端末をビジュアルコード２０のＺ軸方向に動かすと前記距離に応じて明るさが変化し、色相環２２１の明るさ、選択している色ともに変化する。
【００８４】
このとき各パラメータは、次式（６）に示すような式に割り当てられ、変化する。ユーザは、所望の色を色相環２２１から選び、ボタンで操作することで所望の色を取得することができる。
【００８５】
【数６】
2006114943.tif 000008
【００８６】
［変形例・情報端末以外の機器の操作も可能］
端末が備える赤外線通信手段４や無線通信手段３を用いて、端末を介して、外部の電子機器に数値を入力するように構成することも可能である。ビジュアルコード２０と端末を用いて、テレビを操作する例を説明する。ビジュアルコード２０が「spinner」で音量を調整する場合、前記実施の形態と同様に音量を算出する。この音量を、赤外線通信手段４を用いて、テレビに送信し、テレビの音量を調整することができる。
［変形例・サイバーコード等でも可能］
本実施の形態のビジュアルコード２０のように内部にアイコンなどのユーザの手助けとなる文字や図形を自由に配置することはできないが、サイバーコード、ARToolKitのようなカメラに対する位置と姿勢が検出できる２次元コードを用いて構成することも可能である。[参考文献H.Kato，M.Billinghurst，I.Poupyrev，K.Imamoto，K.Tachibana：“Virtual Object Manipulation on a Table−Top AR Environment”，In Proceedings of ISAR 2000，Oct 5th−6th，2000．]
［変形例・ビジュアルコードは、自由な形状］
面積、周の長さ、重心のみを用いて、位置関係を算出する場合、ビジュアルコードは、画像中から検出できる形状であれば、円や楕円といった自由な形状にして構成することも可能である。
［変形例・ビジュアルコードは、多角形］
対角線、辺の比を用いない場合、さらにカメラ映像中のビジュアルコード２０と実物のビジュアルコード２０の間で対応点が４点以上とれる場合は、カメラパラメータ行列を算出することができるため、本実施の形態で用いるビジュアルコード２０を任意の多角形にして構成することも可能である。
［変形例・特殊な多角形］
図２０に示すように、正六角形などの互いに平行な１組以上の対辺を持つ形状の場合、正方形と同様に位置関係要素を求めることも可能である。ビジュアルコード２０が正六角形（２３０，２３５）である場合の「spinner，tilt」における位置関係要素の算出方法を例として説明する。
【００８７】
「spinner」の場合のビジュアルコード２０のＺ軸周りの回転角度は、正方形である場合と同様に重心から所定の頂点へのベクトルがＹ軸と成す角度を計算して得ることができる（２４０）。
【００８８】
「tilt」の場合、頂点番号：３である頂点と頂点番号：４である頂点の辺Ｌ３と、頂点番号６である頂点と頂点番号：１である頂点の辺Ｌ６との長さの比でＹ軸周りの回転角度を得ることができる（２５０）。
［変形例・ビジュアルコードの提示方法］
本実施の形態では、ビジュアルコード２０を紙面に印刷したが、液晶モニタやＣＲＴといった表示画面に表示させたりして構成することも可能である。
［マッチング・ジェスチャ入力］
前記位置履歴情報を用いて、ジェスチャ入力を行うことも可能である。前記位置履歴情報に保存されている過去に算出された位置関係の一定時間内の変化を算出し、これを事前に設定されたパターンと適合するかを検査することで実現する。
【００８９】
ジェスチャデータベース手段には、前記パターンつまり一定時間内の位置関係の動きと、前記パターンに応じた数値が保存されている。ジェスチャデータベース手段に一定時間内の位置関係の変化を入力し、マッチングするジェスチャパターンがあれば、ジェスチャデータベース手段が保持する数値を入力するように構成することが可能である。
【００９０】
例えば、一定時間内に端末をビジュアルコード２０に遠ざけ、すぐに戻すという動作を検出し、この動作を、ボタンを押して決定するといった操作に割り当てたりすることが可能である。
［変形例・所定のタイミングで変換方法を切り替え］
所定のタイミングで位置関係の変換方法を切り替えて、数値へ変換することもできる。例えば、ユーザが飛行機の時刻表をスクロールで閲覧するとき、情報が密に表示されていることをＣＰＵがテキストの文字数などで判断し、その情報が密である箇所をスクロールしている間は、距離を数値に変換する一次関数の１次の係数を小さくし、距離の変化量に比例するスクロール量を小さくして、細部まで情報を閲覧できるように構成することができる。
【００９１】
上記実施の形態で述べたビジュアルコード２０と携帯端末の位置関係の算出結果は、メモリに格納されるなど、ハードウェア資源が活用されている。
【００９２】
また、図１に示した各手段などをコンピュータのプログラムで構成したり、あるいは図１３に示したフローチャートの処理ステップをコンピュータのプログラムで構成したりして、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータでその処理ステップを実行させるためのプログラムを、そのコンピュータが読み取りできる記録媒体、例えば、フレキシブルディスクや、ＣＤ，ＤＶＤ，ＭＯ，ＲＯＭ、メモリカード、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。
【００９３】
さらに、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。これらの記録媒体からコンピュータに前記のプログラムをインストールすることにより、あるいはネットワークからダウンロードしてコンピュータに前記のプログラムをインストールすることにより、本発明を実施することが可能となる。
【図面の簡単な説明】
【００９４】
【図１】本発明の実施の形態を示す構成説明図。
【図２】携帯電話端末と紙面に印刷されたビジュアルコードの説明図。
【図３】ビジュアルコードの詳細な構成説明図。
【図４】ビジュアルコードに印刷されたビジュアルマーカの説明図。
【図５】ビジュアルコードに印刷されたカラーバーの説明図。
【図６】ビジュアルコードのＸ，Ｙ，Ｚ軸の構成説明図。
【図７】カメラ映像中のビジュアルコード領域抽出過程を示す説明図。
【図８】ビジュアルコード領域の形状、及び頂点座標を用いた位置関係の算出方法説明図。
【図９】カメラ座標系における法線ベクトル、対角線のベクトル及び位置ベクトルの検出方法説明図。
【図１０】重心から頂点へのベクトルを用いた回転角度の算出方法説明図。
【図１１】ビジュアルコードのＸ、Ｙ軸周りの傾きの算出方法説明図。
【図１２】面積、周の長さ、対角線などによる距離の算出方法説明図。
【図１３】システムの処理の流れの概要を述べるフローチャート。
【図１４】ビジュアルコード情報説明図。
【図１５】端末を音響機器の音量ボリュームを回す感覚で操作するときの説明図。
【図１６】テキストペーパを上下方向にスクロールさせながら閲覧するときの説明図。
【図１７】飛行機の時刻表をスクロールさせながら閲覧するときの説明図。
【図１８】端末を動かし時刻を指定するときの説明図。
【図１９】端末のビジュアルコードに対する位置に色相と彩度を割り当てて色を調整する例の説明図。
【図２０】ビジュアルコードが正六角形である場合のスピンナ、チルトにおける位置関係要素の算出方法説明図。
【符号の説明】
【００９５】
１…携帯電話端末
２…内蔵メモリ
３…無線通信手段
４…赤外線通信手段
５…デジタルカメラ（撮像手段）
６…操作ボタン(入力手段）
７…ＣＰＵ
８…液晶モニタ（表示手段）
９…外部データベース手段
１１…ビジュアルコードデータベース
【図１】
2006114943.tif 000009
【図２】
2006114943.tif 000010
【図３】
2006114943.tif 000011
【図４】
2006114943.tif 000012
【図５】
2006114943.tif 000013
【図６】
2006114943.tif 000014
【図７】
2006114943.tif 000015
【図８】
2006114943.tif 000016
【図９】
2006114943.tif 000017
【図１０】
2006114943.tif 000018
【図１１】
2006114943.tif 000019
【図１２】
2006114943.tif 000020
【図１３】
2006114943.tif 000021
【図１４】
2006114943.tif 000022
【図１５】
2006114943.tif 000023
【図１６】
2006114943.tif 000024
【図１７】
2006114943.tif 000025
【図１８】
2006114943.tif 000026
【図１９】
2006114943.tif 000027
【図２０】
2006114943.tif 000028