(57)【特許請求の範囲】
【請求項１】
タッチスクリーンの各辺から前記タッチスクリーンの中央を撮像した複数の画像に基づいて、前記タッチスクリーンに物体が近接したか否かを判定する近接判定手段と、
前記タッチスクリーンに物体が近接したと判定された場合、前記複数の画像を解析して得られる３次元形状に基づいて、前記物体の前記タッチスクリーン上での接触面積を推定する面積推定手段と、
前記推定された接触面積に基づいて、前記タッチスクリーンに表示される所定の画面であるＧＵＩにおける選択対象となる部品の大きさを制御する表示制御手段と、
前記タッチスクリーンに物体が近接したと判定された場合、前記物体が前記タッチスクリーンに接触することにより選択される可能性が高い前記ＧＵＩの部品を特定し、前記特定された部品を他の部品とは異なる態様で表示させる選択部品特定手段と
を備え、
前記選択部品特定手段は、
前記推定された接触面積に対応する前記タッチスクリーン上の領域の中心点と、前記タッチスクリーンに表示された前記ＧＵＩの部品のそれぞれの重心点との距離に基づいて、前記選択される可能性が高い前記ＧＵＩの部品を特定する
タッチパネル装置。
【請求項２】
前記タッチスクリーンに物体が近接したと判定された場合、前記物体が複数あるか否かを判定する物体数判定手段と、
前記物体が複数あると判定された場合、前記タッチスクリーンに表示される前記ＧＵＩをデフォルトのＧＵＩとは異なる第１のＧＵＩに設定する第１の表示設定手段とをさらに備える
請求項１に記載のタッチパネル装置。
【請求項３】
前記タッチスクリーンに物体が近接したと判定された場合、前記物体の種類に基づいて前記タッチスクリーンに表示される前記ＧＵＩをデフォルトのＧＵＩとは異なる第２のＧＵＩに設定する第２の表示設定手段とをさらに備える
請求項２に記載のタッチパネル装置。
【請求項４】
前記選択部品特定手段は、
前記選択される可能性が高いＧＵＩの部品を、予め設定された周期で繰り返し特定し、
前記タッチスクリーン上において前記特定されたＧＵＩの部品と重複する領域に前記物体が接触した場合、前記ＧＵＩの部品の選択を確定する選択確定手段をさらに備える
請求項１に記載のタッチパネル装置。
【請求項５】
前記タッチスクリーンに物体が近接したと判定された場合、前記タッチスクリーンに前記ＧＵＩが表示される
請求項１に記載のタッチパネル装置。
【請求項６】
近接判定手段と、面積推定手段と、表示制御手段と、選択部品特定手段とを備えるタッチパネル装置のタッチパネル制御方法であって、
前記近接判定手段が、タッチスクリーンの各辺から前記タッチスクリーンの中央を撮像した複数の画像に基づいて、前記タッチスクリーンに物体が近接したか否かを判定し、
前記面積推定手段が、前記タッチスクリーンに物体が近接したと判定された場合、前記複数の画像を解析して得られる３次元形状に基づいて、前記物体の前記タッチスクリーン上での接触面積を推定し、
前記表示制御手段が、前記推定された接触面積に基づいて、前記タッチスクリーンに表示される所定の画面であるＧＵＩにおける選択対象となる部品の大きさを制御し、
前記選択部品特定手段が、
前記タッチスクリーンに物体が近接したと判定された場合、前記物体が前記タッチスクリーンに接触することにより選択される可能性が高い前記ＧＵＩの部品を特定し、前記特定された部品を他の部品とは異なる態様で表示させ、
前記推定された接触面積に対応する前記タッチスクリーン上の領域の中心点と、前記タッチスクリーンに表示された前記ＧＵＩの部品のそれぞれの重心点との距離に基づいて、前記選択される可能性が高い前記ＧＵＩの部品を特定する
ステップを含むタッチパネル制御方法。
【請求項７】
コンピュータを、
タッチスクリーンの各辺から前記タッチスクリーンの中央を撮像した複数の画像に基づいて、前記タッチスクリーンに物体が近接したか否かを判定する近接判定手段と、
前記タッチスクリーンに物体が近接したと判定された場合、前記複数の画像を解析して得られる３次元形状に基づいて、前記物体の前記タッチスクリーン上での接触面積を推定する面積推定手段と、
前記推定された接触面積に基づいて、前記タッチスクリーンに表示される所定の画面であるＧＵＩにおける選択対象となる部品の大きさを制御する表示制御手段と、
前記タッチスクリーンに物体が近接したと判定された場合、前記物体が前記タッチスクリーンに接触することにより選択される可能性が高い前記ＧＵＩの部品を特定し、前記特定された部品を他の部品とは異なる態様で表示させる選択部品特定手段と
を備え、
前記選択部品特定手段は、
前記推定された接触面積に対応する前記タッチスクリーン上の領域の中心点と、前記タッチスクリーンに表示された前記ＧＵＩの部品のそれぞれの重心点との距離に基づいて、前記選択される可能性が高い前記ＧＵＩの部品を特定する
タッチパネル装置として機能させるプログラム。
【請求項８】
コンピュータを、
タッチスクリーンの各辺から前記タッチスクリーンの中央を撮像した複数の画像に基づいて、前記タッチスクリーンに物体が近接したか否かを判定する近接判定手段と、
前記タッチスクリーンに物体が近接したと判定された場合、前記複数の画像を解析して得られる３次元形状に基づいて、前記物体の前記タッチスクリーン上での接触面積を推定する面積推定手段と、
前記推定された接触面積に基づいて、前記タッチスクリーンに表示される所定の画面であるＧＵＩにおける選択対象となる部品の大きさを制御する表示制御手段と、
前記タッチスクリーンに物体が近接したと判定された場合、前記物体が前記タッチスクリーンに接触することにより選択される可能性が高い前記ＧＵＩの部品を特定し、前記特定された部品を他の部品とは異なる態様で表示させる選択部品特定手段と
を備え、
前記選択部品特定手段は、
前記推定された接触面積に対応する前記タッチスクリーン上の領域の中心点と、前記タッチスクリーンに表示された前記ＧＵＩの部品のそれぞれの重心点との距離に基づいて、前記選択される可能性が高い前記ＧＵＩの部品を特定する
タッチパネル装置として機能させるプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体に関し、特に、小型の機器に搭載可能なタッチパネルにおいて、情報の表示機能を阻害することなく操作性を向上させることができるようにするタッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、携帯電話機、ＰＤＡなどのモバイル機器のユーザインタフェースとしてタッチパネルの採用が増加している。タッチパネルは、入力装置と表示装置が一体化されているので、ユーザインタフェースとしてタッチパネルを採用することにより、機器サイズの小型化ができ、組み込むソフトウェアにより様々や見せ方や直感的に分かりやすい操作性を実現できるからである。
【０００３】
モバイル機器で使用されているタッチパネルの多くは、抵抗膜方式、静電容量方式のタッチパネルである。これらのタッチパネルにより、接触状態と非接触状態の２つの状態を検知することで、モバイル機器に対するユーザの入力トリガとしている。例えば、タッチパネルの表示画面内に構築されたグラフィカルユーザインタフェース(ＧＵＩ)の部品(ボタンなど)を指先でタッチすることで操作している。
【０００４】
近年のモバイル機器の高性能化に伴い、従来はパーソナルコンピュータなどを用いていた情報処理についてもモバイル機器が使われるようになっている。このため、モバイル機器の小さい画面上にソフトウェアキーボードを表示して文字入力を行ったり、複雑なＧＵＩでの入力が求められることもある。
【０００５】
このような場合、ＧＵＩ部品が指先よりも小さいこともあり、タッチパネルの入力精度が低い場合、または指先がぶれるなどした場合、意図しない選択や入力ミスをしてしまうことがある。
【０００６】
従来、例えば、小さなＧＵＩ部品の選択に対して接触状態から非接触状態になった時点で触れていたＧＵＩ部品に確定するという手法で入力ミスを減らすようにしていた。
【０００７】
また、表示面にタッチパネルを設け、その近傍に２つの近接検出用カメラを設けて撮像された画像に基づいて、ユーザの指と表示面との相対的な位置関係を検出し、ユーザの指が表示面に対して所定の距離以上近接したことを検出した際に、指が近接しているアイコンを拡大表示することも提案されている（例えば、特許文献１参照）。
【０００８】
このようにすることで、ユーザが選択しようとしているアイコンを予測して拡大表示し、ユーザに対してアイコンを選択させ易くすることができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００６−２３６１４３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、例えば、小さなＧＵＩ部品の選択に対して接触状態から非接触状態になった時点で触れていたＧＵＩ部品に確定するという方式は、ユーザにとって違和感がある。すなわち、ユーザの心理としては、実際のボタン押下操作のようにＧＵＩ部品に接触した時点で確定となった方がより自然に感じるはずである。
【００１１】
また、表示面に表示されるＧＵＩ部品を拡大して表示すれば、アイコンの選択は容易になると思われるが、表示面に表示されているその他の情報がアイコンに隠れて見えなくなってしまうことがある。すなわち、操作性に問題がない限り、ＧＵＩ部品は小さく表示されることが望ましい。
【００１２】
さらに、近年、モバイル機器の機能向上に伴って、１つの機器に携帯電話機能、メール送受信機能、音楽再生機能、画像撮像表示機能、・・・など多くの機能が集約される傾向にあり、表示面に表示されるＧＵＩ部品の数も増えている。このため、表示面の表示を見易くし、かつアイコンの選択を容易にすることは、益々重要となってきている。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、小型の機器に搭載可能なタッチパネルにおいて、情報の表示機能を阻害することなく操作性を向上させることができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の一側面は、タッチスクリーンの各辺から前記タッチスクリーンの中央を撮像した複数の画像に基づいて、前記タッチスクリーンに物体が近接したか否かを判定する近接判定手段と、前記タッチスクリーンに物体が近接したと判定された場合、前記複数の画像を解析して得られる３次元形状に基づいて、前記物体の前記タッチスクリーン上での接触面積を推定する面積推定手段と、前記推定された接触面積に基づいて、前記タッチスクリーンに表示される所定の画面であるＧＵＩにおける選択対象となる部品の大きさを制御する表示制御手段と、前記タッチスクリーンに物体が近接したと判定された場合、前記物体が前記タッチスクリーンに接触することにより選択される可能性が高い前記ＧＵＩの部品を特定し、前記特定された部品を他の部品とは異なる態様で表示させる選択部品特定手段とを備え、前記選択部品特定手段は、前記推定された接触面積に対応する前記タッチスクリーン上の領域の中心点と、前記タッチスクリーンに表示された前記ＧＵＩの部品のそれぞれの重心点との距離に基づいて、前記選択される可能性が高い前記ＧＵＩの部品を特定するタッチパネル装置である。
【００１５】
前記タッチスクリーンに物体が近接したと判定された場合、前記物体が複数あるか否かを判定する物体数判定手段と、前記物体が複数あると判定された場合、前記タッチスクリーンに表示される前記ＧＵＩをデフォルトのＧＵＩとは異なる第１のＧＵＩに設定する第１の表示設定手段とをさらに備えるようにすることができる。
【００１６】
前記タッチスクリーンに物体が近接したと判定された場合、前記物体の種類に基づいて前記タッチスクリーンに表示される前記ＧＵＩをデフォルトのＧＵＩとは異なる第２のＧＵＩに設定する第２の表示設定手段とをさらに備えるようにすることができる。
【００２０】
前記選択部品特定手段は、前記選択される可能性が高いＧＵＩの部品を、予め設定された周期で繰り返し特定し、前記タッチスクリーン上において前記特定されたＧＵＩの部品と重複する領域に前記物体が接触した場合、前記ＧＵＩの部品の選択を確定する選択確定手段をさらに備えるようにすることができる。
【００２１】
前記タッチスクリーンに物体が近接したと判定された場合、前記タッチスクリーンに前記ＧＵＩが表示されるようにすることができる。
【００２２】
本発明の一側面は、近接判定手段と、面積推定手段と、表示制御手段と、選択部品特定手段とを備えるタッチパネル装置のタッチパネル制御方法であって、前記近接判定手段が、タッチスクリーンの各辺から前記タッチスクリーンの中央を撮像した複数の画像に基づいて、前記タッチスクリーンに物体が近接したか否かを判定し、前記面積推定手段が、前記タッチスクリーンに物体が近接したと判定された場合、前記複数の画像を解析して得られる３次元形状に基づいて、前記物体の前記タッチスクリーン上での接触面積を推定し、前記表示制御手段が、前記推定された接触面積に基づいて、前記タッチスクリーンに表示される所定の画面であるＧＵＩにおける選択対象となる部品の大きさを制御し、前記選択部品特定手段が、前記タッチスクリーンに物体が近接したと判定された場合、前記物体が前記タッチスクリーンに接触することにより選択される可能性が高い前記ＧＵＩの部品を特定し、前記特定された部品を他の部品とは異なる態様で表示させ、前記推定された接触面積に対応する前記タッチスクリーン上の領域の中心点と、前記タッチスクリーンに表示された前記ＧＵＩの部品のそれぞれの重心点との距離に基づいて、前記選択される可能性が高い前記ＧＵＩの部品を特定するステップを含むタッチパネル制御方法である。
【００２３】
本発明の一側面は、コンピュータを、タッチスクリーンの各辺から前記タッチスクリーンの中央を撮像した複数の画像に基づいて、前記タッチスクリーンに物体が近接したか否かを判定する近接判定手段と、前記タッチスクリーンに物体が近接したと判定された場合、前記複数の画像を解析して得られる３次元形状に基づいて、前記物体の前記タッチスクリーン上での接触面積を推定する面積推定手段と、前記推定された接触面積に基づいて、前記タッチスクリーンに表示される所定の画面であるＧＵＩにおける選択対象となる部品の大きさを制御する表示制御手段と、前記タッチスクリーンに物体が近接したと判定された場合、前記物体が前記タッチスクリーンに接触することにより選択される可能性が高い前記ＧＵＩの部品を特定し、前記特定された部品を他の部品とは異なる態様で表示させる選択部品特定手段とを備え、前記選択部品特定手段は、前記推定された接触面積に対応する前記タッチスクリーン上の領域の中心点と、前記タッチスクリーンに表示された前記ＧＵＩの部品のそれぞれの重心点との距離に基づいて、前記選択される可能性が高い前記ＧＵＩの部品を特定するタッチパネル装置として機能させるプログラムである。
本発明の一側面は、コンピュータを、タッチスクリーンの各辺から前記タッチスクリーンの中央を撮像した複数の画像に基づいて、前記タッチスクリーンに物体が近接したか否かを判定する近接判定手段と、前記タッチスクリーンに物体が近接したと判定された場合、前記複数の画像を解析して得られる３次元形状に基づいて、前記物体の前記タッチスクリーン上での接触面積を推定する面積推定手段と、前記推定された接触面積に基づいて、前記タッチスクリーンに表示される所定の画面であるＧＵＩにおける選択対象となる部品の大きさを制御する表示制御手段と、前記タッチスクリーンに物体が近接したと判定された場合、前記物体が前記タッチスクリーンに接触することにより選択される可能性が高い前記ＧＵＩの部品を特定し、前記特定された部品を他の部品とは異なる態様で表示させる選択部品特定手段とを備え、前記選択部品特定手段は、前記推定された接触面積に対応する前記タッチスクリーン上の領域の中心点と、前記タッチスクリーンに表示された前記ＧＵＩの部品のそれぞれの重心点との距離に基づいて、前記選択される可能性が高い前記ＧＵＩの部品を特定するタッチパネル装置として機能させるプログラムが記録されている記録媒体である。
【００２４】
本発明の一側面においては、タッチスクリーンの各辺から前記タッチスクリーンの中央を撮像した複数の画像に基づいて、前記タッチスクリーンに物体が近接したか否かが判定され、前記タッチスクリーンに物体が近接したと判定された場合、前記複数の画像を解析して得られる３次元形状に基づいて、前記物体の前記タッチスクリーン上での接触面積が推定され、前記推定された接触面積に基づいて、前記タッチスクリーンに表示される所定の画面であるＧＵＩにおける選択対象となる部品の大きさが制御され、前記タッチスクリーンに物体が近接したと判定された場合、前記物体が前記タッチスクリーンに接触することにより選択される可能性が高い前記ＧＵＩの部品が特定され、前記特定された部品が他の部品とは異なる態様で表示される。また、前記推定された接触面積に対応する前記タッチスクリーン上の領域の中心点と、前記タッチスクリーンに表示された前記ＧＵＩの部品のそれぞれの重心点との距離に基づいて、前記選択される可能性が高い前記ＧＵＩの部品が特定される。
【発明の効果】
【００２５】
本発明によれば、小型の機器に搭載可能なタッチパネルにおいて、情報の表示機能を阻害することなく操作性を向上させることができる。
【図面の簡単な説明】
【００２６】
【図１】本発明を適用したタッチパネル装置の例を示す図である。
【図２】図１のタッチパネル装置の内部構成例を示すブロック図である。
【図３】図２の撮像回路により４方向から画像を撮像する例を説明する図である。
【図４】図２の接触・近接判定部による近接の判定の方式を説明する図である。
【図５】タッチパネル装置を用いたタッチパネル操作を説明する図である。
【図６】タッチパネル装置を用いたタッチパネル操作を説明する図である。
【図７】タッチパネル装置を用いたタッチパネル操作を説明する図である。
【図８】近接検知処理の例を説明するフローチャートである。
【図９】指をタッチスクリーンの表面に近接させた場合の例を示す図である。
【図１０】ＧＵＩの部品の配置と指の接触領域の例を説明する図である。
【図１１】ＧＵＩの部品の重心点と指の接触領域の中心点の例を示す図である。
【図１２】タッチスクリーンの表面に近接させた指を移動させた場合の例を示す図である。
【図１３】タッチスクリーンの表面に実際に接触した状態の例を示す図である。
【図１４】図１３の状態におけるＧＵＩの部品の選択を説明する図である。
【図１５】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２８】
図１は、本発明を適用したタッチパネル装置の例を示す図である。
【００２９】
同図に示されるタッチパネル装置１０は、指、スタイラスペンなどがタッチパネル表面に接触したことを検知することができるとともに、指、スタイラスペンなどがタッチパネル表面に近接したことを検知することができるようになされている。また、タッチパネル装置１０は、例えば、複数の指がタッチパネル表面に接触または近接したことを検知することができ、さらに、指やスタイラスペンのタッチパネルとの接触部分の面積を検出することができるようになされている。
【００３０】
図１に示されるタッチパネル装置１０には、タッチスクリーン１１が設けられており、タッチスクリーン１１は、例えば、ＧＵＩなどの画像を表示するＬＣＤと接触位置を特定するタッチパネルによって構成されている。
【００３１】
また、四角形のタッチスクリーン１１の４辺にそれぞれ撮像回路１２−１乃至撮像回路１２−４が設けられている。撮像回路１２−１乃至撮像回路１２−４のそれぞれは、画像センサを有し、タッチスクリーン１１に近接した指やスタイラスペンの画像を４つの方向から撮像するようになされている。
【００３２】
図２は、タッチパネル装置１０の内部構成例を示すブロック図である。同図に示されるように、タッチパネル装置１０には、撮像回路１２−１乃至撮像回路１２−４、タッチパネル２１、および画像・検出処理部２２が設けられている。
【００３３】
さらに、画像・検出処理部２２には、例えば、マイクロコンピュータ２３などが接続され、マイクロコンピュータ２３により、タッチパネル装置１０の操作に対応する処理が実行される。例えば、タッチスクリーンに表示された所定のＧＵＩの部品に指やスタイラスペンが接触したことを、画像・検出処理部２２が検知した場合、その部品に割り当てられた機能を実現するための処理がマイクロコンピュータ２３により実行される。
【００３４】
撮像回路１２−１乃至撮像回路１２−４は、上述したように、それぞれの方向から撮像した指やスタイラスペンの画像のデータを、画像・検出処理部２２に出力するようになされている。
【００３５】
タッチパネル２１は、指やスタイラスペンの接触およびその接触位置を検知する。タッチパネル２１は、例えば、対向する２枚の抵抗膜を用いて操作した位置に応じた電圧を検知する抵抗膜方式のものが用いられる。あるいはまた、指先などと導電膜との間での静電容量の変化を捉えて位置を検出する静電容量方式など、他の方式のものが用いられるようにしてもよい。
【００３６】
撮像回路１２−１乃至撮像回路１２−４から出力された画像のデータのそれぞれは、画像・検出処理部２２の画像認識部３１に供給される。
【００３７】
画像認識部３１は、供給された画像のデータに基づいて、タッチスクリーン１１に近接した物体を判別するようになされている。画像認識部３１は、例えば、供給された画像のデータから抽出された特徴量を、予め記憶している特徴量の情報などと比較することで、タッチスクリーン１１に近接した物体が指、スタイラスペン、またはそれ以外の物体であるかを判別する。
【００３８】
画像認識部３１による認識結果として、指、またはスタイラスペンが近接したことが検知された場合、撮像回路１２−１乃至撮像回路１２−４から出力された画像のデータのそれぞれは、認識結果の情報とともに形状検出部３２に出力される。
【００３９】
形状検出部３２は、撮像回路１２−１乃至撮像回路１２−４により撮像された４方向からの画像を解析することにより、指、またはスタイラスペンの３次元の形状を推定する演算を行う。なお、スタイラスペンの形状は、どれもほぼ同じなので、画像認識部３１による認識結果として、指が近接したことが検知された場合のみ、３次元の形状を推定する演算が行われるようにしてもよい。
【００４０】
形状検出部３２の演算結果として得られた３次元の形状は、撮像回路１２−１乃至撮像回路１２−４から出力された画像のデータとともに、位置・面積検出部３３に供給される。
【００４１】
位置・面積検出部３３は、撮像回路１２−１乃至撮像回路１２−４により撮像された４方向からの画像を解析することにより、指、またはスタイラスペンのタッチスクリーン１１上での位置を算出する。位置・面積検出部３３は、例えば、指、またはスタイラスペンを垂直下方向に移動させた場合、タッチスクリーン１１の表面のどの位置に接触するかを、Ｘ軸Ｙ軸座標として算出する。
【００４２】
また、位置・面積検出部３３は、撮像回路１２−１乃至撮像回路１２−４により撮像された４方向からの画像を解析することにより、指、またはスタイラスペンとタッチスクリーン１１の表面との距離を算出する。位置・面積検出部３３は、この距離を、例えば、Ｚ軸座標として出力する。
【００４３】
さらに、位置・面積検出部３３は、形状検出部３２の演算結果として得られた３次元の形状に基づいて、指、またはスタイラスペンのタッチスクリーン１１上の接触面積を推定する演算を行う。例えば、指、またはスタイラスペンの３次元形状がほぼ円柱形であった場合、位置・面積検出部３３は、当該円柱の底面の面積を上述の接触面積と推定し、その面積を算出する。
【００４４】
すなわち、図３に示されるように、例えば、所定の時間間隔で撮像回路１２−１乃至撮像回路１２−４により４方向から画像を撮像し、得られた４枚の画像を解析（画像処理など）する。そして、各時刻における上述のＸ軸Ｙ軸Ｚ軸座標の値が得られるとともに、上述の接触面積として面積Ａが得られるのである。
【００４５】
接触・近接判定部３４は、後述する検出データ処理部３５の処理結果と、位置・面積検出部３３の検出結果に基づいて、指、またはスタイラスペンがタッチスクリーン１１に接触したのか、近接したのかを判定する。
【００４６】
検出データ処理部３５は、タッチパネル２１から出力された情報に基づいて、指、またはスタイラスペンがタッチスクリーン１１の表面のどの位置に接触したかを表す情報を出力する。検出データ処理部３５は、例えば、接触位置をＸ軸Ｙ軸座標として出力する。
【００４７】
そして、接触・近接判定部３４の判定結果とともに、位置・面積検出部３３の演算結果を表す情報が、画像・検出処理部２２の検出結果として出力されるようになされている。すなわち、画像・検出処理部２２の検出結果として、近接した物体の種類を判別する情報であって、指、またはスタイラスペンのいずれが、近接しているのかを表す情報が含まれる。また、画像・検出処理部２２の検出結果には、指、またはスタイラスペンが、タッチスクリーン１１の表面のどの位置に、どれだけ近接若しくは接触しているかを表す情報が含まれる。さらに、その指、またはスタイラスペンのタッチスクリーン１１上の接触面積も含まれる。
【００４８】
図４は、接触・近接判定部３４による近接の判定の方式を説明する図である。同図は、タッチパネル装置１０を操作するユーザの指が図中下側のタッチスクリーン１１の表面に近づいている状態を表している。同図に示されるように、予め近接を判定するための閾値（指先とタッチスクリーン１１の表面との距離）を設定しておく。この閾値は、位置・面積検出部３３が出力するＺ軸座標の値（タッチスクリーン１１の表面との距離）と比較される。なお、指がタッチスクリーン１１に近接するほど、位置・面積検出部３３が出力するＺ軸座標値は、０に近づくものとする。
【００４９】
そして、出力値（Ｚ軸座標値）が閾値以下の場合、接触・近接判定部３４により指が近接したと判定され、出力値が閾値を超える場合、接触・近接判定部３４により指は近接していないと判定されることになる。
【００５０】
本発明のタッチパネル装置１０は、指、またはスタイラスペンの近接を検知した場合、タッチスクリーン１１にＧＵＩを表示するようになされている。
【００５１】
例えば、タッチスクリーン１１と指との距離が十分離れている場合、タッチスクリーン１１にはＧＵＩが表示されない。
【００５２】
図５乃至図７は、本発明のタッチパネル装置１０を用いたタッチパネル操作の例を説明する図である。
【００５３】
図５は、タッチスクリーン１１と指との距離が十分離れている場合の例を示している。同図において円で示される領域５１は、タッチスクリーン１１で指との接触が想定される領域を表している。
【００５４】
このとき、位置・面積検出部３３は、撮像回路１２−１乃至撮像回路１２−４により撮像された４方向からの画像を解析することにより、指とタッチスクリーン１１の表面との距離を算出し、Ｚ軸座標として出力する。いまの場合、Ｚ軸座標値が閾値を超えていることから、接触・近接判定部３４により指は近接していないと判定されることになる。
【００５５】
例えば、この判定結果を表す情報が、画像・検出処理部２２の検出結果としてマイクロコンピュータ２３に出力される。
【００５６】
図５においては、タッチスクリーン１１にＧＵＩが表示されていない。
【００５７】
図６は、タッチスクリーン１１に指が近接した場合の例を示している。
【００５８】
このとき、位置・面積検出部３３は、撮像回路１２−１乃至撮像回路１２−４により撮像された４方向からの画像を解析することにより、指とタッチスクリーン１１の表面との距離を算出し、Ｚ軸座標として出力する。いまの場合、Ｚ軸座標値が閾値以下であることから、接触・近接判定部３４により指が近接したと判定されることになる。
【００５９】
また、このとき、画像認識部３１は、例えば、撮像回路１２−１乃至撮像回路１２−４から供給された画像のデータから抽出された特徴量を、予め記憶している特徴量の情報などと比較することで、タッチスクリーン１１に近接した物体が指あると判別する。
【００６０】
さらに、形状検出部３２は、撮像回路１２−１乃至撮像回路１２−４により撮像された４方向からの画像を解析することにより、指の３次元の形状を推定する演算を行う。位置・面積検出部３３は、形状検出部３２の演算結果として得られた３次元の形状に基づいて、指のタッチスクリーン１１上の接触面積を推定する演算を行う。これにより、例えば、領域５１の面積が算出される。
【００６１】
また、位置・面積検出部３３は、例えば、指を垂直下方向に移動させた場合、タッチスクリーン１１の表面のどの位置に接触するかを、Ｘ軸Ｙ軸座標として算出する。これにより、例えば、領域５１の中心点の座標が算出される。
【００６２】
これらの判定、判別、演算結果などの情報が画像・検出処理部２２の検出結果としてマイクロコンピュータ２３に出力される。そしてマイクロコンピュータ２３は、タッチスクリーン１１のＬＣＤにＧＵＩを表示させる。図６においては、指の近接が検知されたことにより、ＧＵＩの部品６１乃至部品６３がタッチスクリーン１１に表示されている。
【００６３】
すなわち、本発明のタッチパネル装置１０は、指（またはスタイラスペン）の近接が検知されるまでは、タッチスクリーン１１にＧＵＩを表示させず、近接が検知されるとタッチスクリーン１１にＧＵＩを表示させるようになされている。
【００６４】
なお、部品６１乃至部品６３は、指の近接が検知された場合に表示されるＧＵＩの部品とされ、例えば、スタイラスペンの近接が検知された場合、別のＧＵＩの部品が表示されるようになされている。すなわち、本発明のタッチパネル装置１０は、近接が検知された物体の種類に応じて異なるＧＵＩを表示させることができるようになされている。
【００６５】
また、部品６１乃至部品６３は、指のタッチスクリーン１１上の接触面積に応じて拡大されて表示されるようになされている。例えば、接触面積が閾値以下であった場合、通常の表示サイズで部品６１乃至部品６３が表示され、接触面積が閾値を超える場合、部品６１乃至部品６３が拡大されて表示される。
【００６６】
このようにすることで、例えば、手の大きい人や指の太い人がタッチパネル装置１０を操作する場合などは、ＧＵＩの部品を拡大して表示することができる。一方で、手の小さい人や指の細い人がタッチパネル装置１０を操作する場合などは、ＧＵＩの部品は拡大して表示されることはない。
【００６７】
なお、ここでは、ＧＵＩの部品を拡大して表示する例について説明したが、勿論、ＧＵＩの部品を縮小して表示するようにすることも可能である。要は、必要に応じて、タッチスクリーン１１に表示されるＧＵＩの部品の大きさが制御されるようにすればよい。
【００６８】
また、図６の例では、指１本が近接する場合について説明しているが、例えば、指２本を同時に近接させた場合、異なるＧＵＩの部品が表示されるようにしてもよい。
【００６９】
上述したように、位置・面積検出部３３は、例えば、指を垂直下方向に移動させた場合、タッチスクリーン１１の表面で接触する位置を算出する。例えば、算出された位置の数が特定され、特定された数（すなわち、指の本数）に応じて異なるＧＵＩの部品が表示されるようにしてもよい。あるいはまた、形状検出部３２により推定された３次元の形状に基づいて、近接した指の本数も特定されるようにしてもよい。
【００７０】
例えば、１本の指が検知された場合にはデフォルトのＧＵＩが表示されることとし、２本の指が検知された場合は、別のＧＵＩの表示データが表示されるようにしてもよい。また、同様に、３本の指が検知された場合は、さらに別のＧＵＩが表示されるようにしてもよい。このようにすることで、ユーザは、指を近接させるという１回の操作で、複数のＧＵＩのうちの所望のＧＵＩを表示させることが可能となる。
【００７１】
なお、一度近接した指などが、タッチスクリーン１１の表面から離れた場合、ＧＵＩの表示も消去されるようになされている。
【００７２】
図７は、タッチスクリーン１１に指が接触した場合の例を示している。同図の例においては、指がＧＵＩの部品６３が表示されている位置において、タッチスクリーン１１に接触している。このため、領域５１と部品６３が重なって記載されている。
【００７３】
このとき、検出データ処理部３５は、タッチパネル２１から出力された情報に基づいて、指がタッチスクリーン１１の表面の領域５１の中心の位置に接触したことを表す情報を、例えば、接触位置をＸ軸Ｙ軸座標として出力する。そして、接触・近接判定部３４の判定結果が、画像・検出処理部２２の検出結果として出力され、例えば、部品６３に割り当てられた機能を実現するための処理がマイクロコンピュータ２３により実行されるようになされている。
【００７４】
すなわち、図７に示される状態において、部品６３の選択が確定されるのである。
【００７５】
次に、図８のフローチャートを参照して、本発明のタッチパネル装置１０による近接検知処理の例について説明する。
【００７６】
ステップＳ２１において、マイクロコンピュータ２３は、指またはスタイラスペンの近接を検知したか否かを判定し、指またはスタイラスペンの近接を検知したと判定されるまで待機する。この判定は、例えば、上述した接触・近接判定部３４の判定結果に基づいて行われる。
【００７７】
ステップＳ２１において、指またはスタイラスペンの近接を検知したと判定された場合、処理は、ステップＳ２２に進む。
【００７８】
ステップＳ２２において、マイクロコンピュータ２３は、複数の物体の近接を検知したか否かを判定する。この判定は、例えば、上述した位置・面積検出部３３による接触位置の算出において算出された位置の数に基づいて行われる。
【００７９】
ステップＳ２２において、複数の物体の近接を検知したと判定された場合、処理は、ステップＳ２３に進む。いまの場合、例えば、２本の指が検出されたこととする。なお、スタイラスペンが複数検出されることは想定していない。
【００８０】
ステップＳ２３において、マイクロコンピュータ２３は、検知された物体（指）の数に応じたＧＵＩを設定する。例えば、１本の指が検知された場合に表示されるＧＵＩがパターンＡのＧＵＩであるとすると、２本の指が検知された場合は、パターンＢのＧＵＩの表示データが、タッチスクリーン１１のＬＣＤに表示すべき画像のデータとして設定される。また、例えば、３本の指が検知された場合は、パターンＣのＧＵＩの表示データが、タッチスクリーン１１のＬＣＤに表示すべき画像のデータとして設定される。
【００８１】
なお、デフォルトの表示データとしては、例えば、パターンＡのＧＵＩの表示データが設定されているものとする。
【００８２】
ステップＳ２４において、マイクロコンピュータ２３は、検知された物体（指）の面積をチェックする。ここでは、例えば、位置・面積検出部３３が、形状検出部３２の演算結果として得られた３次元の形状に基づいて演算した、指のタッチスクリーン１１上の接触面積の値が取得される。
【００８３】
一方、ステップＳ２２において、複数の物体の近接を検知しなかったと判定された場合、処理は、ステップＳ２５に進む。
【００８４】
ステップＳ２５において、マイクロコンピュータ２３は、検知された物体の面積をチェックする。ここでは、例えば、位置・面積検出部３３が、形状検出部３２の演算結果として得られた３次元の形状に基づいて演算した、指またはスタイラスペンのタッチスクリーン１１上の接触面積の値が取得される。
【００８５】
なお、近接した物体がスタイラスペンである場合、接触面積の演算は行われないようにしてもよい。
【００８６】
ステップＳ２６において、マイクロコンピュータ２３は、検知された物体がスタイラスペンであるか否かを判定する。ここでは、例えば、画像認識部３１による特徴量の比較に基づく判別結果を用いた判定が行われる。
【００８７】
ステップＳ２６において、検知された物体がスタイラスペンであると判定された場合、処理は、ステップＳ２７に進む。
【００８８】
ステップＳ２７において、マイクロコンピュータ２３は、スタイラスペン用のＧＵＩを設定する。例えば、パターンＸのＧＵＩの表示データが、タッチスクリーン１１のＬＣＤに表示すべき画像のデータとして設定される。
【００８９】
一方、ステップＳ２４の処理の後、または、ステップＳ２６において、検知された物体がスタイラスペンではないと判定された場合、処理は、ステップＳ２８に進む。
【００９０】
ステップＳ２８において、マイクロコンピュータ２３は、ＧＵＩを表示する際に拡大が必要であるか否かを判定する。ここでは、例えば、ステップＳ２４またはステップＳ２５の処理で取得された指のタッチスクリーン１１上の接触面積の値が閾値を超えるか否かが判定され、接触面積の値が閾値を超える場合、拡大が必要であると判定される。
【００９１】
ステップＳ２８において、拡大が必要であると判定された場合、処理は、ステップＳ２９に進む。
【００９２】
ステップＳ２９において、マイクロコンピュータ２３は、デフォルトのＧＵＩの表示データ、またはステップＳ２３の処理で設定されたＧＵＩの表示データに基づいて、ＧＵＩの各部品を拡大してタッチスクリーン１１のＬＣＤに表示する。
【００９３】
一方、ステップＳ２７の処理の後、または、ステップＳ２８において、拡大が必要でないと判定された場合、処理は、ステップＳ３０に進む。
【００９４】
ステップＳ３０において、マイクロコンピュータ２３は、デフォルトのＧＵＩの表示データ、またはステップＳ２７の処理で設定されたＧＵＩの表示データに基づいて、ＧＵＩの各部品をタッチスクリーン１１のＬＣＤに表示する。
【００９５】
このようにして近接検知処理が実行される。
【００９６】
従来、タッチスクリーンに表示されるＧＵＩの部品が小さすぎて操作し辛いという問題があった。表示面に表示されるＧＵＩ部品を拡大して表示すれば、アイコンの選択は容易になると思われるが、表示面に表示されているその他の情報がアイコンに隠れて見えなくなってしまうことがある。
【００９７】
また、近年、モバイル機器の機能向上に伴って、１つの機器に携帯電話機能、メール送受信機能、音楽再生機能、画像撮像表示機能、・・・など多くの機能が集約される傾向にあり、表示面に表示されるＧＵＩ部品の数も増えている。このため、表示面の表示を見易くすし、かつアイコンの選択を容易にすることは、益々重要となってきている。
【００９８】
本発明のタッチパネル装置１０によれば、上述のように近接検知処理が実行される。このようにすることで、例えば、手の大きい人や指の太い人がタッチパネル装置１０を操作する場合、ＧＵＩの部品を拡大して表示することができる。一方で、手の小さい人や指の細い人がタッチパネル装置１０を操作する場合、またはスタイラスペンを用いてタッチパネル装置１０を操作する場合、ＧＵＩの部品は拡大して表示されることはない。
【００９９】
これにより、本発明によれば、情報の表示機能を阻害することなく操作性を向上させることができる。また、本発明のタッチパネル装置１０は、指などを近接させたときに、タッチスクリーン１１にＧＵＩを表示させるので、例えば、装置の消費電力を抑制することができる。
【０１００】
次に、タッチスクリーン１１に表示されたＧＵＩの部品の選択について説明する。
【０１０１】
上述したように、検出データ処理部３５が、タッチパネル２１から出力された情報に基づいて、指やスタイラスペンがタッチスクリーン１１の表面の領域５１の中心の位置に接触したことを表す情報を、例えば、接触位置をＸ軸Ｙ軸座標として出力する。そして、接触・近接判定部３４の判定結果が、画像・検出処理部２２の検出結果として出力され、例えば、選択された部品に割り当てられた機能を実現するための処理がマイクロコンピュータ２３により実行される。
【０１０２】
すなわち、タッチスクリーン１１に表示されたＧＵＩの部品のうち、接触位置のＸ軸Ｙ軸座標に対応する位置に表示されていたＧＵＩの部品が選択されることになる。
【０１０３】
しかしながら、例えば、表示されるＧＵＩの部品が小さいものである場合、指でＧＵＩの部品の位置に正確に接触することは難しく、操作ミスなどが発生しやすい。
【０１０４】
本発明のタッチパネル装置１０においては、このような操作ミスの発生を抑止するために、指やスタイラスペンなどの近接の検知に伴って、ＧＵＩの部品の表示の態様を変化させるなどする。これにより、指が接触して選択される可能性の高い部品をユーザに提示しておき、指やスタイラスペンなどが実際にタッチスクリーン１１の表面に接触した時点でその部品の選択を確定するようにする。
【０１０５】
例えば、図９に示されるように、指をタッチスクリーン１１の表面に近接させた場合、画面に表示されたＧＵＩの部品のうち、部品８１が他の部品とは異なる色（例えば、赤色）で表示される。
【０１０６】
指をタッチスクリーン１１の表面に近接させた場合、上述したように、位置・面積検出部３３は、例えば、指を垂直下方向に移動させた場合、タッチスクリーン１１の表面で接触する位置を算出する。また、位置・面積検出部３３は、形状検出部３２の演算結果として得られた３次元の形状に基づいて、指のタッチスクリーン１１上の接触面積を推定する演算を行う。
【０１０７】
図１０は、タッチスクリーン１１の表面の一部を拡大した図であり、いま、例えば、図１０に示されるように、ＧＵＩの部品が配置されているとする。同図において、図中垂直方向および水平方向に規則的に並べられた矩形のそれぞれが、タッチスクリーン１１上におけるＧＵＩの部品を表している。いま、近接した指のタッチスクリーン１１上において接触すると推定される領域が図中円で示される領域５１であるものとする。
【０１０８】
例えば、図１０の場合、指が接触して選択される可能性の高い部品は、領域５１と重複する位置の部品であると考えることができる。同図の例では、部品８１−１乃至部品８１−９に対応する矩形の少なくとも一部が領域５１に対応する円と重複する位置に配置されている。
【０１０９】
指をタッチスクリーン１１の表面に近接させた場合、マイクロコンピュータ２３は、位置・面積検出部３３により算出されたタッチスクリーン１１の表面で接触する位置およびタッチスクリーン１１上の接触面積に基づいて、最も選択される可能性の高い部品を特定する。ここで、最も選択される可能性の高い部品は、例えば、図１０の領域５１で表される円の中心点と、部品８１−１乃至部品８１−９の重心点との距離に基づいて特定される。
【０１１０】
図１１は、図１０と同様にタッチスクリーン１１の表面の一部を拡大した図であり、領域５１の中心点とＧＵＩの部品の重心点を示す図である。同図において、円の中心に示される黒色の点により領域５１の中心点が示されている。また、各矩形の中央に示される黒色の点により各部品の重心点が示されている。なお、この例では、各部品は全て同一の矩形とされているが、例えば、部品のそれぞれが異なる大きさ、異なる形状を有する場合であっても、同様にして重心点が求められる。
【０１１１】
そして、マイクロコンピュータ２３は、領域５１の中心点と最も距離の近い重心点を有する部品を、最も選択される可能性の高い部品として特定する。すなわち、図１０の部品８１−１が最も選択される可能性の高い部品とされ、赤色で表示されることになる。
【０１１２】
また、図９に示される状態から図１２に示されるように、図１２に示される矢印の方向に指を動かした場合、赤色で表示されていた部品８１はもとの色で表示され、新たに部品８２が赤色で表示される。すなわち、指をタッチスクリーン１１の表面に近接させた場合、マイクロコンピュータ２３は、領域５１の中心点と最も距離の近い重心点を有する部品を、最も選択される可能性の高い部品として特定し、部品の表示の態様を変化させる処理を繰り返し実行する。
【０１１３】
例えば、マイクロコンピュータ２３は、画像・検出処理部２２の検出結果として出力される情報に基づいて、指などがタッチスクリーン１１の表面に近接しているか否かを判定する。そして、指などがタッチスクリーン１１の表面に近接していると判定された場合、マイクロコンピュータ２３は、例えば０．５秒毎に、最も選択される可能性の高い部品を特定し、部品の表示の態様を変化させる処理を繰り返し実行するようになされている。
【０１１４】
図１２に示される状態から図１３に示されるように、タッチスクリーン１１の表面の部品８２の位置を指で触れた（接触した）とする。図１３では、ユーザが図１２に示される状態から、ほぼ垂直下方向に指を移動させて、タッチスクリーン１１の表面に接触したものとする。
【０１１５】
このとき、タッチスクリーン１１において、図１４に示されるように、ＧＵＩの部品が配置されていたとする。そして、同図に示される領域５２において実際に指がタッチスクリーン１１の表面に接触したものとする。図１４は、タッチスクリーン１１の表面の一部を拡大した図であり、図中垂直方向および水平方向に規則的に並べられた矩形のそれぞれが、タッチスクリーン１１上におけるＧＵＩの部品を表している。
【０１１６】
図１４の状態では、領域５２の中心点と最も距離の近い重心点を有する部品は、部品８２ではないが、マイクロコンピュータ２３は、部品８２が選択されたものとして、部品８２に割り当てられた機能を実現するための処理を実行する。すなわち、部品８２の選択が確定する。
【０１１７】
図１２に示される状態から図１３に示されるように指を動かした際に、意図した位置とは異なる位置に指先が触れてしまうことは多々ある。このような場合、赤色で表示されていた部品とは異なる部品が選択されたと認識すると、ユーザにとって操作性が低いと感じられる。
【０１１８】
このため、本発明のタッチパネル装置１０においては、指などがタッチスクリーン１１の表面に近接した後、実際に接触するまでの間の微動は無視して、近接状態において最も選択される可能性の高い部品として特定された部品の選択を確定させる。
【０１１９】
なお、仮に、図１４における領域５２と部品８２の位置が重複していない場合、部品８２以外の部品が選択されたものと認識されるようになされている。
【０１２０】
このように本発明によれば、操作ミスの発生を抑止することが可能である。また、例えば、従来の方式のように、接触状態から非接触状態になった時点で触れていたＧＵＩ部品に確定するものではなく、実際のボタン押下操作のようにＧＵＩの部品に接触した時点で選択が確定される。これにより、操作ミスの発生の抑止を考慮するとともに、例えば、従来の方式と比較して、より自然な操作環境を提供することが可能となる。
【０１２１】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフ
トウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１５に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１２２】
図１５において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２３】
CPU７０１、ROM７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１２４】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１２５】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１２６】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１２７】
なお、この記録媒体は、図１５に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１２８】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２９】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１３０】
１０  タッチパネル装置，  １１  タッチスクリーン，  １２−１乃至１２−４  撮像回路，  ２１  タッチパネル，  ２２  画像・検出処理部，  ２３  マイクロコンピュータ，  ３１  画像認識部，  ３２  形状検出部，  ３３  位置・面積検出部，  ３４  接触・近接検出部，  ３５  検出データ処理部
【図１】
0005532300.tif 000002
【図２】
0005532300.tif 000003
【図３】
0005532300.tif 000004
【図４】
0005532300.tif 000005
【図５】
0005532300.tif 000006
【図６】
0005532300.tif 000007
【図７】
0005532300.tif 000008
【図８】
0005532300.tif 000009
【図９】
0005532300.tif 000010
【図１０】
0005532300.tif 000011
【図１１】
0005532300.tif 000012
【図１２】
0005532300.tif 000013
【図１３】
0005532300.tif 000014
【図１４】
0005532300.tif 000015
【図１５】
0005532300.tif 000016