(57)【特許請求の範囲】
【請求項１】
表示部と、
前記表示部上に配置されたタッチセンサと、
前記タッチセンサのタッチ面を振動させる振動発生部と、
アプリケーションを実行し当該アプリケーションの実行画面を前記表示部に表示させる制御部と、
前記アプリケーションと同一のアプリケーションを擬似アプリケーションとして実行する擬似アプリケーション実行部と、
前記表示部上に複数の試行点を設定して当該各試行点を擬似押下した際の、前記擬似アプリケーションの当該擬似押下による出力変化に基づいて、前記実行画面上のボタン領域を判定するボタン領域判定部と
を備え、
前記制御部は、前記ボタン領域判定部によりボタン領域であると判定された前記ボタン領域に対応する前記タッチ面への押下を検知すると、前記振動発生部により前記タッチ面を振動させる
ことを特徴とする通信端末。
【請求項２】
請求項１に記載の通信端末において、
前記ボタン領域判定部は、
前記擬似アプリケーションの前記擬似押下による出力変化を当該出力変化が得られた試行点と関連付けて記憶する状態保持部と、
前記出力変化が同一であり、かつ、前記試行点の位置が隣接している領域を同一ボタン領域と判定する領域判定部と
を備えることを特徴とする通信端末。
【請求項３】
請求項１に記載の通信端末において、
前記ボタン領域判定部は、
前記アプリケーションへ入力された入力データを所定の試行期間分記憶する入力データ保持部と、
前記試行期間分の入力データに対応する前記アプリケーションの出力データを当該試行期間分記憶する出力データ保持部と、
前記試行期間分の入力データが与えられていたときの前記アプリケーションの状態を擬似アプリケーション状態として当該試行期間分記憶するアプリケーション状態保持部と、
前記擬似アプリケーションの前記擬似押下による出力変化を当該出力変化が得られた試行点と関連付けて記憶する状態保持部と、
前記出力変化が同一であり、かつ、前記試行点の位置が隣接している領域を同一ボタン領域と判定する領域判定部と、
を備え、
前記制御部は、
前記擬似アプリケーション状態を用いて前記擬似アプリケーション実行部を実行させ、
前記擬似アプリケーション状態に対応するタイミングで、前記試行期間分の入力データを前記擬似アプリケーション状態で実行中の前記擬似アプリケーションに入力し、
前記入力データを前記擬似アプリケーションに入力している間に前記擬似押下を実行して、当該擬似押下に対応する出力と、前記出力データ保持部に記憶されている前記出力データの対応するタイミングの出力とを比較して、前記擬似アプリケーションの当該擬似押下による出力変化を前記状態保持部に与える
ことを特徴とする通信端末。
【請求項４】
請求項１〜３のいずれかに記載の通信端末において、さらに、
前記同一ボタン領域に表示される文字を抽出する文字抽出部と、
前記文字に対応する振動情報を記憶する記憶部と
を備え、
前記制御部は、抽出された前記文字に対応する振動情報を用いて前記振動発生部により前記タッチ面を振動させる
ことを特徴とする通信端末。
【請求項５】
請求項４に記載の通信端末において、さらに、前記タッチ面への押下が閾値を超える押下に相当するか否かを判定する荷重検出部を備え、
前記記憶部は、前記タッチ面への押下が閾値を超えるか否かによって異なる振動情報を記憶し、
前記制御部は、前記タッチ面への押下が閾値を超える押下であるか否かに応じて、対応する振動情報を用いて前記振動発生部により前記タッチ面を振動させる
ことを特徴とする通信端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信端末に関するものである。
【背景技術】
【０００２】
近年、携帯電話やゲーム機等の通信端末において、ユーザによる入力のインターフェースとしてタッチセンサを採用するものが増えてきている。タッチセンサを利用したインターフェースは、ユーザが直感的に操作することができるという利点がある。
【０００３】
タッチセンサを利用したインターフェースにおいては、ユーザは画面上に表示されるボタン等をタッチして通信端末を操作する。しかし、このようなタッチ操作は触覚フィードバックを生じないためユーザはボタンの押下が受け付けられたか否かを操作感によって判断することができず、ブラインドタッチのような操作をすることは困難である。
【０００４】
ユーザに触覚フィードバックを与えるため、例えば、タッチセンサが入力を受け付けるとユーザの指にクリック感のような触感を与える装置が提案されている（例えば、特許文献１参照）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４６３３１８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１の装置によれば、タッチセンサを利用したインターフェースに表示されるボタンに対するタッチ操作を受け付けた際に、ユーザの指などに振動を与えることができる。これにより、ユーザはクリック感のような感覚を得ることができ、ブラインドタッチのような操作も可能となる。
【０００７】
しかしながら、上記のような振動を提供するためには、通信端末上で実行されているアプリケーションにおいて、画面上に表示される操作ボタンにユーザに提供する振動が対応付けされている必要がある。
【０００８】
近年、Ｗｅｂページからダウンロードするアプリケーションのように、特定の通信端末に特化されないアプリケーションが増えている。これらのアプリケーションに対し、あらゆる種類の端末に対して、操作ボタンとユーザに与える振動との対応付けがなされることを期待することは現実的でない。
【０００９】
その結果、使用するアプリケーションによって、操作ボタンとユーザに与える触覚フィードバックとの対応付けがされているものといないものとが混在することになり、アプリケーションによって操作感が異なることによりユーザに不快感を与えることが想定される。
【００１０】
したがって、かかる点に鑑みてなされた本発明の目的は、操作ボタンとユーザに与える触覚フィードバックとが対応付けられていないアプリケーションに対しても、ボタン領域を判定しユーザに触覚フィードバックを与えることができる通信端末を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成する第１の観点に係る通信端末は、
表示部と、
前記表示部上に配置されたタッチセンサと、
前記タッチセンサのタッチ面を振動させる振動発生部と、
アプリケーションを実行し当該アプリケーションの実行画面を前記表示部に表示させる制御部と、
前記アプリケーションと同一のアプリケーションを擬似アプリケーションとして実行する擬似アプリケーション実行部と、
前記表示部上に複数の試行点を設定して当該各試行点を擬似押下した際の、前記擬似アプリケーションの当該擬似押下による出力変化に基づいて、前記実行画面上のボタン領域を判定するボタン領域判定部と
を備え、
前記制御部は、前記ボタン領域判定部によりボタン領域であると判定された前記ボタン領域に対応する前記タッチ面への押下を検知すると、前記振動発生部により前記タッチ面を振動させる
ことを特徴とするものである。
【００１２】
第２の観点に係る通信端末は、
第１の観点に係る通信端末において、
前記ボタン領域判定部は、
前記擬似アプリケーションの前記擬似押下による出力変化を当該出力変化が得られた試行点と関連付けて記憶する状態保持部と、
前記出力変化が同一であり、かつ、前記試行点の位置が隣接している領域を同一ボタン領域と判定する領域判定部と
を備えるものである。
【００１３】
第３の観点に係る通信端末は、
第１の観点に係る通信端末において、
前記ボタン領域判定部は、
前記アプリケーションへ入力された入力データを所定の試行期間分記憶する入力データ保持部と、
前記試行期間分の入力データに対応する前記アプリケーションの出力データを当該試行期間分記憶する出力データ保持部と、
前記試行期間分の入力データが与えられていたときの前記アプリケーションの状態を擬似アプリケーション状態として当該試行期間分記憶するアプリケーション状態保持部と、
前記擬似アプリケーションの前記擬似押下による出力変化を当該出力変化が得られた試行点と関連付けて記憶する状態保持部と、
前記出力変化が同一であり、かつ、前記試行点の位置が隣接している領域を同一ボタン領域と判定する領域判定部と、
を備え、
前記制御部は、
前記擬似アプリケーション状態を用いて前記擬似アプリケーション実行部を実行させ、
前記擬似アプリケーション状態に対応するタイミングで、前記試行期間分の入力データを前記擬似アプリケーション状態で実行中の前記擬似アプリケーションに入力し、
前記入力データを前記擬似アプリケーションに入力している間に前記擬似押下を実行して、当該擬似押下に対応する出力と、前記出力データ保持部に記憶されている前記出力データの対応するタイミングの出力とを比較して、前記擬似アプリケーションの当該擬似押下による出力変化を前記状態保持部に与える
ことを特徴とするものである。
【００１４】
第４の観点に係る通信端末は、
第１〜３のいずれかの観点に係る通信端末において、さらに、
前記同一ボタン領域に表示される文字を抽出する文字抽出部と、
前記文字に対応する振動情報を記憶する記憶部と
を備え、
前記制御部は、抽出された前記文字に対応する振動情報を用いて前記振動発生部により前記タッチ面を振動させる
ことを特徴とするものである。
【００１５】
第５の観点に係る通信端末は、
第４の観点に係る通信端末において、さらに、前記タッチ面への押下が閾値を超える押下に相当するか否かを判定する荷重検出部を備え、
前記記憶部は、前記タッチ面への押下が閾値を超えるか否かによって異なる振動情報を記憶し、
前記制御部は、前記タッチ面への押下が閾値を超える押下であるか否かに応じて、対応する振動情報を用いて前記振動発生部により前記タッチ面を振動させる
ことを特徴とするものである。
【００１６】
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
【発明の効果】
【００１７】
本発明によれば、操作ボタンとユーザに与える触覚フィードバックとが対応付けられていないアプリケーションに対しても、ボタン領域を判定しユーザに触覚フィードバックを与えることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態に係る通信端末の概略構成を示す機能ブロック図である。
【図２】図１に示した通信端末の実装構造の一部を示す概略構成図である。
【図３】本発明の第１実施形態に係るボタン領域判定部の概略構成を示す機能ブロック図である。
【図４】本発明の第１実施形態に係るボタン領域を判定する処理手順を示すフローチャートである。
【図５】本発明の第１実施形態に係るボタン領域を判定する処理手順を示すフローチャートである。
【図６】本発明の第１実施形態に係るボタン領域を判定する処理手順を示すフローチャートである。
【図７】本発明の第１実施形態に係るボタン領域を判定する様子を示す図である。
【図８】本発明の第１実施形態に係る振動を与える処理手順を示すフローチャートである。
【図９】本発明の第２実施形態に係る通信端末の概略構成を示す機能ブロック図である。
【図１０】本発明の第２実施形態に係るボタン領域判定部の概略構成を示す機能ブロック図である。
【図１１】本発明の第２実施形態に係るボタン領域を判定する処理手順を示すフローチャートである。
【図１２】本発明の第２実施形態に係るボタン領域を判定する処理手順を示すフローチャートである。
【図１３】本発明の第２実施形態に係るボタン領域を判定する処理手順を示すフローチャートである。
【図１４】本発明の第２実施形態に係るボタン領域を判定する処理手順を示すフローチャートである。
【図１５】本発明の第２実施形態に係るボタン領域を判定する処理手順を示すフローチャートである。
【図１６】本発明の第２実施形態に係るボタン領域を判定する様子を示す図である。
【図１７】本発明の第２実施形態に係る振動を与える処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明に係る通信端末の実施形態について、図面を参照して説明する。
【００２０】
（第１実施形態）
図１は、通信端末１の概略構成を示す機能ブロック図である。通信端末１は、制御部１２、表示部１４、タッチセンサ１６、荷重検出部１８、振動発生部２０、記憶部２２、通信部２４およびボタン領域判定部２６を備える。
【００２１】
制御部１２は、通信端末１の各機能部をはじめとして通信端末１の全体を制御および管理するものであり、ＣＰＵ等の好適なプロセッサによって構成される。
【００２２】
表示部１４は、例えば液晶ディスプレイ（ＬＣＤ）または有機ＥＬディスプレイなどで構成される。表示部１４の前面には、ユーザの指などによるタッチ面１６Ａ（図２参照）への入力を検出するタッチセンサ１６が配設される。
【００２３】
タッチセンサ１６は、そのタッチ面１６Ａに対する指やスタイラスペンなどによる押下を検出するもので、抵抗膜方式、静電容量方式、光学式等のタッチ位置の二次元位置情報を出力する公知の透明なタッチセンサからなり、表示部１４の前面に配設される。このタッチセンサ１６からの位置情報は、制御部１２に供給される。ユーザの指やスタイラスなどのタッチ面１６Ａに押下する対象のことを、以下「押下対象」と称する。また、これ以後、押下対象としてユーザの指を例に説明するが、これは一例であり、押下対象をユーザの指に限定するものではない。なお、タッチセンサ１６が入力を検出する上で、ユーザの指等がタッチセンサ１６を物理的に押下することは必須ではない。例えば、タッチセンサ１６が光学式である場合には、タッチセンサ１６は、赤外線が指等により遮られた位置を検出するため、物理的な押下がない場合でも入力を検出することができる。
【００２４】
荷重検出部１８は、タッチセンサ１６のタッチ面１６Ａに対する押圧荷重を検出するもので、例えば圧電素子、歪みゲージセンサなどを用いて構成する。荷重検出部１８は、検出した押圧荷重のデータを制御部１２に対して出力する。なお、例えば、振動発生部２０および荷重検出部１８を共に圧電素子を用いて構成する場合は、振動発生部２０および荷重検出部１８を共通の圧電素子により一体化して構成することができる。圧電素子は、圧力が加えられると電力を発生し、電力が加えられると変形するという性質を有するためである。
【００２５】
振動発生部２０は、タッチセンサ１６のタッチ面１６Ａに振動を伝えるもので、例えば、圧電素子または超音波振動子などを用いて構成する。この振動発生部２０が振動することにより、タッチセンサ１６を押圧しているユーザの指などに対して振動を与えることができる。なお、本発明における振動発生部は、タッチセンサ１６のタッチ面１６Ａを直接的または間接的に振動させるものであればよく、例えば、振動発生部を振動モータ（偏心モータ）とし、タッチセンサ１６のタッチ面１６Ａを直接的に振動させたり、タッチセンサ１６を保持する保持部材や通信端末の筐体を振動させてタッチ面１６Ａを間接的に振動させたりするように構成してもよい。
【００２６】
また、振動発生部２０は、制御部１２が圧電素子に印加する駆動電圧を変化させると、ユーザの指に異なる振動を与える。制御部１２は、駆動電圧の周波数、振幅、波形などを変化させることができる。周波数および振幅は、大小を変化させることができ、波形は、サイン波、矩形波または三角波などとすることができる。
【００２７】
記憶部２２は、振動発生部２０が呈示する振動パターンなどを記憶するとともに、ワークメモリなどとしても機能する。ここで、振動パターンとは、振動の仕方（周波数、位相、振動間隔、振動回数など）や振動の強さ（振幅など）等により規定されるものである。
【００２８】
通信部２４は、無線通信ネットワークと無線接続して、電話、電子メール、インターネット等の通信を実行する。
【００２９】
ボタン領域判定部２６は、表示部１４に表示されているアプリケーションの実行画面におけるボタン領域を判定する。ボタン領域判定部２６の詳細については、別途説明する。
【００３０】
図２は、図１に示したタッチセンサ１６、振動発生部２０および表示部１４の実装構造の概略構成例を示すもので、図２（ａ）は要部断面図、図２（ｂ）は要部平面図である。表示部１４は、筐体６１内に収納保持される。表示部１４上には、弾性部材からなるインシュレータ６２を介して、タッチセンサ１６が保持される。なお、タッチセンサ１６は、図２（ｂ）に仮想線で示す表示部１４の表示領域Ａから外れた４隅に配設されたインシュレータ６２を介して表示部１４上に保持されている。
【００３１】
また、筐体６１には、表示部１４の表示領域Ａから外れたタッチセンサ１６の表面領域を覆うようにアッパカバー６３が設けられ、このアッパカバー６３とタッチセンサ１６との間に、弾性部材からなる防塵用のインシュレータ６４が配設されている。
【００３２】
なお、タッチセンサ１６は、タッチ面１６Ａを有する表面部材が、例えば透明フィルムやガラスで構成され、裏面部材がガラスやアクリルで構成されて、インシュレータ６４を介してタッチ面１６Ａが押圧されると、押圧部分が押圧力に応じて微少量撓む（歪む）とともに、裏面部材を含むタッチセンサ１６の全体が微少量撓む構造となっている。
【００３３】
振動発生部２０は、２つの圧電素子７１を有する。圧電素子７１は、タッチセンサ１６を湾曲変位させるように、タッチセンサ１６の裏面上で、アッパカバー６３で覆われる対向する２辺の近傍にそれぞれ装着する。なお、圧電素子７１は、好適には、タッチセンサ１６の押下による撓み方向と、圧電素子７１の湾曲方向とが一致するようにタッチセンサ１６に装着する。図２では、タッチセンサ１６が平面視で長方形状を有しているので、２つの圧電素子７１は、対向する２つの長辺の近傍で長辺に沿って装着されている。なお、図２（ｂ）においては、図２（ａ）に示した筐体６１、アッパカバー６３およびインシュレータ６４の図示を省略している。
【００３４】
図３は、ボタン領域判定部２６の概略構成を示す機能ブロック図である。ボタン領域判定部２６は、擬似アプリケーション実行部１０２、擬似押下部１０４、擬似出力部１０６、擬似送信部１０８、状態保持部１１０、領域判定部１１２および文字抽出部１１４を備える。
【００３５】
擬似アプリケーション実行部１０２は、制御部１２が実行するアプリケーションと同一のアプリケーションを実行する。以下、擬似アプリケーション実行部１０２が実行するアプリケーションを「擬似アプリケーション」と称する。擬似アプリケーション実行部１０２は、制御部１２が実行するアプリケーションと同じタイミングで並行して擬似アプリケーションを実行することもできるし、制御部１２がアプリケーションを実行するタイミングから遅れて、擬似アプリケーションを実行することもできる。
【００３６】
擬似押下部１０４は、表示部１４内に複数の試行点を設定し、当該試行点を擬似的に押下したとする情報を擬似アプリケーションに与える。以下、擬似押下部１０４が試行点を擬似的に押下することを「擬似押下」と称する。
【００３７】
擬似出力部１０６は、擬似押下部１０４が擬似押下したときに擬似アプリケーションが出力するデータ（以下、「擬似出力データ」と称する）を受け取って記憶する。擬似出力データは、例えば、表示データなどである（以下、「擬似表示データ」と称する）。擬似表示データは擬似出力部１０６にデータとして記憶されるのみであり、実際に表示部１４には表示されない。
【００３８】
擬似送信部１０８は、擬似押下部１０４が擬似押下したときに擬似アプリケーションが出力する送信データ（以下、「擬似送信データ」と称する）を受け取って記憶する。擬似送信データは擬似送信部１０８にデータとして記憶されるのみであり、実際に通信部２４からは送信されない。
【００３９】
状態保持部１１０は、擬似押下部１０４の擬似押下により生じた変化を試行点の座標と関連付けて記憶する。状態保持部１１０は、例えば、擬似表示データと表示部１４に表示されている表示とが異なると判定した場合、擬似表示データを試行点の座標と関連付けて記憶する。また、状態保持部１１０は、擬似押下部１０４の擬似押下により擬似送信部１０８に擬似送信データが記憶されたと判定した場合、擬似送信データを試行点の座標と関連付けて記憶する。
【００４０】
領域判定部１１２は、状態保持部１１０に記憶されている擬似出力データが同一であり、かつ、試行点の座標が隣接している場合、同一ボタンを構成する領域であると判定し、当該領域が同一ボタンを構成する領域であると判定する。
【００４１】
文字抽出部１１４は、同一ボタン領域であると判定された領域に対して文字認識を行い、認識率が所定の閾値以上となる文字列が存在する場合、その中で最も認識率が高い文字列を当該同一ボタン領域に表示されている文字列であるとして記憶する。
【００４２】
図４〜図６に示すフローチャートを参照しながら、アプリケーションを実行中に表示部１４に表示されているアプリケーション実行画面中のボタン領域を判定する手順を説明する。図４〜図６は１つのフローチャートを３つの図に分けて記載したものである。
【００４３】
図４に示す部分のフローチャートについて説明する。制御部１２は、アプリケーションを実行する（ステップＳ１０１）。続いて、擬似アプリケーション実行部１０２は、擬似アプリケーションを実行する（ステップＳ１０２）。
【００４４】
制御部１２は、現在実行中のアプリケーションにおいて、ボタン領域判定部２６によって、すでにボタン領域が判定されているか否かを判定する（ステップＳ１０３）。制御部１２は、ステップＳ１０３において、まだボタン領域が判定されていないと判定した場合、アプリケーションの実行がまだ継続中であるか否かを判定する（ステップＳ１０４）。
【００４５】
制御部１２は、ステップＳ１０４において、アプリケーションの実行がすでに終了していると判定した場合、擬似アプリケーション実行部１０２が実行中の擬似アプリケーションを終了させる（ステップＳ１０５）。制御部１２は、ステップＳ１０４において、アプリケーションの実行が継続していると判定した場合、状態保持部１１０が記憶しているデータをクリアする（ステップＳ１０６）。
【００４６】
続いて、ボタン領域判定部２６は、擬似押下の繰り返し処理を実行する。本実施形態においては、試行点がＮｍａｘ個の場合を例に挙げて説明する（ステップＳ１０７）。制御部１２は、アプリケーションの状態が更新されているか否かを判定し、アプリケーションの状態が更新されていないと判定した場合は、擬似押下の繰り返し処理を抜けてステップＳ１０４に戻る（ステップＳ１０８）。
【００４７】
制御部１２は、ステップＳ１０８において、アプリケーションの状態が更新されていないと判定した場合、アプリケーションの状態を擬似アプリケーション実行部１０２が実行している擬似アプリケーションにコピーする（ステップＳ１０９）。擬似押下部１０４は、最初の試行点を擬似押下する（ステップＳ１１０）。制御部１２は、擬似押下の結果、擬似出力部１０６に出力された擬似表示データと表示部１４に表示されている表示データとを比較する（ステップＳ１１１）。
【００４８】
制御部１２は、ステップＳ１１１において、擬似表示データと表示部１４に表示されている表示データとの間に差がないと判定した場合、擬似送信部１０８に外部アクセス要求のデータが記憶されているかどうかを判定する（ステップＳ１１２）。制御部１２は、ステップＳ１１２において、外部アクセス要求のデータが記憶されていないと判定した場合は、繰り返し処理の１回目を終了し、ステップＳ１０７に戻る（ステップＳ１１４）。
【００４９】
制御部１２は、ステップＳ１１において擬似表示データと表示部１４に表示されている表示データとに差があると判定した場合、または、ステップＳ１１２において外部アクセス要求のデータが記憶されていると判定した場合は、擬似アプリケーションの状態を試行点の座標と関連付けて状態保持部１１０に記憶し、また、制御部１２は、擬似アプリケーションの状態と試行点の座標との組み合わせに登録数Ｍを付けて状態保持部１１０に記憶する。制御部１２は、登録数Ｍを１つ増やす。ステップＳ１１４にすすむ（ステップＳ１１３）。
【００５０】
図５に示す部分のフローチャートについて説明する。ステップＳ１０７〜Ｓ１１４までの繰り返し処理が終了すると、領域判定部１１２は、状態保持部１１０に登録されている登録数Ｍを確認する。なお、登録数Ｍは、ステップＳ１１１またはステップＳ１１２において、「Ｙｅｓ」と判定された試行点の個数に対応する。領域判定部１１２は、登録数Ｍが０である場合は、ステップＳ１０３に戻る（ステップＳ１２１）。
【００５１】
領域判定部１１２は、ステップＳ１２１において、登録数Ｍが０より大きいと判定した場合は、領域情報をクリアしＰｃｎｔ＝０とする（ステップＳ１２２）。領域判定部１１２は、繰り返し処理の変数をＬとして、登録数Ｍの分だけ繰り返し処理を実行する（ステップＳ１２３〜ステップＳ１３１）。領域判定部１１２は、状態保持部１１０から状態Ｐを順次読み出して状態Ｌと比較する（ステップＳ１２５）。
【００５２】
領域判定部１１２は、ステップＳ１２５において、状態Ｌと状態Ｐが等しいと判定した場合は、試行点Ｌと領域Ｐとの距離を計算し（ステップＳ１２６）、計算した距離が閾値ＬＮＧｔｈより小さいか否かを判定する（ステップＳ１２７）。領域判定部１１２は、ステップＳ１２７において計算した距離が閾値ＬＮＧｔｈより小さいと判定したときは、試行点Ｌの位置は領域Ｐの近傍であると判断し試行点Ｌの位置を領域Ｐへ統合する（ステップＳ１２８）。
【００５３】
領域判定部１１２は、ステップＳ１２７において、状態Ｌと状態Ｐとが等しくないと判定した場合は、状態Ｐの番号を１つ増やしステップＳ１２５の処理を繰り返す。領域判定部１１２は、状態Ｌがいずれの統合中の領域にも等しくないと判定した場合は、当該状態Ｌを新たな領域として追加し、領域個数Ｐを１つ増やす（ステップＳ１３０）。領域判定部１１２は、この繰り返し処理を状態保持部１１０に記憶されている全ての試行点について実行する。
【００５４】
図６に示す部分のフローチャートについて説明する。文字抽出部１１４は、統合されたボタン領域に対して文字の抽出を実行する（ステップＳ１４１〜ステップＳ１４６）。文字抽出部１１４は、ボタン領域内から文字を抽出し、候補となる文字の認識率Ｑを得る（ステップＳ１４２）。文字抽出部１１４は、文字の認識率Ｑが閾値Ｑｔｈより大きいか否かを判定する（ステップＳ１４３）。
【００５５】
文字抽出部１１４は、ステップＳ１４３において認識率Ｑが閾値Ｑｔｈより大きいと判定した場合は、候補となる文字がボタン領域内に記載されている文字であるとし、ボタン領域に当該文字に対応する振動情報を割り当てる（ステップＳ１４４）。文字抽出部１１４は、ステップＳ１４３において認識率Ｑが閾値Ｑｔｈより小さいと判定した場合は、ボタン領域に汎用の振動情報を割り当てる（ステップＳ１４５）。
【００５６】
図７（ａ）〜図７（ｃ）は、通信端末１がボタン領域を判定する様子を示す。図７（ａ）には、表示部１４に３つのボタン領域（Ｂ１〜Ｂ３）がある場合が示されている。図７（ｂ）は、表示部１４に対し、擬似押下部１０４が８３点の試行点Ｔを設定した様子を示す。図７（ｃ）は、擬似押下部１０４が図７（ｂ）に示す試行点Ｔを設定した状態で、図７（ａ）のボタン領域が存在する表示部１４に対して、ボタン領域判定を実行した結果を示す。
【００５７】
図７（ｃ）においては、ボタン領域判定部２６によって、ボタンＢ４〜ボタンＢ６の３つの領域がボタン領域であると判定されている。ボタンＢ４〜ボタンＢ６の領域は、それぞれ、ボタンＢ１〜ボタンＢ３に対応し、タッチセンサ１６がボタンＢ４〜ボタンＢ６のいずれかの領域で押下を検知したときは、振動発生部２０によって、それぞれのボタン領域内の文字に応じた振動を与える。
【００５８】
図８に示すフローチャートを参照しながら、通信端末１がボタン領域を判定し、押下の強さに応じてボタン領域内に表示された文字に対応する振動を与える手順を説明する。
【００５９】
制御部１２は、アプリケーションを実行する（ステップＳ２０１）。ボタン領域判定部２６は、表示部１４の表示画面中のボタン領域を判定する（ステップＳ２０２）。制御部１２は、アプリケーションの実行がまだ継続中であるか否かを判定する（ステップＳ２０３）。
【００６０】
制御部１２は、ステップＳ２０３において、アプリケーションの実行が継続していると判定した場合、表示部１４に表示されているアプリケーション実行画面の更新があったか否かを判定する（ステップＳ２０４）。ステップＳ２０４において、アプリケーション実行画面の更新があったと判定された場合、ボタン領域判定部２６は、更新された実行画面についてボタン領域判定を実行する（ステップＳ２０５）。
【００６１】
制御部１２は、荷重検出部１８が閾値を超える押下を検出したか否かを判定する（ステップＳ２０６）。制御部１２は、ステップＳ２０６にて荷重検出部１８が閾値を超える押下を検出した場合、検出した押下位置がボタン領域内に含まれているか否かを判定する（ステップＳ２０７）。
【００６２】
ステップＳ２０７において、押下位置がボタン領域内に含まれていると判定された場合、文字抽出部１１４は、ボタン領域内の文字を抽出し抽出した文字に対応する振動情報を記憶部２２から読み出す。文字抽出部１１４は、抽出した文字に所定の閾値Ｑｔｈ以上で合致する文字がない場合は、汎用の振動情報を記憶部２２から読み出す（ステップＳ２０８）。
【００６３】
振動発生部２０は、当該振動情報により振動を与える（ステップＳ２０９）。制御部１２は、ステップＳ２０６にて荷重検出部１８が閾値を超える押下を検出しなかった場合、タッチセンサ１６が押下を検出したか否かを判定する。ここで、荷重検出部１８により閾値以下の押下と判定され、タッチセンサ１６により押下を検出されるような押下は、「接触」であると判定する（ステップＳ２１０）。
【００６４】
制御部１２は、ステップＳ２１０にてタッチセンサ１６が接触を検出した場合、検出した接触位置がボタン領域内に含まれているか否かを判定する（ステップＳ２１１）。ステップＳ２１１において、接触位置がボタン領域内に含まれていると判定された場合、文字抽出部１１４は、ボタン領域内の文字を抽出し抽出した文字に対応する振動情報を記憶部２２から読み出す。文字抽出部１１４は、抽出した文字に所定の閾値Ｑｔｈ以上で合致する文字がない場合は、汎用の振動情報を記憶部２２から読み出す（ステップＳ２１２）。振動発生部２０は、当該振動情報により振動を与える（ステップＳ２１３）。
【００６５】
このように、通信端末１は、任意のアプリケーションに対して、アプリケーション実行中のボタン領域を判定し、当該ボタン領域にユーザの指等が押下したときに、ボタン領域内に表示されている文字に対応する振動をユーザの指等に与えることができる。
【００６６】
（第２実施形態）
第２実施形態では、映像配信サーバから配信される映像を受信して再生するＩＰＴＶ（Internet Protocol TV）や、リアルタイムに音声データ、映像データを送受信して通話するテレビ電話などのように、押下の有無に関らず表示画面が変化するようなアプリケーションの実行中においてもボタン領域を判定することができる通信端末について説明する。
【００６７】
図９は、通信端末２の概略構成を示す機能ブロック図である。通信端末２は、制御部３２、表示部３４、タッチセンサ３６、荷重検出部３８、振動発生部４０、記憶部４２、通信部４４およびボタン領域判定部４６を備える。
【００６８】
表示部３４、タッチセンサ３６、荷重検出部３８、振動発生部４０、記憶部４２および通信部４４については、第１実施形態の対応する機能ブロックと同様の機能であるため説明を省略する。
【００６９】
制御部３２は、通信端末２の各機能部をはじめとして通信端末２の全体を制御および管理するものであり、ＣＰＵ等の好適なプロセッサによって構成される。詳細については、別途説明する。
【００７０】
ボタン領域判定部４６は、表示部３４に表示されているアプリケーションの実行画面におけるボタン領域を判定する。詳細については、図１０を用いて説明する。
【００７１】
図１０は、ボタン領域判定部４６の概略構成を示す機能ブロック図である。ボタン領域判定部４６は、擬似アプリケーション実行部２０２、擬似押下部２０４、擬似出力部２０６、擬似送信部２０８、状態保持部２１０、領域判定部２１２、文字抽出部２１４、擬似時間制御部２１６、アプリケーション状態保持部２１８、入力データ保持部２２０および出力データ保持部２２２を備える。
【００７２】
擬似アプリケーション実行部２０２、擬似押下部２０４、擬似出力部２０６、擬似送信部２０８、状態保持部２１０、領域判定部２１２および文字抽出部２１４については、第１実施形態の対応する機能ブロックと同様の機能であるため説明を省略する。
【００７３】
擬似時間制御部２１６は、擬似アプリケーション実行部２０２が擬似アプリケーションを実行する際に擬似時間を制御し，入力データ保持部２２０が記憶する時間入力データを擬似アプリケーションに入力する際に、アプリケーションの状態と時間入力データのタイミングを合わせて入力させる。
【００７４】
アプリケーション状態保持部２１８は、制御部３２が実行するアプリケーションの状態を試行期間分だけ記憶する。
【００７５】
入力データ保持部２２０は、アプリケーション状態保持部２１８に記憶されているアプリケーションの状態に対応する入力データを予め設定された試行期間、すなわち、全ての試行点についての変化を記憶する時間分だけ記憶する。
【００７６】
出力データ保持部２２２は、入力データ保持部２２０に記憶されるデータがアプリケーション状態保持部２１８に記憶されるアプリケーション状態に入力されていたときの出力データを試行期間分だけ記憶する。
【００７７】
図１１〜図１５に示すフローチャートを参照しながら、アプリケーションを実行中に表示部３４に表示されているアプリケーション実行画面中のボタン領域を判定する手順を説明する。図１１〜図１５は１つのフローチャートを５つの図に分けて記載したものである。
【００７８】
図１１に示す部分のフローチャートについて説明する。制御部３２は、アプリケーションを実行する（ステップＳ３０１）。続いて、擬似アプリケーション実行部２０２は、擬似アプリケーションを実行する（ステップＳ３０２）。
【００７９】
制御部３２は、現在実行中のアプリケーションにおいて、ボタン領域判定部４６によって、すでにボタン領域が判定されているか否かを判定する（ステップＳ３０３）。ステップＳ３０３において、まだボタン領域が判定されていないと判定された場合、擬似押下部２０４は、押下の試行開始タイミングＴｔを決定する（ステップＳ３０４）。
【００８０】
制御部３２は、状態保持部２１０のメモリを初期化し、状態保持部２１０の登録数ＭをＭ＝０とする（ステップＳ３０５）。制御部３２は、アプリケーションの実行がまだ継続中であるか否かを判定する（ステップＳ３０６）。制御部３２は、ステップＳ３０６において、アプリケーションの実行がすでに終了していると判定した場合、擬似アプリケーション実行部２０２が実行中の擬似アプリケーションを終了させる（ステップＳ３０７）。
【００８１】
制御部３２は、ステップＳ３０６において、アプリケーションの実行が継続していると判定した場合、ステップＳ３０４において設定した試行開始タイミングＴｔになっているか否かを判定する（ステップＳ３０８）。制御部３２は、試行開始タイミングＴｔから試行期間Ｔｓ間分、アプリケーションに入力された入力データを入力データ保持部２２０に記憶し、また、アプリケーションから出力された出力データを出力データ保持部２２２に記憶する（ステップＳ３０９）。
【００８２】
図１２に示す部分のフローチャートについて説明する。擬似時間制御部２１６は、擬似時間制御部２１６の時間を試行開始タイミングＴｔに設定する（ステップＳ３２１）。擬似時間制御部２１６は、擬似アプリケーション実行部２０２が実行する擬似アプリケーションの状態を試行開始タイミングＴｔの状態に設定する（ステップＳ３２２）。この状態から、擬似時間制御部２１６は、計時を開始する（ステップＳ３２３）。
【００８３】
制御部３２は、試行期間Ｔｓ間、計時時間に対応する入力データを入力データ保持部２２０から読み出し、擬似アプリケーションに入力させる（ステップＳ３２４）。制御部３２は、擬似アプリケーションから出力される対応する出力データを擬似出力部２０６に記憶させる（ステップ３２５）。
【００８４】
制御部３２は、出力データ保持部２２２に記憶した出力データと擬似出力部２０６に記憶した出力データとの間に差があるか否かを判定する（ステップＳ３２６）。制御部３２は、ステップＳ３２６において差があると判定した場合は、差があると判定された試行点Ｔをボタン領域判定部４６によりボタン領域を判定する範囲から外す（ステップＳ３２７）。
【００８５】
図１３に示す部分のフローチャートについて説明する。擬似時間制御部２１６は、擬似時間制御部２１６の時間を試行開始タイミングＴｔに設定する（ステップＳ３４２）。擬似時間制御部２１６は、擬似アプリケーション実行部２０２が実行する擬似アプリケーションの状態を試行開始タイミングＴｔの状態に設定する（ステップＳ３４３）。
【００８６】
この状態から、擬似時間制御部２１６は、計時を開始する（ステップＳ３４４）。擬似押下部２０４は、擬似押下を実行し、擬似押下の座標情報を擬似アプリケーションに与える（ステップＳ３４５）。制御部３２は、試行期間Ｔｓ間、計時時刻に対応した入力データを入力データ保持部２２０から読み出して擬似アプリケーションに与える（ステップＳ３４６）。
【００８７】
制御部３２は、擬似アプリケーションから出力される対応する出力データを擬似出力部２０６に記憶させる（ステップＳ３４７）。制御部３２は、出力データ保持部２２２に記憶した出力データと擬似出力部２０６に記憶した出力データとの間に差があるか否かを判定する（ステップＳ３４８）。
【００８８】
制御部３２は、ステップＳ３４８において差があると判定した場合は、差があると判定された試行点Ｔおよび出力データを状態保持部２１０に記憶し、登録数Ｍの値を１つ増やす（ステップＳ３４９）。制御部３２は、ステップＳ３４１〜Ｓ３５０までのステップをＮｍａｘ番目の試行点Ｔになるまで繰り返す。制御部３２は、ステップＳ３４１〜Ｓ３５０までの繰り返し処理が終了したら、登録数ＭがＭ＝０であるか否かを確認する（ステップＳ３５１）。制御部３２は、登録がある場合、すなわち登録数Ｍ＞０である場合は、領域情報をクリアする（Ｐｃｎｔ＝０）（ステップＳ３５２）。
【００８９】
図１４に示す部分のフローチャートについて説明する。領域判定部２１２は、状態保持部２１０に記憶されている状態を読み出し、読み出した状態（ＳＴＡＴ（Ｌ））とボタン領域として結合中の領域の状態（ＳＴＡＴ（Ｐ））とを比較する（ステップＳ３６３）。
【００９０】
領域判定部２１２は、ステップＳ３６３において、ＳＴＡＴ（Ｌ）＝ＳＴＡＴ（Ｐ）であった場合は、読み出した座標（ＰＯＩＮＴ（Ｌ））と統合中の領域（ＡＲＥＡ（Ｐ））との距離を計算する（ステップＳ３６４）。領域判定部２１２は、計算した距離が閾値ＬＮＧｔｈより小さいか否かを判定する（ステップＳ３６５）。領域判定部２１２は、ステップＳ３６５において、計算した距離が閾値ＬＮＧｔｈより小さいと判定した場合は、読み出した座標（ＰＯＩＮＴ（Ｌ））を統合中の領域（ＡＲＥＡ（Ｐ））に統合する。
【００９１】
領域判定部２１２は、読み出した座標（ＰＯＩＮＴ（Ｌ））がいずれの統合中の領域にも統合されない場合は、その読み出した座標（ＰＯＩＮＴ（Ｌ））を新たな領域として追加し領域個数Ｐｃｎｔを更新する（Ｐｃｎｔ＋＋）（ステップＳ３６８）。領域判定部２１２は、ステップＳ３６２〜Ｓ３６８までの処理を状態保持部２１０に登録されている全ての試行点Ｔについて行う（ステップＳ３６１〜Ｓ３６９）。また、状態保持部２１０に登録されている全ての試行点Ｔについての処理が終了したら、ボタン領域同士により領域の統合ができなくなるまで繰り返し領域の統合判定を繰り返す。
【００９２】
図１５に示す部分のフローチャートについて説明する。文字抽出部２１４は、統合されたボタン領域に対して文字の抽出を実行する（ステップＳ３８１〜ステップＳ３８６）。文字抽出部２１４は、ボタン領域内から文字を抽出し、候補となる文字の認識率Ｑを得る（ステップＳ３８２）。文字抽出部２１４は、文字の認識率Ｑが閾値Ｑｔｈより大きいか否かを判定する（ステップＳ３８３）。
【００９３】
文字抽出部２１４は、ステップＳ３８３において認識率Ｑが閾値Ｑｔｈより大きいと判定した場合は、候補となる文字がボタン領域内に記載されている文字であるとし、ボタン領域に当該文字に対応する振動情報を割り当てる（ステップＳ３８４）。文字抽出部２１４は、ステップＳ３８３において認識率Ｑが閾値Ｑｔｈより小さいと判定した場合は、ボタン領域に汎用の振動情報を割り当てる（ステップＳ３８５）。
【００９４】
図１６は、第２実施形態においてボタン領域を判定する様子を示す図である。図１６（ａ）は表示画面を、図１６（ｂ）は試行点を、図１６（ｃ）はボタン領域判定を実行した結果を示している。
【００９５】
図１６（ａ）は、表示画面が上段、中段および下段の３つの領域に分けられている例を示す。この例においては、上段には、電池マークやアンテナマークなどが表示されている。また、中段には、ＴＶ電話の映像画面であり相手の映像が表示されている。相手の映像は、ポーズボタンを押すなどの操作が行われない限り、常に更新されている。また、下段には、オフフック（ボタンＢ４）、オンフック（ボタンＢ１）、音量大（ボタンＢ２）および音量小（ボタンＢ３）の４つの操作ボタンが表示されている。
【００９６】
図１６（ｂ）は、擬似押下部２０４が表示部３４に試行点Ｔを設定した様子を示す。この例においては、擬似押下部２０４は８３点の試行点Ｔを表示部３４に設定している。
【００９７】
図１６（ｃ）は、ボタン領域判定部４６によるボタン領域判定の結果、ボタンＢ５〜ボタンＢ８の４つのボタン領域が判定された様子を示す。ボタンＢ５は、オフフック（ボタンＢ４）に対応するボタン領域であり、ボタンＢ６は、音量大（ボタンＢ２）に対応するボタン領域であり、ボタンＢ７は、音量小（ボタンＢ３）に対応するボタン領域であり、ボタンＢ８は、オンフック（ボタンＢ１）に対応するボタン領域である。
【００９８】
図１７に示すフローチャートを参照しながら、通信端末２がボタン領域を判定し、接押下の強さに応じてボタン領域内に表示された文字に対応する振動を与える手順を説明する。
【００９９】
制御部３２は、アプリケーションを実行する（ステップＳ４０１）。ボタン領域判定部４６は、表示部３４の表示画面中のボタン領域を判定する（ステップＳ４０２）。制御部３２は、アプリケーションの実行がまだ継続中であるか否かを判定する（ステップＳ４０３）。
【０１００】
制御部３２は、ステップＳ４０３において、アプリケーションの実行が継続していると判定した場合、表示部３４に表示されているアプリケーション実行画面の更新があったか否かを判定する（ステップＳ４０４）。ステップＳ４０４において、アプリケーション実行画面の更新があったと判定された場合、ボタン領域判定部４６は、更新された実行画面についてボタン領域判定を実行する（ステップＳ４０５）。
【０１０１】
制御部３２は、荷重検出部３８が閾値を超える押下を検出したか否かを判定する（ステップＳ４０６）。制御部３２は、ステップＳ４０６にて荷重検出部３８が閾値を超える押下を検出した場合、検出した押下位置がボタン領域内に含まれているか否かを判定する（ステップＳ４０７）。
【０１０２】
ステップＳ４０７において、押下位置がボタン領域内に含まれていると判定された場合、文字抽出部２１４は、ボタン領域内の文字を抽出し抽出した文字に対応する振動情報を記憶部４２から読み出す。文字抽出部２１４は、抽出した文字に所定の閾値Ｑｔｈ以上で合致する文字がない場合は、汎用の振動情報を記憶部４２から読み出す（ステップＳ４０８）。
【０１０３】
振動発生部４０は、当該振動情報により振動を与える（ステップＳ４０９）。制御部３２は、ステップＳ４０６にて荷重検出部３８が閾値を超える押下を検出しなかった場合、タッチセンサ３６が押下を検出したか否かを判定する。ここで、荷重検出部３８により閾値以下の押下と判定され、タッチセンサ３６により押下を検出されるような押下は、「接触」であると判定する（ステップＳ４１０）。
【０１０４】
制御部３２は、ステップＳ４１０にてタッチセンサ３６が接触を検出した場合、検出した接触位置がボタン領域内に含まれているか否かを判定する（ステップＳ４１１）。ステップＳ４１１において、接触位置がボタン領域内に含まれていると判定された場合、文字抽出部２１４は、ボタン領域内の文字を抽出し抽出した文字に対応する振動情報を記憶部４２から読み出す。文字抽出部２１４は、抽出した文字に所定の閾値Ｑｔｈ以上で合致する文字がない場合は、汎用の振動情報を記憶部４２から読み出す（ステップＳ４１２）。振動発生部４０は、当該振動情報により振動を与える（ステップＳ４１３）。
【０１０５】
このように、第２実施形態によれば、通信端末２は、時間Ｔｔから時間Ｔｔ＋Ｔｓの間の出力データと擬似アプリケーション実行部２０２を擬似時間制御部２１６により擬似時間制御したときの擬似出力データとの差異を判定することにより、ユーザによる表示部３４への押下がなくてもアプリケーション実行画面が更新されてしまうようなアプリケーションであっても、ボタン領域を判定することができる。例えばシューティングゲームのように、ユーザの操作に関りなく画面更新が常に行われているようなアプリケーションであっても、第２実施形態に係る通信端末２はボタン領域を判定することができる。
【０１０６】
また、通信端末２は、時間Ｔｔから時間Ｔｔ＋Ｔｓの間の入力データを入力データ保持部２２０に記憶し、ボタン領域判定を実行中に当該入力データを擬似アプリケーション実行部２０２に与える。これにより、外部からの入力データが途切れた場合（例えば、フリーズや切断など）に、実行画面に変化が現れるようなアプリケーション（例えば、ＴＶ電話やＩＰＴＶ）などのようなアプリケーションに対しても、ボタン領域の判定を実行することができる。
【０１０７】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
【０１０８】
また、上記実施の形態の説明における表示部１４、３４およびタッチセンサ１６、３６は、表示部１４、３４とタッチセンサ１６、３６との両機能を共通の基板に持たせる等により、一体化した装置によって構成されるようにしてもよい。このように表示部１４、３４とタッチセンサ１６、３６との両機能を一体化した装置の構成の一例としては、液晶パネルが有するマトリクス状配列の画素電極群に、フォトダイオード等の複数の光電変換素子を規則的に混在させたものを挙げることができる。この装置は、液晶パネル構造によって画像を表示する一方で、パネル表面の所望位置をタッチ入力するペンの先端で液晶表示用のバックライトの光を反射し、この反射光を周辺の光電変換素子が受光することによって、タッチ位置を検出することができる。
【０１０９】
また、本発明における「押圧」や「押下」とは、ユーザの指等による押圧荷重が所定閾値を超える場合であってもよく、軽く触れた接触の場合であってもよい。特に、光学式のタッチセンサを用いた場合は、タッチセンサ上の赤外線が指やスタイラスペン等で遮られた位置を検出するため、指等によりタッチセンサを押下することは不要である。
【０１１０】
また、本発明における、閾値を「超える」押下を検出のような表現の技術的思想が意味する内容は必ずしも厳密な意味ではなく、閾値を含む場合または含まない場合の両方の意味を包含するものとする。例えば、閾値を「超える」押下とは、押下が閾値より大きい場合だけでなく閾値と等しい場合も含意し得るものとする。
【符号の説明】
【０１１１】
１      通信端末
２      通信端末
１２    制御部
１４    表示部
１６    タッチセンサ
１８    荷重検出部
２０    振動発生部
２２    記憶部
２４    通信部
２６    ボタン領域判定部
３２    制御部
３４    表示部
３６    タッチセンサ
３８    荷重検出部
４０    振動発生部
４２    記憶部
４４    通信部
４６    ボタン領域判定部
１０２  擬似アプリケーション実行部
１０４  擬似押下部
１０６  擬似出力部
１０８  擬似送信部
１１０  状態保持部
１１２  領域判定部
１１４  文字抽出部
２０２  擬似アプリケーション実行部
２０４  擬似押下部
２０６  擬似出力部
２０８  擬似送信部
２１０  状態保持部
２１２  領域判定部
２１４  文字抽出部
２１６  擬似時間制御部
２１８  アプリケーション状態保持部
２２０  入力データ保持部
２２２  出力データ保持部
【図１】
0005637920.tif 000002
【図２】
0005637920.tif 000003
【図３】
0005637920.tif 000004
【図４】
0005637920.tif 000005
【図５】
0005637920.tif 000006
【図６】
0005637920.tif 000007
【図７】
0005637920.tif 000008
【図８】
0005637920.tif 000009
【図９】
0005637920.tif 000010
【図１０】
0005637920.tif 000011
【図１１】
0005637920.tif 000012
【図１２】
0005637920.tif 000013
【図１３】
0005637920.tif 000014
【図１４】
0005637920.tif 000015
【図１５】
0005637920.tif 000016
【図１６】
0005637920.tif 000017
【図１７】
0005637920.tif 000018