(57)【要約】【課題】画像のうちの任意の範囲を簡易に選択し、選択された画像を正確にとり込むことが可能なタッチパネル付きディスプレイ装置の表示制御方法を提供する。【解決手段】描画ＡＰＬ１１１１が入力した座標に基づいてディスプレイ画面１１２上に手書線を描画し、範囲選択線決定部１１０３が手書線を補正して閉曲線でなる範囲選択線を決定し、画像抽出ライン決定部１１０５が範囲選択線上の座標を検出すると共に、座標同士を直線で接続して複数の画像抽出ラインを作成し、ライン座標検出部１１０７が画像抽出ライン上の座標から最大値と最小値とをＸ方向およびＹ方向について検出し、画像抽出領域決定部１１０９が最大値と最小値とに基づいて範囲選択線内にある画像を含む矩形形状の抽出領域を決定し、画像キャプチャー部１１１３が画像をキャプチャーする。【選択図】        図１
2005092644.tif 000002
【特許請求の範囲】
【請求項１】
タッチされた点の座標を入力する座標入力面と、入力した座標に基づいて制御される画像を表示するディスプレイとを備えるタッチパネル付きディスプレイ装置の表示制御方法であって、
入力した座標に基づいて前記ディスプレイ画面上に手書線を描画する手書線描画工程と、
描画された手書線を補正し、閉曲線でなる範囲選択線を決定する範囲選択線決定工程と、
前記範囲選択線上の座標を検出すると共に、該座標同士を直線で接続して複数の画像抽出ラインを作成するライン作成工程と、
前記画像抽出ライン上の座標から、最大値と最小値とをＸ方向およびＹ方向について検出する最大・最小座標検出工程と、
前記最大・最小座標検出工程において検出されたＸ方向およびＹ方向の最大値と最小値とに基づいて、前記範囲選択線内にある画像を含む矩形形状の抽出領域を決定する抽出領域決定工程と、
前記抽出領域にある画像をキャプチャーする画像キャプチャー工程と、
を含むことを特徴とするタッチパネル付きディスプレイ装置の表示制御方法。
【請求項２】
前記範囲選択線決定工程において、手書線のうちの各ストロークの描画開始時、描画開始点を該開始点を含む所定の範囲内にある手書線の端点と自動的に接続することを特徴とする請求項１に記載のタッチパネル付きディスプレイ装置の表示制御方法。
【請求項３】
前記範囲選択線決定工程において、手書線のうちの各ストロークの描画終了時、該終了点を含む所定の範囲内にある手書線の端点と自動的に接続することを特徴とする請求項１または２に記載のタッチパネル付きディスプレイ装置の表示制御方法。
【請求項４】
前記描画線手書工程は、手書線の描画中、描画すべき手書線と並行する他の手書線が存在する場合、該他の手書線を優先して手書線の描画をしないことを特徴とする請求項１〜３のいずれか一つに記載のタッチパネル付きディスプレイ装置の表示制御方法。
【請求項５】
前記手書線は、１ピクセルの太さを有することすることを特徴とする請求項１〜４のいずれか一つに記載のタッチパネル付きディスプレイ装置の表示制御方法。
【請求項６】
前記範囲選択線決定工程は、前記画像抽出ライン上の座標から手書線の途切れを検出し、途切れた手書線の端点同士を接続して閉曲線を形成することを特徴とする請求項１〜５のいずれか一つに記載のタッチパネル付きディスプレイ装置の表示制御方法。
【請求項７】
前記画像キャプチャー工程は、前記ディスプレイ画面に表示されているウィンドウ画面に重なる透明ウィンドウ画面を作成し、該透明ウィンドウ画面上に表示された前記ウィンドウ画面のプルダウンメニューを画像としてキャプチャーすることを特徴とする請求項１〜６のいずれか一つに記載のタッチパネル付きディスプレイ装置の表示制御方法。
【請求項８】
前記画像キャプチャー工程は、ディスプレイ画面に表示されたウィンドウ画面から派生するウィンドウ画面を画像として個別にキャプチャーすることを特徴とする請求項７に記載のタッチパネル付きディスプレイ装置の表示制御方法。
【請求項９】
タッチされた点の座標を入力する座標入力面と、入力した座標に基づいて制御される画像を表示するディスプレイとを備えるタッチパネル付きディスプレイ装置の表示制御方法を、コンピュータに実行させるためのプログラムであって、
入力した座標に基づいて前記ディスプレイ画面上に描画された手書線を補正し、閉曲線でなる範囲選択線を決定する範囲選択線決定工程と、
前記範囲選択線上の座標を検出すると共に、該座標同士を直線で接続して複数の画像抽出ラインを作成するライン作成工程と、
前記画像抽出ライン上の座標から、最大値と最小値とをＸ方向およびＹ方向について検出する最大・最小座標検出工程と、
前記最大・最小座標検出工程において検出されたＸ方向およびＹ方向の最大値と最小値とに基づいて、前記範囲選択線内にある画像を含む矩形形状の抽出領域を決定する抽出領域決定工程と、
前記抽出領域にある画像をキャプチャーする画像キャプチャー工程と、
を含むことを特徴とするプログラム。
【請求項１０】
タッチされた点の座標を入力する座標入力面と、入力した座標に基づいて制御される画像を表示するディスプレイとを備えるタッチパネル付きディスプレイ装置であって、
入力した座標に基づいて前記ディスプレイ画面上に手書線を描画された手書線を補正し、閉曲線でなる範囲選択線を決定する範囲選択線決定手段と、
前記範囲選択線上の座標を検出すると共に、該座標同士を直線で接続して複数の画像抽出ラインを作成するライン作成手段と、
前記画像抽出ライン上の座標から、最大値と最小値とをＸ方向およびＹ方向について検出する最大・最小座標検出手段と、
前記最大・最小座標検出手段によって検出されたＸ方向およびＹ方向の最大値と最小値とに基づいて、前記範囲選択線内にある画像を含む矩形形状の抽出領域を決定する抽出領域決定手段と、
前記抽出領域にある画像をキャプチャーする画像キャプチャー手段と、
を備えることを特徴とするタッチパネル付きディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネル付きディスプレイ装置の表示制御方法およびその方法をコンピュータに実行させるためのプログラム、タッチパネル付きディスプレイ装置に関するものである。
【背景技術】
【０００２】
現在、座標入力面とディスプレイ画面とを一体化し、ディスプレイ画面に表示された画像に直接指やペンを使ってタッチし、文字や図形（線画）を書き込むタッチパネル付きディスプレイ装置がある。面にタッチして線画を描画する操作は、手書描画ともいわれ、ディスプレイ画面を紙や黒板等と同様に利用することができる。また、タッチパネル付きディスプレイ装置では、操作の簡便化のため、書き込みがなされた画像の削除、コピー等の編集を、タッチ操作によって行なうものが種々提案されている。
【０００３】
タッチパネル付きディスプレイ装置の操作の目的の一つに、いったん描かれた文字や線の編集がある。タッチパネル付きディスプレイ装置における編集の従来技術としては、例えば、手書された文字や線画に対し、さらに予め登録されたコマンドを書き足すものがある。この従来技術によれば、例えば、先に描かれた図形を丸印等で囲み、「削除」と手書することによって丸印で囲まれた図形を削除する（例えば特許文献１参照）。
【０００４】
また、他の従来技術として、予め画像を残す箇所と抜き取る箇所とを予め設定したマスクパターンを作成し、このマスクパターンの設定にしたがって画像データをメモリに保存するものがある（例えば特許文献２参照）。このような従来技術によれば、読み取った画像のうち、マスクパターンで残すと設定した箇所だけが残り、抜き取ると指定した箇所がない画像を形成することができる。
【０００５】
【特許文献１】特開平６−３３２６１１号公報（段落［００４０］）
【特許文献２】特許２９７２２２４号公報（第３頁左欄、１８〜３５行）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した従来技術のうち、特許文献１に記載された発明は、削除、切り取り等の編集種別の数だけコマンドが必要で、オペレータがコマンドを知っていないと円滑に編集の操作ができない。また、例示されているように、「削除」等の文字をコマンドとした場合、編集とコマンドとの対応は理解しやすいものの、線画としての形状が複雑であるためにタッチパネル付きディスプレイ装置側でコマンドを認識し難くなる。
【０００７】
また、特許文献２に記載された発明は、マスクパターンを作成する処理が編集の処理に追加されるので、編集の工程が複雑化し、また、編集にかかる時間が長くなるという欠点があった。
【０００８】
本発明は、上記に鑑みてなされたものであって、画像のうちの任意の範囲を簡易に選択し、選択された画像を正確にとり込むことが可能なタッチパネル付きディスプレイ装置の表示制御方法およびその方法をコンピュータに実行させるためのプログラム、タッチパネル付きディスプレイ装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、請求項１に記載の発明にかかるタッチパネル付きディスプレイ装置の表示制御方法は、タッチされた点の座標を入力する座標入力面と、入力した座標に基づいて制御される画像を表示するディスプレイとを備えるタッチパネル付きディスプレイ装置の表示制御方法であって、入力した座標に基づいて前記ディスプレイ画面上に手書線を描画する手書線描画工程と、描画された手書線を補正し、閉曲線でなる範囲選択線を決定する範囲選択線決定工程と、前記範囲選択線上の座標を検出すると共に、該座標同士を直線で接続して複数の画像抽出ラインを作成するライン作成工程と、前記画像抽出ライン上の座標から、最大値と最小値とをＸ方向およびＹ方向について検出する最大・最小座標検出工程と、前記最大・最小座標検出工程において検出されたＸ方向およびＹ方向の最大値と最小値とに基づいて、前記範囲選択線内にある画像を含む矩形形状の抽出領域を決定する抽出領域決定工程と、前記抽出領域にある画像をキャプチャーする画像キャプチャー工程と、を含むことを特徴とする。
【００１０】
この請求項１に記載の発明によれば、手書描画された手書線を補正し、閉曲線でなる範囲選択線を決定する。そして、範囲選択線上の座標を検出すると共に、検出された座標同士を直線で接続して複数の画像抽出ラインを作成し、画像抽出ライン上の座標から、最大値と最小値とをＸ方向およびＹ方向について検出する。さらに、画像抽出ライン上の座標の最大値と最小値を用い、画像を含む矩形形状の抽出領域を決定し、抽出領域にある画像をキャプチャーすることができる。このため、複雑な形状の画像に対しても画像を含む矩形形状の画像抽出領域を決定することができる。また、矩形形状の画像抽出領域で画像を抽出し、キャプチャーすることができる。このような請求項１の発明によれば、画像のうちの任意の範囲を簡易に選択し、選択された画像を正確にとり込むことができる。
【００１１】
請求項２に記載の発明にかかるタッチパネル付きディスプレイ装置の表示制御方法は、前記範囲選択線決定工程が、手書線のうちの各ストロークの描画開始時、描画開始点を該開始点を含む所定の範囲内にある手書線の端点と自動的に接続することを特徴とする。
【００１２】
タッチパネル付きディスプレイ装置において、複数のストロークで１つの閉曲線を描画する際、タッチ操作によって各ストロークの端点同士を正確に接続することが難しい。この請求項２に記載の発明によれば、端点同士が離れて描画されて閉曲線が途切れた場合にも適正な閉曲線に補正し、タッチ操作による画像抽出の操作を簡易にすることができる。
【００１３】
請求項３に記載の発明にかかるタッチパネル付きディスプレイ装置の表示制御方法は、前記範囲選択線決定工程において、手書線のうちの各ストロークの描画終了時、該終了点を含む所定の範囲内にある手書線の端点と自動的に接続することを特徴とする。
【００１４】
この請求項３に記載の発明によれば、端点同士が離れて描画されて閉曲線が途切れた場合にも適正な閉曲線に補正し、タッチ操作による画像抽出の操作を簡易にすることができる。
【００１５】
請求項４に記載の発明にかかるタッチパネル付きディスプレイ装置の表示制御方法は、前記描画線手書工程は、手書線の描画中、描画すべき手書線と並行する他の手書線が存在する場合、該他の手書線を優先して手書線の描画をしないことを特徴とする。
【００１６】
この請求項４に記載の発明によれば、手書線を適正な閉曲線に補正し、タッチ操作による画像抽出の操作を簡易にすることができる。
【００１７】
請求項５に記載の発明にかかるタッチパネル付きディスプレイ装置の表示制御方法は、前記手書線が、１ピクセルの太さを有することを特徴とする。
【００１８】
この請求項５に記載の発明によれば、手書線の太さを最小限にし、画像領域の選択の精度を高めることができる。
【００１９】
請求項６に記載の発明にかかるタッチパネル付きディスプレイ装置の表示制御方法は、前記範囲選択線決定工程が、前記画像抽出ライン上の座標から手書線の途切れを検出し、途切れた手書線の端点同士を接続して閉曲線を形成することを特徴とする。
【００２０】
この請求項６に記載の発明によれば、閉曲線が形成されていないことによる画像抽出領域の判定に支障が生じることを防ぎ、画像抽出領域を正確に認識し、ひいては所望の画像を正確にキャプチャーすることができる。
【００２１】
請求項７に記載の発明にかかるタッチパネル付きディスプレイ装置の表示制御方法は、前記画像キャプチャー工程が、前記ディスプレイ画面に表示されているウィンドウ画面に重なる透明ウィンドウ画面を作成し、該透明ウィンドウ画面上に表示された前記ウィンドウ画面のプルダウンメニューを画像としてキャプチャーすることを特徴とする。
【００２２】
プルダウンメニュー画像だけキャプチャーする場合、ＯＳが提供するキー入力（Ｗｉｎｄｏｗｓ（Ｒ）の場合「ＰｒｉｎｔＳｃｒｅｅｎ」）により画面をキャプチャー、画像編集ソフトによりプルダウンメニューを抜き取る煩わしい操作となる。また、マウス操作でのキャプチャーは操作によりプルダウンメニューが閉じるため困難となっている。この請求項７に記載の発明によれば、プルダウンメニューのキャプチャーを容易に実行することができる。
【００２３】
請求項８に記載の発明にかかるタッチパネル付きディスプレイ装置の表示制御方法は、前記画像キャプチャー工程が、ディスプレイ画面に表示されたウィンドウ画面から派生するウィンドウ画面を画像として個別にキャプチャーすることを特徴とする。
【００２４】
プログラムの操作マニュアル等を作成する場合、画像をキャプチャーして貼り付けることが行われる。コマンドバー、プルダウンメニューなどの説明にはこの画像だけあれば十分でウィンドウ全体の画像は不要である。この請求項８に記載の発明によれば、必要なウィンドウのみをキャプチャーすることができる。
【００２５】
請求項９に記載の発明にかかるプログラムは、タッチされた点の座標を入力する座標入力面と、入力した座標に基づいて制御される画像を表示するディスプレイとを備えるタッチパネル付きディスプレイ装置の表示制御方法を、コンピュータに実行させるためのプログラムであって、入力した座標に基づいて前記ディスプレイ画面上に描画された手書線を補正し、閉曲線でなる範囲選択線を決定する範囲選択線決定工程と、前記範囲選択線上の座標を検出すると共に、該座標同士を直線で接続して複数の画像抽出ラインを作成するライン作成工程と、前記画像抽出ライン上の座標から、最大値と最小値とをＸ方向およびＹ方向について検出する最大・最小座標検出工程と、前記最大・最小座標検出工程において検出されたＸ方向およびＹ方向の最大値と最小値とに基づいて、前記範囲選択線内にある画像を含む矩形形状の抽出領域を決定する抽出領域決定工程と、前記抽出領域にある画像をキャプチャーする画像キャプチャー工程と、を含むことを特徴とする。
【００２６】
この請求項９に記載の発明によれば、手書描画された手書線を補正し、閉曲線でなる範囲選択線を決定する。そして、範囲選択線上の座標を検出すると共に、検出された座標同士を直線で接続して複数の画像抽出ラインを作成し、画像抽出ライン上の座標から、最大値と最小値とをＸ方向およびＹ方向について検出する。さらに、画像抽出ライン上の座標の最大値と最小値を用い、画像を含む矩形形状の抽出領域を決定し、抽出領域にある画像をキャプチャーすることができる。このため、複雑な形状の画像に対しても画像を含む矩形形状の画像抽出領域を決定することができる。また、矩形形状の画像抽出領域で画像を抽出し、キャプチャーすることができる。このような請求項１の発明によれば、画像のうちの任意の範囲を簡易に選択し、選択された画像を正確にとり込むことができる。
【００２７】
請求項１０に記載の発明にかかるタッチパネル付きディスプレイ装置は、タッチされた点の座標を入力する座標入力面と、入力した座標に基づいて制御される画像を表示するディスプレイとを備えるタッチパネル付きディスプレイ装置であって、入力した座標に基づいて前記ディスプレイ画面上に手書線を描画された手書線を補正し、閉曲線でなる範囲選択線を決定する範囲選択線決定手段と、前記範囲選択線上の座標を検出すると共に、該座標同士を直線で接続して複数の画像抽出ラインを作成するライン作成手段と、前記画像抽出ライン上の座標から、最大値と最小値とをＸ方向およびＹ方向について検出する最大・最小座標検出手段と、前記最大・最小座標検出手段によって検出されたＸ方向およびＹ方向の最大値と最小値とに基づいて、前記範囲選択線内にある画像を含む矩形形状の抽出領域を決定する抽出領域決定手段と、前記抽出領域にある画像をキャプチャーする画像キャプチャー手段と、を備えることを特徴とする。
【００２８】
この請求項１０に記載の発明によれば、手書描画された手書線を補正し、閉曲線でなる範囲選択線を決定する。そして、範囲選択線上の座標を検出すると共に、検出された座標同士を直線で接続して複数の画像抽出ラインを作成し、画像抽出ライン上の座標から、最大値と最小値とをＸ方向およびＹ方向について検出する。さらに、画像抽出ライン上の座標の最大値と最小値を用い、画像を含む矩形形状の抽出領域を決定し、抽出領域にある画像をキャプチャーすることができる。このため、複雑な形状の画像に対しても画像を含む矩形形状の画像抽出領域を決定することができる。また、矩形形状の画像抽出領域で画像を抽出し、キャプチャーすることができる。このような請求項１の発明によれば、画像のうちの任意の範囲を簡易に選択し、選択された画像を正確にとり込むことができる。
【発明の効果】
【００２９】
請求項１に記載の発明は、画像のうちの任意の範囲を簡易に選択し、選択された画像を正確にとり込むタッチパネル付きディスプレイ装置の表示制御方法を提供できるという効果を奏する。
【００３０】
請求項２に記載の発明は、タッチ操作による画像抽出の操作を簡易にし、タッチパネル付きディスプレイ装置の操作性を高めることができる。
【００３１】
請求項３に記載の発明は、タッチ操作による画像抽出の操作を簡易にし、タッチパネル付きディスプレイ装置の操作性を高めることができる。
【００３２】
請求項４に記載の発明は、タッチ操作による画像抽出の操作を簡易にし、タッチパネル付きディスプレイ装置の操作性を高めることができる。
【００３３】
請求項５に記載の発明は、タッチパネル付きディスプレイ装置の操作性をより高めることができる。
【００３４】
請求項６に記載の発明は、タッチパネル付きディスプレイ装置における画像抽出領域の認識精度を高め、キャプチャーに関する信頼性を高めることができる。
【００３５】
請求項７に記載の発明は、プルダウンメニューのキャプチャーをタッチパネル付きディスプレイ装置に容易に実行させることができる。
【００３６】
請求項８に記載の発明は、タッチパネル付きディスプレイ装置に必要なウィンドウのみをキャプチャーさせることができる。
【００３７】
請求項９に記載の発明は、画像のうちの任意の範囲を簡易に選択し、選択された画像を正確にとり込むタッチパネル付きディスプレイ装置の表示制御方法をコンピュータに実行させるためのプログラムを提供できるという効果を奏する。
【００３８】
請求項１０に記載の発明は、画像のうちの任意の範囲を簡易に選択し、選択された画像を正確にとり込むタッチパネル付きディスプレイ装置を提供できるという効果を奏する。
【発明を実施するための最良の形態】
【００３９】
以下に添付図面を参照して、この発明にかかるタッチパネル付きディスプレイ装置の表示制御方法およびその方法をコンピュータに実行させるためのプログラム、タッチパネル付きディスプレイ装置の最良な実施の形態を詳細に説明する。
【００４０】
本発明の説明に先だって、本発明の表示制御方法が適用可能なタッチパネル付きディスプレイ装置について説明する。図１は、光学式のタッチパネル付きディスプレイ装置を示す図である。図示したタッチパネル付きディスプレイ装置は、タッチパネル式の座標入力装置１と、座標入力装置１に入力された座標を検出する座標検出装置３と、座標検出装置３が検出した座標に基づいて画像データを制御するホスト装置４（本実施の形態ではＰＣ（Personal Computer）を利用している）、ホスト装置４によって制御された画像データ（Ｒ，Ｇ，Ｂ）を液晶画面やＰＤＰ（Plasma Display Panel）といったディスプレイ画面１１２に表示する表示装置２とを備えている。座標入力装置１と座標検出装置３とを合わせた構成は、タッチパネルとも呼ばれる構成である。
【００４１】
また、図１に示したタッチパネル付きディスプレイ装置には、ディスプレイ画面１１２が座標入力装置１の座標入力面１１３と重なって設けられている。座標入力面とは、座標検出装置３が座標を検出できる領域であって、図１のタッチパネル付きディスプレイ装置はディスプレイ画面１１２に直接タッチする構成であるから、座標入力面１１３は仮想的な面である。なお、このようなタッチパネル付きディスプレイ装置は、ディスプレイ画面１１２に対するタッチ操作によってもホスト装置４に対するマウス操作によっても同様に制御することができる。
【００４２】
座標入力装置１は、後述する光学検出器を備えていて、ディスプレイ画面１１２上のタッチを光学的に検出する。光学検出器が検出したデータは座標検出装置３に入力し、座標検出装置３が、タッチされた座標入力面１１３上の点（タッチ点）ｔの座標（ｘ，ｙ）を算出する。算出される座標は、ディスプレイ画面１１２の画素数（例えばｘ：１０２４，ｙ：７６８）によって表され、１０ｍｓ、あるいは２０ｍｓといった時間で周期的にホスト装置４に出力する。なお、座標検出装置３のタッチ点の座標の算出については、後に詳述する。
【００４３】
また、座標検出装置３は、後述する光学検出器が検出したデータを入力するための左光学検出器Ｉ／Ｆ１０１、右光学検出器Ｉ／Ｆ１０２、座標検出装置３全般を制御する中央演算装置１０４、中央演算装置１０４で使用されるプログラムが格納されているＲＯＭ１０５、中央演算装置１０４の作業データが一時保存されるＲＡＭ１０６、周期的に時間を計測して中央演算装置１０４に入力するタイマ（ＴＩＭＥＲ）１０７とを備えている。
【００４４】
ホスト装置４は、ＰＣ（Personal Computer）であって、Ｗｉｎｄｏｗｓ（Ｒ）、Ｍａｃｉｎｔｏｓｈ（Ｒ）、Ｌｉｎｕｘ（Ｒ）といった汎用的なＯＳを搭載しており、画像データの制御は、ＯＳの制御下で実行されている。そして、汎用的なＯＳの制御下でコンピュータの周辺機器を制御するプログラム（ドライバソフト）であるドライバ１０８と、共通の汎用的なＯＳの制御下で動作する複数のアプリケーション群でなるＡＰＬ１１１と、画像データが一時的に保存される画像ＲＡＭ１１５とを有している。
【００４５】
ここで、図１に示したタッチパネル付きディスプレイ装置におけるタッチ点の検出および座標の算出について説明する。図２は、図１に示した座標入力装置を示す図である。座標入力装置１は、図中の縦方向の長さがＨ、横の長さがＷの矩形の座標入力面１１３と、座標入力面の三辺に設けられた再帰性反射部材２０１と、再帰性反射部材２０１が設けられていない一辺の両端に設けられた左光学検出器２０２Ｌ、右光学検出器２０２Ｒとを備えている。
【００４６】
左光学検出器２０２Ｌ、右光学検出器２０２Ｒは、いずれも半導体レーザである光源（図示せず）と、例えばＣＣＤ（Charged Coupled Device)を利用した受光部（図示せず）とを一体化したユニットである。光源は、座標入力面１１３の全域に光源を要とする扇状に光を照射する。左光学検出器２０２Ｌ、右光学検出器２０２Ｒが扇状の光を照射することによって、レーザ光は座標入力面１１３の全域に照射される。
【００４７】
座標入力面１１３に照射された光は、再帰性反射部材２０１に反射される。再帰性反射部材２０１は、光を１８０度の角度で反射する部材であって、例えば図中に示す照射光ｐ１を反射して照射光ｐ１の光軸に平行な光軸を通る反射光ｐ２とする。座標入力面１１３上に光を遮るものが存在しない場合、左光学検出器２０２Ｌ、右光学検出器２０２Ｒ、は照射された光のすべての反射光を受光する。しかし、例えば指やペンが座標入力面１１３にタッチしたとき、タッチ点を通る光が左光学検出器２０２Ｌ、右光学検出器２０２Ｒに受光されない。
【００４８】
左光学検出器２０２Ｌ、右光学検出器２０２Ｒによって検出される光の情報は、アナログデータとして座標検出装置３に入力する。このとき、座標検出装置３は、扇状に照射された光のうち、受光部の光を受光しなかった位置で本来受光されるはずの光の光軸から左光学検出器２０２Ｌ、右光学検出器２０２Ｒの受光部を通る直線と各受光部とタッチ点ｔとを通る直線との角度（光遮蔽角度）θL、θRとを求める。タッチ点ｔの座標(ｘ，ｙ)は、角度θL、θRを使って以下のように算出される。
ｘ＝Ｗ×ｔａｎθR／（ｔａｎθL＋ｔａｎθR）
ｙ＝Ｈ−Ｗ×ｔａｎθL×ｔａｎθR／（ｔａｎθL＋ｔａｎθR）
【００４９】
次に、本発明の表示制御方法が適用可能なタッチパネル付きディスプレイ装置として、電磁誘導方式のタブレットパーソナルコンピュータ（以下、タブレットＰＣ）について説明する。図３〜図８は、タブレットＰＣを説明するための図であって、図３〜図５はタブレットＰＣの構成を説明する図、図６〜図８はタブレットＰＣの機能および座標検出の原理について説明する図である。タブレットＰＣは、図３に示すように、ディスプレイ３０１とキーボード３０５を備えた本体３０３と図示しないマウスを有する。さらにマウスに代えて電子ペン３０７を使ったタッチパネル操作が可能である。また、Microsoft社からタブレットＰＣ用ＯＳである「Windows（Ｒ）  ＰＣ  Tablet  ＰＣ  Edition」がリリースされ手書き文字認識エンジン、音声認識エンジンなどが提供されている。
【００５０】
図４は、ディスプレイ画面３０１を１８０度回転させ、折り畳んだ状態を示す。このような状態のディスプレイ画面３０１に電子ペン３０７でタッチすると、電子ペン３０７とタブレットＰＣに内蔵されたセンサによりディスプレイ３０１上の電子ペン３０７の位置（座標）が検出され、マウスのクリック、ドラッグ操作をエミュレートする。水平のディスプレイ画面３０１と電子ペン３０７によりマウス操作では困難な手書き文字を、紙に文字を書く感覚で描画可能となる。
【００５１】
図５に示すように、電子ペン３０７が直接接触するディスプレイ画面３０１の表面には強化ガラス３０９が設置され、液晶ディスプレイユニット３１１が傷つくのを防止する。液晶ディスプレイユニット３１１の下に電子ペンの位置を検出する電磁誘導センサユニット３１３が設置されている。なお、図３ではディスプレイ画面３０１を回転して折り畳む形式のタブレットＰＣを示したが、ディスプレイの部分が取りはずせるタイプもある。
【００５２】
図６に示すように、電子ペン３０７には共振回路４０１、コンデンサ４０３、センサコイル４０５が内蔵されている。また、図７に示すように、電磁誘導センサユニット３１３には複数のセンサコイル４０５が設けられている。センサコイル４０５は座標検出精度に比例した密度に設置される。図はＸ軸方向を検出するためのセンサコイル４０５の一部を示しており、図示したセンサコイル４０５と直交する方向にＹ軸方向を検出するためのセンサコイル（図示せず）が設置される。
【００５３】
電子ペン３０７の先端がディスプレイ画面３０１にタッチすると、センサコイル４０５に流れる電流磁界によってセンサコイル４０５に誘導起電圧が生じ、コンデンサ４０３とで構成される共振回路が励振され共振電流が流れる。電子ペン３０７の座標検出は、電磁誘導座標検出ユニット４１３の中央演算装置４２１によってなされる。
【００５４】
電磁誘導座標検出ユニット４１３は、まず、送受切替スイッチＩ／Ｆ４１９によって送受切替スイッチ４１１を制御し、送受切替スイッチ４１１を接点Ａ、接点Ｃに接続する。この接続により、交流電源４０９からセンサコイル４０５に電流が流れる。また、Ｘ軸コイル切替スイッチＩ／Ｆ４１５によってＸ軸コイル切替スイッチ４１０を制御し、高速にスイッチを切替えて順次センサコイル４０５に電流を流す。センサコイル４０５に順次磁界が発生し、発生した磁界によって電子ペン３０７が共振する。次に、中央演算装置４２１は、送受切替スイッチ４１１を接点Ｂ、接点Ｃに接続し、Ｘ軸コイル切替スイッチ４１０を順次高速に切り替える。このとき、電子ペン３０７に共振電流により磁界が発生し、センサコイル４０５に誘導起電圧が発生する。センサコイル４０５に発生する誘導起電圧は、Ｘ軸検出Ｉ／Ｆ４１７によって増幅、測定される。
【００５５】
図８は、測定される誘導起電圧の分布を例示する図である。電子ペン３０７がセンサコイル４０５の「２」を付したものの上にある場合、このセンサコイル「２」が受信する誘導起電圧が最も高くなる。以上のように、電磁誘導座標検出ユニット４１３は、測定された誘導起電圧分布の最も高い点を検出することによりタッチ点のＸ座標を確定する。また、同様にしてＹ座標のタッチ点を確定する。確定されたタッチ点の座標は、ＰＣＩ／Ｆ４２７（ＲＳ２３２Ｃ、ＵＳＢなど汎用Ｉ／Ｆ、または専用Ｉ／Ｆ）によりタブレットＰＣの本体３０３に通知される。タブレットＰＣのドライバが座標のデータを受け取ると、マウスデータに変換する。そして、汎用のマウスＩ／Ｆへ通し、ＡＰＬ１１１に渡される。
【００５６】
なお、本実施の形態では、以上述べたタッチパネル付きディスプレイ装置において、座標入力面（本実施の形態ではディスプレイ画面）に対して指やペンが非接触状態から接触したことをタッチといい、タッチがなされた位置を示す点をタッチ点という。また、タッチ点から指やペンが離れたことをデタッチといい、デタッチすることなくタッチ点が移動することを移動タッチという。タッチ後、または移動タッチ後に指やペンが１点に所定の時間（停止タッチタイム）以上停止することを停止タッチといい、移動タッチに続いてなされる停止タッチは、移動・停止タッチという。
【００５７】
タッチ、デタッチはマウスでいうクリックの操作に対応し、移動・停止タッチは、マウスでいうドラッグの操作に対応する。さらに、所定の時間内、かつ所定の範囲内に連続して２回のタッチがなされたことをダブルタッチといい、ダブルタッチは、マウスのダブルクリックに対応する。
【００５８】
上記したように、タッチパネル付きディスプレイ装置で検出されたタッチは、いずれもマウスによって入力される座標を含むマウスデータの形式に変換され、装置側で処理される。このようにタッチ操作はマウスの操作といずれも１対１に対応でき、マウス操作と同様に取り扱うことが可能である。このため、本実施の形態では、ダブルタッチとダブルクリックとは単なる入力ツールが異なるものであり、同一の操作とみなす。また、同様に、移動・停止タッチをマウスでいうドラッグと同一の操作とみなすものとする。
【００５９】
次に、タッチ点の座標をマウスデータへの変換する方法について具体的に説明する。図９は、検出されたタッチ点データ（座標データ）の形式と、マウスデータの形式を説明するための図である。図１０は、マウスエミュレーションを説明するためのフローチャートである。マウスエミュレーションは、ドライバが座標検出装置が検出した座標をマウスデータに変換する動作をいう。
【００６０】
また、図９下段に示したように、マウスデータは、タッチ点のｘ座標、ｙ座標、さらにマウスステータスの情報を含んでいる。マウスステータスは、マウスの右ボタンのＯＮ、ＯＦＦ、左ボタンのＯＮ、ＯＦＦを１または０によって示すものである。タッチ、デタッチ、移動・停止タッチは、マウスの右ボタンのＯＮ、ＯＦＦ、左ボタンのＯＮ、ＯＦＦのうちいずれかと対応付けて設定されている。
【００６１】
座標入力装置は、周期的（１０ｍｓ程度）に指やペン等（座標指示物）の検出を実行する。座標検出装置は、座標入力装置１が検出した座標指示物の情報からタッチ点の座標にかかる座標データを算出し、ホスト装置に通知する。ホスト装置の制御ドライバは、ＲＳ２３２ＣやＵＳＢといった通信手段を使って座標検出装置と通信し、座標データを入力する（ステップＳ１００１）。
【００６２】
図９上段に示したように、検出された座標データは、タッチ点のｘ座標、ｙ座標、さらにタッチ点の座標ステータスの情報を含んでいる。座標ステータスは、検出データが、タッチ、デタッチ、移動・停止タッチのいずれであるかを１または０によって示すものである。なお、タッチパネル付きディスプレイ装置においてタッチ、デタッチ、移動・停止タッチが検出された場合、各タッチを示すフィールドに１が設定される。
【００６３】
タッチの操作は、マウスでいう右ボタン、左ボタンの別を指定することができない。このため、座標データは、タッチパネルの設定によって指定された右ボタン、左ボタンのＯＮ座標の通知としてＯＳが提供するマウスＩ／Ｆに通知される（ステップＳ１００５、Ｓ１００６）。また、ドライバは、デタッチがなされた点の座標をボタンＯＦＦと共にマウスＩ／Ｆへ通知する（ステップＳ１００９、Ｓ１０１０）。
【００６４】
図１１は、本発明の一実施の形態のタッチパネル付きディスプレイ装置の表示制御方法を実現するためのアプリケーション（キャプチャーＡＰＬ）１１０１の機能ブロック図である。キャプチャーＡＰＬ１１０１は、タッチされた点の座標を入力する座標入力面、入力した座標に基づいて制御される画像を表示するディスプレイを備えるタッチパネル付きディスプレイ装置の表示制御方法である。
【００６５】
キャプチャーＡＰＬ１１０１は、範囲選択線決定部１１０３、画像抽出ライン決定部１１０５、ライン座標検出部１１０７、画像抽出領域決定部１１０９、画像キャプチャー部１１１３を備えている。なお、本実施の形態では、手書線を描画する描画ＡＰＬ１１１１をキャプチャーＡＰＬ１１０１と独立のアプリケーションとして示している。
【００６６】
範囲選択線決定部１１０３は、入力した座標に基づいてディスプレイ画面１１２上に描画された手書線を補正し、閉曲線でなる範囲選択線を決定する。画像抽出ライン決定部１１０５は、範囲選択線上の座標を検出すると共に、検出された座標同士を直線で接続して複数の画像抽出ラインを作成する。ライン座標検出部１１０７は、画像抽出ライン上の座標から、最大値と最小値とをＸ方向およびＹ方向について検出する。画像抽出領域決定部１１０９は、検出されたＸ方向およびＹ方向の最大値と最小値とに基づいて、範囲選択線内にある画像を含む矩形形状の抽出領域を決定する。画像キャプチャー部１１１３は、抽出領域にある画像をキャプチャーする。
【００６７】
以下、上記した各構成で行なわれるタッチパネル付きディスプレイ装置の表示制御方法を説明する。図１２は、手書きされた線（手書線）に基づいて決定した画像抽出領域にある画像を抽出する処理の概略を説明するための図である。画像キャプチャーツールバー１６０１は、ＯＳが提供する画像キャプチャープログラムにより表示される。図１２最上段の図に示すように、画像キャプチャーツールバー１６０１のメニュー表示ボタン１６０１ａにタッチすると、背景を透明とする全画面ウィンドウが表示される。全画面ウィンドウの表示により、入力した座標のマウスデータは全て画像キャプチャー部１１１３が受け取ることになる。
【００６８】
画像キャプチャー部１１１３が画像キャプチャーツールバー１６０１外の座標を示すマウスデータを受け取った場合、全画面ウィンドウを閉じ受け取ったマウスデータをマウスＩ／Ｆへ出力し、特定時間実行権利を他のアプリケーションへ移す。以上の処理により、マウスデータが画像キャプチャー部１１１３以外のアプリケーションに渡ってアプリケーションの機能が実行される。特定時間経過後（１０ｍｓ程度）、再び実行権が画像キャプチャー部１１１３に戻り、再び背景を透明とする全画面ウィンドウを表示する。
【００６９】
図１３は、ウィンドウ画面のプルダウンメニューやコマンドバーを画像としてキャプチャーする操作を説明するための図である。図示するように、キャプチャーツールバー１６０１のウィンドウボタン１６０１ｂにオペレータがタッチすると、画像キャプチャー部１１１３が背景を透明とする全画面ウィンドウを表示する。そして、タッチされた座標下のウィンドウの情報（原点座標、幅、高さ）を取得し、ウィンドウ枠を表示する。さらに、デタッチ座標にあるウィンドウをキャプチャーする。
【００７０】
図中に矢線Ａで示すプルダウンメニューを表示し、ウィンドウボタン１６０１ｂにタッチがなされると、表示されたプルダウンメニューがキャプチャーされる。また、矢線Ｂで示す点にタッチしてウィンドウボタン１６０１ｂにタッチすると、 コマンドバーがキャプチャーされる。矢線Ｃで示す点にタッチしてウィンドウボタン１６０１ｂにタッチすると、アプリケーションＡＰＬのウィンドウ全体がキャプチャーされる（枠線１６０７が表示される）。さらに、矢線Ｄで示す点にタッチしてウィンドウボタン１６０１ｂにタッチすると、デスクトップウィンドウ（画面全体）がキャプチャーされる。
【００７１】
図１４に示す図は、ウィンドウ画面に表示された画像１６１０をキャプチャーする操作を説明するための図である。オペレータが手書き領域ボタン１６０１ｃにタッチして背景が透明な全画面ウィンドウを表示する。このとき、手書きキャプチャーツールバー１６０９が表示される。手書きキャプチャーツールバー１６０９のペンボタン１６０９ａを選択すると手書線１６１１が描画可能になり、描画された手書線は消しゴムによって修正できる。表示ボタン１６０９ｂへのタッチにより、手書き領域にある画像が別ウィンドウに表示される。
【００７２】
なお、手書きされる線の設定は、例えば図１５に示す手書ダイアログボックスによってなされる。図示した手書ダイアログボックスは、線の色を選択するための色設定部１４０１、消しゴム（線を消去する際の線を一度に消去する範囲）を選択するための消しゴムカーソル設定部１４０３を有している。
【００７３】
キャプチャーされた画像は、図１６に示すように、アプリケーション間の共通受け渡し用領域(Windows（Ｒ）のクリップボードに相当）にコピーされる。アプリケーション（ＡＰＬ）は、編集コマンドの貼り付けボタン、あるいはキーボードから「Control＋V」を入力するなどの操作によって画像を目的のページに貼り付ける。
【００７４】
図１７は、手書線に基づいて画像を抽出する画像抽出領域を決定する処理の概略を説明するための図である。図１７上段に示すように、ディスプレイ画面１１２は、画像表示プログラムによって画像領域１２００に画像が表示される。画像領域１２００は、幅（Ｗピクセル）、高さ（Ｈピクセル）の矩形領域であり、画像領域原点（０，０）、画像メモリアドレス（Ａ）における座標（Ｘ，Ｙ）の座標アドレス（Ａ0）は、以下のように表される。
Ｎ（画像抽出ライン数）＝３×ｂ（Ｒ，Ｇ，Ｂ一色あたりのバイト数）
Ａ０＝Ａ＋Ｙ×（Ｗ×Ｎ）＋Ｘ×Ｎ
【００７５】
画像キャプチャー部１１１３は、画像領域１２００と重なる背景が透明な手書線描画領域（ウィンドウ）を作成し、表示する。オペレータがディスプレイ画面１１２にタッチして描画した手書線１２０３は、表示された手書線描画領域に描画される。また、手書線１２０３は、タッチ点が移動し、停止したドラッグの軌跡を示す座標（Ｘ0，Ｙ0）、（Ｘ１，Ｙ１）．．．間を線描画することにより描画される。
【００７６】
範囲選択線決定部１１０３は、手書線１２０３に基づいて範囲選択線１２０７を決定する。そして、画像抽出ライン決定部１１０５が、範囲選択線１２０７を検索して範囲選択線上の座標を検出し、座標同士を直線で接続して画像抽出ラインを作成する。画像抽出ラインは、矩形の画像抽出領域を定めるために設定されるラインである。
【００７７】
画像抽出ラインに関する情報は、表１に示す画像抽出ファイルに保存される。
【表１】
2005092644.tif 000003
【００７８】
（Ｘ0，Ｙ0）、（Ｘ1，Ｙ1）の２点を接続する画像抽出ラインは、（Ｘ0，Ｙ0、Ｌ0=Ｘ1−Ｘ0）と表される。ライン座標検出部１１０７は、画像抽出ファイルの画像抽出ラインのデータからＸ座標の最大値（Ｘmax）、最少値（Ｘa）、Y座標の最大値（Ｙmax）、最少値（Ｙa）を検索する。また、画像抽出領域原点座標（Ｘa，Ｙa）、画像抽出領域幅（Ｗa＝Ｘmax−Ｘa）、画像抽出領域高さ（Ha＝Ｙmax−Ｙa）を算出し、画像抽出ファイルに保存する。そして、画像抽出領域決定部１１０９が原点座標（Ｘ，Ｙ）、幅（Ｗａ）、高さ（Ｈａ）の画像抽出領域を決定する。画像キャプチャー部１１１３は、画像抽出ファイルに保存されている画像ラインデータの情報により画像領域の原点（Ｘ0，Ｙ0）からＬ0長分、画像データをリードする。そして、画像抽出領域の（Ｘ＋（Ｘ０−Ｘａ）、Ｙ＋（Ｙ０−Ｙａ））へライトする。以上の処理により、画像抽出領域から画像が抽出される。
【００７９】
図１８は、手書線に基づいて範囲選択線を決定するための処理を説明するための図である。オペレータが画像を抜き取りたい領域を選択するためにタッチしたタッチ点の座標をｐ1（Ｘ，Ｙ）、ｐ2、ｐ3と記す。描画ＡＰＬは、入力した座標に基づき、手書線１４０１を描画する。手書線１４０１は、複数のストローク（１ストロークはタッチ点がデタッチすることなく移動し、デタッチする操作、あるいはデタッチまでに入力した座標、座標にしたがって描画される手書線を指す）で描画されている。
【００８０】
図示した例では、手書線１４０１が１ストロークで端点１４０１ａと端点１４０１ａ’が離れた状態で描画された後、手書線１４０３が端点１４０１ａと端点１４０１ａ’と重ねて描画されている。本実施の形態では、範囲選択線を適切な閉曲線として描画するため、並行手書線検索を実行する
【００８１】
すなわち、範囲選択線決定部１１０１は、タッチ点の座標（Ｘ，Ｙ）を中心にし、特定範囲内（L：実験値により適当な値（１〜２０ピクセル）に設定する）にすでに手書線が描画されているか検索する（図１８最上段の図）。すでに手書線が描画されている場合、この手書線を優先して描画を行なわない。この検索は、垂直、水平方向になされる。検索は、以下のシーケンスによってなされる。
（Ｘ，Ｙ−Ｌ／２）、（Ｘ，Ｙ−Ｌ／２＋１）
→（Ｘ，Ｙ＋Ｌ／２−１）、（Ｘ，Ｙ＋Ｌ／２）
（Ｘ−Ｌ／２，Ｙ）、（Ｘ−Ｌ／２＋１，Ｙ）
→（Ｘ＋Ｌ／２−１，Ｙ）→（Ｘ＋Ｌ／２，Ｙ）
なお、並行な手書線が、水平方向、垂直方向の両方で検出された場合、タッチ座標に近い方の手書線を選択して認識する。
【００８２】
そして、範囲選択線決定部１１０１は、手書線のうちの各ストローク（手書線１４０３のストローク）の描画開始時、描画開始点を中心とする特定範囲内にある手書線１４０１の端点と自動的に接続する。また、同様に、手書線のうちの各ストロークの描画終了時、終了点を中心とする特定範囲内にある手書線の端点と自動的に接続する。
【００８３】
次に、接続手書線の検索の処理について説明する。手書線検索は、複数のストロークで描画された各手書線間で端点が離れた箇所同士を接続し、閉曲線に補正する処理をいう。範囲選択線決定部１１０３は、１ストロークで描画されたある手書線の端点１４０３a（Ｘ，Ｙ）の近辺に手書線が存在しない場合（図１８の２段目の図に示す）、座標（Ｘ，Ｙ）を中心にした特定矩形領域（1辺L）１４０５内に手書線が描画されているか検索する。検索の結果、描画されている場合には、端点１４０３ａの座標（Ｘ，Ｙ）と特定矩形領域１４０５内の手書線の端点１４０１ａとを接続（描画結合）する。また、同様に、描画が終了した端点の近辺に手書線が存在せず、特定矩形領域内に手書線が描画されている場合にも、線描画結合する。以下に接続手書線の検索のシーケンスを記す。
（Ｘ−Ｌ／２，Ｙ−Ｌ／２）、（Ｘ−Ｌ／２＋１，Ｙ−Ｌ／２）
→（Ｘ−Ｌ／２＋Ｌ−１，Ｙ−Ｌ／２）
（Ｘ−Ｌ／２，Ｙ−Ｌ／２＋１）、（Ｘ−Ｌ／２＋１，Ｙ−Ｌ／２＋１）
→（Ｘ−Ｌ／２＋Ｌ−１，Ｙ−Ｌ／２＋１）
↓
（Ｘ−Ｌ／２，Ｙ−Ｌ／２＋Ｌ−１）、（Ｘ−Ｌ／２＋１，Ｙ−Ｌ／２＋Ｌ−１）→（Ｘ−Ｌ／２＋Ｌ−１，Ｙ−Ｌ／２＋Ｌ−１）
以上の処理により、閉曲線上にあって手書線がない箇所が修正される。
【００８４】
次に、本実施の形態の途切れ手書線の検索について説明する。途切れ線の検索は、以下に示す処理により孤立座標と非頂点座標とを検索し、２点間を線描画することにより結合して行なわれる。先ず、範囲選択線決定部１１０３は、手書線１４０１に対して複数の検索ラインを設定し、手書線１４０１が描画されている領域を複数の矩形領域に分割する。図１８、３段目の図に示すように、検索ラインａは、座標（Ｘ1，Ｙ1）、（Ｘ2，Ｙ1）と交差する。また、検索ラインａに対する前検索ラインａ’は、座標（Ｘ0，Ｙ0）と交差する。この場合、範囲選択線決定部１１０３は、特定範囲内（Ｘ0−α≦Ｘ1≦Ｘ0＋α）を満たす座標Ｘ1を（Ｘ0，Ｙ0）の継続座標とする（αについては実験値により適当な値（１〜２０ピクセル）に設定するものとする）。座標（Ｘ0，Ｙ0）の継続座標が２点（Ｘ1，Ｙ1）、（Ｘ2，Ｙ1）になる場合、（Ｘ0，Ｙ0）を頂点座標とする。
【００８５】
検索ラインｂに対する前検索ラインｂ’は、（Ｘ3，Ｙ2）、（Ｘ4，Ｙ2）の２点と交差する。２点の継続座標となる座標（Ｘ5，Ｙ3）は、底点座標となる。底点座標は、次ラインの継続座標検索から除外される。また、底点座標以外の座標で（Ｘ6，Ｙ4）が継続する座標が検出されない場合、（Ｘ6，Ｙ4）を孤立座標とする。さらに、新たに検出された座標（Ｘ7，Ｙ5）の次ラインに２点の継続座標が存在しない場合、座標（Ｘ7，Ｙ5）を非頂点座標とする。
【００８６】
本実施の形態では、孤立座標が存在する場合、手書線が途切れていると判断する。そして、孤立座標（Ｘ6，Ｙ4）の後、新たに検出された座標（Ｘ7，Ｙ5）との間が途切れているものとし、座標（Ｘ6，Ｙ4）と座標（Ｘ7，Ｙ5）との間を接続する。
【００８７】
以上の処理を全検索ラインについて行ない、検出された座標を頂点、継続、孤立、底点の別に応じて接続することにより、図１８最下段に示すように、閉曲線である範囲選択線１４０７が得られる。
【００８８】
図１９は、範囲選択線に基づいて画像抽出ラインを決定し、さらに画像抽出ラインの座標から矩形の画像抽出領域を決定する処理を説明するための図である。範囲選択線を得る処理において、頂点座標、底点座標が検出された場合、画像抽出ライン決定部１１０５は、検出された頂点座標が外頂点座標、内頂点座標のいずれであるか判断する。また、検出された底点座標が、外底点座標、内底点座標のいずれであるか判断する。なお、外頂点座標とは閉曲線の外部に向かう凸部の頂点の座標であり、内頂点とは閉曲線の内部に向かう凸部の頂点の座標である。外底点座標とは閉曲線の外部に向かう凹部の頂点の座標であり、内底点とは閉曲線の内部に向かう凹部の頂点の座標である。
【００８９】
以下、頂点座標の内頂点座標、外頂点座標、底点座標の内底点座標、外底点座標の別を判定する方法を説明する。画像抽出ライン決定部１１０５は、頂点座標（Ｘ0，Ｙ0）から（Ｘ0，Ｙ0−1）、（Ｘ0，Ｙ0−２）→（Ｘ0，０）を検索し、範囲選択線の座標数を検出する。また、座標（Ｘ，Ｙ）に対し、（Ｘ−１，Ｙ−α）、（Ｘ−１，Ｙ−α＋１）→（Ｘ−1，Ｙ+α）に範囲選択線が検出できない場合、この座標を「左端座標」とする。また、座標（Ｘ，Ｙ）に対し、（Ｘ+1，Ｙ−α）、（Ｘ+1，Ｙ−α＋１）→（Ｘ+1，Ｙ+α）に範囲選択線が検出できない場合、この座標を右端座標とする。左端座標、右端座標はカウントから除外され、検出座標数が偶数または０である場合、頂点座標は外頂点座標、奇数である場合頂点座標は内頂点座標となる。
【００９０】
次に、画像抽出ライン決定部１１０５は、底点座標（Ｘ２，Ｙ２）から（Ｘ２，Ｙ0＋1）、（Ｘ２，Ｙ0＋２）→（Ｘ0，Ｈ−1）を検索、手書き領域線の座標数を検出する。座標（Ｘ，Ｙ）に対し、（Ｘ−１，Ｙ−α）、（Ｘ−１，Ｙ−α＋１）→（Ｘ−１，Ｙ+α）に手書き領域線が検出できない場合、この座標を左端座標とする。また、座標（Ｘ，Ｙ）において（Ｘ＋１，Ｙ−α）、（Ｘ＋１，Ｙ−α＋１）→（Ｘ＋１，Ｙ+α）に手書き領域線が検出できない場合、この座標を右端座標とする。左端座標、右端座標はカウントから除外され、座標数が偶数または０である場合、底点は外底点座標、奇数である場合底点は内底点座標となる。
【００９１】
検出された座標は、図１９、２段目に図示するように、Ｘの値が小さい方から順に第１座標、第２座標、第３座標…の順に並べられる。そして、第１座標（起点座標）と第２座標（終点座標）とをペアとし、２点間を結ぶ直線を画像抽出ラインとする。同様に、第２座標と第３座標、第３座標と第４座標をペアとし、各２点同士を接続して画像抽出ラインを作成する。ただし、継続座標が終点座標となり、次のペアの起点座標となる場合、このペア間の画像抽出ラインは作成しない。このような処理によれば、例えば、以下のように画像抽出ラインが作成される。
継続座標０−継続座標１（作成）
継続座標１−継続座標２（無）
継続座標２−継続座標３（作成）
【００９２】
また、図１９、３段目に図示するように、外頂点座標を含むペアで画像抽出ラインは作成しない。内頂点座標が終点座標となり次のペアの起点座標となる場合、このペアで画像抽出ラインを作成する。このような処理によれば、例えば、以下のように画像抽出ラインが作成される。
外頂点座標０−継続座標０（無）
継続座標０−継続座標１（作成）
継続座標１−外頂点座標１（無）
継続座標０−内頂点座標０（作成）
内頂点座標０−内頂点座標１（作成）
内頂点座標１−継続座標１（作成）
【００９３】
また、図１９、４段目に図示するように、外底点座標を含むペアで画像抽出ラインは作成しない。内底点座標が終点座標となり次のペアの起点座標となる場合、このペアで画像抽出ラインを作成する。このような処理によれば、例えば、以下のように画像抽出ラインが作成される。
継続座標０−内底点座標０（作成）
内底点座標０−内底点座標１（作成）
内底点座標１−継続座標１（作成）
継続座標０−継続座標１（作成）
継続座標１−外底点座標０（無）
外底点座標０−継続座標２（無）
継続座標２−継続座標３（作成）
【００９４】
図２０は、本実施の形態の画像キャプチャー制御の全般的なフローチャートである。画像キャプチャー部は、ＯＳが提供するプログラム起動手段により起動されて画像キャプチャーツールバーを表示する（ステップＳ１８０１）。そして、操作モードをアイドルに初期設定し（ステップＳ１８０２）、座標検出装置３が検出した座標データを、マウスデータとして受け取る（ステップＳ１８０５）。画像キャプチャー部は、アイドル中にはツールバーへのタッチ座標を示すマウスデータを受け取り、キャプチャー制御中は全マウスデータを受け取るものである。
【００９５】
画像キャプチャー部は、タッチ座標がツールバー上である場合、タッチがデタッチするまで画像キャプチャーツールバー制御を実行する（ステップＳ１８１５）。また、タッチ座標がツールバー外である場合、タッチがデタッチするまで画像キャプチャーツールバー制御を実行する（ステップＳ１８１８）。
【００９６】
図２１は、図２０のステップＳ１８１５に示した画像キャプチャーツールバー制御のフローチャートである。画像キャプチャー部は、先ず、操作モードを示す画像キャプチャーツールバーのボタンを選択中表示から通常表示に戻す（ステップＳ１９０２）。そして、タッチされたボタンを選択中表示に切り替える（ステップＳ１９０３）。デタッチ（ボタンＯＦＦ）時の座標がタッチ時のボタン外である場合（ステップＳ１９０６：Ｎｏ）、ボタンタッチを無効とし、タッチされたボタンを通常表示に戻す（ステップＳ１９０７）。
【００９７】
また、現在設定されている操作モードに入るボタンと同一のボタンがタッチされた場合（ステップＳ１９０９：Ｙｅｓ）、最前面に表示している画像キャプチャー領域ウィンドウを閉じ画像キャプチャー制御から抜け、画像キャプチャー領域となる背景が透明な全画面ウィンドウを最前面に表示する（ステップＳ１９１０）。以上の処理により、画像キャプチャー部が全マウスデータを受け取ることになり、表示中のＡＰＬウィンドウの操作が無効となる。閉じるボタンが選択されると、画像キャプチャー領域を閉じ、ツールバーを閉じ画像キャプチャー制御を終了する（ステップＳ１９２１）。
【００９８】
図２２は、図２０のステップＳ１８１１に示したキャプチャー制御のフローチャートである。画像キャプチャー部１１１３は、マウスデータを表示中のＡＰＬへ通知するため最前面に表示している画像キャプチャー領域のウィンドウを閉じる（ステップＳ２００２）。次に、マウスデータをＯＳが提供するマウスＩ／Ｆへ出力する（ステップＳ２００３）。そして、１０ｍｓ程度処理を停止し、ＡＰＬがマウスデータを受け取ってマウス座標に設定されている処理の実行（プルダウンメニュ表示等）を完了するまで待機する（ステップＳ２００４）。
【００９９】
次に、画像キャプチャー部１１１３は、画像キャプチャー領域ウィンドウを最前面へ再表示し（ステップＳ２００５）、タッチがなされたウィンドウのウィンドウ情報を、ＯＳが提供するＩ／Ｆを介して取得する（ステップＳ２００７）。タッチがウィンドウ外である場合、デスクトップウィンドウの情報が取得される。表２に、本フローチャートのステップＳ２００９で保存されるウィンドウ情報を示す。
【表２】
2005092644.tif 000004
【０１００】
また、オペレータのドラッグ操作によってウィンドウのサイズが変更された場合、旧ウィンドウ枠を消去し、新たなウィンドウ枠を表示する（ステップＳ２０１０）。そして、デタッチ座標下のウィンドウ矩形領域の画像を抽出する（ステップＳ２０１２）。
【０１０１】
図２３は、図２１のステップＳ１９２０に示した手書領域キャプチャー制御のフローチャートである。描画ＡＰＬ１１１１は、手書ツールバーを表示する（ステップＳ２１０４）。また、手書モードが完了すると（ステップＳ２１１０：Ｙｅｓ）、閉じるボタンへのタッチによって手書き領域キャプチャー制御を終了する。また、手書ツールバー上にタッチがなされた場合（ステップＳ２１１５：Ｙｅｓ）、このタッチがデタッチするまで手書ツールバー制御を実行する（ステップＳ２１１６）。また、手書ツールバー以外の領域にタッチがなされた場合（ステップＳ２１１５：Ｎｏ）、このタッチがデタッチするまで手書線描画を実行する（ステップＳ２１１９）。
【０１０２】
図２４〜図２６は、図２３のステップＳ２１０７に示した手書ツールバー制御のフローチャートである。手書ツールバー制御を終了する場合（ステップＳ２２０１：Ｙｅｓ）、描画ＡＰＬ１１１１は、手書きモードボタンを選択中表示から通常表示へ戻す（ステップＳ２２０２）。また、タッチされたボタンを選択中表示とし（ステップＳ２２０３）、このタッチがデタッチした座標がタッチされたボタン外である場合（ステップＳ２２０６：Ｎｏ）、ボタンタッチを無効とし、タッチボタンを通常表示へ戻す（ステップＳ２２０７）。手書モード（画像領域を選択する手書線の描画）は、閉じるボタンへのタッチによって終了する（ステップＳ２２１８）。また、キャプチャーＡＰＬ１１０１によって表示ボタンのタッチによって手書線で囲まれた領にある画像が表示される（ステップＳ２２２０）。実行ボタンにタッチすると、手書領域にある画像が抽出され、クリップボードにコピーされる（ステップＳ２２２６）。
【０１０３】
図２６は、図２３、ステップＳ２１１９に示した手書線描画制御のフローチャートである。描画ＡＰＬ１１１１は、手書モードが消去に設定されている場合（ステップＳ２４０１：Ｙｅｓ）、消しゴムカーソルが触れる領域の手書線を消去する（ステップＳ２４０２）。手書モードがペンに設定されている場合（ステップＳ２４０３：Ｙｅｓ）、タッチ座標近辺（特定領域内）に並行する手書線が既に描画されているか検索する（ステップＳ２４０４）。手書線描画途中に並行する手書線が検出された場合（ステップＳ２４０５：Ｙｅｓ）、手書線と並行線を線描画結合する（ステップＳ２４０８）。また、並行線座標を保存する（ステップＳ２４０９）。
【０１０４】
手書線描画開始時、既にタッチ座標近辺（特定領域内）に描画されている手書線が存在するか検索し（ステップＳ２４１１）、既に描画されている手書線と今回描画する手書線を線描画結合する（ステップＳ２４１３）。また、描画ＡＰＬ１１１１は、ドラッグされた座標間を線描画する（ステップＳ２４１６）。そして、ドラッグのデタッチ時、デタッチ座標近辺に今回描画した手書線以外の手書線が存在するか検索し（ステップＳ２４２０）、既に描画されている手書線と今回描画した手書線を線描画結合する（ステップＳ２４２２）。
【０１０５】
図２７は、図２５のステップＳ２２２５に示した手書領域画像抽出制御のフローチャートである。範囲選択線決定部１１０３は、手書線描画領域に描画された手書線の途切れを検索する（ステップＳ２５０１）。孤立座標、非頂点座標が検索された場合、この２点間を線描画結合する（ステップＳ２５０３）。また、順に手書線を検索し（ステップＳ２５０５）、手書線の座標に頂点座標が含まれるか検索する（ステップＳ２５０７）。さらに、検出された頂点座標が内頂点座標か外頂点座標か判定し（ステップＳ２５０９）、また、検出された手書線座標に底点座標が含まれるか検索する（ステップＳ２５１０）。さらに、検出された底点座標が内底点座標か外底点座標か判定する（ステップＳ２５１２）。
【０１０６】
画像抽出ライン決定部１１０５は、画像抽出ラインを作成する（ステップＳ２５１３）。そして、ライン座標検出部１１０７が、画像抽出ラインから座標の最大値、最小値を検出し、画像抽出領域決定部１１０９が、画像抽出領域原点座標、画像抽出領域幅、画像抽出領域高さを算出して画像の抽出領域を決定する（ステップＳ２５１６）。画像キャプチャー部１１１３は、画像抽出ラインデータから画像表示領域の画像を抽出する（ステップＳ２５１７）。
【産業上の利用可能性】
【０１０７】
以上のように、本発明にかかるタッチパネル付きディスプレイ装置の表示制御方法およびその方法をコンピュータに実行させるためのプログラム、タッチパネル付きディスプレイ装置は、画像をキャプチャーする要請のあるタッチパネル付きディスプレイ装置の表示制御方法およびその方法をコンピュータに実行させるためのプログラム、タッチパネル付きディスプレイ装置に有用であり、特に、手書文字の描画が可能なタッチパネル付きディスプレイ装置の表示制御方法およびその方法をコンピュータに実行させるためのプログラム、タッチパネル付きディスプレイ装置に適している。
【図面の簡単な説明】
【０１０８】
【図１】光学式のタッチパネル付きディスプレイ装置を示す図である。
【図２】図１に示した座標入力装置を示す図である。
【図３】タブレットＰＣの構成を説明する図である。
【図４】タブレットＰＣの構成を説明する他の図である。
【図５】タブレットＰＣの構成を説明する他の図である。
【図６】タブレットＰＣの機能および座標検出の原理について説明する図である。
【図７】タブレットＰＣの機能および座標検出の原理について説明する他の図である。
【図８】タブレットＰＣの機能および座標検出の原理について説明する他の図である。
【図９】座標データの形式と、マウスデータの形式とを説明するための図である。
【図１０】マウスエミュレーションを説明するためのフローチャートである。
【図１１】本発明の一実施の形態のキャプチャーＡＰＬの機能ブロック図である。
【図１２】本発明の一実施の形態の画像を抽出する処理の概略を説明するための図である。
【図１３】本発明の一実施の形態のウィンドウ画面のプルダウンメニューやコマンドバーを画像としてキャプチャーする操作を説明するための図である。
【図１４】本発明の一実施の形態のウィンドウ画面に表示された画像をキャプチャーする操作を説明するための図である。
【図１５】本発明の一実施の形態の手書ダイアログボックスを示す図である。
【図１６】本発明の一実施の形態のキャプチャーされた画像の貼り付け処理を説明するための図である。
【図１７】本発明の一実施の形態の画像抽出領域を決定する処理の概略を説明するための図である。
【図１８】本発明の一実施の形態の範囲選択線を決定するための処理を説明するための図である。
【図１９】本発明の一実施の形態の矩形の画像抽出領域を決定する処理を説明するための図である。
【図２０】本発明の一実施の形態の本発明の一実施の形態の画像キャプチャー制御の全般的なフローチャートである。
【図２１】図２０のステップＳ１８１５に示した画像キャプチャーツールバー制御のフローチャートである。
【図２２】図２０のステップＳ１８１１に示したキャプチャー制御のフローチャートである。
【図２３】図２１のステップＳ１９２０に示した手書領域キャプチャー制御のフローチャートである。
【図２４】図２３のステップＳ２１０７に示した手書ツールバー制御のフローチャートである。
【図２５】図２３のステップＳ２１０７に示した手書ツールバー制御の他のフローチャートである。
【図２６】図２３のステップＳ２１０７に示した手書ツールバー制御の他のフローチャートである。
【図２７】図２５のステップＳ２２２５に示した手書領域画像抽出制御のフローチャートである。
【符号の説明】
【０１０９】
１  座標入力装置
２  表示装置
３  座標検出装置
４  ホスト装置
１０４  中央演算装置
１０８  ドライバ
１１２  ディスプレイ画面
１１３  座標入力面
２０１  再帰性反射部材
２０２Ｒ  右光学検出器
２０２Ｌ  左光学検出器
３０１  ディスプレイ
３０３  本体
３０５  キーボード
３０７  電子ペン
３０９  強化ガラス
３１１  液晶ディスプレイユニット
３１３  電磁誘導センサユニット
４０１  共振回路
４０３  コンデンサ
４０５  センサコイル
４０９  交流電源
４１０  軸コイル切替スイッチ
４１１  送受切替スイッチ
４１３  電磁誘導座標検出ユニット
４２１  中央演算装置
１１０１  範囲選択線決定部
１１０３  範囲選択線決定部
１１０５  画像抽出ライン決定部
１１０７  ライン座標検出部
１１０９  画像抽出領域決定部
１１１３  画像キャプチャー部
１２００  画像領域
１２０３、１４０１、１４０３  手書線
１２０７、１４０７  範囲選択線
１６０１  キャプチャーツールバー
１６０９  手書きキャプチャーツールバー
１１０１  キャプチャーＡＰＬ
１１１１  描画ＡＰＬ
【図１】
2005092644.tif 000005
【図２】
2005092644.tif 000006
【図３】
2005092644.tif 000007
【図４】
2005092644.tif 000008
【図５】
2005092644.tif 000009
【図６】
2005092644.tif 000010
【図７】
2005092644.tif 000011
【図８】
2005092644.tif 000012
【図９】
2005092644.tif 000013
【図１０】
2005092644.tif 000014
【図１１】
2005092644.tif 000015
【図１２】
2005092644.tif 000016
【図１３】
2005092644.tif 000017
【図１４】
2005092644.tif 000018
【図１５】
2005092644.tif 000019
【図１６】
2005092644.tif 000020
【図１７】
2005092644.tif 000021
【図１８】
2005092644.tif 000022
【図１９】
2005092644.tif 000023
【図２０】
2005092644.tif 000024
【図２１】
2005092644.tif 000025
【図２２】
2005092644.tif 000026
【図２３】
2005092644.tif 000027
【図２４】
2005092644.tif 000028
【図２５】
2005092644.tif 000029
【図２６】
2005092644.tif 000030
【図２７】
2005092644.tif 000031