(57)【要約】  本発明の携帯情報端末は、２つ以上のディスプレイ画面を有する表示部と、前記ディスプレイ画面のそれぞれに対する接触を感知するタッチパネル式の入力部と、隣り合った２つのディスプレイ画面に対する所定のタッチ操作が行われると、前記２つのディスプレイ画面への前記所定のタッチ操作でタッチされた２点間の所定領域にある部品が指定されたと認識する処理部を有する。
2011052324.tif 000002
【特許請求の範囲】
【請求項１】
２つ以上のディスプレイ画面を有する表示部と、
前記ディスプレイ画面のそれぞれに対する接触を感知するタッチパネル式の入力部と、
隣り合った２つのディスプレイ画面に対する所定のタッチ操作が行われると、前記２つのディスプレイ画面への前記所定のタッチ操作でタッチされた２点間の所定領域にある部品が指定されたと認識する処理部と、
を有する携帯情報端末。
【請求項２】
前記処理部は、前記所定のタッチ操作が行われると、前記所定のタッチ操作でタッチされた２点を結ぶ直線と交わる部品が指定されたと認識する、
請求項１に記載の携帯情報端末。
【請求項３】
前記処理部は、前記所定のタッチ操作が行われると、前記所定のタッチ操作でタッチされた２点の中点にある部品が指定されたと認識する、
請求項２に記載の携帯情報端末。
【請求項４】
前記処理部は、前記所定のタッチ操作が行われると、前記所定のタッチ操作でタッチされた２点を結ぶ直線と２つのディスプレイ画面の境界との交点にある部品が指定されたと認識する、
請求項２に記載の携帯情報端末。
【請求項５】
前記２点を結ぶ直線は、前記２つのディスプレイ画面を境界で接するように連結した座標系上の直線である、
請求項２から４のいずれか１項に記載の携帯情報端末。
【請求項６】
前記２点を結ぶ直線は、前記２つのディスプレイ画面上の座標を該２つのディスプレイ画面の物理的な位置関係で配置した座標系上の直線である、
請求項２から４のいずれか１項に記載の携帯情報端末。
【請求項７】
前記所定のタッチ操作は、前記２つのディスプレイ画面への同時タッチ操作である、
請求項１から６のいずれか１項に記載の携帯情報端末。
【請求項８】
前記所定のタッチ操作は、前記２つのディスプレイ画面へ同時にダブルクリックする操作である、
請求項１から６のいずれか１項に記載の携帯情報端末。
【請求項９】
前記処理部は、前記所定のタッチ操作によりタッチされた２点がタッチされたまま移動すると、前記所定のタッチ操作で指定された部品を、該２点の移動に応じて移動させ、該２点へのタッチが解除されると、該部品の選択をそのときに表示されている位置で解除する、
請求項１から６のいずれか１項に記載の携帯情報端末。
【請求項１０】
２つ以上のディスプレイ画面と該ディスプレイ画面のそれぞれに対する接触を感知するタッチパネル式の入力手段とを有する携帯情報端末に適用される処理方法であって、
隣り合った２つのディスプレイ画面に対する所定のタッチ操作を検出し、
前記２つのディスプレイ画面への前記所定のタッチ操作でタッチされた２点間の所定領域にある部品が指定されたと認識する、処理方法。
【請求項１１】
前記所定のタッチ操作を検出したら、該所定のタッチ操作でタッチされた２点を結ぶ直線と交わる部品が指定されたと認識する、
請求項１０に記載の処理方法。
【請求項１２】
前記所定のタッチ操作を検出したら、該所定のタッチ操作でタッチされた２点の中点にある部品が指定されたと認識する、
請求項１１に記載の処理方法。
【請求項１３】
前記所定のタッチ操作を検出したら、該所定のタッチ操作でタッチされた２点を結ぶ直線と２つのディスプレイ画面の境界との交点にある部品が指定されたと認識する、
請求項１１に記載の処理方法。
【請求項１４】
前記２点を結ぶ直線は、前記２つのディスプレイ画面を境界で接するように連結した座標系上の直線である、
請求項１０から１３のいずれか１項に記載の処理方法。
【請求項１５】
前記２点を結ぶ直線は、前記２つのディスプレイ画面上の座標を該２つのディスプレイ画面の物理的な位置関係で配置した座標系上の直線である、
請求項１０から１３のいずれか１項に記載の処理方法。
【請求項１６】
前記所定のタッチ操作は、前記２つのディスプレイ画面への同時タッチ操作である、
請求項１０から１５のいずれか１項に記載の処理方法。
【請求項１７】
前記所定のタッチ操作は、前記２つのディスプレイ画面へ同時にダブルクリックする操作である、
請求項１０から１５のいずれか１項に記載の処理方法。
【請求項１８】
前記所定のタッチ操作によりタッチされた２点がタッチされたまま移動すると、前記所定のタッチ操作で指定された部品を、該２点の移動に応じて移動させ、該２点へのタッチが解除されると、該部品の選択をそのときに表示されている位置で解除する、
請求項１０から１５のいずれか１項に記載の処理方法。
【請求項１９】
２つ以上のディスプレイ画面と該ディスプレイ画面のそれぞれに対する接触を感知するタッチパネル式の入力手段とを有する携帯情報端末の隣り合った２つのディスプレイ画面に対する所定のタッチ操作を検出する処理と、
前記２つのディスプレイ画面への前記所定のタッチ操作でタッチされた２点間の所定領域にある部品が指定されたと認識する処理をコンピュータに実行させるためのプログラム。
【請求項２０】
前記所定のタッチ操作を検出したら、該所定のタッチ操作でタッチされた２点を結ぶ直線と交わる部品が指定されたと認識する、
請求項１９に記載のプログラム。
【請求項２１】
前記所定のタッチ操作を検出したら、該所定のタッチ操作でタッチされた２点の中点にある部品が指定されたと認識する、
請求項２０に記載のプログラム。
【請求項２２】
前記所定のタッチ操作を検出したら、該所定のタッチ操作でタッチされた２点を結ぶ直線と２つのディスプレイ画面の境界との交点にある部品が指定されたと認識する、
請求項２０に記載のプログラム。
【請求項２３】
前記２点を結ぶ直線は、前記２つのディスプレイ画面を境界で接するように連結した座標系上の直線である、
請求項２０から２２のいずれか１項に記載のプログラム。
【請求項２４】
前記２点を結ぶ直線は、前記２つのディスプレイ画面上の座標を該２つのディスプレイ画面の物理的な位置関係で配置した座標系上の直線である、
請求項２０から２２のいずれか１項に記載のプログラム。
【請求項２５】
前記所定のタッチ操作は、前記２つのディスプレイ画面への同時タッチ操作である、
請求項１９から２４のいずれか１項に記載のプログラム。
【請求項２６】
前記所定のタッチ操作は、前記２つのディスプレイ画面へ同時にダブルクリックする操作である、
請求項１９から２４のいずれか１項に記載のプログラム。
【請求項２７】
前記所定のタッチ操作によりタッチされた２点がタッチされたまま移動すると、前記所定のタッチ操作で指定された部品を、該２点の移動に応じて移動させ、該２点へのタッチが解除されると、該部品の選択をそのときに表示されている位置で解除する、
請求項１９から２４のいずれか１項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示部と一体的に構成されたタッチパネル式の入力部を備えた携帯情報端末に関する。
【背景技術】
【０００２】
携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、電子手帳に代表される携帯情報端末は、一般に、液晶等のディスプレイ画面によってテキストや画像を表示する表示部と、ユーザの操作によりコマンドやデータを入力する入力部とを備えている。【０００３】
一部の携帯情報端末では入力部にタッチパネル式が採用されている。例えば、特許文献１に入力部にタッチパネル式が採用された情報端末が開示されている。タッチパネル式を採用することにより、表示部と入力部を異なる位置に配置した場合に比べ、装置サイズに対して画面サイズを大きくすることができる。【０００４】
入力部にタッチパネル式が採用された携帯情報端末では、タッチパネルへのタッチ操作でディスプレイに表示されるアイコン等のＵＩ（User  Interface）部品が指定される。一般に、ＵＩ部品がアイコンの場合、一回のタッチ操作でそのＵＩ部品が選択され、ダブルクリックに相当する連続タッチ操作でそのＵＩ部品に応じた処理が実行される。また、ＵＩ部品がＷｅｂページのリンクやプログラムのボタンの場合、一回のタッチ操作でそのＵＩ部品に応じた処理が実行される。以降、ＵＩ部品の選択と実行を含めて、指定と称する。【０００５】
ディスプレイに表示される画像にＵＩ部品が含まれ、タッチパネルへのタッチ操作でＵＩ部品を指定する構成の携帯情報端末では、制御対象のＵＩ部品への１点のタッチによってＵＩ部品を指定するのが一般的である。また、制御対象を２点のタッチによるクリップで指定するという技術もある（特許文献２参照）。【０００６】
また、一部の携帯情報端末は表示部として複数のディスプレイ画面を備えている。例えば、特許文献３に複数の筐体を有する開閉可能な折りたたみ型構造で、複数の筐体のそれぞれにディスプレイ画面を備える携帯情報端末が開示されている。特許文献３に開示された携帯情報端末は、閉じた状態では小型で携帯性がよく、開いた状態では大型画面を提供することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００９−５２２６６９号公報
【特許文献２】特開２００２−３０４２５６号公報
【特許文献３】特開２００９−７６０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、複数のディスプレイ画面およびそれら画面のそれぞれに対する接触を感知するタッチパネル式の入力手段を備えた携帯情報端末ではディスプレイ画面とディスプレイ画面との間に境界が生じる。そのため、１つの原画像を複数のディスプレイ画面に分割して表示した場合、アイコン等のＵＩ部品が複数のディスプレイ画面の境界にかかってしまうことがある。その場合、ＵＩ部品を指定するためのタッチ操作がしづらく操作性が悪い。【０００９】
本発明の目的は、複数のディスプレイ画面およびそれら画面のそれぞれに対する接触を感知するタッチパネル式の入力手段を有する携帯情報端末においてディスプレイ画面とディスプレイ画面との間の境界のＵＩ部品の指定の操作性を改善するための技術を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の携帯情報端末は、２つ以上のディスプレイ画面を有する表示部と、前記ディスプレイ画面のそれぞれに対する接触を感知するタッチパネル式の入力部と、隣り合った２つのディスプレイ画面に対する所定のタッチ操作が行われると、前記２つのディスプレイ画面への前記所定のタッチ操作でタッチされた２点間の所定領域にある部品が指定されたと認識する処理部を有する。【００１１】
また、上記目的を達成するために、本発明の処理方法は、２つ以上のディスプレイ画面と該ディスプレイ画面のそれぞれに対する接触を感知するタッチパネル式の入力手段とを有する携帯情報端末に適用される処理方法であって、隣り合った２つのディスプレイ画面に対する所定のタッチ操作を検出し、前記２つのディスプレイ画面への前記所定のタッチ操作でタッチされた２点間の所定領域にある部品が指定されたと認識する。【００１２】
また、上記目的を達成するために、本発明のプログラムは、２つ以上のディスプレイ画面と該ディスプレイ画面のそれぞれに対する接触を感知するタッチパネル式の入力手段とを有する携帯情報端末の隣り合った２つのディスプレイ画面に対する所定のタッチ操作を検出する処理と、前記２つのディスプレイ画面への前記所定のタッチ操作でタッチされた２点間の所定領域にある部品が指定されたと認識する処理をコンピュータに実行させる。
【発明の効果】
【００１３】
本発明によれば、複数のディスプレイ画面およびそれら画面のそれぞれに対する接触を感知するタッチパネル式の入力手段を有する携帯情報端末においてディスプレイ画面とディスプレイ画面との間の境界のＵＩ部品を指定する際の操作性を改善することができる。
【図面の簡単な説明】
【００１４】
【図１】携帯情報端末におけるＵＩ部品の指定方法の例を説明するための図である。
【図２】第１の実施の形態における携帯情報端末の構成を示すブロック図である。
【図３】指定座標を算出する方法の例を説明するための図である。
【図４】タッチパネル３１０、３２０上の点をタッチパネル３１０の座標系で表した図である。
【図５】図２に示した処理部１００の同時操作に対する処理を示すフローチャートである。
【図６Ａ】タッチパネル３１０、３２０上の点をタッチパネル３１０の座標系で表した図である。
【図６Ｂ】タッチパネル３１０、３２０上の点をタッチパネル３１０の座標系で表した図である。
【図７】タッチパネル３１０、３２０上の点をタッチパネル３１０の座標系で表した図である。
【図８】第４の実施の形態における携帯情報端末の構成を示すブロック図である。
【図９Ａ】水平方向に並べられた２つのディスプレイ画面を有する携帯情報端末における画像の表示例を示す図である。
【図９Ｂ】図９Ａに示した携帯情報端末において所定領域を複写表示した場合の画像の表示例を示す図である。
【図１０】第７の実施の形態の座標系上の、２点Ａ、Ｂの中点の座標を指定座標とする例を説明するための図である。
【図１１】第７の実施の形態の座標系上の、直線ＡＢと画面境界との交点にある座標を指定座標とする例を説明するための図である。
【発明を実施するための形態】
【００１５】
次に本発明について図面を参照して詳細に説明する。
【００１６】
（第１の実施の形態）
本実施の形態の携帯情報端末は、２つのディスプレイ画面と、各ディスプレイ画面上に配置された２つのタッチパネルとを有している。そして、携帯情報端末は、２つのディスプレイ画面上のタッチパネルに対して同時にタッチ操作が行われると、各タッチパネルへのタッチ操作がされた２点の中点にある、アイコン、ボタンあるいはＷｅｂページのリンク等のＵＩ部品が指定されたと認識する。
【００１７】
図１は２つのディスプレイ画面と各ディスプレイ画面上にタッチパネルとを有する携帯情報端末におけるＵＩ部品の指定方法の例を説明するための図である。図１に示す例では、ディスプレイ画面とディスプレイ画面との間の境界（以降、画面境界と称する）部分にかかっているアイコンが存在し、そのアイコンを指定するためのタッチ操作がしづらい状態になっている。このとき、利用者が図１に示す２つの黒丸点に同時タッチすると、携帯情報端末は、タッチ操作がされた２点の中点が指定されたと認識する。
【００１８】
図２は第１の実施の形態における携帯情報端末の構成を示すブロック図である。
【００１９】
図２に示すように、第１の実施の形態における携帯情報端末は、処理部１００、表示部２００及び入力部３００を有する。処理部１００は、タッチイベント検出部１１０、同時タッチイベント制御部１２０、タッチイベント処理部１３０及びディスプレイ表示制御部１４０を有する。同時タッチイベント制御部１２０は、タッチイベント判定部１２１、座標変換部１２２及び擬似タッチイベント生成部１２３を有する。
【００２０】
表示部２００は、２つのディスプレイ画面を有する表示装置である。本実施形態の表示部２００は、互いに隣り合って配置されるディスプレイ２１０とディスプレイ２２０を有する。
【００２１】
入力部３００は、各ディスプレイ画面上に配置されたタッチパネルを有する入力装置である。本実施形態の入力部３００は、タッチパネル３１０及びタッチパネル３２０を有する。タッチパネル３１０は、ディスプレイ２１０の画面上に配置され、タッチパネル３２０は、ディスプレイ２２０の画面上に配置される。各タッチパネルには、各タッチパネルを識別するための番号であるタッチパネルＩＤが割り当てられる。
【００２２】
各タッチパネルは、利用者からのタッチ操作を検出し、タッチ操作の状態を示すタッチ情報をタッチイベント検出部１１０に通知する。タッチ操作は、利用者の手や指あるいはタッチペン等によるタッチパネルへの所定の操作である。タッチ情報は、各タッチパネルのタッチパネルＩＤ、タッチされているか否かを示す情報及びタッチされている座標の情報を有する。
【００２３】
処理部１００は、携帯情報端末の全体の動作を制御する。
【００２４】
タッチイベント検出部１１０は、入力部３００の各タッチパネルからタッチ情報を受信し、受信したタッチ情報に基づいてタッチイベント情報を生成する。タッチイベント情報は、イベント発生元のタッチパネルのタッチパネルＩＤ、そのタッチパネル上の座標、イベント発生時刻及びイベント種別を有する。尚、イベント種別とは、利用者の手や指あるいはタッチペン等がタッチパネルにタッチされたことを示すタッチイベント、タッチしたままスライドされたことを示すドラッグイベント、タッチパネルから離れたことを示すリリースイベント等のイベントの種別を示す情報である。
【００２５】
尚、２つのタッチパネルに対して同時にされるタッチ操作を同時タッチ操作と称する。また、同時タッチ操作により各タッチパネルにタッチされた２点をタッチしたままでスライドさせる操作を同時ドラッグ操作と称する。また、同時タッチ操作により各タッチパネルにタッチされた２点のタッチを同時に離す操作を同時リリース操作と称する。また、同時タッチ操作、同時ドラッグ操作及び同時リリース操作をあわせて同時操作と称する。
【００２６】
タッチイベント検出部１１０は、生成したタッチイベント情報をタッチイベント判定部１２１に通知する。
【００２７】
同時タッチイベント制御部１２０は、タッチイベント検出部１１０から受信したタッチイベント情報が同時操作によるものである場合、その同時操作によって指定される新たなタッチイベント情報を作成し、タッチイベント処理部１３０に通知する。
【００２８】
タッチイベント判定部１２１は、タッチイベント検出部１１０からタッチイベント情報を受信し、受信したタッチイベント情報を解析する。
【００２９】
タッチイベント判定部１２１は、イベント発生元が別々のタッチパネルであり、イベント発生時刻の差が所定の時間内であり、イベント種別がいずれもタッチイベントである、２つのタッチイベント情報を受信すると、同時タッチ操作がされたと判断する。
【００３０】
また、タッチイベント判定部１２１は、一度同時タッチ操作がされたと判断すると、イベント発生元がいずれかのタッチパネルであり、イベント種別がリリースイベントであるタッチイベント情報を受信するまで、同時タッチ操作が継続していると判断する。タッチイベント判定部１２１は、同時タッチ操作が継続しているとき、イベント発生元がいずれかのタッチパネルであり、イベント種別がリリースイベントであるイベント情報を受信すると、同時タッチ操作が解除されたと判断する。
【００３１】
また、タッチイベント判定部１２１は、同時タッチ操作が継続しているとき、イベント発生元がいずれかのタッチパネルであり、イベント種別がドラッグイベントであるイベント情報を受信すると、同時ドラッグ操作がされたと判断する。
【００３２】
また、タッチイベント判定部１２１は、同時タッチ操作が継続しているとき、イベント発生元が別々のタッチパネルであり、イベント発生時刻の差が所定の時間内であり、イベント種別がいずれもリリースイベントである、２つのタッチイベント情報を受信すると、同時リリース操作がされたと判断する。このとき、タッチイベント判定部１２１は、同時タッチ操作が解除されたと判断する。
【００３３】
タッチイベント検出部１１０から受信したタッチイベント情報が同時操作によるものでないと判断すると、タッチイベント判定部１２１は、受信したタッチイベント情報をそのままタッチイベント処理部１３０に送信する。
【００３４】
一方、タッチイベント検出部１１０から受信したタッチイベント情報が同時操作によるものであると判断すると、タッチイベント判定部１２１は、受信したタッチイベント情報を座標変換部１２２に送信する。
【００３５】
座標変換部１２２は、タッチイベント判定部１２１からタッチイベント情報を受信すると、受信したタッチイベント情報に含まれるタッチパネル上の座標に基づいて、各操作によって指定される指定座標を算出する。
【００３６】
本実施の形態の座標変換部１２２は、タッチイベント情報が同時タッチ操作によるものである場合、タッチイベント判定部１２１から受信した、２つのタッチパネルで発生した２つのタッチイベント情報に含まれる各タッチパネル上の座標の中点の座標を指定座標とする。
【００３７】
また、座標変換部１２２は、タッチイベント情報が同時ドラッグ操作によるものである場合、タッチイベント判定部１２１から受信した、２つのタッチパネルについてのそれぞれ最新のタッチイベント情報に含まれるタッチパネル上の座標の中点の座標を指定座標とする。
【００３８】
また、座標変換部１２２は、タッチイベント情報が同時リリース操作によるものである場合、タッチイベント判定部１２１から受信した、２つのタッチパネルで発生した２つのタッチイベント情報に含まれる各タッチパネル上の座標の中点の座標を指定座標とする。
【００３９】
図３は、指定座標を算出する方法の例を説明するための図である。図３に示す例では、画面境界と同じ方向の画素数がＨであり、画面境界に対して垂直方向の画素数がＷ１であるタッチパネル３１０と、画面境界と同じ方向の画素数がＨであり、画面境界に対して垂直方向の画素数がＷ２であるタッチパネル３２０とが、隣り合って配置されている。
【００４０】
以降、画面境界に対して垂直方向をＸ軸とし、画面境界と同じ方向をＹ軸とした座標系で説明する。尚、この座標系の各点は、タッチパネル上の各画素を表し、タッチパネル上の左下の画素の座標は（０、０）であるとする。このとき、タッチパネル３１０の各画素の座標の範囲は、０≦Ｘ＜Ｗ１、０≦Ｙ＜Ｈとなる。また、タッチパネル３２０の各画素の範囲は、０≦Ｘ＜Ｗ２、０≦Ｙ＜Ｈとなる。
【００４１】
この携帯情報端末において、タッチパネル３１０の座標（Ｘ１、Ｙ１）にある点Ａと、タッチパネル３２０の座標（Ｘ２、Ｙ２）にある点Ｂとが同時にタッチされたものとする。
【００４２】
本実施形態では、１つの原画像を２つのディスプレイ２１０、２２０に分割して表示する場合、２つのディスプレイ２１０、２２０に対応するタッチパネル３１０、３２０の座標を１つの座標系に統合して取り扱う。ここではタッチパネル３１０の座標系にタッチパネル３２０の座標系を統合するものとする。したがって、タッチパネル３１０内の座標はそのままタッチパネル３１０の座標系で表されるが、タッチパネル３２０内の座標はタッチパネル３１０の座標系に変換して表される。
【００４３】
図４にタッチパネル３１０、３２０上の点をタッチパネル３１０の座標系で表した図を示す。実際にはタッチパネル３１０とタッチパネル３２０の間に物理的な隙間があるのが一般的であるが、２つのタッチパネル３１０、３２０を含む座標系ではタッチパネル３１０とタッチパネル３２０が境界で接しているものとして扱われる。図４では、タッチパネル３２０の左端の境界線は、タッチパネル３１０の右端の境界線と接するものとし、タッチパネル３２０上の点Ｂは、タッチパネル３１０の座標系に変換されて取り扱われる。
【００４４】
点Ｂの座標（Ｘ２、Ｙ２）は、タッチパネル３１０の座標系において、点Ｂ’（Ｗ１＋Ｘ２、Ｙ２）に変換される。
【００４５】
点Ａと点Ｂ’の中点をＣ’（Ｘ３’、Ｙ３’）とすると、Ｘ３’は、式（１）で、Ｙ３’は、式（２）で表される。
【００４６】
Ｘ３’＝（Ｘ１＋Ｗ１＋Ｘ２）／２      （１）
Ｙ３’＝（Ｙ１＋Ｙ２）／２      （２）
ここで、式（３）が成立する場合、中点Ｃ’は、タッチパネル３２０上に存在することになる。一方、式（３）が成立しない場合、中点Ｃ’は、タッチパネル３１０上に存在することになる。
【００４７】
Ｘ３’≧Ｗ１      （３）
式（３）が成立する場合、中点Ｃ’は、タッチパネル３２０上に存在し、タッチパネル３２０上の指定座標をＣ（Ｘ３、Ｙ３）とすると、Ｘ３は式（４）で、Ｙ３は式（５）で表される。
【００４８】
Ｘ３＝（Ｘ１＋Ｗ１＋Ｘ２）／２−Ｗ１      （４）
Ｙ３＝（Ｙ１＋Ｙ２）／２      （５）
一方、式（３）が成立しない場合、中点Ｃ’は、タッチパネル３１０上に存在し、タッチパネル３１０上の指定座標をＣ（Ｘ３、Ｙ３）とすると、Ｘ３は式（６）で、Ｙ３は式（７）で表される。
【００４９】
Ｘ３＝（Ｘ１＋Ｗ１＋Ｘ２）／２      （６）
Ｙ３＝（Ｙ１＋Ｙ２）／２      （７）
座標変換部１２２は、式（３）を用いて中点Ｃ’がタッチパネル３１０、タッチパネル３２０のいずれに存在するかを判別し、式（４）〜（７）を用いて指定座標Ｃを算出する。
【００５０】
座標変換部１２２は、指定座標が含まれるタッチパネルのタッチパネルＩＤ、指定座標、同時操作が発生した時刻及び同時操作のイベント種別を擬似タッチイベント生成部１２３に通知する（以降、指定座標が含まれるタッチパネルのタッチパネルＩＤ、指定座標、同時操作が発生した時刻及び同時操作のイベント種別をあわせて変換座標情報と称する）。尚、同時操作のイベント種別は、タッチイベント情報が同時タッチ操作によるものである場合タッチイベントであり、タッチイベント情報が同時ドラッグ操作によるものである場合ドラッグイベントであり、タッチイベント情報が同時リリース操作によるものである場合リリースイベントである。
【００５１】
擬似タッチイベント生成部１２３は、座標変換部１２２から変換座標情報を受信する。そして、擬似タッチイベント生成部１２３は、受信した変換座標情報に基づいて同時操作に対する擬似タッチイベント情報を生成する。
【００５２】
尚、擬似タッチイベント情報は、タッチイベント情報と同様に、イベント発生元のタッチパネルのタッチパネルＩＤ、そのタッチパネル上の座標、イベント発生時刻及びイベント種別を有する。ここで、イベント発生元のタッチパネルのタッチパネルＩＤとして、指定座標が含まれるタッチパネルのタッチパネルＩＤが指定され、タッチパネル上の座標として、指定座標が指定され、イベント発生時刻として、同時操作が発生した時刻が指定され、イベント種別として、同時操作のイベント種別が指定される。
【００５３】
擬似タッチイベント生成部１２３は、生成した擬似タッチイベント情報をタッチイベント処理部１３０に送信する。
【００５４】
タッチイベント処理部１３０は、タッチイベント判定部１２１から受信したタッチイベント情報、あるいは擬似タッチイベント生成部１２３から受信した擬似タッチイベント情報で指定される座標のＵＩ部品に対して受信したタッチイベント情報を通知する。
【００５５】
ディスプレイ表示制御部１４０は、表示部２００の各ディスプレイに携帯情報端末の出力画像を表示する。
【００５６】
次に図２に示した処理部１００の同時操作に対する処理について説明する。
【００５７】
図５は図２に示した処理部１００の同時操作に対する処理を示すフローチャートである。
【００５８】
タッチイベント検出部１１０は、入力部３００の各タッチパネルからタッチ情報を受信するまで待機する。タッチ情報を受信すると、タッチイベント検出部１１０は、受信したタッチ情報に基づいてタッチイベント情報を生成し、生成したタッチイベント情報をタッチイベント判定部１２１に通知する（ステップＳ１）。
【００５９】
タッチイベント検出部１１０からタッチイベント情報を受信すると、タッチイベント判定部１２１は、受信したタッチイベント情報が同時操作によるものか否かを判断する（ステップＳ２）。
【００６０】
タッチイベント検出部１１０から受信したタッチイベント情報が同時操作によるものでないと判断すると、タッチイベント判定部１２１は、受信したタッチイベント情報をタッチイベント処理部１３０に送信し、ステップＳ５へ移行する。
【００６１】
一方、タッチイベント検出部１１０から受信したタッチイベント情報が同時操作によるものであると判断すると、タッチイベント判定部１２１は、受信したタッチイベント情報を座標変換部１２２に送信する。
【００６２】
タッチイベント判定部１２１から同時操作により発生したタッチイベント情報を受信すると、座標変換部１２２は、受信したタッチイベント情報に含まれるタッチパネル上の座標に基づいて、各操作によって指定される指定座標を算出する（ステップＳ３）。
【００６３】
同時操作によって指定される指定座標を算出すると、座標変換部１２２は、変換座標情報を擬似タッチイベント生成部１２３に通知する。
【００６４】
座標変換部１２２から変換座標情報を受信すると、擬似タッチイベント生成部１２３は、受信した変換座標情報に基づいて同時操作に対する擬似タッチイベント情報を生成する（ステップＳ４）。
【００６５】
同時タッチ操作に対する擬似タッチイベント情報を生成すると、擬似タッチイベント生成部１２３は、生成した擬似タッチイベント情報をタッチイベント処理部１３０に送信する。
【００６６】
タッチイベント判定部１２１からタッチイベント情報を受信すると、タッチイベント処理部１３０は、タッチイベント情報で指定される座標のＵＩ部品に対して受信したタッチイベント情報を通知する（ステップＳ５）。
【００６７】
また、擬似タッチイベント生成部１２３から擬似タッチイベント情報を受信した場合も、タッチイベント処理部１３０は、擬似タッチイベント情報で指定される座標のＵＩ部品に対して受信した擬似タッチイベント情報を通知する（ステップＳ５）。
【００６８】
タッチイベント処理部１３０は、タッチイベント情報あるいは擬似タッチイベント情報に該当する処理を完了すると、再度ステップＳ１へ移行する。
【００６９】
尚、本実施の形態では、２つのディスプレイ画面上のタッチパネルに対して同時にタッチ操作が行われると、携帯情報端末は、タッチ操作がされた２点の中点が指定されたと認識する例を示したが、本発明は、これに制限されるものではない。同時タッチ操作により指定される点は、タッチ操作がされた２点を結ぶ直線上にある点であればよく、例えば、その２点を結ぶ直線上にあり、その２点からの距離が予め定められた比率となる点であってもよい。
【００７０】
また、本実施の形態では、タッチイベント判定部１２１は、同時に（イベント発生時刻の差が所定の時間内に）発生した２つのタッチイベントを検知すると、同時タッチ操作がされたと判断する例を示したが、本発明は、これに制限されるものではない。例えば、タッチイベント判定部１２１は、同時に発生した２つのタッチイベントを検知した後、所定時間リリースイベントを検知しない場合に同時タッチ操作がされたと判断するようにしてもよい。
【００７１】
また、本実施の形態では、携帯情報端末において、２つのディスプレイ画面上のタッチパネルに対して同時タッチ操作が行われると、各タッチパネルへのタッチ操作がされた２点の中点にあるＵＩ部品が指定されたと認識する例を示した。しかしながら、本発明は、これに制限されるものではない。携帯情報端末は、２つのディスプレイ画面上のタッチパネルに対して同時タッチ操作が行われると、各タッチパネルへのタッチ操作がされた２点間の所定領域にあるＵＩ部品が指定されたと認識するようにしてもよい。
【００７２】
あるいは、携帯情報端末は、２つのディスプレイ画面上のタッチパネルに対して同時タッチ操作が行われると、各タッチパネルへのタッチ操作がされた２点を結ぶ直線の近傍に存在するＵＩ部品が指定されたと認識するようにしてもよい。この場合、携帯情報端末は、２点を結ぶ直線から所定の距離内に存在するＵＩ部品が指定されたと認識する。
【００７３】
あるいは、携帯情報端末は、２つのディスプレイ画面上のタッチパネルに対して同時タッチ操作が行われると、各タッチパネルへのタッチ操作がされた２点を結ぶ直線と交わるＵＩ部品が指定されたと認識するようにしてもよい。
【００７４】
また、本実施の形態では、表示部２００が、２つのディスプレイ画面を有し、入力部３００が、２つのタッチパネルを有する例を示したが、本発明は、これに制限されるものではなく、表示部２００は、３つ以上のディスプレイ画面を有し、入力部３００は、３つ以上のタッチパネルを有するものであってもよい。
【００７５】
また、本実施の形態では、携帯情報端末の入力部は、各タッチパネルがディスプレイの画面上に配置されたものである例を示したが、本発明は、これに制限されるものではない。携帯情報端末の入力部は、ディスプレイ画面に対する接触を感知するものであればどのようなものであってもよく、接触を判別可能なセンサーがディスプレイのパネルに内蔵されたようなものであってもよい。
【００７６】
以上説明したように、本実施形態によれば、携帯情報端末は、２つのディスプレイ画面上のタッチパネルに対して同時タッチ操作が行われると、各タッチパネルへのタッチ操作がされた２点間の所定領域にあるＵＩ部品が指定されたと認識する。これにより、利用者は、アイコン、ボタンあるいはＷｅｂページのリンク等のＵＩ部品が画面境界にかかっている場合であっても、そのＵＩ部品を容易に指定できる。従って、画面境界のＵＩ部品の指定の操作性が改善される。
【００７７】
また、本実施形態の携帯情報端末は、２つのディスプレイ画面上のタッチパネルに対して同時タッチ操作が行われると、タッチパネルへのタッチ操作がされた２点を結ぶ直線と交わるＵＩ部品が指定されたと認識する。これにより、利用者は、より適切にＵＩ部品を指定できる。
【００７８】
また、本実施形態の携帯情報端末は、２つのディスプレイ画面上のタッチパネルに対して同時タッチ操作が行われると、タッチパネルへのタッチ操作がされた２点の中点にあるＵＩ部品が指定されたと認識する。これにより、利用者は、視覚的に適切にＵＩ部品を指定できる。
【００７９】
また、本実施形態の携帯情報端末は、ＵＩ部品を指定するための演算を２つのディスプレイ画面を境界で接するように連結した座標系上で行う。これにより、利用者は、２つのディスプレイ画面の間に存在する物理的な隙間がないものとしてＵＩ部品を指定することができる。
【００８０】
尚、本実施の形態では、２つのタッチパネルに対する同時操作の例として同時タッチ操作、同時ドラッグ操作、同時リリース操作を示したが、本発明は、これに制限されるものではない。２つのタッチパネルに対する同時操作は、例えば、ダブルクリックに相当する操作であってもよい。この場合、携帯情報端末は、２つのタッチパネルに対して同時にダブルクリックに相当する操作が行われると、その操作がされた２点間の所定領域にあるＵＩ部品に対してダブルクリックがされたと認識する。例えば、携帯情報端末は、２つのタッチパネルに対して同時にダブルクリックに相当する操作が行われると、その操作がされた２点の中点にあるＵＩ部品に対してダブルクリックがされたと認識する。これにより、利用者は、ＵＩ部品が画面境界にかかってしまう場合であっても、そのＵＩ部品に対して容易にダブルクリックを実施できる。
【００８１】
また、２つのタッチパネルに対して同時にされる操作は、例えば、ドラッグアンドドロップであってもよい。この場合、利用者は、まず２点を同時にタッチする。そうすると、携帯情報端末はタッチされた２点間の所定領域にあるＵＩ部品を選択する。続いて、利用者はタッチしたままで２点をスライドさせる。そうすると、携帯情報端末は、選択されているＵＩ部品を２点のスライドにあわせて移動させる。最後に利用者は、ＵＩ部品が所望の位置にある状態で２点のタッチを同時に離す。そうすると、携帯情報端末は、その位置でＵＩ部品の選択を解除する。例えば、携帯情報端末は、利用者によってタッチされた２点の中点にあるＵＩ部品を選択し、利用者によってスライドされた２点の中点と一致させるようにＵＩ部品を移動させる。これにより、利用者は、ＵＩ部品が画面境界にかかってしまう場合であっても、そのＵＩ部品に対して容易にドラッグアンドドロップを実施できる。このドラッグアンドドロップは、画面境界にあるＵＩ部品の表示位置の変更や、コピーアンドペーストに利用できる。
【００８２】
（第２の実施の形態）
第１の実施の形態では、携帯情報端末において、２つのディスプレイ画面上のタッチパネルに対して同時タッチ操作が行われると、各タッチパネルへのタッチ操作がされた２点の中点にあるＵＩ部品が指定されたと認識する例を示した。
【００８３】
しかしながら、本発明は、これに制限されるものではない。例えば、タッチ操作がされた２点を結ぶ直線と画面境界との交点にあるＵＩ部品を制御対象とすることによって、画面境界にかかっているＵＩ部品をより適切に指定することができる。そこで、第２の実施形態では、２つのディスプレイ画面上のタッチパネルに対して同時にタッチ操作が行われると、各タッチパネルへのタッチ操作がされた２点を結ぶ直線と画面境界との交点にあるＵＩ部品が指定されたと認識する例について説明する。
【００８４】
第２の実施の形態の携帯情報端末の基本的な構成は、第１の実施の形態の携帯情報端末の構成と同じである。
【００８５】
但し、第２の実施の形態の座標変換部１２２は、タッチイベント情報が同時タッチ操作によるものである場合、タッチイベント判定部１２１から受信した、２つのタッチパネルで発生した２つのタッチイベント情報に含まれる各タッチパネル上の座標を結ぶ直線と画面境界との交点の座標を指定座標とする。
【００８６】
以下に図３に示したタッチパネル３１０、３２０において、同時タッチ操作がされた２点を結ぶ直線と画面境界の交点を算出する例を説明する。
【００８７】
図３に示したタッチパネル３１０、３２０において、タッチパネル３１０の座標（Ｘ１、Ｙ１）にある点Ａと、タッチパネル３２０の座標（Ｘ２、Ｙ２）にある点Ｂとが同時にタッチされたものとする。
【００８８】
図６Ａにタッチパネル３１０、３２０上の点をタッチパネル３１０の座標系で表した図を示す。実際にはタッチパネル３１０とタッチパネル３２０の間に物理的な隙間があるのが一般的であるが、２つのタッチパネル３１０、３２０を含む座標系ではタッチパネル３１０とタッチパネル３２０が境界で接しているものとして扱われる。図６Ａでは、タッチパネル３２０の左端の境界線は、タッチパネル３１０の右端の境界線と接するものとし、タッチパネル３２０上の点Ｂは、タッチパネル３１０の座標系に変換されて取り扱われる。
【００８９】
点Ｂの座標（Ｘ２、Ｙ２）は、タッチパネル３１０の座標系において、点Ｂ’（Ｗ１＋Ｘ２、Ｙ２）に変換される。
【００９０】
直線ＡＢ’と、直線Ｘ＝Ｗ１との交点をＣ（Ｗ１、Ｙ３）とすると、点Ｂ’、点Ａ、座標（Ｘ１、Ｙ２）で表される点Ｄの３点で表される直角三角形と、点Ｂ’、点Ｃ、座標（Ｗ１、Ｙ２）で表される点Ｅの３点で表される直角三角形との相似比から、式（８）が成立する。
【００９１】
Ｙ１−Ｙ２：Ｙ３−Ｙ２＝Ｗ１＋Ｘ２−Ｘ１：Ｘ２      （８）
式（８）を解くことにより、交点ＣのＹ座標Ｙ３は、式（９）で表される。
【００９２】
Ｙ３＝（Ｗ１×Ｙ２−Ｘ１×Ｙ２＋Ｘ２×Ｙ１）／（Ｗ１−Ｘ１＋Ｘ２）      （９）
また、図６Ｂに、点Ｂ’のＹ座標Ｙ２が、点ＡのＹ座標Ｙ１よりも大きい値を持つ場合の、タッチパネル３１０、３２０上の点をタッチパネル３１０の座標系で表した図を示す。
【００９３】
直線ＡＢ’と、直線Ｘ＝Ｗ１との交点をＣ（Ｗ１、Ｙ３）とすると、点Ａ、点Ｂ’、座標（Ｗ１＋Ｘ２、Ｙ１）で表される点Ｆの３点で表される直角三角形と、点Ａ、点Ｃ、座標（Ｗ１、Ｙ１）で表される点Ｇの３点で表される直角三角形との相似比から、式（１０）が成立する。
【００９４】
Ｙ２−Ｙ１：Ｙ３−Ｙ１＝Ｗ１＋Ｘ２−Ｘ１：Ｗ１−Ｘ１      （１０）
式（１０）を解くことにより、点Ｂ’のＹ座標Ｙ２が、点ＡのＹ座標Ｙ１よりも大きい値を持つ場合も、交点ＣのＹ座標Ｙ３は、式（９）で表されることがわかる。
【００９５】
座標変換部１２２は、式（９）を用いてＹ３を算出し、タッチパネル３２０上の座標（０、Ｙ３）の点を指定座標とした変換座標情報を擬似タッチイベント生成部１２３に通知する。
【００９６】
これにより、第２の実施形態のタッチイベント処理部１３０は、２つのディスプレイ画面上のタッチパネルに対して同時にタッチ操作が行われると、各タッチパネルへのタッチ操作がされた２点を結ぶ直線と画面境界との交点にあるＵＩ部品に対してタッチイベント情報を通知することになる。
【００９７】
以上説明したように、本実施形態によれば、携帯情報端末は、２つのディスプレイ画面上のタッチパネルに対して同時タッチ操作が行われると、タッチパネルへのタッチ操作がされた２点を結ぶ直線と画面境界との交点にあるＵＩ部品が指定されたと認識する。これにより、利用者によるタッチ操作でずれが生じてしまったような場合であっても、携帯情報端末は、より精度よく、画面境界にかかっているＵＩ部品を指定することができる。
【００９８】
（第３の実施の形態）
第１、第２の実施の形態では、携帯情報端末において、２つのディスプレイ画面上のタッチパネルに対して同時タッチ操作が行われると、各タッチパネルへのタッチ操作がされた２点を結ぶ直線上にあるＵＩ部品が指定されたと認識する例を示した。
【００９９】
しかしながら、本発明は、これに制限されるものではない。例えば、タッチ操作がされた２点で定まる所定領域と交わるＵＩ部品を制御対象とすることによって、画面境界にかかっているＵＩ部品をより適切に指定することができる。そこで、第３の実施形態では、２つのディスプレイ画面上のタッチパネルに対して同時にタッチ操作が行われると、各タッチパネルへのタッチ操作がされたで定まる所定領域と交わるＵＩ部品が指定されたと認識する例について説明する。
【０１００】
第３の実施の形態の携帯情報端末の基本的な構成は、第１の実施の形態の携帯情報端末の構成と同じである。
【０１０１】
但し、第３の実施の形態の座標変換部１２２は、タッチイベント判定部１２１から同時タッチ操作による２つのタッチイベント情報を受信した場合、その２つのタッチイベント情報に含まれる各タッチパネル上の座標を対角の頂点とする矩形領域と交わるＵＩ部品の中心座標を指定座標とする。
【０１０２】
以下に図３に示したタッチパネル３１０、３２０において、同時タッチ操作がされた２点を結ぶ直線と画面境界の交点を算出する例を説明する。
【０１０３】
図３に示したタッチパネル３１０、３２０において、タッチパネル３１０の座標（Ｘ１、Ｙ１）にある点Ａと、タッチパネル３２０の座標（Ｘ２、Ｙ２）にある点Ｂとが同時にタッチされたものとする。
【０１０４】
図７にタッチパネル３１０、３２０上の点をタッチパネル３１０の座標系で表した図を示す。実際にはタッチパネル３１０とタッチパネル３２０の間に物理的な隙間があるのが一般的であるが、２つのタッチパネル３１０、３２０を含む座標系ではタッチパネル３１０とタッチパネル３２０が境界で接しているものとして扱われる。図７では、タッチパネル３２０の左端の境界線は、タッチパネル３１０の右端の境界線と接するものとし、タッチパネル３２０上の点Ｂは、タッチパネル３１０の座標系に変換されて取り扱われる。
【０１０５】
点Ｂの座標（Ｘ２、Ｙ２）は、タッチパネル３１０の座標系において、点Ｂ’（Ｗ１＋Ｘ２、Ｙ２）に変換される。
【０１０６】
このとき、座標変換部１２２は、タッチパネル３１０の座標系における、座標（Ｘ１、Ｙ１）、（Ｘ１、Ｙ２）、（Ｗ１＋Ｘ２、Ｙ１）、（Ｗ１＋Ｘ２、Ｙ２）の４点で囲まれた矩形領域と交わるＵＩ部品を検索する。矩形領域と交わるＵＩ部品を検知すると、座標変換部１２２は、そのＵＩ部品の中心座標を指定座標とした変換座標情報を擬似タッチイベント生成部１２３に通知する。
【０１０７】
これにより、タッチイベント処理部１３０は、同時タッチ操作が行われると、各タッチパネルへのタッチ操作がされた２点を対角の頂点とする矩形領域と交わるＵＩ部品に対してタッチイベント情報を通知することができる。
【０１０８】
尚、矩形領域と交わるＵＩ部品が存在しない場合、座標変換部１２２は、変換座標情報を擬似タッチイベント生成部１２３に通知せず、タッチイベント判定部１２１から受信していたタッチイベント情報を破棄する。
【０１０９】
また、矩形領域と交わるＵＩ部品が複数存在する場合も、座標変換部１２２は、変換座標情報を擬似タッチイベント生成部１２３に通知せず、タッチイベント判定部１２１から受信していたタッチイベント情報を破棄する。携帯情報端末がこのように動作する場合、利用者が意図せずに複数のＵＩ部品を指定するタッチをしてしまう等の誤操作を防止することができる。
【０１１０】
あるいは、矩形領域と交わるＵＩ部品が複数存在する場合、座標変換部１２２は、矩形領域内に存在するＵＩ部品毎に各ＵＩ部品の中心座標を指定座標とした変換座標情報を擬似タッチイベント生成部１２３に通知するようにしてもよい。携帯情報端末がこのように動作する場合、利用者は複数のＵＩ部品をまとめて同時に指定することができる。
【０１１１】
以上説明したように、本実施形態によれば、携帯情報端末は、同時タッチ操作が行われると、タッチ操作がされた２点で定まる所定領域と交わるＵＩ部品が指定されたと認識する。これにより、携帯情報端末は、利用者によるＵＩ部品の指定のためのタッチに多少のずれが生じた場合でも所望のＵＩ部品を指定することができ、操作性を向上することができる。
【０１１２】
また、本実施の形態の携帯情報端末は、利用者によってドラッグアンドドロップの操作がされた場合、ＵＩ部品のみでなく、同時タッチ操作によって指定される領域全体を移動するようにしてもよい。
【０１１３】
（第４の実施の形態）
第１から第３の実施の形態では、携帯情報端末が、同時タッチ操作が行われると、ＵＩ部品を指定する例を示したが、本発明は、これに制限されるものではない。例えば、携帯情報端末は、同時タッチ操作が行われると、操作対象を示すための矢印等のカーソルを表示することにより、操作性を向上させることができる。そこで、第４の実施形態では、同時タッチ操作が行われると、携帯情報端末がカーソルを表示する例について説明する。
【０１１４】
図８は第４の実施の形態における携帯情報端末の構成を示すブロック図である。
【０１１５】
図８に示すように、第４の実施の形態の携帯情報端末の基本的な構成は、第１の実施の形態の携帯情報端末の構成と同じである。但し、第４の実施の形態の携帯情報端末の処理部１００は、画像処理部１５０を有する。
【０１１６】
画像処理部１５０は、座標変換部１２２から指定座標にカーソルを表示あるいは移動するように要求されると、現在表示している画像の指定座標にカーソルを描画し、ディスプレイ表示制御部１４０に出力する。
【０１１７】
また、第４の実施の形態の座標変換部１２２は、タッチイベント判定部１２１から同時タッチ操作による２つのタッチイベント情報を受信すると、その２つのタッチイベント情報からカーソルを表示する指定座標を算出する。そして、座標変換部１２２は、算出した指定座標にカーソルを表示するように画像処理部１５０に要求する。このとき、座標変換部１２２は、変換座標情報を擬似タッチイベント生成部１２３に通知せず、タッチイベント判定部１２１から受信したタッチイベント情報を破棄する。
【０１１８】
また、座標変換部１２２は、カーソルを表示しているときにタッチイベント判定部１２１から同時ドラッグ操作による２つのタッチイベント情報を受信すると、その２つのタッチイベント情報からカーソルを移動する指定座標を算出する。そして、座標変換部１２２は、算出した指定座標にカーソルを移動するように画像処理部１５０に要求する。このとき、座標変換部１２２は、変換座標情報を擬似タッチイベント生成部１２３に通知せず、タッチイベント判定部１２１から受信したタッチイベント情報を破棄する。
【０１１９】
また、座標変換部１２２は、カーソルを表示しているときにタッチイベント判定部１２１から同時リリース操作による２つのタッチイベント情報を受信すると、その２つのタッチイベント情報から指定座標を算出する。そして、座標変換部１２２は、算出した指定座標でタッチイベントが発生したことを示す変換座標情報を生成し、擬似タッチイベント生成部１２３に通知する。
【０１２０】
同時タッチ操作がされた２点の中点を指定座標とするときの利用者の操作と携帯情報端末の表示の関係について説明する。利用者は、まず２点を同時にタッチする。そうすると、携帯情報端末はタッチされた２点の中点にカーソルを表示する。続いて、利用者はタッチしたままで２点をスライドさせる。そうすると、携帯情報端末は、カーソルを２点の中点と一致させるように移動させる。最後に利用者は、カーソルが所望のＵＩ部品を示す位置にある状態で２点のタッチを同時に離す。そうすると、携帯情報端末は、そのＵＩ部品を指定する。
【０１２１】
以上説明したように、本実施形態によれば、携帯情報端末は、同時タッチ操作が行われると、カーソルを表示する。これにより、利用者は、同時タッチ操作によって指定されるポイントをカーソルにより目視確認しながら操作することができる。
【０１２２】
また、本実施の形態の座標変換部１２２は、カーソルを表示している指定座標にＵＩ部品が存在する場合、そのＵＩ部品を他の部分と識別可能なように表示するようにしてもよい。これにより、利用者は、カーソルが画面境界にかかって見づらい状態にある場合であっても、自身が指定しているＵＩ部品を容易に確認することができる。
【０１２３】
（第５の実施の形態）
第５の実施の形態では、携帯情報端末は、画面境界における見づらさを改善するために、最初のタッチ操作で、画面境界に跨って表示されている画像の一部を２つのディスプレイ画面のいずれか一方に複写して表示し、次のタッチ操作で、複写表示されたＵＩ部品を指定する。
【０１２４】
図９Ａは水平方向に並べられた２つのディスプレイ画面を有する携帯情報端末における画像の表示例である。図９Ａに示す例では、アイコンが２つのディスプレイ画面の隙間に表示されることにより、分断され、見づらい状態になっている。例えば、利用者によって図９Ａに示す２つの黒丸点へ同時タッチされ、その同時タッチされた２点が左方向にスライドされると、携帯情報端末は、画面境界に跨る所定領域（図９Ａに示す斜線部分）を左側のディスプレイ画面に複写表示させる。図９Ｂは図９Ａに示した携帯情報端末において所定領域を複写表示した場合の画像の表示例である。図９Ｂに示す通り、図９Ａに示した斜線部分のみが左側のディスプレイ画面に複写表示される。
【０１２５】
この複写表示されている状態で、左方向にスライドされた２点のタッチのさらなる移動に基づいて、操作対象を示すカーソルを移動させることにより、操作性を向上させることができる。
【０１２６】
第５の実施の形態の携帯情報端末の基本的な構成は、第１の実施の形態の携帯情報端末の構成と同じである。
【０１２７】
但し、第５の実施の形態の座標変換部１２２は、タッチイベント判定部１２１から同時タッチ操作による２つのタッチイベント情報を受信し、続けて、同時ドラッグ操作による２つのタッチイベント情報を受信すると、画像処理部１５０に複写表示するように要求する。さらに、座標変換部１２２は、タッチイベント判定部１２１から受信したタッチイベント情報からカーソルを表示する指定座標を算出する。そして、座標変換部１２２は、算出した指定座標にカーソルを表示するように画像処理部１５０に要求する。このとき、座標変換部１２２は、変換座標情報を擬似タッチイベント生成部１２３に通知せず、タッチイベント判定部１２１から受信したタッチイベント情報を破棄する。
【０１２８】
画像処理部１５０は、座標変換部１２２から複写表示するように要求されると、複写表示する元の領域（以降、複写元領域と称する）と複写表示する先の領域（以降、複写先領域と称する）とを決定する。まず、画像処理部１５０は、ディスプレイ２１０及びディスプレイ２２０に現在表示されている画像をディスプレイ表示制御部１４０から取得する。そして、画像処理部１５０は、取得した画像のうち複写元領域の画像を複写先領域に複写し、ディスプレイ表示制御部１４０に出力する。
【０１２９】
また、画像処理部１５０は、複写表示しているときに座標変換部１２２から指定座標にカーソルを表示するように要求されると、複写表示している画像の指定座標にカーソルを描画し、ディスプレイ表示制御部１４０に出力する。指定座標が複写元領域を示している場合、画像処理部１５０は、指定座標に対応する複写先領域の座標にカーソルを描画する。尚、指定座標が複写元領域を示している場合、画像処理部１５０は、指定座標にそのままカーソルを描画するようにしてもよい。指定座標にそのままカーソルを描画するか、あるいは、指定座標に対応する複写先領域の座標にカーソルを描画するかは予め携帯情報端末に設定可能なものとする。
【０１３０】
また、座標変換部１２２は、複写表示しているときにタッチイベント判定部１２１から同時ドラッグ操作による２つのタッチイベント情報を受信すると、その２つのタッチイベント情報からカーソルを移動する指定座標を算出する。そして、座標変換部１２２は、算出した指定座標にカーソルを移動するように画像処理部１５０に要求する。このとき、座標変換部１２２は、変換座標情報を擬似タッチイベント生成部１２３に通知せず、タッチイベント判定部１２１から受信したタッチイベント情報を破棄する。
【０１３１】
画像処理部１５０は、複写表示しているときに座標変換部１２２から指定座標にカーソルを移動するように要求されると、複写表示している画像の指定座標にカーソルを描画し、ディスプレイ表示制御部１４０に出力する。
【０１３２】
また、座標変換部１２２は、複写表示しているときにタッチイベント判定部１２１から同時リリース操作による２つのタッチイベント情報を受信すると、その２つのタッチイベント情報から指定座標を算出する。そして、座標変換部１２２は、算出した指定座標でタッチイベントが発生したことを示す変換座標情報を生成し、擬似タッチイベント生成部１２３に通知する。
【０１３３】
第５の実施の形態のタッチイベント処理部１３０は、タッチイベント判定部１２１からタッチイベント情報を受信した場合、あるいは、擬似タッチイベント生成部１２３から擬似タッチイベント情報を受信した場合、現在、複写表示している状態であるか否かを判断する。複写表示している状態である場合、タッチイベント処理部１３０は、受信したタッチイベント情報あるいは擬似タッチイベント情報に含まれるタッチパネル上の座標を、複写元領域における座標に変換する。そして、タッチイベント処理部１３０は、座標を変換したタッチイベント情報を、そのタッチイベント情報で指定されるＵＩ部品を管理するアプリケーションに通知する。
【０１３４】
また、座標変換部１２２は、複写表示しているときに利用者によって複写表示を終了させるための所定のタッチ操作がされると、画像処理部１５０に複写表示を終了するように要求する。
【０１３５】
画像処理部１５０は、座標変換部１２２から複写表示を終了するように要求されると、複写表示する前に表示されていた画像をディスプレイ表示制御部１４０に出力する。
【０１３６】
以上説明したように、本実施形態によれば、携帯情報端末は、画面境界に跨る所定部分の表示を２つのディスプレイ画面のいずれか一方に複写表示し、複写表示されたディスプレイ画面上で利用者がＵＩ部品を指定することを可能にする。これにより、利用者は、複写表示されたＵＩ部品をカーソルにより目視確認しながら携帯情報端末を操作することができる。
【０１３７】
（第６の実施の形態）
第５の実施の形態では、複写表示しているときに同時ドラッグ操作が行われると、カーソルを移動させることにより複写表示されたＵＩ部品を指定しやすくする例を示したが、本発明は、これに制限されるものではない。例えば、携帯情報端末は、複写表示している間、複写表示されているＵＩ部品を１つずつ順に表示していき、同時リリース操作がされるタイミングでＵＩ部品を指定するようにしてもよい。そこで、第６の実施の形態では、複写表示しているときに同時タッチ操作が継続していると、複写表示されているＵＩ部品を１つずつ順に表示する例について説明する。
【０１３８】
第６の実施の形態の携帯情報端末の基本的な構成は、第５の実施の形態の携帯情報端末の構成と同じである。
【０１３９】
但し、第６の実施の形態の座標変換部１２２は、複写表示しているとき、同時タッチ操作が継続している間、複写表示しているＵＩ部品を１つずつ順に表示するように画像処理部１５０に要求する。
【０１４０】
画像処理部１５０は、複写表示しているＵＩ部品を１つずつ順に表示するように座標変換部１２２から要求されると、複写先領域に存在するＵＩ部品を１つずつ描画した画像をディスプレイ表示制御部１４０に順次出力する。
【０１４１】
また、座標変換部１２２は、複写表示しているときにタッチイベント判定部１２１から同時リリース操作による２つのタッチイベント情報を受信すると、そのタイミングで表示されているＵＩ部品の中心座標を算出する。そして、座標変換部１２２は、算出した座標でタッチイベントが発生したことを示す変換座標情報を生成し、擬似タッチイベント生成部１２３に通知する。続いて、座標変換部１２２は、複写表示しているＵＩ部品を１つずつ順に表示することを終了し、通常通りまとめて表示するように画像処理部１５０に要求する。
【０１４２】
以上説明したように、本実施形態によれば、携帯情報端末は、画面境界に跨る所定部分の表示を２つのディスプレイ画面のいずれか一方に複写表示しているときに同時タッチ操作が継続していると、複写表示されているＵＩ部品を１つずつ順に表示する。このとき、利用者は、同時リリース操作するタイミングでＵＩ部品を指定することができる。これにより、携帯情報端末は、操作性を向上させることができる。
【０１４３】
（第７の実施の形態）
第１〜第３の実施の形態では、ＵＩ部品を指定するための演算をタッチパネル３１０とタッチパネル３２０とを境界で接するように連結した座標系で行う例を示したが、一般にはタッチパネル３１０とタッチパネル３２０の間には物理的に隙間が存在する。そのため、２つのタッチパネル３１０上の点とタッチパネル３２０上の点を結ぶ直線は、２つのタッチパネルが接する座標系で２点を直線で結んだ場合と、実際に利用者が見る２点を物理的に直線で結んだ場合とでは一致しないことがある。
【０１４４】
そこで、本実施の形態では、タッチパネル３１０とタッチパネル３２０の間に存在する物理的な隙間を考慮し、利用者によってタッチされた２点を物理的に結んだ直線上のＵＩ部品が指定される例について説明する。本実施の形態では、ＵＩ部品を指定するための演算を、タッチパネル３１０上の座標とタッチパネル３２０上の座標をタッチパネル３１０とタッチパネル３２０の物理的な位置関係で配置した座標系で行う。
【０１４５】
タッチパネル３１０、３２０において、タッチパネル３１０の座標（Ｘ１、Ｙ１）にある点Ａと、タッチパネル３２０の座標（Ｘ２、Ｙ２）にある点Ｂとが同時にタッチされたものとする。
【０１４６】
まず、本実施の形態の座標系上の、２点Ａ、Ｂの中点の座標を指定座標とする例について説明する。
【０１４７】
図１０に本実施の形態の座標系上の、２点Ａ、Ｂの中点の座標を指定座標とする例を説明するための図を示す。図１０に示す例では、タッチパネル３１０の右端の境界線とタッチパネル３２０の左端の境界線との間に、タッチパネルのＬ画素に相当する隙間が存在するものとする。そして、タッチパネル３１０の右端の境界線は２つのタッチパネルの間の隙間の左端の境界線と接するものとし、タッチパネル３２０の左端の境界線は、２つのタッチパネルの間の隙間の右端の境界線と接するものとする。
【０１４８】
点Ｂの座標（Ｘ２、Ｙ２）は、タッチパネル３１０上の座標とタッチパネル３２０上の座標をタッチパネル３１０とタッチパネル３２０の物理的な位置関係で配置した座標系において、点Ｂ’（Ｗ１＋Ｌ＋Ｘ２、Ｙ２）に変換される。
【０１４９】
このとき、点Ａと点Ｂ’の中点Ｃ’（Ｘ３’、Ｙ３’）の、Ｘ３’は、式（１１）で、Ｙ３’は、式（１２）で表される。
【０１５０】
Ｘ３’＝（Ｘ１＋Ｌ＋Ｗ１＋Ｘ２）／２      （１１）
Ｙ３’＝（Ｙ１＋Ｙ２）／２      （１２）
ここで、式（１３）が成立する場合、中点Ｃ’は、タッチパネル３１０上に存在することになる。
【０１５１】
Ｘ３’＜Ｗ１      （１３）
一方、式（１４）が成立する場合、中点Ｃ’は、タッチパネル３２０上に存在することになる。
【０１５２】
Ｗ１＋Ｌ≦Ｘ３’      （１４）
また、式（１５）が成立する場合、中点Ｃ’は、タッチパネル３１０とタッチパネル３２０との間の隙間に存在することになる。
【０１５３】
Ｗ１≦Ｘ３’＜Ｗ１＋Ｌ      （１５）
式（１３）が成立する場合、中点Ｃ’は、タッチパネル３１０上に存在し、タッチパネル３１０上の指定座標をＣ（Ｘ３、Ｙ３）とすると、Ｘ３は式（１６）で、Ｙ３は式（１７）で表される。
【０１５４】
Ｘ３＝（Ｘ１＋Ｌ＋Ｗ１＋Ｘ２）／２      （１６）
Ｙ３＝（Ｙ１＋Ｙ２）／２      （１７）
一方、式（１４）が成立する場合、中点Ｃ’は、タッチパネル３２０上に存在し、タッチパネル３２０上の指定座標をＣ（Ｘ３、Ｙ３）とすると、Ｘ３は式（１８）で、Ｙ３は式（１９）で表される。
【０１５５】
Ｘ３＝（Ｘ１＋Ｌ＋Ｗ１＋Ｘ２）／２−（Ｗ１＋Ｌ）      （１８）
Ｙ３＝（Ｙ１＋Ｙ２）／２      （１９）
また、式（１５）が成立する場合、中点Ｃ’は、タッチパネル３１０とタッチパネル３２０との間の隙間に存在する。この場合、中点Ｃ’から最も近いタッチパネル上の点を指定座標とする。つまり、式（２０）が成立する場合、タッチパネル３１０上の点が指定座標となる。そして、タッチパネル３１０上の指定座標をＣ（Ｘ３、Ｙ３）とすると、Ｘ３は式（２１）で、Ｙ３は式（２２）で表される。
【０１５６】
Ｘ３’＜Ｗ１＋Ｌ／２      （２０）
Ｘ３＝Ｗ１−１      （２１）
Ｙ３＝（Ｙ１＋Ｙ２）／２      （２２）
一方、式（２０）が成立しない場合、タッチパネル３２０上の点が指定座標となる。そして、タッチパネル３２０上の指定座標をＣ（Ｘ３、Ｙ３）とすると、Ｘ３は式（２３）で、Ｙ３は式（２４）で表される。
【０１５７】
Ｘ３＝０      （２３）
Ｙ３＝（Ｙ１＋Ｙ２）／２      （２４）
次に、本実施の形態の座標系上の、直線ＡＢと画面境界との交点にある座標を指定座標とする例について説明する。
【０１５８】
図１１に本実施の形態の座標系上の、直線ＡＢと画面境界との交点にある座標を指定座標とする例を説明するための図を示す。図１１に示す例では、図１０に示した例と同様に、タッチパネル３１０の右端の境界線とタッチパネル３２０の左端の境界線との間にタッチパネルのＬ画素に相当する隙間が存在するものとする。そして、タッチパネル３１０の右端の境界線は２つのタッチパネルの間の隙間の左端の境界線と接するものとし、タッチパネル３２０の左端の境界線は、２つのタッチパネルの間の隙間の右端の境界線と接するものとする。
【０１５９】
タッチパネル３１０上の座標とタッチパネル３２０上の座標をタッチパネル３１０とタッチパネル３２０の物理的な位置関係で配置した座標系では、直線ＡＢとタッチパネル３２０の左端の境界線との交点の位置と、直線ＡＢとタッチパネル３１０の右端の境界線との交点の位置とが大きく異なる場合がある。そこで、本実施の形態の座標系で指定座標を算出する場合、直線ＡＢとタッチパネル３２０の左端の境界線との交点と、直線ＡＢとタッチパネル３１０の右端の境界線との交点とが同時に指定されたものとする。
【０１６０】
点Ｂの座標（Ｘ２、Ｙ２）は、タッチパネル３１０上の座標とタッチパネル３２０上の座標をタッチパネル３１０とタッチパネル３２０の物理的な位置関係で配置した座標系において、点Ｂ’（Ｗ１＋Ｌ＋Ｘ２、Ｙ２）に変換される。
【０１６１】
まず、直線ＡＢ’とタッチパネル３２０の左端の境界線との交点を算出する。
【０１６２】
直線ＡＢ’と、タッチパネル３２０の左端の境界線を示す直線Ｘ＝Ｗ１＋Ｌとの交点をＣ’（Ｗ１＋Ｌ、Ｙ３’）とすると、点Ｂ’、点Ａ、座標（Ｘ１、Ｙ２）で表される点Ｄの３点で表される直角三角形と、点Ｂ’、点Ｃ’、座標（Ｗ１＋Ｌ、Ｙ２）で表される点Ｅ’の３点で表される直角三角形との相似比から、式（２５）が成立する。
【０１６３】
Ｙ１−Ｙ２：Ｙ３’−Ｙ２＝Ｗ１＋Ｌ＋Ｘ２−Ｘ１：Ｘ２      （２５）
式（２５）を解くことにより、Ｙ３’を算出することができ、直線ＡＢ’とタッチパネル３２０の左端の境界線との交点を算出することができる。
【０１６４】
次に、直線ＡＢ’とタッチパネル３１０の右端の境界線との交点を算出する。
【０１６５】
直線ＡＢ’と、タッチパネル３１０の右端の境界線を示す直線Ｘ＝Ｗ１−１との交点をＣ（Ｗ１−１、Ｙ３）とすると、点Ｂ’、点Ａ、座標（Ｘ１、Ｙ２）で表される点Ｄの３点で表される直角三角形と、点Ｂ’、点Ｃ、座標（Ｗ１−１、Ｙ２）で表される点Ｅの３点で表される直角三角形との相似比から、式（２６）が成立する。
【０１６６】
Ｙ１−Ｙ２：Ｙ３−Ｙ２＝Ｗ１＋Ｌ＋Ｘ２−Ｘ１：Ｌ＋Ｘ２＋１      （２６）
式（２６）を解くことにより、Ｙ３を算出することができ、直線ＡＢ’とタッチパネル３１０の右端の境界線との交点を算出することができる。
【０１６７】
以上説明したように、本実施形態の携帯情報端末は、ＵＩ部品を指定するための演算を、タッチパネル３１０上の座標とタッチパネル３２０上の座標をタッチパネル３１０とタッチパネル３２０の物理的な位置関係で配置した座標系で行う。これにより、利用者は、２つのタッチパネルの間に存在する物理的な隙間を跨ぐ物理的な直線を指定することにより、その直線上にあるＵＩ部品を指定することができ、視覚的にＵＩ部品を指定しやすくなる。
【０１６８】
なお、本発明の携帯情報端末にて行われる方法は、コンピュータに実行させるためのプログラムに適用してもよい。また、そのプログラムを記憶媒体に格納することも可能であり、ネットワークを介して外部に提供することも可能である。
【０１６９】
以上、実施形態を参照して本願発明を説明したが、本発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解し得る様々な変更をすることができる。
【０１７０】
この出願は、２００９年１０月２８日に出願された日本出願２００９−２４８０６６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2011052324.tif 000003
【図２】
2011052324.tif 000004
【図３】
2011052324.tif 000005
【図４】
2011052324.tif 000006
【図５】
2011052324.tif 000007
【図６Ａ】
2011052324.tif 000008
【図６Ｂ】
2011052324.tif 000009
【図７】
2011052324.tif 000010
【図８】
2011052324.tif 000011
【図９Ａ】
2011052324.tif 000012
【図９Ｂ】
2011052324.tif 000013
【図１０】
2011052324.tif 000014
【図１１】
2011052324.tif 000015
【国際調査報告】
2011052324.tif 000016
2011052324.tif 000017
2011052324.tif 000018
2011052324.tif 000019