(57)【要約】  １つの文字データに対して複数の画像データを関連付けて表示する場合の操作性を向上させることができる端末装置を提供する。メイン情報を上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示する第１表示部と、前記第１表示部の表面側に入力される操作を検知する第１入力部と、前記第１表示部の裏面側に設置され、入力される操作を検知する第２入力部と、前記第２入力部が前記操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する制御部とを備える。
2014003012.tif 000002
【特許請求の範囲】
【請求項１】
メイン情報を上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示する第１表示部と、
前記第１表示部の表面側に入力される操作を検知する第１入力部と、
前記第１表示部の裏面側に設置され、入力される操作を検知する第２入力部と、
前記第２入力部が前記操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する制御部と
を備える端末装置。
【請求項２】
前記制御部は、
前記第２入力部が画面切替の操作を検知した場合、前記第１表示部に表示されている前記付属情報のみを他の付属情報に切り替え、前記第２入力部が表示画像の表示領域の移動あるいは前記表示画像の縮小もしくは拡大の操作を検知した場合、前記第１表示部に表示されている前記付属情報についてのみ前記表示領域の移動あるいは前記表示画像の縮小もしくは拡大を行う請求項１に記載の端末装置。
【請求項３】
前記制御部は、
前記第１入力部が画面切替の操作を検知した場合、前記第１表示部に表示されている前記メイン情報および前記付属情報を他のメイン情報および前記他のメイン情報に関連付けられた付属情報に切り替える請求項１または２に記載の端末装置。
【請求項４】
前記制御部は、
前記メイン情報が個人を示す情報である場合、前記第２入力部が画面切替の操作を検知した際、前記第１表示部に表示されている前記メイン情報に関連付けられた付属情報のうち、人間の顔を含む付属情報に切り替える請求項１から３のうちいずれか一項に記載の端末装置。
【請求項５】
前記制御部は、
前記付属情報が属するグループを示すグループ情報が前記付属情報に付与されている場合、前記第２入力部が画面切替の操作を検知した際、前記第１表示部に表示されている前記メイン情報に関連付けられた付属情報のうち、指定された前記グループに応じて、前記グループに属する付属情報に切り替える請求項１から４のうちいずれか一項に記載の端末装置。
【請求項６】
前記第２入力部に設けられる第２表示部をさらに備え、
前記第２表示部および前記第２入力部が、前記第１表示部の表面側で前記第１入力部と並べて位置するように前記端末装置が変形する構成である場合、
前記制御部は、
前記第１表示部と前記第２表示部とが並べて配置された場合、前記第１表示部に前記メイン情報を表示するとともに、前記第２表示部に前記付属情報を表示し、
前記第２表示部が前記第１表示部の裏面側に配置された場合、前記第１表示部に前記メイン情報および前記付属情報を表示する請求項１から５のうちいずれか一項に記載の端末装置。
【請求項７】
前記制御部は、
前記メイン情報として、決められたプログラムの実行を指示する指標を表示させるとともに、前記付属情報として、壁紙画像を表示させる請求項１から６のうちいずれか一項に記載の端末装置。
【請求項８】
前記制御部は、
前記第１入力部が操作を検知している状態において、前記第２入力部が操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する請求項１から７のうちいずれか一項に記載の端末装置。
【請求項９】
メイン情報を第１表示部の表示画面における上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示し、
前記第１表示部の前記表示画面に対して裏面側に設置される第２入力部が入力される操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する表示制御方法。
【請求項１０】
コンピュータを、
メイン情報を上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示する第１表示部、
前記第１表示部の表面側に入力される操作を検知する第１入力部、
前記第１表示部の裏面側に設置され、入力される操作を検知する第２入力部、および、
前記第２入力部が前記操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する制御部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置、表示制御方法およびプログラムに関する。
【背景技術】
【０００２】
例えば、モニタの両面上のタッチパネルとして、モニタ上に重ねて設けられ、モニタ画面における操作対象のオブジェクトを選択させる第一のタッチパネルと、モニタの裏側に設けられ、選択されたオブジェクトを移動、拡大、または縮小させる第二のタッチパネルとを備え、第一及び第二のタッチパネルの各操作を統合して一つのモニタ画面に表示するタッチパネル付情報端末装置がある（例えば、特許文献１参照）。【０００３】
また、機器本体の異なる面にそれぞれ配置される一対のタッチパネルを備え、一対のタッチパネルのそれぞれへの入力の組み合わせに応じて表示制御する情報表示装置がある（例えば、特許文献２参照）。【０００４】
さらに、保持状態に応じてユーザインタフェースを最適化するため、表示部上及び表示部裏面に設けられている２つの操作部を用いて、端末装置の保持状態を検出し、保持状態に応じて、保持している左手又は右手に適切となるようにユーザインタフェースを変更したり、裏面の操作部における表示面全体との対応付けを変更したりする端末装置がある（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本特開２０１１−７０６０９号公報
【特許文献２】日本特開２００９−２２３４２６号公報
【特許文献３】日本特開２０１０−１０８０７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、表示画面の大きさは物理的に決まっているため、表示できる情報量は限られる。複数の画像を重畳して表示部に表示すれば、より多くの情報を表示することができる。このように重畳して表示されている画像のそれぞれを操作したい場合、各画像の操作画面に遷移しなければならず、操作性が悪いという問題があった。また、この画像の操作画面に遷移する方法がわかりにくい場合もあり、不便であった。【０００７】
本発明は、上記の事情を考慮してなされたものであり、上記の課題を解決することができる端末装置、表示制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の端末装置は、メイン情報を上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示する第１表示部と、前記第１表示部の表面側に入力される操作を検知する第１入力部と、前記第１表示部の裏面側に設置され、入力される操作を検知する第２入力部と、前記第２入力部が前記操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する制御部とを備える。【０００９】
また、本発明の表示制御方法は、メイン情報を第１表示部の表示画面における上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示し、前記第１表示部の前記表示画面に対して裏面側に設置される第２入力部が入力される操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する。【００１０】
また、本発明のプログラムは、コンピュータを、メイン情報を上層に表示するとともに、前記メイン情報に関連付けられた付属情報を前記メイン情報の下層に重ねて表示する第１表示部、前記第１表示部の表面側に入力される操作を検知する第１入力部、前記第１表示部の裏面側に設置され、入力される操作を検知する第２入力部、および、前記第２入力部が前記操作を検知した場合、前記第１表示部に表示されている前記付属情報を前記第２入力部が検知した前記操作に応じて処理する制御部として機能させるためのプログラムである。
【発明の効果】
【００１１】
本発明は、一の表示画面に重畳して表示されている画像のそれぞれを操作したい場合の操作性を向上させ、直感的で簡単な操作を実現させることができる。
【図面の簡単な説明】
【００１２】
【図１Ａ】本発明に係る端末装置の一実施形態を示すブロック図である。
【図１Ｂ】本発明に係る端末装置の一実施形態を示すブロック図である。
【図２Ａ】図１Ａに示した第１表示部、第１入力部及び第２入力部の配置例を説明するための説明図である。
【図２Ｂ】図１Ｂに示した第１表示部、第２表示部、第１入力部及び第２入力部の配置例を説明するための説明図である。
【図３Ａ】図１Ａに示した端末装置の外観構成例を示した斜視図である。
【図３Ｂ】図１Ｂに示した端末装置の外観構成例を示した斜視図である。
【図３Ｃ】図１Ｂに示した端末装置の外観構成例を示した斜視図である。
【図４】図１Ａおよび図１Ｂに示した第１表示部における画像表示例を示した図である。
【図５】図１Ａおよび図１Ｂに示した端末装置における処理の流れの一例を示したフローチャートである。
【図６】図５に示した画像データのみの切替処理の構成例を示したフローチャートである。
【図７】図１Ａおよび図１Ｂに示した第１表示部における画像表示例を示した図である。
【図８】本発明に係る端末装置の実施形態の基本構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明に係る端末装置の実施形態について説明する。図１Ａおよび図１Ｂは、本発明の一実施形態としての端末装置の２つの回路構成例を、端末装置１ａ（図１Ａ）及び端末装置１ｂ（図１Ｂ）として表したブロック図である。図１Ａに示した本実施形態の端末装置１ａは、ＣＰＵ（中央処理装置）１０、第１表示部１１、第１入力部１２、第２入力部１３、記憶部１４及び報知部１５を備えている。図１Ｂに示した本実施形態の端末装置１ｂは、端末装置１ａが備える構成に、第２表示部２０を追加したものである。端末装置１ａ及び１ｂは、携帯電話端末、スマートフォン、タブレット端末、電子手帳、電子辞書、パーソナルコンピュータ、その他電子機器として構成することができる。なお、図１Ａおよび図１Ｂは、端末装置１ａ及び１ｂにおいて本発明の特徴に係る構成を示したものである。したがって、端末装置１ａ及び１ｂは、図１Ａおよび図１Ｂに示した構成のほか、カメラ、通信部、音声入出力部等の構成を備えることができる。
【００１４】
ＣＰＵ１０は、バスを介して装置内の各部と接続され、第１表示部１１、第２表示部２０（ただし、端末装置１ｂの場合のみ。以下、同様。）、第１入力部１２、第２入力部１３等の各部を制御する。このＣＰＵ１０は、記憶部１４に格納されているプログラムを実行することで動作する。本実施形態では、端末装置１ａ及び１ｂが、アドレス帳の管理機能や、スケジュール帳の管理機能を有している。アドレス帳の管理機能や、スケジュール帳の管理機能は、ＣＰＵ１０が所定のプログラムを実行することで実現する機能である。ここで、アドレス帳の管理機能は、１又は複数の連絡先を示すデータを登録、編集及び削除可能に記憶する機能である。連絡先を示すデータは、連絡先の氏名や名称、電話番号やメールアドレス等を示す文字データを含んで構成されている。さらに、連絡先を示すデータは、文字データに関連付けて、１又は複数の「画像データを示すデータ」を含むことができる。ここで、画像データは、例えば、端末装置１ａおよび１ｂが有するカメラを使用して撮像した画像ファイルに含まれる画像データや所定の通信等を行って外部から取得した画像ファイルに含まれる画像データである。また、連絡先を示すデータが含む「画像データを示すデータ」とは、画像データを含む画像ファイルのファイル名や画像ファイルの記憶アドレスを示す文字データである。
このように、記憶部１４には、メイン情報と、メイン情報に関連付けられた付属情報が格納されている。本実施形態において、メイン情報は、文字データであって、付属情報は、この文字データに関連付けられた画像データである。
【００１５】
また、スケジュール帳の管理機能は、１又は複数の予定を示すデータを、日付や時刻に対応付けて登録、編集及び削除可能に記憶する機能である。予定を示すデータは、日時、曜日や時刻、予定の内容を示す文字データを含んで構成されている。さらに、予定を示すデータは、文字データに関連付けて、１又は複数の「画像データを示すデータ」を含むことができる。ここで、画像データは、例えば、端末装置１が有するカメラを使用して撮像した画像ファイルに含まれる画像データや所定の通信等を行って外部から取得した画像ファイルに含まれる画像データである。また、予定を示すデータが含む「画像データを示すデータ」とは、画像データを含む画像ファイルのファイル名や画像ファイルの記憶アドレスを示す文字データである。
【００１６】
第１表示部１１及び第２表示部２０は、液晶ディスプレイ、有機ＥＬ（電子蛍光）ディスプレイ等の表示装置である。第１表示部１１及び第２表示部２０は、ＣＰＵ１０から受信した所定の制御信号に応じて画像を表示する。なお、第１表示部１１と第２表示部２０とは、独立して異なる画像を表示することができる。第１表示部１１及び第２表示部２０は２値の白黒表示、多階調（グレースケール）表示、およびカラー表示に対応している。
【００１７】
第１入力部１２は、第１表示部１１の表面側である表示画面に入力される操作を検知する。この第１入力部１２は、タッチセンサ等の接触センサから構成されていて、ユーザの指等が接触した位置を検知する。すなわち、第１入力部１２は、ユーザの指の接触等を利用した所定の入力操作を検知して、検知した結果をＣＰＵ１０に対して出力する。ＣＰＵ１０は、第１入力部１２の検知結果に応じて、ユーザの指の接触を利用した、タッチ（指等で表示画面に軽く触れる入力操作）、ドラッグ（指等で表示画面に触れたままなぞる入力操作）、フリック（指等で表示画面に触れながらはらう入力操作）等の入力操作を認識する。
【００１８】
第２入力部１３は、第１表示部１１の裏面側に設置される第２表示部２０の表示画面に入力される操作を検知する。この第２入力部１３は、タッチセンサ等の接触センサから構成されていて、ユーザの指等が接触した位置を検知する。第２入力部１３は、第１入力部１２とは離れて設置されている。第２入力部１３は、第１入力部１２と同様に、ユーザの指の接触等を利用した所定の入力操作を検知して、検知した結果をＣＰＵ１０に対して出力する。ＣＰＵ１０は、第２入力部１３の検知結果に応じて、ユーザの指の接触を利用した、タッチ、ドラッグ、フリック等の入力操作を認識する。
【００１９】
記憶部１４は、不揮発及び揮発の記憶装置を有して構成されていて、ＣＰＵ１０が実行するプログラムやＣＰＵ１０がプログラムを実行する上で一時的に必要とされるデータを格納する。また、記憶部１４は、アドレス帳管理機能やスケジュール帳管理機能において管理されている、文字データあるいは文字データに対して関連付け対象となる画像データを複数、記憶している。
【００２０】
報知部１５は、ＣＰＵ１０が制御する音響制御部やスピーカから構成されていて、音響制御部を介してスピーカから音響信号を発生する。報知部１５は、デイリーアラームや操作音などを発生する際に使用される。
【００２１】
次に、図２Ａ及び図２Ｂ並びに図３Ａ〜図３Ｃを参照して、図１Ａ及び図１Ｂに示した端末装置１ａ及び端末装置１ｂにおける、第１表示部１１及び第２表示部２０並びに第１入力部１２及び第２入力部１３の配置例について説明する。なお、図２Ａ及び図２Ｂ並びに図３Ａ〜図３Ｃに示した例では、端末装置１ａが一つの筐体１６ａから構成されていて、端末装置１ｂは２つの筐体１６ｂ及び１６ｃから構成されている。
【００２２】
図２Ａは、図１Ａに示した端末装置１ａにおける各部の配置例を示している。また、図２Ｂは、図１Ｂに示した端末装置１ｂの各部の配置例を示している。図２Ａに示した端末装置１ａの配置例では、第１表示部１１が、端末装置１ａの筐体１６ａの表側に配置されている。また、第１入力部１２は第１表示部１１の表面上に形成されたタッチセンサとして構成されている。また、第２入力部１３は、筐体１６ａの裏側に配置されていて、筐体１６ａの裏面上に形成されたタッチセンサとして構成されている。
【００２３】
他方、図２Ｂに示した端末装置１ｂの配置例では、第１表示部１１が、端末装置１ｂの一方の筐体１６ｂの一表面に配置されている。また、第１入力部１２は第１表示部１１の表面上に形成されたタッチセンサとして構成されている。また、第２表示部２０は、端末装置１ｂの他方の筐体１６ｃの一表面に配置されている。また、第２入力部１３は第２表示部２０の表面上に形成されたタッチセンサとして構成されている。
【００２４】
図３Ａは、図１Ａ及び図２Ａに示した端末装置１ａの外観構成例を示している。また、図３Ｂ及び図３Ｃは、図１Ｂ及び図２Ｂに示した端末装置１ｂの外観構成例を示している。ここで、図３Ｂは筐体１６ｂと筐体１６ｃとを閉じた状態、図３Ｃは筐体１６ｂと筐体１６ｃとを開いた状態を示している。
【００２５】
図３Ａに示したように、端末装置１ａでは、筐体１６ａの表側に第１表示部１１と第１入力部１２が配置され、筐体１６ａの裏側に第２入力部１３が配置されている。この場合、第１入力部１２と第２入力部１３とは例えば、互いに対向し、かつ、同一又はほぼ同一の範囲を検知範囲としている。図３Ａに示した構成では、ユーザは、例えば、端末装置１ａを片手で保持し、第１入力部１２と第２入力部１３とに対して保持した片手の互いに異なる指で同時に又は別々に入力操作を行うことができる。
【００２６】
他方、図３Ｂ及び図３Ｃに示したように、端末装置１ｂでは、筐体１６ｂの一方の面に第１表示部１１と第１入力部１２とが配置され、筐体１６ｃの一方の面に第２表示部２０と第２入力部１３とが配置されている。第１入力部１２及び第１表示部１１と第２入力部１３及び第２表示部２０とは、互いに同一又はほぼ同一の大きさの範囲を検知範囲又は表示範囲としている。また、筐体１６ｂと筐体１６ｃはヒンジ１７で組み合わされていて、閉じたり（図３Ｂの状態）、開いたり（図３Ｃの状態）することができる。すなわち、端末装置１ｂは、２つ折り構造を有し、閉じた場合は端末装置１ｂの表側と裏側の両面が表示部及び入力部になる状態、開いた場合は２画面が横並び（あるいは上下並び）の大画面になる。
【００２７】
図３Ｂに示した状態では、ユーザは、例えば、端末装置１ｂを片手で保持し、第１入力部１２と第２入力部１３とに対して保持した片手の互いに異なる指で同時に又は別々に入力操作を行うことができる。また、図３Ｃに示した状態では、ユーザは、例えば、端末装置１ｂを両手で保持し、第１入力部１２に対して保持した片手の指で、また、第２入力部１３に対して保持した他の片手の指で、同時に又は別々に入力操作を行うことができる。
【００２８】
このように、端末装置１ｂは、図３Ｂに示す状態から図３Ｃに示す状態に変形する構成である。言い換えると、端末装置１ｂは、第２表示部２０および第２入力部１３が、第１表示部１１の表面側で第１入力部１２と並べて位置するような状態に変形することができる。
第２表示部２０が第１表示部１１の裏面側に配置された場合、つまり、図３Ｂに示すような状態である場合、ＣＰＵ１０は、第１表示部１１にメイン情報および付属情報を表示させる。
第１表示部１１と第２表示部２０とが並べて配置される状態である場合、つまり、図３Ｃに示すような状態である場合、ＣＰＵ１０は、第１表示部１１にメイン情報を表示させるとともに、第２表示部２０に付属情報を表示させる。
【００２９】
次に、図４及び図５を参照して、図１Ａおよび図１Ｂに示した端末装置１ａおよび１ｂの動作例について説明する。図４は、図２Ａ及び図３Ａ又は図２Ｂ及び図３Ｂに示した第１表示部１１上の表示画像の変化を示している。
【００３０】
図４に示した例では、第１表示部１１上に、アドレス帳の管理機能で管理されている１つ連絡先を示すデータに含まれる文字データ（メイン情報）を表す第１画像１８が表示されている。さらに、第１表示部１１上には、第１画像１８が表す文字データに関連付けられている又は関連付けの候補となる画像データ（付属情報）を表す第２画像１９ａ又は１９ｂが、第１画像１８と重畳して表示されている。この場合、第１画像１８と、第２画像１９ａ又は１９ｂとは、第１画像１８が上の層に、また第２画像１９ａ又は１９ｂが下の層にというように、２層構造を有して重畳表示されている。
【００３１】
また、図４は、画像データを切り替えるための所定の入力操作（本実施形態において、裏側の第２入力部１３に対するフリック操作をいう）を行う前後の第１表示部１１上の２つの表示例を示している。所定の入力操作を行う前の表示画像が中央部の矢印左側の表示例であり、その入力操作を行った後の表示画像が矢印右側の表示例である。所定の入力操作を行う前の表示画像は、第１画像１８と第２画像１９ａとを重畳表示する。また、所定の入力操作を行った後の表示画像は、第１画像１８と第２画像１９ｂとを重畳表示する。
すなわち、図４は、第１画像１８と第２画像１９ａとが重畳表示されている状態で、画像データを切り替えるための所定の入力操作を行うと、第２画像１９ａが第２画像１９ｂに変更され、第１画像１８と第２画像１９ｂとが重畳表示されている状態に切り替わることを示している。
【００３２】
次に、図５を参照して、図４に示した画像データの切替処理の流れについて説明する。図５は、ＣＰＵ１０が実行するアドレス帳管理機能やスケジュール帳管理機能を構成するプログラムの一部の処理の流れを示したフローチャートである。ただし、ここではアドレス帳管理機能を例にして説明する。この場合、図５に示したフローチャートは、ユーザが行う所定の操作に応じてアドレス帳管理機能を構成するプログラムが呼び出された状態で実行されるプログラム（例えば１つのモジュールやサブルーチン）の流れを表している。
さらに、図５に示したフローチャートは、１つの連絡先を示すデータを表示している状態で、第１入力部１２又は第２入力部１３に対してユーザの入力操作が行われた場合（すなわち入力イベントが発生した場合）の処理を示している。１つの連絡先を示すデータの表示は、連絡先データを表示させる際の処理中（以下、表示モードと称する）に行われるものであってもよいし、連絡先のデータが含む文字データに対して関連付けする画像データを新規に登録したりあるいは変更したりする際の処理中（以下、編集モードと称する）に行われるものであってもよい。
【００３３】
まず、ＣＰＵ１０は、図５の処理を呼び出した処理（例えばアドレス帳管理プログラムのメインルーチン）で指示された現在の表示状態が、画像データに対応する第２画像（図４の第２画像１９ａ、１９ｂに対応）を表示するものであるのか否かを判定する（ステップＳ１１）。つまり、ＣＰＵ１０が、複数の画像を重畳して第１表示部１１に表示させている状態であるか（言い換えると、第１表示部１１に表示されている画像が２層構造のデータであるか）否かを判定する。
現在の表示状態が画像データに対応する第２画像を表示するものである場合、ステップＳ１１の判定結果はＹＥＳとなる。他方、現在の表示状態が画像データに対応する第２画像を表示しないものである場合、ステップＳ１１の判定結果はＮＯとなる。
【００３４】
現在の表示状態が画像データに対応する第２画像を表示するものである場合（ステップＳ１１でＹＥＳの場合）、ＣＰＵ１０は、ユーザの入力操作が、表側のフリック操作であるか否か、つまり、第１入力部１２に対する操作であるか否かを判定する（ステップＳ１２）。表側のフリック操作とは、メイン情報に対する操作であって、第１入力部１２に対するフリック操作である。
ユーザの入力操作が表側のフリック操作である場合（ステップＳ１２でＹＥＳの場合）、ＣＰＵ１０は、メイン情報の切り替え、つまり、連絡先データの切り替えを行う（ステップＳ１３）。すなわち、ステップＳ１３では、ＣＰＵ１０がアドレス帳に登録されている次の連絡先データを記憶部１４から呼び出し、呼び出した連絡先データが含む文字データを表す第１画像を表示する。それとともに、ＣＰＵ１０は、その文字データに関連付けられて記憶されている画像データを表す第２画像を、第１画像と重畳して第１表示部１１に表示する。つまり、ＣＰＵ１０は、第１入力部１２が画面切替の操作を検知した場合、第１表示部１１に表示されているメイン情報および付属情報を他のメイン情報および他のメイン情報に関連付けられた付属情報に切り替える。
ただし、アドレス帳に次の連絡先データが登録されていない場合にはＣＰＵ１０は表示画像の切り替えを行わない。ここで、次の連絡先データとは、アドレス帳の他の連絡先データであり、複数の連絡先データの所定の並び順における次の順番の連絡先データである。
【００３５】
なお、ステップＳ１３で呼び出す次の連絡先データが含む文字データに画像データが関連付けられていない場合、ＣＰＵ１０は、第２画像として、関連付けの候補となる画像データや所定の背景画像等を表示させる。ここで、関連付け候補となる画像データは、例えば、記憶部１４内でユーザが指定した所定のフォルダ等に格納されている複数の画像ファイルに含まれている１つの画像データとすることができる。
このように、ステップＳ１３の処理では、次の連絡先データがあり、かつ、次の連絡先データが含む文字データに画像データが関連付けられている場合に、ＣＰＵ１０は、上層の文字データを表す第１画像１８と、下層の画像データを表す第２画像１９ａ又は１９ｂとを同時に切り替える。
【００３６】
他方、ステップＳ１２でＮＯの場合、すなわち、ユーザの入力操作が表側のフリック操作でない場合、ＣＰＵ１０は、ユーザの入力操作が、裏側のフリック操作であるか否か、つまり、第２入力部１３に対する操作であるか否かを判定する（ステップＳ１４）。裏側のフリック操作とは、付属情報に対する操作であって、第２入力部１３に対するフリック操作である。ユーザの入力操作が裏側のフリック操作である場合（ステップＳ１４でＹＥＳの場合）、ＣＰＵ１０は、付属情報の切り替え、つまり、画像データの切り替えを行う（ステップＳ１５）。このステップＳ１５の処理は、表示モードの場合と編集モードの場合とで次のように異なる。
【００３７】
すなわち、表示モードにおいては、ステップＳ１５では、ＣＰＵ１０が第１画像１８として表示中の文字データに関連付けられている次の画像データを記憶部１４から呼び出す。そして、表示中の第１画像１８と、新たに呼び出した画像データを表す第２画像（図４では第２画像１９ｂ）とを重畳して第１表示部１１に表示する。ただし、アドレス帳中に、表示中の文字データに関連付けられた次の画像データが登録されていない場合、ＣＰＵ１０は表示画像の切り替えを行わない。次の画像データとは、表示中の１つの文字データに複数の画像データが関連付けられている場合に、それらの複数の画像データの所定の並び順における次の順番の画像データである。
【００３８】
他方、編集モードにおいては、ステップＳ１５では、ＣＰＵ１０が第１画像１８として表示中の文字データに対して関連付けの対象となる次の画像データを記憶部１４から呼び出す。そして、表示中の第１画像１８と、新たに呼び出した画像データを表す第２画像（図４では第２画像１９ｂ）とを重畳して第１表示部１１に表示する。ここで、関連付け候補となる画像データは、例えば、記憶部１４内でユーザが指定した所定のフォルダ等に格納されている複数の画像ファイルに含まれている１つの画像データとすることができる。ただし、記憶部１４中に、表示中の文字データに対して関連付けの対象となる未表示の画像データが残っていない場合にはＣＰＵ１０は表示画像の切り替えを行わない。
【００３９】
一方、ステップＳ１１でＮＯの場合、ＣＰＵ１０は、ユーザの入力操作が、表側のフリック操作であるか否かを判定する（ステップＳ１６）。ユーザの入力操作が表側のフリック操作である場合（ステップＳ１６でＹＥＳの場合）、ＣＰＵ１０は、メイン情報の切り替え、つまり、連絡先データの切替を行う（ステップＳ１７）。すなわち、ステップＳ１７では、ＣＰＵ１０がアドレス帳に登録されている次の連絡先データを記憶部１４から呼び出し、呼び出した連絡先データが含む文字データを表す第１画像を第１表示部１１に表示する。この場合、第２画像として無地あるいは所定の背景画像等を表示することができる。
【００４０】
他方、ステップＳ１６でＮＯの場合、すなわち、ユーザの入力操作が表側のフリック操作でない場合、ＣＰＵ１０は、表示画像の切り替えを行わない。この場合、第１表示部１１の表示画像は変更されない。
【００４１】
なお、上記の説明ではアドレス帳管理機能で記憶されている文字データと、関連付けられている又は関連付けようとする画像データとを切り替える場合の処理について説明した。しかし、スケジュール帳管理機能においても、ＣＰＵ１０は、図５に示したフローチャートに従って、予定データが含む文字データとその文字データに関連付けてられている又は関連付けようとする画像データの切替を同様に行うことができる。また、第１入力部１２や第２入力部１３に対する入力操作は、上述したようなフリック操作に限定されない。例えば、タッチ操作やドラッグ操作であってもよい。
【００４２】
また、上記の説明では、図２Ａ及び図３Ａを参照して説明した表示部を１つ備える端末装置１ａを対象にして、端末装置の動作を説明した。これに対して、図２Ｂ並びに図３Ｂ及び図３Ｃを参照して説明した表示部を２つ備える端末装置１ｂでは、次のようにして文字データと画像データとの切替処理を行うことができる。
【００４３】
すなわち、端末装置１ｂでは、図３Ｂに示したように筐体１６ｂと筐体１６ｃとを閉じた状態で使用する場合、端末装置１ａと同様にして各画像データを表示することができる。つまり、文字データを表す第１画像１８とそれに関連付けられている又は関連付けようとする画像データを表す第２画像１９ａ又は１９ｂとを、１つの第１表示部１１に重畳表示する。また、第１入力部１２と第２入力部１３に対する入力操作の仕方は、端末装置１ａと同一とすることができる。
【００４４】
他方、図３Ｃに示したように、筐体１６ｂと筐体１６ｃとを開いた状態で使用する場合、端末装置１ｂでは、文字データを表す第１画像を第１表示部１１に表示し、それに関連付けられている又は関連付けようとする画像データを表す第２画像を第２表示部２０に表示する。すなわち、文字データと画像データのそれぞれを表す画像を重畳表示するのではなく、各データを表す画像を別々に異なる表示部（表示画面）に表示するのである。ただし、第１入力部１２に対する入力操作に応じて文字データの切り替えを行い、第２入力部１３に対する入力操作に応じて画像データの切り替えを行う点は、重畳表示する場合と同様である。
【００４５】
２つ折り構造の端末装置１ｂでは、閉じた場合は端末装置１ａと同様の両面（表面と裏面）がタッチセンサの状態となり、開いた場合は２つの表示画面が横並びの大画面となる。端末装置１ｂで、アドレス帳やスケジュール帳などのデータを表示する画面は、閉じた場合は重畳表示となる。他方、開いた場合は文字データを表す画像を左側に表示し、関連付けられている又は関連付けようとする画像データを表す画像を右側に表示することができる。これにより、重なって見づらい表示が同サイズにて見やすい表示となることを実現できる。また、開いた状態から閉じた状態としたときに自動的に画像切り替えの編集状態（すなわち編集モード）に遷移してもよい。すなわち、端末装置１ｂを開いた状態で文字データと（画像データと）を表示中に閉じた状態とした場合、画像データを関連付けるモードに自動的に移行するようにしてもよい。また、裏面に指が当たって誤動作が発生する場合などは、表側の表示に編集ボタン等を配してもよい。すなわち、ＣＰＵ１０は、第１入力部１２の検知結果が所定の入力操作に対応する場合に、第２入力部１３の検知結果に応じて第２画像が表す画像データを変更するようにすることもできる。
【００４６】
以上説明したように本実施形態では、アドレス帳やスケジュール帳などとして管理されるデータの表示画面において、文字データを表す第１画像とともに画像データを表す第２画像を表示する場合、裏側（あるいは右側）の操作（フリック、タッチ等）で下層（あるいは右側）のデータ（画像データ）のみを切り替えることができる。したがって、直感的かつ簡単な操作で、下層の画像を切り替えることが可能となる。更に本実施形態では、表側操作（フリック、タッチ等）で上層（あるいは左側）のデータ（文字データ）と下層（あるいは右側）のデータ（画像データ）とを同時に切り替えることができる。これにより、表側操作（あるいは左側操作）で文字データと画像データとのデータ全体の切り替え、裏側操作（あるいは右側操作）で下層（右側のデータ（画像データ））のみの切り替えが可能となり、文字データの切替と、関連付けられている又は関連付けようとする画像データの選択とを、ほぼ並行して同時に行うことが可能となる。したがって、例えば、編集モードなどで画像データの関連付けを編集する場合に、複数の文字データに対して連続的に画像データの関連付けを編集する操作が容易になる。
【００４７】
なお、端末装置１ｂを開いた状態は、図３Ｃに示したように、２つの表示画面、第１表示部１１と第２表示部２０とが左右に置かれた状態とすることのほか、第１表示部１１と第２表示部２０とが上下に置かれた状態として使用することもできる。この場合、手動で又は姿勢検出を行うセンサを用いて自動で端末装置１ｂの状態を検出し、表示の向きを変更することもできる。
【００４８】
次に、図６を参照して、図５に示した画像データのみの切替処理（Ｓ１５）内の処理の構成例について説明する。この図６に示した処理では、画像データの切り替え時に切り替える画像データを絞り込んで、更に容易な画像データの切り替えを可能としている。ここでは、アドレス帳管理機能を対象として説明を行う。
【００４９】
ＣＰＵ１０は、まず、表示中の文字データに関連付けられている又は関連付けようとする次の画像データが存在するか否かを判定する（ステップＳ２１）。関連付けられている次の画像データがない場合（ステップＳ２１でＮＯの場合）、ＣＰＵ１０は、そのまま処理を終了する。
【００５０】
一方、次の画像データがある場合（ステップＳ２１でＹＥＳの場合）、ＣＰＵ１０は、次の画像データに対して顔認識処理を行う（ステップＳ２２）。次に、ＣＰＵ１０は、顔認識処理の結果、次の画像データで顔画像が認識されたか否かを判定する（ステップＳ２３）。次の画像に顔画像がある場合は（ステップＳ２３でＹＥＳの場合は）、ＣＰＵ１０は、第２画像（すなわち下層画像あるいは右側画像）が表す画像データを次の画像データに切り替える（ステップＳ２４）。そして、ＣＰＵ１０は、処理を終了する。
【００５１】
一方、次の画像データに顔画像がない場合は（ステップＳ２３でＮＯの場合は）、処理がステップＳ２１へ戻り、表示中の文字データに関連付けられている次の画像データがアドレス帳に登録されているか否かを判定する。
【００５２】
図６に示した処理では、ＣＰＵ１０は、第２入力部１３が画面切替の操作を検知した際、第１表示部１１に表示されているメイン情報に関連付けられた付属情報のうち、人間の顔を含む付属情報に切り替えることができる。この場合、メイン情報は、個人を示す情報であることが好ましい。これにより、表示される画像データを顔画像が含まれている画像に絞り込むことができる。したがって、アドレス帳を表示する際には、連絡先の相手の顔を確認したい場合に容易に顔画像を選択することができる。また、アドレス帳を編集あるいは新規に登録する際には、連絡先の文字データに関連付けて登録する画像を、容易に選び出すことができる。
【００５３】
なお、顔画像の有無の判定では、次のような設定を行うこともできる。すなわち、ユーザが指定した特定の顔の有無を判定するようにしてもよい。あるいは、顔が１人分のみの画像の有無を判定するようにしてもよい。あるいは、特定の顔が１人分のみ含まれているか否かを判定するようにしてもよい。
【００５４】
また、図５に示した画像データのみの切替処理（Ｓ１５）内の処理では、次のような絞り込みを行うこともできる。すなわち、ユーザが予め指定した画像をグループ化して登録しておき、そのグループに属する画像のみに限定して画像を切り替えることも可能である。つまり、第２入力部１３に対する操作（フリック、タップ）で画像データを切り替える際に、予めユーザが画像データをグループ化しておいて、指定したグループに属する画像データのみを選択できるようにしてもよい。
つまり、ＣＰＵ１０は、付属情報が属するグループを示すグループ情報が付属情報に付与されている場合、第２入力部１３が画面切替の操作を検知した際、第１表示部１１に表示されているメイン情報に関連付けられた付属情報のうち、指定されたグループに応じて、グループに属する付属情報に切り替えることができる。なお、グループの指定は、予め設定されているものであってもよく、ユーザが指定したものであってもよい。
【００５５】
なお、上記のユーザインタフェースは、アドレス帳管理機能やスケジュール帳管理機能のように、文字データと画像データとからなるデータに限らず、ホーム画面のような表示画像が２層構造を構成する画面でも使用することができる。すなわち、図７に示したように、ホーム画面では、第１表示部１１は、上層画面にアイコン２１やウィジェット２２などが並び、下層画面が壁紙２３ａとなる２層構造で画像が表示される。この場合、裏面操作を行って下層画面を切り替えることができる。すなわち、例えば裏面のフリック操作に応じて、壁紙２３ａを壁紙２３ｂに切り替えることができる。ホーム画面の場合は、例えばユーザがその日の気分で壁紙を変えたい場合があり、裏面操作だけで「簡単に」かつ「直感的に」下層画面の壁紙のみの切り替えが可能となる。
つまり、ＣＰＵ１０は、メイン情報として、決められたプログラムの実行を指示する指標（アイコン２１やウィジェット２２など）を表示させるとともに、付属情報として、壁紙画像を表示させる。
【００５６】
また、下層画面に表示するデータ（画像データ）が端末装置１ａまたは１ｂの画面サイズより大きい場合は、裏面操作で下層画面の切り替えだけでなく、指の動きに合わせた下層画面の移動も可能とすることもできる。また、下層画面に表示するデータ（画像データ）が端末装置１の画面サイズより小さい場合か同サイズの場合も、ピンチアウトを行ってデータ（画像データ）を拡大あるいは縮小し、指の動きに合わせた移動も可能とすることができる。
つまり、ＣＰＵ１０は、第２入力部１３が第１表示部１１に表示されている画像データの表示領域の移動あるいは表示されている画像データの縮小もしくは拡大の操作を検知した場合、第１表示部１１に表示されている画像データ（付属情報）についてのみ表示領域の移動あるいは表示画像の縮小もしくは拡大を行うことができる。
【００５７】
また、上記実施形態では、裏面操作を行うことで下層画面が切り替えられるが、ユーザの意図とは別に裏面に指が当たって誤動作することも考えられる。この誤動作を回避する為、表面（すなわち第１入力部１２）に指を当てた状態で裏面操作（すなわち第２入力部１３に対する操作）をした場合のみ画面を切り替える操作も可能とすることができる。
つまり、ＣＰＵ１０は、第１入力部１２が操作を検知している状態において、第２入力部１３が操作を検知した場合、第１表示部１１に表示されている付属情報を第２入力部１３が検知した操作に応じて処理することができる。
【００５８】
また、上記実施形態では、１つの文字データに複数の画像データが関連付けられている場合に、あるいは、１つの文字データに対する関連付け候補の画像データが複数存在する場合に、１つの文字データと、１つの画像データとを表示するようにしているが、画像データの表示数は複数とすることもできる。すなわち、１つの文字データと、それに関連付けられている又は関連づけしようとする複数の画像データのうちの１つの画像データを上記の実施形態のように重畳して、あるいは複数の表示部（表示画面）に分けて表示するとともに、その画像データの前あるいは後続の画像データを同時に表示することもできる。この場合、画像データの前あるいは後続の画像データは、例えば、サイズを小さくしたり、重畳する場合の輝度や透明度を変更したりして表示することができる。
【００５９】
なお、本発明の実施形態の基本構成は図８のように示すことができる。すなわち、本発明の実施形態としての端末装置１００は、第１表示部１０１、第１入力部１０２、第２入力部１０３及び制御部１０４を備えている。
第１表示部１０１（例えば、実施形態の第１表示部１１に相当する）は、メイン情報を上層に表示するとともに、メイン情報に関連付けられた付属情報をメイン情報の下層に重ねて表示する。
第１入力部１０２（例えば、実施形態の第１入力部１２に相当する）は、第１表示部１０１の表面側に入力される操作を検知する。
第２入力部１０３（例えば、実施形態の第２入力部１３に相当する）は、第１表示部１０１の裏面側に設置され、入力される操作を検知する。
制御部１０４（例えば、実施形態のＣＰＵ１０に相当する）は、第２入力部１０３が操作を検知した場合、第１表示部１０１に表示されている付属情報を第２入力部１０３が検知した操作に応じて処理する。
【００６０】
また、本発明の実施形態は、上記のものに限定されず、例えば図１Ａおよび図１Ｂや図２Ａおよび図２Ｂに示した各ブロックは、分割したり、統合したり、数を増加させたりする変更を適宜行うことができる。また、ＣＰＵ１０が実行するプログラムの一部又は全部は、コンピュータ読み取り可能な記録媒体や通信回線を介して流通させることができる。
【００６１】
なお、本発明の実施形態に係る端末装置１は、内部にコンピュータシステムを有している。そして、動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出し実行して、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ（オペレーティング・システム）、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷ（World Wide Web）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００６２】
また、各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ実行して、上記処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ（Compact Disc）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００６３】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波を介して他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、上記プログラムは、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６４】
以上、実施形態を参照して本発明を説明したが、本発明は上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解し得る様々な変更を加えることができる。
【００６５】
この出願は、２０１２年６月２９日に出願された日本出願特願２０１２−１４６６６１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【００６６】
本発明は各種の端末装置に適用することができる。本発明は、一の表示画面に重畳して表示されている画像のそれぞれを操作したい場合の操作性を向上させ、直感的で簡単な操作を実現させることができる。
【符号の説明】
【００６７】
１ａ、１ｂ  端末装置
１０  ＣＰＵ
１１  第１表示部
１２  第１入力部
１３  第２入力部
１４  記憶部
１５  報知部
１８  第１画像
１９ａ、１９ｂ  第２画像
２０  第２表示部
【図１Ａ】
2014003012.tif 000003
【図１Ｂ】
2014003012.tif 000004
【図２Ａ】
2014003012.tif 000005
【図２Ｂ】
2014003012.tif 000006
【図３Ａ】
2014003012.tif 000007
【図３Ｂ】
2014003012.tif 000008
【図３Ｃ】
2014003012.tif 000009
【図５】
2014003012.tif 000010
【図６】
2014003012.tif 000011
【図８】
2014003012.tif 000012
【図４】
2014003012.tif 000013
【図７】
2014003012.tif 000014
【国際調査報告】
2014003012.tif 000015
2014003012.tif 000016
2014003012.tif 000017
2014003012.tif 000018