(57)【要約】【課題】特定の操作対象と関係のある操作対象を選択し易くする。【解決手段】情報処理装置１４は、所定の操作により特定された第１の操作対象を検出する。そして、情報処理装置１４は、検出された第１の操作対象との間の関係に基づいて、表示画面に配置されている、第１の操作対象とは異なる操作対象から、第２の操作対象を選択する。そして、情報処理装置１４は、検出された第１の操作対象と、選択された第２の操作対象とを表示画面に一覧表示するように制御する。【選択図】図１
2018195025.tif 000002
【特許請求の範囲】
【請求項１】
表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出する検出部と、
前記検出部によって検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択する選択部と、
前記検出部によって検出された前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する制御部と、
を備える情報処理装置。
【請求項２】
前記選択部は、前記第１の操作対象との間の表示関係に基づいて、前記第２の操作対象を選択する、
請求項１に記載の情報処理装置。
【請求項３】
前記選択部は、前記第１の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第２の操作対象を選択する、
請求項２に記載の情報処理装置。
【請求項４】
前記選択部は、更に、前記第２の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第１の操作対象及び前記第２の操作対象とは異なる第３の操作対象を選択し、
前記制御部は、前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象及び前記第３の操作対象とを前記表示画面に一覧表示するように制御する、
請求項３に記載の情報処理装置。
【請求項５】
前記選択部は、前記第１の操作対象が表示されている向きと対応する向きで表示されている前記第２の操作対象を選択する、
請求項２〜請求項４の何れか１項に記載の情報処理装置。
【請求項６】
前記選択部は、前記第１の操作対象に対して付与された属性と対応する属性を有する前記第２の操作対象を選択する、
請求項１〜請求項５の何れか１項に記載の情報処理装置。
【請求項７】
前記選択部は、前記検出部によって複数の前記第１の操作対象が検出された場合、複数の前記第１の操作対象の前記属性の和集合を算出し、前記和集合に含まれる前記属性と対応する属性を有する前記第２の操作対象を選択する、
請求項６に記載の情報処理装置。
【請求項８】
表示画面を表示する表示部、及び
前記表示部の前記表示画面に配置されている複数の操作対象に対する操作を受け付ける受付部
を備える表示装置と、
前記表示装置の前記受付部によって受け付けられた前記操作のうちの所定の操作により特定された第１の操作対象を検出する検出部、
前記検出部によって検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択する選択部、及び
前記検出部によって検出された前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象とを前記表示画面に一覧表示するように前記表示装置を制御する制御部
を備える情報処理装置とを含む情報処理システム。
【請求項９】
表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出し、
検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択し、
検出された前記第１の操作対象と、選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する、
処理をコンピュータが実行することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、情報処理装置、情報処理システム、及び情報処理方法に関する。
【背景技術】
【０００２】
画面上にオブジェクトを表示し、画面上のタッチ操作を受け付け、タッチ操作に応じた情報を出力するオブジェクト操作システムが知られている。このオブジェクト操作システムの制御部は、操作部から出力される情報に基づいて、画面上で３点以上の複数点が同時にタッチされるマルチタッチ操作を識別する。そして、オブジェクト操作システムの制御部は、マルチタッチ操作が行われた場合に、２点以上の所定数のタッチが、１つのオブジェクト上又は複数のオブジェクトがグループ化されたオブジェクト群の領域上に位置するか否かに応じて、操作対象を判定する。そして、オブジェクト操作システムの制御部は、所定数の内の少なくとも１つのタッチの位置が変化した場合に、操作対象に対して、タッチの位置の変化に応じた操作を実行する。
【０００３】
また、複数の操作者による共同作業であるか、各々の操作者による個人作業であるかに応じて、動作モードを共同モード又は個人モードに設定するオブジェクト表示装置が知られている。このオブジェクト表示装置は、個人モードの場合、画面に表示されているオブジェクトを各々の操作者に割り当てる。また、オブジェクト表示装置は、個人モードの場合、所定の操作者による操作が、他の操作者に割り当てられた他のオブジェクトの表示状態に影響を及ぼすかを判定し、影響を及ぼすと判定した場合に、所定の操作者による操作を制限する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１１５２３１号公報
【特許文献２】特開２０１４−１７８９３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
タッチパネル上の表示画面に複数の操作対象が配置されている場合、ユーザは特定の操作対象を選択できない場合がある。例えば、複数の操作対象同士が重なることにより、特定の操作対象が埋もれてしまう場合や、操作対象がユーザの操作が届かない位置に配置されている場合には、ユーザは特定の操作対象を選択できない。
【０００６】
一つの側面では、開示の技術は、特定の操作対象と関係のある操作対象を選択し易くすることが目的である。
【課題を解決するための手段】
【０００７】
一つの実施態様では、情報処理装置は、表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出する。そして、情報処理装置は、検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択する。情報処理装置は、検出された前記第１の操作対象と、選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する。
【発明の効果】
【０００８】
一つの側面として、特定の操作対象と関係のある操作対象を選択し易くすることができる、という効果を有する。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る情報処理システムの概略ブロック図である。
【図２】ユーザに対して表示される表示画面の構成例を示す図である。
【図３】埋もれている操作対象が表示される例を示す図である。
【図４】所定の範囲の操作対象を選択する操作の一例を示す図である。
【図５】所定の範囲の操作対象を選択する操作の一例を示す図である。
【図６】所定の操作の一例を示す図である。
【図７】所定の操作の一例を示す図である。
【図８】重なり領域を説明するための説明図である。
【図９】操作対象に付与された属性を説明するための説明図である。
【図１０】属性の対応関係を説明するための説明図である。
【図１１】属性の対応関係に応じて選択された操作対象を説明するための説明図である。
【図１２】選択された操作対象の一覧表示の一例を示す図である。
【図１３】一覧表示から選択された操作対象の一例を示す図である。
【図１４】第１の実施形態に係る表示装置として機能するコンピュータの概略構成を示すブロック図である。
【図１５】第１の実施形態に係る情報処理装置として機能するコンピュータの概略構成を示すブロック図である。
【図１６】第１の実施形態における情報処理の一例を示すフローチャートである。
【図１７】第２の実施形態に係る第３の操作対象を説明するための説明図である。
【図１８】第２の実施形態における情報処理の一例を示すフローチャートである。
【図１９】第１の操作の一例を説明するための説明図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
【００１１】
＜第１実施形態＞
図１に示す情報処理システム１０は、表示装置１２と情報処理装置１４とを備える。
【００１２】
表示装置１２は、表示部１６と、受付部１８と、表示制御部２０とを備える。
【００１３】
表示部１６は、後述する表示制御部２０の制御に応じて表示画面を表示する。表示部１６は、例えばディスプレイによって実現される。表示部１６の表示画面には、複数の操作対象が表示される。
【００１４】
受付部１８は、ユーザから入力される操作情報を受け付ける。例えば、受付部１８は、表示部１６に重畳されたタッチパネルから入力されたユーザによる操作情報を受け付ける。操作情報には、ユーザがどのようなタッチ操作を行ったかを表す情報が含まれる。
【００１５】
表示制御部２０は、操作対象が表示されるように、表示部１６を制御する。操作対象とは、例えば、所定のアプリケーションによって作成された文書又は図形である。また、表示制御部２０は、受付部１８によって受け付けた操作情報に応じて操作対象が表示されるように、表示部１６を制御する。例えば、表示制御部２０は、操作情報に応じて、操作対象の表示位置、表示サイズ、向き等を変更する。また、表示制御部２０は、受付部１８によって受け付けた操作情報を情報処理装置１４へ逐次出力する。
【００１６】
図２に示されるように、表示装置１２の表示部１６により表示される表示画面Ｖが、複数のユーザに対して表示される場合を例に説明する。図２の例では、ユーザＡ、ユーザＢ、ユーザＣ、及びユーザＤに対して表示画面Ｖが表示されている。図２示されているような状況下では、例えば、各ユーザが独立で作業している場面Ｓ１と各ユーザが共同で作業している場面Ｓ２とが考えられる。
【００１７】
図２に示されている場面Ｓ１では、ユーザＡが操作対象ＸＡを用いて作業を行い、ユーザＢが操作対象ＸＢを用いて作業を行い、ユーザＣが操作対象ＸＣを用いて作業を行い、ユーザＤが操作対象ＸＤを用いて作業を行う。場面Ｓ１では、各ユーザの周辺には自らの作業に用いる操作対象が表示される。また、場面Ｓ２では、各ユーザが共同で作業を進めるため、操作対象ＸＡ、操作対象ＸＢ、操作対象ＸＣ、及び操作対象ＸＤは混ざり合う状態となる。
【００１８】
上記図２に示されるような状況においては、複数の操作対象が表示画面Ｖに表示されているため、ユーザが特定の操作対象を選択しようとする場合に、特定の操作対象を選択しにくい場合がある。例えば、特定の操作対象が他の操作対象の存在によって埋もれてしまう場合が考えられる。また、特定の操作対象がユーザの操作が届かない位置に表示されている場合が考えられる。
【００１９】
これに対し、例えば、図３に示されるように、表示画面に配置されている全ての操作対象を整列して表示するように制御することが考えられる。これにより、他の操作対象の存在によって埋もれている特定の操作対象Ｘを表示させることができる。しかし、特定の操作対象とは異なる多数の操作対象が整列されてしまい特定の操作対象Ｘを探索しづらい。また、操作対象の整列を指示した特定のユーザ以外のユーザが操作している操作対象や、必要のない操作対象等が整列されてしまう。
【００２０】
また、図４に示されるような状況において、ユーザＡが複数の操作対象を直接選択する場合が考えられる。この場合には、図４の半円領域Ｃに含まれるようなユーザＡに近接している操作対象に対する選択は行えるが、ユーザＡの手が届かない範囲に表示されている操作対象については選択することはできない。
【００２１】
また、例えば図５に示されるように、ストロークに基づいて矩形領域を算出し、算出した矩形領域に含まれる複数の操作対象を選択する場合、ユーザＡが選択したい操作対象の端から端までのストロークを描く必要があり、選択する際に長いストロークが必要となる。これにより、複数の操作対象の選択に時間がかかる。
【００２２】
そこで、本実施形態では、まず、表示画面において表示されている操作対象に対して、通常の操作と区別可能な操作を第１の操作として検出する。そして、第１の操作に対応する操作対象を第１の操作対象とする。そして、第１の操作対象との間の関係に基づいて、表示画面に配置されている操作対象から、第２の操作対象を選択する。そして、第１の操作対象及び第２の操作対象を一覧表示させる。
【００２３】
以下、表示装置１２を制御する情報処理装置１４について具体的に説明する。
【００２４】
情報処理装置１４は、図１に示されるように、情報制御部２２と、取得部２４と、初期操作対象検出部２６と、選択部２８とを備える。初期操作対象検出部２６は、開示の技術の検出部の一例である。情報制御部２２は、開示の技術の制御部の一例である。
【００２５】
情報制御部２２は、表示装置１２から出力されたユーザの操作情報を逐次取得する。また、情報制御部２２は、後述する選択部２８による選択結果に応じて表示装置１２に対して制御信号を送信する。
【００２６】
取得部２４は、情報制御部２２により取得されたユーザの操作情報を取得する。
【００２７】
初期操作対象検出部２６は、取得部２４によって取得されたユーザの操作情報に基づいて、表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出する。具体的には、まず、初期操作対象検出部２６は、所定の操作の一例である第１の操作を検出する。所定の操作の一例である第１の操作は、通常の操作とは区別可能な操作であり、予め設定される。そして、初期操作対象検出部２６は、第１の操作により特定された第１の操作対象を検出する。
【００２８】
例えば、初期操作対象検出部２６は、図６に示されるように、通常の操作と区別可能な操作として、ユーザＡのタッチ操作が操作対象の外から入り操作対象の外へ抜けるようなストローク操作を、第１の操作Ｔとして検出する。そして、初期操作対象検出部２６は、第１の操作Ｔに対応する第１の操作対象Ｘを検出する。
【００２９】
また、初期操作対象検出部２６は、図７に示されるように、操作対象の外部から入り、複数の操作対象を経由して、操作対象の外へ抜けるようなストローク操作を、第１の操作Ｔとして検出する。これにより、複数の操作対象が第１の操作対象として特定される。この場合には、初期操作対象検出部２６は、第１の操作Ｔに対応する、第１の操作対象Ｘ１、Ｘ２、及びＸ３を検出する。
【００３０】
選択部２８は、初期操作対象検出部２６によって検出された第１の操作対象との間の関係に基づいて、表示装置１２の表示部１６の表示画面に配置されている、第１の操作対象とは異なる操作対象から、第２の操作対象を選択する。
【００３１】
具体的には、選択部２８は、第１の操作対象との間の表示関係と、第１の操作対象に対して付与された属性とに基づいて、第２の操作対象を選択する。
【００３２】
まず、選択部２８は、第１の操作対象との間の表示関係として、第１の操作対象を表す領域との間の領域の重なり比率に基づいて、第２の操作対象の候補を選択する。
【００３３】
例えば、図８に示されるように、操作対象Ｘ１が第１の操作対象として選択された場合、選択部２８は、操作対象Ｘ１の領域との間で重なる領域を有する、操作対象Ｘ２と操作対象Ｘ３とを設定する。そして、選択部２８は、操作対象Ｘ１の領域と操作対象Ｘ２の領域との間の重なり比率を算出する。また、選択部２８は、操作対象Ｘ１の領域と操作対象Ｘ３の領域との間の重なり比率を算出する。なお、重なり比率は、各操作対象が、第１の操作対象との配置関係により、どの程度見え難く（操作し難く）なっているかを示す指標であり、例えば以下の式（１）に基づき算出される。
【００３４】
重なり比率＝第１の操作対象との間で重なる領域の面積／第１の操作対象の領域との間で重なる領域を有する操作対象の領域全体の面積
（１）
【００３５】
そして、選択部２８は、算出した重なり比率と閾値とに基づいて、重なり比率が閾値より大きい操作対象を第２の操作対象の候補として選択する。図８に示される例では、操作対象Ｘ１の領域と操作対象Ｘ２の領域との間の重なり比率が閾値以下であるため、操作対象Ｘ２は第２の操作対象の候補としては選択されない。一方、操作対象Ｘ１の領域と操作対象Ｘ３の領域との間の重なり比率は閾値より大きいため、操作対象Ｘ３は第２の操作対象の候補として選択される。なお、例えば、第１の操作対象が複数検出された場合には、複数の第１の操作対象の各々との間で重なる領域の面積の和に応じて、重なり比率が算出される。
【００３６】
次に、選択部２８は、第１の操作対象に対して付与された属性と対応する属性を有する第２の操作対象の候補を、第２の操作対象として選択する。
【００３７】
なお、選択部２８は、初期操作対象検出部２６によって複数の第１の操作対象が検出された場合、複数の第１の操作対象の属性の和集合を算出する。そして、選択部２８は、和集合に含まれる属性と対応する属性を有する第２の操作対象の候補を、第２の操作対象として選択する。
【００３８】
本実施形態では、各操作対象に対しては、例えば、図９に示されるような属性が付与される。図９の例では、各操作対象に対して、操作対象の作成者、操作対象の作成に用いられたアプリケーション、及び操作対象の向きが属性として付与される。なお、図中の「Ａさん」等の属性は、説明のために操作対象に関連付けて表示しているが、実際に表示部１６で表示をする必要はない。
【００３９】
例えば、操作対象Ｘ１については、操作対象の作成者として「Ａさん」が属性として付与され、操作対象の作成に用いられたアプリケーションとしては「付箋」が属性として付与され、操作対象の向きとしては「上向き」が属性として付与される。
【００４０】
操作対象の向きについては、例えば、表示画面上の座標系に応じて、「上向き」、「下向き」、「右向き」、及び「左向き」といった属性が付与される。
【００４１】
選択部２８は、例えば、図９に示される操作対象Ｘ１が第１の操作対象として検出された場合、「Ａさん」＆＆「付箋」＆＆「上向き」を検索属性として設定する。そして、選択部２８は、検索属性と一致する属性を有する第２の操作対象の候補を、第２の操作対象として選択する。
【００４２】
また、例えば、図９に示される操作対象Ｘ２、Ｘ３、及びＸ４が第１の操作対象として検出された場合、選択部２８は、（「Ａさん」||「Ｂさん」）＆＆（「付箋」||「模造紙」）＆＆（「上向き」||「下向き」||「右向き」）を検索属性として設定する。そして、選択部２８は、検索属性と一致する属性を有する第２の操作対象の候補を、第２の操作対象として選択する。なお、「＆＆」はＡＮＤ条件、「||」はＯＲ条件を表す。
【００４３】
例えば、図１０に示されるように、操作対象Ｘ１が第１の操作対象として検出された場合、選択部２８は、「Ａさん」＆＆「付箋」＆＆「上向き」を検索属性として設定する。そして、選択部２８は、図１１に示されるように、検索属性と一致する属性を有する、操作対象Ｘ２と操作対象Ｘ３とを第２の操作対象として選択する。なお、図１１の点線は埋もれている操作対象を表す。
【００４４】
情報制御部２２は、初期操作対象検出部２６によって検出された第１の操作対象を取得する。また、情報制御部２２は、選択部２８によって選択された第２の操作対象を取得する。そして、情報制御部２２は、第１の操作対象と第２の操作対象とが、表示装置１２の表示部１６の表示画面に一覧表示されるように制御する制御信号を生成し、表示装置１２へ出力する。
【００４５】
表示装置１２の表示制御部２０は、情報処理装置１４から出力された制御信号を取得し、制御信号に応じた表示画面が表示されるように、表示部１６を制御する。情報制御部２２によって生成された制御信号に応じて制御が行われることにより、例えば、図１２に示されるような選択表示画面Ｐが表示部１６に表示される。図１２は、表示画面上に選択表示画面Ｐを重畳表示した例である。例えば、選択表示画面Ｐに一覧表示されている操作対象Ｘ１は第１の操作対象であり、操作対象Ｘ２及び操作対象Ｘ３は第２の操作対象である。
【００４６】
表示制御部２０の制御により、第１の操作対象と第２の操作対象とが表示部１６の表示画面に一覧表示されると、ユーザは、一覧表示された操作対象のうち、閲覧したい所定の操作対象をタッチ操作により選択する。表示装置１２の受付部１８は、ユーザによって入力された操作情報を受け付ける。そして、表示制御部２０は、選択された操作対象が表示されるように、表示部１６を制御する。そして、表示制御部２０は一覧表示を終了し、第１の操作対象と第２の操作対象とを元の位置に表示する。
【００４７】
例えば、図１３に示されるように、操作対象Ｘ１、操作対象Ｘ２、操作対象Ｘ３が選択表示画面Ｐに含まれている場合、ユーザが操作対象Ｘ３をタッチ操作により選択したときには、操作対象Ｘ３が最前面に表示される。
【００４８】
表示装置１２は、例えば、図１４に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、情報処理装置１４、表示部１６、及び入力装置等の入出力装置（図示省略）が接続される入出力interface（Ｉ／Ｆ）５４、並びに記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。
【００４９】
記憶部５３は、Hard Disk Drive（ＨＤＤ）、solid state drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を表示装置１２として機能させるための表示プログラム６０が記憶されている。表示プログラム６０は、表示プロセス６２と、受付プロセス６３と、表示制御プロセス６４とを有する。
【００５０】
ＣＰＵ５１は、表示プログラム６０を記憶部５３から読み出してメモリ５２に展開し、表示プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、受付プロセス６３を実行することで、図１に示す受付部１８として動作する。また、ＣＰＵ５１は、表示制御プロセス６４を実行することで、図１に示す表示制御部２０として動作する。これにより、表示プログラム６０を実行したコンピュータ５０が、表示装置１２として機能することになる。そのため、ソフトウェアである表示プログラム６０を実行するプロセッサはハードウェアである。
【００５１】
なお、表示プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。
【００５２】
また、情報処理装置１４は、例えば、図１５に示すコンピュータ８０で実現することができる。コンピュータ８０はＣＰＵ８１、一時記憶領域としてのメモリ８２、及び不揮発性の記憶部８３を備える。また、コンピュータ８０は、表示装置１２及び入力装置等の入出力装置（図示省略）が接続される入出力Ｉ／Ｆ８４、並びに記録媒体８９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ部８５を備える。また、コンピュータ８０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ８６を備える。ＣＰＵ８１、メモリ８２、記憶部８３、入出力Ｉ／Ｆ８４、Ｒ／Ｗ部８５、及びネットワークＩ／Ｆ８６は、バス８７を介して互いに接続される。なお、表示装置１２と情報処理装置１４とは、ネットワークＩ／Ｆ５６、８６を介して接続されてもよい。
【００５３】
記憶部８３は、ＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部８３には、コンピュータ８０を情報処理装置１４として機能させるための情報処理プログラム９０が記憶されている。情報処理プログラム９０は、情報制御プロセス９２と、取得プロセス９３と、初期操作対象検出プロセス９４と、選択プロセス９５とを有する。
【００５４】
ＣＰＵ８１は、情報処理プログラム９０を記憶部８３から読み出してメモリ８２に展開し、情報処理プログラム９０が有するプロセスを順次実行する。ＣＰＵ８１は、情報制御プロセス９２を実行することで、図１に示す情報制御部２２として動作する。また、ＣＰＵ８１は、取得プロセス９３を実行することで、図１に示す取得部２４として動作する。また、ＣＰＵ８１は、初期操作対象検出プロセス９４を実行することで、図１に示す初期操作対象検出部２６として動作する。また、ＣＰＵ８１は、選択プロセス９５を実行することで、図１に示す選択部２８として動作する。これにより、情報処理プログラム９０を実行したコンピュータ８０が、情報処理装置１４として機能することになる。そのため、ソフトウェアである情報処理プログラム９０を実行するプロセッサはハードウェアである。
【００５５】
なお、情報処理プログラム９０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
【００５６】
次に、本実施形態に係る情報処理システム１０の作用について説明する。表示装置１２の表示部１６は、表示制御部２０の制御に応じて表示画面を表示する。そして、表示装置１２の受付部１８は、ユーザから入力される操作情報を受け付ける。表示制御部２０は、受付部１８によって受け付けた操作情報を情報処理装置１４へ逐次出力する。そして、情報処理装置１４の情報制御部２２が、表示装置１２から出力された操作情報を逐次取得し、操作情報を取得部２４へ出力する。そして、情報処理装置１４は、図１６に示す情報処理を実行する。以下、各処理について詳述する。
【００５７】
ステップＳ１００において、取得部２４は、情報制御部２２により出力されたユーザの操作情報を取得する。
【００５８】
ステップＳ１０２において、初期操作対象検出部２６は、上記ステップＳ１００で取得されたユーザの操作情報に基づいて、第１の操作であるか否かを判定する。操作情報が第１の操作である場合には、ステップＳ１０４へ進む。一方、操作情報が第１の操作でない場合には、ステップＳ１００へ戻る。
【００５９】
ステップＳ１０４において、初期操作対象検出部２６は、第１の操作に対応する第１の操作対象を検出する。
【００６０】
ステップＳ１０６において、選択部２８は、上記ステップＳ１０４で検出された第１の操作対象の領域との間で重なる領域を有する、操作対象を特定する。
【００６１】
ステップＳ１０８において、選択部２８は、上記ステップＳ１０４で検出された第１の操作対象の領域と、上記ステップＳ１０６で特定された操作対象の領域との間の重なり比率を上記式（１）に従って算出する。
【００６２】
ステップＳ１１０において、選択部２８は、上記ステップＳ１０８で算出された重なり比率と閾値とに基づいて、上記ステップＳ１０６で特定された操作対象のうちの、重なり比率が閾値より大きい操作対象を第２の操作対象の候補として選択する。
【００６３】
ステップＳ１１２において、選択部２８は、上記ステップＳ１０４で検出された第１の操作対象の属性を検索属性として設定する。
【００６４】
ステップＳ１１４において、選択部２８は、上記ステップＳ１１２で設定された検索属性と一致する属性を有する第２の操作対象の候補を、第２の操作対象として選択する。
【００６５】
ステップＳ１１６において、情報制御部２２は、上記ステップＳ１０４で検出された第１の操作対象を取得する。また、情報制御部２２は、上記ステップＳ１１４で選択された第２の操作対象を取得する。そして、情報制御部２２は、第１の操作対象と第２の操作対象とが、表示装置１２の表示部１６の表示画面に一覧表示されるように制御する制御信号を生成する。
【００６６】
ステップＳ１１８において、情報制御部２２は、上記ステップＳ１１６で生成された制御信号を表示装置１２へ出力する。
【００６７】
表示装置１２の表示制御部２０は、情報処理装置１４から出力された制御信号を取得し、制御信号に応じた選択表示画面が表示されるように、表示部１６を制御する。表示制御部２０の制御により、第１の操作対象と第２の操作対象とが表示部１６の選択表示画面に表示されると、ユーザは、閲覧したい所定の操作対象をタッチ操作により選択する。
【００６８】
以上説明したように、本実施形態に係る情報処理装置は、表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出する。そして、情報処理装置は、検出された第１の操作対象との間の関係に基づいて、表示画面に配置されている、第１の操作対象とは異なる操作対象から、第２の操作対象を選択する。そして、情報処理装置は、第１の操作対象と第２の操作対象とを前記表示画面に一覧表示するように制御する。これにより、特定の操作対象と関係のある操作対象を選択し易くすることができる。また、操作対象に対する操作性を向上させることができる。
【００６９】
また、本実施形態に係る情報処理装置によれば、複数の操作対象が表示画面に表示されている場合においても、第１の操作対象に付与された属性が対応する第２の操作対象を一覧表示させることにより、ユーザは特定の操作対象を探しやすくなる。
【００７０】
＜第２の実施形態＞
次に、第２の実施形態について説明する。なお、第２の実施形態に係る情報処理システムの構成は、第１の実施形態と同様の構成となるため、同一符号を付して説明を省略する。
【００７１】
第２の実施形態では、第１の操作対象を表す領域及び第２の操作対象を表す領域との間の領域の重なり比率に基づいて、第３の操作対象を選択する点が第１の実施形態と異なる。
【００７２】
第２の実施形態の選択部２８は、第１の操作対象を表す領域及び第２の操作対象を表す領域を合わせた領域との間の重なり比率に基づいて、第１の操作対象及び第２の操作対象とは異なる第３の操作対象を選択する。
【００７３】
図１７に示されるように、場面Ｓ１における表示画面Ｖにおいて、第１の操作対象Ｘ１が特定された場合、第１の操作対象Ｘ１との間で、閾値より大きい重なり領域を有する第２の操作対象Ｘ２が特定される。この場合、操作対象Ｘ３については、第１の操作対象Ｘ１との間では重なり領域を有しないため、第２の操作対象としては選択されない。しかし、ユーザは操作対象Ｘ３も表示させたいという意図を有する場合がある。
【００７４】
また、図１７に示されるように、場面Ｓ２における表示画面Ｖにおいて、第１の操作対象Ｘ１が特定された場合、操作対象Ｘ２は、第１の操作対象Ｘ１との間で閾値より大きい重なり領域を有するため、第２の操作対象として特定される。一方、操作対象Ｘ３は、第１の操作対象Ｘ１との間で閾値以下の重なり領域を有するため、第２の操作対象として特定されない。しかし、操作対象Ｘ３は、第２の操作対象Ｘ２との重なりにより埋もれており、ユーザは操作対象Ｘ３も表示させたいという意図を有する場合がある。
【００７５】
そこで、第２の実施形態の選択部２８は、第１の操作対象を表す領域及び第２の操作対象を表す領域との間の領域の重なり比率に基づいて、第１の操作対象及び第２の操作対象とは異なる第３の操作対象を選択する。
【００７６】
具体的には、選択部２８は、第２の操作対象を選択した後に、第１の操作対象を表す領域及び第２の操作対象を表す領域との間の領域の重なり比率（例えば、以下の式（２））に基づいて、第３の操作対象の候補を選択する。以下の式（２）では、第１の操作対象の領域との間で重なる領域の面積と第２の操作対象の領域との間で重なる領域の面積との和から、第１の操作対象の領域と第２の操作対象の領域とが重なる領域の面積が減算される。操作対象の領域全体において、第１の操作対象の領域と第２の操作対象の領域とが重なる領域の面積について重複して計算されてしまうことを避けるためである。
【００７７】
重なり比率＝（ａ＋ｂ−ｃ）／重なる領域を有する操作対象の領域全体の面積    （２）
ａ：第１の操作対象の領域との間で重なる領域の面積
ｂ：第２の操作対象の領域との間で重なる領域の面積
ｃ：操作対象の領域全体における、第１の操作対象の領域と第２の操作対象の領域との間で重なる領域の面積
【００７８】
そして、選択部２８は、算出した重なり比率と閾値とに基づいて、重なり比率が閾値より大きい操作対象を第３の操作対象の候補として選択する。
【００７９】
次に、選択部２８は、第１の操作対象に対して付与された属性と対応する属性を有する第３の操作対象の候補を、第３の操作対象として選択する。
【００８０】
そして、選択部２８は、第１の操作対象と選択部２８によって選択された第２の操作対象及び第３の操作対象とを表示画面に一覧表示するように制御する。
【００８１】
次に、第２の実施形態に係る情報処理システム１０の作用について説明する。表示装置１２の表示部１６は、表示制御部２０の制御に応じて表示画面を表示する。そして、表示装置１２の受付部１８は、ユーザから入力される操作情報を受け付ける。表示制御部２０は、受付部１８によって受け付けた操作情報を情報処理装置１４へ逐次出力する。そして、情報処理装置１４の情報制御部２２が、表示装置１２から出力された操作情報を逐次取得し、操作情報を取得部２４へ出力する。そして、情報処理装置１４は、図１８に示す情報処理を実行する。以下、各処理について詳述する。
【００８２】
ステップＳ１００〜ステップＳ１１４は第１の実施形態と同様に実行される。
【００８３】
ステップＳ２００において、選択部２８は、上記ステップＳ１０４で検出された第１の操作対象の領域又は上記ステップＳ１１４で選択された第２の操作対象の領域との間で重なる領域を有する、操作対象を特定する。
【００８４】
ステップＳ２０１において、選択部２８は、上記ステップＳ２００での特定結果に基づいて、第３の操作対象として選択可能な操作対象が存在するか否かを判定する。選択可能な操作対象が存在する場合には、ステップＳ２０２へ進む。一方、第３の操作対象として選択可能な操作対象が存在しない場合には、ステップＳ２０８へ移行する。なお、第３の操作対象として選択可能な操作対象とは、上記ステップＳ１０４で検出された第１の操作対象の領域又は上記ステップＳ１１４で選択された第２の操作対象の領域との間で重なる領域を有する操作対象である。
【００８５】
ステップＳ２０２において、選択部２８は、第１の操作対象の領域又は第２の操作対象の領域と、上記ステップＳ２００で特定された操作対象の領域との間の重なり比率を、上記式（２）に従って算出する。
【００８６】
ステップＳ２０４において、選択部２８は、上記ステップＳ２０２で算出された重なり比率と閾値とに基づいて、上記ステップＳ２００で特定された操作対象のうちの、重なり比率が閾値より大きい操作対象を第３の操作対象の候補として選択する。
【００８７】
ステップＳ２０６において、選択部２８は、ステップＳ１１２で設定された検索属性と一致する属性を有する第３の操作対象の候補を、第３の操作対象として選択する。以後、上記ステップＳ２０２と、上記ステップＳ２０４と、上記ステップＳ２０６とを、第３の操作対象として選択可能な操作対象がなくなるまで繰り返す。
【００８８】
ステップＳ２０８において、情報制御部２２は、上記ステップＳ１０４で検出された第１の操作対象を取得する。また、情報制御部２２は、上記ステップＳ１１４で選択された第２の操作対象を取得する。また、情報制御部２２は、上記ステップＳ２０６で選択された第３の操作対象を取得する。そして、情報制御部２２は、第１の操作対象と第２の操作対象と第３の操作対象とが、表示装置１２の表示部１６の表示画面に一覧表示されるように制御する制御信号を生成する。
【００８９】
ステップＳ１１８において、情報制御部２２は、上記ステップＳ１１６で生成された制御信号を表示装置１２へ出力する。
【００９０】
以上説明したように、第２の実施形態に係る情報処理装置は、第２の操作対象を表す領域との間の領域の重なり比率に基づいて、第１の操作対象及び前記第２の操作対象とは異なる第３の操作対象を選択する。そして、情報処理装置は、第１の操作対象と第２の操作対象及び前記第３の操作対象とを表示画面に一覧表示するように制御する。これにより、第２の操作対象によって埋もれている操作対象であっても、一覧表示させることができる。
【００９１】
なお、上記では、表示プログラム及び情報処理プログラムの各々が記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。
【００９２】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【００９３】
次に、上記実施形態の変形例を説明する。
【００９４】
上記実施形態では、ユーザからの見え方に関する第１の操作対象との間の関係の一例として、第１の操作対象を表す領域との間の領域の重なり比率の例を説明し、操作対象の向きは属性として付与されている場合を例に説明したがこれに限定されるものではない。例えば、操作対象の向きについては、表示画面の座標系に応じて操作対象の向きが逐次検出され、検出された操作対象の向きに基づいて、第１の操作対象が表示されている向きと対応する向きで表示されている第２の操作対象を選択するようにしてもよい。
【００９５】
また、上記実施形態では、第１の操作対象を表す領域との間の領域の重なり比率及び第１の操作対象に対して付与された属性と対応する属性に応じて、第２の操作対象を選択する場合を例に説明したが、これに限定されるものではない。例えば、第１の操作対象を表す領域との間の領域の重なり比率及び第１の操作対象に対して付与された属性と対応する属性の何れか一方に応じて、第２の操作対象を選択するようにしてもよい。また、重なり比率に応じて選択された操作対象、及び属性に応じて選択された操作対象の両方をそれぞれ第２の操作対象として選択するようにしてもよい。なお、属性に応じて選択された操作対象のみを第２の操作対象とする場合には、例えば、第１の操作対象とは重なっていないが、遠くにあって届かない位置に配置されている操作対象についても、第２の操作対象として選択することが可能になる。
【００９６】
また、上記第２の実施形態では、第１の操作対象を表す領域及び第２の操作対象を表す領域との間の領域の重なり比率に基づいて、第３の操作対象を選択する場合を例に説明したが、これに限定されるものではない。例えば、第２の操作対象を表す領域との間の領域の重なり比率のみに基づいて、第３の操作対象を選択するようにしてもよい。
【００９７】
上記実施形態では、所定の操作の一例である第１の操作として、ユーザＡのタッチ操作が操作対象の外から入り操作対象の外へ抜けるようなストローク操作を検出する場合を例に説明したが、これに限定されるものではない。例えば、図１９に示されるように、ユーザＡは、操作対象Ｘを所定時間タッチし続ける操作を第１の操作として検出してもよい。
【００９８】
以上の各実施形態に関し、更に以下の付記を開示する。
【００９９】
（付記１）
表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出する検出部と、
前記検出部によって検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択する選択部と、
前記検出部によって検出された前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する制御部と、
を備える情報処理装置。
【０１００】
（付記２）
前記選択部は、前記第１の操作対象との間の表示関係に基づいて、前記第２の操作対象を選択する、
付記１に記載の情報処理装置。
【０１０１】
（付記３）
前記選択部は、前記第１の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第２の操作対象を選択する、
付記２に記載の情報処理装置。
【０１０２】
（付記４）
前記選択部は、更に、前記第２の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第１の操作対象及び前記第２の操作対象とは異なる第３の操作対象を選択し、
前記制御部は、前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象及び前記第３の操作対象とを前記表示画面に一覧表示するように制御する、
付記３に記載の情報処理装置。
【０１０３】
（付記５）
前記選択部は、前記第１の操作対象が表示されている向きと対応する向きで表示されている前記第２の操作対象を選択する、
付記２〜付記４の何れか１項に記載の情報処理装置。
【０１０４】
（付記６）
前記選択部は、前記第１の操作対象に対して付与された属性と対応する属性を有する前記第２の操作対象を選択する、
付記１〜付記５の何れか１項に記載の情報処理装置。
【０１０５】
（付記７）
前記選択部は、前記検出部によって複数の前記第１の操作対象が検出された場合、複数の前記第１の操作対象の前記属性の和集合を算出し、前記和集合に含まれる前記属性と対応する属性を有する前記第２の操作対象を選択する、
付記６に記載の情報処理装置。
【０１０６】
（付記８）
表示画面を表示する表示部、及び
前記表示部の前記表示画面に配置されている複数の操作対象に対する操作を受け付ける受付部
を備える表示装置と、
前記表示装置の前記受付部によって受け付けられた前記操作のうちの所定の操作により特定された第１の操作対象を検出する検出部、
前記検出部によって検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択する選択部、及び
前記検出部によって検出された前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象とを前記表示画面に一覧表示するように前記表示装置を制御する制御部
を備える情報処理装置とを含む情報処理システム。
【０１０７】
（付記９）
前記選択部は、前記第１の操作対象との間の表示関係に基づいて、前記第２の操作対象を選択する、
付記８に記載の情報処理システム。
【０１０８】
（付記１０）
前記選択部は、前記第１の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第２の操作対象を選択する、
付記９に記載の情報処理システム。
【０１０９】
（付記１１）
前記選択部は、更に、前記第２の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第１の操作対象及び前記第２の操作対象とは異なる第３の操作対象を選択し、
前記制御部は、前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象及び前記第３の操作対象とを前記表示画面に一覧表示するように制御する、
付記１０に記載の情報処理システム。
【０１１０】
（付記１２）
前記選択部は、前記第１の操作対象が表示されている向きと対応する向きで表示されている前記第２の操作対象を選択する、
付記９〜付記１１の何れか１項に記載の情報処理システム。
【０１１１】
（付記１３）
前記選択部は、前記第１の操作対象に対して付与された属性と対応する属性を有する前記第２の操作対象を選択する、
付記８〜付記１２の何れか１項に記載の情報処理システム。
【０１１２】
（付記１４）
前記選択部は、前記検出部によって複数の前記第１の操作対象が検出された場合、複数の前記第１の操作対象の前記属性の和集合を算出し、前記和集合に含まれる前記属性と対応する属性を有する前記第２の操作対象を選択する、
付記１３に記載の情報処理システム。
【０１１３】
（付記１５）
表示画面に配置されている複数の操作対象に対する所定の操作により特定された第１の操作対象を検出し、
検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択し、
検出された前記第１の操作対象と、選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する、
処理をコンピュータが実行することを特徴とする情報処理方法。
【０１１４】
（付記１６）
前記操作対象を選択する際に、前記第１の操作対象との間の表示関係に基づいて、前記第２の操作対象を選択する、
付記１５に記載の情報処理方法。
【０１１５】
（付記１７）
前記操作対象を選択する際に、前記第１の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第２の操作対象を選択する、
付記１６に記載の情報処理方法。
【０１１６】
（付記１８）
前記操作対象を選択する際に、更に、前記第２の操作対象を表す領域との間の領域の重なり比率に基づいて、前記第１の操作対象及び前記第２の操作対象とは異なる第３の操作対象を選択し、
前記制御部は、前記第１の操作対象と、前記選択部によって選択された前記第２の操作対象及び前記第３の操作対象とを前記表示画面に一覧表示するように制御する、
付記１７に記載の情報処理方法。
【０１１７】
（付記１９）
表示画面に表示されている操作対象に対するユーザの操作情報を取得し、
取得された前記操作情報に基づいて、所定の操作を表す第１の操作を検出し、該第１の操作により特定された操作対象を表す第１の操作対象を検出し、
検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択し、
検出された前記第１の操作対象と、選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する、
処理をコンピュータに実行させるための情報処理プログラム。
【０１１８】
（付記２０）
表示画面に表示されている操作対象に対するユーザの操作情報を取得し、
取得された前記操作情報に基づいて、所定の操作を表す第１の操作を検出し、該第１の操作により特定された操作対象を表す第１の操作対象を検出し、
検出された前記第１の操作対象との間の関係に基づいて、前記表示画面に配置されている、前記第１の操作対象とは異なる操作対象から、第２の操作対象を選択し、
検出された前記第１の操作対象と、選択された前記第２の操作対象とを前記表示画面に一覧表示するように制御する、
処理をコンピュータに実行させるための情報処理プログラムを記憶した記憶媒体。
【符号の説明】
【０１１９】
１０   情報処理システム
１２   表示装置
１４   情報処理装置
１６   表示部
１８   受付部
２０   表示制御部
２２   情報制御部
２４   取得部
２６   初期操作対象検出部
２８   選択部
５０，８０    コンピュータ
５１，８１    ＣＰＵ
５３，８３    記憶部
５９，８９    記録媒体
６０   表示プログラム
９０   情報処理プログラム
Ａ，Ｂ，Ｃ，Ｄ       ユーザ
Ｔ     操作
Ｖ     表示画面
Ｘ，Ｘ１，Ｘ２，Ｘ３，ＸＡ，ＸＢ，ＸＣ，ＸＤ     操作対象
【図１】
2018195025.tif 000003
【図２】
2018195025.tif 000004
【図３】
2018195025.tif 000005
【図４】
2018195025.tif 000006
【図５】
2018195025.tif 000007
【図６】
2018195025.tif 000008
【図７】
2018195025.tif 000009
【図８】
2018195025.tif 000010
【図９】
2018195025.tif 000011
【図１０】
2018195025.tif 000012
【図１１】
2018195025.tif 000013
【図１２】
2018195025.tif 000014
【図１３】
2018195025.tif 000015
【図１４】
2018195025.tif 000016
【図１５】
2018195025.tif 000017
【図１６】
2018195025.tif 000018
【図１７】
2018195025.tif 000019
【図１８】
2018195025.tif 000020
【図１９】
2018195025.tif 000021