(57)【要約】【課題】所望の対象に関連した対象情報をユーザが意図した領域に表示させることを可能にする。【解決手段】対象と対象に関連する対象情報を画面に表示する情報処理装置は、ユーザによって指示された画面上の指示位置を検出し、検出された指示位置に基づいて、画面に表示されている対象からユーザにより指示された対象を認識する。また、情報処理装置は、検出された画面上の指示位置が描く軌跡に基づいて、当該画面上における指示された領域を認識する。そして、情報処理装置は、上記の指示された対象の対象情報を検索し、上記の指示された領域に、検索された対象情報を表示する。【選択図】  図２
2011090468.tif 000002
【特許請求の範囲】
【請求項１】
対象と対象に関連する対象情報を画面に表示する情報処理装置であって、
前記画面における、ユーザによって指示された指示位置を検出する検出手段と、
前記検出手段により検出された指示位置に基づいて、前記画面に表示されている対象からユーザにより指示された対象を認識する対象認識手段と、
前記検出手段により検出された指示位置が描く軌跡に基づいて指示された領域を認識する領域認識手段と、
前記対象認識手段により認識された前記指示された対象の対象情報を検索する検索手段と、
前記領域認識手段により認識された前記指示された領域に、前記検索手段により検索された対象情報を表示する表示手段とを備えることを特徴とする情報処理装置。
【請求項２】
前記対象認識手段と前記領域認識手段は、前記検出手段で検出された指示位置が描く軌跡から、前記指示された対象と前記指示された領域を認識することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記指示された対象の表示形態を変更して明示する明示手段を更に備えることを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
一つの対象が複数種類の対象情報を有し、
前記指示された対象と、前記指示された対象の認識に寄与した指示位置との位置関係に基づいて、表示する対象情報の種類を判断する種類判断手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記種類判断手段は、前記指示された対象の内部に前記寄与した指示位置がある場合と、前記指示された対象の外部に前記寄与した指示位置がある場合とで、表示する対象情報の種類を切替えることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
一つの対象が複数種類の対象情報を有し、
前記指示された領域の大きさ、又は、形状に基づいて、表示する対象情報の種類を判断する種類判断手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項７】
前記表示手段は、表示すべき対象情報の量が前記指示された領域に表示できる量を超える場合に、文字の大きさを縮小する、又は、ユーザ操作に応じて対象情報における表示個所を移動させるユーザインターフェースを提供する、又は、それらを組み合わせることを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記指示された領域に消去ボタンを配置し、前記消去ボタンの操作に応じて前記指示された領域における対象情報の表示を消去する手段と、
消去を表すジェスチャの入力に応じて前記指示された領域における対象情報の表示を消去する手段と、
前記指示された領域へ対象情報を表示した後、新たに指示位置が検出された場合に前記指示された領域における対象情報の表示を消去する手段と、
前記指示された領域に対象情報を表示してから所定の時間が経過した場合に前記指示された領域における対象情報の表示を消去する手段と、前記指示された領域への指示位置の検出に応じて消去指示を含むメニューを提示し、前記メニューから消去が選択されたことにより前記指示された領域における対象情報の表示を消去する手段と、
の少なくともいずれかの手段を更に備えることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記指示された領域に対象情報を表示している間に前記指示された対象を変更する指示がなされた場合に、前記指示された領域の表示を変更した後の指示された対象に関連する対象情報とする変更手段を更に備えることを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
一つの対象が複数種類の対象情報を有し、
前記指示された領域の大きさを変更する指示に応じて表示する対象情報の種類を変更する手段と、
前記指示された領域の形状を変更する指示に応じて表示する対象情報の種類を変更する手段と、
前記指示された領域に変更ボタンを配置し、前記変更ボタンへのユーザ操作に応じて表示する対象情報の種類を変更する手段と、
の少なくともいずれかを更に備えることを特徴とする請求項１に記載の情報処理装置。
【請求項１１】
対象と対象に関連する対象情報を画面に表示する情報処理装置の制御方法であって、
前記画面における、ユーザによって指示された指示位置を検出する検出工程と、
前記検出工程で検出された指示位置に基づいて、前記画面に表示されている対象からユーザにより指示された対象を認識する対象認識工程と、
前記検出工程で検出された指示位置が描く軌跡に基づいて指示された領域を認識する領域認識工程と、
前記対象認識工程で認識された前記指示された対象の対象情報を検索する検索工程と、
前記領域認識工程で認識された前記指示された領域に、前記検索工程で検索された対象情報を表示する表示工程とを有することを特徴とする情報処理装置の制御方法。
【請求項１２】
請求項１１に記載された情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面に表示された対象が持つ対象情報の表示を指示する情報処理装置及びその制御方法に関する。
【背景技術】
【０００２】
一般的なアプリケーション上に存在するアイコンや文字列などの対象は、それ自身が持つ機能や操作方法の説明、又はそれ自身の内容といった対象情報を有している。その対象情報を操作者の指示で表示する技術が数多く存在する。例えば次の（１）〜（５）が挙げられる。
（１）マイクロソフト社、Office（登録商標）の「ポップヒント」
（２）GUIを搭載したOS上での「アイコンのダブルクリック」
（３）マイクロソフト社、Windows（登録商標）のファイルブラウザの「フォルダボタン」
（４）特許文献１
（５）特許文献２
【０００３】
（１）の「ポップヒント」では、一時的にマウスポインタをヘルプ表示指示待ち状態に変化させて、対象の位置でクリックするとその対象のヘルプ情報が当該対象の近くに表示される。（２）の「アイコンのダブルクリック」は、通常アイコンの実行を意味しており、アイコンの種類に応じたアプリケーションが起動し、ダブルクリックしたアイコンの内容が表示される。（３）の「フォルダボタン」では、ファイルブラウザのツールバーにある該当ボタンをクリックすると、通常ファイルブラウザの左端に現フォルダと周辺のフォルダの関係を階層構造で表したツリーが表示される。（４）の特許文献１では、ハイパーリンクで互いに関連付けられた電子文書をウェブブラウザのようなソフトウェアで閲覧する際に、リンク先ページへのアンカーにカーソルが停留するとリンク先ページの情報が現在のページに浮び上がって表示される。（５）の特許文献２では、画面の上下移動や拡大縮小機能を持ったファンクションカーソルが画面上に表示されており、それを指示することで所望の操作結果が表示される。
【０００４】
しかし、上記（１）〜（５）には、対象情報を表示させる前には見えていた有益な情報が、表示した対象情報で隠れてしまったり、画面の切り替わりのために見えなくなったりするという問題が起こり得た。上記（２）、（３）の場合には、対象情報を表示した後に、その表示を移動したりその表示の大きさを調整したりすることで上記問題を回避できるが、対象情報を表示するたびにそのような調整をするのは操作者にとって大きな負担となる。
【０００５】
上記課題に関して、特許文献３には、有益な情報が隠れない位置に対象情報を表示する技術が記載されている。これは入力フィールド上にあるカーソルに重ならない場所にヘルプ表示領域を割り当てる技術である。しかし、特許文献３では対象情報の表示先位置の指定を操作者が行うことができないため、対象情報が操作者にとって見易い位置に表示されるかはわからないという問題が存在する。その問題を解決する方法として、手書きで認識したコマンドの実行結果の表示先を指定する特許文献４の技術が挙げられる。これは特定の処理を実行する手書きコマンドに続けて結果の表示先を書くことで決定する技術である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特登録０３７８０９７６号公報
【特許文献２】特登録０３０２０８５１号公報
【特許文献３】特開平０３−２６６１１５号公報
【特許文献４】特開２００７−０４２０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献４によるコマンド実行結果の表示先位置の指定は方向のみで、対象からの距離や大きさは操作者が指定できない。そのため、対象に関連する対象情報を表示させた場合に、ユーザが意図したとおりに対象情報を表示させて、必要な表示が対象情報の表示によって隠れないようにすることはできない。
【０００８】
本発明は上記問題を鑑みてなされたものであり、その目的は、所望の対象に関連した対象情報をユーザが意図した領域に表示させることを可能にすることである。
【課題を解決するための手段】
【０００９】
上記目的を達成するための本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
対象と対象に関連する対象情報を画面に表示する情報処理装置であって、
前記画面における、ユーザによって指示された指示位置を検出する検出手段と、
前記検出手段により検出された指示位置に基づいて、前記画面に表示されている対象からユーザにより指示された対象を認識する対象認識手段と、
前記検出手段により検出された指示位置が描く軌跡に基づいて指示された領域を認識する領域認識手段と、
前記対象認識手段により認識された前記指示された対象の対象情報を検索する検索手段と、
前記領域認識手段により認識された前記指示された領域に、前記検索手段により検索された対象情報を表示する表示手段とを備える。
【発明の効果】
【００１０】
本発明によれば、所望の対象に関連した対象情報をユーザが意図した領域に表示させることが可能になる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る情報処理装置のハードウェア構成例を示すブロック図。
【図２】実施形態１における情報処理装置の機能ブロック図。
【図３】実施形態１における対象情報表示処理を示すフロー図。
【図４】実施形態１における対象情報ＤＢのデータ構成例を示す図。
【図５】実施形態１による対象情報表示指示と対象情報表示結果を示す図。
【図６】実施形態２における情報処理装置の機能ブロック図。
【図７】実施形態２における対象情報表示処理を示すフロー図。
【図８】実施形態２による対象情報表示指示と対象情報表示結果を示す図。
【図９】実施形態３における情報処理装置の機能ブロック図。
【図１０】実施形態３による対象情報表示処理のフロー図。
【図１１】実施形態３における対象情報ＤＢのデータ構成例を示す図。
【図１２】実施形態３による対象情報表示指示と対象情報表示結果を示す図。
【図１３】実施形態４における情報処理装置の機能ブロック図。
【図１４】実施形態４による対象情報表示処理を示すフロー図。
【図１５】実施形態４における対象情報ＤＢのデータ構成例を示す図。
【図１６】実施形態４による対象情報表示指示と対象情報表示結果を示す図。
【図１７】実施形態５による対象情報表示指示と対象情報表示結果を示す図。
【図１８】実施形態６における情報処理装置の機能ブロック図。
【図１９】実施形態６による対象情報表示処理を示すフロー図。
【図２０】実施形態６における領域の消去方法を説明する図。
【図２１】実施形態７による対象情報表示処理を示すフロー図。
【図２２】実施形態７における対象情報ＤＢのデータ構成例を示す図。
【図２３】実施形態７における、対象情報表示結果の変更操作例を示す図。
【図２４】実施形態７における、対象情報表示結果の変更操作例を示す図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。尚、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、本実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００１３】
まず、各実施形態に適用可能な情報処理装置のハードウェア構成例について、図１を参照して説明する。図１において、データ入力部１０１は各種データを入力する他、ユーザによる画面上の指示位置を入力する。ＣＰＵ１０２は、各種処理のための演算、論理判断などを行い、バス１０６に接続された各構成要素を制御する。出力部１０３はデータを出力する構成要素であり、ＬＣＤやＣＲＴなどのディスプレイや、プリンタなどの記録装置がある。プログラムメモリ１０４は、後述するフローチャートの処理手順を含むＣＰＵ１０２による制御のためのプログラムを格納する。なお、プログラムメモリ１０４は、ＲＯＭであってもよいし、外部記憶装置などからプログラムがロードされるＲＡＭであってもよい。すなわち、後述する各動作は、コンピュータ読み取り可能な記憶媒体であるプログラムメモリ１０４に格納されたプログラムをＣＰＵ１０２が実行することにより実行される。データメモリ１０５は、各種処理で生じたデータを格納する。データメモリ１０５は、例えば、ＲＡＭとするが、不揮発な外部記憶媒体から、処理に先立ってロードしておく、あるいは必要があるごとに参照するものとする。バス１０６は、ＣＰＵ１０２の制御の対象とする各構成要素を指示するアドレス信号、各構成要素を制御するためのコントロール信号、各構成要素間で相互にやりとりされるデータの転送を行う。
【００１４】
［実施形態１］
本実施形態では図２〜図５を用いて、軌跡で指示された対象と領域を認識し、対象情報を領域に表示する例について説明する。
【００１５】
図２に示される、実施形態１における情報処理装置の各機能は、プログラムメモリ１０４に記憶されたプログラムとＣＰＵ１０２の協働によって実現される。なお、図２の機能ブロックに示される各機能は、後述の実施形態において、全てが必須の機能とは限らず、また、図示したもの以外の機能を有しても構わない。取込部２０１は、操作者による画面上への指示位置の入力及び連続する指示位置により描かれた軌跡を取り込む。ここで、画面上へ指示位置を入力するための構成としては、タッチパネルや、マウス等のポインティングデバイスが挙げられる。対象認識部２０３は、取込部２０１が取り込んだ軌跡２０２を元に操作者が指示した認識対象２０４を認識する。領域認識部２０５は、取込部２０１が取り込んだ軌跡２０２を元に操作者が指示した画面上の認識領域２０６を認識する。検索部２０７は、認識対象２０４を元に対象情報ＤＢ２０８から対象情報２０９を検索する。また、表示部２１０は、検索部２０７が検索した対象情報２０９を、領域認識部２０５が認識した認識領域２０６に表示する。
【００１６】
次に、入力された軌跡による対象情報表示処理を図３を用いて説明する。Ｓ３０１において、取込部２０１は、操作者が画面上に描いた軌跡を取り込む。取込部２０１は、例えば、操作者がタッチパネルにスタイラスで書いた線に対応する座標値を読み取りメモリに記録するといった、公知の手段を用いる。
【００１７】
Ｓ３０２において、対象認識部２０３は、取り込んだ軌跡２０２を元に、情報を表示すべき対象を認識する。軌跡２０２から対象を特定する方法として、対象を指示するの寄与する画面上の指示位置（以下、対象指示点）として軌跡２０２の尖点を用いる。尖点としては、例えば、吹き出しにおけるとんがり部分が挙げられる。もちろん、軌跡２０２の端点を対象指示点として用いてもよい。対象認識部２０３は、対象指示点の座標位置に存在する対象を、処理の対象として認識する。もちろん、対象指示点の座標位置からの距離が特定の閾値以内なら対象として認識するようにしてもよい。更に、対象指示点の座標位置からの距離が特定の閾値以内の対象が複数存在する場合、距離が最も近い対象を、処理の対象として認識するようにしてもよい。もちろん、対象指示点とその近辺の軌跡の一点との延長線上で最も近い対象を、処理の対象として認識するようにしてもよい。更に、対象指示点が複数存在する場合、対象指示点の個数分の対象を、処理の対象として認識する。入力された軌跡から複数の対象指示点が検出された場合には、それらから最も適切な対象指示点を一つだけ選び出し、それが指す対象を、処理の対象として認識するようにしてもよい。複数の対象指示点から対象指示点を一つだけに選択する方法としては、書かれた順番が軌跡の始点に最も近いものを選択する、尖度が最も大きいものを選択することなどが挙げられる。Ｓ３０３では、Ｓ３０２で何らかの対象が認識されたか判定する。その結果、ＹＥＳの場合はＳ３０４に進み、ＮＯの場合は情報を表示すべき対象が発見できなかったとして処理を終了する。
【００１８】
Ｓ３０４において、領域認識部２０５は、取り込んだ軌跡２０２を元に、対象情報を表示する領域を認識する。軌跡２０２から領域を特定する方法としては、例えば、軌跡の連続座標を始点から終点まで順に接続し、最後に終点から始点までを接続して形作られる閉曲線の内部を用いる。更に、その閉曲線を平滑化してもよい。また、始点と終点の距離が特定の閾値より大きい場合は領域として認識しないようにしてもよいし、領域の面積が特定の閾値以下の場合は領域として認識しないようにしてもよい。また、Ｓ３０２において対象認識部２０３により複数の対象が認識された場合は、認識した領域を対象の個数分に分割して用いるようにしてもよい。ここで、領域を分割する方法としては、当該領域内を対象毎に割り当て、その境界を点線などで明示して判別できるようにする。もちろん、対象の個数分の領域に区切り、区切った領域毎に対象指示点と接続するようにしてもよい。すなわち、区切った領域の個数分の吹き出しが生成される。Ｓ３０５では、Ｓ３０４で何処かに領域が認識されたかが判定される。その結果、ＹＥＳの場合はＳ３０６に進み、ＮＯの場合は対象情報を表示する領域が発見できなかったとして処理を終了する。
【００１９】
Ｓ３０６において、検索部２０７は、Ｓ３０２で認識された認識対象２０４の対象情報２０９を対象情報ＤＢ２０８から検索する。対象情報ＤＢ２０８のデータ構成例は図４に示すとおりであり、対象を特定する対象名と、その対象に関連した対象情報が関連付けて登録されている。なお、検索部２０７には、認識対象２０４の対象名をキーとしてデータベースの検索を行うといった、公知の構成を用いることができる。Ｓ３０７では、Ｓ３０６で検索して対象情報が発見されたかが判定される。その結果、ＹＥＳの場合はＳ３０８に進み、ＮＯの場合は対象情報が発見できなかったとして処理を終了する。
【００２０】
Ｓ３０８において、表示部２１０は、Ｓ３０４で認識された画面上の認識領域２０６に、Ｓ３０６で検索された対象情報２０９を表示して処理を終了する。表示部２１０には、対象情報２０９の内容によって認識領域２０６で情報の表示に使用する範囲を決定するといった公知の手法を用いることができる。具体的には、対象情報が写真のような矩形の場合には領域の矩形の範囲を使用し、対象情報が文章の場合には領域の文字を配置できる範囲を使用する。
【００２１】
検索部２０７により参照される複数の対象の対象情報を格納した対象情報ＤＢ２０８において、図４に示すように、各対象は、指示対象との一致を判断するための対象名データと、指示対象が持つ対象情報データが指定されている。対象４０１と対象４０２はアプリケーション上にあるアイコンを表し、対象情報としてアイコンの説明文が定義されている。また、対象４０３と対象４０４は画像ファイルを表し、対象情報として対象画像ファイルの画像データが定義されている。また、対象４０５と対象４０６はフォルダを表し、対象情報として対象フォルダ内にある全ファイルが定義されている。
【００２２】
本実施形態における軌跡による対象情報表示指示と対象情報表示結果を、ファイルブラウザを例として、図５を用いて説明する。（ａ）に示すように、ファイルブラウザのウィンドウ５０１の上部にはファイルブラウザ名５０２とウィンドウを消去するボタン５０３が存在する。更に、現フォルダの上位フォルダに移動するＵＰボタン５０４と、現フォルダから既に移動したことのある次のフォルダに進むＮＥＸＴボタン５０５と、現フォルダから既に移動したことのある前のフォルダに戻るＢＡＣＫボタン５０６が存在する。また、現フォルダには画像ファイル５０７とフォルダ５０８が存在する。（ｂ）は、（ａ）の状態から操作者がＵＰボタン５０４の上に対象指示点がある軌跡５０９が入力された状態を表している。（ｃ）は、（ｂ）の状態からＵＰボタン５０４が情報を表示すべき対象として認識され、軌跡５１０で囲まれる領域が対象情報を表示すべき領域として認識され、当該領域に対応する対象情報５１１が表示された結果を表している。
【００２３】
また、（ｄ）は、（ａ）の状態から操作者が画像ファイル５０７の上に対象指示点がある軌跡が入力されて、対象情報である画像データ６０２が表示された状態を表している。（ｅ）は、（ａ）の状態から操作者がフォルダ５０８の上に対象指示点がある軌跡が入力されて、対象情報である対象フォルダ内にある全ファイル６０３が表示された状態を表している。
【００２４】
なお、本実施形態において、軌跡は対象情報の表示指示のみに用いているが、他の手段に用いてもよい。つまり、軌跡を対象情報の表示指示やドローなどに認識する軌跡認識処理を備えてもよい。更に、軌跡が対象情報の表示指示などのコマンド、又は、ドローなのかを判断するために、経過時間を用いてもよい。つまり、軌跡を書いてから次の軌跡が書かれるまでに経過した時間が特定の閾値以下ならドロー、閾値より大きければコマンドと判断するようにしてもよい。もちろん、軌跡を書いてから次の軌跡が書かれるまでに経過した時間が特定の閾値以下ならコマンド、閾値より大きければドローと判断するようにしてもよい。
【００２５】
また、上記実施形態では、対象情報を表示させるための軌跡の描画として吹き出しの形状を示したが、これに限られるものではない。例えば、図５の（ｆ）に示されるような形状の軌跡６０４を描画してもよい。この場合、軌跡の解放された端点が対象指示点として認識され、他方の端点により形成された閉領域が対象情報を表示するための領域として認識される。また、連続した軌跡により対象と領域を決定したが、対象指示点を示すための描画（或いは指示位置の指定）と、対象情報を表示するための領域を示すための描画を不連続にしてもよい。この場合、例えば、対象を囲む軌跡により対象を特定し、これに続いて描画された閉領域に対応する対象情報を表示するようにすればよい。もちろん、操作者の意図に反して不連続な軌跡となってしまった場合に、不連続な軌跡を連続な軌跡であると解釈して対象と領域を特定するようにしてもよい。また、本実施形態では、軌跡を書く（入力）と同時に軌跡は表示されるものとするが、軌跡を書き終わって初めて軌跡を表示するようにしてもよいし、軌跡を表示しなくてもよい。軌跡を表示しない場合は、例えば軌跡５１０によって示される吹き出しを予め規定された図形とともに提示することになる。
【００２６】
以上説明したように、実施形態１によれば、対象情報を表示させる領域の位置や大きさをユーザが任意に指示できるので、画面に表示中の重要な情報を隠すことなく対象情報を表示させることができる。このため、対象情報の表示後に対象情報表示領域の移動や大きさの調整を行うといった手間を省略できる。また、実施形態１によれば、情報を見たい対象の指示と、情報を表示する領域の指示を、一回の軌跡の入力で行うことができ、操作性が向上する。また、軌跡として所謂「吹き出し」の形を用いれば、その領域に対象情報が表示されることは操作者にとって直感的であり、わかり易い。
【００２７】
［実施形態２］
実施形態２では、図６〜図８を用いて、対象の表示形態を変更して対象を明示する例について説明する。
【００２８】
実施形態２における情報処理装置の機能ブロックの構成は、実施形態１（図２）に示した機能ブロックの構成に加えて、認識対象２０４の表示形態を変更して対象を明示する明示部７０１を有する。
【００２９】
次に、実施形態２における軌跡による対象情報表示処理を、図７を用いて説明する。なお、図７において実施形態１（図３）と同様の処理を行うステップには、実施形態１と同一のステップ番号を付してある。Ｓ３０７において対象の情報が検索されたと判定された場合に、処理はＳ８０１に進む。Ｓ８０１において、明示部７０１は、Ｓ８０２で認識された認識対象２０４の画面における表示形態を変更することにより、指定された対象を明示する。なお、明示部７０１は、対象の背景色を変更したり、対象の縁を囲んだりといった、所謂ハイライトに関する公知の手法を用いて認識対象２０４の明示を行う。Ｓ８０９において、表示部７０２は、実施形態１で説明した表示処理に加えて、認識対象２０４の表示形態を明示部７０１によって指示された形態に変更する。
【００３０】
図８に、本実施形態における対象の表示形態を変更して対象を明示する一例を示す。図９では、図５の（ａ）の状態から操作者がＵＰボタン５０４の上に対象指示点がある軌跡を入力したことにより対象情報であるＵＰボタンの説明文が表示された状態を表している。対象であるＵＰボタン５０４の表示形態が枠付の網掛けのハイライト表示９０１に変更され、対象が明示されている。もちろん、ハイライト表示方法は色の変更でもよいし、それらの組み合わせでもよいことは上述のとおりである。
【００３１】
以上説明したように、実施形態２によれば、実施形態１の効果に加えて、情報をみたい対象の表示形態が変更され、明示されるので、ユーザの操作性をより向上させることができる。
【００３２】
［実施形態３］
実施形態３では図９〜図１２を用いて、対象と対象指示点の位置関係に対応した対象情報を領域に表示する例について説明する。
【００３３】
実施形態３による情報処理装置の機能ブロックを図９に示す。本実施形態の情報処理装置は、実施形態１（図２）に示した機能ブロックに加えて、取り込んだ軌跡２０２と認識した認識対象２０４を元に対象情報の種類１００２を判断する種類判断部１００１を有する。また、検索部１００３は、認識対象２０４に加え、種類判断部１００１が判断した対象情報の種類１００２を元に、対象情報ＤＢ１００４から対象情報２０９を検索する。
【００３４】
以下、図１０のフロー図を用いて、実施形態３における軌跡による対象情報表示処理を説明する。なお、図１０において実施形態１（図３）と同様の処理を行うステップには、実施形態１と同一のステップ番号を付してある。
【００３５】
Ｓ３０５において領域認識部２０５が領域を検出したと判定されると、処理はＳ１１０１に進む。Ｓ１１０１において、種類判断部１００１は、Ｓ３０２で認識された認識対象２０４と、Ｓ３０２で対象認識部２０３が検出した軌跡２０２における対象指示点との距離を算出する。認識対象２０４と、軌跡２０２の対象指示点との距離を特定する方法として、認識対象を形作る図形領域と対象指示点の座標を結ぶ最短の直線の長さを用いる。もちろん、認識対象を形作る図形の中心座標と対象指示点の座標を結ぶ直線の長さを用いてもよい。
【００３６】
Ｓ１１０２において、種類判断部１００１は、Ｓ１１０６で算出した距離を元に、軌跡２０２の対象指示点が認識対象２０４の内側に存在するか判定する。その結果、ＹＥＳの場合はＳ１１０８に進み、ＮＯの場合はＳ１１０９に進む。認識対象２０４を形作る図形領域と対象指示点の座標を結ぶ最短の直線の長さが０の場合は対象指示点が認識対象２０４の内側に存在すると判定し、０より大きい場合は対象指示点が認識対象２００４の外側に存在すると判定する。
【００３７】
Ｓ１１０３において、検索部１００３は、図１１に例示するように、一つの対象について複数種類の対象情報が登録された対象情報ＤＢ１００４から、認識対象２０４に関連する第一の情報を対象情報２０９として検索する。検索部１００３には、認識対象２０４の対象名をキーとしてデータベースの検索を行うといった公知の構成を用いることができる。Ｓ１１０４において、検索部１００３は、図１１に例示する内容を備えた対象情報ＤＢ１００４から、認識対象２０４の第二の情報を対象情報２０９として検索する。
【００３８】
Ｓ３０７では、Ｓ１１０３又はＳ１１０４で検索して対象情報が発見されたか判定する。その結果、ＹＥＳの場合はＳ３０８に進み、ＮＯの場合は対象情報が発見できなかったとして処理を終了する。Ｓ３０８において、表示部２１０は、Ｓ３０４で認識された認識領域２０６に、Ｓ１１０３又はＳ１１０４で検索された対象情報２０９を表示して処理を終了する。
【００３９】
検索部１００３により参照される複数の対象の対象情報を格納した、実施形態３による対象情報ＤＢ１００４のデータ構成例を図１１に示す。各対象は、指示対象との一致を判断するための対象名データと、指示対象が持つ対象情報として第一の情報データと第二の情報データが指定されている。対象１２０１と対象１２０２はアプリケーション上にあるアイコンを表し、対象情報として第一の情報データにはアイコンの機能の説明文が、第二の情報データにはアイコンの操作方法の説明文がそれぞれ定義されている。対象１２０３と対象１２０４は画像ファイルを表し、対象情報として第一の情報データには対象画像ファイルの画像データが、第二の情報データには対象画像ファイルの操作方法の説明文がそれぞれ定義されている。対象１２０５と対象１２０６はフォルダを表し、対象情報として第一の情報データには対象フォルダ内にある全ファイルが、第二の情報データには対象フォルダの操作方法の説明文がそれぞれ定義されている。
【００４０】
図１２に、図５の（ａ）に示したファイルブラウザを例とした、本実施形態における認識対象と対象指示点との位置関係と表示する対象情報の対応の一例を示す。図１２の（ａ）は、図５の（ａ）の状態から操作者がＵＰボタン５０４の内部に対象指示点がある軌跡を入力して対象情報であるＵＰボタンの機能の説明文１３０１（第一の情報）が表示された状態を表している。図１２の（ｂ）は、図５の（ａ）の状態から操作者がＵＰボタン５０４の外部に対象指示点がある軌跡を入力して対象情報であるＵＰボタンの操作方法の説明文１３０２（第二の情報）が表示された状態を表している。
【００４１】
以上のように、実施形態３によれば、入力した軌跡から特定された対象指示点の位置と、画面に表示されている対象との位置関係に応じて、当該対象に関する情報として表示される内容を変更させることができる。したがって、同一の対象に関して軌跡の入力操作により情報の表示を切り替えることができ、操作性が向上する。
【００４２】
［実施形態４］
本実施形態では図１３〜図１６を用いて、領域の大きさ、又は、形状に対応した対象情報を領域に表示する例について説明する。
【００４３】
実施形態４における情報処理装置の機能ブロックの構成は、図１３に示されるように、図２に示した構成に加えて、認識領域２０６を元に領域に表示すべき対象情報の粒度１４０２を判断する粒度判断部１４０１を有する。また、検索部１４０３は、認識対象２０４に加え、対象情報の粒度１４０２を元に対象情報ＤＢ１４０４から対象情報２０９を検索する。
【００４４】
次に、実施形態４における軌跡による対象情報表示処理を、図１４を用いて説明する。なお、図１４において実施形態１（図３）と同様の処理を行うステップには、実施形態１と同一のステップ番号を付してある。Ｓ１５０１において、粒度判断部１４０１は、Ｓ３０４で認識された認識領域２０６の大きさを算出する。認識領域２０６の大きさを特定する方法としては、例えば、領域の面積を用いることが挙げられる。Ｓ１５０２において、粒度判断部１４０１は、Ｓ１５０１で算出した領域の大きさが特定の閾値以下であるか判定する。その結果、ＹＥＳの場合はＳ１５０３に進み、ＮＯの場合はＳ１５０４に進む。Ｓ１５０３において、検索部１４０３は、図１５に例示するように、一つの対象情報に複数種類の対象情報が登録された対象情報ＤＢ１４０４から、認識対象２０４の第一の情報を対象情報２０９として検索する。なお、検索部１４０３には、認識対象２０４の対象名をキーとしてデータベースの検索を行うといった公知の構成を用いることができる。Ｓ１５０９では、検索部１４０３は、図１５に例示する内容を備えた対象情報ＤＢ１４０４から、認識対象２０４の第二の情報を対象情報２０９として検索する。
【００４５】
Ｓ３０７では、Ｓ１５０３又はＳ１５０４における検索で対象情報が発見されたかどうかが判定される。その結果、ＹＥＳの場合はＳ３０８に進み、ＮＯの場合は対象情報が発見できなかったとして処理を終了する。Ｓ３０８において、表示部２１０は、Ｓ３０４で認識された認識領域２０６に、Ｓ１５０３又はＳ１５０４で検索された対象情報２０９を表示して処理を終了する。
【００４６】
図１５は実施形態４の検索部１４０３により参照される複数の対象の対象情報を格納した対象情報ＤＢ１４０４のデータ構成例を示す図である。各対象は、指示対象との一致を判断するための対象名データと、指示対象が持つ対象情報として第一の情報データと第二の情報データが指定されている。ここで、第二の情報は、第一の情報よりも情報量が大きい。対象１６０１と対象１６０２はアプリケーション上にあるアイコンを表し、対象情報として第一の情報データにはアイコンの簡略な説明文が、第二の情報データにはアイコンの詳細な説明文がそれぞれ定義されている。対象１６０３と対象１６０４は画像ファイルを表し、対象情報として第一の情報データには対象画像ファイルの低画質の画像データが、第二の情報データには対象画像ファイルの高画質の画像データがそれぞれ定義されている。対象１６０５と対象１６０６はフォルダを表し、対象情報として第一の情報データには対象フォルダ内にある全フォルダが、第二の情報データには対象フォルダ内にある全ファイルがそれぞれ定義されている。
【００４７】
図１６は図５の（ａ）に示したファイルブラウザを例とした、実施形態４における対象情報表示領域の大きさと表示する対象情報の対応の一例を示す図である。図１６の（ａ）は、図５の（ａ）の状態から操作者がＵＰボタン５０４の上に対象指示点がある軌跡を入力して対象情報であるＵＰボタン５０４の簡略な説明文１７０１が表示された状態を表している。これは、入力された軌跡から認識された領域が予め設定された閾値以下であったため、情報量の少ない、第一の情報データであるアイコンの簡略な説明文が表示されている様子を示すものである。図１６の（ｂ）は、図５の（ａ）の状態から操作者がＵＰボタン５０４の上に対象指示点がある軌跡を入力して対象情報であるＵＰボタンの詳細な説明文１７０２が表示された状態を表している。これは、入力された軌跡から認識された領域が予め設定された閾値より大きかったため、情報量の多い第二の情報データであるアイコンの詳細な説明文が表示されている様子を示すものである。
【００４８】
なお、実施形態４において、領域の大きさを用いた場合を示したが、これに限らず、他の方法によってもよい。例えば、領域の形状を用いてもよい。領域の形状を特定する方法としては、領域を形作る閉曲線と予め用意しておいた複数の閉曲線のテンプレートとマッチングを行うといった、公知の手段を用いる。図１６の例に倣えば、領域の形状が円形に近い場合にはアイコンの簡略な説明文を表示し、矩形に近い場合にはアイコンの詳細な説明文を表示する、という具合である。
【００４９】
以上のように、実施形態４によれば、同一の対象に関して情報量の異なる複数の対象情報を用意しておき、入力軌跡により指定する領域の大きさや形状に応じて、適切な対象情報を選択し、表示するので、操作性が向上する。
【００５０】
［実施形態５］
実施形態４では、情報量の異なる対象情報を用意しておき、領域認識部２０５が認識した領域の大きさに応じて、対象情報を選択する構成を説明した。これに対して、実施形態５では、表示すべき対象情報の情報量が領域認識部２０５が認識した領域に表示できる分量を超える場合に、当該対象情報を当該領域に表示可能にする構成を説明する。なお、実施形態５における情報処理装置の機能ブロック図、対象情報表示処理のフロー図、及び複数の対象の対象情報を格納した対象情報ＤＢとしては、実施形態１〜４において説明したいずれの構成も採用可能である。
【００５１】
図１７は、対象情報の情報量が多い場合に、当該対象情報を領域認識部２０５が認識した領域に収める方法の一例を示す。図１７の（ａ）は、図５の（ａ）の状態から操作者がＵＰボタン５０４の上に対象指示点がある軌跡を入力して対象情報であるＵＰボタンの詳細な説明文１８０１を表示した状態を示す。この例では、領域認識部２０５が認識した領域の面積に、通常サイズのフォントでは対象情報の全文を表示できないため、小さいフォントで対象情報が表示された状態が示されている。或いは、フォントサイズの切替ではなく、文字画像を縮小することにより同等の結果を得ることができる。すなわち、文字サイズを小さくすることにより対象情報を表示する。
【００５２】
図１７の（ｂ）は、図５の（ａ）の状態から操作者がＵＰボタン５０４の上に対象指示点がある軌跡を入力して対象情報であるＵＰボタンの詳細な説明文１８０２の一部が表示された状態を表している。この例では、領域認識部２０５が認識した領域の面積に、通常サイズのフォントでは対象情報の全文を表示できないため、その一部が表示された状態が示されている。更に、図１７の（ｂ）では、スクロールバー１８０３が提示され、スクロールバー１８０３のつまみを上下に操作することで対象情報の説明文の異なる箇所の文章を表示させることが可能になっている。なお、対象情報の一部を表示した場合のスクロール操作は、スクロールバーを用いたものに限られるものではなく、指示位置を移動することに応じて対象情報における表示個所を移動させるものであればよい。
【００５３】
以上のように、実施形態５によれば、指定した領域の大小や形状に関わらず、ユーザは対象情報の全てを参照することが可能となるので、操作性が向上する。
【００５４】
［実施形態６］
本実施形態では図１８〜２０を用いて、対象情報を表示した領域を消去する例について説明する。図１８は実施形態６における情報処理装置の機能ブロックを示す。実施形態６では、図２に示した機能ブロックに加えて、対象情報を表示した認識領域２０６を消去する消去部１９０１を有する。
【００５５】
次に、実施形態６における軌跡による対象情報表示処理を図１９のフロー図を用いて説明する。なお、図１９において実施形態１（図３）と同様の処理を行うステップには、実施形態１と同一のステップ番号を付してある。Ｓ３０８において、表示部２１０は、Ｓ３０４で認識された認識領域２０６に、Ｓ３０６で検索された対象情報２０９を表示する。Ｓ２００１において、消去部１９０１は、認識領域２０６の消去が指示されたか判定する。その結果、ＹＥＳの場合はＳ２００２に進み、ＮＯの場合は認識領域２０６の表示を維持する。認識領域２０６の消去の指示を特定する方法としては、操作者が認識領域２０６の消去を明示的に入力することや、認識領域１９０６の消去を時間で自動的に行うこと、或いはそれらの組み合わせ等が挙げられる。Ｓ２００２において、消去部１９０１は、表示部２１０に認識領域２０６を消去させ、処理を終了する。
【００５６】
図２０の（ａ），（ｂ）は、図５の（ｃ）に示した、対象情報を表示した状態において、消去ボタンの押下による対象情報表示領域の削除例を示す。図２０の（ａ）に示すように、消去部１９０１は、対象情報表示領域２１０１の右上に消去ボタン２１０２を配置し、カーソル２１０３でクリックできる状態とする。図２１の（ｂ）は、図２１の（ａ）の状態で、消去ボタン２１０２がカーソル２１０３でクリックされた結果、対象情報表示領域２１０１が消えた状態を表している。
【００５７】
図２０の（ｃ）、（ｄ）は、図５の（ｃ）に示した、対象情報を表示した状態において、消去ジェスチャにより対象情報表示領域を削除する例を示す。図２０の（ｃ）では、図５の（ｃ）の状態から対象情報表示領域２２０１の消去指示ジェスチャ２２０２を入力した状態を表している。図２１の（ｄ）は、消去部１９０１が、消去指示ジェスチャ２２０２を認識し、図２１（ｃ）の状態から対象情報表示領域２２０１を消去した状態を表している。
【００５８】
図２０の（ｅ），（ｆ）は、図５の（ｃ）に示した、対象情報を表示した状態において、画面の任意の位置の押下（指示）により対象情報表示領域を削除する例を示す。図２０の（ｅ）では、図５の（ｃ）の状態で対象情報表示領域２３０１が表示されており、画面をクリックできるカーソル２３０２も表示されている状態を表している。図２０の（ｆ）では、図２０の（ｅ）の状態において、消去部１９０１がカーソル２３０２により画面がクリックされたことを検出し、対象情報表示領域２３０１を消去した状態を表している。なお、画面の指示はクリックでもよいし、タッチパネルへのタッチ入力でもよい。また、消去部１９０１が検出する指示位置を、対象情報表示領域の外側、或いは内側というように限定してもよい。
【００５９】
なお、実施形態６において、消去ボタンの押下、消去ジェスチャ、画面の押下を用いた場合を示したが、これに限らず、他の方法によってもよい。例えば、領域を表示してから経過した時間を計測して所定の時間を超えたら消去するようにしてもよいし、キーボードの消去を表すキーを押して消去するようにしてもよい。更に、対象表示領域内を右クリックして表示されるメニューから消去を選択して消去するようにしてもよい。
【００６０】
［実施形態７］
実施形態７では図１８及び図２１〜図２４を用いて、領域に表示された対象情報をユーザ操作に応じて変更する構成について説明する。実施形態７における情報処理装置の機能ブロックの構成は実施形態６の図１８の消去部１９０１が変更部に置き換わった構成となる。
【００６１】
実施形態７における対象情報表示処理について、図２１のフローを用いて説明する。なお、図２１において実施形態１（図３）と同様の処理を行うステップには、実施形態１と同一のステップ番号を付してある。Ｓ２５０１において、変更部２４０１は、認識対象２０４または認識領域２０６の変更が指示されたか判定する。その結果、ＹＥＳの場合はＳ２５１０に進み、ＮＯの場合は現在の表示状態を維持する。Ｓ２５１０では、認識領域２４０６に表示する対象情報２０９を変更部で変更して処理を終了する。
【００６２】
図２２は検索部２０７で参照される複数の対象の対象情報を格納した対象情報ＤＢ２０８の一例を示す図である。各対象は、指示対象との一致を判断するための対象名データと、指示対象が持つ対象情報として、複数種類の対象情報（第一、第二、第三の情報データ）が登録されている。対象２６０１と対象２６０２はアプリケーション上にあるアイコンを表す。そして、対象情報として第一の情報データにはアイコンの機能の簡略な説明文が、第二の情報データにはアイコンの機能の詳細な説明文が、第三の情報データにはアイコンの操作方法の説明文がそれぞれ定義されている。対象２６０３と対象２６０４は画像ファイルを表す。そして、対象情報として第一の情報データには対象画像ファイルの低画質の画像データが、第二の情報データには対象画像ファイルの高画質の画像データが、第三の情報データには対象画像ファイルの操作方法の説明文がそれぞれ定義されている。対象２６０５と対象２６０６はフォルダを表す。そして、対象情報として第一の情報データには対象フォルダ内にある全フォルダが、第二の情報データには対象フォルダ内にある全ファイルが、第三の情報データには対象フォルダの操作方法の説明文がそれぞれ定義されている。
【００６３】
変更部による表示変更の具体例を図２３、図２４を用いて説明する。まず、対象指示点の位置の変更による表示変更の例を示す。図２３の（ａ）は、図５の（ｃ）の状態から対象情報表示領域２７０１の対象指示点をＵＰボタン５０４から画像ファイル５０７に向けてドラッグするジェスチャ２７０２を表している。図２３の（ｂ）は、変更部２４０１がジェスチャ２７０２を認識した場合の表示の変更結果を表している。この場合、変更部は、対象指示点をＵＰボタン５０４から画像ファイル５０７に移動し、対象情報表示領域２７０１内に表示する対象情報を画像データ２７０３に変更する。
【００６４】
次に、対象情報表示領域の大きさを変更する場合の変更部２４０１の動作例を説明する。図２３の（ｃ）は、図１６の（ａ）の状態から対象情報表示領域２８０２の下端を下向きにドラッグするジェスチャ２８０３を表している。図２３の（ｄ）は、変更部２４０１がジェスチャ２８０３を検出した場合の表示の変更結果を示している。この場合、変更部は、対象情報表示領域２８０２をジェスチャ２８０３により指示された方向（本例では下方向）に拡大して対象情報表示領域２８０４とし、対象情報を機能の詳細な説明文２８０５に変更する。
【００６５】
次に、対象情報表示領域の形状を変更する場合の変更部２４９１の動作例を説明する。図２４の（ａ）は、図１６の（ａ）の状態から対象情報表示領域２９０２の内部で矩形のジェスチャ２９０３を描いた状態を表している。図２４の（ｂ）は、変更部２４０１が図２４の（ａ）においてジェスチャ２９０３を検出した場合の表示の変更結果を表している。この場合、変更部２４０１は、対象情報表示領域２９０２の形状を対象情報表示領域２９０４のように矩形に変形する。そして、更に、表示する対象情報を、機能の簡略な説明文２９０１から機能の詳細な説明文２９０５に変更する。
【００６６】
次に、対象情報表示領域内に表示すべき対象情報の変更を指示するためのユーザインターフェース（例えば、変更ボタン）を提供する場合の変更部２４９１の動作例を説明する。図２４の（ａ）は、図５（ａ）の状態から操作者がＵＰボタン５０４の上に対象指示点がある軌跡を入力して対象情報であるＵＰボタンの機能の説明文が対象情報表示領域３００１に表示された状態を表している。対象情報表示領域３００１の右下には変更ボタン３００２が配置されており、カーソル３００３でクリックできる状態にある。図２４の（ｂ）は、図２４の０（ａ）の状態で、変更ボタン３００２がカーソル３００３でクリックされたことを変更部２４０１が検出した場合の表示の変更結果を示す。この場合、変更部２４０１は、対象情報をＵＰボタンの操作方法の説明文に変更する。すなわち、変更部２４０１は、図２２に示した対象情報ＤＢ２４０２に格納されている、第一〜第三の情報を、変更ボタン３００２の押下に応じて順次に切替える。
【００６７】
以上のように、実施形態７によれば、簡易な操作で対象情報を表示すべき対象を切り替えたり、対象情報の表示内容を切替えたりすることができる。
なお、上述した実施形態１〜７の構成は、適宜組み合わせることが可能であることは当業者には明らかである。
【００６８】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2011090468.tif 000003
【図２】
2011090468.tif 000004
【図３】
2011090468.tif 000005
【図４】
2011090468.tif 000006
【図５】
2011090468.tif 000007
【図６】
2011090468.tif 000008
【図７】
2011090468.tif 000009
【図８】
2011090468.tif 000010
【図９】
2011090468.tif 000011
【図１０】
2011090468.tif 000012
【図１１】
2011090468.tif 000013
【図１２】
2011090468.tif 000014
【図１３】
2011090468.tif 000015
【図１４】
2011090468.tif 000016
【図１５】
2011090468.tif 000017
【図１６】
2011090468.tif 000018
【図１７】
2011090468.tif 000019
【図１８】
2011090468.tif 000020
【図１９】
2011090468.tif 000021
【図２０】
2011090468.tif 000022
【図２１】
2011090468.tif 000023
【図２２】
2011090468.tif 000024
【図２３】
2011090468.tif 000025
【図２４】
2011090468.tif 000026