(57)【要約】【課題】  ポインティングディバイスによる指定位置を記憶させたときにおける画面の状態と、処理対象の画面の状態とが異なる場合でも、ＯＳやプラットフォームに依存せずに、処理対象の画面画像における指定位置を特定することができるようにする。【解決手段】  指定された座標と所定の関係を具備する周辺画像であり、所定の形状、所定の面積を具備する指定位置周辺画像を、所定画面画像から抽出し、処理対象の画面画像を構成する部分的な画像であって、指定位置周辺画像と同じ形状、同じ面積を具備する部分画像を、処理対象の画面画像から、その抽出位置をずらしながら抽出し、抽出された指定位置周辺画像と抽出された部分画像との類似度を評価し、複数の部分画像のうちで、類似度が最も高いと評価された部分画像と所定の関係を具備する座標を、処理対象の画面画像におけるポインティングディバイスによる指定位置であると特定する。【選択図】  図１
2005032162.tif 000002
【特許請求の範囲】
【請求項１】
ポインティングディバイスによって指定した所定画面画像上の座標と、上記座標を指定した上記所定画面画像とを記憶する座標、所定画面画像記憶手段と；
上記指定された座標と所定の関係を具備する周辺画像であり、所定の形状、所定の面積を具備する指定位置周辺画像を、上記所定画面画像から抽出する指定位置周辺画像抽出手段と；
処理対象の画面画像を構成する部分的な画像であって、上記指定位置周辺画像と同じ形状、同じ面積を具備する部分画像を、上記処理対象の画面画像から、その抽出位置をずらしながら抽出する部分画像抽出手段と；
上記抽出された指定位置周辺画像と、上記抽出された部分画像との類似度を評価する類似度評価手段と；
上記複数の部分画像のうちで、上記類似度が最も高いと評価された部分画像と所定の関係を具備する座標を、上記処理対象の画面画像におけるポインティングディバイスによる指定位置であると特定する指定位置特定手段と；
を有することを特徴とする指定位置の特定装置。
【請求項２】
請求項１において、
上記指定位置周辺画像抽出手段は、所定の閾値以上の類似度を具備する部分画像が複数存在することを、上記類似度評価手段が評価した場合、上記指定位置周辺画像の面積を拡大して抽出する手段であり、
上記部分画像抽出手段は、上記拡大された指定位置周辺画像の面積と同じ面積に拡大して、上記部分画像を抽出する手段であり、
上記類似度評価手段は、上記面積を拡大して抽出された指定位置周辺画像と、上記面積を拡大して抽出された部分画像との類似度を評価する手段であることを特徴とする指定位置の特定装置。
【請求項３】
請求項２において、
上記指定位置周辺画像の面積に関する情報を管理する指定位置周辺画像面積管理手段であって、所定閾値以上の類似度を具備する上記部分画像が複数存在することを上記類似度評価手段が検出すると、上記指定位置周辺画像の面積を拡大する指定位置周辺画像面積管理手段を有することを特徴とする指定位置の特定装置。
【請求項４】
請求項３において、
上記指定位置周辺画像面積管理手段は、所定閾値以上の類似度を具備する上記部分画像が複数存在することを上記類似度評価手段が検出すると、上記指定位置周辺画像抽出手段、上記部分画像抽出手段から参照要求があれば指定位置周辺画像の面積に関する情報を返送するか、または、上記指定位置周辺画像抽出手段、上記部分画像抽出手段に、抽出する面積を拡大するように指令する手段であることを特徴とする指定位置の特定装置。
【請求項５】
請求項２において、
上記部分画像が１つに絞られるまで、上記面積の拡大、上記類似度評価を繰り返すことを特徴とする指定位置の特定装置。
【請求項６】
ポインティングディバイスによって指定した所定画面画像上の座標と、上記座標を指定した上記所定画面画像とを記憶する座標、所定画面画像記憶段階と；
上記指定された座標と所定の関係を具備する周辺画像であり、所定の形状、所定の面積を具備する指定位置周辺画像を、上記所定画面画像から抽出する指定位置周辺画像抽出段階と；
処理対象の画面画像を構成する部分的な画像であって、上記指定位置周辺画像と同じ形状、同じ面積を具備する部分画像を、上記処理対象の画面画像から、その抽出位置をずらしながら抽出する部分画像抽出段階と；
上記抽出された指定位置周辺画像と、上記抽出された部分画像との類似度を評価する類似度評価段階と；
上記複数の部分画像のうちで、上記類似度が最も高いと評価された部分画像と所定の関係を具備する座標を、上記処理対象の画面画像におけるポインティングディバイスによる指定位置であると特定する指定位置特定段階と；
を有することを特徴とする指定位置の特定方法。
【請求項７】
請求項６において、
上記指定位置周辺画像抽出段階は、所定の閾値以上の類似度を具備する部分画像が複数存在することを、上記類似度評価段階が評価された場合、上記指定位置周辺画像の面積を拡大して抽出する段階であり、
上記部分画像抽出段階は、上記拡大された指定位置周辺画像の面積と同じ面積に拡大して、上記部分画像を抜き出す段階であり、
上記類似度評価段階は、上記面積を拡大して抽出された指定位置周辺画像と、上記面積を拡大して抽出された部分画像との類似度を評価する段階であることを特徴とする指定位置の特定方法。
【請求項８】
ポインティングディバイスによって指定した所定画面画像上の座標と、上記座標を指定した上記所定画面画像とを記憶する座標、所定画面画像記憶手順と；
上記指定された座標と所定の関係を具備する周辺画像であり、所定の形状、所定の面積を具備する指定位置周辺画像を、上記所定画面画像から抽出する指定位置周辺画像抽出手順と；
処理対象の画面画像を構成する部分的な画像であって、上記指定位置周辺画像と同じ形状、同じ面積を具備する部分画像を、上記処理対象の画面画像から、その抽出位置をずらしながら抽出する部分画像抽出手順と；
上記抽出された指定位置周辺画像と、上記抽出された部分画像との類似度を評価する類似度評価手順と；
上記複数の部分画像のうちで、上記類似度が最も高いと評価された部分画像と所定の関係を具備する座標を、上記処理対象の画面画像におけるポインティングディバイスによる指定位置であると特定する指定位置特定手順と；
をコンピュータに実行させるプログラム。
【請求項９】
請求項８において、
上記指定位置周辺画像抽出手順は、所定の閾値以上の類似度を具備する部分画像が複数存在することを、上記類似度評価手順が評価された場合、上記指定位置周辺画像の面積を拡大して抽出する手順であり、
上記部分画像抽出手順は、上記拡大された指定位置周辺画像の面積と同じ面積に拡大して、上記部分画像を抜き出す手順であり、
上記類似度評価手順は、上記面積を拡大して抽出された指定位置周辺画像と、上記面積を拡大して抽出された部分画像との類似度を評価する手順であることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、過去にマウス等で指定された画面上の位置を、処理対象の画面画像において特定する指定位置の特定装置、指定位置の特定方法およびプログラムに関する。
【背景技術】
【０００２】
情報技術の進展によって、コンピュータを日常的に使うようになって久しい。コンピュータを利用した作業のうちで、同じ操作を繰り返すようなルーティンワークが存在する。このようなルーティンワークを、なるべく自動化したいという要求が存在し、これらを支援する技術が提案されている。
【０００３】
内山らは、インターネット上のＷｅｂページのうちで、ユーザが定期的に特定のページを閲覧するというルーティンワークに着目し、これらを自動化する仕組みを提案している（たとえば、非特許文献１参照）。
【０００４】
このために、繰り返し閲覧するＷｅｂページの中の必要な部分をマウスで指定し、対応するＨＴＭＬ等の構造化文章中における位置情報を記録する。そして、更新された構造化文書中の位置情報の特定方法を工夫することによって、当該ページのレイアウトが、部分指定時と多少変化した場合でも、指定部分を正確に特定し、該当部分を再度表示し、閲覧を支援する技術を提案している。
【非特許文献１】内山匡，滝川大介，宮本勝（２００３）ＫｉｒｉＢａｒｉＷｅｂ：スクリプティングによる個人化ブラウジング，インタラクション  ２００３（情報処理学会シンポジウムシリーズ，Ｖｏｌ．２００３，ｎｏ．７），ｐｐ．１８５−１８６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
内山らの方法は、対象がＷｅｂページに限定されている。しかし、コンピュータを利用した作業対象は、必ずしもＷｅｂページ化されていないばかりか、むしろ、開発プラットフォームが異なるシステムを跨ぐルーティンワークを自動化したいという要求がある。
【０００６】
たとえば、大企業における社内のオペレーション系のシステムは、システムが大規模であり、昔から存在するので、修正が困難であり、Ｗｅｂ化が進んでおらず、独自プラットフォームによるシステムが多く存在する。このような独自プラットフォームのシステムが機能ごとに存在し、ユーザは、１つの作業で、複数のシステムを利用する場合は、ユーザの操作によるシステム間連携が行われている。
【０００７】
また、現在のコンピュータには、ほとんどマウスが装備され、これらのルーティンワークもマウス操作によって実行されている場合が多い。マウス操作によるルーティンワークを、ＯＳやプラットフォームに依存しない形式で自動化することができれば、ユーザによるシステム間連携を自動化することが可能になる。
【０００８】
しかし、マウスによる指定位置をシステムに記憶させた場合、それをシステムに実行させ、また、表示内容等の画面の状態が、現在処理対象の画面と異なる場合がある。
【０００９】
したがって、上記従来例においては、マウスによる指定位置を記憶させたときにおける画面の状態と、処理対象の画面の状態とが異なると、ＯＳやプラットフォームに依存せずに、処理対象の画面画像における指定位置を特定することができないという問題がある。
【００１０】
上記問題は、マウス以外のポインティングディバイスにおいても生じる問題である。
【００１１】
本発明は、ポインティングディバイスによる指定位置を記憶させたときにおける画面の状態と、処理対象の画面の状態とが異なる場合でも、ＯＳやプラットフォームに依存せずに、処理対象の画面画像における指定位置を特定することができる指定位置の特定装置、指定位置の特定方法およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１２】
本発明は、ポインティングディバイスによって指定した所定画面画像上の座標と上記座標を指定した上記所定画面画像とを記憶する座標、所定画面画像記憶手段と、上記指定された座標と所定の関係を具備する周辺画像であり、所定の形状、所定の面積を具備する指定位置周辺画像を、上記所定画面画像から抽出する指定位置周辺画像抽出手段と、処理対象の画面画像を構成する部分的な画像であって、上記指定位置周辺画像と同じ形状、同じ面積を具備する部分画像を、上記処理対象の画面画像から、その抽出位置をずらしながら抽出する部分画像抽出手段と、上記抽出された指定位置周辺画像と上記抽出された部分画像との類似度を評価する類似度評価手段と、上記複数の部分画像のうちで、上記類似度が最も高いと評価された部分画像と所定の関係を具備する座標を、上記処理対象の画面画像におけるポインティングディバイスによる指定位置であると特定する指定位置特定手段とを有する指定位置の特定装置である。
【発明の効果】
【００１３】
本発明によれば、ポインティングディバイスによる指定位置を記憶させたときにおける画面の状態と比較して、処理対象の画面の状態が異なった場合でも、ＯＳやプラットフォームに依存せずに、処理対象の画面画像における指定位置を特定することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１４】
発明を実施するための最良の形態は、以下の実施例である。
【実施例１】
【００１５】
図１は、本発明の実施例１である指定位置特定装置１００の構成を示すブロック図である。
【００１６】
指定位置特定装置１００は、所定画面画像中の所定位置をマウスによって指定した場合であって、上記指定位置を記憶したときにおける画面画像の状態と、処理対象の画面画像の状態とが異なる場合でも、ＯＳやプラットフォームに依存せずに、処理対象の画面画像における指定位置を特定することが可能な装置である。
【００１７】
指定位置特定装置１００は、操作記憶手段１０と、指定位置特定手段２０と、処理対象画面画像記憶手段３０とを有する。
【００１８】
操作記憶手段１０は、位置指定時の画面画像記憶部１１と、位置指定時のマウス座標記憶部１２とを有する。
【００１９】
位置指定時の画面画像記憶部１１は、マウスによって画面画像中の所定位置を指定したときにおける画面画像を記憶する。
【００２０】
図２は、位置指定時における画面画像の一例を示す図である。
【００２１】
図３は、上記実施例において、位置を指定したときにおけるマウス座標と、上記位置指定した画面画像に関する画像ファイル名との関係を示す図である。
【００２２】
図２に示すように、ユーザに提示されていた画面画像と同じ画面画像を、キャプチャーする（取り込む）ことによって、マウスによって位置を指定したときにおける画面画像を保存する。なお、指定位置ＤＰを図２に示してある。
【００２３】
位置指定時のマウス座標記憶部１２は、所定の画面画像の所定座標を、マウスによって指定したときにおける上記所定座標を保存するものであり、つまり、図３に示すように、位置指定時における画面画像（画像ファイル）と対応付けて、マウス座標を保存する。
【００２４】
指定位置特定手段２０は、指定位置周辺画像抽出部２１と、部分画像抽出部２２と、類似度評価部２３と、指定位置特定部２４とを有する。
【００２５】
指定位置周辺画像抽出部２１は、マウスによって所定位置を指定したときに、マウス座標記憶部１２が記憶したマウス座標を中心とする周辺画像である指定位置周辺画像を、位置指定時の画面画像記憶部１１が記憶している画面画像から抽出する。
【００２６】
図４は、処理対象の画面画像の一例を示す図である。
【００２７】
図５は、上記実施例において、指定位置周辺画像の例を示す図である。
【００２８】
「指定位置周辺画像」は、マウスによって画面画像上の位置を指定したときにおけるマウス座標の周辺の画像である。この指定位置周辺画像は、図５に示すように、所定の一辺の長さを持つ正方形である。なお、指定位置周辺画像は、正方形の画像以外に、円、長方形等、正方形以外の形状の画像でもあってもよい。
【００２９】
部分画像抽出部２２は、処理対象画面画像記憶部３０に記憶されている処理対象画面画像の一部分の画面画像であって、指定位置周辺画像と同じ形状、同じ面積の画像である部分画像を複数抽出する。たとえば、処理対象画像の左上における座標を基点とし、ｘ、ｙ座標を１つずつ移動しながら、上記指定位置周辺画像と同じ形状、同じ面積の部分画像を取得する。なお、部分画像を、他の方法で、処理対象画像から、取得するようにしてもよい。
【００３０】
類似度評価部２３は、指定位置周辺画像抽出部２１が抽出した指定位置周辺画像と、部分画像抽出部２２が抽出した複数の上記部分画像とを比較し、互いに類似している類似度を評価する。上記「類似度」は、たとえば、指定位置周辺画像を構成する画素数のうちで色が一致している画素数と、指定位置周辺画像を構成する画素数との割合等によって、類似の度合いを評価するようにしてもよい。つまり、たとえば、指定位置周辺画像が５×５の画素で構成されている場合、５×５の画素のそれぞれの色が、対応する部分画像の各画素の色と同じである数に基づいて、類似の度合いを評価する。
【００３１】
この場合、指定位置周辺画像を構成する画素のうちで、対応する部分画像の画素と同じ色である画素が隣接している場合、類似度の重み付けするようにしてもよい。
【００３２】
指定位置特定部２４は、指定位置周辺画像との類似度が最適であると評価された上記部分画像の中心座標を取得し、この中心座標を、処理対象画像における指定位置ＤＰであると特定する。
【００３３】
なお、最適であると評価された部分画像の左上、右上、右下、左下の座標等、中心座標以外の座標を指定位置ＤＰであるとしてもよい。つまり、指定位置周辺画像が、指定された座標と所定の関係を具備する周辺画像であると定義すれば、最適であると評価された部分画像と所定の関係を具備する座標を、処理対象画像における指定位置ＤＰであると特定する。
【００３４】
図２に示す位置指定時の画面画像が、図４に示すように移動した場合に、つまり、対象アプリケーションのウィンドウの位置が変化した場合に、上記処理対象画像における指定位置ＤＰを、正確に特定することができる。
【００３５】
処理対象画面画像記憶部３０は、処理対象の画面画像を保存する。
【００３６】
図２に示すように、位置指定時の画面画像から、図４に示すように、対象アプリケーションのウィンドウの位置が変化した処理対象画像等が、処理対象画面画像記憶部３０に保存されていることが想定される。
【００３７】
次に、上記実施例１において、指定位置を特定する動作について説明する。
【００３８】
図６は、実施例１における指定位置を特定する動作を示すフローチャートである。
【００３９】
指定位置周辺画像抽出部２１が、位置指定時にマウス座標記憶部１２に記憶された画像であって、マウス座標が中心の座標である指定位置周辺画像を、位置指定時に画面画像記憶部１１に記憶された画面画像から、抽出する（Ｓ１）。
【００４０】
処理対象画面画像記憶部３０に記憶されている処理対象画面画像から、部分画像抽出部２２が、部分画像を取得する（Ｓ２）。上記部分画像は、指定位置周辺画像と同じ形状、同じ面積の画像である。
【００４１】
指定位置周辺画像抽出部２１が抽出した指定位置周辺画像と、部分画像抽出部２２が抽出した部分画像とを、類似度評価部２３が比較し、類似度を評価する（Ｓ３）。
【００４２】
類似度評価部２３が、全ての部分画像を評価したか否かを判定し（Ｓ４）、全ての部分画像を評価したら、ステップＳ５へ進み、評価する対象としての部分画像のうちで、評価作業が終了していない部分画像が残っていれば、ステップＳ３へ戻る。
【００４３】
指定位置周辺画像との類似度が最適であると評価された部分画像の中心座標を、指定位置特定部２４が取得し、この取得された中心座標を、上記処理対象画像における指定位置であると特定し（Ｓ５）、処理を終了する。
【実施例２】
【００４４】
図７は、本発明の実施例２である指定位置特定装置２００の構成を示すブロック図である。
【００４５】
指定位置特定装置２００は、指定位置周辺画像と類似する部分が複数存在する場合でも、指定位置を正確に特定することが可能な装置である。
【００４６】
指定位置特定装置２００は、基本的には、指定位置特定装置１００と同じであり、指定位置特定手段２０の代わりに、指定位置指定手段２０ａが設けられている点以外は、指定位置特定装置１００と同じである。
【００４７】
つまり、指定位置特定装置２００は、操作記憶手段１０と、指定位置特定手段２０ａと、処理対象画像記憶部３０とを有する。
【００４８】
指定位置特定手段２０ａは、指定位置周辺画像抽出部２１ａと、部分画像抽出部２２ａと、類似度評価部２３と、指定位置特定部２４と、指定位置周辺画像面積管理部２５と、評価終了判定部２６とを有する。
【００４９】
指定位置周辺画像抽出部２１ａは、位置指定時にマウス座標記憶部１２が記憶したマウス座標を中心とする画像であって、指定位置周辺画像面積管理部２５が記録している大きさの面積を有する指定位置周辺画像を、位置指定時に画面画像記憶部１１が記憶した画面画像から抽出する。
【００５０】
部分画像抽出部２２ａは、処理対象画面画像記憶部３０から処理対象画像を取得し、指定位置周辺画像面積管理部２５が記憶している指定位置周辺画像の面積情報を参照し、指定位置周辺画像と同じ面積の画像を、複数抽出する。
【００５１】
類似度評価部２３は、指定位置周辺画像抽出部２１ａが抽出した指定位置周辺画像と、部分画像抽出部２２ａが抽出した複数の部分画像とを比較し、それらにおける類似度を評価する。
【００５２】
指定位置特定部２４は、指定位置周辺画像との類似度が最適であると評価された部分画像の中心座標を取得し、これを処理対象画像における指定位置ＤＰであると特定する。
【００５３】
指定位置周辺画像面積管理部２５は、指定位置周辺画像の面積を管理し、指定位置周辺画像の形がたとえば正方形であれば、一辺の長さを管理することによって指定位置周辺画像の面積を管理し、評価終了判定部２６から面積拡大の要求があれば、管理している面積情報を更新し（上記例であれば、一辺の長さを長くし）、指定位置周辺画像抽出部２１ａ、部分画像抽出部２２ａから、参照要求があれば、指定位置周辺画像の面積に関する情報を返送する。
【００５４】
評価終了判定部２６は、指定位置周辺画像との間における類似度が、設定されている閾値以上である部分画像の数を検出し、類似度が閾値以上である部分画像が存在しない場合は、指定位置が存在しないと判断し、処理を終了し、類似度が閾値以上である部分画像が１つ存在している場合には、その部分画像の類似度が最適であると判定し、指定位置特定部２４に渡し、類似度が閾値以上である部分画像が複数存在している場合には、指定位置周辺画像面積管理部２５で管理している指定位置周辺画像の面積を拡大し、再帰的に部分画像との類似度を評価する。
【００５５】
図８は、実施例２において、閾値以上の類似度を有する部分画像が２つ存在する例を示す図である。
【００５６】
図９は、図５に示す指定位置周辺画像よりも、面積が拡大された指定位置周辺画像を示す図である。
【００５７】
なお、指定位置周辺画像の面積を拡大する場合、指定位置座標を中心として、面積を拡大する。
【００５８】
指定位置周辺画像面積管理部２５は、指定位置周辺画像の面積を管理する。つまり、指定位置周辺画像の形状が正方形であれば、一辺の長さ、対角線の長さ、周の長さ等を管理する。また、評価終了判定部２６から、面積拡大の要求があれば、管理している面積情報を更新する。さらに、指定位置周辺画像抽出部２１ａ、部分画像抽出部２２ａから参照要求があれば、指定位置周辺画像の面積に関する情報を返す。
【００５９】
次に、指定位置特定装置２００の動作について説明する。
【００６０】
図１０は、指定位置特定装置２００の動作を示すフローチャートである。
【００６１】
指定位置周辺画像抽出部２１ａが、位置指定時のマウス座標記憶部１２が記憶しているマウス座標を中心とし、指定位置周辺画像面積管理部２５が記憶している大きさの指定位置周辺画像を、位置指定時の画面画像記憶部１１が記憶している画面画像から抽出する（Ｓ１１）。
【００６２】
部分画像抽出部２２ａが、処理対象画面画像記憶部３０から処理対象画像を取得し、指定位置周辺画像面積管理部２５が記憶している指定位置周辺画像の面積情報を参照し、指定位置周辺画像と同じ形状、同じ面積の画像を複数抽出する（Ｓ１２）。
【００６３】
評価終了判定部２６が、指定位置周辺画像との間における類似度が、設定されている閾値以上である部分画像の数を評価し（Ｓ１３）、類似度が閾値以上である部分画像が存在しない場合は、指定位置が存在しないと判断し、処理を終了し、類似度が閾値以上である部分画像が１つ存在している場合には、ステップＳ５へ進み、類似度が閾値以上である部分画像が複数存在している場合には、ステップＳ１４へ進む。
【００６４】
指定位置周辺画像面積管理部２５が、管理している指定位置周辺画像の面積を拡大し（Ｓ１４）、上記拡大された面積に対応する指定位置周辺画像を取得し（Ｓ１１）、上記拡大された面積に対応する部分画像を取得し（Ｓ１２）、拡大された指定地周辺画像と拡大された部分画像とについて、類似度評価部２３が、類似度を評価し（Ｓ３）、全ての部分画像の評価が終われば（Ｓ４）、類似度が閾値以上である部分画像の数を調べ（Ｓ１３）、それらが複数であれば、上記処理（Ｓ１４、Ｓ１１、Ｓ１２、Ｓ３）を繰り返し、類似度が閾値以上である部分画像の数が１つになれば（Ｓ１３）、その１つに絞られた部分画像の中心座標を指定位置ＤＰとして特定する（Ｓ５）。
【００６５】
なお、類似度が閾値以上である部分画像がなければ（Ｓ１３）、指定位置ＤＰを特定せずに終了する。
【００６６】
上記実施例によれば、マウスによる指定位置を記憶させた時の画面と、処理対象の画面との状態が異なる場合でも、処理対象の画面画像における指定位置を、ＯＳやプラットフォームに依存せずに特定することができる。
【００６７】
また、上記実施例において、類似度評価部２３が、類似度が閾値以上である部分画像の数が複数存在していると評価することによって、評価終了判定部２６が、面積拡大要求を出せば、指定位置周辺画像面積管理部２５が管理している面積情報を更新し、指定位置周辺画像抽出部２１ａ、部分画像抽出部２２ａから参照要求があったときに、指定位置周辺画像の面積に関する情報を返す。このようにする代わりに、評価終了判定部２６から、面積拡大要求があったときに、管理している面積情報を更新した後に、指定位置周辺画像面積管理部２５が、抽出面積を拡大する抽出面積拡大命令を、指定位置周辺画像抽出部２１ａ、部分画像抽出部２２ａに出すようにしてもよい。
【００６８】
なお、上記実施例において、トラックボール、キーボート等、マウス以外のポインティングディバイスを、マウスの代わりに使用するようにしてもよい。
【００６９】
つまり、上記実施例において、操作記憶手段１０は、ポインティングディバイスによって指定した所定画面画像上の座標と、上記座標を指定した上記所定画面画像とを記憶する座標、所定画面画像記憶手段の例である。指定位置周辺画像抽出部２１、２１ａは、指定された座標と所定の関係を具備する周辺画像であり、所定の形状、所定の面積を具備する指定位置周辺画像を、上記所定画面画像から抽出する指定位置周辺画像抽出手段の例である。部分画像抽出部２２、２２ａは、処理対象の画面画像を構成する部分的な画像であって、上記指定位置周辺画像と同じ形状、同じ面積を具備する部分画像を、上記処理対象の画面画像から、その抽出位置をずらしながら抽出する部分画像抽出手段の例である。
【００７０】
また、類似度評価部２３は、上記抽出された指定位置周辺画像と、上記抽出された部分画像との類似度を評価する類似度評価手段の例である。指定位置特定部２４は、上記複数の部分画像のうちで、上記類似度が最も高いと評価された部分画像と所定の関係を具備する座標を、上記処理対象の画面画像におけるポインティングディバイスによる指定位置であると特定する指定位置特定手段の例である。上記「類似度が最も高いと評価された部分画像と所定の関係を具備する座標」は、類似度が最も高いと評価された部分画像の中心座標でもよく、また、類似度が最も高いと評価された部分画像の左上端部、右上端部、右下端部、左下端部等の座標であってもよい。
【００７１】
この場合、上記指定位置周辺画像抽出手段は、所定の閾値以上の類似度を具備する部分画像が複数存在することを、上記類似度評価手段が評価した場合、上記指定位置周辺画像の面積を拡大して抽出する手段であり、上記部分画像抽出手段は、上記拡大された指定位置周辺画像の面積と同じ面積に拡大して、上記部分画像を抽出する手段であり、上記類似度評価手段は、上記面積を拡大して抽出された指定位置周辺画像と、上記面積を拡大して抽出された部分画像との類似度を評価する手段である。
【００７２】
指定位置周辺画像面積管理部２５は、上記指定位置周辺画像の面積に関する情報を管理する指定位置周辺画像面積管理手段であって、所定閾値以上の類似度を具備する上記部分画像が複数存在することを上記類似度評価手段が検出すると、上記指定位置周辺画像の面積を拡大する指定位置周辺画像面積管理手段の例である。
【００７３】
そして、指定位置周辺画像面積管理部２５は、所定閾値以上の類似度を具備する上記部分画像が複数存在することを上記類似度評価手段が検出すると、上記指定位置周辺画像抽出手段、上記部分画像抽出手段から参照要求があったときに、指定位置周辺画像の面積に関する情報を返送するか、または、上記指定位置周辺画像抽出手段、上記部分画像抽出手段に、抽出する面積を拡大するように指令する手段の例である。
【００７４】
さらに、上記実施例を、プログラムの発明として把握することができ、つまり、上記実施例は、ポインティングディバイスによって指定した所定画面画像上の座標と、上記座標を指定した上記所定画面画像とを記憶する座標、所定画面画像記憶手順と、上記指定された座標と所定の関係を具備する周辺画像であり、所定の形状、所定の面積を具備する指定位置周辺画像を、上記所定画面画像から抽出する指定位置周辺画像抽出手順と、処理対象の画面画像を構成する部分的な画像であって、上記指定位置周辺画像と同じ形状、同じ面積を具備する部分画像を、上記処理対象の画面画像から、その抽出位置をずらしながら抽出する部分画像抽出手順と、上記抽出された指定位置周辺画像と、上記抽出された部分画像との類似度を評価する類似度評価手順と、上記複数の部分画像のうちで、上記類似度が最も高いと評価された部分画像と所定の関係を具備する座標を、上記処理対象の画面画像におけるポインティングディバイスによる指定位置であると特定する指定位置特定手順とをコンピュータに実行させるプログラムの例である。
【００７５】
この場合、上記指定位置周辺画像抽出手順は、所定の閾値以上の類似度を具備する部分画像が複数存在することを、上記類似度評価手順が評価された場合、上記指定位置周辺画像の面積を拡大して抽出する手順であり、上記部分画像抽出手順は、上記拡大された指定位置周辺画像の面積と同じ面積に拡大して、上記部分画像を抜き出す手順であり、上記類似度評価手順は、上記面積を拡大して抽出された指定位置周辺画像と、上記面積を拡大して抽出された部分画像との類似度を評価する手順である。
【産業上の利用可能性】
【００７６】
本発明の活用例として、所定画面画像において、マウス等で、たとえば、「ファイル」をクリックし、「印刷」をクリックし、「ＯＫ」をする等の繰り返し操作を行なう場合、上記所定画面画像のウィンドウを画面上で移動しても、「ファイル」が記載されている座標を自動的に特定することができるので、その後の「印刷」、「ＯＫ」のクリックも、自動的に実行させることができる。また、上記所定画面画像中の画像であって、指定位置周辺画像以外の部分を変更しても、処理対象画面画像における位置を特定することができる。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施例１である指定位置特定装置１００の構成を示すブロック図である。
【図２】位置指定時における画面画像の一例を示す図である。
【図３】上記実施例において、位置を指定したときにおけるマウス座標と、上記位置指定した画面画像に関する画像ファイル名との関係を示す図である。
【図４】処理対象の画面画像の一例を示す図である。
【図５】上記実施例において、指定位置周辺画像の例を示す図である。
【図６】実施例１における指定位置を特定する動作を示すフローチャートである。
【図７】本発明の実施例２である指定位置特定装置２００の構成を示すブロック図である。
【図８】実施例２において、閾値以上の類似度を有する部分画像が２つ存在する例を示す図である。
【図９】図５に示す指定位置周辺画像よりも、面積が拡大された指定位置周辺画像を示す図である。
【図１０】指定位置特定装置２００の動作を示すフローチャートである。
【符号の説明】
【００７８】
１００、２００…指定位置特定装置、
１０…操作記憶手段、
２０、２０ａ…指定値特定手段、
２１、２１ａ…指定位置周辺画像抽出部、
２２、２２ａ…部分画像抽出部、
２３…類似度評価部、
２４…指定位置特定部、
２５…指定位置周辺画像面積管理部、
２６…評価終了判定部、
３０…処理対象画面画像記憶部、
ＤＰ…指定位置。
【図１】
2005032162.tif 000003
【図２】
2005032162.tif 000004
【図３】
2005032162.tif 000005
【図４】
2005032162.tif 000006
【図５】
2005032162.tif 000007
【図６】
2005032162.tif 000008
【図７】
2005032162.tif 000009
【図８】
2005032162.tif 000010
【図９】
2005032162.tif 000011
【図１０】
2005032162.tif 000012