(57)【特許請求の範囲】
【請求項１】
コンピュータに、
文字要素と画像要素とを表示要素として含み、各表示要素が文字要素か画像要素かを判定するための属性データを有する表示データを表示し、
前記表示データの表示結果を示す画像を取得し、
取得された画像において、前記画像要素の表示を無効化し、
前記画像要素の表示が無効化された画像に対して文字認識を行うことで、前記表示データに含まれる各文字要素の位置情報を取得する、
処理を実行させることを特徴とする表示位置取得プログラム。
【請求項２】
コンピュータに、
文字要素と画像要素とを表示要素として含み、各表示要素が文字要素か画像要素かを判定するための属性データを有する表示データを表示し、
前記表示データの表示要素のうち、画像要素の表示を無効化し、
前記表示データの表示結果について、画像要素の表示が無効化された状態の画像を取得し、
取得された画像に対して文字認識を行うことで、前記表示データに含まれる各文字要素の位置情報を取得する、
処理を実行させることを特徴とする表示位置取得プログラム。
【請求項３】
前記表示データに含まれる各表示要素の表示領域を特定する処理を前記コンピュータに実行させ、
前記位置情報を取得する処理は、前記表示領域ごとに文字認識を行う、
ことを特徴とする請求項１又は２記載の表示位置取得プログラム。
【請求項４】
前記表示データに含まれる表示要素間の階層構造を特定する処理と、
前記表示領域ごとに文字認識が行われるたびに、文字認識が行われた表示領域を無効化する処理と、
を前記コンピュータに実行させ、
前記位置情報を取得する処理は、前記階層構造において末端の表示要素に係る表示領域から順に、文字認識を行う、
ことを特徴とする請求項３記載の表示位置取得プログラム。
【請求項５】
文字要素と画像要素とを表示要素として含み、各表示要素が文字要素か画像要素かを判定するための属性データを有する表示データを表示する表示制御部と、
前記表示データの表示結果を示す画像を取得する画像取得部と、
取得された画像において、前記画像要素の表示を無効化する無効化部と、
前記画像要素の表示が無効化された画像に対して文字認識を行うことで、前記表示データに含まれる各文字要素の位置情報を取得する位置取得部と、
を有することを特徴とする表示位置取得装置。
【請求項６】
文字要素と画像要素とを表示要素として含み、各表示要素が文字要素か画像要素かを判定するための属性データを有する表示データを表示する表示制御部と、
前記表示データの表示要素のうち、画像要素の表示を無効化する無効化部と、
前記表示データの表示結果について、画像要素の表示が無効化された状態の画像を取得する画像取得部と、
取得された画像に対して文字認識を行うことで、前記表示データに含まれる各文字要素の位置情報を取得する位置取得部と、
を有することを特徴とする表示位置取得装置。
【請求項７】
コンピュータが、
文字要素と画像要素とを表示要素として含み、各表示要素が文字要素か画像要素かを判定するための属性データを有する表示データを表示し、
前記表示データの表示結果を示す画像を取得し、
取得された画像において、前記画像要素の表示を無効化し、
前記画像要素の表示が無効化された画像に対して文字認識を行うことで、前記表示データに含まれる各文字要素の位置情報を取得する、
処理を実行することを特徴とする表示位置取得方法。
【請求項８】
コンピュータが、
文字要素と画像要素とを表示要素として含み、各表示要素が文字要素か画像要素かを判定するための属性データを有する表示データを表示し、
前記表示データの表示要素のうち、画像要素の表示を無効化し、
前記表示データの表示結果について、画像要素の表示が無効化された状態の画像を取得し、
取得された画像に対して文字認識を行うことで、前記表示データに含まれる各文字要素の位置情報を取得する、
処理を実行することを特徴とする表示位置取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示位置取得プログラム、表示位置取得装置、及び表示位置取得方法に関する。
【背景技術】
【０００２】
インターネットの普及ととともに、インターネットを介して取得されるＨＴＭＬ文書を表示させるＷｅｂブラウザの種類が増加している。Ｗｅｂブラウザの種類に加え、Ｗｅｂブラウザのバージョン及び動作ＯＳ等の違いを考慮すると多数の組み合わせが存在する。
【０００３】
各Ｗｅｂブラウザは、相互に描画特性が異なったり、独自の拡張機能を有していたりする。また、ＨＴＭＬに関してＷｅｂブラウザごとに解釈が異なる定義が有る。その結果、一つのＨＴＭＬ文書に関して、Ｗｅｂブラウザごとに表示結果が異なる場合が有る。
【０００４】
そのため、ＨＴＭＬ文書の作成者は、各Ｗｅｂブラウザにおいて自らの意図した通りにＨＴＭＬ文書が表示されるか否か、すなわち、各Ｗｅｂブラウザ間でＨＴＭＬ文書の表示結果が同じになるか否かについて、テストの実施が要求される。
【０００５】
現状では、各ＷｅｂブラウザにおいてＨＴＭＬ文書を実際に表示させ、表示結果が他のＷｅｂブラウザと一致するか否かが目視で確認されることでテストが行われるのが一般的である。しかし、この方法では、熟練者でなければ、ＨＴＭＬ文書内におけるいずれの記述が、表示結果の相違の発生要因となっているのかを特定するのに時間を要する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−３９８１５号公報
【特許文献２】特開２００６−１７１８５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＷｅｂブラウザによるＨＴＭＬ文書の表示結果に含まれている各表示要素の座標は、例えば、オープンソースソフトウェアであるＷｅｂＤｒｉｖｅｒを用いて取得することができる。ＷｅｂＤｒｉｖｅｒは、Ｗｅｂブラウザを外部からコントロールするプラグインソフトであり、その内容は、http://docs.seleniumhq.org/projects/webdriver/に詳しい。
【０００８】
ＷｅｂＤｒｉｖｅｒを用いると、Ｗｅｂブラウザ上に表示されたＨＴＭＬ文書に記述されている各タグが支配する領域、すなわち、各タグに係る表示領域の矩形座標を取得することができる。例えば、表示領域が＜ｄｉｖ＞タグで分割されている場合には、各＜ｄｉｖ＞タグで分割される領域ごとに矩形座標を取得することができる。＜ｐ＞タグで段落が定義されている場合には、当該＜ｐ＞タグで定義される段落の表示領域の矩形座標を取得することができる。
【０００９】
また、ＨＴＭＬ文書において表示要素とされている画像は、一つの＜ｉｍｇ＞タグで定義される。したがって、ＷｅｂＤｒｉｖｅｒを用いて、或る＜ｉｍｇ＞タグの表示領域の矩形座標を取得すれば、当該矩形座標は、当該＜ｉｍｇ＞タグに係る画像の表示領域であるとみなすことができる。厳密には、ｐａｄｄｉｎｇ属性やｂｏｒｄｅｒ属性により、＜ｉｍｇ＞タグの表示領域と、実際の画像の表示領域とが異なる場合もあるが、ＷｅｂＤｒｉｖｅｒにより、ｐａｄｄｉｎｇ属性の値やｂｏｒｄｅｒ属性の値も取得できるため、実際の画像の表示領域を正確に計算することができる。
【００１０】
しかしながら、文字列の場合は、画像と異なり、一つの文字列が一つのＨＴＭＬタグによって定義されているとは限らない。また、Ｗｅｂブラウザ上に表示される文字列は、ＨＴＭＬ文書の＜ｂｏｄｙ＞部に予め記述されている静的な文字列に限られない。例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）等のプログラムにより、ＨＴＭＬ文書の表示時にＷｅｂブラウザ側において動的に生成される文字列もＷｅｂブラウザ上に表示される場合が有る。すなわち、ＨＴＭＬソースコードの＜ｂｏｄｙ＞部に記述されていない文字列もＷｅｂブラウザ上に表示されうる。
【００１１】
そこで、一側面では、表示データの表示要素のうちの文字要素の表示位置を取得可能とすることを目的とする。
【課題を解決するための手段】
【００１２】
一つの案では、表示位置取得プログラムは、コンピュータに、文字要素と画像要素とを表示要素として含む表示データを表示し、前記表示データの表示結果を示す画像を取得し、取得された画像において、前記画像要素の表示を無効化し、前記画像要素の表示が無効化された画像に対して文字認識を行うことで、前記表示データに含まれる各文字要素の位置情報を取得する、処理を実行させる。
【発明の効果】
【００１３】
一側面によれば、表示データの表示要素のうちの文字要素の表示位置を取得可能とすることができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施の形態におけるシステム構成例を示す図である。
【図２】第１の実施の形態における表示位置取得装置のハードウェア構成例を示す図である。
【図３】第１の実施の形態における表示位置取得装置の機能構成例を示す図である。
【図４】第１の実施の形態における表示位置取得装置が実行する処理手順の一例を説明するためのフローチャートである。
【図５】評価対象のＨＴＭＬ文書の一例を示す図である。
【図６】キャプチャ画像の一例を示す図である。
【図７】画像要素が無効化された状態のキャプチャ画像の一例を示す図である。
【図８】第２の実施の形態における表示位置取得装置の機能構成例を示す図である。
【図９】第２の実施の形態における表示位置取得装置が実行する処理手順の一例を説明するためのフローチャートである。
【図１０】第３の実施の形態におけるシステム構成例を示す図である。
【図１１】第３の実施の形態における表示位置取得装置の機能構成例を示す図である。
【図１２】第３の実施の形態においてＨＴＴＰプロキシが実行する処理手順の一例を説明するためのフローチャートである。
【図１３】第３の実施の形態における表示位置取得装置が実行する処理手順の一例を説明するためのフローチャートである。
【図１４】第４の実施の形態における表示位置取得装置の機能構成例を示す図である。
【図１５】第４の実施の形態における表示位置取得装置が実行する処理手順の一例を説明するためのフローチャートである。
【図１６】各ＨＴＭＬ要素の表示領域の一例を示す図である。
【図１７】各ＨＴＭＬ要素の表示領域の矩形座標の取得結果の一例を示す図である。
【図１８】第４の実施の形態による効果を具体的に説明するための図である。
【図１９】第５の実施の形態における表示位置取得装置の機能構成例を示す図である。
【図２０】第５の実施の形態における表示位置取得装置が実行する処理手順の一例を説明するためのフローチャートである。
【図２１】タグ階層情報の一例を示す図である。
【図２２】タグ階層情報における末端のタグを説明するための図である。
【発明を実施するための形態】
【００１５】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、第１の実施の形態におけるシステム構成例を示す図である。図１において、ＨＴＴＰサーバ２０と表示位置取得装置１０とは、インターネット又はＬＡＮ（Local Area Network）等のネットワークを介して通信可能に接続される。
【００１６】
ＨＴＴＰサーバ２０は、１以上のＨＴＭＬ文書を記憶するコンピュータである。ＨＴＴＰサーバ２０は、ＨＴＴＰリクエストを受信すると、当該ＨＴＴＰリクエストに係るＵＲＬ（Uniform Resource Locator）に対応するＨＴＭＬ文書を返信する。
【００１７】
表示位置取得装置１０は、ＨＴＴＰサーバ２０に記憶されたＨＴＭＬ文書がＷｅｂブラウザ１１によって表示された状態において、ＨＴＭＬ文書に含まれている表示要素（ＨＴＭＬ要素）のうちの各文字の表示位置を取得するコンピュータである。
【００１８】
なお、表示位置取得装置１０に、ＨＴＴＰサーバ２０に対応する機能が実装されてもよい。すなわち、表示位置取得装置１０とＨＴＴＰサーバ２０とは、一つの装置によって実現されてもよい。
【００１９】
図２は、第１の実施の形態における表示位置取得装置のハードウェア構成例を示す図である。図２の表示位置取得装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、インタフェース装置１０５、表示装置１０６、及び入力装置１０７等を有する。
【００２０】
表示位置取得装置１０での処理を実現するプログラムは、記録媒体１０１によって提供される。プログラムを記録した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００２１】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って表示位置取得装置１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７はキーボード及びマウス等であり、様々な操作指示を入力させるために用いられる。
【００２２】
なお、記録媒体１０１の一例としては、ＣＤ−ＲＯＭ、ＤＶＤディスク、又はＵＳＢメモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置１０２の一例としては、ＨＤＤ（Hard Disk Drive）又はフラッシュメモリ等が挙げられる。記録媒体１０１及び補助記憶装置１０２のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。
【００２３】
図３は、第１の実施の形態における表示位置取得装置の機能構成例を示す図である。図３において、表示位置取得装置１０は、複数のＷｅｂブラウザ１１、画像取得部１２、ＯＣＲ部１３、及び出力部１４等を有する。これら各部は、表示位置取得装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。
【００２４】
Ｗｅｂブラウザ１１は、ＨＴＭＬ文書をＨＴＭＬサーバから取得し、取得されたＨＴＭＬ文書の表示を制御する。また、Ｗｅｂブラウザ１１は、ＪａｖａＳｃｒｉｐｔ（登録商標）等のスクリプトがＨＴＭＬ文書に含まれている場合には、当該スクリプトを実行する。各Ｗｅｂブラウザ１１は、例えば、相互に異なる種類のＷｅｂブラウザ１１である。
【００２５】
画像取得部１２は、Ｗｅｂブラウザ１１によるＨＴＭＬ文書の表示結果に係る画像であって、ＨＴＭＬ文書中の表示要素（ＨＴＭＬ要素）のうち、画像要素（イメージ要素）の表示領域が無効化された画像を取得する。図３において、画像取得部１２は、ブラウザ表示部１２１、画面キャプチャ部１２２、及び画像要素無効化部１２３等を含む。
【００２６】
ブラウザ表示部１２１は、評価対象のＨＴＭＬ文書に対応するＵＲＬをＷｅｂブラウザ１１に入力して、当該ＨＴＭＬ文書の表示をＷｅｂブラウザ１１に実行させる。画面キャプチャ部１２２は、Ｗｅｂブラウザ１１によるＨＴＭＬ文書の表示結果を示す画像を、例えば、画面キャプチャによって取得する。画面キャプチャ部１２２によって取得される画像を、「キャプチャ画像」という。画像要素無効化部１２３は、キャプチャ画像の領域において、ＨＴＭＬ文書の表示要素のうちの画像要素の表示を無効化する。画像要素とは、ＨＴＭＬ文書中における＜ｉｍｇ＞タグに基づいて表示された画像をいう。
【００２７】
ＯＣＲ部１３は、画像要素無効化部１２３によって画像要素が無効化されたキャプチャ画像に対してＯＣＲ（Optical Character Reader）処理を実行し、キャプチャ画像に含まれている各文字の文字コードと当該文字の位置情報とを取得する。出力部１４は、ＯＣＲ部１３によって取得された情報を出力する。
【００２８】
以下、表示位置取得装置１０が実行する処理手順について説明する。図４は、第１の実施の形態における表示位置取得装置が実行する処理手順の一例を説明するためのフローチャートである。
【００２９】
ステップＳ１０１において、ブラウザ表示部１２１は、表示位置取得装置１０にインストールされている複数のＷｅｂブラウザ１１のうちの１つのＷｅｂブラウザ１１を起動し、当該Ｗｅｂブラウザ１１に対して、評価対象のＨＴＭＬ文書のＵＲＬを入力する。その結果、当該ＨＴＭＬ文書が当該Ｗｅｂブラウザ１１によって表示される。なお、Ｗｅｂブラウザ１１の動作環境は、Ｗｅｂブラウザ１１の製品の種類や、ＯＳ（Operating System）、Ｗｅｂブラウザ１１の表示サイズ、及びそれらの組み合わせ等により、様々なものが存在するが、評価したい任意の環境が予め設定された後に、Ｗｅｂブラウザ１１が起動されればよい。
【００３０】
図５は、評価対象のＨＴＭＬ文書の一例を示す図である。図５において、ＨＴＭＬ文書ｄ１は、ｃｅｎｔｅｒ要素ｅ１、ｄｉｖ要素ｅ２、ｄｉｖ要素ｅ３、ｉｍｇ要素ｅ４、ｄｉｖ要素ｅ５、ｉｍｇ要素ｅ６、ｉｍｇ要素ｅ７の７つのＨＴＭＬ要素（表示要素）を含む。
【００３１】
続いて、画面キャプチャ部１２２は、Ｗｅｂブラウザ１１のウィンドウ内の表示領域の画像を取得する（Ｓ１０２）。すなわち、ＨＴＭＬ文書ｄ１の表示結果を示す画像が取得される。斯かる画像の取得は、ＷｅｂＤｒｉｖｅｒを使用することで行われてもよい。ＷｅｂＤｒｉｖｅｒとは、Ｗｅｂブラウザ１１を外部からコントロールするプラグインソフトであり、ＨＴＭＬ文書ｄ１を表示しているＷｅｂブラウザ１１から、その表示内容に関する様々な情報を引き出すことができる。ＷｅｂＤｒｉｖｅｒについては、http://docs.seleniumhq.org/projects/webdriver/に詳しい。なお、ステップＳ１０２において取得された画像を、以下「キャプチャ画像」という。
【００３２】
ＨＴＭＬ文書ｄ１に関しては、例えば、図６に示されるようなキャプチャ画像が取得される。図６は、キャプチャ画像の一例を示す図である。図６に示されるキャプチャ画像ｃ１において、画像ｇ１は、ｉｍｇ要素ｅ４に基づいて表示される。画像ｇ２は、ｉｍｇ要素ｅ６に基づいて表示される。画像ｇ３は、ｉｍｇ要素ｅ７に基づいて表示される。
【００３３】
続いて、画像要素無効化部１２３は、ＨＴＭＬ文書ｄ１に含まれているＨＴＭＬタグのうちの一つのＨＴＭＬタグを、処理対象として選択する（Ｓ１０３）。以下、選択されたＨＴＭＬタグを、「対象タグ」という。ＨＴＭＬ文書ｄ１に含まれているタグの情報についても、ＷｅｂＤｒｉｖｅｒが利用された取得されてもよいし、他の方法によって取得されてもよい。
【００３４】
続いて、画像要素無効化部１２３は、対象タグが、＜ｉｍｇ＞タグであるか否かを判定する（Ｓ１０４）。対象タグが、＜ｉｍｇ＞タグでない場合（Ｓ１０４でＮｏ）、ステップＳ１０７に進む。対象タグが、＜ｉｍｇ＞タグである場合（Ｓ１０４でＹｅｓ）、画像要素無効化部１２３は、＜ｉｍｇ＞タグに対応する画像要素の表示領域（キャプチャ画像ｃ１中における領域）の座標値を、算出する（Ｓ１０５）。当該表示領域の座標値についても、ＷｅｂＤｒｉｖｅｒを利用して算出されてもよい。続いて、画像要素無効化部１２３は、キャプチャ画像ｃ１中における、対象タグの表示領域を白で塗りつぶす（Ｓ１０６）。その結果、当該表示領域に表示される予定の画像の表示は、無効化（非表示に）される。なお、白以外の色によって塗りつぶされてもよい。
【００３５】
ＨＴＭＬ文書ｄ１中における全てのタグについて処理が終了すると（Ｓ１０７でＹｅｓ）、キャプチャ画像ｃ１は、図７に示されるようになる。
【００３６】
図７は、画像要素が無効化された状態のキャプチャ画像の一例を示す図である。図７に示されるキャプチャ画像ｃ２では、図６のキャプチャ画像ｃ１に含まれていた画像ｇ１、ｇ２、及びｇ３が無効化されている（非表示にされている）。
【００３７】
続いて、ＯＣＲ部１３は、キャプチャ画像ｃ２に対してＯＣＲを適用する（Ｓ１０８）。その結果、キャプチャ画像ｃ２に含まれている文字ごとに、文字コード及び位置情報（表示座標の値）が取得される。続いて、出力部１４は、ＯＣＲ部１３によって文字ごとに取得された文字コード及び位置情報を出力する（Ｓ１０９）。例えば、ＨＴＭＬ文書ｄ１の表示に利用されたＷｅｂブラウザ１１の識別情報等に対応付けられて、各文字の文字コード及び位置情報を含むファイルが、補助記憶装置１０２に記憶されてもよい。
【００３８】
上述したように、第１の実施の形態によれば、ＨＴＭＬ文書ｄ１の表示結果を示す画像であるキャプチャ画像ｃ２が取得され、キャプチャ画像ｃ２に対してＯＣＲが適用される。その結果、ＨＴＭＬ文書ｄ１に含まれる表示要素のうちの文字要素の表示位置を取得することができる。すなわち、文字要素ごとにタグが付加されていない場合や、ＪａｖａＳｃｒｉｐｔ（登録商標）等のスクリプトによって動的に表示される文字要素に関しても、表示位置を取得することができる。
【００３９】
また、本実施の形態では、ＯＣＲ処理において誤認識の原因になりやすい画像要素が除去された状態で、キャプチャ画像ｃ２に対してＯＣＲが適用される。したがって、ＯＣＲ処理において、文字の配置位置を調べるためのレイアウト解析のエラー等を低減することができる。その結果、Ｗｅｂブラウザ１１によるＨＴＭＬ文書ｄ１の表示結果に対する文字認識の精度の向上を期待することができる。
【００４０】
なお、図４に示した処理が、Ｗｅｂブラウザ１１ごとに実行されることにより、Ｗｅｂブラウザ１１ごとに、同一のＨＴＭＬ文書ｄ１について、各文字の位置情報を取得することができる。Ｗｅｂブラウザ１１ごとの各文字の位置情報を相互に比較することで、各Ｗｅｂブラウザ１１による表示結果の相違の有無を確認することができる。各位置情報の比較は、公知の方法を用いて行われればよい。この際、厳密に、座標値の一致までが要求されなくてもよい。例えば、各文字の上下左右方向の関係が一致していれば、比較された表示結果は相互に一致するものとして判定されてもよい。
【００４１】
次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。第２の実施の形態において、特に言及されない点については、第１の実施の形態と同様でもよい。
【００４２】
図８は、第２の実施の形態における表示位置取得装置の機能構成例を示す図である。図８中、図３と同一部分又は対応する部分には同一符号を付し、その説明は省略する。
【００４３】
図８では、画像要素無効化部１２３と画面キャプチャ部１２２との配置関係が、図３と異なっている。第２の実施の形態において、画像要素無効化部１２３による処理と画面キャプチャ部１２２による処理との実タイミング、及び当該処理の内容が、第１の実施の形態と異なるからである。
【００４４】
図９は、第２の実施の形態における表示位置取得装置が実行する処理手順の一例を説明するためのフローチャートである。
【００４５】
ステップＳ２０１は、ステップＳ１０１と同じでよい。ステップＳ２０２において、画像要素無効化部１２３は、ＨＴＭＬ文書ｄ１に含まれているＨＴＭＬタグのうちの一つのＨＴＭＬタグを、処理対象として選択する（Ｓ２０２）。ＨＴＭＬタグの選択には、図４のステップＳ１０３と同様に、ＷｅｂＤｒｉｖｅｒが利用されてもよい。なお、ステップＳ２０２において選択されたＨＴＭＬタグを、以下「対象タグ」という。
【００４６】
続いて、画像要素無効化部１２３は、対象タグが、＜ｉｍｇ＞タグであるか否かを判定する（Ｓ２０３）。対象タグが、＜ｉｍｇ＞タグである場合（Ｓ２０３でＹｅｓ）、画像要素無効化部１２３は、対象タグのｓｔｙｌｅ属性のｖｉｓｉｂｉｌｉｔｙの値をｈｉｄｄｅｎに設定する（Ｓ２０４）。そうすることにより、対象タグのＨＴＭＬ要素を非表示にすることができる。すなわち、画像要素を非表示にすることができる。
【００４７】
一方、対象タグが、＜ｉｍｇ＞タグでない場合（Ｓ２０３でＮｏ）、画像要素無効化部１２３は、対象タグのｓｔｙｌｅ属性のｂａｃｋｇｒｏｕｎｄ−ｉｍａｇｅの値をｎｏｎｅに設定する（Ｓ２０５）。そうすることで、対象タグのＨＴＭＬ要素の背景に画像が表示されないようにすることができる。但し、ステップＳ２０５の処理は必須ではない。なお、ステップＳ２０４及びＳ２０５は、ＷｅｂＤｒｉｖｅｒを利用して実行されてもよい。そうすることで、タグの属性の変更を、表示結果に直ちに反映することができる。すなわち、ステップＳ２０４又はＳ２０５の実行結果を、即時的に、Ｗｅｂブラウザ１１によるＨＴＭＬ文書ｄ１の表示結果に反映させることができる。
【００４８】
ステップＳ２０４又はＳ２０５が、ＨＴＭＬ文書ｄ１中の全てのタグに対して実行されると（Ｓ２０６でＹｅｓ）、画面キャプチャ部１２２は、Ｗｅｂブラウザ１１のウィンドウ内の表示領域の画像を取得する（Ｓ２０７）。ステップＳ２０７の実行方法は、図４のステップＳ１０２と同様でもよい。ステップＳ２０７では、＜ｉｍｇ＞タグのＨＴＭＬ要素が非表示にされた状態でのＨＴＭＬ文書ｄ１の表示結果の画像が取得される。すなわち、ステップＳ２０７では、図７に示したキャプチャ画像ｃ２が取得される。
【００４９】
続いて、ステップＳ２０８及びＳ２０９において、図４のステップＳ１０８及びＳ１０９と同様の処理が実行される。
【００５０】
上述したように、第２の実施の形態によれば、第１の実施の形態と同様の効果を得ることができる。
【００５１】
次に、第３の実施の形態について説明する。第３の実施の形態では第１又は第２の実施の形態と異なる点について説明する。第３の実施の形態において、特に言及されない点については、第１又は第２の実施の形態と同様でもよい。
【００５２】
図１０は、第３の実施の形態におけるシステム構成例を示す図である。図１０中、図１と同一部分には同一符号を付し、その説明は省略する。
【００５３】
図１０において、表示位置取得装置１０とＨＴＴＰプロキシ３０とは、ＬＡＮ又はインターネット等のネットワークを介して通信可能に接続される。また、ＨＴＴＰプロキシ３０とＨＴＴＰサーバ２０とは、ＬＡＮ又はインターネット等のネットワークを介して通信可能に接続される。
【００５４】
ＨＴＴＰプロキシ３０は、表示位置取得装置１０からのＨＴＴＰリクエストを中継してＨＴＴＰサーバ２０に転送し、当該ＨＴＴＰリクエストに対するＨＴＴＰサーバ２０からのＨＴＴＰレスポンスを中継して表示位置取得装置１０に転送するコンピュータである。なお、第１の実施の形態では、ＨＴＴＰプロキシは明示されていないが、このことは、第１の実施の形態が、ＨＴＴＰサーバ２０と表示位置取得装置１０との間にＨＴＴＰプロキシが介在しない形態に限定されることを意図する趣旨ではない。
【００５５】
図１１は、第３の実施の形態における表示位置取得装置の機能構成例を示す図である。図１１中、図３と同一部分又は対応する部分には同一符号を付し、その説明は省略する。
【００５６】
図１１において、ＨＴＴＰプロキシ３０は、プロキシ部３１及び画像要素無効化部３２等を有する。プロキシ部３１は、表示位置取得装置１０とＨＴＴＰサーバ２０との間のＨＴＴＰリクエスト及びＨＴＴＰレスポンスの中継を行う。画像要素無効化部３２は、ＨＴＴＰサーバ２０からのＨＴＴＰレスポンスに画像データが含まれている場合、当該画像データを、当該画像データと同サイズの透明画像又は白一色の画像の画像データに置き換える。
【００５７】
すなわち、第３の実施の形態では、ＨＴＭＬ文書ｄ１から参照されている各画像データが、ＨＴＴＰプロキシ３０の画像要素無効化部３２によって、透明画像又は白一色の画像データに置換される。
【００５８】
一方、図１１において、表示位置取得装置１０の画像取得部１２は、画像要素無効化部１２３を含まない。第３の実施の形態において、ＨＴＭＬ文書ｄ１の画像要素は、ＨＴＴＰプロキシ３０において無効化されるからである。
【００５９】
図１２は、第３の実施の形態においてＨＴＴＰプロキシが実行する処理手順の一例を説明するためのフローチャートである。
【００６０】
プロキシ部３１は、ＨＴＴＰサーバ２０から表示位置取得装置１０宛のＨＴＴＰレスポンスを受信すると（Ｓ３０１）、当該ＨＴＴＰレスポンスに画像データが含まれているか否かを判定する（Ｓ３０２）。すなわち、当該ＨＴＴＰレスポンスの実体が、画像データであるか否かが判定される。ＨＴＴＰレスポンスの実体が画像データであるか否かは、例えば、ＨＴＴＰレスポンスのＨＴＴＰヘッダのＣｏｎｔｅｎｔ−ｔｙｐｅを参照することで判定可能である。
【００６１】
ＨＴＴＰレスポンスに画像データが含まれている場合（Ｓ３０２でＹｅｓ）、画像要素無効化部３２は、画像のサイズ（縦横のサイズ）が、当該画像データ（以下、「元画像データ」という。）と同じ透明画像又は白一色の画像の画像データを生成し、ＨＴＴＰレスポンス内の元画像データを、生成された画像データと入れ替える（Ｓ３０３）。
【００６２】
なお、Ｗｅｂブラウザ１１に対してＨＴＭＬ文書ｄ１のＵＲＬが入力されると、Ｗｅｂブラウザ１１は、当該ＵＲＬに対応するＨＴＭＬ文書ｄ１をＨＴＴＰサーバ２０から取得する。その後で、Ｗｅｂブラウザ１１は、ＨＴＭＬ文書ｄ１から参照されている画像データ等を、ＨＴＴＰサーバ２０から取得する。例えば、＜ｉｍｇ＞タグによって参照されている画像データや、背景に利用される画像データ等が、ＨＴＴＰサーバ２０から取得される。ステップＳ３０３では、この際のＨＴＴＰレスポンスが処理対象とされる。
【００６３】
ステップＳ３０３又はステップＳ３０２でＮｏの場合に続いて、プロキシ部３１は、ＨＴＴＰレスポンスを表示位置取得装置１０に送信する（Ｓ３０４）。
【００６４】
図１３は、第３の実施の形態における表示位置取得装置が実行する処理手順の一例を説明するためのフローチャートである。図１３中、図４と同一ステップには同一ステップ番号を付し、その説明は省略する。
【００６５】
図１３のステップＳ１０１では、ＨＴＴＰプロキシ３０による処理の効果により、ＨＴＭＬ文書ｄ１の各画像要素は、透明又は白一色で表示される。したがって、ステップＳ１０８では、画像要素が含まれないキャプチャ画像ｃ２に対してＯＣＲが適用される。
【００６６】
上述したように、第３の実施の形態においても、第１又は第２の実施の形態と同様の効果を得ることができる。更に、第３の実施の形態では、＜ｉｍｇ＞タグだけでなく、背景画像や画像で表示されたボタン等も透明画像又は白一色にすることができ、文字認識精度について、更なる向上が期待できる。
【００６７】
なお、表示位置取得装置１０に、ＨＴＴＰプロキシ３０に対応する機能が実装されてもよい。すなわち、表示位置取得装置１０とＨＴＴＰプロキシ３０とは、一つの装置によって実現されてもよい。更に、表示位置取得装置１０に、ＨＴＴＰサーバ２０に対応する機能が実装されてもよい。
【００６８】
次に、第４の実施の形態について説明する。第４の実施の形態では第１〜第３の実施の形態と異なる点について説明する。第４の実施の形態において、特に言及されない点については、第１〜第３の実施の形態のいずれかの形態と同様でもよい。
【００６９】
図１４は、第４の実施の形態における表示位置取得装置の機能構成例を示す図である。図１４中、図３、図８、又は図１１と同一部分又は対応する部分には同一符号を付し、その説明は省略する。
【００７０】
図１４において、画像取得部１２は、ブラックボックス化されている。これは、第４の実施の形態において、画像取得部１２の構成は、図３、図８、及び図１１のいずれに示したものでもよいからである。すなわち、図１に示したシステム構成が採用される場合、画像取得は、図３又は図８に示した構成を有していればよい。図１０に示したシステム構成が採用される場合、画像取得部１２は、図１１に示した構成を有していればよい。
【００７１】
図１４において、表示位置取得装置１０は、更に、タグ表示領域取得部１５を有する。タグ表示領域取得部１５は、表示位置取得装置１０にインストールされたプログラムが、ＣＰＵ１０４に実行させる処理により実現される。タグ表示領域取得部１５は、ＨＴＭＬ文書ｄ１内の各タグに対応するＨＴＭＬ要素について、当該ＨＴＭＬ文書ｄ１の表示結果の画像における表示領域の矩形座標を取得（特定）する。矩形座標とは、例えば、当該表示領域に係る矩形領域の対角の頂点の座標値でもよいし、いずれか１つの頂点の座標値と当該矩形領域の幅及び高さとであってもよい。
【００７２】
図１５は、第４の実施の形態における表示位置取得装置が実行する処理手順の一例を説明するためのフローチャートである。
【００７３】
ステップＳ４１０において、画像取得部１２は、ＨＴＭＬ文書ｄ１の画像要素が無効化されたキャプチャ画像ｃ２を取得する。キャプチャ画像ｃ２の取得方法は、第１から第３の実施の形態のいずれの方法が採用されてもよい。
【００７４】
続いて、タグ表示領域取得部１５は、ＨＴＭＬ文書ｄ１に含まれている各タグに対応する各ＨＴＭＬ要素の表示領域の矩形座標を取得する（Ｓ４２０）。
【００７５】
図１６は、各ＨＴＭＬ要素の表示領域の一例を示す図である。図１６では、ＨＴＭＬ文書ｄ１（図５）に含まれているＨＴＭＬ要素ｅ１〜ｅ７のそれぞれに順番に対応する表示領域ａ１〜ａ７が矩形によって示されている。なお、図１６では、便宜上、ｉｍｇ要素に対応する画像も示されている。
【００７６】
また、図１７は、各ＨＴＭＬ要素の表示領域の矩形座標の取得結果の一例を示す図である。図１７には、各ＨＴＭＬ要素のＸＰａｔｈの値に対応付けられて、当該ＨＴＭＬ要素の表示領域の矩形座標が示されている。ステップＳ４２０では、図１７に示されるような情報が取得される。なお、図１７に示されるような情報は、例えば、ＷｅｂＤｒｉｖｅｒを用いて取得されてもよい。または、図１０に示したシステム構成が採用される場合、ＨＴＴＰプロキシ３０において、ＨＴＭＬ文書ｄ１中の各ＨＴＭＬタグに係るＨＴＭＬ要素の表示領域の矩形座標を取得するためのＪａｖａＳｃｒｉｐｔ（登録商標）が、ＨＴＭＬ文書ｄ１に対して挿入されてもよい。そうすることで、各ＨＴＭＬ要素の表示領域の矩形座標が取得されてもよい。
【００７７】
続いて、ＯＣＲ部１３は、ＨＴＭＬ文書ｄ１に含まれているＨＴＭＬタグのうちの一つのＨＴＭＬタグを、処理対象（対象タグ）として選択する（Ｓ４３０）。続いて、ＯＣＲ部１３は、キャプチャ画像ｃ２のうち、対象タグに係るＨＴＭＬ要素に関して取得された矩形座標が示す表示領域に対してＯＣＲを適用する（Ｓ４４０）。例えば、対象タグが、ＨＴＭＬ要素ｅ１に対応するタグであれば、図１６の表示領域ａ１に対してＯＣＲが適用される。続いて、出力部１４は、取得された文字コード及び位置情報を出力する（Ｓ４５０）。
【００７８】
ステップＳ４３０〜Ｓ４５０が全てのＨＴＭＬタグについて実行されると（Ｓ４６０でＹｅｓ）、出力部１４は、同じ文字に関して重複して記録されているＯＣＲ結果を削除する（Ｓ４７０）。すなわち、ＨＴＭＬ要素は、階層構造を有するため、或るＨＴＭＬ要素（子要素）が他のＨＴＭＬ要素（親要素）の内部に存在する場合が有る。このような場合、子要素については、親要素の表示領域に対するＯＣＲ処理と、当該子要素の表示領域に対するＯＣＲ処理とによって重複してＯＣＲ結果が得られることになる。例えば、図１６の例において、表示領域ａ５に含まれる「文字列６」及び「文字列７」については、表示領域ａ３に対するＯＣＲ処理と、表示領域ａ５に対するＯＣＲ処理とのそれぞれにおいて、ＯＣＲ結果が得られる。そこで、ステップＳ４７０では、斯かる重複が排除される。
【００７９】
上述したように、第４の実施の形態によれば、ＨＴＭＬ文書ｄ１に含まれる各ＨＴＭＬ要素の表示領域ごとに、ＯＣＲが適用される。一般的に、属性（大きさ等）の異なる文字列が混在した範囲に対してＯＣＲが適用される場合よりも、属性が共通する文字列ごとにＯＣＲが適用された場合の方が、高い精度で文字認識結果を得られる可能性が高い。本実施の形態によれば、キャプチャ画像ｃ２の全面にではなく、各ＨＴＭＬ要素の表示領域ごとにＯＣＲが適用されるため、属性が共通する文字列ごとにＯＣＲが実行される可能性を高めることができる。その結果、文字認識の精度の更なる向上を期待することができる。
【００８０】
例えば、以下のようなケースについて、第４の実施の形態によれば、ＯＣＲ処理における誤認識の可能性を低減することができる。図１８は、第４の実施の形態による効果を具体的に説明するための図である。
【００８１】
図１８では、（１）に示されるように、大きな文字と小さな文字が混在している例が示されている。このような場合に、（１）に示される破線の矩形の範囲に対してＯＣＲが適用されると、誤認識が発生しやすくなる。例えば、 "２"及び"０"と同じ大きさの文字が、"０"の後にも続いていると仮定して解析された結果、"％ＯＦ"が一文字であると判定され、"％ＯＦ"に最も近似する文字が探索されてしまう可能性が有る。その結果、"％ＯＦ"の部分に関して誤認識が発生する可能性が高くなる。
【００８２】
一方、第４の実施の形態では、ＨＴＭＬソースコード上では、"２０"と、"％"と、"ＯＦＦ"とは、ＨＴＭＬ要素が区別されていることを利用し、（２）に示される破線の矩形単位でＯＣＲが適用される。その結果、（１）に関して発生するような誤認識の発生の可能性を低下させることができる。
【００８３】
次に、第５の実施の形態について説明する。第５の実施の形態では第４の実施の形態と異なる点について説明する。第５の実施の形態において、特に言及されない点については、第４の実施の形態と同様でもよい。
【００８４】
図１９は、第５の実施の形態における表示位置取得装置の機能構成例を示す図である。図１９中、図１４と同一部分又は対応する部分には同一符号を付し、その説明は省略する。
【００８５】
図１９において、表示位置取得装置１０は、更に、タグ階層構造解析部１６、画像更新部１７、及びタグ階層構造更新部１８等を有する。これら各部は、表示位置取得装置１０にインストールされる１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。
【００８６】
タグ階層構造解析部１６は、ＨＴＭＬ文書ｄ１を解析して、ＨＴＭＬ文書ｄ１内のタグ（ＨＴＭＬ要素）の階層構造又は親子関係（以下、「タグ階層情報」という。）を示す情報を生成（特定）する。タグ階層情報は、タグ（ＨＴＭＬ要素）をノードとし、階層関係を有するタグ（ＨＴＭＬ要素）に対応するノード間に枝を有するツリー構造の情報である。
【００８７】
画像更新部１７は、キャプチャ画像ｃ２中において、ＯＣＲ処理が終了したＨＴＭＬ要素の表示領域内の文字列を無効化する。
【００８８】
タグ階層構造更新部１８は、ＯＣＲ処理が終了したＨＴＭＬ要素に対応するノードをタグ階層情報から削除する。
【００８９】
図２０は、第５の実施の形態における表示位置取得装置が実行する処理手順の一例を説明するためのフローチャートである。図２０中、図１５と同一ステップには同一ステップ番号を付し、その説明は省略する。
【００９０】
ステップＳ４２０に続いて、タグ階層構造解析部１６は、Ｗｅｂブラウザ１１からＨＴＭＬソースコードを取得して、当該ＨＴＭＬソースコードに含まれているタグの階層構造を解析し、タグ階層情報を生成する（Ｓ４２１）。本実施の形態において、ＨＴＭＬソースコードとは、ＨＴＭＬ文書ｄ１中に含まれているスクリプト等の実行後の状態のＨＴＭＬデータである。すなわち、当該スクリプト等が実行されることで、ＨＴＭＬ文書ｄ１中には、動的にＨＴＭＬ要素が追加されうる。ステップＳ４２１では、動的に追加されたＨＴＭＬ要素をも含むＨＴＭＬソースコードが取得される。すなわち、ＨＴＭＬソースコードは、Ｗｅｂブラウザ１１での表示状態に対応したＨＴＭＬデータである。斯かるＨＴＭＬソースコードの取得には、ＷｅｂＤｒｉｖｅｒが利用されてもよい。
【００９１】
図２１は、タグ階層情報の一例を示す図である。図２１に示されるタグ階層情報において、各ノードの符号は、当該ノードに対応するＨＴＭＬ要素に対して図５において付されている符号に一致する。また、各ノードには、当該ノードに対応するタグ（ＨＴＭＬ要素）のＸＰａｔｈの値が付されている。
【００９２】
ステップＳ４３０の代わりに実行されるステップＳ４３０ａにおいて、ＯＣＲ部１３は、タグ階層情報における末端のタグのうちの一つのタグを、処理対象として選択する。
【００９３】
図２２は、タグ階層情報における末端のタグを説明するための図である。図２２において、破線の矩形に係るノードが、タグ階層情報における末端のタグに対応するノードである。すなわち、タグ階層情報における末端のタグとは、タグ階層情報を構成するノードのうち、子ノードを有さないノードに対応するタグをいう。
【００９４】
ステップＳ４５０において、画像更新部１７は、キャプチャ画像ｃ２において、ステップＳ４３０ａにおいて選択されたタグ（ＨＴＭＬ要素）の表示領域を、例えば、白色一色で塗りつぶす。当該表示領域は、ステップＳ４２０において取得された矩形座標に基づいて特定可能である。なお、当該タグが、ｉｍｇ要素に対応するタグである場合、当該ｉｍｇ要素に対応する画像要素は、既に無効化されている。したがって、当該ｉｍｇ要素の表示領域を白色で塗りつぶすことについて、特段の意義が無い。そこで、ステップＳ４４０〜Ｓ４５１は、＜ｉｍｇ＞タグが処理対象の場合には実行されなくてもよい。
【００９５】
続いて、タグ階層構造更新部１８は、ステップＳ４３０ａにおいて選択されたタグに対応するノードを、タグ階層情報から削除する（Ｓ４５２）。その結果、それまで末端のタグでなかったＨＴＭＬタグが、末端のタグになる可能性が有る。
【００９６】
上述したように、第５の実施の形態によれば、第４の実施の形態と同様の効果を得ることができる。但し、第５の実施の形態では、タグの階層構造において、末端のタグに係る表示領域から順に、ＯＣＲが適用される。また、ＯＣＲが適用された表示領域は、無効化される。したがって、第４の実施の形態（図１５）におけるステップＳ４７０の処理を不要とすることができる。また、他のタグを包含するタグに対応する表示領域に対してＯＣＲが実行される時点では、当該他のタグに含まれる文字の部分は、既に無効化されている。したがって、属性が共通する文字に対してＯＣＲが適用される可能性を高めることができる。
【００９７】
なお、上記では、ステップＳ４１０において、画像要素が無効化されたキャプチャ画像ｃ２が取得される例について説明したが、ステップＳ４１０では、画像要素の無効化前のキャプチャ画像ｃ１が取得されてもよい。この場合、ステップＳ４４０及びＳ４５０は、処理対象のタグが＜ｉｍｇ＞タグである場合には実行せずに、ステップＳ４５１は、処理対象のタグが＜ｉｍｇ＞タグである場合であっても実行されるようにすればよい。
【００９８】
なお、上記各実施の形態において、ＨＴＭＬ文書は、表示データの一例である。ＨＴＭＬ要素は、表示要素の一例である。すなわち、ＨＴＭＬ文書以外の表示データであって、相互に包含関係又は階層構造を有する複数の表示要素を含む表示データに関して、本実施の形態が適用されてもよい。この場合、Ｗｅｂブラウザの代わりに、当該表示データに適したブラウザが用いられればよい。また、Ｗｅｂブラウザ１１は、表示制御部の一例である。画像要素無効化部１２３は、無効化部の一例である。画面キャプチャ部１２２は、画像取得部の一例である。ＯＣＲ部１３は、位置取得部の一例である。
【００９９】
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【０１００】
以上の説明に関し、更に以下の項を開示する。
（付記１）
コンピュータに、
文字要素と画像要素とを表示要素として含む表示データを表示し、
前記表示データの表示結果を示す画像を取得し、
取得された画像において、前記画像要素の表示を無効化し、
前記画像要素の表示が無効化された画像に対して文字認識を行うことで、前記表示データに含まれる各文字要素の位置情報を取得する、
処理を実行させることを特徴とする表示位置取得プログラム。
（付記２）
コンピュータに、
文字要素と画像要素とを表示要素として含む表示データを表示し、
前記表示データの表示要素のうち、画像要素の表示を無効化し、
前記表示データの表示結果について、画像要素の表示が無効化された状態の画像を取得し、
取得された画像に対して文字認識を行うことで、前記表示データに含まれる各文字要素の位置情報を取得する、
処理を実行させることを特徴とする表示位置取得プログラム。
（付記３）
前記表示データに含まれる各表示要素の表示領域を特定する処理を前記コンピュータに実行させ、
前記位置情報を取得する処理は、前記表示領域ごとに文字認識を行う、
ことを特徴とする付記１又は２記載の表示位置取得プログラム。
（付記４）
前記表示データに含まれる表示要素間の階層構造を特定する処理と、
前記表示領域ごとに文字認識が行われるたびに、文字認識が行われた表示領域を無効化する処理と、
を前記コンピュータに実行させ、
前記位置情報を取得する処理は、前記階層構造において末端の表示要素に係る表示領域から順に、文字認識を行う、
ことを特徴とする付記３記載の表示位置取得プログラム。
（付記５）
文字要素と画像要素とを表示要素として含む表示データを表示する表示制御部と、
前記表示データの表示結果を示す画像を取得する画像取得部と、
取得された画像において、前記画像要素の表示を無効化する無効化部と、
前記画像要素の表示が無効化された画像に対して文字認識を行うことで、前記表示データに含まれる各文字要素の位置情報を取得する位置取得部と、
を有することを特徴とする表示位置取得装置。
（付記６）
文字要素と画像要素とを表示要素として含む表示データを表示する表示制御部と、
前記表示データの表示要素のうち、画像要素の表示を無効化する無効化部と、
前記表示データの表示結果について、画像要素の表示が無効化された状態の画像を取得する画像取得部と、
取得された画像に対して文字認識を行うことで、前記表示データに含まれる各文字要素の位置情報を取得する位置取得部と、
を有することを特徴とする表示位置取得装置。
（付記７）
前記表示データに含まれる各表示要素の表示領域を特定する第１の特定部を有し、
前記位置取得部は、前記表示領域ごとに文字認識を行う、
ことを特徴とする付記５又は６記載の表示位置取得装置。
（付記８）
前記表示データに含まれる表示要素間の階層構造を特定する第２の特定部と、
前記表示領域ごとに文字認識が行われるたびに、文字認識が行われた表示領域を無効化する第２の無効化部と、
を有し、
前記位置取得部は、前記階層構造において末端の表示要素に係る表示領域から順に、文字認識を行う、
ことを特徴とする付記７記載の表示位置取得装置。
（付記９）
コンピュータが、
文字要素と画像要素とを表示要素として含む表示データを表示し、
前記表示データの表示結果を示す画像を取得し、
取得された画像において、前記画像要素の表示を無効化し、
前記画像要素の表示が無効化された画像に対して文字認識を行うことで、前記表示データに含まれる各文字要素の位置情報を取得する、
処理を実行することを特徴とする表示位置取得方法。
（付記１０）
コンピュータが、
文字要素と画像要素とを表示要素として含む表示データを表示し、
前記表示データの表示要素のうち、画像要素の表示を無効化し、
前記表示データの表示結果について、画像要素の表示が無効化された状態の画像を取得し、
取得された画像に対して文字認識を行うことで、前記表示データに含まれる各文字要素の位置情報を取得する、
処理を実行することを特徴とする表示位置取得方法。
（付記１１）
前記表示データに含まれる各表示要素の表示領域を特定する処理を前記コンピュータが実行し、
前記位置情報を取得する処理は、前記表示領域ごとに文字認識を行う、
ことを特徴とする付記９又は１０記載の表示位置取得方法。
（付記１２）
前記表示データに含まれる表示要素間の階層構造を特定する処理と、
前記表示領域ごとに文字認識が行われるたびに、文字認識が行われた表示領域を無効化する処理と、
を前記コンピュータが実行し、
前記位置情報を取得する処理は、前記階層構造において末端の表示要素に係る表示領域から順に、文字認識を行う、
ことを特徴とする付記１１記載の表示位置取得方法。
【符号の説明】
【０１０１】
１０          表示位置取得装置
１１          Ｗｅｂブラウザ
１２          画像取得部
１３          ＯＣＲ部
１４          出力部
１５          タグ表示領域取得部
１６          タグ階層構造解析部
１７          画像更新部
１８          タグ階層構造更新部
２０          ＨＴＴＰサーバ
３０          ＨＴＴＰプロキシ
３１          プロキシ部
３２          画像要素無効化部
１００        ドライブ装置
１０１        記録媒体
１０２        補助記憶装置
１０３        メモリ装置
１０４        ＣＰＵ
１０５        インタフェース装置
１０６        表示装置
１０７        入力装置
１２１        ブラウザ表示部
１２２        画面キャプチャ部
１２３        画像要素無効化部
Ｂ            バス
【図１】
0006565287.tif 000002
【図２】
0006565287.tif 000003
【図３】
0006565287.tif 000004
【図４】
0006565287.tif 000005
【図５】
0006565287.tif 000006
【図６】
0006565287.tif 000007
【図７】
0006565287.tif 000008
【図８】
0006565287.tif 000009
【図９】
0006565287.tif 000010
【図１０】
0006565287.tif 000011
【図１１】
0006565287.tif 000012
【図１２】
0006565287.tif 000013
【図１３】
0006565287.tif 000014
【図１４】
0006565287.tif 000015
【図１５】
0006565287.tif 000016
【図１６】
0006565287.tif 000017
【図１７】
0006565287.tif 000018
【図１８】
0006565287.tif 000019
【図１９】
0006565287.tif 000020
【図２０】
0006565287.tif 000021
【図２１】
0006565287.tif 000022
【図２２】
0006565287.tif 000023