(57)【特許請求の範囲】
【請求項１】
ブラウザ画面上にて自動で行われる操作の手順を記録するためのコンピュータプログラムであって、
前記ブラウザ画面が写っているブラウザ画像を表示し、
前記ブラウザ画像上にて選択された選択位置を外部装置に出力し、
出力した選択位置に対応する前記ブラウザ画面の画面位置にあるエレメントについて、サイズ及び前記ブラウザ画像上の画像位置を示すエレメント情報を前記外部装置から取得し、
取得したエレメント情報に基づいて、前記エレメントが選択されていることを示すオブジェクトを前記ブラウザ画像上に表示する
処理をコンピュータに実行させるコンピュータプログラム。
【請求項２】
複数の操作を示す操作メニューを、前記オブジェクトの近傍に表示するか又は前記オブジェクトに重ねて表示する
処理をコンピュータに実行させる請求項１に記載のコンピュータプログラム。
【請求項３】
前記オブジェクトに設けられたボタンの選択を受け付け、
前記ボタンが選択された場合に前記操作メニューを表示する
処理をコンピュータに実行させる請求項２に記載のコンピュータプログラム。
【請求項４】
前記オブジェクトに対応するエレメント内に入力する入力データを前記ブラウザ画像と併せて表示する
処理をコンピュータに実行させる請求項１から請求項３のいずれか１つに記載のコンピュータプログラム。
【請求項５】
前記入力データを、前記入力データの名称に対応付けて前記ブラウザ画像と併せて表示する
処理をコンピュータに実行させる請求項４に記載のコンピュータプログラム。
【請求項６】
前記オブジェクトに対応するエレメントに入力することが可能な入力データを記憶し、
記憶された入力データの入力が１つの操作として含まれる複数の操作の中からの１つの選択を受け付け、
記憶された入力データの入力が選択された場合、記憶された入力データを前記オブジェクトに対応するエレメントに入力する
処理をコンピュータに実行させる請求項１から請求項５のいずれか１つに記載のコンピュータプログラム。
【請求項７】
前記ブラウザ画像における複数のオブジェクトそれぞれに含まれている複数の文字列を記憶し、
記憶した複数の文字列をグループ化する
処理をコンピュータに実行させる請求項１から請求項６のいずれか１つに記載のコンピュータプログラム。
【請求項８】
グループ化した複数の文字列を表示する
処理をコンピュータに実行させる請求項７に記載のコンピュータプログラム。
【請求項９】
グループ化した複数の文字列の少なくとも１つを用いた操作を受け付け、
受け付けた操作を実行した後のブラウザ画面に対応する前記ブラウザ画像上におけるオブジェクトの選択を受け付け、
選択されたオブジェクトに含まれている第２の文字列を記憶し、
前記複数の文字列のグループに前記第２の文字列を加える
処理をコンピュータに実行させる請求項７又は請求項８に記載のコンピュータプログラム。
【請求項１０】
前記ブラウザ画像における範囲の選択を受け付け、
選択された範囲に含まれている複数の文字列に対して、グループ化された複数の文字列に対して実行した処理と共通する処理を実行する
処理をコンピュータに実行させる請求項９に記載のコンピュータプログラム。
【請求項１１】
ブラウザ画面上にて自動で実行される操作の手順を記録する記録装置であって、
前記ブラウザ画面が写っているブラウザ画像を表示する表示部と、
前記表示部が表示した前記ブラウザ画像上にて選択された選択位置を外部装置に出力する出力部と、
前記出力部が出力した選択位置に対応する前記ブラウザ画面の画面位置にあるエレメントについて、サイズ及び前記ブラウザ画像上の画像位置を示すエレメント情報を前記外部装置から取得するエレメント取得部と
を備え、
前記表示部は、前記エレメント取得部が取得したエレメント情報に基づいて、前記エレメントが選択されていることを示すオブジェクトを表示する
記録装置。
【請求項１２】
請求項１１に記載の記録装置と、
前記出力部が出力した選択位置に対応する前記ブラウザ画面の画面位置にあるエレメントについて、サイズ及び前記ブラウザ画像上の画像位置を解析する解析装置と
を備え、
前記記録装置の前記エレメント取得部は、前記解析装置が解析したサイズ及び画像位置を示すエレメント情報を前記解析装置から取得する
記録システム。
【請求項１３】
認証要求を受信した場合に認証情報を前記記録装置に送信する送信装置を備え、
前記記録装置は、
前記認証要求を前記送信装置に送信する第１送信部と、
前記送信装置から前記認証情報を受信する情報受信部と、
前記情報受信部が受信した認証情報を前記解析装置に送信する第２送信部と
を有し、
前記解析装置は、前記送信装置が前記記録装置に送信した認証情報を前記第２送信部から受信した場合、前記ブラウザ画面に関する処理を実行する
請求項１２に記載の記録システム。
【請求項１４】
ブラウザ画面上にて自動で行われる操作の手順を記録する記録装置から、前記ブラウザ画面が写っているブラウザ画像上にて選択された選択位置を取得する位置取得部と、
前記位置取得部が取得した選択位置に対応する前記ブラウザ画面の画面位置にあるエレメントについて、サイズ及び前記ブラウザ画像上の画像位置を解析する解析部と、
前記解析部が解析したサイズ及び画像位置を示すエレメント情報を前記記録装置に送信する送信部と
を備える解析装置。
【請求項１５】
前記送信部が送信したエレメント情報に基づいて前記ブラウザ画像上に表示され、前記エレメントが選択されていることを示すオブジェクト内の文字列の抽出を要求する抽出要求を前記記録装置から受信する要求受信部と、
前記要求受信部が前記抽出要求を受信した場合に前記ブラウザ画面から前記オブジェクト内の文字列を抽出する抽出部と
を備え、
前記送信部は抽出した文字列を前記記録装置に送信する
請求項１４に記載の解析装置。
【請求項１６】
前記抽出部が抽出した複数の文字列のグループ化を要求するグループ化要求を前記記録装置から受信する第２の要求受信部と、
前記第２の要求受信部が前記グループ化要求を受信した場合に前記抽出部が抽出した複数の文字列をグループ化するグループ化部と
を備える請求項１５に記載の解析装置。
【請求項１７】
ブラウザ画面上にて自動で実行される操作の手順を記録する記録方法であって、
前記ブラウザ画面が写っているブラウザ画像を表示し、
前記ブラウザ画像上にて選択された選択位置を示す位置情報を外部装置に出力し、
前記位置情報が示す選択位置に対応する前記ブラウザ画面の画面位置にあるエレメントについて、サイズ及び前記ブラウザ画像上の画像位置を示すエレメント情報を前記外部装置から取得し、
取得したエレメント情報に基づいて、前記エレメントが選択されていることを示すオブジェクトを前記ブラウザ画像上に表示する
処理をコンピュータが実行する記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータプログラム、記録装置、記録システム、解析装置及び記録方法に関する。
【背景技術】
【０００２】
インターネットを通じて種々のサービスを提供するクラウドサービスが普及している。クラウドサービスでは、ユーザは、ブラウザ画面にウェブページを表示し、ブラウザ画面上で種々の操作を実行する。ユーザは、クラウドサービスを利用する場合において、内容が共通している一連の操作をブラウザ画面上で繰り返し実行することがある。
【０００３】
このような手間を省くために、ブラウザ画面上で一連の操作を自動で行うロボットが提案されている。特許文献１では、ロボットを作成することを目的として、ブラウザ画面上において自動で行う操作の手順を記録する構成が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第６４５２８８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の構成では、操作の手順の記録に関して、コンピュータが実行する処理の処理量が大きく、ユーザが行う操作の数が多い。このため、特許文献１の構成には、効率的にユーザが行う操作を記録することができないという問題がある。
【０００６】
本発明は斯かる事情に鑑みてなされたものであり、その目的とするところは、操作の手順の効率的な記録を実現することができるコンピュータプログラム、記録装置、記録システム、解析装置及び記録方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様に係るコンピュータプログラムは、ブラウザ画面上にて自動で行われる操作の手順を記録するためのコンピュータプログラムであって、前記ブラウザ画面が写っているブラウザ画像を表示し、前記ブラウザ画像上にて選択された選択位置を外部装置に出力し、出力した選択位置に対応する前記ブラウザ画面の画面位置にあるエレメントについて、サイズ及び前記ブラウザ画像上の画像位置を示すエレメント情報を前記外部装置から取得し、取得したエレメント情報に基づいて、前記エレメントが選択されていることを示すオブジェクトを前記ブラウザ画像上に表示する処理をコンピュータに実行させる。
【０００９】
本発明の一態様に係る記録装置は、ブラウザ画面上にて自動で実行される操作の手順を記録する記録装置であって、前記ブラウザ画面が写っているブラウザ画像を表示する表示部と、前記表示部が表示した前記ブラウザ画像上にて選択された選択位置を外部装置に出力する出力部と、前記出力部が出力した選択位置に対応する前記ブラウザ画面の画面位置にあるエレメントについて、サイズ及び前記ブラウザ画像上の画像位置を示すエレメント情報を前記外部装置から取得するエレメント取得部とを備え、前記表示部は、前記エレメント取得部が取得したエレメント情報に基づいて、前記エレメントが選択されていることを示すオブジェクトを表示する。
【００１０】
本発明の一態様に係る記録システムは、前述した記録装置と、前記出力部が出力した選択位置に対応する前記ブラウザ画面の画面位置にあるエレメントについて、サイズ及び前記ブラウザ画像上の画像位置を解析する解析装置とを備え、前記記録装置の前記エレメント取得部は、前記解析装置が解析したサイズ及び画像位置を示すエレメント情報を前記解析装置から取得する。
【００１１】
本発明の一態様に係る解析装置は、ブラウザ画面上にて自動で行われる操作の手順を記録する記録装置から、前記ブラウザ画面が写っているブラウザ画像上にて選択された選択位置を取得する位置取得部と、前記位置取得部が取得した選択位置に対応する前記ブラウザ画面の画面位置にあるエレメントについて、サイズ及び前記ブラウザ画像上の画像位置を解析する解析部と、前記解析部が解析したサイズ及び画像位置を示すエレメント情報を前記記録装置に送信する送信部とを備える。
【００１２】
本発明の一態様に係る記録方法は、ブラウザ画面上にて自動で実行される操作の手順を記録する記録方法であって、前記ブラウザ画面が写っているブラウザ画像を表示し、前記ブラウザ画像上にて選択された選択位置を示す位置情報を外部装置に出力し、前記位置情報が示す選択位置に対応する前記ブラウザ画面の画面位置にあるエレメントについて、サイズ及び前記ブラウザ画像上の画像位置を示すエレメント情報を前記外部装置から取得し、取得したエレメント情報に基づいて、前記エレメントが選択されていることを示すオブジェクトを前記ブラウザ画像上に表示する処理をコンピュータが実行する。
【発明の効果】
【００１３】
上記の態様によれば、効率的な操作の手順の記録を実現することができる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態１における記録システムの要部構成を示すブロック図である。
【図２】端末画面及びブラウザ画面の概略図である。
【図３】記録システムにおいて実行される処理の手順を示すシーケンス図である。
【図４】アクセス装置の要部構成を示すブロック図である。
【図５】解析処理の手順を示すフローチャートである。
【図６】画面更新処理の手順を示すフローチャートである。
【図７】抽出処理の手順を示すフローチャートである。
【図８】端末装置の要部構成を示すブロック図である。
【図９】端末画面の初期状態の説明図である。
【図１０】オブジェクトの表示の説明図である。
【図１１】オブジェクトを表示する処理の手順を示すフローチャートである。
【図１２】操作メニューの表示の説明図である。
【図１３】操作メニューのもう１つの表示の説明図である。
【図１４】操作メニューを表示する処理の手順を示すフローチャートである。
【図１５】入力データを入力した後の端末画面の概略図である。
【図１６】入力データを表示する処理の手順を示すフローチャートである。
【図１７】更新された端末画面の概略図である。
【図１８】ブラウザ画像を更新する処理の手順を示すフローチャートである。
【図１９】オブジェクトのもう１つの表示の説明図である。
【図２０】オブジェクトに対して実行する操作の説明図である。
【図２１】エレメントが選択された後の端末画面の概略図である。
【図２２】種々の操作が実行された後の端末画面の概略図である。
【図２３】データリストへの入力データの追加の説明図である。
【図２４】データリストに入力データを追加した後の端末画面の概略図である。
【図２５】データリストに入力データを追加する処理の手順を示すフローチャートである。
【図２６】追加した入力データの使用の説明図である。
【図２７】データリストの入力データを使用する処理の手順を示すフローチャートである。
【図２８】データリストの入力データを入力した後の端末画面の概略図である。
【図２９】操作のやり直しの説明図である。
【図３０】検索結果を示す端末画面の概略図である。
【図３１】文字列のコピーの説明図である。
【図３２】文字列がコピーされた後の端末画面の概略図である。
【図３３】文字列をコピーする処理の手順を示すフローチャートである。
【図３４】複数の文字列を抽出した後の端末画面の概略図である。
【図３５】複数の文字列がグループ化された後の端末画面の概略図である。
【図３６】複数の文字列をグループ化する処理の手順を示すフローチャートである。
【図３７】グループ処理の開始の説明図である。
【図３８】文字列を用いた操作の説明図である。
【図３９】ブラウザ画像が更新された後の端末画面の概略図である。
【図４０】グループ処理の終了の説明図である。
【図４１】グループ処理の手順を示すフローチャートである。
【図４２】第２のグループ処理の手順を示すフローチャートである。
【図４３】実施の形態２における繰り返し処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は実施の形態１における記録システム１の要部構成を示すブロック図である。記録システム１は、端末装置１０、アクセス装置１１、ウェブサーバ１２、管理装置１３及びデータベース装置１４を備える。これらは、ネットワークＮに接続されている。端末装置１０は、パーソナルコンピュータ、タブレット又はスマートフォン等である。アクセス装置１１、管理装置１３及びデータベース装置１４それぞれは、例えば、サーバである。
【００１６】
端末装置１０は、ブラウザ画面上において自動で行う操作の手順を記録する装置であり、記録装置として機能する。ブラウザ画面上において自動で行う操作の手順を以下ではブラウザ手順と記載する。ユーザは、端末装置１０を操作し、ブラウザ手順を決定する。端末装置１０は、ブラウザ手順を決定するために種々の情報をアクセス装置１１に送信する。アクセス装置１１は、端末装置１０から受信した情報に応じて、ネットワークＮを介してウェブサーバ１２にアクセスする。ウェブサーバ１２は、アクセスの内容に応じたウェブページを、ネットワークＮを介して、アクセス装置１１に提供し、アクセス装置１１はウェブページを閲覧する。ウェブサーバ１２は、種々のサービスを、ネットワークＮに接続されている装置に提供する。ウェブサーバ１２からアクセス装置には、ＨＴＭＬ(Hyper Text Markup Language)形式のデータが送信される。
【００１７】
端末装置１０は、ブラウザ手順の記録を、自装置のブラウザ画面上で実行する。アクセス装置１１は、ウェブサーバ１２から提供されたウェブページを自装置のブラウザ画面に表示する。以下では、実施の形態１の理解を容易にするため、端末装置１０のブラウザ画面を端末画面と記載する。単にブラウザ画面と記載した場合、これは、アクセス装置１１のブラウザ画面、又は、端末装置１０及びアクセス装置１１とは異なる装置のブラウザ画面を意味する。
【００１８】
アクセス装置１１は、ブラウザ画面が写っているブラウザ画像のブラウザ画像データを端末装置１０に送信する。端末装置１０は、アクセス装置１１から受信したブラウザ画像データのブラウザ画像を端末画面に表示する。アクセス装置１１から端末装置１０にもＨＴＭＬ形式のデータが送信される。
【００１９】
なお、ブラウザ画像は、複数の矩形状の部分画像を格子状に配置することによって構成されてもよい。この場合、ブラウザ画像データは、表示が変更された一又は複数の部分画像に対応する一又は複数の部分画像データによって構成される。ブラウザ画像において１つの部分画像の表示が変更された場合、アクセス装置１１は、この部分画像の部分画像データを、ブラウザ画像データとして端末装置１０に送信し、端末装置１０では、ブラウザ画像において、受信した部分画像データに対応する部分画像を、新たな部分画像に更新する。
【００２０】
また、ブラウザ画像は、静止画像に限定されず、動画であってもよい。この場合、アクセス装置１１は、端末装置１０に対して、ストリーミング配信を行い、端末画面に表示されているブラウザ画像がリアルタイムで更新される。
【００２１】
ブラウザ画像が端末画面に表示された後、ユーザは、端末画面上において種々の操作を行い、ブラウザ手順を決定する。端末装置１０は、ブラウザ手順を示すブラウザ手順データを管理装置１３に送信する。
【００２２】
データベース装置１４は、管理装置１３によってデータが記憶される装置である。管理装置１３は、端末装置１０からブラウザ手順データを受信した場合、受信したブラウザ手順データをデータベース装置１４に記憶する。データベース装置１４に記憶されているブラウザ手順データは、ネットワークＮに接続されている図示しない装置によって読み出される。この装置は、ブラウザ画面上において、データベース装置１４から読み出したブラウザ手順データが示すブラウザ手順に従って一連の操作を自動で実行する。
【００２３】
図２は端末画面２及びブラウザ画面３の概略図である。図２に、端末装置１０の端末画面２では、ブラウザ手順が示される欄が左上に表示されており、端末装置１０に記憶されているデータが表示されるデータリストの欄が左下に表示されている。端末画面２の右側では、上から順に、一又は複数のタブ、及び、ウェブページのアドレスの入力又は表示を行うアドレスバーが表示されている。１つのタブは１つのウェブページに対応する。端末画面２の右側において、アドレスバーの下側に、ブラウザ画像２０が表示されている。端末画面２を表示するための端末画面データはＨＴＭＬ形式のデータである。
【００２４】
アクセス装置１１のブラウザ画面３では、上から順に、一又は複数のタブ、アドレスバー及びウェブページが表示されている。ブラウザ画面３において、アドレスバーよりも下側の部分、即ち、ウェブページ部分の画像がブラウザ画像２０である。
【００２５】
アクセス装置１１は、ユーザによって操作されることはないので、ブラウザ画面３を表示する必要がない。アクセス装置１１には、ブラウザ画面３を表示するためのブラウザ画面データが記憶されている。図２に示すブラウザ画面３は、ブラウザ画面データが示す画面である。ブラウザ画面データもＨＴＭＬ形式のデータである。
【００２６】
前述したように、ブラウザ画面３が写っているブラウザ画像２０は、端末装置１０の端末画面２に表示されている。ブラウザ画面３に表示しているウェブページは、ブラウザ画像２０に写っているウェブページと同期している。
【００２７】
ブラウザ画面３のウェブページ部分では、選択することが可能なエレメント３０が表示されている。図２の例では、エレメント３０の数は３である。エレメント３０として、ボックス、リンク及び文字列等が挙げられる。文字列は文字の羅列によって構成される。文字として、言葉の表記に用いるものの他に、数字及び記号等が挙げられる。従って、数字の羅列、記号の羅列、並びに、数字及び記号が混在した列も文字列に該当する。図２では、ボックスは、文言「キーワード」の右側に配置されている。リンクは配置されていない。文字列は、文言「検索ページ」及び文言「キーワード」である。
【００２８】
ユーザは、ボックスを選択した場合、入力データをボックスに入力することが可能となる。入力データは、文字列、画像又はファイル等である。入力データがボックスに入力された状態でユーザがブラウザ画面３の更新を選択した場合、アクセス装置１１はウェブサーバ１２にアクセスし、ブラウザ画面３に表示されているウェブページが、ウェブサーバ１２から提供されたウェブページに遷移し、ブラウザ画面３が更新される。リンクは文字列又は画像で表される。ユーザがリンクを選択した場合も、アクセス装置１１はウェブサーバ１２にアクセスし、ブラウザ画面３に表示されているウェブページがウェブサーバ１２から提供されたウェブページに遷移し、ブラウザ画面３が更新される。ユーザがリンクを選択した場合、リンクを構成する文字列を抽出することもできる。ユーザが文字列を選択した場合、文字列を抽出することができる。
【００２９】
端末画面２において、ユーザがタブを選択した場合、選択したタブに対応するウェブページが表示され、ブラウザ画面３が更新される。ユーザが、ウェブページを追加する追加ボタン及びウェブページを削除する削除ボタンを選択することができる。図２の例では、追加ボタンはタブの右側に設けられ、削除ボタンはタブ内に設けられている。ユーザが追加ボタンを選択した場合、ウェブページ及びタブが追加され、ブラウザ画面３が更新される。ユーザが削除ボタンを選択した場合、ウェブページ及びタブが削除され、ブラウザ画面３が更新される。端末画面２において、ユーザがアドレスを入力した場合、入力したアドレスに対応するウェブページが表示され、ブラウザ画面３が更新される。
【００３０】
端末装置１０の端末画面２では、ポインタ２１が表示されている。ポインタ２１は、ポインタ２１を操作するためのポインタ操作部６１（図８参照）、例えばマウスの操作に従って移動する。ポインタ操作部６１をクリックした場合、端末画面２において、ポインタ２１が指す位置が選択される。また、ブラウザ画像２０上には、矩形枠状のオブジェクト２２が表示される。オブジェクト２２は、ブラウザ画像２０に写っているエレメント３０を囲う。図２では、１つのオブジェクト２２が表示されている。このオブジェクト２２は、キーワードの横に配置されたエレメント３０、即ち、ボックスを囲っている。
【００３１】
ポインタ２１によって選択（クリック）が行われた時点において、ポインタ２１が示す位置は、端末画面２又はブラウザ画像２０上において選択された選択位置である。端末画面２の選択位置に対応するブラウザ画面３上の位置が画面位置である。ブラウザ画像２０に写っているエレメント３０を囲う矩形状の枠における左上の角の位置が、エレメント３０の画像位置である。オブジェクト２２の位置は左上の角の位置である。オブジェクト２２は、位置がエレメント３０の画像位置と一致するように配置される。選択位置、画像位置及びオブジェクト２２の位置それぞれは、例えば、端末画面２上における座標によって示される。画面位置は、例えば、ブラウザ画面３上における座標によって示される。
【００３２】
なお、エレメント３０の画像位置及びオブジェクト２２の位置それぞれは、左上の角の位置に限定されず、左下、右上又は右下等の位置であってもよい。以下では、エレメント３０の画像位置及びオブジェクト２２の位置それぞれは左上の角の位置である例を説明する。
【００３３】
また、端末画面２上における選択は、ポインタ２１による選択に限定されない。端末装置１０が、タッチパネルを有するタブレット又はスマートフォン等の装置である場合、端末画面２上における選択は、タッチパネル上におけるタップによって実現されてもよい。この場合、タップした位置が選択位置である。以下では、ポインタ２１によって選択が実行される例を示す。
【００３４】
図３は、記録システム１において実行される処理の手順を示すシーケンス図である。端末装置１０は、ブラウザ手順の記録を開始する場合、自装置の認証を要求する認証要求を、ネットワークＮを介して管理装置１３に送信する。管理装置１３は、認証要求を端末装置１０から受信した場合、認証に必要な認証データを含む認証情報の送信を要求する送信要求を、ネットワークＮを介してアクセス装置１１に送信する。認証データは、例えば文字列である。
【００３５】
アクセス装置１１は、管理装置１３から認証情報の送信要求を受信した場合、認証情報を生成し、生成した認証情報を管理装置１３に送信する。管理装置１３は、アクセス装置１１から受信した認証情報を端末装置１０に送信する。管理装置１３は送信装置として機能する。
【００３６】
端末装置１０は、管理装置１３から認証情報を受信した場合、受信した認証情報を、ネットワークＮを介してアクセス装置１１に送信する。アクセス装置１１は、端末装置１０から認証情報を受信した場合、受信した認証情報に含まれている認証データと、管理装置１３に送信した認証情報に含まれている認証データとが一致しているか否かを判定する。アクセス装置１１は、２つの認証データが一致していると判定した場合、即ち、管理装置１３が端末装置１０に送信した認証情報を受信した場合、端末装置１０を、アクセス装置１１への情報の送信が許可された装置と見なし、ブラウザ画面３に関する処理を実行する。ブラウザ画面３に関する処理の１つとして、端末装置１０から受信した情報に応じてウェブサーバ１２にアクセスする処理が挙げられる。以後、端末装置１０とは異なる非正規の装置がアクセス装置１１に情報を送信しても、アクセス装置１１がウェブサーバ１２にアクセスすることはない。
【００３７】
アクセス装置１１は、２つの認証データが一致したと判定した場合、ウェブサーバ１２にアクセスし、予め決められているウェブページをブラウザ画面３に表示する。アクセス装置１１は、ブラウザ画面３が写っているブラウザ画像２０のブラウザ画像データを生成し、生成したブラウザ画像データ及び記録プログラム５２（図４参照）を端末装置１０に送信する。記録プログラム５２は、ブラウザ手順を記録するためのコンピュータプログラムである。
前述したように、ブラウザ画像２０が複数の矩形状の部分画像を格子状に配置することによって構成されている場合、ブラウザ画像データは、表示が変更された一又は複数の部分画像データによって構成される。
【００３８】
端末装置１０は、記録プログラム５２を実行することによって、ブラウザ手順を記録する手順記録処理を実行する。手順記録処理では、ユーザは端末画面２において、使用時と類似の作業を行い、この作業によって得られるブラウザ手順を記録する。端末装置１０は、手順記録処理の過程において、アクセス装置１１とネットワークＮを介して通信し、アクセス装置１１から補助を受ける。アクセス装置１１は、ブラウザ手順の記録を補助する補助処理を実行する。
【００３９】
手順記録処理では、端末装置１０は、ブラウザ画像２０上においてポインタ２１によって選択された選択位置を示す位置情報をアクセス装置１１に送信する。補助処理では、アクセス装置１１は、位置情報を受信した場合、位置情報が示す選択位置に対応するブラウザ画面３上の画面位置にあるエレメント３０のサイズと、ブラウザ画像２０に写っているエレメント３０の画像位置と、ブラウザ画面データにおけるエレメント３０のデータ位置とを解析する。
【００４０】
ここで、エレメント３０のサイズは、端末画面２のブラウザ画像２０に写っているエレメント３０を矩形状の枠で囲った場合における枠の縦及び横の長さである。ブラウザ画面３のブラウザ画面データは複数の構文によって構成されている。エレメント３０のデータ位置は、ブラウザ画面データにおいて、エレメント３０に対応する構文の位置である。データ位置を示す情報は、所謂、セレクタ情報である。
【００４１】
補助処理において、アクセス装置１１は、解析したエレメント３０のサイズ、画像位置及びデータ位置を示すエレメント情報を端末装置１０に送信する。手順記録処理において、端末装置１０は、エレメント情報を受信した場合、受信したエレメント情報が示すサイズ及び画像位置に基づいて、ブラウザ画像２０上において、アクセス装置１１が解析したエレメント３０の画像位置に矩形枠状のオブジェクト２２を表示する。オブジェクトの位置はエレメント３０の画像位置と一致し、オブジェクト２２のサイズはアクセス装置１１が解析したサイズと一致している。端末装置１０は、受信したエレメント情報が示すデータ位置、即ち、セレクタ情報を、表示したオブジェクト２２と対応付けて記憶する。
【００４２】
手順記録処理において、端末装置１０は、オブジェクト２２がボックスに対応する場合、オブジェクト２２内への入力データの入力を受け付ける。オブジェクト２２内に入力データが入力された状態でブラウザ画面３の更新が選択された場合、端末装置１０は、選択されたオブジェクト２２に対応するエレメント３０のデータ位置と、オブジェクト２２内の入力データとを示す更新情報をアクセス装置１１に送信する。端末装置１０は、オブジェクト２２がリンクに対応する場合において、ブラウザ画面３の更新が選択されたとき、選択されたオブジェクト２２に対応するエレメント３０のデータ位置を示す更新情報をアクセス装置１１に送信する。
【００４３】
端末装置１０は、端末画面２において、アドレスの入力を受け付けた場合、入力されたアドレスを示す更新情報をアクセス装置１１に送信する。端末装置１０は、端末画面２において、タブの選択を受け付けた場合、選択されたタブを示す更新情報をアクセス装置１１に送信する。端末装置１０は、端末画面２においてボタンの選択を受け付けた場合、選択されたボタンを示す更新情報をアクセス装置１１に送信する。
【００４４】
補助処理において、アクセス装置１１は、更新情報を受信した場合、受信した更新情報に従って、ブラウザ画面３を更新する。アクセス装置１１は、更新されたブラウザ画面３のウェブページ部分が写っているブラウザ画像２０のブラウザ画像データを端末装置１０に送信する。手順記録処理において、端末装置１０は、ブラウザ画像データを受信した場合、受信したブラウザ画像データのブラウザ画像２０を端末画面２に表示する。
【００４５】
手順記録処理では、端末装置１０は、矩形枠状のオブジェクト２２内の文字列（内容）の抽出を指示する抽出情報をアクセス装置１１に送信する。抽出情報は、オブジェクト２２に対応するエレメント３０のデータ位置を示す。アクセス装置１１は、抽出情報を受信した場合、ブラウザ画面データにおいて、受信した抽出情報が示すデータ位置にあるエレメント３０に含まれる文字列を抽出する。抽出情報は抽出要求に相当する。アクセス装置１１は、抽出した文字列を示す文字列情報を端末装置１０に送信する。端末装置１０は、文字列情報を受信した場合、受信した文字列情報が示す文字列を、端末画面２のデータリストの欄に追加する。
【００４６】
オブジェクト２２内に含まれる内容は、文字列に限定されず、画像又はファイル等であってもよい。この場合、抽出情報は画像又はファイル等の抽出を指示し、アクセス装置１１は、画像又はファイル等を抽出する。この場合、アクセス装置１１は、文字列情報の代わりに、抽出した画像又はファイル等のデータを端末装置１０に送信する。
以下では、オブジェクト２２内に含まれている内容は、文字列であるとして構成を説明する。
【００４７】
手順記録処理では、端末装置１０はブラウザ手順を示すブラウザ手順データを生成する。端末装置１０は、手順記録処理を終了した後、ブラウザ手順データを、ネットワークＮを介して管理装置１３に送信する。管理装置１３は、ブラウザ手順データを受信した場合、受信したブラウザ手順データをデータベース装置１４に記憶する。
以下では、アクセス装置１１及び端末装置１０について詳細に説明する。
【００４８】
図４はアクセス装置１１の要部構成を示すブロック図である。アクセス装置１１は、通信部４０、記憶部４１及び制御部４２を有する。これらは内部バス４３に接続されている。通信部４０は、更に、ネットワークＮに接続されている。
【００４９】
端末装置１０を認証する段階では、通信部４０は、認証情報の送信要求を管理装置１３から受信し、制御部４２の指示に従って、認証情報を管理装置１３に送信する。
更に、通信部４０は、端末装置１０からネットワークＮを介して、位置情報、更新情報及び抽出情報を受信する。通信部４０は要求受信部として機能する。通信部４０は、制御部４２の指示に従って、ウェブサーバ１２にアクセスする。通信部４０は、制御部４２の指示に従って、エレメント情報、ブラウザ画像データ及び文字列情報を端末装置１０に送信する。
【００５０】
記憶部４１は不揮発性メモリである。記憶部４１には、基本プログラム５０、ブラウザプログラム５１及び記録プログラム５２が記憶されている。基本プログラム５０は、オペレーティングシステムに係るコンピュータプログラムである。ブラウザプログラム５１は、ウェブページを閲覧するためのアプリケーションプログラムであり、基本プログラム５０をプラットフォームとして実行される。記録プログラム５２は、前述したようにブラウザ手順を記録するためのコンピュータプログラムであり、端末装置１０において実行される。
【００５１】
制御部４２は、ＣＰＵ(Central Processing Unit)、ＭＰＵ(Micro-Processing Unit)又はＧＰＵ(Graphics Processing Unit)等の処理素子（コンピュータ）を有する。制御部４２の処理素子は、基本プログラム５０を実行する。制御部４２の処理素子は、基本プログラム５０をプラットフォームとして、ブラウザプログラム５１を実行する。制御部４２の処理素子は、基本プログラム５０、又は、基本プログラム５０及びブラウザプログラム５１の両方を実行することによって、認証情報、ブラウザ画像データ及び記録プログラム５２を送信する処理、ウェブページにアクセスする処理、並びに、補助処理等を実行する。制御部４２は、複数の処理を、例えば、時間分割方式で並行して実行する。
【００５２】
制御部４２の処理素子は、ブラウザプログラム５１を実行することによって、ウェブページに関する処理を実行する。ウェブページに関する処理は、ウェブサーバ１２へのアクセス、ブラウザ画面３へのウェブページの表示、入力データの入力の受け付け、リンクの選択、ボタンの選択又は文字列の抽出等である。
補助処理には、エレメント３０のサイズ、画像位置及びデータ位置を解析する解析処理と、ブラウザ画面３を更新する画面更新処理と、ブラウザ画面３から文字列を抽出する抽出処理とが含まれている。
【００５３】
なお、制御部４２が有する処理素子の数は２以上であってもよい。この場合、複数の処理素子が、基本プログラム５０、又は、基本プログラム５０及びブラウザプログラム５１の両方に従って、前述した種々の処理を協同で実行してもよい。
【００５４】
更に、基本プログラム５０、ブラウザプログラム５１及び記録プログラム５２は、これらを読み取り可能に記録した非一時的な記憶媒体Ａ１を用いて、アクセス装置１１に提供されてもよい。記憶媒体Ａ１は、例えば可搬型メモリである。可搬型メモリの例として、ＣＤ−ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤカード、マイクロＳＤカード又はコンパクトフラッシュ（登録商標）等が挙げられる。記憶媒体Ａ１が可搬型メモリである場合、制御部４２の処理素子は、図示しない読み取り装置を用いて記憶媒体Ａ１から、基本プログラム５０、ブラウザプログラム５１及び記録プログラム５２を読み取り、読み取った基本プログラム５０、ブラウザプログラム５１及び記録プログラム５２を記憶部４１に記憶してもよい。
【００５５】
更に、基本プログラム５０、ブラウザプログラム５１及び記録プログラム５２それぞれは、通信部４０を介した通信によって、アクセス装置１１に提供されてもよい。この場合、制御部４２の処理素子は、通信部４０を通じて、基本プログラム５０、ブラウザプログラム５１又は記録プログラム５２を取得し、取得したコンピュータプログラムを記憶部４１に記憶してもよい。
【００５６】
基本プログラム５０、ブラウザプログラム５１及び記録プログラム５２は、共通の記憶媒体Ａ１に記憶されていなくてもよい。例えば、基本プログラム５０、ブラウザプログラム５１及び記録プログラム５２それぞれは、３つの非一時的な記憶媒体に記憶されていてもよい。この場合、制御部４２の処理素子は、読み取り装置を用いて、３つの記憶媒体から、基本プログラム５０、ブラウザプログラム５１及び記録プログラム５２を読み取り、読み取った基本プログラム５０、ブラウザプログラム５１及び記録プログラム５２を記憶部４１に記憶する。
【００５７】
図５は解析処理の手順を示すフローチャートである。前述したように、通信部４０は、ブラウザ画像２０上においてポインタ２１で選択された選択位置を示す位置情報を端末装置１０から受信する。制御部４２は、通信部４０が位置情報を受信した場合、通信部４０が受信した位置情報を取得する。制御部４２は位置取得部として機能する。制御部４２は、位置情報を取得した場合、解析処理を実行する。
【００５８】
解析処理では、制御部４２は、まず、取得した位置情報が示す選択位置に対応するブラウザ画面３の画面位置を特定する（ステップＳ１）。前述したように、アクセス装置１１がブラウザ画面３に表示しているウェブページは、端末装置１０が端末画面２に表示しているブラウザ画像２０に写っているウェブページと同期している。また、アクセス装置１１には、端末画面２においてブラウザ画像２０が表示される位置を示すデータが記憶されている。このため、制御部４２は、選択位置に対応する画面位置を特定することができる。
【００５９】
次に、制御部４２は、ブラウザ画面３において、ステップＳ１で特定した画面位置にエレメント３０があるか否かを判定する（ステップＳ２）。制御部４２は、画面位置にエレメント３０があると判定した場合（Ｓ２：ＹＥＳ）、ステップＳ１で特定した画面位置にあるエレメント３０について、サイズと、ブラウザ画像２０において、エレメント３０に対応する画像位置と、データ位置とを解析する（ステップＳ３）。前述したように、エレメント３０のサイズは、端末画面２のブラウザ画像２０に写っているエレメント３０を矩形状の枠で囲った場合における枠の縦及び横の長さである。制御部４２は解析部としても機能する。
【００６０】
次に、制御部４２は、通信部４０に指示して、ステップＳ３で解析したサイズ、画像位置及びデータ位置を示すエレメント情報を端末装置１０に送信させる（ステップＳ４）。通信部４０は送信部としても機能する。
制御部４２は、画面位置にエレメントがないと判定した場合（Ｓ２：ＮＯ）、又は、ステップＳ４を実行した後、解析処理を終了する。
【００６１】
以上のように、解析処理では、アクセス装置１１の制御部４２は、位置情報が示す選択位置に対応するブラウザ画面３の画面位置にあるエレメント３０について、サイズと、ブラウザ画像２０上の画像位置と、データ位置とを解析する。通信部４０は、制御部４２が解析したサイズ、画像位置及びデータ位置を示すエレメント情報を端末装置１０に送信する。アクセス装置１１は解析装置として機能する。
【００６２】
図６は画面更新処理の手順を示すフローチャートである。前述したように、通信部４０は、更新情報を端末装置１０から受信する。制御部４２は、通信部４０が更新情報を受信した場合、通信部４０が受信した更新情報を取得する。制御部４２は、更新情報を取得した場合、ブラウザ画面を更新する画面更新処理を実行する。
【００６３】
画面更新処理において、制御部４２は、まず、取得した更新情報が入力データを示すか否かを判定する（ステップＳ１１）。前述したように、オブジェクト２２に対応するエレメント３０がボックスである場合、更新情報は、オブジェクト２２に対応するエレメント３０のデータ位置と、オブジェクト２２内の入力データとを示す。前述したように、入力データは、文字列、画像又はファイル等である。オブジェクト２２に対応するエレメント３０がリンクである場合、更新情報は、選択されたオブジェクト２２に対応するエレメント３０のデータ位置を示す。オブジェクト２２に対応するエレメント３０が文字列である場合、更新情報が送信されることはない。
【００６４】
端末画面２においてアドレスの入力を受け付けた場合、更新情報は、入力されたアドレスを示す。端末画面２において、タブの選択を受け付けた場合、更新情報は、選択されたタブを示す。端末画面２においてボタンの選択を受け付けた場合、更新情報は、選択されたボタンを示す。
【００６５】
制御部４２は、更新情報が入力データを示すと判定した場合（Ｓ１１：ＹＥＳ）、ブラウザ画面３のブラウザ画面データにおいて、取得した更新情報が示すデータ位置にあるエレメント３０に、取得した更新情報が示す入力データを入力する（ステップＳ１２）。制御部４２は、更新情報が入力データを示さないと判定した場合（Ｓ１１：ＮＯ）、又は、ステップＳ１２を実行した後、ブラウザ画面３を更新させる（ステップＳ１３）。
【００６６】
オブジェクト２２に対応するエレメント３０がボックス又はリンクである場合、ステップＳ１３では、制御部４２は通信部４０にウェブサーバ１２にアクセスさせる。これにより、ブラウザ画面３に表示されているウェブページが、ウェブサーバ１２から通信部４０に提供されたウェブページに遷移し、ブラウザ画面３が更新される。端末画面２において追加ボタン又は削除ボタンが選択された場合、ウェブページの追加又は削除が行われ、ブラウザ画面３が更新される。
【００６７】
ウェブページの追加又は削除が行われた場合、タブの追加又は削除も行われる。端末画面２においてタブが選択された場合、選択されたタブに対応するウェブページがブラウザ画面３に表示され、ブラウザ画面３が更新される。端末画面２において、アドレスの入力を受け付けた場合、ステップＳ１３では、制御部４２は通信部４０にウェブサーバ１２にアクセスさせる。これにより、ブラウザ画面３に表示されているウェブページが、ウェブサーバ１２から通信部４０に提供されたウェブページに遷移し、ブラウザ画面３が更新される。このウェブページは、入力されたアドレスに対応する。ウェブページの追加も、制御部４２が通信部４０に指示してウェブサーバ１２にアクセスさせることによって実現する。
【００６８】
次に、制御部４２は、ウェブページが遷移した後のブラウザ画面３のウェブページ部分が写っているブラウザ画像２０のブラウザ画像データを生成する（ステップＳ１４）。次に、制御部４２は、通信部４０に指示して、ステップＳ１４で生成したブラウザ画像データを、ネットワークＮを介して端末装置１０に送信させ（ステップＳ１５）、画面更新処理を終了する。端末装置１０は、ブラウザ画像データを受信した場合、受信したブラウザ画像データのブラウザ画像２０、即ち、ブラウザ画面３のウェブページ部分の画像を端末画面２に表示させる。
【００６９】
以上のように、画面更新処理では、通信部４０が端末装置１０から更新情報を受信した場合、ブラウザ画面３を更新し、更新したブラウザ画面３のウェブページ部分が写っているブラウザ画像２０のブラウザ画像データを端末装置１０に送信する。
【００７０】
図７は抽出処理の手順を示すフローチャートである。前述したように、通信部４０は、抽出情報を端末装置１０から受信する。制御部４２は、通信部４０が抽出情報を受信した場合、通信部４０が受信した抽出情報を取得する。制御部４２は、抽出情報を取得した場合、ブラウザ画面３からの抽出を行う抽出処理を実行する。
【００７１】
抽出処理では、制御部４２は、まず、取得した抽出情報が示すデータ位置に基づいて、ブラウザ画面３のブラウザ画面データにおいて、エレメント３０を特定する（ステップＳ２１）。次に、制御部４２は、ブラウザ画面３において、ステップＳ２１で特定したエレメント３０に含まれている文字列を抽出する（ステップＳ２２）。制御部４２は抽出部としても機能する。次に、制御部４２は、通信部４０に指示して、ステップＳ２２で抽出した文字列を示す文字列情報を端末装置１０に送信させる（ステップＳ２３）。制御部４２は、ステップＳ２３を実行した後、抽出処理を終了する。
【００７２】
以上のように、抽出処理では、制御部４２は、ブラウザ画像２０上において表示されているオブジェクト２２内の文字列（内容）を抽出する。通信部４０は、制御部４２が抽出した文字列を示す文字列情報を端末装置１０に送信する。
なお、抽出情報が画像又はファイル等の抽出を指示する場合、抽出処理では、制御部４２は、画像又はファイル等を抽出し、通信部４０に指示して、抽出した画像又はファイル等のデータを端末装置１０に送信させる。
【００７３】
図８は端末装置１０の要部構成を示すブロック図である。端末装置１０は、表示部６０、ポインタ操作部６１、入力操作部６２、通信部６３、一時記憶部６４、記憶部６５及び制御部６６を有する。これらは内部バス６７に接続されている。通信部６３は、更に、ネットワークＮに接続されている。
【００７４】
表示部６０は端末画面２を表示する。前述したように、端末画面２には、ブラウザ画像２０、ブラウザ手順の欄及びデータリストの欄が表示されている。表示部６０は、制御部６６の指示に従って、端末画面２に表示している内容を変更する。
【００７５】
ポインタ操作部６１は例えばマウスである。ユーザがポインタ操作部６１を移動させた場合、制御部６６は、表示部６０に指示して、端末画面２に表示されているポインタ２１を移動させる。ポインタ操作部６１の移動に連動してポインタ２１が移動する。ユーザが、ポインタ操作部６１においてクリックを行った場合、ポインタ２１が示す位置が選択位置として選択される。制御部６６は選択位置を受け付ける。
【００７６】
入力操作部６２は例えばキーボードである。ユーザは、入力操作部６２を操作することによってデータを入力する。制御部６６は、入力操作部６２を通じて入力された入力データを取得するとともに、入力された入力データを表示部６０に指示して端末画面２に表示させる。
【００７７】
なお、端末装置１０が、タッチパネルを有する装置である場合、端末装置１０は、ポインタ操作部６１及び入力操作部６２の代わりに、タッチパネル上のタップにより、選択位置の選択と、データの入力とが実現される。ユーザは、例えば、タッチパネルに表示されている複数の文字を各別にタップすることによってデータを入力する。
【００７８】
端末装置１０を認証する段階では、通信部６３は、制御部６６の指示に従って、認証要求を、ネットワークＮを介して管理装置１３に送信する。通信部６３は、管理装置１３から認証情報を受信する。更に、通信部６３は、管理装置１３から受信した認証情報をアクセス装置１１の通信部４０に送信する。通信部６３は第１送信部、第２送信部及び情報受信部として機能する。
【００７９】
更に、通信部６３は、制御部６６の指示に従って、位置情報、更新情報及び抽出情報を、ネットワークＮを介してアクセス装置１１に送信する。通信部６３は、アクセス装置１１から、記録プログラム５２、エレメント情報、ブラウザ画像データ及び文字列情報等を受信する。
【００８０】
一時記憶部６４は、例えば、ＲＡＭ(Random Access Memory)である。一時記憶部６４には、データが一時的に記憶される。一時記憶部６４への電力供給が停止した場合、一時記憶部６４に記憶されているデータは消去される。一時記憶部６４には、通信部６３が受信した記録プログラム５２、及び、通信部６３が受信したエレメント情報が示すデータ位置（セレクタ情報）が記憶される。一時記憶部６４に記憶されているデータは制御部６６によって読み出される。
【００８１】
記憶部６５は不揮発性メモリである。記憶部６５には、基本プログラム７０、ブラウザプログラム７１が記憶されている。基本プログラム７０は、オペレーティングシステムに係るコンピュータプログラムである。ブラウザプログラム７１は、ウェブページを閲覧するためのアプリケーションプログラムであり、基本プログラム７０をプラットフォームとして実行される。記録プログラム５２は、前述したようにブラウザ手順を記録するためのコンピュータプログラムであり、ブラウザプログラム７１をプラットフォームとして実行される。記録プログラム５２は、例えば、通信部６３がアクセス装置１１の通信部４０から取得するJavaScript（登録商標）又はVBScript（登録商標）等のスクリプトプログラムである。端末装置１０において、記録プログラム５２のインストールは不要である。
【００８２】
制御部６６は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の処理素子（コンピュータ）を有し、基本プログラム７０、ブラウザプログラム７１及び記録プログラム５２それぞれを実行する。図３を用いて、記録システム１において実行される処理を説明した。制御部６６は、基本プログラム７０及びブラウザプログラム７１を実行することによって、通信部６３が記録プログラム５２を受信する前の処理、及び、ポインタ操作部６１の移動に従って、端末画面２に表示されているポインタ２１を移動させる処理等を実行する。
【００８３】
具体的には、制御部６６は、通信部６３に指示して、認証要求及び認証情報それぞれを、管理装置１３及びアクセス装置１１に送信させる処理を実行する。また、制御部６６は、通信部６３がアクセス装置１１から記録プログラム５２を受信した場合に、通信部６３が受信した記録プログラム５２を一時記憶部６４に記憶し、ブラウザプログラム７１をプラットフォームとして記録プログラム５２を実行する。
【００８４】
また、制御部６６は、基本プログラム７０及びブラウザプログラム７１をプラットフォームとして記録プログラム５２を実行することによって、手順記録処理を実行する。手順記録処理には、ポインタ操作部６１のクリックに従って、選択位置を選択する処理、入力操作部６２の操作に従って、データの入力を受け付ける処理、及び、通信部６３に指示してブラウザ手順データを管理装置１３に送信させる処理が含まれる。
更に、制御部６６は、基本プログラム７０、ブラウザプログラム７１及び記録プログラム５２を実行することによって、手順記録処理とは異なる処理も実行する。制御部６６は、複数の処理を、例えば、時間分割方式で並行して実行する。
【００８５】
なお、制御部６６が有する処理素子の数は２以上であってもよい。この場合、複数の処理素子が、基本プログラム７０、ブラウザプログラム７１及び記録プログラム５２中の少なくとも１つに従って、前述した種々の処理を協同で実行してもよい。
【００８６】
更に、基本プログラム７０及びブラウザプログラム７１は、これらを読み取り可能に記録した非一時的な記憶媒体Ａ２を用いて、端末装置１０に提供されてもよい。記憶媒体Ａ２は、例えば可搬型メモリである。記憶媒体Ａ２が可搬型メモリである場合、制御部６６の処理素子は、図示しない読み取り装置を用いて記憶媒体Ａ２から、基本プログラム７０及びブラウザプログラム７１を読み取り、読み取った基本プログラム７０及びブラウザプログラム７１を記憶部６５に記憶してもよい。
【００８７】
更に、基本プログラム７０及びブラウザプログラム７１それぞれは、通信部６３を介した通信によって、端末装置１０に提供されてもよい。この場合、制御部６６の処理素子は、通信部６３を通じて、基本プログラム７０及びブラウザプログラム７１を取得し、取得したコンピュータプログラムを記憶部６５に記憶してもよい。
【００８８】
基本プログラム７０及びブラウザプログラム７１は、共通の記憶媒体Ａ２に記憶されていなくてもよい。例えば、基本プログラム７０及びブラウザプログラム７１それぞれは、２つの非一時的な記憶媒体に記憶されていてもよい。この場合、制御部６６の処理素子は、読み取り装置を用いて、２つの記憶媒体から、基本プログラム７０及びブラウザプログラム７１を読み取り、読み取った基本プログラム７０及びブラウザプログラム７１を記憶部４１に記憶する。
【００８９】
以下では、端末装置１０において、制御部６６が記録プログラム５２を実行することによって実行する手順記録処理を詳細に説明する。
図９は端末画面２の初期状態の説明図である。制御部６６が記録プログラム５２の実行を開始した時点では、制御部６６は、表示部６０に指示して、端末画面２の左側に、ブラウザ手順及びデータリストの欄を表示させ、端末画面２の右下に、アクセス装置１１のブラウザ画面３が写っているブラウザ画像２０を表示させる。ブラウザ画像２０には、キーワードを入力して検索を行う検索ページが写っている。検索ページでは、アドレスが表示されている。
【００９０】
ユーザは、ポインタ操作部６１を移動させることによって、ポインタ２１を移動させる。ユーザは、ブラウザ画像２０に写っているエレメント３０をポインタ２１によって選択する。図９の例では、ユーザは、ポインタ２１を、文言「キーワード」の右側に写っているボックス内に移動し、ポインタ操作部６１をクリックする。これにより、端末装置１０の制御部６６は、ブラウザ画像２０上においてポインタ２１によって選択された選択位置を示す位置情報を取得し、通信部６３に指示して、取得した位置情報を、アクセス装置１１の通信部４０に送信（出力）させる。アクセス装置１１は外部装置として機能する。通信部６３は出力部としても機能する。
【００９１】
アクセス装置１１では、通信部４０が位置情報を受信した場合、制御部４２は解析処理を実行する。これにより、通信部４０は、端末装置１０の通信部６３が送信した位置情報が示す選択位置に対応するブラウザ画面３の画面位置にあるエレメント３０のエレメント情報を端末装置１０の通信部６３に送信する。前述したように、エレメント情報は、画面位置にあるエレメント３０について、サイズ、ブラウザ画像２０上の画像位置及びデータ位置を示す。端末装置１０の制御部６６は、通信部６３がエレメント情報を受信した場合、通信部６３がアクセス装置１１から受信したエレメント情報を取得する。制御部６６は、表示部６０に指示して、取得したエレメント情報が示すエレメント３０のサイズ及び画像位置に基づいて、エレメント３０が選択されていることを示すオブジェクト２２をブラウザ画像２０上に表示させる。制御部６６は、取得したエレメント情報が示すデータ位置（セレクタ情報）を、ブラウザ画像２０上に表示したオブジェクト２２と対応付けて一時記憶部６４に記憶する。制御部６６は、エレメント情報取得部として機能する。
【００９２】
図１０はオブジェクト２２の表示の説明図である。オブジェクト２２は太い実線で示されている。制御部６６は、サイズが、通信部６３が受信したエレメント情報が示すサイズと同じであるオブジェクト２２を、位置が、エレメント情報が示す画像位置と一致するように配置する。結果、図１０に示すように、オブジェクト２２は、ブラウザ画像２０に写っているエレメント３０を囲うように表示される。制御部６６は、表示部６０に指示して、オブジェクト２２の左上にラベルを表示させる。ラベルはオブジェクト２２の外側に配置されている。ラベルには、ラベル名が表示されている。図１０では、ラベル名は「データ１」である。
【００９３】
オブジェクト２２の表示は、フローチャートを用いて以下のように説明される。
図１１はオブジェクト２２を表示する処理の手順を示すフローチャートである。端末装置１０の制御部６６は、位置情報を取得したか否かを判定する（ステップＳ３１）。制御部６６は、位置情報を取得していないと判定した場合（Ｓ３１：ＮＯ）、ステップＳ３１を再び実行し、位置情報を取得するまで待機する。制御部６６は、位置情報を取得したと判定した場合（Ｓ３１：ＹＥＳ）、通信部６３に指示して、取得した位置情報をアクセス装置１１の通信部４０に送信させる（ステップＳ３２）。
【００９４】
アクセス装置１１では、通信部４０が位置情報を受信した場合、制御部４２は、解析処理を開始する。制御部４２は、解析処理のステップＳ４において、通信部４０に指示して、端末装置１０の通信部６３から受信した位置情報が示す選択位置に対応するブラウザ画面３の画面位置にあるエレメント３０のエレメント情報を端末装置１０の通信部６３に送信させる。制御部４２は、ステップＳ４を実行した後、解析処理を終了する。
【００９５】
端末装置１０の制御部６６は、ステップＳ３２を実行した後、通信部６３がエレメント情報を受信したか否かを判定する（ステップＳ３３）。制御部６６は、通信部６３がエレメント情報を受信していないと判定した場合（Ｓ３３：ＮＯ）、ステップＳ３３を再び実行し、通信部６３がエレメント情報を受信するまで待機する。制御部６６は、通信部６３がエレメント情報を受信したと判定した場合（Ｓ３３：ＹＥＳ）、表示部６０に指示して、前述したように、通信部６３が受信したエレメント情報に基づいてオブジェクト２２をブラウザ画像２０上に表示させる（ステップＳ３４）。次に、制御部６６は、通信部６３が受信したエレメント情報が示すデータ位置を、ステップＳ３４で表示されたオブジェクト２２と対応付けて一時記憶部６４に記憶する（ステップＳ３５）。制御部６６は、ステップＳ３５を実行した後、オブジェクト２２を表示する処理を終了する。この処理が終了した後、制御部６６は、ステップＳ３１を再び実行し、位置情報を取得するまで待機する。
【００９６】
以上のように、アクセス装置１１の制御部４２が解析するエレメント３０は、ブラウザ画像２０上において、ユーザがポインタ２１を用いて選択した選択位置に対応するブラウザ画面３の画面位置にあるエレメント３０だけでよい。制御部４２は、ユーザがエレメント３０を選択する前にエレメント３０の解析を行わないので、ブラウザ画像２０に載っている全てのエレメント３０の解析が不要である。このため、ブラウザ手順の効率的な記録が実現される。
【００９７】
図１０において、ボックスであるエレメント３０に対応するオブジェクト２２を、ユーザがポインタ２１によって選択した場合、制御部６６は入力データの入力を受け付ける。ユーザは、入力操作部６２を操作することによって、入力データを入力する。
【００９８】
また、オブジェクト２２には、ハッチングによって示されているメニューボタン２３が設けられている。ユーザは、ポインタ２１を用いて、メニューボタン２３を選択することができる。制御部６６は、メニューボタン２３の選択を受け付ける。メニューボタン２３がユーザによって選択された場合、制御部６６は、操作メニュー２４の表示指示を受け付け、表示部６０に指示して、複数の操作を示す操作メニュー２４を端末画面２に表示させる。
【００９９】
図１２は操作メニュー２４の表示の説明図である。制御部６６は、表示部６０に指示して、操作メニュー２４をオブジェクト２２に重ねて表示させる。図１２では、操作メニュー２４が示す複数の操作として、入力データの入力、データの貼り付け及びブラウザ画面３の更新等が挙げられている。
【０１００】
以上のように、操作メニュー２４がオブジェクト２２に重ねて表示されるので、ユーザは、オブジェクト２２に対する操作を容易に選択することができる。また、ユーザがポインタ２１を用いてメニューボタン２３を選択した場合に、操作メニュー２４が表示され、ブラウザ画像２０の一部が隠れる。メニューボタン２３を選択するまで、操作メニュー２４はブラウザ画像２０を隠さないので、操作メニュー２４の表示が邪魔にならない。
【０１０１】
図１３は操作メニュー２４のもう１つの表示の説明図である。ユーザは、ポインタ２１が指す位置をオブジェクト２２内に合わしている状態で、ポインタ操作部６１において、操作メニュー２４の表示を指示する操作を行うことができる。この場合、制御部６６は、操作メニュー２４の表示指示を受け付け、表示部６０に指示して、操作メニュー２４をオブジェクト２２の近傍に表示させる。
【０１０２】
以上のように、操作メニュー２４が、オブジェクト２２の近傍に表示されるので、ユーザは、オブジェクト２２に対する操作を容易に選択することができる。操作メニュー２４が示す複数の操作は、オブジェクト２２に対応するエレメント３０の種類に応じて異なる。
【０１０３】
操作メニュー２４の表示は、フローチャートを用いて以下のように説明される。
図１４は操作メニュー２４を表示する処理の手順を示すフローチャートである。端末装置１０の制御部６６は、操作メニュー２４の表示指示を受け付けたか否かを判定する（ステップＳ４１）。制御部６６は、操作メニュー２４の表示指示を受け付けていないと判定した場合（Ｓ４１：ＮＯ）、ステップＳ４１を再び実行し、操作メニュー２４の表示指示を受け付けるまで待機する。制御部６６は、操作メニュー２４の表示指示を受け付けたと判定した場合（Ｓ４１：ＹＥＳ）、操作メニュー２４を表示し（ステップＳ４２）、操作メニュー２４を表示する処理を終了する。この処理が終了した後、制御部６６は、ステップＳ４１を再び実行し、操作メニュー２４の表示指示を受け付けるまで待機する。
【０１０４】
なお、メニューボタン２３が選択された場合に、制御部６６は、表示部６０に指示して、操作メニュー２４をオブジェクト２２の近傍に表示させてもよい。更に、ポインタ操作部６１において、操作メニュー２４の表示を指示する操作が行われた場合、制御部６６は、表示部６０に指示して、操作メニュー２４をオブジェクト２２に重ねて表示させてもよい。操作メニュー２４において複数の操作を表示する方法は、上側から下側に複数の操作を順次表示する方法に限定されず、例えば、オブジェクト２２の上側、下側、左側及び右側それぞれに４つの操作を表示する方法であってもよい。
【０１０５】
図１２及び図１３それぞれでは、オブジェクト２２内において、オブジェクト２２に対応するエレメント３０に入力する入力データとして「ＡＢＣ」が入力されている。この段階では、アクセス装置１１の制御部４２は、オブジェクト２２に対応するブラウザ画面３のエレメント３０に、入力データ「ＡＢＣ」を入力していない。
【０１０６】
図１２又は図１３に示すように表示部６０が操作メニュー２４を表示している状態で、ユーザは、ポインタ２１を用いて「入力データの入力」を選択することができ、端末装置１０の制御部６６は、入力データの入力を受け付ける。制御部６６は、入力データの入力を受け付けた場合、ブラウザ手順に１つの手順を追加し、データリストに入力データを追加する。
【０１０７】
図１５は、入力データを入力した後の端末画面２の概略図である。図１３に示すように、制御部６６は、表示部６０に指示して、ブラウザ手順の欄に、１番目の操作として、ラベル名「データ１」の入力データを入力する操作を表示させている。更に、制御部６６は、表示部６０に指示して、データリストの欄に、オブジェクト２２に対応するエレメント３０に入力する入力データ「ＡＢＣ」をラベル名「データ１」に対応付けて、ブラウザ画像２０と併せて表示させている。これにより、ユーザは、端末画面２において、入力データを容易に確認することができる。
【０１０８】
入力データの表示は、フローチャートを用いて以下のように説明される。
図１６は入力データを表示する処理の手順を示すフローチャートである。端末装置１０の制御部６６は、入力データの入力を受け付けたか否かを判定する（ステップＳ５１）。制御部６６は、入力データの入力を受け付けていないと判定した場合（Ｓ５１：ＮＯ）、ステップＳ５１を再び実行し、入力データの入力を受け付けるまで待機する。制御部６６は、入力データの入力を受け付けたと判定した場合（Ｓ５１：ＹＥＳ）、表示部６０に指示して、データリストの欄に、入力データをラベル名に対応付けて表示させる（ステップＳ５２）。制御部６６は、ステップＳ５２を実行した後、入力データを表示する処理を終了する。この処理が終了した後、制御部６６は、ステップＳ５１を再び実行し、入力データの入力を受け付けるまで待機する。
【０１０９】
なお、制御部６６は、表示部６０に指示して、ブラウザ画像２０を表示する端末画面２とは異なる画面にブラウザ手順及びデータリストの欄を表示させてもよい。以下では、同一の端末画面２に、ブラウザ手順の欄、データリストの欄及びブラウザ画像２０を表示する例を説明する。
【０１１０】
ユーザは、前述したように、操作メニュー２４を再び表示し、ポインタ２１を用いてブラウザ画面３の更新を選択することができる。制御部６６は、ブラウザ画面３の更新の選択を受け付ける。制御部６６は、ブラウザ画面３の更新の選択を受け付けた場合、通信部６３に指示して、更新情報をアクセス装置１１の通信部４０に送信させる。図１５の例では、オブジェクト２２は、ボックスであるエレメント３０に対応しているので、通信部６３は、選択されたオブジェクト２２に対応するエレメント３０のデータ位置と、オブジェクト２２内の入力データ「ＡＢＣ」とを示す更新情報を、アクセス装置１１の通信部４０に送信する。
【０１１１】
アクセス装置１１では、通信部４０が更新情報を受信した場合、制御部４２は画面更新処理を実行する。この場合、制御部４２は、ブラウザ画面データにおいて更新情報が示すデータ位置にあるエレメント３０に、更新情報が示す入力データ「ＡＢＣ」を入力し、通信部４０に指示してウェブサーバ１２にアクセスさせることによってブラウザ画面３を更新する。制御部６６は、通信部４０に指示して、更新されたブラウザ画面３のウェブページ部分が写っているブラウザ画像２０のブラウザ画像データを端末装置１０の通信部６３に送信させる。端末装置１０の制御部６６は、通信部６３がブラウザ画像データを受信した場合、表示部６０に指示して、通信部６３が受信したブラウザ画像データのブラウザ画像２０を表示させる。
【０１１２】
図１７は、更新された端末画面２の概略図である。図１７に示すように、キーワード「ＡＢＣ」に対応するウェブページが写っているブラウザ画像２０が端末画面２に表示されている。制御部６６は、表示部６０に指示して、更新されたブラウザ画像２０を表示させるとともに、ブラウザ手順の欄に「ブラウザ画面３の更新」を表示させる。図１７のブラウザ画像２０には、「○○○」、「△△△」及び「□□□」によって示されている３つのエレメント３０が写っている。これらのエレメント３０はリンクである。
【０１１３】
ブラウザ画像２０の更新は、フローチャートを用いて以下のように説明される。
図１８はブラウザ画像２０を更新する処理の手順を示すフローチャートである。端末装置１０の制御部６６は、ブラウザ画面３の更新の選択を受け付けたか否かを判定する（ステップＳ６１）。制御部６６は、ブラウザ画面３の更新の選択を受け付けていないと判定した場合（Ｓ６１：ＮＯ）、ステップＳ６１を再び実行し、ブラウザ画面３の更新の選択を受け付けるまで待機する。制御部６６は、ブラウザ画面３の更新の選択を受け付けたと判定した場合（Ｓ６１：ＹＥＳ）、通信部６３に指示して、更新情報をアクセス装置１１の通信部４０に送信させる（ステップＳ６２）。
【０１１４】
アクセス装置１１では、通信部４０が更新情報を受信した場合、制御部４２は、画面更新処理を開始する。制御部４２は、画面更新処理のステップＳ１５において、通信部４０に指示して、更新されたブラウザ画面３が写っているブラウザ画像２０のブラウザ画像データを端末装置１０の通信部６３に送信させる。制御部４２は、ステップＳ１５を実行した後、画面更新処理を終了する。
【０１１５】
端末装置１０の制御部６６は、ステップＳ６２を実行した後、通信部６３がブラウザ画像データを受信したか否かを判定する（ステップＳ６３）。制御部６６は、通信部６３がブラウザ画像データを受信していないと判定した場合（Ｓ６３：ＮＯ）、ステップＳ６３を再び実行し、通信部６３がブラウザ画像データを受信するまで待機する。制御部６６は、通信部６３がブラウザ画像データを受信したと判定した場合（Ｓ６３：ＹＥＳ）、表示部６０に指示して、通信部６３が受信したブラウザ画像データのブラウザ画像２０を端末画面２に表示させる（ステップＳ６４）。制御部６６は、ステップＳ６４を実行した後、ブラウザ画像２０を更新する処理を終了する。この処理が終了した後、制御部６６は、ステップＳ６１を再び実行し、ブラウザ画面３の更新の選択を受け付けるまで待機する。
なお、ブラウザ画像２０が動画である場合、ブラウザ画面３が更新される都度、ブラウザ画像２０が更新される。
【０１１６】
図１７において、ユーザは、ポインタ２１を用いて、エレメント３０の位置を選択することができる。このとき、制御部６６は、前述したように、オブジェクト２２を表示する処理を実行する。具体的には、制御部６６は、ポインタ２１によって選択された選択位置を示す位置情報を取得する。制御部６６は、位置情報を取得した場合、通信部６３に指示して、取得した位置情報をアクセス装置１１の通信部４０に送信させる。アクセス装置１１では、通信部４０が位置情報を受信した場合、制御部６６は解析処理を実行し、通信部４０はエレメント情報を端末装置１０の通信部６３に送信する。端末装置１０の制御部６６は、通信部６３がエレメント情報を受信した場合、通信部６３が受信したエレメント情報が示すエレメント３０のサイズ及び画像位置に基づいて、矩形枠状のオブジェクト２２を表示部６０に表示させる。制御部６６は、通信部６３が受信したエレメント情報が示すデータ位置を、表示したオブジェクト２２と対応付けて一時記憶部６４に記憶する。
【０１１７】
図１９は、オブジェクト２２のもう１つの表示の説明図である。制御部６６は、表示部６０に指示して、サイズが、通信部６３が受信したエレメント情報が示すサイズと同じであるオブジェクト２２を、位置が、エレメント情報が示す画像位置と一致するように配置させる。結果、図１９に示すように、オブジェクト２２は、ブラウザ画像２０に写っているエレメント３０を囲う。ユーザは、ポインタ２１が指す位置をオブジェクト２２に合わしている状態で、ポインタ操作部６１において、操作メニュー２４の表示を指示する操作を行うことができる。このとき、制御部６６は、前述したように、操作メニュー２４を表示する処理を実行し、操作メニュー２４の表示の指示を受け付け、表示部６０に指示して、操作メニュー２４を、オブジェクト２２の近傍に表示させるか、又は、オブジェクト２２に重ねて表示させる。
【０１１８】
図２０は、オブジェクト２２に対して実行する操作の説明図である。図２０に示すように、操作メニュー２４はオブジェクト２２の近傍に表示されている。ブラウザ画面３において、「○○○」であるリンクを選択する場合、ユーザは、ポインタ２１を用いてクリックを選択する。この場合、端末装置１０の制御部６６は、ブラウザ画像２０を更新する処理を実行し、オブジェクト２２について、ブラウザ画面３の更新の指示を受け付け、通信部６３に指示して、オブジェクト２２に対応するエレメント３０のデータ位置を示す更新情報をアクセス装置１１の通信部４０に送信させる。図２０の例では、オブジェクト２２は、リンクであるエレメント３０に対応しているので、通信部６３が送信する更新情報は、オブジェクト２２内の入力データを示していない。
【０１１９】
アクセス装置１１では、制御部４２は、通信部４０が更新情報を受信した場合、画面更新処理を実行する。画面更新処理では、制御部４２は、通信部４０にウェブサーバ１２へアクセスさせることによって、ブラウザ画面３を更新し、通信部４０に指示して、更新したブラウザ画面３のウェブページ部分が写っているブラウザ画像２０のブラウザ画像データを端末装置１０の通信部６３に送信させる。端末装置１０の制御部６６は、通信部６３がブラウザ画像データを受信した場合、表示部６０に指示して、通信部６３が受信したブラウザ画像データのブラウザ画像２０を端末画面に表示させる。
【０１２０】
図２１は、エレメント３０が選択された後の端末画面２の概略図である。図２１に示すように、「○○○」の下側に新たな２つのエレメント３０が写っているブラウザ画像２０が表示されている。制御部６６は、表示部６０に指示して、ブラウザ画像２０に加えて、ブラウザ手順の欄に「○○○を選択」を表示させる。
以上のように、制御部６６は、端末画面２において、ポインタ２１を用いた選択、又は、入力データの入力等の操作を受け付け、表示部６０に指示して、ブラウザ手順の欄に操作を追加させるとともに、データリストにデータを追加させる。
【０１２１】
図２２は、種々の操作が実行された後の端末画面２の概略図である。図２２に示す手順では、ラベル名「データ１」に対応する入力データ「ＡＢＣ」を入力し、ブラウザ画面３を更新し、更新したブラウザ画面３において「○○○」を示すエレメント３０を選択する。その後、タブ２を追加し、タブ２のウェブページで、ラベル名「データ２」に対応する「ＤＥＦ」を入力し、ブラウザ画面３を更新し、更新したブラウザ画面３において、タブ１を選択する。これにより、タブ１に対応するウェブページが表示される。
【０１２２】
タブ２の追加を説明する。ユーザは、端末画面２において、ウェブページを追加する追加ボタンを、ポインタ２１を用いて選択する。これにより、端末装置１０の制御部６６は、通信部６３に指示して、選択されたボタン、即ち、追加ボタンを示す更新情報をアクセス装置１１の通信部４０に送信させる。
【０１２３】
アクセス装置１１の制御部６６は、通信部４０が更新情報を受信した場合、画面更新処理を実行する。これにより、前述したように、アクセス装置１１では、ブラウザ画面３が更新され、結果、ブラウザ画面３において、タブ２が追加される。通信部４０は、更新されたブラウザ画面３のウェブページ部分が写っているブラウザ画像２０のブラウザ画像データを端末装置１０の通信部６３に送信する。制御部６６は、通信部６３がブラウザ画像データを受信した場合、表示部６０に指示して、タブ２のウェブページ部分が写っているブラウザ画像２０を端末画面２に表示させ、ブラウザ手順の欄に「タブ２を追加」を表示させる。結果、タブ２の追加が実現される。
【０１２４】
タブ１の選択を説明する。ユーザは、ブラウザ画像２０において、「ＡＢＣページ」が示されているタブを、ポインタ２１を用いて選択する。これにより、端末装置１０の制御部６６は、通信部６３に指示して、選択されたタブを示す更新情報をアクセス装置１１の通信部４０に送信させる。
【０１２５】
アクセス装置１１の制御部６６は、通信部４０が更新情報を受信した場合、画面更新処理を実行する。これにより、前述したように、アクセス装置１１では、ブラウザ画面３が更新され、結果、ブラウザ画面３において、選択されたタブに対応するウェブページが表示される。通信部４０は、更新されたブラウザ画面３のウェブページ部分が写っているブラウザ画像２０のブラウザ画像データを端末装置１０の通信部６３に送信する。制御部６６は、通信部６３がブラウザ画像データを受信した場合、表示部６０に指示して、タブのウェブページ部分が写っているブラウザ画像２０を端末画面２に表示させ、ブラウザ手順の欄に「タブ１を選択」を表示させる。結果、タブ１の選択が実現される。
【０１２６】
タブ２の削除を説明する。タブ２の削除はタブ２の追加と同様に実現される。ユーザは、ブラウザ画像２０において、ウェブページを削除する削除ボタンを、ポインタ２１を用いて選択する。これにより、端末装置１０の制御部６６は、通信部６３に指示して、選択されたボタン、即ち、削除ボタンを示す更新情報をアクセス装置１１の通信部４０に送信させる。
【０１２７】
アクセス装置１１の制御部６６は、通信部４０が更新情報を受信した場合、画面更新処理を実行する。これにより、前述したように、アクセス装置１１では、ブラウザ画面３が更新され、結果、ブラウザ画面３において、タブ２が削除される。通信部４０は、更新されたブラウザ画面３のウェブページ部分が写っているブラウザ画像２０のブラウザ画像データを端末装置１０の通信部６３に送信する。端末装置１０の表示部６０は、タブ２のウェブページと、タブ２とが削除されたブラウザ画面３のウェブページ部分が写っているブラウザ画像２０を端末画面２に表示する。結果、タブ２の削除が実現される。
【０１２８】
図２２の端末画面２では、ラベル名として、「データ１」及び「データ２」が表示されている。ユーザは、ラベル名を変更することができる。ユーザは、ポインタ２１を用いて、ブラウザ手順又はデータリストの一覧において、「データ１」が記載されている部分を選択する。これにより、制御部６６は、ラベル名の変更指示を受け付け、表示部６０に指示して、ラベル名を入力するボックスを表示させ、ユーザからラベル名の入力を受け付ける。ユーザは、入力操作部６２を操作し、名称をボックスに入力する。制御部６６は、表示部６０に指示して、ラベル名を、ユーザによって入力された名称に変更させる。
【０１２９】
図２３は、データリストへの入力データの追加の説明図である。図２３に示す端末画面２では、入力データ「ＡＢＣ」のラベル名が「データ１」から「検索ワード」に変更されている。図２３では、データリストへの入力データの追加を説明する。ユーザは、データリストに入力データを追加する場合、ポインタ２１を用いて、データリストへの入力データの追加を示すボタンをクリックする。これにより、制御部６６は、データリストへの入力データの追加指示を受け付け、表示部６０に指示して、データリストの欄にラベル名が「追加１」である入力データの入力欄を表示し、入力欄への入力データの入力を受け付ける。ユーザは、入力操作部６２を操作することによって、ラベル名「追加１」に対応する入力データを入力することができる。制御部６６は、表示部６０に指示して、入力データの入力を受け付けた場合、データリストに入力データを追加させる。
【０１３０】
図２４は、データリストに入力データを追加した後の端末画面２の概略図である。図２４の例では、ユーザは、入力操作部６２を操作することによって、ラベル名「追加１」に対応する入力欄に「ＧＨＩ」を入力し、表示部６０は入力データ「ＧＨＩ」を表示している。制御部６６は、データリストの欄に表示されている入力データを一時記憶部６４に記憶する。
【０１３１】
ブラウザ手順において使用されていない入力データについては、ユーザは再び変更することができる。具体的には、ユーザは、入力データを「ＧＨＩ」から他のデータに変更することができる。ブラウザ手順において使用されている入力データについては、ユーザは変更することができない。具体的には、ユーザは、ラベル名「検索ワード」に対応する入力データを「ＡＢＣ」から他のデータに変更することはできない。ラベル名については、ユーザは、いつでも変更することができる。
【０１３２】
データリストへの入力データの追加は、フローチャートを用いて以下のように説明される。
図２５はデータリストに入力データを追加する処理の手順を示すフローチャートである。端末装置１０の制御部６６は、入力データの追加指示を受け付けたか否かを判定する（ステップＳ７１）。制御部６６は、入力データの追加指示を受け付けていないと判定した場合（Ｓ７１：ＮＯ）、ステップＳ７１を再び実行し、入力データの追加指示を受け付けるまで待機する。制御部６６は、入力データの追加指示を受け付けたと判定した場合（Ｓ７１：ＹＥＳ）、入力データの入力欄を表示し（ステップＳ７２）、入力欄への入力データの入力を受け付けたか否かを判定する（ステップＳ７３）。
【０１３３】
制御部６６は、入力データの入力を受け付けていないと判定した場合（Ｓ７３：ＮＯ）、ステップＳ７３を再び実行し、入力データの入力を受け付けるまで待機する。制御部６６は、入力データの入力を受け付けたと判定した場合（Ｓ７３：ＹＥＳ）、表示部６０に指示して、入力された入力データをデータリストに追加させ（ステップＳ７４）、入力された入力データを一時記憶部６４に記憶する（ステップＳ７５）。制御部６６は、ステップＳ７５を実行した後、データリストに入力データを追加する処理を終了する。この処理が終了した後、制御部６６は、ステップＳ７１を再び実行し、入力データの追加指示を受け付けるまで待機する。
【０１３４】
図２６は、追加した入力データの使用の説明図である。データリストの欄に入力データが追加されている場合、ボックスであるエレメント３０に対応するオブジェクト２２の操作メニュー２４に表示される複数の操作中の１つとして、「データの貼り付け」、即ち、一時記憶部６４に記憶された入力データの入力が含まれている。制御部６６は、操作メニュー２４に表示された複数の操作の中から１つの選択をユーザから受け付ける。ユーザは、ポインタ２１で「データの貼り付け」を選択した場合、制御部６６は、「データの貼り付け」の選択を受け付ける。制御部６６は、「データの貼り付け」の選択を受け付けた場合、表示部６０に指示して、データリストに表示されているラベル名を表示させる。図２１では、表示部６０は、ラベル名として、「検索ワード」及び「追加１」を表示している。
【０１３５】
ユーザは、オブジェクト２２に入力する入力データのラベル名として、「検索ワード」及び「追加１」中の１つを、ポインタ２１を用いて選択することができる。ユーザが「検索ワード」を選択した場合、制御部６６は、ラベル名「検索ワード」に対応する入力データ「ＡＢＣ」の選択を受け付ける。ユーザが「追加１」を選択した場合、制御部６６は、ラベル名「追加１」に対応する入力データ「ＧＨＩ」の入力を受け付け、オブジェクト２２内に入力データ「ＧＨＩ」を入力する。
以上のように、ユーザは、「データの貼り付け」を選択することによって、データリストに表示されている入力データ、即ち、一時記憶部６４に記憶されている入力データの入力が完了するので、ブラウザ手順の記録をより容易に実現することができる。
【０１３６】
データリストの入力データの使用は、フローチャートを用いて以下のように説明される。
図２７はデータリストの入力データを使用する処理の手順を示すフローチャートである。端末装置１０の制御部６６は、「データの貼り付け」の選択を受け付けたか否かを判定する（ステップＳ８１）。制御部６６は、「データの貼り付け」の選択を受け付けていないと判定した場合（Ｓ８１：ＮＯ）、ステップＳ８１を再び実行し、「データの貼り付け」の選択を受け付けるまで待機する。制御部６６は、「データの貼り付け」の選択を受け付けたと判定した場合（Ｓ８１：ＹＥＳ）、表示部６０に指示して、データリストに表示されているラベル名を表示させる（ステップＳ８２）。
【０１３７】
次に、制御部６６は、ラベル名の選択を受け付けたか否かを判定する（ステップＳ８３）。制御部６６は、ラベル名の選択を受け付けていないと判定した場合（Ｓ８３：ＮＯ）、ステップＳ８３を再び実行し、ラベル名の選択を受け付けるまで待機する。制御部６６は、ラベル名の選択を受け付けたと判定した場合（Ｓ８３：ＹＥＳ）、オブジェクト２２内に、選択されたラベル名に対応する入力データを入力する（ステップＳ８４）。制御部６６は、ステップＳ８４を実行した後、データリストの入力データを使用する処理を終了する。この処理が終了した後、制御部６６は、ステップＳ８１を再び実行し、「データの貼り付け」の選択を受け付けるまで待機する。
【０１３８】
図２８は、データリストの入力データを入力した後の端末画面２の概略図である。制御部６６は、表示部６０に指示して、ブラウザ手順の欄において、ラベル名「追加１」に対応する入力データ「ＧＨＩ」を入力する手順を追加させる。また、制御部６６は、表示部６０に指示して、オブジェクト２２のラベル名も「データ２」から「追加１」に変更させる。ブラウザ手順の欄において、ラベル名「追加１」に対応する入力データが使用された後においては、ユーザは、ラベル名「追加１」に対応する入力データを「ＧＨＩ」から他のデータに変更することはできない。
【０１３９】
ユーザは、入力データ「ＧＨＩ」が入力されているオブジェクト２２の操作として、ブラウザ画面３の更新を選択することができる。制御部６６は、ブラウザ画面３の更新の選択を受け付けた場合、通信部６３に指示して、オブジェクト２２の位置と、入力データ「ＧＨＩ」とを示す位置情報をアクセス装置１１の通信部４０に送信させる。前述したように、アクセス装置１１の制御部４２は、通信部４０が位置情報を受信した場合、解析処理を実行し、解析処理では、入力データ「ＧＨＩ」が入力されたオブジェクト２２に対応するエレメント３０に、入力データ「ＧＨＩ」を入力し、ブラウザ画面３を更新する。従って、データリストの欄に表示されている入力データは、オブジェクト２２に対応するエレメント３０に入力することが可能なデータである。オブジェクト２２に入力されている入力データは、オブジェクト２２に対応するエレメント３０に入力するデータである。更新されたブラウザ画面３が写っているブラウザ画像２０は、端末装置１０の端末画面２に表示される。
【０１４０】
なお、制御部６６は、ラベル名「追加１」に対応する入力データ「ＧＨＩ」の入力を受け付けた場合、オブジェクト２２内に入力データ「ＧＨＩ」を入力することなく、通信部６３に指示して、入力データ「ＧＨＩ」と、オブジェクト２２の位置とを示す更新情報をアクセス装置１１の通信部４０に送信させてもよい。この場合、制御部６６が行う処理の数が低減される。
【０１４１】
図２９は、操作のやり直しの説明図である。ユーザは、過去の手順から記録をやり直す場合、ブラウザ手順に表示されている複数の手順の中から１つを、ポインタ２１を用いて選択する。図２９では、ユーザは、タブ２を追加する手順を選択する。これにより、端末装置１０の制御部６６は、記録をやり直す指示を受け付ける。この場合、制御部６６は、通信部６３を介して、アクセス装置１１の制御部４２に指示して、ブラウザ手順において、最初の手順から選択された手順までの手順をブラウザ画面３上で順次実行させる。
【０１４２】
以下では、ブラウザ画像２０において文字列をコピーすることによって、データリストに入力データを追加する方法を説明する。
図３０は検索結果を示す端末画面２の概略図である。この例では、検索ページでキーワード「ＡＢＣ」を入力した場合に、ＡＢＣページではなく、検索結果が表示されると仮定する。端末画面２には、検索結果が写っているブラウザ画像２０が表示されている。図３０では、ブラウザ画像２０において、３組の情報が表示されている。各組の情報は、タイトル、アドレス及び説明で構成されている。一番上の組では、タイトルは「ＡＢＣ建築」であり、アドレスは「http:abc-structure」であり、説明は「ＡＢＣ建築は、歴史のある建築です。」である。タイトル及びアドレスはリンクであり、説明は文字列である。
【０１４３】
図３１は文字列のコピーの説明図である。前述したように、ユーザがポインタ２１を用いて、ブラウザ画像２０に写っているエレメント３０を選択した場合、端末装置１０の通信部６３が位置情報をアクセス装置１１の通信部４０に送信し、アクセス装置１１の制御部４２は解析処理を実行する。アクセス装置１１の通信部６３は、エレメント情報を端末装置１０の通信部４０に送信し、端末装置１０の表示部６０は、ブラウザ画像２０においてオブジェクト２２を表示する。制御部６６は、通信部６３が受信したエレメント情報が示すデータ位置を、表示部６０が表示したオブジェクト２２と対応付けて一時記憶部６４に記憶する。前述したように、オブジェクト２２は、アクセス装置１１の通信部６３が送信したエレメント情報に基づいて、ブラウザ画像２０に表示され、エレメント３０が選択されていることを示す。
【０１４４】
ユーザは、オブジェクト２２の操作メニュー２４において、ポインタ２１を用いて、「文字列のコピー」を選択することができる。この場合、端末装置１０の制御部６６は、「文字列のコピー」の選択を受け付け、通信部６３に指示して、オブジェクト２２に対応するエレメント３０のデータ位置を示す抽出情報を、アクセス装置１１の通信部４０に送信させる。アクセス装置１１では、制御部４２は、通信部４０が抽出情報を受信した場合、抽出処理を実行する。制御部４２は、ブラウザ画面３において、通信部４０が受信した抽出情報が示すデータ位置にあるエレメント３０を特定し、特定したエレメント３０に含まれている文字列を抽出し、通信部４０に指示して、抽出した文字列を示す文字列情報を端末装置１０の通信部６３に送信する。
【０１４５】
抽出処理において、制御部４２が抽出した文字列は、ブラウザ画像２０において、オブジェクト２２に含まれている文字列である。
端末装置１０において、制御部６６は、通信部６３が文字列情報を受信した場合、表示部６０に指示して、通信部６３が受信した文字列情報が示す文字列をデータリストの欄に追加させる。制御部６６は、更に、通信部６３が受信した文字列情報が示す文字列を一時記憶部６４に記憶する。その後、制御部６６は、表示部６０に指示して、ブラウザ手順の欄に、ラベル名「データ２」に対応する入力データ「ＡＢＣ建築」をコピーする手順を追加させる。
【０１４６】
図３２は、文字列がコピーされた後の端末画面２の概略図である。図３２に示すように、データリストの欄に、オブジェクト２２に含まれている文字列「ＡＢＣ建築」が追加されている。また、ブラウザ手順の欄には、ラベル名「データ２」に対応する入力データ「ＡＢＣ建築」をコピーする手順が追加されている。ユーザは、文字列をコピーする手順を繰り返すことによって、ブラウザ画像２０に写っている他のエレメント３０についても、文字列を抽出することができる。結果、端末装置１０の制御部６６は、ブラウザ画像２０における複数のオブジェクト２２それぞれに含まれている複数の文字列を一時記憶部６４に記憶する。更に、制御部６６は、表示部６０に指示して、データリストの欄に、一時記憶部６４に記憶している複数の文字列を表示させ、ブラウザ手順の欄に、複数の入力データをコピーする手順を追加させる。
以上のように、文字列の抽出はアクセス装置１１が行うので、端末装置１０がブラウザ手順の記録のために実行する処理の処理量は少ない。
【０１４７】
文字列のコピーは、フローチャートを用いて以下のように説明される。
図３３は文字列をコピーする処理の手順を示すフローチャートである。端末装置１０の制御部６６は、「文字列のコピー」の選択を受け付けたか否かを判定する（ステップＳ９１）。制御部６６は、「文字列のコピー」の選択を受け付けていないと判定した場合（Ｓ９１：ＮＯ）、ステップＳ９１を再び実行し、「文字列のコピー」の選択を受け付けるまで待機する。制御部６６は、「文字列のコピー」の選択を受け付けたと判定した場合（Ｓ９１：ＹＥＳ）、通信部６３に指示して、抽出情報をアクセス装置１１の通信部４０に送信させる（ステップＳ９２）。
【０１４８】
アクセス装置１１では、通信部４０が抽出情報を受信した場合、制御部４２は、抽出処理を開始する。制御部４２は、抽出処理のステップＳ２３において、通信部４０に指示して、ブラウザ画像２０においてオブジェクト２２に含まれている文字列を示す文字列情報を端末装置１０の通信部６３に送信させる。制御部４２は、ステップＳ２３を実行した後、抽出処理を終了する。
【０１４９】
端末装置１０の制御部６６は、ステップＳ９２を実行した後、通信部６３が文字列情報を受信したか否かを判定する（ステップＳ９３）。制御部６６は、通信部６３が文字列情報を受信していないと判定した場合（Ｓ９３：ＮＯ）、ステップＳ９３を再び実行し、通信部６３が文字列情報を受信するまで待機する。制御部６６は、通信部６３が文字列情報を受信したと判定した場合（Ｓ９３：ＹＥＳ）、表示部６０に指示して、通信部６３が受信した文字列情報が示す文字列（入力データ）をデータリストに追加させる（ステップＳ９４）。次に、制御部６６は、通信部６３が受信した文字列情報が示す文字列を一時記憶部６４に記憶する（ステップＳ９５）。制御部６６は、ステップＳ９５を実行した後、文字列をコピーする処理を終了する。この処理が終了した後、制御部６６は、ステップＳ９１を再び実行し、「文字列のコピー」の選択を受け付けるまで待機する。
【０１５０】
図３４は、複数の文字列を抽出した後の端末画面２の概略図である。図３４に示すように、ラベル名「タイトル」、「アドレス」及び「説明」に対応する３つの入力データがコピーされ、データリストに３つの入力データが追加され、一時記憶部６４に記憶されている。前述したように、ユーザは、ラベル名を適宜変更することができる。ユーザは、ポインタ２１を用いて、ラベル名「タイトル」、「アドレス」及び「説明」に対応する３つのオブジェクト２２を含む領域を選択することができる。更に、ユーザは、ポインタ操作部６１を操作することによって、操作メニュー２４を表示させることができる。端末装置１０の制御部６６は、操作メニュー２４の表示指示を受け付け、表示部６０に指示して、操作メニュー２４に表示させる。操作メニュー２４において表示される１つの操作として、「グループ化」がある。ユーザは、ポインタ２１を用いて「グループ化」を選択することができる。
【０１５１】
これにより、端末装置１０の制御部６６は、グループ化の指示を受け付け、ラベル名「タイトル」、「アドレス」及び「説明」に対応する入力データ、即ち、一時記憶部６４に記憶した３つの文字列をグループ化する。グループ化により、グループ単位で処理を実行することできるので、ユーザが行う操作の数が少なく、ブラウザ手順の更に効率的な記録が実現される。
なお、グループ化されるオブジェクト２２の数は、３に限定されず、２又は４以上であってもよい。
【０１５２】
図３５は、複数の文字列がグループ化された後の端末画面２の概略図である。端末装置１０の制御部６６は、表示部６０に指示して、ラベル名「タイトル」、「アドレス」及び「説明」に対応する３つの入力データをコピーする３つの手順に、グループ名「グループ１」を表示させる。また、制御部６６は、表示部６０に指示して、データリストの欄において、グループ化した複数の文字列、即ち、ラベル名「タイトル」、「アドレス」及び「説明」に対応する３つの入力データを表示させる。これにより、ユーザは、グループ１に属する複数の文字列を容易に確認することができる。
【０１５３】
複数の文字列のグループ化は、フローチャートを用いて以下のように説明される。
図３６は複数の文字列をグループ化する処理の手順を示すフローチャートである。端末装置１０の制御部６６は、例えば、ユーザがドラッグを行うことによって、複数のオブジェクト２２を含む領域が選択されたか否かを判定する（ステップＳ１０１）。制御部６６は、領域が選択されていないと判定した場合（Ｓ１０１：ＮＯ）、再び、ステップＳ１０１を実行し、複数のオブジェクト２２を含む領域が選択されるまで待機する。
【０１５４】
制御部６６は、複数のオブジェクト２２を含む領域が選択されたと判定した場合（Ｓ１０１：ＹＥＳ）、グループ化の指示を受け付けたか否かを判定する（ステップＳ１０２）。制御部６６は、グループ化の指示を受け付けていないと判定した場合（Ｓ１０２：ＮＯ）、ステップＳ１０２を再び実行し、グループ化の指示を受け付けるまで待機する。制御部６６は、グループ化の指示を受け付けた場合（Ｓ１０２：ＹＥＳ）、一時記憶部６４に記憶されており、かつ、選択された領域に含む複数のオブジェクト２２に対応する複数の文字列をグループ化する（ステップＳ１０３）。次に、制御部６６は、表示部６０に指示して、データリストにおいて、グループ化した複数の文字列を表示させる（ステップＳ１０４）。制御部６６は、ステップＳ１０４を実行した後、複数の文字列をグループ化する処理を終了する。この処理が終了した後、制御部６６は、ステップＳ１０１を再び実行し、複数のオブジェクト２２を含む領域が選択されるまで待機する。
【０１５５】
図３５に示す端末画面２において、グループ名の右側に、グループ内の入力データを用いた処理であるグループ処理の実行を受け付ける実行ボタン２５、グループ処理の終了を受け付ける終了ボタン２６及びグループ化の解除を受け付ける解除ボタン２７が表示されている。
【０１５６】
ユーザは、ポインタ操作部６１を操作することによって、ブラウザ画像２０において、グループ名「グループ１」に対応するグループ範囲とは異なる一又は複数の範囲を選択することができる。この場合、制御部６６は、ブラウザ画像２０における範囲の選択を受け付ける。図３５では、制御部６６は、グループ名「グループ２」及び「グループ３」のグループ範囲の選択を受け付ける。制御部６６は、ラベル名「グループ２」及び「グループ３」に対応する２つのグループ範囲を、一時記憶部６４に記憶する。ユーザは、ポインタ２１を用いて実行ボタン２５を選択することができる。この場合、制御部６６は、グループ名「グループ１」に属する複数の入力データ中の少なくとも１つを用いたグループ処理の実行を開始する。グループ処理は、手順記録処理中に実行される処理の１つである。
【０１５７】
図３７は、グループ処理の開始の説明図である。ユーザは、グループ処理を開始する場合、ポインタ２１を用いて実行ボタン２５を選択する。これにより、端末装置１０の制御部６６は、グループ処理の実行を受け付ける。図３７の例では、検索を行うことが可能な検索ページが写っているブラウザ画像２０が表示されている状態で、制御部６６は、グループ処理を実行する。
【０１５８】
図３８は文字列を用いた操作の説明図である。制御部６６は、グループ処理の実行を開始した場合、表示部６０に指示して、ブラウザ手順の欄に、グループ処理の開始を示す開始マークを表示させる。開始マークには「グループ１」が記載されている。
前述したように、ユーザがポインタ２１を用いて、ブラウザ画像２０に写っているエレメント３０を選択した場合、アクセス装置１１の制御部４２が解析処理を実行し、オブジェクト２２が表示される。ユーザが、ポインタ２１を用いて、オブジェクト２２に設けられているメニューボタン２３を選択した場合、端末装置１０の制御部６６は、表示部６０に指示して、操作メニュー２４を表示させる。ユーザは、操作メニュー２４において、「データの貼り付け」を選択した場合、制御部６６は、表示部６０に指示して、データリストに表示されているラベル名を表示させる。
【０１５９】
ここで、ユーザは、グループ名「グループ１」に属するラベル名、例えば「タイトル」を選択する。これにより、制御部６６は、表示部６０に指示して、選択されたラベル名「タイトル」の入力データ「ＡＢＣ建築」をオブジェクト２２内に入力させる。その後、制御部６６は、表示部６０に指示して、ブラウザ手順の欄に、ラベル名「タイトル」に対応する入力データ「ＡＢＣ建築」を入力する手順を追加させる。
【０１６０】
前述したように、入力データがオブジェクト２２内に入力された状態でユーザはブラウザ画面３の更新を選択することができる。この場合、端末装置１０の通信部６３は更新情報をアクセス装置１１の通信部４０に送信し、アクセス装置１１の制御部４２はブラウザ画面３の更新処理を実行する。制御部４２は、オブジェクト２２に入力された入力データを、オブジェクト２２に対応するエレメント３０に入力し、ブラウザ画面３を更新する。その後、通信部４０は、更新されたブラウザ画面３が写っているブラウザ画像２０のブラウザ画像データを端末装置１０の通信部６３に送信し、端末装置１０の端末画面２に表示されているブラウザ画像２０が更新される。
【０１６１】
図３９は、ブラウザ画像２０が更新された後の端末画面２の概略図である。図３９に示すように、端末画面２に表示されているブラウザ画像２０では、検索結果を示すウェブページが表示されている。ここで、ユーザは、前述したように、ブラウザ画像２０に写っている文字列をコピーし、コピーした文字列をデータリストに追加することができる。この場合、前述したように、位置情報の送信、解析処理、オブジェクト２２の表示、抽出情報の送信、抽出処理、及び、文字列情報の送信が実行される。これにより、文字列「理想の建築はＡＢＣ建築」が抽出され、データリストの欄に追加される。ここで、グループ処理の中で文字列を抽出する処理が実行されているので、文字列はグループ１に属する。
なお、キーワード「ＡＢＣ」を入力する検索ページは、キーワード「ＡＢＣ建築」を入力する検索ページとは異なっていてもよい。
【０１６２】
図４０は、グループ処理の終了の説明図である。図４０に示すように、端末装置１０の制御部６６は、ラベル名「検索結果」に対応する入力データ「理想の建築はＡＢＣ建築」を記憶し、グループ１に加える。
【０１６３】
以上のように、制御部４２は、グループ１に属する複数の文字列の少なくとも１つを用いた操作、即ち、ラベル名「タイトル」に対応する入力データをオブジェクト２２内に入力し、ブラウザ画面３の更新を指示する操作を受け付ける。制御部４２は、受け付けた操作を実行した後のブラウザ画面３に対応するブラウザ画像２０上におけるオブジェクト２２の選択を受け付け、選択されたオブジェクト２２に含まれている文字列「理想の建築はＡＢＣ建築」を一時記憶部６４に記憶する。制御部４２は、グループ１に、記憶した文字列「理想の建築はＡＢＣ建築」を加える。文字列「理想の建築はＡＢＣ建築」は第２の文字列に相当する。
【０１６４】
ユーザは、ポインタ２１を用いて、終了ボタン２６を選択することができる。この場合、端末装置１０の制御部６６は、グループ処理の終了指示を受け付ける。制御部６６は、グループ処理の終了指示を受け付けた場合、表示部６０に指示して、ブラウザ手順の欄に、グループ処理の終了を示す終了マークを追加させ、グループ１に属する複数の文字列の少なくとも１つを用いて実行した一連の処理を一時記憶部６４に記憶し、グループ処理を終了する。
なお、グループ１に属する複数の文字列の中で、グループ処理で用いる文字列の数は１つに限定されず、２以上であってもよい。
【０１６５】
制御部６６は、グループ処理を終了した後、図３５において、グループ名「グループ２」のグループ範囲に含まれている複数の文字列に対して、グループ処理で記憶した一連の処理と共通する処理を実行する。更に、制御部６６は、グループ名「グループ３」のグループ範囲に含まれている複数の文字列に対して、グループ処理で記憶した一連の処理と共通する処理を実行する。従って、ブラウザ手順を記録するために、ユーザが行う操作の数が少なく、ブラウザ手順の更に効率的な記録が実現される。
【０１６６】
グループ処理は、フローチャートを用いて以下のように説明される。
図４１はグループ処理の手順を示すフローチャートである。端末装置１０の制御部６６は、ポインタ２１を用いて実行ボタン２５が選択された場合にグループ処理を実行する。グループ処理では、制御部６６は、表示部６０に指示して、開始マークをブラウザの手順の欄に追加させる（ステップＳ１１１）。次に、制御部６６は、ユーザが行う操作に従って、１つのグループ、即ち、グループ１に属する複数の文字列の少なくとも１つを用いた処理を実行し（ステップＳ１１２）、グループ処理の終了指示を受け付けたか否かを判定する（ステップＳ１１３）。制御部６６は、グループ処理の終了指示を受け付けていないと判定した場合（Ｓ１１３：ＮＯ）、ステップＳ１１２を実行する。制御部６６は、グループ処理の終了指示を受け付けるまで、グループ１に属する複数の文字列の少なくとも１つを用いた処理を実行し続ける。
【０１６７】
制御部６６は、グループ処理の終了指示を受け付けたと判定した場合（Ｓ１１３：ＹＥＳ）、表示部６０に指示して、終了マークをブラウザの手順の欄に追加させ（ステップＳ１１４）、グループ１に属する複数の文字列の少なくとも１つを用いて実行した一連の処理を一時記憶部６４に記憶し（ステップＳ１１５）、グループ処理を終了する。
【０１６８】
１つのグループに属する複数の文字列に対して実行した一連の処理と共通する処理を他のグループに属する文字列に対して実行する第２のグループ処理の実行は、フローチャートを用いて以下のように説明される。
図４２は、第２のグループ処理の手順を示すフローチャートである。制御部６６は、グループ処理を実行した後、第２のグループ処理を実行する。第２のグループ処理では、制御部６６は、一又は複数のグループ範囲を一時記憶部６４から読み出す（ステップＳ１２１）。次に、制御部６６は、ステップＳ１２１で読み出した一又は複数のグループ範囲に対応する一又は複数のグループに属する複数の文字列に対して、グループ処理のステップＳ１１５で記憶した一連の処理に共通する処理を実行する（ステップＳ１２２）。制御部６６は、ステップＳ１２２で実行した後、第２のグループ処理を終了する。
【０１６９】
なお、グループ２，３それぞれに含まれている複数の文字列の種類は、グループ１に属する複数の文字列の種類と一致している必要がある。即ち、グループ２，３それぞれに含まれている複数の文字列も、タイトル、アドレス及び説明を示す３つの文字列で構成されている必要がある。
【０１７０】
制御部６６は、グループ２，３それぞれに対して処理を実行することによって得られた手順をブラウザ手順の欄に追加する。
なお、ユーザは、ポインタ２１を用いて、解除ボタン２７を選択することができる。この場合、制御部６６は、グループ化の解除指示を受け付け、一時記憶部６４において行っているグループ化を解除し、表示部６０に指示して、グループ１の囲いを消去させる。これにより、グループ１に属する複数の文字列それぞれは、グループに属さない文字列として扱われる。
【０１７１】
ユーザは、ポインタ操作部６１又は入力操作部６２を操作することによって、手順記録処理の終了を指示する。これにより、制御部６６は、ユーザから手順記録処理の終了指示を受け付ける。制御部６６は、手順記録処理の終了指示を受け付けた場合、ブラウザ手順を示すブラウザ手順データを生成し、手順記録処理を終了する。前述したように、制御部６６は、手順記録処理を実行した後、通信部６３に指示して、手順記録処理で生成したブラウザ手順データを管理装置１３に送信し、管理装置１３は、通信部６３から受信したブラウザ手順データをデータベース装置１４に記憶する。
【０１７２】
ブラウザ手順データには、ブラウザ手順において、選択された一又は複数のオブジェクト２２に対応する一又は複数のエレメント３０のデータ位置を示す情報が含まれている。このため、ブラウザ手順データに基づいて自動で処理が実行された場合であっても、誤りなく適切なエレメント３０が選択される。
【０１７３】
なお、オブジェクト２２は、エレメント３０が選択されていることを示せばよい。このため、オブジェクト２２は、ブラウザ画像２０に写っているエレメント３０を囲うマークに限定されず、例えば、メニューであってもよい。例えば、操作メニュー２４がオブジェクト２２の機能を兼ねてもよい。この場合においては、端末画面２のブラウザ画像２０に写っているエレメント３０がポインタ２１によって選択されたとき、端末装置１０の制御部６６は、表示部６０に指示して、ブラウザ画像２０に写っているエレメント３０の近傍に操作メニュー２４を表示させる。
【０１７４】
また、複数のグループが存在する場合、全てのグループについて、グループに属する複数の文字列（入力データ）をデータリストに表示しなくてもよい。例えば、１つのグループに属する複数の文字列（入力データ）を代表として表示してもよい。
【０１７５】
（実施の形態２）
実施の形態１においては、制御部６６は、グループ１に属する複数の文字列に対して実行した処理と共通する処理をグループ２，３に属する複数の文字列に対しても実行する。しかしながら、アクセス装置１１においても、グループ化を行い、アクセス装置１１の制御部４２は、グループ１に属する複数の文字列に対して実行した処理と共通する処理をグループ２，３に対して実行してもよい。この場合、端末装置１０の制御部６６は第２のグループ処理を実行する必要がなく、制御部６６がグループ２，３に属する複数の文字列に対して実行する処理の一部が省略される。
【０１７６】
アクセス装置１１の制御部４２が有する一又は複数の処理素子は、基本プログラム５０及びブラウザプログラム５１を実行することによって、１つのグループに属する複数の文字列に対して実行した処理と共通する処理を、他のグループに対して繰り返す繰り返し処理を実行する。
以下では、実施の形態２について、実施の形態１と異なる点を説明する。後述する構成を除く他の構成については、実施の形態１と共通しているため、実施の形態１と共通する構成部には実施の形態１と同一の参照符号を付してその説明を省略する。
【０１７７】
図３５を用いて実施の形態１で説明したように、端末装置１０の制御部６６は、ラベル名「タイトル」、「アドレス」及び「説明」に対応する入力データをグループ化し、グループ２，３に対応する２つのグループ範囲を受け付ける。その後、実施の形態２では、制御部６６は、通信部６３に指示して、グループ１に属する複数の入力データと、受け付けたグループ範囲とを示すグループ情報をアクセス装置１１の通信部４０に送信させる。アクセス装置１１の制御部４２は、通信部４０がグループ情報を受信した場合、繰り返し処理を実行する。
【０１７８】
図４３は、実施の形態２における繰り返し処理の手順を示すフローチャートである。繰り返し処理では、アクセス装置１１の制御部４２は、通信部４０が受信したグループ情報が示す複数の入力データを記憶部４１においてグループ化する（ステップＳ１３１）。
【０１７９】
グループ情報が示す複数の入力データは、制御部４２が抽出処理において抽出した複数の文字列である。また、通信部４０がグループ情報を受信した場合に、制御部４２は、抽出した複数の入力データをグループ化するので、グループ情報はグループ化要求に相当する。通信部４０は第２の要求受信部としても機能する。制御部４２はグループ化部としても機能する。
グループ化により、グループ単位で処理を実行することできるので、ユーザが行う操作の数が少なく、ブラウザ手順の更に効率的な記録が実現される。
【０１８０】
制御部４２は、ステップＳ１３１を実行した後、通信部４０が受信したグループ情報が示すグループ範囲を記憶部４１に記憶する（ステップＳ１３２）。次に、制御部４２は、端末装置１０の制御部６６がグループ処理を実行している間に、１つのグループ、即ち、グループ１に属する複数の文字列に対して実行した一連の処理を記憶部４１に記憶する（ステップＳ１３３）。次に、制御部４２は、ステップＳ１３３に記憶した処理と共通する処理を、他のグループ、即ち、グループ２，３に属する複数の文字列に対して実行する（ステップＳ１３４）。
【０１８１】
次に、制御部４２は、通信部４０に指示して、ステップＳ１３４で実行した処理の結果を示す処理結果情報を端末装置１０の通信部６３に送信させる（ステップＳ１３５）。端末装置１０の制御部６６は、通信部６３が処理結果情報を受信した場合、表示部６０に指示して、通信部６３が受信した処理結果情報が示す結果を端末画面２に反映させる。制御部４２は、ステップＳ１３５を実行した後、繰り返し処理を終了する。
【０１８２】
実施の形態２における記録システム１は、実施の形態１における記録システム１が奏する効果を同様に奏する。実施の形態２における記録システム１では、端末装置１０の制御部６６がグループ２，３に属する複数の文字列に対しても実行する処理の一部が省略される。
【０１８３】
なお、実施の形態１，２において、ユーザがブラウザ画像２０上で複数の範囲を選択した場合、複数の範囲に属する複数のグループのグループ名を「グループ２」及び「グループ３」等と連番で表示又は設定している。しかしながら、グループ名の表示又は設定は、連番の表示又は設定に限定されない。例えば、複数の範囲に属する複数のグループのグループ名は、共通の名称、例えば「グループＡ」であってもよい。
【０１８４】
また、実施の形態１，２において、端末装置１０及びアクセス装置１１間で送信されるデータはＨＴＭＬ形式のデータに限定されない。更に、アクセス装置１１、管理装置１３及びデータベース装置１４の中で少なくとも２つが１つのサーバで実現されていてもよい。この場合、例えば、１つのサーバの中で、２以上の仮想装置を実現する。また、記録プログラム５２は、ブラウザプログラム７１をプラットフォームとして実行されるコンピュータプログラムに限定されず、端末装置１０にインストールされるコンピュータプログラムであってもよい。
【０１８５】
更に、オブジェクト２２に含まれているブラウザ画像２０上の文字列の抽出は、端末装置１０の制御部６６に実現されてもよい。この場合、制御部６６は、ブラウザ画像２０から直接に文字列を抽出する。また、オブジェクト２２はエレメント３０の選択を示せばよいので、オブジェクト２２の形状は、矩形枠状に限定されない。また、端末装置１０に記録プログラム５２を送信する装置は、アクセス装置１１に限定されず、例えば、管理装置１３であってもよい。
【０１８６】
実施の形態１，２で記載されている技術的特徴（構成要件）はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
開示された実施の形態１，２はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１８７】
１  記録システム
３  ブラウザ画面
１０  端末装置（記録装置）
１１  アクセス装置（外部装置、解析装置）
１３  管理装置（送信装置）
２０  ブラウザ画像
２２  オブジェクト
２４  操作メニュー
３０  エレメント
４０  通信部（送信部、要求受信部、第２の要求受信部）
４２  制御部（位置取得部、解析部、抽出部、グループ化部）
５２  記録プログラム（コンピュータプログラム）
６０  表示部
６３  通信部（出力部、第１送信部、第２送信部、情報受信部）
６６  制御部（エレメント情報取得部）
【要約】
【課題】操作の手順の効率的な記録を実現することができるコンピュータプログラム、記録装置、記録システム、解析装置及び記録方法を提供する。
【解決手段】ブラウザ画面上において自動で行われる操作の手順を記録するための記録プログラム５２は、下記の処理を制御部６６に実行させる。制御部６６は、ブラウザ画面が写っているブラウザ画像を表示し、ブラウザ画像上において選択された選択位置を外部装置に出力する処理を実行する。次に、制御部６６は、出力した選択位置に対応する前記ブラウザ画面の画面位置にあるエレメントについて、サイズ及び前記ブラウザ画像上の画像位置を示すエレメント情報を前記外部装置から取得する処理を実行する。次に、制御部６６は、取得したエレメント情報に基づいて、前記エレメントが選択されていることを示すオブジェクトを前記ブラウザ画像上に表示する処理を実行する。
【選択図】図８【図１】
0006701476.tif 000002
【図２】
0006701476.tif 000003
【図３】
0006701476.tif 000004
【図４】
0006701476.tif 000005
【図５】
0006701476.tif 000006
【図６】
0006701476.tif 000007
【図７】
0006701476.tif 000008
【図８】
0006701476.tif 000009
【図９】
0006701476.tif 000010
【図１０】
0006701476.tif 000011
【図１１】
0006701476.tif 000012
【図１２】
0006701476.tif 000013
【図１３】
0006701476.tif 000014
【図１４】
0006701476.tif 000015
【図１５】
0006701476.tif 000016
【図１６】
0006701476.tif 000017
【図１７】
0006701476.tif 000018
【図１８】
0006701476.tif 000019
【図１９】
0006701476.tif 000020
【図２０】
0006701476.tif 000021
【図２１】
0006701476.tif 000022
【図２２】
0006701476.tif 000023
【図２３】
0006701476.tif 000024
【図２４】
0006701476.tif 000025
【図２５】
0006701476.tif 000026
【図２６】
0006701476.tif 000027
【図２７】
0006701476.tif 000028
【図２８】
0006701476.tif 000029
【図２９】
0006701476.tif 000030
【図３０】
0006701476.tif 000031
【図３１】
0006701476.tif 000032
【図３２】
0006701476.tif 000033
【図３３】
0006701476.tif 000034
【図３４】
0006701476.tif 000035
【図３５】
0006701476.tif 000036
【図３６】
0006701476.tif 000037
【図３７】
0006701476.tif 000038
【図３８】
0006701476.tif 000039
【図３９】
0006701476.tif 000040
【図４０】
0006701476.tif 000041
【図４１】
0006701476.tif 000042
【図４２】
0006701476.tif 000043
【図４３】
0006701476.tif 000044