(57)【要約】  アノテーション装置（１）は、アノテーションＤＢ（１２ｂ）と画面状態取得監視部（１１ｄ）と外部連携プログラム呼出し部（１１ａ）とを有する。アノテーションＤＢ（１２ｂ）は、アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて格納する。画面状態取得監視部（１１ｄ）は、複数の上記ウィンドウの中からアクティブウィンドウを特定する。外部連携プログラム呼出し部（１１ａ）は、画面状態取得監視部（１１ｄ）により特定されたアクティブウィンドウに対応するアノテーションルールがアノテーションＤＢ（１２ｂ）に存在し、かつ、上記アノテーションオブジェクトが選択された場合に、上記アノテーションルールに従い、外部プログラム（３０）を呼び出す。
2016039254.tif 000002
【特許請求の範囲】
【請求項１】
アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて格納する格納部と、
複数の前記ウィンドウの中からアクティブウィンドウを特定する特定部と、
前記特定部により特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、前記アノテーションルールに従い、外部プログラムを呼び出す呼出し部と
を有することを特徴とするアノテーション装置。
【請求項２】
前記呼出し部は、前記外部プログラムの起動時に、該外部プログラムに対し、前記アノテーションオブジェクトとして、アノテーションメッセージを出力することを特徴とする請求項１に記載のアノテーション装置。
【請求項３】
前記呼出し部は、前記アノテーションメッセージを解析し、前記アノテーションメッセージの表示されたプログラムを識別し、該解析及び該識別の結果に基づき、前記プログラムに対応する外部プログラムを呼び出すことを特徴とする請求項２に記載のアノテーション装置。
【請求項４】
アノテーション装置で実行されるアノテーション方法であって、
アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて、格納部に格納させる格納工程と、
複数の前記ウィンドウの中からアクティブウィンドウを特定する特定工程と、
前記特定工程にて特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、前記アノテーションルールに従い、外部プログラムを呼び出す呼出し工程と
を含むことを特徴とするアノテーション方法。
【請求項５】
アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて、格納部に格納させる格納ステップと、
複数の前記ウィンドウの中からアクティブウィンドウを特定する特定ステップと、
前記特定ステップにて特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、前記アノテーションルールに従い、外部プログラムを呼び出す呼出しステップと
をコンピュータに実行させるためのアノテーションプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アノテーション装置、アノテーション方法、及びアノテーションプログラムに関する。
【背景技術】
【０００２】
従来、ユーザが端末装置を操作して業務を行う業務システムが利用されている。かかるシステムでは、ユーザが、操作対象のＧＵＩ（Graphical  User  Interface）に対し、業務知識や外部プログラムを呼び出すためのプログラムを直接記述することは、業務システムの改編を伴うため、困難であった。仮に、この様な業務システムのＡＰＩ（Application  Programming  Interface）が有ったとしても、ユーザが上記記述を行うには、多様な業務システムにおいて提供されるＡＰＩを逐一把握し、各業務システムのアーキテクチャに即したアダプタを設定する必要があるため、汎用性に乏しい。【０００３】
そこで、ユーザが上記記述を行う場合には、上記業務システムとは別に、テキストやWiki等の知識共有ツールを用いて業務知識を蓄積する、あるいは、外部プログラムを呼び出すためのスクリプトを用意して個別にショートカットを設定する、といった方法が採られていた。【０００４】
しかしながら、ユーザが、上記知識共有ツール内に記述された文章の中に、複数のアプリケーションのウィンドウの変遷に合わせて、業務知識を参照するタイミングを適切に記述することは困難である。また、業務知識はテキスト等の一次情報に変換されているため、業務システムが、２Ｄ画面での実操作とリンクした形式で業務知識を提供し、該業務知識の提供を契機として、外部プログラムを参照することは困難である。【０００５】
上記問題点に鑑み、非特許文献１には、ＡＰＩをもたない業務システムが、既存のシステムを改造することなく、ＧＵＩ表示画像を仮想的なスクリプト内に直接記述することで、自動操作のプログラムを簡易に記述することができる技術が開示されている。また、非特許文献２には、かかる技術を基にテキストを表示する技術が開示されている。更に、非特許文献３には、最前面表示のウィンドウのみに画像認識のターゲットを限定し、ポーリング方式により、該ウィンドウのウィンドウハンドルを監視することで、上記非特許文献１の課題を解決する技術が開示されている。また、非特許文献４には、かかる技術に対し、実適用上のユーザビリティを向上させたアノテーションの高度化技術が開示されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】“Sikuli:Using  GUI  Screenshots  for  Search  and  Automation”、Tom  Yeh,  Tsung-Hsiang  Chang,  Robert  C.Miller（UIST’09  proceeding）
【非特許文献２】“Creating  Contextual  Help  for  GUIs  Using  Screenshots”、Tom  Yeh,  Tsung-Hsiang  Chang,  Bo  Xie,  Greg  Walsh,  Ivan  Watkins,  Krist  Wongsuphasawat,  Man  Huang,  Larry  S.  Davis,  and  Ben  Bederson（UIST’11  proceeding）
【非特許文献３】“An  image-based  annotation  technique  to  overlay  users'  knowledge  on  existing  systems”、Yuto  Kawabata,  et  al.、pp.1-4,25-27、Sept.APNOMS,2012.
【非特許文献４】“Annotation  Technology  Progress  and  Evaluation  for  More  Accurate  Operations  in  Global  Network  Environment”、Yuto  Kawabata,  et  al.、NOMS,2014.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の技術には、以下の様な問題点が懸念されていた。すなわち、操作画面の画像に対し、アノテーションオブジェクト（例えば、アノテーションメッセージ、アノテーションアイコン）を表示することは可能であるが、アノテーションオブジェクトから外部プログラムを呼び出すことは困難であった。このため、従来の業務システムは、アノテーション機能を有するアプリケーション（アノテーションオブジェクトを表示するプログラム）を、外部プログラムと連携して動作させることは困難であった。【０００８】
開示の技術は、上記に鑑みてなされたものであって、アノテーションオブジェクトから外部プログラムを容易に呼び出すことができるアノテーション装置、アノテーション方法、及びアノテーションプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本願の開示するアノテーション装置は、一つの態様において、アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて格納する格納部と、複数の前記ウィンドウの中からアクティブウィンドウを特定する特定部と、前記特定部により特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、前記アノテーションルールに従い、外部プログラムを呼び出す呼出し部とを有する。【００１０】
また、本願の開示するアノテーション方法は、一つの態様において、アノテーション装置で実行されるアノテーション方法であって、アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて、格納部に格納させる格納工程と、複数の前記ウィンドウの中からアクティブウィンドウを特定する特定工程と、前記特定工程にて特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、前記アノテーションルールに従い、外部プログラムを呼び出す呼出し工程とを含む。【００１１】
更に、本願の開示するアノテーションプログラムは、一つの態様において、アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて、格納部に格納させる格納ステップと、複数の前記ウィンドウの中からアクティブウィンドウを特定する特定ステップと、前記特定ステップにて特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、前記アノテーションルールに従い、外部プログラムを呼び出す呼出しステップとをコンピュータに実行させる。
【発明の効果】
【００１２】
本願の開示するアノテーション装置、アノテーション方法、及びアノテーションプログラムは、アノテーションオブジェクトから外部プログラムを容易に呼び出すことができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】図１は、アノテーション装置の構成を示す図である。
【図２】図２は、外部連携プログラム呼出し部により呼び出される外部プログラムの例を示す図である。
【図３】図３は、外部連携プログラム呼出し部の構成を示す図である。
【図４】図４は、アノテーション装置の動作を説明するための図である。
【図５Ａ】図５Ａは、アノテーションメッセージがクリックされる様子を示す図である。
【図５Ｂ】図５Ｂは、クリックにより、高機能エディタのダイアログ画面が開いた様子を示す図である。
【図６】図６は、アノテーションからの呼出しにより、音声が再生される様子を示す図である。
【図７】図７は、アノテーションプログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。
【発明を実施するための形態】
【００１４】
以下に、本願の開示するアノテーション装置、アノテーション方法、及びアノテーションプログラムの実施例を、図面を参照しながら詳細に説明する。なお、以下の実施例により本願の開示するアノテーション装置、アノテーション方法、及びアノテーションプログラムが限定されるものではない。
【００１５】
まず、本願の開示する一実施例に係るアノテーション装置の構成を説明する。図１は、アノテーション装置１の構成を示す図である。図１に示す様に、アノテーション装置１は、アノテーション外部連携システム１０とアプリケーションプログラム２０と外部プログラム３０とＯＳ（Operating  System）４０と入力デバイス５０とディスプレイ６０とを有する。これら各構成部分は、一方向又は双方向に、信号やデータの入出力が可能な様に接続されている。
【００１６】
アノテーション外部連携システム１０は、ＯＳ４０上で動作し、アノテーション外部連携プログラム１１と記憶装置１２とを有する。更に、アノテーション外部連携プログラム１１は、外部連携プログラム呼出し部１１ａと、操作制御部１１ｂと、アノテーション表示制御部１１ｃと、画面状態取得監視部１１ｄとを有する。記憶装置１２は、外部連携スクリプトＤＢ（Data  Base）１２ａと、アノテーションＤＢ１２ｂと、ログＤＢ１２ｃとを有する。
【００１７】
外部連携プログラム呼出し部１１ａは、ＯＳ４０上で動作する外部プログラム３０を制御すると共に、ユーザの登録した外部連携スクリプトＤＢ１２ａを参照して、ターゲットのアプリケーションプログラム２０に、様々な外部プログラム３０を実行させる。例えば、外部連携プログラム呼出し部１１ａは、外部プログラム３０に対し、外部プログラム３０を動作させるためのＡＰＩのｃａｌｌ、ＣＬＩ（Command  Line  Interface）からのコマンドメッセージの送付、ＯＳ標準搭載のクリップボードを利用したテキストの送信等を行う。あるいは、外部連携プログラム呼出し部１１ａは、外部プログラム３０に対し、ブラウザの起動や音声ファイルの再生のためのプログラムの実行指示、オフィスドキュメントへのＣＯＭメッセージの送付、ＶＢ（Visual  Basic）  Ｓｃｒｉｐｔ等のプログラムスクリプトの実行指示等を行う。
【００１８】
操作制御部１１ｂは、アプリケーションプログラム２０から、アノテーションを編集するためのコンテンツ（例えば、画像データ、ＧＵＩツリー、ＨＴＭＬのタグ情報やＤＯＭ情報等）を取得する。同様に、アノテーション表示制御部１１ｃは、アプリケーションプログラム２０から、アノテーションを表示させるためのコンテンツを取得する。画面状態取得監視部１１ｄは、複数のウィンドウの中からアクティブウィンドウを特定する。画面状態取得監視部１１ｄは、アプリケーションプログラム２０におけるウィンドウ情報をポーリング方式により取得し、アノテーションＤＢ１２ｂ及びログＤＢ１２ｃ内に保持されているアノテーションの切替えを行う。
【００１９】
アプリケーションプログラム２０は、ＯＳ４０上で動作し、操作制御部１１ｂとアノテーション表示制御部１１ｃとに対し、アノテーションを編集及び表示させるためのコンテンツを提供する。外部プログラム３０は、ＯＳ４０上で動作し、アノテーションに対するアクションを契機として、外部連携プログラム呼出し部１１ａにより呼び出される。
【００２０】
図２は、外部連携プログラム呼出し部１１ａにより呼び出される外部プログラム３０の例を示す図である。図２に示す様に、外部プログラム３０は、例えば、メモ帳３１ａ、高機能エディタ３２ａ等のテキストエディタ３０ａである。テキストエディタ３０ａは、例えば、アノテーション表示テキストのコピーペーストや編集に使用される。また、外部プログラム３０は、例えば、ＯＳ標準ブラウザ３１ｂ、ＯＳ非標準ブラウザ３２ｂ等のブラウザ３０ｂである。ブラウザ３０ｂの呼出しは、例えば、Ｗｅｂコンテンツの参照、アノテーションターゲットアプリケーションのマニュアル、アノテーションターゲットアプリケーション操作後に操作すべきＷｅｂ系業務システムへの操作等を可能とする。
【００２１】
外部プログラム３０は、例えば、Ｗｉｎｄｏｗｓ（登録商標）ＯＳのイベントによる自動操作プログラム３１ｃ、アノテーションターゲットアプリケーション固有のイベントによる自動操作プログラム３２ｃ等の自動操作プログラム３０ｃである。自動操作プログラム３０ｃは、例えば、ユーザがアノテーションを参照してクリック等のアクションを与えた場合に、該アクションを自動操作のトリガーとするワンストップオペレーションの実現等に使用される。ワンストップオペレーションとは、一度の手続きで、必要とする関連作業をすべて完了させられるワンストップサービスの概念をオペレーションの業務領域に当てはめた概念であり、一度の操作でまとまったオペレーション作業を実行する概念である。オペレーション業務とは、例えばサービス事業者の場合、近年ではネットワーク・クラウド・アプリケーションを運営・保守する業務などが代表的であるが、その他の事業者における様々な業務に関する広い意味でのオペレーションを含んでいる。また、外部プログラム３０は、例えば、ＯＳ標準の音声再生プログラム３１ｄ、ＯＳ非標準の音声再生プログラム３２ｄ等の音声ファイル再生プログラム３０ｄである。音声ファイル再生プログラム３０ｄは、例えば、ユーザがアノテーションを参照してクリック等のアクションを与えた場合に、該アクションをトリガーとする音声の再生等に使用される。ユーザは、音声を聞くことで、アノテーションターゲットアプリケーションの使い方や業務の進め方を理解することができる。
【００２２】
外部プログラム３０は、例えば、ＣＯＭオブジェクト呼出しプログラム３１ｅ、．Ｎｅｔオブジェクト呼出しプログラム３２ｅ等のＣＯＭ、．Ｎｅｔアプリケーション、オフィスドキュメント呼出しプログラム３０ｅである。ＣＯＭ、．Ｎｅｔアプリケーション、オフィスドキュメント呼出しプログラム３０ｅは、例えば、ユーザがアノテーションを参照してクリック等のアクションを与えた場合に、該アクションをトリガーとするオフィスドキュメントやＷｉｎｄｏｗｓ（登録商標）アプリケーションの起動等に使用される。ユーザは、アノテーションに関連付けて、参照ドキュメントやＷｉｎｄｏｗｓアプリケーションを、事前に登録しておくことで、アノテーションターゲットアプリケーションの使用中に、容易に参照することができる。また、外部プログラム３０は、例えば、ＶＢＳｃｒｉｐｔ３１ｆ、Ｐｙｔｈｏｎ  Ｓｃｒｉｐｔ３２ｆ、その他の呼出しプログラム３３ｆ等のその他の呼出しプログラム３０ｆである。その他の呼出しプログラム３０ｆは、例えば、アノテーションをトリガーとして実行される。
【００２３】
ＯＳ４０は、コンピュータとしてのアノテーション装置１全体を管理及び制御し、ユーザに操作環境を提供する。入力デバイス５０は、例えば、キーボード、マウス、タッチパネルにより構成され、ユーザによる操作入力を信号に変換して、ＯＳ４０経由で、アノテーション外部連携システム１０、アプリケーションプログラム２０、外部プログラム３０の各部に出力する。ディスプレイ６０は、例えば、ＬＣＤ（Liquid  Crystal  Display）、ＥＬＤ（Electro  Luminescence  Display）により構成され、アノテーション外部連携システム１０、アプリケーションプログラム２０、外部プログラム３０の各部からＯＳ４０経由で入力されるデータを表示する。
【００２４】
図３は、外部連携プログラム呼出し部１１ａの構成を示す図である。図３に示す様に、アノテーションに対するアクションがあると、トリガーが、メッセージ読込み部１１１ａのトリガー受付け部１１１ａ−１または外部プログラム起動部１１２ａのアプリケーション識別部１１２ａ−１を呼び出す。なお、アノテーションに対するアクションは、例えば、ユーザによる任意のアノテーションメッセージのクリックまたはダブルクリック、ユーザによる任意のアノテーションアイコンのクリックまたはダブルクリックである。また、アノテーションに対するアクションは、ユーザによる任意のアノテーションメッセージのマウスオーバ、ユーザによる任意のアノテーションアイコンのマウスオーバであってもよい。
【００２５】
トリガー受付け部１１１ａ−１は、上記トリガーを受けると、アノテーションメッセージ取得部１１１ａ−２と外部連携スクリプト取得部１１１ａ−３とに対し、アプリケーション識別部１１２ａ−１へのアノテーションメッセージの出力を指示する。アプリケーション識別部１１２ａ−１は、上記アノテーションメッセージの入力を契機として、外部プログラム３０を実行する。これに対し、上記トリガーから直接、外部プログラム起動部１１２ａが呼び出された場合には、アプリケーション識別部１１２ａ−１は、上記アノテーションメッセージを介さずに、外部プログラム３０を実行する。
【００２６】
また、アプリケーション識別部１１２ａ−１は、テキストデータをクリップボード保存部１１３ａに保存させる。アプリケーション識別部１１２ａ−１は、クリップボード保存部１１３ａに保存されたテキストデータから、外部プログラム３０を実行し、ＯＳ標準搭載のクリップボードを利用したテキストの送信等を行う。
【００２７】
なお、外部プログラム起動部１１２ａは、上記アノテーションメッセージの内容、ＨＴＴＰ（Hyper  Text  Transfer  Protocol）やＦＴＰ（File  Transfer  Protocol）等のプロトコル、ファイル拡張子に基づき、アノテーションメッセージから起動すべき外部プログラム３０を識別する。また、外部プログラム起動部１１２ａは、予め登録された複数の外部プログラム３０の中から呼出し候補を選択し、該呼出し候補の中から、上記識別結果に該当する外部プログラム３０のみを選択して起動するものとしてもよい。
【００２８】
一方、外部連携スクリプト取得部１１１ａ−３は、トリガー受付け部１１１ａ−１やアノテーションメッセージ取得部１１１ａ−２から入力されるメッセージやアクションをトリガーとして、ＵＲＬ（Uniform  Resource  Locator）からＷｅｂサイトを呼び出す。また、外部連携スクリプト取得部１１１ａ−３は、音声ファイル、オフィスドキュメントファイル、実行ファイル等の各種ファイルのファイルパスから、各ファイルを起動させる。
【００２９】
次に、動作を説明する。
【００３０】
図４は、アノテーション装置１の動作を説明するための図である。図４に示す様に、外部連携プログラム呼出し部１１ａは、テキストエディタＴ１、Ｔ２、及びブラウザＴ３により、アノテーションメッセージＭ１の表示内容を、テキストファイルＴ４やクリップボードに保持したまま、外部プログラム（例えば、メモ帳３１ａ、高機能エディタ３２ａ、ブラウザ３０ｂ）を呼び出す。例えば、外部連携プログラム呼出し部１１ａは、アノテーションメッセージＭ１をテキストエディタＴ１、Ｔ２に複製及び表示することで、アノテーションメッセージＭ１のコピー＆ペースト操作やハイパーリンクの表示を可能とする。
【００３１】
ここで、テキストエディタＴ１、Ｔ２、及びブラウザＴ３は、文字列をテキストとして表示するが、“http://”の文字列が含まれる場合には自動的にそのＵＲＬの先にあるＷｅｂページ等のＷｅｂコンテンツにアクセスし表示する機能を実装する。また、“http://”、“\\c:\aaa”等の文字列を複数含む場合、その部分をリンクとして解釈して表示する機能を実装する。これら何れの外部プログラムで何れの表示形態をとるかは、ｃｏｎｆ設定、すなわち設定ファイルやレジストリ等の設定手段によって、あらかじめ指定することができる。
【００３２】
ユーザがマウスポインタＰでバルーンＢをクリックすると、アノテーション装置１のトリガー受付け部１１１ａ−１がトリガーを受け付け、アノテーションメッセージ取得部１１１ａ−２は、アノテーションメッセージＭ１を全て選択及びコピーする。その後、アノテーションメッセージ取得部１１１ａ−２は、アノテーションメッセージＭ１の文字列を、テキストファイルまたはＯＳ標準搭載のクリップボードにペーストして保存する。
【００３３】
外部プログラム起動部１１２ａは、予め指定された外部プログラム３０を起動し、外部プログラム３０に対し、アノテーションメッセージＭ１の全部または一部をペーストする。外部プログラム３０起動後におけるアプリケーション識別部１１２ａ−１の動作は、外部プログラム３０に準拠する。
【００３４】
図５Ａは、アノテーションメッセージＭ１がクリックされる様子を示す図である。図５Ａに示す様に、ユーザがマウスポインタＰでバルーンＢをクリックすると、高機能エディタ３２ａのダイアログ画面が開かれる。図５Ｂは、クリックにより、高機能エディタ３２ａのダイアログ画面が開いた様子を示す図である。図５Ｂでは、ユーザは、ダイアログ画面に表示された文字列に対する操作が可能である。図５Ｂに示す様に、高機能エディタ３２ａのダイアログ画面が表示された場合には、ユーザは、コピー操作の他に、ＵＲＬリンクからブラウザを開く、あるいは、Winパス“\\129.60.73.40\share”をオープンするといった操作を行うことができる。
【００３５】
なお、図５Ａ及び図５Ｂでは、１つのダイアログ画面のみが表示される例を示しているが、複数のダイアログ画面が並列に表示されるものとしてもよい。すなわち、ユーザがマウスポインタＰでバルーンＢをクリックすると、高機能エディタ３２ａのダイアログ画面に加えて、メモ帳３１ａ、ブラウザ３０ｂの各外部プログラム３０のダイアログ画面が開かれるものとしてもよい。例えば、メモ帳３１ａのダイアログ画面が表示された場合には、ユーザは、文字列を選択してコピー操作を行うことができる。また、ブラウザ３０ｂのダイアログ画面が表示された場合には、ユーザは、ワンアクションでＷｅｂサイトを開くといった操作を行うことができる。
【００３６】
図６は、アノテーションからの呼出しにより、音声が再生される様子を示す図である。アノテーション装置１は、デスクトップ環境で業務システム上に表示されたアノテーションオブジェクト（メッセージまたはアイコン）のクリックを契機として、アノテーション外部連携プログラム１１により、音声モジュールＤＢ１２ｄ内に格納された音声ファイルを呼び出し、音声を再生する。なお、上記クリックは、ダブルクリック、マウスオーバ等であってもよい。
【００３７】
図６では、モデル対応音声を再生するためのアノテーションアイコンＳ１ａ、Ｓ２ａ、Ｓ３ａと、顧客対応音声を再生するためのアノテーションアイコンＳ１ｂ、Ｓ２ｂ、Ｓ３ｂとが、対応付けて表示されている。この様に、アノテーションの作成者が、音声の種類に応じて、アノテーションのアイコンを個別に設定することにより、ユーザは、音声コンテンツの再生前に、再生される音声の相違を明確かつ簡易に把握することができる。図６では、アノテーションアイコンＳ１ａ、Ｓ２ａ、Ｓ３ａ、及びアノテーションアイコンＳ１ｂ、Ｓ２ｂ、Ｓ３ｂは、同一の表示形態により表示されるものとしたが、重要度や連携先の機能に応じて、サイズ、色、形状、位置、模様等が異なって表示されるものとしてもよい。例えば、より重要度の高いアノテーションアイコン程、大きいサイズで表示される、あるいは、赤色等の目立つ色により表示されるものとしてもよい。
【００３８】
以上説明した様に、アノテーション装置１は、アノテーションＤＢ１２ｂと画面状態取得監視部１１ｄと外部連携プログラム呼出し部１１ａとを有する。アノテーションＤＢ１２ｂは、アノテーションオブジェクト（例えば、アノテーションメッセージＭ１、アノテーションアイコンＭ２）と、該アノテーションオブジェクトのウィンドウ毎のアノテーションルール（例えば、表示制御方法、表示形態）とを対応付けて格納する。画面状態取得監視部１１ｄは、複数の上記ウィンドウの中からアクティブウィンドウを監視及び特定する。外部連携プログラム呼出し部１１ａは、画面状態取得監視部１１ｄにより特定されたアクティブウィンドウに対応するアノテーションルールがアノテーションＤＢ１２ｂに存在し、かつ、上記アノテーションルールに対応する上記アノテーションオブジェクトが選択された場合に、上記アノテーションルールに従い、外部プログラム３０を呼び出す。
【００３９】
アノテーション装置１において、外部連携プログラム呼出し部１１ａは、外部プログラム３０の起動時に、外部プログラム３０（例えば、図５Ｂに示した高機能エディタ３２ａ）に対し、上記アノテーションオブジェクトとして、図５Ａに示したアノテーションメッセージＭ１を出力するものとしてもよい。また、アノテーション装置１において、外部連携プログラム呼出し部１１ａは、アノテーションメッセージＭ１の解析結果（例えば、ＵＲＬ、ファイル拡張子、プロトコル）を用いて、アノテーションメッセージＭ１を処理する外部プログラムを識別するものとしてもよい。また、外部連携プログラム呼出し部１１ａは、アノテーションメッセージＭ１の表示されたプログラム（例えば、アノテーションターゲットアプリケーションとしてのアプリケーションプログラム２０）を識別し、これとｃｏｎｆ設定の指定内容に基づいて外部プログラムを識別するものとしてもよい。更に、外部連携プログラム呼出し部１１ａは、メッセージの解析結果とアノテーションターゲットアプリケーションの識別結果との組み合わせにより、外部プログラムを識別するものとしてもよい。外部連携プログラム呼出し部１１ａは、該識別の結果に基づき、外部プログラム３０を呼び出すものとしてもよい。
【００４０】
すなわち、アノテーション装置１は、アノテーション外部連携システム１０を、アプリケーションプログラム２０（アノテーションターゲットアプリケーション）と他の外部プログラム３０とのインタフェースとして機能させる。アノテーション装置１によれば、アノテーションから多様な外部プログラム３０を起動することができるため、音声による知識の共有、Ｗｅｂブラウザやドキュメントを介したマニュアル等の表示、メッセージのコピー＆ペーストによる業務システムへの情報入力の簡易化等が可能となる。従って、アノテーション装置１は、既存の業務システムを起点とした、業務プロセスのコンテキストに則した形態での業務知識の提供を実現することができる。その結果、例えば、オペレーションセンタやコールセンタ、または全社員が利用する基幹業務システムにおいて、知識の獲得等にかかる労力や時間を低減することが可能となる。更に、アノテーション装置１は、アノテーションオブジェクトを起点として自動スクリプトを実行することで、業務プロセスの効率化を図ることができる。これにより、一般ユーザは元より、業務作業中のオペレータに対する高度な支援が可能となる。
【００４１】
（アノテーションプログラム）
図７は、アノテーションプログラムによる情報処理がコンピュータ１００を用いて具体的に実現されることを示す図である。図７に示す様に、コンピュータ１００は、例えば、メモリ１０１と、ＣＰＵ（Central  Processing  Unit）１０２と、ハードディスクドライブインタフェース１０３と、ディスクドライブインタフェース１０４と、シリアルポートインタフェース１０５と、ビデオアダプタ１０６と、ネットワークインタフェース１０７とを有し、これらの各部はバスＣによって接続される。
【００４２】
メモリ１０１は、図７に示す様に、ＲＯＭ（Read  Only  Memory）１０１ａ及びＲＡＭ（Random  Access  Memory）１０１ｂを含む。ＲＯＭ１０１ａは、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３は、図７に示す様に、ハードディスクドライブ１０８に接続される。ディスクドライブインタフェース１０４は、図７に示す様に、ディスクドライブ１０９に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１０９に挿入される。シリアルポートインタフェース１０５は、図７に示す様に、例えばマウス１１０、キーボード１１１に接続される。ビデオアダプタ１０６は、図７に示す様に、例えばディスプレイ１１２に接続される。
【００４３】
ここで、図７に示す様に、ハードディスクドライブ１０８は、例えば、ＯＳ（Operating  System）１０８ａ、アプリケーションプログラム１０８ｂ、プログラムモジュール１０８ｃ、プログラムデータ１０８ｄ、外部連携スクリプト、アノテーションオブジェクト、ログ情報、音声モジュールを記憶する。すなわち、開示の技術に係るアノテーションプログラムは、コンピュータ１００によって実行される指令が記述されたプログラムモジュール１０８ｃとして、例えばハードディスクドライブ１０８に記憶される。具体的には、上記実施例で説明した外部連携プログラム呼出し部１１ａ、操作制御部１１ｂ、アノテーション表示制御部１１ｃ、画面状態取得監視部１１ｄの各々と同様の情報処理を実行する各種手順が記述されたプログラムモジュール１０８ｃが、ハードディスクドライブ１０８に記憶される。また、アノテーションプログラムによる情報処理に用いられるデータは、プログラムデータ１０８ｄとして、例えばハードディスクドライブ１０８に記憶される。そして、ＣＰＵ１０２が、ハードディスクドライブ１０８に記憶されたプログラムモジュール１０８ｃやプログラムデータ１０８ｄを必要に応じてＲＡＭ１０１ｂに読み出し、上記各種手順を実行する。
【００４４】
なお、アノテーションプログラムに係るプログラムモジュール１０８ｃやプログラムデータ１０８ｄは、ハードディスクドライブ１０８に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１０９等を介してＣＰＵ１０２によって読み出されてもよい。あるいは、アノテーションプログラムに係るプログラムモジュール１０８ｃやプログラムデータ１０８ｄは、ネットワーク（ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７を介してＣＰＵ１０２によって読み出されてもよい。
【００４５】
なお、上記実施例では、図５Ａに例示した様に、アプリケーションプログラム２０に表示されるアノテーションオブジェクトは、アノテーションメッセージＭ１とアノテーションアイコンＭ２とが各々１つずつとしたが、少なくとも一方のアノテーションオブジェクトが複数あってもよい。また、各アノテーションオブジェクトの表示形態（例えば、位置、形状、サイズ、色、模様等）についても、図５Ａに示した表示形態に限られない。
【００４６】
また、上述したアノテーション装置１の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的態様は、図示のものに限らず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することもできる。例えば、操作制御部１１ｂとアノテーション表示制御部１１ｃを１つの構成要素として統合してもよい。反対に、外部連携プログラム呼出し部１１ａに関し、外部プログラム３０を呼び出す部分と、外部プログラム３０に対しアノテーションメッセージＭ１を出力する部分とに分散してもよい。更に、ハードディスクドライブ１０８を、アノテーション装置１の外部装置として、ネットワークやケーブル経由で接続する様にしてもよい。
【符号の説明】
【００４７】
１  アノテーション装置
１０  アノテーション外部連携システム
１１  アノテーション外部連携プログラム
１１ａ  外部連携プログラム呼出し部
１１ｂ  操作制御部
１１ｃ  アノテーション表示制御部
１１ｄ  画面状態取得監視部
１２  記憶装置
１２ａ  外部連携スクリプトＤＢ
１２ｂ  アノテーションＤＢ
１２ｃ  ログＤＢ
１２ｄ  音声モジュールＤＢ
２０  アプリケーションプログラム
３０  外部プログラム
３０ａ  テキストエディタ
３０ｂ  ブラウザ
３０ｃ  自動操作プログラム
３０ｄ  音声ファイル再生プログラム
３０ｅ  ＣＯＭ、．Ｎｅｔアプリケーション、オフィスドキュメント呼出しプログラム
３０ｆ  その他の呼出しプログラム
４０  ＯＳ
５０  入力デバイス
６０  ディスプレイ
１００  コンピュータ
１０１  メモリ
１０１ａ  ＲＯＭ
１０１ｂ  ＲＡＭ
１０２  ＣＰＵ
１０３  ハードディスクドライブインタフェース
１０４  ディスクドライブインタフェース
１０５  シリアルポートインタフェース
１０６  ビデオアダプタ
１０７  ネットワークインタフェース
１０８  ハードディスクドライブ
１０８ａ  ＯＳ
１０８ｂ  アプリケーションプログラム
１０８ｃ  プログラムモジュール
１０８ｄ  プログラムデータ
１０９  ディスクドライブ
１１０  マウス
１１１  キーボード
１１１ａ  メッセージ読込み部
１１１ａ−１  トリガー受付け部
１１１ａ−２  アノテーションメッセージ取得部
１１１ａ−３  外部連携スクリプト取得部
１１２  ディスプレイ
１１２ａ  外部プログラム起動部
１１２ａ−１  アプリケーション識別部
１１３ａ  クリップボード保存部
Ｂ  バルーン
Ｃ  バス
Ｍ１  アノテーションメッセージ
Ｍ２、Ｓ１ａ、Ｓ１ｂ、Ｓ２ａ、Ｓ２ｂ、Ｓ３ａ、Ｓ３ｂ  アノテーションアイコン
Ｐ  マウスポインタ
Ｔ１、Ｔ２  テキストエディタ
Ｔ３  ブラウザ
Ｔ４  テキストファイル
【図１】
2016039254.tif 000003
【図２】
2016039254.tif 000004
【図３】
2016039254.tif 000005
【図４】
2016039254.tif 000006
【図５Ａ】
2016039254.tif 000007
【図５Ｂ】
2016039254.tif 000008
【図６】
2016039254.tif 000009
【図７】
2016039254.tif 000010
【手続補正書】
【提出日】平成28年1月4日(2016.1.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて格納する格納部と、
複数の前記ウィンドウの中からアクティブウィンドウを特定する特定部と、
前記特定部により特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、前記アノテーションルールに従い、外部プログラムを呼び出す呼出し部と
を有することを特徴とするアノテーション装置。
【請求項２】
前記呼出し部は、前記外部プログラムの起動時に、該外部プログラムに対し、前記アノテーションオブジェクトとして、アノテーションメッセージを出力することを特徴とする請求項１に記載のアノテーション装置。
【請求項３】
前記呼出し部は、前記アノテーションメッセージを解析し、前記アノテーションメッセージの表示されたプログラムを識別し、該解析及び該識別の結果に基づき、前記プログラムに対応する外部プログラムを呼び出すことを特徴とする請求項２に記載のアノテーション装置。
【請求項４】
前記呼出し部は、前記プログラムに対応する外部プログラムとしてアプリケーションプログラムに対する自動操作プログラムを呼び出し、アノテーションに関連付けられたスクリプトを前記自動操作プログラムに実行させることにより、アノテーションに対するユーザのアクションを自動操作のトリガーとするワンストップオペレーションを実現することを特徴とする請求項１に記載のアノテーション装置。
【請求項５】
アノテーション装置で実行されるアノテーション方法であって、
アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて、格納部に格納させる格納工程と、
複数の前記ウィンドウの中からアクティブウィンドウを特定する特定工程と、
前記特定工程にて特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、前記アノテーションルールに従い、外部プログラムを呼び出す呼出し工程と
を含むことを特徴とするアノテーション方法。
【請求項６】
アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて、格納部に格納させる格納ステップと、
複数の前記ウィンドウの中からアクティブウィンドウを特定する特定ステップと、
前記特定ステップにて特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、前記アノテーションルールに従い、外部プログラムを呼び出す呼出しステップと
をコンピュータに実行させるためのアノテーションプログラム。
【国際調査報告】
2016039254.tif 000011
2016039254.tif 000012