(57)【要約】【課題】ユーザのスキルに依存せずに高い検索精度とミスの少ない検索を実現できるアプリケーション操作事例の検索方法を提供する。【解決手段】操作情報取得部１１は、端末１上のアプリケーション２に対するユーザの操作内容を示す文字列である操作文字列及びアプリケーション画面の画像とを取得して操作情報として操作ログ記憶部１２に記憶する。検索キー生成部１３は、操作ログを画面上に表示させてユーザに対して操作文字列又は画像の何れか一方或いは双方を選択させ、選択された操作文字列又は画像を用いて検索キーを生成して検索エンジン２０に対して検索要求を行う。検索結果出力部１４は、検索エンジン２０から取得した検索結果を端末１の画面上に出力する。【選択図】図１
2014010821.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ上で動作するアプリケーションの操作事例を検索する方法であって、
アプリケーションに対するユーザの操作内容を示す文字列である操作文字列及び該操作に係るアプリケーション画面の画像を取得して操作情報として所定の記憶手段に記憶するステップと、
アプリケーションの動作しているコンピュータの画面上に操作情報を表示させてユーザに対して操作文字列又は画像の何れか一方或いは双方を選択させるステップと、
選択された操作文字列又は画像を用いて検索キーを生成して所定の検索エンジンに対して検索要求を行うステップと、
検索エンジンから検索結果として取得した操作事例をアプリケーションの動作しているコンピュータの画面上に出力するステップとを含む
ことを特徴とするアプリケーション操作事例の検索方法。
【請求項２】
前記検索キーの生成ステップでは、複数の操作の順番や組合せを検索キーとして設定する
ことを特徴とする請求項１記載のアプリケーション操作事例の検索方法。
【請求項３】
前記検索キーの生成ステップでは、検索キーの順番や組合せを論理式を用いて設定する
ことを特徴とする請求項１又は２何れか１項記載のアプリケーション操作事例の検索方法。
【請求項４】
コンピュータ上で動作するアプリケーションの操作事例を検索するシステムであって、
アプリケーションに対するユーザの操作内容を示す文字列である操作文字列及び該操作に係るアプリケーション画面の画像を取得して操作情報として所定の記憶手段に記憶する操作情報取得手段と、
アプリケーションの動作しているコンピュータの画面上に操作情報を表示させてユーザに対して操作文字列又は画像の何れか一方或いは双方を選択させる操作情報選択手段と、
選択された操作文字列及び画像を用いて検索キーを生成して所定の検索エンジンに対して検索要求を行う検索実行手段と、
検索エンジンから検索結果として取得した操作事例をアプリケーションの動作しているコンピュータの画面上に出力する検索結果出力手段とを備えた
ことを特徴とするアプリケーション操作事例の検索システム。
【請求項５】
コンピュータを請求項４記載の各手段として機能させる
ことを特徴とするアプリケーション操作事例の検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ上で動作するアプリケーションの操作に関して、ユーザが過去の画面のキャプチャ画像を含む操作事例やマニュアル等を検索・調査・分析することを支援する技術に関するものである。
【背景技術】
【０００２】
本願発明において検索対象である操作事例は、コンピュータ上で動作するアプリケーションに対するユーザの操作内容を示す文字列データと該操作に対応するアプリケーションの画面の画像データとを含むものとする。したがって本願発明における検索対象である操作事例には、アプリケーションの操作に関するマニュアルなどの情報も含まれる。
【０００３】
操作事例の検索のように画像を含むデータを検索する際には、入力データとなる検索キーは、文字列、画像、それらの組合せの３パターンに分けられる。
【０００４】
文字列を検索キーとする場合、検索対象を画像とすると、画像データに何らかの文字列を対応付けておくことが必要となる。例えば、Web上の写真共有サービスであるFlickr（非特許文献２）では、投稿時にユーザが自身で入力するタグ（文字列）や、画像の付加情報であるExifデータから抽出した撮影日時、場所、機材や撮影時の設定等のデータなどが一つ一つの画像に対応付けられている。この文字列データを対象に、ユーザが文字列の検索キー（例えば、"Everest mountain"）を入力することで、該当する画像（例えば、"Everest"と"mountain"というタグを持つ画像）の一覧を得ることができる。操作事例に含まれる文字列を検索対象とすると、従来技術（例えば、非特許文献１）を用いることで文字列を検索キーとした検索は容易に可能である。
【０００５】
画像を検索キーとする場合、検索対象は画像とすることが一般的である。文字列による検索キーの場合とは異なり、検索対象となる画像に文字列を対応付ける必要は基本的にはない。この検索方法はContent-Based Image Retrieval(CBIR)とも呼ばれる手法であり、多くの手法が既に提案されている(例えば、非特許文献４で紹介されている手法など)。
【０００６】
また、一見画像を検索キーとする場合であっても、内部の処理は文字列を検索キーとする場合と同様の処理をしていることもある。例えば、現在のGoogle画像検索では（２０１２年３月２６日確認）、文字列を検索キーとした検索と、画像を検索キーとした検索のサービスを提供している。しかし、画像を検索キーとした検索を実現する仕組みは、まず検索キーとして与えられた画像を独自の画像コレクション等と照合して画像を表す文字列を生成し、次にその文字列を検索キーとした検索の実行結果を提示する、というものである（非特許文献３）。この技術を利用することで、画像を検索キーとして利用しながら、文字列のデータを検索対象とすることが容易に可能と考えられる。
【０００７】
文字列と画像の組合せを検索キーとする場合、文字列を検索キーとする手法と画像を検索キーとする手法を組み合わせた形になる。例えば、非特許文献５ではまず画像による検索を行って絞り込まれた結果を、文字列によってさらに検索する等といったことが可能である。この手法によって、アプリケーションのマニュアルや操作の事例集などを検索対象とすると、検索したい状況を示すキャプチャ画像とユーザが明示的に意識しているキーワードをもとに、より細かく望む情報を絞り込むことができる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】”全文検索システム Namazu”、[online]、［平成２４年５月１０日検索］、インターネット（http://www.namazu.org/）
【非特許文献２】”flickr”、[online]、［平成２４年５月１０日検索］、インターネット（http://www.flickr.com/）
【非特許文献３】”画像で検索 - Google画像検索ヘルプ”、”仕組み”、[online]、［平成２４年５月１０日検索］、インターネット（http://support.google.com/images/bin/answer.py?hl=ja&p=searchbyimagetooltip&answer=1325808）
【非特許文献４】Smeulders, A.W.M.; Worring, M.; Santini, S.; Gupta, A.; Jain, R.; , "Content-based image retrieval at the end of the early years," Pattern Analysis and Machine Intelligence, IEEE Transactions on , vol.22, no.12, pp.1349-1380, Dec 2000
【非特許文献５】Tom Yeh 他, "A case for query by image and text content: searching computer help using screenshots and keywords", ACM WWW 2011
【非特許文献６】長谷山 美紀、"画像・映像意味理解の現状と検索インタフェース"、 電子情報通信学会誌、Vol. 93、No. 9、2010
【非特許文献７】van der Aalst, W., de Beer, H., van Dongen, B. "Process Mining and Verification of Properties: An Approach Based on Temporal Logic", On the Move to Meaningful Internet Systems 2005: CoopIS, DOA, and ODBASE, LNCS3760, 2005
【発明の概要】
【発明が解決しようとする課題】
【０００９】
文字列を検索キーとし、画像を検索対象とする検索における課題の一つは、タグなどの文字列情報を画像のコレクション（データベースに相当）に付与することが大きな手間となる、という点である。Web上のデータを対象にした検索では、画像に付けられたキャプション情報（ALTタグ等）等を画像と自動的に対応づける処理を行っている、と言われる。しかし、Webページの作成者がキャプションをつけるかどうか、キャプションをどのように付けるか等は全て作成者に依存することであるため、キャプションの存在や精度に過度な期待はできない。
【００１０】
また、文字列を検索キーとする検索の別の課題は、検索キーとなる適切な文字列をユーザが考えなければいけない、という点にある。非特許文献６でも述べられているが、ユーザは望むコンテンツ（検索結果）を明確に表現する検索キーを必ずしもわかっていない。その場合、結果的に検索によって望むコンテンツを取得できないことになってしまう。
【００１１】
この適切な検索キーを選択する、という問題は画像を検索キーとする検索においても、同様に生じ得る。また、どういった画像を検索キーに選ぶかといった問題の他に、そもそも検索キーに選びたい画像が入手可能かといった問題もある。
【００１２】
画像を検索キーとする検索では、適切な検索キーを選択するという問題と検索キーとなる画像の入手の問題については、操作事例データを実行時に検索するといったシーンであれば、余り問題とはならない。操作事例データには、アプリケーションウィンドウのキャプチャ画像が含まれている、と仮定を置く。すると、実行中のアプリケーションのキャプチャ画像を検索キーとして利用可能なため、トラブル時などのシーンでは該当する画面のキャプチャ画像を検索キーとして容易に取得し、利用することができ画像入手は容易である。また、検索キーとしてキャプチャ画面を使うことで、画面が表す内容を文字列に置き換えて表現する必要がなくなり、検索キーとなる文字列選択の任意性を排除できる。
【００１３】
画像と文字列の双方を検索キーとする検索では、文字列を検索キーとした検索の課題を踏襲しており、解決できていない。画像を検索キーとすることにより、画像による検索キーの選択がスナップショット画像を使うことで問題を緩和していると考えられるが、検索キーとして用いる文字列の選択はユーザに依存してしまっている。非特許文献５では文字列の検索キーはフリーフォーマットでユーザが記入する形となっている。
【課題を解決するための手段】
【００１４】
本発明は、適切な文字列検索キーの入力が困難である、という前述の課題を解決するために、画像と文字列による検索キーの手法をベースに、文字列の検索キーとして操作情報（例えば、どこをクリックしたか、何を入力したか等）を用いるものである。操作情報は、検索時に取得し設定するか、若しくは数操作分過去にふりかえって過去の操作情報を選択して容易に設定できるようにする。さらに、複数操作の組合せや順番などの指定を可能とすることで、様々な検索パターンを実現する。
【００１５】
すなわち、本願発明は、コンピュータ上で動作するアプリケーションの操作事例を検索するシステムであって、アプリケーションに対するユーザの操作内容を示す文字列である操作文字列及び該操作に係るアプリケーション画面の画像を取得して操作情報として所定の記憶手段に記憶する操作情報取得手段と、アプリケーションの動作しているコンピュータの画面上に操作情報を表示させてユーザに対して操作文字列又は画像の何れか一方或いは双方を選択させる操作情報選択手段と、選択された操作文字列及び画像を用いて検索キーを生成して所定の検索エンジンに対して検索要求を行う検索実行手段と、検索エンジンから検索結果として取得した操作事例をアプリケーションの動作しているコンピュータの画面上に出力する検索結果出力手段とを備えたことを特徴とする。
【００１６】
本発明では、アプリケーションの動作時にユーザによる操作に係る操作文字列及び画像が操作情報として記録蓄積される。そして操作事例の検索を行う際には、記録した操作情報が表示され、ユーザにより操作文字列又は画像の何れか一方或いは双方が選択される。そして選択された操作文字列及び画像から検索キーが生成され、該検索キーによる検索の検索結果が表示される。
【００１７】
本発明の好適な態様の一例としては、前記検索キーの生成においては、複数の操作の順番や組合せを検索キーとして設定するものや、検索キーの順番や組合せを論理式を用いて設定するものが挙げられる。
【発明の効果】
【００１８】
本発明によれば、操作事例の検索を行うために、文字列のみ若しくは画像のみによる検索ではなく、画像と文字列の双方を用いた検索を行うことで、ユーザの望む事例に似た事例を精度よく検索することができる。また本発明によれば、検索用の文字列として、ユーザが操作した操作のログを用いることで、ユーザ自ら文字列を記入する方式と比べて、ユーザのスキルに依存せずに高い検索精度とミスの少ない検索を実現できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施の形態に係る検索システムの構成図
【図２】操作ログのデータ構造の一例を説明する図
【図３】操作情報選択に係る画面イメージの一例
【図４】選択した複数の操作情報の関係を指定する画面イメージの一例
【図５】検索結果の画面イメージの一例
【図６】検索エンジンにおける検索処理を説明するフローチャート
【図７】システム利用中のトラブルからの回復に過去事例を用いる例の流れを説明する図
【図８】系列データを使った例の流れを説明する図
【発明を実施するための形態】
【００２０】
本発明の一実施の形態について図面を参照して説明する。図１は本発明に係るアプリケーション操作事例の検索システムの構成図である。
【００２１】
本実施の形態に係る検索システム１０は、図１に示すように、ユーザが端末１上でアプリケーション２について行った操作に係る情報（操作情報）を取得する操作情報取得部１１と、操作情報取得部１１で取得した操作情報のログ（操作ログ）を記憶する操作ログ記憶部１２と、ユーザに対して操作ログを提示して操作情報を選択させ、選択された操作情報に基づき検索キーを生成して所定の検索エンジン２０に検索要求を行う検索キー生成部１３と、検索エンジン２０からの検索結果をユーザに提示する検索結果出力部１４とを備えている。
【００２２】
なお、本実施の形態では検索システム１０の各手段は、アプリケーション２が動作する端末１上に実装しているが、実装形態は不問である。すなわち少なくとも操作情報取得部１１は端末１上に実装する必要はあるが、他の手段については、その一部又は全部が他の装置上に実装されていてもよい。例えば、操作ログを記憶する記憶部１２は、端末以外の場所にあっても、適宜読み出すことさえできれば、場所はどこにあっても問題ない。また、例えば検索キー生成部１３も、その一部又は全部の機能を他の装置上に実装して端末１上には当該機能部にアクセスできるようにしてもよい。また、検索システム１０の各手段は、ハードウェアとして実装しても良いし、コンピュータにプログラムをインストールすることにより実装するようにしてもよい。後者の場合に当該プログラムは記録媒体に記録して提供することもネットワークを介して提供することもできる。
【００２３】
操作情報取得部１１は、操作情報として、端末１上で動作するアプリケーション２についてユーザの操作内容を示す文字列である操作文字列と、該操作に対応するアプリケーション２のキャプチャ画像を取得する。また操作情報には、操作の発生した日時が含まれる。操作情報取得部１１による操作情報取得はユーザによるアプリケーションによる操作が発生するたびに行われ、取得された操作情報は操作ログとして操作ログ記憶部１２に記録される。図２に操作ログの一例を示す。操作文字列は、例えば、どこをクリックしたか、何を入力したかなどの情報からなる。操作文字列は、Windows（登録商標）環境であれば、WindowsAPIやWindows Message、UI Automationなどの手段を通じて随時取得することができる。Linux（登録商標）環境やMac OS環境でも同様の機構は存在するため、これらを利用することにより操作文字列の取得が可能である。なお操作文字列の取得はユーザ操作に直結するものに絞るようにしてもよい。例えば、Windowsメッセージを取得する上では、LButtonUP (左クリックに相当)等のユーザ操作に直結するメッセージに絞り取得するようにしてもよい。また、前述のように、操作文字列の取得方法には種々ものが利用できるので、１つの操作に対してそれぞれの方法で操作文字列を取得し、取得した複数の操作文字列を操作ログとして操作ログ記憶部１２に記録するようにしてもよい。またキャプチャ画像を取得する手段も同様にいずれのＯＳでも標準的な環境の下で容易に利用することができる。
【００２４】
検索キー生成部１３は、（ａ）操作ログ記憶部１２から操作情報を取り出して端末１の画面上に表示させ、ユーザに対して操作文字列又は画像の何れか一方或いは双方を選択させる操作情報選択機能と、（ｂ）選択された操作文字列又は画像を用いて検索キーを生成して検索エンジン２０に対して検索要求を行う検索実行機能とを含む。
【００２５】
前者の操作情報選択機能について、図３に端末１の画面に表示させる画面イメージの一例を示す。操作情報選択機能では、画像と操作文字列をユーザから入力できるようになっていればよく、本実施の形態では図３に示す画面イメージ３０を端末１の画面に表示させることにより、ユーザから操作文字列又は画像の入力を受け付ける。このような入力受付用の画面イメージ３０は、ユーザからの所定の操作指示により表示させるようにすればよい。例えば動作中のアプリケーション２のウィンドウ上で所定の操作（例えばマウスの右クリック等）を行うことで、コンテキストメニューとして或いは別ウィンドウとして表示させるという方法が挙げられる。
【００２６】
図３の例に係る画面イメージ３０では、操作文字列３１と、該操作文字列３１に対応する画面キャプチャ画像３２（当該操作時にフォーカスの当たっていたアプリケーションのウィンドウ等のキャプチャ）の履歴を操作ログ記憶部１２から取得し、履歴の発生順にビジュアルに表示している。ユーザはその中から複数の項目を任意に選択することで、検索キーの設定を容易に行うことができる。図３の例では、点線で囲った領域３３に１つの操作単位に係る操作文字列及び画像を表示している。ユーザは、操作文字列だけ、キャプチャ画像だけ、操作文字列とキャプチャ画像の組合せ等を選択することができる。図３の例では、ユーザにより選択された操作文字列及びキャプチャ画像を太枠内で表示することにより、ユーザに対して現在の選択状況を認識できるようにしている。また、操作文字列表現については、例えば、Windowsメッセージの場合には、LButtuonUPであれば表現を「左クリック」と置換するなどの表現上の工夫を行うことにより、ユーザに分かりやすいようにすると好適である。
【００２７】
また、本実施の形態では、検索キーに使う情報の選択については、複数の操作単位にまたがっても選択可能とする。複数の操作単位をユーザが検索キーとして選択した場合は、さらに操作単位間の関係を指定可能とする。このような指定を行うための画面イメージの一例を図４に示す。図４の上部の画面イメージ３０は、図３に示す画面イメージ３０に対して、一つの操作単位のなかで選択された情報に対して編集可能な記号３４を付与したものである。また、図４の下部の画面イメージ４０は、複数の操作単位にわたって操作情報が選択された状態においてユーザが所定の操作（例えば右クリック等）することにより表示されるものであり、選択された複数の操作情報間の関係を指定するための画面である。
【００２８】
図４の例で画面イメージ４０には、１つの論理式を表現するために、単項又は二項演算子を入力（選択）する演算子ボックス４１と、該演算子の対象となる被演算子を入力（選択）する被演算子ボックス４２，４３と、該論理式に対して必要に応じて付与した記号（ラベル）を入力するラベルボックス４４を複数行表示している。被演算子ボックス４２，４３には、前記記号３４又は前記ラベルボックス４４に入力された記号が入力される。図４の例では、論理式（例えば、順序性を扱える時相論理式）を用いて、操作間の順序や発生のパターンを柔軟に指定できるようにする。図４にも示したように、一つの操作でありその直後の状態を命題変数として、真偽値を持つ論理式を作成できるようにする。論理式については自由に記入することの他に、論理式の記入自体が専門知識を要してしまうため、よくあるパターンについてはあらかじめ論理式を作成するＧＵＩ上に登録しておくものとし、ＧＵＩから演算子を選択することで論理式を容易に作成できるようにする（図４の演算子ボックス４１）。例えば、◇（Ｐ∧○□Ｑ）などといった論理式をそのまま記入することも許すが、通常は「Ｐの後はずっとＱ」などといった容易に理解できる自然言語で置きかえたパターンを用意しておく。このように、Ａの後にＢが真となる等といった条件を容易に指定することができるため、非常に細かな条件指定が可能となる。前述のとおり論理式の記号を理解の容易な自然言語に置き換えて表示することは、難しいことではない。非特許文献７で示されているような方法が時相論理を用いた実装に利用可能である。
【００２９】
また、状態を命題変数とすると述べたが、図４の例のように、操作ログを構成するどの記載が当該の状態を示すのか、ということを指定可能とする。例えば、画像や操作を表す文字列をＧＵＩ上で選択することである操作をした前や後の状態を、特定の命題変数、すなわち記号に割り当てる。図４では１つの状態につき１変数としてあるが、専用の命題変数の設定画面や設定ファイル等を用意することで、１つの状態の複数の表現の仕方（状態を表す情報としてどの情報を採用するか、という情報の組合せ方）に対応させた複数の命題変数を割り当てることは容易に可能なことである。
【００３０】
検索キー生成部１３は、上記のようにして得られた操作文字列又は画像の何れか一方或いは双方、及び、必要に応じて複数の操作の順番や組合せに基づき、検索キーを生成して検索エンジン２０に検索要求を行う。
【００３１】
検索結果出力部１４は、検索エンジンからの検索結果を端末１に出力する。図５に検索結果の一例を示す。図５の例の検索結果画面５０は、類似度（数値化したもの）、操作事例の発生日時、キャプチャのサムネイル画像などを類似したものから順に表示している。また、サムネイルは拡大表示可能とし、前後の操作内容もスクロールバーを通じて自由に見られるようにしている。なお、図５に示す検索結果画面５０はあくまで一例であり、結果の表示例は他にも様々な表示の形態が考えられる。例えば、直前の数操作の内容を文字列で表したもの（例えば、UI Automation等で取得できる情報から構成したもの）とウィンドウのキャプチャ画像を提示するといった方法などが挙げられる。
【００３２】
図１に示す検索エンジン２０は、インデクサ部と検索サーバ部とを含む。インデクサ部は、集めた操作事例データ２１やマニュアルデータ２２から、キーワード等による検索を行いやすくするためにインデクスを作成する。また検索サーバ部は、検索システム１０から検索キーを受け付け、インデクサ部を使って該当する候補を絞りこみ、その上で検索結果の表示順序（ランキング）の調整を行って、検索システム１０に結果として返す。インデクサ部、検索サーバ部の構成は一般的な検索システムでおおむね共通的な構成であり、本発明における実施形態も一般的な構成にのっとるものとする。操作事例データ２１は、端末上で動作するアプリケーションについてユーザの操作内容を示す文字列である操作文字列と、該操作に対応するアプリケーションのキャプチャ画像を含む。本実施の形態では、操作事例データ２１は、操作ログ記憶部１２に記憶された操作ログと共通のフォーマットであるものとする。なお、操作事例データ２１は、操作ログ記憶部１２に記憶された操作ログを収集・蓄積することにより構築してもよい。マニュアルデータ２２は、端末上で動作するアプリケーションについてユーザの操作内容を示す文字列と、該操作に対応するアプリケーションのキャプチャ画像を含むものであり、操作事例に含まれるものである。該マニュアルデータ２２は、アプリケーション２用に別途作成されたものを予め蓄積・保存しておく。
【００３３】
検索エンジン２０における検索の実現方法について述べる。大きくは３パターンに分けられる。文字列のみによる検索、画像のみによる検索、文字列と画像による検索である。それぞれ、文字列のみによる検索と画像のみによる検索（テンプレートマッチング法、ＳＩＦＴ等の特徴量を抽出して利用する方法など）は、数多くの従来手法と同様な形で実現可能である。同様に、文字列と画像による検索についてもそれらの組合せによって実現可能である。例えば、非特許文献５の手法などが利用できる。
【００３４】
検索エンジン２０における検索実施のフローチャートを図６に示す。図６に示すように検索エンジン２０は、検索システム１０から検索キーを受け付けると（ステップＳ１）、当該検索キーに文字列による検索が含まれる場合にはまず文字列による検索を行う（ステップＳ２，Ｓ３）。次に、当該検索キーに画像による検索が含まれる場合には画像による検索を行う（ステップＳ４，Ｓ５）。一方、当該検索キーに文字列による検索が含まれない場合は、画像による検索を行う（ステップＳ２，Ｓ５）。そして検索エンジン２０は、検索結果を要求元の検索システム１０に返す（ステップＳ６）。なお、ここでは文字列と画像の組合せの場合、文字列による検索を行ってから、画像によって絞り込むという順序で示したが、文字列と画像の順番は入れ替えたとしても問題ない。
【００３５】
次に、本発明に係る検索システムの実施例について説明する。まず、システム利用中のトラブルからの回復に過去事例を用いる、という例について以下に述べる。基本的な流れは、まずトラブルに陥った際の状態を検索キーとするべく、トラブルに陥るまでのウィンドウキャプチャ画像の遷移から直前のキャプチャ画像など関係のあるキャプチャ画像を検索キーとして選択して、過去の事例を対象に検索する、といったものである。画面のキャプチャとしては、画面全体のキャプチャでは多様性があり過ぎるため、フォーカスがあたっており最前面にあるウィンドウを対象にキャプチャをとるといった方法が基本となる。その他には、最前面から数えて一つ分背面にあるウィンドウなど、任意の数だけ背面にあるウィンドウを対象にキャプチャをとるなどといった方法がある。図７にこの例の流れを図示した。エラー発生後に直近の操作ログから検索キーをビジュアルに選択し、過去の事例集やマニュアル集から一致したものや類似したものを、類似したものから順に表示する。検索結果の表示については、前述した図５の例を参照されたい。
【００３６】
別の実施例として、系列データを使った例について述べる。本実施例は、単一の操作ではなく、複数の操作をキーとしてそれらの関係性を考慮した検索を行う例である。図８に示したように、直近若しくは例示した操作のログに含まれる、ある特定の操作に対応した状態を表す命題変数を組み合わせて、論理式を組み立てていく。論理式が真となる箇所を該当するログ（事例）から検索し、表示する。表示の部分は図７で示した先の例と同様であるが、類似度という概念は存在しないため、検索結果については組み立てた論理式が真となる事例を表示すればよい。
【００３７】
また、別の実施例として、過去の事例として既存のマニュアルを対象に検索を行う応用例について述べる。操作情報から同じ意味内容と考えられる文字列を数パターン作成して、その数パターンの文字列を文字列の検索キーとする。また、画像による検索はマニュアルという一般に事例数の少ないデータが対象では、ヒットしにくいと考えられるため、google画像検索と同様に、検索キーとなる操作時の画像キャプチャから画像認識の結果対応すると考えられる文字列に変換し、文字列をキーとした検索を実施する、などの方法が考えられる。他には画像中に多くの場合表示されている文字列を抽出する方法も利用できる。この方法は文字列の領域を特定し、ＯＣＲ技術を使うことで、非常に高い精度を求めない限りにおいて利用可能である。
【００３８】
以上のように本実施の形態に係る検索システムによれば、利用ユーザの経験やスキルに強く依存せずに、高い精度で事例検索の結果を得ることができる。すなわち、従来手法では文字列の検索キーをどのようにユーザが入力するか、という点に検索結果の精度が左右されていたが、本発明によれば過去の操作事例を検索するという対象用途に鑑み、現在実施中若しくは最近実施した操作事例のログデータ（操作情報やキャプチャ画像）を利用することで、ユーザによる検索精度の違いを少なくし、精度を高くすることができる。
【００３９】
また本実施の形態に係る検索システムによれば、検索キーとなる操作情報として、操作のログを利用することで、入力ミスや表現の揺れなどを最小限に抑えることが可能となる。
【００４０】
さらに本実施の形態に係る検索システムによれば、操作情報として、ある瞬間の情報のみを使うのではなく、時系列の複数の操作情報、系列（順番）を意識しない複数の操作情報の組合せ、論理式によって表現される複数の操作情報のクラスを用いることで、事例を検索するという用途に適合した形で、単なるキーワード検索とは異なる柔軟で多様な検索を実現できる。
【００４１】
以上本発明の実施の形態について詳述したが本発明はこれに限定されるものではない。例えば、上記実施の形態では、検索対象である操作事例としては、検索システムで取得された操作ログと同様のもののほか操作マニュアルも含むものとしたが、アプリケーションの操作文字列と画面とが含まれるものであれば他の文書も検索対象とすることができる。また、上記実施の形態では、アプリケーション２が動作する端末１上に検索システム１０の各部を実装したが、上述したように各部の実装形態は不問である。例えば、操作ログ記憶部１２や検索キー生成部１３などの全部又は一部を他のコンピュータ上に実装するようにしてもよい。
【符号の説明】
【００４２】
１…端末、２…アプリケーション、１０…検索システム、１１…操作情報取得部、１２…操作ログ記憶部、１３…検索キー生成部、１４…検索結果出力部、２０…検索エンジン、２１…操作事例データ、２２…マニュアルデータ、３０…操作情報の選択画面イメージ、５０…検索結果の表示画面イメージ
【図１】
2014010821.tif 000003
【図２】
2014010821.tif 000004
【図３】
2014010821.tif 000005
【図４】
2014010821.tif 000006
【図５】
2014010821.tif 000007
【図６】
2014010821.tif 000008
【図７】
2014010821.tif 000009
【図８】
2014010821.tif 000010