(57)【要約】【課題】形状と挙動で規定されるオブジェクトの検索を有効に行うこと。【解決手段】検索装置は、検索キーとして取得した形状と挙動に基づいて記憶装置に記憶されている形状と挙動で規定されるオブジェクトを検索し、検索キーに合致する形状と挙動で規定されるオブジェクトを抽出する。【選択図】図１
2008234226.tif 000002
【特許請求の範囲】
【請求項１】
検索キーとして取得した形状と挙動に基づいて記憶装置に記憶されている形状と挙動で規定されるオブジェクトを検索し、前記検索キーに合致する形状と挙動で規定されるオブジェクトを抽出することを特徴とする検索装置。
【請求項２】
さらに検索キーとしてキーワードを取得し、そのキーワードを用いて前記抽出されたオブジェクトを検索し、前記キーワードに合致するテキストが付された形状と挙動で規定されるオブジェクトを抽出することを特徴とする請求項１記載の検索装置。
【請求項３】
形状と挙動で規定されるオブジェクトを再生した際の各フレーム間の差分から、異なる媒体を含む場合でも各媒体に対して統一的な検索をするための特徴情報を抽出し、検索することを特徴とする請求項１または２記載の検索装置。
【請求項４】
検索装置が、検索キーとして取得した形状と挙動に基づいて記憶装置に記憶されている形状と挙動で規定されるオブジェクトを検索し、前記検索キーに合致する形状と挙動で規定されるオブジェクトを抽出することを特徴とする検索方法。
【請求項５】
前記検索装置が、さらに検索キーとしてキーワードを取得し、そのキーワードを用いて前記抽出されたオブジェクトを検索し、前記キーワードに合致するテキストが付された形状と挙動で規定されるオブジェクトを抽出することを特徴とする請求項４記載の検索方法。
【請求項６】
前記検索装置が、形状と挙動で規定されるオブジェクトを再生した際の各フレーム間の差分から、異なる媒体を含む場合でも各媒体に対して統一的な検索をするための特徴情報を抽出し、検索することを特徴とする請求項４または５記載の検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、形状と挙動を検索キーとして検索する技術に関する。
【背景技術】
【０００２】
従来、文書を検索する際に、その文書に含まれる単語を検索キーとして検索するシステムがあった。また、画像検索として、テンプレートや色、その色の占める割合等を判定して類似の画像を検索するシステムがあった。
【０００３】
さらに、画像中のテキストを抽出し、検索することができる技術が開示されている（例えば、特許文献１参照）。
【０００４】
なお、ズーミング操作に伴ってコンテンツがズーミングする技術が開示されている（例えば、特許文献２参照）。
【特許文献１】特開２０００−３３１１４６号公報
【特許文献２】特開２００７−３４９６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、視覚的効果の向上を図るべく、形状の挙動で表現する場合もある。例えば、マイクロソフト社のＰｏｗｅｒＰｏｉｎｔ（登録商標）のような文書において適用されている。
【０００６】
この場合、従来技術による検索では、挙動という概念を扱っていないため有効性が少ない。また、検索対象数が増加するため、処理時間が長くなるという課題があった。
【０００７】
そこで、本発明では、形状と挙動で規定されるオブジェクトの検索を有効に行うことを目的とする。
【課題を解決するための手段】
【０００８】
請求項１記載の発明は、検索キーとして取得した形状と挙動に基づいて記憶装置に記憶されている形状と挙動で規定されるオブジェクトを検索し、検索キーに合致する形状と挙動で規定されるオブジェクトを抽出することを特徴とする検索装置である。
【０００９】
請求項２記載の発明は、請求項１記載の検索装置において、さらに検索キーとしてキーワードを取得し、そのキーワードを用いて前記抽出されたオブジェクトを検索し、前記キーワードに合致するテキストが付された形状と挙動で規定されるオブジェクトを抽出することを特徴とする。
【００１０】
請求項３記載の発明は、請求項１または２記載の検索装置において、形状と挙動で規定されるオブジェクトを再生した際の各フレーム間の差分から、異なる媒体を含む場合でも各媒体に対して統一的な検索をするための特徴情報を抽出し、検索することを特徴とする。
【００１１】
請求項４記載の発明は、検索装置が、検索キーとして取得した形状と挙動に基づいて記憶装置に記憶されている形状と挙動で規定されるオブジェクトを検索し、検索キーに合致する形状と挙動で規定されるオブジェクトを抽出することを特徴とする検索方法である。
【００１２】
請求項５記載の発明は、請求項４記載の検索方法において、検索装置が、さらに検索キーとしてキーワードを取得し、そのキーワードを用いて前記抽出されたオブジェクトを検索し、前記キーワードに合致するテキストが付された形状と挙動で規定されるオブジェクトを抽出することを特徴とする。
【００１３】
請求項６記載の発明は、請求項４または５記載の検索方法において、検索装置が、形状と挙動で規定されるオブジェクトを再生した際の各フレーム間の差分から、異なる媒体を含む場合でも各媒体に対して統一的な検索をするための特徴情報を抽出し、検索することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、形状と挙動で規定されるオブジェクトの検索を有効に行うことができる。
【発明を実施するための最良の形態】
【００１５】
図１は本発明の第１の実施形態における検索装置１の装置構成を説明する図である。インデックス作成部は、形状と挙動で規定されるオブジェクトを含む文書等から形状と挙動で規定されるオブジェクトの特徴を抽出し、検索のための情報を作成する機能を有している。文書等から形状と挙動で規定されるオブジェクトを抽出する部分と、抽出した形状と挙動で規定されるオブジェクトから特徴を抽出する部分と、抽出した情報から検索用インデックスを作成する部分から構成される。
【００１６】
検索・閲覧部は、インデックス作成部により作成された情報を利用し、形状と挙動で規定されるオブジェクトの特徴を記述したキーワード等により、ネットワーク上等の任意の記憶装置や自装置である検索装置１の記憶部等に記憶されている形状と挙動で規定されるオブジェクトを検索し、抽出した形状と挙動で規定されるオブジェクトを含む文書等を閲覧・表示する機能を有している。検索クエリからキーワードを抽出する部分と、キーワードからインデックスにより検索する部分と、検索結果を表示する部分から構成される。
【００１７】
形状の取り込みはスキャナやネットワーク回線等を介して行う。
【００１８】
図２は、検索装置１の構成を示すブロック図である。ＣＰＵ（Central Processing Unit）２と、ＲＯＭ（Read Only Memory）３と、ＲＡＭ（Random Access Memory）４と、ＨＤＤ（Hard Disk Drive）５と、ネットワークインタフェース６と、キーボード７やマウス８等の入力部と、ディスプレイ９とから構成され、これらの間のデータ通信をバスコントローラが調停して動作している。
【００１９】
ＨＤＤ５には、検索キーとなり得る形状と挙動についての情報が所定のテーブルに格納されている。例えば、挙動を示す"ディゾルブ"、"フェードイン" や、形状を示す"四角形"、"矢印"等である。これにより、例えば、"赤い四角形の箱がフェードィンする"といったクエリで文書等の検索ができる。なお、上述の所定のテーブルの保存場所はＨＤＤ５に限定されなくネットワーク上等であってもよい。
【００２０】
次に、本実施の形態の動作を図面を参照して詳細に説明する。
【００２１】
図３のフローチャートを参照すると、まず、検索装置１はクエリの抽出を行う（Ｓ３１）。その際に、例えば、図４に示すような画面がディスプレイ９に表示され、ユーザからのクエリの指定を受け付ける。なお、手書きによる形状と挙動の一方あるいは両者の指定が可能であっても良い。
【００２２】
次に、検索装置１は抽出したクエリが、ＨＤＤ５の所定のテーブルに格納されている、検索キーとなり得る形状と挙動についての情報と合致するか否かを判定する（Ｓ３２）。
【００２３】
合致する場合（Ｓ３２／Ｙｅｓ）、検索キーとなる形状と挙動に基づいて文書等の検索を実行する（Ｓ３３、３４）。すなわち、検索キーとなる形状と挙動に基づいて、ネットワーク上等の任意の記憶装置や自装置である検索装置１の記憶部等に記憶されている形状と挙動で規定されるオブジェクトを検索し、検索キーに合致する形状と挙動で規定されるオブジェクトを抽出する。なお、形状と挙動で規定されるオブジェクトが格納されている記憶装置、記憶部は上記の例に限定されなく、すべての記憶手段を含む。一例として、図５には検索キーが「箱、左、スライドイン」の場合を示す。この場合には、検索結果として図５に示すような形状と挙動で規定されるオブジェクトが抽出される。
【００２４】
また、他の例として、図６には検索クエリが、形状と挙動の両者について手書きによる場合を示す。まず、挙動を示すデータを取得して、差分で形状のデータを取得する。なお、挙動を示すデータのテーブルは予め保持しているものとする。ここでは、挙動が「左、スライドイン」であり、形状が「箱」であるとして解釈され、検索結果として図６に示すような形状と挙動で規定されるオブジェクトが抽出される。
【００２５】
そして、検索装置１は検索結果を表示する（Ｓ３５）。例えば、図７に示すような画面をディスプレイ９に表示する。また、例えば、図８に示すような形状と挙動を併記した態様の画面をディスプレイ９に表示することであってもよい。
【００２６】
なお、検索結果を表示する際には、既知のズーミングに関する技術を適用し、例えば、図９に示すような態様で表示してもよい。
【００２７】
上述の本実施の形態によれば、形状と挙動で規定されるオブジェクトを含む大量の文書を検索する際に、文書中のテキスト部分の検索だけでなく、形状と挙動で規定されるオブジェクトの動きも検索のキーワードとして利用することで、形状と挙動で規定されるオブジェクトを含む文書に対する新しい検索手段の提供を通して利用者の利便性を増し、また、検索結果の精度向上を図ることができる。
【００２８】
以下では、本発明の第２の実施形態について説明する。基本的な装置構成、処理動作は上記の第１の実施の形態と同様であるので重複する説明は省略する。
【００２９】
本実施の形態では、挙動で規定されるオブジェクトに含まれるテキストも検索のキーワードとして利用する点が上記の第１の実施の形態と相違する。
【００３０】
本実施の形態の動作を図面を参照して詳細に説明する。
【００３１】
図１０のフローチャートを参照すると、まず、検索装置１はクエリの抽出を行う（Ｓ１０１）。その際、ユーザが検索を所望するキーワードの入力も受け付ける。
【００３２】
次に、検索装置１は抽出したクエリが、ＨＤＤ５の所定のテーブルに格納されている、検索キーとなり得る形状と挙動についての情報と合致するか否かを判定する（Ｓ１０２）。
【００３３】
合致する場合（Ｓ１０２／Ｙｅｓ）、検索キーとなる形状と挙動に基づいて文書等の検索を実行する（Ｓ１０３、１０４）。そして、上記の第１の実施の形態と同様に形状と挙動で規定されるオブジェクトが抽出される。一例として、図１１には検索キーが「Ｈｅｌｌｏ、上、スライド」の場合を示す。この場合には、検索結果として図１１に示すようなＨｅｌｌｏというキーワードを含む形状と挙動で規定されるオブジェクトが抽出される。
【００３４】
次に、検索装置１は上記のステップＳ１０２、１０３で抽出された形状と挙動で規定されるオブジェクトの中のテキストをＯＣＲ処理等でデータとして取得し、上記のステップＳ１０１で受け付けたキーワードの検索を実行する（Ｓ１０５、１０６）。
【００３５】
そして、検索装置１は検索結果を表示する（Ｓ１０７）。表示の態様は、上記の第１の実施の形態と同様のものが適用できる。
【００３６】
上述の本実施の形態によれば、形状と挙動で規定されるオブジェクトを含む大量の文書を検索する際に、文書中のテキスト部分の検索だけでなく、形状と挙動で規定されるオブジェクトの動きや形状と挙動で規定されるオブジェクトに含まれるテキストも検索のキーワードとして利用することで、形状と挙動で規定されるオブジェクトを含む文書に対する新しい検索手段の提供を通して利用者の利便性を増し、また、検索結果の精度向上を図ることができる。
【００３７】
以下では、本発明の第３の実施形態について説明する。基本的な装置構成、処理動作は上記の第１、第２の実施の形態と同様であるので重複する説明は省略する。
【００３８】
本実施の形態では、異なる媒体を含む場合でも各媒体に対して統一的な検索をするための特徴情報を抽出し、検索する点が上記の第１、第２の実施の形態と相違する。
【００３９】
まず、検索装置１の関連付け部は、異なる媒体の統合インデックスを生成してデータベース（統合インデックスＤＢ）に格納する統合インデックシング部を備えている。
【００４０】
統合インデックシング部は、既存の自然言語処理技術（例えば、形態素解析）を用い、異なる媒体の両方から形状と挙動を抽出する抽出部と、抽出部で抽出した形状と挙動に基づいて、既存の検索技術（例えば、ベクトル空間モデル）を用い、異なる媒体の統合インデックスを生成するインデックス生成部とを備えている。抽出部では、形状と挙動を抽出する際に、自動的な方法（自然言語処理技術）以外に、手動的な方法、又は、半自動的な手法も使用できる。インデックス生成部は、抽出した形状と挙動を用い、異なる媒体の両方を同じ形式に変換し、お互いの相対類似度を計算できるようにする。統合類似度計算部は、統合インデックスで扱われているクエリ又は異なる媒体の表現形式（例えば、クエリ・ベクトルやドキュメント・ベクトル）を用い、ユーザのクエリに対し、それぞれの異なる媒体の類似度（０と１００％の間の値）を計算する。計算式は既存のテキスト検索技術における「ベクトル空間モデル」で扱われている、標準の計算式等であってもよい。
【００４１】
上述の本実施の形態によれば、異なる方式・媒体（ＰｏｗｅｒＰｏｉｎｔ（登録商標）、ビデオ、Ｆｌａｓｈh等）が複数埋め込まれたページ等に対してにも統一的な検索のための特徴情報を抽出することができる。
【００４２】
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、検索装置、インデックス作成装置の機能を実現するためのプログラムを各装置に実行させることにより各装置の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるＣＤ−ＲＯＭまたは光磁気ディスクなどを介して、または伝送媒体であるインターネット、電話回線などを介して伝送波により他のコンピュータシステムに伝送されてもよい。
【００４３】
上述する各実施の形態は、インデックス作成部および検索・閲覧部が１つのコンピュータ装置として実現されている構成について説明したが、機能毎に複数の装置などが追加されたシステム構成にも適用可能である。
【図面の簡単な説明】
【００４４】
【図１】図１は本発明の第１の実施形態における検索装置１の装置構成を説明する図である。
【図２】本発明の第１の実施形態の検索装置の構成を示すブロック図である。
【図３】本発明の第１の実施形態の動作を示すフローチャートである。
【図４】本発明の第１の実施形態のユーザからのクエリの指定を受け付ける画面の一例を示す図である。
【図５】本発明の第１の実施形態の一例としての検索キーと検索結果を示す図である。
【図６】本発明の第１の実施形態の一例としての検索キーと検索結果を示す図である。
【図７】本発明の第１の実施形態の検索結果を表示する画面の一例示す図である。
【図８】本発明の第１の実施形態の検索結果を表示する画面の一例示す図である。
【図９】本発明の第１の実施形態の検索結果を表示する画面の一例示す図である。
【図１０】本発明の第２の実施形態の動作を示すフローチャートである。
【図１１】本発明の第２の実施形態の一例としての検索キーと検索結果を示す図である。
【図１】
2008234226.tif 000003
【図２】
2008234226.tif 000004
【図３】
2008234226.tif 000005
【図４】
2008234226.tif 000006
【図５】
2008234226.tif 000007
【図６】
2008234226.tif 000008
【図７】
2008234226.tif 000009
【図８】
2008234226.tif 000010
【図９】
2008234226.tif 000011
【図１０】
2008234226.tif 000012
【図１１】
2008234226.tif 000013