(57)【要約】【課題】  音声認識の誤認識を伴って生成されたアノテーションが検索対象のデータに付属していても、データの検索精度を高めることを可能にする。【解決手段】  音声認識によって得られたサブワード列を含むアノテーションデータが付属する検索対象のデータを複数格納したデータベース(100)に対して検索処理を行うデータ検索装置において、検索キー入力部(105)で入力された検索キーをサブワード列に変換し(106)、その変換した検索キーのサブワード列と各アノテーションデータのサブワード列との相関度に基づいて所定数のデータを検索し(107)、ユーザの指示に基づき、それら所定数のデータのうちのいずれかを選択し(109)、その選択されたデータに付属するアノテーションデータに、検索キーのサブワード列を追加登録する(110)。【選択図】  図１Ａ
2006065675.tif 000002
【特許請求の範囲】
【請求項１】
音声認識によって得られたサブワード列を含むアノテーションデータが付属する検索対象のデータを複数格納したデータベースに対して検索処理を行うデータ検索方法であって、
（ａ）検索キーを入力するステップと、
（ｂ）入力された前記検索キーをサブワード列に変換するステップと、
（ｃ）上記ステップ（ｂ）で変換された前記サブワード列と各アノテーションデータにおける前記サブワード列との相関度に基づいて前記検索対象のデータの検索を行い所定数のデータを検索結果として得るステップと、
（ｄ）ユーザの指示に基づき、上記ステップ（ｃ）で得られた前記所定数のデータのうちのいずれかを選択するステップと、
（ｅ）選択されたデータに付属するアノテーションデータに、上記ステップ（ｂ）で変換された前記サブワード列を追加的に登録するステップと、
を有することを特徴とするデータ検索方法。
【請求項２】
前記アノテーションデータは、前記音声認識の結果、認識スコアに基づき選択される複数のサブワード列を含むことを特徴とする請求項１に記載のデータ検索方法。
【請求項３】
前記アノテーションデータは、前記複数のサブワード列を表現するラティス構造を有することを特徴とする請求項２に記載のデータ検索方法。
【請求項４】
前記アノテーションデータは、前記複数のサブワード列のそれぞれに対して、前記音声認識によって得られたサブワード列か前記登録ステップによって登録されたサブワードなのかを識別するための識別情報を含むことを特徴とする請求項２または３に記載のデータ検索方法。
【請求項５】
前記ステップ（ｅ）は、前記ステップ（ｂ）で変換された前記サブワード列を追加的に登録するかわりに、前記複数のサブワード列のうち認識スコアが最下位の音素列を前記ステップ（ｂ）で変換された前記サブワード列で置換することによって登録することを特徴とする請求項２に記載のデータ検索方法。
【請求項６】
音声認識によって得られたサブワード列を含むアノテーションデータが付属する検索対象のデータを複数格納したデータベースに対して検索処理を行うデータ検索装置であって、
検索キーを入力する入力手段と、
入力された前記検索キーをサブワード列に変換する変換手段と、
前記変換手段により変換された前記サブワード列と各アノテーションデータにおける前記サブワード列との相関度に基づいて前記検索対象のデータの検索を行い所定数のデータを検索結果として得る検索手段と、
ユーザの指示に基づき、前記検索手段により得られた前記所定数のデータのうちのいずれかを選択する選択手段と、
前記選択手段により選択されたデータに付属するアノテーションデータに、前記変換手段により変換された前記サブワード列を追加的に登録する登録手段と、
を有することを特徴とするデータ検索装置。
【請求項７】
前記アノテーションデータは、前記複数のサブワード列のそれぞれに対して、前記音声認識によって得られたサブワード列か前記登録手段によって登録されたサブワードなのかを識別するための識別情報を含むことを特徴とする請求項６に記載のデータ検索装置。
【請求項８】
音声認識によって得られたサブワード列を含むアノテーションデータが付属する検索対象のデータを複数格納したデータベースに対する検索処理をコンピュータに実行させるためのプログラムであって、
（ａ）検索キーを入力するステップと、
（ｂ）入力された前記検索キーをサブワード列に変換するステップと、
（ｃ）上記ステップ（ｂ）で変換された前記サブワード列と各アノテーションデータにおける前記サブワード列との相関度に基づいて前記検索対象のデータの検索を行い所定数のデータを検索結果として得るステップと、
（ｄ）ユーザの指示に基づき、上記ステップ（ｃ）で得られた前記所定数のデータのうちのいずれかを選択するステップと、
（ｅ）選択されたデータに付属するアノテーションデータに、上記ステップ（ｂ）で変換された前記サブワード列を追加的に登録するステップと、
をそれぞれ実行させるためのコードを含むことを特徴とするプログラム。
【請求項９】
請求項８に記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ検索方法および装置に関する。
【背景技術】
【０００２】
デジタルカメラのような携帯型撮像装置により撮像されたデジタル画像は、パーソナルコンピュータ（ＰＣ）やサーバコンピュータ等で管理することができる。例えば、撮影した画像を、ＰＣあるいはサーバ上のフォルダ内に整理したり、特定の画像を印刷したり、あるいは、年賀状の絵の一部として組み込むことも可能である。また、サーバで管理する場合には、一部の画像を他のユーザに公開することも可能である。
【０００３】
このような作業を行う場合には、ユーザの意図する特定の画像を見つけ出すことが必要となる。見つけ出す対象となる画像数が少ない場合は、画像をサムネイル表示し、その一覧から目視で見つけ出すことも可能である。しかし、対象となる画像数が何百となる場合や、対象画像群が複数フォルダに分断されて格納されている場合は、目視で見つけ出すことが困難になる。
【０００４】
これに対し、撮像装置上で画像に音声アノテーション（音声による注釈）を付け、検索時にその情報を使うことが行われている。例えば、山の画像を撮像し、その画像に対して「箱根の山」と発声する。この音声データは、先の画像データと対となって撮像装置内に格納された後、その画像撮像装置内あるいは画像をアップロードしたＰＣ内で音声認識され、“はこねのやま”というテキスト情報に変換される。アノテーションデータがテキスト情報に変換されれば、後は一般的なテキスト検索技術で処理することが可能であり、「やま」、「はこね」等の単語でその画像を検索することが出来る。
【０００５】
この他、本発明に関連する先行技術として、ユーザが入力した検索キーを登録する技術を開示している特許文献１がある。同文献は、ユーザが入力した検索キーを、同義語等を用いて既存のキーワードの演算式としてシステムに登録する技術を開示している。
【０００６】
【特許文献１】特開平２−２７４７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
音声認識で音声アノテーションを変換して検索する場合、音声認識の誤認識は完全には避けられないのが現状である。誤認識の割合が大きい場合には検索キーを正しく入れてもマッチングの相関が悪く、正しく検索されない。このような場合にはいかに検索語を入れようとも、音声認識の結果が悪いため、所望の画像データが上位候補として検索されないという問題がある。
【０００８】
したがって、音声認識の誤認識を伴って生成されたアノテーションが検索対象のデータに付属していてもデータの検索精度を高めることのできる技術を導入する必要がある。
【課題を解決するための手段】
【０００９】
上記した問題を解決するために、例えば本発明の一側面に係るデータ検索方法は、以下の構成を備える。すなわち、検索キーを入力するステップと、入力された前記検索キーをサブワード列に変換するステップと、変換された前記サブワード列と各アノテーションデータにおける前記サブワード列との相関度に基づいて前記検索対象のデータの検索を行い所定数のデータを検索結果として得るステップと、ユーザの指示に基づき、前記所定数のデータのうちのいずれかを選択するステップと、選択されたデータに付属するアノテーションデータに、上記変換された前記サブワード列を追加的に登録するステップとを有する。
【発明の効果】
【００１０】
本発明によれば、音声認識の誤認識を伴って生成されたアノテーションが検索対象のデータに付属していても、データの検索精度を高めることが可能になる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。
【００１２】
図１Ａは、本発明の一実施形態に係るデータ検索装置の機能構成を示す図である。同図において、１００はデータベースである。１０１は、データベース１００に蓄積される画像やドキュメントなどをコンテンツとする複数の検索対象データである。検索対象データ１０１は例えば図１Ｂに示すような構造で、画像やドキュメントなどのコンテンツデータ１０２を有するほか、コンテンツデータ１０２に対応する、音声によって注釈をつけた音声アノテーションデータ（音声メモデータ）１０３、音声アノテーションデータ１０３の音声認識によって得られた音素列や音節列や単語列などのサブワード列（本実施形態では音素列で説明する）を含むアノテーションデータとしての音声認識結果アノテーションデータ１０４が付属する。
【００１３】
１０５は、所望のコンテンツデータ１０２を検索するために検索キーを入力する検索キー入力部である。１０６は、検策キーでマッチングを取るために、音声認識結果アノテーションデータ１０４と同様の書式のサブワード列に検索キーを変換する検索キー変換部である。１０７は、データベース１００内の複数の音声認識結果アノテーションデータ１０４と検索キーとでマッチングを取り、それぞれの音声認識結果アノテーションデータ１０４に対する相関度スコアを求め、音声認識結果アノテーションデータ１０４に対応するコンテンツデータ１０２を順位付けする検索部である。１０８は、検索部１０７によって順位付けされたコンテンツデータ１０２を順位順に表示する表示部である。１０９は、表示部１０８に表示されたコンテンツデータ１０２の中から、ユーザが所望するデータを選択するユーザ選択部である。１１０は、ユーザ選択部１０９においてユーザが選択したデータに対応する音声認識結果アノテーションデータ１０４に、検索キーのサブワード列を追加的に登録するアノテーション登録部である。
【００１４】
本実施形態におけるデータ検索装置の機能構成は概ね上記のとおりである。また、このデータ検索装置における処理は、図１の上のブロックから順次、行われる。つまり、この図１は、このデータ検索装置による処理フローをも表している。そこで、以下ではこの図１を参照して、本実施形態におけるデータ検索装置の処理の流れを詳細に説明する。
【００１５】
上記したように、画像やドキュメントなどコンテンツとする検索対象データ１０１には、対応する音声アノテーションデータ１０３及びこの音声アノテーションデータを音声認識した結果である音声認識結果アノテーションデータ１０４が含まれる（図１Ｂを参照。）。ここで、音声認識結果アノテーションデータ１０４は、本装置に音声認識部を設けておいて作成するようにしてもよいし、画像を撮像するカメラなど、別の装置上に設けられた音声認識部を利用して作成するようにしてもよい。また、本発明においてデータ検索に使用されるのは音声認識結果アノテーションデータ１０４であるため、音声認識結果アノテーションデータ１０４が作成された後は、音声アノテーションデータ１０３は存在しなくとも構わない。
【００１６】
図２に、音声認識結果アノテーションデータ１０４の一例を示す。同図の２０１は、音声アノテーションデータ１０３を音声認識して音素列に変換した認識結果音素列であり、尤度等に基づく認識スコアの高い上位Ｎ位（Ｎは１以上の整数）までが順番に並んでいる。
【００１７】
まず、ユーザは検索キー入力部１０５に検索キーを入力する。入力された検索キーは検索キー変換部１０６に渡され、その検索キーが認識結果音素列２０１と同じ形式の音素列に変換される。
【００１８】
図３は検索キーを音素列に変換する様子を表している。検索キー「箱根の山」を、形態素解析し、単語列に分割する。さらに、単語列に読みを付与し、音素列を得る。形態素解析、読み付与の方法は公知の自然言語処理技術を適用することができる。
【００１９】
次に、検索部１０７において、検索キーの音素列と、各検索対象データ１０１における音声認識結果アノテーションデータ１０４とで音素マッチングを取り、検索キーとの相関度を表す音素正解精度を求める。マッチングは、公知のＤＰマッチング法などにより行うことができる。
【００２０】
図４は音素正解精度を求める様子を表している。音素正解精度は、ＤＰマッチング等により正解数、挿入誤り数、削除誤り数、置換誤り数が得られたときに、次式により求める。
【００２１】
｛（正解数）―（挿入誤り数）―（削除誤り数）―（置換誤り数）｝×１００／（正解数）
【００２２】
図４においては、挿入誤りが“o”と“a”の２箇所、そして“h”を“f”として誤った置換誤りが１箇所であり、音素正解精度は７５％となる。このようにして求めた音素正解精度を、検索に用いるスコアとしてコンテンツデータ１０２をランキングする。ここで、図２の音声認識結果アノテーションデータは上位Ｎ位の認識結果音素列が存在するが、マッチングはこれらそれぞれと行って音素正解精度を求め、最も良い音素正解精度及び認識結果音素列を採用する。ただし本発明はこれに限るものではなく、順位によって重み係数を音素正解精度にかけてから最大値を取ったり、総和を取ったりしても良い。
【００２３】
次に、表示部１０８によりデータを検索順位順に表示する。図５に、表示部１０８がデータ（ここでは画像）をウインドウに表示する例を示す。同図においては、ウインドウの左のフレームで検索キーを入力して検索ボタンを押すと、同ウインドウの右のフレームにコンテンツデータ１０２が検索順位順に表示される。
【００２４】
ここで、ユーザは、表示されているデータから１または２以上のデータを選択することができる。先述したように、音声認識の際に認識誤りを起こしている可能性があるから、所望のコンテンツデータは上位に現れず、下位の方にかろうじて現れている場合もある。そこで、本実施形態では、たとえ上位に検索されなくとも、ユーザが所望の画像であるとしてここで選択をすれば、以下の処理によって、同じ検索キーで再度検索する際には確実に上位で検索することが可能になる。
【００２５】
すなわち、ユーザ選択部１０９は、ユーザの選択操作に従いデータを選択する。これに応じ、アノテーション登録部１１０は、検索キーを変換した音素列を、選択したデータに対応する音声認識結果アノテーションデータ１０４に追加的に登録する。
【００２６】
図６にその様子を示す。同図において、６０１はポインタであり、これを用いてユーザは表示されているデータのうち一つを選択する。このときのデータ選択手法としては、画像を指定できる方法であればどのような方法でも構わない。例えば、ユーザによってクリックされた画像をそのまま選択しても良いし、ユーザによってクリックされた画像について、選択するかをユーザに問い合わせ、その後ユーザからＯＫが得られた場合に選択するようにしてもよい。６０２は、検索キーを変換した音素列で、この音素列が、選択されたデータに対応する音声認識結果アノテーションデータ１０４に追加的に登録される。これにより、再び全く同じ検索キーを入力して検索するときには、図４に示した音素正解精度が１００％となって１位もしくはそれに順ずる順位で検索できるし、一部が同じ検索キーを入力する場合にも、部分マッチングの技術を用いて検索する場合に検索精度を上げることができる。
【００２７】
図７に、本実施形態におけるデータ検索装置のハードウエア構成例を示しておく。
【００２８】
同図において、７０１は、データやＧＵＩなどを表示する表示装置である。７０２は、検索キーなどを入力したりＧＵＩボタンを押下するためのキーボード／マウスである。７０３は、音声アノテーションデータや警告音などの音を出力するスピーカなどを含む音声出力装置である。７０４は、データベース１００や本データ検索方法を実現するための制御プログラムを保持するＲＯＭである。もっとも、ハードディスクなどの外部記憶装置を別途設け、ここにデータベース１００や本データ検索方法を実現するための制御プログラムを保持させてもよい。７０５は、主記憶装置として機能し、特に、本データ検索方法のプログラム実行時に、当該プログラムやデータ等を一時的に記憶するＲＡＭである。７０６は、本装置の制御を司るＣＰＵで、特に、本データ検索方法を実現するための制御プログラムを実行する。
【００２９】
上述の実施形態では、サブワードとして音素を用いたマッチングによるスコアを用いたが、本発明はこれに限るものではなく、例えば音素ではなく音節でのマッチングや、単語単位でのマッチングによるスコアでも良い。また、これに音声認識で求まる認識尤度を加味したり、音素間の類似度（“p”と“t”は類似度が高いなど）を用いてスコアの重み付けをしたりしても良い。
【００３０】
また、上記実施形態では、図４に示すとおり音素列の全体マッチングによる音素正解精度を検索のためのスコアとして用いたが、挿入誤りによるスコアの劣化を抑えるなどとしたスコアの工夫により検索キーの部分的なマッチングによって検索しても良い。この実施形態では、例えば音声認識結果アノテーションデータに「箱根の山」というアノテーションが付与されているときに、部分マッチングにより「箱根」、「山」を検索キーとして検索が可能となる。
【００３１】
また、上記実施形態における音声認識結果アノテーションデータ１０４は、図２に示したように、音素列２０１のみが並ぶデータとして説明したが、その他の態様を適用することもできる。例えば、それぞれの音素列に属性をつけ、音声認識で作成された音素列なのか、アノテーション登録部１１０によって検索キーの音素列が追加されたものなのかを区別する。
【００３２】
図８にこの変形例における音声認識結果アノテーションデータ１０４を示す。同図において、８０１はそれぞれの音素列が生成された属性である。ここで、属性値“phonemeASR”は音素列認識型の音声認識によって作成された音素列であることを表し、“user”はユーザがデータを選択したときにアノテーション登録部１１０によって追加された音素列であることを表す。これを用いて、検索時に使用された音素列によって表示方法を切り替えたり、またはアノテーション登録部１１０によって追加登録された音素列を消去したりすることができる。また、この属性はこれに限るものではなく、音声認識でも属性値によって音素列認識／単語列認識などを判断できるようにしても良い。
【００３３】
また、上記実施形態の音声認識結果アノテーションデータ１０４は、図２に示したように、上位Ｎ個の認識結果を音素などのサブワード列として保持されていたが、本発明はこれに限らず、各サブワードで構成するラティス（サブワードグラフ）を出力し、ラティスの始端から終端までのそれぞれのパスにおいて音素正解精度を求めても良い。
【００３４】
図９にサブワードグラフの例を示す。同図において、９０１はサブワードグラフのノードであり、図９の例では音素ごとにノードを形成する。９０２は、ノードを結ぶリンクであり、これによって音素の連鎖を表現する。リンクには、リンクが結ぶノード間の音声認識区間尤度が割り振られていることが一般的であり、この音声認識区間尤度を用いると、Ａ＊探索という手法により上位Ｎ個の音素列候補を抽出できる。この候補と検索キーとのマッチングにより、音素正解精度を得る。
【００３５】
この場合、アノテーション登録部１１０が音素列を追加する場合には、図９のサブワードグラフに必要なノードを追加しても構わないし、図１０に示すように音声認識によって生成された音素列のグラフとアノテーション登録部１１０によって登録された音素列のグラフとを分けて保持しても構わない。また、アノテーション登録部１１０が追加する音素列が、既に図９のサブワードグラフのパスに存在する場合には、そのパスがＡ＊探索によって選択されるようにリンク９０２の音声認識区間尤度を変更するように実装しても構わない。
【００３６】
また、上記実施形態においては、アノテーション登録部１１０は検索キーの音素列を音声認識結果アノテーションデータ１０４に追加登録するものとして説明したが、本発明はこれに限るものではなく、例えば、認識結果上位Ｎ個の音素列のうちＮ番目の音素列（すなわち、音声認識結果アノテーションデータ１０４において認識スコアが最下位の音素列）を検索キーの音素列に置換するようにしても構わない。
【００３７】
（その他の実施形態）
以上、本発明の実施形態を詳述したが、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００３８】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される。その場合、プログラムの機能を有していれば、その形態はプログラムである必要はない。
【００３９】
従って、本発明の機能処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体およびそのプログラムを格納した記憶媒体も本発明を構成することになる。つまり、本発明の特許請求の範囲には、本発明の機能処理を実現するためのコンピュータプログラム自体、およびそのプログラムを格納した記憶媒体も含まれる。
【００４０】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００４１】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などがある。
【００４２】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、そのホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【００４３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００４４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００４５】
さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００４６】
【図１Ａ】図１Ａは、本発明の実施形態におけるデータ検索装置の機能構成および処理フローを示す図である。
【図１Ｂ】図１Ｂは、本発明の実施形態における検索対象データの構造例を示す図である。
【図２】図２は、本発明の実施形態における音声認識結果アノテーションデータの一例を示す図である。
【図３】図３は、本発明の実施形態における検索キー変換部による処理を説明する図である。
【図４】図４は、本発明の実施形態における検索部による音素マッチング処理を説明する図である。
【図５】図５は、本発明の実施形態における表示部による検索結果の表示例示す図である。
【図６】図６は、本発明の実施形態におけるアノテーション変更部による処理を説明する図である。
【図７】図７は、本発明の実施形態におけるデータ検索装置のハードウエア構成例を示すブロック図である。
【図８】図８は、本発明の実施形態における音声認識結果アノテーションデータの変形例を示す図である。
【図９】図９は、本発明の実施形態におけるサブワードグラフの例を示す図である。
【図１０】図１０は、本発明の実施形態におけるアノテーション変更部による音素列の追加処理の変形例を説明する図である。
【図１Ａ】
2006065675.tif 000003
【図１Ｂ】
2006065675.tif 000004
【図２】
2006065675.tif 000005
【図３】
2006065675.tif 000006
【図４】
2006065675.tif 000007
【図５】
2006065675.tif 000008
【図６】
2006065675.tif 000009
【図７】
2006065675.tif 000010
【図８】
2006065675.tif 000011
【図９】
2006065675.tif 000012
【図１０】
2006065675.tif 000013