(57)【要約】【課題】  画像に付加された音声情報を音声認識することにより、画像検索を行うシステムにおいて、画像アップロードイベントのような明示的な音声認識指示以外のイベントをトリガにして音声認識を行う。【解決手段】  画像に付加される音声情報を取得し、イベントを検知し、前記検知したイベントが明示的な音声認識指示イベントでない場合でも、特定のイベントに対しては取得した音声情報を音声認識する。【選択図】  図２
2005345616.tif 000002
【特許請求の範囲】
【請求項１】
画像に付加される音声情報を取得する取得手段と、
イベントを検知する検知手段と、
前記検知手段で検知したイベントが明示的な音声認識指示イベントでない場合でも、特定のイベントに対しては前記取得手段で取得した音声情報を音声認識する音声認識手段とを有することを特徴とする情報処理装置。
【請求項２】
前記音声認識手段は、前記各イベントに対し、イベントが検知された場合に前記音声認識手段を発動するかどうかの判断が登録されたテーブルを参照することで、特定のイベントに対しては音声情報を音声認識することを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記イベントとは、画像のアップロード時に発行されるイベント、撮像装置と接続された時に発行されるイベント、特定の時間ごとに発行されるイベント、プログラム起動時に発行されるイベント、特定ダイアログ立ち上げ時に発行されるイベント、特定のサムネイル画像に対するマウスイベント、画像編集後に発行されるイベントのうちのいずれかあるいはその組み合わせであることを特徴とする請求項１記載の情報処理装置。
【請求項４】
画像に付加される音声情報を取得する取得ステップと、
イベントを検知する検知ステップと、
前記検知ステップで検知したイベントが明示的な音声認識指示イベントでない場合でも、特定のイベントに対しては前記取得ステップで取得した音声情報を音声認識する音声認識ステップとを有することを特徴とする情報処理方法。
【請求項５】
請求項４に記載の情報処理方法をコンピュータに実行させるための制御プログラム。
【請求項６】
請求項５記載の制御プログラムを格納したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置とネットワーク等を介して接続したコンピュータにおいて、画像データ等を管理する装置や方法に関する。
【背景技術】
【０００２】
昨今、デジタルカメラ等の普及が著しい。ユーザは、デジタルカメラのような携帯型撮像装置により撮像したデジタル画像を、ＰＣやサーバ等で管理することが一般的である。例えば撮像した画像を、ＰＣあるいはサーバ上のフォルダ内で整理したり、特定の画像を印刷し、年賀状に組み込むことが可能である。また、サーバで管理する場合は、一部の画像を他のユーザに公開することも可能である。
【０００３】
このような作業を行う場合には、ユーザの意図する特定の画像を見つけ出すことが必要となる。見つけ出す対象となる画像数が少ない場合は、例えば画像をサムネイル表示し、その一覧から目視で見つけ出すことも可能である。しかし、対象となる画像数が何百となる場合や、対象画像群が複数フォルダに分断されて格納されている場合は、目視で見つけ出すことは困難である。
【０００４】
そこで、撮像装置上で画像に音声アノテーション（音声による注釈）を付け、検索時にその情報を使うようなことが行われている。例えば山の画像を撮像し、その画像に対して「箱根の山」と発声する。この音声データは先の画像データと対となって撮像装置内に格納された後、その画像撮像装置内あるいは画像をアップロードしたＰＣ内で音声認識され、“はこねのやま”というテキスト情報に変換される。アノテーションデータがテキスト情報に変換されれば、後は一般的なテキスト検索技術で処理することが可能であり、「やま」、「はこね」等の単語でその画像を検索することができる。
【０００５】
このような音声アノテーションを利用した先行技術に、特許文献１、特許文献２、特許文献３がある。これらの先行技術では、画像の撮像時あるいは撮像後に注釈となる音声をユーザが入力し、その音声データを既存の音声認識技術を利用して画像検索に利用している。
【特許文献１】特開２００３−２１９３２７号公報
【特許文献２】特開２００２−３２５２２５号公報
【特許文献３】特開平９−１３５４１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
音声認識は非常に重い処理であり、現在の携帯型撮像装置で行うことは現実的ではない。そのため、画像と付加された音声データを、撮像装置からＰＣあるいはサーバ等にアップロードし、その機器上で音声認識を行う方が望ましい。
【０００７】
このように、撮像装置では音声のアノテーションの取得にとどめ、アップロード先で認識を行うという仕組みは、上記の先行技術でも提案あるいは実装されている。しかし、画像に付加された音声アノテーションデータに対し、音声認識を行うタイミングに関しては、それが明記されていないか、あるいはアップロード後のユーザ指示によって行われるものであった。
【０００８】
このように、まず“画像のアップロード”を行い、ついで“音声認識指示”の指示を行わなければならないことは、ユーザにとって負担である。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は画像に付加される音声情報を取得する取得手段と、イベントを検知する検知手段と、前記検知手段で検知したイベントが明示的な音声認識指示イベントでない場合でも、特定のイベントに対しては前記取得手段で取得した音声情報を音声認識する音声認識手段とを有することを特徴とする。
【００１０】
また本発明は、画像に付加される音声情報を取得する取得ステップと、イベントを検知する検知ステップと、前記検知ステップで検知したイベントが明示的な音声認識指示イベントでない場合でも、特定のイベントに対しては前記取得ステップで取得した音声情報を音声認識する音声認識ステップとを有することを特徴とする。
【発明の効果】
【００１１】
本発明により、携帯型画像撮像装置で入力された音声アノテーションデータを接続先のＰＣで音声認識処理を行う際、画像のアップロード指示のような明示的な音声認識指示ではないイベントをトリガとして音声認識を行うことができるようになる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照しながら本発明の好適な実施例について説明していく。
【実施例１】
【００１３】
ここでは、本発明の情報処理装置に一例として、画像管理装置の例をあげて説明していく。
【００１４】
図１は、本実施例の画像管理装置の機能構成図である。画像管理装置１０１は、イベント発行部１０２、携帯型画像撮像装置１０３と接続する。イベント発行部は外部の機器またはアプリケーションに属し、各種のイベントを発行する部分である。このイベントは、特定のメモリ領域に特定の値をセットすることによって実現されてもよい。
【００１５】
本装置の基本的な動作は、装置に入力されるイベントを受け、それが適切なイベントであると判断された場合に動作を開始する。その動作とは、携帯型画像撮像装置から取り込んだ音声アノテーションデータを音声認識し、画像と共に装置内部の画像・音声認識結果データベースに格納するものである。
【００１６】
画像管理装置内のイベント検知部１０４は、装置外部のイベント発行部１０２からイベントを受け付ける部分である。そのイベントは制御部１０５に送られ、そこで以後の音声認識動作を続けることが適当なイベントかどうかを判断する。この判断においては、装置内のイベント解釈データテーブル１０８を用いる。
【００１７】
図３は、イベント解釈データテーブルの例である。このデータテーブルには、イベント名と音声認識動作を開始するかどうかの値が対となって格納されており、音声認識動作を開始する（値が“Ｙｅｓ”）イベントを検知した場合に、音声認識動作の開始を決定する。
【００１８】
音声認識の開始を決定すると、音声アノテーションデータ取り込み部１０６が携帯型画像撮像装置１０３から音声アノテーションデータを装置内に取り込む。
【００１９】
取り込まれた音声アノテーションデータは、音声アノテーションデータ認識部１１０に送られる。ここでは既存技術である音声認識処理を用い、取り込まれた音声アノテーションデータを音声認識し、その結果を音声認識結果格納部１０７に送る。音声アノテーション認識部では音声認識文法や音響モデルといった音声認識用データ１０９を用いる。
【００２０】
音声認識結果格納部１０７では、音声認識結果のテキスト情報をその対象となる画像とで対にし、画像・音声認識結果データベース１１１に格納する。例えば、画像データファイル内のユーザ領域に、音声認識結果を格納してもよい。また、画像ファイルと同じ名前で拡張子を変更したファイルを生成し、そのファイル内に音声認識結果を格納してもよい。また、画像データのファイル名を音声認識結果を反映したものに変更するという手段も考えられる。
【００２１】
図２は、画像管理装置のメインフローである。本装置が起動すると、このフローに入る。まず、プログラム終了イベントの検知を行い（Ｓ２０１）、このイベントを検知することにより本処理は終了する。
【００２２】
終了イベントを検知しない場合には、次に音声認識を開始するイベントの検知を行う（Ｓ２０２）。このときには図３のようなイベント解釈データテーブルを利用する。音声認識を開始するイベントが検知されない場合には、その後の処理を行わず、本フローの先頭に戻る。音声認識を開始するイベントを検知した場合は、撮像装置から音声アノテーションデータを取り込む（Ｓ２０３）。
【００２３】
取り込まれた音声アノテーションデータは音声認識処理にかけられる（Ｓ２０４）。この音声認識処理は既存の技術であり、ここでの詳しい説明は避ける。音声認識結果のテキスト情報は撮像装置から取得された画像と共に、本装置内のデータベースに格納する（Ｓ２０５）。
【００２４】
これらの処理を終了すると、処理は先頭に戻り、再びイベントのチェックを開始する。
【実施例２】
【００２５】
ここでは、画像管理装置を利用した画像検索システムの例を示す。図４は、本実施例で使用する携帯型画像撮像装置の例である。
【００２６】
ユーザは、デジタルカメラ、カメラ付き携帯電話のような携帯型画像撮像装置４０１を用いて画像を撮像する。この携帯型画像撮像装置には、画像確認画面４０３が付いている。また、動作モード切替スイッチ４０５の切り替えにより、撮像モード／撮像済み画像確認モードを切り替えることができるものとする。撮像済み画像確認モード時には画像確認画面に今まで撮像した画像を確認することができるものとする。
【００２７】
ユーザは撮像済み画像確認モードにおいて、特定画像に音声アノテーションを付けることが可能である。たとえば、音声アノテーションを付加したい画像を、画像確認画面に表示させ、機器の音声アノテーション付与ボタン４０２を押すことで、その画像に音声アノテーションデータが付与されてもよい。具体的には、このボタンが押されることにより、マイク４０４から一定時間の音声が取り込まれ、その音声データを画像と関連付けて撮像装置内のメモリに格納する。
【００２８】
例えばここでは「箱根の山」という音声アノテーションを付けたとする。撮像装置は、この音声データを対象画像に関連付け、撮像装置内のメモリに格納する。
【００２９】
図５は、画像アップロード時の操作ＵＩ画面の例である。ＰＣと携帯型画像撮像装置を接続すると、このような撮像装置内画像確認ダイアログ５０１を持つアプリケーションが起動する。このダイアログには、接続された撮像装置内の画像がサムネイル表示される。
【００３０】
このサムネイル画像一覧では、過去にアップロードされた画像５０２と、されていない画像５０３の表示を変えてもよい。例えば、図５では、過去にアップロードされた画像のサムネイルに網掛けを施して提示している。これにより、ユーザは、どの画像がアップロード済みであるかを知ることができる。また、音声アノテーションが付加されているサムネイル画像に、特定の画像を付加して提示することも可能である。図５の例では、音声アノテーション付きのサムネイル画像に“♪”を付けて提示している。
【００３１】
ユーザはアップロードしたい画像を選択し、アップロード指示ボタン（５０４）を押す。このボタンがユーザに押されると、撮像装置内の特定画像をＰＣ内の画像データベースにアップロードする。
【００３２】
また、それと同時に、画像管理装置に対しても画像アップロード指示イベントが発行される。図３のデータテーブルを用いた場合、画像アップロード指示イベントは音声認識の開始と解釈する。これにより、携帯型画像撮像装置から対象画像に付加された音声アノテーションデータを取り込み、それを音声認識処理する。認識結果の情報はファイルに格納し、画像管理装置内のデータベースに格納する。
【００３３】
図６は、このときの音声認識結果格納ファイルの例である。音声認識結果格納ファイル６０１は、音声アノテーションデータを音声認識した結果を格納するものであり、一つの音声アノテーションデータから一つの音声認識結果格納ファイルが生成される。
【００３４】
音声認識エンジンは、一つの発声（音声アノテーションデータ）に対し、複数の認識結果候補を出力することが可能である。音声認識結果格納ファイル内は、各行ごとに一つの認識結果候補が格納されている。図６の例では５つの認識結果候補を出力したものである。
【００３５】
各認識結果候補は、３つのフィールドに分かれている。“ｓｔｒｉｎｇ＝”から始まる認識結果音素列６０２のフィールドには、音声認識結果の音素列が格納される。“ｔｙｐｅ＝”から始まる認識文法名６０３のフィールドは、その結果が出力されたときに利用した言語制約情報（音声認識文法名）が格納される。本例では、音素タイプライタの文法（ｔｙｐｅ＝ｔｙｐｅｗｒｉｔｅｒ）と、一般的な単語を認識する文法（ｔｙｐｅ＝ｉｓｏｌａｔｅｄｗｏｒｄ）の二つの文法を認識に用いている。最後の“ｓｃｏｒｅ＝”から始まるスコア６０４のフィールドは、その音声認識候補のスコアが格納される。このスコアは、音響的尤度や言語的尤度から算出されるものであり、一般的にスコアが高いものほど認識結果としての信頼度が高くなる。
【００３６】
このような音声認識結果格納ファイルは、画像管理装置内の画像・音声認識結果データベースに格納される。具体的には、音声認識結果格納ファイルは、画像データと同じファイル名で拡張子を“ｖａ”に変更したものとし、画像データと同じフォルダ内に格納される。
【００３７】
図７は、画像管理装置内の画像・音声認識結果データベースを利用した画像検索動作を示す例である。
【００３８】
ユーザは、画像検索ダイアログ７０１の検索文字列入力フィールド７０２に、検索文字列を入力する。検索文字列を入力し終わると、検索開始ボタン７０３を押す。すると、検索キーに対する画像が検索され、検索結果画像のサムネイル７０４が一覧表示される。
【００３９】
図８は、このときの検索処理のフローである。図７の検索開始ボタン７０３が押された場合に本フローに入る。
【００４０】
このフローに入ると、まず、検索文字列入力フィールド７０２から検索文字列の取り込みを行う（Ｓ８０１）。次に、このかな漢字交じりの検索文字列を、既存の言語処理を利用して音素列に変換する（Ｓ８０２）。変換した音素列は変数Ａに格納する。
【００４１】
次に、装置内の画像・音声認識結果データベースにアクセスし、そこから音声認識結果格納ファイルを一つ取得する。このとき取得したものを音声認識結果格納ファイルαとおく（Ｓ８０３）。
【００４２】
次に、変数Ｃ＿ｍａｘを０でクリアする（Ｓ８０４）。次に、Ｓ８０３で取得した音声認識結果格納ファイルαから、音声認識候補を一つ取得する。音声認識結果候補は図６のように、音声認識結果格納ファイルの各行に対応した情報である。ここで取得した音声認識候補の“ｓｔｒｉｎｇ＝”に続く認識結果音素列は、変数Ｂに格納する（Ｓ８０５）。
【００４３】
次に、変数Ａ、Ｂに格納された音素列間の類似度を算出する（Ｓ８０６）。この時には、既存技術である動的計画法を利用することができる。算出された類似度は変数Ｃに格納する。
【００４４】
格納されたＣは、Ｃ＿ｍａｘと比較を行う（Ｓ８０７）。もし、ＣがＣ＿ｍａｘよりも大きい場合は、Ｃ＿ｍａｘをＣで更新する（Ｓ８０８）。
【００４５】
これらの作業は一つの音声認識結果格納ファイルα内の全音声認識候補に対して行い、全認識候補が終了した場合に（Ｓ８０９）、Ｃ＿ｍａｘをその音声認識認識ファイルαのスコアとする（Ｓ８１０）。
【００４６】
以上の操作を、画像・音声認識結果データベースの全認識結果格納ファイルに対して行う。全ての音声認識結果格納ファイルが終了した場合（Ｓ８１１）、各ファイルに対して算出されたスコアでソートし、その上位Ｎ個に対応する画像をユーザに提示し（Ｓ８１２）、本フローを終了する。
【００４７】
以上により、画像管理装置内の画像を、テキスト情報をキーに検索することが可能となる。
【実施例３】
【００４８】
上記実施例では、画像のアップロード指示イベントを音声認識開始のイベントとした。しかし、これ以外のイベントにより、その後の音声認識動作を開始することも可能である。例えば、本画像管理装置と携帯型画像撮像装置が接続した場合に発行される“接続イベント”が考えられる。また、特定のアプリケーションが起動した場合に発行される“起動イベント”や、画像検索ウインドウが開いた場合に発行される“検索ウインドウ立ち上がりイベント”も考えられる。また、図５のようなサムネイル画像をマウスでクリックした場合に発行される“マウスクリックイベント”や“マウスオーバイベント”、特定画像を画像編集ツールで編集した後に発行される“画像編集イベント”も考えられる。また、特定時間毎に発行される“タイマイベント”でもよい。
【実施例４】
【００４９】
上記実施例では、受信した特定イベントによってのみ音声認識動作の開始を判断していた。しかし、装置内の他の情報と組み合わせて判断してもよい。例えば、図９のように、イベント解釈データテーブルに判断式を記述し、その判断式に応じて決断することも可能である。
【００５０】
図９の例では、タイマイベントの判断に、画像・音声認識結果データベース（１１１）に音声認識結果候補ファイルが登録されているかどうかの情報を組み込んでいる。これにより、特定のタイマイベント（例えば１０分毎）が生じると、画像・音声認識結果データベースを検索し、まだ音声認識結果候補ファイルが作られていないものだけ、その後の音声認識処理を行うことになる。
【００５１】
なお、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５２】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５５】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００５６】
【図１】本発明の実施例における画像管理装置の機能構成図である。
【図２】本発明の実施例における画像管理装置のフローチャートである。
【図３】本発明の実施例における画像管理装置のイベント解釈データテーブルの例である。
【図４】実施例１の携帯型画像撮像装置の例である。
【図５】実施例１の画像アップロード時の操作ＵＩ画面の例である。
【図６】実施例１の音声認識結果格納ファイルの例である。
【図７】実施例１の画像管理装置内の画像・音声認識結果データベースを利用した画像検索時のＵＩ画面の例である。
【図８】実施例１の画像管理装置内の画像・音声認識結果データベースを利用した画像検索時のフローチャートである。
【図９】実施例３の画像管理装置のイベント解釈データテーブルの例である。
【図１】
2005345616.tif 000003
【図２】
2005345616.tif 000004
【図３】
2005345616.tif 000005
【図４】
2005345616.tif 000006
【図５】
2005345616.tif 000007
【図６】
2005345616.tif 000008
【図７】
2005345616.tif 000009
【図８】
2005345616.tif 000010
【図９】
2005345616.tif 000011