(57)【要約】【課題】  音声アノテーションの内容を表すアイコン画像を容易に作成できるようにする。また、作成したアイコンを付与することにより、どのような音声アノテーションが付与されているかを視覚で識別できるようにする。【解決手段】  画像データを取得し、画像データに関連付ける音声情報を受信し、前記画像データに基づいてアイコンを生成し、前記アイコンと前記音声情報を対応付けて記憶する。【選択図】  図３
2006185306.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する取得工程と、
前記画像データに関連付ける音声情報を受信する受信工程と、
前記画像データに基づいてアイコンを生成する生成工程と、
前記アイコンと前記音声情報を対応付けてメモリに記憶する記憶工程とを備えたことを特徴とする情報処理方法。
【請求項２】
前記受信工程で受信した音声情報と前記メモリに記憶されている音声情報に基づいて、前記メモリに記憶された音声情報に対応付けられた前記アイコンを選択する選択工程と、
前記選択工程で選択されたアイコンと前記画像データを対応付けて記憶する第２の記憶工程を更に備えたことを特徴とする請求項１記載の情報処理方法。
【請求項３】
前記選択工程は、前記受信工程で受信した音声情報と前記メモリに記憶されている音声情報を比較し、比較結果に基づいて前記メモリに記憶された音声情報に対応付けられた前記アイコンを選択することを特徴とする請求項１記載の情報処理方法。
【請求項４】
前記受信工程で受信した音声情報を、前記メモリに記憶されている音声情報を対象語彙として音声認識を行う音声認識工程を更に備え、
前記選択工程は、前記音声認識結果に基づいて、前記メモリに記憶された音声情報に対応付けられた前記アイコンを選択することを特徴とする請求項１記載の情報処理方法。
【請求項５】
前記音声認識工程は、前記メモリに記憶されている音声情報、該音声情報の類義語及び下位語を対象語彙として音声認識し、
前記選択工程は、前記音声認識結果が前記音声情報、前記類義語または前記下位語であった場合に、該音声情報に対応付けられた前記アイコンを選択することを特徴とする請求項４記載の情報処理方法。
【請求項６】
前記メモリに記憶されている画像データの表示を指示する表示指示工程と、
前記表示指示工程で指示された画像データを、該画像データに対応付けられたアイコンと共に表示するよう制御する表示制御工程とを更に備えたことを特徴とする請求項１記載の情報処理方法。
【請求項７】
画像データを取得する取得工程と、
前記画像データに関連付ける音声情報を受信する受信工程と、
音声情報と該音声情報に対応する画像データに基づいて生成されたアイコンとを対応付けて記憶するメモリから、前記受信工程で受信した音声情報に基づいてアイコンを選択する選択工程と、
前記選択工程で選択されたアイコンと前記画像データを対応付けて記憶する記憶工程を備えたことを特徴とする情報処理方法。
【請求項８】
前記選択工程は、前記受信工程で受信した音声情報と前記メモリに記憶されている音声情報を比較し、比較結果に基づいて前記メモリに記憶された音声情報に対応付けられた前記アイコンを選択することを特徴とする請求項７記載の情報処理方法。
【請求項９】
前記受信工程で受信した音声情報を、前記メモリに記憶されている音声情報を対象語彙として音声認識を行う音声認識工程を更に備え、
前記選択工程は、前記音声認識結果に基づいて、前記メモリに記憶された音声情報に対応付けられた前記アイコンを選択することを特徴とする請求項７記載の情報処理方法。
【請求項１０】
画像データを取得する取得手段と、
前記画像データに関連付ける音声情報を受信する受信手段と、
前記画像データに基づいてアイコンを生成する生成手段と、
前記アイコンと前記音声情報を対応付けて記憶する記憶手段とを備えたことを特徴とする情報処理装置。
【請求項１１】
画像データを取得する取得手段と、
前記画像データに関連付ける音声情報を受信する受信手段と、
音声情報と該音声情報に対応する画像データに基づいて生成されたアイコンとを対応付けて記憶するメモリから、前記受信手段で受信した音声情報に基づいてアイコンを選択する選択手段と、
前記選択手段で選択されたアイコンと前記画像データを対応付けて記憶する記憶手段を備えたことを特徴とする情報処理装置。
【請求項１２】
請求項１乃至９に記載の情報処理方法をコンピュータに実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声アノテーションを管理する情報処理方法に関する。
【背景技術】
【０００２】
デジタルカメラ等で撮影した画像に音声情報をアノテーションとして付与するなど、近年ユーザ自身がメタデータを付与する機会が増えつつある。以下音声情報のアノテーションを音声アノテーションと記述する。付与された音声アノテーションは、画像データの分類や検索等の自動化・効率化に利用され、ユーザにとってメリットがある。しかしながら、音声は視覚化しにくいという特徴があるゆえ、アノテーションの付与方法や管理方法等の簡便化に関しては、改善の余地がある。例えばファイルに音声アノテーションが付与されていることが視覚化されていても、その音声を聞いてみないと内容がわからないのでは、ユーザにとって使いやすいとは言い難い。
【０００３】
こういった音声ファイルの管理方法に関し、音声ファイルを、音声ファイルのアイコンとして用いられる画像データを示す情報に対応付けて格納することで音声ファイルの管理を容易にするための方法が、特許文献１で開示されている。
【特許文献１】特開２００３−２１６１７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１は、音声ファイルに既存の画像を関連付ける作業を簡便化したものであり、関連付ける画像はあらかじめ用意された画像を用いる。従って、用意されていない画像を関連付けたい場合は、ユーザが既存の画像作成ツールを用いて作成しなければならない。しかしながら、従来の画像作成ツールの操作は一般ユーザにとって難しく、その上携帯電話やデジタルカメラといった小型機器で作業することは容易でない。
【０００５】
本発明は、このような事情を考慮してなされたものであり、音声情報に対応付けるための画像を容易に生成することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、画像データを取得する取得工程と、  前記画像データに関連付ける音声情報を受信する受信工程と、前記画像データに基づいてアイコンを生成する生成工程と、前記アイコンと前記音声情報を対応付けてメモリに記憶する記憶工程とを備えたことを特徴とする。
【発明の効果】
【０００７】
以上説明したように、本発明によれば、音声情報に対応付けるための画像を容易に生成することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して、本発明に係る情報処理方法の実施の形態について説明する。
【０００９】
（第１の実施形態）
図１は、本実施形態における情報処理方法のモジュール構成を示すブロック図である。図１において、１０１は音声入力部、１０２は音声処理部、１０３は表示部、１０４は記憶部、１０５は画像処理部、１０６は制御部、１０７はアイコン辞書、１０８はシソーラスである。
【００１０】
音声入力部１０１は、マイクロフォンやＡ／Ｄ変換器等により構成されており、ユーザの音声を入力する。音声処理部１０２は、音声入力部１０１より入力された音声に対して音声認識や音素認識を行う。音声処理技術については公知の技術を利用する。
【００１１】
表示部１０３は、液晶ディスプレイ等の表示装置から構成され、画像や文字等により構成される各種の情報を表示する。なお、表示部１０３としてタッチパネル式の表示装置を用いてもよく、その場合、表示部１０３はＧＵＩ入力部としての機能（各種の指示を本システムに入力する機能）をも有することになる。
【００１２】
記憶部１０４は、各種の情報を保存するためのハードディスクドライブ装置や、情報処理システムに各種の情報を提供するためのＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体等により構成されている。またこのハードディスクドライブ装置や記憶媒体には、各種のアプリケーションプログラム、ユーザインタフェース制御プログラム、そして各プログラムを実行する際に必要な各種のデータ等が記憶されており、これらは後段の制御部１０６の制御により、本システムに読み込まれる。
【００１３】
画像処理部１０５は、画像データを処理する。例えば、後段の制御部１０６の制御により指示された画像に基づいてアイコン画像を生成するといった処理を行う。制御部１０６はワークメモリやＣＰＵ、ＭＰＵ等により構成されており、記憶部１０４に記憶されたプログラムやデータを読み出して各種の処理を実行する。
【００１４】
アイコン辞書１０７は、アイコン画像と音声データを対応付けて格納する。シソーラス１０８は、単語の上位／下位関係、部分／全体関係、同義関係、類義関係などによって単語を分類し、体系付けた辞書である。
【００１５】
以下では、本実施形態において、ある音声に対応するアイコン画像を生成する例を、図２を用いて説明する。ユーザは、「運動会」という音声のアイコンにしたい画像２０１が表示された状態で、音声２０２を入力（「運動会」と発声）する。これにより画像処理部１０５は画像２０１に基づいてアイコン画像２０３を生成し、入力音声２０２の音声データとアイコン画像２０３を対応付けてアイコン辞書１０７に登録する。
【００１６】
上記のように、ある音声に対応したアイコンを生成する方法を、図３のフローチャートを用いて説明する。ステップＳ３０１においては、ユーザの指示に従って画像を表示する。音声入力があれば（ステップＳ３０２にてＹｅｓ）、画像処理部１０５にて表示された画像に基づいてアイコン画像を生成する（ステップＳ３０３）。上記画像処理については、既存の画像処理技術を利用する。続いて、生成したアイコン画像を上記ステップＳ３０２にて入力された音声のアイコンとして登録する（ステップＳ３０４）。上記アイコンの登録データは、ユーザが後から修正できるように、ユーザによる編集を可能にしてもよい。
【００１７】
続いて、本実施形態において、音声アノテーションが付与された画像を表示する際に、付与された音声を示すアイコンを併せて表示する例を、図４を用いて説明する。ユーザが画像４０１に対し、音声アノテーション４０２を付与（「運動会」と発声）すると、音声処理部１０２は、最も類似度の高い音声を検索し、最も類似度の高い音声に対応付けられたアイコンを割り当てる。４０３のように、画像４０１をアイコン画像２０３と併せて表示することで、ユーザは「運動会」という音声アノテーションが付与されていることを容易に識別できるようになる。
【００１８】
ここで、類似度の高い音声がなかった場合には表示を行うのではなくアイコン画像の生成を行うように構成することも可能であり、これをユーザに問い合わせるように構成することも可能である。
【００１９】
上記のように、音声アノテーションが付与された画像を表示する際に、付与された音声を示すアイコンを併せて表示する方法を、図５のフローチャートを用いて説明する。ステップＳ５０１においては、ユーザの指示に従って画像を表示する。
【００２０】
音声入力があれば（ステップＳ５０２にてＹｅｓ）、入力された音声を音声処理部１０２にて音声認識する（ステップＳ５０３）。この際、アイコン辞書１０７に登録されている語彙を認識対象語彙とする。上記音声認識処理については既存の技術を利用する。続いて、音声認識結果で得られた音声に対応付けられたアイコンを、割り当てるアイコン画像に決定する（ステップＳ５０４）。
【００２１】
尚、ステップＳ５０３において、大語彙を受け付ける音声認識を行う（認識対象をアイコン辞書１０７に登録されている語彙に限らない）場合は、各々の音素列のマッチングをとり、類似度の最も高い音声に対応付けられたアイコンを選択する。音素列同士の類似度を計算する方法は、文字列マッチング等、既存の手法を利用する。
【００２２】
上記アイコンの対応付けは、ユーザが後から修正できるように、ユーザによる編集を可能にしてもよい。
【００２３】
以上のように、第１の実施形態によれば、ユーザは音声入力によりアイコン画像を作成することができ、また画像にどのような音声アノテーションが付与されているかをアイコンにより識別することができる。
【００２４】
（第２の実施形態）
続いて、本発明に係る情報処理方法の第２の実施形態について説明する。前述した第１の実施形態では、入力された音声を音声処理部１０２にて音声認識する例を示した。本実施形態では、音声処理部１０２にて音素認識する例を示す。
【００２５】
図４において、入力音声４０２を音素認識し、音素列を得る。アイコン辞書１０７に登録されている音声の中から上記音素認識結果と最も類似度の高い音素列をもつ音声を検索し、その音声データに対応付けられたアイコンを割り当てる。音素列同士の類似度を計算する方法は、文字列マッチング等、既存の手法を利用する。
【００２６】
以上のように、第２の実施形態によれば、第１の実施形態と同様に、ユーザは、画像にどのような音声アノテーションが付与されているかをアイコンにより識別することができる。
【００２７】
（第３の実施形態）
続いて、本発明に係る情報処理方法の第３の実施形態について説明する。本実施形態では、図５のステップＳ５０３にて最も類似度の高い音声を検索する際に、シソーラス１０８を利用する。
【００２８】
第１の実施形態および第２の実施形態においては、「玉入れ」という音声アノテーションを付与した場合、アイコン辞書１０７に「玉入れ」が登録されていないので、結果としてユーザが期待するアイコンとは違うものが割り当てられる。本実施形態では、シソーラス１０８を用いて、「玉入れ」（「運動会」の下位語）や「体育祭」（「運動会」の類義語）等、アイコン辞書１０７に登録されている語彙の類義語や下位語に相当する音声が入力された場合、アイコン辞書１０７に登録されている音声（前述の例で「玉入れ」や「体育祭」が入力された場合は「運動会」）に対応付けられたアイコンで表示することが可能になる。
【００２９】
以下では、その方法について説明する。まず、アイコンを生成する方法を、図６を例に挙げて説明する。図６において、画像２０１からアイコン画像２０３を生成する方法は、図２に示した第１実施形態と同様である。本実施形態では、更に、音声入力２０２に対し、音声処理部１０２にて大語彙を受け付ける音声認識を行う。続いてシソーラス１０８の中から、前記音声認識結果と最も類似度の高い単語を検索し、対応付ける（マッピング）。類似度を計算する方法は、文字列マッチング等、既存の手法を利用する。
【００３０】
上記アイコンの登録データは、ユーザが後から修正できるように、ユーザによる編集を可能にしてもよい。
【００３１】
続いて、音声入力に応じてアイコンを割り当てる方法を、図７に例に挙げて説明する。入力された音声７０２に対し、音声処理部１０２にて音声認識を行う。この際、シソーラス１０８のうち、アイコン辞書１０７に登録されている語彙と、その類義語、下位語を認識対象語彙とする（前述の通り、アイコン辞書１０７に登録されている音声は、アイコン作成時にシソーラス１０８にマッピングされている）。
【００３２】
続いて、認識結果がアイコン辞書１０７に登録されているかどうかをチェックする。認識結果がアイコン辞書１０７に登録されていれば、認識結果に対応付けられたアイコンを選択する。
【００３３】
認識結果がアイコン辞書１０７に登録されていなければ、認識結果の類義語を取得し、認識結果の類義語がアイコン辞書１０７に登録されているかどうかをチェックする。認識結果の類義語がアイコン辞書１０７に登録されていれば、認識結果の類義語に対応付けられたアイコンを選択する。
【００３４】
認識結果の類義語がない場合、あるいは、認識結果の類義語がアイコン辞書１０７に登録されていない場合は、認識結果の上位語を取得し、認識結果の上位語がアイコン辞書１０７に登録されているかどうかをチェックする。認識結果の上位語がアイコン辞書１０７に登録されていれば、認識結果の上位語に対応付けられたアイコンを選択する。
【００３５】
上記アイコンの対応付けは、ユーザが後から修正できるように、ユーザによる編集を可能にしてもよい。
【００３６】
以上のように、第３の実施形態によれば、アイコンに対応付けた音声の類義語や下位語を考慮してアイコンの選択を行うので、ユーザにとって、より自由度の高いインタフェースを提供できる。
【００３７】
（第４の実施形態）
上記実施形態では、音声の比較を行う場合に音声認識結果を比較する構成の例をあげて説明したが本発明はこれに限られるものではなく、音声情報として比較するよう構成しても構わない。音声情報の比較については既存の技術を用いればよい。
【００３８】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００３９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４０】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００４１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４２】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００４３】
【図１】本発明の第１の実施形態における情報処理方法のモジュール構成を示すブロック図である。
【図２】本発明の第１の実施形態に係るアイコン作成の例を説明するための図である。
【図３】本発明の第１の実施形態に係るアイコン作成の方法を説明するためのフローチャートである。
【図４】本発明の第１の実施形態に係る音声入力に応じたアイコン選択の例を説明するための図である。
【図５】本発明の第１の実施形態に係る音声入力に応じたアイコン選択の方法を説明するためのフローチャートである。
【図６】本発明の第３の実施形態に係るアイコン作成の例を説明するための図である。
【図７】本発明の第３の実施形態に係る音声入力に応じたアイコン選択の例を説明するための図である。
【符号の説明】
【００４４】
１０１  音声入力部
１０２  音声処理部
１０３  表示部
１０４  記憶部
１０５  画像処理部
１０６  制御部
１０７  アイコン辞書
１０８  シソーラス
【図１】
2006185306.tif 000003
【図２】
2006185306.tif 000004
【図３】
2006185306.tif 000005
【図４】
2006185306.tif 000006
【図５】
2006185306.tif 000007
【図６】
2006185306.tif 000008
【図７】
2006185306.tif 000009