(57)【要約】【課題】  音声アノテーション自動付与によってユーザが望まない音声アノテーションを付与してしまうという危険性を減らすとともに、適当なタイミングでユーザが音声アノテーションを付与するようユーザをサポートすることを目的とする。【解決手段】  入力されたデータに対し、音声情報を自動的に付与するか否かのモードが音声アノテーションを自動的に付与するモードであることを示す場合であっても、所定の条件が満たされる場合には、前記モード情報を、音声アノテーションを自動的に付与しないモードに変更する。【選択図】  図３
2006186553.tif 000002
【特許請求の範囲】
【請求項１】
データを取得する取得工程と、
データに対して音声情報保持部に保持された音声情報を自動的に付与するか否かに関するモード情報を保持するモード情報保持部を参照してモードを確認する確認工程と、
前記モード情報が自動的に付与するモードであることを示す場合であっても、所定の条件が満たされる場合には、前記モード情報を自動的に付与するモードではなくすよう前記モード情報を変更する変更工程とを有することを特徴とする情報処理方法。
【請求項２】
前記取得工程によりデータを取得した際に位置情報を取得する位置情報取得工程を更に有し、
前記所定の条件は、前記位置情報と、過去に取得したデータの中で時間的に近いデータに関連付けられた位置情報とを比較した結果が、位置情報が所定の距離以上離れていることを示すことであることを特徴とする請求項１記載の音声情報処理方法。
【請求項３】
前記取得工程によりデータを取得した際に時刻情報を取得する時刻情報取得工程を更に有し、
前記所定の条件は、前記時刻情報と、過去に取得したデータの中で時間的に近いデータに関連付けられた時刻情報とを比較した結果が、時刻情報が所定の時間以上離れていることを示すことであることを特徴とする請求項１記載の音声情報処理方法。
【請求項４】
音声データを自動的に付与するモードの有効期限を設定する設定工程を更に有し、
前記所定の条件は、前記取得工程でデータを取得した際に、前記有効期限が過ぎていた場合に満たされることを特徴とする請求項１記載の音声情報処理方法。
【請求項５】
前記変更工程によって前記モード情報を変更した場合にその旨をユーザに通知する通知工程を更に有することを特徴とする請求項１記載の音声情報処理方法。
【請求項６】
データを取得する取得部と、
ユーザが発声した音声情報を取得する音声取得部と、
前記音声取得部で取得した音声情報を前記取得部で取得したデータと関連付けて記憶する記憶部を有する音声情報処理方法であって、
前記取得部でデータを取得した際に、所定の条件が満たされる場合には、前記データに対して音声情報を付与するようユーザに対して通知する通知工程を有したことを特徴とする音声情報処理方法。
【請求項７】
前記取得部によりデータを取得した際に位置情報を取得する位置情報取得工程を更に有し、
前記所定の条件は、前記位置情報と、過去に取得したデータの中で時間的に近いデータに関連付けられた位置情報とを比較した結果が、位置情報が所定の距離以上離れていることを示すことであることを特徴とする請求項６記載の音声情報処理方法。
【請求項８】
前記取得部によりデータを取得した際に時刻情報を取得する時刻情報取得工程を更に有し、
前記所定の条件は、前記時刻情報と、過去に取得したデータの中で時間的に近いデータに関連付けられた時刻情報とを比較した結果が、時刻情報が所定の時間以上離れていることを示すことであることを特徴とする請求項６記載の音声情報処理方法。
【請求項９】
音声データを自動的に付与するモードの有効期限を設定する設定工程を更に有し、
前記所定の条件は、前記取得工程でデータを取得した際に、前記有効期限が過ぎていた場合に満たされることを特徴とする請求項６記載の音声情報処理方法。
【請求項１０】
前記取得部は撮像することで画像データを取得し、
前記通知工程は、前記撮像のパラメータが所定の条件を満たす場合に、前記画像データに対して音声情報を付与するようユーザに対して通知することを特徴とする請求項６記載の音声情報処理方法。
【請求項１１】
取得したデータに対し、音声情報保持部に保持された音声情報を自動的に付与するか否かに関するモード情報を保持するモード情報保持手段と、
前記モード情報保持部のモード情報が自動的に付与するモードであることを示す場合に、取得したデータに対し、前記音声情報保持部に保持された音声情報を付与する付与手段を有する音声情報処理装置であって、
データを取得した際に、前記モード情報が自動的に付与するモードであることを示す場合であっても、所定の条件が満たされる場合には、前記モード情報を、自動的に付与するモードではなくすよう前記モード情報を変換する変換手段を有することを特徴とする情報処理装置。
【請求項１２】
データを取得する取得手段と、
ユーザが発声した音声情報を取得する音声取得手段と、
前記音声取得手段で取得した音声情報を前記取得手段で取得したデータと関連付けて記憶する記憶手段を有する音声情報処理装置であって、
前記取得手段でデータを取得した際に、所定の条件が満たされる場合には、前記データに対して音声情報を付与するようユーザに対して通知する通知手段を有したことを特徴とする音声情報処理装置。
【請求項１３】
請求項１乃至１０に記載の音声情報処理方法をコンピュータに実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データに音声情報を付与する音声情報処理方法に関する。
【背景技術】
【０００２】
デジタル情報のマルチメディア化が進展し、テキストだけでなく、静止画、動画をはじめさまざまな種類のデジタルデータが情報機器の中に蓄えられるようになった。データをデジタル機器の中に蓄えるだけでなく、その有効活用を促進する手段として、蓄えるデジタルデータに対して、音声でアノテーションを付与し、これをメタデータとして、その後の検索などに利用するという技術が広まりつつある。このような音声のアノテーションを音声アノテーションと呼ぶ。例えば、デジタルカメラでは、撮影した写真に対して、マイクを通じて入力した音声をアノテーションとして付与できるものが数多く商品化されている。この音声アノテーションに音声認識技術を適用し、ＰＣ上にアップロードして蓄積した写真から、音声認識結果を手がかりに所望の写真を検索する、といったことが可能になりつつある。
【０００３】
音声アノテーションの付与は、デジタル機器上の所定の操作によってユーザが能動的に行う形態が一般的である。そのため、音声入力の手間が問題になる。これに対し、特許文献１では、一旦アノテーションを付与したら、その後撮影する写真に同じアノテーションを自動的に付与するようにしている。特許文献２は、入力された映像を記録する際、その直前に記録した画像に付加されている時間データと、新しく記録する画像に付加する時間データとを比較し、あるしきい値以上に近接している場合は、直前に記録されている画像と同じ項目データを付加し、しきい値に満たない場合は、異なった項目データを付加して記録するようにしている。
【特許文献１】特開２００３−２２４７５０号公報
【特許文献２】特開平７−１２１５６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
音声アノテーションの付与は、音声入力の手間が問題になる。これに対し、特許文献１では、一旦音声アノテーションを付与したら、その後撮影する写真に同じ音声アノテーションを付与するようにしている。しかし、これは、ユーザが望まない写真に望まない音声アノテーションを付与してしまうという危険性がある。従って、自動的に音声アノテーションを付与するモードを、適当なタイミングで解除する何らかの方法が必要となる。
【０００５】
これに対し、特許文献２は、入力された映像を記録する際、その直前に記録した画像に付加されている時間データと、新しく記録する画像に付加する時間データとを比較し、あるしきい値以上に近接している場合は、直前に記録されている画像と同じ項目データを付加し、しきい値に満たない場合は、異なった項目データを付加して記録するようにしている。すなわち、直前の記録データとの時間間隔を手がかりに、直前と同じアノテーションを付与するか否かを判定するようにしている。しかし、時間間隔が所定値以上に離れている場合、ユーザに明示的に意図するアノテーションを付与するように求めていないので、ユーザが望まないアノテーションを付与してしまうという危険性がある。また、カメラで撮影した写真の場合、時間間隔が近くても、撮影シーンが全くことなる場合があり、そうしたケースに対応できないという問題があった。
【０００６】
一方、音声アノテーションを付与するという作業自体をユーザが忘れてしまい、多くの撮影された写真が音声アノテーションのない状態で蓄積され、その後の検索が困難になり、蓄積後の有効活用がスムーズにいかなくなる、
という問題があった。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明の音声情報処理方法は、データを取得する取得工程と、データに対して音声情報保持部に保持された音声情報を自動的に付与するか否かに関するモード情報を保持するモード情報保持部を参照してモードを確認する確認工程と、前記モード情報が自動的に付与するモードであることを示す場合であっても、所定の条件が満たされる場合には、前記モード情報を自動的に付与するモードではなくすよう前記モード情報を変更する変更工程とを有することを特徴とする。
【０００８】
また、本発明の音声情報処理方法は、データを取得する取得部と、ユーザが発声した音声情報を取得する音声取得部と、前記音声取得部で取得した音声情報を前記取得部で取得したデータと関連付けて記憶する記憶部を有する音声情報処理方法であって、前記取得部でデータを取得した際に、所定の条件が満たされる場合には、前記データに対して音声情報を付与するようユーザに対して通知する通知工程を有したことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、音声アノテーション自動付与によってユーザが望まない音声アノテーションを付与してしまうという危険性が減るという効果が得られる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【実施例１】
【００１１】
本実施例では、データとしてデジタルカメラで撮像した写真画像を、音声情報として該写真画像に関連付ける音声アノテーションを例にあげて説明する。図１は、本実施例に係るデジタルカメラにおける処理のブロック図である。同図において、１０１は撮像部である。１０２は画像保持部である。１０３は音声入力部である。１０４は音声情報を保持する音声データ保持部である。１０５は音声アノテーション付与部である。１０６はモード情報保持部であり、撮影した画像に、自動で音声アノテーションを付与するか否かのモード情報を保持する。１０７は表示部である。１０８は音声出力部である。１０９はメッセージ生成部である。１１０は判定部である。１１１は位置情報管理部である。
【００１２】
図２は、本実施例に係るデジタルカメラのハードウエア構成を示す構成図である。同図において、２０１はＣＰＵであり後述するデジタルカメラの動作手順を実現するプログラムに従って動作する。２０２はＲＡＭであり上記プログラムの動作に必要な記憶領域を提供する。２０３はＲＯＭであり上記プログラムの動作手順を実現するプログラムなどを保持する。２０４はＬＣＤである。２０５はＣＣＤであり撮像を行う。２０６はＡ／Ｄコンバータであり入力音声をデジタル信号に変換する。２０７はマイクである。２０８はＧＰＳセンサであり現在のカメラの位置情報を取得する。２０９はメモリカードであり撮影した画像や音声情報を保持する。２１０はバスである。
【００１３】
では、図３のフローチャートに沿って、本実施例の動作を説明する。図３は、ユーザが、デジタルカメラを用いて写真を撮影した直後、すなわち、シャッター押下直後の処理を示したものである。まず、モード情報保持部１０６により、現在、音声アノテーション自動付与モードであるか否かをチェックする（Ｓ３０１）。自動付与モードであった場合、位置情報の差分を計算する。位置情報の差分とは、過去最も最近手動で音声アノテーションを付与した写真を撮影した時の位置情報と、現在の位置情報の差分である。位置情報は、ＧＰＳセンサ２０８により取得可能であり、位置情報管理部１１１が管理している。この位置情報の差分が所定値以上に大きい場合、例えば、両者間の距離が所定値以上離れている場合は（Ｓ３０２）、現在の音声アノテーション自動付与モードを解除し（Ｓ３０３）、解除した旨をユーザに通知する（Ｓ３０４）。メッセージは例えば、「音声アノテーション自動付与モードは解除されています。この写真に音声アノテーションをつける場合は、手動操作で行ってください」のようになる。これは画面表示でも音声メッセージでもよい。位置情報の差分が所定値以下であれば、音声データ保持部１０４に保持された音声情報を、今撮影した写真に自動的に付与する。
【００１４】
一方、音声アノテーション自動付与モードでなかった場合、やはり位置情報の差分をチェックし（Ｓ３０５）、位置情報の差分が所定値以上に大きい場合、音声アノテーションの付与をユーザに勧める旨のメッセージを、ユーザに通知する（Ｓ３０６）。メッセージは例えば、「音声アノテーションの付与をお勧めします」のようになる。これは画面表示でも音声メッセージでもよい。
【００１５】
位置情報の差分が大きいということは、前回写真に音声アノテーションを付与した時から、撮影状況が大きく変化していると考えられ、前回付与した音声アノテーションは、今取った写真を後に検索などするときの手がかりとしてはふさわしくない。従って、自動付与モードで前回と同じものを自動でそのまま付与するのは望ましくないため、これを解除し、自動付与モードでない場合は、新規に別の音声アノテーションを付与するようユーザに促すことで、より適切な音声アノテーションを付与することが可能になる。
【実施例２】
【００１６】
上記実施例では、音声アノテーション自動付与モード解除や音声アノテーション付与プロンプトメッセージ通知を、位置情報の差分を手がかりに行っていた。これに対し、時刻情報の差分を用いてもよい。例えば、音声アノテーション自動付与モードにおいて、過去最も近い時に手動で音声アノテーションを付与した写真を撮影した時の時刻と、現在の時刻との差分を計算し、その経過時間が所定値以上であれば、現在の音声アノテーション自動付与モードを解除し、解除した旨をユーザに通知する。また、音声アノテーション自動付与モードでない場合、やはり時刻情報の差分をチェックし、差分が所定値以上に大きい場合、音声アノテーションの付与をユーザに勧める旨のメッセージを、ユーザに通知するようにしてもよい。
【実施例３】
【００１７】
上記実施例では、音声アノテーション自動付与モードにおいて、音声アノテーション自動付与モード解除を、位置情報や時刻情報の差分を手がかりに行っていた。これに対し、音声アノテーション自動付与モード設定時に、その音声アノテーションの有効期限を設定し、その有効期限を過ぎたら、音声アノテーション自動付与モードを解除し、解除した旨をユーザに通知するようにしてもよい。有効期限の設定は、例えば、図４のようなユーザインタフェースで、所定のボタンを押下しながら、ＬＣＤ上に表示された設定項目を選択し、設定値を変更するという手順で行う。
【００１８】
有効期限を設定することにより、例えば旅行の日程にあわせ、ある場所を観光している間だけその場所に関連する音声アノテーションを付与するといった使い方が可能となる。
【実施例４】
【００１９】
上記実施例では、音声アノテーション自動付与モードでない場合において、音声アノテーション付与プロンプトメッセージ通知を、位置情報や時刻情報の差分を手がかりに行っていた。これに対し、写真を撮影したときの撮影モード情報を手がかりにしてもよい。例えば、焦点距離が遠い場合に、音声アノテーション付与プロンプトメッセージを通知するようにする。焦点距離が遠い場合は、風景を撮った可能性が高いので、音声アノテーションによってその風景の説明を付与したほうが望ましいと考えられるからである。
【実施例５】
【００２０】
上記実施例では、図３に示す一連の処理に含まれる音声アノテーション自動付与モード解除判定を、シャッター押下時に行うようにしていたが、この限りではない。例えば、図３の処理を、所定時間間隔で自動的に起動し、任意の時点で、音声アノテーション自動付与モード解除判定を行い、解除する場合はそのメッセージをユーザに通知するようにしてもよい。
【実施例６】
【００２１】
上記実施例では、音声アノテーション自動付与モード解除のメッセージ、音声アノテーション付与をユーザに促すメッセージを、自然言語表現で画面表示または音声にて通知するようにしていたが、画面上に所定のアイコンを表示するようにしてもよい。
【実施例７】
【００２２】
上記実施例においては、プログラムをＲＯＭに保持する場合について説明したが、これに限定されるものではなく、任意の記憶媒体を用いて実現してもよい。また、同様の動作をする回路で実現してもよい。
【００２３】
なお、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００２４】
プログラムコードを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００２５】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００２６】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施例１に係るデジタルカメラのブロック図である。
【図２】本発明の実施例１に係るデジタルカメラのハードウエア構成図ある。
【図３】本発明の実施例１に係るデジタルカメラの動作を説明するフローチャートである。
【図４】本発明の実施例３に係るデジタルカメラにおいて、音声アノテーション自動付与モード設定時に、その音声アノテーションの有効期限を設定するためのユーザインタフェースの例である。
【図１】
2006186553.tif 000003
【図２】
2006186553.tif 000004
【図３】
2006186553.tif 000005
【図４】
2006186553.tif 000006