(57)【要約】  画像捕捉期間に音声メタデータを記憶する方法であって、場面のデジタル静止画像、又は場面のデジタルビデオ画像を捕捉し、かつ音声信号を記録する画像捕捉装置を用意するステップと、装置が電源オンモードの間に音声信号を連続的に記録するステップと、画像捕捉装置による静止画像の捕捉、又はビデオ画像の捕捉を開始し、静止画像、又はビデオ画像の捕捉前、捕捉中、及び捕捉終了後の時間に生じた音声信号をメタデータとして記憶するステップとを含む方法。【選択図】図１
2010536239.tif 000002
【特許請求の範囲】
【請求項１】
画像捕捉期間に音声メタデータを記録する方法であって、
ａ）場面のデジタル静止画像、又は場面のデジタルビデオ画像を捕捉し、かつ音声信号を記録する画像捕捉装置を用意するステップと、
ｂ）前記装置が電源オンモードの間に前記音声信号を連続的に記録するステップと、
ｃ）前記画像捕捉装置による静止画像の捕捉、又はビデオ画像の捕捉を開始し、前記静止画像、又は前記ビデオ画像の前記捕捉前、捕捉中、及び捕捉終了後の時間に生じた音声信号をメタデータとして記憶するステップと、
を含むことを特徴とする方法。
【請求項２】
前記画像捕捉装置に少なくとも１つのマイクを用意し、前記記録されたメタデータ音声信号をデジタル化するように、前記マイクによって捕捉された音声信号をデジタル化するステップをさらに含む請求項１に記載の方法。
【請求項３】
前記音声の情報は、移動窓メモリバッファに一時的に記憶される請求項１に記載の方法。
【請求項４】
ビデオ画像を捕捉する間に捕捉された前記音声信号に、メモリに記憶された前記音声信号と、前記ビデオ画像の前記捕捉の終了後の所定の時間の間に生じた音声信号とを包括することをさらに含む請求項１に記載の方法。
【請求項５】
音声バッファのためのデフォルトの持続期間を用意するステップをさらに含む請求項１に記載の方法。
【請求項６】
ユーザ選択に従って設定される音声バッファの持続期間を調整するステップをさらに含む請求項１に記載の方法。
【請求項７】
前記音声信号の分析に基づいて、プリキャプチャ音声バッファの持続期間と、ポストキャプチャ音声バッファの持続期間とを決定する自動モードをさらに用意する請求項６に記載の方法。
【請求項８】
前記音声信号は、全体としてメモリに記憶され、メモリのアドレスは、前記画像データに関連付けられた前記音声メタデータの開始と終了とをマークする請求項１に記載の方法。
【請求項９】
前記画像データに関連付けられた前記音声メタデータの開始と終了とのためのメモリのアドレスの適合を包含するステップをさらに含む請求項７に記載の方法。
【請求項１０】
デジタル画像と、デジタル音声メタデータとを有する捕捉画像に関連付けられる画像ファイルを用意するステップをさらに含む請求項２に記載の方法。
【請求項１１】
画像ファイルを記憶するリムーバルメモリカードを用意するステップをさらに含む請求項４に記載の方法。
【請求項１２】
前記音声メタデータを分析して、前記捕捉した静止画像又はビデオ画像の意味理解を用意するステップをさらに含む請求項４に記載の方法。
【請求項１３】
前記音声メタデータの文書テキストを用意するステップをさらに含む請求項６に記載の方法。
【請求項１４】
前記音声メタデータに生じる周囲の音の説明を用意するステップをさらに含む請求項６に記載の方法。
【請求項１５】
前記音声メタデータの話者の身元を用意するステップをさらに含む請求項６に記載の方法。
【請求項１６】
前記音声メタデータの前記分析は、前記捕捉装置内部で起こる請求項６に記載の方法。
【請求項１７】
前記音声メタデータの前記分析は、前記捕捉装置以外の計算装置で起こる請求項６に記載の方法。
【請求項１８】
前記分析から取得される追加のメタデータによる、存在する画像ファイルの前記メタデータの更新をさらに含む請求項６に記載の方法。
【請求項１９】
画像捕捉の前に音声情報を記憶するステップをさらに含む請求項１に記載の方法。
【請求項２０】
記憶された音声を結合して、音声クリップを形成するステップをさらに含む請求項１に記載の方法。
【請求項２１】
前記静止画像、又は前記ビデオ画像の前記捕捉前、捕捉中、及び捕捉終了後の前記時間は、調整可能である請求項１に記載の方法。
【請求項２２】
前記音声クリップを使用して、メディアの検索／情報検索に使用するために、前記音声情報の意味理解を用意するステップをさらに含む請求項２０に記載の方法。
【請求項２３】
バースト捕捉シーケンスにおけるそれぞれの静止画像のための複数の音声バッファによるバースト捕捉モードを用意するステップをさらに含む請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理の分野に関する。具体的には、関連するデジタル静止画像、又はデジタルビデオ画像の画像ファイルに組み込まれる音声メタデータに関する。
【背景技術】
【０００２】
デジタルカメラは、ビデオ捕捉機能を有することが多い。さらに、デジタルカメラは、画像捕捉データに音声で注釈をつける機能を有することがある。音声波形は、エンコードしたデジタル音声サンプルとして記憶され、デジタル静止画像ファイルのメタデータのタグなどのファイルフォーマットの適当なコンテナに格納され、又はビデオファイル又はビデオストリームのエンコードした単数又は複数の単なる音声レイヤとして格納されることが多い。
【０００３】
家電業界には、画像コンテンツと音声とを結合させた多くの発明がある。例えば、米国特許６４９６６５６Ｂ１においてイーストマンコダック社は、ハードコピー印刷に音声波形を組み込む方法を教示する。コダック社の他の米国特許６９９３１９６Ｂ２は、画像ファイルの終端部に非標準のメタデータとして音声データを記憶する方法を教示する。
【０００４】
Virage社は、米国特許６８３３８６５という１つの特許を有する。この特許は、組み込まれたメタデータをリアルタイムに抽出するシステムであって、視聴覚データストリームに音声信号が存在する間は、場面又は音声と関係付けることができるシステムについて教示する。処理は、捕捉と平行して実行できるか、又は捕捉と連続して実行できる。
【０００５】
米国特許７１１３２１９Ｂ２は、ヒューレット・パッカードの特許であり、この特許は、音声を捕捉するボタン上の第１の位置と、画像を捕捉する第２の位置とを使用することを教示する。
【０００６】
このような音声情報は、再生目的に画像ファイル、又はビデオファイルに備わっているが、音声は、後にファイルを観視するときの再生音声としての目的以外に約に立たない。捕捉時又は捕捉後のいずれかにおける後の理解、組織化、分類、又は検索／情報検索のために、デジタル画像捕捉、又はデジタルビデオ捕捉と同時に起こる音声イベントを自動的に捕捉する機構は、現在のところ存在しない。
【発明の概要】
【課題を解決するための手段】
【０００７】
簡潔に要約すると、本発明に従って、画像捕捉期間に音声メタデータを記録する方法であって、
ａ）場面のデジタル静止画像、又は場面のデジタルビデオ画像を捕捉し、かつ音声信号を記録する画像捕捉装置を用意するステップと、
ｂ）前記装置が電源オンモードの間に前記音声信号をバッファに連続的に記録するステップと、
ｃ）前記画像捕捉装置による静止画像の捕捉、又はビデオ画像の捕捉を開始し、前記静止画像、又は前記ビデオ画像の前記捕捉前、捕捉中、及び捕捉終了後の時間に生じた音声信号をメタデータとして記憶するステップと、
を含む方法が用意される。
【０００８】
本発明は、音声メタデータと画像捕捉とを自動的に関連付ける。さらに本発明は、同時に起こる音声情報の所定のセグメントと、画像、又は画像のビデオシーケンスとを自動的に関連付ける。
【０００９】
「画像捕捉」、「捕捉画像」、「画像データ」として本発明に係るこの明細書に使用される語句は、静止画像捕捉、及びビデオにおける動画捕捉に関係する。必要なときは、用語「静止画像捕捉」、及び「ビデオ捕捉」、又はこれらの変形は、明確に区別できる静止捕捉、又は動作捕捉のシナリオを記述するために使用することになるであろう。
【００１０】
本発明の有利な点は、画像捕捉前、画像捕捉中、及び画像捕捉後に捕捉され、記録された音声情報は、場面の前後関係と、捕捉画像の意味理解（semantic  understanding）を分析できる有用なメタデータとを用意するという事実に起因する。本発明に係る処理は、絶えず更新される捕捉画像の移動窓（moving  window）に関連付けられ、ボタン又はスイッチの作動により音声捕捉を能動的に開始する必要がない自由度をユーザに与える。ユーザに要求される物理的な動作は、画像捕捉イベント、又はビデオ捕捉イベントを開始することである。音声情報の移動窓の管理と、単数又は複数の画像への音声信号の関連付けは、装置の電子機器によって自動的に操作され、ユーザにトランスペアレントである。
【００１１】
本発明のこれらの又は他の態様、目的、特徴、及び有利な点は、以下の実施形態の詳細な説明と、特許請求の範囲とを精査し、添付図面を参照することによって、より明確に理解され、評価されることになるであろう。
【００１２】
本発明は、メモリに記憶された電源オンモードにおける音声の連続的な捕捉により、画像データの意味理解に使用できるより多くの情報を捕捉が可能であるという効果があること、及び画像データを観視する間の音声の再生によるユーザエクスペリエンスの増大という有利な点を有する。画像を捕捉する時に、静止画像及びビデオ画像の捕捉前、捕捉中、及び捕捉後の時間からの音声サンプルは、後の意味分析のために画像ファイルにメタデータとして自動的に記憶される。
【図面の簡単な説明】
【００１３】
【図１ａ】本発明に係る実施形態を表すブロックを概略的に示す図である。
【図１ｂ】画像データと音声データとを含むマルチメディアファイルを示す図である。
【図２ａ】環境において音を生じるカメラユーザ、被写体、場面、及び他の対象を含む写真環境をポンチ絵風に示す図である。
【図２ｂ】本発明の好適な実施形態を使用して、標準的な使用事例において起こるハイレベルなイベントを説明するフローを概略的に示す図である。
【図３ａ】静止画像のシナリオにオーバラップする経時変化信号としてデジタル音声信号波形を表す細部を概略的に示す図である。
【図３ｂ】ビデオ捕捉のシナリオ特有なデジタル音声信号波形を表す細部を概略的に示す図である。
【図４】図１に示す、記録された音声信号を分析する分析処理のブロックを概略的に示す図である。
【発明を実施するための形態】
【００１４】
以下の説明において、本発明は、本発明の好適な実施形態においてデジタルカメラ装置として説明されることになる。当業者は、他の実施形態においても均等な発明が存在できることを直ちに理解するであろう。
【００１５】
図１ａにおいて、デジタルカメラ装置１０の概略的な回路図を示す。デジタルカメラ装置１０は、画像捕捉用のカメラレンズ及びカメラセンサシステム１５を含む。画像データ４５（図１ｂ参照）は、個々の静止画像、又はビデオとしての一連の画像とすることができる。これらの画像データは、専用の画像アナログデジタルコンバータ２０によって量子化され、コンピュータのＣＰＵ２５は、画像データ４５を処理し、デジタルマルチメディアファイル４０としてエンコードする。デジタルマルチメディアファイル４０は、内部メモリ３０、又はリムーバルメモリモジュール３５に記憶される。また、内部メモリ３０は、バッファリングされたプリキャプチャ（pre-capture）音声信号５５ａと、バッファリングされたポストキャプチャ（post-capture）音声信号５５ｃと、カメラの設定及びユーザ選択６０とのために十分な記憶スペースを用意する。さらに、デジタルカメラ装置１０は、マイク６５を含み、場面の音を記録するか、又は他の目的でスピーチを記録する。マイク６５が生成する電気信号は、専用の音声アナログデジタルコンバータ７０によって、デジタル化される。デジタル音声信号１７５は、バッファリングされたプリキャプチャ音声信号５５ａ、及びバッファリングされたポストキャプチャ音声信号５５ｃとして、内部メモリ３０に記憶される。
【００１６】
図１ｂにおいて、デジタルマルチメディアファイル４０を包含するリムーバルメモリモジュール３５（ＳＤメモリカード、又はメモリスティックなど）を概略的に示す。ファイルは、上述の画像データ４５と、添付する音声クリップ５０とを包含する。
【００１７】
図１ａにおいて説明される様々な部品の操作は、図２ａに表される好適な実施形態の一般的な使用シナリオによって、より良く理解することができる。図２ａは、代表的な写真環境を表す。図２ａを参照すると、デジタルカメラ装置１０を有するカメラマン９０は、環境８５において、被写体１００と言葉で情報をやりとりする。環境８５は、デジタルカメラ装置１０に可視される物体、又は可聴される物体がある空間として規定される。カメラマン９０の発声９５及び被写体１００の発声１０５はそれぞれ、会話の一部である可能性があり、若しくは談話、又は注釈などで被写体１００、又はカメラマン９０の何れか一方から生じる一方向のものである可能性がある。写真の場面１３０は、デジタルカメラ装置１０の光学的な視野として規定される。環境８５内の場面に関係する他の物体１１０が生じる、場面に関係する周囲の音１１５が他にある可能性がある。図２の場合には、場面に関係する物体１１０は、写真の場面１３０内にいるミュージシャンである。飛行機として示される場面に無関係な物体１２０からの場面に無関係な周囲の音１２５は、マイク６５に聞こえるので、デジタルカメラ装置１０の場面の環境８５の一部であるが、写真の場面１３０の一部ではない。さらに図２では、マイク６５に入る環境内の全ての音源の合計として規定される集合音（aggregate  sound）１３５が図示される。
【００１８】
図２ｂにおいて、図２ａに示す写真の場面１３０の静止画像の捕捉を含む一連のイベントのフローを概略的に示す。図２ｂを参照すると、デジタルカメラ装置の電源オン、又は再起動ステップ１４０は、電源を入れること、さもなければスリープモード、又はスタンバイモードからの再起動によるデジタルカメラ装置１０の起動を示す。このステップは、重要である。音声信号バッファリングステップ１４５において、デジタルカメラ装置１０は、バッファリングされたプリキャプチャ音声信号５５ａとして、マイク５４が生じたデジタル音声信号１７５（図３ａ参照）の記憶を直ちに開始するからである。音声信号バッファリングステップ１４５によって、画像捕捉イベント１５０の前に、写真の場面１３０、又は環境８５の被写体１００、又は他の者との会話、若しくは説明にカメラマン９０が携わる可能性がある。また同時に上述のように、場面に関係する周囲の音１１５、又は場面に無関係な周囲の音１２５などの、マイク６５が感知する言葉以外の他の音が存在する可能性がある。これらの音は、次に起こる画像捕捉イベント１５０に付加的な状況を追加することができる。なお、音声信号バッファリングステップ１４５において、マイク６５と、音声アナログデジタルコンバータ７０とが、環境８５に生じる集合音１３５を記録することは重要である。画像捕捉イベント１５０において、カメラマン９０は、捕捉ボタン７５（図１ａ参照）を押動する。これによって、写真の場面１３０の画像データの捕捉が開始される。引き続きの音声信号バッファリングステップ１５５において、デジタルカメラ装置１０は、カメラの設定及びユーザ選択６０で特定する追加時間の間、環境８５からの集合信号１３５を記録し続ける。
【００１９】
ここで、図２ｂの概略的なフローにおいて、音声信号バッファリングステップ１４５と、引き続きの音声信号バッファリングステップ１５５との間で、起こることをより詳細に示す。図３ａを参照すると、デジタル音声信号１７５と、関連する時系列１８０とで表される、マイク６５に拾われる集合音１３５が示される。上述のように、音声信号バッファリングステップ１４５において、集合音１３５は、バッファリングされたプリキャプチャ音声信号５５ａとして連続的に記憶される。時系列１８０上の「ｔ＝−Ｎ」のタイムマーカ１８５によって時系列に示されるように、バッファリングされたプリキャプチャ音声信号５５ａは、音声情報をＮ秒記憶する。「ｔ＝−Ｎ」のタイムマーカ１８５は、バッファリングされたプリキャプチャ音声信号５５ａの時間上の開始点を指定する。このバッファリングされたプリキャプチャ音声信号５５ａは、「ｔ＝−Ｎ」のタイムマーカ１８５におけるバッファの終端部から最古のデータをあふれさせ、時系列１８０上の「ｔ0＝０」のタイムマーカ１９０ａにおけるバッファの先端部に現在データを入れる「移動窓」の形式で絶えず更新される。デジタルカメラ装置１０がオンし、環境８５で生じる集合音１３０が聞こえている間、「ｔ0＝０」のタイムマーカ１９０ａは、リアルタイムでの瞬時的な現在を示す。バッファリングされたプリキャプチャ音声信号５５ａは、「ｔ＝−Ｎ」のタイムマーカ１８５から「ｔ0＝０」のタイムマーカ１９０ａに及ぶサンプルのＦＩＦＯ（First  In,  First  Out)ベクトルにおいて絶えず更新される音声の移動窓として考えることができる。
【００２０】
図２ｂを再び参照すると、画像捕捉イベント１５０が起こる（すなわち、カメラマン９０が、捕捉ボタン７５を押動する）と、バッファリングされたプリキャプチャ音声信号５５ａの投入が同時に完了する。「ｔ0＝０」のタイムマーカ１９０ａにおいて現れる画像捕捉イベント１５０の時に、引き続きの音声信号バッファリングステップ１５５は、時系列１８０上の「ｔ＝＋Ｍ」のタイムマーカ１９５で示されるように、ポストキャプチャ音声信号バッファ５５ｃにさらにＭ秒間デジタル音声信号１７５を入れ続ける。静止画像を捕捉する場合、画像捕捉イベント１５０（図３ａ参照）は、時間内に無限小の瞬間を捕捉することが理想的である。しかしながら、実際には画像捕捉は、シャッタの間、すなわちセンサの積分時間に及ぶ。例えば、デジタルカメラ装置の露光時間は、カメラの設定及びユーザ選択６０で、１／２０秒に設定できる。このわずかな瞬間の音声は、「ｔ0＝−Ｎ」のタイムマーカ１８５から「ｔ＝＋Ｍ」のタイムマーカ１９５に及ぶシームレスな経路内に維持される。音声クリップ形成ステップ１５７において、プリキャプチャ音声信号５５ａと、ポストキャプチャ音声信号５５ｃとが結合されて、音声クリップ５０（図３ａ参照）を形成する。
【００２１】
図３ｂにおいて、ビデオ捕捉シナリオに特有な音声信号波形を概略的に示す。ここで、デジタルカメラ装置１０のカメラレンズ及びカメラセンサシステム１５（図１ａ参照）が画像データ４５（図１ｂ参照）をビデオフレームとして記録する間に、集合音１３５（図２ａ参照）が記録される。画像データ４５が捕捉される間、画像捕捉イベント１５０の間にビデオストリームの音声部５５ｂ´として、デジタル音声信号１７５が記録され、そして記憶され続ける。例えば、「ｔ0＝０」のタイムマーカ１９０ａから、画像捕捉イベント１５０が完了した後の「ｔ1＝＋Ｔ」のタイムマーカ１９０ｂに及ぶスパンで示されるように、Ｔ秒追加される。バッファリングされたプリビデオキャプチャ（pre-video-capture）音声信号５５ａ´と、ビデオストリームの音声部５５ｂ´と、バッファリングされたポストビデオキャプチャ（post-video-capture）音声信号５５ｃ´とが結合されて、画像捕捉イベント１５０に関連付けられた音声クリップ５０を形成する。
【００２２】
図２ｂを再び参照すると、ビデオ捕捉の場合、音声クリップ形成ステップ１５７は、バッファリングされたプリビデオキャプチャ音声信号５５ａ´と、ビデオストリームの音声部５５ｂ´と、バッファリングされたポストビデオキャプチャ音声信号５５ｃ´（図３ｂ参照）とを結合する。音声クリップ記憶ステップ１６０は、デジタルマルチメディアファイル４０の一部として音声クリップ５０を記憶する。意味分析ステップ１６５において、音声クリップ５０は、意味分析処理８０（図１ａ参照）によって、さらなる分析を受ける。最終的に、高度ユーザエクスペリエンスステップ１７０において、音声クリップ５０は、高度なユーザエクスペリエンスに使用できる。例えば、音声クリップ５０は、画像データを観視する間、単に再生される。さらに、意味分析ステップ１６５の結果として音声クリップ５０から収集された情報は、新たなメタデータ２０５（図４参照）を構成し、意味ベースのメディア検索と、情報検索とを強化することなどに使用できる。
【００２３】
図４において、意味分析ステップ１６５（図２ｂ参照）の音声データ分析のより詳細なブロックを概略的に示す。本発明の好適な実施形態においては、スピーチをテキストにする操作２００である意味分析処理８０は、音声クリップ５０に存在するスピーチの発声を新たなメタデータ２０５に変換する。音声クリップ５０を分析して、捕捉場所及び捕捉状態を意味理解することを援助し、若しくは物体、又は人物の存在、若しくは物体、又は人物の識別を検出するなどの他の分析が可能である。好適な実施形態において、新たなメタデータ２０５は、認識されたキーワードを形成し、若しくは語句、又は音声の文字列（phonetic  strings）のリストにできる。新たなメタデータ２０５は、ファイルへのメタデータ書き込み操作２１０によって、デジタルマルチメディアファイル４０に関連付けられる。
【００２４】
図３ａ及び３ｂを再び参照すると、バッファリングされたプリキャプチャ音声信号５５ａ（バッファリングされたプリビデオキャプチャ音声信号５５ａ´）と、バッファリングされたポストキャプチャ音声信号５５ｃ（バッファリングされたポストビデオキャプチャ信号音声５５ｃ´）とは、内部メモリ３０に記憶されるが、デフォルト値を有し、カメラの設定及びユーザ選択６０（図１ａ参照）においてユーザが調整可能である。例えば、バッファリングされたプリキャプチャ音声信号５５ａのデフォルトの期間をカメラの設定及びユーザ選択６０においてＮ＝１０秒にプリセットでき、バッファリングされたポストキャプチャ音声信号５５ｃの期間をカメラの設定及びユーザ選択６０においてＭ＝５秒にできる。バッファの期間は任意であり、イベントにおいて事実上必要な時間にユーザが調整することができる。
【００２５】
バーストモード捕捉（burst-mode  capture）の場合に、バッファリングされたポストキャプチャ音声信号５５ｃが音声サンプルを内部にさらに投入する処理の間に、他の捕捉イベント１５０が開始した場合には、内部メモリ３０（図１ａ参照）の複数のバッファがサポート可能である。
【００２６】
内部メモリ３０の記憶能力が適当である場合に、音声クリップ５０を獲得する他の均等な方法は、デジタルカメラ装置１０の内部メモリ３０にデジタル音声信号１７５（図３ａ、３ｂ参照）の全てを記憶することであろう。画像データ４５（図１ｂ参照）の捕捉をユーザが所望した時に、ユーザは、捕捉ボタン７５（図１ａ参照）を押動して、「ｔ0＝０」のタイムマーカ１９０ａに発生する捕捉イベント１５０（図３ａ、３ｂ参照）を開始する。捕捉イベント１５０の「ｔ0＝０」の最初のタイムマーカ１９０ａにおいて、「ｔ0＝０」のタイムマーカの前Ｎ秒の「ｔ＝−Ｎ」のタイムマーカ１８５に位置する時間シフトポインタは、音声クリップ５０の開始を規定し、バッファリングされたポストキャプチャ音声信号５５ｃが終了した時点で、「ｔ＝−Ｎ」のタイムマーカ１８５から「ｔ＝＋Ｍ」のタイムマーカ１９５までの音声サンプルを含むことになるであろう。
【００２７】
画像捕捉イベントの前後の双方の音声を捕捉する時間の長さのプリセットを有することに加えて、デジタル音声信号１７５をリアルタイムに分析して、「中断する」前に、音声の連続性を判定することもまた賢明である。例えば、デジタルカメラ装置１０のコンピュータＣＰＵ２５内部で発生する連続音声分析処理１７（図１ａ参照）は、デジタル音声信号１７５（図３ａ、３ｂ参照）をリアルタイムに分析し、音声クリップの開始部及び終了部の適当な位置を決定できる。例えば、デジタル音声信号１７５において、独り言が話されている場合は、デジタル音声信号１７５の全体を維持するために、バッファリングされたプリキャプチャ音声信号５５ａが長い場合も短い場合も、自動的に調整された「ｔ＝−Ｎ」のタイムマーカ１８５で保存され、バッファリングされたポストキャプチャ音声信号５５ｃが長い場合も短い場合も、自動的に調整された「ｔ＝＋Ｍ」のタイムマーカ１９５で保存されることになる。「固定された」時間では、デジタル音声信号を言葉の途中で中断するのに対して、音声の連続性、又は音量のしきい値に基づいてデジタル音声信号１７５に都合の良い途切れを見付けることにより、システムが、デジタル音声信号１７５を適当にクリップすることが可能である。言い換えれば、所定の時間、デジタル音声信号１７５がしきい値を下回る場合にデジタル音声捕捉が終了することによって、音が重要ではない場合にファイルスペースを確保することが望まれる可能性がある。反対に、雑音が大きすぎて意味的に、又は再使用などに「使用できない」可能性がある。音声分析処理１７は、音声の有用性のしきい値を利用し、音量が大きく、識別不可能な、又は連続的なノイズを処分するであろう。
【符号の説明】
【００２８】
１０    デジタルカメラ装置
１５    カメラレンズ及びカメラセンサシステム
１７    音声分析処理
２０    画像アナログデジタルコンバータ
２５    コンピュータＣＰＵ
３０    内部メモリ
３５    リムーバルメモリモジュール
４０    デジタルマルチメディアファイル
４５    画像データ
５０    音声クリップ
５５ａ    バッファリングされたプリキャプチャ音声信号
５５ａ´    バッファリングされたプリビデオキャプチャ音声信号
５５ｂ´    ビデオストリームの音声部
５５ｃ    バッファリングされたポストキャプチャ音声信号
５５ｃ´    バッファリングされたポストビデオキャプチャ音声信号
６０    カメラ設定及びユーザ選択
６５    マイク
７０    音声アナログデジタルコンバータ
７５    捕捉ボタン
８０    意味分析処理
８５    環境
９０    カメラマン
９５    カメラマンの発声／音声
１００    被写体
１０５    被写体の発声／音声
１１０    場面に関係する物体
１１５    場面に関係する周囲の音
１２０    場面に無関係な物体
１２５    場面に無関係な周囲の音
１３０    写真の場面
１３５    集中音
１４０    装置の電源オン、又は再起動ステップ
１４５    音声信号バッファリングステップ
１５０    （静止又はビデオ）画像捕捉イベント
１５５    引き続きの音声信号バッファリングステップ
１５７    音声クリップ形成ステップ
１６０    音声クリップ記憶ステップ
１６５    意味分析ステップ
１７０    高度ユーザエクスペリエンスステップ
１７５    デジタル音声信号
１８０    時系列
１８５    ｔ＝−Ｎタイムマーカ
１９０ａ    ｔ0＝０タイムマーカ
１９０ｂ    ｔ1＝＋Ｔタイムマーカ
１９５    ｔ＝＋Ｍタイムマーカ
２００    スピーチをテキストにする操作
２０５    新たなメタデータ
２１０    ファイルへメタデータを書き込む操作
【図１ａ】
2010536239.tif 000003
【図１ｂ】
2010536239.tif 000004
【図２ａ】
2010536239.tif 000005
【図２ｂ】
2010536239.tif 000006
【図３ａ】
2010536239.tif 000007
【図３ｂ】
2010536239.tif 000008
【図４】
2010536239.tif 000009
【国際調査報告】
2010536239.tif 000010
2010536239.tif 000011
2010536239.tif 000012