(57)【要約】【課題】　画像データに関連付けて可変長のセンサデータを取り込む。【解決手段】　センサデータは、静止画像の取り込みの前に開始しその静止画像の取り込みから選択された時間後に終了する音声信号から生成される（２０４）。センサデータは、一時記憶領域（１０６）に格納される。静止画像データは、画像を取り込むための制御信号に応答して生成され、静止画像データも一時記憶領域に格納される（２０６）。静止画像データに関連付けて、センサデータのデフォルト部分が不揮発性記憶領域（１０８）に格納される（２１４）。不揮発性記憶領域内のセンサデータのデフォルト部分は、ユーザが置き換えを選択した場合、一時記憶領域からのセンサデータの選択されたサブセットと条件付きで置き換えられる（２１２）。　 【選択図】図１
2004140822.tif 000002
【特許請求の範囲】
【請求項１】
　静止画像の取り込みに関連付けられた選択された時刻に開始し該静止画像を取り込んでから選択された時間後に終了する知覚信号から知覚データを生成し、該知覚データを一時記憶領域に格納し、
　画像を取り込む制御信号に応答して静止画像データを生成し、該静止画像データを前記一時記憶領域に格納し、
　前記静止画像データに関連付けて前記知覚データのデフォルト部分を不揮発性記憶領域に格納し、
　ユーザが置き換えを選択する場合、不揮発性記憶領域内の知覚データの前記デフォルト部分を、前記一時記憶領域からの前記知覚データの選択されたサブセットと条件付きで置き換えることを含む、デジタルカメラの動作方法。
【請求項２】
　不揮発性記憶領域内の知覚データの前記デフォルト部分を置き換える前記一時記憶領域からの前記知覚データの前記サブセットは、一時記憶領域内の知覚データのすべてを含む、請求項１に記載のデジタルカメラの動作方法。
【請求項３】
　不揮発性記憶領域内の知覚データの前記デフォルト部分を置き換える前記一時記憶領域からの前記知覚データの前記サブセットは、一時記憶領域内の知覚データのユーザ選択サブセットを含む、請求項１に記載のデジタルカメラの動作方法。
【請求項４】
　前記知覚データは音声データである、請求項１に記載のデジタルカメラの動作方法。
【請求項５】
　前記知覚データは映像データである、請求項１に記載のデジタルカメラの動作方法。
【請求項６】
　前記知覚データは音声データと映像データとを含む、請求項１に記載のデジタルカメラの動作方法。
【請求項７】
　前記カメラは、Ｓ０、Ｓ１およびＳ２状態に関連付けられたシャッターレリーズを含み、
　該シャッターレリーズが前記Ｓ１状態にあるとき知覚データ取り込みを開始することをさらに含む、請求項１に記載のデジタルカメラの動作方法。
【請求項８】
　前記カメラは、Ｓ０、Ｓ１およびＳ２状態に関連付けられたシャッターレリーズを含み、
　該シャッターレリーズが前記Ｓ２状態にあるとき知覚データ取り込みを開始することをさらに含む、請求項１に記載のデジタルカメラの動作方法。
【請求項９】
　静止画像の取り込みに関連付けられた選択された時刻に開始し該静止画像を取り込んでから選択された時間後に終了する知覚信号から知覚データを生成し、該知覚データを一時記憶領域に格納する手段と、
　画像を取り込む制御信号に応答して静止画像データを生成し、該静止画像データを前記一時記憶領域に格納する手段と、
　前記静止画像データに関連付けて前記知覚データのデフォルト部分を不揮発性記憶領域に格納する手段と、
　ユーザが置換えを選択する場合、不揮発性記憶領域の知覚データの前記デフォルト部分を、前記一時記憶領域からの前記知覚データの選択されたサブセットと条件付きで置き換える手段と、
　を備えるデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は、デジタルカメラ及びその動作方法に関する。
【背景技術】
【０００２】
　デジタルスチルカメラの中には、静止画像に関連する音声データや映像データ等の知覚データ（sensory data）の取り込みをサポートするものがある。多くのカメラでは、音声データは、画像の取り込みと一緒に、予め設定された時間だけ取り込まれる。一方、画像の取り込み後に、知覚データの記録の開始をユーザに要求するカメラもある。両方の手法には、それぞれ長所もあるが欠点もある。
【０００３】
　予め設定された時間だけ知覚データを取り込むときに、その予め設定された時間の後に、その静止画像と関連させることが適当な音声シーンまたは映像シーンが生じる場合がある。このため、予め設定された時間の長さは、取り込まれた知覚データが有用であるか否かを決めることがある。しかしながら、この設定時間が長すぎると、取り込まれた知覚データが、不要な音声をかなりの部分含むおそれがある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
　画像の取り込み時にユーザによる知覚データの取り込みの開始を要求することの欠点は、所望の知覚データのタイミングをユーザは予測することができない点である。例えば、静止画像の取り込みよりも前かまたは同時に、望ましい知覚データが発生することがある。このため、画像の取り込み後にのみ開始する知覚データが取り込まれる場合、所望の音声はすでに過ぎてしまっており取り込むことができない。一瞬の音声や映像シーンの再現は不可能となる場合がある。
【０００５】
　本発明は、上記課題を解決する知覚データの取込方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
　本発明の一実施形態では、画像データに関連付けて知覚データを取り込む方法および装置を提供する。知覚データは、静止画像の取り込みの前に開始しその静止画像の取り込みから選択された時間後に終了する音声信号から生成される。知覚データは、一時記憶領域に格納される。静止画像データは、画像を取り込むための制御信号に応答して生成され、静止画像データも一時記憶領域に格納される。静止画像データに関連付けて、知覚データのデフォルト部分が不揮発性記憶領域に格納される。不揮発性記憶領域内の知覚データのデフォルト部分は、ユーザが置き換えを選択した場合、一時記憶領域からの知覚データの選択されたサブセットと条件付きで置き換えられる。
【発明を実施するための最良の形態】
【０００７】
　本発明の種々の実施形態において、音声データまたは映像データ等の知覚データがデジタル静止画像に関連付けて取り込まれる。カメラは、延長された長さの知覚データを取り込み、静止画像に関連付けてその知覚データの選択された一部を格納する。完全な長さの知覚データは、ユーザによる編集のために一時的に保存される。ユーザは、カメラによって選択されたサブセット以外の知覚データのサブセットを保存するオプションを有する。例えば、ユーザは、完全な長さの知覚データのまったく異なる部分を選択することも、または完全な長さの知覚データ全体を選択することもできる。
【０００８】
　図１は、例示的なデジタルスチルカメラ１００の機能ブロック図である。当業者は、デジタルカメラ１００がデジタルカメラを含むコンポーネントの一例に過ぎず、本発明の種々の実施形態に従って動作するように、別のデジタルカメラアーキテクチャを適合可能であることを認めるであろう。
【０００９】
　デジタルカメラの動作の中心には、処理／制御ユニット１０２がある。処理／制御ユニットは通常、カメラのほとんどの機能を制御し、カメラの他のすべての機能ユニットに連結される。処理／制御ユニットは、ＲＯＭ１０４等の内部メモリデバイスに格納される制御プログラムのセットを実行する。処理／制御ユニットは、生映像データ、生画像データおよび生音声データのＲＡＭ１０６への格納を制御する。生映像データを、圧縮形態、例えばＭＰＥＧや他の映像データフォーマットに変換し、不揮発性記憶領域１０８に格納することができる。生画像データを圧縮形態、例えばＪＰＥＧに変換してもよく、その処理済み画像データは、不揮発性記憶領域１０８に格納される。同様に、生音声データをＷＡＶファイル等の標準フォーマットに変換してもよい。一実施形態では、不揮発性記憶領域はリムーバブルフラッシュメモリカードである。当業者は、不揮発性記憶領域について他の適当な媒体があることを認めるであろう。
【００１０】
　接続は、データラインと制御ラインの両方を表している。直接的な接続を図示したが、当業者は、接続のうちの一部がバッファリングされたりまたは間接的であってもよいことを認めるであろう。さらに、図示しないコンポーネント間にもいくつかの接続がある。例えば、映像／静止画像取り込み部１１０と音声取り込み部１１２とは、処理ユニットによって提供される制御によりＲＡＭ１０６に結合される。
【００１１】
　映像／静止画像取り込み部１１０は、電荷結合素子（ＣＣＤ）またはＣＭＯＳ知覚の感光面に光を向けることを容易にするレンズ構成（図示せず）を含む。光学ビューファインダーにより、ユーザは、フレーム付き画像を見ることができる。処理／制御ユニットにより絞りが制御され、適当な画像形成を保証するための適当な量の光の透過を容易にする。図示しないが、映像／静止画像取り込み部は、ＣＣＤからの信号を映像データのフレームに変換する回路を含むことが認められよう。例示的な実施形態では、ユーザが静止画像の取り込みを開始すると、カメラは画像データの高解像度フレームを保存する。静止画像は、静止画像取り込み時に取り込み中の映像データのフレームに比べて高解像度である。映像データのフレームを取り込む際、カメラは、各フレームの画素データの一部を破棄する。静止画像が取り込まれると、映像データの対応するフレーム内の画素データのすべてが、静止画像データとして保存される。音声取り込み部１１２は、マイクロフォン（図示せず）とマイクロフォンからのアナログ信号を生デジタル音声データに変換するための適当なＡ／Ｄ変換器（図示せず）とを有する。
【００１２】
　デジタルカメラは、制御スイッチのセットを有するユーザインタフェース１１８をさらに含む。制御スイッチの例には、電源オン／オフ、モード選択スイッチ、ズームイン／ズームアウトスイッチ、ライブビュー及びシャッタ操作が含まれる。さらに、以前に不揮発性記憶領域に格納された静止画像および映像データと比べて、ライブビュー動作モードもしくはレビュー動作モードのいずれかでユーザが画像を見ることができるように、ＬＣＤユニットが含まれてもよい。
【００１３】
　映像／静止画像再生部１２２と音声再生部１２４とは、映像／静止画像および音声データをユーザに出力するためにアナログ信号に変換する回路を含む。上で説明したように、映像および画像信号は、ＬＣＤユニット（図示せず）を介してまたはＮＴＳＣ／ＰＡＬ互換装置に接続するためのコネクタに出力される。音声信号は、内蔵スピーカ（図示せず）によりＮＴＳＣ／ＰＡＬ信号の一部として出力される。
【００１４】
　本発明の一実施形態によれば、処理／制御ユニット１０２によって実行される制御プログラムは、知覚データの各々のセットを取り込まれた静止画像に関連付ける。知覚データの取り込みは、静止画像の取り込みに関連付けて選択された時刻で開始し、画像が取り込まれてから選択された時間だけ継続する。選択された時間は、画像が取り込まれてからかなり後に発生するものの取り込まれた画像に関連する可能性の高い映像シーンや音声の記録を確実にするために十分な長さである。実装要件とユーザ嗜好とに応じて、知覚データの取り込みは、画像の取り込み前または画像の取り込みの直後に開始してもよい。一実施形態では、知覚データの取り込みは、シャッターレリーズの位置によってトリガされる。代替的に、デジタルカメラは、処理／制御ユニットに連結された記録制御スイッチを含み、処理／制御ユニットは、そのスイッチの操作に応答してデータ取り込みを開始する。
【００１５】
　さらに別の実施形態では、ユーザは、延長された長さの知覚データのサブセットまたはそのデフォルト部分のいずれかを保存することが可能である。従って、画像に関連付けられる知覚データは、静止画像の取り込みと同時に発生する映像シーンおよび音声に限定されず、短時間内に発生する映像シーンおよび音声にも限定されず、またカメラが選択した記録間隔によって厳密に制約されることもない。別の実施形態では、カメラは、知覚データを少しでも（at all）取り込むか、デフォルト長さの知覚データを自動的に取り込み保存するか、または延長された長さの知覚データを取り込むかをユーザが選択できるようにする、モード選択回路を含む。
【００１６】
　図２は、本発明の例示的な実施形態に従って、拡張知覚データ取り込みモードで動作中のデジタルカメラの動作状態を示す状態図である。楕円は、拡張知覚データ取り込みに関連する種々の機能を実行するカメラの動作状態を表す。楕円をつなぐ矢印は、カメラを１つの動作状態から別の動作状態に遷移させるユーザアクションまたはカメライベントを表す。状態図は、デジタルカメラの取り得るすべての動作状態を網羅的に表すことを意図していないことを理解されたい。代わりに、状態図は、特定の基本カメラ動作と拡張取り込みモードとの間の相互作用を示すよう意図されている。
【００１７】
　楕円２０２は、拡張知覚データ取り込みが選択された場合のカメラの初期状態を表す。このモードは、カメラによって設定されるデフォルトであっても、またはカメラがオンにされた後にユーザによって選択されたものであってもよいことを理解されたい。この動作状態では、カメラは、ユーザが開始する制御を待機しているという点で、アイドル状態である。
【００１８】
　ユーザがシャッターレリーズをＳ１ポジションまで押下すると、カメラは状態２０４に遷移する。当業者は、Ｓ０ポジションはシャッターレリーズボタンが押下されていない位置であり、Ｓ１ポジションはシャッターレリーズボタンが一部押下されている位置（設けられている場合は、通常、自動焦点および自動測定機能に関係する）であり、Ｓ２ポジションはシャッターレリーズボタンが完全に押下され静止画像データが取り込まれる位置である、ということを理解されよう。別の実施形態（図示せず）では、知覚データの取り込みを開始するために、別個のユーザインタフェースボタンが提供される。別個のボタンにより、ユーザは、静止画像が取り込まれるかなり前に発生するシーンおよび音声を取り込むことができる。さらに別の実施形態（図示せず）では、映像および音声データの取り込みが別々に制御される。すなわち、他のタイプのデータが取り込まれるか否かに関わらず、ユーザは映像データまたは音声データの格納を選択することができる。
【００１９】
　知覚データの取り込みを開始する前に、処理／制御ユニット１０２は、静止画像データと、関連付けられた知覚データとを格納するために、ＲＡＭ１０６の一部を割り当てる。メモリを管理する特定の方法は、実装要件に従って変化する。しかしながら、静止画像データ、映像データおよび音声データが格納されるメモリロケーションを参照するためにそれぞれポインタが設定されることは認められよう。
【００２０】
　状態２０４において、カメラは知覚データ（例えば、音声、映像またはその両方）の取り込みを開始する。シャッターレリーズがＳ１で保持されると、知覚データの取り込みが継続する。シャッターレリーズがＳ０に戻ると、知覚データの取り込みが停止し、カメラは再び状態２０２に遷移する。シャッターレリーズがＳ２に移動すると、カメラは状態２０６に遷移し、そこで画像データが取り込まれ、知覚データの取り込みを継続し、タイマが始動される。タイマは知覚データの取り込みの時間を制御するために使用される。シャッターレリーズがＳ２ポジションにある時、静止画像データが取り込まれ、一時的にＲＡＭに格納される。カメラは状態２０８に遷移し、シャッターレリーズがＳ１に遷移しない間、またはタイマが満了になるまで知覚データの取り込みを継続する。
【００２１】
　一実施形態では、知覚データは循環バッファに格納される。バッファのサイズは、画像データの取り込みのかなり前およびかなり後に取り込まれた知覚データの格納を行うために十分なサイズである。例えば、バッファは、短い１５秒間ではなく、６０〜９０秒の間に取り込まれる知覚データのための空間を有する。
【００２２】
　タイマが満了すると、カメラは知覚データの取り込みを停止し、状態２１０に遷移する。状態２１０では、知覚データを編集することができる。状態２１０に入ると、画像に関連付けられた不揮発性記憶領域に、知覚データのデフォルト部分が自動的に保存される。ユーザ制御に基づいて、知覚データの異なる部分を選択することができる。ユーザが保存制御を選択すると、カメラは状態２１２に遷移して、知覚データの選択された部分を保存する。選択された部分を保存する前に、デフォルト部分が一時記憶領域に移動されるので、ユーザがデフォルト部分に戻りたい場合にその部分を回復させることができる。選択された部分が画像に関連付けられて保存されると、カメラは再び状態２１０に遷移する。
【００２３】
　シャッターレリーズがＳ１まで移動すると、カメラは再び状態２０４に遷移し、知覚データの新たなセグメントの取り込みが開始する。
【００２４】
　状態２０８において、画像データの取り込み及び知覚データの取り込みを続けた後、シャッターレリーズがＳ１まで移動すると、カメラは、状態２１４に遷移する。状態２１４で、知覚データのデフォルト部分が画像データに関連付けられて保存される。そして、カメラは状態２０４に移動し、知覚データの新たなセグメントの取り込みが開始される。
【００２５】
　状態２０８において、電源オフ制御が開始されると、カメラは状態２１６に移動し、知覚データのデフォルト部分が画像に関連付けられて保存される。そして、カメラは状態２１８に移動し、電源オフ状態になる。
【００２６】
　図３は、静止画像に関連付けられた知覚データのサブセットの選択（編集）に関わる例示的なデジタルスチルカメラに関連する状態図である。当業者は、設計および実装要件に応じて、いくつかの代替の制御機構が知覚データの編集に適していることを認めるであろう。例えば、一実施形態では、編集制御はカメラ上のボタンを含み、そのボタンは、再生、一時停止、停止、再生カーソルの再配置、および知覚データの完全な長さのセット内で知覚データのサブセットの開始点と停止点とをマークするためのものである。ビューファインダー内の映像表示は、現再生位置、開始点および停止点、さらに種々の他の制御状態メッセージを示す。図３に示す編集制御は、映像データと音声データの両方に適用可能であることを理解されよう。設計要件に応じて、映像データと音声データを別々に、または同時に編集可能とすることができる。
【００２７】
　状態図の複数の節は、知覚データを編集する際の状態を表す。状態間の遷移は、ユーザ選択された編集制御機能を表す。知覚データを編集するモードをユーザが始動すると、カメラは待機状態３０２に入る。待機状態からの次の状態はユーザ選択された制御機能によって決まる。ユーザが再生制御機能を選択すると、カメラは再生状態３０４に入り、再生カーソルの位置で開始する知覚データが再生される。編集モードに入った時に、再生カーソルは知覚データの始めに位置することは認められよう。
【００２８】
　再生状態にある間、ユーザは、保存される知覚データのサブセットの開始点にマークするかまたは終了点にマークするオプションを有する。これらの制御機能により、開始点マーク状態３０６または停止点マーク状態３０８に移動する。これらの状態からそれぞれ、ユーザは、知覚データの再生、再生の一時停止もしくは停止を行うオプションを有する。一時停止／停止制御により、カメラは待機状態３０２に戻る。一時停止／停止制御は、再生状態にある場合にも利用可能である。
【００２９】
　待機状態および再生状態から、ユーザは、再生カーソルの位置を調整するオプションを有する。この再配置制御機能の選択により、知覚データ内のユーザにより選択された位置に再生カーソルが配置される（再生位置調整状態３１０）。その後、再生が選択されると、再生状態３０４において、再生カーソルの位置で再生が始まる。
【００３０】
　本発明は、静止画像と、関連付けされた映像および音声データとを取り込む種々の構成に対して適用可能であり、また、デジタルスチルカメラにおいて特に適用可能であり有益であることが分かる。本発明の他の態様および実施形態は、開示した本発明の説明から当業者には明らかであろう。
【図面の簡単な説明】
【００３１】
【図１】例示的なデジタルスチルカメラの機能ブロック図である。
【図２】本発明の例示的な実施形態に従って、拡張知覚データ取り込みモードで動作しているデジタルカメラの動作状態を示す状態図である。
【図３】画像に関連付けられた知覚データのサブセットの選択（編集）に関わる例示的なデジタルスチルカメラに関連する状態図である。
【符号の説明】
【００３２】
１０２　処理／制御ユニット
１０８　不揮発性記憶領域
１１０　映像／静止画像取り込み部
１１２　音声取り込み部
１１８　ユーザインタフェース
１２２　映像／静止画像再生部
１２４　音声再生部
【図１】
2004140822.tif 000003
【図２】
2004140822.tif 000004
【図３】
2004140822.tif 000005