(57)【要約】【課題】音声データに関連付けられた画像データを積極的に活用することで、音声データを効率的に再生する。【解決手段】被写体の画像を撮影する撮影レンズ光学系12、ＣＣＤ13を含む撮像系と、マイクロホン部33からの音声をファイル化してメモリカード29に記録する音声処理部30と、音声記録時に撮像系による画像の撮影を指示するキー入力部27と、この指示により撮像系で得られる画像を音声の記録位置と関連付けてメモリカード29内にマーキングし、記録した音声の再生時にマーキングした画像を表示部26に一覧表示させ、表示された画像が選択されるとその画像の記録位置から記録音声の再生を実行させる制御部22とを備える。【選択図】      図１
2008085486.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像を撮影する撮像手段と、
音声を記録する録音手段と、
この録音手段による音声記録時に上記撮像手段による画像の撮影を指示する指示手段と、
この指示手段により上記撮像手段で得られる画像を上記録音手段で記録される音声の記録位置と関連付けてマーキングする記録制御手段と、
上記録音手段で記録した音声の再生時に上記記録制御手段でマーキングした画像を一覧表示する画像表示手段と、
この画像表示手段で表示される画像を選択する選択手段と、
この選択手段で選択した画像の記録位置から上記記録音声の再生を実行する再生制御手段と
を具備したことを特徴とする音声処理装置。
【請求項２】
上記指示手段は、録音の種別を指定する複数の種別キーを有し、
上記記録制御手段は、上記指示手段の複数の種別キーのいずれかの操作により上記撮像手段で得られる画像を上記録音手段で記録される音声の記録位置、及び種別と関連付けてマーキングし、
上記画像表示手段は、録音手段で記録した音声の再生時に上記記録制御手段で記録させた画像をマーキング種別に対応した状態で一覧表示し、
上記選択手段は、上記画像表示手段で表示される画像またはマーキング種別を選択し、
上記再生制御手段は、上記選択手段で選択した画像またはマーキング種別に対応する記録位置から上記記録音声の再生を実行する
ことを特徴とする請求項１記載の音声処理装置。
【請求項３】
上記選択手段は、マーキング種別を選択し、
上記画像表示手段は、上記選択手段での選択に対応するマーキング種別毎の画像を一覧表示する
ことを特徴とする請求項２記載の音声処理装置。
【請求項４】
上記選択手段は、マーキング種別を選択し、
上記再生制御手段は、上記選択手段で選択したマーキング種別に対応する複数の記録位置からの上記記録音声の再生を連続して実行する
ことを特徴とする請求項２記載の音声処理装置。
【請求項５】
上記選択手段は、マーキング種別を選択し、
上記選択手段で選択したマーキング種別に対応する複数の記録位置からの上記記録音声を一括して新規の音声として記録する編集手段をさらに具備する
ことを特徴とする請求項２記載の音声処理装置。
【請求項６】
コンピュータを、
被写体の画像を撮影する手段、
音声を記録する手段、
この音声記録時に上記画像の撮影を指示する手段、
上記画像を上記記録される音声の記録位置と関連付けてマーキングする手段、
上記記録した音声の再生時に上記マーキングした画像を一覧表示する手段、
この表示される画像を選択する手段、及び
この選択した画像の記録位置から上記記録音声の再生を実行する手段
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば音声記録モードを有するデジタルカメラ等に好適な音声処理装置及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラでは、画像の撮影を行なわずに音声のみを記録する、所謂ボイスレコーディング機能を有したものが一般的であり、記録媒体であるメモリカードの容量に応じた時間だけ録音を実行できるものが多い。
【０００３】
また、デジタルカメラは本来、被写体の画像を撮影するためのものであるので、ボイスレコーディング時に合わせて画像の撮影も実行し、得られた画像データを音声データファイルに関連付けて記録する技術も考えられている。
【０００４】
この種の技術としては、例えば１音声ファイルに複数枚の静止画データを関連付け、音声とそれに関連する静止画を音声内容に応じて再生可能にするものがある。（特許文献１）
【特許文献１】特開２００１−０６９４５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１の技術では、音声の再生時に、関連した画像が撮影時の記録タイミングで付加的に表示されるのみであり、記録された音声の内容を画像で確認することを主眼としている。
【０００６】
しかるに、近時はデジタルカメラの記録媒体であるメモリカードも、より大容量のものが入手しやすい価格で普及していることを勘案すると、ボイスレコーディング機能の実行時でも多数の画像を撮影できる現状を踏まえて、画像データをより積極的に活用することが望まれている。
【０００７】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、音声データに関連付けられた画像データを積極的に活用することで、音声データを効率的に再生することが可能な音声処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、被写体の画像を撮影する撮像手段と、音声を記録する録音手段と、この録音手段による音声記録時に上記撮像手段による画像の撮影を指示する指示手段と、この指示手段により上記撮像手段で得られる画像を上記録音手段で記録される音声の記録位置と関連付けてマーキングする記録制御手段と、上記録音手段で記録した音声の再生時に上記記録制御手段でマーキングした画像を一覧表示する画像表示手段と、この画像表示手段で表示される画像を選択する選択手段と、この選択手段で選択した画像の記録位置から上記記録音声の再生を実行する再生制御手段とを具備したことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、音声データに関連付けられた画像データを積極的に活用し、一覧表示された画像中の任意のものを選択することで即時その画像の記録位置からの音声再生に移行できるため、必要な音声データのみを効率的に再生することが可能となる。
【発明を実施するための最良の形態】
【００１０】
（第１の実施の形態）  
以下本発明をデジタルカメラに適用した場合の第１の実施の形態について図面を参照して説明する。  
図１は、このデジタルカメラ１０全体の電子回路の概念構成を示すものである。  
図中、撮影モードでのモニタリング状態においては、モータ（Ｍ）１１の駆動により撮影レンズ光学系１２中の一部のレンズ、具体的にはズームレンズ及びフォーカスレンズの位置が適宜移動される。この撮影レンズ光学系１２の撮影光軸後方の結像位置に、図示しないメカニカルシャッタを介して、固体撮像素子であるＣＣＤ１３が配置される。
【００１１】
ＣＣＤ１３は、タイミング発生器（ＴＧ）１４、ＣＣＤドライバ１５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。
【００１２】
この光電変換出力は、ＡＧＣ／ＳＨ（Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ／Ｓａｍｐｌｅ  Ｈｏｌｄ）回路１６において、アナログ値の信号の状態でＲＧＢの各原色成分毎にその時点に設定されているＩＳＯ感度に応じて自動ゲイン調整された後にサンプルホールドされ、Ａ／Ｄ変換器１７に送られる。
【００１３】
Ａ／Ｄ変換器１７では、アナログの画像データをデジタルデータに変換し、カラープロセス回路１８へ出力する。
【００１４】
カラープロセス回路１８は、デジタルの画像データに対して画素補間処理及びγ補正処理を含むカラープロセス処理を行ない、マトリックス変換によりデジタル値の輝度色差系の画像データＹＵＶを生成した後にＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）コントローラ１９に出力する。
【００１５】
ＤＭＡコントローラ１９は、カラープロセス回路１８の出力する画像データＹＵＶを、同じくカラープロセス回路１８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ１９内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）２０を介してバッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送を行なう。
【００１６】
制御部２２は、ＣＰＵと、後述するマーキングに対応した音声データの記録及び再生を含む動作プログラムを固定的に記憶したフラッシュメモリなどの不揮発性メモリ等により構成され、ワークメモリとして使用される主記憶メモリ２３に適宜必要なデータを一時的に展開して書込みながら、このデジタルカメラ１０全体の制御動作を司る。
【００１７】
しかして制御部２２は、上記画像データのＤＲＡＭ２１へのＤＭＡ転送終了後に、この画像データをＤＲＡＭインタフェース２０を介してＤＲＡＭ２１より読出し、表示コントローラ２４を介してＶＲＡＭ２５に書込む。
【００１８】
表示コントローラ２４は、上記画像データをＶＲＡＭ２５より定期的に読出して表示部２６に出力する。
【００１９】
この表示部２６は、デジタルカメラ１０の筐体背面に配設された例えばバックライト付きのカラー液晶パネルとその駆動回路とで構成されるもので、撮影モード時には電子ファインダとして機能し、表示コントローラ２４からの画像データ等に基づいた表示を行なうことで、その時点で表示コントローラ２４から取込んでいる画像等をリアルタイムにモニタ表示する一方で、再生モード時には選択した画像等を再生表示する。
【００２０】
このように表示部２６にその時点での被写体の画像をモニタ画像としてリアルタイムに表示している、所謂スルー画像の表示状態で、静止画撮影を行ないたいタイミングでキー入力部２７の一部を構成する撮影キーを操作すると、トリガ信号を発生する。
【００２１】
制御部２２は、このトリガ信号に応じてその時点でＣＣＤ１３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送を取り止め、あらためて適正な露出条件に従ったシャッタ速度で図示しないメカニカルシャッタ及び上記ＣＣＤ１３を駆動して１画面分の輝度及び色差信号を得てＤＲＡＭ２１へ転送し、その後にこの経路を停止し、記憶保存の状態に遷移する。
【００２２】
この記憶保存の状態では、制御部２２がＤＲＡＭ２１に書込まれている１フレーム分の画像データＹＵＶをＤＲＡＭインタフェース２０を介してＹ，Ｕ，Ｖの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読出して画像圧縮／伸長回路２８に書込み、この画像圧縮／伸長回路２８で所定の画像フォーマット、例えばＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）に従ったＡＤＣＴ（Ａｄａｐｔｉｖｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等のデータ圧縮処理により符号化する。
【００２３】
そして、得た符号データを１画像分のデータファイルとして該画像圧縮／伸長回路２８から読出し、このデジタルカメラ１０に着脱自在に装着されるメモリカード２９に書込む。
【００２４】
そして、１フレーム分の輝度及び色差信号の圧縮処理とメモリカード２９への全圧縮データの書込み終了に伴なって、制御部２２はＣＣＤ１３からＤＲＡＭ２１への経路を再び起動する。
【００２５】
また、上記制御部２２にはさらに、上述したキー入力部２７と、音声処理部３０、フラッシュ駆動部３１、及びＵＳＢインタフェース３２が接続されている。
【００２６】
図２は、キー入力部２７に備えられるキーを例示するもので、上述した撮影キー２７ｄの他に、マーキングキーＡ２７ａ、マーキングキーＢ２７ｂ、マーキングキーＣ２７ｃ、録音キー２７ｅ、再生キー２７ｆ、停止キー２７ｇ、カーソルキー２７ｈ，２７ｉ、及び実行キー２７ｊを有するものとし、それらのキー操作に伴なう信号は直接制御部２２へ送出される。
【００２７】
なお、このキー入力部２７の構成は、便宜上説明を容易にするために用いたもので、実際のデジタルカメラ１０の機種上で、一般的なデジタルカメラ同様に設けられる、電源キー、ズームキー、撮影モードキー、再生モードキー、カーソルキー、セットキー、メニューキー、マクロキー、及びフラッシュキー等に適宜機能を振り替えて設定するものとしてもよい。
【００２８】
音声処理部３０は、ＰＣＭ音源等の音源回路を備え、音声の録音時にはこのデジタルカメラ１０の筐体前面に配設されたマイクロホン部３３より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−１  ａｕｄｉｏ  ｌａｙｅｒ  ３）規格にしたがってデータ圧縮して音声データファイルを作成し、上記メモリカード２９へ送出する。
【００２９】
一方、音声処理部３０は、音声の再生時にメモリカード２９から読出されてきた音声データファイルの圧縮を解いてアナログ化し、上記表示部２６と同じくデジタルカメラ１０の背面側に設けられるスピーカ部３４を駆動して、拡声放音させる。
【００３０】
フラッシュ駆動部３１は、静止画像撮影時に図示しないフラッシュ駆動用の大容量コンデンサを充電した上で、制御部２２からの制御に基づいてキセノン放電管等で構成されるフラッシュ発光部３５を閃光駆動させる。
【００３１】
しかるに、撮影モード時に静止画像ではなく動画像の撮影が選択されている場合には、１回目の撮影キーが操作された時点で、上述した静止画データを取得して画像圧縮／伸長回路２７でデータ圧縮し、メモリカード２９へ記憶するという一連の動作を適宜フレームレート、例えば３０［フレーム／秒］で連続して実行するものとして開始し、該シャッタキーが２回目に操作されるか、または所定の制限時間、例えば３０秒が経過した時点でそれら一連の静止画データファイルを一括してモーションＪＰＥＧのデータファイル（ＡＶＩファイル）として設定し直す。
【００３２】
また、再生モード時には、制御部２２がメモリカード２９に記憶されている画像データを選択的に読出し、画像圧縮／伸長回路２８で撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸長し、伸長した画像データをＤＲＡＭインタフェース２０を介しＤＲＡＭ２１に保持させた上で、このＤＲＡＭ２１の保持内容を表示コントローラ２４を介してＶＲＡＭ２５に記憶させ、このＶＲＡＭ２５より定期的に画像データを読出してビデオ信号を発生し、上記表示部２６で再生させる。
【００３３】
選択した画像データが静止画像ではなく動画像であった場合、選択した動画像ファイルを構成する個々の静止画データの再生を所定のフレームレートで時間的に連続して実行し、最後の静止画データの再生を終了した時点で、次に再生の指示がなされるまで先頭に位置する静止画データのみを用いて再生表示する。
【００３４】
ＵＳＢインタフェース３２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）規格に準じてＵＳＢ端子３６に接続されるパーソナルコンピュータやプリンタ装置等、各種外部機器との送受信を行なう。
【００３５】
次に上記実施の形態の動作について説明する。  
図４は、ボイスレコードモード時の記録動作時の処理内容を示すもので、その動作制御はすべて制御部２２が予め記憶されている動作プログラムに基づいて実行する。
【００３６】
その処理当初には、キー入力部２７の録音キー２７ｅ操作による録音の開始が指示されるのを待機する（ステップＡ０１）。しかして、開始を指示する当該キー操作がなされた時点で、予め設定されているサンプリング周波数及び録音レベルによる録音処理を実行し（ステップＡ０２）、得られる音声データを順次ファイル化して記録媒体であるメモリカード２９に記録しながら（ステップＡ０３）、録音キー２７ｅが操作されたか否か（ステップＡ０４）、停止キー２７ｇの操作により録音を終了するキー操作がなされたか否か（ステップＡ０９）を判断する、という処理を繰返し実行する。
【００３７】
こうしてステップＡ０２〜Ａ０４，Ａ０９の処理を繰返し実行することで、音声データのファイルを順次メモリカード２９に記録しながら、撮影キー２７ｄの操作による撮影、または停止キー２７ｇの操作により録音の終了が指示されるのを待機する。
【００３８】
しかして、録音途中で撮影キー２７ｄが操作されると、ステップＡ０４でこれを判断して、静止画の撮影処理を実行して（ステップＡ０５）、その撮影により得た画像データファイルをメモリカード２９に記録する（ステップＡ０６）。
【００３９】
これと共に制御部２２は、上記録音動作中の記録位置として、録音を開始した時点からの時間情報を取込み（ステップＡ０７）、上記メモリカード２９に記録した画像データのファイル名と該記録位置とを関連付けて、主記憶メモリ２３内に構築しているマーキング管理ファイルに記入し（ステップＡ０８）、以上で撮影キー２７ｄの操作に対応する一連の処理を一体終了して、上記ステップＡ０９に進む。
【００４０】
図３は、上記音声データの記録の途中で撮影キー２７ｄが繰返し（計５回）操作され、その都度上記ステップＡ０５〜Ａ０８の処理が実行されることで主記憶メモリ２３内に作成されたマーキング管理ファイルの内容を例示するものである。
【００４１】
しかして上記のように適宜必要なタイミングで撮影キー２７ｄを操作して静止画像データを関連付けたボイスレコードモードでの音声記録を終了させるべくキー入力部２７の停止キー２７ｇが操作されると、ステップＡ０９でこれを判断し、メモリカード２９に記録し続けていた音声データファイルを１つに纏めると共に、その時点で主記憶メモリ２３に記憶している上記図３に示したようなマーキング管理ファイルを付加データとして当該音声データファイルに付加設定するなどの後処理を実行する（ステップＡ１０）。
【００４２】
以上で一連の音声データの記録の処理を終了して、再び次の音声データの記録に備えるべく再び上記ステップＡ０１に至る。
【００４３】
次に、メモリカード２９に記録されている音声データファイルを再生する再生モード時の動作について説明する。
【００４４】
図５は、再生モード時に音声データファイルを選択して再生する場合の処理内容を示すもので、その動作制御はすべて制御部２２が予め記憶されている動作プログラムに基づいて実行する。
【００４５】
その当初にメモリカード２９に記録されている任意の音声データファイルを選択すると（ステップＢ０１）、当該音声データファイル中に付加設定されているマーキング管理ファイルが読出され（ステップＢ０２）、同じくメモリカード２９に記録されている、マーキングされた画像データすべてのサムネイル画像が当該画像データファイル中から読出されて展開されることで生成され（ステップＢ０３）、表示部２６で一覧表示されると共に（ステップＢ０４）、当該音声データファイルにおける各画像データのマーキング箇所が音声データファイルを示すバーグラフ中に表示される（ステップＢ０５）。
【００４６】
図６乃至図９は、このマーキング画像の一覧表示に係る表示行程を例示するものである。所望の音声データファイルを選択した直後、表示部２６では図６（Ａ）に示す如く、選択されたのが音声データファイルであることを示すマイクロホンを模したアイコンが表示されると共に、その下部にて音声データ全体を１本のバーグラフとして画像データの記録位置に対応したマーキングが表示される。
【００４７】
これら各マーキングの内容が具体的に図６（Ｂ）に示すような内容の画像データであるものとして、各画像データ中のサムネイル画像が読出されて展開されることで、例えば図７または図８に示すような画像の表示が実行されるものとする。
【００４８】
図７（Ａ）では、上記マーキング付きのバーグラフ上に、１つのサムネイル画像を例えば時系列に沿って選択し、その左右にそれぞれ他の画像があることを示す三角形を表示することで、複数の画像の存在を示している。
【００４９】
したがって、上記三角形の表示に応じてキー入力部２７のカーソルキー２７ｈ，２７ｉを操作することにより、図７（Ｂ）に示すようにその時系列方向に沿って選択、表示される画像が移動され、合わせてバーグラフ中でもマーキング位置を示す矩形マークが移動する。
【００５０】
なお、上記図７（Ａ），（Ｂ）に示した表示に代えて、図７（Ｂ）に示すようにバーグラフ側に画像の移動を促す三角形を左右に廃して表示するものとしてもよい。
【００５１】
図８（Ａ）では、上記マーキング付きのバーグラフ上に、複数、例えば３つのサムネイル画像を例えば時系列に沿って配置し、さらにその上部に音声データファイルであることを示すマイクロホンを模したアイコンを配置して表示した例を示す。複数のサムネイル画像の左右にそれぞれ他の画像があることを示す三角形を表示することで、さらに複数の画像の存在を示している。
【００５２】
したがって、上記三角形の表示に応じてキー入力部２７のカーソルキー２７ｈ，２７ｉを操作することにより、図８（Ｂ）に示すようにその時系列方向に沿って選択、表示される複数の画像が移動され、合わせてバーグラフ中でもマーキング位置を示す矩形マークの再生位置カーソルが移動する。
【００５３】
図９は、マーキング付きのバーグラフ上に、実際のマーキングされた画像数に拘わらず多数、例えば８個の画像領域を予め用意し、実際のマーキングされた画像を各画像領域に嵌め込んで表示している例を示す。ここでは、マーキングされた画像の個数が５個であるので、残る３個の画像領域は空のまま表示されることとなる。
【００５４】
反対に、予め用意した画像領域に対してマーキングされた画像データの数の法が多い場合には、上記図７、図８で示したように三角形の表示を合わせて用いることで、表示できる数だけの一部の画像を表示するものとなる。
【００５５】
このように、マーキングされた画像データのサムネイル画像の少なくとも一部を表示した状態で、いずれかのサムネイル画像の表示がなされるのをカーソルキー２７ｈ，２７ｉの操作により待機する（ステップＢ０６）。
【００５６】
そして、操作されたと判断した時点で、その操作内容に応じて、選択されたサムネイル画像の元になった画像データに対応する音声データファイルでの記録位置を、画像データのファイル名とマーキング管理ファイルとにより読出す（ステップＢ０７）。
【００５７】
読出した記録位置に従い、上記バーグラフ中のマーキング位置を示す矩形マークの再生位置カーソルも合わせて移動させた上でステップＢ０８）、音声の再生を指示する再生キー２７ｆの操作がなされたか否かを判断し（ステップＢ０８）、操作されなければ上記ステップＢ０４からの処理に戻る。
【００５８】
しかして、上記ステップＢ０４〜Ｂ０９の処理を繰返し実行する過程で、再生キー２７ｆが操作されるとステップＢ０９でこれを判断し、当該再生位置カーソルで表示されている記録位置からの音声再生を実行する（ステップＢ１０）。
【００５９】
この音声再生の処理を実行しながら、再生すべて音声データが終了したか否かを判断し（ステップＢ１１）、終了していなければ上記ステップＢ０４からの処理を繰返し実行する。
【００６０】
こうして音声データを再生しながらも他のマーキング位置への移動を指示するカーソルキー２７ｈ，２７ｉの操作を受付けるもので、当該キー操作がなされると即時再生位置を対応するマーキングの記録位置までジャンプさせる。
【００６１】
そして、音声を再生している過程でその音声データファイルの最後まで再生が終了すると、上記ステップＢ１１でこれを判断し、以上で一連の音声データの再生の処理を終了して、再び次の音声データの記録に備えるべく再び上記ステップＢ０１からの処理に戻る。
【００６２】
このように、音声データに関連付けて記録した複数の画像データを積極的に活用し、表示部２６での表示容量に応じて一覧表示した画像中から任意のものを選択することで、即時その画像の記録位置からの音声再生に移行することができる。
【００６３】
そのため、必要な音声データを音声記録時の情景等、視覚的に判断して容易に探し出して効率的に再生することが可能となる。
【００６４】
（第２の実施の形態）  
以下本発明をデジタルカメラに適用した場合の第２の実施の形態について図面を参照して説明する。  
なお、このデジタルカメラに係る全体の電子回路の概念構成については上記図１で示した内容と、また特にキー入力部の構成例については上記図２で示した内容とそれぞれ基本的にほぼ同様であるものとして、同一部分には同一符号を用いることとし、その図示と説明とを省略する。
【００６５】
次に上記実施の形態の動作について説明する。  
図１０は、ボイスレコードモード時の記録動作時の処理内容を示すもので、その動作制御はすべて制御部２２が予め記憶されている動作プログラムに基づいて実行する。
【００６６】
その処理当初には、キー入力部２７の録音キー２７ｅ操作による録音の開始が指示されるのを待機する（ステップＣ０１）。しかして、開始を指示する当該キー操作がなされた時点で、予め設定されているサンプリング周波数及び録音レベルによる録音処理を実行し（ステップＣ０２）、得られる音声データを順次ファイル化して記録媒体であるメモリカード２９に記録しながら（ステップＣ０３）、キー入力部２７のマーキングキーＡ２７ａ、マーキングキーＢ２７ｂ、マーキングキーＣ２７ｃのいずれかが操作されたか否か（ステップＣ０４）、停止キー２７ｇの操作により録音を終了するキー操作がなされたか否か（ステップＣ１０）を判断する、という処理を繰返し実行する。
【００６７】
こうしてステップＣ０２〜Ｃ０４，Ｃ１０の処理を繰返し実行することで、音声データのファイルを順次メモリカード２９に記録しながら、キー入力部２７、マーキングキーＢ２７ｂまたはマーキングキーＣ２７ｃの操作による撮影、または停止キー２７ｇの操作により録音の終了が指示されるのを待機する。
【００６８】
しかして、録音途中でマーキングキー２７ａ〜２７ｃのいずれかが操作されると、ステップＣ０４でこれを判断して、操作されたマーキングキーの種別（Ａ〜Ｃのいずれか）を判別した上で（ステップＣ０５）、静止画の撮影処理を実行して（ステップＣ０６）、その撮影により得た画像データファイルをメモリカード２９に記録する（ステップＣ０７）。
【００６９】
これと共に制御部２２は、上記録音動作中の記録位置として、録音を開始した時点からの時間情報を取込み（ステップＣ０８）、上記メモリカード２９に記録した画像データのファイル名と該記録位置、及びマーキングの種別を関連付けて、主記憶メモリ２３内に構築しているマーキング管理ファイルに記入し（ステップＣ０９）、以上でマーキングキー２７ａ〜２７ｃのいずれかの操作に対応する一連の処理を一体終了して、上記ステップＣ１０に進む。
【００７０】
図１１は、上記音声データの記録の途中でマーキングキーＡ２７ａ，マーキングキーＢ２７ｂ、及びマーキングキーＣ２７ｃが繰返し（計５回）操作され、その都度上記ステップＣ０５〜Ｃ０９の処理が実行されることで主記憶メモリ２３内に作成されたマーキング管理ファイルの内容を例示するものである。
【００７１】
ここでは、一連の音声データの記録の過程でマーキングキーＡ２７ａが２回、マーキングキーＢ２７ｂが１回、そしてマーキングキーＣ２７ｃが２回操作されている。
【００７２】
しかして上記のように適宜必要なタイミングでマーキングキーＡ２７ａ，マーキングキーＢ２７ｂ、及びマーキングキーＣ２７ｃを操作して静止画像データを関連付けたボイスレコードモードでの音声記録を終了させるべくキー入力部２７の停止キー２７ｇが操作されると、ステップＣ１０でこれを判断し、メモリカード２９に記録し続けていた音声データファイルを１つに纏めると共に、その時点で主記憶メモリ２３に記憶している上記図１１に示したようなマーキング管理ファイルを付加データとして当該音声データファイルに付加設定するなどの後処理を実行する（ステップＣ１１）。
【００７３】
以上で一連の音声データの記録の処理を終了して、再び次の音声データの記録に備えるべく再び上記ステップＣ０１に至る。
【００７４】
次に、メモリカード２９に記録されている音声データファイルを再生する再生モード時の動作について説明する。
【００７５】
図１２は、再生モード時に音声データファイルを選択して再生する場合の処理内容を示すもので、その動作制御はすべて制御部２２が予め記憶されている動作プログラムに基づいて実行する。
【００７６】
その当初にメモリカード２９に記録されている任意の音声データファイルを選択し（ステップＤ０１）、合わせてキー入力部２７のマーキングキーＡ２７ａ、マーキングキーＢ２７ｂ、またはマーキングキーＣ２７ｃいずれかの少なくとも１つの操作によりマーキング種別の選択を行なう（ステップＤ０２）。
【００７７】
これらの操作により、当該音声データファイル中に付加設定されているマーキング管理ファイルが読出されるもので、ます上記ステップＤ０２での操作により操作されたキーが上記マーキングキー２７ａ〜２７ｃすべてであったか否かを判断する（ステップＤ０３）。
【００７８】
ここで、３個のマーキングキー２７ａ〜２７ｃがすべて操作された場合には、全種別が選択されたものとして全種別のマーキング箇所を読出して（ステップＤ０４）、表示部２６のバーグラフ中で種別による色分けを行なって表示させる（ステップＤ０７）。
【００７９】
図１３（Ａ）は、そのような表示部２６でのマーキング箇所の表示状態を例示するもので、ここではマーキングキーＡ２７ａ操作による種別Ａを赤（図中黒ベタ）のマーキング、マーキングキーＢ２７ｂ操作による種別Ｂを青（図中横ハッチング）のマーキング、マーキングキーＣ２７ｃ操作による種別Ｃを緑（図中白抜き）のマーキングで表すものとしている。
【００８０】
また、上記ステップＤ０３で操作されたキーが上記マーキングキー２７ａ〜２７ｃすべてはなかったと判断した場合には、操作されたキーに対応する種別のマーキング箇所のみ、そのマーキング箇所を読出して（ステップＤ０６）、表示部２６のバーグラフ中で種別による色分けを行なって表示させる（ステップＤ０７）。
【００８１】
図１３（Ｂ）〜（Ｄ）は、そのような表示部２６でのマーキング箇所の表示状態を例示するものである。図１３（Ｂ）は、マーキングキーＡ２７ａ操作による種別Ａを赤（図中黒ベタ）のマーキングで示すものである。
【００８２】
同様に、図１３（Ｃ）は、マーキングキーＢ２７ｂ操作による種別Ｂを青（図中横ハッチング）のマーキングで示すものであり、また、図１３（Ｄ）はマーキングキーＣ２７ｃ操作による種別Ｃを緑（図中白抜き）のマーキングで示すものである。
【００８３】
こうしてマーキングキー２７ａ〜２７ｃの操作に応じた種別のみをマーキング箇所として表示を行ないながら、マーキング箇所のの選択がカーソルキー２７ｈ，２７ｉの操作によりなされるのを待機する（ステップＤ０６）。
【００８４】
そして、操作されたと判断した時点で、その操作内容に応じて、選択されたマーキング箇所に対応する音声データファイルでの記録位置を、画像データのファイル名とマーキング管理ファイルとにより読出す（ステップＤ０９）。
【００８５】
読出した記録位置に従い、上記バーグラフ中のマーキング位置を示す矩形マークの再生位置カーソルも合わせて移動させた上で（ステップＤ１０）、音声の再生を指示する再生キー２７ｆの操作がなされたか否かを判断し（ステップＤ１１）、操作されなければ上記ステップＤ０２からの処理に戻る。
【００８６】
しかして、上記ステップＤ０２〜Ｄ１１の処理を繰返し実行する過程で、再生キー２７ｆが操作されるとステップＤ１１でこれを判断し、当該再生位置カーソルで表示されている記録位置からの音声再生を実行する（ステップＤ１２）。
【００８７】
この音声再生の処理を実行しながら、再生すべて音声データが終了したか否かを判断し（ステップＤ１３）、終了していなければ上記ステップＤ０２からの処理を繰返し実行する。
【００８８】
こうして音声データを再生しながらも他のマーキング位置への移動を指示するカーソルキー２７ｈ，２７ｉの操作を受付けるもので、当該キー操作がなされると即時再生位置を対応するマーキングの記録位置までジャンプさせる。
【００８９】
そして、音声を再生している過程でその音声データファイルの最後まで再生が終了すると、上記ステップＤ１３でこれを判断し、以上で一連の音声データの再生の処理を終了して、再び次の音声データの記録に備えるべく再び上記ステップＤ０１からの処理に戻る。
【００９０】
このように、音声データファイルの選択と合わせてマーキングキーＡ２７ａ、マーキングキーＢ２７ｂ、マーキングキーＣ２７ｃをユーザが任意の意図に応じて選択的に操作することで、例えば記録する音声が会議であれば議題別に選択操作し、あるいは質疑と応答とに分けて選択操作するなど、予め記録時のマーキングの仕方を工夫しておくすることで、後にその音声データファイルの再生を行なう際に、重要ポイントの確認や編集作業等が格段に行ない易くなる。
【００９１】
（第３の実施の形態）  
以下本発明をデジタルカメラに適用した場合の第３の実施の形態について図面を参照して説明する。  
なお、このデジタルカメラに係る全体の電子回路の概念構成については上記図１で示した内容と、また特にキー入力部の構成例については上記図２で示した内容とそれぞれ基本的にほぼ同様であるものとして、同一部分には同一符号を用いることとし、その図示と説明とを省略する。
【００９２】
次に上記実施の形態の動作について説明する。  
ここで、ボイスレコードモード時の記録動作時の処理内容については、上記図１０に示したものと同様であるものとして、その説明を省略する。
【００９３】
加えて、音声データの記録時にマーキングキーＡ２７ａ、マーキングキーＢ２７ｂ、及びマーキングキーＣ２７ｃの操作によって主記憶メモリ２３内に再生されたマーキング管理ファイルの内容も、例えば上記図１１に示したものと同様であるものとする。
【００９４】
次に上記実施の形態の動作について説明する。
【００９５】
ここでは、上記図１０で示した如くマーキングキーの種別操作を伴って音声が記録されたものとし、以下、そのように記録された音声を再生する再生モード時の動作について説明する。
【００９６】
図１４は、再生モード時に音声データファイルを選択して自動再生する場合の処理内容を示すもので、その動作制御はすべて制御部２２が予め記憶されている動作プログラムに基づいて実行する。
【００９７】
その当初にメモリカード２９に記録されている任意の音声データファイルを選択し（ステップＥ０１）、合わせてキー入力部２７のマーキングキーＡ２７ａ、マーキングキーＢ２７ｂ、またはマーキングキーＣ２７ｃいずれかの少なくとも１つの操作によりマーキング種別の選択を行なう（ステップＥ０２）。
【００９８】
このとき、必ずマーキングキー２７ａ〜２７ｃのいずれかによりマーキング種別の選択がなされたことを確認するもので（ステップＥ０３）、マーキング種別の選択がなされない状態では、それを判断して上記ステップＥ０２からの処理に戻り、マーキング種別の選択を必須とする。
【００９９】
しかして、マーキング種別の選択操作がなされたと判断すると、次いで操作されたキーに対応する種別のマーキング箇所をマーキング管理ファイルから読出し（ステップＥ０４）、そのマーキング箇所に対応する音声データファイルでの記録位置を画像データのファイル名とマーキング管理ファイルとにより読出す（ステップＥ０５）。
【０１００】
この記録位置にしたがってマーキング箇所に対応する音声データの再生を実行しながら（ステップＥ０６）、所定時間、例えば５［秒］が経過して終了時間となったか否か判断し（ステップＥ０７）、経過していなければ上記ステップＥ０６に戻る、という処理を繰返すことで、マーキングした記録位置から所定時間分の音声データの再生を実行する。
【０１０１】
しかして、所定時間分の音声再生が終了するとステップＥ０７でこれを判断し、選択した種別に該当する次のマーキング箇所があるか否かをマーキング管理ファイルにより判断する（ステップＥ０８）。
【０１０２】
ここで、次のマーキング箇所があると判断すると、再び上記ステップＥ０４からの処理に戻り、次のマーキング箇所からの所定時間分の音声再生を実行する。
【０１０３】
こうしてステップＥ０４〜Ｅ０８の処理を繰返し実行することで、選択したマーキング種別に該当する所定時間分の音声再生を自動的、且つ連続的に実行する。
【０１０４】
その後、選択したマーキング種別に該当するすべての音声再生を終了し、次のマーキング箇所がないとステップＥ０８で判断すると、次に自動再生を終了するか否かをユーザの終了を指示するキー操作の有無により判断する（ステップＥ０７）。
【０１０５】
ここで、ユーザから終了を指示するキー操作がなく、自動再生を終了しない場合には再び上記ステップＥ０１からの処理に戻り、同様の動作を繰返す。
【０１０６】
しかして、自動再生を終了する指示がなされると、ステップＥ０９でこれを判断し、以上でこの図１４の処理を終了する。
【０１０７】
このように、マーキング種別の選択操作を行なうことで、該当するマーキング箇所のみを所定時間ずつ順次連続して再生する自動再生を実行させることができ、極力ユーザのキー操作を簡略化しながら、必要な部分の音声を抽出して再生させることができ、効率的に再生を実現できる。
【０１０８】
（第４の実施の形態）  
以下本発明をデジタルカメラに適用した場合の第４の実施の形態について図面を参照して説明する。  
なお、このデジタルカメラに係る全体の電子回路の概念構成については上記図１で示した内容と、また特にキー入力部の構成例については上記図２で示した内容とそれぞれ基本的にほぼ同様であるものとして、同一部分には同一符号を用いることとし、その図示と説明とを省略する。
【０１０９】
次に上記実施の形態の動作について説明する。  
ここで、ボイスレコードモード時の記録動作時の処理内容については、上記図１０に示したものと同様であるものとして、その説明を省略する。
【０１１０】
加えて、音声データの記録時にマーキングキーＡ２７ａ、マーキングキーＢ２７ｂ、及びマーキングキーＣ２７ｃの操作によって主記憶メモリ２３内に再生されたマーキング管理ファイルの内容も、例えば上記図１１に示したものと同様であるものとする。
【０１１１】
次に上記実施の形態の動作について説明する。
【０１１２】
ここでは、上記図１０で示した如くマーキングキーの種別操作を伴って音声が記録されたものとし、以下、そのように記録された音声を再生する再生モード時の動作について説明する。
【０１１３】
図１５は、再生モード時に音声データファイルを選択して自動編集する場合の処理内容を示すもので、その動作制御はすべて制御部２２が予め記憶されている動作プログラムに基づいて実行する。
【０１１４】
その当初にメモリカード２９に記録されている任意の音声データファイルを選択し（ステップＦ０１）、合わせてキー入力部２７のマーキングキーＡ２７ａ、マーキングキーＢ２７ｂ、またはマーキングキーＣ２７ｃいずれかの少なくとも１つの操作によりマーキング種別の選択を行なう（ステップＦ０２）。
【０１１５】
このとき、必ずマーキングキー２７ａ〜２７ｃのいずれかによりマーキング種別の選択がなされたことを確認するもので（ステップＦ０３）、マーキング種別の選択がなされない状態では、それを判断して上記ステップＦ０２からの処理に戻り、マーキング種別の選択を必須とする。
【０１１６】
しかして、マーキング種別の選択操作がなされたと判断すると、次いで操作されたキーに対応する種別のマーキング箇所をマーキング管理ファイルから読出し（ステップＦ０４）、そのマーキング箇所に対応する音声データファイルでの記録位置を画像データのファイル名とマーキング管理ファイルとにより読出す（ステップＦ０５）。
【０１１７】
この記録位置にしたがってマーキング箇所に対応する音声データの部分、すなわち次のマーキング箇所の直前までを抽出し、バッファリングした上で（ステップＦ０６）、選択した種別に該当する次のマーキング箇所があるか否かをマーキング管理ファイルにより判断する（ステップＦ０７）。
【０１１８】
ここで、次のマーキング箇所があると判断すると、再び上記ステップＦ０４からの処理に戻り、次のマーキング箇所からの音声データ部分の抽出を実行する。
【０１１９】
こうしてステップＦ０４〜Ｆ０７の処理を繰返し実行することで、選択したマーキング種別に該当する音声データ部分を順次抽出し、バッファリングしていく。
【０１２０】
その後、選択したマーキング種別に該当するすべての音声データ部分の抽出を終了し、次のマーキング箇所がないとステップＦ０７で判断すると、その時点でバッファリングしている、抽出した音声データ部分を一括して１つの新たな音声データファイルとして編集し、メモリカード２９に記録、保存させる（ステップＦ０８）。
【０１２１】
その後、自動編集を終了するか否かをユーザの終了を指示するキー操作の有無により判断する（ステップＦ０９）。
【０１２２】
ここで、ユーザから終了を指示するキー操作がなく、自動編集を終了しない場合には再び上記ステップＦ０１からの処理に戻り、同様の動作を繰返す。
【０１２３】
しかして、自動編集を終了する指示がなされると、ステップＦ０９でこれを判断し、以上でこの図１５の処理を終了する。
【０１２４】
このように、選択したマーキング種別に対応する複数の記録位置からの音声データを一括して編集し、新規の音声データファイルとして記録するものとしたので、該当するマーキング箇所に対応する内容のみを別の新規音声データファイルとして記録し直すことができ、その後に元の音声データファイルを消去すれば、メモリカード２９の記録容量に限りがある場合でもその容量を効率的に活用し、少ない記録容量でより多くの音声データを記録させることができる。
【０１２５】
なお、上記実施の形態では、音声データファイルに関連付けて記録する画像データが静止画であるものとして説明したが、本発明はこれに限るものではなく、動画データを関連付けて記録するものとしてもよい。
【０１２６】
その場合、動画データの撮影開始と撮影終了とをそれぞれユーザがマニュアルでキー操作するものとしてもよいし、さらには一律の撮影時間、例えば５［秒］を予め設定することで撮影開始時のみキー操作を行なうものとしてもよい。
【０１２７】
また、上記各実施の形態はいずれもデジタルカメラに適用した場合について説明したものであるが、本発明はこれに限らず、例えばカメラ機能を有する携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ：個人向け情報携帯端末）、ボイスレコード機能を有する携帯音楽プレーヤ、さらにはプレゼンテーションプログラムを実行時に同時にその情景を記録するためのパーソナルコンピュータ用のプログラムなど、その他の各種装置にも容易に適用することが可能である。
【０１２８】
その他、本発明は上述した実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施の形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施の形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【０１２９】
【図１】本発明の第１の実施の形態に係るデジタルカメラの機能回路構成を示すブロック図。
【図２】同実施の形態に係る図１のキー入力部の具体構成を例示する図。
【図３】同実施の形態に係る音声ファイルの記録時に作成されるマーキング管理ファイルの内容を例示する図。
【図４】同実施の形態に係る音声記録モード時の動作の処理内容を示すフローチャート。
【図５】同実施の形態に係る音声再生モード時の動作の処理内容を示すフローチャート。
【図６】同実施の形態に係る音声再生モード時の表示画面を例示する図。
【図７】同実施の形態に係る音声再生モード時の表示画面を例示する図。
【図８】同実施の形態に係る音声再生モード時の表示画面を例示する図。
【図９】同実施の形態に係る音声再生モード時の表示画面を例示する図。
【図１０】本発明の第２の実施の形態に係る音声記録モード時の動作の処理内容を示すフローチャート。
【図１１】同実施の形態に係る音声ファイルの記録時に作成されるマーキング管理ファイルの内容を例示する図。
【図１２】同実施の形態に係る音声再生モード時の動作の処理内容を示すフローチャート。
【図１３】同実施の形態に係る音声再生モード時の表示画面を例示する図。
【図１４】本発明の第３の実施の形態に係る音声再生モード時の自動作成動作の処理内容を示すフローチャート。
【図１５】本発明の第４の実施の形態に係る音声再生モード時の自動編集動作の処理内容を示すフローチャート。
【符号の説明】
【０１３０】
１０…デジタルカメラ、１１…モータ（Ｍ）、１２…撮影レンズ光学系、１３…ＣＣＤ、１４…タイミング発生器（ＴＧ）、１５…ＣＣＤドライバ、１６…ＡＧＣ／ＳＨ回路、１７…Ａ／Ｄ変換器、１８…カラープロセス回路、１９…ＤＭＡコントローラ、２０…ＤＲＡＭインタフェース（Ｉ／Ｆ）、２１…ＤＲＡＭ、２２…制御部、２３…主記憶メモリ、２４…表示コントローラ、２５…ＶＲＡＭ、２６…表示部、２７…キー入力部、２７ａ…マーキングキーＡ、２７ｂ…マーキングキーＢ、２７ｃ…マーキングキーＣ、２７ｄ…撮影キー、２７ｅ…録音キー、２７ｆ…再生キー、２７ｇ…停止キー、２７ｈ，２７ｉ…カーソルキー、２７ｊ…実行キー、２８…画像圧縮／伸長回路、２９…メモリカード、３０…音声処理部、３１…フラッシュ駆動部、３２…ＵＳＢインタフェース（Ｉ／Ｆ）、３３…マイクロホン部、３４…スピーカ部、３５…フラッシュ発光部、３６…ＵＳＢ端子。
【図１】
2008085486.tif 000003
【図２】
2008085486.tif 000004
【図３】
2008085486.tif 000005
【図４】
2008085486.tif 000006
【図５】
2008085486.tif 000007
【図６】
2008085486.tif 000008
【図７】
2008085486.tif 000009
【図８】
2008085486.tif 000010
【図９】
2008085486.tif 000011
【図１０】
2008085486.tif 000012
【図１１】
2008085486.tif 000013
【図１２】
2008085486.tif 000014
【図１３】
2008085486.tif 000015
【図１４】
2008085486.tif 000016
【図１５】
2008085486.tif 000017