(57)【要約】【課題】インデックスとして用いる画像の表示に必要な記憶容量を低減しつつ、選択された画像に対応する音声を再生する。【解決手段】デジタルカメラ１は、白板２を、文字等が記載される毎に撮影し、その差分画像を生成する。デジタルカメラ１は、生成した各差分画像に撮影時刻情報を付加して記憶する。また、デジタルカメラ１は、音声を録音し、録音した音声に録音時刻情報を付加して記憶する。デジタルカメラ１は、差分画像を合成して最終画像を生成し、液晶モニタ１３に表示する。最終画像から差分画像が選択されると、デジタルカメラ１は、差分画像に付加された撮影時刻情報を参照し、対応する録音時刻から音声を再生する。【選択図】図１
2006186786.tif 000002
【特許請求の範囲】
【請求項１】
音声データを記憶するための音声データ記憶部と、
音声を音声データに変換し、録音時刻を示す録音時刻情報を付加して、変換した音声データを前記音声データ記憶部に記録する録音部と、
被写体を順次撮影する撮影部と、
前記撮影部の撮影によって既に得られた被写体画像と新たに得られた被写体画像との差分からなる差分画像を生成する差分画像生成部と、
前記差分画像生成部が生成した差分画像のデータを記憶する差分画像データ記憶部と、
前記差分画像データ記憶部が記憶する差分画像のデータに、新たに得られた被写体画像の撮影時刻を示す撮影時刻情報を付加する撮影時刻情報付加部と、を備えた、
ことを特徴とする音声画像記録装置。
【請求項２】
時刻を計時する計時部を備え、
前記録音部は、音声を音声データに変換したときに前記計時部が計時した時刻を録音時刻として前記録音時刻情報を取得し、取得した録音時刻情報を前記音声データに付加し、
前記撮影時刻情報付加部は、前記撮影部が新たに被写体を撮影したときに前記計時部が計時した時刻を撮影時刻として前記撮影時刻情報を取得し、取得した撮影時刻情報を前記差分画像のデータに付加する、
ことを特徴とする請求項１に記載の音声画像記録装置。
【請求項３】
前記差分画像生成部は、既に得られた被写体画像の画素値と新たに得た被写体画像の画素値とを比較し、両被写体画像の画素値の画素変化量を予め設定された閾値と比較することによって画像に変化があったか否かを判定し、画像に変化があったと判定した場合に、前記差分画像を生成する、
ことを特徴とする請求項１又は２に記載の音声画像記録装置。
【請求項４】
前記差分画像生成部は、撮影部の撮影によって得られた被写体画像の歪み補正を行う、
ことを特徴とする請求項１乃至３のいずれか１項に記載の音声画像記録装置。
【請求項５】
前記差分画像生成部は、前記差分画像を生成すると、既に得られた被写体画像を消去する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の音声画像記録装置。
【請求項６】
録音時刻情報が付加された音声データを記憶する音声データ記憶部と、
既に得られた被写体画像と新たに得られた被写体画像との差分からなる差分画像に、新たに得られた被写体画像の撮影時刻情報が付加されたデータを記憶する差分画像データ記憶部と、
前記音声データ記憶部が記憶する音声データに基づいて音声を、指定された録音時刻から再生する音声再生部と、
前記差分画像データ記憶部が記憶するデータに基づいて、すべての差分画像を合成し、最終画像を復元する最終画像復元部と、
前記最終画像復元部が復元した最終画像を表示する最終画像表示部と、
前記最終画像表示部が表示した最終画像から、選択された差分画像の選択情報を取得する画像選択情報取得部と、
前記画像選択情報取得部が取得した選択情報に基づいて、選択された差分画像を特定し、特定した差分画像の撮影時刻情報に対応する録音時刻を指定して前記音声再生部に音声を再生させる再生制御部と、を備えた、
ことを特徴とする音声画像再生装置。
【請求項７】
前記音声再生部が再生する音声の録音時刻情報と前記差分画像のデータに付加された撮影時刻情報とを参照して、前記音声を再生する録音時刻以前の差分画像を合成して合成画像を生成する合成画像生成部と、
前記合成画像生成部が合成した合成画像を前記録音時刻に合わせて表示する合成画像表示部と、を備えた、
ことを特徴とする請求項６に記載の音声画像再生装置。
【請求項８】
音声を音声データに変換し、録音時刻を示す録音時刻情報を付加して、変換した音声データを記録するステップと、
被写体を順次撮影するステップと、
前記撮影によって既に得られた被写体画像と新たに得られた被写体画像との差分からなる差分画像を生成するステップと、
前記生成した差分画像のデータを記憶するステップと、
前記記憶した差分画像のデータに、新たに得られた被写体画像の撮影時刻を示す撮影時刻情報を付加するステップと、を備えた、
ことを特徴とする音声画像記録方法。
【請求項９】
録音時刻情報が付加された音声データを記憶するステップと、
既に得られた被写体画像と新たに得られた被写体画像との差分からなる差分画像に、新たに得られた被写体画像の撮影時刻情報が付加されたデータを記憶するステップと、
前記記憶する差分画像のデータに基づいて、すべての差分画像を合成し、最終画像を復元するステップと、
前記復元した最終画像を表示するステップと、
前記表示した最終画像から、選択された差分画像の選択情報を取得するステップと、
前記取得した選択情報に基づいて、選択された差分画像を特定し、特定した差分画像の撮影時刻情報に対応する録音時刻から、音声を再生するステップと、を備えた、
ことを特徴とする音声画像再生方法。
【請求項１０】
コンピュータに、
音声を音声データに変換し、録音時刻を示す録音時刻情報を付加して、変換した音声データを記録する手順、
被写体を順次撮影する手順、
前記撮影によって既に得られた被写体画像と新たに得られた被写体画像との差分からなる差分画像を生成する手順、
前記生成した差分画像のデータを記憶する手順、
前記記憶した差分画像のデータに、新たに得られた被写体画像の撮影時刻を示す撮影時刻情報を付加する手順、
を実行させるためのプログラム。
【請求項１１】
コンピュータに、
録音時刻情報が付加された音声データを記憶する手順、
既に得られた被写体画像と新たに得られた被写体画像との差分からなる撮影時刻情報が付加された差分画像のデータを記憶する手順、
前記記憶する差分画像のデータに基づいて、すべての差分画像を合成し、最終画像を復元する手順、
前記復元した最終画像を表示する手順、
前記表示した最終画像から、選択された差分画像の選択情報を取得する手順、
前記取得した選択情報に基づいて、選択された差分画像を特定し、特定した差分画像の撮影時刻情報に対応する録音時刻から、音声を再生する手順、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声画像記録装置、音声画像再生装置、音声画像記録方法、音声画像再生方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来の音声・画像の記録再生装置として、ＬＣＤ（Liquid Crystal Display）にインデックス画像を表示して、インデックス画像に対応した音声を再生するようにしたデジタルカメラがある（例えば、特許文献１参照）。
【０００３】
かかる従来のデジタルカメラは、複数の画像を縮小してＬＣＤに表示する。そして、録音済みの音声が記憶された画像がある場合、デジタルカメラは、その画像にマークを付し、その画像が選択されると、選択された画像に対応する音声を再生する。
【特許文献１】特開２００２−８４４９０号公報（第３頁、図１〜図３）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、かかる従来のデジタルカメラでは、ＬＣＤに表示するための複数の画像を記憶しなければならず、画像を記憶するのに必要なメモリの記憶容量が増大する。
【０００５】
本発明は、このような従来の問題点に鑑みてなされたもので、インデックス画像の表示に必要な記憶容量を低減することが可能な音声画像記録装置、音声画像再生装置、音声画像記録方法、音声画像再生方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この目的を達成するため、本発明の第１の観点に係る音声画像記録装置は、
音声データを記憶するための音声データ記憶部と、
音声を音声データに変換し、録音時刻を示す録音時刻情報を付加して、変換した音声データを前記音声データ記憶部に記録する録音部と、
被写体を順次撮影する撮影部と、
前記撮影部の撮影によって既に得られた被写体画像と新たに得られた被写体画像との差分からなる差分画像を生成する差分画像生成部と、
前記差分画像生成部が生成した差分画像のデータを記憶する差分画像データ記憶部と、
前記差分画像データ記憶部が記憶する差分画像のデータに、新たに得られた被写体画像の撮影時刻を示す撮影時刻情報を付加する撮影時刻情報付加部と、を備えたことを特徴とする。
【０００７】
時刻を計時する計時部を備え、
前記録音部は、音声を音声データに変換したときに前記計時部が計時した時刻を録音時刻として前記録音時刻情報を取得し、取得した録音時刻情報を前記音声データに付加し、
前記撮影時刻情報付加部は、前記撮影部が新たに被写体を撮影したときに前記計時部が計時した時刻を撮影時刻として前記撮影時刻情報を取得し、取得した撮影時刻情報を前記差分画像のデータに付加するようにしてもよい。
【０００８】
前記差分画像生成部は、既に得られた被写体画像の画素値と新たに得た被写体画像の画素値とを比較し、両被写体画像の画素値の画素変化量を予め設定された閾値と比較することによって画像に変化があったか否かを判定し、画像に変化があったと判定した場合に、前記差分画像を生成するようにしてもよい。
【０００９】
前記差分画像生成部は、撮影部の撮影によって得られた被写体画像の歪み補正を行うようにしてもよい。
【００１０】
前記差分画像生成部は、前記差分画像を生成すると、既に得られた被写体画像を消去するようにしてもよい。
【００１１】
本発明の第２の観点に係る音声画像再生装置は、
録音時刻情報が付加された音声データを記憶する音声データ記憶部と、
既に得られた被写体画像と新たに得られた被写体画像との差分からなる差分画像に、新たに得られた被写体画像の撮影時刻情報が付加されたデータを記憶する差分画像データ記憶部と、
前記音声データ記憶部が記憶する音声データに基づいて音声を、指定された録音時刻から再生する音声再生部と、
前記差分画像データ記憶部が記憶するデータに基づいて、すべての差分画像を合成し、最終画像を復元する最終画像復元部と、
前記最終画像復元部が復元した最終画像を表示する最終画像表示部と、
前記最終画像表示部が表示した最終画像から、選択された差分画像の選択情報を取得する画像選択情報取得部と、
前記画像選択情報取得部が取得した選択情報に基づいて、選択された差分画像を特定し、特定した差分画像の撮影時刻情報に対応する録音時刻を指定して前記音声再生部に音声を再生させる再生制御部と、を備えたことを特徴とする。
【００１２】
前記音声再生部が再生する音声の録音時刻情報と前記差分画像のデータに付加された撮影時刻情報とを参照して、前記音声を再生する録音時刻以前の差分画像を合成して合成画像を生成する合成画像生成部と、
前記合成画像生成部が合成した合成画像を前記録音時刻に合わせて表示する合成画像表示部と、を備えるようにしてもよい。
【００１３】
本発明の第３の観点に係る音声画像記録方法は、
音声を音声データに変換し、録音時刻を示す録音時刻情報を付加して、変換した音声データを記録するステップと、
被写体を順次撮影するステップと、
前記撮影によって既に得られた被写体画像と新たに得られた被写体画像との差分からなる差分画像を生成するステップと、
前記生成した差分画像のデータを記憶するステップと、
前記記憶した差分画像のデータに、新たに得られた被写体画像の撮影時刻を示す撮影時刻情報を付加するステップと、を備えたことを特徴とする。
【００１４】
本発明の第４の観点に係る音声画像再生方法は、
録音時刻情報が付加された音声データを記憶するステップと、
既に得られた被写体画像と新たに得られた被写体画像との差分からなる差分画像に、新たに得られた被写体画像の撮影時刻情報が付加されたデータを記憶するステップと、
前記記憶する差分画像のデータに基づいて、すべての差分画像を合成し、最終画像を復元するステップと、
前記復元した最終画像を表示するステップと、
前記表示した最終画像から、選択された差分画像の選択情報を取得するステップと、
前記取得した選択情報に基づいて、選択された差分画像を特定し、特定した差分画像の撮影時刻情報に対応する録音時刻から、音声を再生するステップと、を備えたことを特徴とする。
【００１５】
本発明の第５の観点に係るプログラムは、
コンピュータに、
音声を音声データに変換し、録音時刻を示す録音時刻情報を付加して、変換した音声データを記録する手順、
被写体を順次撮影する手順、
前記撮影によって既に得られた被写体画像と新たに得られた被写体画像との差分からなる差分画像を生成する手順、
前記生成した差分画像のデータを記憶する手順、
前記記憶した差分画像のデータに、新たに得られた被写体画像の撮影時刻を示す撮影時刻情報を付加する手順、
を実行させるためのものである。
【００１６】
本発明の第６の観点に係るプログラムは、
コンピュータに、
録音時刻情報が付加された音声データを記憶する手順、
既に得られた被写体画像と新たに得られた被写体画像との差分からなる差分画像に、新たに得られた被写体画像の撮影時刻情報が付加されたデータを記憶する手順、
前記記憶する差分画像のデータに基づいて、すべての差分画像を合成し、最終画像を復元する手順、
前記復元した最終画像を表示する手順、
前記表示した最終画像から、選択された差分画像の選択情報を取得する手順、
前記取得した選択情報に基づいて、選択された差分画像を特定し、特定した差分画像の撮影時刻情報に対応する録音時刻から、音声を再生する手順、
を実行させるためのものである。
【発明の効果】
【００１７】
本発明によれば、記憶容量を低減することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態に係る音声画像記録装置、音声画像再生装置を図面を参照して説明する。尚、本実施形態では、音声画像記録装置、音声画像再生装置をデジタルカメラに適用した場合について説明する。
【００１９】
本実施形態に係るデジタルカメラ１の外観を図１に示す。
本実施形態に係るデジタルカメラ１は、文字、図、写真等が記載された白板２を撮影するとともに、音声の録音、再生を行うものであり、撮影レンズ１１と、シャッタボタン１２と、液晶モニタ１３と、を備える。
【００２０】
撮影レンズ１１は、光を集光するレンズ等を備え、被写体としての白板２からの光を集光するものである。シャッタボタン１２は、撮影するときに押下するものである。
【００２１】
液晶モニタ１３は、撮影レンズ１１を介して内部に取り込まれた画像を表示するためのものである。
【００２２】
このデジタルカメラ１は、白板２に記載された情報、マーク、コメント等の各画像をインデックスとして、選択された画像に対応する音声を再生するように構成されている。
【００２３】
白板２に、図２に示すような情報Ａ，Ｂ，Ｃ，マーク，コメント等が最終的に記載された場合、液晶モニタ１３は、この記載事項の画像を最終画像として表示する。そして、液晶モニタ１３の表面には、画像選択した場合の選択情報を取得するタッチパネル（図示せず）が備えられている。
【００２４】
デジタルカメラ１は、図３に示すように、撮影部２１と、イメージセンサ２２と、メモリ２３と、表示制御部２４と、計時部２５と、ボイスレコーダ２６と、操作部２７と、画像処理部２８と、コンピュータインタフェース部２９と、外部記憶ＩＯ装置３０と、音声再生部３１と、プログラムコード記憶部３２と、ＣＰＵ（Central Processing Unit）３３と、を備えて構成される。
【００２５】
撮影部２１は、ＣＰＵ３３によって制御されて撮影レンズ１１の位置を制御し、被写体としての白板２を撮影して、イメージセンサ２２上に、白板２の文字、図、写真等からの光を集光させて像を結像させるものである。
【００２６】
イメージセンサ２２は、結像した画像をデジタル化し、この画像データを取り込むためのものであり、ＣＣＤ（Charge Coupled Device;電荷結合素子）等によって構成される。イメージセンサ２２は、ＣＰＵ３３によって制御され、画像データを秒３０枚程度の間隔で定期的に生成し、生成した画像データをメモリ２３に送出する。
【００２７】
メモリ２３は、音声データ、画像データ、作業データ等を記憶するものである。メモリ２３は、これらのデータが書き込まれる領域として、図４に示すように、センサ画像記憶領域２３ａと、音声データ記憶領域２３ｂと、処理画像記憶領域２３ｃと、差分画像記憶領域２３ｄと、表示画像記憶領域２３ｅと、作業データ記憶領域２３ｆと、を有する。
【００２８】
センサ画像記憶領域２３ａは、イメージセンサ２２が取り込んだ画像データを一時記憶するための領域である。
【００２９】
音声データ記憶領域２３ｂは、音声データを記憶するための領域である。処理画像記憶領域２３ｃは、画像処理部２８が画像処理した画像データ等を書き込むための領域である。
【００３０】
差分画像記憶領域２３ｄは、撮影によって得られた各画像の差分画像を記憶する領域である。表示画像記憶領域２３ｅは、液晶モニタ１３に表示する画像を記憶するための領域である。作業データ記憶領域２３ｆは、ＣＰＵ３３の作業に必要なデータを記憶するための領域である。
【００３１】
図３に戻り、表示制御部２４は、メモリ２３の表示画像記憶領域２３ｅに記憶された画像データを液晶モニタ１３に供給し、液晶モニタ１３に画像を表示させるためのものである。
【００３２】
また、表示制御部２４は、前述のように、差分画像をインデックスとして音声を再生するシンクロモードを選択するメニューを液晶モニタ１３に表示する。
【００３３】
計時部２５は、時刻を計時するものである。ボイスレコーダ２６は、ＣＰＵ３３から指令されて録音を開始し、音声を音声データに変換して、メモリ２３の音声データ記憶領域２３ｂに記録するものである。
【００３４】
また、ボイスレコーダ２６は、音声を音声データに変換したときに計時部２５が計時した時刻を録音時刻として録音時刻情報を取得し、取得した録音時刻情報を、音声データに付加してメモリ２３の音声データ記憶領域２３ｂに記録する。
【００３５】
操作部２７は、シャッタボタン１２等、デジタルカメラ１の機能を制御するためのスイッチ、キーを備えたものである。操作部２７は、この他にも、撮影キー、再生キー、カーソルキー、コントロールキー等（図示せず）を備える。
【００３６】
撮影キーは、撮影対象を撮影するときの撮影モードを選択するためのキーである。再生キーは、撮影によって得られた撮影対象画像を再生するときの再生モードを選択するためのキーである。コントロールキーは、操作を確定させるＹＥＳキー、操作をキャンセルするためのＮＯキー、編集を行うための編集キー等として機能するキーである。
【００３７】
カーソルキーとコントロールキーとは、デジタルカメラ１の各種機能を実行するためのものであり、液晶モニタ１３に表示されたメニューを選択するためのキー、選択したメニューを解除するためのキーとしても用いられる。
【００３８】
操作部２７は、ユーザによって、これらのキー、スイッチが押下されると、その操作情報を取得する。また、操作部２７は、液晶モニタ１３に表示されたシンクロモードが、ユーザによって選択されると、この選択情報を取得する。
【００３９】
また、操作部２７は、液晶モニタ１３の表面に設けられたタッチパネルが押下されると、この押下された位置に対応する画像の選択情報を取得する。そして、操作部２７は、操作情報、選択情報を取得すると、取得した操作情報、選択情報をＣＰＵ３３に送信する。
【００４０】
画像処理部２８は、メモリ２３のセンサ画像記憶領域２３ａに記憶された画像データに対して、画像の歪み補正処理、差分画像生成処理、画像合成処理等の画像処理を行うものである。
【００４１】
画像の歪み補正処理は、図５（ｂ），（ｃ）に示すように歪んだ画像Ｗを、図５（ｄ）に示すようなあたかも正面から撮影したような画像Ｗ’に補正する処理である。
【００４２】
即ち、デジタルカメラ１が、図５（ａ）にそれぞれ示すように、白板２の文字等を、向かって左方向、右方向から撮影すると、液晶モニタ１３には、図５（ｂ），（ｃ）に示すように、白板２と文字、図、写真等の画像が歪んで表示される。画像処理装置２５は、この図５（ｂ），（ｃ）に示すような画像に対して歪み補正を行うことにより、図５（ｄ）に示すような、正面から撮影したような画像Ｗ’を生成する。画像処理部２８は、このように歪み補正を行った画像のデータをメモリ２３の処理画像記憶領域２３ｃに記憶する。
【００４３】
差分画像生成処理は、白板２に、順次、文字等が記載され、被写体画像が変化した場合に、既に得られた被写体画像と新たに得られた被写体画像との差分からなる差分画像を生成する処理である。画像処理部２８は、画像をインデックス化するためにこの差分画像生成処理を実行する。
【００４４】
例えば、歪み補正が行われた新たな画像、既に歪み補正を行った画像を、それぞれ、図６（ａ），（ｂ）に示すような画像Ｇ１，Ｇ２として、処理画像記憶領域２３ｃに、そのデータが記憶されているものとする。画像処理部２８は、この画像Ｇ２のデータをメモリ２３の処理画像記憶領域２３ｃから読み出して、画像Ｇ１と画像Ｇ２とを比較する。
【００４５】
そして、画像処理部２８は、画像Ｇ１と画像Ｇ２との差分画像として、図６（ｃ）に示すような差分画像ｇ２を生成する。画像処理部２８は、生成した差分画像ｇ２をメモリ２３の差分画像記憶領域２３ｄに記憶する。
【００４６】
尚、画像処理部２８は、差分画像ｇ２を生成すると、既に得られた画像Ｇ１を消去して、メモリ２３の記憶領域を開放する。
【００４７】
また、画像処理部２８は、画像が変化したか否かを判定するため、前回の画像データと今回の画像データとから各画素値を取得し、２つの画像データの各画素値を比較する。そして、画像処理部２８は、２つの画像データの各画素値の差の総和を画像変化量として取得し、画像変化量を予め設定された閾値と比較する。そして、画像処理部２８は、画像変化量がこの閾値を超えている場合、画像が変化したと判定する。
【００４８】
画像合成処理は、画像を合成する処理である。画像処理部２８は、すべての差分画像を合成し、録音終了時の最終画像を復元したり、音声の再生に合わせて表示する画像を復元したりするため、この画像合成処理を行う。
【００４９】
コンピュータインタフェース部２９は、デジタルカメラ１がコンピュータ（図示せず）に接続されたときに、ＵＳＢのストアレジクラスドライバとして動作するものである。これにより、コンピュータは、デジタルカメラ１に接続されると、メモリカード３４をコンピュータの外部記憶装置として取り扱う。
【００５０】
外部記憶ＩＯ装置３０は、メモリカード３４との間で、画像データ等の入出力を行うものである。メモリカード３４は、外部記憶ＩＯ装置３０から供給された画像データ等を記憶するものである。
【００５１】
音声再生部３１は、メモリ２３の音声データ記憶領域２３ｂに記憶された音声データに基づいて音声を、ＣＰＵ３３によって指定された録音時刻から再生するものである。
【００５２】
プログラムコード記憶部３２は、ＣＰＵ３３が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。
【００５３】
ＣＰＵ３３は、プログラムコード記憶部３２に格納されているプログラムに従って、システム全体を制御するものである。
【００５４】
また、ＣＰＵ３３は、操作部２７から、シンクロモードが選択された旨の選択情報を受信すると、ボイスレコーダ２６に録音開始を指令する。
【００５５】
また、ＣＰＵ３３は、撮影部２１を制御して定期的に白板２を撮影させる。そして、文字等の追記により、画像が変化した場合、ＣＰＵ３３は、画像処理部２８に画像の歪み補正、差分画像生成処理を実行させる。
【００５６】
ＣＰＵ３３は、画像が変化したと画像処理部２８が判定した場合、撮影部２１が新たに白板２を撮影したときに計時部２５が計時した時刻を撮影時刻として撮影時刻情報を計時部２５から取得する。ＣＰＵ３３は、取得した撮影時刻情報をメモリ２３の差分画像記憶領域２３ｄに記憶された差分画像のデータに付加する。
【００５７】
ＣＰＵ３３は、音声を再生する場合、画像処理部２８に画像合成処理を実行させ、表示制御部２４に、復元した最終画像を液晶モニタ１３に表示させる。そして、ＣＰＵ３３は、操作部２７から画像の選択情報を受信すると、この選択情報に基づいて、選択された差分画像を特定し、特定した差分画像の撮影時刻情報に対応する録音時刻を指定して、音声再生部３１に音声を再生させる。
【００５８】
次に本実施形態に係るデジタルカメラ１の動作を説明する。
ユーザがデジタルカメラ１の電源をオン（投入）すると、ＣＰＵ３３はプログラムコード記憶部３２に記憶されているすべてのプログラムのデータを取得する。
【００５９】
ユーザがカーソルキー、コントロールキー等を操作してメニューを選択した場合、ＣＰＵ３３は、液晶モニタ１３にメニューを表示するように表示制御部２４を制御する。
【００６０】
ユーザがメニューから、シンクロモードを選択すると、操作部２７は、このシンクロモードを選択した旨の選択情報をＣＰＵ３３に送信する。ＣＰＵ３３は、この選択情報を受信すると、図７に示すフローチャートに従って、画像処理部２８とともに記録処理を実行する。
【００６１】
まず、ＣＰＵ３３は、ボイスレコーダ２６に録音を開始させる（ステップＳ１１）。
【００６２】
ＣＰＵ３３は、撮影部２１に、文字等が記載された白板２を撮影させる（ステップＳ１２）。
ＣＰＵ３３は、計時部２５が計時した時刻を撮影時刻として撮影時刻情報を計時部２５から取得する（ステップＳ１３）。
【００６３】
画像処理部２８は、既にメモリ２３のセンサ画像記憶領域２３ａに記憶した画像と新たに撮影した画像とを比較する（ステップＳ１４）。
画像処理部２８は、比較の結果、画像が変化したか否かを判定する（ステップＳ１５）。
【００６４】
画像が変化したと判定した場合（ステップＳ１５においてＹｅｓ）、画像処理部２８は、新たな被写体画像の歪み補正を行う（ステップＳ１６）。
【００６５】
画像処理部２８は、歪み補正を施した画像をメモリ２３の処理画像記憶領域２３ｃに記憶する（ステップＳ１７）。
【００６６】
画像処理部２８は、前回撮影時に歪み補正した画像をメモリ２３の処理画像記憶領域２３ｃから読み出して、新たな画像と前回撮影時の画像との差分画像を生成する（ステップＳ１８）。
【００６７】
画像処理部２８は、生成した差分画像をメモリ２３の差分画像記憶領域２３ｄに記憶する（ステップＳ１９）。
【００６８】
ＣＰＵ３３は、画像処理部２８が差分画像記憶領域２３ｄに記憶した差分画像に、取得した撮影時刻情報を付加する（ステップＳ２０）。
【００６９】
画像処理部２８は、メモリ２３の処理画像記憶領域２３ｃに記憶した前回撮影時の画像を消去する（ステップＳ２１）。
【００７０】
ＣＰＵ３３は、録音処理の終了か否かを判定する（ステップＳ２２）。操作部２７から、シンクロモードを解除する旨の選択情報を受信しなかった場合、ＣＰＵ３３は、録音処理の継続と判定する（ステップＳ２２においてＮｏ）。この場合、ＣＰＵ３３、画像処理部２８は、ステップＳ１２〜Ｓ２１の処理を再度実行する。
【００７１】
操作部２７からシンクロモードを解除する旨の選択情報を受信した場合、ＣＰＵ３３は、録音処理は終了と判定し（ステップＳ２２においてＹｅｓ）、この記録処理を終了させる。
【００７２】
次に、ユーザが操作部２７を操作してメニューから、音声再生処理を選択した場合、操作部２７は、この音声を再生する旨の操作情報をＣＰＵ３３に送信する。ＣＰＵ３３は、この操作情報を受信すると、画像処理部２８を制御して、図８に示すフローチャートに従って、画像合成処理を実行させる。
【００７３】
画像処理部２８は、すべての差分画像をメモリ２３の差分画像記憶領域２３ｄから読み出す（ステップＳ３１）。
画像処理部２８は、すべての差分画像を合成する（ステップＳ３２）。
【００７４】
画像処理部２８は、合成した画像をメモリ２３の表示画像記憶領域２３ｅに記憶する（ステップＳ３３）。
【００７５】
液晶モニタ１３のタッチパネルが押下された場合、操作部２７は、この押下位置を判別し、差分画像の選択情報をＣＰＵ３３に送信する。ＣＰＵ３３は、この選択情報を受信すると、図９に示すフローチャートに従って音声再生処理を実行する。
【００７６】
ＣＰＵ３３は、選択情報に基づいて、選択された差分画像を特定する（ステップＳ４１）。
ＣＰＵ３３は、特定した差分画像に付加された撮影時刻情報を取得する（ステップＳ４２）。
【００７７】
ＣＰＵ３３は、取得した撮影時刻情報に対応する録音時刻を指定して、音声生成部３１に音声を再生させる（ステップＳ４３）。
【００７８】
次に、デジタルカメラ１の動作を具体的に説明する。
ＣＰＵ３３が録音の開始をボイスレコーダ２６に指示すると（ステップＳ１１の処理）、ボイスレコーダ２６は、音声を音声データに変換して、メモリ２３の音声データ記憶領域２３ｂに記録する。
【００７９】
また、ボイスレコーダ２６は、音声を音声データに変換したときに計時部２５が計時した時刻を録音時刻として録音時刻情報を取得し、取得した録音時刻情報を、音声データに付加する。
【００８０】
撮影部２１は、ＣＰＵ３３に制御されて、文字等が記載された白板２を撮影する（ステップＳ１２の処理）。そして、撮影部２１は、イメージセンサ２２上に、白板２の文字、図、写真等からの光を集光させて像を結像させる。
【００８１】
イメージセンサ２２は、ＣＰＵ３３によって制御され、結像した画像を、デジタル化した画像データとして取り込み、画像データを定期的に生成し、生成した画像データをメモリ２３に送出する。
【００８２】
メモリ２３は、イメージセンサ２２から送出された画像データをセンサ画像記憶領域２３ａに記憶する。
【００８３】
画像処理部２８は、画像が変化したか否かを判定する（ステップＳ１５の処理）。図１０に示すように、時刻ｔ１１において、なにも記載されていない白板２に、情報Ａが記載されると、画像処理部２８は、画像が変化したと判定する。
【００８４】
この場合、メモリ２３の処理画像記憶領域２３ｃには、画像データは記憶されていない。このため、画像処理部２８は、画像Ｇ１の歪み補正を行ってから、差分画像ｇ１を生成する（ステップＳ１６〜Ｓ１８の処理）。
【００８５】
画像処理部２８は、生成した差分画像ｇ１をメモリ２３の差分画像記憶領域２３ｄに記憶する（ステップＳ１９の処理）。ＣＰＵ３３は、この差分画像ｇ１に時刻情報ｔ１１を付加する（ステップＳ２０の処理）。
【００８６】
時刻ｔ１２になって、白板２に情報Ｂが記載されると、画像処理部２８は、画像が変化したと判定する（ステップＳ１５の処理）。画像処理部２８は、撮影によって得られた画像Ｇ２の歪み補正を行い、既に時刻ｔ１１において歪み補正を行った画像Ｇ１と、時刻ｔ１２において新たに歪み補正を行った画像Ｇ２と、を比較する。そして、画像処理部２８は、その差分画像ｇ２を生成する（ステップＳ１６〜Ｓ１８の処理）。画像処理部２８は、生成した差分画像ｇ２をメモリ２３の差分画像記憶領域２３ｄに記憶する（ステップＳ１９の処理）。
【００８７】
ＣＰＵ３３は、生成した差分画像ｇ２に時刻情報ｔ１２を付加し、画像処理部２８は、画像処理した前回撮影時の画像Ｇ１を消去する（ステップＳ２０，Ｓ２１の処理）。
【００８８】
時刻ｔ１３において、白板２に情報Ｃが記載されると、画像処理部２８は、画像が変化したと判定する（ステップＳ１５の処理）。画像処理部２８は、情報Ｃが追加された画像Ｇ３と画像Ｇ２との差分画像ｇ３を生成し、生成した差分画像ｇ３をメモリ２３の差分画像記憶領域２３ｄに記憶する（ステップＳ１６〜Ｓ１９の処理）。ＣＰＵ３３は、差分画像ｇ３に時刻情報ｔ１３を付加し、画像処理部２８は、画像Ｇ２を消去する（ステップＳ２０，Ｓ２１の処理）。
【００８９】
図１１に示すように、時刻ｔ１４において、情報Ａにマークが記載された場合、画像処理部２８は、画像が変化したと判定する（ステップＳ１５の処理）。画像処理部２８は、画像Ｇ４と画像Ｇ３との差分画像ｇ４を生成し、生成した差分画像ｇ４をメモリ２３の差分画像記憶領域２３ｄに記憶する（ステップＳ１６〜Ｓ１９の処理）。ＣＰＵ３３は、差分画像ｇ４に時刻情報ｔ１４を付加し、画像処理部２８は、画像Ｇ３を消去する（ステップＳ２０，Ｓ２１の処理）。
【００９０】
時刻ｔ１５において、白板２にコメントが記載された場合、画像処理部２８は、画像が変化したと判定する（ステップＳ１５の処理）。画像処理部２８は、画像Ｇ５と画像Ｇ４との差分画像ｇ５を生成し、生成した差分画像ｇ５をメモリ２３の差分画像記憶領域２３ｄに記憶する（ステップＳ１６〜Ｓ１９の処理）。ＣＰＵ３３は、差分画像ｇ５に時刻情報ｔ１５を付加し、画像処理部２８は、画像Ｇ４を消去する（ステップＳ２０，Ｓ２１の処理）。
【００９１】
ここで、ユーザがシンクロモードを解除する操作を行うと、操作部２７は、この操作情報をＣＰＵ３３に送信する。ＣＰＵ３３は、この操作情報を受信して、記録処理と終了と判定し（ステップＳ２２の処理）、記録処理を終了させる。尚、ＣＰＵ３３は、記録処理の終了に際し、画像Ｇ５を消去する。
【００９２】
次に、ユーザが操作部２７を操作して、音声再生を選択した場合、ＣＰＵ３３は、操作部２７からのこの操作情報を受信して、画像合成を行う。まず、画像処理部２８は、メモリ２３の差分画像記憶領域２３ｄから、すべての差分画像ｇ１〜ｇ５を読み出して、読み出した差分画像ｇ１〜ｇ５を合成し、図１１に示す最終画像Ｇ５を復元する（ステップＳ３１，Ｓ３２の処理）。
【００９３】
画像処理部２８は、復元した最終画像Ｇ５をメモリ２３の表示画像記憶領域２３ｅに記憶する（ステップＳ３３の処理）。表示制御部２４は、この画像Ｇ５を表示画像記憶領域２３ｅから読み出して、液晶モニタ１３に表示させる。
【００９４】
最終画像Ｇ５を液晶モニタ１３に表示することによって、ユーザは、この液晶モニタ１３に表示された差分画像ｇ１〜ｇ５をインデックスとして、音声の再生箇所を選択することが可能になる。
【００９５】
例えば、ユーザによって液晶モニタ１３のタッチパネルが押されて情報Ｂが選択された場合、操作部２７は、この情報Ｂが選択された旨の選択情報をＣＰＵ３３に送信する。
【００９６】
ＣＰＵ３３は、この選択情報を受信すると、選択情報に基づいて選択された差分画像ｇ２を特定する（ステップＳ４１の処理）。
【００９７】
ＣＰＵ３３は、差分画像ｇ２に付加された撮影時刻情報ｔ１２を取得する（ステップＳ４２の処理）。
【００９８】
ＣＰＵ３３は、取得した撮影時刻情報ｔ１２に対応する録音時刻を指定して、音声再生部３１に音声を再生させる（ステップＳ４３）。
【００９９】
音声再生部３１は、メモリ２３の音声データ記憶領域２３ｂから、指定された録音時刻の音声データを読み出して、読み出した音声データを再生する。
【０１００】
また、画像処理部２８は、液晶モニタ１３に、時刻ｔ１２までの差分画像ｇ１とｇ２とを合成し、画像Ｇ２を復元し、復元した画像Ｇ２を表示画像記憶領域２３ｅに記憶する。表示制御部２４は、表示画像記憶領域２３ｅから、この画像Ｇ２を読み出して液晶モニタ１３に表示させる。
【０１０１】
音声が時刻ｔ１３まで再生されると、画像処理部２８は、差分画像ｇ３をメモリ２３の差分画像記憶領域２３ｄから読み出して、画像Ｇ２に差分画像ｇ３を合成して画像Ｇ３を復元する。画像処理部２８は、復元した画像Ｇ３を表示画像記憶領域２３ｅに記憶する。表示制御部２４は、この画像Ｇ３を表示画像記憶領域２３ｅから読み出し、読み出した画像Ｇ３を液晶モニタ１３に表示させる。
【０１０２】
このように、ユーザによって画像Ｇ２が選択された場合、このデジタルカメラ１は、差分画像ｇ２をインデックスとして、時刻ｔ１２から音声を再生する。
【０１０３】
以上説明したように、本実施形態によれば、記録処理において、ボイスレコーダ２６は、録音を行い、画像処理部２８は、差分画像を生成し、ＣＰＵ３３は、音声データ、生成した差分画像に時刻情報を付加する。そして、再生処理において、画像が選択されると、ＣＰＵ３３と音声再生部３１とは、選択画像に対応する時刻から音声を再生するようにした。
【０１０４】
従って、記憶容量を低減しつつ、最終画像から選択された画像に対応する音声を再生することができる。また、画像を確認して音声にランダムアクセスすることができる。
【０１０５】
また、従来のカメラでは、サイズに制限がある液晶モニタ１３に、すべての被写体画像を表示するようにしているので、情報Ａ〜Ｃ、コメント等が小さく表示され、各情報が見づらくなってしまう。これに対して、本実施形態のデジタルカメラ１では、最終画像だけを液晶モニタ１３に表示して、各差分画像を個々に選択できる。
【０１０６】
このため、液晶モニタ１３に表示された各情報が見やすくなり、記載事項の履歴を把握しやすくなり、また、画像の選択作業も容易となる。従って、本実施形態に係るデジタルカメラ１は、プレゼンテーション用として、特に有効である。
【０１０７】
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。
例えば、上記実施形態では、画像の変化を判別し、画像が変化したときの被写体画像を記憶するようにした。しかし、画像変化を判別しなくても、シャッターを押下することにより、手動で被写体画像を取り込み、取り込んだ被写体画像を記憶するようにすることもできる。
【０１０８】
また、音声を再生する場合、それぞれのシャッタータイミングの一定時間前から音声の再生を開始するようにすることもできる。あるいは、シャッタータイミングより以前に、無音声状態から音声がある状態に切り替わるタイミングがある場合、このタイミングから再生を開始することもできる。
【０１０９】
また、指定時刻に追記した画像をハイライト等で明示することもでき、全体の画像インデックスを明示してもよい。
【０１１０】
上記実施形態では、白板２に追加された内容の画像だけでなく、削除された内容の画像も音声再生に従って、液晶モニタ１３に表示させることもできる。
【０１１１】
即ち、図１２に示すように、時刻ｔ１２〜ｔ１３の間の時刻ｔ２１において、情報Ｄが追加され、時刻ｔ２２において、情報Ｄが削除された場合、画像処理部２８は、時刻ｔ２１において、画像Ｇ１１と画像Ｇ２との差分画像ｇ１１を生成する。
【０１１２】
時刻ｔ２２において、画像処理部２８は、画像Ｇ１２と画像Ｇ１１との差分画像ｇ１２を生成する。但し、差分画像ｇ１２は、情報Ｄが削除されたことを示す画像である。
【０１１３】
そして、記録再生時に、画像Ｇ２が選択された場合、画像処理部２８は、差分画像ｇ１、ｇ２、ｇ１１、ｇ１２から、画像Ｇ２、Ｇ１１，Ｇ１２を復元し、表示制御部２４は、液晶モニタ１３にこの復元した画像Ｇ２、Ｇ１１，Ｇ１２を表示させる。
【０１１４】
このようにすれば、音声の再生に伴って、削除された画像も時系列的に表示させることができる。
【０１１５】
上記実施形態では、音声画像記録装置、音声画像再生装置をデジタルカメラに適用した場合について説明した。しかし、これに限らず、ＰＤＡ（Personal Digital Assistance；携帯情報端末）、携帯電話等に適用することもできる。
【０１１６】
また、上記実施形態では、画像処理部２８が画像の歪み補正を行うようにした。しかし、特に歪み補正を行う必要がなければ、このような処理を省略することができる。
【０１１７】
また、上記実施形態では、液晶モニタ１３に表示された画像のうち、選択可能な画像は１つとして説明した。しかし、選択可能な画像は１つである必要はなく、例えば、２つの画像選択して、音声の再生範囲を指定することもできる。さらには、画像を２つ選択することができれば、指定された範囲内で音声を繰り返し再生するように構成されることもできる。
【０１１８】
また、上記実施形態では、液晶モニタ１３に、タッチパネルを備えるようにした。しかし、画像の選択情報を取得できれば、必ずしも、タッチパネルを備える必要はなく、タッチパネルの代わりに、例えば、マウス、トラックボール、キーボード、タブレット、画像の一部を指定することができるポインティング装置等を備えることもできる。
【０１１９】
また、上記実施形態では、復元した画像を液晶モニタ１３に表示させるようにした。しかし、デジタルカメラ１に、コンピュータ又はプロジェクタを接続し、復元した画像をコンピュータのディスプレイに表示させたり、プロジェクタからスクリーンに復元した画像を投影することもできる。
【０１２０】
さらに、上記実施の形態では、プログラムが、プログラムコード記憶部３２に予め記憶されているものとして説明した。しかしながら、これらのプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）などのコンピュータ読み取り可能な記録媒体に格納して配布するものとしてもよい。そして、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。）
【図面の簡単な説明】
【０１２１】
【図１】本発明の実施形態に係るデジタルカメラの外観を示す図である。
【図２】図１に示すデジタルカメラの機能を説明するための図である。
【図３】図１に示すデジタルカメラの構成を示すブロック図である。
【図４】図３に示すメモリの記憶領域を示す図である。
【図５】図３に示す画像処理部が実行する画像の歪み補正処理を示す図である。
【図６】図３に示す画像処理部が実行する差分画像生成処理を示す図である。
【図７】図１に示すデジタルカメラが実行する記録処理を示すフローチャートである。
【図８】図１に示すデジタルカメラが実行する画像合成処理を示すフローチャートである。
【図９】図１に示すデジタルカメラが実行する音声再生処理を示すフローチャートである。
【図１０】図１に示すデジタルカメラの具体的な動作（その１）を示す図である。
【図１１】図１に示すデジタルカメラの具体的な動作（その２）を示す図である。
【図１２】図１に示すデジタルカメラの応用例として、画像を削除した場合の動作を示す図である。
【符号の説明】
【０１２２】
１・・・デジタルカメラ、２・・・白板、１３・・・液晶モニタ、２１・・・撮影部、２２・・・イメージセンサ、２３・・・メモリ、２４・・・表示制御部、２５・・・計時部、２６・・・ボイスレコーダ、２７・・・操作部、２８・・・画像処理部、３１・・・音声再生部、３３・・・ＣＰＵ
【図１】
2006186786.tif 000003
【図２】
2006186786.tif 000004
【図３】
2006186786.tif 000005
【図４】
2006186786.tif 000006
【図５】
2006186786.tif 000007
【図６】
2006186786.tif 000008
【図７】
2006186786.tif 000009
【図８】
2006186786.tif 000010
【図９】
2006186786.tif 000011
【図１０】
2006186786.tif 000012
【図１１】
2006186786.tif 000013
【図１２】
2006186786.tif 000014