(57)【要約】【課題】録音した音声データを実際に音声として再生しなくてもその内容がユーザに容易に分かるようにすること。【解決手段】音声データの取得中に被写体の撮像を行って画像データを取得する同時記録モード、および記録した音声データまたは画像データを再生する再生モードを有し、同時記録モードにおいて、記録手段は、取得した音声データと画像データとを互いに対応付けて記録するとともに、再生モードにおいて、音声データの取得中に撮像を行って取得した画像データの少なくとも一部を当該音声データのサムネイル画像として表示手段に表示する。【選択図】      図４
2005117077.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを取得する撮像手段、音声を音声データとして取得する音声取得手段、取得した画像データおよび音声データを記録媒体に記録する記録手段、および表示手段を備えた携帯電子機器であって、
音声データの取得中に被写体の撮像を行って画像データを取得する同時記録モード、および記録した音声データまたは画像データを再生する再生モードを有し、
前記同時記録モードにおいて、前記記録手段は、取得した音声データと画像データとを互いに対応付けて記録するとともに、
前記再生モードにおいて、前記音声データの取得中に撮像を行って取得した画像データの少なくとも一部を当該音声データのサムネイル画像として前記表示手段に表示する、
ことを特徴とする携帯電子機器。
【請求項２】
１つの音声データに対して複数の画像データが対応付けて記録されている場合に、前記複数の画像データを、時分割で、当該音声データのサムネイル画像として前記表示手段に表示する、
請求項１記載の携帯電子機器。
【請求項３】
１つの音声データに対して複数の画像データが対応付けて記録されている場合に、前記複数の画像データのそれぞれを、当該音声データのサムネイル画像として、前記表示手段の表示面上の分割された領域に表示する、
請求項１記載の携帯電子機器。
【請求項４】
前記表示手段に表示されたサムネイル画像のなかの１つのサムネイル画像が選択されたときに、当該音声データのうち選択されたサムネイル画像の画像データが取得された時点の近辺の音声データを再生する、
請求項２または３記載の携帯電子機器。
【請求項５】
前記表示手段に表示されたサムネイル画像のなかの１つのサムネイル画像が指定されたときに、当該音声データのうち指定されたサムネイル画像の画像データが取得された時点の近辺から当該音声データを再生する、
請求項２または３記載の携帯電子機器。
【請求項６】
前記表示手段に表示されたサムネイル画像のなかの１つのサムネイル画像が指定されたときに、当該音声データを先頭から再生する、
請求項２または３記載の携帯電子機器。
【請求項７】
被写体を撮像して画像データを取得する撮像手段、電話による通信手段、取得した画像データおよび音声データを記録媒体に記録する記録手段、および表示手段を備えた携帯電子機器であって、
通話中に被写体の撮影を行って画像データを取得する同時記録モード、および記録した音声データまたは画像データを再生する再生モードを有し、
前記同時記録モードにおいて、前記記録手段は、少なくとも通話の相手方から受信した音声データを記録するとともに、当該音声データと撮影された画像データとを互いに対応付けて記録する、
ことを特徴とする携帯電子機器。
【請求項８】
音声データと当該音声データの時間的な位置に対応付けられた複数の画像データとを再生するためのデータ再生方法であって、
前記複数の画像データのうちの少なくとも一部の画像データを、時分割で、当該音声データのサムネイル画像として表示手段に表示し、
前記表示手段に表示されたサムネイル画像のなかの１つのサムネイル画像が指定されたときに、当該音声データを先頭から再生する、
ことを特徴とするデータ再生方法。
【請求項９】
音声データと当該音声データの時間的な位置に対応付けられた複数の画像データとを再生するためのデータ再生方法であって、
前記複数の画像データのうちの少なくとも一部の画像データを当該音声データのサムネイル画像として表示手段に表示し、
前記表示手段に表示されたサムネイル画像のなかの１つのサムネイル画像が指定されたときに、当該音声データのうち指定されたサムネイル画像の画像データが対応付けられた位置の近辺から当該音声データを再生する、
ことを特徴とするデータ再生方法。
【請求項１０】
音声データと当該音声データの時間的な位置に対応付けられた複数の画像データとを再生させるためのコンピュータプログラムであって、
前記複数の画像データのうちの少なくとも一部の画像データを当該音声データのサムネイル画像として表示手段に表示させる機能と、
前記表示手段に表示されたサムネイル画像のなかの１つのサムネイル画像が指定されたときに、当該音声データのうち指定されたサムネイル画像の画像データが対応付けられた位置の近辺から当該音声データを再生させる機能と、
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、いわゆるボイスレコード機能およびデジカメ機能を備えた携帯電子機器および互いに対応付けられた音声データおよび画像データのデータ再生方法に関する。
【背景技術】
【０００２】
近時のデジタルカメラは、静止画のみでなく動画の撮影および音声の録音も可能なものが多い。
【０００３】
例えば、撮影して記録した静止画に対して後から音声によって注釈を加えて記録する、いわゆるボイスメモ機能（アフレコ機能）を備えたものが知られている。また、静止画を撮影するときに同時に音声を録音する機能を備えたものも知られている。静止画に代えて動画の撮影の可能なものもある。
【０００４】
また、画像の撮影を行うことなく音声の録音のみを行って記録媒体に記録するボイスレコーダ機能を持つものもある。これによると、画像データに代えて音声データのみからなるファイルを記録することになるので、限られたメモリ容量の下で長時間の録音が可能である。
【０００５】
さらに、音声の録音中に静止画の撮影を許可し、撮影した画像データを音声データと同一または別のファイルとして記録可能なものも提案されている（特許文献１) 。
【０００６】
しかし、従来のデジタルカメラでは、ボイスレコーダ機能によって録音した音声ファイルの場合に、日付またはシリアル番号がそのファイル名として用いられる。そして、音声ファイルの存在を表示するに当たって、そのようなファイル名や、音声ファイルであることを示すマークなどが、サムネイル画像として用いられる。そのため、音声ファイルの内容は、それを再生して音として実際に聞いてみないとユーザには容易には分からなかった。
【０００７】
また、デジカメ機能の付いた携帯電話機では、音声の録音や画像の撮影それ自体は行えるものの、通話中に相手方の音声を記録しながら撮影を行うことはできなかった。
【特許文献１】特開２００１−３５８９８０
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、上述の問題に鑑みてなされたもので、録音した音声データを実際に音声として再生しなくてもその内容がユーザに容易に分かるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る携帯電子機器は、音声データの取得中に被写体の撮像を行って画像データを取得する同時記録モード、および記録した音声データまたは画像データを再生する再生モードを有し、前記同時記録モードにおいて、前記記録手段は、取得した音声データと画像データとを互いに対応付けて記録するとともに、前記再生モードにおいて、前記音声データの取得中に撮像を行って取得した画像データの少なくとも一部を当該音声データのサムネイル画像として前記表示手段に表示する。
【００１０】
これにより、録音された音声と録音時の画像と関連付けられ、ユーザは画像によって録音内容を推察しまたは思い出すことが容易となる。
【００１１】
また、１つの音声データに対して複数の画像データが対応付けて記録されている場合に、前記複数の画像データを、時分割で、当該音声データのサムネイル画像として前記表示手段に表示する。または、前記複数の画像データのそれぞれを表示手段の表示面上の分割された領域に表示する。
【００１２】
このように、１つの音声データについて複数の画像データを取得しておき、それらを表示することによって、ユーザは録音内容を推察しまたは思い出すことがより一層容易となる。
【００１３】
また、前記表示手段に表示されたサムネイル画像のなかの１つのサムネイル画像が指定されたときに、当該音声データのうち指定されたサムネイル画像の画像データが取得された時点の近辺の音声データを再生する。または、指定されたサムネイル画像の画像データが取得されまたは対応付けられた時点の近辺から当該音声データを再生する。
【００１４】
これによって、音声データの頭だしを行うことが容易となる。
【００１５】
さらに、本発明に係る携帯電話機では、通話中に被写体の撮影を行って画像データを取得する同時記録モード、および記録した音声データまたは画像データを再生する再生モードを有し、前記同時記録モードにおいて、前記記録手段は、少なくとも通話の相手方から受信した音声データを記録するとともに、当該音声データと撮影された画像データとを互いに対応付けて記録する。
【発明の効果】
【００１６】
本発明によると、録音した音声データを音声として実際に再生しなくても、録音と同時に撮像した画像データをサムネイル画像として表示することができるので、録音時の状況や環境を視覚を介して思い出すことができ、ユーザにとって録音データの内容が分かり易くなる。
【発明を実施するための最良の形態】
【００１７】
〔第１の実施形態〕
まず、本発明をデジタルカメラとして実施した場合について説明する。
【００１８】
図１は本発明の第１の実施形態であるデジタルカメラ１の正面側から見た斜視図、図２はデジタルカメラ１の背面図である。
【００１９】
図１および図２に示されるように、デジタルカメラ１は、金属または合成樹脂などの材料で構成されたカメラ本体１０の内部または表面に、レンズ１１、電源スイッチ１２、レリーズボタン１３、マイクロフォン１４、グリップ１５、ファインダ１６、表示部１７、スピーカ１８、モード選択ダイアル１９、決定ボタン２０、十字キー２１、および設定ボタン２２などが設けられている。十字キー２１は、上下ボタン２１ａおよび左右ボタン２１ｂからなる。
【００２０】
レンズ１１は、鏡胴とともに撮影光学系ＳＫ（図３参照）を構成するものであり、対物レンズがカメラ本体１０の正面側に開口するように設けられる。レンズ１１は複数枚からなってズーム機能を有しており、上下ボタン２１ａの操作によって撮影倍率の変更を行うことができる。
【００２１】
レリーズボタン１３は、カメラ本体１０の上面に設けられており、ユーザによる半押し状態と全押し状態とを区別して検出可能な２段階押し込みスイッチである。例えば後述する撮影モードのときには、レリーズボタン１３の半押しによって、測光、合焦動作、およびライブビュー表示などの撮影準備動作を実行し、全押しによって、撮影および露光動作（露出動作）を実行する。
【００２２】
マイクロフォン１４は、ユーザの話し声や周囲の音を拾い、音声を音声信号に変換する。グリップ１５は、バッテリーおよび後述するメモリカード１１５の収納蓋と兼用になっている。つまり、グリップ１５をスライドさせて開けることにより、内部の装着部にセットされたバッテリーやメモリカード１１５を交換することができる。
【００２３】
ファインダ１６は、ユーザが接眼して撮影対象および撮影領域を確認するためのものである。本実施形態では光学ファインダが用いられているが、電子ビューファインダ（ＥＶＦ）であってもよい。表示部１７には、撮影の前にレンズ１１により捉えられた被写体のライブ画像、再生時の画像、メニュー、およびモードや各種の設定内容などがカラー表示される。表示部１７として、後述するように、例えば３２０×２４０画素程度のＬＣＤ（液晶表示装置）１１３が用いられる。スピーカ１８は、単独でまたは画像とともに記録した音声の再生出力、警告音声の出力、操作音の出力、セルフタイマーの報知などのために用いられる。
【００２４】
モード選択ダイアル１９は、それをユーザが回転させることによって、撮影モード（カメラモード）、再生モード、音声記録モード（ボイスレコードモード）のいずれかを選択して設定するためのものである。撮影モードは、被写体の撮影を行って画像データを取得するモードである。撮影モードは、さらに静止画撮影モードと動画撮影モードとに細分化されている。再生モードは、メモリカード１１５に記録された画像データおよび音声データを再生するモードである。音声記録モードは、音声を記録するモードである。なお、後述するように、音声記録モードにおいても被写体を撮影して画像データを取得することができる。
【００２５】
なお、静止画撮影モードで得られた画像データを静止画データ、動画撮影モードで得られた画像データを動画データということがある。また、画像データを画像ファイルといい、音声データを音声ファイルということがある。同様に、静止画データおよび動画データを静止画ファイルまたは動画ファイルということがある。
【００２６】
決定ボタン２０は、モード選択ダイアル１９で選択されたモードにおいて、種々の設定を行いまたは動作を開始するための決定ボタンとしての機能を有する。例えば、音声記録モード時においては、録音の開始ボタンおよび停止ボタンとしての機能を有する。
【００２７】
十字キー２１は、上下ボタン２１ａと左右ボタン２１ｂとの組み合わせによって、ユーザが種々の機能を選択しまたは設定するためのものである。例えば、撮影モード時には上下ボタン２１ａの操作によってズーム変更を行い、再生モード時には左右ボタン２１ｂの操作によって画像の切り替えを行い、音声再生時には上下ボタン２１ａの操作によって添付画像を選択することが可能である。
【００２８】
設定ボタン２２は、種々の設定を行うための４つのボタンからなるボタン群である。例えば、設定ボタン２２のいずれかを、メニューの選択ボタン、画像ファイルの再生ボタン、音声ファイルの再生ボタンなどとして機能させることができる。例えば、メニューの選択ボタンを押すことによって表示部１７にメニューが表示され、この状態で、十字キー２１を操作することによって、各種撮影パラメータの設定を行うことができる。また、音声ファイルの再生ボタンとして機能させる場合に、音声ファイルに対応するサムネイル画像の表示の指示、サムネイル画像の表示モードの決定の指示、音声の実際の再生の指示などに対応して、設定ボタン２２を用いることができる。
【００２９】
なお、図示または説明を省略したが、外部接続インタフェースのためのコネクタ、外部電源端子、フラッシュなどが設けられる。
【００３０】
次に、デジタルカメラ１の内部構成について説明する。
【００３１】
図３はデジタルカメラ１の機能を示すブロック図である。
【００３２】
図３に示すように、デジタルカメラ１には、制御部１０１、画像信号処理部１０２、タイミング制御回路１０３、撮像素子１０４、レンズ駆動部１０６、フラッシュ回路１０７、音声信号処理部１０９、操作部１１０、音声出力部１１１、ＬＣＤ１１３、カードＩＦ１１４、メモリカード１１５、および通信用ＩＦ１１６などが設けられる。
【００３３】
制御部１０１は、ＲＯＭおよびバッファメモリとしてのＲＡＭを内部に備えたマイクロコンピュータによって構成される。マイクロコンピュータが所定のプログラムを実行することにより、以下に説明する種々の機能が実現される。
【００３４】
画像信号処理部１０２は、撮像素子１０４から出力される画像信号を増幅し、ＤＡ変換を行ったた後、ホワイトバランスのための処理および圧縮処理などを行う。
【００３５】
タイミング制御回路１０３は、タイミングジェネレータ（ＴＧ）とも呼称され、撮像素子１０４の動作を制御するための各種のタイミングパルスを生成する。
【００３６】
撮像素子１０４は、被写体を撮像して画像信号に変換するための光電変換素子であり、本実施形態においてはＣＣＤが用いられる。例えば２００万画素、５００万画素、またはそれ以上の画素数のものが用いられ、画素毎にＲ（赤），Ｇ（緑），Ｂ（青）の色成分の画像信号を出力する。撮像素子１０４の駆動方式つまり読み出しモードには、ドラフトモード、自動合焦モード、および本撮影モードの３つのモードがある。詳しくは特開２０００−１５２０７２を参照することができる。なお、ＣＣＤ以外に、Ｃ−ＭＯＳ、その他の素子を用いてもよい。撮像素子１０４と撮影光学系ＳＫとによって撮像部ＳＢが構成される。
【００３７】
レンズ駆動部１０６は、モータおよびそのドライバなどにより構成され、レンズ１１を構成するズ−ムレンズ、フォ−カスレンズ、およびシャッタなどを駆動する。
【００３８】
フラッシュ回路１０７は、被写体を照明するためのフラッシュ発光部、およびその制御回路からなる。音声信号処理部１０９は、マイクロフォン１４から出力される音声信号を増幅し、ＡＤ変換する。これによって音声を音声データとして取得する。
【００３９】
操作部１１０は、モード選択ダイアル１９、決定ボタン２０、十字キー２１、および設定ボタン２２などの各種ボタン、スイッチ、またはキーなどを含み、またそれらの状態を検出するＹＩ機能を有する。
【００４０】
音声出力部１１１は、制御部１０１から出力される音声データをＡＤ変換し、増幅してスピーカ１８を駆動する。ＬＣＤ１１３は、制御部１０１から出力される画像データを表示するものである。そのためのドライバも含まれる。なお、表示部１７としては、ＬＣＤ１１３以外に、有機ＥＬ装置、その他のディスプレイ装置を用いてもよい。
【００４１】
カードＩＦ１１４は、メモリカード１１５への書き込みまたは読み出しを行うためのインタフェ−スである。メモリカード１１５は、ＳＤメモリカード、マルチメディアカードなど、画像データおよび音声データなどを記録する記録媒体である。通信用ＩＦ１１６は、パーソナルコンピュータまたはクレードルなどとの間でデータ転送を行うためのインタフェ−スである。例えば、ＵＳＢ規格に準拠した通信用インタフェースなどが用いられる。これら、通信用ＩＦ１１６およびカードＩＦ１１４を介して、メモリカード１１５または外部の記録媒体に記録された制御プログラムを、制御部１０１のＲＡＭまたはＲＯＭに取り込むことが可能である。
【００４２】
上に述べた機能以外に、例えば、γ補正、色補正、解像度変換、領域の切り出し処理、自動露出（ＡＥ）または自動合焦（ＡＦ）の制御用の評価値の算出処理、画像データの一時記憶、圧縮処理、伸張処理、その他のデータ処理または信号処理の機能が、必要に応じて備えられる。これらの機能は、上に述べた制御部１０１、画像信号処理部１０２、その他のハード回路またはソフト処理によって実現することが可能である。また、手ぶれ検出センサを設けることにより、撮影時における手ぶれ補正を行うことが可能である。
【００４３】
次に、デジタルカメラ１の基本的な操作について説明する。
【００４４】
電源をオンした状態で、モード選択ダイアル１９によって、撮影モード、再生モード、音声記録モードのいずれかを選択する。撮影モードでは、さらに、メニューの選択ボタンによってメニューを表示させ、静止画撮影モードまたは動画撮影モードのいずれかを設定する。
【００４５】
静止画撮影モードでは、レリーズボタン１３の半押しによって、上に述べたように撮影準備動作が行われ、全押しによって撮影が行われる。動画撮影モードでは、レリーズボタン１３の全押しによって撮影が開始され、再度の全押しによって撮影を終了する。また、撮影の開始から一定の時間を経過した場合には自動的に撮影を終了する。
【００４６】
音声記録モードでは、決定ボタン２０を押すことによって録音が開始され、決定ボタン２０を再度押すことによって録音を終了する。録音中において、レリーズボタン１３の操作によって被写体の撮影が行われる。上に述べたメニューによって、録音中の撮影モード、つまり録音中に静止画を撮影するか動画を撮影するかを選択することができる。
【００４７】
再生モードでは、メモリカード１１５に記録された画像ファイルおよび音声ファイルが読み出され、それらのヘッダに基づいて記録の日付け情報が読み出される。日付け情報に基づいて、ファイルの新旧が判断される。最新のファイルが画像ファイルである場合には、そのサムネイル画像が表示部１７に表示される。最新のファイルが音声ファイルである場合には、その音声ファイルに添付された画像データのサムネイル画像が読み出され、表示部１７に表示される。サムネイル画像がないときは、音声ファイルであることを示す代替画像が表示される。代替画像として、例えば、単一色の画像や文字画像が用いられる。音声ファイルのサムネイル画像を表示中に、十字キー２１の上下ボタン２１ａを操作することによって、その音声ファイルに対応付けられた他の画像データが検索され、それらが時系列に順次表示される。
【００４８】
これら種々のサムネイル画像の表示中に、十字キー２１の左右ボタン２１ｂを操作すると、次のファイルに移行し、それぞれのファイルの種類に応じたサムネイル画像が表示される。音声ファイルに添付された画像データのサムネイル画像を表示中に、設定ボタン２２の右端のボタンを操作すると、そのサムネイル画像を撮影した時間帯の音声が再生される。具体的には、例えば、そのサムネイル画像を撮影した時点から所定の時間だけ遡った時点から音声ファイルを読み出して再生する。
【００４９】
デジタルカメラ１は、上に説明した操作以外の種々の操作を行うことができる。以下に、デジタルカメラ１の特徴的な機能についてさらに詳しく説明する。
【００５０】
さて、デジタルカメラ１は、上に述べたように、音声記録モードにおいて、音声データの取得中に被写体の撮像を複数回にわたって行って画像データ（静止画データ）を取得することが可能である。取得した音声データと画像データとは、互いに対応付けて、しかも録音時点と撮影時点とを対応付けて記録される。つまり、音声データに画像データが添付される。音声記録モードは本発明における「同時記録モード」に相当する。
【００５１】
再生モードにおいて、１回の音声データの取得中に撮像を行って取得した１つまたは複数の画像データの全部または一部が、当該音声データのサムネイル画像として表示部１７に表示される。１つの音声データに対して複数の画像データが対応付けられている場合には、複数の画像データを、時分割で、当該音声データのサムネイル画像として表示することが可能である。また、複数の画像データのそれぞれを、当該音声データのサムネイル画像として、表示部１７の表示面上の分割された領域に表示することが可能である。
【００５２】
そして、表示部１７にサムネイル画像が表示されているときに、ユーザが表示中のサムネイル画像を指定することによって、対応する音声データのうち指定されたサムネイル画像の画像データが取得された時点の近辺の音声データが、スピーカ１８から再生される。つまり、サムネイル画像は、音声データの内容のメルクマークとして用いることができ、不要な部分をとばして早送りまたは早戻しを行うために利用できる。換言すれば、サムネイル画像を音声データの頭だしのために使用することができる。
【００５３】
また、表示部１７にサムネイル画像が表示されているときに、ユーザが表示中のサムネイル画像を指定した場合に、そのサムネイル画像に対応して音声データの頭だしを行うようにすることも可能である。つまり、対応する音声データのうち指定されたサムネイル画像の画像データが取得された時点の近辺から、音声データの再生が開始され、スピーカ１８から出力される。
【００５４】
このような機能について、以下に詳しく説明する。
【００５５】
図４は音声記録モードにおける動作を説明するための図、図５は再生モードにおいて表示部１７に表示される画面ＨＧ１の例を示す図、図６は再生モードにおいて表示される他の画面ＨＧ２の例を示す図である。
【００５６】
図４に示すように、音声記録モードにおいて、時刻ｔｓから時刻ｔｅまで、時間Ｔ１のの間に録音を行ったとする。録音を開始した直後の時刻ｔ１において、１回目の撮影を行い、画像データＶＳ１１を取得する。その後、時刻ｔ２，３…，５において、２回目、３回目、…５回目の撮影を行い、それぞれ画像データＶＳ１２，ＶＳ１３…，ＶＳ１５を取得する。したがって、この場合には、１回の録音によって、１つの音声データＶＤ１と５つの画像データＶＳ１１〜１５が得られる。これらは互いに対応付けてメモリカード１１５に記録される。その場合に、各画像データＶＳ１１〜１５とそれぞれの音声データＶＤ１における位置（時点）との対応付けも行われる。このような対応付けのために、種々の公知の方法を用いることが可能である。
【００５７】
例えば、画像データＶＳ１１〜１５のファイルおよび音声データＶＤ１のファイルの各ファイル名を、互いに共通な部分と、それぞれを識別する部分とによって構成し、共通な部分が同一であればそれらが対応付けられたファイルであると制御部１０１が認識するようにする。また、画像データＶＳ１１〜１５を記録するアドレスと音声データＶＤ１の各位置（各時刻ｔ１〜５）のアドレスとを対応付ける管理情報を各データのファイルのヘッダに記録する。画像データＶＳ１１〜１５と音声データＶＤ１とを１つのファイルとして記録するようにした場合には、そのファイルのヘッダに管理情報を記録する。または、そのような管理情報を別のファイルとして設ける。その他、種々の方法がある。
【００５８】
図５に示すように、音声再生モードにおいて、表示部１７に、音声データＶＤ１についてのサムネイル画像（画面ＨＧ１）が表示される。画面ＨＧ１において、録音中に取得した５つの画像データＶＳ１１〜１５のそれぞれのサムネイル画像が、表示面を９つに分割したそれぞれの領域の１つに同時に表示される。表示された５つのサムネイル画像に対して、ユーザは、例えば十字キー２１の操作によって、任意の１つのサムネイル画像を選択することが可能である。選択したサムネイル画像はその縁が濃く囲まれることなどによって強調表示される。つまり、画像データＶＳ１１を選択すれば画像データＶＳ１１が強調表示され、画像データＶＳ１２を選択すれば画像データＶＳ１２が強調表示される。図５においては画像データＶＳ１４が強調表示されている。
【００５９】
この状態で、ユーザが、例えば設定ボタン２２を操作して、再生の指示を行うと、選択されているサムネイル画像に対応する位置から音声データＶＤ１が再生され、スピーカ１８から音として出力される。図５の場合には音声データＶＤ１の時刻ｔ４の位置から再生が開始される。
【００６０】
なお、上に述べた例において、選択されたサムネイル画像に対応する位置の近辺の音声データＶＤ１をサムネイル音声として再生するようにしてもよい。サムネイル音声は、例えば、サムネイル画像に対応する位置よりも後またはその前後の数秒〜十数秒の間の音声を、１回のみまたは繰り返して再生する。その場合に、例えば、サムネイル画像が選択された時点で自動的にサムネイル音声を再生してもよい。または、サムネイル再生モードを設けておき、そのサムネイル再生モードにおいて再生の指示を行ったときに、選択されているサムネイル画像に対応するサムネイル音声を再生するようにしてもよい。
【００６１】
このように、音声データＶＤ１について、録音時に撮影した画像データをサムネイル画像として表示することにより、音声データＶＤ１を実際に再生しなくてもその内容を思い出したり推察したりして知ることが可能である。したがって、複数の音声データＶＤについて、ユーザの聞きたい音声データＶＤを容易に素早く選択することが可能となる。また、１つの音声データＶＤについて複数の画像データＶＳを取得しておくことによって、音声データＶＤの内容がより一層分かりやすくなる。さらに、複数の画像データＶＳを表示させ、それぞれの画像データＶＳを選択しまたは指定することによって音声データＶＤの頭だしを行えるので、頭だしが容易である。
【００６２】
したがって、録音中に撮影する被写体は、録音の内容とできるだけ深く関連したものとすることが好ましい。例えば、会議を録音する場合には、その時々のＯＨＰの映像、または発言者が指し示す資料や書類など、打合せ内容を録音する場合には、その時々の資料や書類または発言者の顔など、その時々の録音内容を端的にしかも包括的に示す被写体を撮影すればよい。
【００６３】
なお、複数の画像データを１つのグループとし、１つのグループについて、それを代表する撮影時点と音声データＶＤの録音時点とを対応付けて記録してもよい。例えば、短時間内で接近して撮影された画像データを１つのグループとし、そのうちの最初の１枚または中央の１枚が撮影された時点をそのグループの撮影時点とし、これを音声データＶＤの録音時点と対応付けてもよい。また、録音中に撮影した画像データに対して、それに関連する画像として後から付加した画像を含めて１つのグループとして扱うようにしてもよい。
【００６４】
次に、図６に示す例では、音声再生モードにおいて、表示部１７に、画像メモリカード１１５に記録されている多数のファイル（データ）について、そのサムネイル画像が表示されている。
【００６５】
すなわち、図６において、表示部１７には、静止画データＳＤ１〜４、動画データＭＤ１〜３、および音声データＶＤ１〜２の、それぞれのサムネイル画像によって構成された画面ＨＧ２が表示されている。
【００６６】
画面ＨＧ２において、これらのサムネイル画像は、表示部１７の表示面を９つに分割したそれぞれの領域の１つに同時に表示されている。そして、動画データＭＤ１〜３および音声データＶＤ１〜２については、各サムネイル画像の右下部に、データの種類を示すためのマークＭＫが同時に表示される。図に示すように、マークＭＫとして、音声データＶＤにはマイクロフォンの図柄、動画データＭＤにはシネカメラの図柄が用いられる。
【００６７】
表示された各サムネイル画像に対して、図５の画面ＨＧ１の場合と同様に、ユーザは任意の１つのサムネイル画像を選択することが可能である。選択したサムネイル画像は強調表示される。図５においては音声データＶＤ１が強調表示されている。
【００６８】
そして、選択されたサムネイル画像は、それが動画データＭＤであった場合には、動画サムネイルとして表示される。つまり、表示中のサムネイル画像と同じ位置でかつ同じ大きさで、数秒間の動画が表示される。１回のみでもよく、繰り返して表示してもよい。
【００６９】
また、選択されたサムネイル画像が音声データＶＤであった場合には、十字キー２１の上下ボタン２１ａを操作することにより、当該音声データＶＤに対応して撮影された画像データＶＳが順次表示される。また、それらの画像データＶＳをスライドショー形式で表示することも可能である。
【００７０】
すなわち、図６において、音声データＶＤ１について５つの画像データＶＳ１１〜１５が添付されており、上下ボタン２１ａの操作によってそれらの画像データＶＳ１１〜１５が順次表示される。またスライドショーのモードでは、それらの画像データＶＳ１１〜１５が数秒間ずつ自動的に順次表示される。なお、そのときに、表示されている画像データＶＳ１１〜１５に対応する位置の近辺の音声データＶＤ１を、サムネイル音声として同時に再生することも可能である。
【００７１】
この状態で、ユーザが再生の指示を行うと、選択されているサムネイル画像に対応するデータが、例えば表示面の全面に再生される。つまり、静止画データＳＤである場合には、表示面の全面にその静止画が表示され、動画データＭＤである場合には、表示面の全面にその動画が表示され、音声データＶＤである場合には、スピーカ１８からその音声が出力される。そのとき、音声データＶＤの再生を指示した場合には、指示した時点において表示されている画像データＶＳに対応する位置から頭だしが行われて音声が再生される。つまり、この場合も、図５の画面ＨＧ１の場合と同様に、１つの音声データＶＤに対応する複数の画像データＶＳによって、音声データＶＤの頭だしを行うことができる。
【００７２】
なお、正規の静止画データＳＤ、動画データＭＤ、または画像データＶＳに対して、表示部１７の表示面に分割表示される画像はサムネイル画像であるが、表示面の全面に表示される画像もまたサムネイル画像である。それらのサムネイル画像、またはサムネイル音声は、予め作成して関連付けてメモリカード１１５に記録されるか、または、表示などのために必要になった時点で作成される。
【００７３】
さて、上に述べた図５および図６の説明では、音声データＶＤに対応付けられた画像データＶＳは、音声データＶＤの頭だしに用いられている。しかし、それは音声再生モードにおいてそのようなモード（頭だしモード）を設定した場合においてであり、そうでない通常のモードでは、いずれの画像データＶＳを選択した場合であっても、音声データＶＤの最初から再生される。つまりこの場合に、図４に示す音声データＶＤ１の場合には時刻ｔｓから再生される。その場合に、再生される音声データＶＤの進行にともなって、それぞれの時点で撮影された画像データＶＳが、表示部１７の表示面の全面に順次表示される。
【００７４】
したがって、音声再生モードの通常のモードにおいては、ユーザは録音内容を音声で聞くとともに、表示部１７でその時々の画像を見ることができる。これによって、ユーザは、録音したときの内容および状況をより容易に正確に理解することが可能である。しかも、音声データＶＤの全部に対応して動画を撮影した場合と比較して、データ量が大幅に少なく、しかも１つ１つの画像が鮮明であるから、会議や打合せなどにおける資料や書類の内容をはっきりと見て読むことが可能である。なお、この場合に、通信用ＩＦ１１６を介してパーソナルコンピュータなどを接続しておき、パーソナルコンピュータの表示装置によって画像を表示させると、より大きく鮮明に見ることができる。
【００７５】
ここで、音声記録モードにおける録音と撮影のための操作について、レリーズボタン１３の半押しと全押しの動作に関連して説明する。
【００７６】
図７はレリーズボタン１３および決定ボタン２０の操作とそれらの動作状態との関係を示す図、図８はレリーズボタン１３および決定ボタン２０の操作と録音または撮影との関係を示す図、図９はレリーズボタン１３の操作と録音または撮影との関係の他の例を示す図である。
【００７７】
図７（Ａ）および図８（Ａ）は、音声記録モードにおいて、録音の開始と撮影の開始とを異なるボタンによって操作する例を示す。すなわち、決定ボタン２０を押してオンすると、録音が開始され、再度押すと録音が終了する。録音中にレリーズボタン１３を全押しすると、その度毎に撮影が行われる。
【００７８】
図７（Ｂ）および図８（Ｂ）は、音声記録モードにおいて、録音の開始と撮影の開始とをレリーズボタン１３の半押しと全押しとによって操作する例を示す。すなわち、レリーズボタン１３を全押しすると、信号Ｓ２がオンとなり、録音が開始される。再度全押しすると、録音が終了する。その際に、信号Ｓ１もオンとなるが、無視される。録音中にレリーズボタン１３を半押しすると、信号Ｓ１がオンとなり、その度毎に撮影が行われる。
【００７９】
図９は、音声記録モードにおいて、録音の開始と撮影の開始とをレリーズボタン１３の全押しの時間的長さに応じて操作する例を示す。すなわち、レリーズボタン１３を全押しし、その状態が一定の時間を越えると、録音が開始される。再度全押し状態が一定の時間を越えると、録音が終了する。録音中にレリーズボタン１３が短く全押しされると、その度毎に撮影が行われる。なお、一定の時間として、数秒程度、例えば２秒程度とすることができる。
【００８０】
なお、図８（Ｂ）および図９において、録音の終了の直前で最後に撮影された画像データＶＳは、ユーザに撮影の意思がなかったものと考えて、撮影の終了後に削除するようにしてもよい。
【００８１】
次に、デジタルカメラ１の動作または処理内容について、フローチャートを参照して説明する。
【００８２】
図１０はデジタルカメラ１の全体的な動作を示すフローチャートである。
【００８３】
図１０において、電源をオンすると（＃１でイエス）、モード選択ダイアル１９によってモードが設定される（＃１１）。撮影モード、音声記録モード、再生モードなどのそれぞれのモードに応じて、撮影処理、音声記録処理、再生処理などが実行される（＃３〜８）。電源をオフすると動作が停止する（＃９でイエス）。
【００８４】
図１１は音声記録処理を示すフローチャートである。
【００８５】
図１１において、レンズバリアがオープンされ（＃１１）、レンズがワイド端に移動され（＃１２）、フォーカスレンズが所定位置に固定される（＃１３）。なお、フォーカスレンズの固定位置は、デジタルカメラ１に予め設定されている初期値でもよく、またはユーザがマニュアル設定した位置でもよい。ＡＦ（自動焦点制御）を行ってもよい。
【００８６】
録音ボタンがオンされると（＃１４でイエス）、録音が開始される（＃１５）。録音ボタンとしてレリーズボタン１３が用いられる場合は、半押し状態で信号Ｓ１がオンになるが、その信号Ｓ１は無視される。
【００８７】
録音中に取得される音声信号は、信号処理や圧縮処理が行われ（＃１６）、メモリカード１１５などの記録媒体に音声データＶＤが順次書き込まれる（＃１７）。録音中において、レリーズボタン１３の操作によって撮影の開始が指示されると（＃１８でイエス）、録音中の撮影のための処理である画像撮影処理が行われる（＃１９）。
【００８８】
録音中において、録音ボタンがオンされると（＃２０でイエス）、録音が停止される（＃２１）。バッファメモリに画像データまたはサムネイル画像が記録されている場合には（＃２２でイエス）、それらが音声データＶＤと対応付けられて記録媒体に書き込まれる（＃２３）。
【００８９】
図１２は画像撮影処理を示すフローチャートである。
【００９０】
図１２において、ＣＣＤなどの撮像素子１０４が起動され（＃３１）、測光および露光による撮影が実行される（＃３２、３３）。この例ではフォーカスレンズの位置は固定である。
【００９１】
撮影により得られた画像信号がＡ／Ｄ変換され、適当な画像信号処理が行われる（＃３４）。画像データが内部のバッファメモリ（ワークメモリ）に一時的に記憶される（＃３５）。バッファメモリに記憶された画像データに対して圧縮処理などが行われ、記録用の画像データＶＳおよびサムネイル画像が作成され（＃３６）、バッファメモリに一時的に記録される（＃３７）。
【００９２】
図１３〜１５は再生処理を示すフローチャートである。
【００９３】
図１３〜１５において、記録媒体に記録されたファイルの識別コードが確認され、へツダ情報が確認される（＃４１、４２）。これによって、ファイルの種類、記録された日付け、音声ファイルである場合に添付された画像データがあるか否か、などが制御部１０１に認識される。
【００９４】
ファイルの日付けに基づいて、最新のファイルが最初に読み出され、それが静止画ファイルまたは動画ファイルである場合には（＃４３でイエス）、サムネイル画像が表示される（＃４４）。十字キー２１の左右ボタン２１ｂが操作されると（＃４５でイエス）、それに応じて、日付けの新しいまたは古いファイルのへツダ情報が確認される（＃４２）。
【００９５】
ファイルが音声ファイルである場合には（＃４３でノー）、その音声ファイルに添付された画像のサムネイル画像が読み出され、表示される（＃４６、４７）。添付されたサムネイル画像が複数あるときは（＃４９）、ユーザの操作に応じて（＃５０）、または所定の時間が経過した場合には自動的に（＃５１）、それらのサムネイル画像を順次表示する（＃５２）。
【００９６】
左右ボタン２１ｂが操作されると（＃５３でイエス）、または１つの音声ファイルに対応付けられた全てのサムネイル画像の表示が終了すると（＃５４でイエス）、ステップ＃４２に戻る。
【００９７】
ステップ＃４８で、音声再生ボタン、つまり設定ボタン２２の右端のボタンが操作されると、音声ファイルの全部を再生する場合には先頭からその音声ファイルを再生し（＃５５、５７）、全部を再生しない場合には、音声ファイルのうちの表示中のサムネイル画像の撮影時点の近辺の音声を再生する（＃５５、５６）。
【００９８】
音声の再生中に左右ボタン２１ｂが操作されると（＃５８でイエス）、音声の再生を一時停止して、音声ファイルに対応付けられた次のサムネイル画像または前のサムネイル画像を読み出して表示する（＃５９）。そして、ステップ＃５５からステップ＃５６に戻り、更新されたサムネイル画像の撮影時点の近辺の音声を再生する。
【００９９】
音声再生ボタンの操作によって音声再生がオフされると（＃６０でイエス）、または所定時間が経過すると（＃６１でイエス）、音声の再生が停止され（＃６２）、ステップ＃４９に戻る。
【０１００】
なお、画像の表示中や音声の再生中であっても、モードを変更するとその時点でそれらを終了する。
〔第２の実施形態〕
次に、本発明を携帯電話機として実施した場合について設定する。
【０１０１】
図１６は本発明の第２の実施形態である携帯電話機２の正面図、図１７は携帯電話機２の通話中の動作を示すフローチャートである。
【０１０２】
携帯電話機２は、通常の通話を行う携帯電話機に、第１の実施形態のデジタルカメラ１の上に述べた特徴的な機能が付加されたものと考えればよい。したがって、携帯電話機２の基本的な構造、構成、操作方法、および処理内容などは、第１の実施形態で説明した内容と同じであるか、またはそれに類似したものである。したがって、ここでは、携帯電話機２に特有の機能について説明する。
【０１０３】
図１６において、電話機本体１０Ｂの内部または表面に、レリーズボタン１３Ｂ、マイクロフォン（送話器）１４Ｂ、表示部１７Ｂ、スピーカ（受話器）１８Ｂ、録音ボタン２０、十字キー２１Ｂ、テンキー３１、カメラキー３２などが設けられている。表示部１７Ｂの設けられている側にデジタルカメラの本体機能が設けられている。
【０１０４】
したがって、図には示していないが、携帯電話機２は、被写体を撮像して画像データを取得する撮像部、および、電話による通信を行う通信部、撮影により取得した画像データおよびマイクロフォン１４Ｂまたは通信によって相手方から取得した音声データを記録媒体に記録する記録部などを備えている。
【０１０５】
次に、携帯電話機２の特徴的な機能である、通話中の撮影について説明する。
【０１０６】
携帯電話機２は、その動作モードとして、通話中に被写体の撮影を行って画像データを取得する同時記録モード、および記録した音声データまたは画像データを再生する再生モードを有している。
【０１０７】
同時記録モードにおいて、記録部は、マイクロフォン１４Ｂから取得された音声、および通話の相手方から受信した音声の両方についての音声データを記録する。そして、その際に、その音声データと撮影された画像データとを互いに対応付けて記録する。
【０１０８】
次に、通話中の撮影について、図１７に示すフローチャートに基づいて説明する。
【０１０９】
図１７において、まず、通話が開始される（＃７１）。通話中に写真撮影をする必要が生じると、ユーザは録音ボタン２０Ｂを押して録音をスタートさせる（＃７２、７３）。録音する音声は、通話の双方の音声、または相手方の音声のみ、のいずれにも設定することが可能である。その設定に応じて音声の録音が行われる（＃７５）。
【０１１０】
カメラボタン３２が押されるとカメラ機能が起動される（＃７６）。そこでレリーズボタン１３Ｂが押されると、図１２に示す画像撮影処理が実行される（＃７７、７８）。そのときにも録音は継続される。なお、録音中において、何回でも撮影を行うことができる。
【０１１１】
録音ボタン２０Ｂの再度の操作によって録音をオフする指示があると、録音が停止される（＃７９、８０）。録音中に撮影された画像データは、音声ファイルに対応付けられて内部のメモリに記録される（＃８１、８２）。                                            
【０１１２】
記録された音声ファイルおよび画像ファイルは、再生モードにおいて再生可能である。再生モードにおいて、画像またはサムネイル画像は表示部１７Ｂに表示され、音声はスピーカ１８Ｂから出力される。また、通信機能によって、記録した画像および音声を電話の相手先に送信したり、インタ−ネットを介して適当な端末やサーバに送信することが可能である。
【０１１３】
携帯電話機２においては、通話中の会話を録音することができ、その録音中に適当な被写体を撮影することができるので、会話の内容に関連付けた被写体を撮影しておき、再生時においてそれをサムネイル画像として表示することによって、音声ファイルを実際に再生しなくてもサムネイル画像によって音声ファイルの内容を推察することができる。また、電話による会話中はメモをとったり資料などとの関連を記録することが困難であるが、録音機能と撮影機能とを活用することにより、会話の内容や関連する資料を対応付けて容易に記録することが可能である。
【０１１４】
なお、上に述べた実施形態の携帯電話機２においては、通話中において録音と撮影とを並行して行うことを可能としたが、撮影時にのみ録音が行われるようにしてもよい。その場合には、画像ファイルに音声ファイルが添付されることになり、画像の説明を音声によって行うことができる。
〔第３の実施形態〕
上に述べた実施形態では、いずれも、録音機能および撮影機能を備えた携帯電子機器において実施した例を説明した。しかし、本発明は、それに限られず、そのような機能を有する携帯電子機器により取得された音声データＶＤと画像データＶＳとをパーソナルコンピュータなどによって再生する場合にも適用することができる。すなわち、音声データＶＤと当該音声データＶＤの時間的な位置に対応付けられた複数の画像データＶＳとを再生するために用いることができる。
【０１１５】
第３の実施形態においては、パーソナルコンピュータが用いられる。そしてそのような音声データＶＤおよび画像データＶＳは、例えば、上に述べた音声記録モードで録音し撮影することにより得ることができる。そして、通信用ＩＦ１１６を介してパーソナルコンピュータに転送することができる。または、データが記録されたメモリカード１１５をパーソナルコンピュータにセットすることによりパーソナルコンピュータに取り込むことができる。また、パーソナルコンピュータなどを利用し、ユーザによって、適当な音声データＶＤと画像データとを対応付けることによって作成することもできる。
【０１１６】
そして、複数の画像データＶＳの全部または一部の画像データＶＳを、当該音声データＶＤのサムネイル画像としてパーソナルコンピュータの表示装置の表示面に表示する。ユーザは、マウスまたはキーボードなどの操作手段によって、表示されたサムネイル画像の中の１つのサムネイル画像を指定する。そうすると、指定されたサムネイル画像の画像データが対応付けられた位置の近辺から、当該音声データの再生が行われ、スピーカまたはヘッドホンなどから音声として出力される。つまり、画像データＶＳの指定によって音声データＶＤの頭出しが行われる。
【０１１７】
このような機能を実現するためのプログラムは、オペレーティンシステム、ユティリティプログラム、またはアプリケーションプログラムなどの一部として、パーソナルコンピュータに予めインストールされる。パーソナルコンピュータの内部のＲＯＭまたはＲＡＭにストアされていてもよいし、ハードディスク、ＣＤ−ＲＯＭ、またはフレキシブルディスクなどの記録媒体に格納しておいて必要時にローディングしてもよい。サーバから通信回線を介してダウンロードすることも可能である。
【０１１８】
また、パーソナルコンピュータに限らず、パームトップコンピュータ、モバイルコンピュータ、録音機、その他の電子機器によって実現することが可能である。
【０１１９】
上に述べた実施形態においては、録音中に撮影して取得する画像データＶＳが静止画データであるとして説明したが、動画データであってもよい。但し、余り長い動画データでは負荷として重いので、短い動画データであることが好ましい。また、その場合に、動画データの一部を静止画のサムネイル画像としてもよく、または動画のサムネイル画像としてもよい。また、動画データとして、１秒間に３０フレームの通常の動画データの他、フレーム数の少ない動画データも含まれる。例えば、１秒間に数枚程度の動画データまたは連写画像も動画データとして扱ってよい。
【０１２０】
その他、デジタルカメラ１、携帯電話機２、またはパーソナルコンピュータの構造、構成、形状、寸法、機能、処理内容、処理順序などは、上に述べた以外の種々のものとすることができる。
【０１２１】
本発明は、デジタルカメラ１または携帯電話機２以外の種々の携帯電子機器に適用することができる。
【０１２２】
また、上述した実施形態には、以下の発明概念が含まれる。
（１）  請求項２に記載の携帯電子機器において、前記サムネイル画像は操作入力に応じて切り替えられて表示される。
（２）  請求項２に記載の携帯電子機器において、前記サムネイル画像は所定の時間毎に自動的に切り替えられて表示される。
（３）  請求項３に記載の携帯電子機器において、表示されたサムネイル画像のうちの１つが選択されたときに、選択されたサムネイル画像が強調表示される。
（４）  請求項５の携帯電子機器において、前記記録手段は、通話の相手方から受信した音声データのみを記録するモードを有する。
【産業上の利用可能性】
【０１２３】
デジタルカメラや携帯電話機などのように、いわゆるボイスレコード機能およびデジカメ機能を備えた携帯電子機器、または録音機などに利用することができる。
【図面の簡単な説明】
【０１２４】
【図１】第１の実施形態であるデジタルカメラの正面側から見た斜視図である。
【図２】デジタルカメラの背面図である。
【図３】デジタルカメラの機能を示すブロック図である。
【図４】音声記録モードにおける動作を説明するための図である。
【図５】再生モードにおいて表示部に表示される画面の例を示す図である。
【図６】再生モードにおいて表示される他の画面の例を示す図である。
【図７】レリーズボタンおよび決定ボタンの操作と動作状態とを示す図である。
【図８】レリーズボタンの操作と録音または撮影との関係を示す図である。
【図９】レリーズボタンの操作と録音または撮影との関係の他の例を示す図である。
【０１２５】
【図１０】デジタルカメラの全体的な動作を示すフローチャートである。
【図１１】音声記録処理を示すフローチャートである。
【図１２】画像撮影処理を示すフローチャートである。
【図１３】再生処理を示すフローチャートである。
【図１４】再生処理を示すフローチャートである。
【図１５】再生処理を示すフローチャートである。
【図１６】第２の実施形態である携帯電話機の正面図である。
【図１７】携帯電話機の通話中の動作を示すフローチャートである。
【符号の説明】
【０１２６】
１  デジタルカメラ（携帯電子機器）
２  携帯電話機（携帯電子機器）
１１  レンズ（撮像手段）
１４  マイクロフォン（音声取得手段）
１７  表示部（表示手段）
１０４  撮像素子（撮像手段）
１１５  メモリカード（記録手段）
ＳＢ  撮像部（撮像手段）
【図１】
2005117077.tif 000003
【図２】
2005117077.tif 000004
【図３】
2005117077.tif 000005
【図４】
2005117077.tif 000006
【図５】
2005117077.tif 000007
【図６】
2005117077.tif 000008
【図７】
2005117077.tif 000009
【図８】
2005117077.tif 000010
【図９】
2005117077.tif 000011
【図１０】
2005117077.tif 000012
【図１１】
2005117077.tif 000013
【図１２】
2005117077.tif 000014
【図１３】
2005117077.tif 000015
【図１４】
2005117077.tif 000016
【図１５】
2005117077.tif 000017
【図１６】
2005117077.tif 000018
【図１７】
2005117077.tif 000019