(57)【要約】【課題】静止画の画像データと当該画像データに対応する音声データとを容易に管理する。【解決手段】電子機器は、被写体を撮像して静止画の画像データを生成する撮像部１０２と、撮像部１０２の撮像と連動して、音声を収音して音声データを生成する収音部１０３と、撮像部１０２により生成された静止画の画像データと収音部１０３により生成された音声データとを格納したデータを所定の静止画のデータ形式に沿って生成する生成部１１１と、を備える。【選択図】図１
2013165453.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して静止画の画像データを生成する撮像部と、
前記撮像部の撮像と連動して、音声を収音して音声データを生成する収音部と、
前記撮像部により生成された静止画の画像データと前記収音部により生成された音声データとを格納したデータを所定の静止画のデータ形式に沿って生成する生成部と、
を備えることを特徴とする電子機器。
【請求項２】
前記生成部は、前記音声データを電子透かしとして前記画像データに埋め込む
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記生成部は、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）のＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）形式に準拠した形式によって前記データを生成し、前記音声データをメーカーノート領域に格納する
ことを特徴とする請求項１に記載の電子機器。
【請求項４】
前記生成部は、前記音声データを画像のデータとして前記画像データに付加してＪＰＥＧにより符号化する
ことを特徴とする請求項１に記載の電子機器。
【請求項５】
画像を表示する表示部と
音声を出力する音声出力部と、
所定の静止画のデータ形式に沿ったデータから静止画の画像データを読み出し前記表示部に表示させるとともに、前記データから前記音声データを読み出し前記音声出力部に出力させる再生部と、
を備えることを特徴とする電子機器。
【請求項６】
前記再生部は、電子透かしとして前記画像データに付加されたデータを音声データとして読み出す
ことを特徴とする請求項５に記載の電子機器。
【請求項７】
前記再生部は、ＪＰＥＧのＥｘｉｆ形式に準拠した形式に沿ったデータから、メーカーノート領域に格納された音声データを読み出す
ことを特徴とする請求項５に記載の電子機器。
【請求項８】
前記再生部は、ＪＰＥＧにより符号化されたデータを復号化して前記画像データと前記音声データを取得する
ことを特徴とする請求項５に記載の電子機器。
【請求項９】
表示部と
音声出力部と、
静止画の画像データと音声データとを含む静止画の画像ファイルから前記静止画の画像データを読み出し前記表示部に表示させるとともに、前記画像ファイルから前記音声データを読み出し前記音声出力部に出力する再生部と、
を備えることを特徴とする請求項１に記載の電子機器。
【請求項１０】
前記生成部は、前記音声データを電子透かしとして前記画像データに埋め込み、
前記再生部は、電子透かしとして前記画像データに付加されたデータを音声データとして読み出す
ことを特徴とする請求項９に記載の電子機器。
【請求項１１】
前記生成部は、ＪＰＥＧのＥｘｉｆ形式に準拠した形式によって前記データを生成し、前記音声データをメーカーノート領域に格納し、
前記再生部は、ＪＰＥＧのＥｘｉｆ形式に準拠した形式に沿った前記データから、メーカーノート領域に格納された音声データを読み出す
ことを特徴とする請求項９に記載の電子機器。
【請求項１２】
前記生成部は、前記音声データを画像のデータとして前記画像データに付加してＪＰＥＧにより符号化し、
前記再生部は、ＪＰＥＧにより符号化されたデータを復号化して前記画像データと前記音声データを取得する
ことを特徴とする請求項９に記載の電子機器。
【請求項１３】
電子機器が、被写体を撮像して静止画の画像データを生成するステップと、
前記電子機器が、前記撮像と連動して、音声を収音して音声データを生成するステップと、
前記電子機器が、前記生成した静止画の画像データと前記生成した音声データとを格納したデータを所定の静止画のデータ形式に沿って生成するステップと、
を有することを特徴とする生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器及び生成方法に関する。
【背景技術】
【０００２】
現在、撮像した動画像と撮像中の音声とを１つのファイルとして記録する撮像装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０４０９９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、静止画を再生する際にも当該静止画に応じた音声を出力すると、臨場感が増し、より静止画の再生を楽しむことができる。しかしながら、静止画の画像データと音声データとを記録媒体に単に記録しているだけであると、データの複製や移動等の編集をする際の管理が煩雑になる、という問題がある。
【０００５】
本発明は上記の点に鑑みてなされたものであり、その目的は、静止画の画像データと当該画像データに対応する音声データとを容易に管理することができる電子機器及び生成方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、被写体を撮像して静止画の画像データを生成する撮像部と、前記撮像部の撮像と連動して、音声を収音して音声データを生成する収音部と、前記撮像部により生成された静止画の画像データと前記収音部により生成された音声データとを格納したデータを所定の静止画のデータ形式に沿って生成する生成部と、を備えることを特徴とする電子機器である。
【発明の効果】
【０００７】
本発明によれば、静止画の画像データと当該画像データに対応する音声データとを容易に管理することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態による電子機器の機能構成を示すブロック図である。
【図２】第１の実施形態による静止画データ生成処理の手順を示すフローチャートである。
【図３】第１の実施形態による静止画データ再生処理の手順を示すフローチャートである。
【図４】ＪＰＥＧのＥｘｉｆ形式に準拠したファイルの構造を示す概略図である。
【図５】本発明の第２の実施形態による電子機器の機能構成を示すブロック図である
【図６】第２の実施形態による静止画データ生成処理の手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態による電子機器１００の機能構成を示すブロック図である。
電子機器１００は、携帯電話機、スマートフォン、デジタルカメラ等の携帯情報端末である。電子機器１００は、制御部１０１と、撮像部１０２と、収音部１０３と、記憶部１０４と、表示部１０５と、音声出力部１０６とを含んで構成される。
【００１０】
撮像部１０２は、被写体を撮像して画像データを生成する。例えば、撮像部１０２は、静止画撮影操作に応じて、撮像した静止画の画像データを出力する。また、撮像部１０２は、動画撮影操作に応じて、所定の間隔で連続的に撮像した動画の画像データを出力する。そして、撮像部１０２によって撮像された静止画の画像データ及び動画の画像データは、制御部１０１の制御により、記憶部１０４に記録される。また、撮像部１０２は、撮影操作がされていない撮影待機状態の場合、所定の間隔で連続的に得られる画像データをスルー画像データ(スルー画）として出力する。そして、撮像部１０２によって得られたスルー画像データは、制御部１０１の制御により、表示部１０５に表示される。
【００１１】
収音部１０３は、一般的なマイクを備え、音声を収音し、収音した音声に応じた音声データを生成する。
記憶部１０４は、所定の静止画のデータ形式に沿ったデータであって、静止画の画像データと音声データとを格納したデータ（以下、静止画データとする）を記憶する。
【００１２】
制御部１０１は、電子機器１００の各部を統括して制御する。制御部１０１は、生成部１１１と、再生部１１２とを含んで構成される。生成部１１１は、静止画撮像操作に応じて、撮像部１０２に静止画を撮像させるとともに、撮像部１０２による撮像から所定時間収音部１０３に音声を収音させる。そして、生成部１１１は、撮像部１０２により撮像された静止画の画像データと、収音部１０３により生成された音声データとを格納した静止画データを生成して記憶部１０４に書き込む。再生部１１２は、静止画の再生操作に応じて、指示された静止画データを記憶部１０４から読み出し、読み出した静止画データから画像データと音声データとを取得する。そして、再生部１１２は、取得した画像データの画像を表示部１０５に表示させるとともに、取得した音声データの音声を音声出力部１０６に繰り返し出力させる。
【００１３】
表示部１０５は、例えば液晶表示器や、有機ＥＬパネル等のディスプレイであり、画像を表示する。
音声出力部１０６は、音声データに応じた音声を出力する。音声出力部１０６は、デジタルの音声データをアナログに変換するコーデックと、変換されたアナログの音声データを出力するスピーカとを備える。
【００１４】
次に、図２を参照して、本実施形態による電子機器１００における静止画データ生成動作について説明する。図２は、本実施形態による静止画データ生成処理の手順を示すフローチャートである。
静止画撮像操作がされると、制御部１０１の生成部１１１は、撮像部１０２に被写体を撮像させて画像データを生成する（ステップＳ１０１）。
そして、生成部１１１は、撮像部１０２による撮像と同時に収音部１０３に所定時間（例えば、数秒）音声を収音させて音声データを生成する（ステップＳ１０２）。
続いて、生成部１１１は、ステップＳ１０１において生成した画像データとステップＳ１０２において生成した音声データとを格納した静止画データを生成する（ステップＳ１０３）。静止画データを生成する方法の詳細については後述する。
最後に、生成部１１１は、生成した静止画データを記憶部１０４に書き込んで記憶する（ステップＳ１０４）。
【００１５】
次に、図３を参照して、本実施形態による電子機器１００における静止画データ再生動作について説明する。図３は、本実施形態による静止画データ再生処理の手順を示すフローチャートである。
静止画の再生操作がされると、制御部１０１の再生部１１２は、指定された静止画データを記憶部１０４から読み出して取得する（ステップＳ２０１）。
続いて、再生部１１２は、取得した静止画データから画像データを読み出して表示部１０５に表示するとともに、取得した静止画データから音声データを読み出して音声出力部１０６に繰り返し出力する（ステップＳ２０２）。
【００１６】
以下、本実施形態に係る静止画データの生成方法について、実施例を挙げて説明する。
【実施例１】
【００１７】
本実施例における生成部１１１は、音声データを電子透かしとして画像データに埋め込む。以下、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）による非可逆符号化において画像データに音声データを周波数領域変換法により埋め込む場合について説明する。なお、ＪＰＥＧ符号化列にバイナリデータを埋め込む方法については、例えば、「「JPEG符号化列へのバイナリデータの埋込み法」、「電子情報通信学会論文誌  第J83-D-II巻  第６号」、（2000年６月25日）、小林弘幸、野口祥宏、貴家仁志著、（社）電子情報通信学会発行、1471頁  図３  AC係数への情報埋め込み」等に記載されている。
【００１８】
まず、生成部１１１は、画像データを８×８のブロックに分け、ブロック毎に周波数領域へのＤＣＴ変換（離散コサイン変換：Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を行う。ＤＣＴ変換後の係数の直流以外の成分をＡＣ係数とする。そして、生成部１１１は、各ブロックのｐ番目のＡＣ係数の量子化後の係数値を埋め込む音声データのビットに合わせて、０または１に置き換える。ｐは定数であり、全てのブロックに対し同じ位置のＡＣ係数を置き換える。最後に、生成部１１１は、量子化後の係数値を符号化する。
【００１９】
再生部１１２は、音声データの埋め込まれた場所ｐの値が１である所定の量子化テーブルを用いて画像データと音声データとを静止画データから読み出す。具体的には、再生部１１２は、量子化テーブルの値が１の場所の係数値を参照して音声データを取得する。
【００２０】
なお、本実施例においては、周波数変換方法を用いる場合を例に説明したが、例えば、置換法、拡散法、統計的方法、またはベクトル量子化法等、他の方法を用いて音声データを電子透かしとして画像データに埋め込んでもよい。
【実施例２】
【００２１】
次に、実施例２について説明する。本実施例における生成部１１１は、静止画データをＪＰＥＧのＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）形式に準拠した形式によって生成し、音声データをメーカーノート領域に格納する。
【００２２】
図４は、ＪＰＥＧのＥｘｉｆ形式に準拠したファイルの構造を示す概略図である。
図示するように、ＪＰＥＧのＥｘｉｆ形式に準拠したファイルは、ヘッダー領域と画像領域とに大別される。画像領域には、ＪＰＥＧにより圧縮された画像データが格納される。一方、ヘッダー領域には、画像領域に格納された画像データに関する属性情報が格納される。図示するように、メーカーノート領域（Ｍａｋｅｒ  Ｎｏｔｅ  Ｖａｌｕｅ）は、ヘッダー領域にあるＡＰＰ１マーカー内のＥｘｉｆ  ＩＦＤ領域内にある。
【００２３】
生成部１１１は、音声データをメーカーノート領域に格納する。再生部１１２は、音声データをメーカーノート領域から読み出す。
【００２４】
なお、生成部１１１は、音声データのサイズが所定値（例えば、メーカーノート領域のサイズ）より大きい場合は、音声データを別のファイルに符号化し、当該ファイルの復号化情報をメーカーノート領域に格納してもよい。復号化情報には、ファイルのアドレスや復号化方法等のデータが含まれる。
この場合、再生部１１２は、メーカーノート領域から復号化情報を読み出し、復号化情報に含まれるアドレスから音声データのファイルを取得し、復号化情報に含まれる復号化方法により取得したファイルを復号化する。
【実施例３】
【００２５】
次に、実施例３について説明する。本実施例による生成部１１１は、音声データ（例えばＰＣＭ（Pulse Code Modulation）形式やＡＡＣ（Advanced Audio Coding）形式）を画像のデータ（例えばＲＡＷ形式）として画像データに付加してＪＰＥＧにより符号化する。このとき、生成部１１１は、音声データ（ＰＣＭ形式やＡＡＣ形式）を画像のデータ形式（ＲＡＷ形式）に変換してから、変換後のデータを画像データに付加する。本実施形態による静止画データは、ＪＰＥＧのＥｘｉｆ形式に準拠したファイルである。生成部１１１は、符号化した画像データと音声データとを画像領域に格納する。また、生成部１１１は、音声データの位置を示すアドレスをヘッダー領域に格納する。
再生部１１２は、静止画データのヘッダー領域から音声データの位置を示すアドレスを読み出し、読み出したアドレスにあるデータを音声データとして復号化する。
【００２６】
或いは、生成部１１１は、画像データと音声データとの間に所定のデータを埋め込んでもよい。この場合、再生部１１２は、当該所定のデータの後にあるデータを音声データとして読み出す。
【００２７】
このように、本実施形態によれば、電子機器１００は、静止画の画像データと音声データとを１つの静止画データに格納する。そして、電子機器１００は、生成した静止画データから読み出した画像データを表示するとともに、静止画データから音声データを読み出して出力する。これにより、静止画を表示しているときに、静止画を撮像したときの音声が出力するため、臨場感が増し、記憶を鮮明に思い出すことができる。このため、静止画の再生をより楽しむことができる。
また、静止画の画像データと音声データとを１つの静止画データとしたことにより、ファイルの複製や移動等の編集をする際の管理が容易である。すなわち、静止画の画像データのみを移動して、音声データを移動し忘れるということがなくなる。
【００２８】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。
図５は、本実施形態による電子機器１００ａの機能構成を示すブロック図である。本図において、図１に示す電子機器１００と同一の部分には同一の符号を付し、その説明を省略する。
本実施形態による電子機器１００ａは、第１の実施形態による電子機器１００の構成に加えて、画像解析部１１３と、抽出部１１４と、撮像シーンライブラリ１２１と、音声ライブラリ１２２とを含んで構成される。
【００２９】
撮像シーンライブラリ１２１は、撮像シーンを判定するための基準データを記憶する。例えば、撮像シーンライブラリ１２１は、人物や動物等のオブジェクトをパターンマッチングにより抽出するための基準データを記憶する。
音声ライブラリ１２２は、各撮像シーンに応じた音声の基準データ（例えば周波数帯等）を記憶する。例えば、音声ライブラリ１２２は、人物が含まれる撮像シーンに対応する基準データとして、人の声の周波数帯を記憶する。
【００３０】
画像解析部１１３は、撮像シーンライブラリ１２１に記憶された基準データに基づいて、撮像部１０２により生成された画像データから撮像シーンを解析し、解析結果を抽出部１１４に出力する。撮像シーンとは、撮像された場面や、風景、状況等である。例えば、画像解析部１１３は、基準データとのパターンマッチングにより画像データの撮像シーンを解析する。また、画像解析部１１３は、撮像部１０２により生成された画像データを生成部１１１に出力する。
抽出部１１４は、音声ライブラリ１２２に記憶された基準データに基づいて、画像解析部１１３により解析された撮像シーンに応じた音声を収音部１０３により生成された音声データから抽出し、抽出した音声のデータを生成部１１１に出力する。例えば、人物が含まれる撮像シーンの場合、抽出部１１４は、人の声の周波数帯を音声ライブラリ１２２から読み出し、読み出した周波数帯の音声を音声データから抽出する。
【００３１】
次に、図６を参照して、本実施形態による電子機器１００ａにおける静止画データ生成動作について説明する。図６は、本実施形態による静止画データ生成処理の手順を示すフローチャートである。
ステップＳ３０１からＳ３０２に示す処理は、上述したステップＳ１０１からＳ１０２に示す処理と同様である。
【００３２】
ステップＳ３０２に続いて、画像解析部１１３が、撮像シーンライブラリ１２１に記憶された基準データに基づいて、ステップＳ３０１において生成された画像データから撮像シーンを解析する（ステップＳ３０３）。
次に、抽出部１１４が、ステップＳ３０３において解析された撮像シーンに対応する基準データを音声ライブラリ１２２から読み出し、読み出した基準データに基づいて、ステップＳ３０２において生成された音声データから音声を抽出する（ステップＳ３０４）。そして、抽出部１１４は、抽出した音声の音声データを生成する。
【００３３】
続いて、生成部１１１が、ステップＳ１０１において生成した画像データとステップＳ３０４において生成した音声データとを格納した静止画データを生成する（ステップＳ３０５）。静止画データを生成する方法は第１の実施形態と同様である。
最後に、生成部１１１は、生成した静止画データを記憶部１０４に書き込んで記憶する（ステップＳ３０６）。
静止画の画像ファイルを再生する処理は、第１の実施形態と同様である。
【００３４】
このように、本実施形態によれば、電子機器１００ａは、収音した音声から画像の撮像シーンに応じた音声を抽出し、抽出した音声のデータと撮像した画像データとを含む静止画データを生成する。これにより、撮像シーンに関係がない音声を除去できるため、静止画の再生したときに、その静止画の撮像シーンに応じた音声のみが再生される。これにより、より臨場感が増し、静止画の再生を楽しむことができる。
また、撮像シーンに関係がない不要な音声を除去しているため、音声データのデータサイズを小さくすることができる。これにより、音声データのデータサイズが大きいために、静止画データを生成することができないといった事態を防ぐことができる。
【００３５】
また、図２、図３又は図６に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、静止画の画像ファイルを生成する又は静止画の画像ファイルを再生する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＳＤカード、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００３６】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００３７】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、上述した実施形態では、生成部１１１は、撮像した際の音声データを静止画データに格納しているが、例えば、記憶部１０４に予め記憶している音声データを静止画データに格納する等、撮像した際の音声以外の音声データを静止画データに格納してもよい。この場合、各撮像シーンに対応する音声データをそれぞれ記憶部１０４に記憶し、撮像した画像データの撮像シーンに対応する音声データを選択して静止画データに格納してもよい。
或いは、生成部１１１は、撮像した画像データの撮像シーンに対応する音声データのアドレスを静止画データに格納してもよい。この場合、再生部１１２は、静止画データに含まれるアドレスから音声データを読み出して音声出力部１０６に出力する。
【符号の説明】
【００３８】
１００、１００ａ…電子機器  １０１、１０１ａ…制御部  １０２…撮像部  １０３…収音部  １０４…記憶部  １０５…表示部  １０６…音声出力部  １１１…生成部  １１２…再生部  １１３…画像解析部  １１４…抽出部  １２１…撮像シーンライブラリ  １２２…音声ライブラリ
【図１】
2013165453.tif 000003
【図２】
2013165453.tif 000004
【図３】
2013165453.tif 000005
【図４】
2013165453.tif 000006
【図５】
2013165453.tif 000007
【図６】
2013165453.tif 000008