(57)【要約】【課題】利便性を損なうことなく、画像の検索性や鑑賞時の価値を向上すること。【解決手段】撮像装置１は、被写体を撮像して画像データを生成する撮像部１１と、入力した音声に基づいて、音声データを生成する音声データ生成部１４と、音声データ生成部１４にて生成された音声データを解析する音声データ解析部１７３と、音声データ解析部１７３による解析結果に基づいて、撮影状況に関する撮影状況情報を生成する撮影状況情報生成部１７４と、撮像部１１にて生成された画像データを記録する画像データ記録部１６２と、撮像部１１にて生成された画像データ、及び撮影状況情報生成部１７４にて生成された撮影状況情報を関連付けて画像データ記録部１６２に記録する記録制御部１７５とを備える。【選択図】図１
2015104078.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを生成する撮像部と、
入力した音声に基づいて、音声データを生成する音声データ生成部と、
前記音声データ生成部にて生成された前記音声データを解析する音声データ解析部と、
前記音声データ解析部による解析結果に基づいて、撮影状況に関する撮影状況情報を生成する撮影状況情報生成部と、
前記撮像部にて生成された前記画像データを記録する画像データ記録部と、
前記撮像部にて生成された前記画像データ、及び前記撮影状況情報生成部にて生成された前記撮影状況情報を関連付けて前記画像データ記録部に記録する記録制御部とを備える
ことを特徴とする撮像装置。
【請求項２】
前記撮像部にて生成された前記画像データを解析する画像データ解析部を備え、
前記撮影状況情報生成部は、
前記音声データ解析部による解析結果、及び前記画像データ解析部による解析結果に基づいて、前記撮影状況情報を生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮影状況情報は、
感情に関する感情情報を含む
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画像データ解析部は、
前記画像データを解析することによって、当該画像データに含まれる人物像の年齢層を判別し、
前記撮影状況情報生成部は、
前記音声データ解析部による解析結果、及び前記画像データ解析部にて判別された前記人物像の年齢層に基づいて、前記撮影状況情報を生成する
ことを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記音声データ解析部は、
前記音声データを解析することによって、発声した人物の年齢層を判別し、
前記撮影状況情報生成部は、
前記画像データ解析部にて判別された前記人物像の年齢層、及び前記音声データ解析部にて判別された前記人物の年齢層が一致する場合と一致しない場合とで、異なる前記撮影状況情報を生成する
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
撮影者による撮影を補助する補助機能を実行する補助機能実行部を備え、
前記音声データ解析部は、
前記音声データを解析することによって、発声した人物の年齢層を判別し、
前記補助機能実行部は、
前記音声データ解析部にて判別された前記人物の年齢層が所定の年齢未満の年齢層であり、前記画像データ解析部にて前記所定の年齢以上の年齢層の人物像が含まれていないと判別された場合に、前記補助機能を実行する
ことを特徴とする請求項４または５に記載の撮像装置。
【請求項７】
前記画像データ解析部は、
前記画像データを解析することによって、当該画像データに含まれる人物像の性別を判別し、
前記撮影状況情報生成部は、
前記音声データ解析部による解析結果、及び前記画像データ解析部にて判別された前記人物像の性別に基づいて、前記撮影状況情報を生成する
ことを特徴とする請求項２〜６のいずれか一つに記載の撮像装置。
【請求項８】
前記音声データ解析部は、
前記音声データを解析することによって、発声した人物の性別を判別し、
前記撮影状況情報生成部は、
前記画像データ解析部にて判別された前記人物像の性別、及び前記音声データ解析部にて判別された前記人物の性別が一致する場合と一致しない場合とで、異なる前記撮影状況情報を生成する
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記音声データ生成部は、
音声を入力して電気信号に変換する音声入力部を備え、
前記音声入力部は、
当該撮像装置における撮影者に面する側に設けられた第１音声入力部と、
当該撮像装置における被写体に面する側に設けられた第２音声入力部とを備え、
前記撮影状況情報生成部は、
前記第１音声入力部に入力された音声に基づく音声データに関する前記音声データ解析部による解析結果と、前記第２音声入力部に入力された音声に基づく音声データに関する前記音声データ解析部による解析結果とに基づいて、前記撮影状況情報を生成する
ことを特徴とする請求項１〜８のいずれか一つに記載の撮像装置。
【請求項１０】
前記音声データ生成部にて生成された前記音声データを記憶する音声データ記憶部と、
前記画像データの記録を指示するユーザ操作を受け付ける操作受付部とを備え、
前記音声データ解析部は、
前記音声データ記憶部に記憶された前記音声データのうち、前記操作受付部が前記ユーザ操作を受け付けた時点を含む所定の期間内に生成された前記音声データを読み出し、当該音声データを解析する
ことを特徴とする請求項１〜９のいずれか一つに記載の撮像装置。
【請求項１１】
当該撮像装置の位置に関する位置情報を取得する位置取得部と、
地図情報を記録する地図情報記録部とを備え、
前記撮影状況情報生成部は、
前記音声データ解析部による解析結果、前記位置取得部にて取得された前記位置情報、及び前記地図情報記録部に記録された前記地図情報に基づいて、前記撮影状況情報を生成する
ことを特徴とする請求項１〜１０のいずれか一つに記載の撮像装置。
【請求項１２】
前記撮影状況情報生成部は、
前記音声データ解析部による解析結果、及び前記撮像部にて前記画像データが生成された際の日時に基づいて、前記撮影状況情報を生成する
ことを特徴とする請求項１〜１１のいずれか一つに記載の撮像装置。
【請求項１３】
被写体を撮像する撮像装置と、ネットワークを介して前記撮像装置から情報を受信可能なサーバとを備えた撮像システムにおいて、
前記撮像装置は、
前記被写体を撮像して画像データを生成する撮像部と、
入力した音声に基づいて、音声データを生成する音声データ生成部と、
前記撮像部にて生成された前記画像データ、及び前記音声データ生成部にて生成された前記音声データを、前記ネットワークを介して前記サーバに送信する送信部とを備え、
前記サーバは、
前記ネットワークを介して、前記撮像装置から前記画像データ及び前記音声データを受信する受信部と、
前記受信部にて受信した前記音声データを解析する音声データ解析部と、
前記音声データ解析部による解析結果に基づいて、撮影状況に関する撮影状況情報を生成する撮影状況情報生成部と、
前記受信部にて受信した前記画像データを記録する画像データ記録部と、
前記受信部にて受信した前記画像データ、及び前記撮影状況情報生成部にて生成された前記撮影状況情報を関連付けて前記画像データ記録部に記録する記録制御部とを備える
ことを特徴とする撮像システム。
【請求項１４】
ネットワークを介して外部機器から情報を受信可能なサーバにおいて、
前記ネットワークを介して、前記外部機器から画像データ及び音声データを受信する受信部と、
前記受信部にて受信した前記音声データを解析する音声データ解析部と、
前記音声データ解析部による解析結果に基づいて、撮影状況に関する撮影状況情報を生成する撮影状況情報生成部と、
前記受信部にて受信した前記画像データを記録する画像データ記録部と、
前記受信部にて受信した前記画像データ、及び前記撮影状況情報生成部にて生成された前記撮影状況情報を関連付けて前記画像データ記録部に記録する記録制御部とを備える
ことを特徴とするサーバ。
【請求項１５】
被写体を撮像する撮像装置が行う撮像方法において、
前記被写体を撮像して画像データを生成する撮像ステップと、
入力した音声に基づいて、音声データを生成する音声データ生成ステップと、
前記音声データ生成ステップにて生成した前記音声データを解析する音声データ解析ステップと、
前記音声データ解析ステップによる解析結果に基づいて、撮影状況に関する撮影状況情報を生成する撮影状況情報生成ステップと、
前記撮像ステップにて生成した前記画像データ、及び前記撮影状況生成ステップにて生成した前記撮影状況情報を関連付けて画像データ記録部に記録する記録制御ステップとを含む
ことを特徴とする撮像方法。
【請求項１６】
請求項１５に記載の撮像方法を撮像装置に実行させる
ことを特徴とする撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像する撮像装置、当該撮像装置を備えた撮像システム、当該撮像システムに用いられるサーバ、当該撮像装置が行う撮像方法、及び当該撮像装置に実行させる撮像プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置において、撮像により生成された画像データを記録する画像用メモリが大容量化されている。
このように記録可能な画像の枚数が増えたことで、メモリ容量を気にせずに撮影できる環境を提供できる点は、大きなメリットである。しかしながら、再生時には膨大な画像データを取り扱わなくてはならない。すなわち、膨大な画像の中から希望する画像を検索する手法に工夫が必要となる。
そこで、ユーザにより入力された検索用のキーワードを画像データの記録時に当該画像データに付与しておき、当該キーワードに基づいて、希望の画像を検索する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３５４１３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、撮影を行うたびに、ユーザに検索用のキーワードの入力作業を強いることとなり、利便性の向上を図れない、という問題がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、利便性を損なうことなく、画像の検索性や鑑賞時の価値を向上することができる撮像装置、撮像システム、サーバ、撮像方法、及び撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像部と、入力した音声に基づいて、音声データを生成する音声データ生成部と、前記音声データ生成部にて生成された前記音声データを解析する音声データ解析部と、前記音声データ解析部による解析結果に基づいて、撮影状況に関する撮影状況情報を生成する撮影状況情報生成部と、前記撮像部にて生成された前記画像データを記録する画像データ記録部と、前記撮像部にて生成された前記画像データ、及び前記撮影状況情報生成部にて生成された前記撮影状況情報を関連付けて前記画像データ記録部に記録する記録制御部とを備えることを特徴とする。
【０００７】
また、本発明に係る撮像装置は、上記発明において、前記撮像部にて生成された前記画像データを解析する画像データ解析部を備え、前記撮影状況情報生成部は、前記音声データ解析部による解析結果、及び前記画像データ解析部による解析結果に基づいて、前記撮影状況情報を生成することを特徴とする。
【０００８】
また、本発明に係る撮像装置は、上記発明において、前記撮影状況情報は、感情に関する感情情報を含むことを特徴とする。
【０００９】
また、本発明に係る撮像装置は、上記発明において、前記画像データ解析部は、前記画像データを解析することによって、当該画像データに含まれる人物像の年齢層を判別し、前記撮影状況情報生成部は、前記音声データ解析部による解析結果、及び前記画像データ解析部にて判別された前記人物像の年齢層に基づいて、前記撮影状況情報を生成することを特徴とする。
【００１０】
また、本発明に係る撮像装置は、上記発明において、前記音声データ解析部は、前記音声データを解析することによって、発声した人物の年齢層を判別し、前記撮影状況情報生成部は、前記画像データ解析部にて判別された前記人物像の年齢層、及び前記音声データ解析部にて判別された前記人物の年齢層が一致する場合と一致しない場合とで、異なる前記撮影状況情報を生成することを特徴とする。
【００１１】
また、本発明に係る撮像装置は、上記発明において、撮影者による撮影を補助する補助機能を実行する補助機能実行部を備え、前記音声データ解析部は、前記音声データを解析することによって、発声した人物の年齢層を判別し、前記補助機能実行部は、前記音声データ解析部にて判別された前記人物の年齢層が所定の年齢未満の年齢層であり、前記画像データ解析部にて前記所定の年齢以上の年齢層の人物像が含まれていないと判別された場合に、前記補助機能を実行することを特徴とする。
【００１２】
また、本発明に係る撮像装置は、上記発明において、前記画像データ解析部は、前記画像データを解析することによって、当該画像データに含まれる人物像の性別を判別し、前記撮影状況情報生成部は、前記音声データ解析部による解析結果、及び前記画像データ解析部にて判別された前記人物像の性別に基づいて、前記撮影状況情報を生成することを特徴とする。
【００１３】
また、本発明に係る撮像装置は、上記発明において、前記音声データ解析部は、前記音声データを解析することによって、発声した人物の性別を判別し、前記撮影状況情報生成部は、前記画像データ解析部にて判別された前記人物像の性別、及び前記音声データ解析部にて判別された前記人物の性別が一致する場合と一致しない場合とで、異なる前記撮影状況情報を生成することを特徴とする。
【００１４】
また、本発明に係る撮像装置は、上記発明において、前記音声データ生成部は、音声を入力して電気信号に変換する音声入力部を備え、前記音声入力部は、当該撮像装置の撮影者に面する側に設けられた第１音声入力部と、当該撮像装置の被写体に面する側に設けられた第２音声入力部とを備え、前記撮影状況情報生成部は、前記第１音声入力部に入力された音声に基づく音声データに関する前記音声データ解析部による解析結果と、前記第２音声入力部に入力された音声に基づく音声データに関する前記音声データ解析部による解析結果とに基づいて、前記撮影状況情報を生成することを特徴とする。
【００１５】
また、本発明に係る撮像装置は、上記発明において、前記音声データ生成部にて生成された前記音声データを記憶する音声データ記憶部と、前記画像データの記録を指示するユーザ操作を受け付ける操作受付部とを備え、前記音声データ解析部は、前記音声データ記憶部に記憶された前記音声データのうち、前記操作受付部が前記ユーザ操作を受け付けた時点を含む所定の期間内に生成された前記音声データを読み出し、当該音声データを解析することを特徴とする。
【００１６】
また、本発明に係る撮像装置は、上記発明において、当該撮像装置の位置に関する位置情報を取得する位置取得部と、地図情報を記録する地図情報記録部とを備え、前記撮影状況情報生成部は、前記音声データ解析部による解析結果、前記位置取得部にて取得された前記位置情報、及び前記地図情報記録部に記録された前記地図情報に基づいて、前記撮影状況情報を生成することを特徴とする。
【００１７】
また、本発明に係る撮像装置は、上記発明において、前記撮影状況情報生成部は、前記音声データ解析部による解析結果、及び前記撮像部にて前記画像データが生成された際の日時に基づいて、前記撮影状況情報を生成することを特徴とする。
【００１８】
また、本発明に係る撮像システムは、被写体を撮像する撮像装置と、ネットワークを介して前記撮像装置から情報を受信可能なサーバとを備えた撮像システムにおいて、前記撮像装置は、前記被写体を撮像して画像データを生成する撮像部と、入力した音声に基づいて、音声データを生成する音声データ生成部と、前記撮像部にて生成された前記画像データ、及び前記音声データ生成部にて生成された前記音声データを、前記ネットワークを介して前記サーバに送信する送信部とを備え、前記サーバは、前記ネットワークを介して、前記撮像装置から前記画像データ及び前記音声データを受信する受信部と、前記受信部にて受信した前記音声データを解析する音声データ解析部と、前記音声データ解析部による解析結果に基づいて、撮影状況に関する撮影状況情報を生成する撮影状況情報生成部と、前記受信部にて受信した前記画像データを記録する画像データ記録部と、前記受信部にて受信した前記画像データ、及び前記撮影状況情報生成部にて生成された前記撮影状況情報を関連付けて前記画像データ記録部に記録する記録制御部とを備えることを特徴とする。
【００１９】
また、本発明に係るサーバは、ネットワークを介して外部機器から情報を受信可能なサーバにおいて、前記ネットワークを介して、前記外部機器から画像データ及び音声データを受信する受信部と、前記受信部にて受信した前記音声データを解析する音声データ解析部と、前記音声データ解析部による解析結果に基づいて、撮影状況に関する撮影状況情報を生成する撮影状況情報生成部と、前記受信部にて受信した前記画像データを記録する画像データ記録部と、前記受信部にて受信した前記画像データ、及び前記撮影状況情報生成部にて生成された前記撮影状況情報を関連付けて前記画像データ記録部に記録する記録制御部とを備えることを特徴とする。
【００２０】
また、本発明に係る撮像方法は、被写体を撮像する撮像装置が行う撮像方法において、前記被写体を撮像して画像データを生成する撮像ステップと、入力した音声に基づいて、音声データを生成する音声データ生成ステップと、前記音声データ生成ステップにて生成した前記音声データを解析する音声データ解析ステップと、前記音声データ解析ステップによる解析結果に基づいて、撮影状況に関する撮影状況情報を生成する撮影状況情報生成ステップと、前記撮像ステップにて生成した前記画像データ、及び前記撮影状況生成ステップにて生成した前記撮影状況情報を関連付けて画像データ記録部に記録する記録制御ステップとを含むことを特徴とする。
【００２１】
また、本発明に係る撮像プログラムは、上述した撮像方法を撮像装置に実行させることを特徴とする。
【発明の効果】
【００２２】
本発明に係る撮像装置は、入力した音声に基づいて生成した音声データを解析し、当該解析結果に基づいて撮影状況に関する撮影状況情報（例えば、「家族の写真」等）を生成する。そして、撮像装置は、撮像により生成した画像データと、生成した撮影状況情報とを関連付けて画像データ記録部に記録する。
このため、撮像装置のユーザは、撮影状況情報（例えば、「家族の写真」等）を検索用のキーワードとして、画像データ記録部に記録された画像データの中から希望の画像を検索することができる。また、当該キーワードとなる撮影状況情報は、撮影者や被写体が発した音声に基づいて生成されるため、撮像装置のユーザは、撮影を行うたびに、当該撮影状況情報を撮像装置に入力する必要がない。
したがって、本発明に係る撮像装置によれば、利便性を損なうことなく、画像の検索性を向上することができる、という効果を奏する。
【００２３】
本発明に係る撮像システムは、ネットワークを介して撮像装置から情報を受信可能なサーバに上述した撮像装置と同様の音声データの解析機能、及び撮影状況情報の生成機能を持たせているため、上述した撮像装置と同様の効果を奏する。
本発明に係るサーバは、上述した撮像システムに用いられるサーバであるため、上述した撮像システムと同様の効果を奏する。
本発明に係る撮像方法は、上述した撮像装置が行う撮像方法であるため、上述した撮像装置と同様の効果を奏する。
本発明に係る撮像プログラムは、上述した撮像装置にて実行されるプログラムであるため、上述した撮像装置と同様の効果を奏する。
【図面の簡単な説明】
【００２４】
【図１】図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。
【図２】図２は、図１に示した関連情報記録部に記録された関連情報の一例を示す図である。
【図３】図３は、図１に示した撮像装置の動作を示すフローチャートである。
【図４】図４は、撮影状況の一例を示す図である。
【図５】図５は、図４に示した撮影状況で撮像されることにより生成された画像ファイルに対応する画像の一例を示す図である。
【図６】図６は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。
【図７】図７は、図６に示した撮像装置の動作を示すフローチャートである。
【図８】図８は、図７に示した撮像装置の動作により生成された画像ファイルに対応する画像の一例を示す図である。
【図９】図９は、本発明の実施の形態３に係る撮像装置の構成を示すブロック図である。
【図１０】図１０は、図９に示した撮像装置を撮影者側から見た斜視図である。
【図１１】図１１は、図９に示した撮像装置を被写体側から見た斜視図である。
【図１２】図１２は、図９に示した関連情報記録部に記録された関連情報を説明するための図である。
【図１３Ａ】図１３Ａは、図９に示した関連情報記録部に記録された関連情報の一例を示す図である。
【図１３Ｂ】図１３Ｂは、図９に示した関連情報記録部に記録された関連情報の一例を示す図である。
【図１４】図１４は、図９に示した撮像装置の動作により生成された画像ファイルに対応する画像の一例を示す図である。
【図１５】図１５は、本発明の実施の形態４に係る撮像装置の構成を示すブロック図である。
【図１６】図１６は、図１５に示した関連情報記録部に記録された関連情報を説明するための図である。
【図１７Ａ】図１７Ａは、図１５に示した関連情報記録部に記録された関連情報の一例を示す図である。
【図１７Ｂ】図１７Ｂは、図１５に示した関連情報記録部に記録された関連情報の一例を示す図である。
【図１８】図１８は、図１５に示した撮像装置の動作を示すフローチャートである。
【図１９Ａ】図１９Ａは、図１８に示した撮像装置の動作により生成された画像ファイルに対応する画像の一例を示す図である。
【図１９Ｂ】図１９Ｂは、図１８に示した撮像装置の動作により生成された画像ファイルに対応する画像の一例を示す図である。
【図１９Ｃ】図１９Ｃは、図１８に示した撮像装置の動作により生成された画像ファイルに対応する画像の一例を示す図である。
【図２０】図２０は、本発明の実施の形態４の変形例に係る関連情報の一例を示す図である。
【図２１】図２１は、本発明の実施の形態５に係る撮像システムの構成を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下に、図面を参照して、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
【００２６】
（実施の形態１）
〔撮像装置の概略構成〕
図１は、本発明の実施の形態１に係る撮像装置１の構成を示すブロック図である。
撮像装置１は、被写体を撮像する装置であり、例えば、デジタルカメラ、デジタルビデオカメラ、撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器等として構成される。そして、本実施の形態１に係る撮像装置１は、被写体を撮像し、当該撮像により生成した画像データに対して当該撮像時の撮影状況に関する撮影状況情報を関連付けて記録する。
なお、以下では、撮像装置１の構成として、本発明の要部を主に説明する。
この撮像装置１は、図１に示すように、撮像部１１と、表示部１２と、入力部１３と、音声データ生成部１４と、メモリ部１５と、記録部１６と、制御部１７とを備える。
【００２７】
撮像部１１は、制御部１７による制御の下、被写体を撮像して画像データを生成する。この撮像部１１は、被写体像を結像する光学系、光学系が結像した被写体像を受光して電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等の撮像素子、当該撮像素子からの電気信号（アナログ信号）に対して信号処理（Ａ／Ｄ変換等）を行うことによりデジタルの画像データを生成する信号処理部等を用いて構成される。
そして、撮像部１１にて生成された画像データは、制御部１７による制御の下、順次、メモリ部１５に記憶されるとともに、撮像装置１のユーザ（撮影者）による入力部１５への撮影操作に応じて記録部１６に記録される。
【００２８】
表示部１２は、液晶または有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）等からなる表示パネルを用いて構成され、制御部１７による制御の下、種々の画像を表示する。また、表示部１２は、制御部１７による制御の下、撮像装置１の操作情報及び撮影に関する情報等を適宜、表示する。
入力部１３は、ユーザ操作を受け付けるボタンやスイッチ等を用いて構成され、当該ユーザ操作に応じた指示信号を制御部１７に出力する。
そして、入力部１３は、本発明に係る操作受付部としての機能を有する。
【００２９】
音声データ生成部１４は、入力した音声に基づいて、音声データを生成する。
この音声データ生成部１４は、図１に示すように、音声入力部１４１と、音声処理部１４２とを備える。
音声入力部１４１は、マイクロフォンを用いて構成され、音声を入力して電気信号に変換する。なお、当該マイクロフォン（音声入力部１４１）を設ける位置としては、撮像装置１における天面、撮像装置１における被写体に面する側（正面側）、または、撮像装置１における撮影者に面する側（背面側）のいずれの位置でも構わない。
音声処理部１４２は、制御部１７による制御の下、音声入力部１４１にて変換された電気信号に標本化及び量子化を施してＡ／Ｄ変換を行うことにより音声データを生成する。
そして、音声データ生成部１４にて生成された音声データは、制御部１７による制御の下、メモリ部１５に記憶される。
【００３０】
メモリ部１５は、撮像部１１にて生成された画像データや、音声データ生成部１４にて生成された音声データ等を記憶する。
すなわち、メモリ部１５は、本発明に係る音声データ記憶部としての機能を有する。
記録部１６は、図１に示すように、プログラム記録部１６１と、画像データ記録部１６２と、関連情報記録部１６３とを備える。
プログラム記録部１６１は、制御部１７が実行する各種プログラム（撮像プログラムを含む）、及びプログラムの実行中に使用される各種データ等を記録する。
画像データ記録部１６２は、制御部１７による制御の下、撮像部１１にて生成された画像データに撮影状況情報が関連付けられた画像ファイルを記録する。
【００３１】
図２は、関連情報記録部１６３に記録された関連情報の一例を示す図である。
関連情報記録部１６３は、特定の音声（抽出キーワード）と撮影状況情報とが関連付けられた関連情報を記録する。
例えば、図２に示すように、特定の音声である「パパ」や「ママ」には、撮影状況情報である「家族の写真」が関連付けられている。また、特定の音声である「先生」には、撮影状況情報である「学校の行事」が関連付けられている。
【００３２】
制御部１７は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等を用いて構成され、入力部１３からの指示信号等に応じて撮像装置１を構成する各部に対応する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。
この制御部１７は、図１に示すように、撮像制御部１７１と、表示制御部１７２と、音声データ解析部１７３と、撮影状況情報生成部１７４と、記録制御部１７５とを備える。
撮像制御部１７１は、撮影者による入力部１３への撮影操作に応じて、撮像部１１に被写体を撮像させ、当該撮像により撮像部１１にて生成された画像データを、画像データ記録部１６２への記録を予定する記録用画像データとしてメモリ部１５に記憶する。
【００３３】
表示制御部１７２は、表示部１２の動作を制御し、表示部１２に画像を表示させる。
具体的に、表示制御部１７２は、メモリ部１５に記憶された最新の画像データを順次、読み出し、当該画像データに対応する画像を表示部１２に表示（ライブビュー表示）させる。また、表示制御部１７２は、撮像装置１のユーザによる入力部１３への「記録された画像データに対応する画像を表示する」旨の再生操作（画像を検索する際のキーワードを入力する操作も含む）に応じて、画像データ記録部１６２に記録された画像ファイルのうち、入力されたキーワードに合致または類似する画像ファイルを読み出し、当該画像ファイルに対応する画像を表示部１２に表示させる。
【００３４】
音声データ解析部１７３は、メモリ１５から音声データを読み出し、関連情報記録部１６３に記録された関連情報を参照しつつ、当該音声データを解析する。
撮影状況情報生成部１７４は、音声データ解析部１７３による解析結果に基づいて、関連情報記録部１６３に記録された関連情報を参照し、撮影状況情報を生成する。
記録制御部１７５は、メモリ部１５に記憶された記録用画像データに対して、撮影状況情報生成部１７４にて生成された撮影状況情報を関連付けた画像ファイルを生成し、当該画像ファイルを画像データ記録部１６２に記録する。
【００３５】
〔撮像装置の動作〕
次に、上述した撮像装置１の動作について説明する。
図３は、撮像装置１の動作を示すフローチャートである。
撮影者による入力部１３への操作によって撮像装置１の電源がオンになる（ステップＳ１０１：Ｙｅｓ）と、制御部１７は、撮像部１１に撮像を開始させるとともに、音声処理部１４２を動作させて音声の取得（音声データの生成）を開始させる（ステップＳ１０２：撮像ステップ、音声データ生成ステップ）。そして、撮像部１１にて生成された画像データは、順次、メモリ部１５に記憶される。
続いて、表示制御部１７２は、メモリ部１５に記憶された最新の画像データを読み出し、表示部１２にライブビュー表示を開始させる（ステップＳ１０３）。
【００３６】
続いて、撮像制御部１７１は、撮影者による入力部１３への撮影操作があったか否かを判断する（ステップＳ１０４）。
撮影操作がないと判断された場合（ステップＳ１０４：Ｎｏ）には、撮像装置１は、ステップＳ１０１に戻る。
一方、撮影操作があったと判断した場合（ステップＳ１０４：Ｙｅｓ）には、撮像制御部１７１は、撮像部１１に被写体を撮像させ、当該撮像により撮像部１１にて生成された画像データを記録用画像データとしてメモリ部１５に記憶（仮記録）する（ステップＳ１０５）。そして、メモリ部１５に記憶されている記録用画像データが最新の記録用画像データに更新される。
【００３７】
続いて、制御部１７は、撮影操作が行われてから一定時間が経過したか否かを常時、監視し（ステップＳ１０６）、一定時間が経過した場合（ステップＳ１０６：Ｙｅｓ）に、音声処理部１４２の動作を停止（音声取得停止）させる（ステップＳ１０７）。
ステップＳ１０２〜Ｓ１０７の間で生成された音声データは、メモリ部１５に記憶される。そして、メモリ部１５に記憶されている音声データが最新の音声データに更新される。
【００３８】
続いて、音声データ解析部１７３は、メモリ部１５に記憶された音声データを読み出し、当該音声データを解析する（ステップＳ１０８：音声データ解析ステップ）。
具体的に、音声データ解析部１７３は、当該音声データにおいて、撮影操作が行われた時点を含む所定の期間内（当該時点よりも所定時間前〜当該時点よりも所定時間後までの期間内）に、関連情報記録部１６３に記録された関連情報を構成する特定の音声が含まれているか否かを判定する。
【００３９】
続いて、撮影状況情報生成部１７４は、ステップＳ１０８での音声データ解析部１７３による解析結果に基づいて、関連情報記録部１６３に記録された関連情報を参照し、撮影状況情報を生成する（ステップＳ１０９：撮影状況情報生成ステップ）。
例えば、撮影状況情報生成部１７４は、音声データ解析部１７３による解析結果として、関連情報を構成する特定の音声が音声データに含まれていると判定された場合には、関連情報から、当該特定の音声に関連付けられた撮影状況情報を記録用画像データに関連付ける撮影状況情報として読み出す（生成する）。
一方、撮影状況情報生成部１７４は、音声データ解析部１７３による解析結果として、関連情報を構成する特定の音声が音声データに含まれていないと判定された場合には、撮影状況が不明であることを示す撮影状況情報を生成する。
【００４０】
続いて、記録制御部１７５は、ステップＳ１０５においてメモリ部１５に記憶された記録用画像データを読み出し、当該記録用画像データに対して、ステップＳ１０９にて生成された撮影状況情報を関連付けた画像ファイルを生成し、当該画像ファイルを画像データ記録部１６２に記録する（ステップＳ１１０：記録制御ステップ）。
【００４１】
〔撮影状況及び画像ファイルの具体例〕
以上説明した撮像装置１の動作をより詳細に説明するために、撮影状況、及び当該撮影状況で撮像されることにより生成される画像ファイルの具体例について説明する。
図４は、撮影状況の一例を示す図である。図５は、図４に示した撮影状況で撮像されることにより生成された画像ファイルに対応する画像の一例を示す図である。
撮影状況として、例えば、図４に示すように、動物園において、母親Ｓｍが象Ｓｅをバックに娘Ｓｄを被写体として撮影する撮影状況を考える。
ここで、母親Ｓｍは、撮像装置１に対して撮影操作を行う前（ステップＳ１０２〜Ｓ１０７の間）に、娘Ｓｄに対して、「こっち見て」という言葉を発している。また、娘Ｓｄは、母親Ｓｍが撮像装置１に対して撮影操作を行う時点を含む所定の期間内（ステップＳ１０２〜Ｓ１０７の間）に、母親Ｓｍに対して、「ママ、ぞうさん」という言葉を発している。
【００４２】
撮像装置１は、ステップＳ１０２〜Ｓ１０７の間に、上述した娘Ｓｄの言葉「ママ、ぞうさん」、及び母親Ｓｍの言葉「こっち見て」を集音し、音声データとしてメモリ部１５に記憶する。また、撮像装置１は、当該音声データを解析することによって、関連情報を構成する特定の音声「ママ」が当該音声データに含まれていると判定する（ステップＳ１０８）。さらに、撮像装置１は、関連情報記録部１６３に記録された関連情報（図２）から、当該特定の音声「ママ」に関連付けられた「家族の写真」を撮影状況情報として読み出す（ステップＳ１０９）。そして、撮像装置１は、ステップＳ１０５においてメモリ部１５に記憶した記録用画像データに対して、当該撮影状況情報である「家族の写真」を関連付けた画像ファイルを生成し、当該画像ファイルを画像データ記録部１６２に記録する（ステップＳ１１０）。
【００４３】
以上のように画像ファイルが記録された後、撮像装置１は、当該撮像装置１のユーザによる入力部１３への再生操作に応じて、画像データ記録部１６２に記録された画像ファイルのうち、入力されたキーワード（例えば、「家族の写真」）に合致または類似する撮影状況情報が関連付けられた画像ファイルを読み出し、当該画像ファイルに対応する画像Ｉ１００（図５）を表示する。
具体的に、画像Ｉ１００は、図５に示すように、入力部１３への撮影操作に応じて生成された記録用画像データに対応する画像Ｗ１に対して、撮影状況情報である「家族の写真」の文字画像Ｔ１が重畳された画像である。
【００４４】
以上説明した本実施の形態１に係る撮像装置１は、入力した音声に基づいて生成した音声データを解析し、当該解析結果に基づいて撮影状況に関する撮影状況情報を生成する。そして、撮像装置１は、撮像により生成した画像データと、生成した撮影状況情報とを関連付けた画像ファイルを生成し、画像データ記録部１６２に記録する。
このため、撮像装置１のユーザは、撮影状況情報をキーワードとして、画像データ記録部１６２に記録された画像ファイルの中から希望の画像を検索することができる。また、キーワードとなる撮影状況情報は、撮影者や被写体が発した音声に基づいて生成されるため、撮像装置１のユーザは、撮影を行うたびに、当該撮影状況情報を撮像装置１に入力する必要がない。
したがって、本実施の形態１に係る撮像装置１によれば、利便性を損なうことなく、画像の検索性や鑑賞時の価値を向上することができる、という効果を奏する。
【００４５】
また、本実施の形態１に係る撮像装置１は、音声データの解析や撮影状況情報の生成にあたり、特定の音声と撮影状況情報とが関連付けられた関連情報を参照する。
このため、音声データの解析では関連情報を構成する特定の音声が当該音声データに含まれるか否かの判定を行えばよく、また、撮影状況情報の生成では当該音声データに含まれる特定の音声に関連付けられた撮影状況情報の読み出しを行えばよく、撮像装置１の処理負荷を軽減することができる。
【００４６】
また、本実施の形態１に係る撮像装置１は、音声データにおいて、撮影者による撮影操作が行われた時点を含む所定の期間内に特定の音声が含まれるか否かを判定する。
このため、音声データのうち、撮影状況情報の生成に必要な期間内の音声データの解析を行って、実際の撮影状況に合う撮影状況情報を生成することができる。また、音声データ全体の解析を行う必要がなく、当該音声データを解析する際の処理負荷を軽減することができる。
【００４７】
（実施の形態１の変形例）
上述した実施の形態１では、撮影者及び被写体の関係として、親子の関係を例示したが（図２、図４）、その他の関係、例えば、男女のカップルの関係としても構わない。また、このような多数派の人間関係（一般に割合の多い人間関係）のみならず、同性のカップル等がいたりする昨今の状況に鑑み、必要に応じて、この関係を変更しても構わない。また、音声から判別されるキーワードは、ユーザの言語や地方における方言や習わし等に基づくものでもよく、例えば、ユーザ像（撮影者や被写体）を特定して、ビッグデータの解析データを利用して、最適化させてもよいことは言うまでもない。さらに、犬、猫の声から、ペット写真（撮影状況情報）と特定するような応用も含むものとする。近年は、ウェアラブルカメラ等も進化しており、ウェアラブルカメラを装着した人物やペット等を特定する時には、画像データを得難いことから、装着部位にかかわらず検出することができる音声の有効利用による撮影画像の意味付けは、大いに効果を期待することができる。
【００４８】
上述した実施の形態１において、家族写真特有の和やかな雰囲気（音声に適度なテンポがあり、語尾が上がる等の特徴がある）や、学校行事特有のざわめき（様々な興奮した声が検出され、机や椅子に当たる音や足音が激しく聞こえる等）等を利用して、撮影時の感情に関する感情情報を撮影状況情報に含める（記録用画像データに関連付けて記録する）応用が可能であることは言うまでもない。興奮した声は、破裂音が多く、単発で、単語のみといった特徴や、興奮した状況下でしか出てこないキーワード等から判定が可能である。単純な単語一つでもそのイントネーションやリズムを解析すれば、感情までの解析が可能となる。
以上のように、感情までを判別することにより、本発明の適応範囲は広がり、撮影時の客観的な状況のみならず、撮影者や被写体の感情までを再現することが可能となる。そして、画像の鑑賞者は、それに対し、単なる理解のみならず感情移入で共感したりすることができる。これこそが写真鑑賞の重要なモチベーションであるから、このような応用時までを想定することで、本発明の意義はさらに明確になる。
【００４９】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
本実施の形態２に係る撮像装置は、上述した実施の形態１で説明した撮像装置１に対して、音声データの解析結果の他、撮像時に当該撮像装置のユーザがいる場所も考慮して、撮影状況情報を生成する点が異なる。
【００５０】
〔撮像装置の構成〕
図６は、本発明の実施の形態２に係る撮像装置１Ａの構成を示すブロック図である。
本実施の形態２に係る撮像装置１Ａは、図６に示すように、上述した実施の形態１で説明した撮像装置１（図１）に対して、位置取得部１８が追加されている。
位置取得部１８は、地上の物体の位置を測定する測定手段であるＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）を構成する複数のＧＰＳ衛星から送信されてくる衛星の軌道情報を受信し、この受信した軌道情報に基づいて、撮像装置１Ａの位置情報（経度や緯度に関する情報）を取得する。そして、位置取得部１８は、撮像装置１Ａの位置情報を制御部１７Ａに出力する。
【００５１】
また、本実施の形態２に係る記録部１６Ａは、上述した実施の形態１で説明した記録部１６（図１）に対して、地図情報記録部１６４が追加されている。
地図情報記録部１６４は、各地点の経度及び緯度を含む地図情報を記録する。
そして、本実施の形態２に係る撮影状況情報生成部１７４Ａは、上述した実施の形態１で説明した撮影状況情報生成部１７４に対して、上述した位置取得部１８及び地図情報記録部１６４の追加に合わせて、その機能の一部が変更されている。
【００５２】
〔撮像装置の動作〕
図７は、撮像装置１Ａの動作を示すフローチャートである。
本実施の形態２に係る撮像装置１Ａの動作は、図７に示すように、上述した実施の形態１で説明した撮像装置１の動作（図３）に対して、ステップＳ１１１を追加するとともに、ステップＳ１０９の代わりにステップＳ１０９Ａ（撮影状況情報生成ステップ）を追加した点が異なるのみである。
このため、以下では、ステップＳ１１１，Ｓ１０９Ａのみを説明する。
【００５３】
ステップＳ１１１は、ステップＳ１０８の後に実行される。
具体的に、制御部１７Ａは、撮影操作があった時点（ステップＳ１０４：Ｙｅｓ）で位置取得部１８にて取得された位置情報（撮像装置１Ａの経度及び緯度に関する情報）を、メモリ部１５に記憶する（ステップＳ１１１）。
【００５４】
続いて、撮影状況情報生成部１７４Ａは、ステップＳ１０８での音声データ解析部１７３による解析結果、関連情報記録部１６３に記録された関連情報、ステップＳ１１１においてメモリ部１５に記憶された撮像装置１Ａの位置情報、及び地図情報記録部１６４に記録された地図情報に基づいて、撮影状況情報を生成する（ステップＳ１０９Ａ）。
すなわち、撮影状況情報生成部１７４Ａは、ステップＳ１０９Ａにおいて、上述した実施の形態１で説明したステップＳ１０９にて生成された撮影状況情報に加えて、撮像装置１Ａの位置情報及び地図情報記録部１６４に記録された地図情報から把握される撮像時（ステップＳ１０４：Ｙｅｓ）に撮影者がいる場所を撮影状況情報として生成する。
【００５５】
〔画像ファイルの具体例〕
図８は、撮像装置１Ａの動作により生成された画像ファイルに対応する画像の一例を示す図である。
なお、図８に示す画像は、図４に示した撮影状況で撮像されることにより生成された画像ファイルに対応する画像である。
例えば、図４に示した撮影状況である場合には、撮影状況情報生成部１７４Ａは、上述した実施の形態１と同様に、関連情報記録部１６３に記録された関連情報（図２）から、娘Ｓｄが発した特定の音声「ママ」に関連付けられた「家族の写真」を読み出す。また、撮影状況情報生成部１７４Ａは、ステップＳ１１１においてメモリ部１５に記憶された撮像装置１Ａの位置情報、及び地図情報記録部１６４に記録された地図情報に基づいて、撮影者（母親Ｓｍ）がいる場所が「動物園」であることを認識する。そして、撮影状況情報生成部１７４Ａは、上記読み出した「家族の写真」及び上記認識した「動物園」を撮影状況情報として生成する（ステップＳ１０９Ａ）。この後、記録制御部１７５は、ステップＳ１０５においてメモリ部１５に記憶された記録用画像データに対して、当該撮影状況情報である「家族の写真」及び「動物園」を関連付けた画像ファイルを生成し、当該画像ファイルを画像データ記録部１６２に記録する（ステップＳ１１０）。
【００５６】
以上のように画像ファイルが記録された後、撮像装置１Ａは、当該撮像装置１Ａのユーザによる入力部１３への再生操作に応じて、画像データ記録部１６２に記録された画像ファイルのうち、入力されたキーワード（例えば、「家族の写真」や「動物園」）に合致または類似する撮影状況情報が関連付けられた画像ファイルを読み出し、当該画像ファイルに対応する画像Ｉ２００（図８）を表示する。
具体的に、画像Ｉ２００は、図８に示すように、入力部１３への撮影操作に応じて生成された記録用画像データに対応する画像Ｗ１に対して、撮影状況情報である「家族の写真（動物園）」の文字画像Ｔ２が重畳された画像である。
【００５７】
以上説明した本実施の形態２によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
本実施の形態２に係る撮像装置１Ａは、音声データの解析結果の他、撮像時に当該撮像装置１Ａのユーザがいる場所も考慮して、撮影状況情報を生成する。
このため、実際の撮影状況に合う確度の高い撮影状況情報を生成し、記録用画像データに関連付けることができる。
【００５８】
（実施の形態２の変形例）
上述した実施の形態２に係る撮像装置１Ａは、音声データの解析結果、及び撮像時に撮像装置１Ａのユーザがいる場所に基づいて、撮影状況情報を生成していたが、これに限られず、リアルタイムクロック（図示略）から提供される現在の日時（撮像部１１にて生成されメモリ部１５に記録用画像データが記憶された日時）をも考慮して、撮影状況情報を生成しても構わない。
例えば、図４に示した撮影状況において、母親Ｓｍ（撮像装置のユーザ）及び娘Ｓｄのいる場所が動物園ではなく「小学校」であり、現在の日時が「３月○日△時□分」である場合には、撮影状況情報生成部は、「卒業式」を撮影状況情報として生成する。また、例えば、図４に示した撮影状況において、母親Ｓｍ及び娘Ｓｄのいる場所が動物園ではなく「神社」であり、現在の日時が「１１月○日△時□分」である場合には、撮影状況情報生成部は、「七五三」を撮影状況情報として生成する。
以上のように現在の日時をも考慮することで、実際の撮影状況に合うより一層確度の高い撮影状況情報を生成し、記録用画像データに関連付けることができる。
【００５９】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
本実施の形態３に係る撮像装置は、上述した実施の形態１で説明した撮像装置１に対して、撮影者側及び被写体側の双方から音声をそれぞれ集音し、当該集音された各音声に基づく音声データを解析することによって発声した人物の年齢層や性別を判別する点が異なる。また、本実施の形態３に係る撮像装置は、音声データの解析機能が上述した実施の形態１で説明した音声データの解析機能と異なることから、関連情報も上述した実施の形態１で説明した関連情報と異なるものとしている。
【００６０】
〔撮像装置の構成〕
図９は、本発明の実施の形態３に係る撮像装置１Ｂを示すブロック図である。
本実施の形態３に係る撮像装置１Ｂは、図９に示すように、上述した実施の形態１で説明した撮像装置１（図１）に対して、音声データ生成部１４の代わりに音声データ生成部１４Ｂを採用している。
音声データ生成部１４Ｂは、図９に示すように、第１音声データ生成部１４Ｂ１と、第２音声データ生成部１４Ｂ２とを備える。
第１音声データ生成部１４Ｂ１は、上述した実施の形態１で説明した音声入力部１４１及び音声処理部１４２とそれぞれ同様の構造及び機能を有する第１音声入力部１４１Ｂ１及び第１音声処理部１４２Ｂ１を備える。
第２音声データ生成部１４Ｂ２は、上述した実施の形態１で説明した音声入力部１４１及び音声処理部１４２とそれぞれ同様の構造及び機能を有する第２音声入力部１４１Ｂ２及び第２音声処理部１４２Ｂ２を備える。
なお、第１，第２音声データ生成部１４Ｂ１，１４Ｂ２は、第１，第２音声入力部１４１Ｂ１，１４１Ｂ２の配設位置が異なる。
以下、第１，第２音声入力部１４１Ｂ１，１４１Ｂ２の配設位置について説明する。
【００６１】
図１０は、撮像装置１Ｂを撮影者に面する側（背面側）から見た斜視図である。図１１は、撮像装置１Ｂを被写体に面する側（正面側）から見た斜視図である。
撮像装置１Ｂの撮影者に面する側（背面側）には、図１０に示すように、外装筐体の内外を連通し、撮影者側からの音声を集音するための第１マイク用孔１４３が形成されている。そして、第１音声入力部１４１Ｂ１は、外装筐体内部において、第１マイク用孔１４３に対向する位置に配設され、主に撮影者側から発せられた音声を、第１マイク用孔１４３を介して集音する。
同様に、撮像装置１Ｂの被写体に面する側（正面側）には、図１１に示すように、外装筐体の内外を連通し、被写体側からの音声を集音するための第２マイク用孔１４４が形成されている。そして、第２音声入力部１４１Ｂ２は、外装筐体内部において、第２マイク用孔１４４に対向する位置に配設され、主に被写体側から発せられた音声を、第２マイク用孔１４４を介して集音する。
以下、説明の便宜上、第１音声データ生成部１４Ｂ１にて生成された音声データを「第１音声データ」と記載し、第２音声データ生成部１４Ｂ２にて生成された音声データを「第２音声データ」と記載する。
【００６２】
また、本実施の形態３に係る撮像装置１Ｂは、図９に示すように、上述した実施の形態１で説明した撮像装置１（図１）に対して、音声データ解析部１７３の代わりに音声データ解析部１７３Ｂを採用している。
音声データ解析部１７３Ｂは、第１，第２音声データ生成部１４Ｂ１，１４Ｂ２にて生成された第１，第２音声データをそれぞれ解析する。
具体的に、音声データ解析部１７３Ｂは、上述した実施の形態１で説明した音声データ解析部１７３と同様の機能（第１，第２音声データに特定の音声が含まれるか否かの判定機能）の他、「発声した人物が撮影者または被写体のいずれであるかを判別する機能」、及び「発声した人物の年齢層や性別を判別する機能（年齢・性別分析）」を有する。
【００６３】
音声データ解析部１７３Ｂによる「発声した人物が撮影者または被写体のいずれであるかを判別する機能」は、以下の通りである。
すなわち、音声データ解析部１７３Ｂは、発声した人物の年齢・性別分析を行う前に、第１，第２音声データを比較する。そして、音声データ解析部１７３Ｂは、タイミングが同じで、かつ、音声の波形が同じ部分が第１，第２音声データに含まれている場合には、第１，第２音声データにおける当該各部分のうち、電気信号レベルの高い方を年齢・性別分析の対象とする。
例えば、撮影者が言葉を発すると、撮影者側に配設された第１音声入力部１４１Ｂ１で当該言葉（音声）が集音されるとともに、被写体側に配設された第２音声入力部１４１Ｂ２でも当該言葉（音声）が集音される場合がある。すなわち、第１，第２音声データ生成部１４Ｂ１，１４Ｂ２で生成された第１，第２音声データには、上記言葉（音声）に対応する部分がそれぞれ含まれることとなる。ここで、第１，第２音声データに含まれる当該部分は、タイミングが同じで、かつ、音声の波形が同じものとなる。しかしながら、第１音声入力部１４１Ｂ１の方が第２音声入力部１４１Ｂ２よりも撮影者との距離が近いため、電気信号レベルは、第１音声データの方が高いものとなる。このため、音声データ解析部１７３Ｂは、第２音声データにおける当該部分を年齢・性別分析の対象とせずに、第１音声データにおける当該部分を年齢・性別分析の対象とする。
すなわち、音声データ解析部１７３Ｂは、上述したように第１，第２音声データを比較し、年齢・性別分析の対象を選択することで、発声した人物が撮影者であるか、または被写体であるかを判別している。
【００６４】
音声データ解析部１７３Ｂによる「年齢・性別分析」の手法としては、例えば、以下の（１），（２）の手法を例示することができる。
（１）音声データ解析部１７３Ｂは、音声データ（第１，第２音声データ）からフォルマントを抽出する。そして、音声データ解析部１７３Ｂは、当該抽出したフォルマントに基づいて、発声した人物の年齢層や性別を判別する（例えば、特開２００７−３０４６１９号公報参照）。
（２）音声データ解析部１７３Ｂは、予め作成しておいた性別モデル及び年齢層モデルと音声データ（第１，第２音声データ）に基づく音声とを比較し、個々のモデルに対する類似度を計算した上で、最も類似度の高いカテゴリー（性別、年齢層）を選択する（例えば、特開２００６−２８５１１５号公報参照）。
【００６５】
なお、年齢層を判別する手法としては、上記（１），（２）の他、メル周波数ケプストラム（ＭＦＣＣ）を特徴量とし混合ガウス分布（ＧＭＭ）分類器を用いる手法、ＭＦＣＣを特徴量としてサポートベクターマシン（ＳＶＭ）を用いる手法、話者適応されたＧＭＭを特徴量としてＳＶＭ分類器を用いる手法、最尤線形回帰（ＭＬＬＲ）変換行列を特徴量としてＳＶＭ分類器を用いる手法、あるいは、最大事後確率（ＭＡＰ）適応したＧＭＭを特徴量として用いる手法等を採用しても構わない。
【００６６】
また、本実施の形態３に係る撮像装置１Ｂを構成する記録部１６Ｂは、図９に示すように、上述した実施の形態１で説明した関連情報記録部１６３の代わりに、当該関連情報記録部１６３が記録した関連情報とは異なる関連情報を記録する関連情報記録部１６３Ｂを採用している。
図１２は、関連情報記録部１６３Ｂに記録された関連情報を説明するための図である。図１３Ａ及び図１３Ｂは、関連情報記録部１６３Ｂに記録された関連情報の一例を示す図である。
関連情報記録部１６３Ｂは、特定の音声（抽出キーワード）、発声した人物の年齢層及び性別と、撮影状況情報とが関連付けられた関連情報を記録する。
例えば、図１２に示すように、発声した人物である被写体と撮影者との年齢層及び性別をパターンＡ〜Ｈに分類する。
具体的に、パターンＡは、「子供（未成年）」である被写体が発声した場合であって、かつ、「子供」である撮影者が発声した場合である。パターンＢは、「子供」である被写体が発声した場合であって、かつ、「女性（大人（成人））」である撮影者が発声した場合である。パターンＣは、「子供」である被写体が発声した場合であって、かつ、「男性（大人）」である撮影者が発声した場合である。パターンＤは、「子供」である被写体が発声した場合であって、かつ、撮影者が発声していない（候補人物なし）場合である。パターンＥは、「女性（大人）」または「男性（大人）」である被写体が発声した場合、あるいは、被写体が発声していない（候補人物なし）場合であって、「子供」である撮影者が発声した場合である。パターンＦは、「女性（大人）」または「男性（大人）」である被写体が発声した場合であって、「女性（大人）」または「男性（大人）」である撮影者が発声した場合である。パターンＧは、被写体が発声していない（候補人物なし）場合であって、「女性（大人）」または「男性（大人）」である撮影者が発声した場合である。また、パターンＧは、「女性（大人）」または「男性（大人）」である被写体が発声した場合であって、撮影者が発声していない（候補人物なし）場合である。パターンＨは、被写体及び撮影者の双方が発声していない（候補人物なし）場合である。
【００６７】
そして、本実施の形態３に係る関連情報は、図１３Ａ及び図１３Ｂに示すように、特定の音声が「パパ」や「ママ」であっても、上述したパターンが異なる場合には、当該特定の音声に関連付けられた撮影状況情報が異なるものとなっている。
具体的に、パターンＡである場合には、撮影状況情報として、「子供が小さい頃の家族の写真（子供同士による撮影）」が関連付けられている。パターンＢである場合には、撮影状況情報として、「子供が小さい頃の家族の写真（母親による撮影）」が関連付けられている。パターンＣである場合には、撮影状況情報として、「子供が小さい頃の家族の写真（父親による撮影）」が関連付けられている。パターンＤである場合には、撮影状況情報として、「小さい頃の子供の写真」が関連付けられている。パターンＥである場合には、撮影状況情報として、「子供が小さい頃の家族の写真（子供による撮影）」が関連付けられている。パターンＦである場合には、撮影状況情報として、「子供が大きくなってからの家族の写真（親または子供による撮影）」が関連付けられている。パターンＧである場合には、撮影状況情報として、「家族の写真（親または子供による撮影）」が関連付けられている。パターンＨである場合には、撮影状況が不明であることを示す撮影状況情報が関連付けられている。
【００６８】
また、本実施の形態３に係る関連情報は、図１３Ａ及び図１３Ｂに示すように、特定の音声が「先生」であっても、上記同様に、上述したパターンに応じて、当該特定の音声に関連付けられた撮影状況が異なるものとなっている。
具体的に、パターンＡである場合には、撮影状況情報として、「学校の行事（生徒同士による撮影）」が関連付けられている。パターンＢである場合には、撮影状況情報として、「学校の行事（女性の先生による撮影）」が関連付けられている。パターンＣである場合には、撮影状況情報として、「学校の行事（男性の先生による撮影）」が関連付けられている。パターンＤである場合には、撮影状況情報として、「学校の行事（先生による撮影）」が関連付けられている。パターンＥである場合には、撮影状況情報として、「学校の行事（生徒により撮影された先生の写真）」が関連付けられている。パターンＦである場合には、撮影状況情報として、「学校の行事（先生による撮影、または先生の写真）」が関連付けられている。パターンＧである場合には、撮影状況情報として、「学校の行事」が関連付けられている。パターンＨである場合には、撮影状況が不明であることを示す撮影状況情報が関連付けられている。
【００６９】
〔画像ファイルの具体例〕
本実施の形態３に係る撮像装置１Ｂの動作は、上述した実施の形態１で説明した撮像装置１の動作（図３）と略同様であるため、詳細な説明は省略する。そして、以下では、本実施の形態３に係る撮像装置１Ｂの動作により生成される画像ファイルの具体例について説明する。
図１４は、撮像装置１Ｂの動作により生成された画像ファイルに対応する画像の一例を示す図である。
なお、図１４に示す画像は、図４に示した撮影状況で撮像されることにより生成された画像ファイルに対応する画像である。
例えば、図４に示した撮影状況である場合には、音声データ解析部１７３Ｂは、ステップＳ１０２〜Ｓ１０７の間に第１，第２音声データ生成部１４Ｂ１，１４Ｂ２にて生成され、メモリ部１５に記憶された第１，第２音声データを以下に示すように解析する（ステップＳ１０８）。
音声データ解析部１７３Ｂは、母親Ｓｍが発した言葉「こっち見て」を含む第１，第２音声データを比較し、当該「こっち見て」の音声部分における電気信号レベルの違いから、当該「こっち見て」という言葉を発した人物が撮影者であることを認識する。また、音声データ解析部１７３Ｂは、娘Ｓｄが発した言葉「ママ、ぞうさん」を含む第１，第２音声データを比較し、当該「ママ、ぞうさん」の音声部分における電気信号レベルの違いから、当該「ママ、ぞうさん」という言葉を発した人物が被写体であることを認識する。
そして、音声データ解析部１７３Ｂは、撮影者（母親Ｓｍ）が発した言葉「こっち見て」を含む第１音声データに対して年齢・性別分析を行い、撮影者が「女性（大人）」であることを認識する。また、音声データ解析部１７３Ｂは、被写体（娘Ｓｄ）が発した言葉「ママ、ぞうさん」を含む第２音声データに対して年齢・性別分析を行い、被写体が「子供」であることを認識する。すなわち、音声データ解析部１７３Ｂは、以上のような年齢・性別分析の結果として、関連情報を構成するパターンがパターンＢ（図１２）であることを認識する。
さらに、音声データ解析部１７３Ｂは、上述した実施の形態１と同様に、第１，第２音声データにおいて、関連情報記録部１６３Ｂに記録された関連情報を構成する特定の音声「ママ」が含まれていることを認識する。
【００７０】
そして、撮影状況情報生成部１７４Ｂは、関連情報記録部１６３Ｂに記録された関連情報（図１３）から、特定の音声「ママ」及びパターンＢに関連付けられた「子供が小さい頃の家族の写真（母親による撮影）」を読み出す（ステップＳ１０９）。この後、記録制御部１７５は、ステップＳ１０５においてメモリ部１５に記憶された記録用画像データに対して、当該撮影状況情報である「子供が小さい頃の家族の写真（母親による撮影）」を関連付けた画像ファイルを生成し、当該画像ファイルを画像データ記録部１６２に記録する（ステップＳ１１０）。
【００７１】
以上のように画像ファイルが記録された後、撮像装置１Ｂは、当該撮像装置１Ｂのユーザによる入力部１３への再生操作に応じて、画像データ記録部１６２に記録された画像ファイルのうち、入力されたキーワード（例えば、「子供が小さい頃の家族の写真」や「母親による撮影」）に合致または類似する撮影状況情報が関連付けられた画像ファイルを読み出し、当該画像ファイルに対応する画像Ｉ３００（図１４）を表示する。
具体的に、画像Ｉ３００は、図１４に示すように、入力部１３への撮影操作に応じて生成された記録用画像データに対応する画像Ｗ１に対して、撮影状況情報である「子供が小さい頃の家族の写真（母親による撮影）」の文字画像Ｔ３が重畳された画像である。
【００７２】
以上説明した本実施の形態３によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
本実施の形態３に係る撮像装置１Ｂは、撮影者側及び被写体側の双方から音声をそれぞれ集音し、当該集音された各音声に基づく音声データを解析する。また、撮像装置１Ｂは、音声データを解析することによって発声した人物の年齢層や性別を判別する。
このため、発声した人物が撮影者であるか、または被写体であるかを判別することができるとともに、撮影者や被写体を特定する新たな撮影状況情報（○○による撮影、△△の写真等）を生成し、記録用画像データに関連付けることができる。
【００７３】
（実施の形態３の変形例）
上述した実施の形態３において、音声データ解析部１７３Ｂによる解析結果として、撮影者が「子供」であると判別された場合（図１２の例では、パターンＡ，Ｅ）に、制御部１７Ｂが撮影者による撮影を補助する補助機能を実行するように構成しても構わない。
ここで、補助機能としては、人物等の被写体の全体が視野範囲内に収まるように、撮像部１１を構成する光学系のズーム位置を変更するオートズーム機能や、構図アシストガイドを表示する構図アシスト機能等を例示することができる。
上記の場合に補助機能を実行することで、撮像装置の操作に不慣れな子供であっても、良好に撮影を行うことができ、利便性の向上が図れる。
【００７４】
上述した実施の形態３において、撮像装置１Ｂに上述した実施の形態２で説明した構成を採用し、撮像時に撮像装置１Ｂのユーザがいる場所や、現在の日時をも考慮して、撮影状況情報を生成しても構わない。
【００７５】
上述した実施の形態３では、多数派の人間関係を意識した関連情報を例示したが（図１２、図１３Ａ、図１３Ｂ）、割合が少ないが同性のカップル等がいたりする昨今の状況に鑑み、必要に応じて、ユーザのニーズに沿うように当該関連情報を変更しても構わない。また、この音声から判別されるキーワードは、ユーザの言語や地方における方言や習わし等に基づくものでもよく、例えば、ユーザ像をユーザの行動パターンやＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｅｒｖｉｃｅ）の記載等により特定して、ビッグデータの解析データを利用して、最適化させてもよいことは言うまでもない。ＳＮＳで書き込まれた人物名をキーワードに置き換え、その関係を解析して、パターン分類時の参考にすること等が考えられる。さらに、特定の動物を飼っている場合、その声が聞こえた場合は、そのペットが近くにいた、というパターンや、そのペットが「鳴いた時の写真」といった画像への意味付け（「鳴いた時の写真」を撮影状況情報として記録用画像データに関連付け）も、画像の検索や鑑賞時の助けになる。そのペットが写っておらずとも、そうした情報は、画像鑑賞時の重要な情報となり得る。また、犬、猫の声の甘え声等から、ペットの感情までを写真に関連付けるような応用も含むものとする。近年は、ウェアラブルカメラ等も進化しており、ウェアラブルカメラを装着した人物や、ペット等を特定する時には、画像データを得難いことから、装着部位にかかわらず検出することができる音声の有効利用による撮影画像の意味付けは、大いに効果を期待することができる。
【００７６】
上述した実施の形態３において、音声データから抽出される単語や単語の連なりから、イントネーションやリズムを判定し、例えば、データベース等で感情までを判別し、当該判別した感情に関する感情情報を撮影状況情報に含める応用が可能であることは言うまでもない。
以上のように、感情までを判別することにより、本発明の適応範囲はずっと広がり、撮影時の客観的な状況のみならず、撮影者や被写体の感情までを再現することが可能となる。そして、鑑賞者は、それに対し、単なる理解のみならず感情移入で共感したりすることができる。このような感情移入ができる写真を探して、撮影時の感情を追体験することができることは、写真文化の重要な特徴である。また、音声がそのまま記録されるものではなく、それを暗示するテキスト等に変換して記録することによって検索性が格段に向上し、生々しくなく美化された感情を呼び起こすことができ、再生時間の制約を受けることもない。
【００７７】
（実施の形態４）
次に、本発明の実施の形態４について説明する。
以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
本実施の形態４に係る撮像装置は、上述した実施の形態１で説明した撮像装置１に対して、音声データの解析結果の他、記録用画像データの解析結果に基づいて、撮影状況情報を生成する点が異なる。また、本実施の形態４に係る撮像装置による音声データの解析機能は、上述した実施の形態３で説明した「発声した人物の年齢層や性別を判別する機能」と同様のものである。
【００７８】
〔撮像装置の構成〕
図１５は、本発明の実施の形態４に係る撮像装置１Ｃの構成を示すブロック図である。
本実施の形態４に係る撮像装置１Ｃを構成する制御部１７Ｃは、図１５に示すように、上述した実施の形態１で説明した制御部１７（図１）に対して、画像データ解析部１７６が追加されている。
画像データ解析部１７６は、メモリ部１５に記憶された記録用画像データを解析する。
具体的に、画像データ解析部１７６は、記録用画像データに対して顔検出処理を行い、検出された顔領域における特徴情報（顔の輪郭、目、鼻、口等の大きさや形に関する形状特徴情報、顔の皮膚の色や明るさに関する情報であって、「しわ」や「くすみ」等に関する濃淡特徴情報）を抽出する。そして、画像データ解析部１７６は、抽出した特徴情報と、記録部１６Ｃに予め記録された年齢層モデル及び性別モデルとを比較し、個々のモデルに対する類似度により、記録用画像データに含まれる人物像の年齢層及び性別を判別する。なお、顔領域における特徴情報の他、首領域における特徴情報を抽出して、当該特徴情報に基づいて、人物像の年齢層及び性別を判別しても構わない。
【００７９】
また、本実施の形態４に係る撮像装置１Ｃは、図１５に示すように、上述した実施の形態１で説明した撮像装置１（図１）に対して、音声データ解析部１７３の代わりに音声データ解析部１７３Ｃを採用している。
音声データ解析部１７３Ｃは、メモリ部１５に記憶された音声データを解析することによって、上述した実施の形態３で説明した年齢・性別分析を行う。
【００８０】
また、本実施の形態４に係る撮像装置１Ｃは、図１５に示すように、上述した実施の形態１で説明した関連情報記録部１６３の代わりに、当該関連情報記録部１６３が記録した関連情報とは異なる関連情報を記録する関連情報記録部１６３Ｃを採用している。
図１６は、関連情報記録部１６３Ｃに記録された関連情報を説明するための図である。図１７Ａ及び図１７Ｂは、関連情報の一例を示す図である。
関連情報記録部１６３Ｃは、発声した人物の年齢層、性別、及び人数、並びに、被写体である人物の年齢層、性別、及び人数と、撮影状況情報とが関連付けられた関連情報を記録する。
例えば、図１６に示すように、発声した人物と被写体である人物との年齢層、性別、及び数をパターンＩ〜Ｓに分類する。
具体的に、パターンＩは、発声した人物が一人の「子供」であり、かつ、被写体である人物が「子供」である場合である。パターンＪは、発声した人物が「子供」であり、かつ、被写体である人物が「男女二人（大人）」である場合である。パターンＫは、発声した人物が「子供」であり、かつ、発声した人物が「同性二人（大人）」である場合である。パターンＬは、発声した人物が「子供」であり、かつ、被写体に人物がいない（候補人物なし）場合である。パターンＭは、発声した人物が「男女二人（大人）」であり、かつ、被写体である人物が「子供」、または、「同性二人（大人）」である場合である。また、パターンＭは、発声した人物が「同性二人（大人）」であり、かつ、被写体である人物が「子供」、または、「男女二人（大人）」である場合である。さらに、パターンＭは、発声した人物が「男女二人（大人）」、または、「同性二人（大人）」であり、かつ、被写体に人物がいない（候補人物なし）場合である。パターンＮは、発声した人物が「男女二人（大人）」であり、かつ、被写体である人物が「男女二人（大人）」である場合である。パターンＯは、発声した人物が「同性二人（大人）」であり、かつ、被写体である人物が「同性二人（大人）」である場合である。パターンＰは、発声した人物がおらず（候補人物なし）、被写体である人物が「子供」である場合である。パターンＱは、発声した人物がおらず（候補人物なし）、被写体である人物が「男女二人（大人）」である場合である。パターンＲは、発声した人物がおらず（候補人物なし）、被写体である人物が「同性二人（大人）」である場合である。パターンＳは、発声した人物がおらず（候補人物なし）、被写体である人物もいない（候補人物なし）場合である。
【００８１】
そして、本実施の形態３に係る関連情報は、図１７Ａ及び図１７Ｂに示すように、パターンＩ〜Ｓ毎に異なる撮影状況情報が関連付けられた情報となっている。
具体的に、パターンＩには、撮影状況情報として、「子供の写真（おしゃべり中）」が関連付けられている。パターンＪには、撮影状況情報として、「男女二人の写真（子供による撮影）」が関連付けられている。パターンＫには、撮影状況情報として、「同性二人の写真（子供による撮影）」が関連付けられている。パターンＬには、撮影状況情報として、「子供による撮影」が関連付けられている。パターンＭには、撮影状況情報として、「仲良しの二人による撮影」が関連付けられている。パターンＮには、撮影状況情報として、「ハートマーク」が関連付けられている。パターンＯには、撮影状況情報として、「会話中のマーク」が関連付けられている。パターンＰには、撮影状況情報として、「子供の写真」が関連付けられている。パターンＱには、撮影状況情報として、「男女二人の写真」が関連付けられている。パターンＲには、撮影状況情報として、「同性二人の写真」が関連付けられている。パターンＳには、撮影状況が不明であることを示す撮影状況情報が関連付けられている。
本実施の形態３では、以上のように、撮影状況情報は、被写体である人物の年齢層、性別、及び人数と発声した人物の年齢層、性別、及び人数とが一致する場合（図１６の例では、パターンＩ，Ｎ，Ｏ）と、一致しない場合（図１６の例では、パターンＪ〜Ｍ，Ｐ〜Ｓ）とで異なるものとなっている。
【００８２】
〔撮像装置の動作〕
図１８は、撮像装置１Ｃの動作を示すフローチャートである。
本実施の形態４に係る撮像装置１Ｃの動作は、図１８に示すように、上述した実施の形態１で説明した撮像装置１の動作（図３）に対して、ステップＳ１０８，Ｓ１０９の代わりにステップＳ１０８Ｃ（音声データ解析ステップ），Ｓ１０９Ｃ（撮影状況生成ステップ）を追加するとともに、ステップＳ１１２を追加した点が異なるのみである。
このため、以下では、ステップＳ１０８Ｃ，Ｓ１１２，Ｓ１０９Ｃのみを説明する。
【００８３】
ステップＳ１０８Ｃにおいて、音声データ解析部１７３Ｃは、ステップＳ１０２〜Ｓ１０７の間に音声データ生成部１４にて生成され、メモリ部１５に記憶された音声データを解析することによって、上述した実施の形態３と同様に、年齢・性別分析（発声した人物の人数の分析も含む）を行う。
続いて、ステップＳ１１２において、画像データ解析部１７６は、ステップＳ１０５においてメモリ部１５に記憶された記録用画像データを読み出し、当該記録用画像データを解析することによって、当該記録用画像データに含まれる人物像の年齢層、性別、及び人数を判別する。
続いて、ステップＳ１０９Ｃにおいて、撮影状況情報生成部１７４Ｃは、関連情報記録部１６３Ｃに記録された関連情報から、ステップＳ１０８Ｃでの音声データ解析部１７３Ｃによる解析結果、及びステップＳ１１２での画像データ解析部１７６による解析結果に関連付けられた撮影状況情報を読み出す（生成する）。
【００８４】
〔画像ファイルの具体例〕
図１９Ａないし図１９Ｃは、撮像装置１Ｃの動作により生成された画像ファイルに対応する画像の一例を示す図である。
図１９Ａに示す画像Ｉ４００は、以下に示す撮影状況で撮像されることにより生成された画像ファイルに対応する画像である。
当該撮影状況は、図４に示す撮影状況と同様に、動物園において、撮影者（母親）が象をバックに娘を被写体として撮影する撮影状況である。
ここで、撮影者である母親は、撮像装置１Ｃに対して撮影操作を行う際に、何も言葉を発していない。一方、被写体である娘は、母親が撮像装置１Ｃに対して撮影操作を行う時点を含む所定の期間内（ステップＳ１０２〜Ｓ１０７の間）に、母親に対して、何か言葉を発している。
このような撮影状況である場合には、音声データ解析部１７３Ｃは、ステップＳ１０２〜Ｓ１０７の間に生成された音声データに対して年齢・性別分析（発声した人物の人数の分析も含む）を行う（ステップＳ１０８Ｃ）ことで、発声した人物が一人の「子供」であることを認識する。
また、画像データ解析部１７６は、ステップＳ１０５においてメモリ部１５に記憶された記録用画像データを解析する（ステップＳ１１２）ことで、被写体である人物が一人の「子供」であることを認識する。
すなわち、上述した音声データ解析部１７３Ｃ及び画像データ解析部１７６による解析結果から、関連情報を構成するパターンは、パターンＩ（図１６）である。
【００８５】
そして、撮影状況情報生成部１７４Ｃは、関連情報記録部１６３Ｃに記録された関連情報（図１７）から、パターンＩに関連付けられた「子供の写真（おしゃべり中）」を読み出す（ステップＳ１０９Ｃ）。この後、記録制御部１７５は、ステップＳ１０５においてメモリ部１５に記憶された記録用画像データに対して、当該撮影状況情報である「子供の写真（おしゃべり中）」を関連付けた画像ファイルを生成し、当該画像ファイルを画像データ記録部１６２に記録する（ステップＳ１１０）。
【００８６】
以上のように画像ファイルが記録された後、撮像装置１Ｃは、当該撮像装置１Ｃのユーザによる入力部１３への再生操作に応じて、画像データ記録部１６２に記録された画像ファイルのうち、入力されたキーワード（例えば、「子供の写真」や「おしゃべり中」）に合致または類似する撮影状況情報が関連付けられた画像ファイルを読み出し、当該画像ファイルに対応する画像Ｉ４００（図１９Ａ）を表示する。
具体的に、画像Ｉ４００は、図１９Ａに示すように、入力部１３への撮影操作に応じて生成された記録用画像データに対応する画像Ｗ１に対して、撮影状況情報である「子供の写真（おしゃべり中）」の文字画像Ｔ４が重畳された画像である。
【００８７】
図１９Ｂに示す画像Ｉ５００は、以下に示す撮影状況で撮像されることにより生成された画像ファイルに対応する画像である。
当該撮影状況は、動物園において、撮影者が象をバックに二人の男女（大人）を被写体として撮影する撮影状況である。
ここで、撮影者は、撮像装置１Ｃに対して撮影操作を行う際に、何も言葉を発していない。一方、被写体である二人の男女は、撮影者が撮像装置１Ｃに対して撮影操作を行う時点を含む所定の期間内（ステップＳ１０２〜Ｓ１０７の間）に、会話をしている。
このような撮影状況である場合には、音声データ解析部１７３Ｃは、ステップＳ１０２〜Ｓ１０７の間に生成された音声データに対して年齢・性別分析（発声した人物の人数の分析も含む）を行う（ステップＳ１０８Ｃ）ことで、発声した人物が「男女二人（大人）」であることを認識する。
また、画像データ解析部１７６は、ステップＳ１０５においてメモリ部１５に記憶された記録用画像データを解析する（ステップＳ１１２）ことで、被写体である人物が「男女二人（大人）」であることを認識する。
すなわち、上述した音声データ解析部１７３Ｃ及び画像データ解析部１７６による解析結果から、関連情報を構成するパターンは、パターンＮ（図１６）である。
【００８８】
そして、撮影状況情報生成部１７４Ｃは、関連情報記録部１６３Ｃに記録された関連情報（図１７）から、パターンＮに関連付けられた「ハートマーク」を読み出す（ステップＳ１０９Ｃ）。この後、記録制御部１７５は、ステップＳ１０５においてメモリ部１５に記憶された記録用画像データに対して、当該撮影状況情報である「ハートマーク」を関連付けた画像ファイルを生成し、当該画像ファイルを画像データ記録部１６２に記録する（ステップＳ１１０）。
【００８９】
以上のように画像ファイルが記録された後、撮像装置１Ｃは、当該撮像装置１Ｃのユーザによる入力部１３への再生操作に応じて、画像データ記録部１６２に記録された画像ファイルのうち、入力されたキーワード（例えば、「ハートマーク」や「ハート」）に合致または類似する撮影状況情報が関連付けられた画像ファイルを読み出し、当該画像ファイルに対応する画像Ｉ５００（図１９Ｂ）を表示する。
具体的に、画像Ｉ５００は、図１９Ｂに示すように、入力部１３への撮影操作に応じて生成された記録用画像データに対応する画像Ｗ２に対して、二人の人物像の間に、撮影状況情報である「ハートマーク」の図形画像Ｔ５が重畳された画像である。
【００９０】
図１９Ｃに示す画像Ｉ６００は、以下に示す撮影状況で撮像されることにより生成された画像ファイルに対応する画像である。
当該撮影状況は、動物園において、撮影者が象をバックに二人の女性（大人）を被写体として撮影する撮影状況である。
ここで、撮影者は、撮像装置１Ｃに対して撮影操作を行う際に、何も言葉を発していない。一方、被写体である二人の女性は、撮影者が撮像装置１Ｃに対して撮影操作を行う時点を含む所定の期間内（ステップＳ１０２〜Ｓ１０７の間）に、会話をしている。
このような撮影状況である場合には、音声データ解析部１７３Ｃは、ステップＳ１０２〜Ｓ１０７の間に生成された音声データに対して年齢・性別分析（発声した人物の人数の分析も含む）を行う（ステップＳ１０８Ｃ）ことで、発声した人物が「同性二人（大人）」であることを認識する。
また、画像データ解析部１７６は、ステップＳ１０５においてメモリ部１５に記憶された記録用画像データを解析する（ステップＳ１１２）ことで、被写体である人物が「同性二人（大人）」であることを認識する。
すなわち、上述した音声データ解析部１７３Ｃ及び画像データ解析部１７６による解析結果から、関連情報を構成するパターンは、パターンＯ（図１６）である。
【００９１】
そして、撮影状況情報生成部１７４Ｃは、関連情報記録部１６３Ｃに記録された関連情報（図１７）から、パターンＯに関連付けられた「会話中のマーク」を読み出す（ステップＳ１０９Ｃ）。この後、記録制御部１７５は、ステップＳ１０５においてメモリ部１５に記憶された記録用画像データに対して、当該撮影状況情報である「会話中のマーク」を関連付けた画像ファイルを生成し、当該画像ファイルを画像データ記録部１６２に記録する（ステップＳ１１０）。
【００９２】
以上のように画像ファイルが記録された後、撮像装置１Ｃは、当該撮像装置１Ｃのユーザによる入力部１３への再生操作に応じて、画像データ記録部１６２に記録された画像ファイルのうち、入力されたキーワード（例えば、「会話中」）に合致または類似する画像ファイルを読み出し、当該画像ファイルに対応する画像Ｉ６００（図１９Ｃ）を表示する。
具体的に、画像Ｉ６００は、図１９Ｃに示すように、入力部１３への撮影操作に応じて生成された記録用画像データに対応する画像Ｗ３に対して、二人の人物像の間に、撮影状況情報である「会話中のマーク」の図形画像Ｔ６が重畳された画像である。
なお、図形画像Ｔ６は、画像Ｗ３中の二人の人物像をそれぞれ指し示す両矢印の中に「会話中」の文字が付された画像である。
【００９３】
以上説明した本実施の形態４によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
本実施の形態４に係る撮像装置１Ｃは、音声データの解析結果、及び記録用画像データの解析結果に基づいて、撮影状況情報を生成する。また、撮像装置１Ｃは、音声データを解析することによって発声した人物の年齢層や性別を判別するとともに、記録用画像データを解析することによって被写体である人物の年齢層や性別を判別する。
このため、発声した人物が撮影者であるか、または被写体であるかを判別することができるとともに、撮影者や被写体を特定する新たな撮影状況情報（○○による撮影、△△の写真等）を生成し、記録用画像データに関連付けることができる。
【００９４】
また、本実施の形態４では、撮影状況情報は、被写体である人物の年齢層、性別、及び人数と発声した人物の年齢層、性別、及び人数とが一致する場合（図１６の例では、パターンＩ，Ｎ，Ｏ）と、一致しない場合（図１６の例では、パターンＪ〜Ｍ，Ｐ〜Ｓ）とで異なるものとなっている。
すなわち、音声データの解析結果と、記録用画像データの解析結果とが一致している場合には、発声した人物と被写体とが一致しているものとして、被写体の状況を説明する新たな撮影状況情報（「おしゃべり中」、「ハートマーク」、「会話中」等）を記録用画像データに関連付けることができる。
【００９５】
（実施の形態４の変形例）
図２０は、本発明の実施の形態４の変形例に係る関連情報の一例を示す図である。
具体的に、図２０に示す関連情報は、被写体が二人の人物であって、当該二人の人物の一人に「子供」が含まれている場合に、他の人物の年齢層及び性別に応じて、異なる撮影状況情報がそれぞれ関連付けられた情報となっている。
上述した実施の形態４において、記録用画像データに含まれる人物像が複数であり、かつ、人物像の一つに「子供」が含まれる場合には、ステップＳ１０９Ｃ，Ｓ１１０において、上述した実施の形態４で説明した撮影状況情報の他、図２０に示す撮影状況情報を記録用画像データに関連付けても構わない。
【００９６】
具体的に、画像データ解析部１７６による解析結果（ステップＳ１１２）として、被写体である人物が二人の「子供」であると判別された場合には、ステップＳ１０９Ｃ，Ｓ１１０において、上述した実施の形態４で説明した撮影状況情報の他、「仲良し」の撮影状況情報を記録用画像データに関連付ける。
また、画像データ解析部１７６による解析結果（ステップＳ１１２）として、被写体である人物が一人の「子供」と一人の「女性（大人）」であると判別された場合には、撮影者が父親である可能性が高いため、ステップＳ１０９Ｃ，Ｓ１１０において、上述した実施の形態４で説明した撮影状況情報の他、「父親による撮影」の撮影状況情報を記録用画像データに関連付ける。
さらに、画像データ解析部１７６による解析結果（ステップＳ１１２）として、被写体である人物が一人の「子供」と一人の「男性（大人）」であると判別された場合には、撮影者が母親である可能性が高いため、ステップＳ１０９Ｃ，Ｓ１１０において、上述した実施の形態４で説明した撮影状況情報の他、「母親による撮影」の撮影状況情報を記録用画像データに関連付ける。
【００９７】
上述した実施の形態４において、音声データ解析部１７３Ｃによる解析結果として、発声した人物が「子供」であると判別され、かつ、画像データ解析部１７６による解析結果として、被写体に「子供」が含まれていないと判別された場合（図１６の例では、パターンＪ〜Ｌ）に、制御部１７Ｃが撮影者による撮影を補助する補助機能を実行するように構成しても構わない。
すなわち、制御部１７Ｃは、本発明に係る補助機能実行部としての機能を有する。
ここで、補助機能としては、人物等の被写体の全体が視野範囲内に収まるように、撮像部１１を構成する光学系のズーム位置を変更するオートズーム機能や、構図アシストガイドを表示する構図アシスト機能等を例示することができる。
上記の場合に補助機能を実行することで、撮像装置の操作に不慣れな子供であっても、良好に撮影を行うことができ、利便性の向上が図れる。
【００９８】
上述した実施の形態４において、撮像装置１Ｃに上述した実施の形態２で説明した構成を採用し、撮像時に撮像装置１Ｃのユーザがいる場所や、現在の日時をも考慮して、撮影状況情報を生成しても構わない。
【００９９】
上述した実施の形態４において、撮像装置１Ｃに上述した実施の形態３で説明した構成（撮影者側及び被写体側の双方から音声をそれぞれ集音し、発声した人物が撮影者であるか、あるいは被写体であるかを判別する構成）を採用しても構わない。
【０１００】
上述した実施の形態４では、多数派の人間関係を意識した関連情報を例示したが（図１６、図１７Ａ、図１７Ｂ）、割合が少ないが同性のカップル等がいたりする昨今の状況に鑑み、必要に応じて、ユーザのニーズに沿うように当該関連情報を変更しても構わない。また、この音声から判別されるキーワードは、ユーザの言語や地方における方言や習わし等に基づくものでもよく、例えば、ユーザ像をユーザの行動パターンやＳＮＳの記載等により特定して、ビッグデータの解析データを利用して、最適化させてもよいことは言うまでもない。ＳＮＳで書き込まれた人物名をキーワードに置き換え、その関係を解析して、パターン分類時の参考にすること等が考えられる。また、声には、甘え声や怒った声、さらにつっけんどんな声や、急かしている声などがあり、音声のパターン（キーワードのアクセントやテンポや高低）によって、発せられた声の表す状況を特定することが可能である。「仲良し」であるかどうかや、「ハートマーク」を付けるべきかどうかは、こうした情報を利用して確度を上げることが可能となる。また、より多くの分類に役立てることが可能であり、画像に泣いている子供（泣き顔の検出による）がいて、怒った声が判定された場合には、「怒られて」といった撮影状況情報（感情情報）を記録用画像データに関連付けることができる。反対に怒った顔の人が写っていて、泣いた声が聞こえた場合は、「怒った」と表現することができるが、笑い声が検出された場合は、「おふざけ」と分類でき、より細かい撮影状況情報（感情情報）を記録用画像データに関連付けることができる。このように、喜怒哀楽の感情を撮影状況情報として記録用画像データに関連付けるだけでも、画像の検索や鑑賞に役立つ。喜怒哀楽は、画像では、顔部画像を構成する顔のパーツの配置や角度などで判定することができ、音声では、さきほどの音声パターンや、「笑い声」、「泣き声」に含まれる特定のリズムや高低変化によって判定ができる。また、画像データの解析としては、上述した顔の表情の解析の他、被写体がとるポーズの解析を含めても構わない。特定のポーズは、特定の感情時にしか見られない場合がある。したがって、このような特定のポーズをとっていると判定した場合に、当該特定のポーズに対応する特定の感情を撮影状況情報として記録用画像データに関連付けても構わない。また、特定の動物を飼っている場合、その声が聞こえた場合は、そのペットが近くにいた、というパターンや、そのペットが「鳴いた時の写真」といった画像への意味付けも、検索や鑑賞時の助けになる。そのペットが写っておらずとも、そうした情報は画像鑑賞時の重要な情報となり得る。さらに、犬、猫の声の甘え声などから、ペットの感情までを写真に関連付けるような応用も含むものとする。近年は、ウェアラブルカメラ等も進化しており、ウェアラブルカメラを装着した人物や、ペット等を特定する時には、画像データを得難いことから、装着部位に関わらず検出することができる音声の有効利用による撮影画像の意味付けは、大いに効果が期待できる。
【０１０１】
（実施の形態５）
次に、本発明の実施の形態５について説明する。
以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
本実施の形態５は、ネットワークを介してアクセス可能とするＳＮＳサーバに上述した実施の形態１で説明した音声データ解析部１７３及び撮影状況情報生成部１７４の機能を持たせたものである。
【０１０２】
〔撮像システムの構成〕
図２１は、本発明の実施の形態５に係る撮像システム３の構成を示すブロック図である。
撮像システム３は、図２１に示すように、ネットワークＮを介して双方向に通信を行う撮像装置１Ｄ及びＳＮＳサーバ２を備える。
本実施の形態５に係る撮像装置１Ｄは、図２１に示すように、上述した実施の形態１で説明した撮像装置１（図１）に対して、通信部１９が追加されている。
通信部１９は、所定の無線通信規格に従って、ネットワークＮを介してＳＮＳサーバ２と無線通信を行う。
そして、通信部１９は、本発明に係る送信部としての機能を有する。
【０１０３】
また、本実施の形態５に係る撮像装置１Ｄを構成する制御部１７Ｄは、図２１に示すように、上述した実施の形態１で説明した制御部１７（図１）に対して、音声データ解析部１７３、撮影状況情報生成部１７４、及び記録制御部１７５が省略されているとともに、通信制御部１７７が追加されている。
通信制御部１７７は、通信部１９の動作を制御し、記録部１６Ｄに記録された接続先情報（ネットワークＮを介してＳＮＳサーバ２と無線通信を行うために必要な情報（ＩＰアドレス等））を参照して、指定されたＳＮＳサーバ２にネットワークＮを介して画像データ及び音声データを送信する。
具体的に、通信制御部１７７は、上述した実施の形態１で説明したステップＳ１０７の後、ステップＳ１０２〜Ｓ１０７の間に生成されメモリ部１５に記憶された音声データと、ステップＳ１０５においてメモリ部１５に記憶された記録用画像データとをＳＮＳサーバ２に送信する。
また、通信制御部１７７は、撮像装置１Ｄのユーザによる入力部１３へのＳＮＳサーバ２にアクセスする旨のアクセス操作（画像を検索する際のキーワードを入力する操作も含む）に応じて、通信部１９の動作を制御し、記録部１６Ｄに記録された接続先情報を参照して、指定されたＳＮＳサーバ２にネットワークＮを介してアクセス信号（上記入力されたキーワードを含む）を送信する。
【０１０４】
また、本実施の形態５に係る撮像装置１Ｄを構成する記録部１６Ｄは、図２１に示すように、上述した実施の形態１で説明した記録部１６（図１）に対して、関連情報記録部１６３が省略されている。
【０１０５】
ＳＮＳサーバ２は、図２１に示すように、通信部２１と、データベース２２と、制御部２３とを備える。
通信部２１は、所定の無線通信規格に従って、ネットワークＮを介して、撮像装置１Ｄや、携帯電話等の携帯機器（図示略）と無線通信を行う。
そして、通信部２１は、本発明に係る受信部としての機能を有する。
データベース２２は、制御部２３にて生成された画像ファイルを記録するとともに、上述した実施の形態１で説明した関連情報を記録する。
すなわち、データベース２２は、本発明に係る画像データ記録部としての機能を有する。
【０１０６】
制御部２３は、図２１に示すように、通信制御部２３１と、音声データ解析部２３２と、撮影状況情報生成部２３３と、記録制御部２３４とを備える。
通信制御部２３１は、ネットワークＮを介して撮像装置１Ｄや携帯機器から送信されるアクセス信号（画像を検索する際のキーワードを含む）に応じて、通信部２１の動作を制御し、撮像装置１Ｄや携帯機器との通信を確立する。また、通信制御部２３１は、当該アクセス信号に応じて指定されたブラウザの指定ページの表示態様を制御し、アクセス信号に含まれるキーワードに合致または類似する撮影状況情報が関連付けられた画像ファイルに対応する画像を撮像装置１Ｄや携帯機器の表示部に表示させる。
音声データ解析部２３２は、通信部２１を介して撮像装置１Ｄから受信した音声データに対し、上述した実施の形態１で説明した音声データ解析部１７３と同様の解析を行う。
撮影状況情報生成部２３３は、音声データ解析部２３２による解析結果に基づいて、データベース２２に記録された関連情報を参照し、上述した実施の形態１で説明した撮影状況情報生成部１７４と同様に、撮影状況情報を生成する。
記録制御部２３４は、通信部２１を介して撮像装置１Ｄから受信した記録用画像データに対して、撮影状況情報生成部２３３にて生成された撮影状況情報を関連付けた画像ファイルを生成し、当該画像ファイルをデータベース２２に記録する。
【０１０７】
以上説明した本実施の形態５のように、音声データ解析部１７３及び撮影状況情報生成部１７４の機能をＳＮＳサーバ２に持たせた場合であっても、上述した実施の形態１と同様の効果を奏する。
【０１０８】
（実施の形態５の変形例）
上述した実施の形態５において、撮像装置１Ｄに上述した実施の形態２で説明した構成を採用し、画像データ及び音声データとともに、撮像時に撮像装置１Ｄのユーザがいる場所や撮像時の日時に関する情報をＳＮＳサーバ２に送信する構成としても構わない。この際、ＳＮＳサーバ２は、撮像時に撮像装置１Ｄのユーザがいる場所や撮像時の日時に関する情報をも考慮して、撮影状況情報を生成する。
【０１０９】
上述した実施の形態５において、ＳＮＳサーバ２に上述した実施の形態３や実施の形態４で説明した音声データの解析機能（年齢・性別分析）や画像データの解析機能を追加し、当該音声データの解析結果や当該画像データの解析結果に基づいて、撮影状況情報を生成するように構成しても構わない。
【０１１０】
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜５によってのみ限定されるべきものではない。
上述した実施の形態１〜５では、静止画である記録用画像データに撮影状況情報を関連付けていたが、これに限らず、動画撮影を行った場合には、生成された動画ファイルに撮影状況情報を関連付けても構わない。
【０１１１】
上述した実施の形態１〜５において、音声データに「ちゃん」等の敬称が含まれている場合に、「ちゃん」等の敬称を含む抽出キーワードを撮影状況情報としても構わない。
例えば、図４に示す撮影状況において、母親Ｓｍが「○○ちゃん、こっち見て」という言葉を発した場合には、「○○ちゃん」を撮影状況情報とする。この「ちゃん」は、日本語を想定しているが、その他の言語や方言に応じて、対応する言葉を、販売地域やユーザの設定やプロフィール情報で変更することができることは言うまでもない。
【０１１２】
上述した実施の形態１〜５において、画像データを解析し、当該画像データの解析で、顔の老若男女の判定（年齢・性別分析）、顔の表情の解析、被写体がとるポーズの解析を行っても構わない。このような画像データの解析から判別することができる感情を有効利用して、さらに、音声データもまた特定の単語の検出のみならず、その単語や単語の連なりから、イントネーションやリズムを判定し、例えば、データベースなどで感情までを判別することにより、本発明の適応範囲をずっと広げることができることは言うまでもない。撮影時の客観的な状況のみならず、撮影者や被写体の感情までを再現することが可能となり、鑑賞者は、それに対し、単なる理解のみならず感情移入で共感したりすることができるからである。このような感情移入ができる写真を探して、撮影時の感情を追体験できることは、写真文化の重要なニーズであり、特徴であると言ってよい。例えば、「楽しい思い出」とか、「辛い記憶」とか、「悲しい日々」等は、いつ、誰と、どこで、といった検索よりも直感的であると言える。カメラがウェアラブルになったり、ライフログ的な使われ方をしたりすると、むしろ、こうした検索の方が適切でユーザーフレンドリーな場合がある。
以上、各実施例で出てきた表などは、適宜、時代の変遷や地域の違いによって、使われる単語や表現が変わることから、適宜、書き換えが可能であることは言うまでもない。それは、ユーザのプロフィール情報から、ビッグデータを参照してもよく、各種回線やインターネットを介して処理されてもよい。
なお、この発明において、音声がそのまま記録されるものではなく、それを暗示するテキストなどに変換して記録することによって検索性が格段に向上し、生々しくなく美化された感情を呼び起こす事ができ、再生時間の制約を受けることもない。
【０１１３】
また、処理フローは、上述した実施の形態１〜５で説明したフローチャートにおける処理の順序に限られず、矛盾のない範囲で変更しても構わない。
さらに、本明細書においてフローチャートを用いて説明した処理のアルゴリズムは、プログラムとして記述することが可能である。このようなプログラムは、コンピュータ内部の記録部に記録してもよいし、コンピュータ読み取り可能な記録媒体に記録してもよい。プログラムの記録部または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。
【符号の説明】
【０１１４】
１，１Ａ〜１Ｄ  撮像装置
２  ＳＮＳサーバ
３  撮像システム
１１  撮像部
１２  表示部
１３  入力部
１４，１４Ｂ  音声データ生成部
１４Ｂ１  第１音声データ生成部
１４Ｂ２  第２音声データ生成部
１５  メモリ部
１６，１６Ａ〜１６Ｄ  記録部
１７，１７Ａ〜１７Ｄ  制御部
１８  位置取得部
１９  通信部
２１  通信部
２２  データベース
２３  制御部
１４１  音声入力部
１４１Ｂ１  第１音声入力部
１４１Ｂ２  第２音声入力部
１４２  音声処理部
１４２Ｂ１  第１音声処理部
１４２Ｂ２  第２音声処理部
１４３  第１マイク用孔
１４４  第２マイク用孔
１６１  プログラム記録部
１６２  画像データ記録部
１６３，１６３Ｂ，１６３Ｃ  関連情報記録部
１６４  地図情報記録部
１７１  撮像制御部
１７２  表示制御部
１７３，１７３Ｂ，１７３Ｃ  音声データ解析部
１７４，１７４Ａ〜１７４Ｃ  撮影状況情報生成部
１７５  記録制御部
１７６  画像データ解析部
１７７  通信制御部
２３１  通信制御部
２３２  音声データ解析部
２３３  撮影状況情報生成部
２３４  記録制御部
Ｉ１００〜Ｉ６００，Ｗ１〜Ｗ３  画像
Ｎ  ネットワーク
Ｓｄ  娘
Ｓｅ  象
Ｓｍ  母親
Ｔ１〜Ｔ４  文字画像
Ｔ５，Ｔ６  図形画像
【図１】
2015104078.tif 000003
【図２】
2015104078.tif 000004
【図３】
2015104078.tif 000005
【図４】
2015104078.tif 000006
【図５】
2015104078.tif 000007
【図６】
2015104078.tif 000008
【図７】
2015104078.tif 000009
【図８】
2015104078.tif 000010
【図９】
2015104078.tif 000011
【図１０】
2015104078.tif 000012
【図１１】
2015104078.tif 000013
【図１２】
2015104078.tif 000014
【図１３Ａ】
2015104078.tif 000015
【図１３Ｂ】
2015104078.tif 000016
【図１４】
2015104078.tif 000017
【図１５】
2015104078.tif 000018
【図１６】
2015104078.tif 000019
【図１７Ａ】
2015104078.tif 000020
【図１７Ｂ】
2015104078.tif 000021
【図１８】
2015104078.tif 000022
【図１９Ａ】
2015104078.tif 000023
【図１９Ｂ】
2015104078.tif 000024
【図１９Ｃ】
2015104078.tif 000025
【図２０】
2015104078.tif 000026
【図２１】
2015104078.tif 000027