(57)【要約】【課題】撮影直後に他の画像と比較しながら不要な画像を即座に判定して削除し、互いに類似する多数の画像を記憶する状態を回避する。【解決手段】撮像部が撮影した画像の特徴を抽出する特徴抽出部と、特徴抽出部が抽出した特徴に基づいて画像を分類する分類部と、画像および画像の分類に関連する情報を記憶する記憶部と、動作モードに応じて定められる条件を満たす画像を検索する検索部と、表示部が表示している画像および該画像に基づいて検索部が検索した画像の少なくとも一部を含む合成画像を生成する合成画像生成部と、合成画像生成部が生成した合成画像を表示部で表示させる制御を行う制御部と、を備え、制御部は、撮影モードにおいて、タッチパネルで押圧可能な領域のうち合成画像に含まれる画像のいずれかに対応する箇所が押圧された場合、この押圧された箇所に対応する画像の画像データを前記記憶部から消去する。【選択図】        図１
2010187119.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影して該画像の電子的な画像データを生成する撮像部と、前記撮像部が撮影した画像を表示する表示部とを備え、動作モードとして画像を撮影する撮影モードおよび撮影済みの画像を再生する再生モードを設定可能な撮像装置であって、
前記表示部に積層され、外部からの押圧によって信号を入力するタッチパネルと、
前記撮像部が撮影した画像の特徴を抽出する特徴抽出部と、
前記特徴抽出部が抽出した特徴に基づいて画像を分類する分類部と、
前記撮像部が撮影した画像および前記分類部が行った画像の分類に関連する情報を記憶する記憶部と、
前記動作モードに応じて定められる条件を満たす画像を前記記憶部から検索する検索部と、
前記表示部が表示している画像および該画像に基づいて前記検索部が検索した画像の少なくとも一部を含む合成画像を生成する合成画像生成部と、
前記合成画像生成部が生成した合成画像を前記表示部で表示させる制御を行う制御部と、
を備え、
前記制御部は、
前記撮影モードにおいて、前記タッチパネルで押圧可能な領域のうち前記合成画像に含まれる画像のいずれかに対応する箇所が押圧された場合、この押圧された箇所に対応する画像の画像データを前記記憶部から消去することを特徴とする撮像装置。
【請求項２】
前記検索部が画像を検索する際の条件は、前記動作モードおよび前記タッチパネルが押圧された箇所に応じて定められることを特徴とする請求項１に記載の撮像装置。
【請求項３】
画像中に含まれる人物の顔を検出する顔検出部をさらに備え、
前記特徴抽出部は、
前記顔検出部が顔を検出した画像の特徴として、検出した顔の大きさおよび顔以外の部分の色を判定し、
前記分類部は、
前記特徴抽出部が抽出した顔の大きさに応じて分類すること
を特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記検索部は、
前記撮影モードにおいて、前記表示部の画像表示領域のうち前記タッチパネルが押圧された箇所に対応する領域で顔が表示されている場合、当該領域に不特定の顔を含む画像を検索することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記検索部は、
前記再生モードにおいて、前記表示部の画像表示領域のうち前記タッチパネルが押圧された箇所に対応する領域で顔が表示されている場合、当該顔を含む画像を検索することを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
前記特徴抽出部は、
前記顔検出部が顔を検出しない画像の特徴として、該画像の主要な色、ピント距離および彩度の大小を少なくとも判定することを特徴とする請求項３〜５のいずれか一項に記載の撮像装置。
【請求項７】
前記合成画像生成部は、
前記合成画像として、前記検索部が検索した画像のうち前記表示部が表示する画像との類似度が最も高い画像を前記表示部が表示する画像と並べて表示する画像を生成することを特徴とする請求項１〜６のいずれか一項に記載の撮像装置。
【請求項８】
前記合成画像生成部は、
前記撮影モードにおける合成画像として、並べて表示する二つの画像のうち前記タッチパネルを介して指定された領域の拡大画像をさらに表示することを特徴する請求項７に記載の撮像装置。
【請求項９】
前記合成画像生成部は、
前記合成画像として、画像間の類似度の値を加えた画像を生成することを特徴とする請求項７または８に記載の撮像装置。
【請求項１０】
画像を撮影して該画像での電子的な画像データを生成する撮像部と、前記撮像部が撮影した画像を表示する表示部と、前記表示部に積層され、外部からの押圧によって信号を入力するタッチパネルと、撮像部が撮像した画像の画像情報を記憶する記憶部とを備え、動作モードとして画像を撮影する撮影モードおよび撮影済みの画像を再生する再生モードを設定可能な撮像装置に、
前記撮像部が撮影した画像の特徴を抽出する特徴抽出ステップ、
前記特徴抽出ステップで抽出した特徴に基づいて画像を分類して前記記憶部へ記録する分類ステップ、
前記動作モードに応じて定められる条件を満たす画像を前記記憶部から検索する検索ステップ、
前記表示部が表示している画像および該画像に基づいて検索した画像の少なくとも一部を含む合成画像を生成する合成画像生成ステップ、
前記合成画像生成ステップで生成した合成画像を表示する合成画像表示ステップ、
を実行させ、
前記撮像装置が前記撮影モードに設定されている場合において、前記タッチパネルで前記合成画像表示ステップで表示した合成画像に含まれる画像のいずれかに対応する箇所が押圧されたとき、この押圧された箇所に対応する画像の画像データを前記記憶部から消去する画像データ消去ステップ
をさらに実行させることを特徴とする撮像装置用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮影して該画像の電子的な画像データを生成する撮像装置および撮像装置用プログラムに関する。
【背景技術】
【０００２】
デジタルカメラに適用可能な小型の記録媒体は、その容量が増加の一途をたどっており、大量の画像を保存しておくことが可能となっている。このような状況において、ユーザは記録媒体の容量の残りを気にすることなく撮影を行うことができるようになってきており、類似した画像を大量に撮影してしまうことがよくある。この場合、大量に撮影した類似画像のうち残しておくべき画像はごくわずかであるにもかかわらず、あとで画像を整理するのが面倒であるため、大量の画像をそのまま残してしまっている状況がしばしば生じていた。その結果、大量の類似画像の中から真に必要な画像を選ぶのに手間がかかるという問題があった。
【０００３】
上述した状況を改善するために、従来、撮影した画像の特徴量の評価を行って最良の画像を判定し、この判定結果に基づいて画像のプリントを行う技術が知られている（例えば、特許文献１を参照）。また、比較対象の複数の画像を並列して表示し、類似度等の数値情報を表示する技術も知られている（例えば、特許文献２を参照）。
【０００４】
【特許文献１】特開２００７−８８５９４号公報
【特許文献２】特開２００６−８５２５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術は、撮影してから時間が経過した後で画像の整理を行うことが想定されており、撮影直後に他の画像と比較しながら不要な画像を即座に判定して削除することはできなかった。その結果、互いに類似する多数の画像を記憶する状態を回避することは困難であった。
【０００６】
本発明は、上記に鑑みてなされたものであって、撮影直後に他の画像と比較しながら不要な画像を即座に判定して削除することができ、互いに類似する多数の画像を記憶する状態を回避することができる撮像装置および撮像装置用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、画像を撮影して該画像の電子的な画像データを生成する撮像部と、前記撮像部が撮影した画像を表示する表示部とを備え、動作モードとして画像を撮影する撮影モードおよび撮影済みの画像を再生する再生モードを設定可能な撮像装置であって、前記表示部に積層され、外部からの押圧によって信号を入力するタッチパネルと、前記撮像部が撮影した画像の特徴を抽出する特徴抽出部と、前記特徴抽出部が抽出した特徴に基づいて画像を分類する分類部と、前記撮像部が撮影した画像および前記分類部が行った画像の分類に関連する情報を記憶する記憶部と、前記動作モードに応じて定められる条件を満たす画像を前記記憶部から検索する検索部と、前記表示部が表示している画像および該画像に基づいて前記検索部が検索した画像の少なくとも一部を含む合成画像を生成する合成画像生成部と、前記合成画像生成部が生成した合成画像を前記表示部で表示させる制御を行う制御部と、を備え、前記制御部は、前記撮影モードにおいて、前記タッチパネルで押圧可能な領域のうち前記合成画像に含まれる画像のいずれかに対応する箇所が押圧された場合、この押圧された箇所に対応する画像の画像データを前記記憶部から消去することを特徴とする。
【０００８】
また、本発明に係る撮像装置は、上記発明において、前記検索部が画像を検索する際の条件は、前記動作モードおよび前記タッチパネルが押圧された箇所に応じて定められることを特徴とする。
【０００９】
また、本発明に係る撮像装置は、上記発明において、画像中に含まれる人物の顔を検出する顔検出部をさらに備え、前記特徴抽出部は、前記顔検出部が顔を検出した画像の特徴として、検出した顔の大きさおよび顔以外の部分の色を判定し、前記分類部は、前記特徴抽出部が抽出した顔の大きさに応じて分類することを特徴とする。
【００１０】
また、本発明に係る撮像装置は、上記発明において、前記検索部は、前記撮影モードにおいて、前記表示部の画像表示領域のうち前記タッチパネルが押圧された箇所に対応する領域で顔が表示されている場合、当該領域に不特定の顔を含む画像を検索することを特徴とする。
【００１１】
また、本発明に係る撮像装置は、上記発明において、前記検索部は、前記再生モードにおいて、前記表示部の画像表示領域のうち前記タッチパネルが押圧された箇所に対応する領域で顔が表示されている場合、当該顔を含む画像を検索することを特徴とする。
【００１２】
また、本発明に係る撮像装置は、上記発明において、前記特徴抽出部は、前記顔検出部が顔を検出しない画像の特徴として、該画像の主要な色、ピント距離および彩度の大小を少なくとも判定することを特徴とする。
【００１３】
また、本発明に係る撮像装置は、上記発明において、前記合成画像生成部は、前記合成画像として、前記検索部が検索した画像のうち前記表示部が表示する画像との類似度が最も高い画像を前記表示部が表示する画像と並べて表示する画像を生成することを特徴とする。
【００１４】
また、本発明に係る撮像装置は、上記発明において、前記合成画像生成部は、前記撮影モードにおける合成画像として、並べて表示する二つの画像のうち前記タッチパネルを介して指定された領域の拡大画像をさらに表示することを特徴する。
【００１５】
また、本発明に係る撮像装置は、上記発明において、前記合成画像生成部は、前記合成画像として、画像間の類似度の値を加えた画像を生成することを特徴とする。
【００１６】
また、本発明に係る撮像装置用プログラムは、画像を撮影して該画像での電子的な画像データを生成する撮像部と、前記撮像部が撮影した画像を表示する表示部と、前記表示部に積層され、外部からの押圧によって信号を入力するタッチパネルと、撮像部が撮像した画像の画像情報を記憶する記憶部とを備え、動作モードとして画像を撮影する撮影モードおよび撮影済みの画像を再生する再生モードを設定可能な撮像装置に、前記撮像部が撮影した画像の特徴を抽出する特徴抽出ステップ、前記特徴抽出ステップで抽出した特徴に基づいて画像を分類して前記記憶部へ記録する分類ステップ、前記動作モードに応じて定められる条件を満たす画像を前記記憶部から検索する検索ステップ、前記表示部が表示している画像および該画像に基づいて検索した画像の少なくとも一部を含む合成画像を生成する合成画像生成ステップ、前記合成画像生成ステップで生成した合成画像を表示する合成画像表示ステップ、を実行させ、前記撮像装置が前記撮影モードに設定されている場合、前記タッチパネルで前記合成画像表示ステップで表示した合成画像に含まれる画像のいずれかに対応する箇所が押圧されたとき、この押圧された箇所に対応する画像の画像データを前記記憶部から消去する画像データ消去ステップをさらに実行させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、撮影した直後に、所定の条件を満たす画像を記憶部から検索し、この検索した画像の少なくとも一部と撮影した画像とを用いることによって合成画像を生成し、合成画像の中でタッチパネルを介して指定された画像の画像データを記憶部から消去するため、撮影直後に他の画像と比較しながら不要な画像を即座に判定して削除することができ、互いに類似する多数の画像を記憶する状態を回避することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、添付図面を参照して本発明を実施するための最良の形態（以後、「実施の形態」と称する）を説明する。
【００１９】
図１は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置１は、画像を撮像し、この画像の電子的な画像データを生成する撮像部２と、撮像部２が生成した画像データに対して画像処理を施す画像処理部３と、画像処理部３で処理が施された画像データに対応する画像を表示する表示部４と、外部からの操作信号等の入力を受け付ける入力部５と、明るさを含む撮像部２の視野領域の状態や撮影場所の情報を検知するセンサ部６と、撮影日時の判定機能やタイマー機能を有する時計７と、撮像部２が撮影した画像データを含む各種情報を記憶する記憶部８と、入力部５から入力される操作信号などに応じて撮像装置１の動作を制御する制御部９と、を備える。
【００２０】
撮像部２は、一または複数のレンズによって構成され、所定の視野領域に存在する被写体からの光を集光する光学系と、光学系が集光した光の入射量を調整する絞りと、レリーズ入力に応じて動作するシャッタと、絞りおよびシャッタを通過した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）等の撮像素子と、撮像素子から出力されるアナログ信号に増幅やホワイトバランス等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データを生成する信号処理回路とを有する。
【００２１】
画像処理部３は、撮像部２が撮影した画像に含まれる人物の顔を記憶部８が記憶する顔のパターン情報を用いたパターンマッチングを行うことによって検出する顔検出部３１と、撮像部２が撮影した画像の特徴を抽出する特徴抽出部３２と、特徴抽出部３２が抽出した特徴に基づいて画像を分類する分類部３３と、表示部４が表示中の画像で指定された箇所に応じて記憶部８から画像を検索する検索部３４と、表示部４が表示している画像と該画像に基づいて検索部３４が検索した画像の少なくとも一部を含む合成画像を生成する合成画像生成部３５と、を有する。
【００２２】
表示部４は、液晶、プラズマまたは有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて実現され、画像データのほかに撮像装置１の操作情報や撮影に関する情報を適宜表示する。
【００２３】
入力部５は、表示部４に積層して設けられ、外部からの押圧による接触を検知するタッチパネル５１を有する。タッチパネル５１は、酸化インジウムスズの薄膜（ＩＴＯ膜）からなる透明抵抗膜を用いて実現され、外部からの押圧による透明抵抗膜の変化に応じた電圧変化を検出することによって押圧された位置を特定し、この特定した位置に応じた信号を入力する。
【００２４】
記憶部８は、撮像部２が撮影し、画像処理部３によって処理が施された撮影済みの画像データを記憶する画像データ記憶部８１と、特徴抽出部３２が抽出した特徴および分類部３３が行った分類結果を含む画像毎の関連情報を記憶する関連情報記憶部８２と、顔検出部３１がパターンマッチングによって顔を検出する際に参照する顔のパターン情報を記憶するパターン情報記憶部８３と、本実施の形態に係る撮像装置用プログラムを含み、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部８４とを有する。
【００２５】
記憶部８は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。なお、記憶部８に、外部から装着されるメモリカード等の記録媒体に対して情報を記録する一方、記録媒体が記録する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。
【００２６】
制御部９は、ＭＰＵ（Micro Processing Unit）等を用いて実現され、制御対象である撮像装置１の各構成部位とバスラインを介して接続されている。
【００２７】
以上の構成を有する撮像装置１は、入力部５によるレリーズ信号の入力によって画像を撮影する撮影モードと、撮影した画像を記憶部８から読み出して再生表示する再生モードとを設定することができる。
【００２８】
次に、図２〜図４を参照して、撮像装置１が撮影モードに設定されている場合に行う特徴的な処理の概要を説明する。図２は、画像データ記憶部８１が記憶する画像を模式的に示す図である。画像データ記憶部８１は、４枚の画像１０１〜１０４の画像データを記憶している。これらの画像１０１〜１０４は、全て赤ちゃんを撮影したものであり、符号の小さい順に撮影されたものとする。
【００２９】
図３は、撮影モードで画像１０４を撮影した直後にユーザが画像１０４に類似した画像の検索を行う状況を模式的に示す図である。図３において、ユーザは、赤ちゃんの顔を自分の指２０１でタッチして押圧しつつある。ユーザが指２０１で赤ちゃんの顔をタッチして押圧すると、タッチパネル５１を介して信号が入力され、検索部３４はタッチパネル５１が押圧された箇所に対応する表示部４の表示領域に顔がある画像を画像データ記憶部８１の画像データを参照して検索する。具体的には、図４に示す場合、検索部３４は画像１０１〜１０３の中から画像１０１を抽出する。
【００３０】
検索部３４が画像１０１を抽出した後、合成画像生成部３５は画像１０１、１０４を用いて合成画像（撮影モード用合成画像）を生成する。合成画像生成部３５が生成した撮影モード用合成画像は、表示部４で表示される。
【００３１】
図４は、撮影モード用合成画像の表示部４における表示例を示す図である。同図に示す撮影モード用合成画像１１１は、直前に撮影した画像１０４と、この画像１０４に類似する画像として検索部３４によって検索された画像１０１とを並べて表示するとともに、検索の際に得た両画像の表情の類似度（図４では１０％）を表示している。また、撮影モード用合成画像１１１では、下方に操作情報を表示している（消去：消去する方をタッチ、消去しない：画像以外をタッチ）。撮影モード用合成画像１１１を見たユーザは、画像１０１または１０４のいずれかを消去したい場合、その消去したい画像をタッチする。また、撮影モード用合成画像１１１を見たユーザが２枚の画像１０１、１０４を消去しない場合には、画像１０１、１０４以外の箇所をタッチする。
【００３２】
このように、本実施の形態によれば、撮像装置１が撮影モードに設定されている場合、撮影するたびに類似した画像を検索して表示部４で表示するため、ユーザは迅速に画像の整理を行うことができ、無駄な画像を少なくすることができる。特に、撮影モード用合成画像の中に表示している画像間の類似度を明示することにより、例えば天気のよい屋外で撮影している場合のように、画像そのものが見難い場合であっても画像間の類似度を正確に把握することができる。
【００３３】
次に、図５〜図６を参照して、撮像装置１が再生モードに設定されている場合に行う特徴的な処理を説明する。図５は、撮影済みの画像１０５を表示部４で再生表示している場合にタッチパネル５１を指２０１でタッチして押圧しようとしている状況を示す図である。図５に示す場合、指２０１は画像１０５に写っている女性の顔をタッチしようとしている。ユーザが指２０１で女性の顔をタッチすると、検索部３４はその女性の顔を含む画像を検索する。なお、再生モードでは、検索条件としてタッチされた箇所が同じであるという条件は含まれない。
【００３４】
その後、合成画像生成部３５は、検索部３４の検索結果に基づいて、類似する画像を並べて表示する再生モード用合成画像を生成する。合成画像生成部３５が生成した再生モード用合成画像は、表示部４で表示される。図６は、再生モード用合成画像の表示部４における表示例を示す図である。同図に示す再生モード用合成画像１１２は、再生表示していた画像１０５に加えて、画像１０５で指定された女性が写っている画像１０６、１０７が表示されている。なお、検索部３４の検索条件を満たす画像がさらに多い場合には、一つの画像の表示面積を小さくして表示してもよいし、複数ページにわたって表示するようにしてもよい。
【００３５】
このように、本実施の形態によれば、撮像装置１が再生モードに設定されている場合、再生中の画像で指定された箇所と類似する画像が含まれる画像を検索して並べて表示することができるため、再生時の編集も容易にかつ迅速に行うことができる。
【００３６】
図７は、撮像装置１が行う処理の概要を示すフローチャートである。まず、撮像装置１が撮影モードに設定されている場合（ステップＳ１：撮影モード）を説明する。この場合、撮像装置１は、表示部４で撮像部２が撮像している画像（スルー画像）を表示する（ステップＳ２）。
【００３７】
続いて、顔検出部３１がスルー画像中に存在する人物の顔を検出する（ステップＳ３）。制御部９は、顔検出部３１の検出結果に基づいてピント調整を行う（ステップＳ４）。ここでのピント調整は、顔検出部３１が顔を検出していれば顔にピント合わせを行う一方、顔検出部３１が顔を検出していなければ所定の位置にピントを合わせる。
【００３８】
その後、入力部５からレリーズ信号が入力された場合（ステップＳ５：Ｙｅｓ）、撮像部２が画像を撮影し（ステップＳ６）、この撮影した画像を画像データ記憶部８１に書き込んで記録する（ステップＳ７）。入力部５からレリーズ信号が入力されない場合（ステップＳ５：Ｎｏ）、撮像装置１はステップＳ１へ戻る。
【００３９】
ステップＳ７の後、分類部３３がステップＳ６で撮影した画像の分類を行う（ステップＳ８）。図８は、分類部３３が行う画像の分類処理の概要を示す図である。顔検出部３１が検出した結果、顔があった場合（ステップＳ８１：Ｙｅｓ）、特徴抽出部３２は顔の周囲の背景色を判定する（ステップＳ８２）。続いて、特徴抽出部３２は、顔の大きさを判定する。この顔の大きさが所定の基準よりも大きい場合（ステップＳ８３：Ｙｅｓ）、分類部３３は画像を「ポートレート」というカテゴリに分類し（ステップＳ８：Ｙｅｓ）、メインルーチンへ戻る。一方、顔の大きさが所定の基準未満である場合（ステップＳ８３：Ｎｏ）、分類部３３は画像を「スナップ」というカテゴリに分類し（ステップＳ８５）、メインルーチンへ戻る。
【００４０】
次に、顔検出部３１が顔を検出しなかった場合（ステップＳ８１：Ｎｏ）を説明する。この場合、特徴抽出部３２は画像の主要色を判定する（ステップＳ８６）。その後、ピント距離が遠距離と見なしうる距離としてあらかじめ定められた第１の距離よりも大きい場合（ステップＳ８７：Ｙｅｓ）、分類部３３は画像を「風景」というカテゴリに分類し（ステップＳ８８）、メインルーチンへ戻る。
【００４１】
ステップＳ８７でピント距離が第１の距離よりも小さく（ステップＳ８７：Ｎｏ）、かつ至近距離と見なしうる距離としてあらかじめ定められた第２の距離よりも大きい場合（ステップＳ８９：Ｎｏ）、分類部３３は画像を「ペット」というカテゴリに分類し（ステップＳ９０）、メインルーチンへ戻る。
【００４２】
一方、ステップＳ８７でピント距離が第１の距離よりも小さく（ステップＳ８７：Ｎｏ）、かつ第２の距離よりも小さい場合（ステップＳ８９：Ｙｅｓ）、特徴抽出部３２は画像の彩度に基づく判定をさらに行う（ステップＳ９１）。具体的には、画像の彩度が所定値よりも大きい場合（ステップＳ９１：Ｙｅｓ）、分類部３３が画像を「花」というカテゴリに分類し（ステップＳ９２）、メインルーチンへ戻る。一方、彩度が小さい場合（ステップＳ９１：Ｎｏ）、分類部３３は画像を「小物」というカテゴリに分類し（ステップＳ９３）、メインルーチンへ戻る。
【００４３】
なお、顔でない場合に分類されるカテゴリである「風景」、「ペット」、「花」、「小物」は、そのような画像が含まれる可能性が高いことを考慮した上で設定したカテゴリ名に過ぎず、例えば「風景」のカテゴリに風景以外の写真が含まれていてもかまわない。また、カテゴリの分け方は上述した場合に限られるわけではない。
【００４４】
以上説明したステップＳ８の後の処理を、再び図７を参照して説明する。ステップＳ８の後、分類部３３は、分類結果を画像の関連情報として関連情報記憶部８２へ記録する（ステップＳ９）。図９は、関連情報記憶部８２が記憶する関連情報の具体例を示す図である。同図に示すテーブルＴｂに相当する情報は関連情報記憶部８２が記憶している。各画像の関連情報として、カテゴリ、顔の数、顔の位置、顔の大きさ、顔の特徴、背景色、主要色、撮影日時、撮影場所が記録されている。
【００４５】
関連情報のうち、顔の位置は、図１０に示すように、表示部４を縦横３等分ずつ９等分した矩形領域Ａ１〜Ａ９のうちどの領域に位置しているかを示す。
【００４６】
また、関連情報のうち、顔の大きさは、３つの円形領域Ｄ１、Ｄ２、Ｄ３の面積との比較で特徴付けられる。図１２は、図１１の矩形領域Ａ１〜Ａ９と等しい面積を有する領域Ａと円形領域Ｄ１〜Ｄ３との関係を示す図である。円形領域Ｄ２は、領域Ａの高さと同じ長さの径を有する。また、円形領域Ｄ３は、領域Ａの対角線と同じ長さの径を有する。円形領域Ｄ１は、円形領域Ｄ２よりも径が小さい。テーブルＴｂで顔の大きさが「Ｄ１」と記録されている場合、顔の面積が円形領域Ｄ１の面積よりも小さいことを意味する。またテーブルＴｂで顔の大きさが「Ｄ２」と記録されている場合、顔の面積が円形領域Ｄ１の面積以上でありかつ円形領域Ｄ２の面積未満であることを意味する。また、テーブルＴｂで顔の大きさが「Ｄ３」と記録されている場合、顔の面積が円形領域Ｄ２の面積以上かつ円形領域Ｄ３の面積未満であることを意味する。また、テーブルＴｂで顔の大きさが「Ｄ＋」と記録されている場合、顔の面積が円形領域Ｄ３の面積以上であることを意味している。
【００４７】
また、関連情報のうち、顔の特徴は、予めパターン情報記憶部８３に登録されている顔であるか否かを示すものであり、テーブルで「Ｐ−Ａ」、「Ｐ−Ｂ」と記録されているのが登録済みの顔である一方、「Ｐ−Ｘ」と記録されているのが未登録の顔である。
【００４８】
また、関連情報のうち、撮影場所の座標（ｘ1，ｘ2）等は、例えばセンサ部６がＧＰＳ（Global Positioning System）から送信されてくるデータに基づいて位置情報を検知する場合、緯度および経度で与えられる。
【００４９】
具体例を説明する。例えば、画像１は「スナップ」というカテゴリに分類された画像である。画像１に含まれる人物の顔は２つであり、その２つの顔の画像中の「位置、大きさ、特徴」は、それぞれ「Ａ４、Ｄ２、Ｐ−Ａ」、「Ａ６、Ｄ３、Ｐ−Ｘ」である。画像１の背景色の色は「青」、撮影日時は「２００９．２．１，１５：０５」、撮影場所は「（ｘ1，ｙ1）」である。なお、実際のｘ1，ｙ1には具体的な数値が記録されている。別の例として、画像３は「風景」というカテゴリに分類された画像である。この場合、画像３には顔がないため、記録される情報は、画像の主要色（黒）、撮影日時（２００９．２．１，１５：３０）および撮影場所（（ｘ3，ｙ3））のみである。
【００５０】
ステップＳ９に続いて、表示部４は撮影した画像を表示する（ステップＳ１０）。その後、タッチパネル５１を介して外部からの押圧による指定入力がなされた場合（ステップＳ１１：Ｙｅｓ）、指定箇所が顔を表示している箇所であれば（ステップＳ１２：Ｙｅｓ）、検索部３４は関連情報記憶部８２が記憶するテーブルＴｂを参照することにより、カテゴリが同じで指定箇所に顔があり、かつ背景色が同じである画像を検索する（ステップＳ１３）。なお、撮影した画像に登録済みの顔が含まれる場合、ステップＳ１１の指定入力を介すことなく、検索部３４がその登録済み画像の一部または全部が含まれる画像を自動的に検索するようにしてもよい。
【００５１】
続いて、合成画像生成部３５は、検索部３４が検索した結果得られた画像とステップＳ６で撮影した画像とを用いて撮影モード用合成画像を生成する（ステップＳ１４）。合成画像生成部３５が生成した撮影モード用合成画像は、図４に示す撮影モード用合成画像１１１に例示されるように、表示部４で表示される（ステップＳ１５）。
【００５２】
その後、タッチパネル５１を介して撮影モード用合成画像に含まれる画像を消去する信号が入力された場合（ステップＳ１６：Ｙｅｓ）、制御部９は選択された画像を画像データ記憶部８１から消去する（ステップＳ１７）。一方、ステップＳ１７で画像を消去する信号が入力されない場合（ステップＳ１６：Ｎｏ）、撮像装置１は後述するステップＳ１８へ進む。
【００５３】
その後、撮影処理を終了する信号が入力された場合（ステップＳ１８：Ｙｅｓ）、撮像装置１は一連の処理を終了する。一方、撮影処理を終了する信号が入力されない場合（ステップＳ１８：Ｎｏ）、撮像装置１はステップＳ１へ戻る。
【００５４】
ステップＳ１１でタッチパネル５１を介した外部からの押圧による指定入力がなされ（ステップＳ１１：Ｙｅｓ）、かつ指定箇所が顔を表示していない箇所である場合（ステップＳ１２：Ｎｏ）、検索部３４は、関連情報記憶部８２が記憶するテーブルＴｂを参照することにより、カテゴリが同じで主要色または背景色が同じである画像を検索する（ステップＳ１９）。その後、撮像装置１はステップＳ１４へ進む。
【００５５】
ステップＳ１１でタッチパネル５１を介した外部からの押圧による指定入力がなかった場合（ステップＳ１１：Ｎｏ）、撮影した画像を表示し始めてから所定時間経過していれば（ステップＳ２０：Ｙｅｓ）、撮像装置１は表示部４で表示している画像を消去し（ステップＳ２１）、ステップＳ１８へ進む。ステップＳ２０で所定時間経過していなければ（ステップＳ２０：Ｎｏ）、撮像装置１はステップＳ１１へ戻る。
【００５６】
次に、撮像装置１が再生モードに設定されている場合を説明する（ステップＳ１：再生モード）。この場合、表示部４は、選択された画像を再生して表示する（ステップＳ２２）。その後、タッチパネル５１を介した外部からの押圧による画像の指定入力がなされた場合（ステップＳ２３：Ｙｅｓ）、指定箇所が顔のある箇所であれば（ステップＳ２４：Ｙｅｓ）、検索部３４は指定された顔と同じ顔が含まれる画像を有する画像の検索を行う（ステップＳ２５）。
【００５７】
その後、合成画像生成部３５は、検索部３４の検索によって得られた画像とステップＳ２２で再生表示している画像とを用いて再生モード用合成画像を生成する（ステップＳ２６）。合成画像生成部３５が生成した再生モード用合成画像は、図６に示す再生モード用合成画像に例示されるように、表示部４で表示される（ステップＳ２７）。
【００５８】
その後、撮影処理を終了する信号が入力された場合（ステップＳ２８：Ｙｅｓ）、撮像装置１は一連の処理を終了する。一方、撮影処理を終了する信号が入力されない場合（ステップＳ２８：Ｎｏ）、撮像装置１はステップＳ１へ戻る。
【００５９】
ステップＳ２３でタッチパネル５１を介した外部からの押圧による指定入力がなされ（ステップＳ２３：Ｙｅｓ）、かつ指定箇所が顔を表示していない箇所である場合（ステップＳ２４：Ｎｏ）、検索部３４は、関連情報記憶部８２が記憶するテーブルＴｂを参照することにより、主要色または背景色が同じである画像を検索する（ステップＳ２９）。その後、撮像装置１はステップＳ２６へ進む。
【００６０】
ステップＳ２３でタッチパネル５１を介した指定入力がなかった場合（ステップＳ２３：Ｎｏ）、撮像装置１はステップＳ２８へ進む。
【００６１】
以上説明した本発明の一実施の形態によれば、撮影した直後に、所定の条件を満たす画像を記憶部８から検索し、この検索した画像の少なくとも一部と撮影した画像とを用いることによって合成画像を生成し、合成画像の中でタッチパネル５１を介して指定された画像の画像データを記憶部８から消去するため、撮影直後に他の画像と比較しながら不要な画像を即座に判定して削除することができ、互いに類似する多数の画像を記憶する状態を回避することが可能となる。
【００６２】
また、本実施の形態によれば、顔検出部３１を設けることにより、赤ちゃんのように同じ表情を多数撮影する可能性がある場合であっても、撮影するたびに画像を記録するべきか否かを判定することができるため、撮影に失敗した画像をいつまでも記憶してしまうようなことがない。この結果、撮像装置１が記憶している画像のスライドショーを行う場合に同じ画像の繰り返しによる冗長さがなくなり、見ている人が退屈することがないスライドショーを実現することができる。
【００６３】
また、本実施の形態によれば、再生モード時には撮影モードと異なる条件で検索し、タッチパネルを介して顔の部分が指定された場合には、その顔と同じ顔を含む画像を検索するため、再生時には同じ人物の異なる表情を楽しむことができる。
【００６４】
なお、本発明は、上述した一実施の形態によってのみ限定されるべきものではない。図１２は、合成画像生成部３５が生成する撮影モード用合成画像の別な表示例を示す図である。同図に示す撮影モード用合成画像１１３は、画像１０１、１０４に加えて画像１０１、１０４にそれぞれ含まれる顔の拡大画像１０１ａ、１０４ａを並べて表示している。さらに、撮影モード用合成画像１１３は、拡大画像１０１ａと拡大画像１０４ａの表情の類似度を表示する表情類似度表示領域１２１と、画像１０１と画像１０４の全体の構図の類似度を表示する構図類似度表示領域１２２とを有する。図１２に示す場合、表情類似度は１０ポイントであり、構図類似度は９０ポイントである（いずれも１００ポイントが完全に一致する場合である）。このような撮影モード用合成画像１１３を表示することにより、画像１０１、１０４だけでは顔の画像が小さくてユーザが見難い場合であっても、拡大画像１０１ａ、１０４ａで比較することができるので、ユーザは消去するか否かの判断をより的確に行うことができる。
【００６５】
また、本発明において、撮像装置１が再生モードに設定されている状態で、図１３に示す再生表示画像１１４のように、表示部４で複数の撮影済み画像を一括して表示するようにし、その中でユーザが指２０１によってタッチした箇所に該当する画像の類似画像を上記同様に検索して表示するようにしてもよい。
【００６６】
また、本発明において、検索部３４が検索した結果、複数の画像が抽出された場合、合成画像生成部３５は、抽出された複数の画像の各々と撮影直後の画像とを用いることによって複数の合成画像を生成し、これら複数の合成画像を類似度が高い順に所定のタイミングまたは所定の入力操作に応じて順次表示していくようにしてもよい。
【００６７】
また、本発明において、検索部３４が検索を行う際の条件として撮影日時や撮影場所の情報を加えることも可能である。
【００６８】
また、本発明において、撮影した画像をブログなどに掲載するために、撮像装置に通信部を設け、撮影済みの画像を通信ネットワークを介して送受信可能な構成としてもよい。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】画像データ記憶部が記憶する画像を模式的に示す図である。
【図３】撮影直後に表示部で表示されている画像に対してユーザが画像の検索を行おうとしている状況を模式的に示す図である。
【図４】撮影モードに設定されている場合に表示部における合成画像の表示例を示す図である。
【図５】撮影済みの画像を表示部で再生表示している場合にタッチパネルを指でタッチしようとしている状況を示す図である。
【図６】本発明の一実施の形態に係る撮像装置が再生モードに設定されている場合の合成画像の表示例を示す図である。
【図７】本発明の一実施の形態に係る撮像装置が行う処理の概要を示すフローチャートである。
【図８】画像の分類処理の概要を示すフローチャートである。
【図９】関連情報の具体例を示す図である。
【図１０】表示部における位置区分を与える矩形領域の設定例を示す図である。
【図１１】顔の大きさの指標である円形領域と矩形領域との関係を示す図である。
【図１２】本発明の一実施の形態に係る撮像装置が撮影モードに設定されている場合の合成画像の別な表示例を示す図である。
【図１３】本発明の一実施の形態に係る撮像装置が再生モードに設定されている場合の再生表示の別な例を示す図である。
【符号の説明】
【００７０】
１  撮像装置
２  撮像部
３  画像処理部
４  表示部
５  入力部
６  センサ部
７  時計
８  記憶部
９  制御部
３１  顔検出部
３２  特徴抽出部
３３  分類部
３４  検索部
３５  合成画像生成部
５１  タッチパネル
８１  画像データ記憶部
８２  関連情報記憶部
８３  パターン情報記憶部
８４  プログラム記憶部
１０１、１０４、１０５、１０６  画像
１０１ａ、１０４ａ  拡大画像
１１１、１１３  撮影モード用合成画像
１１２  再生モード用合成画像
１１４  再生表示画像
１２１  表情類似度表示領域
１２２  構図類似度表示領域
２０１  指
【図１】
2010187119.tif 000003
【図２】
2010187119.tif 000004
【図３】
2010187119.tif 000005
【図４】
2010187119.tif 000006
【図５】
2010187119.tif 000007
【図６】
2010187119.tif 000008
【図７】
2010187119.tif 000009
【図８】
2010187119.tif 000010
【図９】
2010187119.tif 000011
【図１０】
2010187119.tif 000012
【図１１】
2010187119.tif 000013
【図１２】
2010187119.tif 000014
【図１３】
2010187119.tif 000015