(57)【要約】【課題】個々の状況に応じて、撮影対象の以外の人も興味を持てる画像を撮影できる撮像装置、撮像システム及び撮像方法を提供する。【解決手段】被写体像を撮像部２によって画像データに変換し、表示部８にライブビュー表示する。また、記録部４に記録されている静止画像データについて、被写体判定部７および表示情報部５において、画像分類すると共に、繰り返し撮影されている典型画像を抽出し、ライブビュー表示されている画像と典型画像が類似している場合には、警告表示すると共に推奨画像８ｅを表示する。  【選択図】  図１
2009044602.tif 000002
【特許請求の範囲】
【請求項１】
画像を静止画像データに変換する撮像部と、
上記静止画像データを分類する画像分類部と、
上記画像分類部による分類結果に基づいて、撮影対象として推奨する画像に関する情報を表示するための表示部と、
を備えたことを特徴とする撮像装置。
【請求項２】
上記撮像部は、被写体画像を動画像データに変換するとともにレリーズ操作に応じて上記画像を静止画像データに変換するものであり、上記表示部は上記撮像部により撮像された動画とともに上記推奨する画像に関する情報を表示するものであることを特徴とする請求項１記載の撮像装置。
【請求項３】
上記画像分類部は上記静止画像データに対応する静止画をいくつかのカテゴリーに分類するものであり、上記表示部はこれらのカテゴリーに属する画像のうち撮影枚数の少ないカテゴリーに属する画像を撮影すべく所定の表示を行うものであることを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記撮像部は画像を動画像データに変換するとともにレリーズ操作に応じて上記画像を静止画像データに変換するものであり、上記動画像データが上記画像分類部によって分類された所定の基準画像データに類似するか否かを判定する類似画像判定部をさらに備え、上記表示部は上記類似画像判定部により上記動画像データが上記基準画像データに類似していると判定されたとき上記推奨する画像に関する情報を表示することを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記画像分類部は、所定のカテゴリーに属する静止画像データが所定時間内に撮像されたとき、上記静止画像データを上記基準画像データとすることを特徴とする請求項４に記載の撮像装置。
【請求項６】
上記画像分類部は、所定のカテゴリーに属する静止画像データが所定時間内に所定コマ数撮像されたとき、上記静止画像データを上記基準画像データとすることを特徴とする請求項４に記載の撮像装置。
【請求項７】
上記画像分類部は、静止画像データが撮影レンズの所定のズーム倍率に基づいて所定時間内に所定コマ数撮像されたとき、上記静止画像データを上記基準画像データとすることを特徴とする請求項４に記載の撮像装置。
【請求項８】
上記画像分類部は、静止画像データが撮影レンズの所定の焦点距離に基づいて所定時間内に所定のコマ数撮像されたとき、上記静止画像データを上記基準画像データとすることを特徴とする請求項４に記載の撮像装置。
【請求項９】
被写体画像を静止画像データに変換する撮像部と、
上記静止画像データを分類する画像分類部と、
上記画像分類部による分類結果に基づいて、撮影対象として推奨する画像に関する情報を表示するための表示部と、
を備えたことを特徴とする撮像システム。
【請求項１０】
上記撮像システムは、撮像装置とこの撮像装置と通信回線を介して結ばれたサーバーを有しており、上記撮像部と上記表示部は上記撮像装置が備え、上記画像分類部は上記サーバーが備えることを特徴とする請求項９に記載の撮像システム。
【請求項１１】
画像を静止画像データに変換し、
上記静止画像データを分類し、
上記分類に基づいて、撮影対象として推奨する画像に関する情報を表示する、
ことを特徴とする撮像方法。
【請求項１２】
上記静止画像データを記録し、
上記推奨画像の表示は、上記記録された静止画像データから基準画像データを抽出し、現在取得している静止画像データが上記基準画像データと類似している場合に、上記推奨画像の表示を行うことを特徴とする請求項１１に記載の撮像方法。
【請求項１３】
画像を静止画像データに変換する撮像部を有する撮像装置から上記静止画像データを受信するサーバーにおいて、
上記受信した静止画像データを分類する画像分類し、典型画像が繰り返し撮影されているかを判定するシーン判定部と、
上記シーン判定部による判定結果に基づいて、撮影対象として推奨する画像に関する情報を出力するガイド情報部と、
上記情報を上記撮像装置に出力する通信部と、
を備えたことを特徴とする撮影アシスト機能を有するサーバー。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像システム及び撮像方法に関し、詳しくは被写体像を撮像し、この撮像された被写体像を分類して表示可能な撮像装置、撮像システム及び撮像方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置の画像送信の容易さを利用して、ＰＣ通信やインターネット、携帯電話回線などの通信機能を利用して画像を送信し、その環境下で画像を楽しむ画像鑑賞法が普及している。こうした通信機能を利用すると、例えば、ブログなどのページに自分の撮影した写真を掲載し、多くの人が鑑賞できるようにし、また、大人数で鑑賞可能な大型のテレビに画像を送信するなど、多様な楽しみ方が可能となる。
【０００３】
従来の銀塩フィルム時代における写真では、フィルムの消費や現像料金が気になり、決定的な一枚を撮影して楽しんでいたが、上述したような現在の環境下における写真鑑賞は、決定的な一枚を楽しむというより、多くの画像を一つの作品として楽しむように変化してきている。一連の画像を楽しむ場合には、特別な説明なくとも、複数の写真を鑑賞することにより、撮影したときの状況がよく分かるような写真集であることが求められる。
【０００４】
例えば、運動会や学芸会など、孫の行事の写真を見に行けなかった祖父母の家のテレビ等の再生装置に送信する場合、単に孫が運動している画像だけでは、状況が伝わらないし、また、孫の親であるわが子の写真も見たくなる。このように、撮影者に近い人のみならず、離れた人にも簡単に送られるようになると、撮影者が意識していない被写体の画像も必要となる場合が多い。
【０００５】
また、図９に示すように、カメラで撮影した画像をテレビ２０の画面に表示して、家族で鑑賞する場合であっても、一人の人ばかりが映し出されると、家族であっても撮影対象となった人以外は、あまり興味をそそれられない。イベントがどんな場所や会場で行われていたか、どんな人が観客として見ていたかなどが感じられる画像であれば、臨場感も伝わり、撮影対象となった人以外も楽しむことができ、また鑑賞に耐えられる画像となる。
【０００６】
撮影対象となった人以外の方からも興味を持ってもらえるような画像を撮影するために、カメラが撮影のアシスタントを行うには、画像認識技術が重要となる。近年、監視用カメラのみならず、コンシューマー用のカメラにおいても、画像の中から、顔の部分を検出する技術（特許文献１参照）や、インターネット上で、画像の類似度を判定する技術などが普及してきている。また、カメラを無線で、インターネットにつなぐ技術、インターネット上を流れるコンテンツを家電製品に表する技術などが普及しつつある。
【特許文献１】特開２００６−１０１１１１号公報
【０００７】
上述の特許文献１に開示された撮影装置は、撮影された撮影画像を照合用ファイルに予め格納しておき、撮影画像が照合用ファイルに格納された画像と一致するか否かを判定し、この照合結果を基にして、予定された撮影対象が撮影されたか否かを確認することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１に開示の撮影装置は、予定された撮影対象の撮影を効率的かつ確実に行うことができる。しかし、この撮影装置では予め照合用の画像を格納しておく必要があるため面倒であるとともに、個々の状況に応じて、撮影対象以外の人が撮影画像を鑑賞したときに、興味の持てる画像を提供することのできる撮影装置とは言い難いものであった。
【０００９】
本願発明は、このような事情を鑑みてなされたものであり、個々の状況に応じて、撮影対象以外の人も興味を持てる画像を撮影できる撮像装置、撮像システム及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため第１の発明に係わる撮像装置は、画像を静止画像データに変換する撮像部と、上記静止画像データを分類する画像分類部と、上記画像分類部による分類結果に基づいて、撮影対象として推奨する画像に関する情報を表示するための表示部を備える。
【００１１】
第２の発明に係わる撮像装置は、上記第１の発明において、上記撮像部は、被写体画像を動画像データに変換するとともにレリーズ操作に応じて上記画像を静止画像データに変換するものであり、上記表示部は上記撮像部により撮像された動画とともに上記推奨する画像に関する情報を表示する。
また、第３の発明に係わる撮像装置は、上記第１の発明において、上記画像分類部は上記静止画像データに対応する静止画をいくつかのカテゴリーに分類するものであり、上記表示部はこれらのカテゴリーに属する画像のうち撮影枚数の少ないカテゴリーに属する画像を撮影すべく所定の表示を行う。
【００１２】
さらに、第４の発明に係わる撮像装置は、上記第１の発明において、上記撮像部は画像を動画像データに変換するとともにレリーズ操作に応じて上記画像を静止画像データに変換するものであり、上記動画像データが上記画像分類部によって分類された所定の基準画像データ（典型画像データ）に類似するか否かを判定する類似画像判定部をさらに備え、上記表示部は上記類似画像判定部により上記動画像データが上記基準画像データに類似していると判定されたとき上記推奨する画像に関する情報を表示する。
さらに、第５の発明に係わる撮像装置は、上記第４の発明において、上記画像分類部は、所定のカテゴリー（顔画像の大きさや位置）に属する静止画像データが所定時間内に撮像されたとき、上記静止画像データを上記基準画像データとする。
さらに、第６の発明に係わる撮像装置は、上記第４の発明において、上記画像分類部は、所定のカテゴリーに属する静止画像データが所定時間内に所定コマ数撮像されたとき、上記静止画像データを上記基準画像データとする。
さらに、第７の発明に係わる撮像装置は、上記第４の発明において、上記画像分類部は、静止画像データが撮影レンズの所定のズーム倍率に基づいて所定時間内に所定コマ数撮像されたとき、上記静止画像データを上記基準画像データとする。
さらに、第８の発明に係わる撮像装置は、上記第４の発明において、上記画像分類部は、静止画像データが撮影レンズの所定の焦点距離に基づいて所定時間内に所定のコマ数撮像されたとき、上記静止画像データを上記基準画像データとする。
【００１３】
上記目的を達成するため第９の発明に係わる撮像システムは、被写体画像を静止画像データに変換する撮像部と、上記静止画像データを分類する画像分類部と、上記画像分類部による分類結果に基づいて、撮影対象として推奨する画像に関する情報を表示するための表示部を備える。
【００１４】
第１０の発明に係わる撮像システムは、上記９の発明において、上記撮像システムは、撮像装置とこの撮像装置と通信回線を介して結ばれたサーバーを有しており、上記撮像部と上記表示部は上記撮像装置が備え、上記画像分類部は上記サーバーが備える。
【００１５】
上記目的を達成するため第１１の発明に係わる撮像方法は、画像を静止画像データに変換し、上記静止画像データを分類し、上記分類に基づいて、撮影対象として推奨する画像に関する情報を表示する。
【００１６】
第１２の発明に係わる撮像方法は、上記１１の発明において、上記静止画像データを記録し、上記推奨画像の表示は、上記記録された静止画像データから基準画像データを抽出し、現在取得している静止画像データが上記基準画像データと類似している場合に、上記推奨画像の表示を行う。
【００１７】
上記目的を達成するため第１３の発明に係わる撮影アシスト機能をサーバーは、画像を静止画像データに変換する撮像部を有する撮像装置から上記静止画像データを受信するサーバーにおいて、上記受信した静止画像データを分類する画像分類し、典型画像が繰り返し撮影されているかを判定するシーン判定部と、上記シーン判定部による判定結果に基づいて、撮影対象として推奨する画像に関する情報を出力するガイド情報部と、上記情報を上記撮像装置に出力する通信部を備える。
【発明の効果】
【００１８】
本発明によれば、個々の状況に応じて、撮影対象以外の人も興味を持てる画像を撮影できる撮像装置、撮像システム及び撮像方法を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面に従って本発明を適用した撮像装置を用いて好ましい実施形態について説明する。本発明の第１実施形態に係る撮像装置は、デジタルカメラであり、このデジタルカメラは、概略、撮像素子で取得した被写体像の画像データを動画像で被写体像を表示装置に表示するとともに、レリーズ釦の操作に応じて静止画像データを記録媒体に記録可能である。このデジタルカメラ内には、被写体画像を分類する機能があり、すなわち、一人画像、集合画像、風景画像等に撮影画像を分類して撮影傾向を表示すると共に、同一人をターゲットとして複数コマ撮影してしまうような典型画像を撮影しようとしている場合には、その旨を表示・警告することができる。
【００２０】
以下、第１実施形態に係わるデジタルカメラについて詳述する。図１は、本発明の第１実施形態に係わるデジタルカメラ１０のブロック図である。カメラ１０の内部には、制御部１、撮像部２、レンズ判定部３、記録部４、表示情報部５、操作判定部６、被写体判定部７、表示部８、時計部９が設けられている。制御部１は、ＭＰＵ（Micro Processing Unit）等によって構成され、前述の撮像部２から時計部９等の各部と接続されており、これら各部から信号を入力すると共に制御信号を出力し、カメラ１０全体を制御する。撮像部２は、被写体像を結像するための撮影レンズを有し、この撮影レンズによって結像された被写体像を光電変換し、画像信号を出力する。
【００２１】
レンズ判定部３は、撮影レンズのズーム位置（焦点距離、ズーム倍率）やピント位置（被写体距離）を判定可能であり、ここで判定されたズーム位置やピント位置の情報は、撮影画像データを記録する際に、併せて記録可能である。記録部４は、撮像部２によって出力される画像信号に基づく画像データを圧縮処理して記録メディアに記録する。時計部９は、日時を計測する時計であり、記録部４に撮影画像データを記録する際に併せて、この日時情報（時刻情報）の記録が可能である。
【００２２】
操作判定部６は、カメラ１０に設けられている、操作スイッチ、操作ダイヤル等の操作部材の状態を検出し、操作状態を判定する。被写体判定部７は、画像から人間の顔の特徴を有する陰影パターンに基づいて、画面内の顔の位置や大きさを判定する顔検出機能を有している。また、被写体判定部７は、画面の中のコントラストや明るさの分布、さらに色合いなどを検出する各検出部を有して撮像画像の特徴を分析して、被写体画像が一人撮影か、集合撮影か、風景撮影かを分類判定する機能も有している。
【００２３】
表示情報部５は、撮像部２によって取得し、被写体判定部７による判定に基づいて、記録部４に記録した撮影画像を分類し撮影傾向を判定し、また、特定画像のみを撮影している場合には警告を行う。表示部８は、撮像部２から出力された画像データに基づいて被写体像を動画像としてライブビュー表示し、撮影時のファインダ代わりに利用することができる。また、再生釦等の操作に応じて、記録部４の記録メディアに記録されている画像データを読出し、伸張処理した後、表示部８に表示する。さらに、表示部８は、表示情報部５の出力に基づいて、撮影傾向を表示すると共に、特定の画像のみを撮影しすぎた場合には、警告・表示する。
【００２４】
表示部８は、カメラ１０の背面に設けられており、図１に示す例では、撮影画像の傾向が表示部８の左側に示されており、右側にはライブビュー表示８ａがなされている。撮影画像は、ポートレート画像８ｂ、一人画像８ｃ、集合画像（複数人画像）８ｈ、風景画像８ｅに分類され、それぞれ撮影画像の撮影コマ数が、画像分類ごとに右側にバーグラフ８ｆ、８ｇ、８ｈによって表示されている。
【００２５】
図１の例では、殆どが一人画像８ｃであり、集合画像８ｈが少なく、風景など周囲の雰囲気を伝える写真が少ない。そこで、風景画像８ｅの周囲を太線枠表示で示し、単調な画像しか得られないことを警告すると共に、風景画像を推奨画像として表示している。右側のライブビュー表示でも、類似の傾向の画像を撮影しようとしているので、警告を出したところを示している。なお、この警告や推奨画像の表示は、枠の太線を赤色等、目立つ色で表示したり、また、カテゴリー名を文字や記号で表示したり、さらに、枠線を点滅させる等、種々の表示方法に変更しても勿論構わない。
【００２６】
次に、本実施形態に係わるデジタルカメラ１０が撮影補助表示を行うときの動作について、図２に示すフローチャートを用いて説明する。この例では、特にカメラ１０を撮影モードに設定しているときの制御を示す。カメラ制御のフローがスタートすると、まず、ライブビュー表示を行う（Ｓ１）。このライブビュー表示では、前述したように、撮像部２の出力に基づいて被写体像を表示部８に動画表示する。撮影者は光学式ファインダ代わりに、ライブビュー表示を観察しながら構図を決定することができる。
【００２７】
次に、ユーザーがガイドモード（撮影補助モード）に設定しているか否かの判定を行う（Ｓ２）。このガイドモードは、撮影にあたってガイド表示を行うモードであり、前述したように、撮影画像の傾向を表示すると共に、単調な画像しか得られていない場合には、典型画像として警告表示を行う。ガイドモードは図示しない操作部材によって設定され、操作判定部６によってガイドモードが設定されたか否かを検出する。
【００２８】
ステップＳ２における判定の結果、ガイドモードが設定されていない場合には、ステップＳ６にジャンプし、一方、設定されていた場合には、ライブビュー画像を分析し、ガイド表示が必要か否かを判断する表示必要のサブルーチンを実行する（Ｓ３）。すなわち、このサブルーチンにおいては、ライブビュー表示される画像が、記録部４に記録されている撮影画像とまたも同じような画像である場合、または同じような画像ばかり撮影されている場合には、ガイド表示が必要と判断される。このサブルーチンについては、図３を用いて後述する。
【００２９】
続いて、ステップＳ４の表示必要における判断結果に基づいて、ガイド表示が必要か否かを判定し（Ｓ４）、判定の結果、表示が必要でない場合には、ステップＳ６にジャンプし、一方、ガイド表示が必要な場合には、撮影者に必要画像の表示を行う（Ｓ５）。すなわち、図１に例示したように、撮影画像の傾向を示すと共に、どのような画像（推奨画像）が必要かを太枠等によって警告・表示する。警告・表示がなされた場合には、ユーザーは、警告・表示にしたがって被写体を変更することにより、一連の撮影画像に変化をつけ、鑑賞者を飽きさせない写真撮影を行うことができる。
【００３０】
次に、レリーズ釦が操作され撮影を行うか否かを判定する（Ｓ６）。判定の結果、撮影を行わない場合には、ステップＳ２に戻り、前述の動作を繰り返す。一方、レリーズ釦が操作された場合には、撮影を行う（Ｓ７）。撮影は、撮像部２によって被写体画像の画像データを取得し、圧縮処理した上でこの画像データを記録部４に記録する。記録にあたっては、時計部９から撮影日時情報を取得し、これも併せて記録する（Ｓ８）。また、その他の情報、例えば、ズーム位置情報、ピント位置情報等も併せて記録する。
【００３１】
続いて、画像分類を行う（Ｓ９）。画像分類は、図１に例示されているように、ポートレート画像、一人画像、集合画像、風景画像等に分類する。ここでの画像分類の分類結果は、このフローをリターンし、再びステップＳ５を実行する際、画像傾向の表示に使用する。画像分類の詳しい動作は、図４を用いて後述する。
【００３２】
次に、ステップＳ３のガイド表示が必要か否かの判定を行っているサブルーチンについて、図３を用いて説明する。このサブルーチンに入ると、まず、ライブビュー画像の分析を行う（Ｓ１１）。この分析は、被写体判定部７を用いて、画像の中から顔を検出する。続いて、検出された被写体の顔の個数を判定する（Ｓ１２）。判定された顔の数が複数あるか否かを判定し（Ｓ１３）、複数ない場合には、ステップＳ１５にジャンプし、複数ある場合には、中央に存在する顔を選択する（Ｓ１４）。
【００３３】
続いて、典型画像過多か否かの判定を行う（Ｓ１５）。このステップでは、前のステップで選択された顔を用い、その顔と典型画像を比較することにより行う。この典型画像とは、同じような典型的画像ばかりが撮影されると、鑑賞するときにうんざりするような画像であり、典型画像が多いと写真鑑賞が楽しいものではなくなる。典型画像が過多か否かの判定については、図４に示す画像分類のサブルーチンの中で説明する。ライブビュー表示されている画像が典型画像と同様であると、補助表示必要の候補となる。
【００３４】
ステップＳ１５において、典型画像が過多でないと判定された場合には、元のフローにリターンし、一方、典型画像が過多であった場合には、続いて、類似画像か否かの判定を行う（Ｓ１６）。ここでの判定は、顔の表情が類似している場合や、特定人物が写っている場合には、類似画像と判断する。また、類似画像の判断にあたっては背景も考慮してもよい。
【００３５】
ステップＳ１６における判定の結果、類似していなかった場合には、元のフローにリターンし、一方、類似画像であった場合には、補助表示必要と判定される（Ｓ１７）。すなわち、ライブビュー表示されている画像は、典型的にうんざりしてしまうような構図ばかりの画像であり、さらに特定人物が写っているような画像であることから、ライブビュー表示されている画像の撮影に対して警告・表示すべく、補助表示が必要と判断される。この判断がなされると、前述のステップＳ５（図２参照）において、警告・表示がなされる。
【００３６】
次に、ステップＳ９（図２参照）における画像分類のサブルーチンについて、図４を用いて説明する。なお、このルーチンの中で、典型画像の過多か否かの判定も行う。この画像分類のサブルーチンに入ると、まず、被写体判定部７を用いて、撮影画像の分析を行う（Ｓ２１）。続いて、この分析結果に基づいて、検出された顔の個数を判定する（Ｓ２２）。また、画像と共に記録されている撮影時のズームレンズの設定位置（デジタルズームを併用している場合には、デジタルズームも考慮）や、ピント位置を判定する（Ｓ２３）。撮影光学系の設定位置を判定することにより、ピントを合わせている被写体の距離が分かり、遠距離であれば、風景であるといった判断ができる。
【００３７】
次に、顔が有るか否かの判定を行う（Ｓ２４）。判定の結果、顔がない場合には、風景画像か否かの判定を行う（Ｓ２５）。風景画像か否かの判定は、画像認識や、撮影時のピント位置情報に基づいて行う。判定の結果、風景ではなかった場合には、元のフローに戻り、風景であった場合には、風景画像と判定する（Ｓ２６）。このステップでは、風景画像の数が一つインクリメントされるよう管理されており、図１に示すバーグラフ表示に利用する。
【００３８】
ステップＳ２４における判定の結果、顔画像が有った場合には、顔画像の数が複数か否かの判定を行う（Ｓ２７）。判定の結果、複数の顔画像が存在した場合には、集合写真と判定し（Ｓ４１）、中央にある顔画像を仮記憶する（Ｓ４２）。そして、撮影が所定時間として３分以内に所定枚数として５枚以上撮影しているかを判定し（Ｓ４３）、判定の結果、Ｎｏであった場合には、元のフローに戻るが、一方、Ｙｅｓであった場合には、先の仮記憶した顔画像を５枚集めて比較・判定する（Ｓ４４）。このステップにおける判定の結果、この５枚以上の画像が類似画像ではなかった場合には、元のフローに戻る。なお、この所定時間の３分や所定枚数の５枚は、適宜、変更可能な値である。
【００３９】
一方、ステップＳ４５における判定の結果、５枚の顔画像が類似していた場合には、後で見てうんざりするような典型画像ばかりを撮影している状況として、典型画像撮影過多と判定する（Ｓ４６）。また、この時、どのような構図であったかどうかも判定しておく。例えば、その時の顔の大きさや、位置を記録してもよく、さらに詳細な画像マッチングや記録領域を前提に、顔画像を記録するようにしてもよい。
【００４０】
ステップＳ４６において、撮影時に、また、同一人物が主被写体になった画像かどうも判定し、同じ人物ばかりだと、別の人物も撮影するようアドバイスする等、警告を行ってもよい。この場合、他の画像も撮影した方がよいことを表示する。同一人物が常に真ん中で主役の画像が撮影されていると、他の人の興味がそがれてしまうからである。
【００４１】
また、このように多数の人物が撮影されていながら、常に同一人物が真ん中の場合には、運動会や学芸会等において、自分の子供だけを撮影するシーンだとみなされうる。この状況では、親は我が子のことで頭がいっぱいで、他のシーンを撮影することを忘れがちなので、本実施形態のような工夫によって、バラエティーに富んだ撮影画像を残すことができる。
【００４２】
ステップＳ２７において、判定の結果、顔画像が一つだった場合は、次に、その顔画像が所定の大きさ以下かどうかを判定する（Ｓ３１）。判定の結果、所定の大きさ以下の場合には、一人画像と判定する（Ｓ３２）。この場合は、被写体の近くに寄れず、撮影が困難な、運動会や学芸会、または発表会などのシーンと想定される。
【００４３】
続いて、ステップＳ４４と同様に、撮影済みの５枚を判定し（Ｓ３３）、その５枚の撮影画像が、例えば、３分以内に撮影されたものかどうかを判定する（Ｓ３４）。判定の結果、３分以内に撮影されたものであれば、前述のステップＳ４６に進み、典型画像過多と判定する。すなわち、すでに撮影した５枚が３分以内に撮影されたものであれば、やはり一人の被写体だけに、無意識にカメラを向けていて、他の画像を忘れていると考えられるので、典型画像過多と判定している。また、判定の結果、３分以内に撮影されたものでなければ、元のフローに戻る。
【００４４】
ステップＳ３１における判定の結果、所定の大きさより大きい画像であった場合には、ポートレート画像と判定する（Ｓ３５）。すなわち、一人の写真でも大きな画像で撮影する場合は、例えば、モデル撮影会のように、純粋に、その被写体のみの撮影に専念したい場合と考えられるからである。
【００４５】
ステップＳ３５においてポートレート判定を行うと、元のフローに戻る。なお、この場合も、他の写真をも撮影した方が、後で思い出に残るので、そのままリターンせずに、ステップＳ３３以下と同様に、所定時間の枚数を反映させても良い。
【００４６】
このように、本実施形態においては、撮影画像を、風景画像（Ｓ２６）、一人画像（Ｓ３２）、集合画像（Ｓ４１）、ポートレート画像（３５）に画像分類し、その撮影画像の枚数のカウントを行っている。この画像分類のカウント結果は、ステップＳ５において、バーグラフ８ｆ、８ｇ、８ｈとして表示される。
【００４７】
また、画像分類のサブルーチンにおいては、（１）集合画像が３分以内に５枚以上撮影され、しかも中央の顔画像が類似画像であり同一人の可能性の高い場合、（２）一人画像が直近の撮影済み画像の５枚が３分以内に撮影されている場合には、典型画像過多と判定している。
【００４８】
本実施形態におけるフローを実行することにより、図５（ｂ）に示すような典型的な画像ばかりを見せられることはなくなり、図５（ａ）に示すような会場の風景や、また、同じ人物であっても、図５（ｃ）に示すような、もっと近くに寄った画像などを取り混ぜて、変化やストーリー性のある写真集やアルバムにすることが可能となる。このため、目の前の興味に専念し、撮影に集中しすぎて、客観的に楽しめるバラエティーに富んだ撮影を忘れるという失敗を防ぐことができる。
【００４９】
次に、本発明の第２実施形態について、図６を用いて説明する。本発明の第１実施形態においては、顔の位置や大きさを重点的に用いて判定することにより、典型的な退屈画像になることを防止したが、第２実施形態においては、他の要素も考慮して、典型画像か否かの判断を行っている。この第２実施形態は、第１実施形態において図４に示した画像分類のサブルーチンを図６に示すフローに変更する以外は、同様であるので、相違点を中心に説明する。
【００５０】
図６に示す画像分類のサブルーチンに入ると、まず、撮影画像に付随的に記録されている撮影時のズーム位置を判定する（Ｓ５１）。続いて、画像の中の顔の大きさを判定し（Ｓ５２）、撮影画像に付随的に記録されている撮影時の撮影レンズのピント位置を判定する（Ｓ５３）。
【００５１】
次に、ステップＳ５１において求めたズーム位置を用いて、所定焦点距離より望遠か否かの判定を行う（Ｓ５４）。運動会や学芸会等のイベントでは、遠くのわが子を撮影するべく、望遠で撮影を行いがちで、この時、画角が狭くなり、ますます視野が狭くなって、あとから楽しめない情報量の少ない画像になりがちである。そこで、望遠で撮影していた場合には典型画像の候補になりうる。
【００５２】
ステップＳ５４において望遠撮影と判定された場合には、ステップＳ５２において求めた画像の顔の大きさが所定より小さいか否かの判定を行う（Ｓ５５）。望遠撮影していた場合に典型画像の候補になりうるが、望遠レンズのぼけ味を使ったポートレートなどもあり、この場合には、このステップにおいて、顔画像が大きいことから、典型画像候補から外れる。
【００５３】
ステップＳ５５における判定の結果、顔の大きさが所定より小さい場合には、元のフローに戻り、一方、大きかった場合には、典型画像の候補とする（Ｓ５６）。すなわち、本実施形態においては、望遠撮影であって、顔が小さい場合は、典型画像の候補としている。続いて、典型画像候補が５枚以上、撮影されているか否かを判定する（Ｓ５７）。なお、本実施形態では、典型画像候補として５枚以上か否かを判定しているが、この５枚は状況に応じて適宜変更できる値である。
【００５４】
判定の結果、典型画像候補が５枚未満の場合には、元のフローに戻るが、５枚以上ある場合には、この５枚の典型画像候補が所定期間内に撮影されたか否かの判定を行う（Ｓ５８）。判定の結果、所定期間内でなければ、そのまま元のフローに戻るが、所定期間であった場合には、典型画像とする（Ｓ５９）。すなわち、所定期間内に５枚以上の典型画像候補が撮影されている場合には、一つのことに集中して変化がなく、後で見たときに退屈になるような典型的な撮影になることが危惧され、同じような撮影にならないよう、比較用画像としている。
【００５５】
ステップＳ５４において、望遠撮影でなかった場合には、ズーム位置およびピント位置に基づいて距離判定を行う（Ｓ６１）。撮影光学系のズーム位置とピント位置が分かれば、被写体の距離情報が得られる。ここで求めた距離を用いて、所定距離より遠方か否かの判定を行う（Ｓ６２）。
【００５６】
距離情報が所定距離より遠い場合には、視点の変化がなく、後で見てつまらない画像になりがちなので、この場合も典型画像の候補とする。例えば、舞台に立つ人を撮影する場合、比較的遠距離の１０〜２０ｍの被写体であるが、このような状況で、舞台上の撮影ばかりに専念していると、見に行った人や、この催しが行われた建物などの撮影を忘れがちであり、単調な画像になりやすい。こうした舞台上の人物の表情に加え、舞台を降りた時の表情なども、変化があって楽しいが、舞台が終わると、緊張が途切れて、こうした写真撮影を忘れてしまう。したがって、このように、距離によるシーン判定も重要な判断となる。
【００５７】
そこで、ステップＳ６２における判定の結果、所定距離より遠い場合には、ステップＳ５６にジャンプし、前述のステップを実行し、単調な画像となる場合には典型画像とする。一方、所定距離より近い場合には、元のフローに戻る。
【００５８】
このように、本発明の第２実施形態においては、撮影時のピント位置、ズーム位置、顔の大きさに基づいて、（１）望遠撮影の場合には顔の大きさが所定以下の典型画像候補が所定時間内に所定枚数撮影されているとき、または、（２）望遠撮影でない場合には、所定距離より遠い場合には、所定時間に所定枚数の撮影がなされているときには、典型画像としている。典型画像として扱うことにより、第１実施形態と同様、撮影者に対して、警告・表示等を行うことが可能となる。
【００５９】
以上のように、本実施形態においては、顔の大きさ、距離の変化、ズーム位置の判定によって、画像が単調になりがちな状況を判断し、それを防止することができる。
【００６０】
次に、本発明の第３実施形態について、図７及び図８を用いて説明する。本発明の第１および第２実施形態においては、スタンドアロンタイプのデジタルカメラを用いて、典型的な退屈画像になることを防止したが、第３実施形態においては、ネットを介して接続したサーバーと協働し、典型画像か否か等の判断を行い、撮影画像の傾向を表示すると共に、典型画像を撮影しそうな場合には警告・表示を行っている。この第３実施形態は、第１実施形態における図１に示すブロック構成図を図７に示すブロック図に置き換え、また図２に示すカメラ制御のフローを、図８に示すフローに変更する点が相違するのみであるので、相違点を中心に説明する。
【００６１】
第３実施形態に係わるデジタルカメラ１０は、図１に示したデジタルカメラ１０と比較して、通信部１２を有している点が相違するのみである。この通信部１２は、インターネット等のネット３０を通じて、外部のサーバー３１と送受信を行う。カメラ１０はサーバー３１に対して、通信部１２より、画像データと、この画像データに付随する日時情報（時刻）、顔位置情報、顔の大きさ情報、ズーム位置情報、距離情報等のデータ１１を送信する。
【００６２】
サーバー３１内には、シーン判定部３２およびガイド情報部３３が設けられている。シーン判定部３２は、撮影画像を第１および第２実施形態と同様に、分析・判定し、画像分類を行い、撮影画像の傾向を分析し、典型画像の撮影となるか否かの判定を行う。また、ガイド情報部３３は、シーン判定部３３の出力に基づいて、カメラ１０に表示するためのアドバイス（補助、ガイド）情報１４を作成する。ここで作成されたアドバイス情報１４は、図示しない通信部からネット３０を介してカメラ１０に送信される。
【００６３】
ガイド情報部３３において作成されたアドバイス情報１４は、サーバー３１の送受信部から、ネット３０を介してカメラ１０の通信部１２に送信される。カメラ１０は、受信したアドバイス情報１４を、表示部８に表示する。
【００６４】
このように構成されたサーバー３１と協働するカメラ１０の動作について、図８に示すフローチャートを用いて説明する。カメラ制御のフローをスタートすると、ステップＳ１と同様に、ライブビュー表示を開始する（Ｓ１０１）。この後、図１のステップＳ２、ステップＳ４からステップＳ８と同様の動作を、ステップＳ１０２からステップＳ１０８において行う。
【００６５】
第１実施形態においては、ステップＳ９において、画像分類のサブルーチンをカメラ１０内において行っていたが、第３実施形態において、この作業はサーバー３１内において行う。このため、ステップＳ１０９においては、データ１１をサーバー３１に送信し、アドバイス情報１４をサーバー３１から受信する。
【００６６】
サーバー３１に対する通信が終わるとリターンし、ステップＳ１０１から繰り返し動作する。そして、サーバー３１から受信したアドバイス情報を用いて、ステップＳ１０４で撮影補助の表示が必要か否かを判定し、ステップＳ１０５において、撮影補助表示を行う。
【００６７】
このように、本実施形態においては、カメラ１０内で行っていた画像分類等のサブルーチンに相当する部分をサーバー３１において行うようにしている。処理能力の高い外部サーバーと接続して種々の分析・判定を行うことができることから、高度の画像処理を行うことができ、ユーザーに対して、より適切なアドバイスを与えることができる。
【００６８】
以上、説明したように、本発明の各実施形態は、鑑賞する人が、画像鑑賞をする状態を捉えて、それに相応しい撮影ができるので、完成度の高いコンテンツにすることができる撮像装置および撮像システムの提供が可能となる。
【００６９】
なお、本実施形態においては、撮影画像の分類として、一人撮影、集合撮影、風景撮影、ポートレート撮影の４分類としたが、これに限らず、動きのある被写体を撮影する動体撮影等他の撮影を追加するなど、適宜変更することができる。
【００７０】
また、本実施形態においては、表示部８に分類された画像ごとに撮影頻度を表示すると共に、ライブビュー表示を並べて表示したが、表示方法は種々変更可能であり、例えば、推奨画像のみを表示してもよく、また撮影頻度とライブビュー表示を切り換えるようにしても構わない。
【００７１】
さらに、本実施形態においては、デジタルカメラを用いて説明したが、デジタルカメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ  Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【００７２】
なお、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７３】
【図１】本発明の第１実施形態に係わるカメラにおけるブロック図である。
【図２】本発明の第１実施形態に係わるカメラにおけるカメラ制御を示すフローチャートである。
【図３】本発明の第１実施形態に係わるカメラにおける表示必要を示すフローチャートである。
【図４】本発明の第１実施形態に係わるカメラにおける画像分類のフローチャートである。
【図５】本発明の第１実施形態において撮影画像を説明する図である。
【図６】本発明の第２実施形態に係わるカメラにおける画像分類のフローチャートである。
【図７】本発明の第３実施形態に係わるカメラとサーバーとからなる撮像システムのブロック図である。
【図８】本発明の第３実施形態に係わるカメラにおけるカメラ制御を示すフローチャートである。
【図９】従来からなされているカメラで撮影した画像をテレビの画面で鑑賞している様子を示す図である。
【符号の説明】
【００７４】
１・・・制御部、２・・・撮像部、３・・・レンズ判定部、４・・・記録部、５・・・表示情報部、６・・・操作判定部、７・・・被写体判定部、８・・・表示部、８ａ・・・ライブビュー表示、８ｂ・・・ポートレート画像、８ｃ・・・一人画像、８ｄ・・・集合画像、８ｅ・・・風景画像、８ｆ・・・バーグラフ、８ｇ・・・バーグラフ、８ｈ・・・バーグラフ、１０・・・カメラ、１１・・・データ、１２・・・通信部、１４・・・アドバイス情報、２０・・・テレビ、３０・・・ネット、３１・・・サーバー、３２・・・シーン判定部、３３・・・ガイド情報部
【図１】
2009044602.tif 000003
【図２】
2009044602.tif 000004
【図３】
2009044602.tif 000005
【図４】
2009044602.tif 000006
【図５】
2009044602.tif 000007
【図６】
2009044602.tif 000008
【図７】
2009044602.tif 000009
【図８】
2009044602.tif 000010
【図９】
2009044602.tif 000011