(57)【要約】【課題】主要被写体を推定する。【解決手段】画像処理装置であって、時系列に撮像された複数の画像を取得する画像取得部と、複数の画像に含まれる互いに異なる複数の被写体を抽出する被写体抽出部と、複数の画像のうちの少なくともいずれかの画像に基づいて、複数の被写体のいずれが不要被写体かを推定する不要被写体推定部と、複数の被写体のうちから不要被写体を除いた被写体候補に基づいて、主要被写体を推定する主要被写体推定部と、を備える。【選択図】図８
2013012993.tif 000002
【特許請求の範囲】
【請求項１】
時系列に撮像された複数の画像を取得する画像取得部と、
前記複数の画像に含まれる互いに異なる複数の被写体を抽出する被写体抽出部と、
前記複数の画像のうちの少なくともいずれかの画像に基づいて、前記複数の被写体のいずれが不要被写体かを推定する不要被写体推定部と、
前記複数の被写体のうちから前記不要被写体を除いた被写体候補に基づいて、主要被写体を推定する主要被写体推定部と、を有することを特徴とする画像処理装置。
【請求項２】
前記主要被写体推定部は、前記被写体候補が複数存在する場合において、当該被写体候補のそれぞれが、前記複数の画像のそれぞれにおいていずれの存在位置に存在するかを判断し、前記複数の画像間の前記存在位置の履歴に基づいて、前記被写体候補のいずれが主要被写体であるかを推定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像のうち、前記不要被写体推定部が推定した前記不要被写体のコントラストがより小さい画像、前記不要被写体の占める面積がより小さい画像、および、前記不要被写体の位置がより周辺に近い画像の少なくともいずれかを選択する画像選択部をさらに備える請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像選択部は、前記複数の画像のうち、不要被写体決定部が推定した前記不要被写体のコントラストがより小さい画像、前記不要被写体の占める面積がより小さい画像、および、前記不要被写体の位置がより周辺に近い画像の少なくともいずれか、であって、かつ、
主要被写体決定部が決定した前記主要被写体のコントラストがより大きい画像、前記主要被写体の占める面積がより大きい画像、および、前記主要被写体の位置がより中央に近い画像の少なくともいずれか
を選択する請求項３に記載の画像処理装置。
【請求項５】
前記主要被写体推定部は、前記複数の画像において、前記時系列上で撮像を開始したタイミングにより近い画像に出現する被写体に重みをつけて評価する請求項１から請求項４までのいずれか一項に記載の画像処理装置。
【請求項６】
前記被写体抽出部は、前記複数の被写体のそれぞれについて顔を検出し、
前記不要被写体推定部は、前記顔を個別に評価することにより前記不要被写体を推定する請求項１から請求項５までのいずれか一項に記載の画像処理装置。
【請求項７】
前記不要被写体推定部は、前記顔における笑顔の特徴を抽出して前記被写体をそれぞれ評価する請求項６に記載の画像処理装置。
【請求項８】
前記不要被写体推定部は、前記被写体が人物である場合には当該人物の視線を抽出して前記被写体の各々を評価する請求項６または請求項７に記載の画像処理装置。
【請求項９】
前記不要被写体推定部は、予め登録された被写体であるか否かを示す情報に基づいて、前記被写体をそれぞれ評価する請求項７または請求項８に記載の画像処理装置。
【請求項１０】
前記不要被写体推定部は、前記複数の画像における被写体毎の撮影頻度に基づいて、前記被写体をそれぞれ評価する請求項７または請求項８に記載の画像処理装置。
【請求項１１】
請求項１から請求項１０までのいずれか一項に記載の画像処理装置と、
ユーザから操作されるレリーズボタンと、
前記レリーズボタンの一度の操作に対して、前記複数の画像を撮像する撮像部と
を備える撮像装置。
【請求項１２】
時系列に撮像された複数の画像を取得する画像取得手順と、
前記複数の画像に含まれる互いに異なる複数の被写体を抽出する被写体抽出手順と、
前記複数の画像のうちの少なくともいずれかの画像に基づいて、前記複数の被写体のいずれが不要被写体かを推定する不要被写体推定手順と、
前記複数の被写体のうちから前記不要被写体を除いた被写体候補に基づいて、主要被写体を推定する主要被写体推定手順と、
を計算機に実行させる画像処理プログラム。
【請求項１３】
前記主要被写体推定手順は、前記被写体候補が複数存在する場合において、当該被写体候補のそれぞれが、前記複数の画像のそれぞれにおいていずれの存在位置に存在するかを判断し、前記複数の画像間の前記存在位置の履歴に基づいて、前記被写体候補のいずれが主要被写体であるかを推定することを特徴とする請求項１２に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
時系列的に取得した複数の画像に含まれる変化のない被写体を排除することにより、主要な被写体に適合した撮影条件で撮影するデジタルカメラがある（特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００９−０８９１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、撮像間隔が短くなると、画像相互の間で被写体の変化が少なくなる。このため、主要被写体と不要被写体との峻別が難しくなる。
【課題を解決するための手段】
【０００４】
上記課題を解決すべく、本発明の第一態様として、時系列に撮像された複数の画像を取得する画像取得部と、複数の画像に含まれる互いに異なる複数の被写体を抽出する被写体抽出部と、複数の画像のうちの少なくともいずれかの画像に基づいて、複数の被写体のいずれが不要被写体かを推定する不要被写体推定部と、複数の被写体のうちから不要被写体を除いた被写体候補に基づいて、主要被写体を推定する主要被写体推定部と、を備える画像処理装置が提供される。
【０００５】
また、本発明の第二態様として、上記画像処理装置と、ユーザから操作されるレリーズボタンと、レリーズボタンの一度の操作に対して、複数の画像を撮像する撮像部とを備える撮像装置が提供される。
【０００６】
更に、本発明の第三態様として、  時系列に撮像された複数の画像を取得する画像取得手順と、複数の画像に含まれる互いに異なる複数の被写体を抽出する被写体抽出手順と、複数の画像のうちの少なくともいずれかの画像に基づいて、複数の被写体のいずれが不要被写体かを推定する不要被写体推定手順と、複数の被写体のうちから不要被写体を除いた被写体候補に基づいて、主要被写体を推定する主要被写体推定手順と、を計算機に実行させる画像処理プログラム、が提供される。
【０００７】
上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。これら特徴群のサブコンビネーションもまた発明となり得る。
【図面の簡単な説明】
【０００８】
【図１】デジタルカメラ１００の斜視図である。
【図２】デジタルカメラ１００の斜視図である。
【図３】デジタルカメラ１００の内部回路２００を示すブロック図である。
【図４】不要被写体推定部２６０の動作手順を示す流れ図である。
【図５】撮影画像群４１０を例示する模式図である。
【図６】不要被写体推定部２６０の動作を模式的に示す図である。
【図７】不要被写体推定部２６０の動作を模式的に示す図である。
【図８】不要被写体推定部２６０の動作を模式的に示す図である。
【図９】不要被写体推定部２６０の動作を模式的に示す図である。
【図１０】主要被写体推定部２７０の動作手順を示す流れ図である。
【図１１】主要被写体推定部２７０の動作を模式的に示す図である。
【図１２】主要被写体推定部２７０の動作を模式的に示す図である。
【図１３】主要被写体推定部２７０の動作を模式的に示す図である。
【図１４】主要被写体推定部２７０の動作を模式的に示す図である。
【図１５】画像選択部２８０の動作手順を示す流れ図である。
【図１６】画像選択部２８０の動作を模式的に示す図である。
【図１７】画像選択部２８０の動作を模式的に示す図である。
【図１８】画像選択部２８０の動作を模式的に示す図である。
【図１９】画像選択部２８０の動作を模式的に示す図である。
【図２０】画像選択部２８０の動作を模式的に示す図である。
【図２１】画像選択部２８０の動作を模式的に示す図である。
【図２２】画像処理プログラムを実行するパーソナルコンピュータの模式図である。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
図１は、撮像装置の一種であるデジタルカメラ１００を斜め前方から見た斜視図である。デジタルカメラ１００は、前後に薄い立方体の筐体１１０と、筐体１１０の前面に配置されたレンズ鏡筒１２０および発光窓１３０と、筐体１１０の上面に配置された電源スイッチ１４２、レリーズボタン１４４、ズームレバー１４６を含む操作部１４０の一部を備える。
【００１１】
レンズ鏡筒１２０は、筐体１１０の内部に配置された撮像素子に被写体像を結像する撮影レンズ１２２を保持する。筐体１１０の内部に配置された図示していない発光部により発生した光は、発光窓１３０を介して被写体を照明する。
【００１２】
電源スイッチ１４２は、押される毎にデジタルカメラ１００の電源を断続する。ズームレバー１４６は、レンズ鏡筒１２０に保持された撮影レンズの倍率を変化させる。
【００１３】
レリーズボタン１４４は、ユーザーによって半押しされた場合に、自動合焦部、測光センサ等が駆動されると共に、撮像素子によるスルー画像撮影動作が実行される。これにより、デジタルカメラ１００はスルー画像撮影に続く、被写体像の本撮影に備える。レリーズボタン１４４の全押し操作がなされると、シャッタが開いて被写体像の本撮影動作が実行される。撮影範囲の明るさが暗いなどの場合には、本撮影のタイミングに合わせて発光窓１３０から光が被写体に向かって投射される。
【００１４】
図２は、デジタルカメラ１００を斜め後方から見た斜視図である。図１と共通の要素には同じ参照番号を付して重複する説明を省く。
【００１５】
筐体１１０の背面には、十字キー１４１および背面ボタン１４３を含む操作部１４０の一部と、背面表示部１５０とが配される。十字キー１４１および背面ボタン１４３は、デジタルカメラ１００に各種設定を入力する場合、デジタルカメラ１００の動作モードを切り替える場合、レンズ鏡筒の変倍等をリアルタイムで変更する場合等に、ユーザにより操作される。
【００１６】
背面表示部１５０は、液晶表示パネル等により形成され、筐体１１０背面の多くの領域を占める。デジタルカメラ１００が撮影モードの場合、レンズ鏡筒１２０に入射する被写体像が撮像素子により連続的に光電変換され、スルー画として背面表示部１５０に表示される。ユーザは、背面表示部１５０に表示されたスルー画を観察することにより、有効な撮影範囲を知ることができる。
【００１７】
また、背面表示部１５０には、電池の残量、記憶媒体の残り容量等、デジタルカメラ１００の状態が併せて表示される。更に、デジタルカメラ１００が再生モードで動作する場合は、再生画像が背面表示部１５０に表示される。
【００１８】
図３は、デジタルカメラ１００の内部回路２００を模式的に示すブロック図である。図１および図２と共通の要素には同じ参照番号を付して重複する説明を省く。内部回路２００は、制御部２０１、画像取得部２０２および撮影画像処理部２０３を含む。
【００１９】
制御部２０１には、ＣＰＵ２１０、表示駆動部２２０、プログラムメモリ２３０およびメインメモリ２４０で構成される。ＣＰＵ２１０は、プログラムメモリ２３０からメインメモリ２４０に読み込んだファームウエアに従って、デジタルカメラ１００の動作を包括的に制御する。表示駆動部２２０は、ＣＰＵ２１０からの指示に従って表示画像を生成し、生成した画像を背面表示部１５０に表示する。
【００２０】
画像取得部２０２は、撮像素子駆動部３１０、撮像素子３１２、アナログ／デジタル変換部３２０、画像処理部３３０、自動合焦部３４０および測光センサ３５０を含む。
【００２１】
撮像素子駆動部３１０は、撮像素子３１２を駆動して、撮影レンズ１２２により撮像素子３１２の撮像面に結像された被写体像を光電変換して画像信号にする。撮像素子３１２としては、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等を用いることができる。
【００２２】
撮像素子３１２の出力する画像信号は、アナログ／デジタル変換部３２０により離散化され、画像処理部３３０により撮影画像データに変換される。画像処理部３３０は、撮影画像データを生成する過程で、画像のホワイトバランス、シャープネス、ガンマ、階調補正等を調整すると共に、撮影画像データを後述する二次記憶媒体３３２に記憶する際の圧縮率等を設定する。
【００２３】
画像処理部３３０において生成された画像データは、二次記憶媒体３３２に格納して保存される。二次記憶媒体３３２としては、フラッシュメモリカード等の不揮発性記憶素子を備えた媒体が使用される。なお、二次記憶媒体３３２の少なくとも一部は、デジタルカメラ１００から着脱して交換できる。
【００２４】
自動合焦部３４０は、例えば、撮像素子３１２の撮像面に配設された位相差方式の焦点検出素子を用いて、周知の位相差方式による自動合焦動作を行う。なおスルー画の合焦領域において、当該画像のコントラストが最も高くなった場合に撮影レンズ１２２が合焦したと判断するコントラストＡＦ方式を用いるようにしても良い。測光センサ３５０は、被写体の明るさを計測して、デジタルカメラ１００の撮影条件を決定する。変倍駆動部３６０は、ＣＰＵ２１０の指示に従って撮影レンズ１２２の一部を移動させる。これにより、撮影レンズ１２２の倍率が変化して、撮影画像の画角が変化する。
【００２５】
入力部３７０は、操作部１４０からの入力を受け付け、デジタルカメラ１００に設定された設定値等を保持する。ＣＰＵ２１０は、入力部３７０を参照して、動作条件を決定する。
【００２６】
上記のような内部回路２００を有するデジタルカメラ１００は、さらにユーザがレリーズボタン１４４を押し下げる１回の撮影操作（全押し操作）に対して、画像取得部（撮像部）２０２が複数の画像データを取得する撮影モードを有する。同撮影モードの設定がなされると、ＣＰＵ２１０は、撮像素子駆動部３１０により、撮像素子３１２が連続撮影を行うよう制御する。これにより、時系列撮影画像（映像）データが取得される。このようにして取得された時系列の撮影画像データは、画像処理部３３０内のＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）メモリに順次入力される。
【００２７】
ＦＩＦＯメモリは、所定の記憶容量を有しており、順次入力される入力データが当該所定の容量に達すると、入力された順に撮影画像データが出力される。上記撮影モードでは、ユーザによるレリーズボタン１４４の全押し操作から所定時間が経過するまで、時系列の撮影画像データが、順次ＦＩＦＯメモリに入力され、この間に、ＦＩＦＯメモリから出力されたデータは削除される。レリーズボタン１４４の全押し操作がなされてから所定時間が経過すると、ＦＩＦＯメモリへの撮影画像データの書き込みが禁止される。
【００２８】
これにより、ＦＩＦＯメモリ内には、レリーズボタン１４４の全押し操作の前後に取得された複数フレームの時系列撮影画像データが保持される。即ち、一度の撮影操作（全押し操作）に対して画像取得部２０２が時系列で撮像された複数の画像を取得することにより、それら複数の画像から、撮影条件（絞り開度、シャッタ速度、撮像素子感度等）、撮影タイミング等が適していた撮影画像を当該撮影モードで取得された複数フレームの撮影画像の中から選択できる。これにより、撮影の成功率を向上させることができる。
【００２９】
近年、デジタルカメラ１００の性能が向上し、ユーザの一度のレリーズボタン操作に対して数十枚にも及ぶ画像データを取得することができるようになってきている。そのような場合には特に、大量の撮影画像データから保存すべき画像データを選択することがユーザの負担になる場合がある。本実施形態によれば、このようなユーザの負担を後述のように軽減することができる。
【００３０】
図３に示される、デジタルカメラ１００は、撮影画像処理部２０３を備える。撮影画像処理部２０３は、被写体抽出部２５０、不要被写体推定部２６０、主要被写体推定部２７０および画像選択部２８０を有し、複数の撮影画像から、画像としての価値がより高いと推定される撮影画像を選択する。
【００３１】
ここで、画像としての価値とは、画像データとしての品質の高さの他、撮影内容に対する評価も含む。画像データとしての品質の高さとは、画像の解像が高い、ダイナミックレンジが広い、白とび／黒つぶれ等が生じていない等、デジタルデータとして信号品質に依存する価値の高さを意味する。一方、撮影内容に対する評価とは、ユーザにとって関心が高い被写体が映像に含まれているか、当該被写体にピントがあっているか、当該被写体の露光状態が適切であるか等、ユーザの主観的価値に依存する評価を意味する。以下、撮影画像選択部２８０の動作について説明する。
【００３２】
図４は、撮影画像処理部２０３における被写体抽出部２５０および不要被写体推定部２６０の動作手順を示す流れ図である。また、図５から図９は、撮影画像処理部２０３の被写体抽出部２５０および不要被写体推定部２６０において実行される処理を模式的に示す図であり、下記の説明において随時参照する。
【００３３】
撮影画像処理部２０３は、図５に示すように、撮影画像のうち、１回のレリーズ操作により画像取得部２０２が取得した複数の撮影画像４１−１〜４１−ｎを含む撮影画像群４１０を二次記憶媒体３３２から取得する（ステップＳ１０１）。次に、撮影画像処理部２０３は、被写体抽出部２５０において、複数の撮影画像４１−１〜４１−ｎのそれぞれに含まれる複数の被写体１１〜３１を全て抽出する（ステップＳ１０２）。
【００３４】
続いて、被写体抽出部２５０は、これら被写体１１〜３１のそれぞれについて顔認識を実行する（ステップＳ１０３）。これにより、図５に枠により示すように、顔が認識された被写体１５〜３１が処理の対象となる被写体とされ、他の人物ではない被写体１１〜１４は、撮影画像処理部２０３の処理の対象から除かれる（ステップＳ１０４）。
【００３５】
顔認識を実行することにより、処理の対象とされた被写体１５〜３１については、更に、個体が識別され、不要被写体推定部２６０は、個々の被写体１５〜３１について、不要被写体としての評価を実行する（ステップＳ１０５）。
【００３６】
図６には、不要被写体推定部２６０による不要被写体としての評価方法のひとつが例示される。即ち、不要被写体推定部２６０は、既に顔認識されている被写体１５〜３１のそれぞれについて視線を抽出する。不要被写体推定部２６０は、抽出された視線がデジタルカメラ１００から逸れている被写体１５、１６、２４、２５を不要被写体と推定する（ステップＳ１０６）。不要被写体１５、１６、２４、２５は、不要被写体推定部２６０の処理の対象から除かれる。
【００３７】
不要被写体推定部２６０は、未評価の被写体がなくなるまで、上記のステップＳ１０５およびステップＳ１０６を繰り返す（ステップＳ１０７：ＮＯ）。未評価の被写体がなくなった場合（ステップＳ１０７：ＹＥＳ）、不要被写体推定部２６０は処理を終了する。
【００３８】
図７には、不要被写体推定部２６０による不要被写体の他の評価方法が例示される。即ち、不要被写体推定部２６０は、認識した顔から笑顔の特徴（笑顔の度合い／笑顔度）を抽出する（ステップＳ１０５）。この笑顔度の評価自体は周知の技術であるのでここでの説明は省略する。この抽出された笑顔度に基づいて、表情の評価が低い（笑顔度が、予め決められた所定笑顔度よりも低い）被写体２１、２３、２８は不要被写体と推定される（ステップＳ１０６）。これら被写体２１、２３、２８は、不要被写体推定部２６０の処理の対象から除かれる。
【００３９】
なお顔認識している被写体から得られる情報としては、上述したような「視線」や「笑顔度」だけでなく、例えば、「顔の向き」や、「顔の大きさ」などの情報も得られる。これらの情報に基づいて不要被写体推定を行っても良い。
【００４０】
例えば「顔の向き」に関しては、正面を向いていない被写体を不要被写体として推定するようにしても良い。正面を向いているか否かの判別は、例えば上述した「視線」の情報を用いて、両目が写っていない被写体を「正面を向いていない被写体」として推定する。
【００４１】
また「顔の大きさ」に関しては、撮影画面に対してその被写体の顔が占める面積の割合を判別し、その割合が所定割合未満の被写体を不要被写体として推定するようにしても良い。或いは全ての被写体の顔の大きさを相対比較して、相対的に小さい大きさの顔の被写体を不要被写体と推定しても良い。相対比較の方法としては、一番大きい顔から上位５番目までの顔を除いて、残り全てを不要被写体と判定する方法や、或いは被写体全ての顔の大きさの平均値を求め、その平均値よりも小さい顔の被写体を不要被写体として推定する方法など様々な手法が考えられる。
【００４２】
また、別に手法として、ステップＳ１０５において、不要被写体推定部２６０は、デジタルカメラ１００内のＲＡＭなどに予め登録された被写体（人物の顔）を比較情報として用いることによってし、画像に写っている被写体が、予め顔登録されている被写体か否かを判別（評価）するようにしても良い。これによりデジタルカメラ１００のユーザとの親近性により不要被写体としての評価を行うことができる。すなわち、予めカメラ登録されていない顔の被写体（例えば被写体２２、２９）に対して、不要被写体推定部２６０は、図８に示すように、被写体２２、２９を不要被写体と推定する（ステップＳ１０６）。よって、これら被写体２２、２９も、不要被写体推定部２６０の処理の対象から除かれる。
【００４３】
図９には、不要被写体推定部２６０による不要被写体のまた他の評価方法が例示される。図９は、一連の連続撮影により撮影された画像（フレーム）４１−１〜４１−ｎにおいて、どの被写体がどのくらいのフレーム数に撮影されているのかを示す模式図である。
【００４４】
図９の場合には、被写体２６が２８枚のフレームに写っており、次いで被写体２７が２５枚のフレームに写っており、以下、被写体３０が６枚のフレーム、被写体３１が７枚のフレームに写っていることを示す。そして不要被写体推定部２６０は、この写っているフレーム数の多少に基づいて不要被写体を判定する。
【００４５】
即ち、不要被写体推定部２６０は、複数の撮影画像４１−１〜４１−ｎについて、未だ不要被写体と認識されていない（換言すれば主要被写体候補として残っている）被写体２６、２７、３０、３１に関して個別の（被写体毎の）撮影頻度（撮影されたフレーム数／写っているフレーム数）を抽出して被写体を評価する（ステップＳ１０５）。これにより、撮影頻度が低い被写体３０、３１は、不要被写体推定部２６０により不要被写体と推定される（ステップＳ１０６）。
【００４６】
よって、これら被写体３０、３１も、不要被写体推定部２６０の処理の対象から除かれる。なお「撮影頻度が低いか否か」の判断は、被写体間での相対比較で少ないフレーム数の被写体を「低い」と判断しても良いし、予め決められた所定フレーム数よりも少ないフレーム数の被写体を「低い」と判断しても良い。
【００４７】
このように、不要被写体推定部２６０は、被写体の顔を個別に評価した上で不要被写体を推定する様々な評価項目と評価方法により不要被写体を推定する。評価結果により不要被写体と推定された被写体を除くことにより、後述の処理の負荷を軽減できる。
【００４８】
なお、不要被写体推定部２６０における不要被写体としての評価項目および評価方法が上記の例に限られないことはもちろんである。また、上記の評価項目を全て実行するとは限らず、その一部を実行してもよい。
【００４９】
次に主要被写体推定処理について、図１０を用いて説明する。ＣＰＵ２１０は、主要被写体推定部２７０の処理動作（図１０）を、上述した不要被写体推定部２６０における処理動作（図４）の実行した後に、画像選択部２８０に実行させる。
【００５０】
図１０は、撮影画像処理部２０３における主要被写体推定部２７０の動作手順を示す流れ図である。なお図１１から図１４は、撮影画像処理部２０３の主要被写体推定部２７０において実行される処理を模式的に示す図であり、下記の説明において随時参照する。
【００５１】
主要被写体推定部２７０は、まず、既述した不要被写体推定部２６０が不要被写体であることを推定した被写体１１〜１４、２１〜２５、２８〜３１を主要被写体候補から除外し（ステップＳ２０１）、残る被写体を主要被写体推定処理の対象とする。これにより、図１１に示すように、主要被写体の候補となる候補被写体２６、２７が特定される（ステップＳ２０２）。
【００５２】
次に、主要被写体推定部２７０は、個々の撮影画像４１−１〜４１−ｎについて、主要被写体候補の被写体２６、２７を個別に評価する（ステップＳ２０３）。この評価の方法としては、例えば、個々の撮影画像４１−１〜４１−ｎにおける候補被写体２６、２７の位置に基づく方法を例示できる。
【００５３】
図１２は、主要被写体推定部２７０が、被写界４２１における被写体の位置の履歴に基づいて候補被写体２６、２７を評価する方法を模式的に示す図である。撮影画像の内容を示す図ではない。
【００５４】
図示のように、主要被写体推定部２７０は、デジタルカメラ１００の撮影した一連の連写画像（複数の撮影画像）４１−１〜４１−ｎにおいて、候補被写体２６、２７のそれぞれを個別に追尾して、候補被写体２６、２７の各画像内における存在位置が、撮影画像４１−１〜４１−ｎの各画像の中心Ｃからどれぐらい離れた位置に存在しているか（写っているか）を調べる。
【００５５】
より具体的には、主要被写体推定部２７０は、複数の撮影画像４１−１〜４１−ｎにおいて、候補被写体２６が写っている位置（存在位置）を、複数の撮影画像４１−１〜４１−ｎの中心Ｃから候補被写体２６のまでの距離ｄ１、ｄ２、ｄ３、・・・、ｄＸ（ｘは任意に設定可能でＭＡＸはｎ）の平均値により評価する。次に、主要被写体推定部２７０は、他の候補被写体２７についても、複数の撮影画像４１−１〜４１−ｎの中心Ｃから候補被写体２７のまでの距離Ｄ１、Ｄ２、Ｄ３、・・・、ＤＸ（ｘは任意に設定可能でＭＡＸはｎ）の平均値により評価する。
図１２では、一例として、各候補被写体２６，２７がそれぞれ写っている５枚の画像（全押し操作タイミング近傍の５枚の画像）から、各候補被写体の存在位置の平均値を算出する例を説明している。主要被写体推定部２７０は、５枚の撮影画像４１−１〜４１−５において、候補被写体２６が写っている存在位置を、５枚の撮影画像４１−１〜４１−５の中心Ｃから候補被写体２６のまでの距離ｄ１、ｄ２、ｄ３、ｄ４、ｄ５の平均値により評価する。次に、主要被写体推定部２７０は、候補被写体２７についても、複数の撮影画像４１−１〜４１−５の中心Ｃから候補被写体２７のまでの距離Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５の平均値により評価する。
【００５６】
上記のような評価により、図１２に図示した例では、候補被写体２７の方が、候補被写体２６よりも、撮影画像の中心Ｃの近くに写っていることが多いと判る。そこで、主要被写体推定部２７０は、候補被写体２７が主要被写体であると推定する。こうして、撮影画像処理部２０３は、多くの被写体１１〜１４、２１〜３１のなかから、主要被写体２７を推定する（ステップＳ２０２）。
【００５７】
以下、主要被写体推定部２７０は、未評価の候補被写体がなくなるまで、上記のステップＳ２０３、Ｓ２０４を繰り返す（ステップＳ２０３：ＮＯ）。未評価の被写体がなくなった場合（ステップＳ２０３：ＹＥＳ）は、主要被写体推定部２７０における処理は終了する。
【００５８】
図１３は、主要被写体推定部２７０が、被写界４２２における位置の履歴（各フレームにおける各候補被写体の存在位置の情報）に基づいて、候補被写体２６、２７を評価する他の方法を模式的に示す図である。図示のように、まず、デジタルカメラ１００の被写界４２２の中央付近に、中心領域Ａを設定する。次いで、一連の複数の撮影画像４１−１〜４１−ｎにおいて、候補被写体２６、２７が、中心領域Ａに入り込んだ回数を計数する。
【００５９】
これにより、例えば図１３の例では、候補被写体２７の方が、候補被写体２６よりも、中心領域Ａ内に写っている回数が多いと判る。そこで、主要被写体推定部２７０は、候補被写体２７が主要被写体であると推定する。
【００６０】
このように、撮影画像処理部２０３は、一連の連写画像間（複数の画像）間における各被写体（候補被写体）の存在位置の履歴に基づいて、主要被写体２７を推定する。ただし、主要被写体２７を位置の履歴に基づいて推定する場合の評価方法が上記の方法に限らないことはもちろんである。例えば、図１２に示した方法において、中心Ｃとの距離Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５を評価する場合に、単純平均ではなく、統計的な処理を加えて評価値を算出してもよい。また、中心Ｃとの距離の被写体２７が、時間の経過と共に被写界４２２の中心に近づいていることを評価してもよい。
【００６１】
図１４は、主要被写体推定部２７０が、候補被写体２６、２７を評価する他の方法を模式的に示す図である。既に説明したように、デジタルカメラ１００の画像取得部２０２は、一度の撮像操作に対して時系列で撮像された複数の画像を取得することができる。こうして取得された複数の撮影画像４１−１〜４１−ｎのうち、レリーズボタン１４４が押し下げられたタイミングに対して時間的により近い撮影画像に写っている候補被写体（２６、２７）は、撮影者が撮影することを意図した被写体である蓋然性が高い。
【００６２】
よって、上記のように候補被写体が複数（２６、２７）存在する場合に、何れが主要被写体であるかを評価する場合には、取得されたタイミングが、レリーズボタン１４４が押し下げられたタイミングに対して時間的に近い撮影画像に写っている候補被写体の方に重みをつけて評価してもよい。また、レリーズタイミングにより近いタイミングで取得された画像において、被写界４２１の中心Ｃにより近い位置に存在している候補被写体の方を、あるいは、レリーズタイミングにより近い画像において、被写界４２１の中心領域Ａに入っていた候補被写体の方に重み付けをしてもよい。これにより、主要被写体の推定精度をより向上させることができる。
【００６３】
図１５は、画像選択部２８０の動作手順を示す流れ図である。画像選択部２８０は、まず、撮影画像群４１０から、複数の選択画像候補を抽出する（ステップＳ３０１）。選択画像候補は、例えば、既に推定された主要被写体が写っていることを条件として抽出し、撮影画像４１−１〜４１−ｎの各々について選択画像候補となるか否かを調べる。
【００６４】
以下、画像選択部２８０は、選択画像候補となり得る撮影画像が無くなるまで、ステップＳ３０１を繰り返す（ステップＳ３０２：ＮＯ）。選択画像候補となり得る撮影画像が無くなった場合（ステップＳ３０２：ＹＥＳ）、画像選択部２８０は、選択画像候補の各々について、不要被写体１１〜１４、２１〜１６、２８〜３１の撮影状態を評価して選択画像を選択する（ステップＳ３０３）。
【００６５】
図１６は、画像選択部２８０が、不要被写体１１〜１４、２１〜１６、２８〜３１の撮影状態により選択画像候補を評価する方法を模式的に示す図である。撮影画像４１−２に写り込んでいる被写体１１〜１４、２１〜３１は、撮影画像群４１０の最初の撮影画像４１−１と共通している。しかしながら、撮影画像４１−２においては被写界深度が変化し、不要被写体１１〜１４、２１〜２６、２８〜３１のコントラストが、主要被写体２７のコントラストに対して低い。
【００６６】
このように、撮影画像４１−２における不要被写体１１〜１４、２１〜２６、２８〜３１のコントラストがより低い場合に、画像選択部２８０は、当該画像において主要被写体２７が相対的に重視されていると評価し、当該撮影画像４１−２を選択する。なお、撮影画像４１−２におけるひとつの不要被写体２６は、主要被写体２７の近くに位置していたので、主要被写体２７と同等に高いコントラストで撮影されている。しかしながら、全ての不要被写体１１〜１４、２１〜２６、２８〜３１を総合して評価すると、不要被写体１１〜１４、２１〜２６、２８〜３１のコントラストは、主要被写体２７よりも低い。
【００６７】
図１７は、画像選択部２８０が、不要被写体１１〜１４、２１〜１６、２８〜３１の撮影状態により選択画像候補を評価する他の方法を模式的に示す図である。撮影画像４１−３に写り込んでいる被写体１１〜１４、２１〜３１は、撮影画像群４１０の最初の撮影画像４１−１と共通している。しかしながら、撮影画像４１−３においては、不要被写体１１〜１４、２１〜２６、２８〜３１と主要被写体２７との位置が変化している。
【００６８】
これにより、不要被写体１１〜１４、２１〜２６、２８〜３１が撮影画像４１−３において占める面積は、撮影画像４１−１に比較すると小さい。このように、撮影画像４１−３において不要被写体１１〜１４、２１〜２６、２８〜３１が占める面積が小さい場合に、画像選択部２８０は、当該撮影画像４１−３において主要被写体２７が相対的に重視されていると評価し、当該撮影画像４１−３を選択画像として選択する。
【００６９】
図１８は、画像選択部２８０が、不要被写体１１〜１４、２１〜１６、２８〜３１の撮影状態により選択画像候補を評価するまた他の方法を模式的に示す図である。撮影画像４１−４に写り込んでいる被写体１１〜１４、２１〜３１は、撮影画像群４１０の最初の撮影画像４１−１と共通している。しかしながら、撮影画像４１−４においては、不要被写体１１〜１４、２１〜２６、２８〜３１の位置が分散している。
【００７０】
これにより、撮影画像４１−４における不要被写体１１〜１４、２１〜２６、２８〜３１の位置は、撮影画像４１−１に比較すると、撮影画像４１−４の周辺部により接近している。このように、撮影画像４１−４における不要被写体１１〜１４、２１〜２６、２８〜３１の位置が周辺部に接近している場合に、画像選択部２８０は、当該撮影画像４１−４において主要被写体２７が相対的に強調されていると評価し、当該撮影画像４１−４を選択する。
【００７１】
このように、画像選択部２８０は、撮影画像４１−１〜４１−ｎの各々における不要被写体１１〜１４、２１〜２６、２８〜３１の撮影状態を評価して、ユーザにとってより重要な主要被写体２７に対して、不要被写体１１〜１４、２１〜２６、２８〜３１の撮影状態が相対的に劣っている画像を選択する。なお、撮影画像４１−１〜４１−ｎを選択する場合の評価項目および評価方法が上記の例に限られないことはもちろんである。また、上記の評価項目を全て実行するとは限らず、その一部を実行してもよい。
【００７２】
再び図１５を参照すると、画像選択部２８０は、選択画像候補となり得る撮影画像が無くなるまで、ステップＳ３０３を繰り返す（ステップＳ３０４：ＮＯ）。全ての選択画像候補に対して不要被写体１１〜１４、２１〜１６、２８〜３１を評価した場合、（ステップＳ３０４：ＹＥＳ）、画像選択部２８０は、選択画像候補の各々について、主要被写体２７の撮影状態を評価して選択画像を選択する（ステップＳ３０５）。
【００７３】
図１９は、画像選択部２８０が、主要２７の撮影状態により選択画像候補を評価する方法を模式的に示す図である。撮影画像４１−５に写り込んでいる被写体１１〜１４、２１〜３１は、撮影画像群４１０の最初の撮影画像４１−１と共通している。共通している。しかしながら、撮影画像４１−５においては、主要被写体２７に対して照明が強く当たっており、他の被写体１１〜１４、２１〜２５、２８〜３１は相対的に暗く写っている。
【００７４】
このように、撮影画像４１−５における主要被写体２７のコントラストがより高い（大きい）場合に、画像選択部２８０は、当該画像において主要被写体２７が相対的に鮮明に撮影されていると評価し、当該撮影画像４１−５を選択する。なお、撮影画像４１−５におけるひとつの不要被写体２６は、主要被写体２７と同等に高いコントラストで撮影されている。しかしながら、全ての不要被写体１１〜１４、２１〜２６、２８〜３１を総合して評価すると、主要被写体２７のコントラストは主要被写体２７よりも高い。
【００７５】
図２０は、画像選択部２８０が、主要被写体２７の撮影状態により選択画像候補を評価する他の方法を模式的に示す図である。撮影画像４１−２に写り込んでいる被写体１１〜１４、２１〜３１は、撮影画像群４１０の最初の撮影画像４１−１と共通している。しかしながら、撮影画像４１−５においては、主要被写体２７と不要被写体１１〜１４、２１〜２６、２８〜３１の位置関係が何らかの理由で変化している。
【００７６】
これにより、主要被写体２７が撮影画像４１−６において占める面積は、撮影画像４１−１に比較すると大きい。このように、撮影画像４１−６において主要被写体２７が占める面積がより大きい場合に、画像選択部２８０は、当該撮影画像４１−６において主要被写体２７が相対的に強調されていると評価し、当該撮影画像４１−６を選択画像として選択する。
【００７７】
図２１は、画像選択部２８０が、主要被写体２７の撮影状態により選択画像候補を評価するまた他の方法を模式的に示す図である。撮影画像４１−７に写り込んでいる被写体１１〜１４、２１〜３１は、撮影画像群４１０の最初の撮影画像４１−１と共通している。略共通している。しかしながら、撮影画像４１−７においては、主要被写体２７の位置が、被写界中央に移動している。このように、撮影画像４１−７における主要被写体２７の位置が撮影画像４１−７の中央に近づいている場合に、画像選択部２８０は、当該撮影画像４１−７において主要被写体２７が相対的に強調されていると評価し、当該撮影画像４１−７を選択する。
【００７８】
このように、画像選択部２８０は、撮影画像４１−１〜４１−ｎの各々における主要被写体２７の撮影状態を評価して、ユーザにとってより重要な主要被写体２７の撮影状態が、不要被写体１１〜１４、２１〜２６、２８〜３１に対して優る画像を選択する。なお、撮影画像４１−１〜４１−ｎを選択する場合の評価項目および評価方法が上記の例に限られないことはもちろんである。また、上記の評価項目を全て実行するとは限らず、その一部を実行してもよい。
【００７９】
再び図１５を参照すると、画像選択部２８０は、選択画像候補となり得る撮影画像が無くなるまで、ステップＳ３０５を繰り返す（ステップＳ３０６：ＮＯ）。全ての選択画像候補に対して主要被写体２７を評価した場合、（ステップＳ３０６：ＹＥＳ）、画像選択部２８０は処理を終了する。
【００８０】
なお、主要被写体の評価による選択（ステップＳ３０３）と、不要被写体による選択（ステップＳ３０５）は、順序を入れ換えてもよい。また、全ての選択候補画像において不要被写体と主要被写体を両方評価し、総合的な評価結果により撮影画像を選択してもよい。
【００８１】
以上のようにして画像選択部２８０が選択した撮影画像４１−２〜４１−７は、例えば、デジタルカメラ１００が再生モードに設定された場合に、優先的にユーザに提示される。これにより、ユーザは、多数の撮影画像から撮影画像を選択する場合の選択作業時間を短縮できる。また、デジタルカメラ１００は、特に評価が低かった撮影画像については、自動的に破棄するか、あるいは、ユーザから表示することを指示されるまでは非表示とするようにしてもよい。
【００８２】
図２２は、撮影条件設定プログラムを実行するパーソナルコンピュータ５００を模式的に示す図である。パーソナルコンピュータ５００は、ディスプレイ５２０、本体部５３０およびキーボード５４０を有する。
【００８３】
本体部５３０は、デジタルカメラ１００との通信により、デジタルカメラ１００から撮影画像の画像データを取得できる。取得した画像データは、パーソナルコンピュータ５００の記憶媒体に格納できる。また、パーソナルコンピュータ５００は、実行すべきプログラムをロードする場合に用いる光学ドライブ５３２も備える。
【００８４】
上記のようなパーソナルコンピュータ５００は、撮影画像処理プログラムを読み込ませることにより、図４、図１０および図１５に示した手順を実行する撮影画像処理装置として動作する。また、パーソナルコンピュータ５００は、ケーブル５１０を介して、デジタルカメラ１００から撮影画像データを取得して処理の対象とすることができる。
【００８５】
即ち、撮影画像処理プログラムは、時系列で撮像された複数の画像を取得する画像取得手順、複数の画像に含まれる複数の被写体を抽出する被写体抽出手順、複数の画像のうちの少なくともいずれかの画像に基づいて複数の被写体のいずれが不要被写体かを推定する不要被写体推定手順、複数の被写体のうちから不要被写体を除いた被写体候補のそれぞれが複数の画像のそれぞれにおいていずれの位置にあるかを評価し、複数の画像間の位置の履歴に基づいて、被写体候補のいずれが主要被写体であるかを推定する主要被写体推定手順とを含む。そして、撮影画像処理プログラムは、これら一連の手順をパーソナルコンピュータ５００に実行させる。
【００８６】
これにより、ユーザは、より大きなディスプレイ５２０およびキーボード５４０で、操作しやすい。パーソナルコンピュータ５００を用いることにより、より大量の画像を高速に処理できる。また、被写体抽出手順、不要被写体推定手順、主要被写体推定手順および画像選択手順の各々における評価項目を増やすと共に、評価単位を細かくしてもよい。これにより、ユーザの意図をより詳細に反映しつつ画像選択を補助できる。
【００８７】
なお、デジタルカメラ１００およびパーソナルコンピュータ５００の間の撮影画像データの転送は、図示のようにケーブル５１０を経由してもよいし、無線通信であってもよい。また、撮影画像データが格納された二次記憶媒体を受け渡すことにより、撮影画像データを取得してもよい。また、撮影画像処理プログラムの実行は、パーソナルコンピュータ５００に限られるものではなく、店頭あるいはオンラインのプリントサービス設備等で実行してもよい。
【００８８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８９】
また、特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示していない限り、あるいは、前の処理の出力を後の処理で用いない限り、任意の順序で実現し得ることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するとは限らない。
【符号の説明】
【００９０】
１１〜３１  被写体、１００  デジタルカメラ、１１０  筐体、１２０  鏡筒、１２２  撮影レンズ、１３０  発光窓、１４０  操作部、１４１  十字キー、１４２  電源スイッチ、１４３  背面ボタン、１４４  レリーズボタン、１４６  ズームレバー、１５０  背面表示部、２００  内部回路、２０１  制御部、２０２  画像取得部、２０３  撮影画像処理部、２１０  ＣＰＵ、２２０  表示駆動部、２３０  プログラムメモリ、２４０  メインメモリ、２５０  被写体抽出部、２６０  不要被写体推定部、２７０  主要被写体推定部、２８０  画像選択部、３１０  撮像素子駆動部、３１２  撮像素子、３２０  アナログ／デジタル変換部、３３０  画像処理部、３３２  二次記憶媒体、３４０  自動合焦部、３５０  測光センサ、３６０  変倍駆動部、３７０  入力部、４１０  撮影画像群、４１−１、４１−２、４１−３、４１−４、４１−５、４１−６、４１−７・・・４１−ｎ  撮影画像、４２１、４２２  被写界、５００  パーソナルコンピュータ、５１０  ケーブル、５２０  ディスプレイ、５３０  本体部、５３２  光学ドライブ、５４０  キーボード
【図１】
2013012993.tif 000003
【図２】
2013012993.tif 000004
【図３】
2013012993.tif 000005
【図４】
2013012993.tif 000006
【図５】
2013012993.tif 000007
【図６】
2013012993.tif 000008
【図７】
2013012993.tif 000009
【図８】
2013012993.tif 000010
【図９】
2013012993.tif 000011
【図１０】
2013012993.tif 000012
【図１１】
2013012993.tif 000013
【図１２】
2013012993.tif 000014
【図１３】
2013012993.tif 000015
【図１４】
2013012993.tif 000016
【図１５】
2013012993.tif 000017
【図１６】
2013012993.tif 000018
【図１７】
2013012993.tif 000019
【図１８】
2013012993.tif 000020
【図１９】
2013012993.tif 000021
【図２０】
2013012993.tif 000022
【図２１】
2013012993.tif 000023
【図２２】
2013012993.tif 000024