(57)【特許請求の範囲】
【請求項１】
被写体の画像データを入力する画像入力部と、
前記画像データを用いて前記被写体中の主要被写体を探索する、奥行き方向の探索範囲を制限する範囲設定部と、
前記画像データに含まれる前記被写体の各部までの距離に基づいて得られる距離情報を用いて、前記探索範囲に含まれる被写体部分を部分画像として前記画像データから抽出する部分画像抽出部と、
前記部分画像から前記主要被写体を検出して所定の主要被写体情報を取得する主要被写体検出部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像入力部は、前記被写体を複数の異なる視点から撮像する視差画像を入力する手段を有し、
前記視差画像に基づいて前記奥行き分布情報を取得する奥行き分布情報取得部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記主要被写体検出部は、前記部分画像から前記主要被写体に含まれるべき注目部位を検出する注目部位検出部と、該注目部位検出部が検出した前記注目部位の位置に基づいて前記主要被写体情報を取得する情報取得部とを有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記範囲設定部は、第１の探索範囲を設定する手段と、前記第１の探索範囲と異なる第２の探索範囲を設定する手段とを有し、
前記部分画像抽出部は、前記第１の探索範囲に含まれる前記被写体部分を第１の部分画像として抽出する手段と、前記第２の探索範囲に含まれる前記被写体部分を第２の部分画像として抽出する手段とを有し、
前記主要被写体検出部は、前記第１の部分画像から前記主要被写体を検出する手段と、前記第１の部分画像から前記主要被写体が検出されなかった場合に前記第２の部分画像から前記主要被写体を検出する手段とを有することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記範囲設定部は、所定の奥行き幅を前記第１の探索範囲に設定し、前記第１の探索範囲に近接する奥行き幅を前記第２の探索範囲に設定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記範囲設定部は、前記奥行き分布情報に基づいて、最も近距離にある独立した被写体が含まれる奥行き幅を前記第１の部分探索範囲に設定し、前記第１の探索範囲に近接する奥行き幅を前記第２の探索範囲に設定することを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記範囲設定部は、前記奥行き分布情報に基づいて、前記画像データにおける前記被写体が含まれる奥行き範囲を分割して複数の前記探索範囲を設定し、
前記部分画像抽出部は、複数の前記探索範囲のそれぞれに含まれる前記被写体部分を複数の前記部分画像として前記画像データから抽出し、
前記主要被写体検出部は、複数の前記部分画像のそれぞれから前記主要被写体を検出して複数の前記主要被写体情報を取得することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項８】
前記画像入力部は、前記被写体を撮像する撮像ユニットであり、
前記主要被写体情報に基づいて撮影条件を決定する撮影条件決定部と、
前記撮影条件に基づいて前記撮像ユニットによる撮像を制御する撮像制御部とをさらに備えることを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
【請求項９】
前記主要被写体情報に基づいて画像処理条件を決定する処理条件決定部と、
前記画像処理条件に基づいて前記画像データを処理する画像処理部と
をさらに備えることを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
【請求項１０】
前記主要被写体情報に基づいて画像出力条件を決定する出力条件決定部と、
前記画像出力条件に基づいて前記画像データを出力する画像出力部と
をさらに備えることを特徴とする請求項１乃至９のいずれかに記載の画像処理装置。
【請求項１１】
前記主要被写体に関する所定の選択条件を記憶する選択条件記憶部と、
前記画像入力部が入力した複数の前記画像データから、前記選択条件を満たした良好主要被写体を含む良好画像データを選択する画像選択部と
をさらに備えることを特徴とする請求項１乃至１０のいずれかに記載の画像処理装置。
【請求項１２】
前記画像入力部は、撮影タイミング信号に基づいて前記被写体を撮像する撮像ユニットであり、
前記主要被写体に関する所定の撮影タイミング条件を記憶するタイミング条件記憶部と、
前記主要被写体が前記撮影タイミング条件を満たしたときに前記撮像ユニットに前記撮影タイミング信号を出力するタイミング信号出力部と
をさらに備えることを特徴とする請求項１乃至１１のいずれかに記載の画像処理装置。
【請求項１３】
前記被写体に照射光を照射する照射部と、前記照射部により照射された前記被写体からの反射光の強度に基づいて、前記被写体までの距離を算出する算出部とを有し、前記範囲設定部へその算出結果である距離情報を出力する距離測定部をさらに有することを特徴とする請求項１に記載の画像撮像装置。
【請求項１４】
前記照射部は、第１の波長を主要な波長成分とする第１照射光と、前記第１の波長とは異なる第２および第３の波長を主要な波長成分とする第２照射光とを、光学的に異なる放射位置から前記被写体に照射することを特徴とする請求項１３の画像撮像装置。
【請求項１５】
前記照射部は、前記第１および第２の照射光を同時に照射することを特徴とする請求項１４の画像撮像装置。
【請求項１６】
前記照射部により前記第１及び第２の照射光が照射された前記被写体から得られる反射光を結像する光学結像部と、
前記被写体から得られる前記反射光から、前記第１の波長を有する第１の反射光と、前記第２の波長を有する第２の反射光と、前記第３の波長を有する第３の反射光とを光学的に分離する分光部と、
前記分光部によって分離され、前記光学結像部が結像する前記第１、第２及び第３の反射光を受光する受光部と、
前記受光部が受光する前記第１、第２及び第３の反射光の強度を検出する光強度検出部とをさらに備え、
前記算出部は、前記第１、第２及び第３の反射光の強度を用いて、前記被写体までの奥行き距離を算出する
ことを特徴とする請求項１５に記載の画像撮像装置。
【請求項１７】
前記照射部は光ビームを射出し、
測距始点を中心として、前記被写体中の特定物体に前記光ビームを走査させる光ビーム走査部と、
走査された前記光ビームにより前記特定物体の注目地点から反射された反射光を検出する反射光検出部、とを有し、
さらに前記算出部は、前記特定物体の注目地点における前記反射光の積算強度を算出する積算部と、前記反射光の最大強度を用いて前記距離情報を算出する距離算出部とを有することを特徴とする請求項１３の画像撮像装置。
【請求項１８】
撮影操作者が、所望の主要被写体に応じて動作モードを選択するモード選択部をさらに有し、前記範囲設定部は該選択された動作モードに基づいて前記探索範囲を制限し、前記部分画像抽出部は該選択された動作モードに基づいて前記部分画像を抽出することを特徴とする請求項１の画像撮像装置。
【請求項１９】
前記部分画像抽出部が抽出した部分画像を表示する表示装置と、前記部分画像抽出部が選択した主要被写体候補を変更する変更部とをさらに有することを特徴とする請求項１あるいは１８の画像撮像装置。
【請求項２０】
被写体の画像データを入力する入力段階と、
前記画像データにおいて主要被写体を探索する、奥行き方向の探索範囲を制限する設定段階と、
前記画像データに含まれる前記被写体の各部までの距離に基づいて得られる距離情報を用いて、前記探索範囲に含まれる被写体部分を部分画像として前記画像データから抽出する抽出段階と、
前記部分画像において前記主要被写体を検出する検出段階と、
検出された前記主要被写体に関する所定の主要被写体情報を取得する取得段階と
を備えることを特徴とする画像処理方法。
【請求項２１】
前記設定段階は、前記探索範囲として、第１の探索範囲を設定する第１設定段階であり、
前記抽出段階は、前記第１の探索範囲に含まれる前記被写体部分を第１の画像として抽出する第１抽出段階であり、
前記検出段階は、前記第１の部分画像において前記主要被写体を検出する第１検出段階であり、
前記第１の部分画像において前記主要被写体が検出されなかった場合に、前記探索範囲として、さらに第２の探索範囲を設定する第２設定段階と、
前記第２の探索範囲に含まれる前記被写体部分を第２の部分画像として抽出する第２抽出段階と、
前記第２の部分画像において前記主要被写体を検出する第２検出段階と
をさらに備えることを特徴とする請求項２０に記載の画像処理方法。
【請求項２２】
前記第１設定段階は、前記奥行き分布情報に基づいて、最も近距離にある独立した被写体が含まれる奥行き幅を前記第１の探索範囲に設定する段階であり、
前記第２設定段階は、前記第１の探索範囲に近接する奥行き幅を前記第２探索範囲に設定する段階であることを特徴とする請求項２０又は２１に記載の画像処理方法。
【請求項２３】
前記設定段階は、前記奥行き分布情報に基づいて、前記画像データにおける前記被写体が含まれる奥行き範囲を分割して複数の前記探索範囲を設定する段階であり、
前記抽出段階は、複数の前記探索範囲のそれぞれに含まれる前記被写体部分を複数の前記部分画像として前記画像データから抽出する段階であり、
前記検出段階は、複数の前記部分画像のそれぞれから前記主要被写体を検出する段階であり、
前記取得段階は、検出された複数の前記主要被写体のそれぞれに関する前記主要被写体情報を取得する段階であることを特徴とする請求項２０に記載の画像処理方法。
【請求項２４】
画像を処理するプログラムを記録したコンピュータ読取可能な記録媒体であって、
前記プログラムが、
被写体の画像データを入力するモジュールと、
前記画像データにおいて前記主要被写体を探索する、奥行き方向の探索範囲を制限するモジュールと、
前記画像データに含まれる前記被写体の各部までの距離を示す奥行き分布情報に基づいて、前記部分探索範囲に含まれる被写体部分を部分画像として前記画像データから抽出するモジュールと、
前記部分画像から前記主要被写体を検出するモジュールと、
検出された前記主要被写体に関する所定の主要被写体情報を取得するモジュールと
を備えることを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関する。本発明は、特に画像から主要被写体を検出する画像処理装置に関する。
【０００２】
【従来の技術】
従来、良好な写真を得る技術として、被写体の中から主要被写体を見つけだし、この主要被写体の状態によって撮影タイミングを調整したり、撮った複数の画像から最適な画像を選ぶ等の様々な技術が知られている。
被写体の中から主要被写体を見つけだす方法としては、画像において主要被写体としての特徴を探し出すことにより検出する方法が一般的である。例えば、画像から人物を検出するならば、目や口を認識する方法である。
【０００３】
【発明が解決しようとする課題】
しかし、画像の全領域にわたってくまなく主要被写体を探すのは非常に時間がかかる。また、目や口を探すとしても、目や口以外の物体が似たような輝度をもつ場合があるので、誤認識するおそれがある。特に、異なる距離上の物体でも並んで見えれば誤認識してしまう可能性が高い。
【０００４】
そこで本発明は、上記の課題を解決することのできる画像処理装置、画像処理方法および記録媒体を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明のさらなる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の形態は、被写体の画像データを入力する画像入力部と、前記画像データにおいて前記主要被写体を探索する部分的な奥行き幅を定めた部分探索範囲を設定する範囲設定部と、前記画像データに含まれる前記被写体の各部までの距離を示す奥行き分布情報に基づいて、前記部分探索範囲に含まれる被写体部分を部分画像として前記画像データから抽出する部分画像抽出部と、前記部分画像から前記主要被写体を検出して所定の主要被写体情報を取得する主要被写体検出部とを備える。
【０００６】
前記画像入力部は、前記被写体を複数の異なる視点から撮像する視差画像を入力する手段を有し、前記視差画像に基づいて前記奥行き分布情報を取得する奥行き分布情報取得部をさらに備えてもよい。前記主要被写体検出部は、前記部分画像から前記主要被写体に含まれるべき注目部位を検出する注目部位検出部と、該注目部位検出部が検出した前記注目部位の位置に基づいて前記主要被写体情報を取得する情報取得部とを有してもよい。
【０００７】
前記範囲設定部は、第１の部分探索範囲を設定する手段と、前記第１の部分探索範囲と異なる第２の部分探索範囲を設定する手段とを有し、前記部分画像抽出部は、前記第１の部分探索範囲に含まれる前記被写体部分を第１の部分画像として抽出する手段と、前記第２の部分探索範囲に含まれる前記被写体部分を第２の部分画像として抽出する手段とを有し、前記主要被写体検出部は、前記第１の部分画像から前記主要被写体を検出する手段と、前記第１の部分画像から前記主要被写体が検出されなかった場合に前記第２の部分画像から前記主要被写体を検出する手段とを有してもよい。
【０００８】
前記範囲設定部は、所定の奥行き幅を前記第１の部分探索範囲に設定し、前記第１の部分探索範囲に近接する奥行き幅を前記第２の部分探索範囲に設定してもよい。前記範囲設定部は、前記奥行き分布情報に基づいて、最も近距離にある独立した被写体が含まれる奥行き幅を前記第１の部分探索範囲に設定し、前記第１の部分探索範囲に近接する奥行き幅を前記第２の部分探索範囲に設定してもよい。前記範囲設定部は、前記奥行き分布情報に基づいて、前記画像データにおける前記被写体が含まれる奥行き範囲を分割して複数の前記部分探索範囲を設定し、前記部分画像抽出部は、複数の前記部分探索範囲のそれぞれに含まれる前記被写体部分を複数の前記部分画像として前記画像データから抽出し、前記主要被写体検出部は、複数の前記部分画像のそれぞれから前記主要被写体を検出して複数の前記主要被写体情報を取得してもよい。
【０００９】
前記画像入力部は、前記被写体を撮像する撮像ユニットであり、前記主要被写体情報に基づいて撮影条件を決定する撮影条件決定部と、前記撮影条件に基づいて前記撮像ユニットによる撮像を制御する撮像制御部とをさらに備えてもよい。前記主要被写体情報に基づいて画像処理条件を決定する処理条件決定部と、前記画像処理条件に基づいて前記画像データを処理する画像処理部とをさらに備えてもよい。前記主要被写体情報に基づいて画像出力条件を決定する出力条件決定部と、前記画像出力条件に基づいて前記画像データを出力する画像出力部とをさらに備えてもよい。
【００１０】
前記主要被写体に関する所定の選択条件を記憶する選択条件記憶部と、前記画像入力部が入力した複数の前記画像データから、前記選択条件を満たした良好主要被写体を含む良好画像データを選択する画像選択部とをさらに備えてもよい。前記画像入力部は、撮影タイミング信号に基づいて前記被写体を撮像する撮像ユニットであり、前記主要被写体に関する所定の撮影タイミング条件を記憶するタイミング条件記憶部と、前記主要被写体が前記撮影タイミング条件を満たしたときに前記撮像ユニットに前記撮影タイミング信号を出力するタイミング信号出力部とをさらに備えてもよい。
【００１１】
また、本発明の第２の形態は、被写体の画像データを入力する入力段階と、前記画像データにおいて主要被写体を探索する部分的な奥行き幅を定めた部分探索範囲を設定する設定段階と、前記画像データに含まれる前記被写体の各部までの距離を示す奥行き分布情報に基づいて前記部分探索範囲に含まれる被写体部分を部分画像として前記画像データから抽出する抽出段階と、前記部分画像において前記主要被写体を検出する検出段階と、検出された前記主要被写体に関する所定の主要被写体情報を取得する取得段階とを備える。
【００１２】
前記設定段階は、前記部分探索範囲として、第１の部分探索範囲を設定する第１設定段階であり、前記抽出段階は、前記第１の部分探索範囲に含まれる前記被写体部分を第１の部分画像として抽出する第１抽出段階であり、前記検出段階は、前記第１の部分画像において前記主要被写体を検出する第１検出段階であり、前記第１の部分画像において前記主要被写体が検出されなかった場合に、前記部分探索範囲として、さらに第２の部分探索範囲を設定する第２設定段階と、前記第２の部分探索範囲に含まれる前記被写体部分を第２の部分画像として抽出する第２抽出段階と、前記第２の部分画像において前記主要被写体を検出する第２検出段階とをさらに備えてもよい。
【００１３】
前記第１設定段階は、前記奥行き分布情報に基づいて、最も近距離にある独立した被写体が含まれる奥行き幅を前記第１の部分探索範囲に設定する段階であり、前記第２設定段階は、前記第１の部分探索範囲に近接する奥行き幅を前記第２部分探索範囲に設定する段階であってもよい。前記設定段階は、前記奥行き分布情報に基づいて、前記画像データにおける前記被写体が含まれる奥行き範囲を分割して複数の前記部分探索範囲を設定する段階であり、前記抽出段階は、複数の前記部分探索範囲のそれぞれに含まれる前記被写体部分を複数の前記部分画像として前記画像データから抽出する段階であり、前記検出段階は、複数の前記部分画像のそれぞれから前記主要被写体を検出する段階であり、前記取得段階は、検出された複数の前記主要被写体のそれぞれに関する前記主要被写体情報を取得する段階であってもよい。
【００１４】
また、本発明の第３の形態は、画像を処理するプログラムを記録したコンピュータ読取可能な記録媒体であって、前記プログラムが、被写体の画像データを入力するモジュールと、前記画像データにおいて前記主要被写体を探索する部分的な奥行き幅を定めた部分探索範囲を設定するモジュールと、前記画像データに含まれる前記被写体の各部までの距離を示す奥行き分布情報に基づいて、前記部分探索範囲に含まれる被写体部分を部分画像として前記画像データから抽出するモジュールと、前記部分画像から前記主要被写体を検出するモジュールと、検出された前記主要被写体に関する所定の主要被写体情報を取得するモジュールとを備える。
【００１５】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【００１６】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１７】
以下に説明する本発明の画像処理装置は、各実施形態において、例えばデジタルカメラまたはラボシステムとして実現される。デジタルカメラには、デジタルスチルカメラやデジタルビデオカメラが含まれる。以下、本発明の第１実施形態を説明する。本実施形態における画像処理装置は、主要被写体を検出して最適な撮影条件で撮影するデジタルカメラである。ここでいう主要被写体とは、撮影する被写体のうち、撮影者が意識的に撮影する独立した対象物である。例えば、部屋の中の人物を撮影するときの当該人物、水槽の中を泳ぐ魚を撮影するときの当該魚、木の枝に止まった鳥を撮影するときの当該鳥等が主要被写体である。
【００１８】
図１は実施の形態に係るデジタルカメラ１０の構成を示す。このデジタルカメラ１０は、主に撮像ユニット２０、撮像制御ユニット４０、処理ユニット６０、表示ユニット１００、および操作ユニット１１０を含む。
【００１９】
撮像ユニット２０は、撮影および結像に関する機構部材および電気部材を含む。撮像ユニット２０はまず、映像を取り込んで処理を施す撮影レンズ２２、絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィルタ）２８、ＣＣＤ３０、および撮像信号処理部３２を含む。撮影レンズ２２は、フォーカスレンズやズームレンズ等からなる。この構成により、被写体像がＣＣＤ３０の受光面上に結像する。結像した被写体像の光量に応じ、ＣＣＤ３０の各センサエレメント（図示せず）に電荷が蓄積される（以下その電荷を「蓄積電荷」という）。蓄積電荷は、リードゲートパルスによってシフトレジスタ（図示せず）に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【００２０】
デジタルカメラ１０は一般に電子シャッタ機能を有するので、シャッタ２６のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、ＣＣＤ３０にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタスピードが制御できる。
【００２１】
ＣＣＤ３０から出力される電圧信号、すなわちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部３２はガンマ補正を行い、必要なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換し、その結果得られたデジタルの画像データ（以下単に「デジタル画像データ」とよぶ）を処理ユニット６０へ出力する。
【００２２】
撮像ユニット２０はさらに、ファインダ３４とストロボ３６を有する。ファインダ３４には図示しないＬＣＤを内装してもよく、その場合、後述のメインＣＰＵ６２等からの各種情報をファインダ３４内に表示できる。ストロボ３６は、コンデンサ（図示せず）に蓄えられたエネルギが放電管３６ａに供給されたときそれが発光することで機能する。
【００２３】
撮像制御ユニット４０は、ズーム駆動部４２、フォーカス駆動部４４、絞り駆動部４６、シャッタ駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距センサ５２、および測光センサ５４をもつ。ズーム駆動部４２などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ１１４の押下に応じ、測距センサ５２は被写体までの距離を測定し、測光センサ５４は被写体輝度を測定する。測定された距離のデータ（以下単に「測距データ」という）および被写体輝度のデータ（以下単に「測光データ」という）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０は、ユーザから指示されたズーム倍率等の撮影情報に基づき、ズーム駆動部４２とフォーカス駆動部４４を制御して撮影レンズ２２のズーム倍率とピントの調整を行う。
【００２４】
撮像系ＣＰＵ５０は、１画像フレームのＲＧＢのデジタル信号積算値、すなわちＡＥ情報に基づいて絞り値とシャッタスピードを決定する。決定された値にしたがい、絞り駆動部４６とシャッタ駆動部４８がそれぞれ絞り量の調整とシャッタ２６の開閉を行う。
【００２５】
撮像系ＣＰＵ５０はまた、測光データに基づいてストロボ３６の発光を制御し、同時に絞り２６の絞り量を調整する。ユーザが映像の取込を指示したとき、ＣＣＤ３０が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部３２へ出力される。
【００２６】
処理ユニット６０は、デジタルカメラ１０全体、とくに処理ユニット６０自身を制御するメインＣＰＵ６２と、これによって制御されるメモリ制御部６４、ＹＣ処理部７０、オプション装置制御部７４、圧縮伸張処理部７８、通信Ｉ／Ｆ部８０を有する。メインＣＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５０との間で必要な情報をやりとりする。メインＣＰＵ６２の動作クロックは、クロック発生器８８から与えられる。クロック発生器８８は、撮像系ＣＰＵ５０、表示ユニット１００に対してもそれぞれ異なる周波数のクロックを提供する。
【００２７】
メインＣＰＵ６２には、キャラクタ生成部８４とタイマ８６が併設されている。タイマ８６は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインＣＰＵ６２に与えられる。キャラクタ生成部８４は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【００２８】
メモリ制御部６４は、不揮発性メモリ６６とメインメモリ６８を制御する。不揮発性メモリ６６は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能なＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ１０の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ６６には、場合によりメインＣＰＵ６２のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ６８は一般にＤＲＡＭのように比較的安価で容量の大きなメモリで構成される。メインメモリ６８は、撮像ユニット２０から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ６６とメインメモリ６８は、処理ユニット６０内外の各部とメインバス８２を介してデータのやりとりを行う。
【００２９】
ＹＣ処理部７０は、デジタル画像データにＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制御部６４によってメインメモリ６８に一旦格納される。圧縮伸張処理部７８はメインメモリ６８から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ（以下単に「圧縮データ」という）は、オプション装置制御部７４を介してオプション装置７６の一種であるメモリカードへ書き込まれる。
【００３０】
処理ユニット６０はさらにエンコーダ７２をもつ。エンコーダ７２は輝度信号と色差信号を入力し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換してビデオ出力端子９０から出力する。オプション装置７６に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部７４を介して圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸張処理部７８で必要な伸張処理が施されたデータはエンコーダ７２によってビデオ信号へ変換される。
【００３１】
オプション装置制御部７４は、オプション装置７６に認められる信号仕様およびメインバス８２のバス仕様にしたがい、メインバス８２とオプション装置７６の間で必要な信号の生成、論理変換、または電圧変換などを行う。デジタルカメラ１０は、オプション装置７６として前述のメモリカードのほかに、例えばＰＣＭＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよい。その場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用バス制御ＬＳＩなどで構成してもよい。
【００３２】
通信Ｉ／Ｆ部８０は、デジタルカメラ１０がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、イーサネットなどの仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、ネットワークを含む外部機器とコネクタ９２を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のＩ／Ｆによるデータ授受を行う構成としてもよい。
【００３３】
表示ユニット１００は、ＬＣＤモニタ１０２とＬＣＤパネル１０４を有する。それらはＬＣＤドライバであるモニタドライバ１０６、パネルドライバ１０８によってそれぞれ制御される。ＬＣＤモニタ１０２は、例えば２インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。ＬＣＤパネル１０４は例えば小さな白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【００３４】
操作ユニット１１０は、ユーザーがデジタルカメラ１０の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ１１２は、デジタルカメラ１０の電源のオンオフを決める。レリーズスイッチ１１４は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでＡＦおよびＡＥがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ６８、オプション装置７６等に記録される。操作ユニット１１０はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図１において機能設定部１１６と総称されている。操作ユニット１１０で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定／保存」、「表示切換」等がある。ズームスイッチ１１８は、ズーム倍率を決める。
【００３５】
図２は、本実施形態のデジタルカメラの機能ブロック図である。デジタルカメラ１０は、画像入力部２００と奥行き分布情報取得部２０２と範囲設定部２０４と部分画像抽出部２０６と注目部位検出部２０８と情報取得部２１０と撮影条件決定部２２０と撮像制御部２２２とを備える。画像入力部２００は、被写体の画像データを入力する。画像入力部２００は、図１における撮像ユニットに相当する。また、画像入力部２００は、被写体を複数の異なる視点から撮像する視差画像を入力する。
【００３６】
奥行き分布情報取得部２０２は、画像入力部２００から受け取る視差画像に基づいて、被写体の各部までの距離を示す奥行き分布情報を取得する。すなわち、奥行き分布情報取得部２０２は、視差画像に基づいて、所定の被写体について対応点決定処理を行うことにより視差量を求め、求めた視差量に基づいて奥行き分布情報を抽出する。また、視差量に基づいて奥行き分布情報を抽出する処理は、従来から知られている三角測量の原理に基づいて行うことができる。
【００３７】
範囲設定部２０４は、画像データにおいて主要被写体を探索する部分的な奥行き幅を定めた部分探索範囲を設定する。部分探索範囲は、主要被写体が存在する可能性の高い奥行き幅に設定するのが望ましい。例えば、主要被写体は被写体の中で最もカメラに近い位置に存在する場合が多いので、範囲設定部２０４は、奥行き分布情報に基づいて、最も近距離にある独立した被写体が含まれる奥行き幅を部分探索範囲に設定してもよい。
【００３８】
設定された部分探索範囲から主要被写体が検出されなかった場合、範囲設定部２０４は、さらに部分探索範囲を設定する。２回目以降に設定される部分探索範囲は、はじめに設定された奥行き幅と異なる奥行き幅に設定される。例えば、はじめに最も近距離の奥行き幅に設定し、次はその近接する奥行き幅に設定する。そして、主要被写体が検出されるまで徐々に遠距離の奥行き幅に部分探索範囲として設定する範囲をスライドしてもよい。
【００３９】
これにより、奥行き位置の異なる被写体が探索対象から除外されるので、主要被写体の検出において、異なる奥行き位置の被写体同士を一つの被写体として誤認識する可能性を少なくすることができる。また、主要被写体が存在する可能性の高い奥行き位置だけを探索対象とするので、主要被写体検出の時間を短縮することができる。このように、本実施形態の画像処理装置は、高精度または高効率で主要被写体を検出することができる。
【００４０】
部分画像抽出部２０６は、奥行き分布情報に基づいて、部分探索範囲に含まれる被写体部分を部分画像として画像データから抽出する。例えば、近距離にある被写体を抽出した部分画像には、遠距離にある被写体は写っていない。注目部位検出部２０８は、部分画像から主要被写体に含まれるべき注目部位を検出する。ここでいう注目部位とは、主要被写体に含まれる部位のうち、特に色や形等に特徴をもった必須の部位である。例えば、人物を主要被写体するときの当該人物の目や口が注目部位である。また、注目部位は、主要被写体以外の被写体がもたない色や形をもつことが望ましい。例えば、顔の肌色は人物以外が有する可能性は低いので、注目部位として検出対象にしてもよい。また例えば、いわゆる赤目現象における人物の目の色も他の被写体が有する可能性は低いので、注目部位として検出対象にしてもよい。
【００４１】
情報取得部２１０は、注目部位検出部２０８により部分画像から注目部位が検出された場合に、その注目部位の位置に基づいて主要被写体に関する所定の主要被写体情報を取得する。主要被写体情報としては、例えば主要被写体までの距離情報や主要被写体の輝度情報がある。
【００４２】
撮影条件決定部２２０は、主要被写体情報に基づいて撮影条件を決定する。例えば、撮影条件決定部２２０は、主要被写体までの距離情報に基づいて、焦点距離を決定する。例えば、撮影条件決定部２２０は、主要被写体の輝度情報に基づいて、絞り値や露光時間（シャッタースピード）を決定する。
【００４３】
撮像制御部２２２は、撮影条件決定部２２０により決定された撮影条件に基づいて撮像ユニット２０による撮像を制御する。例えば、撮影条件決定部２２０により決定された焦点距離でズームやフォーカスが制御される。例えば、撮影条件決定部２２０により決定された絞り値や露光時間で絞りやシャッターが制御される。
【００４４】
このように、高い精度で検出される主要被写体にあわせた条件で撮影するので、最適な画像を得ることができる。
【００４５】
図３は、本実施形態における画像処理方法を示すフローチャートである。このフローチャートは特に主要被写体を検出する方法を示す。まず、画像入力部２００が被写体の画像データを入力する（Ｓ１００）。次いで、画像入力部２００が視差画像を入力する（Ｓ１０２）。次いで、奥行き分布情報取得部２０２が奥行き分布情報を取得する（Ｓ１０４）。次いで、範囲設定部２０４が部分探索範囲を設定する（Ｓ１０６）。次いで、部分画像抽出部２０６が、部分画像を抽出する（Ｓ１０８）。次いで、注目部位検出部２０８が、部分画像から注目部位を検出する（Ｓ１１０）。注目部位が検出されなかった場合、範囲設定部２０４が異なる部分探索範囲を設定し、注目部位が検出されるまでＳ１０６〜Ｓ１１０を繰り返す。注目部位検出部２０８により注目部位が検出された場合、情報取得部２１０が主要被写体情報を取得する（Ｓ１１２）。
【００４６】
次に、第２実施形態を説明する。本実施形態の画像処理装置は、画像データから複数の主要被写体を検出するデジタルカメラである。本実施形態のデジタルカメラは、第１実施形態におけるデジタルカメラとほぼ同様の構成および機能を有する。本実施形態におけるデジタルカメラの構成は、第１実施形態における図１および図２に示す構成および機能とほぼ同様なので説明を省略する。本実施形態においては、範囲設定部２０４が、すべての被写体が含まれる奥行き範囲を複数の範囲に分割して探索範囲に設定し、これらすべての探索範囲から主要被写体の検出を試みる。
【００４７】
図４は、本実施形態における画像処理方法を示すフローチャートである。このフローチャートは特に主要被写体を検出する方法を示す。まず、画像入力部２００が被写体の画像データを入力する（Ｓ１５０）。次いで、画像入力部２００が視差画像を入力する（Ｓ１５２）。次いで、奥行き分布情報取得部２０２が奥行き分布情報を取得する（Ｓ１５４）。
【００４８】
次に、範囲設定部２０４は、奥行き分布情報に基づいて、画像データにおける被写体が含まれる奥行き範囲を分割して複数の部分探索範囲を設定する（Ｓ１５６）。次いで、部分画像抽出部２０６は、複数の部分探索範囲のそれぞれに含まれる被写体部分を複数の部分画像として画像データから抽出する（Ｓ１５８）。次いで、注目部位検出部２０８は、複数の部分画像のそれぞれから注目部位を検出する（Ｓ１６０）。次いで、情報取得部２１０は、注目部位が検出された複数の部分画像のそれぞれから主要被写体情報を取得する（Ｓ１６２）。
【００４９】
このように、本実施形態においては、すべての被写体が含まれる奥行き範囲を分割して複数の部分探索範囲を設定し、これらすべての部分探索範囲から主要被写体を検出する。したがって、画像データに複数の主要被写体が含まれる場合に、誤認識することなくすべての主要被写体を切り分けて検出することができる。
【００５０】
次に、第３実施形態を説明する。本実施形態における画像処理装置は、主要被写体を検出して最適な撮影タイミングで撮影するデジタルカメラである。図５は、本実施形態のデジタルカメラの機能ブロック図である。図５における奥行き分布情報取得部２０２、範囲設定部２０４、部分画像抽出部２０６、注目部位検出部２０８、および情報取得部２１０は、第１および第２実施形態と同様の機能を有するので説明を省略する。
【００５１】
画像入力部２００は、撮影タイミング信号に基づいて被写体を撮像する撮像ユニットであり、図１における撮像ユニット２０に相当する。タイミング条件記憶部２２６は、主要被写体に関する所定の撮影タイミング条件を記憶する。例えば、人物を主要被写体とする場合に、当該人物が「瞬きしていない」、「視線がカメラを向いている」、「微笑んでいる」等の条件を撮影タイミング条件にしてもよい。
【００５２】
タイミング信号出力部２２４は、注目部位が撮影タイミング条件を満たしたときに撮影タイミング信号を画像入力部２００に出力する。注目部位が撮影タイミング条件を満たすかどうかの判断手法は、撮影条件により異なる。例えば、「瞬きしていない」、「視線がカメラ方向を向いている」という撮影条件の場合、目の色、形、大きさ等を判断材料とする。「微笑んでいる」という撮影条件の場合、目の大きさ、口の形、口の大きさ等を判断材料とする。これらの判断材料が撮影条件を満たすかどうかは、撮影条件ごとの経験則に基づいた所定のアルゴリズムにより判断する。
【００５３】
また、被写体である人物が所定の動作をしたかどうかを撮影タイミングの判断基準としてもよい。例えば、人物を被写体にした場合に人物の注目部位が所定の変化を見せたときに撮影する。所定の変化としては、例えば、「約２秒以上目を閉じた後に目を開いた」、「視線が所定の軌跡を描いた」等が考えられる。撮影条件としては、例えば、「約２秒以上目を閉じた後に目を開いた」、「視線が所定の軌跡を描いた」等が考えられる。これらの撮影条件のように、被写体となる人物が通常のカメラ撮影ではカメラの前で到底行わないような動作や変化を撮影条件とするのが望ましい。これは、撮影条件に含まれる動作を被写体である人物が偶然行ってしまわないようにして誤撮影を防ぐためである。
【００５４】
注目部位が撮影条件を満たすかどうかの判断手法は、撮影条件により異なる。「瞬き」、「視線」に関する撮影条件の場合、目の色、形、大きさ等を判断材料とする。判断材料が撮影条件を満たすかどうかは、撮影条件ごとの経験則に基づいた所定のアルゴリズムにより判断する。
【００５５】
画像入力部２００は、タイミング信号出力部２２４から受け取る撮影タイミング信号に基づくタイミングで画像を撮影する。
【００５６】
このように、高い精度で検出される主要被写体が所望の状態になった瞬間を撮影タイミングとするので、良好な画像を得ることができる。また、効率よく高速に主要被写体を検出できるので、撮影タイミングを逃すことなく良好な画像を得ることができる。
【００５７】
次に、第４実施形態を説明する。本実施形態における画像処理装置は、複数の画像の中から、主要被写体が最も見栄えよく写った画像を選択するラボシステムである。図６は、ラボシステム３００の構成を示す図である。このラボシステム３００は、主に、入力ユニット３１０、処理ユニット３６０、プリントユニット３３０、表示ユニット３４０、および操作ユニット３２０を備える。
【００５８】
入力ユニット３１０は、エリアＣＣＤスキャナ３１２とラインＣＣＤスキャナとを有する。エリアＣＣＤスキャナ３１２およびラインＣＣＤスキャナは、フイルム上またはプリント写真上の画像を走査して画像データを取得する。エリアＣＣＤスキャナ３１２およびラインＣＣＤスキャナは、スキャナ制御部により制御される。入力ユニット３１０は、得られた画像データを処理ユニット３６０へ出力する。
【００５９】
処理ユニット３６０は、ラボシステム３００全体、特に処理ユニット３６０自身を制御するメインＣＰＵ３６２と、これによって制御されるメモリ制御部３６４、ＹＣ処理部３７０、オプション装置制御部３７４、圧縮伸張処理部３７８、通信Ｉ／Ｆ部３８０を有する。メインＣＰＵ３６２の動作クロックは、クロック発生器３８８から与えられる。クロック発生器３８８は、表示ユニット３４０に対しても異なる周波数のクロックを提供する。
【００６０】
メインＣＰＵ３６２には、キャラクタ生成部３８４とタイマ３８６が併設されている。タイマ３８６は電池でバックアップされ、つねに日時をカウントしている。キャラクタ生成部３８４は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜画像に合成される。
【００６１】
メモリ制御部３６４は、不揮発性メモリ３６６とメインメモリ３６８を制御する。不揮発性メモリ３６６は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能なＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、ラボシステム３００の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ３６６には、場合によりメインＣＰＵ３６２のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ３６８は一般にＤＲＡＭのように比較的安価で容量の大きなメモリで構成される。メインメモリ３６８は、入力ユニット３１０により入力された画像データを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ３６６とメインメモリ３６８は、処理ユニット３６０内外の各部とメインバス３８２を介してデータのやりとりを行う。
【００６２】
ＹＣ処理部３７０は、デジタル画像データにＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制御部３６４によってメインメモリ３６８に一旦格納される。圧縮伸張処理部３７８はメインメモリ３６８から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ（以下単に「圧縮データ」という）は、オプション装置制御部３７４を介してオプション装置３７６の一種であるメモリカードへ書き込まれる。
【００６３】
処理ユニット３６０はさらにエンコーダ３７２をもつ。エンコーダ３７２は輝度信号と色差信号を入力し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換してビデオ出力端子３９０から出力する。オプション装置３７６に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部３７４を介して圧縮伸張処理部３７８へ与えられる。つづいて、圧縮伸張処理部３７８で必要な伸張処理が施されたデータはエンコーダ３７２によってビデオ信号へ変換される。
【００６４】
オプション装置制御部３７４は、オプション装置３７６に認められる信号仕様およびメインバス３８２のバス仕様にしたがい、メインバス３８２とオプション装置３７６の間で必要な信号の生成、論理変換、または電圧変換などを行う。ラボシステム３００は、オプション装置３７６として前述のメモリカードのほかに、例えばフロッピーディスクやＭＯ等をサポートしてもよい。その場合、オプション装置制御部３７４は、フロッピードライブやＭＯドライブ等で構成してもよい。
【００６５】
通信Ｉ／Ｆ部３８０は、ラボシステム３００がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、イーサネットなどの仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部３８０は、必要に応じてドライバＩＣを含み、ネットワークを含む外部機器とコネクタ３９２を介して通信する。
【００６６】
処理ユニット３６０は、さらに補助記憶装置としてハードディスク３９４を有する。ハードディスク３９４には、例えば、入力ユニットにより入力された画像データ、所定の画像処理が施された画像データ、オプション装置３７６から読み出されたデータ、通信Ｉ／Ｆ部３８０を介して入力されたデータ等が格納される。
【００６７】
処理ユニット３６０は、さらにＣＤ−ＲＯＭドライブ３９６を有する。ＣＤ−ＲＯＭドライブ３９６は、例えば、処理ユニット３６０を動作させ、または処理ユニット３６０に所定の機能をもたせるためのプログラムを、該プログラムが格納されたＣＤ−ＲＯＭから読み取る。
【００６８】
表示ユニット３４０は、モニタ３４２、該モニタ３４２を制御するモニタドライバ３４６を有する。モニタ３４２として、例えばＣＲＴモニタやＬＣＤモニタ等を用いてもよい。
【００６９】
操作ユニット３２０は、ユーザがラボシステム３００の動作を設定または指示するために必要な機構および電気部材を含む。操作ユニット３２０は、例えばキーボード３２２やマウス３２４で構成される。
【００７０】
プリントユニット３３０は、プリンタ３３２と、該プリンタ３３２を制御するプリンタ制御部３３４とを有する。プリンタ３３２としては、例えばレーザプリンタ、インクジェットプリンタ等がある。
【００７１】
図７は、本実施形態のラボシステムの機能ブロック図である。図７における奥行き分布情報取得部２０２、範囲設定部２０４、部分画像抽出部２０６、注目部位検出部２０８、および情報取得部２１０は、第１および第２実施形態と同様の機能を有するので説明を省略する。
【００７２】
画像入力部２００は、被写体の画像データを入力する。画像入力部２００には、例えば、図６の入力ユニット３１０、オプション装置制御部３７４、通信Ｉ／Ｆ部３８０、ＣＤ−ＲＯＭドライブ３９６が該当する。フイルムやプリント写真から画像データを読み取って画像処理する場合、入力ユニット３１０に含まれるエリアＣＣＤスキャナ３１２やラインＣＣＤスキャナ３１４がフイルム上またはプリント写真上の画像を読み取る。メモリカードに記録された画像データを入力して画像処理する場合、オプション装置制御部３７４としてのカードドライブがオプション装置３７６の一例としてのメモリカードから画像データを読み取る。フロッピーディスクやＭＯに記録された画像データを入力して画像処理する場合、オプション装置制御部３７４としてのフロッピードライブやＭＯドライブがオプション装置３７６の例としてのフロッピーディスクやＭＯから画像データを読み取る。
【００７３】
ＣＤ−ＲＯＭ３９８に記録された画像データを入力して画像処理する場合、ＣＤ−ＲＯＭドライブ３９６がＣＤ−ＲＯＭ３９８から画像データを読み取る。ネットワーク経由で画像データを入力して画像処理する場合、通信Ｉ／Ｆ部３８０を介して画像データを取り込む。
【００７４】
選択条件記憶部２３２は、主要被写体に関する所定の選択条件を記憶する。ここでいう選択条件は、複数の画像の中から良好な画像を選択するための条件である。カメラで撮影される被写体の大半は人物であると言われている。従って、複数の画像から良好な画像を選択するということは、多くの場合において被写体となる人物が見栄えよく写っているかが選択の基準となる。本実施形態においては、人物を被写体にした複数の画像から良好な画像を選択する。人物が見栄えよく写る条件としては、例えば、「瞬きをしていない」、「赤目でない」、「視線がカメラ方向を向いている」、「微笑んでいる」等が考えられる。
【００７５】
注目部位が選択条件を満たすかどうかの判断手法は、選択条件により異なる。「瞬きしていない」、「赤目でない」、「視線がカメラ方向を向いている」という選択条件の場合、目の色、形、大きさ等を判断材料とする。「微笑んでいる」という選択条件の場合、目の大きさ、口の形、口の大きさ等を判断材料とする。これらの判断材料が選択条件を満たすかどうかは、選択条件ごとの経験則に基づいた所定のアルゴリズムにより判断する。
【００７６】
画像選択部２３０は、画像入力部２００が入力した複数の画像データから、選択条件を満たした良好主要被写体を含む良好画像データを選択する。すなわち、画像選択部２３０は、情報取得部２１０が検出した主要被写体が、選択条件記憶部２３２に記憶された選択条件を満たすかどうかを判断する。選択条件を満たした良好主要被写体を含む良好画像は、図６におけるハードディスク３９４に格納され、モニタ３４２に表示される。オプション装置制御部３７４は、メモリカード、フロッピーディスク、ＭＯ等の記録媒体に良好画像を記録してもよい。通信Ｉ／Ｆ部３８０は、ネットワーク経由で良好画像を出力してもよい。
【００７７】
他の形態においては、この画像処理装置は、複数の画像の中から、主要被写体が最も見栄えよく写った画像を選択するデジタルカメラであってもよい。この場合、デジタルカメラの構成は図１に示す通りである。
【００７８】
このように、高い精度で検出される主要被写体を画像選択の判断対象とするので、高い精度で良好な画像を選択することができる。
【００７９】
次に、第５実施形態を説明する。本実施形態における画像処理装置は、主要被写体を検出して最適な画像処理を施すラボシステムである。このラボシステムの構成は図６に示す第４実施形態と同様なので説明を省略する。
【００８０】
図８は、本実施形態における機能ブロック図である。画像入力部２００、奥行き分布情報取得部２０２、範囲設定部２０４、部分画像抽出部２０６、注目部位検出部２０８、情報取得部２１０は、第４実施形態と同様の機能を果たすので説明を省略する。
【００８１】
処理条件決定部２４０は、主要被写体情報に基づいて画像処理条件を決定する。ここでいう主要被写体情報は、例えば画像データにおける主要被写体の位置情報である。画像処理条件としては、以下の条件が考えられる。例えば、処理条件決定部２４０は、主要被写体には色彩度を強調する画像処理を施し、それ以外の被写体には色彩度を弱める画像処理を施す条件を決定してもよい。例えば、処理条件決定部２４０は、主要被写体とそれ以外の被写体とをそれぞれ最適な階調に画像処理する条件を決定してもよい。
【００８２】
例えば、主要被写体の画質を劣化させずに画像全体の画像データサイズを圧縮したい場合に、処理条件決定部２４０は、主要被写体とそれ以外の被写体とで異なる減色（色圧縮）をする条件を決定してもよい。例えば、処理条件決定部２４０は、主要被写体の画像を拡大して強調した画像を主要被写体以外の部分と合成させたり、主要被写体の画像を任意の背景画像と合成する条件を決定してもよい。
【００８３】
処理条件決定部２４０が決定した画像処理条件に基づいて、画像処理部２４２が画像に画像処理を施す。処理済画像は、図６におけるハードディスク３９４に格納され、モニタ３４２に表示される。また、第４実施形態と同様、オプション装置制御部３７４や通信Ｉ／Ｆ部３８０が、記録媒体やネットワークを介して処理済画像を出力してもよい。
【００８４】
他の形態においては、この画像処理装置は、主要被写体を検出して最適な画像処理を施すデジタルカメラであってもよい。この場合、 デジタルカメラの構成は図１に示す通りである。
【００８５】
このように、高い精度で検出される主要被写体にあわせた条件で画像処理するので、より良好な画像を得ることができる。例えば、容易に主要被写体とそれ以外の被写体とに異なる画像処理を施すことができる。
【００８６】
次に、第６実施形態を説明する。本実施形態における画像処理装置は、主要被写体を検出して最適な条件で画像を出力するラボシステムである。このラボシステムの構成は図６に示す第４実施形態と同様なので説明を省略する。
【００８７】
図９は、本実施形態における機能ブロック図である。画像入力部２００、奥行き分布情報取得部２０２、範囲設定部２０４、部分画像抽出部２０６、注目部位検出部２０８、情報取得部２１０は、第４、５実施形態と同様の機能を果たすので説明を省略する。
【００８８】
出力条件決定部２５０は、主要被写体情報に基づいて画像出力条件を決定する。ここでいう主要被写体情報は、例えば画像データにおける主要被写体の位置情報等である。画像出力条件としては、以下の条件が考えられる。画像をモニタに表示する場合、データサイズの大きい画像を表示させるには多少時間がかかる。従って、例えば、出力条件決定部２５０は、主要被写体部分から優先的に表示させて主要被写体以外の部分を遅れて表示させる条件を決定してもよい。また、動画データをネットワークを介して転送し、ネットワーク上のモニタに表示させる場合、出力条件決定部２５０は、主要被写体の部分の転送レートを高くし、主要被写体以外の部分の転送レートを低くする条件を決定してもよい。さらに、出力条件決定部２５０は、主要被写体の部分のシャープネスを強調し、主要被写体以外の部分のシャープネスを弱くする周波数変調処理の条件を決定してもよい。
【００８９】
画像を写真にプリントする場合、例えば、出力条件決定部２５０は、主要被写体の部分を基準に焼き付けする条件を決定してもよい。また、出力条件決定部２５０は、プリンタやモニタにおける画像出力のダイナミックレンジに応じて、主要被写体の部分と主要被写体以外の部分とで異なる階調変換をする条件を決定してもよい。
【００９０】
画像出力部２５２は、画像出力条件に基づいて画像データを出力する。画像出力部２５２には、図６におけるプリントユニット３３０や表示ユニット３４０が該当する。
【００９１】
他の形態においては、この画像処理装置は、主要被写体を検出して最適な条件で画像を出力するデジタルカメラであってもよい。この場合、 デジタルカメラの構成は図１に示す通りである。
【００９２】
このように、奥行き分布情報に基づいて高い精度で主要被写体を検出できるので、容易に主要被写体とそれ以外の被写体とを異なる条件で画像出力することができる。
【００９３】
次に、第７実施形態を説明する。本実施形態においては、第１〜第６実施形態において実現される画像処理装置および画像処理方法を、ハードウェアにその機能を実現させるプログラムソフトウェアを記録した記録媒体の形で提供する。この場合、メインＣＰＵ６２、３６２が、不揮発性メモリ６６、３６６、メインメモリ６８、３６８、ハードディスク３９４、ＣＤ−ＲＯＭ３９８等の少なくともいずれかに格納されたプログラムに基づいて動作する。このプログラムに基づいて動作するハードウェアとして、例えばパーソナルコンピュータやワークステーション等の電子計算機を用いてもよい。
【００９４】
図１０は、本実施形態におけるプログラムの構成を示すブロック図である。このプログラムソフトウェアは、例えば、ＣＤ−ＲＯＭ３９８等の記録媒体に格納されて利用者に提供される。記録媒体に格納されたソフトウエアは圧縮されていても非圧縮であっても良い。一般的に、プログラムソフトウェアは、記録媒体からハードディスク３９４にインストールされ、メインメモリ３６８に読み出されるか、または記録媒体から直接メインメモリ６８に読み出されてメインＣＰＵ６２、３６２により実行される。
【００９５】
プログラムは、図１０に示す通り、種々の機能を果たす複数のプログラムモジュールを組み合わせた形で構成される。このプログラムは、画像入力モジュール２６０、奥行き分布情報取得モジュール２６２、範囲設定モジュール２６４、部分画像抽出モジュール２６６、注目部位検出モジュール２６８、情報取得モジュール２７０を備える。画像入力モジュール２６０は、被写体の画像データを入力するプログラムである。奥行き分布情報取得モジュール２６２は、視差画像に基づいて奥行き分布情報を取得するプログラムである。範囲設定モジュール２６４は、画像データにおいて部分探索範囲を設定するプログラムである。部分画像抽出モジュール２６６は、奥行き分布情報に基づいて部分探索範囲に含まれる被写体部分を部分画像として画像データから抽出するプログラムである。注目部位検出モジュール２６８は、部分画像から注目部位を検出するプログラムである。情報取得モジュール２７０は、検出された注目部位に基づいて主要被写体情報を取得するプログラムである。
【００９６】
記録媒体の一例としてのＣＤ−ＲＯＭ３９８には、メインＣＰＵ６２、３６２の動作の一部又は全ての機能を格納することができる。またＣＤ−ＲＯＭ３９８には他の装置の動作の一部又は全ての機能を格納することができる。
【００９７】
記録媒体としては、ＣＤ−ＲＯＭ３９８の他にも、ＤＶＤやＰＤ等の光学記録媒体、フロッピーディスクやミニディスク（ＭＤ）等の磁気記録媒体、ＭＯ等の光磁気記録媒体、テープ状記録媒体、不揮発性の半導体メモリカード等を用いることができる。上記のプログラムを格納した記録媒体は、画像処理装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【００９８】
上記の各実施形態において、探索範囲はその一例として奥行き幅の範囲について説明した。しかし、本発明はこれに限定されるものではない。例えば、視差量の範囲、下記するような被写体からの反射光の強度の範囲、被写体の形状の大きさの範囲などを探索範囲として用い、被写体までの距離を計測しても良い。
【００９９】
上記の実施例においては、奥行き分布情報取得部２０２の１つの例として、画像入力部２００から受け取る視差画像に基づいて被写体の各部までの距離を示す奥行き分布情報を取得する、いわゆるパッシブタイプの例について説明した。しかし本発明はこれに限定されるものではない。例えば、被写体に対して光を照射し、被写体からの反射光の強度に基づいて前記被写体までの奥行き距離を取得する、いわゆるアクティブタイプを用いても良い。このタイプの距離情報取得部について図１１ないし１４を参照して説明する。
【０１００】
なお、アクティブタイプの奥行き距離取得装置および方法については、同一出願人による特許出願である、特願２０００−３７７７１号および特願２０００−２９１６２３号に詳しく開示されているので、ここでは簡単に説明するにとどめる。
【０１０１】
図１１はアクティブタイプの距離測定装置の第１の具体例を示す図である。第１の光源４０６および第２の光源４０８は同一の波長特性を有する点光源である。光源４０６、４０８はそれぞれ物体４０２から距離Ｒ１、Ｒ２の位置にあり、光源４０６、４０８の放射位置の間隔はＬである。初めに第１の光源４０６から照射された照射光は物体４０２で反射し、その反射光がカメラ４０５で撮影される。次に、一定時間後、第２の光源４０８から照射された照射光は物体４０２で反射し、その反射光がカメラ４０５で撮影される。それぞれの放射光強度、それぞれの反射光強度の比、および光源間の距離を演算することにより、例えば次式により光源から物体までの距離を算出することができる。
【０１０２】
（式１）
Ｒ１＝Ｌ／{（Ｗ１／Ｗ２×Ｉ１／Ｉ２）１／２−１}
ここで、Ｒ１は光源４０６から物体４０２の領域４０４までの距離、Ｌは第１の光源４０６と第２の光源４０８の間の距離、Ｗ１、Ｗ２はそれぞれ第１の光源４０６、第２の光源４０８の反射光強度、Ｉ１、Ｉ２はそれぞれ第１の光源４０６、第２の光源４０８の放射光強度である。
【０１０３】
このように同一波長の光を時間差で照射して測距することが可能である。一方、一変形例として、それぞれの点光源から波長の異なる光を同時に物体に照射し、その反射光から距離を測定することも可能である。
【０１０４】
図１２はアクティブタイプの第２の具体例を示す概略上面図である。この具体例では、第１の光源４１０Ａおよび第２の光源４１０Ｂは同時に光を照射し、各光源からの光はそれぞれ光学フィルタ４１２Ａ、４１２Ｂを透過することで、それぞれ主に波長λＡ、および波長λＢとλＣとを有する光となって物体４０２の領域４０４へ照射される。その反射光は光学レンズ４２０により結像された後、プリズムからなる分光部４３０により各波長λＡ，λＢ，λＣに分割され、それぞれの受光部４４０Ａ，４４０Ｂ，および４４０Ｃにより受光される。受光された光は、光強度検出部（図示せず）を有する処理部４６０で処理される。処理部４６０において３つの波長の異なる反射光の強度を検出することで、光源から物体の領域４０４までの距離が算出される。
【０１０５】
図１３は図１２に示した距離測定装置の変形例を示した概念図である。第１の光源４１０Ａからはフィルタ４１２Ａを介して赤外領域の波長λＡが、第２の光源４１０Ｂからはフィルタ４１２Ｂを介して赤外領域の波長λＢおよびλＣが、それぞれ物体の領域４０４に向けて照射される。一方、物体には可視領域の自然光やストロボ照明光が照射されている。一方プリズムからなる分光部４３０Ｂは、物体の領域４０４からの反射光を波長λＡの光と、波長λＢおよびλＣの光と、可視光との３つの光に波長分離する。分離された各光は、それぞれの受光部４４０Ａ，４４０Ｂ，および４４０Ｃにより受光され、この３つの波長の異なる反射光の強度を検出することで、光源から物体の領域４０４までの距離を算出する。
【０１０６】
図１１ないし図１３の具体例では２つの光源を有する例について説明したが、測定精度を高めるために３つあるいはそれ以上の光源を持つようにしても良い。
【０１０７】
図１４は距離測定装置の第３の具体例を示す概念図である。測距始点４３２と物体４７０Ａとの距離をＤ（Ａ）、物体４７０Ｂまでの距離をＤ（Ｂ）とする。測距始点４３２と物体４７０Ａとを結ぶ直線に対して垂直な面上を等速度Ｖ（Ａ）で光ビームが走査されたとする。この時、光ビームが、測距始点と物体７０Ｂとを結ぶ直線に対して垂直な面上を走査するときの走査速度Ｖ（Ｂ）は、測距始点から物体４７０Ｂまでの距離Ｄ（Ｂ）に比例する。また逆に、光ビームは等速度で走査するので、物体４７０Ｂの注目地点を走査するのに必要な時間は距離Ｄ（Ｂ）に反比例する。このため、光ビームが、物体７０Ｂを走査する間に、物体４７０Ｂに照射される光ビームの積算強度Ｓ（Ｂ）は、距離Ｄ（Ｂ）が大きいほど小さくなる。一方、物体４７０Ｂに照射される光ビームの最大強度Ｐ（Ｂ）は、光ビームが理想的な平行光であるとすれば、距離Ｄ（Ｂ）に依存しない。そこで、例えば積算強度Ｓ（Ｂ）およびビームの最大強度Ｐ（Ｂ）の比と測距始点から物体までの距離Ｄ（Ｂ）との関係を予め調べ、テーブルに格納させておけば、積算強度Ｓ（Ｂ）およびビームの最大強度Ｐ（Ｂ）を測定することにより距離Ｄ（Ｂ）を得ることができる。
【０１０８】
次に本発明の第８実施例について図１５を参照しながら説明する。図１５は第１実施例を示した図２と同一の部分については同じ参照番号を付し、その説明を省略する。
【０１０９】
第１実施例においては、範囲設定部２０４が主要被写体を探索する際に、主要被写体は人物である場合が多いことおよび被写体の中で最もカメラに近い位置に存在する場合が多いことを前提条件として、主要被写体が存在する可能性の高い奥行き位置だけを探索対象とするように、自動的に部分探索範囲が設定されていた。第８実施例においては、主な主要被写体が人物以外、例えば花や鳥、風景などである場合に対応する機能を兼ね備えたものである。
【０１１０】
はじめに撮影操作者はモード選択部５０１から所望のモードを入力する。所望のモードとは例えば主要被写体が遠く離れた距離にある野鳥である場合や、花畑の風景の中間位置にある１輪の珍しい花である場合である。このとき撮影操作者は、例えば遠−近ダイヤルおよび被写体種類選択ダイヤルを操作して所望の条件にセットする。モード選択部５０１で選択された動作モードは範囲設定部５０４に入力される。範囲設定部５０４は、与えられた動作モードに応じて部分探索範囲を設定する。部分画像抽出部５０６は、範囲設定部５０４により設定された奥行き範囲から主要被写体に含まれるべき注目部位を検出する。例えば、このとき部分画像抽出部５０６は、モード選択部５０１により選択された主要被写体に関する情報を入力しているので、花なら花に含まれるべき注目部位である、例えば一群の緑色の葉とその上部に位置する緑色以外の色を持つ物体との組み合わせ、あるいは鳥なら鳥に含まれるべき目とその先方にあるくちばしとの組み合わせなどの注目部位を予め選択しそれに基づいて検出するので、早く確実な検出が可能である。部分画像抽出部５０６により検出された主要被写体候補は表示装置５０２にて表示される。表示装置５０２上で、例えば主要被写体候補の輪郭に沿って白い線で強調したり、その輪郭線をブリンクさせたりすることで、操作者は今どの被写体が選択されているかを知ることができる。撮影操作者はその表示を見ながら、もし表示装置上の主要被写体候補が自分が意図した被写体でない場合には、主要被写体候補変更部５０３のダイヤルを操作して次の候補に移動し、所望の被写体が選択されるまでその操作を繰り返す。
【０１１１】
第８実施例に拠れば、撮影操作者が主要被写体を選択するので、誤認識する可能性がまったくない。特に人物以外を対象とした撮影を行う場合には効果的である。
【０１１２】
以上のように、第１〜８実施形態によれば、奥行き位置の異なる被写体が探索対象から除外されるので、主要被写体の検出において、異なる奥行き位置の被写体同士を一つの被写体として誤認識する可能性を少なくすることができる。また、主要被写体が存在する可能性の高い奥行き位置だけを探索対象とするので、主要被写体検出の時間を短縮することができる。このように、本実施形態の画像処理装置は、高精度または高効率で主要被写体を検出することができる。
【０１１３】
また、第１実施形態においては、高い精度で検出される主要被写体にあわせた条件で撮影するので、最適な画像を得ることができる。
【０１１４】
また、第２実施形態においては、すべての被写体が含まれる奥行き範囲を分割して複数の部分探索範囲を設定し、これらすべての部分探索範囲から主要被写体を検出する。したがって、画像データに複数の主要被写体が含まれる場合に、誤認識することなくすべての主要被写体を切り分けて検出することができる。
【０１１５】
また、第３実施形態においては、高い精度で検出される主要被写体が所望の状態になった瞬間を撮影タイミングとするので、良好な画像を得ることができる。また、効率よく高速に主要被写体を検出できるので、撮影タイミングを逃すことなく良好な画像を得ることができる。
【０１１６】
また、第４実施形態においては、高い精度で検出される主要被写体を画像選択の判断対象とするので、高い精度で良好な画像を選択することができる。
【０１１７】
また、第５実施形態においては、高い精度で検出される主要被写体にあわせた条件で画像処理するので、より良好な画像を得ることができる。例えば、容易に主要被写体とそれ以外の被写体とに異なる画像処理を施すことができる。
【０１１８】
また、第６実施形態においては、奥行き分布情報に基づいて高い精度で主要被写体を検出できるので、容易に主要被写体とそれ以外の被写体とを異なる条件で画像出力することができる。
また、第８実施形態においては、撮影操作者が表示を見ながら主要被写体を確認するので、主要被写体の誤認の可能性はなくすることができる。
【０１１９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１２０】
【発明の効果】
上記の説明から明らかなように、本発明によれば、画像から主要被写体を検出することができる。
【図面の簡単な説明】
【図１】デジタルカメラ１０の構成を示す図である。
【図２】第１実施形態におけるデジタルカメラ１０の機能ブロック図である。
【図３】第１実施形態における画像処理方法を示すフローチャートである。
【図４】第２実施形態における画像処理方法を示すフローチャートである。
【図５】第３実施形態におけるデジタルカメラ１０の機能ブロック図である。
【図６】ラボシステム３００の構成を示す図である。
【図７】第４実施形態におけるラボシステム３００の機能ブロック図である。
【図８】第５実施形態におけるラボシステム３００の機能ブロック図である。
【図９】第６実施形態におけるラボシステム３００の機能ブロック図である。
【図１０】第７実施形態におけるプログラムの構成を示すブロック図である。
【図１１】アクティブタイプの距離測定装置の第１の具体例を示す図である。
【図１２】アクティブタイプの距離測定装置の第２の具体例を示す概略上面図である。
【図１３】図１２に示した距離測定装置の変形例を示した概念図である。
【図１４】距離測定装置の第３の具体例を示す概念図である。
【図１５】第８実施形態におけるデジタルカメラの機能ブロック図である。
【符号の説明】
１０  デジタルカメラ
２０  撮像ユニット
４０  撮像制御ユニット
６０  処理ユニット
１００  表示ユニット
１１０  操作ユニット
２００  画像入力部
２０２  奥行き分布情報取得部
２０４  範囲設定部
２０６  部分画像抽出部
２０８  注目部位検出部
２１０  情報取得部
２２０  撮影条件決定部
２２２  撮像制御部
２２４  タイミング信号出力部
２２６  タイミング条件記憶部
２３０  画像選択部
２３２  選択条件記憶部
２４０  処理条件決定部
２４２  画像処理部
２５０  出力条件決定部
２５２  画像出力部
２６０  画像入力モジュール
２６２  奥行き分布情報取得モジュール
２６４  範囲設定モジュール
２６６  部分画像抽出モジュール
２６８  注目部位検出モジュール
２７０  情報取得モジュール
【図１】
0003897087.tif 000002
【図２】
0003897087.tif 000003
【図３】
0003897087.tif 000004
【図４】
0003897087.tif 000005
【図５】
0003897087.tif 000006
【図６】
0003897087.tif 000007
【図７】
0003897087.tif 000008
【図８】
0003897087.tif 000009
【図９】
0003897087.tif 000010
【図１０】
0003897087.tif 000011
【図１１】
0003897087.tif 000012
【図１２】
0003897087.tif 000013
【図１３】
0003897087.tif 000014
【図１４】
0003897087.tif 000015
【図１５】
0003897087.tif 000016