(57)【要約】【課題】注目しない非主役の人物の状態に基づいて処理を制御することができるようにする。【解決手段】ディジタルカメラにより撮像された画像が解析され、被写体として画像に写る人物Ｈ１乃至Ｈ４のそれぞれの顔の位置、面積、向きなどが検出される。また、顔の面積などに基づいて、人物Ｈ１乃至Ｈ３が主役の人物であると判定され、人物Ｈ４が非主役の人物であると判定される。顔がディジタルカメラの方向を向いていることなどによって、非主役の人物であると判定された人物Ｈ４が目立って写っているタイミングでは、シャッタボタンがロック状態にされて撮像が不可とされる。また、非主役の人物が目立って写っていないタイミングでは、ロック状態が解除され、撮像が可能とされる。本発明は、ディジタルカメラや携帯電話機などの、画像を処理する装置に適用することが可能である。【選択図】図９
2010226558.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像に被写体として写るそれぞれの人物が、注目しない非主役の人物であるか否かを判定する判定手段と、
非主役として判定された人物の状態に基づいて、画像に関する処理である画像関係処理を制御する制御手段と
を備える画像処理装置。
【請求項２】
撮像手段をさらに備え、
前記判定手段は、前記撮像手段により撮像された前記画像に被写体として写るそれぞれの人物が、注目しない非主役の人物であるか否かを判定し、
前記制御手段は、前記画像関係処理として前記撮像手段により行われる、記録対象とする画像を撮像する処理を制御する
請求項１に記載の画像処理装置。
【請求項３】
撮像手段と、
前記撮像手段により撮像された画像を加工する画像処理手段と
をさらに備え、
前記判定手段は、前記撮像手段により撮像された前記画像に被写体として写るそれぞれの人物が、注目しない非主役の人物であるか否かを判定し、
前記制御手段は、前記画像関係処理として前記画像処理手段により行われる、前記撮像手段により撮像された前記画像に写る非主役として判定された人物の部分を加工する処理を制御する
請求項１に記載の画像処理装置。
【請求項４】
撮像された前記画像を記録する記録手段と、
前記記録手段に記録されている前記画像の表示を制御する表示制御手段と
をさらに備え、
前記判定手段は、前記記録手段に記録されている前記画像に被写体として写るそれぞれの人物が、注目しない非主役の人物であるか否かを判定し、
前記制御手段は、前記画像関係処理として前記表示制御手段により行われる、非主役として判定された人物が写る画像を表示する処理を制御する
請求項１に記載の画像処理装置。
【請求項５】
撮像された前記画像を解析し、被写体として写るそれぞれの人物の顔と体のうちの少なくともいずれかの位置に関する情報を取得する検出手段をさらに備え、
前記判定手段は、前記検出手段により取得された前記位置に関する情報に基づいて、画像の中央付近の位置以外の位置に写っている人物を、非主役の人物であると判定する
請求項１に記載の画像処理装置。
【請求項６】
前記判定手段は、連続して撮像された複数の前記画像を対象として前記検出手段により取得された前記位置に関する情報に基づいて、閾値以上の量だけ動いている人物を、非主役の人物であると判定する
請求項５に記載の画像処理装置。
【請求項７】
前記判定手段は、連続して撮像された複数の前記画像を対象として前記検出手段により取得された前記位置に関する情報に基づいて、所定の時間以上、写り続けていない人物を、非主役の人物であると判定する
請求項５に記載の画像処理装置。
【請求項８】
撮像された前記画像を解析し、被写体として写るそれぞれの人物の顔と体のうちの少なくともいずれかの大きさに関する情報を取得する検出手段をさらに備え、
前記判定手段は、前記検出手段により取得された前記大きさに関する情報に基づいて、大きさが閾値より小さい人物を、非主役の人物であると判定する
請求項１に記載の画像処理装置。
【請求項９】
撮像された前記画像を解析し、被写体として写るそれぞれの人物の顔と体のうちの少なくともいずれかの向きに関する情報を取得する検出手段をさらに備え、
前記判定手段は、連続して撮像された複数の前記画像を対象として前記検出手段により取得された前記向きに関する情報に基づいて、所定の時間以上、撮像装置の方向に顔または体を向けていない人物を、非主役の人物であると判定する
請求項１に記載の画像処理装置。
【請求項１０】
撮像された前記画像を解析し、被写体として写るそれぞれの人物の顔を検出する検出手段と、
前記検出手段により検出された顔の表情が笑顔であるか否かを認識する認識手段と
をさらに備え、
前記判定手段は、連続して撮像された複数の前記画像を対象とした前記認識手段による認識結果に基づいて、所定の時間以上、笑顔を続けていない人物を、非主役の人物であると判定する
請求項１に記載の画像処理装置。
【請求項１１】
顔画像を記録する記録手段と、
撮像された前記画像を解析し、被写体として写るそれぞれの人物の顔画像を取得する検出手段と
をさらに備え、
前記判定手段は、被写体として写る人物のうち、前記記録手段に顔画像が記録されていない人物を、非主役の人物であると判定する
請求項１に記載の画像処理装置。
【請求項１２】
撮像された前記画像を表示する表示手段をさらに備え、
前記判定手段は、前記表示手段により表示された画像に被写体として写る人物のうち、ユーザにより指定されていない人物を、非主役の人物であると判定する
請求項１に記載の画像処理装置。
【請求項１３】
撮像された画像に被写体として写るそれぞれの人物が、注目しない非主役の人物であるか否かを判定し、
非主役として判定した人物の状態に基づいて、画像に関する処理である画像関係処理を制御する
ステップを含む画像処理方法。
【請求項１４】
撮像された画像に被写体として写るそれぞれの人物が、注目しない非主役の人物であるか否かを判定し、
非主役として判定した人物の状態に基づいて、画像に関する処理である画像関係処理を制御する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、注目しない非主役の人物の状態に基づいて処理を制御することができるようにした画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
ディジタルカメラなどの画像を扱う装置に搭載する技術として、撮影者が写そうとしている人物を特定し、特定した人物にピントを合わせたりズームを制御したりして、より適切な画像を得ることができるようにした技術が各種提案されている。
【０００３】
例えば、特許文献１には、画像を印刷する際に、ユーザが被写体として意図している人物と意図していない人物を顔の大きさによって区別する技術が記載されている。
【０００４】
特許文献２には、同じ構図で撮像を複数回行い、続けて写っている人を被写体として特定する技術が記載されている。特定した被写体以外の、動いている通行人などを画像合成によって除去することも記載されている。
【０００５】
特許文献３には、画像から抽出した人物の数や大きさに応じて最良の色パラメータや輪郭強調パラメータ、あるいは絞り値を選択する技術が記載されている。複数の顔が検出された場合に、いずれの顔に合わせて合焦や露出を制御するのかを判断することも記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２２６３４６号公報
【特許文献２】特開平１１−４３７７号公報
【特許文献３】特開２００４−３２０２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した技術によっては、ピント、絞り、色合い、顔の向きや視線、位置、大きさなどが適切な状態になるようにして主役となる人物を写すことができるが、主役ではない、非主役の人物についても同様に適切な状態で写ってしまうことがある。
【０００８】
例えば主役の人物と非主役の人物がすぐ近くにいる場合には、非主役の人物についても、主役の人物と同等に適切な状態で写ってしまう。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、注目しない非主役の人物の状態に基づいて処理を制御することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の画像処理装置は、撮像された画像に被写体として写るそれぞれの人物が、注目しない非主役の人物であるか否かを判定する判定手段と、非主役として判定された人物の状態に基づいて、画像に関する処理である画像関係処理を制御する制御手段とを備える。
【００１１】
撮像手段をさらに設けることができる。この場合、前記判定手段には、前記撮像手段により撮像された前記画像に被写体として写るそれぞれの人物が、注目しない非主役の人物であるか否かを判定させ、前記制御手段には、前記画像関係処理として前記撮像手段により行われる、記録対象とする画像を撮像する処理を制御させることができる。
【００１２】
撮像手段と、前記撮像手段により撮像された画像を加工する画像処理手段とをさらに設けることができる。この場合、前記判定手段には、前記撮像手段により撮像された前記画像に被写体として写るそれぞれの人物が、注目しない非主役の人物であるか否かを判定させ、前記制御手段には、前記画像関係処理として前記画像処理手段により行われる、前記撮像手段により撮像された前記画像に写る非主役として判定された人物の部分を加工する処理を制御させることができる。
【００１３】
撮像された前記画像を記録する記録手段と、前記記録手段に記録されている前記画像の表示を制御する表示制御手段とをさらに設けることができる。この場合、前記判定手段には、前記記録手段に記録されている前記画像に被写体として写るそれぞれの人物が、注目しない非主役の人物であるか否かを判定させ、前記制御手段には、前記画像関係処理として前記表示制御手段により行われる、非主役として判定された人物が写る画像を表示する処理を制御させることができる。
【００１４】
撮像された前記画像を解析し、被写体として写るそれぞれの人物の顔と体のうちの少なくともいずれかの位置に関する情報を取得する検出手段をさらに設けることができる。この場合、前記判定手段には、前記検出手段により取得された前記位置に関する情報に基づいて、画像の中央付近の位置以外の位置に写っている人物を、非主役の人物であると判定させることができる。
【００１５】
前記判定手段には、連続して撮像された複数の前記画像を対象として前記検出手段により取得された前記位置に関する情報に基づいて、閾値以上の量だけ動いている人物を、非主役の人物であると判定させることができる。
【００１６】
前記判定手段には、連続して撮像された複数の前記画像を対象として前記検出手段により取得された前記位置に関する情報に基づいて、所定の時間以上、写り続けていない人物を、非主役の人物であると判定させることができる。
【００１７】
撮像された前記画像を解析し、被写体として写るそれぞれの人物の顔と体のうちの少なくともいずれかの大きさに関する情報を取得する検出手段をさらに設けることができる。この場合、前記判定手段には、前記検出手段により取得された前記大きさに関する情報に基づいて、大きさが閾値より小さい人物を、非主役の人物であると判定させることができる。
【００１８】
撮像された前記画像を解析し、被写体として写るそれぞれの人物の顔と体のうちの少なくともいずれかの向きに関する情報を取得する検出手段をさらに設けることができる。この場合、前記判定手段には、連続して撮像された複数の前記画像を対象として前記検出手段により取得された前記向きに関する情報に基づいて、所定の時間以上、撮像装置の方向に顔または体を向けていない人物を、非主役の人物であると判定させることができる。
【００１９】
撮像された前記画像を解析し、被写体として写るそれぞれの人物の顔を検出する検出手段と、前記検出手段により検出された顔の表情が笑顔であるか否かを認識する認識手段とをさらに設けることができる。この場合、前記判定手段には、連続して撮像された複数の前記画像を対象とした前記認識手段による認識結果に基づいて、所定の時間以上、笑顔を続けていない人物を、非主役の人物であると判定させることができる。
【００２０】
顔画像を記録する記録手段と、撮像された前記画像を解析し、被写体として写るそれぞれの人物の顔画像を取得する検出手段とをさらに設けることができる。この場合、前記判定手段には、被写体として写る人物のうち、前記記録手段に顔画像が記録されていない人物を、非主役の人物であると判定させることができる。
【００２１】
撮像された前記画像を表示する表示手段をさらに設けることができる。この場合、前記判定手段には、前記表示手段により表示された画像に被写体として写る人物のうち、ユーザにより指定されていない人物を、非主役の人物であると判定させることができる。
【００２２】
本発明の一側面の画像処理方法は、撮像された画像に被写体として写るそれぞれの人物が、注目しない非主役の人物であるか否かを判定し、非主役として判定した人物の状態に基づいて、画像に関する処理である画像関係処理を制御するステップを含む。
【００２３】
本発明の一側面のプログラムは、撮像された画像に被写体として写るそれぞれの人物が、注目しない非主役の人物であるか否かを判定し、非主役として判定した人物の状態に基づいて、画像に関する処理である画像関係処理を制御するステップを含む処理をコンピュータに実行させる。
【００２４】
本発明の一側面においては、撮像された画像に被写体として写るそれぞれの人物が、注目しない非主役の人物であるか否かが判定され、非主役として判定された人物の状態に基づいて、画像に関する処理である画像関係処理が制御される。
【発明の効果】
【００２５】
本発明の一側面によれば、注目しない非主役の人物の状態に基づいて処理を制御することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】画像処理装置の制御処理について説明するフローチャートである。
【図３】図１の判定部の構成例を示すブロック図である。
【図４】顔と人体の大きさを基準としたスコアについて説明する図である。
【図５】顔の位置を基準としたスコアについて説明する図である。
【図６】図１の判定部の他の構成例を示すブロック図である。
【図７】図１の判定部のさらに他の構成例を示すブロック図である。
【図８】ディジタルカメラの構成例を示すブロック図である。
【図９】画像の例を示す図である。
【図１０】画像の他の例を示す図である。
【図１１】画像のさらに他の例を示す図である。
【図１２】画像の例を示す図である。
【図１３】図８の構成を有するディジタルカメラのシャッタ制御処理について説明するフローチャートである。
【図１４】ディジタルカメラの他の構成例を示すブロック図である。
【図１５】加工が施された画像の例を示す図である。
【図１６】図１４の構成を有するディジタルカメラのぼかし制御処理について説明するフローチャートである。
【図１７】ディジタルカメラのさらに他の構成例を示すブロック図である。
【図１８】図１７の構成を有するディジタルカメラの表示制御処理について説明するフローチャートである。
【図１９】ディジタルカメラの構成例を示すブロック図である。
【図２０】ディジタルカメラの他の構成例を示すブロック図である。
【図２１】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
［画像処理装置の全体の構成と動作］
図１は、本発明の一実施の形態に係る画像処理装置１の構成例を示すブロック図である。
【００２８】
図１の画像処理装置１は、画像取得部１１、判定部１２、制御部１３、および処理部１４から構成される。このような構成を有する画像処理装置１が、後述するようにディジタルカメラなどの機器に適用される。
【００２９】
画像取得部１１は、撮像された画像を取得する。CCD(Charge Coupled Device)などの撮像素子により撮像された画像が直接、または、撮像され、メモリカードなどの記録媒体に一度記録された画像が画像取得部１１により取得される。画像取得部１１は、取得した画像を判定部１２に出力する。
【００３０】
判定部１２は、画像取得部１１から供給された画像を解析し、画像に被写体として写る人物が、その画像の撮影者であるユーザが注目していた主役の人物であるのか、注目していない非主役の人物であるのかを判定する。
【００３１】
１枚の画像に複数の人物が写っている場合、それぞれの人物について、主役の人物であるのか、非主役の人物であるのかが判定される。以下、適宜、主役の人物であるのか、非主役の人物であるのかの判定を、主役・非主役判定という。
【００３２】
また、判定部１２は、被写体として写るそれぞれの人物の顔の画像中における大きさ、位置、方向や、体の大きさ、位置を検出するとともに、位置などを検出した顔や体の状態を認識する。例えば、判定部１２は、顔の表情や視線を顔の状態として認識し、姿勢を体の状態として認識する。
【００３３】
判定部１２は、検出した顔や体に関する情報と、認識した顔や体の状態の情報を、主役・非主役判定の結果の情報とともに制御部１３に出力する。
【００３４】
制御部１３は、判定部１２から供給された情報に基づいて、非主役の人物の状態を検出する。また、制御部１３は、非主役の人物の状態に基づいて、処理部１４により行われる画像に関する処理である画像関係処理を制御する。
【００３５】
例えば、制御部１３は、非主役が目立って写っている状態にある場合、画像処理装置１がディジタルカメラなどの撮像装置に適用されているときには、シャッタボタンをロック状態、すなわち押すことができないようにして画像の取得処理を行わせないようにする。
【００３６】
また、制御部１３は、非主役が目立って写っている状態にある場合、画像処理装置１がディジタルカメラなどの撮像装置に適用されているときには、記録対象の画像に写る、非主役の人物の部分をぼかすなどの画像の加工処理を行わせる。
【００３７】
さらに、制御部１３は、撮像済みの画像を表示することがユーザにより指示された場合、指示された画像のうち、非主役の人物が目立って写っている画像を表示対象の画像としては選択せずに、非主役の人物が目立っていない画像だけを選択して表示させる。
【００３８】
この例においては、画像を取得する処理、画像を加工する処理、画像を表示する処理が画像関係処理となる。画像関係処理には、画像を送信する処理、画像を受信する処理、記録済みの画像を削除する処理などの、画像に関する各種の処理が含まれる。
【００３９】
処理部１４は、制御部１３による制御に従って画像関係処理を行う。
【００４０】
ここで、図２のフローチャートを参照して、図１の画像処理装置１が行う制御処理について説明する。
【００４１】
ステップＳ１において、画像取得部１１は、撮像された画像を取得する。
【００４２】
ステップＳ２において、判定部１２は、画像取得部１１により取得された画像に被写体として写る人物のそれぞれが、主役の人物であるのか、非主役の人物であるのかを判定する。また、判定部１２は、それぞれの人物の顔の大きさ、位置、方向や、体の大きさ、位置を検出するとともに、位置などを検出した顔や体の状態を認識する。
【００４３】
ステップＳ３において、制御部１３は、非主役の人物の状態に基づいて、画像関係処理を制御する。
【００４４】
ステップＳ４において、処理部１４は、制御部１３による制御に従って画像関係処理を行う。
【００４５】
このように、画像処理装置１においては、主役の人物の状態ではなく、非主役の人物の状態に基づいて、各種の処理が制御される。
【００４６】
例えば非主役の人物が目立っているときにはシャッタボタンをロックして撮像を行うことができないようにすることにより、主役の人物だけでなく、非主役の人物も目立って写っているような画像の撮像を防止することができる。
【００４７】
仮に、主役の人物の状態に注目し、主役の人物が目立っているときに撮像を行うとした場合、主役の人物と非主役の人物が同等に目立っているような画像についても撮像が行われてしまうことになるが、そのようなことを防ぐことが可能になる。
【００４８】
なお、非主役の人物の状態に基づいて処理が制御されることから、主役の人物であるのか、非主役の人物であるのかを判定する主役・非主役判定として、非主役の人物であるか否かの判定だけが少なくとも行われればよい。この場合、画像に写るどの人物が非主役であるのかを表す情報が、判定結果の情報として判定部１２から制御部１３に供給される。
【００４９】
［判定部１２の構成］
図３は、図１の判定部１２の構成例を示すブロック図である。
【００５０】
図３に示すように、判定部１２は、顔検出部２１、顔状態認識部２２、人体検出部２３、姿勢認識部２４、および主役・非主役判定部２５から構成される。画像取得部１１から出力された画像は、顔検出部２１、人体検出部２３、および主役・非主役判定部２５に入力される。
【００５１】
顔検出部２１は、入力された画像に写る顔を検出し、画像中における顔の位置、大きさ、向きを取得する。顔の向きは、ロール方向の角度、ピッチ方向の角度、ヨー方向の角度によって表される。
【００５２】
画像から顔を検出し、顔の位置、大きさ、向きを検出する技術については例えば特開２００７−２４９８５２号公報に記載されている。
【００５３】
この公報に記載されている技術においては、一定のサイズのウインドウを１画素ずつラスタ順にずらして対象の画像をスキャンし、ウインドウ内の画像である切り取り画像を取得することが、対象の画像のサイズを順次小さくして繰り返し行われる。また、それぞれの切り取り画像に写るものが顔であるか否かを検出し、切り出し画像の任意の２つの画素の輝度値の差分をAdaBoostなどのアルゴリズムを使った判別器に入力して、どの方向を向いた顔であるのかを判別することが行われる。
【００５４】
判別器においては、２つの画素の輝度値の差分を入力として複数の弱判別器により推定値が求められ、学習により得られた重みを乗算して得られた重み付きの推定値に基づいて、どの方向を向いた顔であるのかが判別されるようになされている。
【００５５】
顔検出部２１は、検出した顔の画像とともに、例えば、顔が写っていることを検出したウインドウ（矩形領域）の中心位置の情報を顔の位置の情報として出力し、その矩形領域の面積を顔の大きさの情報として出力する。また、顔検出部２１は、例えばヨー方向に関しては−４５〜−１５，−１５〜＋１５，＋１５〜＋４５といったように、ある範囲をもった情報を顔の向きの情報として出力する。顔検出部２１から出力された情報は顔状態認識部２２に供給される。
【００５６】
特開２００５−２８４４８７号公報に記載されている技術によって顔の位置などの検出が行われるようにしてもよい。また、「佐部  浩太郎，日台  健一，”ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習”，第１０回画像センシングシンポジウム講演論文集，pp.547−552，2004」に記載されている技術が用いられるようにしてもよい。
【００５７】
顔状態認識部２２は、顔検出部２１により位置などが検出された顔の状態を認識する。例えば、学習により予め用意されている辞書の情報と比較することによって、視線の方向と、表情が笑顔であるか否かが、顔の状態として認識される。顔状態認識部２２は、認識した顔の状態を表す情報を、顔検出部２１から供給された情報とともに主役・非主役判定部２５に出力する。
【００５８】
人体検出部２３は、入力された画像に写る人体を検出し、画像中における人体の位置、大きさを取得する。
【００５９】
画像から人体を検出し、人体の位置、大きさを検出する技術については例えば『K.Mikolajczyk，C.Schmid, and A.Zisserman「Human detection based on a probabilistic assembly of robust part detectors」Proc. ECCV, 1:69.81, 2004』に記載されている。
【００６０】
この文献に記載されている技術においては、画像から人を検出（認識）するための主な特徴量として、エッジ抽出により得られる輪郭特徴量が用いられている。また、Gaussian Derivativesを用いた輪郭特徴量により、人の体の各パーツが表現されるようになされている。
【００６１】
人体検出部２３は、検出した人体の画像とともに、例えば、人体を囲む矩形領域の中心位置の情報を人体の位置の情報として出力し、その矩形領域の面積を人体の大きさの情報として出力する。人体検出部２３から出力された情報は姿勢認識部２４に供給される。
【００６２】
上記文献に記載されている技術ではなく、『Navneet Dalal and Bill Triggs「Histograms of Oriented Gradients for Human Detection」CVPR2005』に記載されている技術によって人体の位置などが検出されるようにしてもよい。
【００６３】
姿勢認識部２４は、人体検出部２３により位置などが検出された人体の状態を認識する。例えば、予め用意されている姿勢に関する情報と比較することによって、姿勢が認識される。撮像した画像情報と、予め用意されている情報を比較して姿勢を認識する技術については例えば特開平９−２７３９２０号公報に記載されている。
【００６４】
姿勢認識部２４は、認識した姿勢を表す情報を、人体検出部２３から供給された情報とともに主役・非主役判定部２５に出力する。
【００６５】
主役・非主役判定部２５は、顔状態認識部２２から供給された顔の位置、大きさ、方向を表す情報と顔の状態を表す情報、および、姿勢認識部２４から供給された人体の位置、大きさを表す情報と姿勢を表す情報を取得する。
【００６６】
画像取得部１１により画像が繰り返し取得され、それぞれの画像を対象として、順次、解析が行われることにより、それぞれの画像に写る人物の顔や体に関する情報が主役・非主役判定部２５により取得される。主役・非主役判定部２５においては、画像取得部１１から出力された画像も取得される。
【００６７】
主役・非主役判定部２５は、取得した情報に基づいて、画像取得部１１により取得された画像に写るそれぞれの人物を対象として、主役・非主役判定を行う。
【００６８】
例えば、主役・非主役判定部２５は、顔と人体の大きさを基準としたスコア、顔と人体の位置を基準としたスコア、時間情報を用いたスコアをそれぞれ求め、求めたスコアを統合して用いることによって、主役・非主役判定を行う。各スコアの求め方について順に説明する。
【００６９】
１．顔と人体の大きさを基準としたスコア
主役・非主役判定部２５は、面積が大きくなるほど高くなり、小さくなるほど低くなるようにして、顔の大きさを基準としたスコアと、体の大きさを基準としたスコアを算出する。
【００７０】
例えば、主役・非主役判定部２５は、下式（１）に示すように、顔の面積を画像全体の面積で割り算することによって顔の大きさによるスコアを算出する。
【数１】
2010226558.tif 000003
【００７１】
また、主役・非主役判定部２５は、下式（２）に示すように、人体の面積を画像全体の面積で割り算することによって人体の大きさによるスコアを算出する。
【数２】
2010226558.tif 000004
【００７２】
主役・非主役判定部２５により算出されるスコアは０．０〜１．０の範囲の値となる。
【００７３】
図４は、顔と人体の大きさを基準としたスコアについて説明する図である。
【００７４】
手前に２人が並び、その後ろに２人が並んでいる図４に示すような画像が取得された場合、顔検出部２１と人体検出部２２においては、４人それぞれの顔と体の位置、面積などが検出される。図４は、人体として上半身の検出を行った場合の例を示している。
【００７５】
この場合、手前の左側にいる人物の顔の位置が枠Ｆ１の中心位置で表され、顔の面積が枠Ｆ１の面積で表される。また、手前の左側にいる人の体の位置が枠Ｂ１の中心位置で表され、体の面積が枠Ｂ１の面積で表される。
【００７６】
同様に、後ろの右側にいる人物の顔の位置が枠Ｆ２の中心位置で表され、顔の面積が枠Ｆ２の面積で表される。また、後ろの右側にいる人の体の位置が枠Ｂ２の中心位置で表され、体の面積が枠Ｂ２の面積で表される。
【００７７】
面積が広いため、式（１）、式（２）によれば、手前の左側の人物の顔の大きさのスコアと体の大きさのスコアは、ともに後ろの右側の人物のスコアより高い値になる。
【００７８】
主役・非主役判定部２５においては、手前の右側の人物についても、後ろの左側の人物についても顔と体の大きさを基準としたスコアが同様にして算出される。
【００７９】
２．顔と人体の位置を基準としたスコア
図５は、顔の位置を基準としたスコアについて説明する図である。
【００８０】
主役・非主役判定部２５は、顔の位置が画像の中央に近くなるほど高くなり、画像の隅に近くなるほど低くなるようにしてスコアを算出する。
【００８１】
例えば、図５に示すように画像の幅をＷ［pixel］、高さをＨ［pixel］、矩形領域の中心位置によって表される顔の位置を（ｘ，ｙ）[pixel]とすると、主役・非主役判定部２５は、下式（３）に従って、顔の位置を基準としたスコアを算出する。なお、図５の例においては顔の位置を表す座標の原点は左上の位置とされている。
【数３】
2010226558.tif 000005
【００８２】
主役・非主役判定部２５により算出されるスコアは０．０〜１．０の範囲の値となる。主役・非主役判定部２５は、人体の位置を基準としたスコアについても同様に、その位置が画像の中央に近くなるほど高くなり、画像の隅に近くなるほど低くなるようにして算出する。
【００８３】
３．時間情報を用いたスコア
主役・非主役判定部２５は、カメラを見ている時間、動きを止めてポーズをとっている時間、画像中にとどまっている時間、笑顔を続けている時間が長い人物のスコアが高くなり、それらの時間が短い人物のスコアが低くなるようにしてスコアを算出する。この場合、連続して撮像された複数の画像を対象とした解析の結果が用いられることになる。
【００８４】
測定時間をｓ［秒］、１秒あたりの画像処理枚数（判定部１２に対する入力画像の数）をｆ［枚］とすると、測定時間内にｓｆ[枚]の画像が処理される。
【００８５】
カメラを見ている時間を基準としたスコアについては、下式（４）によって求められる。
【数４】
2010226558.tif 000006
【００８６】
ｇは、測定時間内に処理されるｓｆ[枚]の画像のうちの、カメラ方向を見ている画像の枚数である。カメラ方向を見ている画像であるか否かは、顔検出部２１により検出された顔の向きに基づいて判定される。主役・非主役判定部２５により算出されるスコアは０．０〜１．０の範囲の値となる。
【００８７】
カメラ方向を見ているか否かが、顔状態認識部２２により認識された視線に基づいて判定されるようにしてもよい。
【００８８】
他のスコアについても同様に式（４）によって求められる。
【００８９】
動きを止めてポーズをとっている時間を基準としたスコアを算出する場合、主役・非主役判定部２５は、あるフレーム中の人体を囲む矩形領域を構成する画素と、それに対応する直前のフレーム中の同じ人体を囲む矩形領域を構成する画素の輝度値の差分を求める。動きを止めてポーズをとっている時間によるスコアの算出には人体検出部２３による検出結果が用いられることになる。
【００９０】
また、主役・非主役判定部２５は、輝度値の差分の合計値を求め、求めた合計値が閾値以下であるときは人物の動きがないものとし、ｓ秒間における動きのなかったフレーム数ｇを式（４）に適用してスコアを求める。
【００９１】
姿勢認識部２４により認識された姿勢に基づいて、同じ姿勢が連続して認識されたフレーム数ｇを式（４）に適用することによって、動きを止めてポーズをとっている時間を基準としたスコアが求められるようにしてもよい。
【００９２】
画像中にとどまっている時間を基準としたスコアを算出する場合、主役・非主役判定部２５は、同じ人物が続けて検出されたフレーム数ｇを式（４）に適用してスコアを求める。顔検出部２１により検出された顔、または人体検出部２３により検出された人体には例えばIDが割り当てられ、同じ人物の顔、体の位置などを複数のフレームに渡って追跡することができるようになされている。
【００９３】
笑顔を続けている時間を基準としたスコアを算出する場合、主役・非主役判定部２５は、同じ人物が続けて笑顔でいるフレーム数ｇを式（４）に適用してスコアを求める。笑顔を続けている時間を基準としたスコアの算出には顔状態認識部２２による認識結果が用いられることになる。
【００９４】
式（４）を用いる方法以外に、閾値ｔ［枚］を設定し、一定時間内に、対象とする状態が検出された画像の枚数が閾値の枚数以上であれば１．０、閾値未満であれば０とすることによって、各スコアが算出されるようにしてもよい。この場合、カメラを見ている時間を基準としたスコアについては下式（５）によって表される。
【数５】
2010226558.tif 000007
【００９５】
４．複数のスコアの統合方法
主役・非主役判定部２５は、以上のようにして算出した複数のスコアを統合する。
【００９６】
統合させるスコアの数をＮ、それぞれのスコアをＳｉ（ｉ＝１，・・・，Ｎ）とすると、相加平均によって統合したスコアは下式（６）によって表される。
【数６】
2010226558.tif 000008
【００９７】
また、相乗平均によって統合したスコアは下式（７）によって表される。
【数７】
2010226558.tif 000009
【００９８】
統合したスコアは、被写体として写る人物毎に求められる。
【００９９】
主役・非主役判定部２５は、統合して得られたスコアに基づいて、統合されたスコアが閾値以上の人物を主役の人物として判定し、閾値未満の人物を非主役の人物として判定する。
【０１００】
主役・非主役判定部２５は、判定結果の情報を、顔状態認識部２２から供給された情報と姿勢認識部２４から供給された情報とともに制御部１３に出力する。
【０１０１】
非主役の人物であるか否かだけを判定する場合、主役・非主役判定部２５は、閾値未満の人物を非主役の人物として判定する。主役の人物として判定する基準となる閾値と、非主役の人物として判定する基準となる閾値がそれぞれ異なる値であってもよい。
【０１０２】
また、統合の対象になるスコアとして、算出した全てのスコアではなく、一部のスコアが用いられるようにしてもよい。
【０１０３】
例えば、非主役の人物であるか否かの判定が顔と人体の大きさを基準としたスコアに基づいて行われる場合、被写体として画像に写る人物のうち、顔と体の大きさが閾値より小さい人物が非主役の人物であると判定されることになる。
【０１０４】
また、非主役の人物であるか否かの判定が顔と人体の位置を基準としたスコアに基づいて行われる場合、予め設定されている中央付近の位置以外の位置に顔と体が写っている人物が非主役の人物であると判定されることになる。
【０１０５】
非主役の人物であるか否かの判定がカメラを見ている時間を基準としたスコアに基づいて行われる場合、予め設定されている所定の時間以上、カメラの方向に顔や体を向けていない人物が非主役の人物であると判定されることになる。
【０１０６】
非主役の人物であるか否かの判定が動きを止めてポーズをとっている時間を基準としたスコアに基づいて行われる場合、予め設定されている所定の時間以上、動き（顔や体の位置）を止めていない人物が非主役の人物であると判定されることになる。
【０１０７】
非主役の人物であるか否かの判定が画像中にとどまっている時間を基準としたスコアに基づいて行われる場合、予め設定されている所定の時間以上、画像中にとどまっていない人物が非主役の人物であると判定されることになる。
【０１０８】
同様に、非主役の人物であるか否かの判定が笑顔を続けている時間を基準としたスコアに基づいて行われる場合、予め設定されている所定の時間以上、笑顔を続けていない人物が非主役の人物であると判定されることになる。
【０１０９】
［変形例］
図６は、判定部１２の他の構成例を示すブロック図である。
【０１１０】
図６に示す構成のうち、図３に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１１】
図６の構成は、人体検出部２３と姿勢認識部２４が設けられていない点で図３の判定部１２の構成と異なる。図６の判定部１２は、顔検出部２１と顔状態認識部２２から構成され、主役・非主役判定を人物の顔に注目して行う。
【０１１２】
顔検出部２１は、入力された画像に写る顔を検出し、画像中における顔の位置、大きさ、向きを取得する。顔検出部２１は、取得した顔の位置、大きさ、向きを表す情報を顔状態認識部２２に出力する。
【０１１３】
顔状態認識部２２は、顔検出部２１により位置などが検出された顔の状態を認識し、認識した顔の状態を表す情報を、顔検出部２１から供給された情報とともに主役・非主役判定部２５に出力する。
【０１１４】
主役・非主役判定部２５は、画像取得部１１から供給された画像と、顔状態認識部２２から供給された情報に基づいて、上述したようにして顔の大きさを基準としたスコア、顔の位置を基準としたスコアを算出する。
【０１１５】
また、主役・非主役判定部２５は、時間情報を用いたスコアのうちのカメラを見ている時間、画像中にとどまっている時間、笑顔を続けている時間を基準としたスコアなども算出し、算出したスコアのうちの少なくとも一部を統合して主役・非主役判定を行う。判定結果の情報は、顔検出部２１から供給された情報とともに制御部１３に出力される。
【０１１６】
図７は、判定部１２のさらに他の構成例を示すブロック図である。
【０１１７】
図７に示す構成についても、図３に示す構成と同じ構成に同じ符号を付してある。重複する説明については適宜省略する。
【０１１８】
図７の構成は、顔検出部２１と顔状態認識部２２が設けられていない点で図３の判定部１２の構成と異なる。図７の判定部１２は、人体検出部２３と姿勢認識部２４から構成され、主役・非主役判定を人体に注目して行う。
【０１１９】
人体検出部２３は、入力された画像に写る人体を検出し、画像中における人体の位置、大きさの情報を姿勢認識部２４に出力する。
【０１２０】
姿勢認識部２４は、人体検出部２３により位置などが検出された人体の姿勢を認識し、認識した姿勢を表す情報を、人体検出部２３から供給された情報とともに主役・非主役判定部２５に出力する。
【０１２１】
主役・非主役判定部２５は、画像取得部１１から供給された画像と、姿勢認識部２４から供給された情報に基づいて、上述したようにして人体の大きさを基準としたスコア、人体の位置を基準としたスコアを算出する。
【０１２２】
また、主役・非主役判定部２５は、時間情報を用いたスコアのうちの画像中にとどまっている時間を基準としたスコアなども算出し、算出したスコアのうちの少なくとも一部を統合して主役・非主役判定を行う。判定結果の情報は、姿勢認識部２４から供給された情報とともに制御部１３に出力される。
【０１２３】
このように、主役・非主役判定が画像に写る人物の顔だけに注目して行われるようにしてもよいし、人体だけに注目して行われるようにしてもよい。
【０１２４】
＜第１の適用例＞
［ディジタルカメラの構成例］
図８は、図１の画像処理装置１を適用したディジタルカメラの構成例を示すブロック図である。
【０１２５】
図８のディジタルカメラ５１は、撮像部６１、判定部６２、制御部６３、シャッタボタン６４、記録制御部６５、およびメモリカード６６から構成される。
【０１２６】
撮像部６１が図１の画像取得部１１に対応し、判定部６２が判定部１２に対応する。また、制御部６３が制御部１３に対応し、シャッタボタン６４、あるいはシャッタボタン６４のロック／リリースを切り替える構成が処理部１４に対応する。
【０１２７】
図８のディジタルカメラ５１は、画像に写る非主役の人物の状態に基づいて、画像関係処理としての画像を取得する処理を制御する装置である。
【０１２８】
撮像部６１は撮像素子やA/D(Analog/Digital)変換回路などよりなり、光電変換やA/D変換を行うことによって画像を取得する。例えば、撮像部６１は、ディジタルカメラ５１の電源がオンになったとき、主役・非主役判定に用いるための画像を取得し、判定部６２に出力する。主役・非主役判定に用いるための画像は所定の周期で繰り返し取得される。
【０１２９】
また、撮像部６１は、シャッタボタン６４がユーザにより押されたことに応じて記録対象の画像を取得し、記録制御部６５に出力する。
【０１３０】
判定部６２は、撮像部６１により取得された画像を解析し、図１の判定部１２と同様にして主役・非主役判定を行う。判定部６２は、判定結果を表す情報を、画像を解析することによって得られた顔や人体の位置、大きさなどの情報とともに制御部６３に出力する。
【０１３１】
制御部６３は、撮像部６１により取得された画像に写る非主役の人物を判定部６２から供給された情報に基づいて特定し、特定した非主役の人物の状態に基づいてシャッタボタン６４のロック／リリースを制御する。非主役の人物の状態も、判定部６２から供給された情報に基づいて検出される。ロック状態にある場合、固定部材によってシャッタボタン６４が固定され、シャッタボタン６４を押すことができないようになる。
【０１３２】
例えば、制御部６３は、非主役の人物の状態として、非主役の人物の顔と体の相対的、または絶対的な大きさがどのような状態になっているのかを検出し、大きい場合、シャッタボタン６４をロック状態にする。非主役の人物の顔と体の面積が、主役の人物の顔と体の面積と較べて大きい場合や閾値としての面積より大きい場合、撮像を行うことができなくなる。
【０１３３】
非主役の人物の顔と体の面積が、主役の人物の顔と体の面積と較べて小さくなった場合や閾値としての面積より小さくなった場合、シャッタボタン６４はリリースされ、撮像を行うことができるようになる。
【０１３４】
また、制御部６３は、非主役の人物の状態として、非主役の人物の顔と体の位置がどの位置あるのかを検出し、中央付近にある場合、シャッタボタン６４をロック状態にする。非主役の人物の顔や体が、画像の中央付近に設定された所定のエリア内にある場合などに、撮像を行うことができなくなる。
【０１３５】
非主役の人物の顔と体の位置がそのエリアから外れた場合、シャッタボタン６４はリリースされ、撮像を行うことができるようになる。
【０１３６】
さらに、制御部６３は、非主役の人物の状態として、非主役の人物の視線や、顔と体の向きがどの方向に向いているのかを検出し、ディジタルカメラ５１の方向を向いている場合、シャッタボタン６４をロック状態にする。非主役の人物の視線や、顔と体の向きが、ディジタルカメラ５１の方向として設定されている所定の範囲の方向にある場合などに、撮像を行うことができなくなる。
【０１３７】
非主役の人物の視線や、顔と体の向きが、設定された範囲から外れた場合、シャッタボタン６４はリリースされ、撮像を行うことができるようになる。
【０１３８】
制御部６３は、このような非主役の人物の状態を検出し、複数の条件のうちのいずれか一つでも該当する場合にシャッタボタン６４をロック状態にして撮影を不可とする。
【０１３９】
記録制御部６５は、撮像部６１から供給された記録対象の画像に圧縮などの処理を施し、得られた画像をスロットに挿入されたメモリカード６６に記録させる。
【０１４０】
図９は、撮像された画像の例を示す図である。
【０１４１】
図９の画像には人物Ｈ１乃至Ｈ４の４人の人物が写っている。人物Ｈ１乃至Ｈ４のうちの人物Ｈ１乃至Ｈ３の３人はディジタルカメラ５１に近い位置に立って写っており、人物Ｈ４は人物Ｈ１乃至Ｈ３の後ろの位置に立って写っている。
【０１４２】
図９に示すような画像が取得された場合、判定部６２においては、上述したようにして人物Ｈ１乃至Ｈ４の顔の位置、面積、向きなどが検出される。
【０１４３】
点線で示す枠Ｗ１乃至Ｗ３は、それぞれ判定部６２により検出された人物Ｈ１乃至Ｈ３の顔の領域を表し、実線で示す枠Ｗ４は人物Ｈ４の顔の領域を表す。枠Ｗ４で囲む人物Ｈ４の顔の面積は、枠Ｗ１乃至Ｗ３で囲む人物Ｈ１乃至Ｈ３の顔の面積より狭い。また、人物Ｈ１乃至Ｈ４全員がディジタルカメラ５１の方向を向いている。
【０１４４】
また、判定部６２においては、面積などに基づいて、人物Ｈ１乃至Ｈ３が主役の人物であると判定され、人物Ｈ４が非主役の人物であると判定される。
【０１４５】
このような判定結果が得られた場合、制御部６３は、非主役の人物であると判定された人物Ｈ４の顔がディジタルカメラ５１の方向を向いていることを検出し、シャッタボタン６４をロック状態する。
【０１４６】
すなわち、主役の人物である人物Ｈ１乃至Ｈ３が中央付近に大きく写り、ディジタルカメラ５１の方向を向いている場合であっても、このタイミングでの撮像は不可とされる。
【０１４７】
図１０は、撮像された他の画像の例を示す図である。
【０１４８】
図１０に示す人物のうち、図９に示す人物と同じ人物には同じ符号を付してある。後述する図１１などに示す画像においても同様である。
【０１４９】
図１０の画像が取得された場合、判定部６２においては、人物Ｈ１乃至Ｈ４の顔の位置、面積、向きなどが検出される。
【０１５０】
図１０の例においては、枠Ｗ４で囲まれる人物Ｈ４の顔の面積は、枠Ｗ１乃至Ｗ３で囲まれる人物Ｈ１乃至Ｈ３の顔の面積より狭い。また、人物Ｈ１乃至Ｈ４のうち、人物Ｈ１乃至Ｈ３の３人はディジタルカメラ５１の方向を向いているが、人物Ｈ４はディジタルカメラ５１の方向以外の方向を向いている。
【０１５１】
また、判定部６２においては、面積などに基づいて、人物Ｈ１乃至Ｈ３が主役の人物であると判定され、人物Ｈ４が非主役の人物であると判定される。
【０１５２】
このような判定が判定部６２により行われた場合、制御部６３は、非主役の人物であると判定された人物Ｈ４の顔がディジタルカメラ５１の方向以外の方向を向いていることを検出し、シャッタボタン６４をリリース状態にする。
【０１５３】
非主役の人物である人物Ｈ４が写ってはいるが、ディジタルカメラ５１の方向以外の方向を向いていることによってあまり目立っていないため、このタイミングでの撮像は可能とされる。
【０１５４】
図１１は、撮像されたさらに他の画像の例を示す図である。
【０１５５】
図１１の画像が取得された場合、判定部６２においては、人物Ｈ１乃至Ｈ４の顔の位置、面積、向きなどが検出される。
【０１５６】
また、判定部６２においては、時間情報を用いたスコアなどに基づいて、人物Ｈ１乃至Ｈ３が主役の人物であるとして判定され、人物Ｈ４が非主役の人物であるとして判定される。
【０１５７】
図１１の画像に写る人物Ｈ１乃至Ｈ４のうちの人物Ｈ４は、その顔の面積は大きく、位置は中央付近にあるが、連続して撮像された複数の画像を対象にした解析結果に基づいて右から左に移動していることが検出されたために非主役の人物として判定されている。図１１において、人物Ｈ４の体の右側に示す３本の水平方向の線は人物Ｈ４が移動していることを表す。
【０１５８】
このような判定が判定部６２により行われた場合、制御部６３は、非主役の人物であると判定された人物Ｈ４の顔が画像の中央付近に写っていることを検出し、シャッタボタン６４をロック状態にする。
【０１５９】
図１２に示すように、通り過ぎたことによって人物Ｈ４が画像に写らなくなった場合、ロック状態になっていたシャッタボタン６４がリリースされ、撮像を行うことが可能になる。
【０１６０】
［ディジタルカメラの動作］
図１３のフローチャートを参照して、図８の構成を有するディジタルカメラ５１が行うシャッタ制御処理について説明する。
【０１６１】
図１３の処理は、例えば、ディジタルカメラ５１の電源がオンにされたときに開始される。
【０１６２】
ステップＳ１１において、撮像部６１は撮像を行い、画像を取得する。
【０１６３】
ステップＳ１２において、判定部６２は、撮像部６１により取得された画像を解析し、主役・非主役判定を行う。
【０１６４】
ステップＳ１３において、制御部６３は、取得された画像に、非主役として判定された人物が目立って写っているか否かを非主役の人物の状態に基づいて判定する。上述したように、非主役の人物の顔と体の面積が大きい場合、非主役の人物の顔と体の位置が画像の中央付近にある場合、または、非主役の人物の視線や、顔と体の向きがディジタルカメラ５１の方向を向いている場合などに、目立って写っているとして判定される。
【０１６５】
非主役の人物が目立って写っているとステップＳ１３において判定した場合、ステップＳ１４において、制御部６３はシャッタボタン６４をロック状態にする。その後、ステップＳ１１以降の処理が繰り返し行われる。
【０１６６】
一方、非主役の人物が目立って写っていないとステップＳ１３において判定した場合、ステップＳ１５において、制御部６３はシャッタボタン６４をリリース状態にする。それまでの状態がロック状態にあった場合、シャッタボタン６４を押して撮影を行うことができるようになり、それまでもリリース状態にあった場合、リリース状態が継続される。
【０１６７】
ステップＳ１６において、撮像部６１は、シャッタボタン６４が押されたか否かを判定する。
【０１６８】
シャッタボタン６４が押されたとステップＳ１６において判定した場合、ステップＳ１７において、撮像部６１は、記録対象とする画像を撮像する。
【０１６９】
ステップＳ１８において、記録制御部６５は、撮像部６１により撮像された画像をメモリカード６６に記録させる。
【０１７０】
画像が記録された後、またはシャッタボタン６４が押されていないとステップＳ１６において判定された場合、ステップＳ１１以降の処理が繰り返し行われる。撮像の終了が指示されたとき、図１３の処理は終了される。
【０１７１】
以上のように、写ってほしい主役の人物の状態ではなく、写ってほしくない非主役の人物の状態に基づいてシャッタボタン６４を制御することによって、非主役の人物が主役の人物と同等に目立って写っている画像を撮像してしまうのを防ぐことが可能になる。
【０１７２】
以上においては、画像関係処理としての画像を取得する処理を、シャッタボタン６４の状態を切り替えることで制御するものとしたが、他の方法によって制御するようにしてもよい。
【０１７３】
例えば、非主役の人物が目立って写っている場合にはシャッタボタン６４が押されたとしても撮像素子に撮像を行わせないようにしたり、撮像された画像が記録制御部６５に供給されないようにしたりして画像を取得する処理を制御することも可能である。
【０１７４】
＜第２の適用例＞
［ディジタルカメラの構成例］
図１４は、画像処理装置１を適用したディジタルカメラの他の構成例を示すブロック図である。
【０１７５】
図１４に示す構成のうち、図８に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１７６】
図１４のディジタルカメラ５１は、撮像部６１、判定部６２、制御部６３、シャッタシャッタボタン６４、記録制御部６５、メモリカード６６、および画像処理部７１から構成される。
【０１７７】
図１４の構成は、主に、画像処理部７１が追加して設けられており、制御部６３による制御対象となる構成がシャッタボタン６４ではなく画像処理部７１となる点で図８の構成と異なる。
【０１７８】
撮像部６１が図１の画像取得部１１に対応し、判定部６２が判定部１２に対応する。また、制御部６３が制御部１３に対応し、画像処理部７１が処理部１４に対応する。
【０１７９】
図１４のディジタルカメラ５１は、画像に写る非主役の人物の状態に基づいて、画像関係処理としての画像を加工する処理を制御する装置である。
【０１８０】
撮像部６１は、主役・非主役判定に用いるための画像を撮像して取得し、判定部６２に出力する。また、撮像部６１は、シャッタボタン６４がユーザにより押されたことに応じて記録対象の画像を取得し、画像処理部７１に出力する。
【０１８１】
判定部６２は、撮像部６１により取得された画像を解析し、主役・非主役判定を行う。判定部６２は、判定結果を表す情報を、顔や人体の位置、大きさなどの情報とともに制御部６３に出力する。
【０１８２】
制御部６３は、撮像部６１により取得された画像に写る非主役の人物を判定部６２から供給された情報に基づいて特定し、特定した非主役の人物の状態に基づいて、画像処理部７１による画像の加工を制御する。
【０１８３】
例えば、制御部６３は、非主役の人物が目立って写っている場合、記録対象の画像全体のうち、その非主役の人物が写っている部分をぼかすような画像の加工を画像処理部７１に行わせる。制御部６３から画像処理部７１に対しては、非主役の人物が写っている部分を指定する情報が供給される。
【０１８４】
また、制御部６３は、非主役の人物が目立って写っていない場合、撮像部６１により撮像された記録対象の画像をそのまま記録制御部６５に出力させる。
【０１８５】
画像処理部７１は、制御部６３による制御に従って、シャッタボタン６４が押されたことに応じて撮像部６１から供給された画像の加工を適宜行う。
【０１８６】
すなわち、画像処理部７１は、画像の加工を行うことが指示されている場合、記録対象の画像のうち、非主役の人物が写っている部分を制御部６３から供給された情報に基づいて特定する。画像処理部７１は、シャープ度を下げるなどして、特定した非主役の人物が写っている部分をぼかし、そのようにして一部をぼかした記録対象の画像を記録制御部６５に出力する。
【０１８７】
また、画像処理部７１は、画像の加工を行うことが指示されていない場合、撮像部６１から供給された記録対象の画像をそのまま記録制御部６５に出力する。
【０１８８】
記録制御部６５は、画像処理部７１から供給された記録対象の画像に圧縮などの処理を施し、得られた画像をメモリカード６６に記録させる。
【０１８９】
図１５は、加工が施された画像の例を示す図である。
【０１９０】
例えば、図９を参照して説明した人物Ｈ１乃至Ｈ４が写っている画像が主役・非主役判定用の画像として取得された場合、判定部６２においては、人物Ｈ１乃至Ｈ４の顔の位置、面積、向きなどが検出される。また、面積などに基づいて、人物Ｈ１乃至Ｈ３が主役の人物であると判定され、人物Ｈ４が非主役の人物であると判定される。
【０１９１】
制御部６３においては、非主役の人物であると判定された人物Ｈ４の顔がディジタルカメラ５１の方向を向いていることが検出され、画像を加工することの指示が画像処理部７１に対して行われる。また、人物Ｈ４が写っている部分を指定する情報が制御部６３から画像処理部７１に供給される。
【０１９２】
このような状態でシャッタボタン６４が押され、撮像を行うことが指示された場合、画像処理部７１においては、図１５に示すように、人物Ｈ４が写っている部分をぼかす処理が記録対象の画像に対して施される。図１５において、人物Ｈ４を点線で示していることは、人物Ｈ４が写っている部分をぼかしていることを表す。
【０１９３】
［ディジタルカメラの動作］
図１６のフローチャートを参照して、図１４の構成を有するディジタルカメラ５１が行うぼかし制御処理について説明する。
【０１９４】
ステップＳ３１において、撮像部６１は撮像を行い、画像を取得する。
【０１９５】
ステップＳ３２において、判定部６２は、撮像部６１により取得された画像を解析し、主役・非主役判定を行う。
【０１９６】
ステップＳ３３において、制御部６３は、取得された画像に、非主役として判定された人物が目立って写っているか否かを非主役の人物の状態に基づいて判定する。ここでも、非主役の人物の顔と体の面積が大きい場合、非主役の人物の顔と体の位置が画像の中央付近にある場合、または、非主役の人物の視線や、顔と体の向きがディジタルカメラ５１の方向を向いている場合などに、目立って写っているとして判定される。
【０１９７】
非主役の人物が目立って写っているとステップＳ３３において判定された場合、ステップＳ３４において、撮像部６１は、シャッタボタン６４が押されたか否かを判定する。
【０１９８】
シャッタボタン６４が押されたとステップＳ３４において判定した場合、ステップＳ３５において、撮像部６１は、記録対象とする画像を撮像する。
【０１９９】
ステップＳ３６において、画像処理部７１は、非主役の人物が写っている部分をぼかす処理を記録対象の画像に施す。非主役の人物が目立って写っていると判定された場合、制御部６３から画像処理部７１に対しては、画像を加工することの指示が行われている。
【０２００】
ステップＳ３７において、記録制御部６５は、画像処理部７１により加工が施された記録対象の画像をメモリカード６６に記録させる。画像が記録された後、またはシャッタボタン６４が押されていないとステップＳ３４において判定された場合、ステップＳ３１以降の処理が繰り返し行われる。
【０２０１】
一方、非主役の人物が目立って写っていないとステップＳ３３において判定された場合、ステップＳ３８において、撮像部６１は、シャッタボタン６４が押されたか否かを判定する。
【０２０２】
シャッタボタン６４が押されたとステップＳ３８において判定した場合、ステップＳ３９において、撮像部６１は、記録対象とする画像を撮像する。撮像された記録対象の画像は、画像処理部７１を介して記録制御部６５に供給される。
【０２０３】
ステップＳ４０において、記録制御部６５は、画像処理部７１から供給された、加工が施されていない記録対象の画像をメモリカード６６に記録させる。
【０２０４】
画像が記録された後、またはシャッタボタン６４が押されていないとステップＳ３８において判定された場合、ステップＳ３１以降の処理が繰り返し行われる。撮像の終了が指示されたとき、図１６の処理は終了される。
【０２０５】
以上のように、写ってほしい主役の人物の状態ではなく、写ってほしくない非主役の人物の状態に基づいて画像の加工を制御することによって、非主役の人物が主役の人物と同等に目立って写っている画像を記録してしまうのを防ぐことが可能になる。ぼかす処理が施されることによって、記録された画像は、非主役の人物が主役の人物と較べて目立たない状態で写っている画像になる。
【０２０６】
＜第３の適用例＞
［ディジタルカメラの構成例］
図１７は、画像処理装置１を適用したディジタルカメラのさらに他の構成例を示すブロック図である。
【０２０７】
図１７に示す構成のうち、図８に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２０８】
図１７のディジタルカメラ５１は、撮像部６１、判定部６２、制御部６３、シャッタシャッタボタン６４、記録制御部６５、メモリカード６６、表示制御部８１、表示部８２、および読み出し部８３から構成される。
【０２０９】
図１７の構成は、主に、表示制御部８１、表示部８２、および読み出し部８３が追加して設けられ、制御部６３による制御対象となる構成がシャッタボタン６４ではなく表示制御部８１となる点で図８の構成と異なる。
【０２１０】
読み出し部８３が図１の画像取得部１１に対応し、判定部６２が判定部１２に対応する。また、制御部６３が制御部１３に対応し、表示制御部８１が処理部１４に対応する。
【０２１１】
図１７のディジタルカメラ５１は、画像に写る非主役の人物の状態に基づいて、画像関係処理としての画像を表示する処理を制御する装置である。
【０２１２】
撮像部６１は、シャッタボタン６４がユーザにより押されたことに応じて記録対象の画像を撮像して取得し、記録制御部６５に出力する。
【０２１３】
記録制御部６５は、撮像部６１から供給された記録対象の画像に圧縮などの処理を施し、得られた画像をメモリカード６６に記録させる。
【０２１４】
表示制御部８１は、メモリカード６６に記録されている画像を表示することがユーザにより指示された場合、指示された画像をメモリカード６６から読み出す。表示制御部８１に対しては、ユーザの操作に応じて信号が入力され、メモリカード６６に記録されている画像をサムネイル形式で一覧表示するなどの、複数の画像を表示することが指示される。
【０２１５】
また、表示制御部８１は、制御部６３による制御に従って、メモリカード６６から読み出した画像のうち、表示対象の画像として制御部６３により選択された画像をLCD(Liquid Crystal Display)などよりなる表示部８２に表示させる。
【０２１６】
読み出し部８３は、メモリカード６６に記録されている画像を表示することがユーザにより指示された場合、表示制御部８１と同様に、指示された画像をメモリカード６６から読み出して取得し、判定部６２に出力する。
【０２１７】
判定部６２は、読み出し部８３により取得された画像を解析し、主役・非主役判定を行う。記録済みの画像が対象になるから、この場合、上述した複数のスコアのうち、時間情報を用いたスコア以外のスコアを用いて主役・非主役判定が行われることになる。判定部６２は、判定結果を表す情報を、顔や人体の位置、大きさなどの情報とともに制御部６３に出力する。
【０２１８】
制御部６３は、読み出し部８３により取得された画像に写る非主役の人物を判定部６２から供給された情報に基づいて特定し、特定した非主役の人物の状態に基づいて、表示制御部８１による画像の表示を制御する。
【０２１９】
例えば、制御部６３は、メモリカード６６から読み出された画像のうち、非主役の人物が目立って写っている画像については選択せずに、非主役の人物が目立って写っていない画像だけを表示対象の画像として選択する。制御部６３は、そのようにして選択した表示対象の画像がどの画像であるのかを表す情報を表示制御部８１に出力し、画像の表示を制御する。
【０２２０】
［ディジタルカメラの動作］
図１８のフローチャートを参照して、図１７の構成を有するディジタルカメラ５１が行う表示制御処理について説明する。
【０２２１】
図１８の処理は、撮像された複数の画像がメモリカード６６に記録されている状態において記録済みの画像の表示がユーザにより指示されたときに開始される。
【０２２２】
ステップＳ５１において、読み出し部８３は、ユーザにより指示された画像をメモリカード６６から読み出して取得する。同様に、表示制御部８１も、ユーザにより指示された画像をメモリカード６６から読み出して取得する。
【０２２３】
ステップＳ５２において、判定部６２は、読み出し部８３により取得された１枚の画像に注目する。
【０２２４】
ステップＳ５３において、判定部６２は、注目している画像を解析し、主役・非主役判定を行う。
【０２２５】
ステップＳ５４において、制御部６３は、注目している画像に非主役の人物が目立って写っているか否かを判定する。非主役の人物の顔と体の面積が大きい場合、非主役の人物の顔と体の位置が画像の中央付近にある場合、または、非主役の人物の視線や、顔と体の向きがディジタルカメラ５１の方向を向いている場合などに、目立って写っているとして判定される。
【０２２６】
非主役の人物が目立って写っているとステップＳ５４において判定した場合、ステップＳ５５において、制御部６３は、いま注目している画像を表示対象の画像としては選択しない。
【０２２７】
一方、非主役の人物が目立って写っていないとステップＳ５４において判定した場合、ステップＳ５６において、制御部６３は、いま注目している画像を表示対象の画像として選択する。表示対象の画像として選択された画像に関する情報は制御部６３から表示制御部８１に順次供給される。
【０２２８】
注目している画像がステップＳ５５において表示対象の画像として選択されなかった後、またはステップＳ５６において表示対象の画像として選択された後、ステップＳ５７において、判定部６２は、読み出された全ての画像に注目したか否かを判定する。
【０２２９】
全ての画像に注目していないとステップＳ５７において判定した場合、判定部６２は、ステップＳ５２に戻り、他の画像に注目して同様の処理を繰り返す。
【０２３０】
全ての画像に注目したとステップＳ５７において判定された場合、ステップＳ５８において、表示制御部８１は、メモリカード６６から読み出した画像のうち、表示対象の画像として制御部６３により選択された画像を表示部８２に表示させる。その後、処理は終了される。
【０２３１】
以上のように、写ってほしい主役の人物の状態ではなく、写ってほしくない非主役の人物の状態に基づいて画像の表示を制御することによって、非主役の人物が主役の人物と同等に目立って写っている画像を表示してしまうのを防ぐことが可能になる。
【０２３２】
表示対象から外すのではなく、非主役の人物が写っている部分をぼかした形で、非主役の人物が目立って写っている画像を表示させるようにしてもよい。これによっても、非主役の人物が主役の人物と同等に目立って写っている画像を表示してしまうのを防ぐことが可能になる。
【０２３３】
＜変形例＞
以上においては、被写体として写っている人物毎に算出されたスコアに基づいて主役・非主役判定が行われるものとしたが、あらかじめ登録されている顔画像に基づいて主役・非主役判定が行われるようにしてもよい。
【０２３４】
図１９は、あらかじめ登録されている顔画像に基づいて主役・非主役判定を行うディジタルカメラ５１の構成例を示すブロック図である。
【０２３５】
撮像部６１は、主役・非主役判定に用いるための画像を撮像して取得し、判定部６２に出力する。
【０２３６】
判定部６２は、撮像部６１により取得された画像を解析し、画像に写っている人物の顔画像を抽出する。また、判定部６２は、抽出した顔画像と、顔画像記録部９１に記録されている顔画像との相関値を算出し、閾値以上の相関値が算出された顔画像の人物を主役の人物として、閾値未満の相関値が算出された顔画像の人物を非主役の人物としてそれぞれ判定する。
【０２３７】
顔画像記録部９１は、主役の人物の顔画像を記録する。顔画像記録部９１に対する顔画像の登録は、例えば、判定部６２により抽出された顔画像がユーザに提示され、その中からユーザにより選択された顔画像を登録するようにして行われる。
【０２３８】
制御部６３は、非主役の人物の状態に基づいて、処理部９２により行われる画像関係処理を制御する。
【０２３９】
処理部９２は、制御部６３による制御に従って、画像関係処理を行う。
【０２４０】
また、ユーザにより直接指定された人物であるか否かに基づいて、主役・非主役判定が行われるようにしてもよい。
【０２４１】
図２０は、ユーザにより直接指定された人物であるか否かに基づいて主役・非主役判定を行うディジタルカメラ５１の構成例を示すブロック図である。
【０２４２】
撮像部６１は、主役・非主役判定に用いるための画像を撮像して取得し、判定部６２と表示部９３に出力する。撮像部６１により撮像された画像は表示用の画像としても用いられる。
【０２４３】
表示部９３は、撮像部６１により撮像された画像を表示する。
【０２４４】
タッチパネル９４は表示部９３に積層して設けられており、ユーザの指などが触れた位置の情報を判定部６２に出力する。
【０２４５】
判定部６２は、タッチパネル９４から供給された情報に基づいて、表示部９３に表示された画像に写る人物のうち、例えばユーザにより表示部９３上で触れられた人物を主役の人物として、触れられていない人物を非主役の人物としてそれぞれ判定する。
【０２４６】
制御部６３は、非主役の人物の状態に基づいて、処理部９２により行われる画像関係処理を制御する。
【０２４７】
処理部９２は、制御部６３による制御に従って、画像関係処理を行う。
【０２４８】
以上においては、図１の画像処理装置１をディジタルカメラに適用した場合について説明したが、画像を取得する機能を有する装置であれば、テレビジョン受像機、携帯電話機、パーソナルコンピュータなどの各種の機器に適用することが可能である。
【０２４９】
例えば、画像関係処理としての画像を表示する処理を制御することは、パーソナルコンピュータのアプリケーションとして実装することも可能である。
【０２５０】
静止画だけでなく、動画を対象として以上の処理が行われるようにすることも可能である。
【０２５１】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２５２】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２５３】
CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
【０２５４】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続される。また、バス１０４には、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、リムーバブルメディア１１１を駆動するドライブ１１０が接続される。
【０２５５】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを入出力インタフェース１０５及びバス１０４を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０２５６】
CPU１０１が実行するプログラムは、例えばリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１０８にインストールされる。
【０２５７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
【０２５８】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２５９】
１  画像処理装置，  １１  画像取得部，  １２  判定部，  １３  制御部，  １４  処理部，  ２１  顔検出部，  ２２  顔状態認識部，  ２３  人体検出部，  ２４  姿勢認識部，  ２５  主役・非主役判定部，  ５１  ディジタルカメラ，  ６１  撮像部，  ６２  判定部，  ６３  制御部，  ６４  シャッタボタン，  ６５  記録制御部，  ６６  メモリカード，  ７１  画像処理部，  ８１  表示制御部，  ８２  表示部，  ８３  読み出し部
【図１】
2010226558.tif 000010
【図２】
2010226558.tif 000011
【図３】
2010226558.tif 000012
【図４】
2010226558.tif 000013
【図５】
2010226558.tif 000014
【図６】
2010226558.tif 000015
【図７】
2010226558.tif 000016
【図８】
2010226558.tif 000017
【図９】
2010226558.tif 000018
【図１０】
2010226558.tif 000019
【図１１】
2010226558.tif 000020
【図１２】
2010226558.tif 000021
【図１３】
2010226558.tif 000022
【図１４】
2010226558.tif 000023
【図１５】
2010226558.tif 000024
【図１６】
2010226558.tif 000025
【図１７】
2010226558.tif 000026
【図１８】
2010226558.tif 000027
【図１９】
2010226558.tif 000028
【図２０】
2010226558.tif 000029
【図２１】
2010226558.tif 000030