(57)【要約】【課題】自分撮りか自分撮りでないかを判別できるようにすること。【解決手段】顔領域検出部４１によって、処理対象である対象画像から顔領域を検出すると共に、腕検出部４２によって、上記顔領域検出部４１によって検出された顔領域を基に上記対象画像から腕を検出し、自分撮り判定部４３によって、少なくとも、上記顔領域検出部４１によって検出された顔領域の大きさと、上記顔領域と上記腕検出部４２によって検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する。【選択図】図１
2010081357.tif 000002
【特許請求の範囲】
【請求項１】
処理対象である対象画像から顔領域を検出するための顔領域検出部と、
上記顔領域検出部によって検出された顔領域を基に上記対象画像から腕を検出するための腕検出部と、
少なくとも、上記顔領域検出部によって検出された顔領域の大きさと、上記顔領域と上記腕検出部によって検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する自分撮り判定部と、
を具備することを特徴とする画像処理装置。
【請求項２】
上記腕検出部は、
上記顔領域検出部によって検出された顔領域の下部と同じ色もしくは同じテクスチャである領域を服領域とし、
上記服領域に隣接する肌色の領域があるとき、
上記肌色の領域を上記腕として検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記対象画像と焦点距離のみ異なる別の画像と上記対象画像とを用いることによって距離情報を算出する距離情報算出部を更に具備し、
上記腕検出部は、
上記距離情報算出部によって算出された距離情報を用いることによって、上記顔領域検出部で検出された顔領域とほぼ同じ距離にある場所の画像中の位置情報を取得する位置情報取得部と、
上記位置情報取得部によって取得した上記顔領域とほぼ同じ距離にある場所の形状から腕の位置を推定する腕位置情報推定部と、
を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記対象画像と焦点距離のみ異なる別の画像と上記対象画像とを用いることによって距離情報を算出する距離情報算出部を更に具備し、
上記腕検出部は、上記顔領域検出部によって検出された顔領域よりも下方であって、上記距離情報算出部によって算出された距離情報が上記顔領域の距離情報よりも近い距離の値を示す領域を、腕領域として検出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出する距離情報算出部と、
上記対象画像から顔領域を検出するための顔領域検出部と、
上記顔領域検出部によって検出された顔領域と上記距離情報算出部によって算出された距離情報とを基に上記対象画像から腕を検出するための腕検出部と、
少なくとも、上記顔領域検出部によって検出された顔領域の大きさもしくは上記距離情報算出部によって算出された上記顔領域の距離情報と、上記顔領域と上記腕検出部によって検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する自分撮り判定部と、
を具備することを特徴とする画像処理装置。
【請求項６】
上記自分撮り判定部によって自分撮りを行っていると判断された場合には、上記腕検出部によって検出された撮像者の腕をトリミングするもしくは腕として検出された領域に他の画素値を当てはめる画像加工処理を上記対象画像に対して行う画像加工部を更に具備することを特徴とする請求項１又は５に記載の画像処理装置。
【請求項７】
上記画像加工部において上記腕として検出された領域に当てはめられる上記他の画素値は、上記腕として検出された領域近傍の背景領域の輝度値であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記自分撮り判定部は、自分撮りと判定する条件の一つに、少なくとも一人の腕が対象画像の端に検出されるという条件を含むことを特徴とする請求項１又は５に記載の画像処理装置。
【請求項９】
上記腕検出部は、
上記距離情報算出部によって算出された距離情報を用いることによって、上記顔領域検出部で検出された顔領域とほぼ同じ距離にある場所の画像中の位置情報を取得する位置情報取得部と、
上記位置情報取得部によって取得した上記顔領域とほぼ同じ距離にある場所の形状から腕の位置を推定する腕位置情報推定部と、
を含むことを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出する距離情報算出部と、
上記対象画像から顔領域を検出するための顔領域検出部と、
上記距離情報算出部によって算出された距離情報と、上記顔領域検出部によって検出された顔領域とを基に、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する自分撮り判定部と、
を具備し、
上記自分撮り判定部は、
上記顔領域検出部によって検出された顔領域の大きさもしくは該顔領域の上記距離情報算出部によって算出された距離情報が一定範囲内であり、
上記顔領域検出部によって検出された顔領域の下部と同じ色もしくは同じテクスチャである領域を服領域とし、
肌色の領域を肌領域とし、
上記服領域及び上記肌領域の内部に上記服領域でない部分が存在する場合、上記服領域でない部分が、該当する位置に存在し、かつ該当する図形に類似しているか否かによって、
自分撮りか否かを判定する、
ことを特徴とする画像処理装置。
【請求項１１】
上記自分撮り判定部によって自分撮りを行っていると判断された場合には、上記肌領域をトリミングするもしくは上記肌領域に他の画素値を当てはめる画像加工処理を上記対象画像に対して行う画像加工部を更に具備することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
上記画像加工部において上記肌領域に当てはめられる上記他の画素値は、上記肌領域近傍の背景領域の輝度値、または、上記服領域の色もしくはテクスチャであることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
処理対象である対象画像から顔領域を検出し、
検出された顔領域を基に上記対象画像から腕を検出し、
少なくとも、上記検出された顔領域の大きさと、上記顔領域と上記検出された腕との位置関係と、を用いることにより、撮像者が自らを被写体として撮像を行う自分撮りを行っているか否かを判定する、
ことを特徴とする画像処理方法。
【請求項１４】
処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出し、
上記対象画像から顔領域を検出し、
上記検出された顔領域と上記算出された距離情報とを基に上記対象画像から腕を検出し、
少なくとも、上記検出された顔領域の大きさもしくは算出された上記顔領域の距離情報と、上記顔領域と上記検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する、
ことを特徴とする画像処理方法。
【請求項１５】
処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出し、
上記対象画像から顔領域を検出し、
上記検出された顔領域の大きさもしくは該顔領域の上記算出された距離情報が一定範囲内であり、上記検出された顔領域の下部と同じ色もしくは同じテクスチャである領域を服領域とし、肌色の領域を肌領域とし、上記服領域及び上記肌領域の内部に上記服領域でない部分が存在する場合、上記服領域でない部分が、該当する位置に存在し、かつ該当する図形に類似しているか否かによって、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する、
ことを特徴とする画像処理方法。
【請求項１６】
処理対象である対象画像から顔領域を検出するステップと、
検出された顔領域を基に上記対象画像から腕を検出するステップと、
少なくとも、上記検出された顔領域の大きさと、上記顔領域と上記検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定するステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【請求項１７】
処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出するステップと、
上記対象画像から顔領域を検出するステップと、
検出された顔領域を基に上記対象画像から腕を検出するステップと、
少なくとも、算出された上記検出された顔領域の距離情報と、上記顔領域と上記検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定するステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【請求項１８】
処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出するステップと、
上記対象画像から顔領域を検出するステップと、
上記検出された顔領域の大きさもしくは該顔領域の上記算出された距離情報が一定範囲内であり、上記検出された顔領域の下部と同じ色もしくは同じテクスチャである領域を服領域とし、肌色の領域を肌領域とし、上記服領域及び上記肌領域の内部に上記服領域でない部分が存在する場合、上記服領域でない部分が、該当する位置に存在し、かつ該当する図形に類似しているか否かによって、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定するステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【請求項１９】
本撮像に先立って上記対象画像を取得するためのプリ撮像部と、
請求項１に記載の画像処理装置と、
上記画像処理装置の自分撮り判定部によって自分撮りであると判定された場合に、自分撮りに最適な撮像を行うことを可能とするモードである自分撮りモードに移行するモード切替部と、
を具備することを特徴とする撮像装置。
【請求項２０】
本撮像に先立って上記対象画像及びそれとは焦点距離の異なる画像を取得するためのプリ撮像部と、
請求項５又は１０に記載の画像処理装置と、
上記画像処理装置の自分撮り判定部によって自分撮りであると判定された場合に、自分撮りに最適な撮像を行うことを可能とするモードである自分撮りモードに移行するモード切替部と、
を具備することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する画像処理装置及び画像処理方法、並びに、コンピュータにそのような画像処理装置の手順を実行させる画像処理プログラム、更には、そのような画像処理装置を備える撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置の使用形態の一つとして、撮像者が当該撮像装置を手で保持した状態で自らを被写体として撮像を行う、所謂自分撮りがある。
【０００３】
特許文献１には、この自分撮り時の手振れ補正に関する技術が開示されており、ユーザが自分撮りモードにすれば自分撮りに合った手ブレ補正を行うことが出来るというものである。
【０００４】
また、特許文献２では、自分撮り、ノーファインダ撮影で、顔パターンのはみ出し検知により顔切れ防止をする技術を開示している。
【特許文献１】特開２００６-１４０６８７号公報
【特許文献２】特開２００５-２１７７６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１は手ブレ補正に関する特許であり、上記特許文献２は顔のはみ出しを検知する手法であるが、いずれもユーザが自分撮りモードに設定することが前提であり、自分撮りであることを自動で判別するわけではない。そのため、ユーザが手動でモードを変更する必要があり、操作が煩雑である。そこで、自分撮りか自分撮りでないかを判別する技術が要望されている。
【０００６】
本発明は、上記の点に鑑みてなされたもので、自分撮りか自分撮りでないかを判別することが可能な画像処理装置、画像処理方法、画像処理プログラム及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置の一態様は、
処理対象である対象画像から顔領域を検出するための顔領域検出部と、
上記顔領域検出部によって検出された顔領域を基に上記対象画像から腕を検出するための腕検出部と、
少なくとも、上記顔領域検出部によって検出された顔領域の大きさと、上記顔領域と上記腕検出部によって検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する自分撮り判定部と、
を具備する。  
本発明の画像処理装置の別の態様は、
処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出する距離情報算出部と、
上記対象画像から顔領域を検出するための顔領域検出部と、
上記顔領域検出部によって検出された顔領域と上記距離情報算出部によって算出された距離情報とを基に上記対象画像から腕を検出するための腕検出部と、
少なくとも、上記顔領域検出部によって検出された顔領域の大きさもしくは上記距離情報算出部によって算出された上記顔領域の距離情報と、上記顔領域と上記腕検出部によって検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する自分撮り判定部と、
を具備する。  
本発明の画像処理装置の更に別の態様は、
処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出する距離情報算出部と、
上記対象画像から顔領域を検出するための顔領域検出部と、
上記距離情報算出部によって算出された距離情報と、上記顔領域検出部によって検出された顔領域とを基に、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する自分撮り判定部と、
を具備し、
上記自分撮り判定部は、
上記顔領域検出部によって検出された顔領域の大きさもしくは該顔領域の上記距離情報算出部によって算出された距離情報が一定範囲内であり、
上記顔領域検出部によって検出された顔領域の下部と同じ色もしくは同じテクスチャである領域を服領域とし、
肌色の領域を肌領域とし、
上記服領域及び上記肌領域の内部に上記服領域でない部分が存在する場合、上記服領域でない部分が、該当する位置に存在し、かつ該当する図形に類似しているか否かによって、
自分撮りか否かを判定する。
【０００８】
また、本発明の撮像方法の一態様は、
処理対象である対象画像から顔領域を検出し、
検出された顔領域を基に上記対象画像から腕を検出し、
少なくとも、上記検出された顔領域の大きさと、上記顔領域と上記検出された腕との位置関係と、を用いることにより、撮像者が自らを被写体として撮像を行う自分撮りを行っているか否かを判定する。  
本発明の撮像方法の別の態様は、
処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出し、
上記対象画像から顔領域を検出し、
上記検出された顔領域と上記算出された距離情報とを基に上記対象画像から腕を検出し、
少なくとも、上記検出された顔領域の大きさもしくは算出された上記顔領域の距離情報と、上記顔領域と上記検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する。  
本発明の撮像方法の更に別の態様は、
処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出し、
上記対象画像から顔領域を検出し、
上記検出された顔領域の大きさもしくは該顔領域の上記算出された距離情報が一定範囲内であり、上記検出された顔領域の下部と同じ色もしくは同じテクスチャである領域を服領域とし、肌色の領域を肌領域とし、上記服領域及び上記肌領域の内部に上記服領域でない部分が存在する場合、上記服領域でない部分が、該当する位置に存在し、かつ該当する図形に類似しているか否かによって、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する。
【０００９】
また、本発明の画像処理プログラムの一態様は、
処理対象である対象画像から顔領域を検出するステップと、
検出された顔領域を基に上記対象画像から腕を検出するステップと、
少なくとも、上記検出された顔領域の大きさと、上記顔領域と上記検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定するステップと、
をコンピュータに発揮させる。  
本発明の画像処理プログラムの別の態様は、
処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出するステップと、
上記対象画像から顔領域を検出するステップと、
検出された顔領域を基に上記対象画像から腕を検出するステップと、
少なくとも、算出された上記検出された顔領域の距離情報と、上記顔領域と上記検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定するステップと、
をコンピュータに発揮させる。  
本発明の画像処理プログラムの更に別の態様は、
処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出するステップと、
上記対象画像から顔領域を検出するステップと、
上記検出された顔領域の大きさもしくは該顔領域の上記算出された距離情報が一定範囲内であり、上記検出された顔領域の下部と同じ色もしくは同じテクスチャである領域を服領域とし、肌色の領域を肌領域とし、上記服領域及び上記肌領域の内部に上記服領域でない部分が存在する場合、上記服領域でない部分が、該当する位置に存在し、かつ該当する図形に類似しているか否かによって、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定するステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【００１０】
また、本発明の撮像装置の一態様は、
本撮像に先立って上記対象画像を取得するためのプリ撮像部と、
上記画像処理装置の一態様と、
上記画像処理装置の自分撮り判定部によって自分撮りであると判定された場合に、自分撮りに最適な撮像を行うことを可能とするモードである自分撮りモードに移行するモード切替部と、
を具備する。  
本発明の撮像装置の別の態様は、
本撮像に先立って上記対象画像及びそれとは焦点距離の異なる画像を取得するためのプリ撮像部と、
上記画像処理装置の別の態様又は更に別の態様と、
上記画像処理装置の自分撮り判定部によって自分撮りであると判定された場合に、自分撮りに最適な撮像を行うことを可能とするモードである自分撮りモードに移行するモード切替部と、
を具備する。
【発明の効果】
【００１１】
本発明によれば、自分撮りか自分撮りでないかを判別することが可能な画像処理装置、画像処理方法、画像処理プログラム及び撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１３】
［第１実施形態］
図１（Ａ）は、本発明の第１実施形態に係る画像処理装置が適用された撮像装置の構成を示す図で、該撮像装置は、撮像部１、記録部２、表示部３及び制御部４より構成される。
【００１４】
撮像部１は、図示はしないが撮像素子及び該撮像素子の出力信号を処理する信号処理装置を含み、本撮像に先立ってプリ撮像を行い被写体の画像を取得する。このプリ撮像により撮像部１で取得された画像は、記録部２の不図示の一時記憶メモリに記憶され、表示部３にライブ画像として表示されることで、撮像者は撮像しようとする被写体を確認することができる。制御部４は、上記撮像部１、記録部２及び表示部３を含めて当該撮像装置全体の制御を行うものであり、撮像者の図示しないシャッタ釦操作に応じて、撮像部１の不図示シャッタの制御を行って撮像素子により本撮像を行わせる。本撮像により撮像部１で取得された画像は、制御部４の制御のもと記録部２において不図示の圧縮／伸張部によりＪＰＥＧ等の所定の圧縮が施されて、内蔵又は着脱自在な記録媒体に記録される。この記録媒体に記録された画像は、撮像者の図示しない再生操作に応じて、制御部４の制御のもと上記圧縮／伸張部により伸張されて、表示部３に表示される。また、制御部４は、本実施形態に係る画像処理装置としての機能も果たす。
【００１５】
図１（Ｂ）は、本実施形態に係る画像処理装置の構成を示す図で、該画像処理装置は、顔領域検出部４１、腕検出部４２及び自分撮り判定部４３より構成される。自分撮り判定部４３は、顔サイズ算出部４３Ａ、顔位置算出部４３Ｂ、腕サイズ算出部４３Ｃ及び腕位置算出部４３Ｄを含む。
【００１６】
ここで、顔領域検出部４１は、画像から、既知の顔認識技術を用いて被写体の顔領域を検出するものである。また、腕検出部４２は、上記顔領域検出部４１で検出した特定の被写体の腕を検出するものである。自分撮り判定部４３は、顔サイズ算出部４３Ａ、顔位置算出部４３Ｂ、腕サイズ算出部４３Ｃ及び腕位置算出部４３Ｄにより算出した、上記顔領域検出部４１及び腕検出部４２で検出された被写体の顔領域と腕の位置と大きさ情報を用いて、上記対象画像が、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りにより取得した画像であるかそうでないかを判定するものである。なお、腕サイズ算出部４３Ｃは、必ずしも必要なものではない。
【００１７】
次に、本実施形態における画像処理の詳細を説明する。  
図１（Ｃ）は、制御部４の動作フローチャートを示す図である。
【００１８】
まず、顔領域検出部４１によって、本撮像により撮像部１で取得され記録部２の記録媒体に記録された処理対象の画像である対象画像から被写体の顔領域を検出する（ステップＳ１）。次に、腕検出部４２によって、上記顔領域検出ステップで検出した特定の被写体の腕を検出する（ステップＳ２）。最後に、自分撮り判定部４３によって、上記顔領域検出ステップ及び腕検出ステップで検出された被写体の顔領域と腕の位置と大きさ情報を用いて、上記対象画像が自分撮りにより取得した画像であるかそうでないかを判定する（ステップＳ３）。
【００１９】
次に、自分撮り判定部４３による自分撮り判定処理について詳細に説明する。  
自分撮りの場合は、撮像者と撮像装置の距離が短いことから、図２の対象画像１００に示すように、撮像者の顔の大きさが一定以上大きく写り、撮像者の腕に関しては腕の手先のほうが写らないため、同図のように撮像者の腕が対象画像１００の端に向かって伸びる位置に存在すると考えられる。
【００２０】
そこで、顔サイズ算出部４３Ａにより算出した、上記顔領域検出部４１によって検出された顔領域のサイズが、予め決められた一定以上の大きさであることを自分撮りと判定する一つの条件とする。なお、この顔領域のサイズは、撮像部１の不図示撮像レンズがズームレンズである場合には、その撮像時のズーム倍率によって変化するので、そのズーム倍率も考慮することは言うまでもないことである。
【００２１】
また、顔位置算出部４３Ｂにより算出した、上記顔領域検出部４１によって検出された顔領域の位置と、腕位置算出部４３Ｄにより算出した、上記腕検出部４２によって検出された腕の位置と、の位置関係が、例えば腕の位置が顔領域に対して右下又は左下に或る一定角度を持って位置することを自分撮りと判定する一つの条件とする。
【００２２】
なお、腕検出部４２による腕の検出に関しては、以下のように行う。撮像者の顔の下に胴体が存在すると仮定する。また、腕は、図２のように肌を露出していると考えられる。そこで、腕検出部４２は、顔領域検出部によって検出された顔領域の下部と同じ色もしくは同じテクスチャ（模様）である領域を服領域とし、該服領域に肌色の物体が隣接しているならば、そこを腕と検出する。
【００２３】
また、腕サイズ算出部４３Ｃにより算出した腕のサイズが、予め決められた一定以上の大きさであることを自分撮りと判定する一つの条件に加えても良い。自分撮りでは、撮像者の腕が撮像装置に向けて伸びて大きく写るのに対して、被写体の人物が腕を斜め下方に下げているだけの場合は腕が大きく写らないことから、この腕のサイズを判別することで、後者のような画像を自分撮りと誤判定しないようにすることができる。
【００２４】
更に、図２に示すように対象画像１００に複数の人物が写り込んでいる場合には、少なくとも一人の腕が対象画像１００の端に検出されるという条件を自分撮りと判定する一つの条件に加えても良い。
【００２５】
以上のように、本第１実施形態によれば、処理対象である対象画像から顔領域を検出し、その検出された顔領域を基に腕を検出し、少なくとも、顔領域の大きさと、顔領域と腕との位置関係と、を用いることにより、自分撮りを行っているか否かを判定することで、自分撮りか自分撮りでないかを判別することが可能となる。
【００２６】
なお、ここでは画像処理装置をハードウェアとして制御部４に組み込んだ例を説明したが、図１（Ｃ）の動作フローチャートに示すような動作をコンピュータに発揮させるための画像処理プログラムとして構成し、また制御部４をマイクロプロセッサにより構成し、該マイクロプロセッサにそのプログラムを実行させるようにしても良いことは言うまでもない。
【００２７】
［第２実施形態］
図３は、本発明の第２実施形態に係る画像処理装置として機能する制御部４の構成を示す図である。基本構成は上記第１実施形態と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。
【００２８】
本実施形態における制御部４は、図１（Ｂ）に示す第１実施形態の構成に、距離情報算出部４４が追加された構成になっている。また、腕検出部４２は、位置情報取得部４２Ａ及び腕位置情報推定部４２Ｂを備えている。
【００２９】
上記第１実施形態でも自分撮りか否かはある程度判定できると考えられるが、例えば、自分撮りの被写体である撮像者が長袖の服を着用している場合には、第１実施形態のような肌色領域に基づく腕検出はできない。このような場合には、被写体の距離情報を用いて腕検出を行う。勿論、第１実施形態のような腕検出に距離情報を用いた腕検出を組み合わせれば、より精度が向上する。
【００３０】
そこで、本実施形態では、距離情報算出部４４により、例えば米国特許第４９６５８４０号明細書に記載されている手法であるDepth From Defocus（ＤＦＤ）を応用することにより、２枚の焦点距離の異なる画像を取得し、それら画像から距離情報を算出する。
【００３１】
腕検出部４２は、上記顔領域検出部４１によって検出された顔領域とこの距離情報算出部４４によって算出された距離情報とを基に対象画像１００から腕を検出する。そのために、腕検出部４２の位置情報取得部４２Ａは、上記距離情報算出部４４によって算出された距離情報を用いることによって、上記顔領域検出部４１で検出された顔領域とほぼ同じ距離にある場所の画像中の位置情報を取得する。腕位置情報推定部４２Ｂは、この位置情報取得部４２Ａによって取得した上記顔領域とほぼ同じ距離にある場所の形状から腕の位置を推定する。
【００３２】
即ち、自分撮りの場合、被写体と撮像装置の距離は離れていないと考えられるので、１枚の画像は焦点距離が約１ｍの条件で撮像されたものとする。自分撮りを行う際には、撮像者は更にもう一枚、背景にピントが合っている画像を撮像する。或は、オートフォーカスを実現するためにＤＦＤ技術を採用しておけば、そのオートフォーカスを行うためのプリ撮像において背景にピントが合っている画像が撮像されるので、撮像者が自ら撮像操作をする必要はない。例えば、図４（Ａ）は焦点距離が近距離の対象画像１００であり、図４（Ｂ）は焦点距離が遠距離である遠距離画像１０１である。対象画像１００では顔を含む人間に焦点が合っており、遠距離画像１０１は背景に焦点が合っている。ＤＦＤの技術を用いることによって、これらの画像１００，１０１より距離マップを作成することが出来るので、対象画像１００において顔領域検出部４１により距離マップが約１ｍ以内の位置に既知の顔認識技術を用いて顔領域を検出し、腕検出部４２の位置情報取得部４２Ａは、顔領域の下部領域の距離マップが約１ｍ以内の部分を胴体領域とし、また、その胴体領域に隣接する領域が約１ｍ以内にあれば、腕領域の候補とする。そして、腕位置情報推定部４２Ｂは、その腕領域の候補の形状が長方形等の予め決められた形状であれば、その領域を腕とする。
【００３３】
自分撮り判定部４３は、上記第１実施形態と同様にして自分撮りを行っているか否かを判定することもできるし、上記顔領域検出部４１によって検出された顔領域の大きさの代わりに、上記距離情報算出部４４によって算出された顔領域の距離情報を用い、少なくとも、その顔領域の距離情報と、上記顔領域と上記腕検出部４２によって検出された腕との位置関係と、を用いることにより、自分撮りを行っているか否かを判定することも可能である。
【００３４】
以上のように、本第２実施形態によれば、距離情報を使用することで、より精度良く自分撮りか否かを判定できるようになる。
【００３５】
なお、腕検出部４２は、上記顔領域検出部４１によって検出された顔領域よりも下方であって、上記距離情報算出部４４によって算出された距離情報が上記顔領域の距離情報よりも近い距離の値を示す領域を、腕領域として検出するようにしても良い。これは、自分撮りでは、撮像装置を手で把持して顔の前方に構えることとなるので、当然、腕は顔よりも撮像装置の近くに位置するからである。
【００３６】
また、特許第３３０３１２８号公報に開示されているような全焦点画像の技術を用いて、２枚の画像１００，１０１を合成することにより、図４（Ｃ）に示すような被写体と背景の両方に焦点が合った合成画像１０２を得ることが出来る。
【００３７】
なお、ここでは画像処理装置をハードウェアとして制御部４に組み込んだ例を説明したが、上記第１実施形態と同様に、画像処理プログラムとして構成して、制御部４としてのマイクロプロセッサにより実行させるようにしても良いことは言うまでもない。
【００３８】
[第３実施形態]
図５（Ａ）は、本発明の第３実施形態に係る画像処理装置として機能する制御部４の構成を示す図である。基本構成は上記第２実施形態と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。
【００３９】
本実施形態における制御部４は、図３に示す第２実施形態の構成から、腕検出部４２と、自分撮り判定部４３における腕サイズ算出部４３Ｃ及び腕位置算出部４３Ｄを削除し、その代わりとして、自分撮り判定部４３に服領域検出部４３Ｅ、肌領域検出部４３Ｆ及びパターンマッチング部４３Ｇを追加した構成となっている。
【００４０】
本実施形態においては、自分撮り判定部４３は、上記距離情報算出部４４によって算出された距離情報と、上記顔領域検出部４１によって検出された顔領域とを基に、自分撮りを行っているか否かを判定するものである。
【００４１】
そのために、服領域検出部４３Ｅによって、上記顔領域検出部４１によって検出された顔領域の下部と同じ色もしくは同じテクスチャである領域を服領域として検出し、肌領域検出部４３Ｆによって、肌色の領域を肌領域として検出する。そして、パターンマッチング部４３Ｇによって、上記服領域検出部４３Ｅで検出した服領域及び上記肌領域検出部４３Ｆで検出した肌領域の内部に、上記服領域でない部分が存在する場合、その服領域でない部分が、該当する位置に存在し、かつ該当する図形に類似しているか否かを判別し、該当する位置、形状に類似していれば、自分撮りであると判定する。
【００４２】
つまり、図５（Ｂ）及び（Ｃ）に示すように、服領域と肌領域に囲まれている部分が、特定の画像であれば、自分撮りとみなす。自分撮りであれば、胴体部分と腕領域が離れると考えられ、顔位置算出部４３Ｂで算出した顔領域の位置に対して、斜め下方に空白の部分が存在する。このときに、該当する図形、例えば三角形のテンプレートを作成しておき、テンプレートマッチングを用いることによって自分撮りであると判定する。
【００４３】
また、顔領域が自分撮りでありえない位置に存在する場合も考えられる為、上記第１実施形態のような、上記顔サイズ算出部４３Ａで算出した、上記顔領域検出部４１によって検出された顔領域の大きさが、一定以上大きいという条件によっても判定を行う。
【００４４】
あるいは、顔領域の大きさに代えて、顔領域の上記距離情報算出部４４によって算出された距離情報が一定距離、例えば上述したような１ｍ以内であることを、自分撮り判定の条件に採用しても良い。
【００４５】
以上のように、本第３実施形態によれば、腕を検出する代わりに、自分撮りの際に特有の形状が自分撮りの際に特有の位置に存在するか否かにより、精度良く自分撮りか否かを判定できるようになる。
【００４６】
また、ここでは画像処理装置をハードウェアとして制御部４に組み込んだ例を説明したが、上記第１実施形態と同様に、画像処理プログラムとして構成して、制御部４としてのマイクロプロセッサにより実行させるようにしても良いことは言うまでもない。
【００４７】
[第４実施形態]
図６（Ａ）は、本発明の第４実施形態に係る画像処理装置として機能する制御部４の構成を示す図である。基本構成は上記第１実施形態と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。
【００４８】
本実施形態における制御部４は、図１（Ｂ）に示す第１実施形態の構成に、画像加工部４５が追加された構成になっている。
【００４９】
上記第１実施形態で説明したようにして対象画像１００が自分撮りにより取得した画像であると判定した場合、本実施形態では、その対象画像１００に対し、画像加工部４５により、上記腕検出部４２によって検出された撮像者の腕をトリミングするもしくは腕として検出された領域に他の画素値を当てはめる画像加工処理を行う。
【００５０】
即ち、撮像者によっては自分撮りであることを明らかにしたくない場合や、自分撮りした画像において腕の肌が露出していることが気になる場合もあると考えられる。そこで、腕が写っている場合は、腕を消すことによってこの問題を解決する。
【００５１】
図６（Ｂ）は、本実施形態における制御部４の動作フローチャートを示す図であり、上記第１実施形態のように、対象画像１００から被写体の顔領域を検出し（ステップＳ１）、腕を検出して（ステップＳ２）、自分撮りかそうでないかを判定する（ステップＳ３）。そしてその結果、自分撮りであると判定されたならば（ステップＳ４）、図６（Ｃ）のように腕検出部４２で腕として検出した肌色の領域が消えるようなトリミング等の画像加工処理を行う（ステップＳ５）。
【００５２】
あるいは、画像加工処理としては、腕として検出された領域に他の画素値、例えば腕として検出された領域近傍の背景領域の輝度値を当てはめることで、腕を背景と同化させるものであっても良い。
【００５３】
以上のように、本第４実施形態によれば、自分撮りと判定された場合に、腕を消す画像加工処理が行われるので、対象画像を自分撮り画像とわかりにくくすることが可能となる。
【００５４】
なお、上記画像加工部４５は、上記第２及び第３実施形態に係る画像処理装置としての制御部４にも同様に適用できることは勿論である。
【００５５】
上記第２実施形態に係る画像処理装置としての制御部４に適用した場合、図６（Ｄ）に示すように、点線の領域で切り取ることによって、腕検出部４２で検出した腕が消えるようにトリミングすることができる。また、腕として検出された領域に他の画素値、例えば腕として検出された領域近傍の背景領域の輝度値を当てはめることで、腕を背景と同化させることができる。
【００５６】
また、上記第３実施形態に係る画像処理装置としての制御部４に適用した場合には、腕領域を検出していないが、自分撮り判定部４３の肌領域検出部４３Ｆで肌領域を検出しているので、その肌領域と検出された領域が消えるようなトリミングを行うことができる。また、肌領域に他の画素値、例えば肌として検出された領域近傍の背景領域の輝度値を当てはめることで、肌領域を背景と同化させることができる。更には、肌領域に自分撮り判定部４３の服領域検出部４３Ｅで検出した服領域の色やテクスチャを当てはめることで、肌領域を消すような画像加工処理も可能である。
【００５７】
なお、ここでは画像処理装置をハードウェアとして制御部４に組み込んだ例を説明したが、図６（Ｂ）の動作フローチャートに示すような動作をコンピュータに発揮させるための画像処理プログラムとして構成し、また制御部４をマイクロプロセッサにより構成し、該マイクロプロセッサにそのプログラムを実行させるようにしても良いことは言うまでもない。
【００５８】
また、そのような画像処理プログラムを、パーソナルコンピュータ（以下、ＰＣと略記する。）に実行させることも可能である。その場合には、記録部２の記録媒体に記録された対象画像１００を、有線／無線接続やカードリーダ等による周知の手法によりＰＣに取り込み、画像加工処理を行うことができる。
【００５９】
[第５実施形態]
図７（Ａ）は、本発明の第５実施形態に係る画像処理装置として機能する制御部４の構成を示す図である。基本構成は上記第１実施形態と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。
【００６０】
本実施形態における制御部４は、図１（Ｂ）に示す第１実施形態の構成に、撮像部制御部４６とモード切替部４７とが追加された構成になっている。ここで、撮像部制御部４６は、撮像部１を制御するものであり、モード切替部４７は当該撮像装置の動作モードを切り替えるものである。撮像装置の動作モードとしては、通常撮像モードの他に自分撮りモードがある。この自分撮りモードとは、例えば上記特許文献１に開示されているような手振れ補正や、上記特許文献２に開示されているような顔切れ防止を行うような、自分撮りに最適な撮像を行うことを可能とするように撮像部制御部４６が上記撮像部１を制御するモードである。
【００６１】
図７（Ｂ）は、本実施形態における制御部４の動作フローチャートを示す図である。上記第１実施形態は、自分撮り判定を、本撮像によって取得して記録部２の記録媒体に記録した画像を対象として実施したが、本実施形態は、本撮像に先立って実施されるプリ撮像によって取得して記録部２の一時記憶メモリに記憶した画像を対象画像として実施する。
【００６２】
そこで、まず、撮像部制御部４６の制御により、本撮像に先立って対象画像を撮像部１により取得するためのプリ撮像を実施する（ステップＳ１１）。従って、撮像部１と撮像部制御部４６はプリ撮像部として機能する。
【００６３】
そして、上記第１実施形態で説明したような画像処理を行って自分撮り判定結果を得（ステップＳ１２）、その結果が自分撮りでないという判定結果であれば（ステップＳ１３）、通常撮像モードでの本撮像を実施する（ステップＳ１４）。
【００６４】
これに対して、自分撮り判定結果が自分撮りであるという判定結果であった場合には（ステップＳ１３）、モード切替部４７により当該撮像装置の動作モードを自分撮りモードに移行させ（ステップＳ１５）、撮像部制御部４６に自分撮りに最適な撮像を行うことを可能とするように撮像部１を制御させて本撮像を行う（ステップＳ１４）。
【００６５】
以上のように、本第５実施形態によれば、自分撮りと判定された場合に、自分撮りに最適な撮像を行うことが可能となる。
【００６６】
なお、上記撮像部制御部４６及びモード切替部４７は、上記第２及び第３実施形態に係る画像処理装置としての制御部４にも同様に適用できることは勿論である。
【００６７】
それらの実施形態においては、距離情報を取得するためにプリ撮像を行う必要があるので、上記ステップＳ１１のプリ撮像においては、焦点距離が異なる複数の画像を取得することとなる。
【００６８】
なお、ここでは画像処理装置をハードウェアとして制御部４に組み込んだ例を説明したが、上記第１実施形態と同様に、画像処理プログラムとして構成して、制御部４としてのマイクロプロセッサにより実行させるようにしても良いことは言うまでもない。
【００６９】
以上、実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００７０】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００７１】
（１）  処理対象である対象画像から顔領域を検出するための顔領域検出部と、
上記顔領域検出部によって検出された顔領域を基に上記対象画像から腕を検出するための腕検出部と、
少なくとも、上記顔領域検出部によって検出された顔領域の大きさと、上記顔領域と上記腕検出部によって検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する自分撮り判定部と、
を具備することを特徴とする画像処理装置。
【００７２】
（対応する実施形態）
この（１）に記載の信号処理システムに関する実施形態は、第１、第２及び第４実施形態が対応する。それらの実施形態において、一例として、顔領域検出部４１が上記顔領域検出部に、腕検出部４２が上記腕検出部に、自分撮り判定部４３が上記自分撮り判定部に、それぞれ対応する。
【００７３】
（作用効果）
この（１）に記載の画像処理装置によれば、自分撮りか自分撮りでないかを判別できるようになる。
【００７４】
（２）  上記腕検出部は、
上記顔領域検出部によって検出された顔領域の下部と同じ色もしくは同じテクスチャである領域を服領域とし、
上記服領域に隣接する肌色の領域があるとき、
上記肌色の領域を上記腕として検出することを特徴とする（１）に記載の画像処理装置。
【００７５】
（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第１及び第４実施形態が対応する。
【００７６】
（作用効果）
この（２）に記載の画像処理装置によれば、対象画像から顔領域下方の肌色領域である腕を検出できる。
【００７７】
（３）  上記対象画像と焦点距離のみ異なる別の画像と上記対象画像とを用いることによって距離情報を算出する距離情報算出部を更に具備し、
上記腕検出部は、
上記距離情報算出部によって算出された距離情報を用いることによって、上記顔領域検出部で検出された顔領域とほぼ同じ距離にある場所の画像中の位置情報を取得する位置情報取得部と、
上記位置情報取得部によって取得した上記顔領域とほぼ同じ距離にある場所の形状から腕の位置を推定する腕位置情報推定部と、
を含むことを特徴とする（１）に記載の画像処理装置。
【００７８】
（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第２及び第４実施形態が対応する。それらの実施形態において、一例として、距離情報算出部４４が上記距離情報算出部に、位置情報取得部４２Ａが上記位置情報取得部に、腕位置情報推定部４２Ｂが上記腕位置情報推定部に、それぞれ対応する。
【００７９】
（作用効果）
この（３）に記載の画像処理装置によれば、距離情報を用いて腕を検出することができるので、精度良く腕を検出できる。
【００８０】
（４）  上記対象画像と焦点距離のみ異なる別の画像と上記対象画像とを用いることによって距離情報を算出する距離情報算出部を更に具備し、
上記腕検出部は、上記顔領域検出部によって検出された顔領域よりも下方であって、上記距離情報算出部によって算出された距離情報が上記顔領域の距離情報よりも近い距離の値を示す領域を、腕領域として検出することを特徴とする（１）に記載の画像処理装置。
【００８１】
（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第２及び第４実施形態が対応する。それらの実施形態において、一例として、距離情報算出部４４が上記距離情報算出部に対応する。
【００８２】
（作用効果）
この（４）に記載の画像処理装置によれば、距離情報を用いて腕を検出することができるので、精度良く腕を検出できる。
【００８３】
（５）  処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出する距離情報算出部と、
上記対象画像から顔領域を検出するための顔領域検出部と、
上記顔領域検出部によって検出された顔領域と上記距離情報算出部によって算出された距離情報とを基に上記対象画像から腕を検出するための腕検出部と、
少なくとも、上記顔領域検出部によって検出された顔領域の大きさもしくは上記距離情報算出部によって算出された上記顔領域の距離情報と、上記顔領域と上記腕検出部によって検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する自分撮り判定部と、
を具備することを特徴とする画像処理装置。
【００８４】
（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第２及び第４実施形態が対応する。それらの実施形態において、一例として、距離情報算出部４４が上記距離情報算出部に、顔領域検出部４１が上記顔領域検出部に、腕検出部４２が上記腕検出部に、自分撮り判定部４３が上記自分撮り判定部に、それぞれ対応する。
【００８５】
（作用効果）
この（５）に記載の画像処理装置によれば、距離情報を使用することで、より精度良く自分撮りか否かを判定できるようになる。
【００８６】
（６）  上記自分撮り判定部によって自分撮りを行っていると判断された場合には、上記腕検出部によって検出された撮像者の腕をトリミングするもしくは腕として検出された領域に他の画素値を当てはめる画像加工処理を上記対象画像に対して行う画像加工部を更に具備することを特徴とする（１）又は（５）に記載の画像処理装置。
【００８７】
（対応する実施形態）
この（６）に記載の画像処理装置に関する実施形態は、第４実施形態が対応する。その実施形態において、一例として、画像加工部４５が上記画像加工部に対応する。
【００８８】
（作用効果）
この（６）に記載の画像処理装置によれば、自分撮りと判定された場合に、腕を消す画像加工処理が行われるので、対象画像を自分撮り画像とわかりにくくすることが可能となる。
【００８９】
（７）  上記画像加工部において上記腕として検出された領域に当てはめられる上記他の画素値は、上記腕として検出された領域近傍の背景領域の輝度値であることを特徴とする（６）に記載の画像処理装置。
【００９０】
（対応する実施形態）
この（７）に記載の画像処理装置に関する実施形態は、第４実施形態が対応する。
【００９１】
（作用効果）
この（７）に記載の画像処理装置によれば、腕を背景と同化させることができる。
【００９２】
（８）  上記自分撮り判定部は、自分撮りと判定する条件の一つに、少なくとも一人の腕が対象画像の端に検出されるという条件を含むことを特徴とする（１）又は（５）に記載の画像処理装置。
【００９３】
（対応する実施形態）
この（８）に記載の画像処理装置に関する実施形態は、第１、第２及び第４実施形態が対応する。
【００９４】
（作用効果）
この（８）に記載の画像処理装置によれば、複数の人物が対象画像に含まれていても自分撮りを判定できる。
【００９５】
（９）  上記腕検出部は、
上記距離情報算出部によって算出された距離情報を用いることによって、上記顔領域検出部で検出された顔領域とほぼ同じ距離にある場所の画像中の位置情報を取得する位置情報取得部と、
上記位置情報取得部によって取得した上記顔領域とほぼ同じ距離にある場所の形状から腕の位置を推定する腕位置情報推定部と、
を含むことを特徴とする（５）に記載の画像処理装置。
【００９６】
（対応する実施形態）
この（９）に記載の画像処理装置に関する実施形態は、第２及び第４実施形態が対応する。それらの実施形態において、一例として、位置情報取得部４２Ａが上記位置情報取得部に、腕位置情報推定部４２Ｂが上記腕位置情報推定部に、それぞれ対応する。
【００９７】
（作用効果）
この（９）に記載の画像処理装置によれば、距離情報を用いて腕を検出することができるので、精度良く腕を検出できる。
【００９８】
（１０）  処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出する距離情報算出部と、
上記対象画像から顔領域を検出するための顔領域検出部と、
上記距離情報算出部によって算出された距離情報と、上記顔領域検出部によって検出された顔領域とを基に、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する自分撮り判定部と、
を具備し、
上記自分撮り判定部は、
上記顔領域検出部によって検出された顔領域の大きさもしくは該顔領域の上記距離情報算出部によって算出された距離情報が一定範囲内であり、
上記顔領域検出部によって検出された顔領域の下部と同じ色もしくは同じテクスチャである領域を服領域とし、
肌色の領域を肌領域とし、
上記服領域及び上記肌領域の内部に上記服領域でない部分が存在する場合、上記服領域でない部分が、該当する位置に存在し、かつ該当する図形に類似しているか否かによって、
自分撮りか否かを判定する、
ことを特徴とする画像処理装置。
【００９９】
（対応する実施形態）
この（１０）に記載の画像処理装置に関する実施形態は、第３及び第４実施形態が対応する。その実施形態において、一例として、距離情報算出部４４が上記距離情報算出部に、顔領域検出部４１が上記顔領域検出部に、自分撮り判定部４３が上記自分撮り判定部に、それぞれ対応する。
【０１００】
（作用効果）
この（１０）に記載の画像処理装置によれば、自分撮りの際に特有の形状が自分撮りの際に特有の位置に存在するか否かにより、精度良く自分撮りか否かを判定できるようになる。
【０１０１】
（１１）  上記自分撮り判定部によって自分撮りを行っていると判断された場合には、上記肌領域をトリミングするもしくは上記肌領域に他の画素値を当てはめる画像加工処理を上記対象画像に対して行う画像加工部を更に具備することを特徴とする（１０）に記載の画像処理装置。
【０１０２】
（対応する実施形態）
この（１１）に記載の画像処理装置に関する実施形態は、第４実施形態が対応する。その実施形態において、一例として、画像加工部４５が上記画像加工部に対応する。
【０１０３】
（作用効果）
この（１１）に記載の画像処理装置によれば、自分撮りと判定された場合に、肌領域を消す画像加工処理が行われるので、対象画像を自分撮り画像とわかりにくくすることが可能となる。
【０１０４】
（１２）  上記画像加工部において上記肌領域に当てはめられる上記他の画素値は、上記肌領域近傍の背景領域の輝度値、または、上記服領域の色もしくはテクスチャであることを特徴とする（１１）に記載の画像処理装置。
【０１０５】
（対応する実施形態）
この（１２）に記載の画像処理装置に関する実施形態は、第４実施形態が対応する。
【０１０６】
（作用効果）
この（１２）に記載の画像処理装置によれば、肌領域を背景又は服と同化させることができる。
【０１０７】
（１３）  処理対象である対象画像から顔領域を検出し、
検出された顔領域を基に上記対象画像から腕を検出し、
少なくとも、上記検出された顔領域の大きさと、上記顔領域と上記検出された腕との位置関係と、を用いることにより、撮像者が自らを被写体として撮像を行う自分撮りを行っているか否かを判定する、
ことを特徴とする画像処理方法。
【０１０８】
（対応する実施形態）
この（１３）に記載の画像処理方法に関する実施形態は、第１、第２及び第４実施形態が対応する。
【０１０９】
（作用効果）
この（１３）に記載の画像処理方法によれば、自分撮りか自分撮りでないかを判別できるようになる。
【０１１０】
（１４）  処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出し、
上記対象画像から顔領域を検出し、
上記検出された顔領域と上記算出された距離情報とを基に上記対象画像から腕を検出し、
少なくとも、上記検出された顔領域の大きさもしくは算出された上記顔領域の距離情報と、上記顔領域と上記検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する、
ことを特徴とする画像処理方法。
【０１１１】
（対応する実施形態）
この（１４）に記載の画像処理方法に関する実施形態は、第２及び第４実施形態が対応する。
【０１１２】
（作用効果）
この（１４）に記載の画像処理方法によれば、距離情報を使用することで、より精度良く自分撮りか否かを判定できるようになる。
【０１１３】
（１５）  処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出し、
上記対象画像から顔領域を検出し、
上記検出された顔領域の大きさもしくは該顔領域の上記算出された距離情報が一定範囲内であり、上記検出された顔領域の下部と同じ色もしくは同じテクスチャである領域を服領域とし、肌色の領域を肌領域とし、上記服領域及び上記肌領域の内部に上記服領域でない部分が存在する場合、上記服領域でない部分が、該当する位置に存在し、かつ該当する図形に類似しているか否かによって、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定する、
ことを特徴とする画像処理方法。
【０１１４】
（対応する実施形態）
この（１５）に記載の画像処理方法に関する実施形態は、第３及び第４実施形態が対応する。
【０１１５】
（作用効果）
この（１５）に記載の画像処理方法によれば、自分撮りの際に特有の形状が自分撮りの際に特有の位置に存在するか否かにより、精度良く自分撮りか否かを判定できるようになる。
【０１１６】
（１６）  処理対象である対象画像から顔領域を検出するステップと、
検出された顔領域を基に上記対象画像から腕を検出するステップと、
少なくとも、上記検出された顔領域の大きさと、上記顔領域と上記検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定するステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【０１１７】
（対応する実施形態）
この（１６）に記載の画像処理プログラムに関する実施形態は、第１、第２及び第４実施形態が対応する。
【０１１８】
（作用効果）
この（１６）に記載の画像処理プログラムによれば、自分撮りか自分撮りでないかを判別できるようになる。
【０１１９】
（１７）  処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出するステップと、
上記対象画像から顔領域を検出するステップと、
検出された顔領域を基に上記対象画像から腕を検出するステップと、
少なくとも、算出された上記検出された顔領域の距離情報と、上記顔領域と上記検出された腕との位置関係と、を用いることにより、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定するステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【０１２０】
（対応する実施形態）
この（１７）に記載の画像処理プログラムに関する実施形態は、第２及び第４実施形態が対応する。
【０１２１】
（作用効果）
この（１７）に記載の画像処理プログラムによれば、距離情報を使用することで、より精度良く自分撮りか否かを判定できるようになる。
【０１２２】
（１８）  処理対象である対象画像とは焦点距離の異なる別の画像と上記対象画像とを用いることによって距離情報を算出するステップと、
上記対象画像から顔領域を検出するステップと、
上記検出された顔領域の大きさもしくは該顔領域の上記算出された距離情報が一定範囲内であり、上記検出された顔領域の下部と同じ色もしくは同じテクスチャである領域を服領域とし、肌色の領域を肌領域とし、上記服領域及び上記肌領域の内部に上記服領域でない部分が存在する場合、上記服領域でない部分が、該当する位置に存在し、かつ該当する図形に類似しているか否かによって、撮像者が撮像装置を手で保持した状態で自らを被写体として撮像を行う自分撮りを行っているか否かを判定するステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【０１２３】
（対応する実施形態）
この（１８）に記載の画像処理プログラムに関する実施形態は、第３及び第４実施形態が対応する。
【０１２４】
（作用効果）
この（１８）に記載の画像処理プログラムによれば、自分撮りの際に特有の形状が自分撮りの際に特有の位置に存在するか否かにより、精度良く自分撮りか否かを判定できるようになる。
【０１２５】
（１９）  本撮像に先立って上記対象画像を取得するためのプリ撮像部と、
（１）に記載の画像処理装置と、
上記画像処理装置の自分撮り判定部によって自分撮りであると判定された場合に、自分撮りに最適な撮像を行うことを可能とするモードである自分撮りモードに移行するモード切替部と、
を具備することを特徴とする撮像装置。
【０１２６】
（対応する実施形態）
この（１９）に記載の撮像装置に関する実施形態は、第５実施形態が対応する。その実施形態において、一例として、撮像部１及び撮像部制御部４６が上記プリ撮像部に、モード切替部４７が上記モード切替部に、それぞれ対応する。
【０１２７】
（作用効果）
この（１９）に記載の撮像装置によれば、自分撮りと判定された場合に、自分撮りに最適な撮像を行うことが可能となる。
【０１２８】
（２０）  本撮像に先立って上記対象画像及びそれとは焦点距離の異なる画像を取得するためのプリ撮像部と、
（５）又は（１０）に記載の画像処理装置と、
上記画像処理装置の自分撮り判定部によって自分撮りであると判定された場合に、自分撮りに最適な撮像を行うことを可能とするモードである自分撮りモードに移行するモード切替部と、
を具備することを特徴とする撮像装置。
【０１２９】
（対応する実施形態）
この（２０）に記載の撮像装置に関する実施形態は、第５実施形態が対応する。その実施形態において、一例として、撮像部１及び撮像部制御部４６が上記プリ撮像部に、モード切替部４７が上記モード切替部に、それぞれ対応する。
【０１３０】
（作用効果）
この（２０）に記載の撮像装置によれば、自分撮りと判定された場合に、自分撮りに最適な撮像を行うことが可能となる。
【図面の簡単な説明】
【０１３１】
【図１】図１（Ａ）は、本発明の第１実施形態に係る画像処理装置が適用された撮像装置の構成を示す図であり、図１（Ｂ）は、本実施形態に係る画像処理装置として機能する制御部の構成を示す図であり、図１（Ｃ）は、第１実施形態における制御部の動作フローチャートを示す図である。
【図２】図２は、対象画像の例を示す図である。
【図３】図３は、本発明の第２実施形態に係る画像処理装置として機能する制御部の構成を示す図である。
【図４】図４（Ａ）は、焦点距離が近距離の対象画像の例を示す図であり、図４（Ｂ）は、焦点距離が遠距離である遠距離画像の例を示す図であり、図４（Ｃ）は、被写体と背景の両方に焦点が合った合成画像の例を示す図である。
【図５】図５（Ａ）は、本発明の第３実施形態に係る画像処理装置として機能する制御部４の構成を示す図であり、図５（Ｂ）及び（Ｃ）はそれぞれ自分撮り判定の判定方法を説明するための図である。
【図６】図６（Ａ）は、本発明の第４実施形態に係る画像処理装置として機能する制御部４の構成を示す図であり、図６（Ｂ）は、第４実施形態における制御部の動作フローチャートを示す図であり、図６（Ｃ）及び（Ｄ）はそれぞれ画像加工処理としてのトリミングを説明するための図である。
【図７】図７（Ａ）は、本発明の第５実施形態に係る画像処理装置として機能する制御部４の構成を示す図であり、図７（Ｂ）は、第５実施形態における制御部の動作フローチャートを示す図である。
【符号の説明】
【０１３２】
１…撮像部、  ２…記録部、  ３…表示部、  ４…制御部、  ４１…顔領域検出部、  ４２…腕検出部、  ４２Ａ…位置情報取得部、  ４２Ｂ…腕位置情報推定部、  ４３…自分撮り判定部、  ４３Ａ…顔サイズ算出部、  ４３Ｂ…顔位置算出部、  ４３Ｃ…腕サイズ算出部、  ４３Ｄ…腕位置算出部、  ４３Ｅ…服領域検出部、  ４３Ｆ…肌領域検出部、  ４３Ｇ…パターンマッチング部、  ４４…距離情報算出部、  ４５…画像加工部、  ４６…撮像部制御部、  ４７…モード切替部、  １００…対象画像、  １０１…遠距離画像、  １０２…合成画像。
【図１】
2010081357.tif 000003
【図２】
2010081357.tif 000004
【図３】
2010081357.tif 000005
【図４】
2010081357.tif 000006
【図５】
2010081357.tif 000007
【図６】
2010081357.tif 000008
【図７】
2010081357.tif 000009