(57)【特許請求の範囲】
【請求項１】
所定の画像データから被写体の画像と、被写体を除く部分の非被写体画像とを識別する識別手段と、
該識別手段で識別された前記非被写体画像を加工する加工手段と、
を有し、
前記識別手段は、
前記所定の画像データに基づく画像を均一色領域に分割する領域分割手段と、
該領域分割手段で分割された各領域が前記画像の縁部に接触しているか否かを判定する縁部接触判定手段と、
該縁部接触判定手段で画像の縁部に接触していると判定された領域の凹凸度を算出する凹凸度算出手段と、
前記縁部接触判定手段で画像の縁部に接触していると判定された領域において当該領域の縁部に接するエッジ領域のエッジ量を算出するエッジ量算出手段と、
前記凹凸度と前記エッジ領域のエッジ量の分布の少なくとも一方に基づいて前記領域の画像が非被写体画像であるか否かを判定する非被写体判定手段とを備え、
前記凹凸度算出手段は、前記縁部接触判定手段で画像の縁部に接触していると判定された領域において所定の径の孔数を算出し、
前記非被写体判定手段は、前記孔数が所定の閾値以下である場合に、当該領域の画像を非被写体画像であると判定することを特徴とする画像処理装置。
【請求項２】
前記凹凸度算出手段は、前記縁部接触判定手段で画像の縁部に接触していると判定された領域の縁部の円形度を算出し、
前記非被写体判定手段は、前記円形度が所定の閾値以上である場合に、当該領域の画像を非被写体画像であると判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記非被写体判定手段は、前記孔数，円形度を引数とした凹凸度の関数に基づいて、凹凸度を算出し、前記領域の画像が非被写体画像であるか否かを判定することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記加工手段は、前記非被写体判定手段で判定された非被写体画像を削除することを特徴とする請求項１から請求項３の何れかに記載の画像処理装置。
【請求項５】
前記加工手段は、前記非被写体判定手段で判定された非被写体画像を所定の色で塗りつぶすことを特徴とする請求項１から請求項３の何れかに記載の画像処理装置。
【請求項６】
前記加工手段は、
前記非被写体判定手段で判定された非被写体画像について画素補完するための方向を決定する画素補完方向決定手段と、
前記画像データあるいは均一色領域の分割結果および前記画素補完方向決定手段で決定された方向に基づいて非被写体画像の画素を補完する画素補完手段と、
を備えることを特徴とする請求項１から請求項３の何れかに記載の画像処理装置。
【請求項７】
前記非被写体判定手段で判定された非被写体画像を含む画像データについては、所定の記憶手段への格納、印刷出力および表示出力の少なくとも一つを禁止する制御手段を備えることを特徴とする請求項１から請求項６の何れかに記載の画像処理装置。
【請求項８】
前記請求項１から請求項７の何れかに記載の画像処理装置と、
通信手段を介して前記画像処理装置と接続される１または２以上の情報処理装置と、
から構成されることを特徴とする画像処理システム。
【請求項９】
コンピュータに、
所定の画像データから被写体の画像と、被写体を除く部分の非被写体画像とを識別する識別過程と、
該識別手段で識別された前記非被写体画像を加工する加工過程とを実行させる画像処理プログラムであって、
前記識別過程は、
前記所定の画像データに基づく画像を均一色領域に分割する領域分割過程と、
該領域分割過程で分割された各領域が前記画像の縁部に接触しているか否かを判定する縁部接触判定過程と、
該縁部接触判定過程で画像の縁部に接触していると判定された領域の凹凸度を算出する凹凸度算出過程と、
前記縁部接触判定過程で画像の縁部に接触していると判定された領域において当該領域の縁部に接するエッジ領域のエッジ量を算出するエッジ量算出過程と、
前記凹凸度と前記エッジ領域のエッジ量の分布の少なくとも一方に基づいて前記領域の画像が非被写体画像であるか否かを判定する非被写体判定過程とを有し、
前記凹凸度算出過程は、前記縁部接触判定過程で画像の縁部に接触していると判定された領域において所定の径の孔数を算出し、
前記非被写体判定過程は、前記孔数が所定の閾値以下である場合に、当該領域の画像を非被写体画像であると判定することを特徴とする画像処理プログラム。
【請求項１０】
前記凹凸度算出過程は、前記縁部接触判定過程で画像の縁部に接触していると判定された領域の縁部の円形度を算出し、
前記非被写体判定過程は、前記円形度が所定の閾値以上である場合に、当該領域の画像を非被写体画像であると判定することを特徴とする請求項９に記載の画像処理プログラム。
【請求項１１】
前記非被写体判定過程は、前記孔数，円形度を引数とした凹凸度の関数に基づいて、凹凸度を算出し、前記領域の画像が非被写体画像であるか否かを判定することを特徴とする請求項９または請求項１０に記載の画像処理プログラム。
【請求項１２】
前記加工過程は、前記非被写体判定過程で判定された非被写体画像を削除することを特徴とする請求項９から請求項１１の何れかに記載の画像処理プログラム。
【請求項１３】
前記加工過程は、前記非被写体判定過程で判定された非被写体画像を所定の色で塗りつぶすことを特徴とする請求項９から請求項１１の何れかに記載の画像処理プログラム。
【請求項１４】
前記加工過程は、
前記非被写体判定過程で判定された非被写体画像について画素補完するための方向を決定する画素補完方向決定過程と、
前記画像データあるいは均一色領域の分割結果および前記画素補完方向決定過程で決定された方向に基づいて非被写体画像の画素を補完する画素補完過程と、
を有することを特徴とする請求項９から請求項１１の何れかに記載の画像処理プログラム。
【請求項１５】
前記非被写体判定過程で判定された非被写体画像を含む画像データについては、所定の記憶手段への格納、印刷出力および表示出力の少なくとも一つを禁止する制御過程を有することを特徴とする請求項９から請求項１４の何れかに記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システムおよび画像処理プログラムに関するものである。
【背景技術】
【０００２】
近年、銀塩カメラに代わってデジタルカメラが普及し、撮影した画像データ（デジタル画像）をパーソナルコンピュータ等で閲覧したり、カラープリンタで印刷出力するようになってきている。
【０００３】
ところで、このようなデジタルカメラの急速な普及により、カメラの取り扱いに比較的不慣れな所謂カメラ初心者がデジタル画像を撮影する機会も増えている。
【０００４】
そのため、撮影時に、カメラ本体，デジタルカメラ内蔵の携帯電話などのハンドストラップ等の一部あるいは撮影者の指がレンズにかかってしまい、被写体（撮影者が本来撮ろうとする撮影対象）以外にハンドストラップ等が非被写体（撮影者が意図しない撮影物）として写り込んでしまう場合があった。
【０００５】
また、デジタルカメラの取り扱いに慣れた者の撮影であっても、シャッターを切った瞬間に意図しないモノ（例えば、走行中のクルマや他人の姿等）が被写体と一緒に写り込んでしまうことはよくある。
【０００６】
そのため、撮影後の画像データの処理において、上述のような非被写体を抽出して削除したり目立たないように加工したいという要望があった。
【０００７】
ところで、従来からデジタル画像を用いた画像加工処理の一種として、被写体を撮影した画像から背景を除去して被写体の画像を抽出する処理がよく行われている。
【０００８】
このような処理においては、例えば、撮影画像の各画素の色値を取得し、判別分析等の手法を用いて、各画素を撮影画像を背景領域と被写体領域とに２値化して区分する方法や、隣接する画素間における色の変化量をもとに被写体の画像の輪郭を検出し、背景と被写体を区分する方法があった。
【０００９】
上記の２値化を行う方法においては、撮影画像の各画素におけるＲＧＢ値を明度もしくは輝度に変換して２値化する手法や、ＲＧＢ値の三原色成分毎に２値化を行う手法あるいは、ＲＧＢ色空間を定義し、各画素の色空間における距離をもとに２値化を行う手法等が用いられていた。
【００１０】
また、被写体の画像の輪郭を検出する方法においては、各画素のＲＧＢ値を明度や輝度に変換してから、隣接する画素間の色の変化量を判定する手法や、ＲＧＢの三原色成分毎に隣接する画素間の色の変化量を判定する手法等があった。
【００１１】
また、上記の技術を改良して、撮影された撮影画像における色空間値を求め、色みに係る色空間値から被写体と背景とを区分した２値画像を作成し、さらに明度値から被写体の輪郭を示す２値画像を作成し、作成した２つの２値画像をもとに撮影画像から背景を除去して被写体の画像のみを抽出するようにした技術も提案されている。
【特許文献１】特開２００２−３５８５２０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、背景以外の非被写体（上記のハンドストラップ等の一部や撮影者の指あるいは他人の頭等）を効率良く抽出することは難しいという課題があった。
【００１３】
一方で、撮影者や作業者が、撮影した画像を一つ一つ確認して上記のような非被写体を既存の画像処理ソフトウェア等を用いて削除していくのは非常に時間と労力を要する作業であった。
【００１４】
本発明は、撮影画像から非被写体の画像を効率よく識別して、非被写体の画像の加工を的確に行うことができる画像処理装置、画像処理システムおよび画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
前記課題を解決するため、請求項１の発明に係る画像処理装置は、所定の画像データから被写体の画像と、被写体を除く部分の非被写体画像とを識別する識別手段と、該識別手段で識別された前記非被写体画像を加工する加工手段と、を有し、前記識別手段は、前記所定の画像データに基づく画像を均一色領域に分割する領域分割手段と、該領域分割手段で分割された各領域が前記画像の縁部に接触しているか否かを判定する縁部接触判定手段と、該縁部接触判定手段で画像の縁部に接触していると判定された領域の凹凸度を算出する凹凸度算出手段と、前記縁部接触判定手段で画像の縁部に接触していると判定された領域において当該領域の縁部に接するエッジ領域のエッジ量を算出するエッジ量算出手段と、前記凹凸度と前記エッジ領域のエッジ量の分布の少なくとも一方に基づいて前記領域の画像が非被写体画像であるか否かを判定する非被写体判定手段とを備え、前記凹凸度算出手段は、前記縁部接触判定手段で画像の縁部に接触していると判定された領域において所定の径の孔数を算出し、前記非被写体判定手段は、前記孔数が所定の閾値以下である場合に、当該領域の画像を非被写体画像であると判定することを特徴とする。
【００１８】
請求項２の発明に係る画像処理装置は、請求項１に記載の発明において、前記円形度算出手段は、前記縁部接触判定手段で画像の縁部に接触していると判定された領域において所定の径の孔数を算出し、前記非被写体判定手段は、前記孔数が所定の閾値以下である場合に、当該領域の画像を非被写体画像であると判定することを特徴とする。
【００２０】
請求項３の発明に係る画像処理装置は、請求項１または請求項２に記載の発明において、前記非被写体判定手段は、前記孔数，円形度を引数とした凹凸度の関数に基づいて、凹凸度を算出し、前記領域の画像が非被写体画像であるか否かを判定することを特徴とする。
【００２１】
請求項４の発明に係る画像処理装置は、請求項１から請求項３の何れか１項に記載の発明において、前記加工手段は、前記非被写体判定手段で判定された非被写体画像を削除することを特徴とする。
【００２２】
請求項５の発明に係る画像処理装置は、請求項１から請求項３の何れか１項に記載の発明において、前記加工手段は、前記非被写体判定手段で判定された非被写体画像を所定の色で塗りつぶすことを特徴とする。
【００２３】
請求項６の発明に係る画像処理装置は、請求項１から請求項３の何れか１項に記載の発明において、前記加工手段は、前記非被写体判定手段で判定された非被写体画像について画素補完するための方向を決定する画素補完方向決定手段と、前記画像データあるいは均一色領域の分割結果および前記画素補完方向決定手段で決定された方向に基づいて非被写体画像の画素を補完する画素補完手段とを備えることを特徴とする。
【００２４】
請求項７の発明に係る画像処理装置は、請求項１から請求項６の何れか１項に記載の発明において、前記非被写体判定手段で判定された非被写体画像を含む画像データについては、所定の記憶手段への格納、印刷出力および表示出力の少なくとも一つを禁止する制御手段を備えることを特徴とする。
【００２５】
請求項８の発明に係る画像処理システムは、前記請求項１から請求項７の何れか１項に記載の画像処理装置と、通信手段を介して前記画像処理装置と接続される１または２以上の情報処理装置とから構成されることを特徴とする。
【００２６】
請求項９の発明に係る画像処理プログラムは、コンピュータに、所定の画像データから被写体の画像と、被写体を除く部分の非被写体画像とを識別する識別過程と、該識別手段で識別された前記非被写体画像を加工する加工過程とを実行させる画像処理プログラムであって、前記識別過程は、前記所定の画像データに基づく画像を均一色領域に分割する領域分割過程と、該領域分割過程で分割された各領域が前記画像の縁部に接触しているか否かを判定する縁部接触判定過程と、該縁部接触判定過程で画像の縁部に接触していると判定された領域の凹凸度を算出する凹凸度算出過程と、前記縁部接触判定過程で画像の縁部に接触していると判定された領域において当該領域の縁部に接するエッジ領域のエッジ量を算出するエッジ量算出過程と、前記凹凸度と前記エッジ領域のエッジ量の分布の少なくとも一方に基づいて前記領域の画像が非被写体画像であるか否かを判定する非被写体判定過程とを有し、前記凹凸度算出過程は、前記縁部接触判定過程で画像の縁部に接触していると判定された領域において所定の径の孔数を算出し、前記非被写体判定過程は、前記孔数が所定の閾値以下である場合に、当該領域の画像を非被写体画像であると判定することを特徴とする。
【００２９】
請求項１０の発明に係る画像処理プログラムは、請求項９に記載の発明において、前記凹凸度算出過程は、前記縁部接触判定過程で画像の縁部に接触していると判定された領域の縁部の円形度を算出し、前記非被写体判定過程は、前記円形度が所定の閾値以上である場合に、当該領域の画像を非被写体画像であると判定することを特徴とする。
【００３１】
請求項１１の発明に係る画像処理プログラムは、請求項９または請求項１０に記載の発明において、前記非被写体判定過程は、前記孔数，円形度を引数とした凹凸度の関数に基づいて、凹凸度を算出し、前記領域の画像が非被写体画像であるか否かを判定することを特徴とする。
【００３２】
請求項１２の発明に係る画像処理プログラムは、請求項９から請求項１１の何れか１項に記載の発明において、前記加工過程は、前記非被写体判定過程で判定された非被写体画像を削除することを特徴とする。
【００３３】
請求項１３の発明に係る画像処理プログラムは、請求項９から請求項１１の何れか１項に記載の発明において、前記加工過程は、前記非被写体判定過程で判定された非被写体画像を所定の色で塗りつぶすことを特徴とする。
【００３４】
請求項１４の発明に係る画像処理プログラムは、請求項９から請求項１１の何れか１項に記載の発明において、前記加工過程は、前記非被写体判定過程で判定された非被写体画像について画素補完するための方向を決定する画素補完方向決定過程と、前記画像データあるいは均一色領域の分割結果および前記画素補完方向決定過程で決定された方向に基づいて非被写体画像の画素を補完する画素補完過程とを有することを特徴とする。
【００３５】
請求項１５の発明に係る画像処理プログラムは、請求項９から請求項１４の何れか１項に記載の発明において、前記非被写体判定過程で判定された非被写体画像を含む画像データについては、所定の記憶手段への格納、印刷出力および表示出力の少なくとも一つを禁止する制御過程を有することを特徴とする。
【発明の効果】
【００３６】
本発明によれば以下の効果を奏することができる。
【００３７】
すなわち、請求項１に記載の発明によれば、本構成を有していない場合に比較して、凹凸度とボケ具合の少なくとも一方に基づいて領域の画像が非被写体画像であるか否かを判定しているので、撮影画像から非被写体の画像を効率よく識別して、非被写体の画像の加工を的確に行うことができ、また、エッジ量の分布または分散に応じて領域の画像が非被写体画像であるか否かを判定しているので、撮影画像から非被写体の画像を効率よく識別して、非被写体の画像の加工をより的確に行うことができるという優れた効果がある。
【００３８】
また、請求項１に記載の発明によれば、本構成を有していない場合に比較して、円形度とボケ具合の少なくとも一方に基づいて領域の画像が非被写体画像であるか否かを判定しているので、撮影画像から非被写体の画像を効率よく識別して、非被写体の画像の加工を的確に行うことができるという優れた効果がある。
【００３９】
さらに、請求項１に記載の発明によれば、本構成を有していない場合に比較して、円形度が所定の閾値以上である場合に領域の画像を非被写体画像であると判定しているので、撮影画像から非被写体の画像を効率よく識別して、非被写体の画像の加工をより的確に行うことができる。
さらに、請求項１に記載の発明によれば、本構成を有していない場合に比較して、エッジ量の分布または分散に応じて領域の画像が非被写体画像であるか否かを判定しているので、撮影画像から非被写体の画像を効率よく識別して、非被写体の画像の加工をより的確に行うことができる。
【００４０】
請求項２に記載の発明によれば、本構成を有していない場合に比較して、孔数が所定の閾値以下である場合に領域の画像を非被写体画像であると判定しているので、撮影画像から非被写体の画像を効率よく識別して、非被写体の画像の加工をより的確に行うことができる。
【００４２】
請求項３に記載の発明によれば、本構成を有していない場合に比較して、孔数，円形度を引数とした凹凸度の関数に基づいて、凹凸度を算出し、領域の画像が非被写体画像であるか否かを判定しているので、撮影画像から非被写体の画像を効率よく識別して、非被写体の画像の加工をより的確に行うことができる。
【００４３】
請求項４に記載の発明によれば、本構成を有していない場合に比較して、非被写体判定手段で判定された非被写体画像を削除するようにしているので、被写体をより明確にした画像を得ることができる。
【００４４】
請求項５に記載の発明によれば、本構成を有していない場合に比較して、非被写体判定手段で判定された非被写体画像を所定の色で塗りつぶすようにしているので、操作者等に非被写体画像を明確に示すことができ、画像の処理方法の判断等に指針を与えることができる。
【００４５】
請求項６に記載の発明によれば、本構成を有していない場合に比較して、非被写体画像の画素を補完する画素補完手段等を備えているので、被写体をより明確にした画像を得ることができる。
【００４６】
請求項７に記載の発明によれば、本構成を有していない場合に比較して、所定の記憶手段への格納、印刷出力および表示出力の少なくとも一つを禁止する制御手段を備えているので、非被写体画像を含む所謂失敗写真を保存しないようにでき、記憶手段の記憶容量を効率的に利用することができると共に、撮影者が画像の分類（例えば、うまく撮れた写真と所謂失敗写真の分類）を行う手間を省くことができる。また、印刷を行わないようにした場合には、不要な印刷物を減らすことができる。
【００４７】
請求項８に記載の発明によれば、本構成を有していない場合に比較して、撮影画像から非被写体の画像を効率よく識別して、非被写体の画像の加工を的確に行うことができるという優れた効果がある。
【００４８】
請求項９に記載の発明によれば、本構成を有していない場合に比較して、撮影画像から非被写体の画像を識別して、非被写体の画像を削除するなどの加工を行うことができる。
【００４９】
また、請求項９に記載の発明によれば、本構成を有していない場合に比較して、円形度とボケ具合の少なくとも一方に基づいて領域の画像が非被写体画像であるか否かを判定しているので、撮影画像から非被写体の画像を効率よく識別して、非被写体の画像の加工を的確に行うことができるという優れた効果がある。
【００５０】
さらに、請求項９に記載の発明によれば、本構成を有していない場合に比較して、円形度が所定の閾値以上である場合に領域の画像を非被写体画像であると判定しているので、撮影画像から非被写体の画像を効率よく識別して、非被写体の画像の加工をより的確に行うことができる。
さらに、請求項９に記載の発明によれば、本構成を有していない場合に比較して、エッジ量の分布または分散に応じて領域の画像が非被写体画像であるか否かを判定しているので、撮影画像から非被写体の画像を効率よく識別して、非被写体の画像の加工をより的確に行うことができる。
【００５１】
請求項１０に記載の発明によれば、本構成を有していない場合に比較して、孔数が所定の閾値以下である場合に領域の画像を非被写体画像であると判定しているので、撮影画像から非被写体の画像を効率よく識別して、非被写体の画像の加工をより的確に行うことができる。
【００５３】
請求項１１に記載の発明によれば、本構成を有していない場合に比較して、孔数，円形度を引数とした凹凸度の関数に基づいて、凹凸度を算出し、領域の画像が非被写体画像であるか否かを判定しているので、撮影画像から非被写体の画像を効率よく識別して、非被写体の画像の加工をより的確に行うことができる。
【００５４】
請求項１２に記載の発明によれば、本構成を有していない場合に比較して、非被写体判定手段で判定された非被写体画像を削除するようにしているので、被写体をより明確にした画像を得ることができる。
【００５５】
請求項１３に記載の発明によれば、本構成を有していない場合に比較して、非被写体判定過程で判定された非被写体画像を所定の色で塗りつぶすようにしているので、操作者等に非被写体画像を明確に示すことができ、画像の処理方法の判断等に指針を与えることができる。
【００５６】
請求項１４に記載の発明によれば、本構成を有していない場合に比較して、非被写体画像の画素を補完する画素補完過程等を有しているので、被写体をより明確にした画像を得ることができる。
【００５７】
請求項１５に記載の発明によれば、本構成を有していない場合に比較して、所定の記憶手段への格納、印刷出力および表示出力の少なくとも一つを禁止する制御手段を備えているので、非被写体画像を含む所謂失敗写真を保存しないようにでき、記憶手段の記憶容量を効率的に利用することができると共に、撮影者が画像の分類（例えば、うまく撮れた写真と所謂失敗写真の分類）を行う手間を省くことができる。また、印刷を行わないようにした場合には、不要な印刷物を減らすことができる。
【発明を実施するための最良の形態】
【００５８】
以下、本発明の一例としての実施の形態を図面に基づいて詳細に説明する。ここで、添付図面において同一の部材には同一の符号を付しており、また、重複した説明は省略されている。なお、ここでの説明は本発明が実施される最良の形態であることから、本発明は当該形態に限定されるものではない。
【００５９】
図１は実施の形態に係る画像処理装置の概略構成を示すブロック図、図２は本実施の形態に係る画像処理装置で実行される画像加工処理の第１の実施例の処理手順を示すフローチャート、図３は画像加工処理による画像加工の例を示す説明図、図４は非被写体の識別処理（サブルーチンＳＳ１）の処理手順を示すフローチャート、図５は各特徴量の特性を示す説明図、図６は非被写体を識別するための孔の数と円形度の関係を示す表、図７はエッジ領域と非被写体の縁部を示す説明図、図８は本実施の形態に係る画像処理装置で実行される画像加工処理の第２の実施例の処理手順を示すフローチャート、図９は画素補完処理の概略処理手順を示すフローチャート、図１０は画素補完処理の具体的な処理手順を示すフローチャート、図１１は画素補完の仕方を示す説明図、図１２は他の実施の形態を示す説明図である。
【００６０】
まず、図１のブロック図を参照して実施の形態に係る画像処理装置の構成について説明する。
【００６１】
ここで、画像処理装置は特には限定されず、所定の画像処理プログラムを導入したパーソナルコンピュータ等で構成することもできるし、デジタルカメラやそれらのカメラ機能を有する通信携帯端末に画像処理回路等として組み込まれる態様であってもよい。
【００６２】
本実施の形態では、デジタルカメラにファームウェア等として本発明に係る画像処理機能が組み込まれる場合を想定する。
【００６３】
図１に示すように本実施の形態に係る画像処理装置としてのデジタルカメラＤＣは、制御部を構成するマイクロコンピュータ１０と、画像データを入力する画像入力部２０と、操作ボタン等で構成される入力部３０と、画像や各種データを表示する液晶パネル等で構成される表示部４０と、マイクロコンピュータ１０の演算処理のワークエリア等として機能するＲＡＭ５０と、フラッシュメモリ等を備えるメモリカードなどを記憶媒体として画像データを記録する記憶部６０と、外部のパーソナルコンピュータ等と画像データや各種プログラム等の授受を行うインターフェイス（Ｉ／Ｆ）７０と、前記各部を接続するバス８０とから構成されている。
【００６４】
特に限定されないが、マイクロコンピュータ１０は以降に説明する各種画像処理を行うための画像処理プログラムやテーブルあるいは関数等のデータを不揮発性のメモリ部に格納している。なお、これらのプログラムやデータは、マイクロコンピュータ１０の外部に設ける記憶装置に格納するようにしてもよい。
【００６５】
また、上記プログラムやデータは、インターフェイス７０を介して随時最新の内容に更新できるように、上記メモリ部や記憶装置は書き換え可能に構成することが望ましい。
【００６６】
画像入力部２０は、特には限定されないが、光学系を介して入射する光学的な画像を電気的なデジタル画像データに変換する撮像素子（ＣＣＤ撮像素子やＣ−ＭＯＳ撮像素子等）等を備えている。
【００６７】
そして、画像入力部２０から入力されるデジタル画像データは、マイクロコンピュータ１０の制御により各種画像処理を施したり、記憶部６０に格納されたり、あるいは表示部４０に表示されて画像の確認や閲覧を行ったりする。
【００６８】
ところで、本発明の課題に関わる事例であるが、図３の（Ａ）の（ア）および（Ｂ）の（ア）に示すように、画像中に被写体Ｈ１，Ｈ２以外の非被写体ＮＧ１，ＮＧ２が写り込む場合がある。
【００６９】
ここで、被写体Ｈ１，Ｈ２とは、撮影者が本来撮ろうとする撮影対象をいい、非被写体ＮＧ１，ＮＧ２とは撮影者が意図しない撮影物をいうものとする。
【００７０】
非被写体ＮＧ１，ＮＧ２は、特には限定されず、撮影状況によって種々のものが想定される。
【００７１】
図３に示す例では、例えば樹木等を被写体Ｈ１として撮影した場合に、画像入力部２０の光学系を構成するレンズに撮影者の指が掛かり、その指が意図しない非被写体ＮＧ１として画像データＤ１に取り込まれてしまった場合（（Ａ）の（ア））や、樹木等を被写体Ｈ２として撮影した場合に、画像入力部２０の光学系を構成するレンズにカメラに取り付けたハンドストラップの一部などが掛かり、意図しない非被写体ＮＧ２として画像データＤ３に取り込まれてしまった場合（（Ｂ）の（ア））を示している。
【００７２】
従来においては、これらの画像データＤ１，Ｄ３は、所謂失敗写真として、撮影者等が表示部４０で確認した場合に手動で削除したり、あるいはパーソナルコンピュータ等に取り込んだ後の画像整理で削除される場合が多かった。
【００７３】
しかし、撮影した画像データが大量にある場合などには、上記のような所謂失敗写真を一々目視で探して削除するのは大変な作業であった。
【００７４】
一方で、非被写体によって被写体の大部分が隠れてしまうような極端な場合は別として、図３の（Ａ）の（ア）および（Ｂ）の（ア）に示すように、本来撮影したかった被写体Ｈ１，Ｈ２は良く撮れており、画像の周辺部に非被写体ＮＧ１，ＮＧ２が写り込んでいるような場合には、非被写体ＮＧ１，ＮＧ２が写り込んだ領域（エリアＥ１，Ｅ３）を加工して、被写体Ｈ１，Ｈ２が写っている領域の画像は保存したい場合がある。
【００７５】
このような場合には、パーソナルコンピュータ等の操作に習熟した者は、既存の画像処理ソフトウェア（例えば、画像レタッチソフト等）を用いて非被写体ＮＧ１，ＮＧ２が写り込んだ領域（エリアＥ１，Ｅ３）を加工することを行っている。しかしながら、このような作業を行うには作業の習熟と時間を要し、銀塩カメラと同等の手軽さでデジタル画像データを扱いたいと思う一般的な撮影者にとっては面倒で手間のかかる作業であった。
【００７６】
そこで、本発明に係る実施の形態では、次に述べるように、非被写体の認識と削除を自動あるいは半自動で行うようにしている。
【００７７】
図２と図３を参照して、本実施の形態に係るデジタルカメラＤＣで実行される画像加工処理の第１の実施例の処理手順について説明する。
【００７８】
本実施例に係る画像加工処理は、非被写体の識別処理（サブルーチンＳＳ１）と、非被写体の削除処理（サブルーチンＳＳ１）とを有している。各サブルーチンの具体的処理手順については後述する。
【００７９】
図３に基づいて、画像加工処理の手順を簡単に説明する。
【００８０】
図３（Ａ）では、デジタル画像（画像データ）Ｄ１について、非被写体の識別処理により非被写体ＮＧ１を含む領域Ｅ１を識別する。次いで、非被写体の削除処理により領域Ｅ１を削除し、被写体Ｈ１を含む領域Ｅ２の画像データＤ２を保存する。
【００８１】
また、図３（Ｂ）では、デジタル画像（画像データ）Ｄ３について、非被写体の識別処理により非被写体ＮＧ２を含む領域Ｅ３を識別する。次いで、非被写体の削除処理により領域Ｅ３を削除し、被写体Ｈ２を含む領域Ｅ５の画像データＤ４を保存する。この際に、非被写体ＮＧ２および被写体Ｈ２を含まない領域Ｅ４については保存せずに放棄する。
【００８２】
また、複数の領域が残った場合は、一番面積の大きな領域を残して保存するようにしてもよいし、あるいはデジタルカメラＤＣの使用者等が所定の領域を選択して保存の要否を決定するようにしてもよい。
【００８３】
これにより、撮影画像から非被写体の画像を識別して、非被写体の画像を削除するなどの加工を的確かつ容易に行うことができる。
【００８４】
次に、図４のフローチャートを参照して、非被写体の識別処理（サブルーチンＳＳ１）の実施例についてその処理手順を説明する。
【００８５】
非被写体の識別処理が開始されると、まずステップＳ１０で均一色領域分割が行われる。この均一色領域分割は、処理対象としてのデジタル画像について、似たような色で領域を分割する処理であり、公知の領域統合法などを適用して実現することができる。
【００８６】
次いで、ステップＳ１１では、画像の縁部への接触判定が行われる。この画像の縁部への接触判定は、ステップＳ１０で分割した各領域が、画像の縁部に接しているか否かを判定する処理である。
【００８７】
そして、判定結果が「Ｎｏ」である場合には処理を終了し、判定結果が「Ｙｅｓ」、即ち、画像の縁部に接していると判定された場合には、ステップＳ１２に移行して当該領域を非被写体の候補(例えば、指やストラップなど)に指定した後、ステップＳ１３に進む。
【００８８】
なお、画像の縁部に接していない場合であっても、均一色の色が白の場合は、非被写体(フラッシュ光が写り込んだ場合など)の候補とすることも考えられる。
【００８９】
ステップＳ１３では、領域の縁部の凹凸度（円形度）を算出する。凹凸度の算出には、公知の円形度や孔の数の算出方法を適用することができる。
【００９０】
ここで、円形度は、完全な円の場合に円形度が最大の１となる。そして、デジタル画像上において複雑で、でこぼこしている形ほど円形度は小さくなる傾向にあることが知られている。
【００９１】
また、図５に示すように、非被写体（例えば、撮影者の指や、他人の頭など）が写り込んだ領域の円形度は比較的高く、孔の数は比較的少ない傾向となることが分かっている。
【００９２】
反対に、画像の縁部に接しているが非被写体でないもの（例えば、建物など）が写り込んだ領域の円形度は低く、孔の数は多い傾向となることが分かっている。
【００９３】
従って、例えば図６に示すように、円形度が所定の閾値（ＴＨＤ１）を超え、孔の数が所定の閾値（ＴＨＤ２）未満の領域Ｅには非被写体が含まれる確率が高いと判断することができる。
【００９４】
次に、図４のステップＳ１４において領域のボケ具合が算出される。
【００９５】
具体的には、例えば非被写体の候補になっている均一色領域の縁部と同じ場所のオリジナル画像のボケ具合を算出する。
【００９６】
そして、画像の縁部に接していない領域について、図７に示すように、画像の縁部に接する領域Ｅ２０をエッジ領域とし、このエッジ領域(領域の縁部から所定の距離Ｎ以下の内側および外側の領域)のエッジ量を算出する。
【００９７】
ここで、エッジ量は、画素単位で画像の輝度変化量ということもでき、公知のエッジ算出手法(例えば、ラプラシアンや平均値との差分など)を適用することができる。
【００９８】
次いで、ステップＳ１５に移行して、ステップＳ１３の凹凸度とボケ具合の算出結果に基づいて、画像の縁部に接している領域の画像が非被写体に該当するか否かの判定を行う。
【００９９】
ここで、凹凸度と非被写体の関係は上述の通りである。
【０１００】
一方、ボケ具合（エッジ量）と非被写体の関係は、図５の下段に示すように、非被写体の縁分はボケる傾向にあり、エッジ量も低い方に分布することが分かっている。
【０１０１】
また、画像の縁部に接しているが非被写体でないもの（建物等）が写っている領域では、エッジ量は高い方にも分布する傾向があることが分かっている。
【０１０２】
このような非被写体と各種特性との関係をデータベース化あるいはテーブル化し、それらの情報に基づいて非被写体であるか否かを判定する。
【０１０３】
判定結果が「Ｎｏ」である場合には処理を終了し、「Ｙｅｓ」である場合には前出の図２のステップＳＳ２に戻る。
【０１０４】
そして、マイクロコンピュータ１０の制御により、判定された非被写体を含む領域を自動的に削除したり、あるいは表示部４０を介して使用者等に非被写体を含む領域が含まれることを報知して、使用者等が非被写体を含む領域の処理方法を選択するようにできる。
【０１０５】
次に、図８〜図１１を参照して画像加工処理の第２の実施例について説明する。
【０１０６】
画像加工処理の第２の実施例では、図８に示すように、図２に示した画像加工処理の第１の実施例のステップＳＳ２の非被写体の削除処理に代えて、非被写体の画素補完処理のサブルーチン（ステップＳＳ３）を実行するようになっている。
【０１０７】
画素補完処理の概略手順は図９のフローチャートに示すように、画素補完方向を決定し（ステップＳ２０）、非被写体に該当する領域について画素補完を実施する（ステップＳ２１）ことにより行われる。
【０１０８】
次に、図１０と図１１を参照して、画素補完処理における補完方向の決定の仕方の具体例について説明する。
【０１０９】
この処理が開始されると、まずステップＳ３０で、図１１に示すような画像データ（デジタル画像）について非被写体（図１１に示す例ではハンドストラップの一部が非被写体ＮＧ３として写り込んでいるものとする）が存在する水平方向の１ラインにおける非被写体ＮＧ３の外側の画素値Ｈ１，Ｈ２を算出する（図１１参照）。
【０１１０】
なお、画素値Ｈ１とＨ２は、均一色した値でもよいし、オリジナルの値であってもよい。また、外側の１画素の値でもよいし、外側の複数の画素の平均値などであってもよい。
【０１１１】
次いで、ステップＳ３１で画素値Ｈ１，Ｈ２の差分Ｈｄを算出する。なお、水平方向の画素値Ｈ１とＨ２の差分Ｈｄは、Ｈ１とＨ２のＲＧＢや輝度の階調差でもよいし、Ｈ１とＨ２のユークリッド距離などであってもよい。
【０１１２】
次に、ステップＳ３２に移行して、非被写体ＮＧ３が存在する水平方向の全ラインにおいて画素値Ｈ１とＨ２の差分Ｈｄを算出し、複数のＨｄを利用して代表値Ｈｒｅｐを算出してからステップＳ３３に移行する。なお、代表値Ｈｒｅｐは、Ｈｄの平均値でもよいし、最小値あるいは最大値などであってもよい。また、非被写体ＮＧ３の中心部分周辺のみのＨｄを利用するようにしてもよい。
【０１１３】
ステップＳ３３では、非被写体ＮＧ３が存在する垂直方向の１ラインにおける非被写体ＮＧ３の外側の画素値Ｖ１，Ｖ２を算出する（図１１参照）。
【０１１４】
次いで、ステップＳ３４で画素値Ｖ１とＶ２の差分Ｖｄを算出してステップＳ３５に移行する。
【０１１５】
ステップＳ３５では、非被写体ＮＧ３が存在する垂直方向の全ラインにおいて画素値Ｖ１とＶ２の差分Ｖｄを算出し、複数のＶｄを利用して代表値Ｖｒｅｐを算出してからステップＳ３６に移行する。
【０１１６】
なお、画像の縁の部分は、予め非被写体ＮＧ３の両側の画素値で置き換えてから上記の計算を行う。
【０１１７】
次にステップS３６で、Ｈｒｅｐ≦Ｖｒｅｐであるか否かが判定され、判定結果が「Ｙｅｓ」の場合にはステップＳ３７に移行して、Ｈｒｅｐ≦Ｈｔｈｄ（所定の閾値）であるか否かが判定される。
【０１１８】
そして、判定結果が「Ｙｅｓ」の場合にはステップＳ３８に移行して画素補完方向を水平方向に決定して処理を終了する。
【０１１９】
また、判定結果が「Ｎｏ」の場合にはステップＳ３９に移行し、画素補完を行わないことを決定して処理を終了する。
【０１２０】
一方、ステップＳ３６で「Ｎｏ」と判定された場合にはステップＳ４０に移行して、Ｖｒｅｐ≦Ｖｔｈｄ（所定の閾値）であるか否かが判定される。
【０１２１】
そして、判定結果が「Ｙｅｓ」の場合にはステップＳ４１に移行して画素補完方向を垂直方向に決定して処理を終了する。
【０１２２】
また、判定結果が「Ｎｏ」の場合にはステップＳ４２に移行し、画素補完を行わないことを決定して処理を終了する。
【０１２３】
なお、ＨｒｅｐおよびＶｒｅｐが共にあまりにも大きい場合（閾値ＨｔｈｄおよびＶｔｈｄ以上である場合）には、補完を中止したり、あるいは表示部４０への所定メッセージ等の表示によりユーザ等に状態を報知するようにしてもよい。
【０１２４】
次に、図１２を参照して本発明の他の実施の形態について説明する。
【０１２５】
図１２（Ａ）に示す例では、非被写体の候補になっている均一色領域の縁の凹凸度を算出する。この凹凸度の算出には、上述のように公知の円形度や孔の数を利用することができる。そして、凹凸度を数値として算出し、前出の図５の表に準じた凹凸度の関数（即ち、円形度、孔数を引数とした凹凸度の関数）を設定し、当該関数に基づいて凹凸度を数値として算出することにより非被写体を識別する。
【０１２６】
また、図１２（Ｂ）に示す例では、数値化した凹凸度とエッジ量の分散を用いて、非被写体らしいかどうかを数値化し、それを閾値処理して非被写体を識別する。
【０１２７】
ここで、図５の表において、エッジ量の分布で判定しているところは、エッジ量の分散で言い換えることができる。
【０１２８】
エッジ量の分散が小さければ、分布が集中しているおり、非被写体である確率が高いといえる。逆に、分散が大きければ、分布がばらついており、非被写体ではない確率が高いといえる。
【０１２９】
また、図５の表に準じた非被写体らしさの関数を用意して、非被写体らしさを数値として算出するようにしてもよい。
【０１３０】
そして、数値化した「非被写体らしさ」が、所定の閾値以上であれば非被写体と判定するようにできる。
【０１３１】
以上本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本明細書で開示された実施の形態はすべての点で例示であって開示された技術に限定されるものではないと考えるべきである。すなわち、本発明の技術的な範囲は、前記の実施の形態における説明に基づいて制限的に解釈されるものでなく、あくまでも特許請求の範囲の記載に従って解釈すべきであり、特許請求の範囲の記載技術と均等な技術および特許請求の範囲内でのすべての変更が含まれる。
【０１３２】
また、プログラムを用いる場合には、ネットワークを介して提供し、或いはＣＤ−ＲＯＭ等の記録媒体に格納して提供することが可能である。
【産業上の利用可能性】
【０１３３】
本発明による画像処理装置、画像処理システム、画像処理プログラムは、デジタルカメラ、デジタルカメラを搭載した携帯通信端末等に適用することができる。
【図面の簡単な説明】
【０１３４】
【図１】実施の形態に係る画像処理装置の概略構成を示すブロック図である。
【図２】本実施の形態に係る画像処理装置で実行される画像加工処理の第１の実施例の処理手順を示すフローチャートである。
【図３】画像加工処理による画像加工の例を示す説明図である。
【図４】非被写体の識別処理（サブルーチンＳＳ１）の処理手順を示すフローチャートである。
【図５】各特徴量の特性を示す説明図である。
【図６】孔の数と円形度の関係を示す表である。
【図７】エッジ領域と非被写体の縁部を示す説明図である。
【図８】本実施の形態に係る画像処理装置で実行される画像加工処理の第２の実施例の処理手順を示すフローチャートである。
【図９】画素補完処理の概略処理手順を示すフローチャートである。
【図１０】画素補完処理の具体的な処理手順を示すフローチャートである。
【図１１】画素補完の仕方を示す説明図
【図１２】他の実施の形態を示す説明図である。
【符号の説明】
【０１３５】
ＤＣ  デジタルカメラ（画像処理装置）
１０  マイクロコンピュータ
２０  画像入力部
３０  入力部
４０  表示部
６０  記憶部
７０  インターフェイス
８０  バス
Ｄ１〜Ｄ４  画像データ
Ｅ（Ｅ１〜Ｅ５）  領域
Ｆ  縁部
ＮＧ１〜ＮＧ３  非被写体
【図１】
0005077809.tif 000002
【図２】
0005077809.tif 000003
【図３】
0005077809.tif 000004
【図４】
0005077809.tif 000005
【図５】
0005077809.tif 000006
【図６】
0005077809.tif 000007
【図７】
0005077809.tif 000008
【図８】
0005077809.tif 000009
【図９】
0005077809.tif 000010
【図１０】
0005077809.tif 000011
【図１１】
0005077809.tif 000012
【図１２】
0005077809.tif 000013