(57)【要約】      （修正有）【課題】所望の純色の領域を画像から比較的簡易に抽出する。【解決手段】マスク抽出プログラムは、色差平面の動径方向および角方向を規定する条件を用いて、純色が属する高彩度領域をカラー画像から抽出し、前記カラー画像の前記高彩度領域と他の領域とを２値化して２値化画像を生成する。前記２値化画像での前記高彩度領域のまとまりを求めるラベリング処理と、前記高彩度領域のまとまり度合いを示す評価値を求め、前記評価値を用いて前記カラー画像から被写体を抽出する。【選択図】図１
2013161286.tif 000002
【特許請求の範囲】
【請求項１】
色差平面の動径方向および角方向を規定する条件を用いて、純色が属する高彩度領域をカラー画像から抽出する処理をコンピュータに実行させるマスク抽出プログラム。
【請求項２】
請求項１に記載のマスク抽出プログラムにおいて、
前記高彩度領域として、前記色差平面での動径が閾値よりも大きくなる領域を抽出するマスク抽出プログラム。
【請求項３】
請求項１または請求項２に記載のマスク抽出プログラムにおいて、
前記カラー画像の前記高彩度領域と他の領域とを２値化して２値化画像を生成する２値化処理と、
前記２値化画像での前記高彩度領域のまとまりを求めるラベリング処理と、
前記高彩度領域のまとまり度合いを示す評価値を求め、前記評価値を用いて前記カラー画像から被写体を抽出する被写体抽出処理と、
をさらにコンピュータに実行させるマスク抽出プログラム。
【請求項４】
処理対象のカラー画像を取得する取得部と、
色差平面の動径方向および角方向を規定する条件を用いて、純色を含む高彩度領域をカラー画像から抽出する色抽出処理部と、
を備える画像処理装置。
【請求項５】
請求項４に記載の画像処理装置と、
前記カラー画像を撮像する撮像部と、
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マスク抽出プログラム、画像処理装置および撮像装置に関する。
【背景技術】
【０００２】
例えば、隣接する分割領域間での輝度や色差の大きさに応じて画像内の被写体領域をラベリングし、処理対象の画像から主要被写体を抽出する技術が従来から知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２２６６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の技術では、例えば、所望の純色の領域を画像から抽出することは非常に煩雑である。
【課題を解決するための手段】
【０００５】
本発明の一態様であるマスク抽出プログラムは、色差平面の動径方向および角方向を規定する条件を用いて、純色が属する高彩度領域をカラー画像から抽出する処理をコンピュータに実行させる。
【発明の効果】
【０００６】
本発明の一態様によれば、所望の純色の領域を画像から比較的簡易に抽出できる。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態の撮像装置の構成例を示す図
【図２】第１実施形態での撮像装置のＡＦ動作例を示す流れ図
【図３】ＣｂＣｒ色差平面での領域分割の例を示す図
【図４】処理対象の画像の例を示す図
【図５】（Ａ）〜（Ｇ）：図４の画像から生成された２値化画像の例を示す図
【図６】第２実施形態での画像処理装置の構成例を示す図
【発明を実施するための形態】
【０００８】
＜第１実施形態の説明＞
図１は、本発明の画像処理装置の一例である第１実施形態の撮像装置（電子カメラ１１）の構成例を示す図である。ここで、第１実施形態の撮像装置は、画像解析により主要被写体の領域を抽出し、この主要被写体にピントを合わせるＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ／自動焦点調整）制御を実行する。
【０００９】
電子カメラ１１は、撮影光学系１２と、撮像部１３と、画像処理エンジン１４と、第１メモリ１５と、第２メモリ１６と、記録Ｉ／Ｆ１７と、表示部１８と、操作部１９とを備えている。ここで、撮像部１３、第１メモリ１５、第２メモリ１６、記録Ｉ／Ｆ１７、表示部１８および操作部１９は、それぞれ画像処理エンジン１４と接続されている。なお、操作部１９は、ユーザの操作（例えば被写体の撮影指示など）を受け付けるスイッチである。
【００１０】
撮影光学系１２は、ＡＦのためのフォーカシングレンズを含む複数のレンズで構成される。図１では、簡単のため撮影光学系１２を１枚のレンズで表す。
【００１１】
撮像部１３は、撮影光学系１２によって結像された被写体の像を撮像（撮影）するモジュールである。例えば、撮像部１３は、光電変換を行う撮像素子と、撮像素子の出力にアナログ信号処理やＡ／Ｄ変換処理などを施す信号処理回路とを含んでいる。ここで、撮像素子の画素には、例えば公知のベイヤ配列に従ってＲＧＢのカラーフィルタが配置されており、カラーフィルタでの色分解によって各色に対応する画像信号を出力する。これにより、撮像素子は、撮影時にカラーの画像を取得できる。
【００１２】
また、電子カメラ１１の撮影モードにおいて、撮像部１３は、ユーザの撮影指示に応じて、不揮発性の記録媒体への記録を伴う記録用の静止画像を撮影する。また、撮像部１３は、静止画像の撮影待機時にも所定間隔ごとに観測用の画像（スルー画像）を撮影する。なお、撮像部１３で撮影された画像のデータは、画像処理エンジン１４に入力される。
【００１３】
画像処理エンジン１４は、電子カメラ１１の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン１４は、撮影モードにおいて、スルー画像を用いたＡＦ制御などを行う。また、画像処理エンジン１４は、ユーザの撮影指示に応じて、撮像部１３に記録用の静止画像を撮影させる。また、画像処理エンジン１４は、画像のデータに対して、色補間、ホワイトバランス補正、階調変換、色空間変換などの画像処理を施す。さらに、画像処理エンジン１４は、マスク抽出プログラムの実行により、色抽出処理部２１、２値化処理部２２、ラベリング処理部２３、被写体抽出処理部２４として機能する（色抽出処理部２１、２値化処理部２２、ラベリング処理部２３、被写体抽出処理部２４の動作については後述する）。
【００１４】
第１メモリ１５は、各画像のデータを一時的に記憶するメモリであって、例えば揮発性の記憶媒体であるＳＤＲＡＭで構成される。また、第２メモリ１６は、画像処理エンジン１４で実行するマスク抽出プログラムや、このプログラムで使用される各種データを記憶するメモリであって、例えばフラッシュメモリ等の不揮発性メモリで構成される。
【００１５】
記録Ｉ／Ｆ１７は、不揮発性の記憶媒体２０を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体２０に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２０は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図１では記憶媒体２０の一例としてメモリカードを図示する。
【００１６】
表示部１８は、各種画像を表示する表示装置であって、例えば、スルー画像の動画表示（ビューファインダ表示）や、画像の再生表示などを行う。
【００１７】
次に、図２の流れ図を参照しつつ、第１実施形態での撮像装置のＡＦ動作例を説明する。なお、図２の処理は、例えば、撮影モードの起動時に画像処理エンジン１４がプログラムを実行することで開始される。
【００１８】
ステップ＃１０１：画像処理エンジン１４は、撮像部１３を駆動させてスルー画像の撮像を開始する。これにより、画像処理エンジン１４は、処理対象のカラー画像であるスルー画像を撮像部１３から取得する。
【００１９】
ステップ＃１０２：画像処理エンジン１４は、スルー画像に色空間変換を施してＲＧＢの画像データからＹＣｂＣｒの画像データに変換する。
【００２０】
ステップ＃１０３：色抽出処理部２１は、色空間変換後の画像のＣｂ，Ｃｒ値を用いて、画像から所定の色領域（純色が属する高彩度領域）を抽出する。
【００２１】
第１実施形態での色抽出処理部２１は、ＣｂＣｒの色差平面中心（Ｃｂ，Ｃｒ＝０）を基準として、上記の色差平面を回転方向に６つの象限に分割する。第１実施形態の例では、Ｃｂ＝０、Ｃｒ＜０から右周りにみて、黄色の属する第１象限、赤色の属する第２象限、紫色の属する第３象限、青色の属する第４象限、水色の属する第５象限、緑色の属する第６象限と定義する（図３参照）。そして、２値化処理部２２は、上記の６つの象限で動径が閾値よりも大きくなる領域（各象限で純色が属する高彩度領域）をそれぞれ抽出する。
【００２２】
また、参考例として、第１実施形態では、色差平面において動径が閾値以下となる領域（無彩色が属する低彩度領域）も併せて抽出する。図３において、上記の低彩度領域はハッチングで示す。
【００２３】
一例として、第１象限の高彩度領域に対応する色領域を抽出する場合を説明する。まず、色抽出処理部２１は、処理対象の画像の各位置に設定された標本点でのＣｂ，Ｃｒ値を参照し、各標本点の色が第１象限の高彩度領域に属するか否かをそれぞれ判定する。この判定では、ＣｂＣｒ色差平面での標本点の色の座標が、第１象限の偏角の範囲内でかつ動径方向の閾値よりも外側にあるか否かを判定すればよい。そのため、色抽出処理部２１は、偏角の境界線で色差平面を区画する２つの条件式と、閾値を半径とする円に相当する範囲で色差平面を区画する条件式との論理積（すなわち、図３において３つの太実線で区画された範囲）を求めればよい。
【００２４】
＃１０３での色抽出処理部２１は、他の象限についても上記と同様の処理を繰り返し、各象限に対応する色領域をそれぞれ抽出する。なお、各象限での動径方向の閾値はそれぞれ異なる値であってもよい。
【００２５】
ステップ＃１０４：２値化処理部２２は、＃１０３で抽出した色領域を白画素とし、その他の領域を黒画素とした２値化画像（マスク画像）を生成する。＃１０４において、２値化処理部２２は、各象限の高彩度領域にそれぞれ対応する６種類の２値化画像と、低彩度領域に対応する２値化画像とをそれぞれ生成する。
【００２６】
ここで、２値化画像の画像サイズは標本点の数に応じて変化する。例えば、処理対象の画像の全画素を標本点にすれば、処理対象の画像と２値化画像とで画像サイズは等しくなる。なお、＃１０４での２値化処理部２２は、上記の２値化画像にメディアンフィルタによるノイズ除去処理を施してもよい。
【００２７】
ここで、図４に処理対象の画像の例を示し、図５は、図４の画像から生成された２値化画像の例を示す。なお、図５（Ａ）〜（Ｆ）は、第１象限から第６象限の高彩度領域に対応する２値化画像であり、図５（Ｇ）は、参考例の低彩度領域に対応する２値化画像である。
【００２８】
ステップ＃１０５：ラベリング処理部２３は、２値化画像に対して、領域のまとまりを求めるラベリング処理をそれぞれ行う。例えば、ラベリング処理部２３は、２値化画像内の白画素のまとまりと黒画素のまとまりをそれぞれラベリング領域として抽出する。そして、ラベリング処理部２３は、白画素で構成されるラベリング領域を島として検出する。
【００２９】
ステップ＃１０６：被写体抽出処理部２４は、２値化画像での白画素の領域のまとまり度合いを示す評価値を求める。例えば、＃１０６での被写体抽出処理部２４は、各象限の高彩度領域に対応する２値化画像を対象として、（ａ）〜（ｄ）の処理をそれぞれ実行すればよい。
【００３０】
（ａ）被写体抽出処理部２４は、注目する２値化画像に含まれる各島の面積（画素数）をそれぞれ算出する。そして、被写体抽出処理部２４は、注目する２値化画像に含まれる島のうち、一定以上の大きさの島（例えば、２値化画像全体の面積に対する面積比が６０％以上の島）と、一定以下の大きさの島（例えば、２値化画像全体の面積に対する面積比が１％以下の島）とを除外する。
【００３１】
（ｂ）被写体抽出処理部２４は、上記（ａ）の処理で残った島を対象として、白画素の重心を中心とした慣性モーメント（白画素の重心周りの慣性モーメント）を公知の手法で求める。例えば、被写体抽出処理部２４は、白画素の重心からの画素距離の２乗×０または１の濃度値の和により、上記の慣性モーメントを算出すればよい。
【００３２】
（ｃ）被写体抽出処理部２４は、上記（ａ）の処理で残った島を対象として、被写体位置を特定するための評価値を式（１）により算出する。なお、式（１）で算出される評価値は、島の面積が大きく、かつ白画素の重心周りの慣性モーメントが小さいほど大きな値となる。
評価値＝島を構成する画素数／白画素の重心周りの慣性モーメント  ……（１）
（ｄ）被写体抽出処理部２４は、上記（ｃ）の評価値が最も大きくなる島を、注目する２値化画像での代表島として特定する。一例として、＃１０６の処理では、図５（Ｃ）の２値化画像において、画面中央近傍に位置する島（図４の画面中央近傍の花に対応する島）が代表島となる。
【００３３】
ステップ＃１０７：被写体抽出処理部２４は、各象限の高彩度領域に対応する２値化画像の間で代表島の評価値を比較する。そして、被写体抽出処理部２４は、代表島の評価値が最も大きい２値化画像を選択し、選択された２値化画像での代表島の重心位置を主要被写体の位置とする。これにより、処理対象の画像での主要被写体の位置が抽出される。
【００３４】
一例として、＃１０７の処理では、図５（Ａ）〜図５（Ｆ）を比較した場合、図５（Ｃ）の代表島が、島の面積が最も大きくかつ白画素の重心周りの慣性モーメントが小さいことから評価値が最も大きくなる。そのため、上記の場合、図５（Ｃ）の代表島に対応する被写体（花）が主要被写体として抽出される。
【００３５】
ステップ＃１０８：画像処理エンジン１４は、＃１０７で抽出された主要被写体の位置を基準としてＡＦ制御を実行する。なお、画像処理エンジン１４は、ピントを合わせた主要被写体の位置表示（主要被写体を囲む矩形枠など）を表示部１８にオーバーレイ表示してもよい（表示部１８での表示例の図示は省略する）。以上で、図２の動作例の説明を終了する。
【００３６】
以下、第１実施形態での作用効果を述べる。第１実施形態の撮像装置は、色差平面の各象限において、動径が閾値よりも大きくなる高彩度領域に対応する色領域をカラー画像から抽出する（＃１０３）。第１実施形態では、色差平面の動径方向と偏角を規定することで、カラー画像のうちから所望の純色が属する領域を簡易かつ精度良く抽出できる。なお、上記＃１０３の処理に基づいて、例えば、図５（Ｃ）（純色の赤色の領域）では花の領域を効果的に抽出できていることが分かる。
【００３７】
また、第１実施形態では、偏角の境界線で領域を分割する２つの条件式と、上記の閾値を半径とする円で領域を分割する条件式との論理積で色領域の判定を行うことができる。そのため、所望の色領域を抽出するときの演算負荷を非常に小さくできる。
【００３８】
そして、第１実施形態での撮像装置は、高彩度領域に対応する白画素をラベリングし、この白画素のまとまり度合いを示す評価値を用いて、主要被写体の位置を抽出する（＃１０４〜＃１０７）。
【００３９】
一般的な傾向として、電子カメラでユーザが撮影しようとする主要被写体は、例えば人間の衣服、花などのように、純色に近い有彩色のものが多い。そのため、第１実施形態では、ユーザの意図する主要被写体を効果的に抽出できる。
【００４０】
なお、第１実施形態では、処理対象の画像の色情報のみに基づいて主要被写体を抽出できるので、汎用性の高い被写体抽出処理を実現できる。
【００４１】
＜第２実施形態の説明＞
図６は、第２実施形態での画像処理装置の構成例を示す図である。第２実施形態での画像処理装置は、入力画像に対して被写体抽出処理を施すプログラムがインストールされたパーソナルコンピュータである。
【００４２】
図６に示すコンピュータ３１は、データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６、バス３７を有している。データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６は、バス３７を介して相互に接続されている。さらに、コンピュータ３１には、入出力Ｉ／Ｆ３６を介して、入力デバイス３８（キーボード、ポインティングデバイスなど）とモニタ３９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３６は、入力デバイス３８からの各種入力を受け付けるとともに、モニタ３９に対して表示用のデータを出力する。
【００４３】
データ読込部３２は、画像のデータや、プログラムを外部から読み込むときに用いられる。データ読込部３２は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。
【００４４】
記憶装置３３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体である。この記憶装置３３には、上記の画像処理プログラムや、プログラムの実行に必要となる各種データが記憶されている。なお、記憶装置３３には、データ読込部３２から読み込んだ画像のデータなどを記憶しておくこともできる。
【００４５】
ＣＰＵ３４は、コンピュータ３１の各部を統括的に制御するプロセッサである。このＣＰＵ３４は、プログラムの実行によって、第１実施形態の色抽出処理部２１、２値化処理部２２、ラベリング処理部２３、被写体抽出処理部２４として機能する。
【００４６】
メモリ３５は、プログラムでの各種演算結果を一時的に記憶する。このメモリ３５は、例えば揮発性のＳＤＲＡＭである。
【００４７】
ここで、第２実施形態での画像処理装置では、ＣＰＵ３４が、データ読込部３２または記憶装置３３から処理対象のカラー画像を取得する。ＣＰＵ３４は、必要に応じて色空間変換処理を実行した後に、第１実施形態の＃１０３〜＃１０７とほぼ同様の処理で主要被写体の抽出を行う。
【００４８】
そして、ＣＰＵ３４は、主要被写体の抽出結果を用いて、処理対象の画像に各種の画像処理（例えば主要被写体領域のトリミングや、背景領域に対する平滑化処理など）を施してもよい。あるいは、ＣＰＵ３４は、撮影時のＡＦエリアの位置と抽出した主要被写体の位置とを比較して、処理対象の画像のピント評価を行ってもよい。
【００４９】
かかる第２実施形態においても、第１実施形態とほぼ同様の効果を得ることができる。
【００５０】
＜実施形態の補足事項＞
（補足１）：上記実施形態では、動径が閾値よりも大きくなる高彩度領域に注目して、主要被写体を抽出する例を説明した。しかし、本発明では、動径が閾値よりも小さくなる低彩度領域の２値化画像（図５（Ｇ））を被写体抽出処理に用いてもよい。例えば、低彩度領域の２値化画像は、無彩色を含む低彩度の領域を判定対象から除外するときや、主要被写体の抽出処理で重み付けを低くするときに使用できる。
【００５１】
（補足２）：上記実施形態では、画像のＹＣｂＣｒデータを用いて被写体抽出を行う例を説明した。しかし、本発明はＹＣｂＣｒデータに限定されず、他の色空間（Ｌ＊ａ＊ｂ＊など）のデータでの処理にも応用できる。
【００５２】
（補足３）：上記実施形態では色差平面を６つの象限に分割する例を説明したが、本発明において色差平面の分割数は適宜変更してもよい。また、撮影するシーンに応じて、任意の高彩度領域での白画素の評価値を重み付けしてもよい。
【００５３】
（補足４）：上記実施形態では、画像処理装置の各機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明では、色抽出処理部２１、２値化処理部２２、ラベリング処理部２３、被写体抽出処理部２４の各機能を、例えばＡＳＩＣでハードウエア的に実現しても勿論かまわない。
【００５４】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００５５】
１１…電子カメラ、１２…撮影光学系、１３…撮像部、１４…画像処理エンジン、１５…第１メモリ、１６…第２メモリ、１７…記録Ｉ／Ｆ、１８…表示部、１９…操作部、２０…記憶媒体、２１…色抽出処理部、２２…２値化処理部、２３…ラベリング処理部、２４…被写体抽出処理部、３１…コンピュータ、３２…データ読込部、３３…記憶装置、３４…ＣＰＵ、３５…メモリ、３６…入出力Ｉ／Ｆ、３７…バス、３８…入力デバイス、３９…モニタ
【図１】
2013161286.tif 000003
【図２】
2013161286.tif 000004
【図３】
2013161286.tif 000005
【図６】
2013161286.tif 000006
【図４】
2013161286.tif 000007
【図５】
2013161286.tif 000008