(57)【要約】【課題】抽出したい被写体領域を細分化しつつ出来るだけ領域数が少なくなるように画像の分割を行う。【解決手段】画像を記憶する記憶部と、前記画像から被写体の情報を抽出する抽出部と、前記抽出部により抽出された前記被写体の情報に基づいて分割パラメータを決定するパラメータ決定部と、前記画像について前記分割パラメータを用いて分割処理を行う画像処理部と、前記画像処理部による分割処理情報を出力する出力部とを備える。【選択図】図１
2018206437.tif 000002
【特許請求の範囲】
【請求項１】
画像を記憶する記憶部と、
前記画像から被写体の情報を抽出する抽出部と、
前記抽出部により抽出された前記被写体の情報に基づいて分割パラメータを決定するパラメータ決定部と、
前記画像について前記分割パラメータを用いて分割処理を行う画像処理部と、
前記画像処理部による分割処理情報を出力する出力部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記被写体の情報は、主要被写体の顔の大きさの情報であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記被写体の情報は、動体物領域の大きさの情報であることを特徴とする請求項１記載の画像処理装置。
【請求項４】
画像を記憶する記憶部を備えた画像処理装置を、
前記画像から被写体の情報を抽出するステップ、
前記被写体の情報に基づいて分割パラメータを決定するステップ、
前記画像について前記分割パラメータを用いて分割処理を行うステップ、
前記分割パラメータを用いて行われた分割処理情報を出力するステップ、
として機能させるための画像処理プログラム。
【請求項５】
前記被写体の情報は、主要被写体の顔の大きさの情報であることを特徴とする請求項４記載の画像処理プログラム。
【請求項６】
前記被写体の情報は、動体物領域の大きさの情報であることを特徴とする請求項４記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、撮像画像を複数の小領域に分割し、画素の画像信号の標準偏差および平均値を小領域毎に算出し、ホワイトバランスを調整する撮像装置が存在する（例えば、特許文献１参照）。この撮像装置によれば、予め画像を複数領域に細分化しておき、細分化した領域毎の状態を分析して被写体領域を特定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２７３３１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の撮像装置においては、撮像画像を細分化しすぎると被写体領域の特定効率が低下する。一方細分化が粗すぎると必要な被写体領域が細分化されないという問題があった。従って、抽出したい被写体領域を細分化しつつ出来るだけ少ない領域数とすることが望ましい。
【０００５】
本発明の目的は、抽出したい被写体領域を細分化しつつ出来るだけ領域数が少なくなるように画像の分割を行う画像処理装置及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、画像を記憶する記憶部と、前記画像から被写体の情報を抽出する抽出部と、前記抽出部により抽出された前記被写体の情報に基づいて分割パラメータを決定するパラメータ決定部と、前記画像について前記分割パラメータを用いて分割処理を行う画像処理部と、前記画像処理部による分割処理情報を出力する出力部とを備える。
【０００７】
また、本発明の画像処理プログラムは、画像を記憶する記憶部を備えた画像処理装置を、  前記画像から被写体の情報を抽出するステップ、前記被写体の情報に基づいて分割パラメータを決定するステップ、前記画像について前記分割パラメータを用いて分割処理を行うステップ、前記分割パラメータを用いて行われた分割処理情報を出力するステップとして機能させる。
【発明の効果】
【０００８】
本発明によれば、抽出したい被写体領域を細分化しつつ出来るだけ領域数が少なくなるように画像の分割を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態に係る画像処理装置のシステム構成を示すブロック図である。
【図２】実施の形態に係る顔サイズとＫの値の関係を示す図である。
【図３】実施の形態に係る撮影画角内の被写体、画像をＫ＝６０で細分化した場合及び画像をＫ＝１００で細分化した場合を示す図である。
【図４】実施の形態に係る撮影画角内の被写体、画像をＫ＝６０で細分化した場合及び画像をＫ＝１００で細分化した場合を示す図である。
【図５】実施の形態に係る画像の画面中の動体を示す図である。
【図６】実施の形態に係る画像の画面中の動体を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施の形態に係る画像処理装置についてカメラを例に説明する。図１は、実施の形態に係るカメラのシステム構成を示すブロック図である。図１に示すように、カメラ２は、カメラ２の各部を統括的に制御する制御部４を備えている。制御部４には、被写体を撮像する撮像部６、撮像部６から出力された撮像信号から生成された画像データを記憶するメモリ８、制御部４が実行する撮影処理、分割処理等のプログラムを記憶するプログラムメモリ１０、撮影画像の画像データ等を記憶するメモリカード１２、カメラ２の背面部に配置され撮像部６により撮像された画像、スルー画及びカメラ２のモードを設定する画面等を表示するＬＣＤ表示部１４及び操作部１６が接続されている。ここで操作部１６は、電源スイッチ及びレリーズボタン等を備えている。
【００１１】
次に、本発明の実施の形態に係るカメラによる分割処理について説明する。操作者が操作部１６の電源スイッチを操作することによりカメラ２の電源をオンにすると、制御部４は、撮像部６により所定のフレームレートで被写体を撮像し、撮像部６から出力された撮像信号に基づいてＬＣＤ表示部１４にスルー画像を表示する。ここで、撮像部６から出力されたスルー画像の画像データは一時的にメモリ８に記憶される。
【００１２】
操作者がレリーズボタンを半押しすると、制御部４はメモリ８に一時的に記憶された画像データに基づく画像について分割処理を行い画像を細分化する。画像の細分化では、隣接した画素群が同じオブジェクト領域に属するか否かを、特徴量の類似性を用いて判別する。その結果、類似した特徴を有する隣接画素群がグループ化され、画像が複数の領域に細分化される。その際、どの程度の大きさに細分化するかを、調整することが可能である。
【００１３】
例えば、細分化手法としてｋ−ｍｅａｎｓ法を用いる場合、ｋ−ｍｅａｎｓ法は、与えられたクラスタ数K個に要素を分割するものであるが、その際、各クラスタ内の平均が最小となるように分割を行う。具体的には、まず、K個のクラスタの中心をランダムに割り当てる（ステップ１）。次に各要素を最も近い中心（クラスタ）に割り当てる（ステップ２）。そして各クラスタの中心を再計算する（ステップ３）。その結果、全クラスタの中心が変化しなければ終了し、そうでなければステップ２へ戻る。この手法を画像の細分化に用いる場合は、対象とする要素は画素である。クラスタ中心との距離は、中心画素との色差、及び画面距離を用いる。ここで、クラスタ中心との距離は次のように表される。
クラスタ中心との距離＝中心画素との色差＋中心画素との画面距離
クラスタ中心との距離＝ｐΔｕｖ＋ｑΔｘｙ
クラスタ中心との距離＝√[(ｕｉ−ｕｊ)2+(ｖｉ−ｖｊ)2] ＋ √[(ｘｉ−ｘｊ)2+(ｙｉ−ｙｊ)2]
細分化の度合い（分割パラメータ）はクラスタＫの値で調整することが可能である。ここで、Ｋの値が小さければ、細分化の度合いは小さく（細分化された領域の面積は大きく）なり、Ｋの値が大きければ、細分化の度合いは大きく（細分化された領域の面積は小さく）なる。
【００１４】
本発明は、被写体の大きさに基づいてＫの値を変化させる。この場合被写体は人間であり、検出した顔の大きさに基づいてＫの値を変化させる。ここで、Ｋの値は次のように表される。なお、ｆは顔サイズである。
Ｋ＝ｓ（ｆ）
ｓ（ｆ）は、図２に示すように、顔サイズの大きさによって決まる関数であり、顔サイズが大きいほど大きな値をとる。この実施の形態では、顔の大きさを正方矩形で定義した場合の辺の長さf（顔サイズ）に比例する関数とした。また、Ｋ＝ｓ（ｆ）を適用する範囲には、上限と下限を設定し、そこを外れた範囲は固定値とした。上限は、細分化される領域が大きくなりすぎないような値とし、下限は、検出できる顔サイズの大きさの限界とした。
【００１５】
制御部４は顔認識機能を用いてメモリ８に一時的に記憶された画像データに基づく画像について人の顔を検出し、検出した顔の大きさに応じた正方矩形の辺の長さに基づいて顔サイズｆを検出する。そして、Ｋ＝ｓ（ｆ）＝α×ｆによりＫの値を決定しＫを用いてメモリ８に記憶されている画像データに基づく画像の分割処理を行う。
【００１６】
図３に、顔サイズが大きい場合の画像（ａ）、画像をＫ＝６０で細分化をした場合（ｂ）及び画像をＫ＝１００で細分化をした場合（ｃ）の例を示す。この場合、適したＫの値は６０である。Ｋ＝６０では被写体部分が十分に分割されているが、Ｋ＝１００では、被写体の大きさに対し、過剰に分割されている。
【００１７】
また図４に、顔サイズが小さい場合の画像（ａ）、画像をＫ＝６０で細分化した場合（ｂ）及び画像をＫ＝１００で細分化した場合（ｃ）の例を示す。この場合、適したＫの値は１００である。Ｋ＝６０では被写体部分が分割されない。Ｋ＝１００では、被写体部分が十分に分割されている。
【００１８】
制御部４は、分割処理により細分化された画像の画像データをメモリ８に対し出力し一時的に記憶し、記憶された細分化された画像の画像データに基づいて被写体領域及び背景領域を特定する。そして、特定された被写体領域はＡＦ等の処理に用いられる。即ち、制御部４は特定された被写体領域について図示しないＡＦ駆動部により焦点合わせの動作を行う。
【００１９】
本発明の実施の形態に係るカメラによれば、被写体の大きさに基づいて画像の細分化の度合いを決定するため、抽出したい被写体領域を細分化しつつ出来るだけ領域数が少なくなるように画像の分割を行うことができる。
【００２０】
なお、上述のｋ−ｍｅａｎｓ法とは別の細分化手法として論文（タイトル：Efficient Graph-Based Image Segmentation，著者：Pedro F. Felzenszwalb and Daniel P. Huttenlocher，出典：International Journal of Computer Vision, Volume 59,Number 2, September 2004，参照ＵＲＬ：http:// people.cs.uchicago. edu/~pff/papers/seg-ijcv.pdf）に記載されている手法が知られている。
【００２１】
上述の論文に記載されている細分化手法は、隣接した画素群（領域）を、統合すべきか否かを順次判別する方法である。細分化の度合い（分割パラメータ）は、以下の式で定義する係数τ（Ｃ）によって決定される。ここで、係数τ（Ｃ）は、値が大きいほど統合しやすくさせる。なお、Ｃは領域面積であり、ｋは定数である。
τ（Ｃ）＝ｋ／Ｃ
係数τ（Ｃ）は、領域面積Ｃの逆数となっており、面積が小さいほど統合されやすい効果をもつ。被写体の大きさに基づいてτ（Ｃ）を変化させると、この場合においても被写体が人である場合には、検出した顔サイズの大きさに基づいて、次の式に表すようにτ（Ｃ）を変化させることで、ｋ−ｍｅａｎｓ法と同様の効果を得ることができる。
τ（Ｃ）＝ｓ（ｆ）×ｋ／Ｃ
また、上述の実施の形態において、画面中の動いている部分（動体）を被写体とみなし、動体の大きさに基づいて次の式に表すようにτ（Ｃ）を変化させるようにしてもよい。なお、ｍは動体サイズである。
τ（Ｃ）＝ｓ（ｍ）×ｋ／Ｃ
ｓ（ｍ）は、動体サイズの大きさによって決まる関数であり、動体サイズが大きいほど大きな値をとる。この場合、動体サイズｍに比例する関数とし、動体サイズｍは動体とみなした部分を包含する矩形枠の面積をとした。ここで、図５は動いている人の大きさが小さい場合を示す図であり、図６は動いている人の大きさが大きい場合を示す。
【００２２】
動体部分の検出はどのような方法でもよい。例えば、異なる時間に取得した複数画像において、重ならない部分が動いている部分であるとみなす方法、又は、画像中のサンプリング点の動きベクトルを算出する方法でもよい。
【００２３】
また、上述の実施の形態においては、カメラ２を用いて分割処理を行っているが、パソコン等の画像処理装置を用いて上述の分割処理を行うようにしてもよい。
【００２４】
また、パソコン等の画像処理装置に上述の画像データの分割処理を実施させるプログラムを読み込んで画像データに基づく画像の分割処理を実行するようにしてもよい。即ち、上述の実施の形態で用いられている画像の分割処理プログラムはパソコン等に、画像から被写体の情報を抽出するステップ、被写体の情報に基づいて分割パラメータを決定するステップ、画像について分割パラメータを用いて分割処理を行うステップ、分割パラメータを用いて行われた分割処理情報を出力するステップを実行させる。従って、上述の実施の形態に係る画像データの分割処理プログラムによれば、メモリに予め記憶されている画像データに基づく画像の被写体の大きさに基づいて画像の細分化の度合いを決定するため、抽出したい被写体領域を細分化しつつ出来るだけ領域数が少なくなるように画像の分割を行うことができる。
【００２５】
この場合、画像処理装置の制御部は、メモリに記憶されている画像データに基づく画像について分割処理を行い細分化し、特定された被写体に基づいて画像データに対してホワイトバランス調整を行うようにしてもよい。
【００２６】
また、上述の実施の形態において、分割処理の結果を表示部１４において表示するようにしても良い。例えば細分化された画像において特定された被写体領域及び背景領域について異なる色を用いてＬＣＤ表示部１４に表示するようにしてもよい。
【符号の説明】
【００２７】
２…カメラ、４…制御部、６…撮像部、８…メモリ、１０…プログラムメモリ、１４…ＬＣＤ表示部、１６…操作部。
【図１】
2018206437.tif 000003
【図２】
2018206437.tif 000004
【図３】
2018206437.tif 000005
【図４】
2018206437.tif 000006
【図５】
2018206437.tif 000007
【図６】
2018206437.tif 000008