(57)【要約】【課題】撮像した画像データから主要被写体に露出または焦点を合わせるための露出、焦点制御技術に関し、小さな花のような主要被写体であっても露出または焦点を自動的に合わせることを可能とする。【解決手段】撮像手段１０１は、被写体１０５を撮像する。画像データ事前取得手段１０２は、撮像手段１０１により被写体１０５を撮像して画像データ１０６を事前取得する。主要被写体画素識別手段１０３は、事前取得した画像データ１０６において、被写体１０５中の主要被写体らしい画素１０７を識別する。画像データ本取得手段１０４は、主要被写体画素識別手段１０３で識別された主要被写体らしい画素１０７に基づいて露出または焦点のうちの少なくとも１つを制御して、撮像手段１０１により被写体１０５を撮像し画像データ１０８を本取得して出力する。【選択図】図１
2014119725.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
前記撮像手段により前記被写体を撮像して画像データを事前取得する画像データ事前取得手段と、
前記事前取得した画像データを縦横にそれぞれ分割して得たグリッド位置の画素毎に彩度を前記主要被写体らしさを示す値として算出し、該主要被写体らしさを示す値が所定の閾値に比較して大きいグリッド位置の画素を、前記主要被写体らしい画素であると識別する主要被写体画素識別手段と、
前記識別された前記主要被写体らしい画素に基づいて露出または焦点のうちの少なくとも１つを制御して、前記撮像手段により前記被写体を撮像し画像データを本取得して出力する画像データ本取得手段と、
を備えることを特徴とする露出、焦点制御装置。
【請求項２】
前記主要被写体画素識別手段は、
前記事前取得した画像データ内の各画素に付与する主要被写体または背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要被写体を示す画像から算出した前記画素値に関する第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、前記背景を示す画像から算出した前記画素値に関する第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割し、
前記事前取得した画像データを縦横にそれぞれ分割して得たグリッド位置の画素毎に、該画素の値をビン値とする前記領域分割により得られる前記第１のヒストグラムの値を前記主要被写体らしさを示す値として算出し、該主要被写体らしさを示す値が所定の閾値に比較して大きいグリッド位置の画素を、前記主要被写体らしい画素であると識別する、
ことを特徴とする請求項１に記載の露出、焦点制御装置。
【請求項３】
前記主要被写体画素識別手段は、Ｇｒａｐｈ  Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする請求項２に記載の露出、焦点制御装置。
【請求項４】
被写体を撮像する撮像ステップと、
前記撮像ステップにより前記被写体を撮像して画像データを事前取得する画像データ事前取得ステップと、
前記事前取得した画像データを縦横にそれぞれ分割して得たグリッド位置の画素毎に彩度を前記主要被写体らしさを示す値として算出し、該主要被写体らしさを示す値が所定の閾値に比較して大きいグリッド位置の画素を、前記主要被写体らしい画素であると識別する主要被写体画素識別ステップと、
前記識別された前記主要被写体らしい画素に基づいて露出または焦点のうちの少なくとも１つを制御して、前記撮像手段により前記被写体を撮像し画像データを本取得して出力する画像データ本取得ステップと、
を備えることを特徴とする露出、焦点制御方法。
【請求項５】
被写体を撮像する撮像ステップと、
前記撮像ステップにより前記被写体を撮像して画像データを事前取得する画像データ事前取得ステップと、
前記事前取得した画像データを縦横にそれぞれ分割して得たグリッド位置の画素毎に彩度を前記主要被写体らしさを示す値として算出し、該主要被写体らしさを示す値が所定の閾値に比較して大きいグリッド位置の画素を、前記主要被写体らしい画素であると識別する主要被写体画素識別ステップと、
前記識別された前記主要被写体らしい画素に基づいて露出または焦点のうちの少なくとも１つを制御して、前記撮像手段により前記被写体を撮像し画像データを本取得して出力する画像データ本取得ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像データから主要被写体に露出または焦点を合わせるための露出、焦点制御装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルカメラにおける焦点の自動制御（オートフォーカス）技術（例えば特許文献１に記載の技術）や露出の自動制御技術が良く知られているが、従来の露出や焦点の自動制御においては、ユーザがシャッタボタンを半押しすると、事前撮像されるいわゆるスルー画像データ中の被写体において、コントラストの高い部分に焦点を合わせ、またそのような部分が適正露出になるように露出が制御される場合が多かった。
【０００３】
あるいは、スルー画像データ中の被写体において、人間の顔の部分に焦点を合わせ、また顔の部分が適正露出になるように露出が制御される従来技術も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平３−１６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば小さな花が主要被写体である場合、そのような主要被写体はコントラストが必ずしも高い訳ではなく、また、顔とも異なる。このため、小さい花の写真を撮ろうとしても、よりコントラストの高い背景（葉や地面）に焦点が合ってしまうことが多く、そのような主要被写体に露出または焦点を自動的に合わせることが困難であるという問題点を有していた。
【０００６】
本発明は、小さな花のような主要被写体であっても露出または焦点を自動的に合わせることを可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
態様の一例では、被写体を撮像する撮像手段と、撮像手段により被写体を撮像して画像データを事前取得する画像データ事前取得手段と、事前取得した画像データを縦横にそれぞれ分割して得たグリッド位置の画素毎に彩度を主要被写体らしさを示す値として算出し、その主要被写体らしさを示す値が所定の閾値に比較して大きいグリッド位置の画素を、主要被写体らしい画素であると識別する主要被写体画素識別手段と、識別された主要被写体らしい画素に基づいて露出または焦点のうちの少なくとも１つを制御して、撮像手段により被写体を撮像し画像データを本取得して出力する画像データ本取得手段とを備える。
【発明の効果】
【０００８】
本発明によれば、小さな花のような主要被写体であっても露出または焦点を自動的に合わせることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る露出、焦点自動制御装置の機能ブロック図である。
【図２】図１の構成を有する本実施形態による露出、焦点自動制御装置の動作説明図である。
【図３】本発明の一実施形態に係る露出、焦点自動制御装置のハードウェア構成例を示すブロック図である。
【図４】本実施形態による露出、焦点自動制御処理の第１の実施形態の全体動作を示すフローチャートである。
【図５】本実施形態による露出、焦点自動制御処理の第２の実施形態の全体動作を示すフローチャートである。
【図６】本実施形態による露出、焦点自動制御処理の第２の実施形態におけるグラフカット処理の全体動作を示すフローチャートである。
【図７】重み付き有向グラフの説明図である。
【図８】ヒストグラムθの説明図である。
【図９】ｈuv（Ｘu ,Ｘv ）の特性図である。
【図１０】ｔ−ｌｉｎｋとｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。
【図１１】グラフカット処理における領域分割処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
【００１１】
図１は、本発明の一実施形態に係る露出、焦点自動制御装置の機能ブロック図である。
【００１２】
撮像手段１０１は、被写体１０５を撮像する。この撮像手段１０１は、例えばレンズと、焦点制御機構と露出（絞り、シャッタ速度）制御機構を備える。
【００１３】
画像データ事前取得手段１０２は、撮像手段１０１により被写体１０５を撮像して画像データ１０６を事前取得する。
【００１４】
主要被写体画素識別手段１０３は、事前取得した画像データ１０６において、被写体１０５中の主要被写体らしい画素１０７を識別する。
【００１５】
この主要被写体画素識別手段１０３は例えば、事前取得した画像データ１０６を縦横にそれぞれ分割して得たグリッド位置の画素毎に彩度を主要被写体らしさを示す値として算出し、主要被写体らしさを示す値が所定の閾値に比較して大きいグリッド位置の画素を、主要被写体らしい画素１０７であると識別する。
【００１６】
あるいは、主要被写体画素識別手段１０３は例えば、事前取得した画像データ１０６内の各画素に付与する主要被写体または背景を示す領域ラベルを更新しながら、その領域ラベルと各画素の画素値に基づき、主要被写体を示す画像から算出した画素値に関する第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、背景を示す画像から算出した画素値に関する第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の例えばＧｒａｐｈ  Ｃｕｔｓ法による最小化処理により、画像内で主要被写体と背景を領域分割する。そして、主要被写体画素識別手段１０３は、事前取得した画像データ１０６を縦横にそれぞれ分割して得たグリッド位置の画素毎に、その画素値をビン値とする領域分割により得られる第１のヒストグラムの値を主要被写体らしさを示す値として算出し、その主要被写体らしさを示す値が所定の閾値に比較して大きいグリッド位置の画素を、主要被写体らしい画素１０７であると識別する。
【００１７】
画像データ本取得手段１０４は、主要被写体画素識別手段１０３で識別された主要被写体らしい画素１０７に基づいて露出または焦点のうちの少なくとも１つを制御して、撮像手段１０１により被写体１０５を撮像し画像データ１０８を本取得して出力する。
【００１８】
図２は、図１の構成を有する本実施形態による露出、焦点自動制御装置の動作説明図である。
図１の主要被写体画素識別手段１０３が、例えばデジタルカメラのいわゆるスルー画像として得られる事前取得した画像データ１０６について、その画像データを縦横に分割したグリッドＧ上の複数の画素位置の例えば色、例えば、彩度や、領域分割処理における主要被写体のヒストグラムに基づいて、図２の２０３として示されるような、主要被写体らしさを示す配列値Ｃｆ［Ｇ］を算出する。
画像データ本取得手段１０４は、図２の２０３として示される主要被写体らしさを示す配列値Ｃｆ［Ｇ］に基づいて、彩度の高い色や、領域分割処理により得られる統計的に例えば花２０１の色として多い色の点Ｂを主要被写体らしい画素１０７として算出する。そして、画像データ本取得手段１０４は、この画素１０７に着目して例えば点Ｂの周囲の２０２として示される所定の範囲に、露出や焦点を合わせる。
これにより、本実施形態では、例えば小さい花のような主要被写体にも露出および焦点を合わせることにより、花に最適な露出および焦点を得ることが可能となる。
【００１９】
図３は、図１に示される本発明の一実施形態に係る露出、焦点制御装置の機能を実現するデジタルカメラ３０１のハードウェア構成例を示すブロック図である。
【００２０】
デジタルカメラ３０１は、撮像レンズ３０２、補正レンズ３０３、レンズ駆動ブロック３０４、絞り兼用シャッタ３０５、ＣＣＤ３０６、垂直ドライバ３０７、ＴＧ（Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｏｒ：タイミング発生回路）３０８、ユニット回路３０９、ＤＭＡコントローラ（以下、ＤＭＡという）３１０、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：中央演算処理装置）３１１、キー入力部３１２、メモリ３１３、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３１４、通信部３１５、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）３１６、画像生成部３１７、ＤＭＡ３１８、ＤＭＡ３１９、表示部３２０、ＤＭＡ３２１、圧縮伸張部３２２、ＤＭＡ３２３、フラッシュメモリ３２４、バス３２５を備えている。
【００２１】
撮像レンズ３０２は、複数のレンズ群から構成されるフォーカスレンズ、ズームレンズを含む。
なお、レンズ駆動ブロック３０４は、図示しない駆動回路を含み、駆動回路はＣＰＵ３１１からの制御信号に従ってフォーカスレンズ、ズームレンズをそれぞれ光軸方向に移動させる。
【００２２】
補正レンズ３０３は、手ぶれによる像のブレを補正するためのレンズであり、補正レンズ３０３には、レンズ駆動ブロック３０４が接続されている。
レンズ駆動ブロック３０４は、Ｙａｗ（ヨー）方向及びＰｉｔｃｈ（ピッチ）方向に補正レンズ３０３を移動させることにより手ぶれを補正する。このレンズ駆動ブロック３０４には、ヨー方向及びピッチ方向に補正レンズ３０３を移動させるモータ、及びそのモータを駆動させるモータドライバから構成されている。
【００２３】
絞り兼用シャッタ３０５は、図示しない駆動回路を含み、駆動回路はＣＰＵ３１１から送られてくる制御信号に従って絞り兼用シャッタ３０５を動作させる。この絞り兼用シャッタ３０５は、絞り、シャッタとして機能する。
絞りとは、ＣＣＤ３０６に入射される光の量を制御する機構のことをいい、シャッタとは、ＣＣＤ３０６に光を当てる時間を制御する機構のことをいい、ＣＣＤ３０６に光を当てる時間（露光時間）は、シャッタ速度によって変わってくる。
露出量は、この絞り値（絞りの度合い）とシャッタ速度によって定められる。
【００２４】
ＣＣＤ３０６は、垂直ドライバ７によって走査駆動され、一定周期毎に被写体像のＲＧＢ（赤緑青）値の各色の光の強さを光電変換して撮像信号としてユニット回路３０９に出力する。この垂直ドライバ３０７、ユニット回路３０９の動作タイミングはＴＧ３０８を介してＣＰＵ３１１によって制御される。
【００２５】
ユニット回路３０９には、ＴＧ３０８が接続されており、ＣＣＤ３０６から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路、その自動利得調整後のアナログ信号をデジタル信号に変換するＡ／Ｄ（アナログ／デジタル）変換器から構成されており、ＣＣＤ３０６によって得られた撮像信号は、ユニット回路３０９を経た後、ＤＭＡ３１０によってベイヤーデータの状態でバッファメモリ（ＤＲＡＭ３１４）に記憶される。
【００２６】
ＣＰＵ３１１は、ＡＥ（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ：自動露出）処理、ＡＦ（Ａｕｔｏｍａｔｉｃ  Ｆｏｃｕｓ：自動焦点）処理などを行う機能を有すると共に、デジタルカメラ３０１の各部を制御するワンチップマイコンである。
【００２７】
特に、本実施形態では、ＣＰＵ３１１は、撮像系機構３０２から３１０（図１の撮像手段１０１の機能に対応）に対して、画像データ事前取得手段１０２、主要被写体画素識別手段１０３、および画像データ本取得手段１０４の機能に対応する、後述する図４または図５、図６、および図１１のフローチャートで示される露出、焦点制御処理を実行する。これにより、ＣＰＵ３１１は、ＡＥ処理およびＡＦ処理を実現する。
【００２８】
キー入力部３１２は、半押し操作全押し操作可能なシャッタボタン、モード切替キー、十字キー、ＳＥＴキー等の複数の操作キーや、タッチパネルを含み、ユーザのキー操作に応じた操作信号をＣＰＵ３１１に出力する。
メモリ３１３には、後述する図４または図５、図６、および図１１のフローチャートで示される露出、焦点制御処理をはじめとして、ＣＰＵ３１１がデジタルカメラ３０1の各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ３１１は、それらの制御プログラムに従い動作する。
【００２９】
ＤＲＡＭ３１４は、ＣＣＤ３０６によって撮像された画像データ（図１の事前取得した画像データ１０６、および本取得した画像データ１０８を含む）を一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ３１１のワーキングメモリとしても使用される。
【００３０】
ＤＭＡ３１６は、バッファメモリに記憶されたベイヤーデータの画像データを読み出して画像生成部３１７に出力するものである。
画像生成部３１７は、ＤＭＡ３１６から送られてきた画像データに対して、画素補間処理、γ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）の生成も行なう。つまり、画像処理を行う部分である。
ＤＭＡ３１８は、画像生成部３１７で画像処理が行われた輝度色差信号の画像データ（ＹＵＶデータ）をバッファメモリに記憶させるものである。
【００３１】
ＤＭＡ３１９は、バッファメモリに記憶されているＹＵＶデータの画像データを表示部３２０に出力するものである。
表示部３２０は、カラーＬＣＤとその駆動回路を含み、ＤＭＡ３１９から出力された画像データの画像を表示させる。
【００３２】
ＤＭＡ３２１は、バッファメモリに記憶されているＹＵＶデータの画像データや圧縮された画像データを圧縮伸張部３２２に出力したり、圧縮伸張部３２２により圧縮された画像データや、伸張された画像データをバッファメモリに記憶させたりするものである。
圧縮伸張部３２２は、画像データの圧縮・伸張（例えば、ＪＰＥＧやＭＰＥＧ形式の圧縮・伸張）を行なう部分である。
ＤＭＡ３２３は、バッファッメモリに記憶されている圧縮画像データを読み出してフラッシュメモリ３２４に記録させたり、フラッシュメモリ３２４に記録された圧縮画像データをバッファメモリに記憶させるものである。
【００３３】
図４は、本実施形態による露出、焦点自動制御処理の第１の実施形態の全体動作を示すフローチャートである。このフローチャートの処理は、図３のデジタルカメラ３０１内のＣＰＵ３１１が、メモリ３１３に記憶された制御プログラムを、メモリ３１３およびＤＲＡＭ３１４をワークメモリとして使用しながら実行する処理として実現される。
【００３４】
まず、ＣＰＵ３１１は、図３の３０２から３１０の部分で構成される図１の撮像手段１０１に対して、初回の自動露出、自動焦点の制御処理を実施することにより、ＤＲＡＭ３１４に、いわゆるスルー画像（図１の事前取得した画像データ１０６に対応）を得る（図４のステップＳ４０１）。
なお、初回の自動露出、自動焦点の制御処理は、従来から実現されている通常のＡＥ、ＡＦの制御処理として実施される。
この処理は、図１の画像データ事前取得手段１０２の機能を実現する。
【００３５】
ＣＰＵ３１１は、ＤＲＡＭ３１４に得られたスルー画像について、その画像データを縦横に分割したグリッドＧ上の複数の画素位置を、ステップＳ４０４で例えばメモリ３１３上の変数であるポインタＧによって順次指定しながら、ステップＳ４０５でポインタＧの値が最後のグリッドを超えたと判定されるまで、以下の処理を順次実行する。
【００３６】
まず、ＣＰＵ３１１は、ポインタＧによって示されるスルー画像の現在のグリッドＧ上の色情報ｃを取得する（図４のステップＳ４０２）。色情報ｃは例えば、スルー画像のＲ、Ｇ、Ｂの各成分値である。
【００３７】
次に、ＣＰＵ３１１は、色情報ｃを、彩度による主要被写体の色らしさ識別処理にかける（図４のステップＳ４０３）。
具体的には、この識別処理では、ポインタＧによって現在指定されているグリッドＧに対応する主要被写体らしさを示す値として、色の彩度を用いる。色の彩度は、例えば色情報例としては、スルー画像のＲ、Ｇ、Ｂの各成分値のうち、値が最大の成分値をＩｍａｘ、最小の成分値をＩｍｉｎとして、
色の彩度Ｓ＝（Ｉｍａｘ−Ｉｍｉｎ）／Ｉｍａｘ
として算出できる。ＣＰＵ３１１は、このように算出した色の彩度Ｓの値を、主要被写体らしさを示す配列値Ｃｆ［Ｇ］（図２参照）として例えば図３のメモリ３１３またはＤＲＡＭ３１４に記憶させる。
【００３８】
その後、ＣＰＵ３１１は、ポインタＧをインクリメントして、次のグリッドの位置に進める（図４のステップＳ４０４）。
【００３９】
ＣＰＵ３１１は、ポインタＧの値が最後のグリッドの位置に対応する値を超えたか否かを判定する（図４のステップＳ４０５）。
【００４０】
ＣＰＵ３１１は、ポインタＧの値が最後のグリッドの位置に対応する値を超えておらずステップＳ４０５の判定がＮＯならば、ステップＳ４０２の処理に戻って、次のグリッドに対する上記と同様の処理を繰り返し実行する。
【００４１】
以上のＣＰＵ３１１が実行するステップＳ４０２からＳ４０５までの一連の処理が、図１の主要被写体画素識別手段１０３の機能を実現する。
【００４２】
ＣＰＵ３１１は、全てのグリッドに対応する主要被写体らしさを示す配列値Ｃｆ［Ｇ］の算出を終了し、ステップＳ４０５の判定がＹＥＳになると、例えばメモリ３１３上の変数ｉの値を０から、ステップＳ４０９でインクリメント変化させながら（図中演算子「＋＋」で示される）、最後の配列値を超えたと判定されるまで、以下の処理を実行する。
【００４３】
ＣＰＵ３１１は、現在の変数ｉに対応する主要被写体らしさを示す配列値Ｃｆ［ｉ］を図３のメモリ３１３またはＤＲＡＭ３１４から読み出して取得する（図４のステップＳ４０６）。
【００４４】
ＣＰＵ３１１は、主要被写体らしさを示す配列値Ｃｆ［ｉ］が所定の閾値Ｔｈよりも大きいか否かを判定する（図４のステップＳ４０７）。
【００４５】
ＣＰＵ３１１は、主要被写体らしさを示す配列値Ｃｆ［ｉ］が所定の閾値Ｔｈよりも大きくステップＳ４０７の判定がＹＥＳならば、その主要被写体らしさを示す配列値Ｃｆ［ｉ］をフォーカスポイントとしてマークする（図４のステップＳ４０８）。具体的には、ＣＰＵ３１１は、その変数値ｉに対応するグリッド位置Ｂ（図２参照）を、例えばメモリ３１３に記憶させる。
【００４６】
ＣＰＵ３１１は、ステップＳ４０８の後、または主要被写体らしさを示す配列値Ｃｆ［ｉ］が所定の閾値Ｔｈよりも大きくはなくステップＳ４０７の判定がＮＯならば、変数ｉの値をインクリメントさせた後に、最後の配列値を超えたか否かを判定する（図４のステップＳ４０９）。
【００４７】
ＣＰＵ３１１は、変数ｉの値が最後の配列値を超えておらずステップＳ４０９の判定がＮＯならば、ステップＳ４０６の処理に戻って、上記と同様のフォーカスポイントをマークする処理を繰り返し実行する。
【００４８】
ＣＰＵ３１１は、変数ｉの値が最後の配列値を超えてステップＳ４０９の判定がＹＥＳになると、例えばメモリ３１３に記憶させていた１つ以上のフォーカスポイントを、図３の表示部３２０に表示させ、ユーザに提示する（図４のステップＳ４１０）。
【００４９】
その後、ＣＰＵ３１１は、ステップＳ４１０で提示したフォーカスポイントのうちの一つがユーザによって選択されるのを待機する状態になる（図４のステップＳ４１１の判定の繰返し）。
【００５０】
ＣＰＵ３１１は、ユーザによってフォーカスポイントが選択されてステップＳ４１１の判定がＹＥＳになると、その選択されたフォーカスポイントに対応するフォーカス範囲を決定する。そして、ＣＰＵ３１１は、その決定したフォーカス範囲で、露出および焦点を合わせる制御処理を、図３の絞り兼用シャッタ３０５内の駆動回路とレンズ駆動ブロック３０４に対して実行する。この結果、図３の撮像系機構３０２から３１０（図１の撮像手段１０１の機能に対応）で取得された画像データ（図１の本取得した画像データ１０８に対応）が、図３のＤＲＡＭ３１４に最終的に撮像された画像データとして得られる。
【００５１】
以上のＣＰＵ３１１が実行するステップＳ４０６からＳ４１２までの一連の処理が、図１の画像データ本取得手段１０４の機能を実現する。
【００５２】
以上、図４に示される露出、焦点自動制御処理の第１の実施形態により、事前取得した画像データ１０６内の各グリッドＧ上の複数の画素位置の彩度に基づいて、彩度の高い色の点Ｂ（図２参照）を基準とする範囲に、露出や焦点を合わせることが可能となる。これにより、露出、焦点自動制御処理の第１の実施形態では、例えば小さい花のような主要被写体に対しても、最適な露出および焦点を得ることが可能となる。
【００５３】
図５は、本実施形態による露出、焦点自動制御処理の第２の実施形態の全体動作を示すフローチャートである。このフローチャートの処理は、図４のフローチャートの処理と同様に、図３のデジタルカメラ３０１内のＣＰＵ３１１が、メモリ３１３に記憶された制御プログラムを、メモリ３１３およびＤＲＡＭ３１４をワークメモリとして使用しながら実行する処理として実現される。
【００５４】
図５において、図４の場合と同様の処理を行う部分には同じステップ番号を付けてある。
【００５５】
図５のフローチャートの処理が図４と異なる点は、ＣＰＵ３１１が、図４と同様のステップＳ４０１での初回の自動露出、自動焦点の制御処理の後に、次の処理を実行する点である。ＣＰＵ３１１は、図５のステップＳ５０１で、ＤＲＡＭ３１４に得られたスルー画像に対して、グラフカット処理を実行することにより、スルー画像上で、主要被写体の領域とそれ以外の背景の領域とを領域分割する。このグラフカット処理では、後述するように、領域分割処理が繰り返し実行されることにより、主要被写体を示す画像から算出される画素値としての色情報ｃに関する学習されたヒストグラムθ（ｃ、０）（第１のヒストグラム）が得られる。
【００５６】
そこで、ＣＰＵ３１１は、ステップＳ５０２で、事前取得した画像データ１０６を縦横にそれぞれ分割して得たグリッド位置の画素に対して前述したステップＳ４０２で得られている色情報ｃを、グラフカットによる主要被写体の色らしさ識別処理にかける。具体的には、ＣＰＵ３１１は、ステップＳ５０１のグラフカット処理により主要被写体の色情報ｃに関して得られている学習されたヒストグラムθ（ｃ、０）を用いて、現在のグリッド位置の画素の色情報ｃをビン値とするヒストグラムθ（ｃ、０）の値を主要被写体らしさを示す配列値Ｃｆ［Ｇ］として出力する。
【００５７】
これ以降の処理は、図４の場合と同様である。
【００５８】
図５に示される露出、焦点自動制御処理の第２の実施形態により、例えば小さい花等の主要被写体であっても、グラフカット処理により適切に領域分割された主要被写体の色情報ｃに関して得られている学習されたヒストグラムθ（ｃ、０）を用いることにより、ヒストグラム値が高く主要被写体として用いられる可能性が高い色の点Ｂ（図２参照）を基準とする範囲に、露出や焦点を合わせることが可能となる。これにより、露出、焦点自動制御処理の第２の実施形態において、例えば小さい花のような主要被写体に対しても、最適な露出および焦点を得ることが可能となる。
【００５９】
図６は、図５のステップＳ５０１のグラフカット処理を示すフローチャートである。
【００６０】
まず、矩形枠決定処理が実行される（図６のステップＳ６０１）。この処理では、ユーザが、図３の撮像系機構３０２〜３１０（図１の撮像手段１０１に対応）にて撮像して図３のＤＲＡＭ３１４に得たスルー画像データ（図１の事前取得した画像データ１０６に対応）に対して、適当な矩形枠が設定される。
【００６１】
次に、画像範囲内の各画素に対して、主要被写体と前記背景を領域分割する領域分割処理（グラフカット処理）が実行される（図６のステップＳ６０２）。この処理の詳細については、後述する。
【００６２】
一度領域分割処理が終了した後、収束判定が行われる（図６のステップＳ６０３）。この収束判定は、以下のいずれかが満たされたときに、ＹＥＳの判定結果となる。
・繰り返し回数が一定以上になった
・前回主要被写体とされた領域面積と今回主要被写体とされた領域面積の差が一定以下
【００６３】
ステップＳ６０３の判定で収束せず、その判定がＮＯであった場合、前回の領域分割処理の状況に応じて、後述する主要被写体らしさを示すヒストグラムθ（ｃ，０）と背景らしさを示すヒストグラムθ（ｃ，１）が、次のようにして修正されてデータ更新される（図６のステップＳ６０４）。ステップＳ６０２の領域分割処理によって主要被写体と判定された領域のヒストグラムと、事前に用意されている後述するヒストグラムθ（ｃ，０）が、カラー画素値ｃごとに混合（加算）される。これにより、新たな主要被写体らしさを示すヒストグラムθ（ｃ，０）が生成される。同様に、ステップＳ６０２の領域分割処理によって背景と判定された領域のヒストグラムと、事前に用意されている後述するヒストグラムθ（ｃ，１）が、カラー画素値ｃごとに例えば一定割合で混合（加算）される。これにより、新たな背景らしさを示すヒストグラムθ（ｃ，１）が生成される。
前述したステップＳ６０２では、このようにしてデータ更新された主要被写体らしさを示すヒストグラムθ（ｃ，０）と背景らしさを示すヒストグラムθ（ｃ，１）を用いて、後述するグラフカット処理が実行される。
【００６４】
ステップＳ６０３の判定が収束し、その判定がＹＥＳになると、図６のフローチャートで示される領域分割処理は終了とし、現在得られている主要被写体領域が最終結果である主要被写体となる。
この結果得られる主要被写体らしさを示すヒストグラムθ（ｃ，０）が、例えば図３のメモリ３１３に記憶され、前述した図５のステップＳ５０２で参照される。
【００６５】
以下に、図６のステップＳ６０２の領域分割処理について、説明する。
いま、
【数１】
2014119725.tif 000003
を、要素Ｘv が画像Ｖにおける画素ｖに対する領域ラベルを示す領域ラベルベクトルであるとする。この領域ラベルベクトルは、例えば、画素ｖが主要被写体領域内にあれば要素Ｘv ＝０、背景領域内にあれば要素Ｘv ＝１となるバイナリベクトルである。すなわち、
【数２】
2014119725.tif 000004
である。
【００６６】
本実施形態において実行される領域分割処理は、画像Ｖにおいて、次式で定義されるエネルギー関数Ｅ（Ｘ）を最小にするような数１式の領域ラベルベクトルＸを求める処理である。
【数３】
2014119725.tif 000005
エネルギー最小化処理が実行される結果、領域ラベルベクトルＸ上で領域ラベル値Ｘv ＝０となる画素ｖの集合として、主要被写体領域が得られる。本実施形態の例でいえば、矩形枠内の花の領域である。なお、領域ラベルベクトルＸ上で領域ラベル値Ｘv ＝１となる画素ｖの集合が、背景領域（矩形枠外も含む）となる。
【００６７】
数３式のエネルギーを最小化するために、次式および図７で示される重み付き有向グラフ（以下「グラフ」と略す）を定義する。
【数４】
2014119725.tif 000006
ここで、Ｖはノード（ｎｏｄｅ）、Ｅはエッジ（ｅｄｇｅ）である。このグラフが画像の領域分割に適用される場合は、画像の各画素が各ノードＶに対応する。また、画素以外のノードとして、次式および図７中に示される、
【数５】
2014119725.tif 000007
と呼ばれる特殊なターミナルが追加される。このソースｓを主要被写体領域、シンクｔを背景領域に対応付けて考える。また、エッジＥは、ノードＶ間の関係を表現している。周辺の画素との関係を表したエッジＥをｎ−ｌｉｎｋ、各画素とソースｓ（主要被写体領域に対応）またはシンクｔ（背景領域に対応）との関係を表したエッジＥをｔ−ｌｉｎｋと呼ぶ。
【００６８】
いま、ソースｓと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度主要被写体領域らしいかを示す関係ととらえる。そして、その主要被写体領域らしさを示すコスト値を、数３式第１項に対応付けて、
【数６】
2014119725.tif 000008
と定義する。ここで、θ（ｃ、０）は、学習用に用意した複数枚（数百枚程度）の主要被写体領域画像から算出したカラー画素値ｃごとのヒストグラム（出現回数）を示す関数データであり、例えば図８（ａ）に示されるように予め得られている。なお、θ（ｃ、０）の全カラー画素値ｃにわたる総和は１になるように正規化されているものとする。また、Ｉ（ｖ）は、入力画像の各画素ｖにおけるカラー（ＲＧＢ）画素値である。実際には、カラー（ＲＧＢ）画素値を輝度値に変換した値の場合もあるが、特に言及の必要がなければ、以下では説明の簡単のために「カラー（ＲＧＢ）画素値」または「カラー画素値」と記載する。数６式において、θ（Ｉ（ｖ）、０）の値が大きいほど、コスト値は小さくなる。これは、予め得られている主要被写体領域のカラー画素値の中で出現回数が多いものほど、数６式で得られるコスト値が小さくなって、画素ｖが主要被写体領域中の画素らしいことを意味し、数３式のエネルギー関数Ｅ（Ｘ）の値を押し下げる結果となる。
【００６９】
次に、シンクｔと各画素に対応するノードとを結ぶ各ｔ−ｌｉｎｋを、各画素がどの程度背景領域らしいかを示す関係ととらえる。そして、その背景領域らしさを示すコスト値を、数３式第１項に対応付けて、
【数７】
2014119725.tif 000009
と定義する。ここで、θ（ｃ、1）は、学習用に用意した複数枚（数百枚程度）の背景領域画像から算出したカラー画素値ｃごとのヒストグラム（出現度数）を示す関数データであり、例えば図８（ｂ）に示されるように予め得られている。なお、θ（ｃ、１）の全カラー画素値ｃにわたる総和は１になるように正規化されているものとする。Ｉ（ｖ）は、数６式の場合と同様に、入力画像の各画素ｖにおけるカラー（ＲＧＢ）画素値である。数６式において、θ（Ｉ（ｖ）、１）の値が大きいほど、コスト値は小さくなる。これは、予め得られている背景領域のカラー画素値の中で出現回数が多いものほど、数７式で得られるコスト値が小さくなって、画素ｖが背景領域中の画素らしいことを意味し、数３式のエネルギー関数Ｅ（Ｘ）の値を押し下げる結果となる。
【００７０】
次に、各画素に対応するノードとその周辺画素との関係を示すｎ−ｌｉｎｋのコスト値を、数３式第２項に対応付けて、
【数８】
2014119725.tif 000010
と定義する。ここで、ｄｉｓｔ（ｕ，ｖ）は、画素ｖとその周辺画素ｕのユークリッド距離を示しており、κは所定の係数である。また、Ｉ（ｕ）およびＩ（ｖ）は、入力画像の各画素ｕおよびｖにおける各カラー（ＲＧＢ）画素値である。実際には前述したように、カラー（ＲＧＢ）画素値を輝度値に変換した値であってもよい。画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘu およびＸv が同一（Ｘu ＝Ｘv ）となるように選択された場合における数８式のコスト値は０とされて、エネルギーＥ（Ｘ）の計算には影響しなくなる。一方、画素ｖとその周辺画素ｕの各領域ラベル値Ｘu およびＸv が異なる（Ｘu ≠Ｘv ）ように選択された場合における数８式のコスト値は、例えば図９に示される特性を有する関数特性となる。すなわち、画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘu およびＸv が異なっていて、かつ画素ｖおよびその周辺画素ｕのカラー画素値（輝度値）の差Ｉ（ｕ）−Ｉ（ｖ）が小さい場合には、数８式で得られるコスト値が大きくなる。この場合には、数３式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる結果となる。言い換えれば、近傍画素間で、カラー画素値（輝度値）の差が小さい場合には、それらの画素の各領域ラベル値は、互いに異なるようには選択されない。すなわち、その場合には、近傍画素間では領域ラベル値はなるべく同じになって主要被写体領域または背景領域はなるべく変化しないように、制御される。一方、画素ｖおよびその周辺画素ｕの各領域ラベル値Ｘu およびＸv が異なっていて、かつ画素ｖおよびその周辺画素ｕのカラー画素値（輝度値）の差Ｉ（ｕ）−Ｉ（ｖ）が大きい場合には、数８式で得られるコスト値が小さくなる。この場合には、数３式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる結果となる。言い換えれば、近傍画素間で、カラー画素値（輝度値）の差が大きい場合には、主要被写体領域と背景領域の境界らしいことを意味し、画素ｖとその周辺画素ｕとで、領域ラベル値が異なる方向に制御される。
【００７１】
以上の定義を用いて、入力画像の各画素ｖごとに、数６式によって、ソースｓと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（主要被写体領域らしさ）が算出される。また、数７式によって、シンクｔと各画素ｖとを結ぶｔ−ｌｉｎｋのコスト値（背景領域らしさ）が算出される。さらに、入力画像の各画素ｖごとに、数８式によって、画素ｖとその周辺例えば８方向の各８画素とを結ぶ８本のｎ−ｌｉｎｋのコスト値（境界らしさ）が算出される。
【００７２】
そして、理論的には、数１式の領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せごとに、各領域ラベル値に応じて上記数６式、数７式、および数８式の計算結果が選択されながら数３式のエネルギー関数Ｅ（Ｘ）が計算される。そして、全ての組合せの中でエネルギー関数Ｅ（Ｘ）の値が最小となる領域ラベルベクトルＸを選択することにより、領域ラベルベクトルＸ上で領域ラベル値Ｘv ＝０となる画素ｖの集合として、主要被写体領域を得ることができる。
【００７３】
しかし実際には、領域ラベルベクトルＸの全ての領域ラベル値の０または１の組合せ数は、２の画素数乗通りあるため、現実的な時間でエネルギー関数Ｅ（Ｘ）の最小化処理を計算することができない。
【００７４】
そこで、Ｇｒａｐｈ  Ｃｕｔｓ法では、次のようなアルゴリズムを実行することにより、エネルギー関数Ｅ（Ｘ）の最小化処理を現実的な時間で計算することを可能にする。
図１０は、上述した数６式、数７式で定義されるｔ−ｌｉｎｋと数８式で定義されるｎ−ｌｉｎｋを有するグラフと、領域ラベルベクトルＸおよびグラフカットとの関係を、模式的に示した図である。図１０では、理解の容易化のために、画素ｖは一次元的に示されている。
【００７５】
数３式のエネルギー関数Ｅ（Ｘ）の第１項の計算で、領域ラベルベクトルＸ中の領域ラベル値が０となるべき主要被写体領域中の画素では、数６式と数７式のうち、主要被写体領域中の画素らしい場合により小さな値となる数６式のコスト値のほうが小さくなる。従って、ある画素において、ソースｓ側のｔ−ｌｉｎｋが選択されシンクｔ側のｔ−ｌｉｎｋがカットされて（図１０の１００２のケース）、数６式を用いて数３式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては０が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。
【００７６】
逆に、領域ラベルベクトルＸ中の領域ラベル値が１となるべき背景領域中の画素では、数６式と数７式のうち、背景領域中の画素らしい場合により小さな値となる数７式のコスト値のほうが小さくなる。従って、ある画素において、シンクｔ側のｔ−ｌｉｎｋが選択されソースｓ側のｔ−ｌｉｎｋはカットされて（図１０の１００３のケース）、数７式を用いて数３式のＥ（Ｘ）の第１項が計算された場合に、その計算結果が小さくなれば、その画素の領域ラベル値としては１が選択される。そして、そのグラフカット状態が採用される。計算結果が小さくならなければ、そのグラフカット状態は採用されず、他のリンクの探索およびグラフカットが試みられる。
【００７７】
一方、数３式のエネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記領域分割（グラフカット）処理により、領域ラベルベクトルＸ中の領域ラベル値が０または１で連続すべき主要被写体領域内部または背景領域内部の画素間では、数８式のコスト値が０となる。従って、数８式の計算結果は、エネルギー関数Ｅ（Ｘ）の第２項のコスト値の計算には影響しない。また、その画素間のｎ−ｌｉｎｋは、数８式がコスト値０を出力するように、カットされずに維持される。
【００７８】
ところが、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記領域分割（グラフカット）処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間のカラー画素値（輝度値）の差が小さければ、数８式のコスト値が大きくなる。この結果、数３式のエネルギー関数Ｅ（Ｘ）の値が押し上げられる。このようなケースは、同一領域内で第１項の値による領域ラベル値の判定がたまたま反転するような場合に相当する。従って、このようなケースでは、エネルギー関数Ｅ（Ｘ）の値が大きくなって、そのような領域ラベル値の反転は選択されない結果となる。また、この場合には、数８式の計算結果が、上記結果を維持するように、それらの画素間のｎ−ｌｉｎｋは、カットされずに維持される。
【００７９】
これに対して、エネルギー関数Ｅ（Ｘ）の第１項の計算に係る上記領域分割（グラフカット）処理により、近傍画素間で、領域ラベル値が０と１の間で変化した場合に、それらの画素間のカラー画素値（輝度値）の差が大きければ、数８式のコスト値が小さくなる。この結果、数３式のエネルギー関数Ｅ（Ｘ）の値が押し下げられる。このようなケースは、それらの画素部分が主要被写体領域と背景領域の境界らしいことを意味している。従って、このようなケースでは、これらの画素間で領域ラベル値を異ならせて、主要被写体領域と背景領域の境界を形成する方向に制御される。また、この場合には、境界の形成状態を安定化するために、それらの画素間のｎ−ｌｉｎｋがカットされて、数３式の第２項のコスト値が０にされる（図１０の１００４のケース）。
【００８０】
以上の判定制御処理が、ソースｓのノードを起点にして、順次各画素のノードをたどりながら繰り返されることにより、図１０の１００１で示されるようなグラフカットが実行され、エネルギー関数Ｅ（Ｘ）の最小化処理が現実的な時間で計算される。この処理の具体的な手法としては、例えば、「Ｙ．Ｂｏｙｋｏｖ  ａｎｄ  Ｇ．Ｆｕｎｋａ−Ｌｅａ：“Ｉｎｔｅｒａｃｔｉｖｅ  Ｇｒａｐｈ  Ｃｕｔｓ  ｆｏｒ  Ｏｐｔｉｍａｌ  Ｂｏｕｎｄａｒｙ  ＆  Ｒｅｇｉｏｎ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  Ｏｂｊｅｃｔｓ  ｉｎ  Ｎ−Ｄ  Ｉｍａｇｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  “Ｉｎｔｅｒｎａｔｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ”，Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，ｖｏｌ．Ｉ，ｐ．１０５−１１２，Ｊｕｌｙ  ２００１．」に記載されている手法を採用することができる。
【００８１】
そして、各画素ごとに、ソースｓ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として０、すなわち主要被写体領域の画素を示すラベルが付与される。逆に、シンクｔ側のｔ−ｌｉｎｋが残っていれば、その画素の領域ラベル値として１、すなわち背景領域の画素を示すラベルが付与される。最終的に、領域ラベル値が０となる画素の集合として、主要被写体領域が得られる。
【００８２】
図１１は、上述した動作原理に基づく図６のステップＳ６０２の領域分割処理を示すフローチャートである。
【００８３】
まず、図３のＤＲＡＭ３１４に得られているスルー画像データ（図１の事前取得した画像データ１０６に対応）の１枚分から、カラー画素値Ｉ（Ｖ）が１つずつ読み込まれる（図１１のステップＳ１１０１）。
【００８４】
次に、ステップＳ１１０１で読み込まれた画素が、ユーザによって指定された矩形枠内の画素であるか否かが判定される（図１１のステップＳ１１０２）。
【００８５】
ステップＳ１１０２の判定がＹＥＳの場合には、前述した数６式、数７式、および数８式に基づいて、主要被写体領域らしさを示すコスト値、背景領域らしさを示すコスト値、および境界らしさを示すコスト値が、それぞれ算出される（図１１のステップＳ１１０３、Ｓ１１０４、およびＳ１１０５）。なお、θ（ｃ、０）の初期値は、学習用に用意した複数枚（数百枚程度）の主要被写体の領域から算出される。同様に、θ（ｃ、１）の初期値は、学習用に用意した複数枚（数百枚程度）の背景の領域から算出される。
【００８６】
一方、ステップＳ１１０２の判定がＮＯの場合には、矩形の枠外には主要被写体領域はないため、そこが主要被写体領域と判定されないようにするために、主要被写体領域らしさを示すコスト値ｇv (Ｘv )が、次式のように一定の大きな値Ｋとされる。
【数９】
2014119725.tif 000011
ここで、Ｋは、次式に示されるように、任意のピクセルの平滑化項の総和よりも大きい値を設定しておく（以上、図１１のステップＳ１１０６）。
【数１０】
2014119725.tif 000012
【００８７】
また、矩形の枠外が必ず背景領域と判定されるようにするために、背景領域らしさを示すコスト値ｇv (Ｘv )が、次式のように０とされる（図１１のステップＳ１１０７）。
【数１１】
2014119725.tif 000013
【００８８】
さらに、矩形の枠外は全て背景領域であるため、ｈuv（Ｘu ,Ｘv ）の値は０とされる（図１１のステップＳ１１０８）。
【００８９】
以上の処理の後、画像内に処理すべき画素が残っているか否かが判定される（図１１のステップＳ１１０９）。
【００９０】
処理すべき画素がありステップＳ１１０９の判定がＹＥＳならば、ステップＳ１１０１の処理に戻って、上記処理が繰り返される。
【００９１】
処理すべき画素がなくなりステップＳ１１０９の判定がＮＯになると、画像内の全ての画素について求まったコスト値を用いて、数３式のエネルギー関数Ｅ（Ｘ）が計算されながら、Ｇｒａｐｈ Ｃｕｔｓアルゴリズムが実行され、主要被写体２０１（図２参照）と背景が領域分割される（ステップＳ１１１０）。
【００９２】
以上のようにして、本実施形態では、小さな花のような主要被写体であっても露出または焦点を自動的に合わせることが可能となる。
【００９３】
以上の実施形態の説明では、主要被写体が花である場合を例に説明したが、主要被写体としては、花に限られず、様々なオブジェクトを採用することができる。
【００９４】
以上の実施形態の説明では、算出されたフォーカスポイントがユーザに提示されてユーザが最終的なフォーカスポイントを選択している（図４または図５のステップＳ４１０およびＳ４１１）。これに対して、ステップＳ４０８で得られたフォーカスポイントのうちの最大値のフォーカスポイントに基づいて、ステップＳ４１２の露出および焦点の制御処理が自動的に実行されるようにしてもよい。
また、ステップＳ４０８で得られたフォーカスポイントのうちの最大値のフォーカスポイントをデフォルトのポイントとして、色を変えるなどして目立つようにして提示してもよい。
【００９５】
また、焦点を合わせる時に、コントラスト方式などで一定の範囲の画素情報が必要な場合、グリットの点の周辺の主要被写体らしさを再度調査して、閾値を超えるポイントだけを処理対象としてもよい。
また、その際に、焦点を合わせるのに必要な面積を確保できない場合は、そのグリット位置のフォーカスポイントを解除を外し、次にスコアの高いグリット位置上にフォーカスを合わせに行ってもいい。
【００９６】
露出または焦点は、その少なくとも一方が制御されてもよい。
【００９７】
以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
被写体を撮像する撮像手段と、
前記撮像手段により前記被写体を撮像して画像データを事前取得する画像データ事前取得手段と、
前記事前取得した画像データを縦横にそれぞれ分割して得たグリッド位置の画素毎に彩度を前記主要被写体らしさを示す値として算出し、該主要被写体らしさを示す値が所定の閾値に比較して大きいグリッド位置の画素を、前記主要被写体らしい画素であると識別する主要被写体画素識別手段と、
前記識別された前記主要被写体らしい画素に基づいて露出または焦点のうちの少なくとも１つを制御して、前記撮像手段により前記被写体を撮像し画像データを本取得して出力する画像データ本取得手段と、
を備えることを特徴とする露出、焦点制御装置。
（付記２）
前記主要被写体画素識別手段は、
前記事前取得した画像データ内の各画素に付与する主要被写体または背景を示す領域ラベルを更新しながら、該領域ラベルと前記各画素の画素値に基づき、前記主要被写体を示す画像から算出した前記画素値に関する第１のヒストグラムの値が大きいほど値が小さくなるコスト項と、前記背景を示す画像から算出した前記画素値に関する第２のヒストグラムの値が大きいほど値が小さくなるコスト項を含むエネルギー関数の最小化処理により、前記画像内で前記主要被写体と前記背景を領域分割し、
前記事前取得した画像データを縦横にそれぞれ分割して得たグリッド位置の画素毎に、該画素の値をビン値とする前記領域分割により得られる前記第１のヒストグラムの値を前記主要被写体らしさを示す値として算出し、該主要被写体らしさを示す値が所定の閾値に比較して大きいグリッド位置の画素を、前記主要被写体らしい画素であると識別する、
ことを特徴とする付記１に記載の露出、焦点制御装置。
（付記３）
前記主要被写体画素識別手段は、Ｇｒａｐｈ  Ｃｕｔｓ法により前記エネルギー関数の最小化処理を実行する、
ことを特徴とする付記２に記載の露出、焦点制御装置。
（付記４）
被写体を撮像する撮像ステップと、
前記撮像ステップにより前記被写体を撮像して画像データを事前取得する画像データ事前取得ステップと、
前記事前取得した画像データを縦横にそれぞれ分割して得たグリッド位置の画素毎に彩度を前記主要被写体らしさを示す値として算出し、該主要被写体らしさを示す値が所定の閾値に比較して大きいグリッド位置の画素を、前記主要被写体らしい画素であると識別する主要被写体画素識別ステップと、
前記識別された前記主要被写体らしい画素に基づいて露出または焦点のうちの少なくとも１つを制御して、前記撮像手段により前記被写体を撮像し画像データを本取得して出力する画像データ本取得ステップと、
を備えることを特徴とする露出、焦点制御方法。
（付記５）
被写体を撮像する撮像ステップと、
前記撮像ステップにより前記被写体を撮像して画像データを事前取得する画像データ事前取得ステップと、
前記事前取得した画像データを縦横にそれぞれ分割して得たグリッド位置の画素毎に彩度を前記主要被写体らしさを示す値として算出し、該主要被写体らしさを示す値が所定の閾値に比較して大きいグリッド位置の画素を、前記主要被写体らしい画素であると識別する主要被写体画素識別ステップと、
前記識別された前記主要被写体らしい画素に基づいて露出または焦点のうちの少なくとも１つを制御して、前記撮像手段により前記被写体を撮像し画像データを本取得して出力する画像データ本取得ステップと、
をコンピュータに実行させるためのプログラム。
【符号の説明】
【００９８】
１０１  撮像手段
１０２  画像データ事前取得手段
１０３  主要被写体画素識別手段
１０４  画像データ本取得手段
１０５  被写体
１０６  事前取得した画像データ
１０７  主要被写体らしい画素
１０８  本取得した画像データ
３０１  デジタルカメラ
３０２  撮像レンズ
３０３  補正レンズ
３０４  レンズ駆動ブロック
３０５  絞り兼用シャッタ
３０６  ＣＣＤ
３０７  垂直ドライバ
３０８  ＴＧ（Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｏｒ：タイミング発生回路）
３０９  ユニット回路
３１０、３１６、３１８、３１９、３２１、３２３  ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）コントローラ
３１１  ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：中央演算処理装置）
３１２  キー入力部
３１３  メモリ
３１４  ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）
３１５  通信部
３１７  画像生成部
３２０  表示部
３２２  圧縮伸張部
３２４  フラッシュメモリ
３２５  バス
【図１】
2014119725.tif 000014
【図３】
2014119725.tif 000015
【図４】
2014119725.tif 000016
【図５】
2014119725.tif 000017
【図６】
2014119725.tif 000018
【図１１】
2014119725.tif 000019
【図２】
2014119725.tif 000020
【図７】
2014119725.tif 000021
【図８】
2014119725.tif 000022
【図９】
2014119725.tif 000023
【図１０】
2014119725.tif 000024