(57)【要約】【課題】より確実に被写体を追尾する。【解決手段】輝度色範囲設定部２３は、画像に写されている被写体の位置を含む所定領域の輝度および色を取得し、その輝度を含む所定の輝度範囲、および、その色を含む所定の色範囲を設定する。候補領域抽出部２４は、次の画像から、輝度範囲内の輝度であり、かつ、色範囲内の色である画像領域を被写体候補領域として抽出し、被写体検出部２５は、被写体候補領域から被写体を検出する。そして、被写体検出部２５が被写体の検出に失敗した場合、拡張幅決定部２７が、輝度範囲を拡張する拡張幅を決定し、輝度色範囲設定部２３は、決定された拡張幅で拡張して輝度範囲を更新する。本発明は、例えば、デジタルカメラに適用できる。【選択図】図３
2012014558.tif 000002
【特許請求の範囲】
【請求項１】
画像に写されている被写体の位置を含む所定領域の輝度および色を取得する取得手段と、
前記取得手段により取得された前記輝度を含む所定の輝度範囲、および、前記取得手段により取得された前記色を含む所定の色範囲を設定する輝度色範囲設定手段と、
前記画像の次の画像から、前記輝度範囲内の輝度であり、かつ、前記色範囲内の色である画像領域を抽出して、前記次の画像に写されている被写体を検出する処理を行う被写体検出手段と、
前記被写体検出手段の処理において被写体の検出に失敗した場合、前記輝度範囲を拡張する拡張幅を決定する拡張幅決定手段と
を備え、
前記輝度色範囲設定手段は、前記拡張幅決定手段により決定された前記拡張幅で拡張して前記輝度範囲を更新する
画像処理装置。
【請求項２】
前記拡張幅決定手段は、前記取得手段により取得された輝度および色に応じて、前記輝度範囲の上限値を上側に拡張する前記拡張幅、および、前記輝度範囲の下限値を下側に拡張する前記拡張幅のうちの少なくとも一方を決定する
請求項１に記載の画像処理装置。
【請求項３】
前記拡張幅決定手段は、前記画像の撮像シーンに応じて、前記輝度範囲の上限値を上側に拡張する前記拡張幅、および、前記輝度範囲の下限値を下側に拡張する前記拡張幅のうちの少なくとも一方を決定する
請求項１に記載の画像処理装置。
【請求項４】
前記拡張幅決定手段は、前記輝度色範囲設定手段により前記輝度範囲が更新された回数に基づいて、前記輝度範囲の上限値を上側に拡張する前記拡張幅、および、前記輝度範囲の下限値を下側に拡張する前記拡張幅のうちの少なくとも一方を決定する
請求項１に記載の画像処理装置。
【請求項５】
画像に写されている被写体の位置を含む所定領域の輝度および色を取得し、
前記輝度を含む所定の輝度範囲、および、前記色を含む所定の色範囲を設定し、
前記画像の次の画像から、前記輝度範囲内の輝度であり、かつ、前記色範囲内の色である画像領域を抽出して、前記次の画像に写されている被写体を検出する処理を行い、
前記処理において被写体の検出に失敗した場合、前記輝度範囲を拡張する拡張幅を決定し、
決定された前記拡張幅で拡張して前記輝度範囲を更新する
ステップを含む画像処理方法。
【請求項６】
画像に写されている被写体の位置を含む所定領域の輝度および色を取得し、
前記輝度を含む所定の輝度範囲、および、前記色を含む所定の色範囲を設定し、
前記画像の次の画像から、前記輝度範囲内の輝度であり、かつ、前記色範囲内の色である画像領域を抽出して、前記次の画像に写されている被写体を検出する処理を行い、
前記処理において被写体の検出に失敗した場合、前記輝度範囲を拡張する拡張幅を決定し、
決定された前記拡張幅で拡張して前記輝度範囲を更新する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項７】
画像に写されている被写体の位置を含む所定領域の輝度および色を取得し、
前記輝度を含む所定の輝度範囲、および、前記色を含む所定の色範囲を設定し、
前記画像の次の画像から、前記輝度範囲内の輝度であり、かつ、前記色範囲内の色である画像領域を抽出して、前記次の画像に写されている被写体を検出する処理を行い、
前記処理において被写体の検出に失敗した場合、前記輝度範囲を拡張する拡張幅を決定し、
決定された前記拡張幅で拡張して前記輝度範囲を更新する
ステップを含む処理をコンピュータに実行させるプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置、プログラム、および記録媒体に関し、特に、より確実に被写体を追尾することができるようにした画像処理方法、画像処理装置、プログラム、および記録媒体に関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラやデジタルビデオカメラなど（以下、適宜、デジタルカメラと称する）には、ユーザが選択した被写体に対して各種パラメータ（例えば、フォーカスや明るさなど）が最適となるように調整する機能が搭載されている。
【０００３】
例えば、特許文献１には、ユーザにより選択された被写体が写されている領域の色情報に基づいて、被写体にフォーカス調整を行うことができる撮像装置が開示されている。
【０００４】
また、近年、被写体を追尾する機能が搭載されているデジタルカメラでは、フレーム間における被写体の紐付けを行うことで被写体を追尾して、フォーカスの調整を連続的に行うことができる。一般的に、被写体追尾処理では、まず、ユーザが被写体を選択すると、その被写体が写されている位置が特定され、その位置の特徴量（例えば、色）が画像から抽出される。そして、次の画像において、特定した位置の近傍領域から、抽出した特徴量に最も一致する領域が検出され、次の画像に写されている被写体の位置として特定される。
【０００５】
ここで、図１を参照して、従来の被写体追尾処理について説明する。
【０００６】
例えば、ユーザが、犬を被写体としてデジタルカメラで撮像を行っているとき、その犬が写されている画像Ｐ１１がデジタルカメラの表示部に表示される。ユーザが、追尾の対象とする被写体が写されている位置として、図示されている指マークの先端を指定した場合、デジタルカメラは、その位置を特定して位置情報を取得するとともに、その位置の色情報（例えば、輝度Ｙ、色差Ｃｒ、および色差Ｃｂ）を取得する。
【０００７】
そして、デジタルカメラでは、ユーザが指定した位置から取得した色情報に基づいて、色情報の輝度を含む所定の輝度範囲内であり、かつ、色情報の色を含む所定の色範囲内である画像領域を、ユーザが位置を指定した画像の次の画像から探索する。例えば、色空間Ｃ１１に示すように、ユーザが指定した位置から取得した色情報で示される色差Ｃｒおよび色差Ｃｂを中心とした所定の半径の円形範囲が、探索を行う色範囲として被写体追尾処理が行われる。
【０００８】
また、デジタルカメラは、画像の全体から輝度範囲内および色範囲内の画像領域を探索する他、例えば、１つ前の画像で特定された位置の近傍領域を、被写体追尾処理において探索を行う範囲とする。例えば、画像Ｐ１１で指定された位置情報に基づいて、その位置の近傍領域として、例えば、画像Ｐ１２に示されているサーチ枠Ｆ１１で囲われている領域が、探索を行う範囲とされる。なお、デジタルカメラは、適宜、サーチ枠Ｆ１１の大きさを変更することができる。
【０００９】
そして、サーチ枠Ｆ１１内において、輝度範囲内および色範囲内の画像領域を探索した結果、輝度範囲内および色範囲内であると検出された画像領域が、被写体の候補となる被写体候補領域（サーチ枠Ｆ１１内において破線で囲われた領域）として抽出される。また、複数の被写体候補領域が抽出されると、デジタルカメラでは、それらの被写体候補領域から最も被写体らしい位置が算出される。これにより、被写体が検出され、画像Ｐ１３に示すように、ユーザが指定した位置に表示されている被写体に対して追尾枠Ｆ１２が設定される。
【００１０】
このように被写体が検出されると、このフレームで特定された被写体の色情報および位置情報に基づいて、次のフレームにおいて被写体を検出する処理が繰り返され、被写体追尾処理が継続される。
【００１１】
ところで、撮像を継続していると撮像環境が変化し、光源や照度などが変動したり、被写体の姿勢や大きさなどが変動したりする。例えば、画像Ｐ１４に示すように被写体の姿勢が変動したとき、画像Ｐ１４に示されているサーチ枠Ｆ１３で囲われた範囲を探索しても、１つ前の画像の被写体に基づいた輝度範囲内および色範囲内である画像領域を検出することができないことがある。この場合、デジタルカメラでは、輝度範囲を固定したまま、色範囲が拡大される。
【００１２】
即ち、色空間Ｃ１２に示すように、探索に用いる色の色範囲が、色空間Ｃ１１に示されていた色範囲よりも拡大される。このように色範囲を拡大して再度探索を行うことにより、その色範囲内の画像領域が検出される。
【００１３】
しかしながら、このように色範囲を拡大したことにより、多くの画像領域が被写体候補領域として抽出されてしまい、その結果、誤検出が増えることになる。例えば、色マップＭ１１に示すように、被写体が写されていた位置から離れた箇所から被写体候補領域が抽出されることがある。このような被写体候補領域が抽出されても、デジタルカメラでは、被写体が正しく検出されなかったと判断されて、被写体追尾処理が中止（ギブアップ）される。そして、被写体追尾処理が中止されると、画像Ｐ１５に示すように、デジタルカメラの表示部には、被写体を追尾に失敗したことを示すメッセージ「追尾を終了しました」が表示される。
【００１４】
また、被写体の追尾が失敗する原因としては、他物体とのオクルージョンにより発生する被写体の陰影変動や、デジタルカメラのオートホワイトバランスまたは自動露出の変動などがある。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００６−７２３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
上述したように、従来の被写体追尾処理では、撮像環境が変化して被写体を検出することができない場合には、色領域を拡大して被写体を検出することが行われていた。しかしながら、色領域を拡大しただけでは被写体を検出することができないことがあり、撮像環境が変化した場合、被写体を確実に追尾することは困難であった。従って、より確実に被写体を追尾することができる機能が求められていた。
【００１７】
本発明は、このような状況に鑑みてなされたものであり、より確実に被写体を追尾することができるようにするものである。
【課題を解決するための手段】
【００１８】
本発明の一側面の画像処理装置は、画像に写されている被写体の位置を含む所定領域の輝度および色を取得する取得手段と、前記取得手段により取得された前記輝度を含む所定の輝度範囲、および、前記取得手段により取得された前記色を含む所定の色範囲を設定する輝度色範囲設定手段と、前記画像の次の画像から、前記輝度範囲内の輝度であり、かつ、前記色範囲内の色である画像領域を抽出して、前記次の画像に写されている被写体を検出する処理を行う被写体検出手段と、前記被写体検出手段の処理において被写体の検出に失敗した場合、前記輝度範囲を拡張する拡張幅を決定する拡張幅決定手段とを備え、前記輝度色範囲設定手段は、前記拡張幅決定手段により決定された前記拡張幅で拡張して前記輝度範囲を更新する。
【００１９】
本発明の一側面の画像処理方法、プログラム、または、記録媒体に記録されているプログラムは、画像に写されている被写体の位置を含む所定領域の輝度および色を取得し、前記輝度を含む所定の輝度範囲、および、前記色を含む所定の色範囲を設定し、前記画像の次の画像から、前記輝度範囲内の輝度であり、かつ、前記色範囲内の色である画像領域を抽出して、前記次の画像に写されている被写体を検出する処理を行い、前記処理において被写体の検出に失敗した場合、前記輝度範囲を拡張する拡張幅を決定し、決定された前記拡張幅で拡張して前記輝度範囲を更新するステップを含む。
【００２０】
本発明の一側面においては、画像に写されている被写体の位置を含む所定領域の輝度および色が取得され、その輝度を含む所定の輝度範囲、および、その色を含む所定の色範囲が設定される。また、次の画像から、輝度範囲内の輝度であり、かつ、色範囲内の色である画像領域が抽出され、次の画像に写されている被写体を検出する処理が行われる。そして、被写体を検出する処理において被写体の検出に失敗した場合、輝度範囲を拡張する拡張幅が決定され、その拡張幅で拡張されて輝度範囲が更新される。
【発明の効果】
【００２１】
本発明の一側面によれば、より確実に被写体を追尾することができる。
【図面の簡単な説明】
【００２２】
【図１】従来の被写体追尾処理について説明する図である。
【図２】本発明の被写体追尾処理について説明する図である。
【図３】本発明を適用したデジタルカメラの一実施の形態の構成例を示すブロック図である。
【図４】色に応じた輝度範囲および色範囲の設定について説明する図である。
【図５】画像の撮像シーンに応じた輝度範囲の拡張について説明する図である。
【図６】拡張回数に応じた輝度範囲の拡張について説明する図である。
【図７】色に応じた輝度範囲の拡張について説明する図である。
【図８】被写体追尾処理を説明するフローチャートである。
【図９】拡張幅決定処理を説明するフローチャートである。
【図１０】被写体追尾処理により追尾可能となる画像例を示す図である。
【図１１】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２４】
まず、図２を参照して、本発明における被写体追尾処理について説明する。
【００２５】
図１を参照して説明したのと同様に、画像Ｐ１１に図示されている指マークの先端（図１と同一箇所）をユーザが指定し、その位置から取得した色情報に基づく輝度範囲および色範囲の画像領域が、画像Ｐ１２のサーチ枠Ｆ１１内で探索される。そして、その探索の結果、被写体が検出され、画像Ｐ１３に示すように追尾枠Ｆ１２が設定されて被写体追尾処理が行われる。その後、撮像環境が変化することにより、画像Ｐ１４に示されるサーチ枠Ｆ１３内において、探索に用いられる輝度範囲内および色範囲内の画像領域を検出することができなかったとする。
【００２６】
本発明の被写体追尾処理では、輝度色空間ＹＣ１１に示すように特定される輝度範囲内および色範囲内にある画像領域が探索される。輝度色空間は、水平方向に色差ＣｒおよびＣｂを表し、垂直方向に輝度Ｙを表す空間であり、輝度色空間ＹＣ１１に示されている円柱内の領域が、探索に用いられる輝度範囲および色範囲を表している。
【００２７】
そして、その輝度範囲内および色範囲内にある画像領域を検出することができなかった場合、輝度色空間ＹＣ１２に示すように、輝度範囲が拡張される。即ち、輝度範囲の上限の閾値が上方向に拡大されるとともに、輝度範囲の下限の閾値が下方向に拡大され、図示されている円柱が上下に引き伸ばされる。
【００２８】
このように輝度範囲を拡張することにより、色マップＭ１２に示すように、拡張後の輝度範囲内となる画像領域が検出される。これにより、被写体を追尾することができ、画像Ｐ１５’に示すように追尾枠Ｆ１４が設定される。
【００２９】
図３は、本発明を適用したデジタルカメラの一実施の形態の構成例を示すブロック図である。
【００３０】
図３において、デジタルカメラ１１は、レンズ１２、撮像部１３、表示部１４、外部I/F（Interface）１５、および画像処理部１６を備えて構成される。
【００３１】
レンズ１２は、例えば、ズーム機能などを備えた複数枚のレンズ群により構成されており、被写体からの光を集光して、撮像部１３が有する撮像素子の撮像面に、被写体の像を結像する。撮像部１３は、例えば、CCD（Charge Coupled Device）や、CMOS(Complementary Metal Oxide Semiconductor)センサなどで構成され、被写体の像を撮像し、その撮像によって得られる画像を画像処理部１６に出力する。
【００３２】
表示部１４は、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence）ディスプレイなどで構成され、撮像部１３で撮像され、画像処理部１６において画像処理が施されて出力される画像、例えば、被写体が被写体枠で囲われた画像を表示する。外部I/F１５は、画像処理部１６から出力される画像を、例えば、図示しない外部ディスプレイの出力するための端子などで構成される。
【００３３】
画像処理部１６は、撮像部１３により撮像された画像に対して画像処理を施し、その画像を表示部１４および外部I/F１５に出力する。画像処理部１６は、例えば、画像に写されている被写体を検出して追尾する被写体追尾処理を行い、追尾中の被写体の所定範囲を囲う追尾枠を画像に合成する画像処理を行う。
【００３４】
画像処理部１６は、画像メモリ２１、タッチ検出部２２、輝度色範囲設定部２３、候補領域抽出部２４、被写体検出部２５、追尾枠設定部２６、および拡張幅決定部２７を備えて構成される。
【００３５】
画像メモリ２１には、撮像部１３により撮像された画像のデータが順次供給され、画像メモリ２１は、供給される画像のデータを順次記憶する。
【００３６】
タッチ検出部２２は、表示部１４の画面に重畳するように実装されているタッチパネル（図示せず）からの信号に基づいて、ユーザが表示部１４の画面をタッチすると、そのタッチされた位置（タッチ位置）を検出する。そして、タッチ検出部２２は、タッチ位置を示す情報を輝度色範囲設定部２３に供給する。
【００３７】
輝度色範囲設定部２３は、画像メモリ２１に記憶されている画像のタッチ位置およびその周辺の所定領域における輝度および色を取得し、その輝度を中心とした所定の範囲の輝度範囲、および、その色を中心とした所定の範囲の色範囲を設定する。即ち、輝度色範囲設定部２３は、図２の輝度色空間ＹＣ１１に示したような輝度範囲および色範囲を設定する。
【００３８】
ここで、輝度色範囲設定部２３が設定する輝度範囲および色範囲は、予め決められた固定の範囲（固定の高さおよび半径）を用いる他、例えば、画像のタッチ位置における色に応じて可変の範囲を用いることができる。例えば、画像のタッチ位置における色が無彩色である場合、輝度範囲および色範囲は狭く設定され、画像のタッチ位置における色が有彩色である場合、輝度範囲および色範囲は広く設定される。
【００３９】
即ち、図４に示す輝度色空間ように、画像のタッチ位置における色が輝度色空間の原点に近い位置（無彩色）である場合には、色範囲を規定する半径が小さく設定されるとともに、輝度範囲を規定する高さが低く設定される。一方、画像のタッチ位置における色が輝度色空間の原点から離れた位置（有彩色）である場合には、色範囲を規定する半径が大きく設定されるとともに、輝度範囲を規定する高さが高く設定される。このように色に応じて相対的に輝度範囲および色範囲を可変的に設定することができる。
【００４０】
また、輝度色範囲設定部２３は、設定した輝度範囲および色範囲に従って被写体を検出することができなかった場合、図２の輝度色空間ＹＣ１２に示したように、輝度範囲を拡張して更新する。
【００４１】
候補領域抽出部２４は、輝度色範囲設定部２３により設定された輝度範囲および色範囲に従って探索を行う探索範囲（例えば、図２の画像Ｐ１２のサーチ枠Ｆ１１に囲われた範囲）を設定する。そして、候補領域抽出部２４は、設定した探索範囲内において、輝度色範囲設定部２３により設定された輝度範囲内および色範囲内にある画像領域を探索し、画像メモリ２１に記憶されている画像から、被写体の候補となる被写体候補領域を抽出する。
【００４２】
例えば、候補領域抽出部２４は、処理の開始時には、タッチ検出部２２により検出されたタッチ位置の近傍の領域を探索範囲として設定し、被写体が検出された後には、前の画像で被写体が検出された位置の近傍の領域を探索範囲として設定する。そして、候補領域抽出部２４は、例えば、探索範囲にある各画素の輝度および色が、輝度範囲内および色範囲内であるかどうかを求め、輝度範囲内および色範囲内である画素からなる領域を、被写体候補領域として抽出する。
【００４３】
被写体検出部２５は、候補領域抽出部２４により抽出された被写体候補領域から、被写体が写されていると最も推測される領域を算出して、被写体を検出する。例えば、被写体検出部２５は、それらの被写体候補領域と１つ前の画像における被写体とから算出される特徴量（例えば、大きさ、位置、輝度値の差分や勾配ヒストグラムなど）のスコアに基づいて、被写体を検出する。
【００４４】
被写体検出部２５が被写体の検出に成功した場合、被写体検出部２５は、検出した被写体の位置情報を追尾枠設定部２６に供給し、追尾枠設定部２６は、その位置情報に基づいて、画像メモリ２１に記憶されている画像に対して、追尾枠を設定する。また、被写体検出部２５は、検出した被写体の輝度および色を取得し、被写体の位置情報および色情報を輝度色範囲設定部２３に供給して、輝度色範囲設定部２３は、その位置情報および色情報に基づいて、次の画像に対する処理を行う。
【００４５】
一方、被写体検出部２５が被写体の検出に成功しなかった場合、被写体検出部２５は、被写体の検出に失敗した旨を拡張幅決定部２７に通知する。
【００４６】
拡張幅決定部２７は、被写体検出部２５が被写体の検出に失敗した場合、輝度範囲を拡張する拡張幅を決定する拡張幅決定処理を行い、決定した拡張幅を輝度色範囲設定部２３に通知する。これにより、輝度色範囲設定部２３は、通知された拡張幅で輝度範囲を拡張して更新し、候補領域抽出部２４において、拡張後の輝度範囲に従って被写体候補領域を抽出する処理が再度行われる。ここで、拡張幅決定部２７は、画像メモリ２１に記憶されている画像の撮像シーン（画像の明るさなど）に応じて、輝度範囲の拡張幅を決定することができる。
【００４７】
次に、図５に示されている輝度色空間ＹＣ１３乃至ＹＣ１７を参照し、画像の明るさに応じて輝度範囲を拡張する一例について説明する。
【００４８】
例えば、画像が所定の明るさである場合には、輝度色空間ＹＣ１３に示すように、輝度色範囲設定部２３は、輝度の上側（明るい方向）の閾値および下側（暗い方向）の閾値を、それぞれ上下方向に同一の拡張幅で拡張する。
【００４９】
また、画像が所定の明るさより暗い場合、輝度色空間ＹＣ１４に示すように、拡張幅決定部２７は、画像の明るさの度合いに応じた重みを付けに基づいて、輝度の上側の閾値の拡張幅を、下側の閾値の拡張幅よりも広く決定する。さらに、画像の明るさが規定値の下限値以下である場合、拡張幅決定部２７は、輝度色空間ＹＣ１５に示すように、輝度の上側の閾値だけを拡張するように拡張幅を決定する。
【００５０】
一方、画像が所定の明るさより明るい場合、輝度色空間ＹＣ１６に示すように、拡張幅決定部２７は、画像の明るさの度合いに応じた重みを付けに基づいて、輝度の下側の閾値の拡張幅を、上側の閾値の拡張幅よりも広く決定する。さらに、撮像シーンの明るさが規定の上限値以上である場合、拡張幅決定部２７は、輝度色空間ＹＣ１７に示すように、輝度の下側の閾値だけを拡張するように拡張幅を決定する。
【００５１】
例えば、拡張幅決定部２７は、画像が普通の明るさであるときには、具体的には、輝度値を０〜２５５の範囲で表したときに輝度値が中間近辺（例えば、116〜140）であるときには、輝度範囲の上方向および下方向の拡張幅を現在の輝度範囲の１０％と決定する。また、拡張幅決定部２７は、画像が普通の明るさより暗い（例えば、116未満）ときには、輝度範囲の上方向の拡張幅を現在の輝度範囲の２０％とし、輝度範囲の下方向の拡張幅を現在の輝度範囲の５％と決定する。
【００５２】
このように画像の明るさに応じて輝度範囲を適切に拡張することにより、例えば、被写体が明るいところから暗いところに移動した場合や、被写体が暗いところから明るいところに移動した場合などにおいても、被写体を確実に検出することができる。
【００５３】
ところで、拡張後の輝度範囲に従って探索を行っても、被写体を検出することができないとき、被写体検出部２５は、拡張幅決定部２７に対して被写体を検出することができなかった旨を再度通知する。これにより、拡張幅決定部２７が拡張幅を決定し、その拡張幅で輝度範囲を拡張して探索を行う処理が、複数回繰り返される。このとき、拡張幅決定部２７は、前回の輝度範囲の拡張とは異なるように、輝度範囲の拡張幅を決定することができる。
【００５４】
図６を参照して、輝度範囲の拡張を行った回数（拡張回数）に応じた輝度範囲の拡張について説明する。
【００５５】
例えば、輝度色空間ＹＣ１８に従って探索を行った結果、被写体を検出することができなかった場合、１回目の輝度範囲の拡張が行われ、輝度色空間ＹＣ１９に示すように、輝度の上側の閾値が上方向に拡張されるとともに、輝度の下側の閾値が下側に拡張される。そして、拡張後の輝度範囲に従って探索を行った結果、被写体を検出することができなかった場合、２回目の輝度範囲の拡張が行われ、輝度色空間ＹＣ２０に示すように、輝度の下側の閾値のみが（即ち、上側の拡張幅が０に決定されて）拡張される。
【００５６】
このように、拡張幅決定部２７は、輝度範囲の拡張回数に応じて拡張する方向が異なるように輝度範囲を拡張するように拡張幅を決定する。
【００５７】
また、拡張幅決定部２７は、同一の拡張幅（例えば、規定の輝度範囲の１０％の拡張幅など）で輝度範囲の拡張を繰り返すように拡張幅を決定する他、異なる拡張幅で輝度範囲の拡張を繰り返すように拡張幅を決定することができる。例えば、１回目の輝度範囲の拡張では、輝度範囲の１０％の拡張幅で輝度範囲を拡張させ、２回目の輝度範囲の拡張では、輝度範囲の２０％の拡張幅で輝度範囲を拡張させる。そして、３回目の輝度範囲の拡張では、輝度範囲の３０％の拡張幅で輝度範囲を拡張させるというように、輝度範囲の拡張回数が多くなるのに従って拡張幅が広くなるように決定することができる。
【００５８】
このように、拡張回数に従って拡張幅を広くすることで、例えば、固定の拡張幅で輝度範囲を拡張する場合よりも、目的の被写体の検出をより高速に行うことができ、追尾性能を向上させることができる。例えば、輝度範囲の１０％の拡張幅で固定的に拡張した場合に、４回目の拡張で被写体が検出されるような画像に対し、１回目の拡張幅を輝度範囲の１０％とし、２回目の拡張幅を輝度範囲の３０％とした場合には、２回目の拡張で被写体を検出することができる。
【００５９】
また、例えば、拡張幅決定部２７は、１つ前の画像の被写体の輝度および色に応じて、輝度範囲の拡張幅を決定することができる。
【００６０】
例えば、図７に示すように、被写体の輝度および色が、輝度色空間の原点に近い位置（無彩色）である場合には、輝度範囲を拡張する拡張幅が狭く決定され、輝度色空間の原点から離れた位置（有彩色）である場合には、輝度範囲を拡張する拡張幅が広く決定される。このように、拡張幅決定部２７は、被写体の輝度および色に応じて相対的に輝度範囲の拡張幅を可変的に決定することができる。
【００６１】
また、被写体の色が有彩色である場合、彩度に応じて（彩度が高いか低いか）、輝度範囲の拡張幅を決定してもよい。なお、被写体の色に応じて輝度範囲を拡張するとともに、例えば、色範囲を拡張してもよい。
【００６２】
次に、図８は、デジタルカメラ１１が被写体を検出して追尾を行う被写体追尾処理を説明するフローチャートである。
【００６３】
例えば、デジタルカメラ１１が起動して撮像部１３による撮像が開始されると処理が開始され、ステップＳ１１において、タッチ検出部２２は、表示部１４のタッチパネルからの信号に基づいて、ユーザが表示部１４の画面をタッチしたか否かを判定する。そして、タッチ検出部２２が、ユーザが表示部１４の画面をタッチしたと判定するまで処理が待機され、ユーザが表示部１４の画面をタッチしたと判定されると、処理はステップＳ１２に進む。
【００６４】
ステップＳ１２において、タッチ検出部２２は、ユーザがタッチしたタッチ位置を示す情報（座標）を輝度色範囲設定部２３に出力し、輝度色範囲設定部２３は、そのタッチ位置に対応する画素（および、その近辺の画素）の色情報を取得する。そして、輝度色範囲設定部２３は、その色情報の輝度を中心とした輝度範囲、および、その色情報の色（色差）を中心とした色範囲を設定する。
【００６５】
ステップＳ１２の処理後、処理はステップＳ１３に進み、候補領域抽出部２４は、タッチ検出部２２により検出されたタッチ位置の近傍の領域を探索範囲として設定する。そして、候補領域抽出部２４は、ステップＳ１２で輝度色範囲設定部２３が設定した輝度範囲および色範囲に従って、探索範囲から被写体候補領域を抽出し、処理はステップＳ１４に進む。
【００６６】
ステップＳ１４において、被写体検出部２５は、ステップＳ１３で候補領域抽出部２４により抽出された被写体候補領域から、被写体を検出する処理を行う。
【００６７】
ステップＳ１４の処理後、処理はステップＳ１５に進み、被写体検出部２５は、ステップＳ１４の処理により被写体の検出に成功したか否かを判定し、被写体の検出に成功したと判定した場合、処理はステップＳ１６に進む。
【００６８】
ステップＳ１６において、被写体検出部２５は、検出した被写体の位置を示す位置情報を追尾枠設定部２６に供給する。追尾枠設定部２６は、その位置情報に基づいて、画像メモリ２１に記憶されている画像に対して追尾枠を設定する。なお、ステップＳ１６の処理が２回目以降の場合、追尾枠設定部２６は、追尾枠を新たに設定して更新する。
【００６９】
ステップＳ１６の処理後、処理はステップＳ１７に進み、表示部１４は画像の表示を更新し、直前のステップＳ１６で設定された追尾枠が合成された画像を表示して、処理はステップＳ１３に戻り、以下、同様の処理が繰り返される。
【００７０】
ここで、１回目のステップＳ１３では、タッチ位置から求められた輝度範囲および色範囲に従って被写体候補領域が抽出される。これに対し、２回目以降のステップＳ１３の処理では、直前のステップＳ１４で検出された被写体（即ち、１フレーム前の画像の被写体）から求められた輝度範囲および色範囲に従って被写体候補領域が抽出される。また、２回目以降のステップＳ１３の処理での探索範囲は、１フレーム前の画像で検出された被写体の位置の近傍領域とされる。
【００７１】
一方、ステップＳ１５において、被写体の検出に成功しなかった（被写体の検出に失敗した）と判定された場合、処理はステップＳ１８に進む。
【００７２】
ステップＳ１８において、被写体検出部２５は、被写体の検出に失敗した回数が、規定回数以上であるか否かを判定する。被写体検出部２５が、被写体の検出に失敗した回数が規定回数以上でない（規定回数未満である）と判定した場合、処理はステップＳ１３に戻り、次の画像を処理の対象として、以下、同様の処理が繰り返される。即ち、現在設定されている輝度範囲および色範囲に従って被写体を検出する処理が、規定回数のフレーム数だけ繰り返して行われる。
【００７３】
一方、ステップＳ１８において、被写体検出部２５が、被写体の検出に失敗した回数が規定回数以上であると判定した場合、処理はステップＳ１９に進む。
【００７４】
ステップＳ１９において、被写体検出部２５は、輝度色範囲設定部２３により設定された輝度範囲を拡張した回数が規定回数以内であるか否かを判定し、輝度範囲を拡張した回数が規定回数以内であると判定した場合、処理はステップＳ２０に進む。
【００７５】
ステップＳ２０において、被写体検出部２５は、拡張幅決定部２７に対して被写体の検出に失敗した旨を通知する。これに応じて、拡張幅決定部２７は、輝度範囲を拡張する拡張幅を決定する拡張幅決定処理を行い、処理はステップＳ２１に進む。拡張幅決定処理については、図９を参照して後述する。
【００７６】
ステップＳ２１において、輝度色範囲設定部２３は、ステップＳ２０の拡張幅決定処理で決定された拡張幅で輝度範囲を拡張して輝度範囲を更新する。また、輝度色範囲設定部２３は、必要に応じて色範囲も更新する。ステップＳ２１の処理後、処理はステップＳ１３に戻り、拡張後の輝度範囲および色範囲に従って被写体候補領域が抽出され、以下、同様の処理が繰り返される。
【００７７】
一方、ステップＳ１９において、被写体検出部２５が、輝度色範囲設定部２３により輝度範囲を拡張した回数が規定回数以内でない（規定回数より大である）と判定した場合、処理はステップＳ１１に戻る。即ち、この場合、被写体を追尾することができず、ユーザが被写体を再度指定するまで処理が待機される。
【００７８】
次に、図９は、図８のステップＳ２０における拡張幅決定処理を説明するフローチャートである。
【００７９】
ステップＳ３１において、拡張幅決定部２７は、画像メモリ２１に記憶されている画像が所定の明るさであるか否かを判定する。
【００８０】
ステップＳ３１において、画像が所定の明るさでないと判定されると、処理はステップＳ３２に進み、拡張幅決定部２７は、画像の明るさに応じたパラメータを取得する。即ち、図５を参照して説明したように、画像の明るさの度合いに応じた重み付けに基づいて輝度範囲は拡張される。拡張幅決定部２７には、その重み付けを行うためのパラメータが、画像の明るさに対応付けられて設定されており、拡張幅決定部２７は、画像の明るさ応じてパラメータを取得する。
【００８１】
ステップＳ３２の処理後、またはステップＳ３１で画像が所定の明るさであると判定された場合、処理はステップＳ３３に進み、拡張幅決定部２７は、輝度範囲および色範囲の拡張を行った回数である拡張回数に応じたパラメータを取得する。
【００８２】
即ち、図６を参照して説明したように、輝度範囲の拡張回数に応じた拡張幅で輝度範囲は拡張される。拡張幅決定部２７には、拡張幅を調整するためのパラメータが拡張回数に対応付けられて設定されており、拡張幅決定部２７は、拡張回数に応じてパラメータを取得する。
【００８３】
ステップＳ３３の処理後、処理はステップＳ３４に進み、拡張幅決定部２７は、被写体の色に応じたパラメータを取得する。即ち、図７を参照して説明したように、被写体の色の輝度色空間での原点からの距離に応じて輝度範囲を拡張することができる。拡張幅決定部２７には、拡張幅を調整するためのパラメータが色に対応付けて設定されており、拡張幅決定部２７は、被写体の色に応じてパラメータを取得する。
【００８４】
ステップＳ３４の処理後、処理はステップＳ３５に進み、拡張幅決定部２７は、ステップＳ３２，Ｓ３３、またはＳ３４でそれぞれ取得したパラメータを用いて、輝度領域および色領域を拡張する拡張幅を算出する。例えば、拡張幅決定部２７は、基準となる拡張幅に対して、それぞれのパラメータを乗算することによって拡張幅を算出する。ステップＳ３５の処理後、拡張幅決定処理は終了する。
【００８５】
以上のように、デジタルカメラ１１では、画像の明るさ、輝度範囲の拡張回数、または、被写体の色に応じて、輝度範囲を拡張する拡張幅を決定するので、画像の状態における最適な拡張幅で輝度範囲を拡張することができる。
【００８６】
なお、画像の明るさに応じたパラメータ、拡張回数に応じたパラメータ、および、検出された色に応じたパラメータの全てを用いて拡張幅を算出する他、これらのパラメータのいずれかを用いて拡張幅を算出してもよい。
【００８７】
また、輝度範囲を拡張して被写体を検出して追尾する処理が行われるので、撮像環境に応じて光源や照度などが変化することにより、オートホワイトバランスまたは自動露出が変動したり、他物体による被写体の明るさが変わる撮像シーンにおいても、被写体を確実に検出することができる。
【００８８】
即ち、図１を参照して説明したように、従来の被写体追尾処理では、色範囲を拡大して被写体を検出することが行われていたが、撮像環境が変化するときには、多くの場合、被写体の色が変化するのではなく輝度が変化するため、色範囲を拡大しても被写体を確実に検出することは困難であった。
【００８９】
これに対し、デジタルカメラ１１では、撮像環境が変化して被写体の輝度が変化することにより被写体を検出することができなくても、輝度範囲を拡張して被写体を検出するので、被写体を確実に検出することができる。これにより、被写体の誤追尾や検出の失敗などを低減することができ、より安定的（長時間、かつ、正確）に被写体を追尾することができる。
【００９０】
また、上述したように画像の明るさに応じて輝度範囲の拡張幅を設定することで、例えば、輝度が高過ぎて飽和（サチレーション）しているときには、輝度範囲の下限の閾値が下方向に拡張される。一方、輝度が低すぎて画像が真っ暗なときには、輝度範囲の上限の閾値を上方向に拡張される。このような画像の明るさに応じて輝度範囲を適切に拡張することにより、従来よりも被写体を検出する確率を向上させることができる。
【００９１】
例えば、図１０に示すように、被写体が明るいところから暗いところに移動した後、明るいところに移動した場合には、従来の被写体追尾処理のように色範囲を拡大しても、被写体を検出することができないことがあった。これに対し、本発明の被写体追尾処理においては、輝度範囲を適切に拡張することで、被写体が明るいところから暗いところに移動し、さらに暗いところから明るいところに移動しても、被写体を確実に検出することができる。
【００９２】
このように屋内から屋外に移動したり、日向から日陰に移動することにより照度が変化したり、他物体により被写体に影が生じた場合、従来よりも安定的に被写体を追尾することができる。
【００９３】
さらに、被写体の色に応じて輝度範囲の拡張幅を決定することで、無彩色な被写体を安定的に追尾することができる。
【００９４】
また、被写体の背景に同色系の物体が存在する場合にも、色範囲のみを拡大しただけでは被写体を検出することは困難であったが、輝度範囲を拡大することにより、被写体を検出することができる。即ち、同系色であっても、前景と背景とでは、輝度が異なることが多く、輝度に基づいて背景の誤検出を低減させることができる。
【００９５】
なお、例えば、デジタルカメラ１１が、各種の撮像モード（人物モードや動物モードなど）を備えている場合、拡張幅決定部２７は、撮像モードを参照して、被写体に最適な拡張幅を決定することができる。
【００９６】
なお、本実施の形態においては、ユーザが表示部１４の画面をタッチすることにより追尾したい被写体を選択しているが、その他の手段により、例えば、操作キーを操作することにより被写体を選択してもよい。また、予め被写体を画角に合わせるためのガイド枠を利用して被写体を選択してもよい。
【００９７】
なお、本発明は、デジタルスチルカメラやデジタルビデオカメラなどのデジタルカメラの他、携帯電話機やパーソナルコンピュータなど、撮像機能を備えた装置に適用することができる。
【００９８】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００９９】
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１００】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１０１】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１０２】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０３】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１０４】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１０５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【０１０６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１０７】
１１  デジタルカメラ，  １２  レンズ，  １３  撮像部，  １４  表示部，  １５  外部I/F，  １６  画像処理部，  ２１  画像メモリ，  ２２  タッチ検出部，  ２３  輝度色範囲設定部，  ２４  候補領域抽出部，  ２５  被写体検出部，  ２６  追尾枠設定部
【図１】
2012014558.tif 000003
【図２】
2012014558.tif 000004
【図３】
2012014558.tif 000005
【図４】
2012014558.tif 000006
【図５】
2012014558.tif 000007
【図６】
2012014558.tif 000008
【図７】
2012014558.tif 000009
【図８】
2012014558.tif 000010
【図９】
2012014558.tif 000011
【図１０】
2012014558.tif 000012
【図１１】
2012014558.tif 000013