(57)【特許請求の範囲】
【請求項１】
撮像手段により撮像された被写体の撮像画像において指定された領域を取得する取得手段と、
前記撮像画像の各画素から抽出される色情報ごとに、前記撮像画像における、前記色情報を有する画素であって、前記指定された領域の内側にある画素の数と、前記色情報を有する画素であって、前記指定された領域の外側にある画素の数の少なくとも一方に基づいて、当該色情報が、前記撮像手段に撮像される画像から予め定められた色の領域を抽出する処理において、前記予め定められた色として有効である有効範囲を設定する有効範囲設定手段と、
前記撮像手段に撮像される画像の各画素の色情報が、当該画素の位置において、前記有効範囲設定手段により前記色情報ごとに設定された前記有効範囲に含まれる場合に、当該画素を前記予め定められた色の領域の一部として抽出する色領域抽出手段とを備えることを特徴とする情報処理装置。
【請求項２】
前記有効範囲設定手段は、前記撮像画像の各画素から抽出される色情報ごとに、前記撮像画像における、前記色情報を有する画素であって、前記指定された領域の内側にある画素の数である第１の数と、前記色情報を有する画素であって、前記指定された領域の外側にある画素の数である第２の数とを、前記撮像手段により撮像される撮像画像のうち中心からの距離に基づいて定義される複数の領域のそれぞれごとに算出するものであって、
前記色情報ごとに、前記複数の領域のうち、前記第１の数が、前記第２の数よりも多い領域を、前記色情報の前記有効範囲として設定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記有効範囲設定手段は、更に、
前記指定された領域の内側にある画素についての、前記撮像画像における位置を示す情報と画素数との関係と、前記指定された領域の外側にある画素についての、前記撮像画像における位置を示す情報と画素数との関係との少なくとも何れか一方を、前記色情報のそれぞれについて導出する関係導出手段を備え、
前記関係導出手段により導出された前記関係に基づいて、前記有効範囲を、前記色情報のそれぞれについて導出することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記関係導出手段は、前記指定された領域の内側にある画素についての、前記撮像画像における位置を示す情報と画素数との関係と、前記指定された領域の外側にある画素についての、前記撮像画像における位置を示す情報と画素数との関係とを、前記色情報のそれぞれについて導出し、
前記有効範囲設定手段は、前記指定された領域の内側にある画素についての、前記撮像画像における位置を示す情報と画素数との関係と、前記指定された領域の外側にある画素についての、前記撮像画像における位置を示す情報と画素数との関係とを比較した結果に基づいて、前記有効範囲を、前記色情報のそれぞれについて導出することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
撮像手段により撮像された被写体の撮像画像において指定された領域を取得する取得手段と、
前記撮像画像のうち、前記指定された領域に含まれる画素から抽出される色情報ごとに、当該色情報が、前記撮像手段に撮像される画像から予め定められた色の領域を抽出する処理において、前記予め定められた色として有効である有効範囲として設定する有効範囲設定手段と、
前記有効範囲設定手段により設定された前記有効範囲よりも多い数の新たな有効範囲における色情報を生成する生成手段と、
前記撮像手段に撮像される画像の各画素の色情報が、当該画素の位置において、前記有効範囲設定手段により前記色情報ごとに設定された前記有効範囲に含まれる場合に、当該画素を前記予め定められた色の領域の一部として抽出する色領域抽出手段とを備え、
前記生成手段は、前記有効範囲設定手段により設定された前記有効範囲のそれぞれから、当該有効範囲に対応する色情報を代表する１つまたは複数の色を抽出し、抽出した色に基づいて、前記新たな有効範囲における色情報を生成することを特徴とする情報処理装置。
【請求項６】
前記生成手段は、前記有効範囲設定手段により設定された前記有効範囲のそれぞれから、当該有効範囲に対応する色情報を代表する１つまたは複数の色として、前記有効範囲設定手段により設定された前記有効範囲の位置に応じて定まる数の色を抽出することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記生成手段は、前記有効範囲設定手段により設定された前記有効範囲のそれぞれから、当該有効範囲に対応する色情報を代表する１つまたは複数の色として、当該色情報に含まれる色の総数に、前記有効範囲設定手段により設定された前記有効範囲の位置に対応する輝度ムラを表す指標に基づいて定まる比率を掛けた数の色を抽出することを特徴とする請求項５に記載の情報処理装置。
【請求項８】
更に、前記色情報のそれぞれにおける前記有効範囲に基づいて、次の撮像における前記被写体の画面内の位置を導出する位置導出手段と、
前記位置導出手段により導出された前記位置を示す情報を出力する出力手段とを備え、
前記有効範囲設定手段は、前記出力手段により前記位置を示す情報が出力されると、その後に前記撮像手段により撮像された被写体の撮像画像から抽出される色情報ごとに前記有効範囲を設定することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記位置導出手段は、前記色情報のそれぞれにおける前記有効範囲の平均とばらつきに基づいて、次の撮像における前記被写体の画面内の位置を導出することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
更に、前記色領域抽出手段により抽出された前記予め定められた色の領域を示す情報を、前記撮像画像に合成して表示装置に表示させる表示手段を備えることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
更に、前記色領域抽出手段により抽出された前記予め定められた色の領域に対する、前記撮像手段からの深度を、複数の前記撮像画像のそれぞれについて導出し、導出した深度に基づいて、前記予め定められた色の抽出に有効な、前記撮像手段からの深度の範囲を導出する深度導出手段を備えることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記予め定められた色は、肌色であることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
【請求項１３】
更に、前記指定された領域に基づいて、前記撮像画像とＣＧとを合成する合成手段を備えることを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
【請求項１４】
撮像手段により撮像された被写体の撮像画像において指定された領域を取得する取得工程と、
前記撮像画像の各画素から抽出される色情報ごとに、前記撮像画像における、前記色情報を有する画素であって、前記指定された領域の内側にある画素の数と、前記色情報を有する画素であって、前記指定された領域の外側にある画素の数の少なくとも一方に基づいて、当該色情報が、前記撮像手段に撮像される画像から予め定められた色の領域を抽出する処理において、前記予め定められた色として有効である有効範囲を設定する有効範囲設定工程と、
前記撮像手段に撮像される画像の各画素の色情報が、当該画素の位置において、前記有効範囲設定工程により前記色情報ごとに設定された前記有効範囲に含まれる場合に、当該画素を前記予め定められた色の領域の一部として抽出する色領域抽出工程とを備えることを特徴とする情報処理方法。
【請求項１５】
撮像手段により撮像された被写体の撮像画像において指定された領域を取得する取得工程と、
前記撮像画像のうち、前記指定された領域に含まれる画素から抽出される色情報ごとに、当該色情報が、前記撮像手段に撮像される画像から予め定められた色の領域を抽出する処理において、前記予め定められた色として有効である有効範囲として設定する有効範囲設定工程と、
前記有効範囲設定工程により設定された前記有効範囲よりも多い数の新たな有効範囲における色情報を生成する生成工程と、
前記撮像手段に撮像される画像の各画素の色情報が、当該画素の位置において、前記有効範囲設定工程により前記色情報ごとに設定された前記有効範囲に含まれる場合に、当該画素を前記予め定められた色の領域の一部として抽出する色領域抽出工程とを備え、
前記生成工程は、前記有効範囲設定工程により設定された前記有効範囲のそれぞれから、当該有効範囲に対応する色情報を代表する１つまたは複数の色を抽出し、抽出した色に基づいて、前記新たな有効範囲における色情報を生成することを特徴とする情報処理方法。
【請求項１６】
請求項１乃至１３のいずれか１項に記載の情報処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、撮像画像における被写体の色を抽出するために用いて好適なものである。
【背景技術】
【０００２】
現実空間に仮想空間の情報をリアルタイムに重ね合せて利用者に提示する複合現実感に関する技術がある。複合現実感では、ビデオカメラなどの撮像装置によって撮像された現実の映像の全域、または一部に、撮像装置の位置・姿勢に応じた仮想空間の画像（Computer Graphics：ＣＧ）を重畳した合成画像を表示する。
【０００３】
現実空間の映像から利用者の手などの領域を抽出することで、現実空間の当該領域とＣＧとの間の干渉が起こっているか否かの判定や、現実空間の当該領域とＣＧとの前後関係の判定を行うことができる。以下の説明では、撮像画像における、利用者の手などの被写体の領域を必要に応じて被写体領域と称する。
【０００４】
被写体領域を抽出する手法には、領域分割を行う手法や、動的に輪郭を抽出する手法や、学習の結果を用いる手法等がある。何れの手法でも、被写体領域の色（例えば肌色）を抽出することにより、初期の被写体領域を検出することが行われる。このように被写体領域の色を抽出する技術として特許文献１〜３に記載の技術がある。
【０００５】
特許文献１には、以下の技術が開示されている。多種多様な人物の肌色データから肌色分布モデルを作成しておく。その後、入力した画像から人物の顔の存在を特定し、特定した顔の領域中の肌色の画素データから肌色分布モデルを作成する。これらの肌色分布モデルを重み付加算して修正肌色分布モデルを作成する。この修正肌色分布モデルを用いて、入力した画像データの各画素に対応する肌色尤度を求める。この肌色尤度と閾値とを比較することによって、入力した画像データの個々の画素データ群に対して肌色であるか否かを判定する。
【０００６】
また、特許文献２には、以下の技術が開示されている。被写体を含まない背景画像と被写体を含む背景画像とのそれぞれから色情報を抽出する。これらの色情報を比較し、被写体を含む背景画像にある色情報のうち、被写体を含まない背景画像にない色情報を、被写体の色情報として登録する。また、被写体領域からユーザーによって指定されたノイズ領域の色情報を調整することで、被写体領域の色の検出精度の向上を図る。
【０００７】
また、特許文献３には、画素位置に応じた色テーブルを作成し、使用する色テーブルを画素ごとに指定し、指定した色テーブルを用いて各画素の色を抽出することが開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２５７０８７号公報
【特許文献２】特開２００５−２２８１４０号公報
【特許文献３】特許第３１１８９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１、２に記載の技術では、画素の位置によって色味が変わる場合、被写体領域の色を正しく抽出することができない虞がある。例えば、カメラの周辺減光のある撮像画像では、中心部と端部でと輝度や色味が変わる。このため、撮像画像の中心付近のみで色情報を登録すると、画面の端部分において色の未検出が増える。一方、画面全域で色情報を登録すると、色の過検出が増える。
【００１０】
一方、特許文献３に記載の技術では、画像の画素毎に色テーブルを作成することで撮像画像の場所によらずに、登録した色を抽出できる。しかしながら、画素毎に複数の色テーブルを作成するので、膨大なメモリが必要になり、実現が容易ではない。
本発明は、このような問題点に鑑みてなされたものであり、撮像画像における被写体領域の色を容易に且つ確実に抽出できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の情報処理装置の第１の例は、撮像手段により撮像された被写体の撮像画像において指定された領域を取得する取得手段と、前記撮像画像の各画素から抽出される色情報ごとに、前記撮像画像における、前記色情報を有する画素であって、前記指定された領域の内側にある画素の数と、前記色情報を有する画素であって、前記指定された領域の外側にある画素の数の少なくとも一方に基づいて、当該色情報が、前記撮像手段に撮像される画像から予め定められた色の領域を抽出する処理において、前記予め定められた色として有効である有効範囲を設定する有効範囲設定手段と、前記撮像手段に撮像される画像の各画素の色情報が、当該画素の位置において、前記有効範囲設定手段により前記色情報ごとに設定された前記有効範囲に含まれる場合に、当該画素を前記予め定められた色の領域の一部として抽出する色領域抽出手段とを備えることを特徴とする。
本発明の情報処理装置の第２の例は、撮像手段により撮像された被写体の撮像画像において指定された領域を取得する取得手段と、前記撮像画像のうち、前記指定された領域に含まれる画素から抽出される色情報ごとに、当該色情報が、前記撮像手段に撮像される画像から予め定められた色の領域を抽出する処理において、前記予め定められた色として有効である有効範囲として設定する有効範囲設定手段と、前記有効範囲設定手段により設定された前記有効範囲よりも多い数の新たな有効範囲における色情報を生成する生成手段と、前記撮像手段に撮像される画像の各画素の色情報が、当該画素の位置において、前記有効範囲設定手段により前記色情報ごとに設定された前記有効範囲に含まれる場合に、当該画素を前記予め定められた色の領域の一部として抽出する色領域抽出手段とを備え、前記生成手段は、前記有効範囲設定手段により設定された前記有効範囲のそれぞれから、当該有効範囲に対応する色情報を代表する１つまたは複数の色を抽出し、抽出した色に基づいて、前記新たな有効範囲における色情報を生成することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮像画像における被写体領域の色を容易に且つ確実に抽出することができる。
【図面の簡単な説明】
【００１３】
【図１】画像処理システムの構成の第１の例を示す図である。
【図２】画像処理システムの外観の構成を示す図である。
【図３】肌色登録処理の第１の例を示すフローチャートである。
【図４】ステップＳ３０３の処理の詳細を示すフローチャートである。
【図５】肌色の画素数の分布と、非肌色の画素数の分布を示す図である。
【図６】色テーブルを説明する図である。
【図７】画像処理システムの構成の第２の例を示す図である。
【図８】撮像位置算出部の処理を示すフローチャートである。
【図９】新たな撮像領域を示す情報の表示例を示す図である。
【図１０】画像処理システムの構成の第３の例を示す図である。
【図１１】有効深度取得部の処理を示すフローチャートである。
【図１２】画像処理システムの構成の第４の例を示す図である。
【図１３】肌色登録処理の第２の例を示すフローチャートである。
【図１４】色情報補間部による色情報の生成処理の例を示すフローチャートである。
【図１５】画面中心からの距離とシェーディング係数の関係を示す図である。
【図１６】色情報の有効範囲を模式的に示す図である。
【図１７】色情報補間部による補間前の色情報を模式的に示す図である。
【図１８】色情報補間部による補間処理を示すフローチャートである。
【図１９】色情報補間部による合成処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、添付の図面を参照しながら、実施形態について詳細に説明する。
【００１５】
（第１の実施形態）
まず、第１の実施形態を説明する。
＜構成＞
図１は、画像処理システムの構成の一例を示すブロック図である。図２は、本実施形態における画像処理システムの構成の一例を示す模式図である。
図１および図２に示すように、画像処理システムは、撮像部１００、入力部２００、表示部３００、および情報処理装置１０００を有する。本実施形態では、撮像部１００、入力部２００、および表示部３００が、情報処理装置１０００に通信可能に接続される。また、情報処理装置１０００は、撮像部１００から撮像画像を取得する。撮像部１００は、例えば、ビデオシースルー型ＨＭＤ（Head Mounted Display）やネットワークカメラにより実現される。入力部２００は、マウスやキーボードにより実現される。表示部３００は、ＨＭＤやＰＣモニタ等のディスプレイにより実現される。
【００１６】
情報処理装置１０００は、図１に示されるように、画像取得部１０１０、データ記憶部１０２０、肌色領域設定部１０３０、画素情報抽出部１０４０、有効範囲算出部１０５０、肌色登録部１０６０、画像処理部１０７０、および画像出力部１０８０を有する。
画像取得部１０１０は、撮像部１００で撮像された撮像画像を取得し、取得した画像をデータ記憶部１０２０に記憶する。撮像画像には、手などの被写体が含まれる。
【００１７】
データ記憶部１０２０は、仮想物体のデータと、画像取得部１０１０から入力される撮像画像と、肌色登録部１０６０から入力される色テーブルのデータとを含む情報を記憶する。
肌色領域設定部１０３０は、入力部２００から入力された領域を、肌色の存在する領域として設定する。
【００１８】
画素情報抽出部１０４０は、画像取得部１０１０で取得された撮像画像から、画素の色情報と画素位置とを抽出する。ここで、色情報とは、CbCrやa*b*など、輝度を含まない色の情報である。輝度に依存しない色の表現方法であれば色情報は限定されない。また、画素位置は、画素の位置を示す情報であり、例えば、画面の中心からの距離で表される。また、画面の領域を複数の小領域に分割した際の各小領域の識別番号で画素位置を表してもよい。画素の領域を識別できれば、どのように画素位置を表してもよい。本実施形態では、画面の中心からの距離が画素位置である場合を例に挙げて説明する。
【００１９】
有効範囲算出部１０５０は、色情報毎の画素数の分布（画素数と画素位置との関係）を基に、当該色情報が肌色として有効な画像領域（有効範囲）を算出する。例えば、有効範囲算出部１０５０は、画面の中心からの距離毎に、色情報の出現頻度を導出し、出現頻度が高い距離範囲を、当該色情報が有効な画像領域（有効範囲）とすることを色情報毎に行う。このようにして色情報毎の有効範囲が得られる。以下の説明では、色情報毎の有効範囲を登録するテーブルを必要に応じて色テーブルと称する。
【００２０】
肌色登録部１０６０は、有効範囲算出部１０５０で算出されたデータ（各色情報の有効範囲）をデータ記憶部１０２０（色テーブル）に保存する。
画像処理部１０７０は、肌色登録部１０６０により登録された色テーブルを用いて、撮像画像から肌色の領域を抽出する。画像処理部１０７０は、その抽出の結果を示す情報を、撮像画像に合成して合成画像を生成する。
画像出力部１０８０は、画像処理部１０７０で生成された合成画像を表示部３００に表示する。
【００２１】
＜処理の手順＞
図３は、情報処理装置１０００における肌色登録処理の流れの一例を示すフローチャートである。
ステップＳ３０１では、画像取得部１０１０は、撮像部１００で撮像された撮像画像を取得する。画像取得部１０１０は、例えば、撮像部１００で得られた撮像画像を取得するビデオキャプチャーカードを用いることにより実現される。
【００２２】
次に、ステップＳ３０２では、肌色領域設定部１０３０は、画像取得部１０１０で取得された撮像画像における肌色領域を指定する。入力部２００（例えばＧＵＩ（Graphical User Interface））の操作によってユーザーにより設定された領域を肌色領域として採用することができる。また、予め定義した領域を肌色領域として採用してもよい。例えば、撮像部１００の画面（電子ビューファインダー）内に枠を表示することと、表示部３００に撮像画像と枠を表示することとの少なくとも何れか一方を行い、当該枠内に肌色が映るような構図でユーザーが被写体を撮像してもよい。この場合、当該枠内の領域が肌色領域になる。
【００２３】
次に、ステップＳ３０３では、画素情報抽出部１０４０は、色情報抽出処理を行う。本実施形態では、画素情報抽出部１０４０は、画像取得部１０１０で取得された撮像画像から、全画素について、色情報と画素位置とを抽出する。そして、有効範囲算出部１０５０は、有効範囲設定処理を行う。本実施形態では、有効範囲算出部１０５０は、色情報毎の画素数の分布を基に、色情報毎に、色情報が肌色として有効な画像領域（有効範囲）を算出する。また、肌色登録部１０６０は、色テーブルを作成し、データ記憶部１０２０に保存する。前述したように、色テーブルには、有効範囲算出部１０５０で求めた色情報と有効範囲が相互に関連付けて登録される。ステップＳ３０３の詳細については後述する。
【００２４】
次に、ステップＳ３０４では、画像処理部１０７０は、色領域抽出処理を行う。本実施形態では、画像処理部１０７０は、データ記憶部１０２０に記憶されている色テーブルを用いて撮像画像から肌色領域を抽出する。例えば、画像処理部１０７０は、撮像画像の各画素について、色情報と画素位置とを抽出し、抽出した色情報と同じ色情報に対応する有効範囲を色テーブルから読み出し、抽出した画素位置が有効範囲内にある場合に、当該画素の位置の色を肌色と判定する。画像処理部１０７０は、以上のようにして抽出した結果を示す情報を、撮像画像に対して合成して合成画像を生成する。画像出力部１０８０は、この合成画像を表示部３００に表示させる。尚、肌色領域の抽出結果は、撮像画像内の抽出領域を強調することにより示すことができる。例えば、強調する画素に赤色をアルファブレンディングして重ね合せてもよいし、強調する画素を黒色で塗りつぶしてもよい。肌色領域の抽出結果の表示が可能な手段であれば、肌色領域の抽出結果の表示方法は限定されない。
【００２５】
次に、ステップＳ３０５では、ユーザーは、合成画像を確認すると、入力部２００を操作することによって、肌色登録を終了するか否かを指示する。情報処理装置１０００は、この指示に基づいて、肌色登録を終了するか否かを判定する。この判定の結果、肌色登録を終了する場合には、図３のフローチャートによる処理を終了する。
【００２６】
一方、肌色登録を終了しない場合には、ステップＳ３０２に戻り、肌色領域設定部１０３０は、肌色領域として、これまでに指定した肌色領域とは異なる領域を指定する。そして、肌色登録を終了すると判定されるまで、ステップＳ３０２〜Ｓ３０５の処理を繰り返し行う。
また、ステップＳ３０５において、肌色登録を終了しないと判定された場合には、ステップＳ３０２ではなくステップＳ３０１に戻るようにしてもよい。この場合、撮像部１００は、被写体（手など）の位置を、過去の撮像画像における位置と異ならせた状態で撮像画像を得るようにする。
【００２７】
次に、図４のフローチャートを参照しながら、図３のステップＳ３０３の処理の詳細の一例を説明する。
ステップＳ４０１では、画素情報抽出部１０４０は、画素選択処理を行う。本実施形態では、画素情報抽出部１０４０は、画像取得部１０１０で取得された撮像画像のうち未選択の１画素を選択し、当該画素の色情報と画素位置を取得する。前述したように本実施形態では、画面の中心からの距離が画素位置である場合を例に挙げて説明する。
【００２８】
次に、ステップＳ４０２では、有効範囲算出部１０５０は、領域判定処理を行う。本実施形態では、有効範囲算出部１０５０は、ステップＳ４０１で選択された画素の画素位置が、ステップＳ３０２において肌色領域設定部１０３０で指定された領域（指定領域）の内側（肌色）か外側（非肌色）かを判定する。
【００２９】
この判定の結果、ステップＳ４０１で選択された画素の画素位置が、指定領域内（肌色）であればステップＳ４０３に進む。ステップＳ４０３に進むと、有効範囲算出部１０５０は、肌色の領域についての関係導出処理を行う。本実施形態では、有効範囲算出部１０５０は、ステップＳ４０１で取得した画素位置（画面の中心からの距離）における肌色（ステップＳ４０１で取得した色情報）の画素数に「１」を加算する。そして、後述するステップＳ４０５に進む。
【００３０】
一方、ステップＳ４０１で選択された画素位置が、指定領域外（非肌色）であればステップＳ４０４に進む。ステップＳ４０４に進むと、有効範囲算出部１０５０は、非肌色の領域についての関係導出処理を行う。本実施形態では、有効範囲算出部１０５０は、ステップＳ４０１で取得した画素位置（画面の中心からの距離）における非肌色（ステップＳ４０１で取得した色情報）の画素数に「１」を加算する。そして、ステップＳ４０５に進む。
【００３１】
ステップＳ４０５では、画素情報抽出部１０４０は、画像取得部１０１０で取得された撮像画像の全ての画素について、ステップＳ４０１〜Ｓ４０４の処理が終了したか否かを判定する。この判定の結果、画像取得部１０１０で取得された撮像画像の全ての画素について処理が終了していない場合には、ステップＳ４０１に戻る。ステップＳ４０１に戻ると、画素情報抽出部１０４０は、画像取得部１０１０で取得された撮像画像の画素のうち、未選択の画素を選択する。そして、画像取得部１０１０で取得された撮像画像の全ての画素について処理が終了するまで、ステップＳ４０１〜Ｓ４０５の処理を繰り返し行う。
【００３２】
以上のようにして画像取得部１０１０で取得された撮像画像の全ての画素について処理が終了すると、ステップＳ４０６に進む。ステップＳ４０６では、有効範囲算出部１０５０は、有効範囲算出処理を行う。本実施形態では、有効範囲算出部１０５０は、画素情報抽出部１０４０で求めた画素位置（画面の中心からの距離）のそれぞれにおける、肌色・非肌色の画素数を基に、肌色として有効な画像領域（有効範囲）を計算することを、色情報毎に行う。具体的に、有効範囲算出部１０５０は、各画素位置における肌色・非肌色の画素数を比較し、画面の中心からの距離に応じた肌色の画素数が、当該距離における非肌色の画素数よりも多い範囲を有効範囲とすればよい。
【００３３】
図５は、肌色（領域内）の画素数の分布と、非肌色（領域外）の画素数の分布の一例を示す図である。
例えば、図５に示すように、画素数の分布（画素数と撮像画像内の画素位置との関係）が、肌色の分布５０１と非肌色の分布５０２で表される場合、有効範囲算出部１０５０は、肌色として有効な画像領域（有効範囲５０３）を算出することになる。尚、このような分布５０１、５０２は、色情報毎に得られるので、有効範囲５０３も色情報毎に得られる。
【００３４】
ただし、必ずしも以上のようにして有効領域を算出する必要はない。例えば、肌色の画素数が一定数以上ある画素位置（画面の中心からの距離）の範囲を、有効範囲としてもよい。この場合、肌色の分布５０１のみを求めればよい。また、肌色の画素数が非肌色の画素数よりも多い範囲のうち、肌色の画素数が一定数以上ある範囲を、有効範囲としてもよい。また、非肌色の画素数が一定数以下である画素位置（画面の中心からの距離）の範囲を、有効範囲としてもよい。この場合、非肌色の分布５０２のみを求めればよい。また、肌色の画素数が非肌色の画素数よりも多い範囲のうち、非肌色の画素数が一定数以下である範囲を、有効範囲としてもよい。
有効範囲算出部１０５０は、以上のような有効範囲の算出を色情報毎に行う。
【００３５】
次に、ステップＳ４０７では、肌色登録部１０６０は、登録処理を行う。本実施形態では、肌色登録部１０６０は、有効範囲算出部１０５０で算出された、色情報毎の有効範囲をデータ記憶部１０２０に保存する。図６は、このとき作成される色テーブルの一例を説明する図である。色テーブルの色情報には、当該色情報について、撮像画像内のどの領域が有効範囲であるかを示す距離情報が関連付けられる。例えば、色テーブルの色情報のそれぞれには、当該色情報の有効範囲を識別する識別情報が関連付けられる。識別情報は距離の数値データでもよいし、有効領域の識別番号でもよい。図６に示す例では、色情報の有効範囲の識別情報が、距離の数値データである場合を示す。図６において、色情報６０１の有効範囲は、画面の中心から５０ピクセルの範囲である。また、色情報６０２の有効範囲は、画面の中心から５０ピクセル離れたところから、画面の中心から１００ピクセル離れたところまでの範囲である。このような有効範囲の色テーブルへの登録が、撮像画像における全ての色情報（図６のます目）のそれぞれについて行われる。
【００３６】
撮像画像にＣＧを重畳するために、撮像画像から被写体領域（手などの領域）を検出する場合、情報処理装置１０００は、撮像画像の各画素について、色情報と画素位置を取得し、当該色情報に対応する有効範囲を色テーブルから読み出す。読み出した有効範囲内に当該画素の画素位置が含まれている場合、情報処理装置１０００は、当該画素の位置の色は肌色であると判定する。一方、抽出した有効範囲内に当該画素の画素位置が含まれていない場合、情報処理装置１０００は、当該画素の位置の色は肌色でないと判定する。情報処理装置１０００は、このようにして肌色であると判定した画素の領域を、撮像画像における被写体領域（手などの領域）として抽出する。
【００３７】
以上のように本実施形態では、撮像画像の各画素の色情報と画素位置を導出すると共に、各画素が肌色領域にあるか否か（肌色であるか否か）を判定する。肌色の画素数の分布５０１と被肌色の画素数の分布５０２を色情報毎に求め、これらの分布５０１、５０２に基づいて、各色情報の有効範囲５０３を算出する。したがって、周辺減光があっても、多数の色テーブルを持つことなく、現実映像から手などの被写体領域を精度良く抽出することができる。よって、複合現実感において、現実の被写体領域（手など）を違和感なく仮想空間に合成することができる。
【００３８】
（第２の実施形態）
次に、第２の実施形態を説明する。第１の実施形態では、肌色登録を終了するか否かをユーザーが判断する場合を例に挙げて説明した。これに対し、本実施形態では、各色情報の有効範囲の大きさに注目して、肌色を十分に登録できたか否かを自動的に判断する場合を例に挙げて説明する。このように本実施形態と第１の実施形態は、肌色登録を終了するか否かを判定する方法が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図６に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００３９】
＜構成＞
図７は、本実施形態に係る画像処理システムの構成の一例を示すブロック図である。
図７に示すように、本実施形態の画像処理システムは、図１に示した第１の実施形態の画像処理システムに対し、情報処理装置２０００において撮像位置算出部２０１０が追加されたものとなる。
【００４０】
撮像位置算出部２０１０は、色情報毎の有効範囲をデータ記憶部１０２０（色テーブル）から取得し、次の撮像における被写体の画面内での位置を示す情報をデータ記憶部１０２０に保存する。
【００４１】
＜処理の手順＞
図８は、撮像位置算出部２０１０の処理の流れの一例を示すフローチャートである。図８のフローチャートは、図３のステップＳ３０４の代わりに実行される。
ステップＳ８０１では、撮像位置算出部２０１０は、肌色登録部１０６０により登録された色テーブルのデータ（色情報と有効範囲）をデータ記憶部１０２０から取得する。
次に、ステップＳ８０２では、撮像位置算出部２０１０は、ステップＳ８０１で取得した色テーブルのデータから、色情報の有効範囲の平均と分散を計算する。
【００４２】
次に、ステップＳ８０３では、撮像位置算出部２０１０は、ステップＳ８０２で計算した分散が閾値以下であるか否かを判定する。この判定の結果、分散が閾値以下であれば、肌色の登録が十分に行われたものとみなして肌色登録を終了すると判定する。
【００４３】
一方、分散が閾値以下でない場合には、ステップＳ８０４に進む。ステップＳ８０４に進むと、撮像位置算出部２０１０は、位置導出処理と出力処理を行う。本実施形態では、撮像位置算出部２０１０は、色情報の有効範囲の平均と分散から、当該分散が小さくなる撮像領域を算出し、当該撮像領域を示す情報を表示部３００に表示させる。図９は、新たな撮像領域を示す情報の表示例を示す図である。例えば、画面（撮像画像）の中心付近のみで肌色の色登録をすると、各色情報の有効範囲にばらつきが生じる。そこで、図９に示すように、有効範囲が平均から外れた位置（図９の破線で示す位置）で撮像するよう、撮像領域をユーザーに提示する。
【００４４】
そして、図３のステップＳ３０１に戻り、ユーザーは、ステップＳ８０４で表示された撮像領域に被写体領域（手などの領域）が位置するような状態で撮像部１００に対して撮像指示を行う。これにより、撮像部１００は、ステップＳ８０４で表示された撮像領域で被写体（手など）が撮像される構図で、当該被写体領域（手など）を撮像し、撮像画像を得る。
以上のようにすれば、肌色登録を終了するか否かをユーザーが判断する必要がなくなると共に、より適切な肌色登録を行うことができる。
【００４５】
（第３の実施形態）
次に、第３の実施形態を説明する。第１、第２の実施形態では、色情報と有効領域により肌色の登録を行う場合を例に挙げて説明した。本実施形態では、色情報と有効領域に加えて、現実空間上で有効なカメラからの深度を用いて、肌色の登録を行う。このように本実施形態と第１、第２の実施形態は、色テーブルのデータとして、色情報と有効領域に加え、現実空間上で有効なカメラからの深度が含まれることによる構成および処理が主として異なる。したがって、本実施形態の説明において、第１、第２の実施形態と同一の部分については、図１〜図９に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００４６】
＜構成＞
図１０は、本実施形態に係る画像処理システムの構成の一例を示すブロック図である。
図１０に示すように、本実施形態の画像処理システムは、図１に示した第１の実施形態の画像処理システムに対し、情報処理装置３０００において有効深度取得部３０１０が追加されたものとなる。
【００４７】
有効深度取得部３０１０は、データ記憶部１０２０に保持されている色テーブルのデータ（色情報毎の有効範囲）から、撮像画像の肌色領域を求め、求めた肌色領域についてのカメラ（撮像部１００）からの深度を算出する。深度は、カメラの撮像面に垂直な方向におけるカメラと被写体との距離である。有効深度取得部３０１０は、複数の撮像画像から、肌色領域についてのカメラからの深度を算出し、最大の深度から最小の深度までの範囲を有効深度範囲としてデータ記憶部１０２０（色テーブル）に保存する。
【００４８】
＜処理の手順＞
図１１は、有効深度取得部３０１０の処理の流れの一例を示すフローチャートである。図１１のフローチャートは、例えば、図３のステップＳ３０３とステップＳ３０４との間で実行される。
ステップＳ１１０１では、有効深度取得部３０１０は、領域抽出処理を行う。本実施形態では、有効深度取得部３０１０は、色テーブルを用いて、画像取得部１０１０で取得された撮像画像の肌色領域を抽出する。
【００４９】
次に、ステップＳ１１０２では、有効深度取得部３０１０は、深度導出処理を行う。本実施形態では、有効深度取得部３０１０は、ステップＳ１１０１で抽出された肌色領域に対するカメラ（撮像部１００）からの深度を導出する。肌色領域に対するカメラからの深度は、例えば、ステレオ法を用いて導出してもよいし、深度センサの値を用いて導出してもよい。ステレオ法を用いる場合、撮像部１００によりステレオ画像を得る。カメラ（撮像部１００）と肌色領域との現実空間における距離を検出する方法を用いていれば、肌色領域に対するカメラからの深度を導出する方法は限定されない。有効深度取得部３０１０は、このような深度を複数の撮像画像のそれぞれについて行う。
【００５０】
最後に、ステップＳ１１０３では、有効深度取得部３０１０は、複数の撮像画像から導出した肌色領域に対するカメラからの深度の最大値と最小値との間の範囲を、有効深度範囲として算出し、データ記憶部１０２０に保存する。
【００５１】
撮像画像にＣＧを重畳するために、撮像画像から被写体領域（手などの領域）を検出する場合、情報処理装置１０００は、撮像画像の各画素について、色情報と画素位置と深度を取得する。そして、情報処理装置１０００は、取得した色情報に対応する有効範囲（当該色情報が肌色として有効な画像領域）と有効深度範囲とを色テーブルから読み出す。読み出した有効範囲内に当該画素の画素位置が含まれており、且つ、読み出した有効深度範囲内に当該画素の位置における深度が含まれている場合、情報処理装置１０００は、当該画素の位置の色は肌色であると判定する。一方、そうでない場合、情報処理装置１０００は、当該画素の位置の色は肌色でないと判定する。情報処理装置１０００は、このようにして肌色であると判定した画素の領域を、撮像画像における被写体領域（手などの領域）として抽出する。
【００５２】
以上のように本実施形態では、各色情報に対応する有効範囲（肌色として有効な画像領域）に加え、有効深度の範囲を登録し、これらの双方に基づいて被写体領域の抽出を行う。したがって、肌色登録時に登録した被写体領域（手などの領域）にある肌色だけをより確実に抽出することができ、被写体領域の誤検出率をより小さくすることができる。
【００５３】
（第４の実施形態）
次に、第４の実施形態を説明する。第１〜３の実施形態では、設定された肌色領域を基に色情報毎の有効範囲を算出する場合を例に挙げて説明した。これに対し、本実施形態では、あらかじめ有効範囲と関連付けられた色情報を取得し、その色情報に対して補間処理を行うことで、新たな有効範囲と関連付けられた新たな色情報を生成する場合を例に挙げて説明する。このように本実施形態と第１〜３の実施形態は、あらかじめ有効範囲と関連付けられた色情報を取得する点と、その色情報に対して補間処理を行う点が主として異なる。したがって、本実施形態の説明において、第１〜３の実施形態と同一の部分については、図１〜図１１に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００５４】
＜構成＞
図１２は、本実施形態に係る画像処理システムの構成の一例を示すブロック図である。図１２において、色情報補間部４０１０は、あらかじめ有効範囲と関連付けられた色情報に対して補間処理を行うことで新たな有効範囲と関連付けられた新たな色情報を生成する。また、有効範囲算出部１２１０は、第１〜３の実施形態の有効範囲算出部１０５０とは役割が異なる。第１〜３の実施形態における有効範囲算出部１０５０は、画素情報抽出部１０４０が抽出した色情報と画素位置とから、各色情報の有効範囲を算出する。一方、本実施形態における有効範囲算出部１２１０は、画素情報抽出部１０４０が抽出する色情報の有効範囲をあらかじめ設定、もしくは算出しておく役割を担う。
【００５５】
＜処理の手順＞
図１３は、情報処理装置４０００における肌色登録処理の流れの一例を示すフローチャートである。図１３のフローチャートは、例えば、図３のステップＳ３０１〜Ｓ３０４の代わりに実行される。
ステップＳ１３０１では、色情報補間部４０１０は、有効範囲と関連付けされた色情報を取得する。取得する色情報の生成方法の例については後述する。
次に、ステップＳ１３０２では、色情報補間部４０１０は、ステップＳ１３０１で取得した色情報に対して補間処理を行うことで新たな有効範囲と関連付けられた新たな色情報を生成する。補間処理については後述する。
【００５６】
図１４は、ステップＳ１３０１において取得する色情報に関する生成処理の流れの一例を示すフローチャートである。
ステップＳ１４０１では、有効範囲算出部１２１０は、後述するステップＳ１４０５において取得する色情報の有効範囲を設定（取得もしくは算出）する。例えば、色情報の有効範囲として、画像中の画素位置を、入力部２００から取得する。また、データ記憶部１０２０にあらかじめ有効範囲を示す画素位置を設定しておき、それを取得してもよい。また、撮像部１００が撮像する画像の画素数と、「中央部」や「端部」などの概略的な有効範囲を示す設定情報を、入力部２００やデータ記憶部１０２０から取得し、それらの情報から色情報の有効範囲として画素位置を算出してもよい。
【００５７】
次に、ステップＳ１４０２では、有効範囲算出部１２１０は、ステップＳ１４０１で算出した有効範囲に基づいて撮像部１００の露出を算出し、不図示の撮像制御部を介して撮像部１００の露出を設定する。露出の設定方法については後述する。
次に、ステップＳ１４０３では、画像取得部１０１０は、第１の実施形態と同様に、撮像部１００から撮像画像を取得し、データ記憶部１０２０に記憶する。
【００５８】
次に、ステップＳ１４０４では、肌色領域設定部１０３０は、第１の実施形態と同様に、肌色領域を設定する。
次に、ステップＳ１４０５では、画素情報抽出部１０４０は、第１の実施形態と同様に、ステップＳ１４０４で設定した肌色領域に含まれる画素の色情報を抽出する。
次に、ステップＳ１４０６では、ユーザーが撮影を終了するか否かを判定し、入力部２００を介して、情報処理装置４０００に与える。または、あらかじめ撮影回数を設定しておき、その回数撮影を行ったか否かに応じて、情報処理装置４０００が撮影を終了するか否かの判定を行ってもよい。この判定の結果、撮影を終了する場合には、図１４のフローチャートによる処理を終了する。
一方、撮影を終了しない場合には、ステップＳ１４０１に戻り、撮影を終了すると判定されるまで、ステップＳ１４０１〜Ｓ１４０６の処理を繰り返し行う。
【００５９】
以上の処理によって、有効範囲と関連付けられた複数の色情報を生成することができる。なお、本実施形態は、図１４のフローチャートに従って色情報を生成する場合に限定されず、任意の方法で色情報を生成して構わない。例えば、画面中心で適正露出となるように撮影した画像と画面端で適正露出となるように撮影した画像から色情報を抽出し、それらを、画面中心を有効範囲とする色情報と画面端を有効範囲とする色情報として用いても構わない。また、情報処理装置４０００の外部で生成された色情報を、入力部２００を介して取得しても構わない。
【００６０】
図１５は、画面中心からの距離とシェーディング係数の関係を示す図である。シェーディングとは画面内の輝度ムラのことであり、以下では、画面中心における輝度を1.0とした場合の各画素位置における輝度をシェーディング係数とする場合を例に挙げて説明する。以下、図１５を参照して、有効範囲算出部１０５０による露出の算出方法について説明する。まず、ステップＳ１２１０で設定した有効範囲の中心における画面中心からの距離を算出し、その距離におけるシェーディング係数sを算出する。そして、適正露出をs倍した値を撮像部１００の露出として算出する。以上が有効範囲算出部１２１０による露出の算出方法の説明である。
【００６１】
図１６は、色情報の有効範囲の一例を模式的に示す図である。図１６（ａ）は、ステップＳ１４０１において設定される色情報の有効範囲１６０１〜１６０３とその境界部１６０４、１６０５を示している。また、図１６（ｂ）は、色情報補間部４０１０によって設定される新たな色情報の有効範囲１６０６〜１６１４を示している。また、図１７は、ステップＳ１４０１において設定される色情報の一例を模式的に示す図である。図１７（ａ）は、ステップＳ１４０１で設定された色情報１７０１の全体を示す図である。図１７（ｂ）は、色情報１７０１のうち有効範囲１６０１に対応する色情報１７０２を示す図である。図１７（ｃ）は、有効範囲１６０２、１６０３に対応する色情報１７０３を示す図である。
【００６２】
これらの色情報を用いて被写体の肌色領域の検出を行うと、有効範囲１６０１に対応する色情報１７０２と有効範囲１６０２、１６０３に対応する色情報１７０３が大きく異なる場合、境界部１６０４、１６０５の左右の領域で、検出結果が大きく異なる。この問題を解決するために、本実施形態では、色情報１７０２、１７０３に対して補間処理を行うことで、図１６（ｂ）の有効範囲１６０６〜１６１４のように、より細かく分割された有効範囲に対応する色情報を生成する。
【００６３】
図１８は、色情報補間部４０１０における補間処理の流れの一例を示すフローチャートである。
ステップＳ１８０１では、色情報補間部４０１０は、色情報１７０２、１７０３の重心１７０４、１７０５を算出する。例えば、色情報がCbCr色空間で示される情報の場合、CbCr色空間における座標を色情報の重心として算出する。
次に、ステップＳ１８０２では、色情報補間部４０１０は、色情報１７０２、１７０３の各色を、ステップＳ１８０１で算出した重心１７０４、１７０５からの距離が近い順番に整列する。
【００６４】
次に、ステップＳ１８０３では、色情報補間部４０１０は、有効範囲１６０６〜１６１４から１つの有効範囲を参照する。なお、ここでは、ステップＳ１８０３で参照した有効範囲を必要に応じて参照有効範囲と称する。
次に、ステップＳ１８０４では、色情報補間部４０１０は、ステップＳ１８０３で参照した有効範囲のシェーディング係数を取得する。シェーディング係数は、ステップＳ１４０２で説明した画面中心からの距離とシェーディング係数の関係を示す情報から取得することができる（図１５を参照）。なお、本実施形態は、シェーディング係数として、実際の画像のシェーディングに忠実な値を取得する場合に限定されない。例えば、画面中心に対応する有効範囲のシェーディング係数を１とし、画面端に対応する有効範囲のシェーディング係数を０（ゼロ）とすることなどができる。
【００６５】
次に、ステップＳ１８０５では、色情報補間部４０１０は、ステップＳ１８０４で取得したシェーディング係数に基づいて、色情報１７０２と１７０３の補間比率を算出する。例えば、参照有効範囲のシェーディング係数がs、有効範囲１６０１のシェーディング係数がｓ１、有効範囲１６０２、１６０３のシェーディング係数がｓ２の場合、色情報１７０２、１７０３の補間比率ｒ１、ｒ２は以下の式（１）、式（２）で算出できる。
ｒ１＝（ｓ―ｓ２）÷（ｓ１−ｓ２）  ・・・（１）
ｒ２＝１−ｒ１  ・・・（２）
【００６６】
次に、ステップＳ１８０６では、色情報補間部４０１０は、ステップＳ１８０５で算出した補間比率ｒ１、ｒ２に基づいて有効範囲１６０１、１６０２の色情報を合成し、ステップＳ１８０３で参照した参照有効範囲に対応する色情報を生成する。
次に、ステップＳ１８０７において、色情報補間部４０１０は、全ての有効範囲１６０６〜１６１４を参照したか否かを判定する。この判定の結果、全ての有効範囲１６０６〜１６１４を参照していない場合には、ステップＳ１８０３に戻り、有効範囲１６０６〜１６１４のうち、まだ参照していない有効範囲を参照する。そして、全ての有効範囲１６０６〜１６１４を参照するまで、ステップＳ１８０３〜Ｓ１８０７の処理を繰り返し行う。そして、全ての有効範囲１６０６〜１６１４を対象としてステップＳ１８０３〜Ｓ１８０６の処理を行うと、図１８のフローチャートによる処理を終了する。
【００６７】
図１９は、ステップＳ１８０６における合成処理の流れの一例を示すフローチャートである。
ステップＳ１９０１では、色情報補間部４０１０は、合成前の色情報１７０２、１７０３のうち１つの色情報を参照する。
次に、ステップＳ１９０２では、色情報補間部４０１０は、ステップＳ１９０１で参照した色情報から、ステップＳ１８０５で算出した補間比率ｒ１、ｒ２に応じて、色を抽出する。以下、ステップＳ１９０１で色情報１７０２を参照した場合を例に説明する。色情報１７０２の補間比率はｒ１である。したがって、色情報補間部４０１０は、ステップＳ１８０２で整列した順番に（重心から近い順に）色情報１７０２に含まれる全色数のｒ１倍の数だけ、色を抽出する。ステップＳ１９０２で色情報１７０３を参照した場合の処理も同様である。ただし、補間比率としてはｒ１ではなく、ｒ２を用いる。
【００６８】
前記の処理によって、補間比率ｒ１、ｒ２に応じて重要な（重心から近い）色から順番に色を抽出することができる。なお、本実施形態における色の抽出処理は前記のものに限定されない。例えば、ある色情報から色を抽出する時に、その色情報自身の重心ではなく、他方の色情報の重心からの距離の順番に抽出してもよい。そのように色の抽出処理を行うと、合成前の色情報同士が色空間上で離れている場合でも、その間を繋ぐように補間を行うことができる。
【００６９】
次に、ステップＳ１９０３では、色情報補間部４０１０は、合成前の色情報１７０２、１７０３の全てを参照したか否かを判定する。この判定の結果、合成前の色情報１７０２、１７０３の全てを参照した場合は、ステップＳ１９０４へ進む。
一方、合成前の色情報１７０２、１７０３の全てを参照し終えていない場合には、ステップＳ１９０１に戻り、合成前の色情報１７０２、１７０３のうち、まだ参照していない色情報を参照する。そして、合成前の色情報１７０２、１７０３の全てを参照し終えるまで、ステップＳ１９０１〜Ｓ１９０３の処理を繰り返し行う。
次に、ステップＳ１９０４では、色情報補間部４０１０は、ステップＳ１９０２で色情報１７０２、１７０３から抽出した色の論理和をとることで、合成後の色情報を算出する。この処理によって、シェーディング係数に基づいた補間比率によって補間された色情報を生成することができる。
【００７０】
なお、ステップＳ１９０２において、既に他の色情報から抽出されている色を重複して抽出すると、合成後の色情報の色数が合成前の色情報１７０２、１７０３の色数と比較して少なくなる。このため、このような重複が起こらないように色を抽出するのが望ましい。ただし、このような色の重複を除く場合に限定されるわけではなく、重複して色を抽出しても構わない。
【００７１】
また、本実施形態においても、肌色登録部１０６０により登録処理が行われる。ただし、本実施形態では、有効範囲算出部１０５０で算出された、色情報毎の有効範囲ではなく、色情報補間部４０１０で算出された、色情報毎の有効範囲をデータ記憶部１０２０に保存する。
【００７２】
なお、本実施形態では、２つの色情報を補間する場合について説明したが、補間する色情報の数はこれに限定されない。２つ以上の色情報を補間することで、より多くの色情報を生成する全ての場合に適用できる。また、補間ではなく、補外によって新たな色情報を生成する場合にも本発明を適用することができる。
【００７３】
以上のように、本実施形態では、あらかじめ取得した色情報を補間することで、より細かく分割された領域に対応する色情報を算出することができる。これによって、肌色領域を検出した場合に有効範囲の境界の左右領域で、検出結果が大きく異なってしまう減少を低減することができる。
なお、本実施形態においても、第２、第３の実施形態の構成を採用することができる。
【００７４】
以上の各実施形態では、被写体の色として肌色を検出する場合を例に挙げて説明した。しかしながら、検出する色は、被写体に応じて適宜決定されるので、肌色に限定されない。
【００７５】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００７６】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００７７】
１００：撮像部、２００：入力部、３００：表示部、１０００：情報処理装置
【図１】
0006700804.tif 000002
【図２】
0006700804.tif 000003
【図３】
0006700804.tif 000004
【図４】
0006700804.tif 000005
【図５】
0006700804.tif 000006
【図６】
0006700804.tif 000007
【図７】
0006700804.tif 000008
【図８】
0006700804.tif 000009
【図９】
0006700804.tif 000010
【図１０】
0006700804.tif 000011
【図１１】
0006700804.tif 000012
【図１２】
0006700804.tif 000013
【図１３】
0006700804.tif 000014
【図１４】
0006700804.tif 000015
【図１５】
0006700804.tif 000016
【図１６】
0006700804.tif 000017
【図１７】
0006700804.tif 000018
【図１８】
0006700804.tif 000019
【図１９】
0006700804.tif 000020