(57)【要約】【課題】照明条件の異なる領域を含む撮影画像における同一の色処理を適用可能な領域を特定することができるようにする。【解決手段】画像処理装置１０Ａの取得部１１により、撮影によって得られた画像における移動体像の色及び位置を示す情報を取得し、特定部１２Ａにより、取得部１１によって取得された情報に基づいて、上記移動体像の色を同じ色と見なす領域を特定する。【選択図】図１
2016096468.tif 000002
【特許請求の範囲】
【請求項１】
撮影によって得られた画像における移動体像の色及び位置を示す情報を取得する取得部と、
前記取得部によって取得された情報に基づいて、前記画像における前記移動体像の色を同じ色と見なす領域を特定する特定部と、
を備えた画像処理装置。
【請求項２】
前記特定部は、連続的な撮影によって得られた２つの画像における、前記移動体像の同一の部位における色の差分が予め定められた閾値以上となる場合の前記２つの画像における前記移動体像の各位置の中間の位置を前記領域の外部との境界の位置とすることにより、前記領域を特定する
請求項１記載の画像処理装置。
【請求項３】
前記特定部は、前記移動体像の色を撮影対象とする領域における照明条件の種類の数と同数のクラスに分類し、各クラスの間の中間の位置を前記領域の外部との境界の位置とすることにより、前記領域を特定する
請求項１記載の画像処理装置。
【請求項４】
前記特定部は、予め定められた時刻別に前記領域を特定する
請求項１〜請求項３の何れか１項記載の画像処理装置。
【請求項５】
前記特定部によって特定された領域に対し、照明条件に応じた色補正を行う場合に用いる変換式または変換テーブルを決定する決定部
をさらに備えた請求項１〜請求項４の何れか１項記載の画像処理装置。
【請求項６】
撮影によって得られた画像における移動体像の色及び位置を示す情報を取得し、
取得した情報に基づいて、前記画像における前記移動体像の色を同じ色と見なす領域を特定する
ことを含む処理をコンピュータに実行させる画像処理方法。
【請求項７】
撮影によって得られた画像における移動体像の色及び位置を示す情報を取得し、
取得した情報に基づいて、前記画像における前記移動体像の色を同じ色と見なす領域を特定する
ことを含む処理をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、カメラによる撮影によって得られた画像（以下、「撮影画像」という。）に含まれる物体の色を正しい色に修正したり、別のカメラで撮影した撮影画像の色に合わせたりする場合、撮影画像の色に対して色変換を行う。このように、撮影画像の色合いが他の色合いからずれた場合に、該撮影画像中の各画素の色を目的とする色に変換することを「色補正」と呼ぶ。
【０００３】
従来、色補正を行う技術として、使用者が希望する色についてカメラ毎の色の違いが小さくなるように色補正ができるようにすることを目的とする技術があった。この技術では、カラーチャートを事前に各カメラにより撮影し、これによって得られたカラーチャート上の色が各カメラ間で同一となるように色補正を行っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−７５４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記のカラーチャートを用いて色補正を行う従来の技術では、カメラでの撮影対象とされる領域内の物体に対して複数の光源からの光が照射されている場合については考慮されておらず、撮影画像に対して一様に色補正を行っている。また、上記従来の技術では、カメラでの撮影対象とされる領域内において単一の光源からの光が照射されており、該領域内に存在する柱、壁等の物体の影となる領域と、影とならない領域の２つの領域が存在する場合についても考慮されていない。このため、この技術では、これらの照明条件の異なる領域を含む撮影画像に対する色補正を、必ずしも適切に行うことができるとは限らなかった。
【０００６】
この問題を解決するために、撮影画像内における同一の色補正で適切に補正が可能な領域を特定し、特定した領域に対して上記従来の技術を適用することも考えられるが、該従来の技術では、この点については考慮されていない。
【０００７】
開示の技術は、一つの側面として、照明条件の異なる領域を含む撮影画像における同一の色処理を適用可能な領域を特定することができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
開示の技術は、撮影によって得られた画像における移動体像の色及び位置を示す情報を取得する取得部を備える。また、開示の技術は、前記取得部によって取得された情報に基づいて、前記画像における前記移動体像の色を同じ色と見なす領域を特定する特定部を備える。
【発明の効果】
【０００９】
開示の技術は、一つの側面として、照明条件の異なる領域を含む撮影画像における同一の色処理を適用可能な領域を特定することができる、という効果を有する。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る画像処理装置の機能ブロック図である。
【図２】第１実施形態に係るコンピュータの概略構成を示すブロック図である。
【図３】実施形態に係る検出情報テーブルの一例を示す図表である。
【図４】実施形態に係る座標系の説明に供する概略図である。
【図５】実施形態に係る画像処理の一例を示すフローチャートである。
【図６】実施形態に係る取得処理の一例を示すフローチャートである。
【図７】第１実施形態に係る特定処理の一例を示すフローチャートである。
【図８】第１実施形態に係る特定処理の説明に供する模式図である。
【図９】第１実施形態に係る決定処理の説明に供する模式図である。
【図１０】第２実施形態に係る画像処理装置の機能ブロック図である。
【図１１】第２実施形態に係るコンピュータの概略構成を示すブロック図である。
【図１２】第２実施形態に係る画像処理の一例を示すフローチャートである。
【図１３】第２実施形態に係る特定処理の一例を示すフローチャートである。
【図１４】第２実施形態に係る特定処理の説明に供する模式図である。
【図１５】第２実施形態に係る決定処理の一例を示すフローチャートである。
【図１６】従来技術の問題点の説明に供する撮影画像を示す模式図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、開示の技術の実施形態の一例を詳細に説明する。
【００１２】
従来の色補正では、一般に、カメラによる撮影画像の中の物体の色は撮影画像内の位置には依存せず、同一の色については撮影画像内の何れの位置においても同じ色で撮影されることが前提とされている。すなわち、一般的な色補正では、同一の色補正が撮影画像の全ての領域において適用することができると想定されている。
【００１３】
しかし、同じ物体の同一の色が、撮影画像の何れの位置でも同じ色で撮影されることを前提にすることは、物体に照射されている光の分光特性、該光に対する物体の反射特性、及びカメラの撮影素子の感度特性が変わらないことを前提としていることになる。このことは、同じ物体を撮影する場合には、上記分光特性、反射特性及び感度特性が何れも時間的にも位置的にも変わらない、ということにもなる。
【００１４】
例えば、上述したカラーチャートを用いて色補正を行う従来の技術では、この仮定の元に、同じ物体の同一色が同じ色として撮影されることを前提としている。すなわち、この技術では、上記反射特性と上記感度特性とが時間的にも位置的にも変わらないとすると、照射される光の分光特性がカメラでの撮影範囲内の全てで同一であり、該撮影範囲内に対して何らかの光源の光が一様に照射しているという仮定が含まれる。例えば、撮影範囲内に蛍光灯からの光が照射されている場合の撮影画像の中では、蛍光灯の光の分光特性が該撮影画像のいたるところで現れ、光を反射しているものとしている。この場合、同じ物体の同一色は、撮影画像中のいたるところで同じ色で撮影されることになる。実際には、影の影響は残るものの、この影は強度の一様な減衰であるものと考え、輝度（強度）のみが低下したものとみなし、同じ撮影画像の中では、彩度や色相は変化しないものとしている。
【００１５】
一方で、現実の世界では、一例として図１６に示すように、環境光も含めて複数の光源から光が照射され、ある場所では一方の光源からの光の影響が支配的で、別の場所では他方の光源からの光の影響が支配的である、という撮影環境が増えてきた。例えば、所定領域の全域に対して単一の蛍光灯等により照明を行い、この領域の一部の領域に対して光を照射するスポットライトやダウンライト等の部分照明を行う光源がある場合、撮影画像の内部では、該一部の領域のみ物体の色が変化することがある。これは、影響が支配的である光が、所定領域の全域を照明する光源からの光から、部分照明を行う光源からの光に変化することで、同じ物体であっても、色温度が異なる複数の光で同時に物体を照明することが原因である。このような撮影環境では、従来のように、撮影画像の全体に対する色補正を１つの変換式や変換テーブル等で行うことは極めて困難である。撮影画像の内部に複数の光源からの光の影響がある場合には、光の特性の違いに応じて色補正を行う際の変換式や変換テーブル等を決定する必要がある。
【００１６】
さらに、一般に光源が配置されている位置が固定されており、カメラも固定されていることを前提にすると、撮影画像の中の特定の領域のみが、他の領域とは異なる変換式や変換テーブル等が色補正で必要となる領域となる。
【００１７】
以上を踏まえて、本実施形態に係る画像処理では、カメラによる撮影によって得られた画像における移動体像の色及び位置を示す情報を取得し、取得した情報に基づいて、移動体像の色を同じ色と見なす領域を特定する。なお、本実施形態では、開示の技術を、予め定められた領域を、固定されたカメラにより撮影されることによって得られた画像における移動体像の色を所望の色に合わせる色補正を行うための変換式を決定する画像処理装置として適用した場合について説明する。
【００１８】
〔第１実施形態〕
図１には、本実施形態に係る画像処理装置１０Ａが示されている。図１に示すように、本実施形態に係る画像処理装置１０Ａは、取得部１１、特定部１２Ａ及び決定部１３Ａを備えている。
【００１９】
取得部１１は、カメラ２０による撮影によって得られた画像（撮影画像）における移動体像の色及び位置を示す情報を取得する。このため、本実施形態に係る画像処理装置１０Ａは、カメラ２０による撮影によって得られた画像データ４０をカメラ２０から取り込む。そして、本実施形態に係る取得部１１は、取り込んだ画像データ４０から移動体像を抽出し、抽出した移動体像から該移動体像の色及び位置を示す情報を取得して、後述する検出情報テーブル５０に登録する。
【００２０】
なお、本実施形態では、カメラ２０としてカラーで動画撮影が可能なカメラが適用されており、カメラ２０により、予め定められた位置に固定されたダウンライトからの光が一部に入射される領域（以下、「撮影対象領域」という。）を連続的に撮影する。また、カメラ２０もまた、上述したように予め定められた位置（本実施形態では、撮影対象領域を上方から撮影可能な位置）に固定されており、撮影対象範囲および撮影倍率が固定されている。
【００２１】
一方、特定部１２Ａは、取得部１１によって取得された情報に基づいて、撮影画像における上記移動体像の色を同じ色と見なす領域（以下、「同一色状態領域」という。）を特定する。なお、本実施形態に係る特定部１２Ａは、カメラ２０による連続的な撮影によって得られた２つの撮影画像における、上記移動体像の同一の部位における色の差分が予め定められた閾値以上となるか否かを判定する。そして、特定部１２Ｂは、該判定の結果、上記差分が予め定められた閾値以上となる場合の該２つの画像における移動体像の各位置の中間の位置を同一色状態領域の外部との境界の位置とすることにより、該同一色状態領域を特定する。
【００２２】
そして、決定部１３Ａは、特定部１２Ａによって特定された同一色状態領域に対し、照明条件に応じた色補正を行う場合に用いる色の変換式６０を決定する。なお、本実施形態に係る決定部１３Ａは、上記変換式６０として、同一色状態領域の色を変換する変換行列を決定する。
【００２３】
画像処理装置１０Ａにおける取得部１１は開示の技術に係る取得部の一例であり、特定部１２Ａは開示の技術に係る特定部の一例であり、決定部１３Ａは開示の技術に係る決定部の一例である。
【００２４】
画像処理装置１０Ａは、例えば図２に示すコンピュータ３０Ａで実現することができる。コンピュータ３０ＡはＣＰＵ（Central Processing Unit）３１、メモリ３２、記憶部３３、入力部３４、表示部３５、インタフェース（Ｉ／Ｆ）部３６を備えている。ＣＰＵ３１、メモリ３２、記憶部３３、入力部３４、表示部３５、Ｉ／Ｆ部３６はバス３９を介して互いに接続されている。Ｉ／Ｆ部３６には上述したカメラ２０が接続されている。なお、本実施形態では、カメラ２０が有線によりコンピュータ３０Ａに接続されているが、これに限らず、無線で接続される形態としてもよい。
【００２５】
また、記憶部３３はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現することができる。記録媒体としての記憶部３３には、コンピュータ３０Ａを画像処理装置１０Ａとして機能させるための画像処理プログラム３３Ａが記憶されている。ＣＰＵ３１は、画像処理プログラム３３Ａを記憶部３３から読み出してメモリ３２に展開し、画像処理プログラム３３Ａが有するプロセスを順次実行する。
【００２６】
画像処理プログラム３３Ａは、取得プロセス３３Ａ１、特定プロセス３３Ａ２Ａ及び決定プロセス３３Ａ３Ａを有する。ＣＰＵ３１は、取得プロセス３３Ａ１を実行することで、図１に示す取得部１１として動作する。また、ＣＰＵ３１は、特定プロセス３３Ａ２Ａを実行することで、図１に示す特定部１２Ａとして動作する。さらに、ＣＰＵ３１は、決定プロセス３３Ａ３Ａを実行することで、図１に示す決定部１３Ａとして動作する。
【００２７】
これにより、画像処理プログラム３３Ａを実行したコンピュータ３０Ａが、画像処理装置１０Ａとして機能することになる。なお、画像処理プログラム３３Ａは開示の技術における画像処理プログラムの一例である。
【００２８】
一方、記憶部３３には、画像データ記憶領域３３Ｂ、検出情報テーブル記憶領域３３Ｃ及び変換式記憶領域３３Ｄが設けられている。ＣＰＵ３１が、画像データ記憶領域３３Ｂに記憶されたデータをメモリ３２に展開することにより、画像データ４０が作成される。また、ＣＰＵ３１が、検出情報テーブル記憶領域３３Ｃに記憶されたデータをメモリ３２に展開することにより、検出情報テーブル５０が作成される。さらに、ＣＰＵ３１が、変換式記憶領域３３Ｄに記憶されたデータをメモリ３２に展開することにより、変換式６０が作成される。
【００２９】
図３には、本実施形態に係る検出情報テーブル５０の構成の一例が示されている。図３に示すように、本実施形態に係る検出情報テーブル５０は、フレーム番号、ＩＤ（Identification）、検出座標、検出サイズ及び切り出し画像５２の各情報が記憶される。
【００３０】
フレーム番号は、カメラ２０によるカラーでの動画撮影によって得られた画像データのフレーム番号であり、対応する切り出し画像５２が切り出された画像の画像データのフレーム番号を示す情報である。また、ＩＤは、対応する切り出し画像５２を特定するための情報であり、検出座標は、対応する切り出し画像５２が検出された位置を示す情報であり、検出サイズは、対応する切り出し画像５２の水平方向及び垂直方向のサイズを示す情報である。なお、ＩＤとしては、数字、記号、文字等の単独または複数の組み合わせを適用することができるが、本実施形態では数字を用いる。
【００３１】
さらに、切り出し画像５２は、カメラ２０による撮影によって得られた動画像の画像データから、後述する画像処理によって切り出された、予め定められた種類の物体（本実施形態では、人）の画像を示すデータである。
【００３２】
なお、本実施形態に係る画像処理装置１０Ａでは、一例として図４に示すように、上記検出座標の座標系として、カメラ２０による撮影範囲内の予め定められた位置（本実施形態では、左上角点の位置）を原点（０，０）としたＸ−Ｙ座標系を用いている。そして、本実施形態に係る画像処理装置１０Ａでは、一例として図４に示すように、上記検出座標として、対応する切り出し画像５２の外接矩形枠５４の予め定められた位置（本実施形態では、左上角点の位置）の座標を用いている。
【００３３】
また、本実施形態に係る画像処理装置１０Ａでは、一例として図４に示すように、上記検出サイズとして、切り出し画像５２の外接矩形枠５４におけるＸ軸方向の画素数及びＹ軸方向の画素数を用いている。例えば、図３に示す例では、フレーム番号が‘０’である画像の最初の切り出し画像５２のＩＤが‘１’であり、該切り出し画像５２の検出座標が（１５０，２００）であり、Ｘ軸方向のサイズが３０画素であり、Ｙ軸方向のサイズが８０画素であることを示している。
【００３４】
なお、画像処理装置１０Ａは、パーソナル・コンピュータ、またはＰＤＡ（Personal Digital Assistant）の機能を搭載した携帯型の画像処理装置であるスマート端末等であってもよい。また、画像処理装置１０Ａは、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
【００３５】
次に、本実施形態の作用を説明する。本実施形態では、コンピュータ３０Ａによって画像処理プログラム３３Ａを実行させることで、図５に示す画像処理が行われる。以下、該画像処理について説明する。なお、錯綜を回避するため、ここでは、カメラ２０による動画撮影によって連続的に得られる画像データが記憶部３３の画像データ記憶領域３３Ｂにリアルタイムで記憶されることを前提として説明する。また、ここでは、錯綜を回避するために、カメラ２０による撮影範囲内の全域に対して単一の照明機器による照明光が照射されており、該撮影範囲内の１つの領域に対して単一のダウンライトによる照明光が照射されている場合を例に説明する。
【００３６】
画像処理のステップ１００において、取得部１１は、図６に示す取得処理を行う。
【００３７】
取得処理のステップ２００において、取得部１１は、フレーム番号を示す変数ｔを初期化（本実施形態では、０（零）を設定）し、ステップ２０２において、取得部１１は、フレーム番号が変数ｔの値とされている画像データ（以下、「処理対象画像データ」という。）を記憶部３３から取り込む。
【００３８】
ステップ２０４において、取得部１１は、処理対象画像データにより示される画像から予め定められた種類の物体（本実施形態では、人）を示す画像を切り出し画像５２として検出する。なお、本実施形態に係る取得部１１では、人を示す画像の検出を、「山内悠嗣  他，「統計的学習手法による人検出」，電子情報通信学会技術研究報告，社団法人電子情報通信学会，2012年8月26日，第183巻，第18号，pp.1〜14」に記載の技術により検出する。しかしながら、これに限らず、従来既知の他の人検出技術を適用する形態としてもよい。
【００３９】
従来の人検出技術では、頭部から上半身ないし下半身まで検出し、それらを包含する矩形等の形状（外接矩形枠５４により囲まれる形状）で検出することが多い。そこで、本実施形態に係る人検出でも、頭部から下半身までを含む外接矩形枠５４の形状で人を示す切り出し画像５２が検出されるものとして以降の説明を行う。
【００４０】
このように、本実施形態に係る取得部１１では、検出対象とする物体として人の全体を適用した場合について説明するが、これに限るものではなく、例えば、人の顔や自動車等の移動し得る他の物体を検出対象としてもよい。
【００４１】
ステップ２０６において、取得部１１は、ステップ２０４の処理によって得られた切り出し画像５２のうちの何れか１つ（以下、「処理対象切り出し画像」という。）について、画像データのサイズを予め定められたサイズに規格化する。この場合の画像サイズの規格化には、バイリニア補間による方法や、バイキュービック補間による方法等を用いることができるが、本実施形態では、バイリニア補間による方法を適用する。以下、バイリニア補間による規格化について説明する。
【００４２】
まず、処理対象切り出し画像のＲ（赤）、Ｇ（緑）、Ｂ（青）の各画素値が次の式（１）で与えられるとする。なお、式（１）におけるｒｔ（ｘ，ｙ）は処理対象切り出し画像の画素位置（ｘ，ｙ）におけるＲの画素値である。また、式（２）におけるｇｔ（ｘ，ｙ）は処理対象切り出し画像の画素位置（ｘ，ｙ）におけるＧの画素値であり、ｂｔ（ｘ，ｙ）は処理対象切り出し画像の画素位置（ｘ，ｙ）におけるＢの画素値である。また、式（１）におけるｗｔは処理対象切り出し画像のＸ軸方向のサイズであり、ｈｔは処理対象切り出し画像のＹ軸方向のサイズである。
【００４３】
【数１】
2016096468.tif 000003
【００４４】
また、規格化された後の処理対象切り出し画像のＲ、Ｇ、Ｂの各画素値を次の式（２）で示すものとする。なお、式（２）におけるｒｔ’（ｘ，ｙ）は規格化後の処理対象切り出し画像の画素位置（ｘ，ｙ）におけるＲの画素値である。また、式（２）におけるｇｔ’（ｘ，ｙ）は規格化後の処理対象切り出し画像の画素位置（ｘ，ｙ）におけるＧの画素値であり、ｂｔ’（ｘ，ｙ）は規格化後の処理対象切り出し画像の画素位置（ｘ，ｙ）におけるＢの画素値である。また、式（２）におけるｗは規格化後の処理対象切り出し画像のＸ軸方向のサイズであり、ｈは規格化後の処理対象切り出し画像のＹ軸方向のサイズである。
【００４５】
【数２】
2016096468.tif 000004
【００４６】
この場合、式（２）におけるＲの画素値は次の式（３）により求められる。
【００４７】
【数３】
2016096468.tif 000005
【００４８】
ここで、ｘ０はｘｗｔ／ｗを超えない最も大きな整数であり、ｘ１＝ｘ０＋１である。また、ｙ０はｙｈｔ／ｈを超えない最も大きな整数であり、ｙ１＝ｙ０＋１である。また、δｘ＝ｘ０−ｘｗｔ／ｗであり、δｙ＝ｙ０−ｙｈｔ／ｈである。
【００４９】
同様の演算をＧ及びＢの各色成分について行えば、式（２）における各画素の画素値を求めることができ、この結果として、処理対象切り出し画像の画像サイズを規格化し、同じ位置に同じ部位のある画像を得ることができる。
【００５０】
なお、本実施形態では、サイズｗとして３０画素のサイズを、サイズｈとして８０画素のサイズを各々適用しているが、これに限るものではない。サイズｗ及びサイズｈとして、例えば、カメラ２０による撮影画像の解像度や、画像処理装置１０Ａに要求される色補正の精度等に応じて他のサイズを適用してもよいことは言うまでもない。
【００５１】
ステップ２０８において、取得部１１は、サイズを規格化した処理対象切り出し画像の画像データを、対応するフレーム番号（＝変数ｔの値）及びＩＤに対応付けて検出情報テーブル５０に格納する。なお、ここで用いるＩＤは、処理対象画像における切り出し画像５２毎に異なるものを適用する。
【００５２】
ステップ２１０において、取得部１１は、ステップ２０８の処理により格納した処理対象切り出し画像に対応する検出座標及び検出サイズ（本実施形態では、３０画素×８０画素のサイズ）を、該処理対象切り出し画像に対応付けて検出情報テーブル５０に格納する。
【００５３】
ステップ２１２において、取得部１１は、ステップ２０４の処理によって検出した全ての切り出し画像５２について、ステップ２０６〜ステップ２１０の処理が終了したか否かを判定し、否定判定となった場合はステップ２０６に戻る。そして、ステップ２１２において肯定判定となった場合に、取得部１１は、ステップ２１４に移行する。なお、ステップ２０６〜ステップ２１２の処理を繰り返し実行する場合に、取得部１１は、ステップ２０４において検出した切り出し画像５２のうち、それまでに処理対象としなかった切り出し画像５２を処理対象切り出し画像とする。
【００５４】
以上の処理により、フレーム番号が０（零）である撮影画像について、一例として図３に示す情報が検出情報テーブル５０に格納される。
【００５５】
ステップ２１４において、取得部１１は、変数ｔに１を代入し、ステップ２１６において、取得部１１は、フレーム番号が変数ｔの値とされている画像データ（処理対象画像データ）を記憶部３３から取り込む。
【００５６】
ステップ２１８において、取得部１１は、フレーム番号が変数ｔの値から１を減じた値とされている全てのＩＤ、検出座標及び切り出し画像５２を検出情報テーブル５０から取り込む。
【００５７】
ステップ２２０において、取得部１１は、ステップ２０４と同様の処理により、処理対象画像データにより示される画像から予め定められた種類の物体（本実施形態では、人）を示す画像を切り出し画像５２として検出する。
【００５８】
ステップ２２２において、取得部１１は、ステップ２２０の処理によって得られた切り出し画像５２のうちの何れか１つ（処理対象切り出し画像）について、ステップ２０６の処理と同様の処理により、画像データのサイズを予め定められたサイズに規格化する。
【００５９】
ステップ２２４において、取得部１１は、処理対象切り出し画像と、ステップ２１８の処理によって読み出した全ての切り出し画像５２（以下、「直前画像」という。）との間における非類似度Ｓを次の式（４）により算出する。なお、式（４）におけるｒｔ−１’（ｘ、ｙ）は直前画像の画素位置（ｘ，ｙ）におけるＲの画素値である。また、式（４）におけるｇｔ−１’（ｘ、ｙ）は直前画像の画素位置（ｘ，ｙ）におけるＧの画素値であり、ｂｔ−１’（ｘ、ｙ）は直前画像の画素位置（ｘ，ｙ）におけるＢの画素値である。
【００６０】
【数４】
2016096468.tif 000006
【００６１】
ステップ２２６において、取得部１１は、ステップ２２２の処理によってサイズを規格化した処理対象切り出し画像の画像データを、対応するフレーム番号（＝変数ｔの値）に対応付けて検出情報テーブル５０に格納する。
【００６２】
ステップ２２８において、取得部１１は、ステップ２２４で非類似度Ｓを算出した直前画像の中に、算出した非類似度Ｓに予め定められた閾値Ｔｈ１以下の直前画像が存在するか否かを判定し、肯定判定となった場合はステップ２３０に移行する。
【００６３】
ステップ２３０において、取得部１１は、非類似度Ｓが最も小さい直前画像に付与されたＩＤを、ステップ２２６の処理によって格納した処理対象切り出し画像に対応付けて検出情報テーブル５０に格納した後、ステップ２３４に移行する。
【００６４】
一方、ステップ２２８の処理において否定判定となった場合はステップ２３２に移行し、取得部１１は、ステップ２２６の処理によって格納した処理対象切り出し画像に対して新たなＩＤを対応付けて検出情報テーブル５０に格納した後、ステップ２３４に移行する。
【００６５】
ステップ２３４において、取得部１１は、ステップ２２６の処理により格納した処理対象切り出し画像に対応する検出座標及び検出サイズ（本実施形態では、３０画素×８０画素のサイズ）を、該処理対象切り出し画像に対応付けて検出情報テーブル５０に格納する。
【００６６】
ステップ２３６において、取得部１１は、ステップ２２０の処理によって検出した全ての切り出し画像５２について、ステップ２２２〜ステップ２３４の処理が終了したか否かを判定し、否定判定となった場合はステップ２２２に戻る。そして、ステップ２３６において肯定判定となった場合に、取得部１１は、ステップ２３８に移行する。なお、ステップ２２２〜ステップ２３６の処理を繰り返し実行する場合に、取得部１１は、ステップ２２０において検出した切り出し画像５２のうち、それまでに処理対象としなかった切り出し画像５２を処理対象切り出し画像とする。
【００６７】
ステップ２３８において、取得部１１は、検出情報テーブル５０への情報の格納数が所定数以上となったか否かを判定し、否定判定となった場合はステップ２４０に移行し、変数ｔの値を１だけインクリメントした後にステップ２１６に戻る。一方、ステップ２３８において肯定判定となった場合は取得処理を終了する。なお、本実施形態では、上記所定数として、後述する特定処理における同一色状態領域の特定の精度として要求される精度を満足することができる値として予め設定された値（本実施形態では、３０）を適用しているが、これに限るものではない。例えば、上記所定数を、入力部３４等を介して入力することによって適宜変更可能とする形態としてもよい。
【００６８】
以上の取得処理により、フレーム番号が１以降である撮影画像について、全ての切り出し画像５２が検出情報テーブル５０に格納される。また、これと共に、各切り出し画像５２のＩＤとして、非類似度Ｓが閾値Ｔｈ１以下の直前画像が存在する場合は、該直前画像のうち、非類似度Ｓが最も小さな直前画像のＩＤが検出情報テーブル５０に格納される。これに対し、非類似度Ｓが閾値Ｔｈ１以下の直前画像が存在しない切り出し画像５２については、新たなＩＤが対応付けられて検出情報テーブル５０に格納される。
【００６９】
すなわち、本実施形態に係る画像処理では、検出情報テーブル５０において同一のＩＤが付与された切り出し画像５２が、各フレーム画像間に跨った同一の物体（本実施形態では、同一人物）の画像であるものとして検出情報テーブル５０に登録している。
【００７０】
なお、処理対象画像に存在する人の直前画像における同一人物は、各画像間の近傍の位置から検出されるものと仮定し、次の式（５）の条件を満足する直前画像に関する非類似度Ｓのみを、ステップ２２８における判定対象としてもよい。ここで、式（５）における（ｉ’，ｊ’）が処理対象画像の切り出し画像５２の位置を表し、（ｉ，ｊ）が直前画像の位置を表し、Ｔｈｉ及びＴｈｊが光源の明るさ等に応じて予め設定された閾値を表す。
【００７１】
【数５】
2016096468.tif 000007
【００７２】
取得処理が終了すると、画像処理のステップ１０２Ａに移行する。ステップ１０２Ａにおいて、特定部１２Ａは、図７に示す特定処理を行う。
【００７３】
特定処理のステップ３００において、特定部１２Ａは、撮影画像におけるＸ−Ｙ座標系においてマトリクス状とされた各座標位置に対応して１つずつデータを格納することができる、一例として図８の左図に模式的に示す頻度マップ５５を記憶部３３に構成する。なお、この際、特定部１２Ａは、頻度マップ５５の各記憶領域の内容をクリア（本実施形態では、０（零）を設定）する。
【００７４】
ステップ３０２において、特定部１２Ａは、フレーム番号を示す変数ｔを初期化（本実施形態では、１を設定）し、ステップ３０４において、特定部１２Ａは、ＩＤを示す変数ｋを初期化（本実施形態では、１を設定）する。
【００７５】
ステップ３０６において、特定部１２Ａは、Ｙ座標の値を示す変数ｙを初期化（本実施形態では、０（零）を設定）し、ステップ３０８において、特定部１２Ａは、Ｘ座標の値を示す変数ｘを初期化（本実施形態では、０（零）を設定）する。
【００７６】
ステップ３１０において、特定部１２Ａは、フレーム番号が変数ｔの値である画像（処理対象画像）と、フレーム番号が変数ｔの値より１少ない画像（以下、「第２直前画像」という。）との間のＩＤが変数ｋの値である切り出し画像５２間での差分Ｄを次の式（６）により算出する。なお、以下では、ＩＤが変数ｋの値である切り出し画像５２を処理対象切り出し画像という。
【００７７】
【数６】
2016096468.tif 000008
【００７８】
ステップ３１２において、特定部１２Ａは、差分Ｄが予め定められた閾値Ｔｈ２より大きいか否かを判定し、否定判定となった場合は後述するステップ３１６に移行する一方、肯定判定となった場合はステップ３１４に移行する。
【００７９】
ステップ３１４において、特定部１２Ａは、頻度マップ５５における、処理対象画像での処理対象切り出し画像の位置と、第２直前画像での処理対象切り出し画像の位置との中央の位置に対応する記憶領域に予め定められた値（本実施形態では、‘１’）を加算する。
【００８０】
ステップ３１６において、特定部１２Ａは、変数ｘの値を１だけインクリメントし、ステップ３１８において、特定部１２Ａは、変数ｘの値が切り出し画像５２のＸ軸方向のサイズｗより小さいか否かを判定する。特定部１２Ａは、ステップ３１８の処理において肯定判定となった場合はステップ３１０に戻る一方、ステップ３１８において否定判定となった場合はステップ３２０に移行する。
【００８１】
ステップ３２０において、特定部１２Ａは、変数ｙの値を１だけインクリメントし、ステップ３２２において、特定部１２Ａは、変数ｙの値が切り出し画像５２のＹ軸方向のサイズｈより小さいか否かを判定する。特定部１２Ａは、ステップ３２２の処理において肯定判定となった場合はステップ３０８に戻る一方、ステップ３２２において否定判定となった場合はステップ３２４に移行する。
【００８２】
ステップ３２４において、特定部１２Ａは、変数ｋの値を１だけインクリメントし、ステップ３２６において、特定部１２Ａは、変数ｋの値がＩＤの最大値Ｋより小さいか否かを判定する。特定部１２Ａは、ステップ３２６の処理において肯定判定となった場合はステップ３０６に戻る一方、ステップ３２６において否定判定となった場合はステップ３２８に移行する。
【００８３】
ステップ３２８において、特定部１２Ａは、変数ｔの値を１だけインクリメントし、ステップ３３０において、特定部１２Ａは、変数ｔの値がフレーム番号の最終値Ｔより小さいか否かを判定する。特定部１２Ａは、ステップ３３０の処理において肯定判定となった場合はステップ３０４に戻る一方、ステップ３３０において否定判定となった場合はステップ３３２に移行する。なお、上記ＩＤの最大値Ｋ及びフレーム番号の最終値Ｔは、上述した取得処理が終了した時点において該取得処理により付与されたＩＤの最大値及びフレーム番号の最終値を各々適用する。
【００８４】
すなわち、以上の処理では、差分Ｄが閾値Ｔｈ２より大きい場合に、処理対象画像と第２直前画像との間で、処理対象切り出し画像が存在する領域に対して支配的となる光源が変化したと見なす。そして、以上の処理では、この場合、頻度マップ５５の処理対象画像と第２直前画像とにおける処理対象切り出し画像の位置の中央の位置を、同一色状態領域の境界線の位置の候補とするべく、該中央の位置に対応する記憶領域に１を加算している。
【００８５】
具体的には、第２直前画像の位置（ｉｔ−１，ｊｔ−１）から切り出した切り出し画像５２に対して、規格化した座標（ｘ，ｙ）で差分Ｄの変化が大きい場合、切り出した画像上での座標（ｘｔ−１，ｙｔ−１）は、第２直前画像の画像全体の座標では次の式（７）により表される。
【００８６】
【数７】
2016096468.tif 000009
【００８７】
同様に、処理対象画像の位置（ｉｔ，ｊｔ）から切り出した切り出し画像５２に対して、規格化した座標（ｘ，ｙ）で差分Ｄが該当する場合、切り出した画像上での座標（ｘｔ，ｙｔ）は、処理対象画像の画像全体の座標では次の式（８）により表される。
【００８８】
【数８】
2016096468.tif 000010
【００８９】
支配する光源の境界は、この２つの点の間にあると考えられるから、頻度マップ５５における、次の式（９）で与えられる、これら２点の中点の座標に上記予め定められた値（本実施形態では、１）を加算する。
【００９０】
【数９】
2016096468.tif 000011
【００９１】
図８の左図には、以上の処理によって得られる頻度マップ５５の状態の一例が模式的に示されている。なお、図８の左図では、各記憶領域に記憶された値が大きくなるほど、該記憶領域に対応する位置の濃度が高くなるように模式的に示している。また、図８の右図には、図８の左図におけるＡ−Ｂ切断線の位置に対応する記憶領域に記憶された値（同図では「頻度」と表記。）を示すグラフの一例が示されている。
【００９２】
図８に示すように、以上の処理によって得られる頻度マップ５５では、互いに異なる光の影響が支配的となる各領域の間の境界部に対応する記憶領域には、他の記憶領域に比較して相対的に大きな値が格納され、その中央部分が密度の高い状態となる。
【００９３】
そこで、ステップ３３２において、特定部１２Ａは、頻度マップ５５から極大値を検出して、該極大値が記憶されている位置に対応する座標を、対応する極大値に対応付けて記憶部３３に格納する。
【００９４】
ステップ３３４において、特定部１２Ａは、ステップ３３２の処理によって格納した座標における、対応する極大値が予め定められた閾値Ｔｈ３以上の位置で、かつ予め定められた閾値Ｔｈ４の距離以内で隣接する位置を仮想的に接続した後、特定処理を終了する。このステップ３３４の処理により、同一色状態領域と他の領域との境界線の位置を示す情報（以下、「境界線情報」という。）が得られる。なお、本実施形態に係る特定処理では、閾値Ｔｈ３及び閾値Ｔｈ４として、同一色状態領域と他の領域との境界線が好適に得られるものとして経験的に得られた値を適用しているが、これに限るものではない。例えば、これらの閾値を、入力部３４等を介して入力することによって適宜変更可能とする形態としてもよい。
【００９５】
特定処理が終了すると、画像処理のステップ１０４Ａに移行する。ステップ１０４Ａにおいて、決定部１３Ａは、図９に示す決定処理を行う。本実施形態に係る画像処理では、決定処理として、カメラ２０による撮影によって得られた画像の色を、実際の色（以下、「真の色」という。）となるように変換するための色の変換式を決定する処理を適用している。なお、ここでは、錯綜を回避するため、カメラ２０による撮影範囲内を移動し、かつ色補正の対象とする移動体（以下、「補正対象物体」という。）を特定する特定情報が予め指定されている場合について説明する。また、ここでは、錯綜を回避するため、補正対象物体の真の色を示す情報（以下、「真の色情報」という。）が予め記憶部３３に記憶されている場合について説明する。
【００９６】
決定処理のステップ５００において、決定部１３Ａは、真の色情報を記憶部３３から取り込む。ステップ５０２において、決定部１３Ａは、特定処理によって得られた境界線情報により特定される同一色状態領域と他領域との各領域における補正対象物体のＲ、Ｇ、Ｂの各色情報を検出情報テーブル５０から取り込む。
【００９７】
ステップ５０４において、決定部１３Ａは、次の式（１０）に示す評価関数を用いた最小二乗法により、同一色状態領域に対する色補正で用いる変換行列Ｔ’を決定する。なお、式（１０）におけるｒｋ（ｘ，ｙ）は真の色のＲの画素値であり、ｇｋ（ｘ，ｙ）は真の色のＧの画素値であり、ｂｋ（ｘ，ｙ）は真の色のＢの画素値である。また、式（１０）におけるｒｋ’（ｘ，ｙ）は同一色状態領域のＲの画素値であり、ｇｋ’（ｘ，ｙ）は同一色状態領域のＧの画素値であり、ｂｋ’（ｘ，ｙ）は同一色状態領域のＢの画素値である。
【００９８】
【数１０】
2016096468.tif 000012
【００９９】
また、ステップ５０４において、決定部１３Ａは、次の式（１１）に示す評価関数を用いた最小二乗法により、他領域に対する色補正で用いる変換行列Ｔ’’を決定する。なお、式（１１）におけるｒｋ’’（ｘ，ｙ）は他領域のＲの画素値であり、ｇｋ’’（ｘ，ｙ）は他領域のＧの画素値であり、ｂｋ’’（ｘ，ｙ）は他領域のＢの画素値である。
【０１００】
【数１１】
2016096468.tif 000013
【０１０１】
ステップ５０６において、決定部１３Ａは、ステップ５０４の処理によって得られた変換行列Ｔ’及び変換行列Ｔ’’を記憶部３３に記憶した後、決定処理を終了する。決定処理が終了すると、画像処理も終了する。
【０１０２】
以上の画像処理により得られた変換行列Ｔ’及び変換行列Ｔ’’は、同一色状態領域及び他領域に対する色補正を行う場合に適用することができる。
【０１０３】
以上、詳細に説明したように、本実施形態では、撮影によって得られた画像における移動体像の色及び位置を示す情報（本実施形態では、検出情報テーブル５０における切り出し画像５２及び検出座標の各情報）を取得する。また、本実施形態では、取得した情報に基づいて、上記画像における移動体像の色を同じ色と見なす領域（本実施形態では、同一色状態領域）を特定する。従って、本実施形態によれば、照明条件の異なる領域を含む撮影画像における同一の色処理（本実施形態では、色補正）を適用可能な領域を特定することができる。
【０１０４】
また、本実施形態では、連続的な撮影によって得られた２つの画像における、移動体像の同一の部位における色の差分が所定閾値以上となる場合の該２つの画像における移動体像の各位置の中間の位置を上記領域の外部との境界の位置としている。従って、本実施形態によれば、撮影画像内に存在する移動体の移動を利用して上記領域を特定している結果、カラーチャート等の特別な部材を用いて該領域を特定する場合に比較して、より簡易に該領域を特定することができる。
【０１０５】
また、本実施形態では、特定した上記領域に対し、照明条件に応じた色補正を行う場合に用いる変換式（本実施形態では、変換行列Ｔ’、Ｔ’’）を決定している。従って、本実施形態によれば、該変換式を用いることにより、簡易に色補正を行うことができる。
【０１０６】
また、本実施形態では、撮影によって得られた画像における、特定した上記領域の色を真の色に合わせる色補正が行われるように上記変換式を決定している。従って、本実施形態によれば、真の色に合わせる色補正を行う場合に開示の技術を適用することができる。
【０１０７】
また、本実施形態では、連続的な撮影によって得られた２つの画像における、同一の部位における色の差分が予め定められた閾値以下となる物体を同一の物体とし、該物体の位置が前記２つの画像間で変化することを検出することにより、移動体像を検出している。従って、本実施形態によれば、上記色の差分を用いずに移動体像を検出する場合に比較して、簡易に移動体像を検出することができる。
【０１０８】
〔第２実施形態〕
次に開示の技術の第２実施形態について説明する。まず、図１０を参照して、本第２実施形態に係る画像処理装置１０Ｂの機能的な構成について説明する。なお、図１０における図１に示す画像処理装置１０Ａと同一の構成要素については図１と同一の符号を付して、その説明を省略する。
【０１０９】
図１０に示すように、本第２実施形態に係る画像処理装置１０Ｂは、特定部１２Ａに代えて、特定部１２Ａとは異なる特定処理を行う特定部１２Ｂが用いられている点が画像処理装置１０Ａと異なっている。また、本第２実施形態に係る画像処理装置１０Ｂは、決定部１３Ａに代えて、決定部１３Ａとは異なる決定処理を行う決定部１３Ｂが用いられている点が画像処理装置１０Ａと異なっている。
【０１１０】
本第２実施形態に係る特定部１２Ｂは、移動体像の色を、撮影対象とする領域における照明条件の種類の数と同数のクラスに分類し、各クラスの間の中間の位置を同一色状態領域の外部との境界の位置とすることにより、該同一色状態領域を特定する。また、本第２実施形態に係る決定部１３Ｂは、撮影画像における、特定部１２Ｂによって特定された同一色状態領域の色を、撮影画像における他の領域の色に合わせるように変換式を決定する。
【０１１１】
画像処理装置１０Ｂは、例えば図１１に示すコンピュータ３０Ｂで実現することができる。以下、図１１を参照して、本第２実施形態に係るコンピュータ３０Ｂの構成について説明する。なお、図１１における図２のコンピュータ３０Ａと同一の構成要素については図２と同一の符号を付して、その説明を省略する。
【０１１２】
図１１に示すように、本第２実施形態に係るコンピュータ３０Ｂは、画像処理プログラム３３Ａの特定プロセス３３Ａ２Ａに代えて、実行することで特定部１２Ｂとして動作する特定プロセス３３Ａ２Ｂを有している点がコンピュータ３０Ａと異なっている。また、コンピュータ３０Ｂは、画像処理プログラム３３Ａの決定プロセス３３Ａ３Ａに代えて、実行することで決定部１３Ｂとして動作する決定プロセス３３Ａ３Ｂを有している点がコンピュータ３０Ａと異なっている。
【０１１３】
次に、本実施形態の作用を説明する。本実施形態では、コンピュータ３０Ｂによって図１１に示す画像処理プログラム３３Ａを実行させることで、図１２に示す画像処理が行われる。以下、該画像処理について説明する。なお、錯綜を回避するため、ここでも、カメラ２０による動画撮影によって連続的に得られる画像データが記憶部３３の画像データ記憶領域３３Ｂにリアルタイムで記憶されることを前提として説明する。また、ここでも、錯綜を回避するために、カメラ２０による撮影範囲内の全域に対して単一の照明機器による照明光が照射されており、該撮影範囲内の１つの領域に対して単一のダウンライトによる照明光が照射されている場合を例に説明する。さらに、図１２における図５と同様の処理を行うステップには図５と同一のステップ番号を付して、その説明を省略する。
【０１１４】
図１２に示すように、本第２実施形態に係る画像処理は、ステップ１０２Ａの特定処理に代えて、特定部１２Ｂによりステップ１０２Ｂの特定処理が行われる点が第１実施形態に係る画像処理と異なっている。また、本第２実施形態に係る画像処理は、ステップ１０４Ａの決定処理に代えて、決定部１３Ｂによりステップ１０４Ｂの決定処理が行われる点が第１実施形態に係る画像処理と異なっている。
【０１１５】
すなわち、ステップ１０２Ｂにおいて、特定部１２Ｂは、図１３に示す特定処理を行う。以下、図１３を参照して、本第２実施形態に係る特定処理について説明する。
【０１１６】
特定処理のステップ４００において、特定部１２Ｂは、ＩＤを示す変数ｋを初期化（本実施形態では、１を設定）する。ステップ４０２において、特定部１２Ｂは、Ｙ座標の値を示す変数ｙを初期化（本実施形態では、０（零）を設定）し、ステップ４０４において、特定部１２Ｂは、Ｘ座標の値を示す変数ｘを初期化（本実施形態では、０（零）を設定）する。ステップ４０６において、特定部１２Ｂは、フレーム番号を示す変数ｔを初期化（本実施形態では、１を設定）する。
【０１１７】
ステップ４０８において、特定部１２Ｂは、図１４に示すＲＧＢ色空間のうち、フレーム番号が変数ｔの値であり、ＩＤが変数ｋの値である切り出し画像５２の座標（ｘ，ｙ）における画素の色に対応する位置に所定値（本実施形態では、‘１’）を投票する。なお、図１４では、錯綜を回避するため、ＲＧＢ色空間を２次元状に示しているが、実際には、Ｒ、Ｇ、Ｂの各色に対応する３次元の色空間とされている。
【０１１８】
ステップ４１０において、特定部１２Ｂは、変数ｔの値を１だけインクリメントし、ステップ４１２において、特定部１２Ｂは、変数ｔの値がフレーム番号の最終値Ｔより小さいか否かを判定する。特定部１２Ｂは、ステップ４１２の処理において肯定判定となった場合はステップ４０８に戻る一方、ステップ４１２において否定判定となった場合はステップ４１４に移行する。
【０１１９】
ステップ４１４において、特定部１２Ｂは、ＥＭ（Expectation Maximization）アルゴリズムを用いて、撮影画像内の各位置における色の、最も大きな事後確率を与えるクラスを決定する。ステップ４１６において、特定部１２Ｂは、ステップ４１４の処理によって決定したクラスを、一例として図１４に示す画像平面に投影する。
【０１２０】
ステップ４１８において、特定部１２Ｂは、変数ｘの値を１だけインクリメントし、ステップ４２０において、特定部１２Ｂは、変数ｘの値が切り出し画像５２のＸ軸方向のサイズｗより小さいか否かを判定する。特定部１２Ｂは、ステップ４２０の処理において肯定判定となった場合はステップ４０６に戻る一方、ステップ４２０において否定判定となった場合はステップ４２２に移行する。
【０１２１】
ステップ４２２において、特定部１２Ｂは、変数ｙの値を１だけインクリメントし、ステップ４２４において、特定部１２Ｂは、変数ｙの値が切り出し画像５２のＹ軸方向のサイズｈより小さいか否かを判定する。特定部１２Ｂは、ステップ４２４の処理において肯定判定となった場合はステップ４０４に戻る一方、ステップ４２４の処理において否定判定となった場合はステップ４２６に移行する。
【０１２２】
ステップ４２６において、特定部１２Ｂは、変数ｋの値を１だけインクリメントし、ステップ４２８において、特定部１２Ｂは、変数ｋの値がＩＤの最大値Ｋより小さいか否かを判定する。特定部１２Ｂは、ステップ４２８の処理において肯定判定となった場合はステップ４０２に戻る一方、ステップ４２８の処理において否定判定となった場合はステップ４３０に移行する。
【０１２３】
以上の処理により、ＩＤが変数ｋの値である切り出し画像５２に対応する人のカメラ２０による撮影範囲内の移動により、該人が存在する位置において支配的な光源種が異なる場合には、ステップ４０８の処理によってＲＧＢ色空間の異なる位置に投票される。本実施形態の場合、支配的な光源が異なる領域として同一色状態領域と他領域との２つの領域があるため、一例として図１４に示すように、ＲＧＢ色空間への投票結果は双峰性を示すことになる。
【０１２４】
この識別面の解法として、本実施形態に係る特定部１２Ｂでは、上述したようにＥＭアルゴリズムを用いて、撮影画像内の各位置における色を、最も大きな事後確率を与えるクラスに割り振る。これにより、色の集合（ｒｔ’（ｘ，ｙ），ｇｔ’（ｘ，ｙ），ｂｔ’（ｘ，ｙ））（ｔ＝１，・・・，Ｔ）から各フレームｔに関するクラスｃｔ（ｘ，ｙ）（ｔ＝１，・・・，Ｔ）を求めることができる。
【０１２５】
このクラスを、それぞれのフレームｔで色が得られた撮影画像中の座標に反映させると、支配的な光源が異なる領域毎にクラスが変化する。例えば、一例として図１４に示すように、クラス１は撮影画像の端に近い領域で得られた色によって構成され、クラス２は撮影画像の中央に近い領域で得られた色から構成されたとする。これにより、クラス２が撮影画像の中央から得られた物体のときに検出され、クラス１は、その外側で検出されることになる。このようなクラスを、全てのＩＤの切り出し画像５２の全ての座標における色に対して行うことで、特徴を埋めることができる。最終的にこれらの特徴の領域を分断する境界線を得る。
【０１２６】
そこで、ステップ４３０において、特定部１２Ｂは、ＳＶＭ（Support Vector Machine）を用いて上記境界線を示す情報（境界線情報）を導出することにより各画素のクラスを決定し、その後に特定処理を終了する。
【０１２７】
特定処理が終了すると、画像処理のステップ１０４Ｂに移行する。ステップ１０４Ｂにおいて、決定部１３Ｂは、図１５に示す決定処理を行う。本実施形態に係る画像処理では、決定処理として、カメラ２０による撮影によって得られた画像における同一色状態領域の色を、他領域の色に合わせるように変換式を決定する処理を適用している。なお、ここでは、錯綜を回避するため、カメラ２０による撮影範囲内を移動し、かつ色補正の対象とする移動体（補正対象物体）を特定する特定情報が予め指定されている場合について説明する。
【０１２８】
決定処理のステップ５５０において、決定部１３Ｂは、特定処理によって得られた境界線情報により特定される同一色状態領域と、他領域との各領域における補正対象物体のＲ、Ｇ、Ｂの各色情報を、検出情報テーブル５０から取り込む。
【０１２９】
ステップ５５２において、決定部１３Ｂは、次の式（１２）に示す評価関数を用いた最小二乗法により、同一色状態領域に対する色補正で用いる変換行列Ｔ’’’を決定する。なお、式（１２）におけるｒｋ’（ｘ，ｙ）は同一色状態領域のＲの画素値であり、ｇｋ’（ｘ，ｙ）は同一色状態領域のＧの画素値であり、ｂｋ’（ｘ，ｙ）は同一色状態領域のＢの画素値である。また、式（１２）におけるｒｋ’’（ｘ，ｙ）は他領域のＲの画素値であり、ｇｋ’’（ｘ，ｙ）は他領域のＧの画素値であり、ｂｋ’’（ｘ，ｙ）は他領域のＢの画素値である。
【０１３０】
【数１２】
2016096468.tif 000014
【０１３１】
ステップ５５４において、決定部１３Ｂは、ステップ５５２の処理によって得られた変換行列Ｔ’’’を記憶部３３に記憶した後、決定処理を終了する。決定処理が終了すると、画像処理も終了する。
【０１３２】
以上の画像処理により得られた変換行列Ｔ’’’は、同一色状態領域に対する色補正を行う場合に適用することができる。
【０１３３】
以上、詳細に説明したように、本実施形態では、移動体像の色を撮影対象とする領域における照明条件の種類の数と同数のクラスに分類し、各クラスの間の中間の位置を上記領域（同一色状態領域）の外部との境界の位置としている。従って、本実施形態によれば、撮影画像内に存在する移動体の移動を利用して上記領域を特定している結果、カラーチャート等の特別な部材を用いて該領域を特定する場合に比較して、より簡易に該領域を特定することができる。
【０１３４】
また、本実施形態では、撮影によって得られた画像における、特定した領域の色を、該画像における他の領域の色に合わせるように変換式を決定している。従って、本実施形態によれば、決定した領域の色を、該画像における他の領域の色に合わせる色補正を行う場合に開示の技術を適用することができる。
【０１３５】
なお、上記各実施形態では、取得処理において、処理対象画像に存在する物体を基準として、直前画像から該物体と同一の物体を検出する場合を説明したが、これに限定されるものではない。例えば、直前画像の物体を基準として、処理対象画像から該物体と同一の物体を検出するようにしてもよい。この場合の形態例を以下に示す。
【０１３６】
すなわち、まず、次の式（１３）を用いて、直前画像における１つの切り出し画像５２（以下、「直前画像処理対象切り出し画像」という。）と処理対象画像における全ての切り出し画像５２との間の非類似度Ｓｉ，ｊを算出する。なお、式（１３）において、（ｒｔｉｎ（ｘ，ｙ），ｇｔｉｎ（ｘ，ｙ），ｂｔｉｎ（ｘ，ｙ））は、直前画像処理対象切り出し画像と同じ位置の処理対象画像の切り出し画像５２のＲ、Ｇ、Ｂの各色情報を表す。
【０１３７】
【数１３】
2016096468.tif 000015
【０１３８】
そして、非類似度Ｓｉ，ｊが予め定められた閾値以下で、かつ最も小さな処理対象画像の切り出し画像５２の物体を、処理対象画像における直前画像処理対象切り出し画像の物体と同一物体とする。
【０１３９】
さらに、この形態と、上記各実施形態に係る形態とを組み合わせ、各実施形態に係る取得処理において、直前画像から処理対象画像の物体と同一の物体が見つからなかった場合に、処理対象画像から直前画像の物体と同一の物体を検出する形態としてもよい。
【０１４０】
また、上記各実施形態では、決定部によって色補正で用いる変換式を決定する場合を説明したが、これに限るものではない。例えば、決定部は、色補正に用いる変換テーブルを決定するようにしてもよい。この場合の変換テーブルとしては、入力値に対して上記各実施形態の変換式と同様の値を出力するＬＵＴ（Look Up Table）を例示することができる。この場合、色補正を行う際の処理速度を高速化することができる。
【０１４１】
また、上記各実施形態では、特定処理において時刻については考慮することなく、同一色状態領域及び他領域を特定する場合について説明したが、これに限るものではない。例えば、照明の環境が時刻によって変化する場合、所定時刻毎に図５や図１２に示す画像処理によって同一色状態領域及び他領域を特定しておく形態としてもよい。この場合、実際に色補正処理の対象とする画像が撮影された時刻に最も近い時刻に特定した同一色状態領域及び他領域を用いて色補正処理を実行する。
【０１４２】
また、上記各実施形態では、カメラ２０により撮影対象領域を上方から撮影する場合を説明したが、これに限定されるものではない。例えば、カメラ２０からの撮影方向が水平方向に近い状態とされている形態としてもよい。この場合、撮影画像内において同じ位置に撮影される物体でも、奥行きが異なってくる。
【０１４３】
このような環境では、単純に撮影画像上の座標で支配する光源を決定するのは難しい。この場合、投票する画像平面を撮影画像に対応した平面に代えて、空間のフロアマップに相当する平面とし、該平面に投影することで、支配する光源の位置をフロア平面として分離することができる。
【０１４４】
例えば、カメラが設置してある部屋の座標系を、水平にＸ−Ｙ平面があり、Ｚ軸が鉛直方向となるように設定した、フロア上の任意の位置に原点を持つＸＹＺ空間で表現するものとする。この座標系で、（Ｘｃ，Ｙｃ，Ｚｃ）にカメラが設置されているものとする。また、このカメラは、光軸が（Ｘｃｅｎｔｅｒ，Ｙｃｅｎｔｅｒ，Ｚｃｅｎｔｅｒ）を向くものとし、撮影画像のＸ軸は（Ｘｘ，Ｙｘ，Ｚｘ）を向き、Ｙ軸は（Ｘｙ，Ｙｙ，Ｚｙ）を向くものとする。さらにカメラの焦点距離をｆ（ｐｉｘ．）とする。
【０１４５】
撮影画像上の座標系は、左上角点を原点としたときに撮影画像の中心が（ｘｃ，ｙｃ）であるとする。このとき、撮影している物体の高さがＴｏｂｊであると仮定し、撮影画像上の（ｘ，ｙ）に見えているものとすると、この物体の空間上での位置は、次の式（１４）の第３列を満足するｍによって決定される。
【０１４６】
【数１４】
2016096468.tif 000016
【０１４７】
決定したｍを第１列、第２列に代入することで、人のフロア上の位置（Ｘ，Ｙ）を得ることができる。この座標（Ｘ，Ｙ）を画面上の座標の代わりに使用することで、空間の位置に応じた光源の分類が可能となる。
【０１４８】
また、上記各実施形態では、開示の技術における色として、撮影画像における画素毎の色を、そのまま適用する場合を説明したが、これに限定されるものではない。例えば、開示の技術における色として、上記画素毎の色に対し、空間フィルタによって近傍の画素の色を混合したものを適用する形態としてもよく、各画素の近傍で最も頻度の多い色を代表色として適用する形態としてもよい。
【０１４９】
また、上記各実施形態では、開示の技術における移動体像として、外接矩形枠５４で囲まれた切り出し画像５２そのものを適用する場合を説明したが、これに限定されるものではない。例えば、開示の技術における移動体像として、切り出し画像５２からマスク処理等により人の頭部、胴体部、手足部等の一部の領域の画像のみを抽出して適用する形態としてもよい。
【０１５０】
また、上記各実施形態では、一例として図１６に示すように、光源が複数存在する撮影環境を前提にして説明したが、これに限定されるものではない。例えば、光源が１つで、光源からの直接光で照明されている第１領域と、光源からの光が床等に反射された間接光で照明されている第２領域と、が存在している場合に、第１領域及び第２領域の少なくとも一方を特定する等の場合にも適用可能である。
【０１５１】
また、上記各実施形態では、画像データ４０、検出情報テーブル５０及び変換式６０をコンピュータ３０において保持する場合を説明したが、これに限定されるものではない。例えば、これらのデータの少なくとも１つを、コンピュータ３０に図示しないネットワークＩ／Ｆ部等を介して接続された他の装置において保持するようにしてもよい。この場合、コンピュータ３０の記憶部３３に必要とされる記憶容量を低減することができるため、上記各実施形態に比較して、コンピュータ３０のコストを削減することができる。
【０１５２】
また、上記各実施形態では、画像処理プログラム３３Ａを記憶部３３に予め記憶（インストール）しておく態様を説明したが、これに限定されるものではない。例えば、画像処理プログラム３３Ａを、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）等の記録媒体から媒体読み書き装置を介してコンピュータ３０の記憶部３３に読み込む形態としてもよく、ネットワークを介して外部装置から記憶部３３にダウンロードする形態としてもよい。
【０１５３】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【０１５４】
以上の各実施形態に関し、更に以下の付記を開示する。
【０１５５】
（付記１）
撮影によって得られた画像における移動体像の色及び位置を示す情報を取得する取得部と、
前記取得部によって取得された情報に基づいて、前記画像における前記移動体像の色を同じ色と見なす領域を特定する特定部と、
を備えた画像処理装置。
【０１５６】
（付記２）
前記特定部は、連続的な撮影によって得られた２つの画像における、前記移動体像の同一の部位における色の差分が予め定められた閾値以上となる場合の前記２つの画像における前記移動体像の各位置の中間の位置を前記領域の外部との境界の位置とすることにより、前記領域を特定する、
付記１記載の画像処理装置。
【０１５７】
（付記３）
前記特定部は、前記移動体像の色を撮影対象とする領域における照明条件の種類の数と同数のクラスに分類し、各クラスの間の中間の位置を前記領域の外部との境界の位置とすることにより、前記領域を特定する、
付記１記載の画像処理装置。
【０１５８】
（付記４）
前記特定部は、予め定められた時刻別に前記領域を特定する、
付記１〜付記３の何れか１項記載の画像処理装置。
【０１５９】
（付記５）
前記特定部によって特定された領域に対し、照明条件に応じた色補正を行う場合に用いる変換式または変換テーブルを決定する決定部、
をさらに備えた付記１〜付記４の何れか１項記載の画像処理装置。
【０１６０】
（付記６）
前記決定部は、撮影によって得られた画像における前記特定部によって特定された領域の色を真の色に合わせる色補正が行われるように前記変換式または変換テーブルを決定する、
付記５記載の画像処理装置。
【０１６１】
（付記７）
前記決定部は、撮影によって得られた画像における前記特定部によって特定された領域の色を、前記画像における他の領域の色に合わせるように前記変換式または変換テーブルを決定する、
付記５記載の画像処理装置。
【０１６２】
（付記８）
前記取得部は、連続的な撮影によって得られた２つの画像における、同一の部位における色の差分が予め定められた閾値以下となる物体を同一の物体とし、該物体の位置が前記２つの画像間で変化することを検出することにより、前記移動体像を検出する、
付記１〜付記７の何れか１項記載の画像処理装置。
【０１６３】
（付記９）
撮影によって得られた画像における移動体像の色及び位置を示す情報を取得し、
取得した情報に基づいて、前記画像における前記移動体像の色を同じ色と見なす領域を特定する、
ことを含む処理をコンピュータに実行させる画像処理方法。
【０１６４】
（付記１０）
連続的な撮影によって得られた２つの画像における、前記移動体像の同一の部位における色の差分が予め定められた閾値以上となる場合の前記２つの画像における前記移動体像の各位置の中間の位置を前記領域の外部との境界の位置とすることにより、前記領域を特定する、
付記９記載の画像処理方法。
【０１６５】
（付記１１）
前記移動体像の色を撮影対象とする領域における照明条件の種類の数と同数のクラスに分類し、各クラスの間の中間の位置を前記領域の外部との境界の位置とすることにより、前記領域を特定する、
付記９記載の画像処理方法。
【０１６６】
（付記１２）
予め定められた時刻別に前記領域を特定する、
付記９〜付記１１の何れか１項記載の画像処理方法。
【０１６７】
（付記１３）
前記特定した領域に対し、照明条件に応じた色補正を行う場合に用いる変換式または変換テーブルを決定する、
付記９〜付記１２の何れか１項記載の画像処理方法。
【０１６８】
（付記１４）
撮影によって得られた画像における前記特定した領域の色を真の色に合わせる色補正が行われるように前記変換式または変換テーブルを決定する、
付記１３記載の画像処理方法。
【０１６９】
（付記１５）
撮影によって得られた画像における前記特定した領域の色を、前記画像における他の領域の色に合わせるように前記変換式または変換テーブルを決定する、
付記１３記載の画像処理方法。
【０１７０】
（付記１６）
連続的な撮影によって得られた２つの画像における、同一の部位における色の差分が予め定められた閾値以下となる物体を同一の物体とし、該物体の位置が前記２つの画像間で変化することを検出することにより、前記移動体像を検出する、
付記９〜付記１５の何れか１項記載の画像処理方法。
【０１７１】
（付記１７）
撮影によって得られた画像における移動体像の色及び位置を示す情報を取得し、
取得した情報に基づいて、前記画像における前記移動体像の色を同じ色と見なす領域を特定する、
ことを含む処理をコンピュータに実行させるための画像処理プログラム。
【０１７２】
（付記１８）
連続的な撮影によって得られた２つの画像における、前記移動体像の同一の部位における色の差分が予め定められた閾値以上となる場合の前記２つの画像における前記移動体像の各位置の中間の位置を前記領域の外部との境界の位置とすることにより、前記領域を特定する、
付記１７記載の画像処理プログラム。
【０１７３】
（付記１９）
前記移動体像の色を撮影対象とする領域における照明条件の種類の数と同数のクラスに分類し、各クラスの間の中間の位置を前記領域の外部との境界の位置とすることにより、前記領域を特定する、
付記１７記載の画像処理プログラム。
【０１７４】
（付記２０）
予め定められた時刻別に前記領域を特定する、
付記１７〜付記１９の何れか１項記載の画像処理プログラム。
【０１７５】
（付記２１）
前記特定した領域に対し、照明条件に応じた色補正を行う場合に用いる変換式または変換テーブルを決定する、
付記１７〜付記２０の何れか１項記載の画像処理プログラム。
【０１７６】
（付記２２）
撮影によって得られた画像における前記特定した領域の色を真の色に合わせる色補正が行われるように前記変換式または変換テーブルを決定する、
付記２１記載の画像処理プログラム。
【０１７７】
（付記２３）
撮影によって得られた画像における前記特定した領域の色を、前記画像における他の領域の色に合わせるように前記変換式または変換テーブルを決定する、
付記２１記載の画像処理プログラム。
【０１７８】
（付記２４）
連続的な撮影によって得られた２つの画像における、同一の部位における色の差分が予め定められた閾値以下となる物体を同一の物体とし、該物体の位置が前記２つの画像間で変化することを検出することにより、前記移動体像を検出する、
付記１７〜付記２３の何れか１項記載の画像処理プログラム。
【符号の説明】
【０１７９】
１０Ａ、１０Ｂ  画像処理装置
１１  取得部
１２Ａ、１２Ｂ  特定部
１３Ａ、１３Ｂ  決定部
３０Ａ、３０Ｂ  コンピュータ
３１  ＣＰＵ
３２  メモリ
３３  記憶部
３３Ａ  画像処理プログラム
３３Ａ１  取得プロセス
３３Ａ２Ａ、３３Ａ２Ｂ  特定プロセス
３３Ａ３Ａ、３３Ａ３Ｂ  決定プロセス
３３Ｂ  画像データ記憶領域
３３Ｃ  検出情報テーブル記憶領域
３３Ｄ  変換式記憶領域
３４  入力部
３５  表示部
４０  画像データ
５０  検出情報テーブル
６０  変換式
【図１】
2016096468.tif 000017
【図２】
2016096468.tif 000018
【図３】
2016096468.tif 000019
【図４】
2016096468.tif 000020
【図５】
2016096468.tif 000021
【図６】
2016096468.tif 000022
【図７】
2016096468.tif 000023
【図８】
2016096468.tif 000024
【図９】
2016096468.tif 000025
【図１０】
2016096468.tif 000026
【図１１】
2016096468.tif 000027
【図１２】
2016096468.tif 000028
【図１３】
2016096468.tif 000029
【図１４】
2016096468.tif 000030
【図１５】
2016096468.tif 000031
【図１６】
2016096468.tif 000032