(57)【要約】【課題】色の再現性を向上させること。【解決手段】補正データ生成装置１０は、所定の被写体が撮像された第１のサンプル画像及び同一の被写体が赤外線カットフィルタを用いて撮像された第２のサンプル画像を取得する。補正データ生成装置１０は、第１のサンプル画像及び第２のサンプル画像を色度空間へ変換する。補正データ生成装置１０は、色度空間上で第１のサンプル画像に含まれる画素のうち所定の波長を境界に反射率が上昇する特定の被写体を形成する画素を包含する領域を特定する。補正データ生成装置１０は、第１のサンプル画像に含まれる画素のうち特定の被写体を形成する画素の色度空間上の位置及び第２のサンプル画像に含まれる画素のうち第１のサンプル画像で特定の被写体を形成する画素と対応する画素の色度空間上の位置から前記色度空間上でのシフト量を算出する。補正データ生成装置１０は、領域及びシフト量を色の補正データとして出力する。【選択図】図１
2014200045.tif 000002
【特許請求の範囲】
【請求項１】
所定の被写体が撮像された第１のサンプル画像および前記被写体と同一の被写体が赤外線カットフィルタを用いて撮像された第２のサンプル画像を取得する取得部と、
前記第１のサンプル画像及び前記第２のサンプル画像を色度空間へ変換する変換部と、
前記色度空間上で前記第１のサンプル画像に含まれる画素のうち所定の波長を境界に反射率が上昇する特定の被写体を形成する画素を包含する領域を特定する特定部と、
前記第１のサンプル画像に含まれる画素のうち前記特定の被写体を形成する画素の色度空間上の位置および前記第２のサンプル画像に含まれる画素のうち前記第１のサンプル画像で特定の被写体を形成する画素と対応する画素の色度空間上の位置から前記色度空間上でのシフト量を算出する算出部と、
前記領域および前記シフト量を色の補正データとして出力する出力部と
を有することを特徴とする補正データ生成装置。
【請求項２】
コンピュータに、
所定の被写体が撮像された第１のサンプル画像および前記被写体と同一の被写体が赤外線カットフィルタを用いて撮像された第２のサンプル画像を取得し、
前記第１のサンプル画像及び前記第２のサンプル画像を色度空間へ変換し、
前記色度空間上で前記第１のサンプル画像に含まれる画素のうち所定の波長を境界に反射率が上昇する特定の被写体を形成する画素を包含する領域を特定し、
前記第１のサンプル画像に含まれる画素のうち前記特定の被写体を形成する画素の色度空間上の位置および前記第２のサンプル画像に含まれる画素のうち前記第１のサンプル画像で特定の被写体を形成する画素と対応する画素の色度空間上の位置から前記色度空間上でのシフト量を算出し、
前記領域および前記シフト量を色の補正データとして出力する
処理を実行させることを特徴とする補正データ生成プログラム。
【請求項３】
色度空間上で所定の波長を境界に反射率が上昇する特定の被写体が採る色の領域と、当該領域に含まれる色をシフトさせるシフト量とが定義された補正データを記憶する補正データ記憶部と、
赤外線カットフィルタが装着されない状態で撮像された画像を取得する取得部と、
前記取得部によって取得された画像を色度空間へ変換する変換部と、
前記取得部によって取得された画像に含まれる画素のうち前記色度空間上で前記補正データに定義された領域に含まれる画素の色を前記補正データに定義されたシフト量にしたがってシフトさせる補正を実行する補正部と
を有することを特徴とする色補正装置。
【請求項４】
前記変換部は、前記取得部によって取得された画像をＬ＊ａ＊ｂ空間またはＹｕｖ空間へ変換することを特徴とする請求項３に記載の色補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補正データ生成装置、補正データ生成プログラム及び色補正装置に関する。
【背景技術】
【０００２】
監視カメラや車載カメラなどのように、カメラを夜間や暗所で用いる場合には、照明の赤外光に対する反射光を撮像素子に受光させることで感度を向上させるために、赤外線を除去するフィルタ、いわゆる赤外線（Infrared）カットフィルタが装着されないことがある。このように、カメラに赤外線カットフィルタが装着されない状態で撮像された画像は、可視光の下で人が見る色合いとは異なる。
【０００３】
かかる赤外線カットフィルタが装着されない状態で撮像された画像の色合いを補正する技術の一例として、次のような信号処理方法が提案されている。この信号処理方法では、入力される色信号に補正の前後の色の対応関係から最小二乗法によって求められたマトリクス係数を演算する信号処理によって画像を補正する。かかるマトリクス係数として、カラーパッチ、いわゆる顔料から成り立つ通常色の補正に用いる第１のマトリクス係数と、波長が７００ｎｍを超えてから大きな反射率を有する例外色の補正に用いる第２のマトリクス係数とが用意される。このような構成の下、信号処理方法では、色信号のＲＧＢの組合せが例外色である場合に、第１のマトリクス係数を用いたマトリクス演算を実行し、例外色でない場合に、第２のマトリクス係数を用いたマトリクス演算を実行する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１３５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の技術では、色の再現性の改善に限界がある。
【０００６】
すなわち、上記の例外色のように、赤外光の反射率が高い対象物の場合には、対象物の色味のサンプルの分布が狭いので、多数の色のサンプルを用意しても、実質的には色のサンプルは少なくなってしまう。それにもかかわらず、上記の信号処理方法では、９個もあるマトリクス係数を少量の色のサンプルを最小二乗法によって近似させる。このため、サンプルの色味が少し変わるだけで直線の傾きは大きくずれる結果、マトリクス係数の誤差が大きくなってしまう。このように、上記の信号処理方法では、色補正に用いるマトリクス係数の誤差が大きく、色再現性の改善に限界がある。
【０００７】
１つの側面では、色の再現性を向上させることができる補正データ生成装置、補正データ生成プログラム及び色補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
一態様の補正データ生成装置は、所定の被写体が撮像された第１のサンプル画像および前記被写体と同一の被写体が赤外線カットフィルタを用いて撮像された第２のサンプル画像を取得する取得部を有する。さらに、前記補正データ生成装置は、前記第１のサンプル画像及び前記第２のサンプル画像を色度空間へ変換する変換部を有する。さらに、前記補正データ生成装置は、前記色度空間上で前記第１のサンプル画像に含まれる画素のうち所定の波長を境界に反射率が上昇する特定の被写体を形成する画素を包含する領域を特定する特定部を有する。さらに、前記補正データ生成装置は、前記第１のサンプル画像に含まれる画素のうち前記特定の被写体を形成する画素の色度空間上の位置および前記第２のサンプル画像に含まれる画素のうち前記第１のサンプル画像で特定の被写体を形成する画素と対応する画素の色度空間上の位置から前記色度空間上でのシフト量を算出する算出部を有する。さらに、前記補正データ生成装置は、前記領域および前記シフト量を色の補正データとして出力する出力部を有する。
【発明の効果】
【０００９】
一実施形態によれば、色の再現性を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１に係る補正データ生成装置及び車載装置の各装置の機能的構成を示すブロック図である。
【図２】図２は、Ｌ＊ａ＊ｂ空間における特定の被写体の分布の一例を示す図である。
【図３】図３は、色度空間上における補正前の領域の一例を示す図である。
【図４】図４は、色度空間上における補正後の領域の一例を示す図である。
【図５】図５は、実施例１に係る補正データの生成処理の手順を示すフローチャートである。
【図６】図６は、実施例１に係る色補正処理の手順を示すフローチャートである。
【図７】図７は、実施例１及び実施例２に係る補正データ生成プログラムを実行するコンピュータの一例について説明するための図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して本願に係る補正データ生成装置、補正データ生成プログラム及び色補正装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１２】
［補正データ生成装置１０の構成］
まず、本実施例に係る補正データ生成装置１０の機能的構成について説明する。図１は、実施例１に係る補正データ生成装置及び車載装置の各装置の機能的構成を示すブロック図である。図１に示す補正データ生成装置１０は、赤外線を除去するフィルタ、いわゆる赤外線（Infrared）カットフィルタが装着されない状態で撮像された画像の色の再現性を人の色覚特性に合わせる補正を実行する場合に用いる補正データを生成するものである。
【００１３】
例えば、補正データ生成装置１０は、上記の補正データの生成に関する処理を実行するＷｅｂサーバとして実装することとしてもよいし、また、上記のシミュレーションに関するサービスをアウトソーシングにより提供するクラウドとして実装することもできる。また、補正データ生成装置１０は、パッケージソフトウェアやオンラインソフトウェアとして補正データ生成プログラムを所望のコンピュータにプリインストール又はインストールさせることによっても実装できる。
【００１４】
図１に示すように、補正データ生成装置１０は、サンプル画像記憶部１１と、取得部１２と、変換部１３と、特定部１４と、算出部１５と、出力部１６とを有する。なお、補正データ生成装置１０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイスなどの機能部を有することとしてもかまわない。
【００１５】
このうち、サンプル画像記憶部１１は、補正データを生成する素材とするサンプル画像を記憶する記憶部である。一態様としては、サンプル画像記憶部１１には、同一の被写体が撮像された第１のサンプル画像及び第２のサンプル画像が記憶される。このうち、第１のサンプル画像は、赤外線カットフィルタが装着されない状態で被写体が撮像された画像である。一方、第２のサンプル画像は、赤外線カットフィルタが装着された状態で被写体が撮像された画像である。
【００１６】
これらサンプル画像の被写体には、所定の波長、例えば７００ｎｍを境界に分光反射率が上昇する特定の被写体が含まれる。かかる特定の被写体は、可視光の上界付近または近赤外光の波長で分光反射率が可視光の分光反射率よりも急峻に上昇する物体を指し、例えば、植物の葉や化学繊維の布などの色が該当する。このように、特定の被写体を赤外線カットフィルタが装着されない状態で撮像された第１のサンプル画像は、赤外線カットフィルタが装着された状態で撮像された第２のサンプル画像、すなわち可視光の下で人に見える画像とはその色合いが異なる。
【００１７】
取得部１２は、サンプル画像を取得する処理部である。一態様としては、取得部１２は、サンプル画像記憶部１１に記憶された第１のサンプル画像及び第２のサンプル画像を取得する。他の一態様としては、取得部１２は、第１のサンプル画像及び第２のサンプル画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal  Serial  Bus）メモリなどのリムーバブルメディアから画像を取得することもできる。更なる一態様としては、取得部１２は、外部装置からネットワークを介して第１のサンプル画像及び第２のサンプル画像を取得することもできる。
【００１８】
変換部１３は、サンプル画像を色度空間に変換する処理部である。一態様としては、変換部１３は、取得部１２によって取得された第１のサンプル画像および第２のサンプル画像をＬ＊ａ＊ｂ空間に変換する。これによって、第１のサンプル画像および第２のサンプル画像に含まれる各画素の画素値がＲＧＢ空間で表現されていたＲＧＢの画素値から明度指数と呼ばれるＬ＊とクロマティクネス指数と呼ばれるａ＊及びｂ＊とによって表現される画素値に変換される。なお、ここでは、サンプル画像をＬ＊ａ＊ｂ空間に変換する場合を例示したが、変換先の色度空間はＬ＊ａ＊ｂ空間に限定されず、サンプル画像を他の色度空間、例えばＹｕｖ空間に変換することとしてもかまわない。
【００１９】
特定部１４は、色度空間上で特定の被写体を形成する画素を包含する領域を特定する処理部である。一態様としては、特定部１４は、補正データ生成装置１０の表示部や補正データ生成装置１０に接続された外部装置に第１のサンプル画像を表示させる。その後、特定部１４は、所定の入力デバイスを通じて、第１のサンプル画像上で特定の被写体が映った画素または画素が集まった範囲を指定させる。例えば、ポインティングデバイスでドラッグ＆ドロップを実行させることによって特定の被写体が映った範囲の指定を受け付けることができる。このとき、必ずしも特定の被写体が映った画素の全てを指定させずともよい。このように特定の被写体として指定がなされた画素には、フラグ等の設定によってマーキングがなされる。なお、ここでは、特定の被写体が映った画素を入力デバイスで指定させる場合を例示したが、特定の被写体が映った画素が予めマーキングされた状態で第１のサンプル画像をサンプル画像記憶部１１に登録しておくこととしてもかまわない。
【００２０】
その上で、特定部１４は、Ｌ＊ａ＊ｂ空間のうちａ軸及びｂ軸を含む平面上で特定の被写体として画素または範囲の指定がなされた画素を包含する領域の形状および大きさを楕円形で定義する。これによって、領域が楕円中心点、楕円軸長および楕円回転角度で定義されることになる。このとき、特定部１４は、特定の被写体が映る画素が集中する箇所に絞って領域の大きさを定義するために、各々の画素の距離が所定値以内である画素同士を包含の対象とし、所定値以上である画素を包含の対象から除外することもできる。
【００２１】
図２は、Ｌ＊ａ＊ｂ空間における特定の被写体の分布の一例を示す図である。図２に示す横軸は、ｂ＊を指し、図２に示す縦軸は、ａ＊を指す。図２にプロットされた塗りつぶしなしの長方形のマークは、第１のサンプル画像に映る植物ａの葉Ａを指す。また、図２にプロットされた塗りつぶしなしの正方形のマークは、第１のサンプル画像に映る植物ｂの葉Ｂを指す。さらに、図２にプロットされた塗りつぶしありの正方形のマークは、第１のサンプル画像に映る植物ｃの葉Ｃを指す。なお、図２にプロットされた塗りつぶしなしの菱形のマークは、第１のサンプル画像に映る人物の肌を指し、図２にプロットされた塗りつぶしなしの角丸のマークは、第１のサンプル画像に映るカラーパッチ、いわゆる色標を指す。
【００２２】
図２に示す葉Ａ〜葉Ｃの分布から、発明者は、赤外光の反射率が高い特定の被写体の分布が色度空間にて局所的な範囲、本例では無彩色に近い領域２１０に集中するとの知見を見出した。かかる領域２１０には、赤外光の反射率が高い特定の被写体が集中して分布するので、赤外線カットフィルタが装着されないカメラで撮像された画像から特定の被写体が映る画素を分離する基準として有用である。
【００２３】
ここで、上記の領域２１０は、赤外光の反射率が低い一般的な対象物では、無彩色に近い色となる。仮に、赤外光の反射率が低い対象物の色味が領域２１０に分布すると、可視で異なる色に見える対象物が赤外に感度を持つカメラでは同じ色に見えてしまい、色変換を行うと同色になってしまうメタメリズムの問題が発生することがある。すなわち、図２において葉Ａ〜葉Ｃの分布の中心付近、すなわち領域２１０の中心付近の座標（ａ＝−１５、ｂ＝１０）の色は、灰色がかった青磁色又は灰色がかった淡い緑色に見える。しかしながら、カメラによって撮像される画像において、赤外光の反射率が少ない対象物（赤外光によって、色合いがあまりずれない対象物）がこのような色として存在することはほとんどないので、メタメリズムは特に問題とはならない。
【００２４】
かかる図２の例では、楕円中心点（ａ＝−１６，ｂ＝１２）、楕円軸長（ａ＝６，ｂ＝１２何れも半値）および楕円回転角度３０°によって領域２１０が定義される。なお、ここでは、領域の形状を楕円形で定義する場合を例示したが、色度空間上で葉Ａ〜葉Ｃのプロットを包含できる形状であればよく、他の形状、例えば円、多角形や双曲線などによって定義することもできる。
【００２５】
図１の説明に戻り、算出部１５は、第１のサンプル画像に含まれる画素のうち特定の被写体を形成する画素の色度空間上の位置および第２のサンプル画像に含まれる画素のうち第１のサンプル画像で特定の被写体を形成する画素と対応する画素の色度空間上の位置から色度空間上でのシフト量を算出する処理部である。
【００２６】
一態様としては、算出部１５は、第１のサンプル画像に含まれる画素のうち特定の被写体を形成する画素ごとに、第２のサンプル画像に含まれる画素のうち当該特定の被写体を形成する画素と対応する画素との色差を算出する。その上で、算出部１５は、特定の被写体を形成する画素ごとに算出された色差に対し、所定の統計処理を実行することによって代表値を算出する。かかる統計処理の一例としては、色差の相加平均や加重平均を代表値として算出したり、また、色差の中央値を代表値として算出したりすることができる。このようにして算出された色差の代表値がＬ＊ａ＊ｂ空間のａｂ平面上でのシフト量Ｓｍとして用いられる。なお、ここでは、ａｂ平面上のシフト量Ｓｍを算出する場合を例示したが、ｕｖ平面上のシフト量を算出することとしてもかまわない。
【００２７】
ここで、上記のシフト量Ｓｍは、図２に示した領域２１０内に存在する色を領域２２０にシフトさせるものである。すなわち、発明者は、特定の被写体の色の分布が領域２１０に集中するとの知見の下、領域２１０によって分離した画素の色を、赤外線カットフィルタが装着されたカメラに映る特定の被写体が持つ色が分布する領域２２０へシフトさせれば、安定的に色の再現性を向上させることができる補正方法を新規に見出した。
【００２８】
これを上記の背景技術の項で説明した信号処理方法と対比すると、上記の信号処理方法では、赤外光の反射率が高い対象物である例外色に対しても最小二乗法による補正係数を適用している。この場合、対象物の色味が類似してしまい、実質的に色のサンプル数が少なくなってしまう。それにもかかわらず、上記の信号処理方法では、９個も存在するマトリクス係数を、少ない色サンプルを用いた最小二乗法によって近似させるので、サンプルの色味が少し変わるだけで、変換係数の誤差が大きくなってしまう。したがって、上記の信号処理方法において例外色の補正係数の精度は、最小二乗法によって係数の誤差が大きくなるため、極めて不安定である。ゆえに、色再現性を安定的に向上させることは困難である。
【００２９】
一方、本実施例では、特定の被写体の色の分布が領域２１０に集中するとの知見の下、領域２１０に含まれるか否かによって赤外線カットフィルタが装着された画像の各画素から特定の被写体に該当する画素の色を分離し、赤外線カットフィルタが装着されたカメラに映る特定の被写体が持つ色が分布する領域２２０へシフトさせる。これによって、安定的に色の再現性を向上できる。さらに、上記の信号処理方法のように、マトリクス係数を乗算するマトリクス演算等の複雑な補正を行わずとも、シフト量Ｓｍを加算するといった簡易な演算で色を補正できるので、演算量を低減することもできる。
【００３０】
出力部１６は、特定部１４によって特定された領域および算出部１５によって算出されたシフト量を色の補正データとして出力する処理部である。一態様としては、出力部１６は、任意のネットワークを介して、色の補正データを後述する車載装置３０へ配信する。このようにして配信された色の補正データは、後述の車載装置３０の補正データ記憶部３４に保存される。他の一態様としては、出力部１６は、ハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢメモリなどのリムーバブルメディアに色の補正データを保存することもできる。
【００３１】
なお、上記の取得部１２、変換部１３、特定部１４、算出部１５及び出力部１６は、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）などに補正データ生成プログラムを実行させることによって実現できる。また、上記の各機能部は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードワイヤードロジックによっても実現できる。
【００３２】
また、上記のサンプル画像記憶部１１には、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、ＶＲＡＭ（Video  Random  Access  Memory）、ＲＡＭ（Random  Access  Memory)、ＲＯＭ（Read  Only  Memory）やフラッシュメモリ（flash  memory）などが挙げられる。また、記憶装置の一例としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。
【００３３】
［車載装置３０の構成］
続いて、本実施例に係る車載装置３０の機能的構成について説明する。図１に示す車載装置３０は、車両等の移動体に搭載される装置であり、カメラ３１と、取得部３２と、変換部３３と、補正データ記憶部３４と、補正部３５と、出力部３６とを有する。なお、車載装置３０は、図１に示した機能部以外にも既知の車載装置が有する各種の機能部、例えばタッチパネル、ＧＰＳ（Global  Positioning  System）受信機やナビゲーションプログラムを実行する実行部などの機能部を有することとしてもかまわない。
【００３４】
このうち、カメラ３１は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を搭載する撮像装置である。例えば、カメラ３１には、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。なお、ここでは、車載装置３０がカメラ３１を有する場合を例示したが、ネットワークまたは記憶デバイスを経由して画像を取得できる場合には、必ずしも車載装置３０がカメラ３１を有さずともよい。また、カメラ３１は移動体の車載カメラ３０に必ずしも搭載されているカメラでは無く、一般的な監視カメラ、ｗｅｂカメラ、携帯カメラ等であってもよい。
【００３５】
ここで、上記のカメラ３１には、夜間の視認性を確保するため、赤外線カットフィルタが装着されていない場合がある。このため、図示しない近赤外光の照射部から照射される近赤外光の照明の反射光は、赤外線カットフィルタによって遮断されずにそのまま撮像素子へ入射することになる。よって、カメラ３１によって撮像される画像は、赤外線カットフィルタが装着された状態で撮像される画像、すなわち可視光の下で人に見える画像とはその色合いが異なる。なお、カメラ３１によって撮像される画像は、静止画であってもよいし、所定の圧縮符号化方式でエンコードされる動画であってもかまわない。以下では、カメラ３１によって撮像された画像のことを「カメラ画像」と記載する場合がある。
【００３６】
取得部３２は、画像を取得する処理部である。一態様としては、取得部３２は、カメラ３１からカメラ画像を取得する。他の一態様としては、取得部３２は、カメラ画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢメモリなどのリムーバブルメディアからカメラ画像を取得することもできる。更なる一態様としては、取得部３２は、外部装置からネットワークを介して、カメラ画像を受信することもできる。
【００３７】
変換部３３は、取得部３２によって取得された画像を色度空間に変換する処理部である。一態様としては、変換部３３は、取得部３２によって取得されたカメラ画像をＬ＊ａ＊ｂ空間に変換する。これによって、カメラ画像に含まれる各画素の画素値がＲＧＢ空間で表現されていたＲＧＢの画素値から明度指数およびクロマティクネス指数によって表現されるＬ＊ａ＊ｂ空間の画素値に変換される。なお、ここでは、カメラ画像をＬ＊ａ＊ｂ空間に変換する場合を例示したが、変換先の色度空間はＬ＊ａ＊ｂ空間に限定されず、カメラ画像を他の色度空間、例えばＹｕｖ空間に変換することとしてもかまわない。
【００３８】
補正データ記憶部３４は、色の補正データを記憶する記憶部である。一態様としては、補正データ記憶部３４は、所定の波長を境界に分光反射率が上昇する特定の被写体の色を持つ画素の色補正に用いる第１の補正データと、特定の被写体の色以外の色を持つ画素の色補正に用いる第２の補正データとを記憶する。このうち、第１の補正データの一例としては、色度空間上で特定の被写体が採る色の領域の形状および大きさと、当該領域に含まれる色をシフトさせるシフト量とを含むデータを採用できる。さらに、第２の補正データの一例としては、赤外線カットフィルタが装着された状態と赤外線カットフィルタが装着されない状態とでカラーパッチが撮像された画像間の色の対応関係から最小二乗法によって求められたマトリクス係数を採用できる。なお、カラーパッチには、１２色や２４色などの任意の色数を採用できる。
【００３９】
補正部３５は、カメラ画像に色の補正を実行する処理部である。一態様としては、補正部３５は、取得部３２によってカメラ画像が取得される度に、次のような色補正を実行する。すなわち、補正部３５は、カメラ画像に含まれる画素を１つ選択し、当該画素が第１の補正データに定義された領域、すなわち楕円中心点、楕円軸長および楕円回転角度によって定義された楕円領域に含まれるか否かを判定する。
【００４０】
ここで、補正部３５は、楕円領域に含まれる場合に、Ｌ＊ａ＊ｂ空間上で第１の補正データに定義されたシフト量にしたがって当該画素の色補正を実行する。例えば、補正部３５は、Ｌ＊ａ＊ｂ空間上で当該画素が持つａ及びｂの値にシフト量を加算する。その後、補正部３５は、Ｌ＊ａ＊ｂ空間上でシフトされた画素値をＲＧＢ空間の画素値へ逆変換する。図３は、色度空間上における補正前の領域の一例を示す図であり、図４は、色度空間上における補正後の領域の一例を示す図である。図３に示すように、Ｌ＊ａ＊ｂ空間上で当該画素が持つａ及びｂの値が第１の補正データに定義された楕円領域２１０内に含まれる場合に、当該画素が持つａ及びｂの値に第１の補正データに定義されたシフト量が加算される。これによって、図４に示すように、当該画素の色が領域２２０へシフトすることになる。
【００４１】
一方、補正部３５は、楕円領域に含まれない場合に、ＲＧＢ空間上で第２の補正データに定義されたマトリクス係数を用いて当該画素の色補正を実行する。例えば、補正部３５は、当該画素が持つＲＧＢの画素値に第２の補正データに定義されたマトリクス係数を乗算するマトリクス演算を実行する。そして、補正部３５は、上記の色補正が実行された画素値にγ補正および彩度補正などをさらに実行する。その後、補正部３５は、全ての画素について上記の色補正、γ補正および彩度補正を実行するまで、上記の色補正、γ補正および彩度補正を繰り返し実行する。
【００４２】
出力部３６は、補正部３５によって補正が実行されたカメラ画像を所定の出力先へ出力する処理部である。一態様としては、出力部３６は、補正後のカメラ画像を車載装置３０に接続されたディスプレイに表示させたり、ハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢメモリなどのリムーバブルメディアに保存することもできる。他の一態様としては、出力部３６は、ネットワークを介して、補正後のカメラ画像を外部装置、例えばサーバ装置や自宅のパーソナルコンピュータ等へアップロードすることもできる。
【００４３】
なお、上記の取得部３２、変換部３３、補正部３５及び出力部３６は、ＣＰＵやＭＰＵなどに補正データ生成プログラムを実行させることによって実現できる。また、上記の各機能部は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
【００４４】
また、上記の補正データ記憶部３４には、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、ＶＲＡＭ、ＲＡＭ、ＲＯＭやフラッシュメモリなどが挙げられる。また、記憶装置の一例としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。
【００４５】
［処理の流れ］
次に、本実施例に係る補正データ生成装置１０及び車載装置３０の処理の流れについて説明する。なお、ここでは、補正データ生成装置１０によって実行される（１）補正データの生成処理について説明した後に、車載装置３０によって実行される（２）色補正処理を説明することとする。
【００４６】
（１）補正データの生成処理
図５は、実施例１に係る補正データの生成処理の手順を示すフローチャートである。この生成処理は、補正データの生成指示がなされた場合に処理が起動される。図５に示すように、取得部１２は、サンプル画像記憶部１１に記憶された第１のサンプル画像及び第２のサンプル画像を取得する（ステップＳ１０１）。
【００４７】
続いて、特定部１４は、補正データ生成装置１０の表示部や補正データ生成装置１０に接続された外部装置に第１のサンプル画像を表示させることによって第１のサンプル画像上で特定の被写体が映った画素または画素が集まった範囲を指定させる（ステップＳ１０２）。
【００４８】
そして、変換部１３は、取得部１２によって取得された第１のサンプル画像および第２のサンプル画像をＬ＊ａ＊ｂ空間に変換する（ステップＳ１０３）。その上で、特定部１４は、Ｌ＊ａ＊ｂ空間のうちａ軸及びｂ軸を含む平面上でステップＳ１０２で指定がなされた画素を包含する領域の形状および大きさを楕円形で定義する（ステップＳ１０４）。
【００４９】
続いて、算出部１５は、第１のサンプル画像に含まれる画素のうち特定の被写体を形成する画素の色度空間上の位置及び第２のサンプル画像に含まれる画素のうち第１のサンプル画像で特定の被写体を形成する画素と対応する画素の色度空間上の位置から色度空間上でのシフト量を算出する（ステップＳ１０５）。
【００５０】
最後に、出力部１６は、ステップＳ１０４で特定された領域およびステップＳ１０５で算出されたシフト量を色の補正データとして出力し（ステップＳ１０６）、処理を終了する。
【００５１】
（２）色補正処理
図６は、実施例１に係る色補正処理の手順を示すフローチャートである。この色補正処理は、取得部３２によってカメラ画像が取得される度に処理が起動される。図６に示すように、まず、取得部３２は、カメラ３１からカメラ画像を取得する（ステップＳ３０１）。続いて、変換部３３は、ステップＳ３０１で取得されたカメラ画像をＬ＊ａ＊ｂ空間に変換する（ステップＳ３０２）。
【００５２】
そして、補正部３５は、カメラ画像に含まれる画素を１つ選択し（ステップＳ３０３）、色度空間上で当該画素が第１の補正データに定義された領域、すなわち楕円中心点、楕円軸長および楕円回転角度によって定義された楕円領域に含まれるか否かを判定する（ステップＳ３０４）。
【００５３】
ここで、楕円領域に含まれる場合（ステップＳ３０４Ｙｅｓ）には、補正部３５は、Ｌ＊ａ＊ｂ空間上で第１の補正データに定義されたシフト量にしたがって当該画素の色補正を実行し（ステップＳ３０５）、Ｌ＊ａ＊ｂ空間上でシフトされた画素値をＲＧＢ空間へ逆変換する（ステップＳ３０６）。一方、楕円領域に含まれない場合（ステップＳ３０４Ｎｏ）に、ＲＧＢ空間上で第２の補正データに定義されたマトリクス係数を用いて当該画素の色補正を実行する（ステップＳ３０７）。
【００５４】
その後、補正部３５は、ステップＳ３０５〜Ｓ３０６またはステップＳ３０７の色補正が実行された画素値にγ補正および彩度補正などをさらに実行する（ステップＳ３０８）。その後、全ての画素について色補正がなされるまで（ステップＳ３０９Ｎｏ）、上記のステップＳ３０３〜ステップＳ３０８までの処理を繰り返し実行する。
【００５５】
そして、全ての画素について色補正がなされると（ステップＳ３０９Ｙｅｓ）、出力部３６は、補正部３５によって補正が実行されたカメラ画像を所定の出力先へ出力し（ステップＳ３１０）、処理を終了する。
【００５６】
なお、図６に示したフローチャートでは、各画素の色補正が順番に実行される場合を例示したが、ステップＳ３０４〜ステップＳ３０８までの処理を並列に実行することもできる。また、ステップＳ３０４で楕円領域に含まれる画素を抽出し、上記のステップＳ３０５〜ステップＳ３０６の処理をまとめて実行する一方で、ステップＳ３０４で楕円領域に含まれない画素を抽出し、上記のステップＳ３０７の処理をまとめて実行することもできる。
【００５７】
［実施例１の効果］
上述してきたように、本実施例に係る補正データ生成装置１０は、赤外カットフィルタが装着されない状態で撮像された画像の色補正に用いるデータとして、色度空間上で赤外光の反射率が高い被写体が採る色の領域及び領域に含まれる色のシフト量を出力する。このため、本実施例に係る補正データ生成装置１０では、最小二乗法等によって誤差が拡大する複数のマトリクス係数を用いずとも、色のシフトによって色補正を実行できる。したがって、本実施例に係る補正データ生成装置１０によれば、色の再現性を向上させることができる。
【００５８】
また、本実施例に係る車載装置３０は、色の補正データとして、色度空間上で赤外の反射率が高い被写体が採る色の領域と領域に含まれる色のシフト量を用いて、赤外カットフィルタが装着されない状態で撮像された画像の色補正を実行する。このため、本実施例に係る車載装置３０では、最小二乗法等によって誤差が拡大する複数のマトリクス係数を用いずとも、色のシフトによって色補正を実行できる。したがって、本実施例に係る車載装置３０によれば、色の再現性を向上させることができる。
【実施例２】
【００５９】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【００６０】
［ブレンド補正］
上記の実施例１では、色度空間上でカメラ画像の画素が第１の補正データに定義された楕円領域に含まれる場合に、色のシフト補正に絞って実行させる場合を例示したが、他の補正をさらにブレンドすることもできる。例えば、車載装置３０は、各画素が楕円領域に含まれる場合に、下記の式（１）を用いて、色のシフト補正及びマトリクス演算による補正を混合することもできる。なお、下記の式（１）に示す「ｒ’」、「ｇ’」及び「ｂ’」は、色のシフト補正後のＲＧＢの値であり、下記の式（１）に示す「ｒ」、「ｇ」及び「ｂ」は、マトリクス演算による補正後のＲＧＢの値である。また、下記の式（１）に示す「ｗ１」には、０≦ｗ１≦１の任意の値を設定できる。
【００６１】
RGB=r’g’b’×w1＋rgb×(1-w1)・・・（１）
【００６２】
［適用範囲］
上記の実施例１では、カメラ画像の画素の色が楕円領域に含まれるか否かの判定及び色のシフト補正の両方をＬ＊ａ＊ｂ空間上で実行する場合を例示したが、両方ともＹｕｖ空間で実行することとしてもよいし、また、いずれか一方をＬ＊ａ＊ｂ空間で実行し、他方をＹｕｖ空間で実行することとしてもかまわない。
【００６３】
［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１２、変換部１３、特定部１４、算出部１５または出力部１６を補正データ生成装置の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部１２、変換部１３、特定部１４、算出部１５または出力部１６を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の補正データ生成装置の機能を実現するようにしてもよい。
【００６４】
［補正データ生成プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図７を用いて、上記の実施例と同様の機能を有する補正データ生成プログラムを実行するコンピュータの一例について説明する。
【００６５】
図７は、実施例１及び実施例２に係る補正データ生成プログラムを実行するコンピュータの一例について説明するための図である。図７に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
【００６６】
ＨＤＤ１７０には、図７に示すように、上記の実施例１で示した取得部１２、変換部１３、特定部１４、算出部１５及び出力部１６と同様の機能を発揮する補正データ生成プログラム１７０ａが予め記憶される。この補正データ生成プログラム１７０ａについては、図１に示した各々の取得部１２、変換部１３、特定部１４、算出部１５及び出力部１６の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。
【００６７】
そして、ＣＰＵ１５０が、補正データ生成プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図７に示すように、補正データ生成プログラム１７０ａは、補正データ生成プロセス１８０ａとして機能する。この補正データ生成プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、補正データ生成プロセス１８０ａは、図１に示した取得部１２、変換部１３、特定部１４、算出部１５及び出力部１６にて実行される処理、例えば図５に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。
【００６８】
なお、上記の補正データ生成プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
【符号の説明】
【００６９】
１０    補正データ生成装置
１１    サンプル画像記憶部
１２    取得部
１３    変換部
１４    特定部
１５    算出部
１６    出力部
３０    車載装置
３１    カメラ
３２    取得部
３３    変換部
３４    補正データ記憶部
３５    補正部
３６    出力部
【図１】
2014200045.tif 000003
【図２】
2014200045.tif 000004
【図３】
2014200045.tif 000005
【図４】
2014200045.tif 000006
【図５】
2014200045.tif 000007
【図６】
2014200045.tif 000008
【図７】
2014200045.tif 000009