(57)【特許請求の範囲】
【請求項１】
複数のカラーチャンネルごとに撮影された複数のカラーチャンネル画像から、マルチカラーチャンネル画像を生成する画像処理装置であって、
前記複数のカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像と撮影時刻若しくは撮影位置が最も近いカラーチャンネル画像、又は前記基準画像と最も類似しているカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択する変形対象画像選択部と、
前記基準画像と、前記変形対象画像選択部で選択された変形対象画像との間で検出された対応点に基づいて、前記変形対象画像の画像変形に必要なパラメータを算出する画像変形パラメータ算出処理部と、
前記変形対象画像選択部によって選択された前記変形対象画像の各々を、前記画像変形パラメータ算出処理部によって算出されたパラメータに基づいて、前記基準画像に合わせて変形する画像変形処理部と、
前記画像変形処理部によって前記基準画像で使用したもの以外のカラーチャンネルの各々に関する前記変形対象画像をそれぞれ変形させて得られた結果画像と、前記基準画像とに基づいて、マルチカラーチャンネル画像を生成するカラー画像統合部と、
を含む画像処理装置。
【請求項２】
前記複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像の各々にはタイムスタンプが付与されており、
前記変形対象画像選択部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像とタイムスタンプが最も近いカラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択する請求項１に記載の画像処理装置。
【請求項３】
前記変形対象画像選択部は、画像間類似度計算部と、画像間類似度評価部とを含み、
前記画像間類似度計算部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々と前記基準画像との類似度を計算し、
前記画像間類似度評価部は、前記画像間類似度計算部によって算出された前記類似度に基づいて、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、前記基準画像との類似度が最も高い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択する請求項１に記載の画像処理装置。
【請求項４】
前記変形対象画像選択部は、対応点探索部と、カメラ位置推定部と、カメラ間距離評価部とを含み、
前記対応点探索部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記基準画像及び基準画像以外の当該カラーチャンネル画像間で対応する特徴点のペアである対応点を検出し、
前記カメラ位置推定部は、前記複数のカラーチャンネルのうち前記基準画像で使用した以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記対応点探索部によって前記基準画像及び基準画像以外の当該カラーチャンネル画像間において検出された対応点と、前記基準画像を撮影したカメラ及び前記カラーチャンネル画像を撮影したカメラの幾何光学系パラメータとに基づいて、前記基準画像を撮影したカメラに対する前記カラーチャンネルの画像を撮影した各々のカメラの位置および姿勢を推定し、
前記カメラ間距離評価部は、前記カメラ位置推定部によって推定された前記カラーチャンネルの画像を撮影したカメラの位置および姿勢に基づいて、前記カラーチャンネルで撮影されたカラーチャンネル画像の中から、前記基準画像に撮影位置が最も近い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択する請求項１に記載の画像処理装置。
【請求項５】
複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像から、マルチカラーチャンネル画像を生成する画像処理装置における画像処理方法であって、
変形対象画像選択部が、前記複数のカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について、前記カラーチャンネルで複数枚撮影されたカラーチャンネル画像において、前記基準画像と撮影時刻若しくは撮影位置が最も近いカラーチャンネル画像、又は前記基準画像と最も類似しているカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択するステップと、
画像変形パラメータ算出処理部が、前記基準画像と、前記変形対象画像選択部で選択された変形対象画像との間で検出された対応点に基づいて、前記変形対象画像の画像変形に必要なパラメータを算出するステップと、
画像変形処理部が、前記変形対象画像選択部によって選択された前記変形対象画像の各々を、前記画像変形パラメータ算出処理部によって算出されたパラメータに基づいて、前記基準画像に合わせて変形するステップと、
カラー画像統合部が、前記画像変形処理部によって前記基準画像で使用したもの以外のカラーチャンネルの各々に関する前記変形対象画像をそれぞれ変形させて得られた結果画像と、前記基準画像とに基づいて、マルチカラーチャンネル画像を生成するステップと、
を含む画像処理方法。
【請求項６】
前記複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像の各々にはタイムスタンプが付与されており、
前記変形対象画像選択部が選択するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用した以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像とタイムスタンプが最も近いカラーチャンネル画像を、当該カラーチャンネルの前記変形対象画像として選択する請求項５に記載の画像処理方法。
【請求項７】
前記変形対象画像選択部は、画像間類似度計算部と、画像間類似度評価部とを含み、
前記画像間類似度計算部が計算するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用した以外のカラーチャンネルの各々について、前記カラーチャンネルで複数枚撮影されたカラーチャンネル画像の各々と前記基準画像との類似度を計算し、
前記画像間類似度評価部が選択するステップは、前記画像間類似度計算部によって算出された前記類似度に基づいて、前記複数のカラーチャンネルのうちの前記基準画像で使用したもの以外のカラーチャンネルの各々について、前記カラーチャンネルで撮影された複数枚のカラーチャンネル画像のうち、前記基準画像との類似度が最も高い前記カラーチャンネル画像を当該カラーチャンネルの前記変形対象画像として選択する請求項５に記載の画像処理方法。
【請求項８】
前記変形対象画像選択部は、対応点探索部と、カメラ位置推定部と、カメラ間距離評価部とを含み、
前記対応点探索部が検出するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記基準画像及び基準画像以外の当該カラーチャンネル画像間で対応する特徴点のペアである対応点を検出し、
前記カメラ位置推定部が推定するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用した以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記対応点探索部によって前記基準画像及び基準画像以外の当該カラーチャンネル画像間において検出された対応点と、前記基準画像を撮影したカメラ及び前記カラーチャンネル画像を撮影したカメラの幾何光学系パラメータとに基づいて、前記基準画像を撮影したカメラに対する前記カラーチャンネルの画像を撮影した各々のカメラの位置および姿勢を推定し、
前記カメラ間距離評価部が選択するステップは、前記カメラ位置推定部によって推定された前記カラーチャンネルの画像を撮影したカメラの位置および姿勢に基づいて、前記カラーチャンネルで撮影されたカラーチャンネル画像の中から、前記基準画像に撮影位置が最も近い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択する請求項５に記載の画像処理方法。
【請求項９】
コンピュータを、請求項１〜請求項４のいずれか１項に記載の画像処理装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法、及びプログラムに係り、特に、マルチカラーチャンネル画像を生成するための画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、複数の画像センサを同期させてカラー画像を撮影する技術が知られている（特許文献１及び非特許文献１参照）。例えば、多板センサカメラ（３ＣＣＤカメラなど）を用いてのカラー画像撮影では、各センサ間で同期を取っていれば、カメラや被写体が動いた場合でも、各画像センサで撮影された画像間での対応点の位置ずれは生じない。また分光感度特性が異なる２台以上のカメラをそれぞれ時間的に同期させ、４つ以上のカラーチャンネルを有するマルチカラーチャンネル画像を撮影する手法も提案されている。
【０００３】
また、分光感度特性を変えながら順次撮影した単色画像からカラー画像を生成する技術が知られている（非特許文献２及び非特許文献３参照）。１枚の画像センサもしくは１台のカメラと、カラーフィルタを組み合わせ、カラーフィルタの分光透過率特性を切り替えながら順次、各々の単色画像を撮影することで、マルチカラーチャンネル画像の取得が可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１５８９９３号公報
【非特許文献】
【０００５】
【非特許文献１】K. Ohsawa, et al., “Six-band HDTV camera system for spectrum-based color reproduction.”, Journal of Imaging Science and Technology, Vol. 48, No. 2, 85-92, 2004
【非特許文献２】M. Yamaguchi et al., "Natural Vision: Visual Telecommunication based on Multispectral Technology.", Proc. International Display Workshop 2000,1115-1118, 2000
【非特許文献３】S. TOMINAGA, et al., “Object Recognition by Multi-Spectral Imaging with a Liquid Crystal Filter.” In proceedings of Conference on Pattern Recognition, IAPR, Vol.1, 708-711, 2000
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、複数のセンサ（もしくはカメラ）を用いてカラー画像を撮影する場合において、被写体又はカメラが動いた際に、各センサ又は各カメラの間で同期が取れていない（または、一部もしくは全てのセンサの同期が途中からずれてしまった）場合、カメラシステムから出力されるカラー画像もしくはマルチカラーチャンネル画像上において、各カラーチャンネルの単色画像（カラーチャンネル画像）間で、対応点のずれが生じることがある。また同様のケースにおいて、分光感度特性を変えながら順次撮影した単色画像からのカラー画像（もしくはカラーチャンネル画像）を生成する場合においては、取得された各単色画像の視点（カメラの位置）が本来の視点と異なり、同期が取れていない複数のセンサを用いてカラー画像（もしくはマルチカラーチャンネル画像）を撮影する場合と同様に、カメラシステムから出力されるカラー画像（もしくはマルチカラーチャンネル画像）上において、各カラーチャンネルの単色画像間で、対応点の位置ずれが生じることがある。その結果、ディスプレイ装置に出力される色再現画像上で対応点ずれの該当箇所に偽色が生じ、画質が低下するという問題が生じる。またCIE-XYZやCIE-Labなどの測色値、また分光反射率の推定精度低下にもつながる。
【０００７】
本発明は、上記問題点を解決するために成されたものであり、複数のカラーチャンネルの画像の撮像が同期していなくても、同期撮影が実施された場合と同等のマルチカラーチャンネル画像を生成することができる画像処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第１の発明に係る画像処理装置は、各画像センサ（もしくはカメラ）が非同期の状態で、複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像から、各画像センサを同期させた状態で撮影を行った時と同等のマルチカラーチャンネル画像を生成する画像処理装置であって、前記複数のカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像と撮影時刻若しくは撮影位置が最も近いカラーチャンネル画像、又は前記基準画像と最も類似しているカラーチャンネル画像を、当該カラーチャンネルにおける変形対象画像として選択する変形対象画像選択部と、前記基準画像と、前記変形対象画像選択部で選択された変形対象画像との間で検出された対応点に基づいて、前記変形対象画像の画像変形に必要なパラメータを算出する画像変形パラメータ算出処理部と、前記変形対象画像選択部によって選択された前記変形対象画像の各々を、前記画像変形パラメータ算出処理部によって算出されたパラメータに基づいて、前記基準画像に合わせて変形する画像変形処理部と、前記画像変形処理部によって前記基準画像で使用したもの以外のカラーチャンネルの各々に関する前記変形対象画像をそれぞれ変形させて得られた結果画像と、前記基準画像とに基づいて、マルチカラーチャンネル画像を生成するカラー画像統合部と、を含んで構成されている。
なお各画像センサが非同期の状態で、複数のカラーチャンネルの画像が１回だけ撮影された場合には、変形対象画像選択部を省くことができる。
【０００９】
また、第１の発明に係る画像処理装置において、前記複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像の各々にはタイムスタンプが付与されており、前記変形対象画像選択部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像とタイムスタンプが最も近いカラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択するようにしてもよい。
【００１０】
また、第１の発明に係る画像処理装置において、前記変形対象画像選択部は、画像間類似度計算部と、画像間類似度評価部とを含み、前記画像間類似度計算部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々と前記基準画像との類似度を計算し、前記画像間類似度評価部は、前記画像間類似度計算部によって算出された前記類似度に基づいて、前記複数のカラーチャンネルのうちの前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、前記基準画像との類似度が最も高い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択するようにしてもよい。
【００１１】
また、第１の発明に係る画像処理装置において、前記変形対象画像選択部は、対応点探索部と、カメラ位置推定部と、カメラ間距離評価部とを含み、前記対応点探索部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記基準画像及び基準画像以外の当該カラーチャンネル画像間で対応する特徴点のペアである対応点を検出し、前記カメラ位置推定部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記対応点探索部によって前記基準画像及び基準画像以外の当該カラーチャンネル画像間において検出された対応点と、前記基準画像を撮影したカメラ及び前記カラーチャンネル画像を撮影したカメラの幾何光学系パラメータとに基づいて、前記基準画像および基準画像以外のカラーチャンネル画像を撮影した際のそれぞれのカメラの位置および姿勢を推定し、前記カメラ間距離評価部は、前記カメラ位置推定部によって推定された前記カラーチャンネルの画像を撮影した各々のカメラの位置および姿勢に基づいて、前記カラーチャンネルの各々で複数枚撮影されたカラーチャンネル画像の中から、前記基準画像に撮影位置が最も近い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択するようにしてもよい。
【００１２】
第２の発明に係る画像処理方法は、各画像センサ（もしくはカメラ）が非同期の状態で、複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像から、各画像センサを同期させた情報で撮影を行った時と同等のマルチカラーチャンネル画像を生成する画像処理装置における画像処理方法であって、変形対象画像選択部が、前記複数のカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像と撮影時刻若しくは撮影位置が最も近いカラーチャンネル画像、又は前記基準画像と最も類似しているカラーチャンネル画像を、当該カラーチャンネルにおける変形対象画像として選択するステップと、画像変形パラメータ算出処理部が、前記基準画像と、前記変形対象画像選択部で選択された変形対象画像との間で検出された対応点に基づいて、前記変形対象画像の画像変形に必要なパラメータを算出するステップと、画像変形処理部が、前記変形対象画像選択部によって選択された前記変形対象画像の各々を、前記画像変形パラメータ算出処理部によって算出されたパラメータに基づいて、前記基準画像に合わせて変形するステップと、カラー画像統合部が、前記画像変形処理部によって前記基準画像で使用したもの以外のカラーチャンネルの各々に関する前記変形対象画像をそれぞれ変形させて得られた結果画像と、前記基準画像とに基づいて、マルチカラーチャンネル画像を生成するステップと、を含んで実行することを特徴とする。
【００１３】
また、第２の発明に係る画像処理方法において、前記複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像の各々にはタイムスタンプが付与されており、前記変形対象画像選択部が選択するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、前記基準画像とタイムスタンプが最も近いカラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択するようにしてもよい。
【００１４】
また、第２の発明に係る画像処理方法において、前記変形対象画像選択部は、画像間類似度計算部と、画像間類似度評価部とを含み、前記画像間類似度計算部が計算するステップは、前記複数のカラーチャンネルのうちの前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々と前記基準画像との類似度を計算し、前記画像間類似度評価部が選択するステップは、前記画像間類似度計算部によって算出された前記類似度に基づいて、前記複数のカラーチャンネルのうちの前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、前記基準画像との類似度が最も高い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択するようにしてもよい。
【００１５】
また、第２の発明に係る画像処理方法において、前記変形対象画像選択部は、対応点探索部と、カメラ位置推定部と、カメラ間距離評価部とを含み、前記対応点探索部が検出するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記基準画像及び基準画像以外の当該カラーチャンネル画像間で対応する特徴点のペアである対応点を検出し、前記カメラ位置推定部が推定するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用した以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記対応点探索部によって前記基準画像及び基準画像以外の当該カラーチャンネル画像間において検出された対応点と、前記基準画像を撮影したカメラ及び前記カラーチャンネル画像を撮影したカメラの幾何光学系パラメータとに基づいて、前記基準画像を撮影したカメラに対する前記カラーチャンネルの画像を撮影した各々のカメラの位置および姿勢を推定し、前記カメラ間距離評価部が選択するステップは、前記カメラ位置推定部によって推定された前記カラーチャンネルの画像を撮影したカメラの位置および姿勢に基づいて、前記カラーチャンネルで撮影されたカラーチャンネル画像の中から、前記基準画像に撮影位置が最も近い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択するようにしてもよい。
【００１６】
第３の発明に係るプログラムは、コンピュータを、上記第１の発明に係る画像処理装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１７】
本発明の画像処理装置、方法、及びプログラムによれば、複数のカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、複数のカラーチャンネルのうちの前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、基準画像と撮影時刻若しくは撮影位置が最も近いカラーチャンネル画像、又は基準画像と最も類似しているカラーチャンネル画像を、当該カラーチャンネルにおける変形対象画像として選択し、選択された変形対象画像の各々を、基準画像に合わせて変形し、変形された変形対象画像の各々と、基準画像とに基づいてマルチカラーチャンネル画像を生成することにより、複数のカラーチャンネルの画像の撮像が同期していなくても、同期撮影を行った場合と同等のマルチカラーチャンネル画像を生成することができる、という効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】（Ａ）３板式３色カメラ、（Ｂ）２分岐光学系方式６バンドカメラ、及び（Ｃ）ステレオカメラ式６バンドカメラの一例を示す図である。
【図３】本発明の第１の実施の形態に係る画像処理装置における画像処理ルーチンを示すフローチャートである。
【図４】本発明の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図５】（Ａ）カメラの前にフィルターターレットを設置し、異なる分光透過率特性のフィルタを装着、使用するフィルタを時分割で変更させながら撮影する白黒カメラ、及び（Ｂ）光源側にフィルターターレットを設置し、照明光源の色を時分割で変えながら撮影する白黒カメラの一例を示す図である。
【図６】本発明の第２の実施の形態に係る画像処理装置における画像処理ルーチンを示すフローチャートである。
【図７】本発明の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図８】本発明の第２の実施の形態に係る画像処理装置における画像処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２０】
＜本発明の実施の形態に係る概要＞
【００２１】
まず、本発明の実施の形態における概要を説明する。本発明の実施の形態に係る画像処理装置では、複数のカラーチャンネルの各々に対し、基準とする画像（基準画像）を定め、基準画像で使用したもの以外のカラーチャンネル各々に関する複数枚のカラーチャンネル画像から変形対象画像を選択し、基準画像と変形対象画像との対応点が一致するように、変形対象画像を変形させる。変形対象画像を選択する手法としては、以下の３通りの画像選択方法が挙げられる。
【００２２】
第１の方法では、画像撮影時に各画像へ付与したタイムスタンプを基準画像とその他の画像（他のカラーチャンネル画像）との間で比較し、各カラーチャンネルの画像ごとに、基準画像のタイムスタンプに対して最近傍のカラーチャンネル画像を当該カラーチャンネルの変形対象画像として選択する。
【００２３】
第２の方法では、基準画像と、その他のカラーチャンネル画像毎の画像との間の類似度（輪郭画像の相互相関値や、画像の位相成分の相互相関値）を比較し、各カラーチャンネルの画像ごとに類似度が最も高いカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択する。ここでは、画像間の類似度が高いほど、画像撮影のタイミングまたカメラ位置が近いと仮定している。
【００２４】
第３の方法では、被写体又はカメラを動かし、撮影毎に、被写体に対するカメラの撮影位置を推定し、各カラーチャンネルの画像ごとに、基準画像を撮影した撮影位置と最も近い撮影位置のカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択する。
【００２５】
＜本発明の第１の実施の形態に係る画像処理装置の構成＞
【００２６】
次に、本発明の第１の実施の形態に係る画像処理装置の構成について説明する。第１の実施の形態では、タイムスタンプを用いて各カラーチャンネルにおける変形対象画像を選択する。
【００２７】
図１に示すように、本発明の第１の実施の形態に係る画像処理システム１００は、画像入力装置１０と、画像処理装置１８とを備えている。画像処理装置１８は、ＣＰＵと、ＲＡＭと、後述する画像処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像処理装置１８は、機能的には図１に示すように撮影画像記録部２６と、演算部２０と、出力部８０とを備えている。
【００２８】
画像入力装置１０は、図２（Ａ）に示すような３板式３色カメラで構成されており、３つのカラーチャンネルごとに３枚のカラーチャンネル画像を撮影する。具体的には、画像入力部１１１〜１１３によって、それぞれ異なるカラーチャンネルのカラーチャンネル画像を撮影する。画像入力部１１１はイメージセンサ１２１及びタイムスタンプ付与部１３１、画像入力部１１２はイメージセンサ１２２及びタイムスタンプ付与部１３２、並びに画像入力部１１３はイメージセンサ１２３及びタイムスタンプ付与部１３３から構成される。画像入力装置１０では、イメージセンサ１２１〜１２３によって、それぞれのカラーチャンネルが異なるカラーチャンネル画像を撮影する。そして、タイムスタンプ付与部１３１〜１３３によって、それぞれのカラーチャンネル画像に対して撮影した時刻のタイムスタンプを付与する。ここで、イメージセンサ１２１〜１２３は互いに同期が取れていない状態を想定している。ここで、後述する基準画像とするカラーチャンネルのカラーチャンネル画像は１枚撮影しても、複数枚撮影しても良く、複数枚撮影した場合には任意のカラーチャンネル画像を選び、基準画像として設定するようにすれば良い。
【００２９】
なお、画像入力装置１０は、上記図２（Ａ）の他、図２（Ｂ）に示すような２分岐光学系方式６バンドカメラ（６板式６色カメラ）、図２（Ｃ）に示すようなステレオカメラ式６バンドカメラとしても良い。また、画像入力装置１０は、複数のカラーチャンネルのカラーチャンネル画像を撮影できればよく、３つの画像入力部１１１〜１１３で構成される場合に限定されず、Ｎ個の画像入力部１１１〜１１Ｎによって構成されるものであっても良い。この場合、イメージセンサ１２１〜１２３Ｎの全てもしくは一部の同期が取れていない状態とする。また、図２（Ｂ）及び図２（Ｃ）において、カメラ１及びカメラ２が３板式センサカメラではなく単板式センサカメラ（１枚のセンサ上に多色のカラーフィルタが取り付けられている）の場合には、画像入力部１１１をカメラ１、画像入力部１１２をカメラ２とすれば良い。
【００３０】
撮影画像記録部２６には、画像入力部１１１〜１１３で撮影された３つのカラーチャンネル画像が記録される。
【００３１】
演算部２０は、画像蓄積部２８１〜２８３と、同期画像生成部３０２と、同期画像生成部３０３と、カラー画像統合部６０と、色再現部７０とを含んで構成されている。
【００３２】
画像蓄積部２８１〜２８３には、画像入力部１１１〜１１３で３つのカラーチャンネルごとに撮影された、タイムスタンプが付与されたカラーチャンネル画像の各々が格納される。ここで、３つのカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とする。本実施の形態では画像入力部１１１のカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、画像入力部１１２〜１１３のカラーチャンネルで撮影されたものを、基準画像で使用したカラーチャンネル以外のカラーチャンネル画像とする。なお、基準画像を撮影した画像入力部１１１から出力されたタイムスタンプ付きのカラーチャンネル画像は画像蓄積部２８１を経由せず、直接、同期画像生成部３０に入力しても良い。また画像入力装置１０で撮影されたタイムスタンプ付きの３つのカラーチャンネル画像は、一旦、撮影画像記録部２６に保存された後に画像蓄積部２８１〜２８３へ格納するようにしても良い。
【００３３】
同期画像生成部３０２は、変形対象画像選択部３２２と、画像変形パラメータ算出処理部４０２と、画像変形処理部５０２とを備えている。
【００３４】
変形対象画像選択部３２２は、基準画像のカラーチャンネルを１つ目のカラーチャンネルとして、２つ目のカラーチャンネルについて、当該カラーチャンネルで撮影された複数のカラーチャンネル画像のうち、基準画像とタイムスタンプが最も近いカラーチャンネル画像を当該カラーチャンネルの変形対象画像として選択する。例えば、まず、ある時刻に撮影された基準画像のタイムスタンプと、画像蓄積部２８２に格納されたカラーチャンネル画像の各々のタイムスタンプとの比較を行い、時刻の差が最も小さなカラーチャンネル画像を、当該カラーチャンネルの変形対象画像とする。
【００３５】
画像変形パラメータ算出処理部４０２は、対応点探索部４２２と、検出対応点記憶部４４２と、画像変形パラメータ算出部４６２とから構成されている。
【００３６】
対応点探索部４２２は、基準画像と、変形対象画像選択部３２２で選択された変形対象画像との間での対応点探索を行い、基準画像と変形対象画像との間で検出された全ての対応点の座標を検出対応点記憶部４４２に記録する。対応点検出手法は、既存の手法を用いればよく、特にサブピクセル精度での検出が可能な手法が好ましい。本実施の形態では、対応点の検出方法として、サブピクセル精度での対応点検出が可能な位相限定相関法（ＰＯＣ法）を用いたが、対応点検出手法は位相限定相関法に限定されるものではなく、ＮＣＣ（normalized cross correlation）法やＳＡＤ（sum of absolute differences）法、ＳＳＤ（sum of squared difference）法、ＳＩＦＴ（Scale-Invariant Feature Transform）法、ヒストグラム相関法、ＨＯＧ（Histograms of Oriented Gradients）法等を用いても良い。
【００３７】
検出対応点記憶部４４２には、基準画像と変形対象画像との間で検出された全ての対応点の座標が各カラーチャンネルの変形対象画像ごとに格納される。
【００３８】
画像変形パラメータ算出部４６２は、検出対応点記憶部４４２に記録された対応点の画像上での位置情報を元に、各カラーチャンネルの変形対象画像の画像変形に必要なパラメータを算出する。算出するパラメータは画像変形で使用するアルゴリズムに依存し、例えば、変形処理に用いる行列やルックアップ・テーブルが用いられる。画像変形アルゴリズムは、射影変換の様な線形手法やスプライン変換の非線形手法など、既存の手法を用いればよい。本実施の形態では、射影変換法を用いる。また、被写体が３次元的な形状を持つ場合には、非線形的な手法の１つであるＴＰＳ（Thin-plate spline）法を用いてもよい。
【００３９】
画像変形処理部５０２は、変形対象画像選択部３２２によって選択された各カラーチャンネルの変形対象画像を、画像変形パラメータ算出部４６２によって算出されたパラメータに基づいて、基準画像に合わせて変形する。なお、同様の処理を、画像変形処理部５０３において、イメージセンサ１２３で撮影されたカラーチャンネル画像から選択された変形対象画像に関しても行なう。以上の処理により、３つのイメージセンサ間で同期を取って撮影したときと同等の、各カラーチャンネル画像間での対応点間の位置ズレが無い３つのカラーチャンネル画像を生成することができる。また、画像を小領域に分割し、画像ごとに射影変換法の様な線形的手法やＴＰＳ法の様な非線形的手法を適用してもよい。
【００４０】
同期画像生成部３０３は、同期画像生成部３０２と同様に、変形対象画像選択部３２３と、画像変形パラメータ算出処理部４０３と、画像変形処理部５０３とを備えている。変形対象画像選択部３２３、画像変形パラメータ算出処理部４０３、及び画像変形処理部５０３の各処理は、変形対象画像選択部３２２、画像変形パラメータ算出処理部４０２、及び画像変形処理部５０２と同様であるため、説明を省略する。
【００４１】
カラー画像統合部６０は、画像変形処理部５０２、５０３によって基準画像で使用したもの以外のカラーチャンネルの各々に関する変形対象画像をそれぞれ変形させて得られた結果画像と、基準画像とに基づいて、マルチカラーチャンネル画像を生成する。なお、所定のフォーマットのファイル形式に変換し出力する場合もある。例えば、ハードディスクなどの記録媒体が含まれていてもよく、入力された変形対象画像（カラーチャンネル画像）の各々を何らかのフォーマットに基づいたファイル形式に変換し、記録しても良い。
【００４２】
色再現部７０は、反射光スペクトル画像により分光反射率を再現する場合、カラー画像統合部６０によって生成されたマルチカラーチャンネル画像と、撮影時の照明光スペクトルと、画像入力装置１０の分光感度特性及び分光反射率データベース（図示省略）から得られた主成分スペクトル等（被写体の分光反射率に関する統計情報）を用いて、マルチカラーチャンネル画像上の各画素に対応する被写体表面の分光反射率を推定し、分光反射率画像を生成する。ここで、分光反射率の算出手法は、ウィナー推定法や重回帰分析法などの既存手法を用いる。反射光スペクトル画像を再現する場合には、前述の分光反射率画像と再現したい照明環境における照明光スペクトルを用いて反射光スペクトル画像を生成する。また、出力デバイスに依存しない測色値画像を再現する場合には、分光反射率を再現する場合に用いた情報に加えて、再現したい照明環境における照明光スペクトルを用いて、測色値画像を生成する。また、出力部８０の特性に合わせた色再現画像を生成する場合には、測色値画像を再現する場合に用いた情報に加えて、出力部８０の特性を用いて、色再現画像を生成する。
【００４３】
そして、色再現部７０は、生成した分光反射率画像、反射光スペクトル画像、測色値画像、又は色再現画像を出力部８０に出力する。なお、色再現部７０における色再現処理手法は既存の手法を用いればよく、特定の手法に限定されるものではない。
【００４４】
＜本発明の第１の実施の形態に係る画像処理装置の作用＞
【００４５】
次に、本発明の第１の実施の形態に係る画像処理装置１８の作用について説明する。画像入力部１１１〜１１３で３つのカラーチャンネルごとに撮影された、タイムスタンプが付与されたカラーチャンネル画像の各々を受け付けると、カラーチャンネル画像の各々を画像蓄積部２８１〜２８３に格納し、画像処理装置１８は、図３に示す画像処理ルーチンを実行する。
【００４６】
まず、ステップＳ１００では、画像蓄積部２８１〜２８３に格納された３つのカラーチャンネル各々のカラーチャンネル画像の各々を取得し、画像蓄積部２８１に格納されたカラーチャンネル画像の何れか１つを基準画像として設定する。
【００４７】
次に、ステップＳ１０２では、基準画像のカラーチャンネル以外から、カラーチャンネルを選択する。
【００４８】
ステップＳ１０４では、当該カラーチャンネルで撮影された複数枚のカラーチャンネル画像のうち、基準画像とタイムスタンプが最も近いカラーチャンネル画像を当該カラーチャンネルの変形対象画像として選択する。
【００４９】
ステップＳ１０６では、基準画像と、ステップＳ１０４で選択された変形対象画像との間での対応点探索を行い、基準画像と変形対象画像との間で検出された全ての対応点の座標を記録する。
【００５０】
ステップＳ１０８では、ステップＳ１０６で記録された対応点の画像上での位置情報を元に、変形対象画像の画像変形に必要なパラメータを算出する。
【００５１】
ステップＳ１１０では、ステップＳ１０４で選択された変形対象画像を、画像変形パラメータ算出部４６によって算出されたパラメータに基づいて、基準画像に合わせて変形する。
【００５２】
ステップＳ１１２では、基準画像のカラーチャンネル以外の全てのカラーチャンネルについて処理を終了したかを判定し、終了していなければ、ステップＳ１０２へ戻ってステップＳ１０４〜ステップＳ１１０の処理を繰り返し、終了していれば、ステップＳ１１４へ移行する。
【００５３】
ステップＳ１１４では、ステップＳ１１０で基準画像で使用したもの以外のカラーチャンネルの各々に関する変形対象画像をそれぞれ変形させて得られた結果画像と、基準画像とに基づいて、マルチカラーチャンネル画像を生成する。
【００５４】
ステップＳ１１６では、ステップＳ１１４で生成されたマルチカラーチャンネル画像と、撮影時の照明光スペクトルと、画像入力装置１０の分光感度特性及び分光反射率データベース（図示省略）から得られた主成分スペクトル等と、出力部８０の特性とに基づいて、色再現画像を生成する。
【００５５】
ステップＳ１１８では、ステップＳ１１６で生成された色再現画像を出力部８０に出力し画像処理ルーチンを終了する。
【００５６】
以上説明したように、第１の実施の形態に係る画像処理装置によれば、３つのカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、複数のカラーチャンネルのうち基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、基準画像とタイムスタンプが最も近い当該カラーチャンネルのカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択し、選択された各カラーチャンネルの変形対象画像の各々を、基準画像に合わせて変形し、変形された変形対象画像の各々と、基準画像とに基づいてマルチカラーチャンネルを生成することにより、複数のカラーチャンネルの画像の撮像が同期していなくても、同期撮影を行った場合と同等のマルチカラーチャンネル画像を生成することができる。
【００５７】
＜本発明の第２の実施の形態に係る画像処理装置の構成＞
【００５８】
次に、本発明の第２の実施の形態に係る画像処理装置の構成について説明する。第２の実施の形態では、基準画像と、その他の各カラーチャンネル画像それぞれとの間の類似度を用いて当該カラーチャンネルの変形対象画像を選択する。なお、第２の実施の形態の画像処理システムについて、第１の実施の形態の画像処理システム１００と同様の構成については、同一符号を付して詳細な説明を省略する。
【００５９】
図４に示すように、本発明の第２の実施の形態に係る画像処理システム２００は、画像入力装置２１０と、画像処理装置２１８とを備えている。画像処理装置２１８は、ＣＰＵと、ＲＡＭと、後述する画像処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像処理装置２１８は、機能的には図４に示すように、撮影画像記録部２６と、演算部２２０と、出力部８０とを備えている。
【００６０】
画像入力装置２１０は、上記図２（Ａ）に示すような３板式３色カメラで構成されており、３つのカラーチャンネルごとに３枚のカラーチャンネル画像を撮影する。具体的には、画像入力部２１１１〜２１１３によって、それぞれ異なるカラーチャンネルのカラーチャンネル画像を撮影する。
【００６１】
なお、画像入力装置２１０は、上記図２（Ａ）の他、図２（Ｂ）に示すような２分岐光学系方式６バンドカメラ（６板式６色カメラ）、図２（Ｃ）に示すようなステレオカメラ式６バンドカメラとしても良い。また、図５（Ａ）に示すような、１台の白黒カメラの前にフィルターターレットを設置し、異なる分光透過率特性のフィルタを装着、使用するフィルタを時分割で変更させながら撮影するマルチカラーチャンネルカメラ（図の場合は６色）である。カメラの台数を増やし、図５（Ａ）とは異なる（一部のフィルタは同じでも良い）分光透過率特性を有するフィルタを用いて、ステレオ撮影方式にしても良い。また、図５（Ｂ）に示すような、光源側にフィルターターレットを設置し、照明光源の色を時分割で変えながら、それぞれの画像を白黒カメラで撮影する方式としても良い。また、画像入力装置２１０は、複数のカラーチャンネルのカラーチャンネル画像を撮影できればよく、３つの画像入力部２１１１〜２１１３で構成される場合に限定されず、Ｎ個の画像入力部２１１１〜２１１Ｎによって構成されるものであっても良い。この場合、画像入力部２１１１〜２１１Ｎの全てもしくは一部の同期が取れていない状態とする。また、図２（Ｂ）及び図２（Ｃ）において、カメラ１及びカメラ２が３板式センサカメラではなく単板式センサカメラの場合には、画像入力部２１１１をカメラ１、画像入力部２１１２をカメラ２とすれば良い。
【００６２】
演算部２２０は、画像蓄積部２２８１〜２２８３と、同期画像生成部２３０２と、同期画像生成部２３０３と、カラー画像統合部６０と、色再現部７０とを含んで構成されている。
【００６３】
画像蓄積部２２８１〜２２８３には、画像入力部２１１１〜２１１３で３つのカラーチャンネルごとに撮影された、カラーチャンネル画像の各々が格納される。ここで、３つのカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とする。本実施の形態では画像入力部２１１１のカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、画像入力部２１１２〜２１１３のカラーチャンネルで撮影されたカラーチャンネル画像を、各カラーチャンネルの変形対象画像候補とする。
【００６４】
同期画像生成部２３０２は、変形対象画像選択部２３２２と、画像変形パラメータ算出処理部４０２と、画像変形処理部５０２とを備えている。
【００６５】
変形対象画像選択部２３２２は、画像記憶部２３３２と、画像間類似度計算部２３４２と、画像間類似度評価部２３８２とから構成されている。
【００６６】
画像記憶部２３３２には、画像入力部２１１２で撮影された２つ目のカラーチャンネルの複数枚のカラーチャンネル画像の各々が変形対象画像候補として格納される。
【００６７】
画像間類似度計算部２３４２は、複数のカラーチャンネルのうちの２つ目のカラーチャンネルについて、当該カラーチャンネルで撮影された複数枚のカラーチャンネル画像（変形対象画像候補）の各々と基準画像との類似度を計算し、類似度が最も大きなカラーチャンネル画像を、当該カラーチャンネルの変形対象画像とする。本実施の形態の画像間類似度計算部２３４２では、カラーチャンネル画像（変形対象画像候補）と基準画像との位相情報の相関値を類似度として用いる。画像の類似度を表現する方法は、様々な方法が開発されており、その評価値は画像の位相情報の相関値に制限するものではない。
【００６８】
画像間類似度評価部２３８２は画像間類似度計算部２３４２によって算出された類似度に基づいて、複数のカラーチャンネルのうちの２つ目のカラーチャンネルについて、画像記憶部２３３２内の全てのカラーチャンネル画像のうち、基準画像との類似度が最も高いカラーチャンネル画像を当該カラーチャンネルの変形対象画像として選択する。
【００６９】
第２の実施の形態の対応点探索部４２２は、基準画像と、変形対象画像選択部２３２２で選択された変形対象画像との間での対応点探索を行い、基準画像と変形対象画像との間で検出された全ての対応点の座標を変形対象画像ごとに検出対応点記憶部４４２へ記録する。
【００７０】
同期画像生成部２３０３は、同期画像生成部２３０２と同様に、変形対象画像選択部２３２３と、画像変形パラメータ算出処理部４０３と、画像変形処理部５０３とを備えている。変形対象画像選択部２３２３、画像変形パラメータ算出処理部４０３、及び画像変形処理部５０３の各処理は、変形対象画像選択部２３２２、画像変形パラメータ算出処理部４０２、及び画像変形処理部５０２と同様であるため、説明を省略する。
【００７１】
なお、第２の実施の形態に係る画像処理システム２００の他の構成については、第１の実施の形態と同様であるため、説明を省略する。
【００７２】
＜本発明の第２の実施の形態に係る画像処理装置の作用＞
【００７３】
次に、本発明の第２の実施の形態に係る画像処理装置２１８の作用について説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。
【００７４】
画像入力部２１１１〜２１１３で３つのカラーチャンネルごとに撮影されたカラーチャンネル画像の各々を受け付けると、カラーチャンネル画像の各々を画像蓄積部２２８１〜２２８３に格納し、画像処理装置２００は、図６に示す画像処理ルーチンを実行する。
【００７５】
ステップＳ２００では、当該カラーチャンネルで撮影されたカラーチャンネル画像の各々と基準画像との類似度を計算する。
【００７６】
ステップＳ２０２では、ステップＳ２００でカラーチャンネル画像の各々について算出された類似度に基づいて、複数のカラーチャンネルのうちの当該カラーチャンネルについて、全てのカラーチャンネル画像のうち、基準画像との類似度が最も高いカラーチャンネル画像を当該カラーチャンネルの変形対象画像として選択する。
【００７７】
ステップＳ１０６では、基準画像と、ステップＳ２０２で選択された変形対象画像との間での対応点探索を行い、基準画像と変形対象画像との間で検出された全ての対応点の座標を変形対象画像ごとに記録する。
【００７８】
なお、第２の実施の形態に係る画像処理装置２１８の他の作用については、第１の実施の形態と同様であるため、説明を省略する。
【００７９】
以上説明したように、第２の実施の形態に係る画像処理装置によれば、３つのカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、複数のカラーチャンネルのうち基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、基準画像との類似度が最も高い当該カラーチャンネルのカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択し、選択された変形対象画像の各々を、基準画像に合わせて変形し、変形された変形対象画像の各々と、基準画像とに基づいてマルチカラーチャンネルを生成することにより、複数のカラーチャンネルの画像の撮像が同期していなくても、同期撮影を行った場合と同等のマルチカラーチャンネル画像を生成することができる。
【００８０】
＜本発明の第３の実施の形態に係る画像処理装置の構成＞
【００８１】
次に、本発明の第３の実施の形態に係る画像処理装置の構成について説明する。第３の実施の形態における具体的なシチュエーションは、回転ステージ上に載せて回転させた被写体を、各カメラの分光感度特性が異なる複数のカメラ（ステレオカメラシステムなど）で同時に、または時間的に分けて撮影した場合を想定している。被写体ではなく、カメラを動かす場合も同様である。このようなシチュエーションを想定し、ある特定のカメラについて、基準画像を撮影した撮影位置と最も近い撮影位置のカラーチャンネル画像を変形対象画像として選択する。なお、第３の実施の形態の画像処理システムについて、第１の実施の形態の画像処理システム１００と同様の構成については、同一符号を付して詳細な説明を省略する。
【００８２】
図７に示すように、本発明の第３の実施の形態に係る画像処理システム３００は、画像入力装置３１０と、画像処理装置３１８とを備えている。画像処理装置３１８は、ＣＰＵと、ＲＡＭと、後述する画像処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像処理装置３１８は、機能的には図７に示すように撮影画像記録部２６と、カメラ内部パラメータ記憶部３２７と、演算部３２０と、出力部８０とを備えている。
【００８３】
画像入力装置３１０は、上記図５（Ａ）に示すような、光源側に６つのカラーフィルタをもつフィルターターレットを設置し、照明光源の色を時分割で変えながら、それぞれのカラーチャンネルの画像を白黒カメラで撮影するように構成されており、フィルターターレットを動かし、６つのカラーチャンネルごとに６枚のカラーチャンネル画像を撮影する。具体的には、フィルタ３１２１〜３１２６を通して、イメージセンサ３１１により、それぞれ異なるカラーチャンネルのカラーチャンネル画像を撮影する。そして、イメージセンサ３１１によりそれぞれのカラーチャンネル画像を出力する。
【００８４】
なお、画像入力装置３１０は、図２（Ａ）に示すような３板式３色カメラ、図２（Ｂ）に示すような２分岐光学系方式６バンドカメラ（６板式６色カメラ）、及び図２（Ｃ）に示すようなステレオカメラ式６バンドカメラとしても良い。また、上記図５（Ｂ）に示すような、光源側にフィルターターレットを設置し、照明光源の色を時分割で変えながら、それぞれの画像を白黒カメラで撮影する方式としても良い。
【００８５】
カメラ内部パラメータ記憶部３２７には、基準画像を撮影したカメラ及び各カラーチャンネル画像を撮影したカメラの、光学系を含めた、幾何光学系パラメータ（画角など）が記憶されている。
【００８６】
画像蓄積部３２８１〜３２８６には、イメージセンサ３１１で６つのカラーチャンネルごとに撮影された、カラーチャンネル画像の各々が格納される。ここで、６つのカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とする。本実施の形態ではフィルタ３１２１のカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、フィルタ３１２２〜３１２６のカラーチャンネルで撮影されたものを基準画像で使用したカラーチャンネル以外のカラーチャンネル画像とする。
【００８７】
演算部３２０は、画像蓄積部３２８１〜３２８６と、同期画像生成部３３０２〜２３０６と、カラー画像統合部６０と、色再現部７０とを含んで構成されている。
【００８８】
同期画像生成部３３０２は、変形対象画像選択部３３２２と、画像変形パラメータ算出処理部３４０２と、画像変形処理部５０２とを備えている。
【００８９】
変形対象画像選択部３３２２は、画像記憶部３３３２と、対応点探索部３３４２と、検出対応点記憶部３３５２と、カメラ位置推定部３３６２と、カメラ間距離評価部３３８２とから構成されている。
【００９０】
画像記憶部３３３２には、フィルタ３１２２を用いてイメージセンサ３１１で撮影された、２つ目のカラーチャンネルのカラーチャンネル画像の各々が変形対象画像候補として格納される。
【００９１】
対応点探索部３３４２は、２つ目のカラーチャンネルで撮影されたカラーチャンネル画像（変形対象画像候補）の各々に対し、基準画像及び当該カラーチャンネル画像（変形対象画像候補）の間で対応する特徴点のペアである対応点を検出する。対応点の詳細な検出手法は、第１の実施の形態の画像処理システム１００における対応点探索部４２と同様である。
【００９２】
検出対応点記憶部３３５２は、２つ目のカラーチャンネルのカラーチャンネル画像の各々について、基準画像との間で検出された全ての対応点に関して、基準画像上および変形対象画像候補上におけるそれぞれの座標がカラーチャンネル画像毎に格納される。
【００９３】
カメラ位置推定部３３６２は、２つ目のカラーチャンネルで撮影されたカラーチャンネル画像（変形対象画像候補）の各々に対し、検出対応点記憶部３３５２に格納されたカラーチャンネル画像毎の対応点の座標と、カメラ内部パラメータ記憶部３２７に記憶されている、基準画像を撮影したカメラ及び当該カラーチャンネル画像（変形対象画像候補）を撮影したカメラの幾何光学系パラメータとに基づいて、基準画像を撮影したカメラの位置に対する当該カラーチャンネル画像を撮影したカメラの位置を推定する。
【００９４】
カメラ間距離評価部３３８２は、２つ目のカラーチャンネルについて、カメラ位置推定部３３６２によって推定された各カラーチャンネル画像を撮影したカメラの位置に基づいて、当該カラーチャンネルで撮影されたカラーチャンネル画像のうち、基準画像と撮影位置が最も近いカラーチャンネル画像を当該カラーチャンネルにおける変形対象画像として選択する。
【００９５】
画像変形パラメータ算出処理部３４０２は、カメラ間距離評価部３３８２で選択された変形対象画像について検出対応点記憶部３３５２に記録された対応点の画像上での位置情報（座標）を元に、変形対象画像の画像変形に必要なパラメータを算出する。
【００９６】
同期画像生成部３３０３〜３３０６は、同期画像生成部２３０２と同様に、変形対象画像選択部２３２３〜３３２６と、画像変形パラメータ算出処理部３４０３〜３４０６と、画像変形処理部５０３〜５０６とを備えている。変形対象画像選択部２３２３〜３３２６、画像変形パラメータ算出処理部３４０３〜３４０６、及び画像変形処理部５０３〜５０６の各処理は、変形対象画像選択部２３２２、画像変形パラメータ算出処理部４０２、及び画像変形処理部５０２と同様であるため、説明を省略する。
【００９７】
なお、第３の実施の形態に係る画像処理システム３００の他の構成については、第１の実施の形態と同様であるため、説明を省略する。
【００９８】
＜本発明の第３の実施の形態に係る画像処理装置の作用＞
【００９９】
次に、本発明の第３の実施の形態に係る画像処理装置３１８の作用について説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。
【０１００】
フィルタ３１２１〜３１２６を用いてイメージセンサ３１１により６つのカラーチャンネルごとに撮影されたカラーチャンネル画像の各々を受け付けると、カラーチャンネル画像の各々を画像蓄積部３２８１〜３２８６に格納し、画像処理装置３１８は、図８に示す画像処理ルーチンを実行する。
【０１０１】
ステップＳ３００では、基準画像と、ステップＳ１０２で選択されたカラーチャンネルのカラーチャンネル画像の各々との間での対応点探索を行い、基準画像とカラーチャンネル画像との間で検出された全ての対応点の座標を、カラーチャンネル画像毎に記録する。
【０１０２】
ステップＳ３０２では、カラーチャンネル画像の各々に対し、ステップＳ３００で記録された対応点と、幾何光学系パラメータとに基づいて、カメラ位置を推定する。
【０１０３】
ステップＳ３０４では、ステップＳ３０２でカラーチャンネル画像の各々に対し推定されたカメラ位置に基づいて当該カラーチャンネルで撮影されたカラーチャンネル画像のうち、基準画像と撮影位置が最も近いカラーチャンネル画像を変形対象画像として選択する。
【０１０４】
ステップＳ１０８では、ステップＳ３００で選択された変形対象画像について記録された対応点の画像上での位置情報を元に、変形対象画像の画像変形に必要なパラメータを算出する。
【０１０５】
なお、第３の実施の形態に係る画像処理装置３１８の作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１０６】
以上説明したように、第３の実施の形態に係る画像処理装置によれば、６つのカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、複数のカラーチャンネルのうち基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、基準画像と撮影位置が最も近いカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択し、選択された変形対象画像の各々を、基準画像に合わせて変形し、変形された変形対象画像の各々と、基準画像とに基づいてマルチカラーチャンネルを生成することにより、複数のカラーチャンネルの画像の撮像が同期していなくても、同期撮影を行った場合と同等のマルチカラーチャンネル画像を生成することができる。
【０１０７】
また、カメラや被写体の移動により、基準画像の視点における、あるカラーチャンネルの画像（参照画像）が撮影されていない場合でも、基準画像の視点におけるマルチカラーチャンネル画像が生成できる。
【０１０８】
また、色再現画像の画質が従来手法に比べ向上し、またCIE-XYZやCIE-Labなどの測色値、また分光反射率の推定精度が向上する。さらに、センサもしくはカメラ間で同期を取る必要がなくなり、システム構成の簡略化や小型化、またシステム構築費用の削減が実現できる。
【０１０９】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【符号の説明】
【０１１０】
１０、２１０、３１０ 画像入力装置
１１１〜１１３、２１１１〜２１１３ 画像入力部
１２１〜１２３、３１１      イメージセンサ
１３１〜１３３       タイムスタンプ付与部
３１２１〜３１２６   フィルタ
１８、２１８、３１８ 画像処理装置
２６   撮影画像記録部
２８１〜２８３、２２８１〜２２８３、３２８１〜３２８６  画像蓄積部
３２７ カメラ内部パラメータ記憶部
２０、２２０、３２０ 演算部
３０２〜３０３、２３０２〜２３０３、３３０２〜３３０６  同期画像生成部
３２２〜３２３、２３２２〜２３２３、３３２２〜３３２６  変形対象画像選択部
２３３２〜２３３３、３３３２〜３３３６           画像記憶部
２３４２〜２３４３   画像間類似度計算部
２３８２〜２３８３   画像間類似度評価部
４２２〜４２３、３３４２〜３３４６ 対応点探索部
４４２〜４４３、３３５２〜３３５６ 検出対応点記憶部
３３６２〜３３６６   カメラ位置推定部
３３８２〜３３８６   カメラ間距離評価部
４０２〜４０３、３４０２〜３４０６ 画像変形パラメータ算出処理部
４６２〜４６３       画像変形パラメータ算出部
６０   カラー画像統合部
７０   色再現部
８０   出力部
１００、２００、３００      画像処理システム
【図１】
0006372805.tif 000002
【図２】
0006372805.tif 000003
【図３】
0006372805.tif 000004
【図４】
0006372805.tif 000005
【図５】
0006372805.tif 000006
【図６】
0006372805.tif 000007
【図７】
0006372805.tif 000008
【図８】
0006372805.tif 000009