(57)【要約】      （修正有）【課題】所望の解像度のマルチバンド画像を容易に取得することができる画像処理装置、及び画像処理方法を提供する。【解決手段】画像処理装置において、被写体の全領域又は一部を、第１の撮影装置１１１及び第１の撮影装置とは分光感度特性が異なる第２の撮影装置１１２によりそれぞれ撮影して得られるマルチバンド画像に基づいて、変換パラメータ算出部１０４が、第１の撮影装置により撮影した画像の画素値と第２の撮影装置により撮影した画像の画素値との対応関係を示すパラメータを算出し、算出したパラメータに基づいて、画像生成部１０５が、第１の撮影装置により被写体を撮影した所定の解像度の３バンド画像からマルチバンド画像を生成するようにして、所望の解像度のマルチバンド画像を容易に取得できるようにする。【選択図】図１
2020025179.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮影装置により被写体を撮影した所定の解像度の３バンド画像を取得する第１の取得手段と、
前記被写体の全領域又は一部を第１の撮影装置、及び前記第１の撮影装置とは分光感度特性が異なる第２の撮影装置によりそれぞれ撮影して得られるマルチバンド画像を取得する第２の取得手段と、
前記第２の取得手段により取得したマルチバンド画像に基づいて、前記第１の撮影装置により撮影した画像の画素値と前記第２の撮影装置により撮影した画像の画素値との対応関係を示すパラメータを算出するパラメータ算出手段と、
前記パラメータ算出手段により算出したパラメータに基づいて、前記第１の取得手段により取得した３バンド画像から前記所定の解像度のマルチバンド画像を生成する画像生成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記画像生成手段は、前記パラメータ算出手段により算出したパラメータを用いて、前記第１の取得手段により取得した３バンド画像の画素値を前記第２の撮像装置が有する分光感度特性に対応する画素値に変換し、変換して得られた画像と前記第１の取得手段により取得した３バンド画像とを基に前記所定の解像度のマルチバンド画像を生成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記パラメータ算出手段は、前記第２の取得手段により取得したマルチバンド画像から代表点を抽出し、抽出した前記代表点における画素値の対応関係から前記パラメータを算出することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記第２の撮影装置は、バンドパスフィルタを装着した前記第１の撮影装置であることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記バンドパスフィルタの分光透過率は、前記第１の撮影装置の分光感度特性よりも波長の半値幅が狭く、かつ波長のピーク位置が異なることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記パラメータ算出手段により算出されるパラメータは、画素値の対応関係を示す行列係数又はルックアップテーブルであることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記第１の撮影装置により撮影した画像の画素値と前記第２の撮影装置により撮影した画像の画素値との差が閾値よりも大きい場合、少なくとも一方の画像の画素値を補正することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
前記マルチバンド画像は、４バンド以上の画像であることを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項９】
前記第１の取得手段が取得する３バンド画像は、前記被写体を分割撮影した複数の３バンド画像であり、
前記第２の取得手段が取得するマルチバンド画像は、前記被写体を分割撮影した複数の３バンド画像の内の一部の３バンド画像に対応する画像であることを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
【請求項１０】
第１の撮影装置により被写体を撮影した所定の解像度の３バンド画像を取得する第１の取得工程と、
前記被写体の全領域又は一部を第１の撮影装置、及び前記第１の撮影装置とは分光感度特性が異なる第２の撮影装置によりそれぞれ撮影して得られるマルチバンド画像を取得する第２の取得工程と、
前記第２の取得工程にて取得したマルチバンド画像に基づいて、前記第１の撮影装置により撮影した画像の画素値と前記第２の撮影装置により撮影した画像の画素値との対応関係を示すパラメータを算出するパラメータ算出工程と、
前記パラメータ算出にて算出したパラメータに基づいて、前記第１の取得工程にて取得した３バンド画像から前記所定の解像度のマルチバンド画像を生成する画像生成工程とを有することを特徴とする画像処理方法。
【請求項１１】
第１の撮影装置により被写体を撮影した所定の解像度の３バンド画像を取得する第１の取得ステップと、
前記被写体の全領域又は一部を第１の撮影装置、及び前記第１の撮影装置とは分光感度特性が異なる第２の撮影装置によりそれぞれ撮影して得られるマルチバンド画像を取得する第２の取得ステップと、
前記第２の取得ステップにて取得したマルチバンド画像に基づいて、前記第１の撮影装置により撮影した画像の画素値と前記第２の撮影装置により撮影した画像の画素値との対応関係を示すパラメータを算出するパラメータ算出ステップと、
前記パラメータ算出ステップにて算出したパラメータに基づいて、前記第１の取得ステップにて取得した３バンド画像から前記所定の解像度のマルチバンド画像を生成する画像生成ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチバンド画像を生成する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
複数種類のカラーフィルタを用いて、被写体の４バンド以上の分離したスペクトル領域の画像（以下、「マルチバンド画像」とも称す）を取得するマルチバンドカメラがある。マルチバンドカメラには、特許文献１に記載のように複数のカラーフィルタを切り替えて被写体を撮影するマルチバンドカメラがある。また、特許文献２に記載のように撮像センサ上に複数色のカラーフィルタを配置して１回の撮影動作で被写体を撮影するマルチバンドカメラがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−９９７１０号公報
【特許文献２】特開２００５−２８６６４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
マルチバンドカメラを用いた撮影には、撮影時間及び画質面で課題がある。例えば、特許文献１に記載の方法では、１つのマルチバンド画像を取得する際に必要な撮影数が増加するため、分光情報として赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）のＲＧＢ値を取得するディジタルカメラと比較して撮影時間が長くなってしまう。また、例えば、１つの被写体を分割撮影しようとして複数領域での撮影を行うと撮影時間が膨大になる。特許文献２に記載の方法であれば、マルチバンド画像の取得に要する撮影時間の増加は発生しないが、一般的なディジタルカメラと比較してカラーフィルタの色数が増える分、解像度が低下してしまう。本発明は、このような事情に鑑みてなされたものであり、所望の解像度のマルチバンド画像を容易に取得できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、第１の撮影装置により被写体を撮影した所定の解像度の３バンド画像を取得する第１の取得手段と、前記被写体の全領域又は一部を第１の撮影装置、及び前記第１の撮影装置とは分光感度特性が異なる第２の撮影装置によりそれぞれ撮影して得られるマルチバンド画像を取得する第２の取得手段と、前記第２の取得手段により取得したマルチバンド画像に基づいて、前記第１の撮影装置により撮影した画像の画素値と前記第２の撮影装置により撮影した画像の画素値との対応関係を示すパラメータを算出するパラメータ算出手段と、前記パラメータ算出手段により算出したパラメータに基づいて、前記第１の取得手段により取得した３バンド画像から前記所定の解像度のマルチバンド画像を生成する画像生成手段とを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、所望の解像度のマルチバンド画像を容易に取得することが可能となる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態における画像処理装置の機能構成の例を示す図である。
【図２】第１の実施形態における画像処理装置のハードウェア構成の例を示す図である。
【図３】第１の実施形態における画像処理装置による処理を説明する図である。
【図４】第１の実施形態における画像処理装置による処理例を示すフローチャートである。
【図５】マルチバンド画像の撮影に係る分光感度特性を説明する図である。
【図６】第１の実施形態における変換パラメータ算出処理の例を示すフローチャートである。
【図７】第１の実施形態におけるマルチバンド画像生成処理の例を示すフローチャートである。
【図８】第２の実施形態における画像処理装置の機能構成の例を示す図である。
【図９】第２の実施形態における画像処理装置による処理例を示すフローチャートである。
【図１０】第２の実施形態における補正パラメータ算出処理の例を示すフローチャートである。
【図１１】第２の実施形態における分光反射率画像生成処理の例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を図面に基づいて説明する。
【０００９】
（第１の実施形態）
本発明の第１の実施形態について説明する。図１は、第１の実施形態における画像処理装置１０１の機能構成の一例を示すブロック図である。画像処理装置１０１は、３バンド画像取得部１０２、マルチバンド画像取得部１０３、変換パラメータ算出部１０４、画像生成部１０５、及びバッファメモリ１０６を有する。
【００１０】
３バンド画像取得部１０２は、３バンド撮影装置１１１にて撮影した画像を取得する。３バンド撮影装置１１１は、被写体の３バンド画像を取得する撮影装置である。本実施形態における３バンド画像は、一例として赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）の各バンドの情報を有するＲＧＢ画像とする。３バンド撮影装置１１１は、例えば一般的なディジタルカメラである。
【００１１】
マルチバンド画像取得部１０３は、マルチバンド撮影装置１１２にて撮影した画像を取得する。マルチバンド撮影装置１１２は、４種類以上のカラーフィルタを有する撮像デバイスによって被写体の複数（４バンド以上）のスペクトル領域の画像を取得する撮影装置である。マルチバンド撮影装置１１２は、例えばＲ、Ｇ、Ｂの各色のカラーフィルタが配置された撮像素子とバンドパスフィルタとを有し、バンドパスフィルタ無しの状態と有りの状態でそれぞれ撮影を行うことにより６バンドのマルチバンド画像を取得する。このようにバンドパスフィルタの装着状態を変えて撮影を行うことを、以下では「マルチバンド撮影」とも称す。
【００１２】
変換パラメータ算出部１０４は、マルチバンド撮影装置１１２にて撮影した画像に基づいて、３バンド撮影装置１１１で撮影した３バンド画像からマルチバンド画像を生成するための変換パラメータを算出する。変換パラメータ算出部１０４は、マルチバンド撮影装置１１２によって撮影したバンドパスフィルタ無しでの画像の画素値とバンドパスフィルタ有りでの画像の画素値とを対応付けして画素値を変換する変換パラメータを算出する。
【００１３】
画像生成部１０５は、変換パラメータ算出部１０４で算出した変換パラメータに基づいて、３バンド撮影装置１１１で撮影した３バンド画像からマルチバンド画像を生成する。画像生成部１０５は、３バンド撮影装置１１１で撮影した３バンド画像の画素値に対して変換パラメータを用いた変換処理を行い、バンドパスフィルタ有りの状態に対応する３バンドの画像を生成する。そして、画像生成部１０５は、３バンド撮影装置１１１で撮影した３バンド画像と、変換パラメータを用いて生成した３バンドの画像とを合成して、６バンドのマルチバンド画像を生成する。バッファメモリ１０６は、一時的なデータを保持するメモリである。
【００１４】
図２は、第１の実施形態における画像処理装置のハードウェア構成の一例を示すブロック図である。画像処理装置２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、通信インターフェース（通信Ｉ／Ｆ）２０４、出力装置２０５、入力装置２０６、及び記憶装置２０７を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、通信Ｉ／Ｆ２０４、出力装置２０５、入力装置２０６、及び記憶装置２０７は、システムバス２０８を介して通信可能に接続される。
【００１５】
ＣＰＵ（Central Processing Unit）２０１は、システムバス２０８に接続された画像処理装置２００の各種デバイスの制御を行う。ＲＯＭ（Read Only Memory）２０２は、ＢＩＯＳ（Basic Input Output System）のプログラムやブートプログラムを記憶する。ＲＡＭ（Random Access Memory）２０３は、ＣＰＵ２０１の主記憶装置として使用される。ＣＰＵ２０１が、記憶装置２０７からプログラムを読み出して実行することで、例えば図１に示した３バンド画像取得部１０２、マルチバンド画像取得部１０３、変換パラメータ算出部１０４、及び画像生成部１０５の機能が実現される。また、ＲＡＭ２０３により、例えば図１に示したバッファメモリ１０６の機能が実現される。
【００１６】
通信Ｉ／Ｆ２０４は、画像処理装置２００をネットワークに接続し、ネットワークを介した情報通信を制御する。画像処理装置２００は、ネットワークに有線を介して接続されていてもよいし、無線を介して接続されていてもよいし、有線及び無線を介して接続されていてもよい。出力装置２０５は、ＣＰＵ２０１における処理結果等を出力する。入力装置２０６は、ユーザによる入力等を受け付ける。入力装置２０６は、例えば、接触式センサ、マウス、キーボード、リモコン等である。記憶装置２０７は、オペレーティングシステム（ＯＳ）のプログラムやＯＳ上で動作する各種アプリケーションのプログラム等が格納される。記憶装置２０７は、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等である。
【００１７】
前述のように構成された画像処理装置２００において、画像処理装置２００の電源がＯＮになると、ＣＰＵ２０１は、ＲＯＭ２０２に格納されたブートプログラムに従って、記憶装置２０７からＯＳのプログラム等をＲＡＭ２０３に読み込む。ＣＰＵ２０１は、ＲＡＭ２０３に読み込んだＯＳのプログラム等に従い処理を実行することによって、画像処理装置２００の機能を実現する。つまり、画像処理装置２００のＣＰＵ２０１がプログラムに基づき処理を実行することによって、画像処理装置２００の前述した機能構成及び後述するフローチャートの処理が実現される。
【００１８】
本実施形態における画像処理装置において、所定の解像度で取得した被写体の３バンド画像（ＲＧＢ画像）からマルチバンド画像を生成する処理の概要を、図３を参照して説明する。図３に示すように、ユーザは、高解像度の被写体の３バンド画像（ＲＧＢ画像）３０１を取得するために、例えば一般的なディジタルカメラを用いて被写体３２１を複数の領域に分割して撮影する第１の撮影を行う。
【００１９】
また、ユーザは、被写体の全領域もしくは一部を３バンド画像（ＲＧＢ画像）３０１の撮影に用いたディジタルカメラにバンドパスフィルタを装着して撮影する第２の撮影を行う。第２の撮影は、バンドパスフィルタ有りの画像と無しの画像との画素値の対応関係を示す変換パラメータを算出するためのものであり、高解像度で被写体の全領域を撮影する必要はない。したがって、第１の撮影よりも少ない撮影回数で被写体の画像を取得してもよい。以上のようにして、画像処理装置は、例えば被写体の一部領域３２２がバンドパスフィルタ無しの状態で撮影された３バンド画像３１１とバンドパスフィルタ有りの状態で撮影された３バンド画像３１２を取得する。
【００２０】
次に、画像処理装置は、取得した２つの３バンド画像３１１、３１２について、代表点の対応関係を作成する（３１３）。そして、画像処理装置は、２つの３バンド画像３１１、３１２の代表点における画素値を取得し、取得した画素値に基づいて変換パラメータを算出する（３１４）。算出した変換パラメータ３１５は、記憶部等に格納され保持される。
【００２１】
画像処理装置は、第１の撮影により撮影した３バンド画像（ＲＧＢ画像）３０１に対して、変換パラメータ３１５を用いて画素値変換処理（３０２）を行い、バンドパスフィルタ有りの状態に対応する３バンド画像（Ｒ’Ｇ’Ｂ’画像）を得る。そして、画像処理装置は、第１の撮影により撮影した３バンド画像（ＲＧＢ画像）３０１と、その３バンド画像（ＲＧＢ画像）から得た３バンド画像（Ｒ’Ｇ’Ｂ’画像）とを１枚の画像データとすることで６バンドのマルチバンド画像３０３を生成する。
【００２２】
これにより、被写体の分割撮影時にすべての領域についてマルチバンド撮影を行わなくとも、高解像度なマルチバンド画像を生成できる。このように、本実施形態における画像処理装置は、第２の撮影により撮影した画像からバンドパスフィルタの有無による画素値の変換パラメータを算出する。そして、算出したパラメータに基づいて、第１の撮影により撮影した高解像度の３バンド画像（ＲＧＢ画像）から高解像度のマルチバンド画像を生成する。
【００２３】
次に、第１の実施形態における画像処理装置の動作について説明する。図４は、第１の実施形態における画像処理装置による処理例を示すフローチャートである。
ステップＳ４０１にて、３バンド画像取得部１０２は、３バンド撮影装置１１１により撮影した３バンド画像を取得する。また、ステップＳ４０２にて、マルチバンド画像取得部１０３は、マルチバンド撮影装置１１２により撮影したマルチバンド画像を取得する。なお、ステップＳ４０１の処理及びステップＳ４０２の処理を行う順序は、図４に示した例に限定されるものではなく、順不同であり、また並列に行ってもよい。
【００２４】
また、ステップＳ４０１において取得する３バンド画像は、所定の解像度を得るために、例えば、被写体を複数の領域に分割して分割撮影を行った被写体の画像である。また、ステップＳ４０２において取得するマルチバンド画像は、ステップＳ４０１において取得する分割撮影した画像の中の一部の領域、すなわち被写体の一部領域における画像である。分割撮影した領域の中で、どの領域をマルチバンド撮影するかは予め撮影者が重要色を含む領域を任意に指定してもよいし、分割撮影した３バンド画像群の色分布を解析して重要色を含む領域を自動判定して指定してもよい。
【００２５】
ここで、本実施形態で使用するマルチバンド撮影装置について説明する。本実施形態において使用するマルチバンド撮影装置１１２では、３バンド撮影装置１１１にバンドパスフィルタを着脱してバンドを異ならせた２枚の画像を取得する。図５（ａ）〜図５（ｃ）は、バンドパスフィルタを装着させることで得る分光感度特性を説明するための模式図である。図５（ａ）は、３バンド撮影装置１１１にて使用する一般的なディジタルカメラのＲ、Ｇ、Ｂの３バンドの分光感度特性を模式的に示した図である。本実施形態では、まずこのＲ、Ｇ、Ｂの分光感度特性を有する撮影装置で被写体を所望の解像度で撮影する。
【００２６】
図５（ｂ）はバンドパスフィルタの分光透過率を示し、本実施形態では、図５（ａ）に示した分光感度特性よりも波長の半値幅が狭く、かつ、波長のピーク位置が異なるバンドパスフィルタを用いる。図５（ｃ）は、図５（ａ）に示した分光感度特性を有する撮影装置に、図５（ｂ）に示した特性を有するバンドパスフィルタを装着したときの分光感度特性を示している。撮影装置にてバンドパスフィルタを装着して被写体を撮影することで、図５（ａ）とは異なるフィルタ特性にて被写体を撮影する。このように本実施形態では、バンドパスフィルタの着脱による撮影を行うことで、Ｒ、Ｇ、Ｂ、及びＲ’、Ｇ’、Ｂ’の計６バンドの画素値を取得する。
【００２７】
ステップＳ４０３にて、変換パラメータ算出部１０４は、ステップＳ４０２において取得したマルチバンド画像を用いて変換パラメータ算出処理を行う。この変換パラメータ算出処理では、変換パラメータ算出部１０４は、ステップＳ４０２において取得したマルチバンド画像に基づいて、３バンド画像からマルチバンド画像を生成するための変換パラメータを算出する。このステップＳ４０３での変換パラメータ算出処理の詳細は後述する。
【００２８】
次に、ステップＳ４０４にて、画像生成部１０５は、ステップＳ４０１において取得した３バンド画像と、ステップＳ４０３において算出した変換パラメータとを用いてマルチバンド画像生成処理を行う。このマルチバンド画像生成処理では、画像生成部１０５は、ステップＳ４０３において算出した変換パラメータに基づいて、ステップＳ４０１において取得した３バンド画像からマルチバンド画像を生成する。このステップＳ４０４でのマルチバンド画像生成処理の詳細は後述する。
【００２９】
続いて、ステップＳ４０５にて、画像処理装置１０１は、ステップＳ４０４において生成したマルチバンド画像をバッファメモリ１０６へ保存して、処理を終了する。
【００３０】
＜変換パラメータ算出処理＞
図４に示したステップＳ４０３の変換パラメータ算出処理について説明する。図６は、図４に示したステップＳ４０３において実行される変換パラメータ算出処理の例を示すフローチャートである。
【００３１】
変換パラメータ算出処理を開始すると、ステップＳ６０１にて、変換パラメータ算出部１０４は、ステップＳ４０２において取得したマルチバンド画像からバンドパスフィルタ無しの状態における撮影画像をバッファメモリ１０６より取得する。また、ステップＳ６０２にて、変換パラメータ算出部１０４は、ステップＳ４０２において取得したマルチバンド画像からバンドパスフィルタ有りの状態における撮影画像をバッファメモリ１０６より取得する。なお、ステップＳ６０１の処理及びステップＳ６０２の処理を行う順序は、図６に示した例に限定されるものではなく、順不同であり、また並列に行ってもよい。
【００３２】
ステップＳ６０３にて、変換パラメータ算出部１０４は、ステップＳ６０１において取得した撮影画像から代表点を抽出する。ここで、代表点とは、画像の代表的な色を示す画素値の座標群を意味する。本実施形態では、撮影画像から代表点を抽出する方法として、例えば特開２０１０−２６８４３０号公報に記載のような撮影画像の色分布に基づいて代表点の位置座標（ｘ、ｙ）を抽出する方法を用いる。撮影画像から代表点を抽出する方法は、これに限定されず、撮影画像のテクスチャ成分に基づいて抽出するなど他の方法を用いてもよい。
【００３３】
次に、ステップＳ６０４にて、変換パラメータ算出部１０４は、ステップＳ６０３において抽出した代表点の位置座標（ｘ、ｙ）に基づいて、代表点における画素値を取得する。変換パラメータ算出部１０４は、代表点における画素値として、ステップＳ６０１において取得した画像から画素値（Ｒ，Ｇ，Ｂ）を取得し、ステップＳ６０２において取得した画像から画素値（Ｒ’，Ｇ’，Ｂ’）を取得する。
【００３４】
なお、本実施形態では、ステップＳ６０１及びステップＳ６０２において取得する画像は、被写体を同一画角及び同一カメラ位置にてバンドパスフィルタを着脱させて撮影するものとし、これらの画像間では画素の位置ズレはないものとする。ステップＳ６０１及びステップＳ６０２において取得する画像間で画素の位置ズレが生じる場合には、例えばステップＳ６０１において取得する画像に合わせてステップＳ６０２において取得する画像の画素位置を予め補正する。画素位置の補正は、比較する画像間で画素の誤差が最小になるようにアフィン変換を実施する方法やテンプレートマッチングを行う等の既存の手法で位置合わせを行う。
【００３５】
続いて、ステップＳ６０５にて、変換パラメータ算出部１０４は、ステップＳ６０４において取得した代表点における画素値を正規化する。本実施形態では、ステップＳ６０１において取得した画像から抽出した画素値は、Ｇの値の最大値が１となるようにＲ、Ｇ、Ｂの各値をそれぞれ正規化する。また、ステップＳ６０２において取得した画像から抽出した画素値は、Ｇ’の値の最大値が１となるようにＲ’、Ｇ’、Ｂ’の各値をそれぞれ正規化する。正規化に使用した補正係数は、バッファメモリ１０６へ保存される。
【００３６】
次に、ステップＳ６０６にて、変換パラメータ算出部１０４は、ステップＳ６０５においてそれぞれ正規化された画素値を用いて、代表点における対応する画素間の画素値の対応関係から変換パラメータを算出する。本実施形態では、変換パラメータとして、例えば、式（１）に示すような３×４の行列係数を対応関係から最小二乗法によって算出する。
【００３７】
【数１】
2020025179.tif 000003
【００３８】
前述した式（１）において、Ｒ、Ｇ、Ｂは、バンドパスフィルタ無しの状態における撮影画像の代表点の画素値群であり、Ｒ’、Ｇ’、Ｂ’は、バンドパスフィルタ有りの状態における撮影画像の代表点の画素値群である。なお、変換パラメータはこれに限定されず、変換パラメータとして３×１０等のより高次の行列係数を用いてもよいし、行列係数ではなくルックアップテーブル形式で変換パラメータを保持してもよい。
【００３９】
ステップＳ６０７にて、変換パラメータ算出部１０４は、ステップＳ６０６において算出した変換パラメータをバッファメモリ１０６へ保存して、変換パラメータ算出処理を終了する。
【００４０】
＜マルチバンド画像生成処理＞
図４に示したステップＳ４０４のマルチバンド画像生成処理について説明する。図７は、図４に示したステップＳ４０４において実行されるマルチバンド画像生成処理の例を示すフローチャートである。
マルチバンド画像生成処理を開始すると、ステップＳ７０１にて、画像生成部１０５は、ステップＳ４０３において算出した変換パラメータをバッファメモリ１０６から取得する。
【００４１】
次に、ステップＳ７０２にて、画像生成部１０５は、ステップＳ４０１において取得した３バンド画像をバッファメモリ１０６から取得する。続いて、ステップＳ７０３にて、画像生成部１０５は、ステップＳ７０２において取得した３バンド画像の画素値をステップＳ６０５での処理と同様にして正規化した後、ステップＳ７０１において取得した変換パラメータを用いて変換する。
【００４２】
次に、ステップＳ７０４にて、画像生成部１０５は、ステップＳ４０１において取得したすべての画像について画素値の変換を行ったか否かを判定する。画像生成部１０５が、すべての画像について画素値の変換を行ったと判定した場合にはステップＳ７０５へ進む。一方、画像生成部１０５が、すべての画像について画素値の変換を行っていない、すなわち未変換の領域画像があると判定した場合にはステップＳ７０２へ戻り、ステップＳ７０２にて未変換の３バンド画像を取得して処理を行う。
【００４３】
ステップＳ７０５にて、画像生成部１０５は、ステップＳ７０２において取得した３バンド画像（ＲＧＢ画像）及びステップＳ７０３において変換して得られた３バンド画像（Ｒ’Ｇ’Ｂ’画像）からマルチバンド画像を生成する。本実施形態では、マルチバンド画像として、ＲＧＢの３バンド画像に加えて、４バンド目にＲ’、５バンド目にＧ’、６バンド目にＢ’の画素値を保存する。画素値は、例えば８ビットであれば２５５を乗算する等、所望のビット数に合わせて定数を乗算する。画像生成部１０５は、生成したマルチバンド画像をバッファメモリ１０６に保存してマルチバンド画像生成処理を終了する。
【００４４】
第１の実施形態によれば、被写体を３バンド撮影装置で分割撮影し、また、分割撮影の一部の領域をマルチバンド撮影して画素値の変換パラメータを算出することで、３バンド画像からマルチバンド画像を生成することが可能となる。これにより、少ない撮影回数で高解像度なマルチバンド画像を生成することができ、所望の解像度のマルチバンド画像を容易に取得することができる。
【００４５】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、被写体の一部をバンドパスフィルタの装着状態を変えて撮影した画像からマルチバンド画像生成用の変換パラメータを算出し、所望の解像度で取得した３バンド画像（ＲＧＢ画像）から高解像度のマルチバンド画像を生成する。
【００４６】
以下に説明する第２の実施形態では、マルチバンド画像生成用の変換パラメータ作成のために、被写体の一部ではなく被写体全体をマルチバンド撮影する場合を想定する。このような場合において、分割撮影で使用する撮影機材とは異なる撮影機材を用いてマルチバンド撮影すると、分割撮影とマルチバンド撮影とで解像度や色特性が異なり、画素値の対応が適切にとれずに、精度よくマルチバンド画像を生成できないことがある。
【００４７】
第２の実施形態では、分割撮影とマルチバンド撮影における撮影画像間で画素値が一致するように補正することで、被写体全体をマルチバンド撮影する場合においても高精度にマルチバンド画像を生成する方法について説明する。また、マルチバンド画像から分光反射率画像を生成する方法について説明する。なお、以下では、画素値の補正パラメータの算出する処理や分光反射率画像を生成する処理について中心に説明し、第１の実施形態と同様の処理については説明を省略する。
【００４８】
図８は、第２の実施形態における画像処理装置８０１の機能構成の一例を示すブロック図である。画像処理装置８０１は、３バンド画像取得部８０２、マルチバンド画像取得部８０３、及び分光反射率取得部８０４を有する。また、画像処理装置８０１は、分光推定パラメータ算出部８０５、変換パラメータ算出部８０６、補正パラメータ算出部８０７、画像生成部８０８、及びバッファメモリ８０９を有する。
【００４９】
３バンド画像取得部８０２は、図１に示した３バンド画像取得部１０２に対応し、３バンド撮影装置８１１にて撮影した画像を取得する。３バンド撮影装置８１１は、図１に示した３バンド撮影装置１１１に対応し、被写体の３バンド画像を取得する撮影装置である。マルチバンド画像取得部８０３は、図１に示したマルチバンド画像取得部１０３に対応し、マルチバンド撮影装置８１２にて撮影した画像を取得する。マルチバンド撮影装置８１２は、図１に示したマルチバンド撮影装置１１２に対応し、被写体の複数（４バンド以上）のスペクトル領域の画像を取得する撮影装置である。
【００５０】
分光反射率取得部８０４は、分光反射率保持部８１３から分光反射率の測定値を取得する。分光反射率保持部８１３は、分光反射率推定用チャートの分光反射率の測定値を保持している。分光推定パラメータ算出部８０５は、分光反射率推定用チャートを撮影したマルチバンド画像と分光反射率取得部８０４により取得した分光反射率の測定値とに基づいて、マルチバンド画像から分光反射率を推定するための分光推定パラメータを算出する。
【００５１】
変換パラメータ算出部８０６は、図１に示した変換パラメータ算出部１０４に対応し、３バンド画像からマルチバンド画像を生成するための変換パラメータを算出する。補正パラメータ算出部８０７は、３バンド撮影装置８１１により撮影した３バンド画像及びマルチバンド撮影装置８１２により撮影したマルチバンド画像に基づいて、マルチバンド撮影装置８１２により撮影した画像の画素値の補正パラメータを算出する。画像生成部８０８は、３バンド撮影装置８１１により撮影した３バンド画像から分光反射率画像を生成する。バッファメモリ８０９は、図１に示したバッファメモリ１０６に対応し、一時的なデータを保持する。
【００５２】
なお、第２の実施形態における画像処理装置のハードウェア構成は、図２に示した第１の実施形態における画像処理装置のハードウェア構成と同様であるので、説明は省略する。第２の実施形態では、ＣＰＵ２０１が、記憶装置２０７からプログラムを読み出して実行することで、例えば図８に示した各機能部８０２〜８０８の機能が実現される。また、ＲＡＭ２０３により、例えば図８に示したバッファメモリ８０９の機能が実現される。
【００５３】
第２の実施形態における画像処理装置の動作について説明する。図９は、第２の実施形態における画像処理装置による処理例を示すフローチャートである。
ステップＳ９０１にて、３バンド画像取得部８０２は、３バンド撮影装置８１１により撮影した３バンド画像を取得する。また、ステップＳ９０２にて、マルチバンド画像取得部８０３は、マルチバンド撮影装置８１２により撮影したマルチバンド画像を取得する。なお、ステップＳ９０１の処理及びステップＳ９０２の処理を行う順序は、図９に示した例に限定されるものではなく、順不同であり、また並列に行ってもよい。
【００５４】
ステップＳ９０３にて、変換パラメータ算出部８０６は、ステップＳ９０２において取得したマルチバンド画像を用いて変換パラメータ算出処理を行い、３バンド画像からマルチバンド画像を生成するための変換パラメータを算出する。変換パラメータ算出部８０６による変換パラメータ算出処理は、第１の実施形態と同様であるので詳細な説明は省略する。
【００５５】
次に、ステップＳ９０４にて、分光推定パラメータ算出部８０５は、分光反射率推定用チャートを撮影したマルチバンド画像と測定した分光反射率とに基づいて、マルチバンド画像から分光反射率を推定するための分光推定パラメータを算出する。分光推定パラメータ算出部８０５は、分光推定パラメータとして、分光反射率推定用チャートを撮影したマルチバンド画像の画素値と測定した分光反射率の測定値とから、マルチバンド画像から分光反射率を推定するための行列を算出する。
【００５６】
本実施形態では、マクベスチャートのような自然界に存在する代表的な分光反射率を近似した汎用チャートを用いるものとするが、分光反射率推定用チャートは被写体の分光反射率を近似するチャートが望ましい。分光推定パラメータ算出部８０５は、そのチャートをマルチバンド撮影した画素値と、分光反射率保持部８１３から取得したチャートの分光反射率とを用いて、例えばＷｉｅｎｅｒ推定により６次元画素値から３６次元分光反射率を推定する行列式を算出する。
【００５７】
ステップＳ９０５にて、補正パラメータ算出部８０７は、ステップＳ９０１及びステップＳ９０２において取得した画像を用いて補正パラメータ算出処理を行う。この補正パラメータ算出処理では、補正パラメータ算出部８０７は、ステップＳ９０１及びステップＳ９０２において取得した画像の内、バンドパスフィルタ無しの状態での画像の画素値同士を比較する。補正パラメータ算出部８０７は、画素値の差が予め定めた閾値より大きいと判定した場合、ステップＳ９０２において取得した画像の画素値を補正する補正パラメータを算出する。このステップＳ９０５での補正パラメータ算出処理の詳細は後述する。
【００５８】
次に、ステップＳ９０６にて、画像生成部８０８は、分光反射率画像生成処理を行い、３バンド画像から分光反射率画像データを生成する。このステップＳ９０６での分光反射率画像生成処理の詳細は後述する。続いて、ステップＳ９０７にて、画像処理装置８０１は、ステップＳ９０６において生成した分光反射率画像をバッファメモリ８０９へ保存して、処理を終了する。
【００５９】
＜補正パラメータ算出処理＞
図９に示したステップＳ９０５の補正パラメータ算出処理について説明する。図１０は、図９に示したステップＳ９０５において実行される補正パラメータ算出処理の例を示すフローチャートである。
【００６０】
補正パラメータ算出処理を開始すると、ステップＳ１００１にて、補正パラメータ算出部８０７は、ステップＳ９０１において取得した３バンド画像を取得する。また、ステップＳ１００２にて、補正パラメータ算出部８０７は、ステップＳ９０２において取得したマルチバンド画像を取得する。なお、ステップＳ１００１の処理及びステップＳ１００２の処理を行う順序は、図１０に示した例に限定されるものではなく、順不同であり、また並列に行ってもよい。
【００６１】
ステップＳ１００３にて、補正パラメータ算出部８０７は、撮影画像から代表点を抽出し、抽出した代表点における画素値を取得する。代表点の抽出方法及び撮影画像間の位置合わせ等は、例えば第１の実施形態において説明した方法と同様の処理で行えばよい。
【００６２】
ステップＳ１００４にて、補正パラメータ算出部８０７は、ステップＳ１００３において取得した画素値の差を算出して所定の閾値と比較する。本実施形態では、補正パラメータ算出部８０７は、画素値の差としてＧ値の差を算出するものとするが、Ｒ値やＢ値でもよく、またＲＧＢの各値に基づいて輝度値を算出し、輝度値の差を閾値と比較してもよい。比較の結果、補正パラメータ算出部８０７が、画素値の差が閾値よりも大きいと判定した場合にはステップＳ１００５へ進み、画素値の差が閾値以下であると判定した場合には処理を終了する。
【００６３】
ステップＳ１００５にて、補正パラメータ算出部８０７は、ステップＳ９０２において取得した画像の画素値の補正するための補正パラメータを算出する。本実施形態では、補正パラメータとして、式（２）に示すような３×４の行列係数を対応関係から最小二乗法によって算出する。
【００６４】
【数２】
2020025179.tif 000004
【００６５】
前述した式（２）において、Ｒｔ、Ｇｔ、Ｂｔは、３バンド撮影装置８１１により撮影した撮影画像の代表点の画素値群であり、Ｒｍ、Ｇｍ、Ｂｍは、マルチバンド撮影におけるバンドパスフィルタ無しの状態における撮影画像の代表点の画素値群である。なお、補正パラメータはこれに限定されず、補正パラメータとして３×１０等のより高次の行列係数を用いてもよいし、行列係数ではなくルックアップテーブル形式で補正パラメータを保持してもよい。
【００６６】
ステップＳ１００６にて、補正パラメータ算出部８０７は、ステップＳ１００５において算出した補正パラメータをバッファメモリ８０９へ保存して、補正パラメータ算出処理を終了する。
【００６７】
＜分光反射率画像生成処理＞
図９に示したステップＳ９０６の分光反射率画像生成処理について説明する。図１１は、図９に示したステップＳ９０６において実行される分光反射率画像生成処理の例を示すフローチャートである。
【００６８】
ステップＳ１１０１にて、画像生成部８０８は、ステップＳ９０５において算出した補正パラメータを取得する。また、ステップＳ１１０２にて、画像生成部８０８は、ステップＳ９０３において算出した変換パラメータを取得する。また、ステップＳ１１０３にて、画像生成部８０８は、ステップＳ９０４において算出した分光推定パラメータを取得する。なお、ステップＳ１１０１の処理、ステップＳ１１０２の処理、及びステップＳ１１０３の処理を行う順序は、図１１に示した例に限定されるものではなく、順不同であり、また一部又は全部を並列に行ってもよい。
【００６９】
次に、ステップＳ１１０４にて、画像生成部８０８は、ステップＳ９０１において取得した３バンド画像を取得する。続いて、ステップＳ１１０５にて、画像生成部８０８は、ステップＳ１１０４において取得した３バンド画像の画素値を分光反射率画像へと変換する。この画素値の変換は、補正パラメータ、変換パラメータ、分光推定パラメータの順に、既に算出している行列式を用いて演算することにより行う。
【００７０】
次に、ステップＳ１１０６にて、画像生成部８０８は、ステップＳ９０１において取得したすべての３バンド画像について画素値から分光反射率への変換を実施したか否かを判定する。画像生成部１０５が、すべての３バンド画像について画素値の変換を実施したと判定した場合にはステップＳ１１０７へ進む。一方、画像生成部１０５が、すべての３バンド画像について画素値の変換を実施してはいない、すなわち未変換の３バンド画像があると判定した場合にはステップＳ１１０４へ戻り、ステップＳ１１０４にて未変換の３バンド画像を取得して処理を行う。
【００７１】
ステップＳ１１０７にて、画像生成部８０８は、ステップＳ１１０５において変換して得られた分光反射率画像をバッファメモリ８０９へ保存して分光反射率画像生成処理を終了する。分光反射率画像は、１画素あたり３６次元の値を持つデータであるが、容量が大きい場合には例えばＤ５０等の所定の光源の分光分布を乗算してＸＹＺ値へ変換し、さらにＡｄｏｂｅＲＧＢ変換式等でＲＧＢ値へ変換して保存してもよく、保存形式は問わない。
【００７２】
第２の実施形態によれば、被写体全体をマルチバンド撮影した画像からマルチバンド画像生成用の変換パラメータを作成する際に、分割撮影とマルチバンド撮影における画素値の違いを補正することで、精度よく変換パラメータを算出することができる。これにより、画素値を適切に対応付けることができ、精度よくマルチバンド画像を生成することができる。
【００７３】
なお、前述した例では、補正パラメータ算出部８０７は、画素値の差が予め定めた閾値より大きいと判定した場合、マルチバンド撮影装置８１２により撮影した画像の画素値を補正する補正パラメータを算出する。しかし、これに限定されず、補正パラメータ算出部８０７は、分割撮影とマルチバンド撮影における撮影画像間で画素値を一致させるように補正パラメータを算出すればよい。すなわち、補正パラメータ算出部８０７は、画素値の差が予め定めた閾値より大きいと判定した場合、撮影装置８１１、８１２によりそれぞれ撮影した画像の少なくとも一方の画像の画素値を補正するような補正パラメータを算出すればよい。
【００７４】
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７５】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７６】
１０１、８０１：画像処理装置  １０２、８０２：３バンド画像取得部  １０３、８０３：マルチバンド画像取得部  １０４、８０６：変換パラメータ算出部  １０５、８０８：画像生成部  １０６、８０９：バッファメモリ  １１１、８１１：３バンド撮影装置  １１２、８１２：マルチバンド撮影装置  ８０４：分光反射率取得部  ８０５：分光推定パラメータ算出部  ８０７：補正パラメータ算出部  ８１３：分光反射率保持部
【図１】
2020025179.tif 000005
【図２】
2020025179.tif 000006
【図３】
2020025179.tif 000007
【図４】
2020025179.tif 000008
【図５】
2020025179.tif 000009
【図６】
2020025179.tif 000010
【図７】
2020025179.tif 000011
【図８】
2020025179.tif 000012
【図９】
2020025179.tif 000013
【図１０】
2020025179.tif 000014
【図１１】
2020025179.tif 000015