(57)【要約】【課題】リアルタイムで、分光分布推定精度の高い画像の計測を行うことができる画像作成装置及び画像作成方法を提供する。【解決手段】本発明の画像作成装置１は、画像光を複数の分割光に分割する光分割部２と、複数のフィルタ３１を有し、フィルタ３１それぞれに分割光のいずれかを透過させる第一の複合フィルタ部３と、画素領域毎に複数のフィルタを有し、フィルタに第一の複合フィルタを透過した分割光を透過させる第二の複合フィルタ部４と、第二の複合フィルタ部を透過した分割光に基づき画像情報を得る撮像素子５と、撮像素子の出力に基づき画像情報を作成する画像処理部６と、を有する。【選択図】図１
2014230247.tif 000002
【特許請求の範囲】
【請求項１】
画像光を複数の分割光に分割する光分割部と、
複数のフィルタを有し、前記フィルタそれぞれに前記分割光のいずれかを透過させる第一の複合フィルタ部と、
画素領域毎に複数のフィルタを有し、前記フィルタに前記第一の複合フィルタを透過した前記分割光を透過させる第二の複合フィルタ部と、
前記第二の複合フィルタ部を透過した前記分割光に基づき画像情報を得る撮像素子と、
前記撮像素子の出力に基づき画像情報を作成する画像処理部と、を有する画像作成装置。
【請求項２】
前記第一の複合フィルタ部は、シアンフィルタ、マゼンタフィルタ、イエローフィルタのうち少なくとも２種類のフィルタを有し、
前記第二の複合フィルタ部は、画素領域毎に赤色フィルタ、緑色フィルタ、青色フィルタを有することを特徴とする請求項１記載の画像作成装置。
【請求項３】
前記画像処理部の出力に基づき画像を表示する表示部と、を有する請求項１記載の画像作成装置。
【請求項４】
画像光を複数の分割光に分割し、
複数の第一のフィルタのそれぞれに前記分割光のいずれかを透過させ、更に、
画素領域毎に設けられる複数の第二のフィルタに前記第一のフィルタを透過した前記分割光を透過させ、
前記第二の複合フィルタを透過した前記分割光に基づき画像情報を得て、
前記撮像素子の出力に基づき画像情報を作成する画像作成方法。
【請求項５】
前記第一のフィルタの少なくともいずれかは、シアンフィルタ、マゼンタフィルタ、又は、イエローフィルタであり、
前記第二のフィルタの少なくともいずれかは、画素領域毎に赤色フィルタ、緑色フィルタ、又は青色フィルタである請求項４記載の画像作成方法。
【請求項６】
前記画像処理部の出力に基づき画像を表示する請求項４記載の画像作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像作成装置及び画像作成方法に関する。
【背景技術】
【０００２】
美しくより現実に近い画像を得るためには画像表示装置そのものの性能だけでなく、取得する画像情報自体がより美しく現実に近いものであることが好ましく、より広色域化のための画像情報の取得に関して、例えば、下記特許文献１、２及び下記非特許文献３に記載の技術が開示されている。
【０００３】
下記特許文献１には、ＲＧＢカラーカメラが記載されている。ＲＧＢカラーカメラは、可視光をＲＧＢの３つの分光特性の異なるフィルタを用いて計測しており、単板式のカメラではＢａｙｅｒ配列のカラーフィルタを用いてビデオレートでの動画の撮影を実現している。
【０００４】
下記非特許文献１には、マルチバンドカメラが記載されている。マルチバンドカメラとしては、６バンド、８バンド又はそれ以上のものが開発されている。これらのカメラを用いることで計測対象の分光分布の推定は精度良く行える。
【０００５】
また、下記特許文献２には、３板式のカメラが記載されている。３板式のカメラを２台用いて、プリズムで分光特性を変化させた像を計測することで、分光画像を動画像で計測する構成も開発されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−１５２２６９号公報
【特許文献２】特開２０１１−２３９２５９号公報
【非特許文献】
【０００７】
【非特許文献１】Ｈｉｄｅａｋｉ  Ｈａｎｅｉｓｈｉ，Ｓｅｉｊｉ  Ｍｉｙａｈａｒａ，Ａｔｓｕｓｈｉ  Ｙｏｓｈｉｄａ，“Ｉｍａｇｅ  Ａｃｑｕｉｓｉｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｓｃｅｎｅｓ  Ｕｓｉｎｇ  ａ  Ｍｕｌｔｉｂａｎｄ  Ｃａｍｅｒａ”，ＣＯＬＯＲ  ｒｅｓｅａｒｃｈ  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎ，Ｖｏｌｕｍｅ  ３１，Ｎｕｍｂｅｒ  ４，Ａｕｇｕｓｔ  ２００６，ｐ２９４−３０２
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１に記載の技術では、ＲＧＢの３バンドのため、計測対象の分光分布を測定した場合、推定精度が低くなるという課題がある。
【０００９】
また、上記非特許文献１に記載の技術では、６バンド、８バンド又はそれ以上の枚数のフィルタを物理的に交換しなければならず、ビデオレートでの動画撮影は事実上困難であった。
【００１０】
また、３板式のカメラを２台用いたシステムでは、そもそも３板式カメラ自体が大きい上に、それをさらに２台用いており、小型化が困難であった。特に上記特許文献２ではカメラを２台用いなければならず、このカメラを同期させる必要がある一方でこの誤差を完全に除去することは困難でありリアルタイムという観点において課題が残る。
【００１１】
そこで、本発明は、上記課題に鑑みて、リアルタイムで、分光分布推定精度の高い画像の計測を行うことができる画像作成装置及び画像作成方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決する一の観点に係る画像作成装置は、画像光を複数の分割光に分割する光分割部と、複数のフィルタを有し、フィルタそれぞれに分割光のいずれかを透過させる第一の複合フィルタ部と、画素領域毎に複数のフィルタを有し、フィルタに第一の複合フィルタを透過した分割光を透過させる第二の複合フィルタ部と、第二の複合フィルタ部を透過した分割光に基づき画像情報を得る撮像素子と、撮像素子の出力に基づき画像情報を作成する画像処理部と、を有する。
【００１３】
上記課題を解決する他の観点に係る画像作成方法は、画像光を複数の分割光に分割し、複数の第一のフィルタのそれぞれに前記分割光のいずれかを透過させ、更に、画素領域毎に設けられる複数の第二のフィルタに第一のフィルタを透過した分割光を透過させ、第二の複合フィルタを透過した分割光に基づき画像情報を得て、撮像素子の出力に基づき画像情報を作成する。
【発明の効果】
【００１４】
本発明により、リアルタイムで分光分布推定精度の高い画像の計測を行うことができる画像作成装置及び画像作成方法を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】実施形態に係る画像作製装置の概略図である。
【図２】実施形態に係る第一の複合フィルタ部の概略図である。
【図３】実施形態に係る第二の複合フィルタ部の概略図である。
【図４】一つの画素において得ることができる情報の数を説明するための図である。
【図５】計測した分光分布とシアンフィルタのみを用いて計測した画像情報に基づいて推定した分光分布を比較した結果と、ＣＭＹＴフィルタを用いて計測した画像情報に基づいて推定した分光分布を比較した結果を示す図である。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について図面を用いて詳細に説明する。ただし、本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態や実施例の具体的な例示にのみ限定されるわけではない。
【００１７】
図１は、本実施形態に係る画像作成装置（以下「本装置」という。）１の概略を示す図である。本図で示す通り、本装置１は、画像光を複数の分割光２１に分割する光分割部２と、分光特性の異なる複数のフィルタ３１を有し、フィルタ３１それぞれに分割光２１のいずれかを透過させる第一の複合フィルタ部３と、画素領域毎４４に複数のフィルタ４１を有し、複数のフィルタ４１それぞれに第一の複合フィルタ３のフィルタ３１を透過した分割光２２を透過させる第二の複合フィルタ４部と、第二の複合フィルタ部４を透過した分割光２３に基づき画像情報を得る撮像素子５と、撮像素子５の出力に基づき画像情報を作成する画像処理部６と、画像処理部６の出力に基づき画像を表示する表示部７と、を有する。
【００１８】
本実施形態において、光分割部２は、画像光２０を複数の分割光２１に分割することができる部材であり、ビームスプリッタとも呼ばれる。画像光２０は、装置の外部から入射される光であって、画像として表示される際の情報を含む光である。画像光２０は、光分割部２によって複数の分割光２１に分割され、後の第一の複合フィルタ部３、及び、第二の複合フィルタ部４を介して必要な情報が抽出されることになる。分割光２１の各々は、互いに全く同じ情報を有した状態で分割される。この限りにおいて光分割部２の構成は限定されるわけではないが、例えばハーフミラーやプリズム等を採用することができる。
【００１９】
光分割部２によって分割される数は、上記の機能を有する限りにおいて限定されるわけではないが、４以上であることが好ましい。また、分割された光の各々における光の強度は限定されるわけではないが等しくなっていることが好ましい。光の強度を同じくすることで第一の複合フィルタ部３、第二の複合フィルタ部４を介して得た光の情報を正確に評価することが可能となる。光分割部２によって分割される数は一つ又は二つ以上のプリズム等の部材を組み合わせることで適宜調整可能である。
【００２０】
また、本実施形態において、第一の複合フィルタ部３は、分光特性の異なる複数のフィルタ３１を有する構成であって、フィルタ３１それぞれに分割光２１が入射される。これにより、各分割光はそれぞれ異なるフィルタ３１を透過し、それぞれ所望の波長範囲に絞られた光を取り出すことができるようになる。
【００２１】
本実施形態において、フィルタ３１の数は、特に限定されるわけではなく、分割光の数に応じて適宜調整可能である。なお分割光のうち、一つはフィルタ３１を透過していないよう構成しておくことも好ましい。このようにすることでフィルタ３１を透過させず第二の複合フィルタ部４に直接入射させ、第二の複合フィルタ４におけるフィルタ４１のみの影響を評価することができる。すなわち、限定されるわけではないが、第一の複合フィルタ部３のフィルタ３１の数は、光分割部２によって分割された光の数より一つ少なくなっていることは好ましい一形態である。
【００２２】
図２は、本実施形態に係る第一の複合フィルタ部３の構成の一例を示す。本図で示す第一の複合フィルタ部３は、光分割部２によって分割される光が４つである場合の例を示しており、４つの開口部３２が形成された枠部材３３と、この枠部材の開口部３２に配置される３つのフィルタ３１を備えている。なおフィルタ３１は３種類あり、シアン（Ｃ）、マゼンダ（Ｍ）、イエロー（Ｙ）の３色が上記開口部３２のいずれかに配置されており、一つはフィルタが設けられていないそのままの開口部３２となっている。これにより、それぞれ所望の波長範囲に絞られた光を取り出すことができるようになる一方、波長を絞られていない光もそのまま得ることができるようになる。
【００２３】
また、本実施形態において、上記のとおり第一の複合フィルタ部３は、分光特性の異なる複数のフィルタ３１を有する構成であって、フィルタ３１それぞれに分割光２１が入射される。これにより、各分割光はそれぞれ異なるフィルタ３１を透過し、それぞれ所望の波長範囲に絞られた光を取り出すことができるようになる。
【００２４】
図３は、本実施形態に係る第二の複合フィルタ部４の構成の一例を示す。本図で示す第二の複合フィルタ部４は、光分割部２によって分割される光が４つである場合の例であって、分割された光が第二の複合フィルタ部４に透過する場合のイメージを示している。本図で示すように、第二の複合フィルタ部４は、枠部材４３と、この枠部材４３の開口部４２それぞれに配置される多数のフィルタ４１を備えている。なおフィルタ４１は複数で一つの画素領域４４を構成しており、この画素領域４４を一つの単位として分割光一つ当たり画素数分だけ設けられるようになっている。すなわち、光分割部２によって４つの光に分割されている場合、画像光の画素数分の４倍の画素領域が存在することとなる。なお、各画素領域４２において、フィルタ４２１はそれぞれ同じフィルタの組み合わせであって、そのフィルタは、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）のフィルタのいずれかを含むことが好ましく、そのうち、グリーン（Ｇ）のフィルタを二つ設け、グリーンの感度を向上させている。
【００２５】
なお、本実施形態において、各画素領域４４におけるフィルタ４１の数（ドットの数）は、上記の例では４つとして説明しているが特に限定されるわけではなく適宜調整可能である。
【００２６】
また、本装置１は、第二の複合フィルタ部を透過した分割光に基づき画像情報を得る撮像素子５を備えている。ここで撮像素子とは、入射された光を電気信号に変換する素子であって、これにより情報処理装置等によって電子データとして画像処理を行うことができるようになる。撮像素子５の構成としては、特に限定されるわけではないが、いわゆるＣＣＤイメージセンサ、ＣＭＯＳイメージセンサを例示することができるがこれに限定されない。
【００２７】
なお撮像素子においては、撮像素子に設けられる複数の受光素子の各々にフィルタを設けた構成も存在する。したがって、受光素子の各々に設けられているフィルタを第二の複合フィルタ部として理解することができる。すなわち、撮像素子と第二の複合フィルタ部とが一体に形成されていることも好ましい一形態である。
【００２８】
また、本装置１では、撮像素子に接続され、撮像素子の出力に基づき画像データを作成する画像処理部６を備える。画像処理部は、限定されるわけではないが、コンピュータ等の一般的な情報処理装置によって実現することができる。より具体的には、情報処理装置におけるハードディスクなどの記録媒体に画像処理を行うためのプログラム及び撮像素子によって取得された画像データを格納し、このプログラムを実行することでメモリなどの記録媒体に一時記録するとともに、ＣＰＵ等の演算装置によって演算することで、画像処理を行うことができるようになる。
【００２９】
本装置１の画像処理は、上記の構成を採用することによってリアルタイムに詳細な分光画像計測を実現することができる。より具体的に説明すると、本装置１では、まず、光分割部２によって一つの画像光から同一の情報を有する分割光を複数得ることができる。そしてこのそれぞれを第一のフィルタ部３を透過させることで、同一の画像でありながら、色特性が異なる分割光を得ることができる。そして更にそのそれぞれに対し、第二のフィルタを通すことで更に詳細な分光に関する情報を得ることができる。図４は、一つの画素において得ることができる情報の数を説明するための図である。本図中のアルファベットは透過したフィルタを意味する。本図で示すように、第一のフィルタ部３でＣのフィルタを透過した光は、第二のフィルタ部４においてＲ、Ｇ、Ｂをそれぞれ透過し（Ｇは二つのフィルタがあるため）、ＣＲ、ＣＧ、ＣＧ、ＣＢの分光情報を得ることができる。また、第一のフィルタ部３でＹのフィルタを透過した光は、第二のフィルタ部４においてＲ、Ｇ、Ｂをそれぞれ透過し（Ｇは二つのフィルタがあるため）、ＹＲ、ＹＧ、ＹＧ、ＹＢの分光情報を得ることができる。また、第一のフィルタ部３でＭのフィルタを透過した光は、第二のフィルタ部４においてＲ、Ｇ、Ｂをそれぞれ透過し（Ｇは二つのフィルタがあるため）、ＭＲ、ＭＧ、ＭＧ、ＭＢの分光情報を得ることができる。また、第一のフィルタ部３でフィルタを透過せず透過した光は、第二のフィルタ部４においてＲ、Ｇ、Ｂをそれぞれ透過し（Ｇは二つのフィルタがあるため）、Ｒ、Ｇ、Ｇ、Ｂの分光情報を得ることができる。この結果、二つのフィルタ部を透過させるだけで、４×４の１６個（今回重複するものを除けば１２個）の分光情報を画素領域ごとに得ることができる。しかもこれらは同時に行うことができているため、一つの画像情報を一度に得ることができ、動画撮影に適用することが可能となる。
【００３０】
そして、画像処理部によって、上記画像情報に基づき被写体の画像光の分光分布を推定することが可能となる。分光分布の推定の方法としては限定されるわけではないが、以下の方法を採用することは好ましい一形態である。
【００３１】
本装置１の使用者は、被写体に対し、撮影を行い、画像光を得て光を分割するとともにこの結果得られた分割光をそれぞれ第一のフィルタ部３、第二のフィルタ部４を透過させて、上記のとおり複数の分光情報を画素領域毎に得る。そして、画素領域毎に下記式で示される計算を行うことで被写体の分光分布Ｃ（下付文字は波長を意味する）を推定する。なお下記式中、Ｖは撮像素子によって取得された各画素に対応した各フィルタの分光情報データ、Ｓｉは変換行列を示す。
【数１】
2014230247.tif 000003
【００３２】
なお上記において、変換行列Ｓｉはあらかじめ求めておくものであって、例えばカラーチャート等を撮影し、その結果を用いて求めておくことが好ましい。
【００３３】
また本装置１では、上記画像処理部６の結果を表示させるための表示部７を備えていることが好ましい。これはコンピュータ等の情報処理装置に必ず付される液晶表示装置等のモニタ装置を例示することができる。この構成により、使用者はより視覚的に結果を得ることができる。
【００３４】
なおここで、本実施形態に係る分光画像計測の効果について確認した結果を図５に示しておく。まず、上記の構成の例として、ＣＭＹＴフィルタを含むものを第一のフィルタ部３として採用し、ＲＧＢ（Ｂを二つ）フィルタを含むものを第二のフィルタ部４として採用し、白熱電球による光を使用し、暗室で２４色のカラーチャートを撮影し、それぞれのＲＧＢ平均値を求めた。次に、上記と同様の環境において、カラーチャートに対し、分光放射輝度計を用い、分光分布データを得た。なおこの波長測定は３８０ｎｍ〜７８０ｎｍを５ｎｍ毎に計測した。
【００３５】
上記で求めた値を使用して、変換行列を求めた。この変換行列の式は、上記得られた分光分布データを上記数式に当てはめて求めることができる。
【００３６】
そして、他の基準として、別に設けたカラーチェッカーに対し撮影を行い、Ｃフィルタのみを使用した場合（本図（ａ））、ＣＭＹＴフィルタを使用した場合におけるカラーチェッカーの赤色の結果（本図（ｂ））を一例として求めた。この結果、Ｃフィルタのみを使用した場合に比べ、非常に理論値に近い状態となっていることが確認できた。
【００３７】
以上、本実施形態により、リアルタイムで分光分布推定精度の高い画像の計測を行うことができる画像作成装置及び画像作成方法を提供することができる。
【図１】
2014230247.tif 000004
【図２】
2014230247.tif 000005
【図３】
2014230247.tif 000006
【図４】
2014230247.tif 000007
【図５】
2014230247.tif 000008