(57)【要約】  可視光画像と赤外光画像とを同時に撮像する場合に、可視光画像の解像度を保ちながら、色補正処理の精度を向上させることができる積層型撮像素子、画像処理装置、画像処理方法およびプログラムを提供する。積層型撮像素子は、第２撮像素子の受光面に、第１撮像素子が積層されるとともに、第２撮像素子に配置されてなる第１画素の少なくとも一部は、第１撮像素子が有する第１画素の位置と対応する積層方向に重なる位置に配置され、かつ、第２撮像素子が有する第３画素の少なくとも一部は、第１撮像素子が有する第２画素の位置と対応する積層方向と重なる位置に配置される。
2017064760.tif 000002
【特許請求の範囲】
【請求項１】
可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値以上の感度を有する第１画素と、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において前記所定の値未満の感度を有する第２画素と、が２次元マトリックス状に配置されてなり、光を受光して光電変換を行うことによって第１画像データを生成する第１撮像素子と、
前記第１画素および前記第２画素のうち少なくとも一方と、赤外光帯域に感度を有する第３画素と、が２次元マトリックス状に配置されてなり、光を受光して光電変換を行うことによって第２画像データを生成する第２撮像素子と、
を備え、
前記第２撮像素子は、受光面に前記第１撮像素子が積層してなり、
前記第２撮像素子が有する前記第１画素の少なくとも一部は、前記第１撮像素子が有する前記第１画素の位置と対応する積層方向に重なる位置に配置されてなり、
前記第２撮像素子が有する前記第３画素の少なくとも一部は、前記第１撮像素子が有する前記第２画素の位置と対応する積層方向に重なる位置に配置されてなる
ことを特徴とする積層型撮像素子。
【請求項２】
可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値以上の感度を有する第１画素と、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において前記所定の値未満の感度を有する第２画素と、が２次元マトリックス状に配置されてなる第１撮像素子と、
前記第１画素および前記第２画素のうち少なくとも一方と、赤外光帯域に感度を有する第３画素と、が２次元マトリックス状に配置されてなる第２撮像素子と、
を備え、
前記第２撮像素子は、受光面に前記第１撮像素子が積層してなり、
前記第２撮像素子が有する前記第２画素の少なくとも一部は、前記第１撮像素子が有する前記第２画素の位置と対応する積層方向に重なる位置に配置されてなり、
前記第２撮像素子が有する前記第３画素の少なくとも一部は、前記第１撮像素子が有する前記第１画素の位置と対応する積層方向に重なる位置に配置されてなる
ことを特徴とする積層型撮像素子。
【請求項３】
前記第２撮像素子は、前記第１画素の受光面に赤外光をカットする赤外カットフィルタが設けられていることを特徴とする請求項１に記載の積層型撮像素子。
【請求項４】
前記第１撮像素子は、互いに異なる可視光帯域に感度の最大値を有する２種類の前記第２画素を有するとともに、一方の前記第２画素の数が他方の前記第２画素の数より多く、
前記第２撮像素子は、前記第１画素および前記第２画素を有し、
前記第３画素の少なくとも一部は、前記第１撮像素子における一方の前記第２画素が配置されてなる位置と対応する積層方向に重なる位置に配置されてなり、
前記第２撮像素子が有する前記第２画素の少なくとも一部は、前記第１撮像素子における一方の前記第２画素の位置と対応する積層方向に重なる位置であって、前記第３画素が配置されてない位置に配置されてなる
ことを特徴とする請求項３に記載の積層型撮像素子。
【請求項５】
前記第２撮像素子は、互いに異なる可視光帯域に感度の最大値を有する２種類の前記第２画素を有することを特徴とする請求項１に記載の積層型撮像素子。
【請求項６】
前記第１画素は、赤色の波長帯域に感度の最大値を有し、
前記第２画素は、緑色の波長帯域に感度の最大値または青色の波長帯域に感度の最大値を有することを特徴とする請求項１〜５のいずれか一つに記載の積層型撮像素子。
【請求項７】
前記第１撮像素子は、受光面に、所定の波長帯域の光をカットする光学フィルタが設けられていることを特徴とする請求項１〜６のいずれか一つに記載の積層型撮像素子。
【請求項８】
請求項１〜７のいずれか一つの前記積層型撮像素子によって生成された前記第１画像データおよび前記第２画像データの各々を取得する取得部と、
前記取得部が取得した前記第１画像データに基づいて、前記第１撮像素子における前記第１画素を補間する第１補間画像と、前記第２画素を補間する第２補間画像とを生成し、かつ、前記取得部が取得した前記第２画像データに基づいて、前記第２撮像素子における前記第１画素および前記第２画素のうち少なくとも一方を補間する第３補間画像と、前記第３画素を補間する第４補間画像とを生成する補間画像生成部と、
前記補間画像生成部が生成した前記第３補間画像と前記第４補間画像とに基づいて、前記第１補間画像および前記第２補間画像の色補正を行う色補正処理部と、
を備えたことを特徴とする画像処理装置。
【請求項９】
前記色補正処理部は、前記第１補間画像、前記第２補間画像、前記第３補間画像および前記第４補間画像に基づいて、前記第１補間画像および前記第２補間画像の色補正を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記色補正処理部は、前記第１補間画像、前記第２補間画像、前記第３補間画像および前記第４補間画像の各々の画素値をＲＧＢの色空間からＹＣｂＣｒの色空間に変換した値を用いて前記第１補間画像および前記第２補間画像の色補正を行うことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記補間画像生成部は、前記第１補間画像および前記第２補間画像の少なくとも一方に含まれるエッジ情報を抽出し、該抽出したエッジ情報に基づいて、前記第３補間画像および前記第４補間画像の少なくとも一方を生成することを特徴とする請求項８〜１０のいずれか一つに記載の画像処理装置。
【請求項１２】
前記補間画像生成部は、前記第３補間画像および前記第４補間画像の少なくとも一方に含まれるエッジ情報を抽出し、該抽出したエッジ情報に基づいて、前記第１補間画像および前記第２補間画像の少なくとも一方を生成することを特徴とする請求項８〜１０のいずれか一つに記載の画像処理装置。
【請求項１３】
請求項１〜７のいずれか一つに記載の前記積層型撮像素子によって生成された前記第１画像データおよび前記第２画像データの各々を取得する取得ステップと、
前記取得ステップにおいて取得した前記第１画像データに基づいて、前記第１撮像素子における前記第１画素を補間する第１補間画像と、前記第２画素を補間する第２補間画像とを生成し、かつ、前記取得ステップにおいて取得した前記第２画像データに基づいて、前記第２撮像素子における前記第１画素および前記第２画素のうち少なくとも一方を補間する第３補間画像と、前記第３画素を補間する第４補間画像とを生成する補間画像生成ステップと、
前記補間画像生成ステップにおいて生成した前記第３補間画像と前記第４補間画像とに基づいて、前記第１補間画像および前記第２補間画像の色補正を行う色補正処理ステップと、
を含むことを特徴とする画像処理方法。
【請求項１４】
請求項１〜７のいずれか一つに記載の前記積層型撮像素子によって生成された前記第１画像データおよび前記第２画像データの各々を取得する取得ステップと、
前記取得ステップにおいて取得した前記第１画像データに基づいて、前記第１撮像素子における前記第１画素を補間する第１補間画像と、前記第２画素を補間する第２補間画像とを生成し、かつ、前記取得ステップにおいて取得した前記第２画像データに基づいて、前記第２撮像素子における前記第１画素および前記第２画素のうち少なくとも一方を補間する第３補間画像と、前記第３画素を補間する第４補間画像とを生成する補間画像生成ステップと、
前記補間画像生成ステップにおいて生成した前記第３補間画像と前記第４補間画像とに基づいて、前記第１補間画像および前記第２補間画像の色補正を行う色補正処理ステップと、
を画像処理装置に実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像し、該被写体の画像データを生成する積層型撮像素子、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、撮像装置では、可視光画像と赤外光画像とを同時に撮像する技術が知られている。例えば、特許文献１では、赤外光画像を撮像可能な撮像素子に、可視光画像を撮像可能な撮像素子を光軸方向に積層させることによって、可視光画像と赤外光画像とを同時に撮像する技術が開示されている（特許文献１参照）。【０００３】
また、特許文献２では、１つの撮像素子に、可視光撮像用のカラーフィルタと、赤外撮像用の赤外フィルタとをモザイク状に配置することによって、可視光画像と赤外光画像とを同時に撮像する技術が開示されている（特許文献２参照）。【０００４】
ところで、従来の撮像素子の各画素に設けられる可視光撮像用のカラーフィルタは、可視光帯域だけでなく、赤外光帯域にも感度を有するため、可視光画像の色再現性が低下する。このため、従来の撮像素子においては、赤外光をカットする赤外カットフィルタを撮像素子の受光面に設けることによって、可視光画像の色再現性の低下を防止している。【０００５】
これに対して、上述した特許文献１，２では、可視光画像と赤外光画像とを同時に撮像するため、赤外カットフィルタを撮像素子の受光面に設けることができない。このため、上述した特許文献１では、上層の撮像素子で撮像した可視光画像に含まれる赤外光の情報を、下層の撮像素子で撮像した赤外光画像に含まれる赤外光の情報を用いて減算することによって、可視光画像の色再現性の低下を防止している。【０００６】
また、特許文献２では、可視光画像の画素値から赤外光画像の画素値を減算することによって、可視光画像の色再現性の低下を防止している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１４−１３５５３５号公報
【特許文献２】特開２０１３−１２１１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した特許文献１では、上層の撮像素子で撮像した可視光画像に含まれる赤外光の情報と、下層の撮像素子で撮像した赤外光画像に含まれる赤外光の情報とが同じでないため、下層で撮像した赤外光画像に含まれる赤外光の情報を減算しただけでは、可視光画像の色補正精度が十分でないという問題点があった。【０００９】
また、特許文献２では、可視光フィルタおよび赤外フィルタの各々の数が、従来の可視光画像が撮像可能な撮像素子に設けられる可視光フィルタの数と比べて少ないため、可視光画像の解像度が低下するという問題点があった。【００１０】
本発明は、上記に鑑みてなされたものであって、可視光画像と赤外光画像とを同時に撮像する場合に、可視光画像の解像度を保ちながら、色補正処理の精度を向上させることができる積層型撮像素子、画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するために、本発明に係る積層型撮像素子は、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値以上の感度を有する第１画素と、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において前記所定の値未満の感度を有する第２画素と、が２次元マトリックス状に配置されてなり、光を受光して光電変換を行うことによって第１画像データを生成する第１撮像素子と、前記第１画素および前記第２画素のうち少なくとも一方と、赤外光帯域に感度を有する第３画素と、が２次元マトリックス状に配置されてなり、光を受光して光電変換を行うことによって第２画像データを生成する第２撮像素子と、を備え、前記第２撮像素子は、受光面に前記第１撮像素子が積層してなり、前記第２撮像素子が有する前記第１画素の少なくとも一部は、前記第１撮像素子が有する前記第１画素の位置と対応する積層方向に重なる位置に配置されてなり、前記第２撮像素子が有する前記第３画素の少なくとも一部は、前記第１撮像素子が有する前記第２画素の位置と対応する積層方向に重なる位置に配置されてなることを特徴とする。【００１２】
また、本発明に係る積層型撮像素子は、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値以上の感度を有する第１画素と、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において前記所定の値未満の感度を有する第２画素と、が２次元マトリックス状に配置されてなる第１撮像素子と、前記第１画素および前記第２画素のうち少なくとも一方と、赤外光帯域に感度を有する第３画素と、が２次元マトリックス状に配置されてなる第２撮像素子と、を備え、前記第２撮像素子は、受光面に前記第１撮像素子が積層してなり、前記第２撮像素子が有する前記第２画素の少なくとも一部は、前記第１撮像素子が有する前記第２画素の位置と対応する積層方向に重なる位置に配置されてなり、前記第２撮像素子が有する前記第３画素の少なくとも一部は、前記第１撮像素子が有する前記第１画素の位置と対応する積層方向に重なる位置に配置されてなることを特徴とする。【００１３】
また、本発明に係る積層型撮像素子は、上記発明において、前記第２撮像素子は、前記第１画素の受光面に赤外光をカットする赤外カットフィルタが設けられていることを特徴とする。【００１４】
また、本発明に係る積層型撮像素子は、上記発明において、前記第１撮像素子は、互いに異なる可視光帯域に感度の最大値を有する２種類の前記第２画素を有するとともに、一方の前記第２画素の数が他方の前記第２画素の数より多く、前記第２撮像素子は、前記第１画素および前記第２画素を有し、前記第３画素の少なくとも一部は、前記第１撮像素子における一方の前記第２画素が配置されてなる位置と対応する積層方向に重なる位置に配置されてなり、前記第２撮像素子が有する前記第２画素の少なくとも一部は、前記第１撮像素子における一方の前記第２画素の位置と対応する積層方向に重なる位置であって、前記第３画素が配置されてない位置に配置されてなることを特徴とする。【００１５】
また、本発明に係る積層型撮像素子は、上記発明において、前記第２撮像素子は、互いに異なる可視光帯域に感度の最大値を有する２種類の前記第２画素を有することを特徴とする。【００１６】
また、本発明に係る積層型撮像素子は、上記発明において、前記第１画素は、赤色の波長帯域に感度の最大値を有し、前記第２画素は、緑色の波長帯域に感度の最大値または青色の波長帯域に感度の最大値を有することを特徴とする。【００１７】
また、本発明に係る積層型撮像素子は、上記発明において、前記第１撮像素子は、受光面に、所定の波長帯域の光をカットする光学フィルタが設けられていることを特徴とする。【００１８】
また、本発明に係る画像処理装置は、上記発明の前記積層型撮像素子によって生成された前記第１画像データおよび前記第２画像データの各々を取得する取得部と、前記取得部が取得した前記第１画像データに基づいて、前記第１撮像素子における前記第１画素を補間する第１補間画像と、前記第２画素を補間する第２補間画像とを生成し、かつ、前記取得部が取得した前記第２画像データに基づいて、前記第２撮像素子における前記第１画素および前記第２画素のうち少なくとも一方を補間する第３補間画像と、前記第３画素を補間する第４補間画像とを生成する補間画像生成部と、前記補間画像生成部が生成した前記第３補間画像と前記第４補間画像とに基づいて、前記第１補間画像および前記第２補間画像の色補正を行う色補正処理部と、を備えたことを特徴とする。【００１９】
また、本発明に係る画像処理装置は、上記発明において、前記色補正処理部は、前記第１補間画像、前記第２補間画像、前記第３補間画像および前記第４補間画像に基づいて、前記第１補間画像および前記第２補間画像の色補正を行うことを特徴とする。【００２０】
また、本発明に係る画像処理装置は、上記発明において、前記色補正処理部は、前記第１補間画像、前記第２補間画像、前記第３補間画像および前記第４補間画像の各々の画素値をＲＧＢの色空間からＹＣｂＣｒの色空間に変換した値を用いて前記第１補間画像および前記第２補間画像の色補正を行うことを特徴とする。【００２１】
また、本発明に係る画像処理装置は、上記発明において、前記補間画像生成部は、前記第１補間画像および前記第２補間画像の少なくとも一方に含まれるエッジ情報を抽出し、該抽出したエッジ情報に基づいて、前記第３補間画像および前記第４補間画像の少なくとも一方を生成することを特徴とする。【００２２】
また、本発明に係る画像処理装置は、上記発明において、前記補間画像生成部は、前記第３補間画像および前記第４補間画像の少なくとも一方に含まれるエッジ情報を抽出し、該抽出したエッジ情報に基づいて、前記第１補間画像および前記第２補間画像の少なくとも一方を生成することを特徴とする。【００２３】
また、本発明に係る画像処理方法は、上記発明の前記積層型撮像素子によって生成された前記第１画像データおよび前記第２画像データの各々を取得する取得ステップと、前記取得ステップにおいて取得した前記第１画像データに基づいて、前記第１撮像素子における前記第１画素を補間する第１補間画像と、前記第２画素を補間する第２補間画像とを生成し、かつ、前記取得ステップにおいて取得した前記第２画像データに基づいて、前記第２撮像素子における前記第１画素および前記第２画素のうち少なくとも一方を補間する第３補間画像と、前記第３画素を補間する第４補間画像とを生成する補間画像生成ステップと、前記補間画像生成ステップにおいて生成した前記第３補間画像と前記第４補間画像とに基づいて、前記第１補間画像および前記第２補間画像の色補正を行う色補正処理ステップと、を含むことを特徴とする。【００２４】
また、本発明に係るプログラムは、上記発明の前記積層型撮像素子によって生成された前記第１画像データおよび前記第２画像データの各々を取得する取得ステップと、前記取得ステップにおいて取得した前記第１画像データに基づいて、前記第１撮像素子における前記第１画素を補間する第１補間画像と、前記第２画素を補間する第２補間画像とを生成し、かつ、前記取得ステップにおいて取得した前記第２画像データに基づいて、前記第２撮像素子における前記第１画素および前記第２画素のうち少なくとも一方を補間する第３補間画像と、前記第３画素を補間する第４補間画像とを生成する補間画像生成ステップと、前記補間画像生成ステップにおいて生成した前記第３補間画像と前記第４補間画像とに基づいて、前記第１補間画像および前記第２補間画像の色補正を行う色補正処理ステップと、を画像処理装置に実行させることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、可視光画像と赤外光画像とを同時に撮像する場合に、可視光画像の解像度を保ちながら、色補正処理の精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明の実施の形態１に係る撮像システムの機能構成を示すブロック図である。
【図２】図２は、図１の積層型撮像素子の断面を模式的に示す図である。
【図３】図３は、本発明の実施の形態１に係る第１撮像素子の構成を模式的に示す図である。
【図４】図４は、本発明の実施の形態１に係る第１撮像素子の各画素の感度特性の一例を示す図である。
【図５】図５は、本発明の実施の形態１に係る第２撮像素子の構成を模式的に示す図である。
【図６】図６は、本発明の実施の形態１に係る第２撮像素子の各画素の感度特性の一例を示す図である。
【図７】図７は、本発明の実施の形態１に係る第２撮像素子に第１撮像素子を積層した際の各画素の感度特性の一例を示す図である。
【図８】図８は、本発明の実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。
【図９】図９は、本発明の実施の形態１に係る画像処理装置が実行する処理の概要を説明する模式図である。
【図１０】図１０は、図８の色補正処理の概要を示すフローチャートである。
【図１１】図１１は、本発明の実施の形態１に係る色補正処理部による色補正の概要を説明する模式図である。
【図１２】図１２は、本発明の実施の形態２に係る積層型撮像素子における下層の第２撮像素子の構成を模式的に示す図である。
【図１３】図１３は、本発明の実施の形態２に係る第２撮像素子の各画素の感度特性の一例を示す図である。
【図１４】図１４は、本発明の実施の形態２に係る第２撮像素子に第１撮像素子を積層した際の各画素の感度特性の一例を示す図である。
【図１５】図１５は、本発明の実施の形態２に係る画像処理装置が実行する処理の概要を示すフローチャートである。
【図１６】図１６は、本発明の実施の形態２に係る画像処理装置が実行する処理の概要を説明する模式図である。
【図１７】図１７は、本発明の実施の形態２に係る色補正処理部による色補正の概要を説明する模式図である。
【図１８】図１８は、本発明の実施の形態３に係る撮像システムの機能構成を示すブロック図である。
【図１９】図１９は、本発明の実施の形態３に係る光学フィルタの透過特性の一例を模式的に示す図である。
【図２０】図２０は、本発明の実施の形態の変形例１に係る第１撮像素子および第２撮像素子の分光特性を模式的に示す図である。
【図２１】図２１は、本発明の実施の形態の変形例２に係る第２撮像素子の構成を模式的に示す図である。
【図２２】図２２は、本発明の実施の形態の変形例３に係る第１撮像素子の構成を模式的に示す図である。
【図２３】図２３は、本発明の実施の形態の変形例３に係る第２撮像素子の構成を模式的に示す図である。
【図２４】図２４は、本発明の実施の形態の変形例４に係る第１撮像素子および第２撮像素子の構成を模式的に示す図である。
【図２５】図２５は、本発明の実施の形態の変形例５に係る第２撮像素子の構成を模式的に示す図である。
【図２６】図２６は、本発明の実施の形態の変形例５に第２撮像素子の画素ＩＲの感度特性の一例を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明を実施するための形態（以下、「実施の形態」という）として、積層型の撮像素子を備えた撮像システムについて説明する。また、この実施の形態により、本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。
【００２８】
（実施の形態１）
〔撮像システムの構成〕
図１は、本発明の実施の形態１に係る撮像システムの機能構成を示すブロック図である。図１に示す撮像システム１は、被写体像を積層型撮像素子２に結像する光学系１００と、互いに異なる撮像素子が積層され、光学系１００が結像した被写体像を撮像し、この被写体像の画像データを生成する積層型撮像素子２と、積層型撮像素子２が生成した画像データに対して画像処理を施して外部へ出力する画像処理装置３と、画像処理装置３が画像処理を施した画像データに対応する画像を表示する表示装置４と、を備える。
【００２９】
光学系１００は、一または複数のレンズ等を用いて構成される。光学系１００は、光軸Ｏに沿って移動可能に設けられ、被写体像を積層型撮像素子２の受光面に結像する。
【００３０】
〔積層型撮像素子の構成〕
次に、積層型撮像素子２の構成について説明する。図２は、積層型撮像素子２の断面を模式的に示す図である。図２に示すように、積層型撮像素子２は、第１撮像素子２１（第１基板）と、第２撮像素子２２（第２基板）と、第１撮像素子２１と第２撮像素子２２とを接続する接続部２３と、を備える。積層型撮像素子２は、第２撮像素子２２の受光面側に、接続部２３を介して第１撮像素子２１が積層（段積み）され、接続部２３を介して電気的に接続されている。具体的には、積層型撮像素子２は、光軸系１００の光軸方向Ｏ（垂直方向）と重なる方向に第１撮像素子２１および第２撮像素子２２が積層される。
【００３１】
第１撮像素子２１は、光を受光して光電変換を行うことによって画像信号を生成する複数の画素が２次元マトリックス状に配置される。また、第１撮像素子２１は、可視光帯域内における透過スペクトルの最大値が互いに異なる複数の可視光フィルタが配置されてなる。具体的には、第１撮像素子２１は、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値以上の感度を有する第１画素と、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値未満の感度を有する第２画素と、が２次元マトリックス状に配置されてなる。ここで、所定の値以上の感度とは、例えば感度の最大値の半値以上の感度である。
【００３２】
図３は、第１撮像素子２１の構成を模式的に示す図である。図３に示すように、第１撮像素子２１は、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値以上の感度を有する第１画素と、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値未満の感度を有する第２画素と、が２次元マトリックス状に配置されてなる。具体的には、第１撮像素子２１は、可視光帯域内における透過スペクトルの最大値が互いに異なるフィルタＲ１、フィルタＧおよびフィルタＢを用いて所定の配列パターン（ベイヤーパターン）を形成し、この配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置されてなる。以下において、フィルタＲ１、フィルタＧおよびフィルタＢの各々が受光面に設けられた画素を、画素Ｒ１、画素Ｇおよび画素Ｂとして表現する。なお、本実施の形態１では、画素Ｒ１が第１撮像素子２１の第１画素として機能し、画素Ｇおよび画素Ｂが第１撮像素子２１の第２画素として機能する。
【００３３】
図４は、第１撮像素子２１の各画素の感度特性の一例を示す図である。図４において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。また、図４において、曲線ＬR1が画素Ｒ１の感度特性を示し、曲線ＬBが画素Ｂの感度特性を示し、曲線ＬGが画素Ｇの感度特性を示す。なお、図４においては、説明を簡略化するため、各画素の感度特性について説明する。
【００３４】
図４の曲線ＬR1に示すように、画素Ｒ１は、可視光の波長帯域に感度の最大値を有する。具体的には、画素Ｒ１は、可視光の波長帯域６２０〜７５０ｎｍに感度の最大値を有するとともに赤外光の波長帯域７５０〜９５０ｎｍの光の一部にも感度を有する。即ち、画素Ｒ１は、可視光帯域と赤外光帯域との境界において所定の値以上の感度を有する第１画素として機能する。また、図４の曲線ＬGが示すように、画素Ｇは、可視光の波長帯域４９５〜５７０ｎｍに感度の最大値を有するとともに、赤外光の波長帯域７５０〜９５０ｎｍの光の一部にも感度を有する。さらに、図４の曲線ＬBが示すように、画素Ｂは、可視光の波長帯域４００〜５５０に感度の最大値を有するとともに、赤外光の波長帯域７５０〜９５０ｎｍの光の一部にも感度を有する。即ち、画素Ｇおよび画素Ｂの各々は、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値未満の感度を有する第２画素として機能する。
【００３５】
図２に戻り、積層型撮像素子２の構成について説明を続ける。
第２撮像素子２２は、第１撮像素子２１を透過した光を受光して光電変換を行うことによって画像信号を生成する複数の画素が２次元マトリックス状に配置される。また、第２撮像素子２２は、可視光帯域内に透過スペクトルの最大値を有する可視光フィルタと、可視光および赤外光を透過する赤外光フィルタとが配置されてなる。具体的には、第２撮像素子２２は、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値以上の感度を有する第１画素および可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値未満の感度を有する第２画素のうち少なくとも一方と、赤外光帯域に感度を有する第３画素と、が２次元マトリックス状に配置されてなる。
【００３６】
図５は、第２撮像素子２２の構成を模式的に示す図である。図５に示すように、第２撮像素子２２は、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値以上の感度を有する第１画素と、赤外光帯域に感度を有する第３画素と、が２次元マトリックス状に配置されてなる。具体的には、第２撮像素子２２は、可視光の波長帯域内に透過スペクトルの最大値を有するフィルタＲ２と、可視光の波長帯域および赤外光の波長帯域の各々の光を透過するフィルタＩＲとを用いて所定の配列パターンを形成し、この配列パターンを形成する個々のフィルタが複数の画素のいずれかに対応する位置に配置されてなる。以下において、フィルタＲ２およびフィルタＩＲの各々が受光面に設けられた画素を、画素Ｒ２および画素ＩＲとして表現する。さらに、画素Ｒ２の受光面には、赤外光の波長帯域をカットする赤外カットフィルタが設けられている。また、第２撮像素子２２が有する画素Ｒ２の少なくとも一部は、第１撮像素子２１が有する画素Ｒ１（第１画素）の位置と対応する積層方向（光軸方向Ｏ）と重なる位置に配置されてなる。さらに、第２撮像素子２２が有する画素ＩＲの少なくとも一部は、第１撮像素子２１が有する画素Ｂ（第２画素）および画素Ｇ（第２画素）のいずれかの位置と対応する積層方向と重なる位置（光学方向Ｏ）に配置されてなる。
【００３７】
図６は、第２撮像素子２２の各画素の感度特性の一例を示す図である。図６において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。また、図６において、曲線ＬR2が画素Ｒ２の感度特性を示し、曲線ＬIRが画素ＩＲの感度特性を示す。なお、図６においては、説明を簡略化するため、各画素の感度特性について説明する。
【００３８】
図６の曲線ＬR2に示すように、画素Ｒ２は、可視光の波長帯域に感度の最大値を有する。具体的には、画素Ｒ２は、可視光の波長帯域５８０〜６２０ｎｍに感度の最大値を有する。即ち、画素Ｒ２は、可視光の波長帯域のみ感度を有する。また、図６の曲線ＬIRに示すように、画素ＩＲは、可視光および赤外光の各々の波長帯域に感度を有する。
【００３９】
このように構成された積層型撮像素子２は、第１撮像素子２１の厚さが数μｍ程度と薄く、各画素の受光面から入射した光の一部を透過する。この透過した光は、第１撮像素子２１の下層に設けられてなる第２撮像素子２２の受光面側に入射する。また、第１撮像素子２１を形成するシリコンの深さ毎の光の吸収率は、波長によって異なる。このため、第１撮像素子２１におけるシリコンの浅い部分では、波長が短い光の吸収率が大きく、波長が長い光の吸収率が小さい。即ち、第１撮像素子２１から透過する光は、波長が短い光ほど少なく、波長が長い光ほど多い。このため、第１撮像素子２１を透過する光の波長は、第１撮像素子２１の設計や工夫等を適宜変更することによって変更することができる。本実施の形態１では、６００ｎｍよりも波長が長い光が第１撮像素子２１を透過するものとして説明する。即ち、可視光帯域と赤外光帯域との境界を６００ｎｍとして説明する。
【００４０】
図７は、第２撮像素子２２に第１撮像素子２１を積層した際の各画素の感度特性の一例を示す図である。図７において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。また、図７において、曲線ＬR1が画素Ｒ１の感度特性を示し、曲線ＬBが画素Ｂの感度特性を示し、曲線ＬGが画素Ｇの感度特性を示し、曲線ＬR21が第２撮像素子２２に第１撮像素子２１を積層した場合の画素Ｒ２の感度特性を示し、曲線ＬIR1が第２撮像素子２２に第１撮像素子２１を積層した場合の画素ＩＲの感度特性を示す。
【００４１】
図７に示すように、第２撮像素子２２は、第１撮像素子２１によって波長が短い光が吸収されてしまうことによって、波長が短い光を受光することができない。このため、画素Ｒ２および画素ＩＲの各々は、曲線ＬR21および曲線ＬIR1に示すように、６００ｎｍ以下の波長に感度を有していない。
【００４２】
〔画像処理装置の構成〕
図１に戻り、画像処理装置３の構成について説明する。
画像処理装置３は、画像取得部３１と、補間画像生成部３２と、色補正処理部３３と、記録部３４と、を備える。
【００４３】
画像取得部３１は、積層型撮像素子２における第１撮像素子２１が生成した第１画像データおよび第２撮像素子２２が生成した第２画像データの各々を取得して補間画像生成部３２へ出力する。
【００４４】
補間画像生成部３２は、画像取得部３１から入力された第１撮像素子２１によって生成された第１画像データに対して、画素Ｒ１、画素Ｇおよび画素Ｂの各々の画素を補間する補間処理を行って各色の補間画像データを生成し、この補間画像データを色補正処理部３３へ出力する。例えば、補間画像生成部３２は、画素Ｇのエッジ情報を抽出し、この抽出したエッジ情報の方向を判別する方法や色差成分を用いて周知の補間処理によって、各色の補間画像データを生成する。また、補間画像生成部３２は、画像取得部３１から入力された第２撮像素子２２によって生成された第２画像データに対して、画素Ｒ２および画素ＩＲの各々の画素を補間する補間処理を行って画素Ｒ２および画素ＩＲの補間画像データを生成し、この補間画像データを色補正処理部３３へ出力する。例えば、補間画像生成部３２は、周知のバイリニア補間処理やバイキュービック補間処理等を行うことによって、画素Ｒ２と画素ＩＲの各々の補間画像データを生成する。
【００４５】
色補正処理部３３は、後述する記録部３４の補正係数記録部３４１に記録されている補正係数に基づいて、補間画像生成部３２から入力された各補間画像データに対応する補間画像の注目画素の画素値を補正し、この補正結果を表示装置４へ出力する。
【００４６】
記録部３４は、揮発性メモリや不揮発性メモリ等を用いて構成され、画像処理装置３の各種情報を記録する。また、記録部３４は、色補正処理部３３が補間画像の注目画素の画素値を補正する際に用いる補正係数を記録する補正係数記録部３４１を有する。ここで、補正係数とは、予め実験やシミュレーション結果で求められた係数である。本実施の形態１では、３行５列のマトリックスである。
【００４７】
〔表示装置の構成〕
次に、表示装置４について説明する。
表示装置４は、画像処理装置３によって画像処理が施された画像データに対応する画像を表示する。表示装置４は、液晶や有機ＥＬ（Electro  Luminescence）等の表示パネル等を用いて構成される。
【００４８】
〔画像処理装置の動作〕
次に、画像処理装置３の動作について説明する。図８は、画像処理装置３が実行する処理の概要を示すフローチャートである。図９は、画像処理装置３が実行する処理の概要を説明する模式図である。
【００４９】
図８に示すように、まず、画像取得部３１は、積層型撮像素子２が生成したＲＡＷデータである第１画像データおよび第２画像データの各々を取得する（ステップＳ１０１）。具体的には、図９に示すように、画像取得部３１は、上層の第１撮像素子２１が生成した第１画像データに対応する第１画像Ｐ２１および下層の第２撮像素子２２が生成した第２画像Ｐ２２の各々を積層型撮像素子２から取得する。
【００５０】
続いて、補間画像生成部３２は、画像取得部３１が取得した第１画像Ｐ２１および第２画像Ｐ２２の各々に対して、補間画像データに対応する補間画像を生成する（ステップＳ１０２）。具体的には、図９に示すように、補間画像生成部３２は、画像取得部３１が取得した第１画像Ｐ２１に対して、画素Ｒ１、画素Ｇおよび画素Ｂの各々を補間する補間処理を行って、各色の補間画像データに対応する補間画像ＰR1、補間画像ＰGおよび補間画像ＰBの各々を生成する。例えば、補間画像生成部３２は、第１画像Ｐ２１の画素値からエッジ情報を抽出し、抽出したエッジ情報に基づいて、画素Ｒ１、画素Ｇおよび画素Ｂの各々を補間した各色の補間画像ＰR1、補間画像ＰGおよび補間画像ＰBの各々を生成する。さらに、補間画像生成部３２は、画像取得部３１が取得した第２画像Ｐ２２に対して、画素Ｒ２および画素ＩＲの各々を補間する補間処理を行って、画素Ｒ２および画素ＩＲの各々の補間画像ＰR2および補間画像ＰIRの各々を生成する。撮像システム１が赤外光画像のみを表示装置４に表示させる場合、画像処理装置３は、補間画像ＰIRを表示装置４へ出力する。これにより、表示装置４は、赤外光画像を表示することができる。この場合、表示装置４は、後述する処理によって生成された可視光画像に赤外光画像を重畳してもよいし、赤外光画像のみをモノクロ画像として表示してもよく、表示態様を適宜変更することができる。
【００５１】
その後、色補正処理部３３は、補間画像生成部３２が生成した補間画像を用いて、画素毎に色補正処理を行う（ステップＳ１０３）。
【００５２】
〔色補正処理〕
図１０は、図８のステップＳ１０３における色補正処理の概要を示すフローチャートである。
【００５３】
図１０に示すように、まず、色補正処理部３３は、補正係数記録部３４１から補正係数を取得し（ステップＳ２０１）、補間画像生成部３２が生成した補間画像における注目画素の画素値を取得する（ステップＳ２０２）。
【００５４】
続いて、色補正処理部３３は、ステップＳ２０２において取得した注目画素の画素値とステップＳ２０１で取得した補正係数と、式（１）と、を用いて補正後の画素値を算出する（ステップＳ２０３）。
【数１】
2017064760.tif 000003
式（１）において、Ｒ、ＧおよびＢが色補正後の画素値を示し、Ｔが補正係数を示し、Ｒｉ、ＧｉおよびＢｉの各々は、ＩＲ情報を含む第１撮像素子２１によって生成された第１画像データを補間した補間画像の画素値を示し、ＲLが第２撮像素子２２によって生成された第２画像データを補間した補間画像の画素値を示し、ＩＲが画素ＩＲの画素値を示す。
【００５５】
その後、補間画像生成部３２によって生成された補間画像の全画素の色補正が終了した場合（ステップＳ２０４：Ｙｅｓ）、画像処理装置３は、図８に戻り、本処理を終了する。これにより、図９に示すように、色補正処理部３３は、補間画像ＰR1、補間画像ＰGおよび補間画像ＰBの各々からＩＲ情報（ＩＲ成分）を除去した画像ＰR、画像ＰGおよび画像ＰBの各々を生成する。
【００５６】
図１１は、色補正処理部３３による補間画像ＰR1、補間画像ＰGおよび補間画像ＰBの各々からＩＲ情報（ＩＲ成分）を除去した際の画像ＰR、画像ＰGおよび画像ＰBの感度特性を示す図である。図１１において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。また、図１１において、曲線ＬB1が補間画像ＰBの各々からＩＲ情報（ＩＲ成分）を除去した際の感度特性を示し、曲線ＬG1が補間画像ＰGの各々からＩＲ情報（ＩＲ成分）を除去した際の感度特性を示し、曲線ＬR3が補間画像ＰRの各々からＩＲ情報（ＩＲ成分）を除去した際の感度特性を示す。
【００５７】
図１１の曲線ＬB1、曲線ＬG1および曲線ＬR3に示すように、色補正処理部３３は、色補正処理を行うことによって、画素Ｒ１、画素Ｇおよび画素Ｂの各々から赤外光の波長帯域を除去した感度特性とすることができる。即ち、色補正処理部３３による色補正後の画素値である画素Ｒ１、画素Ｇおよび画素Ｂは、赤外カットフィルタを有する撮像装置で撮像した場合の画素値となる。また、画素Ｒ２は、画素値が赤外カットフィルタを有する情報であるため、色補正後の画素Ｒ１の画素値と相関が高いデータとなる。このため、画素Ｒ１に関しては、色補正処理部３３による色補正処理が高精度となる。さらに、赤外カットフィルタが受光面に設けられた画素Ｒ２の画素値（情報）と、画素ＩＲの画素値（情報）とを用いて、補正係数を算出することで、画素Ｇおよび画素Ｂの各々の画素値に関しても色補正処理部３３による色補正処理を高精度に行うことができる。この結果、可視光画像の解像度を維持しながら、可視光画像と赤外光画像とを同時に撮像することができる。
【００５８】
ステップＳ２０４において、補間画像生成部３２によって生成された補間画像の全画素の色補正が終了していない場合（ステップＳ２０４：Ｎｏ）、画像処理装置３は、上述したステップＳ２０２へ戻る。
【００５９】
以上説明した本発明の実施の形態１によれば、第２撮像素子２２が有する画素Ｒ２の少なくとも一部を、第１撮像素子２１が有する画素Ｒ１の位置と対応する積層方向と重なる位置に配置し、かつ、第２撮像素子２２が有する画素ＩＲの少なくとも一部を、第１撮像素子２１が有する画素Ｇおよび画素Ｂのいずれかの位置と対応する積層方向と重なる位置に配置するので、可視光画像と赤外光画像とを同時に撮像する場合に、可視光画像の解像度を保ちながら、色補正処理の精度を向上させることができる。
【００６０】
また、本発明の実施の形態１によれば、画素Ｒ２の受光面に赤外光をカットする赤外カットフィルタを設けている（積層している）ので、色補正処理部３３による色補正の精度を向上させることができる。
【００６１】
また、本発明の実施の形態１によれば、色補正処理部３３により色補正に用いることができる情報が５色分に増加し、赤色に関し、赤外カットフィルタ有り（フィルタＲ２）と赤外カットフィルタ無し（フィルタＲ１）との両方の情報を用いることができるので、通常の３色の色補正に比べて、より色補正の精度を向上し、可視光画像の色再現性低下を抑制することができる。
【００６２】
なお、本発明の実施の形態１では、補間画像生成部３２が上層の第１撮像素子２１が生成した第１画像データに対応する第１画像および下層の第２撮像素子２２が生成した第２画像データに対応する第２画像の各々を独立して補間処理を行っていたが、互いの画像に含まれる情報を用いながら補間処理を行って補間画像を生成してもよい。例えば、補間画像生成部３２は、下層の第２撮像素子２２によって生成された第２画像Ｐ22の画素Ｒ２を補間する場合、第１撮像素子２１によって生成された第１画像Ｐ21の画素Ｒ１の補間画像ＰR1からエッジ情報を抽出し、この抽出したエッジ情報を用いて第２画像Ｐ22の画素Ｒ２を補間する補間処理を行って補間画像ＰR2を生成してもよい。これにより、高精度な補間が行われている上層の情報を用いることによって、下層の補間精度も向上させることができる。
【００６３】
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２は、積層型撮像素子における下層の第２撮像素子の構成が異なるうえ、画像処理装置３が実行する処理が異なる。以下においては、本実施の形態２に係る積層型撮像素子における下層の第２撮像素子の構成を説明後、本実施の形態２に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。
【００６４】
〔積層型撮像素子の構成〕
図１２は、本実施の形態２に係る積層型撮像素子における下層の第２撮像素子の構成を模式的に示す図である。
【００６５】
図１２に示すように、第２撮像素子２２ｂは、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値以上の感度を有する第２画素と、赤外光帯域に感度を有する第３画素と、が２次元マトリックス状に配置されてなる。具体的には、第２撮像素子２２ｂは、可視光帯域内における透過スペクトルの最大値を有するフィルタＧ２と、可視光帯域内における透過スペクトルの最大値を有するフィルタＢ２と、赤外光帯域に感度を有するフィルタＩＲとを用いて所定の配列パターンを形成し、この配列パターンを形成する個々のフィルタが複数の画素のいずれかに対応する位置に配置されてなる。以下において、フィルタＢ２、フィルタＧ２およびフィルタＩＲの各々が受光面に設けられた画素を、画素Ｂ２、画素Ｇ２および画素ＩＲとして表現する。さらに、第２撮像素子２２ｂが有する画素Ｂ２および画素Ｇ２は、第１撮像素子２１が有する画素Ｂ（第２画素）または画素Ｇ（第２画素）のいずれかの位置と対応する積層方向と重なる位置に配置される。さらに、第２撮像素子２２ｂが有する画素ＩＲは、第１撮像素子２１が有する画素Ｒ１（第１画素）の位置と対応する積層方向と重なる位置に配置される。
【００６６】
図１３は、第２撮像素子２２ｂの各画素の感度特性の一例を示す図である。図１３において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。また、図１３において、曲線ＬB2が画素Ｂ２の感度特性を示し、曲線ＬG2が画素Ｇ２の感度特性を示し、曲線ＬIRが画素ＩＲの感度特性を示す。
【００６７】
図１３の曲線ＬB2に示すように、画素Ｂ２は、可視光の波長帯域４００〜５５０ｎｍに感度の最大値を有するとともに、赤外光の波長帯域７５０〜９５０ｎｍの光の一部にも感度を有する。また、図１３の曲線ＬG2が示すように、画素Ｇ２は、可視光の波長帯域４９５〜５７０ｎｍに感度の最大値を有するとともに、赤外光の波長帯域７５０〜９５０ｎｍの光の一部にも感度を有する。
【００６８】
図１４は、第２撮像素子２２ｂに第１撮像素子２１を積層した際の各画素の感度特性の一例を示す図である。図１４において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。また、図１４において、曲線ＬR1が画素Ｒ１の感度特性を示し、曲線ＬG2が画素Ｇ２の感度特性を示し、曲線ＬB2が画素Ｂ２の感度特性を示し、曲線ＬG21が第２撮像素子２２ｂに第１撮像素子２１を積層した場合の画素Ｇ２の感度特性を示し、曲線ＬB21が第２撮像素子２２ｂに第１撮像素子２１を積層した場合の画素Ｂ２の感度特性を示し、曲線ＬIR1が第２撮像素子２２に第１撮像素子２１を積層した場合の画素ＩＲの感度特性を示す。
【００６９】
図１４に示すように、第２撮像素子２２ｂには、第１撮像素子２１によって波長が短い光が吸収されてしまうことによって、波長が短い光を受光することができない。このため、画素Ｇ２、画素Ｂ２および画素ＩＲの各々は、曲線ＬG21、曲線ＬB21および曲線ＬIR1に示すように、６００ｎｍ以下の波長に感度を有していない。
【００７０】
〔画像処理装置の動作〕
次に、画像処理装置３が実行する処理について説明する。図１５は、画像処理装置３が実行する処理の概要を示すフローチャートである。図１６は、本実施の形態２に係る画像処理装置３が実行する処理の概要を説明する模式図である。
【００７１】
図１５に示すように、まず、画像取得部３１は、積層型撮像素子２が生成したＲＡＷデータである第１画像データおよび第２画像データの各々を取得する（ステップＳ３０１）。具体的には、図１６に示すように、画像取得部３１は、上層の第１撮像素子２１が生成した第１画像データに対応する第１画像Ｐ２１および下層の第２撮像素子２２ｂが生成した第２画像Ｐ２４の各々を積層型撮像素子２から取得する。
【００７２】
続いて、補間画像生成部３２は、画像取得部３１が取得した第１画像Ｐ２１および第２画像Ｐ２２の各々に対して、補間画像データに対応する補間画像を生成する（ステップＳ３０２）。具体的には、図１６に示すように、補間画像生成部３２は、画像取得部３１が取得した第１画像Ｐ２１に対して、画素Ｒ１、画素Ｇおよび画素Ｂの各々を補間する補間処理を行って、各色の補間画像データに対応する補間画像ＰR1、補間画像ＰGおよび補間画像ＰBの各々を生成する。さらに、補間画像生成部３２は、画像取得部３１が取得した第２画像Ｐ２４に対して、画素Ｂ２、画像Ｇ２および画素ＩＲの各々を補間する補間処理を行って、画素Ｂ２、画素Ｇ２および画素ＩＲの各々の補間画像ＰB2、補間画像ＰG2および補間画像ＰIRの各々を生成する。
【００７３】
その後、色補正処理部３３は、補間画像生成部３２が生成した補間画像を用いて、画素毎に色補正処理を行う（ステップＳ３０３）。具体的には、まず、色補正処理部３３は、補正係数記録部３４１から補正係数を取得し、補間画像生成部３２が生成した補間画像における注目画素の画素値を取得する。続いて、色補正処理部３３は、取得した注目画素の画素値と補正係数と、式（２）と、を用いて補正後の画素値を算出する。
【数２】
2017064760.tif 000004
式（２）において、Ｒ、ＧおよびＢが色補正後の画素値を示し、Ｔが補正係数を示し、Ｒｉ、ＧｉおよびＢｉの各々は、ＩＲ情報を含む第１撮像素子２１によって生成された第１画像データを補間した補間画像の画素値を示し、ＩＲGが第２撮像素子２２ｂによって生成された第２画像データを補間した補間画像ＰG2の画素値を示し、ＩＲBが第２撮像素子２２によって生成された第２画像データを補間した補間画像ＰB2の画素値を示し、ＩＲが画素ＩＲの画素値を示す。
【００７４】
その後、補間画像生成部３２によって生成された補間画像の全画素の色補正が終了した場合、画像処理装置３は、本処理を終了する。これにより、図１６に示すように、色補正処理部３３は、補間画像ＰR1、補間画像ＰGおよび補間画像ＰBの各々からＩＲ情報（ＩＲ成分）を除去した画像ＰR3、画像ＰG3および画像ＰB3の各々を生成する。
【００７５】
図１７は、色補正処理部３３による補間画像ＰR1、補間画像ＰGおよび補間画像ＰBの各々からＩＲ情報（ＩＲ成分）を除去した際の画像ＰR、画像ＰGおよび画像ＰBの感度特性を示す図である。図１７において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。また、図１７において、曲線ＬB3が補間画像ＰBの各々からＩＲ情報（ＩＲ成分）を除去した際の感度特性を示し、曲線ＬG3が補間画像ＰGの各々からＩＲ情報（ＩＲ成分）を除去した際の感度特性を示し、曲線ＬR3が補間画像ＰRの各々からＩＲ情報（ＩＲ成分）を除去した際の感度特性を示す。
【００７６】
図１７の曲線ＬB3、曲線ＬG3および曲線ＬR3に示すように、色補正処理部３３は、色補正処理を行うことによって、画素Ｒ１、画素Ｇおよび画素Ｂの各々から赤外光の波長帯域を除去した感度特性とすることができる。即ち、青色および緑色に関しては、第１撮像素子２１が有する画素Ｂおよび画素Ｇによって、可視光および赤外光の情報を取得し、下層の第２撮像素子２２ｂによって、赤外光の情報のみを取得し、これらの情報を用いて補正係数を算出することで、特に画素Ｂおよび画素Ｃの画素値を高精度な色補正処理によって補正することができる。この結果、可視光画像の解像度を維持しながら、可視光画像と赤外光画像とを同時に撮像することができる。
【００７７】
以上説明した本発明の実施の形態２によれば、第２撮像素子２２ｂが有する画素Ｇ２および画素Ｂ２の少なくとも一部を、第１撮像素子２１が有する画素Ｂおよび画素Ｇのいずれかの位置と対応する積層方向と重なる位置に配置し、第２撮像素子２２ｂが有する画素ＩＲの少なくとも一部を、第１撮像素子２１が有する画素Ｒ１の位置と対応する積層方向と重なる位置に配置したので、可視光画像と赤外光画像とを同時に撮像する場合に、可視光画像の解像度を保ちながら、色補正処理の精度を向上させることができる。
【００７８】
なお、本発明の実施の形態２では、補間画像生成部３２が上層の第１撮像素子２１が生成した第１画像データに対応する第１画像および下層の第２撮像素子２２ｂが生成した第２画像データに対応する第２画像の各々を独立して補間処理を行っていたが、互いの画像に含まれる情報を用いながら補間処理を行って補間画像を生成してもよい。例えば、補間画像生成部３２は、第１撮像素子２１によって生成された第１画像Ｐ21の各画素の画素値を補間する場合、下層の第２撮像素子２２ｂによって生成された第２画像Ｐ22の補間画像ＰR2からエッジ情報を抽出し、この抽出したエッジ情報を用いて第１撮像素子２１によって生成された第１画像Ｐ1の補間処理を行ってもよい。これにより、可視光と赤外光の相関が高い被写体を撮影する場合、または光源下での撮影の場合、第１撮像素子２１によって生成された第１画像Ｐ1の補間処理の精度を向上させることができる。
【００７９】
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３は、図示しない光学系と積層型撮像素子との間に、所定の波長帯域の光を透過させない光学フィルタを配置する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。
【００８０】
〔撮像システムの構成〕
図１８は、本発明の実施の形態３に係る撮像システムの機能構成を示すブロック図である。図１８に示す撮像システム１ａは、上述した実施の形態１に係る撮像システム１の構成に加えて、光学フィルタ２００をさらに備える。
【００８１】
光学フィルタ２００は、光学系１００と積層型撮像素子２との間に配置されている。光学フィルタ２００は、所定の波長帯域の光を透過させないノッチフィルタを用いて実現される。
【００８２】
図１９は、光学フィルタ２００の透過特性の一例を模式的に示す図である。図１９において、横軸が波長（ｎｍ）を示し、縦軸が透過率を示す。また、図１９において、折れ線ＬBPが光学フィルタ２００の透過特性を示す。
【００８３】
図１９の折れ線ＬBPに示すように、光学フィルタ２００は、波長帯域７５０〜８００ｎｍ付近の光を透過させない透過特性を有する。これにより、画像処理装置３は、色補正処理を行う場合、光学フィルタ２００が波長帯域７５０〜８００ｎｍ付近の光を透過させないので、各画素の色補正処理を精度よく行うことができる。光学フィルタ２００は、蛍光成分を撮影する際に特に有効である。蛍光成分は、一般的に微弱な光であることが多いため、強い励起光を照射することによって、撮影する手法が用いられる。光学フィルタ２００は、蛍光観察する場合に被写体に照射される励起光の波長帯域をカットする。図１９に示す場合、図示しない光源装置によって波長帯域７５０〜８００ｎｍ付近の励起光を照射し、８００ｎｍ以降の赤外光帯域の蛍光を撮像するときに有効となる。
【００８４】
以上説明した本発明の実施の形態３によれば、図示しない光学系と積層型撮像素子２との間に波長帯域７５０ｎｍ〜８００ｎｍ付近の光を透過させない光学フィルタ２００を設けたので、画像処理装置３が色補正処理を行う場合、各画素の色補正処理を精度よく行うことができる。
【００８５】
さらに、本発明の実施の形態３によれば、光学フィルタ２００を設けることによって、赤外光の波長帯域において取得する必要のない波長帯域の情報をカットすることで、色補正処理の高精度化を行うことができる。
【００８６】
なお、本発明の実施の形態３では、光学フィルタ２００が光学系１００と積層型撮像素子２との間に配置されていたが、例えば光学系１００の前方側（被写体側）に配置してもよい。具体的には、光軸Ｏに沿って光学フィルタ２００、光学系１００および積層型撮像装置２の順に配置するようにしてもよい。もちろん、一眼レフカメラのように積層型撮像素子２、画像処理装置３および表示装置４が一体的に形成された本体部と、光学系１００を有し、本体部に対して着脱可能なレンズ装置と、で構成されたカメラシステムにおいては、レンズ装置に対して、光学フィルタ２００を着脱可能なものとしてもよい。
【００８７】
（変形例１）
本発明の実施の形態では、第１撮像素子および第２撮像素子の分光特性を互いに異ならせることもできる。図２０は、本発明の実施の形態の変形例１に係る第１撮像素子および第２撮像素子の分光特性を模式的に示す図である。図２０において、横軸が波長を示し、縦軸が透過率を示す。また、図２０において、曲線ＬHが上層の第１撮像素子の分光特性を示し、曲線ＬFが下層の第２撮像素子の分光特性を示す。
【００８８】
図２０に示すように、積層型撮像素子は、上層の第１撮像素子および下層の第２撮像素子の各々の分光特性が異なるような基板を用いて形成してもよい。
【００８９】
以上説明した本発明の実施の形態の変形例１によれば、上層の第１撮像素子および下層の第２撮像素子の各々の分光特性が異なるような基板を用いて形成することによって、所望の波長帯域の光を透過させることができる。
【００９０】
（変形例２）
本発明の実施の形態では、第２撮像素子の構成をさらに変更することもできる。図２１は、本発明の実施の形態の変形例２に係る第２撮像素子の構成を模式的に示す図である。
【００９１】
図２１に示す第２撮像素子２２ｄは、可視光帯域内に透過スペクトルの最大値を有するフィルタＲ２と、可視光帯域内における透過スペクトルの最大値が互いに異なるフィルタＧおよびフィルタＢとを用いて所定の配列パターン（ベイヤーパターン）を形成し、この配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置されてなる。この場合、第２撮像素子２２ｄにおける画素Ｂおよび画素Ｇの各々は、赤外光の波長帯域の光を受光することができる。
【００９２】
以上説明した本発明の実施の形態の変形例２によれば、画像処理装置３による色補正処理の精度を向上させることができる。
【００９３】
（変形例３）
本発明の実施の形態では、第１撮像素子の構成をさらに変更することもできる。図２２は、本発明の実施の形態の変形例３に係る第１撮像素子の構成を模式的に示す図である。
【００９４】
図２２に示す第１撮像素子２１ｃは、可視光帯域内における透過スペクトルの最大値が互いに異なるフィルタＲおよびフィルタＧと、可視光帯域内に透過スペクトルの最大値を有する補色フィルタＣｙ（Cyan）および補色フィルタＯｒ（Orange）とを用いて所定の配列パターンを形成し、この配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置されてなる。
【００９５】
図２３は、本発明の実施の形態の変形例３に係る第２撮像素子の構成を模式的に示す図である。
【００９６】
図２３に示す第２撮像素子２２ｃは、可視光の波長帯域内に透過スペクトルの最大値を有するフィルタＲ２と、可視光の波長帯域および赤外光の波長帯域の各々の光を透過するフィルタＩＲとを用いて所定の配列パターンを形成し、この配列パターンを形成する個々のフィルタが複数の画素のいずれかに対応する位置に配置されてなる。
【００９７】
以上説明した本発明の実施の形態の変形例３によれば、上述した実施の形態１〜３と同様の構成を有する。
【００９８】
（変形例４）
本発明の実施の形態では、第１撮像素子の各画素と第２撮像素子の各画素との面積を異ならせることができる。図２４は、本発明の実施の形態の変形例４に係る第１撮像素子および第２撮像素子の構成を模式的に示す図である。
【００９９】
図２４に示すように、第２撮像素子２２ｄは、可視光の波長帯域内に透過スペクトルの最大値を有するフィルタＲ２と、可視光の波長帯域および赤外光の波長帯域の各々の光を透過するフィルタＩＲとを用いて所定の配列パターンを形成し、この配列パターンを形成する個々のフィルタが複数の画素のいずれかに対応する位置に配置されてなる。さらに、第２撮像素子２２ｄを構成する画素Ｒ２および画素ＩＲの各々は、第１撮像素子２１を構成する画素Ｒ１、画素Ｇおよび画素Ｂの各々の面積より大きくすることによって、第１撮像素子２１と第２撮像素子２２ｄとの解像度を異ならせる。具体的には、画素Ｒ２および画素ＩＲは、画素面積を、画素Ｒ１、画素Ｇおよび画素Ｂの各々の面積の４倍とすることによって、１画素あたりに入射する光量を増加させることで、第２撮像素子２２ｄで不足する感度を補うことができる。
【０１００】
以上説明した本発明の実施の形態の変形例４によれば、第２撮像素子２２ｄを構成する画素Ｒ２および画素ＩＲの各々は、第１撮像素子２１を構成する画素Ｒ、Ｇ画素およびＢ画素の各々の面積より大きくすることによって、第２撮像素子２２ｄにおける１画素あたりに入射する光量を増加させることで、第２撮像素子２２ｄで不足する感度を補うことができる。
【０１０１】
（変形例５）
本実施の形態では、赤外フィルタを用いることもできる。図２５は、本発明の実施の形態の変形例５に係る第２撮像素子の構成を模式的に示す図である。
【０１０２】
図２５に示すように、第２撮像素子２２ｅは、赤外光の波長帯域の光を透過するフィルタＩＲを用いて所定の配列パターンを形成し、この配列パターンを形成する個々のフィルタが複数の画素のいずれかに対応する位置に配置されてなる。
【０１０３】
図２６は、第２撮像素子２２ｅの画素ＩＲの感度特性の一例を示す図である。図２６において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。また、図２６において、曲線ＬPがフィルタを配置していない画素の感度特性を示し、曲線ＬIRが画素ＩＲの感度特性を示す。
【０１０４】
図２６の曲線ＬIRに示すように、第２撮像素子２２ｅは、赤外光における特定の波長帯域のみに感度を有してもよい。これにより、赤外光における特定の波長帯域の情報を取得することができる。
【０１０５】
以上説明した本発明の実施の形態の変形例５によれば、第２撮像素子２２ｅを赤外光における特定の波長帯域の光を透過するフィルタＩＲのみを各画素に設けることによって、赤外光における特定の波長帯域の情報を取得することができる。
【０１０６】
（変形例６）
本発明の実施の形態では、色補正処理部３３がＲＧＢ空間のまま、色補正処理を行っていたが、ＹＣｂＣｒ空間で色補正処理を行ってもよい。例えば、上述した実施の形態１において、色補正処理部３３は、上層の第１撮像素子によって生成された第１画像データに対応するＲ、ＧおよびＢの補間画像をＹＣｂＣｙ空間へ変換した後に、式（３）により色変換処理を行ってもよい。これにより、輝度成分（Ｙ成分）の変動を抑えることができるとともに、純粋な色情報の変換のみを行うことができる。
【数３】
2017064760.tif 000005
【０１０７】
（その他の実施の形態）
本実施の形態では、第１撮像素子および第２撮像素子の各々が同じ特性を持っている必要はなく、例えば上層の第１撮像素子を裏面照射型によって形成し、下層の第２撮像素子を表面照射型によって形成してもよい。もちろん、上層の第１撮像素子を表面照射型によって形成し、下層の第２撮像素子を裏面照射型によって形成してもよく、表面照射型および裏面照射型を適宜組み合わせることができる。
【０１０８】
また、本発明では、色補正処理では、積層型撮像素子によって生成された全ての色の情報（画素値）を用いていたが、色補正処理に全ての色の情報を用いる必要はない。例えば、色補正処理に用いる色の組み合わせは、撮影時に使用する光源の種類または撮影する被写体の種類に応じて異なる可能性があり、補正係数を事前に算出する際（キャリブレーション処理）に最適な色の組み合わせを求めておけばよい。また、上述した実施の形態で例示した補正係数の次元数のものに限定されるわけではない。さらに、高次元の補正係数を用いて色補正処理を行ってもよく、既存や周知の色補正処理を適用することができる。
【０１０９】
また、本発明では、カラーフィルタが原色フィルタで構成されていたが、例えば補色の波長成分を有する光を透過する補色フィルタ（Ｃｙ（Cyan）,Ｍｇ（Magenta）,Ｙｅ（Yellow））を用いてもよい。さらに、カラーフィルタを、原色フィルタと、オレンジおよびシアンの波長成分を有する光を透過するフィルタ（Ｏｒ,Ｃｙ）とによって構成されたカラーフィルタ（Ｒ,Ｇ,Ｂ,Ｏｒ,Ｃｙ）を用いてもよい。さらにまた、原色フィルタと、白色の波長成分を有する光を透過させるフィルタ（Ｗ）とによって構成されたカラーフィルタ（Ｒ,Ｇ,Ｂ,Ｗ）を用いてもよい。
【０１１０】
また、本発明では、画像処理装置を撮像システムとして説明していたが、例えば内視鏡システムに用いられるプロセッサや被検体の体腔内に挿入可能なカプセル型内視鏡の画像処理部であっても適用することができる。もちろん、画像処理装置を撮像装置の画像エンジンとして適用することもできる。さらに、画像処理装置を顕微鏡システム等に用いられる処理装置内に組み込んでもよい。
【０１１１】
また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【０１１２】
また、上述した実施の形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもＣＰＵ等の制御部に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピーディスク（登録商標）、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【０１１３】
また、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。
【０１１４】
また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語とともに記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１１５】
１，１ａ  撮像システム
２  積層型撮像素子
３  画像処理装置
４  表示装置
２１，２１ｃ  第１撮像素子
２２，２２ｂ，２２ｃ，２２ｄ，２２ｅ  第２撮像素子
２３  接続部
３１  画像取得部
３２  補間画像生成部
３３  色補正処理部
３４  記録部
２００  光学フィルタ
３４１  補正係数記録部
【図１】
2017064760.tif 000006
【図２】
2017064760.tif 000007
【図３】
2017064760.tif 000008
【図４】
2017064760.tif 000009
【図５】
2017064760.tif 000010
【図６】
2017064760.tif 000011
【図７】
2017064760.tif 000012
【図８】
2017064760.tif 000013
【図９】
2017064760.tif 000014
【図１０】
2017064760.tif 000015
【図１１】
2017064760.tif 000016
【図１２】
2017064760.tif 000017
【図１３】
2017064760.tif 000018
【図１４】
2017064760.tif 000019
【図１５】
2017064760.tif 000020
【図１６】
2017064760.tif 000021
【図１７】
2017064760.tif 000022
【図１８】
2017064760.tif 000023
【図１９】
2017064760.tif 000024
【図２０】
2017064760.tif 000025
【図２１】
2017064760.tif 000026
【図２２】
2017064760.tif 000027
【図２３】
2017064760.tif 000028
【図２４】
2017064760.tif 000029
【図２５】
2017064760.tif 000030
【図２６】
2017064760.tif 000031
【手続補正書】
【提出日】平成28年4月25日(2016.4.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値以上の感度を有する第１画素と、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において前記所定の値未満の感度を有する第２画素と、が２次元マトリックス状に配置されてなり、光を受光して光電変換を行うことによって第１画像データを生成する第１撮像素子と、
前記第１画素および前記第２画素のうち少なくとも一方と、赤外光帯域に感度を有する第３画素と、が２次元マトリックス状に配置されてなり、光を受光して光電変換を行うことによって第２画像データを生成する第２撮像素子と、
を備え、
前記第２撮像素子は、受光面に前記第１撮像素子が積層してなり、
前記第２撮像素子が有する前記第１画素の少なくとも一部は、前記第１撮像素子が有する前記第１画素の位置と対応する積層方向に重なる位置に配置されてなり、
前記第２撮像素子が有する前記第３画素の少なくとも一部は、前記第１撮像素子が有する前記第２画素の位置と対応する積層方向に重なる位置に配置されてなる
ことを特徴とする積層型撮像素子。
【請求項２】
可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において所定の値以上の感度を有する第１画素と、可視光帯域に感度を有するとともに、可視光帯域と赤外光帯域との境界において前記所定の値未満の感度を有する第２画素と、が２次元マトリックス状に配置されてなり、光を受光して光電変換を行うことによって第１画像データを生成する第１撮像素子と、
前記第１画素および前記第２画素のうち少なくとも一方と、赤外光帯域に感度を有する第３画素と、が２次元マトリックス状に配置されてなり、光を受光して光電変換を行うことによって第２画像データを生成する第２撮像素子と、
を備え、
前記第２撮像素子は、受光面に前記第１撮像素子が積層してなり、
前記第２撮像素子が有する前記第２画素の少なくとも一部は、前記第１撮像素子が有する前記第２画素の位置と対応する積層方向に重なる位置に配置されてなり、
前記第２撮像素子が有する前記第３画素の少なくとも一部は、前記第１撮像素子が有する前記第１画素の位置と対応する積層方向に重なる位置に配置されてなる
ことを特徴とする積層型撮像素子。
【請求項３】
前記第２撮像素子は、前記第１画素の受光面に赤外光をカットする赤外カットフィルタが設けられていることを特徴とする請求項１に記載の積層型撮像素子。
【請求項４】
前記第１撮像素子は、互いに異なる可視光帯域に感度の最大値を有する２種類の前記第２画素を有するとともに、一方の前記第２画素の数が他方の前記第２画素の数より多く、
前記第２撮像素子は、前記第１画素および前記第２画素を有し、
前記第３画素の少なくとも一部は、前記第１撮像素子における一方の前記第２画素が配置されてなる位置と対応する積層方向に重なる位置に配置されてなり、
前記第２撮像素子が有する前記第２画素の少なくとも一部は、前記第１撮像素子における一方の前記第２画素の位置と対応する積層方向に重なる位置であって、前記第３画素が配置されてない位置に配置されてなる
ことを特徴とする請求項３に記載の積層型撮像素子。
【請求項５】
前記第２撮像素子は、互いに異なる可視光帯域に感度の最大値を有する２種類の前記第２画素を有することを特徴とする請求項１に記載の積層型撮像素子。
【請求項６】
前記第１画素は、赤色の波長帯域に感度の最大値を有し、
前記第２画素は、緑色の波長帯域に感度の最大値または青色の波長帯域に感度の最大値を有することを特徴とする請求項１〜５のいずれか一つに記載の積層型撮像素子。
【請求項７】
前記第１撮像素子は、受光面に、所定の波長帯域の光をカットする光学フィルタが設けられていることを特徴とする請求項１〜６のいずれか一つに記載の積層型撮像素子。
【請求項８】
請求項１〜７のいずれか一つの前記積層型撮像素子によって生成された前記第１画像データおよび前記第２画像データの各々を取得する取得部と、
前記取得部が取得した前記第１画像データに基づいて、前記第１撮像素子における前記第１画素を補間する第１補間画像と、前記第２画素を補間する第２補間画像とを生成し、かつ、前記取得部が取得した前記第２画像データに基づいて、前記第２撮像素子における前記第１画素および前記第２画素のうち少なくとも一方を補間する第３補間画像と、前記第３画素を補間する第４補間画像とを生成する補間画像生成部と、
前記補間画像生成部が生成した前記第３補間画像と前記第４補間画像とに基づいて、前記第１補間画像および前記第２補間画像の色補正を行う色補正処理部と、
を備えたことを特徴とする画像処理装置。
【請求項９】
前記色補正処理部は、前記第１補間画像、前記第２補間画像、前記第３補間画像および前記第４補間画像に基づいて、前記第１補間画像および前記第２補間画像の色補正を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記色補正処理部は、前記第１補間画像、前記第２補間画像、前記第３補間画像および前記第４補間画像の各々の画素値をＲＧＢの色空間からＹＣｂＣｒの色空間に変換した値を用いて前記第１補間画像および前記第２補間画像の色補正を行うことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記補間画像生成部は、前記第１補間画像および前記第２補間画像の少なくとも一方に含まれるエッジ情報を抽出し、該抽出したエッジ情報に基づいて、前記第３補間画像および前記第４補間画像の少なくとも一方を生成することを特徴とする請求項８〜１０のいずれか一つに記載の画像処理装置。
【請求項１２】
前記補間画像生成部は、前記第３補間画像および前記第４補間画像の少なくとも一方に含まれるエッジ情報を抽出し、該抽出したエッジ情報に基づいて、前記第１補間画像および前記第２補間画像の少なくとも一方を生成することを特徴とする請求項８〜１０のいずれか一つに記載の画像処理装置。
【請求項１３】
請求項１〜７のいずれか一つに記載の前記積層型撮像素子によって生成された前記第１画像データおよび前記第２画像データの各々を取得する取得ステップと、
前記取得ステップにおいて取得した前記第１画像データに基づいて、前記第１撮像素子における前記第１画素を補間する第１補間画像と、前記第２画素を補間する第２補間画像とを生成し、かつ、前記取得ステップにおいて取得した前記第２画像データに基づいて、前記第２撮像素子における前記第１画素および前記第２画素のうち少なくとも一方を補間する第３補間画像と、前記第３画素を補間する第４補間画像とを生成する補間画像生成ステップと、
前記補間画像生成ステップにおいて生成した前記第３補間画像と前記第４補間画像とに基づいて、前記第１補間画像および前記第２補間画像の色補正を行う色補正処理ステップと、
を含むことを特徴とする画像処理方法。
【請求項１４】
請求項１〜７のいずれか一つに記載の前記積層型撮像素子によって生成された前記第１画像データおよび前記第２画像データの各々を取得する取得ステップと、
前記取得ステップにおいて取得した前記第１画像データに基づいて、前記第１撮像素子における前記第１画素を補間する第１補間画像と、前記第２画素を補間する第２補間画像とを生成し、かつ、前記取得ステップにおいて取得した前記第２画像データに基づいて、前記第２撮像素子における前記第１画素および前記第２画素のうち少なくとも一方を補間する第３補間画像と、前記第３画素を補間する第４補間画像とを生成する補間画像生成ステップと、
前記補間画像生成ステップにおいて生成した前記第３補間画像と前記第４補間画像とに基づいて、前記第１補間画像および前記第２補間画像の色補正を行う色補正処理ステップと、
を画像処理装置に実行させることを特徴とするプログラム。
【国際調査報告】
2017064760.tif 000032
2017064760.tif 000033