(57)【要約】【課題】アクティブ画像とパッシブ画像を合成する際に、画質の劣化を最小限に抑える。【解決手段】本開示によれば、光を照射して撮影されたアクティブ画像の輝度と光を照射せずに撮影されたパッシブ画像の輝度の相関量を算出する相関量算出部と、前記相関量に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、を備える、画像処理装置が提供される。この構成により、アクティブ画像とパッシブ画像を合成する際に、画質の劣化を最小限に抑えることができる。【選択図】図２
2018154965.tif 000002
【特許請求の範囲】
【請求項１】
被写体に所定の光を照射して撮影されたアクティブ画像の輝度と前記被写体に前記所定の光を照射せずに撮影されたパッシブ画像の輝度の相関関係に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部、
を備える、画像処理装置。
【請求項２】
前記合成部は、前記アクティブ画像の輝度と前記パッシブ画像の輝度の相関が大きい場合は小さい場合に比べて前記アクティブ画像の比率が大きくなるように前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する、請求項１に記載の画像処理装置。
【請求項３】
前記相関関係を算出する相関関係算出部を備える、請求項１に記載の画像処理装置。
【請求項４】
前記相関関係に基づいて、前記合成部が前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する際の合成比率を算出する合成比率算出部を備え、
前記相関関係算出部は、前記相関関係を画素毎に算出し、
前記合成比率算出部は、前記合成比率を画素毎に算出する、請求項３に記載の画像処理装置。
【請求項５】
前記アクティブ画像又は前記パッシブ画像におけるエッジを検出するエッジ検出部を備え、
前記合成部は、前記エッジが検出された領域において、前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する、請求項１に記載の画像処理装置。
【請求項６】
局所領域における前記アクティブ画像の輝度に対する前記パッシブ画像の輝度の比率を用いて前記アクティブ画像の輝度を補正する補正部を備える、請求項１に記載の画像処理装置。
【請求項７】
前記アクティブ画像の輝度差が少ない画素領域を前記局所領域として決定する局所領域決定部を備える、請求項６に記載の画像処理装置。
【請求項８】
前記アクティブ画像は赤外光を照射して撮影された画像であり、前記パッシブ画像は可視光画像である、請求項１に記載の画像処理装置。
【請求項９】
被写体に所定の光を照射して撮影されたアクティブ画像の輝度を、前記被写体に前記所定の光を照射せずに撮影されたパッシブ画像の輝度に基づいて補正する補正部と、
補正された前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、
を備える、画像処理装置。
【請求項１０】
前記補正部は、局所領域における前記アクティブ画像の輝度に対する前記パッシブ画像の輝度の比率を用いて前記アクティブ画像の輝度を補正する、請求項９に記載の画像処理装置。
【請求項１１】
前記アクティブ画像の輝度差が少ない画素領域を前記局所領域として決定する局所領域決定部を備える、請求項１０に記載の画像処理装置。
【請求項１２】
被写体像を撮像する撮像素子と、
被写体に所定の光を照射して前記撮像素子により撮影されたアクティブ画像の輝度と前記被写体に前記所定の光を照射せずに前記撮像素子により撮影されたパッシブ画像の輝度の相関関係に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部を有する、画像処理装置と、
を備える、撮像装置。
【請求項１３】
被写体像を撮像する撮像素子と、
被写体に所定の光を照射して前記撮像素子により撮影されたアクティブ画像の輝度を、前記被写体に前記所定の光を照射せずに前記撮像素子により撮影されたパッシブ画像の輝度に基づいて補正する補正部と、
補正された前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、を有する、画像処理装置と、
を備える、撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及び撮像装置に関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１には、被写体を撮影して可視光信号と非可視光信号を取得し、可視光輝度信号Ｙ１と非可視光輝度信号Ｙ２を合成し、合成した輝度信号Ｙ３と補正された色信号を用いてカラー画像を生成することが記載されている
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４-１３５６２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載された技術では、可視光輝度信号Ｙ１の値に応じて、可視光輝度信号Ｙ１と非可視光輝度信号Ｙ２の合成比率と、色信号の増幅度と色ノイズ除去を制御している。つまり、合成輝度信号は、照度に応じて非可視光輝度信号と可視光輝度信号を加算することで作成されている。【０００５】
合成輝度信号は、非可視光輝度信号と可視光輝度信号を加算して作成しているので、非可視光に写っているが、可視光に写っていない陰影が出現する場合がある。また逆に可視光に写っている陰影が消えて、可視光に近い自然な画像にならない場合もある。【０００６】
更には、光を照射して撮影されたアクティブ画像と光を照射せずに撮影されたパッシブ画像を合成した際に、画質に劣化が生じる問題がある。特にアクティブ画像に物体の影が生じる領域では、合成した際に画質の劣化が生じる場合がある。【０００７】
そこで、アクティブ画像とパッシブ画像を合成する際に、画質の劣化を抑制することが求められていた。
【課題を解決するための手段】
【０００８】
本開示によれば、被写体に所定の光を照射して撮影されたアクティブ画像の輝度と前記被写体に前記所定の光を照射せずに撮影されたパッシブ画像の輝度の相関関係に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部、を備える画像処理装置が提供される。【０００９】
また、本開示によれば、被写体に所定の光を照射して撮影されたアクティブ画像の輝度を、前記被写体に前記所定の光を照射せずに撮影されたパッシブ画像の輝度に基づいて補正する補正部と、補正された前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、を備える画像処理装置が提供される。【００１０】
また、本開示によれば、被写体像を撮像する撮像素子と、被写体に所定の光を照射して前記撮像素子により撮影されたアクティブ画像の輝度と前記被写体に前記所定の光を照射せずに前記撮像素子により撮影されたパッシブ画像の輝度の相関関係に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部を有する、画像処理装置と、を備える、撮像装置が提供される。【００１１】
また、本開示によれば、被写体像を撮像する撮像素子と、被写体に所定の光を照射して前記撮像素子により撮影されたアクティブ画像の輝度を、前記被写体に前記所定の光を照射せずに前記撮像素子により撮影されたパッシブ画像の輝度に基づいて補正する補正部と、補正された前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、を有する、画像処理装置と、を備える、撮像装置が提供される。
【発明の効果】
【００１２】
以上説明したように本開示によれば、アクティブ画像とパッシブ画像を合成する際に、画質の劣化を最小限に抑えることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施形態に係る画像処理装置の構成を示す模式図である。
【図２】輝度合成部の構成を示す模式図である。
【図３】合成比率算出部が合成比率を算出する際に用いる合成比率線を示す特性図である。
【図４】合成比率制御部による処理を画像のエッジの領域のみで行う場合の構成を示す模式図である。
【図５】本実施形態に係る画像処理装置で行われる処理を示す模式図である。
【図６】アクティブ画像として近赤外フラッシュ撮影画像を撮影し、パッシブ画像として可視光画像を撮影する際に、ＩＲ投光器、ＩＲセンサ、ＲＧＢセンサの構成例を示す模式図である。
【図７】アクティブ画像として近赤外フラッシュ撮影画像を撮影し、パッシブ画像として可視光画像を撮影する際に、ＩＲ投光器と単眼ＲＧＢ−ＩＲセンサの構成例を示す模式図である。
【図８】本実施形態の画像処理装置による効果を示す模式図である。
【図９】本実施形態の画像処理装置による効果を示す模式図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．画像処理装置の全体構成例
２．画像合成部の構成例
３．画像処理装置で行われる処理
４．アクティブ画像とパッシブ画像の組み合わせ
５．本実施形態の画像処理装置による効果
【００１６】
１．画像処理装置の概略構成例
まず、図１を参照して、本開示の一実施形態に係る画像処理装置の概略構成について説明する。図１は、本開示の一実施形態に係る画像処理装置１０００の構成を示す模式図である。図１に示すように、画像処理装置１０００は、アクティブ画像変換部１００、パッシブ画像変換部１１０、輝度合成部２００、色差合成部１３０、合成画像変換部１４０、を有して構成されている。
【００１７】
アクティブ画像変換部１００には、アクティブに可視光、近赤外光などの光を照射して撮影した画像（以下、アクティブ画像という）の画像信号が入力される。一方、パッシブ画像変換部１１０には、光を照射せずにパッシブに撮影した画像（以下、パッシブ画像という）が入力される。
【００１８】
アクティブ画像は、パッシブ画像に比べ明るくノイズが少ないというメリットがあり、パッシブ画像は人の見た目により近い画像であるため、アクティブ画像とパッシブ画像を合成することが一般的に行われている。本実施形態では、アクティブ画像とパッシブ画像の輝度信号を合成する際に、局所領域の信号レベル補正を行なうことで、合成の効果を損なうことなく、よりパッシブ画像に近い画像を生成する。また、アクティブ画像とパッシブ画像の局所領域の相関量に応じて合成比率を制御することで、合成画像の画質劣化を防ぐ。
【００１９】
アクティブ画像変換部１００には、アクティブ画像の画像信号として、ＲＧＢ信号（色信号）又はＹ信号（輝度信号）が入力される。アクティブ画像変換部１００は、ＲＧＢ信号が入力された場合、ＲＧＢ信号をＹＵＶ信号に変換する処理を行い、アクティブ画像の輝度信号（Ｙ信号（Ｙ＿ａ））を分離して輝度合成部２００へ出力する。なお、アクティブ画像に色信号が無い場合は、アクティブ画像変換部１００の処理は不要であり、アクティブ画像の輝度信号（Ｙ信号（Ｙ＿ａ））が輝度合成部２００へ入力される。
【００２０】
パッシブ画像変換部１１０には、パッシブ画像の画像信号として、ＲＧＢ信号（色信号）又はＹ信号（輝度信号）が入力される。パッシブ画像変換部１００は、ＲＧＢ信号が入力された場合、ＲＧＢ信号をＹＵＶ信号に変換する処理を行い、パッシブ画像の輝度信号（Ｙ信号（Ｙ＿ｐ））を分離して輝度合成部２００へ出力する。なお、パッシブ画像に色信号が無い場合は、パッシブ画像変換部１１０の処理は不要であり、パッシブ画像の輝度信号（Ｙ信号（Ｙ＿ｐ））が輝度合成部２００へ入力される。
【００２１】
輝度合成部２００は、アクティブ画像のＹ信号（Ｙ＿ａ）とパッシブ画像のＹ信号（Ｙ＿ｐ）を合成する処理を行う。これにより、合成により得られたＹ信号（Ｙ＿ｐ’）が輝度合成部２００から出力される。
【００２２】
また、パッシブ画像変換部１１０は、輝度信号（Ｙ信号（Ｙ＿ｐ））が分離された残りの信号（ＵＶ信号（Ｃ＿ｐ））を色差合成部１３０へ出力する。
【００２３】
色差合成部１３０は、合成により得られたＹ信号（Ｙ＿ｐ’）に基づいて、色差の合成を行い、色信号（Ｃ＿ｐ’）を出力する。例えば、色差合成部１３０は、Ｙ信号（Ｙ＿ｐ’）に基づいて、色信号の補正を行い、振幅増幅、色ノイズ除去などの処理を行う。なお、パッシブ画像に色信号が無い場合は、色差合成部１３０の処理は不要である。
【００２４】
合成画像変換部１４０には、Ｙ信号（Ｙ＿ｐ’）と色信号（Ｃ＿ｐ’）が入力される。合成画像変換部１４０は、Ｙ信号（Ｙ＿ｐ’）と色信号（Ｃ＿ｐ’）をＲＧＢ信号に変換する。なお、ＹＵＶ信号のまま出力する場合や、パッシブ画像に色信号が無い場合は、合成画像変換部１４０による処理は不要である。
【００２５】
２．画像合成部の構成例
図２は、輝度合成部２００の構成を示す模式図である。図２に示すように、輝度合成部２００は、局所領域決定部２２２、アクティブ画像の局所領域内平均値算出部２２４、パッシブ画像の局所領域内平均値算出部２２６、比率算出部２２８、ゲイン補正部２３０、ローパスフィルタ（ＬＰＦ）２３２、ローパスフィルタ（ＬＰＦ）２３４、相関量算出部（相関関係算出部）２３６、合成比率算出部２３８、ノイズ除去部２３９、合成部２４０を有して構成されている。
【００２６】
輝度合成部２００は、その機能に基づいて、信号レベル補正部２０２と合成比率制御部２０４に分けることができる。図２に示すように、局所領域決定部２２２、アクティブ画像の局所領域内平均値算出部２２４、パッシブ画像の局所領域内平均値算出部２２６、比率算出部２２８、ゲイン補正部２３０は、信号レベル補正部２０２に含まれる。また、ローパスフィルタ（ＬＰＦ）２３２、ローパスフィルタ（ＬＰＦ）２３４、相関量算出部２３６、合成比率算出部２３８、ノイズ除去部２３９、合成部２４０は、合成比率制御部２０４に含まれる。
【００２７】
局所領域決定部２２２は、アクティブ画像に基づいて局所領域を決定する。局所領域決定部２２２は、以下の式（１）に示すバイラテラルフィルタのフィルタ係数により、局所領域を決定する。式（１）において、ｆ（ｉ，ｊ）はアクティブ画像の輝度値、ｉ，ｊは画素の位置、ｗはフィルタサイズ、σ１は距離に関するパラメータ、σ２は距離差に関するパラメータである。なお、式（１）に示すバイラテラルフィルタは、文献（C. Tomasi and R. Manduchi, “Bilateral Filtering for Gray and Color
Images, ” in Proc. IEEE International Conference on Computer Vision (ICCV),
1998.）にも記載されている。
【００２８】
【数１】
2018154965.tif 000003
【００２９】
局所領域の決定の原理は、以下の通りである。局所領域決定部２２２は、例えば、５×５の画素領域に注目し、画素領域の中心に位置する画素（注目画素）の輝度値と、画素領域の他の画素の輝度値を比較する。注目画素の輝度値に近い画素の重みは「１」となり、注目画素との輝度差が大きい画素の重みは「０」となり、重みが「１」となった画素を結合した領域が局所領域として決定される。これにより、注目画素と輝度値の近い領域が局所領域として決定されるため、後段の局所領域内平均値算出部２２４，２２６が局所領域内で輝度値を平均した際に、画像の特徴が近い領域で輝度値を平均することができるため、適正な平均値を算出することができる。一方、注目画素に対して輝度差の大きい画素を含む領域で輝度値を平均すると、画像の特徴が混ざってしまい、その領域で適正な平均値を得ることができない。なお、実際には、上記式（１）を計算すると、０か１の２値ではない連続した値が得られ、この連続した値に基づいて局所領域が求まる。
【００３０】
アクティブ画像の局所領域内平均値算出部２２４は、局所領域決定部２２２が決定した局所領域において、局所領域内の画素の輝度値を平均することで、アクティブ画像の輝度値の平均値Ａを算出する。パッシブ画像の局所領域内平均値算出部２２６は、局所領域決定部２２２が決定した局所領域において、パッシブ画像の輝度値の平均値Ｐを算出する。このように、アクティブ画像の輝度値の平均値Ａとパッシブ画像の輝度値の平均値Ｐは、同じ局所領域においてそれぞれ算出される。
【００３１】
比率算出部２２８は、平均値Ａに対する平均値Ｐの比率（ゲイン＝Ｐ／Ａ）を算出する。ゲイン補正部２３０は、アクティブ画像の輝度信号（Ｙ＿ａ）にゲイン（＝Ｐ／Ａ）を乗算し、アクティブ画像の輝度信号を正しい信号レベルに補正する。この際、ゲイン補正部２３０は、アクティブ画像の全画素の輝度信号（Ｙ＿ａ）にゲイン（＝Ｐ／Ａ）をそれぞれ乗算することで、アクティブ画像の輝度信号（Ｙ＿ａ）を補正する。
【００３２】
以上のように、信号レベル補正部２０２は、アクティブ画像の輝度に対するパッシブ画像の輝度の比率（ゲイン）をアクティブ画像の輝度値に乗算することで、アクティブ画像の信号レベルを補正し、アクティブ画像の輝度値をパッシブ画像の輝度値に合わせる処理を行う。これにより、アクティブ画像の輝度がパッシブ画像の輝度に変換されるため、アクティブ画像をよりパッシブ画像に近づけることができ、ユーザはアクティブ画像を違和感なく視認することができる。
【００３３】
次に、合成比率制御部２０４の処理について説明する。アクティブ画像の輝度信号（Ｙ＿ａ）は、ローパスフィルタ（ＬＰＦ）２３２により高周波成分が除去される。また、パッシブ画像のＹ信号（Ｙ＿ｐ）は、ローパスフィルタ（ＬＰＦ）２３４により高周波成分が除去される。これにより、アクティブ画像の輝度信号（Ｙ＿ａ）とパッシブ画像のＹ信号（Ｙ＿ｐ）の周波数帯域が揃えられる。
【００３４】
ローパスフィルタ２３２，２３４は、例えば以下のような５×５のガウシアンフィルタのフィルタカーネルから構成される。ローパスフィルタ２３２，２３４は、後述する相関量のノイズによる変動を抑制するために用いられるが、信号の状況に応じて用いなくても良い。例えば、アクティブ画像の輝度信号（Ｙ＿ａ）とパッシブ画像の輝度信号（Ｙ＿ｐ）にノイズが少ない場合は、ローパスフィルタ１３２，１３４による処理を行わなくても良い。また、アクティブ画像の輝度信号（Ｙ＿ａ）とパッシブ画像の輝度信号（Ｙ＿ｐ）の周波数帯域が予め揃っている場合なども、ローパスフィルタ１３２，１３４による処理を行わなくても良い。
【００３５】
【数２】
2018154965.tif 000004
【００３６】
相関量算出部２３６は、高周波成分が除去されたアクティブ画像の輝度信号（Ｙ＿ａ）とパッシブ画像の輝度信号（Ｙ＿ｐ）からアクティブ画像とパッシブ画像の相関量（相関関係）を算出する。ローパスフィルタ１３２，１３４によりアクティブ画像の輝度信号（Ｙ＿ａ）とパッシブ画像の輝度信号（Ｙ＿ｐ）の周波数帯域を揃えたことにより、相関量を精度良く算出することが可能である。
【００３７】
相関量を算出する方法の一例として、ゼロ平均正規化相互相関（ＺＮＣＣ）を用いることができる。相関量ＺＮＣＣは、アクティブ画像の輝度値Ａ、パッシブ画像の輝度値Ｐ、アクティブ画像の局所領域の輝度平均値Ａ’、パッシブ画像の局所領域の輝度平均値Ｐ’を用いて、以下の式（２）で表すことができる。相関量は画素毎に算出されるが、ロバスト性を高めるため、相関量を算出する画素の周囲の局所領域（例えば、７×７正方領域など）を考慮して算出される。なお、ここで用いる局所領域は、局所領域決定部２２２が決定する局所領域とは異なり、相関量を求める画素毎に当該画素の周囲に設定される。
ＺＮＣＣ＝（Σ（Ａ−Ａ’）（Ｐ−Ｐ’））／√（ΣΣ（Ａ−Ａ’）２（Ｐ−Ｐ’）２）
・・・（２）
【００３８】
ノイズ除去部２３９は、パッシブ画像のＹ信号（Ｙ＿ｐ）のノイズを除去する。パッシブ画像は一般的に暗く、ノイズが多いため、ノイズ除去部２３９によりノイズを除去する。合成部２４０は、ゲイン補正部２３０により補正されたアクティブ画像の輝度信号（Ｙ＿ａ）とノイズ除去部２３９によりノイズが除去されたパッシブ画像のＹ信号（Ｙ＿ｐ）とを合成し、合成輝度信号（Ｙ＿ｐ’）を算出する。
【００３９】
合成比率算出部２３８は、相関量算出部２３６が算出した相関量に基づいて、合成部２４０が合成を行う際の合成比率を算出する。図３は、合成比率算出部２３８が合成比率を算出する際に用いる合成比率線を示す特性図である。図３において、横軸は相関量を、縦軸は合成比率を示している。図３に示すように、相関量が大きくなる程、合成比率は大きくなる。このように、合成比率算出部２３８は、事前に設定した合成比率線に従い、アクティブ画像とパッシブ画像の相関量に基づいて合成比率を算出する。
【００４０】
図３では、相関量と合成比率の関係が線形の場合を示しているが、合成比率線は曲線であっても良く、相関量の増加に伴って合成比率が指数関数的に増加しても良い。また、相関量の増加に伴って合成比率がステップ状（階段状）に増加しても良い。
【００４１】
合成比率は、合成部２４０における合成の比率を示しており、ゲイン補正されたアクティブ画像とノイズ除去が行われたパッシブ画像の比率を示している。合成比率が大きくなる程、ゲイン補正されたアクティブ画像の比率が大きくなり、パッシブ画像の比率が小さくなる。また、合成比率が小さくなる程、パッシブ画像の比率が大きくなり、ゲイン補正された画像の比率が小さくなる。
【００４２】
相関量が画素毎に算出されるため、合成比率も画素毎に算出される。合成部２４０は、画素毎に算出された合成比率に基づいて、ゲイン補正されたアクティブ画像の輝度とノイズ除去されたパッシブ画像の輝度を画素毎に合成する。
【００４３】
以上のように、合成比率制御部２０４は、アクティブ画像とパッシブ画像の相関量に基づいて合成比率を算出する。この際、相関量が大きいほどアクティブ画像の劣化が小さいため、ゲイン補正されたアクティブ画像の比率が大きくなるように合成部２４０における合成が行われる。また、相関量が小さいほど、アクティブ画像の劣化が大きいため、ゲイン補正されたアクティブ画像の比率が小さくなるように合成部２４０における合成が行われる。
【００４４】
ゲイン補正部２３０によりゲイン補正されたアクティブ画像は、パッシブ画像と同様の輝度を有し、パッシブ画像として視認することができる。一方、ゲイン補正されたアクティブ画像中には、画質劣化が含まれている可能性がある。本実施形態では、アクティブ画像とパッシブ画像の相関量が小さい場合は、ゲイン補正されたアクティブ画像に劣化が生じているとして、パッシブ画像の比率を高めて合成を行うため、アクティブ画像中の画質劣化を確実に抑えることが可能である。
【００４５】
画質劣化は特に画像のエッジ部に生じ易いため、合成比率制御部２０４による処理は画像のエッジの領域のみで行っても良い。図４は、合成比率制御部２０４による処理を画像のエッジの領域のみで行う場合の構成を示す模式図である。図４に示すように、図２の構成に対してエッジ検出部２４２，２４４が追加されている。
【００４６】
エッジ検出部２４２は、アクティブ画像の輝度信号（Ｙ＿ａ）に基づいてエッジの領域を判定する。また、エッジ検出部２４４は、パッシブ画像の輝度信号（Ｙ＿ａ）に基づいてエッジの領域を検出する。注目領域において、エッジ検出部２４２とエッジ検出部２４４のいずれからもエッジが検出された画素では、その旨の情報が合成比率算出部２３８に送られる。合成比率算出部２３８は、エッジ検出部２４２とエッジ検出部２４４のいずれからもエッジが検出された画素について、相関量に基づいて合成比率を算出し、合成部２４０へ送る。これにより、エッジ検出部２４２とエッジ検出部２４４のいずれからもエッジが検出された画素についてのみ、合成部２４０による合成処理が行われる。一方、エッジ検出部２４２とエッジ検出部２４４の少なくともいずれか一方又は双方でエッジが検出されなかった画素については、画像劣化が少ないと判断し、合成部２４０による合成を行わず、ゲイン補正部２３０からの出力を合成部２４０の出力としても良い。
【００４７】
３．画像処理装置で行われる処理
図５は、本実施形態に係る画像処理装置１０００で行われる処理を示す模式図である。処理が開始されると、ステップＳ１０，Ｓ１２の処理とステップＳ１４，Ｓ１６の処理が並行して行われる。ステップＳ１０ではアクティブ撮影が行われ、アクティブ画像の画像信号が取得される。次のステップＳ１２では、アクティブ画像変換部１００により、アクティブ画像のＲＧＢ信号をＹＵＶ信号に変換する処理が行われる。
【００４８】
また、ステップＳ１４では、パッシブ撮影が行われ、パッシブ画像の画像信号が取得される。次のステップＳ１６では、パッシブ画像変換部１１０により、パッシブ画像のＲＧＢ信号をＹＵＶ信号に変換する処理が行われる。
【００４９】
ステップＳ１２，Ｓ１６の後はステップＳ１８へ進む。ステップＳ１８では、輝度合成部２００による輝度合成が行われる。ステップＳ２０では、色差合成部１３０による色差合成が行われる。
【００５０】
次のステップＳ２２では、合成画像変換部１４０により輝度信号（Ｙ＿ｐ’）と色信号（Ｃ＿ｐ’）をＲＧＢ信号に変換する処理が行われる。ステップＳ２２の後は処理を終了する。
【００５１】
４．アクティブ画像とパッシブ画像の組み合わせ
次に、アクティブ画像とパッシブ画像の組み合わせについて説明する。アクティブ画像の例としては、近赤外光を照射して撮影した近赤外フラッシュ撮影画像と、可視光を照射して撮影した可視光フラッシュ撮像画像が挙げられる。パッシブ画像としては、可視光画像と、遠赤外画像が挙げられる。この場合、アクティブ画像とパッシブ画像の組み合わせとしては、以下の３通りの組み合わせを用いることができる。
（１）アクティブ画像を近赤外フラッシュ撮影画像としパッシブ画像を可視光画像とする
（２）アクティブ画像を近赤外フラッシュ撮影画像としパッシブ画像を遠赤外画像とする
（３）アクティブ画像を可視光フラッシュ撮影画像とし、パッシブ画像を可視光画像とする
【００５２】
図６は、アクティブ画像として近赤外フラッシュ撮影画像を撮影し、パッシブ画像として可視光画像を撮影する際に、ＩＲ投光器３００、ＩＲセンサ４００、ＲＧＢセンサ５００の構成例を示す模式図である。図５に示す例では、ＩＲセンサ４００とＲＧＢセンサ５００は別々のセンサとして構成されている。アクティブ画像を撮影する際には、ＩＲ投光器３００から被写体に向けて赤外光が投降される。このため、ＲＧＢセンサ５００には赤外光をカットするＩＲカットフィルタ５０２が設けられている。
【００５３】
アクティブ画像（ＩＲ画像）は、ＩＲセンサ４００の信号をデモザイクすることで取得される。また、パッシブ画像（可視光画像）は、ＲＧＢセンサ５００の信号をデモザイクすることで取得される。ＩＲセンサ４００とＲＧＢセンサ５００は別々に構成されるため、アクティブ画像とパッシブ画像を取得した後、アクティブ画像とパッシブ画像の位置合わせを行ない、アクティブ画像とパッシブ画像の対応付けを行う。
【００５４】
また、図７は、アクティブ画像として近赤外フラッシュ撮影画像を撮影し、パッシブ画像として可視光画像を撮影する際に、ＩＲ投光器３００と単眼ＲＧＢ−ＩＲセンサ６００の構成例を示す模式図である。図７に示す例では、図６に示すＩＲセンサ４００とＲＧＢセンサ５００が一体とされ、単眼ＲＧＢ−ＩＲセンサ６００として構成されている。このため、単眼ＲＧＢ−ＩＲセンサ６００は、赤色を検出するＲ画素、緑色を検出するＧ画素、青色を検出するＢ画素、赤外光を検出するＩＲ画素を有する。なお、図６に示したＩＲセンサ４００、ＲＧＢセンサ５００、図７に示した単眼ＲＧＢ−ＩＲセンサ６００は撮像装置の一例である。
【００５５】
アクティブ画像を撮影する際には、ＩＲ投光器３００から被写体に向けて赤外光が投光される。単眼ＲＧＢ−ＩＲセンサ６００のＲ画素、Ｇ画素、Ｂ画素には赤外光をカットするＩＲカットフィルタ６０２が設けられている。従って、Ｒ画素、Ｇ画素、Ｂ画素は赤外光を検出せずに可視光を検出する。一方、ＩＲ画素は赤外光を検出する。
【００５６】
アクティブ画像（ＩＲ画像）は、ＩＲ画素の信号をデモザイクすることで取得される。また、パッシブ画像（可視光画像）は、Ｒ画素、Ｇ画素、Ｂ画素の可視光画素をデモザイクすることで取得される。なお、可視光画素（Ｒ画素、Ｇ画素、Ｂ画素）の位置での赤外光に対応する信号は、ＩＲ画素の信号を補間することで求めることができる。同様に、ＩＲ画素の位置での可視光に対応する信号は、Ｒ画素、Ｇ画素、Ｂ画素の可視光画素を補間して求めることができる。図７の構成例では、ＩＲ画素と可視光画素が１つのセンサに設けられるため、図６の構成のような位置合わせは不要である。
【００５７】
５．本実施形態の画像処理装置による効果
図８は、本実施形態の画像処理装置１０００による効果を示す模式図であって、特に信号レベル補正部２０２の処理による効果を示している。本実施形態によれば、アクティブ画像とパッシブ画像の合成時に、パッシブ画像に写っていない陰影が出現したり消失したりすることがなく、よりパッシブ画像に近い（人の見た目に近い）画像を生成することができる。図８では、上段に画像処理装置１０００に入力されるアクティブ画像（近赤外フラッシュ画像）とパッシブ画像（可視光画像）を示している。また、図８の下段には、上段のアクティブ画像とパッシブ画像を合成して得られる合成画像を示しており、左側に従来技術による合成画像（比較例）を示し、右側に本実施形態の画像処理装置１０００による合成画像を示している。
【００５８】
図８の上段のパッシブ画像では、人物の左側に陰影があり（領域Ａ１）、人物の右側には陰影が無い（領域Ａ２）。一方、図７の上段のアクティブ画像では、人物の左側に陰影が無く、人物の右側に陰影がある。ここで、パッシブ画像の方が人の見た目に近い画像となる。
【００５９】
比較例の合成画像では、アクティブ画像と同様に、人物の左側に陰影が無く（領域Ａ３）、人物の右側に陰影がある（領域Ａ４）。従って、比較例の合成画像は、パッシブ画像と異なり、人の見た目からも異なる画像となっている。一方、本実施形態による合成画像では、信号レベル補正部２０２により輝度信号のレベルを補正したことにより、パッシブ画像と同様に、人物の左側に陰影があり（領域Ａ５）、人物の右側には陰影が無い画像となっている（領域Ａ６）。従って、本実施形態によれば、合成した画像をより人の見た目に近い画像とすることができる。
【００６０】
また、図９は、本実施形態の画像処理装置１０００による効果を示す模式図であって、特に合成比率制御部２０４の処理による効果を示している。図９では、上段に画像処理装置１０００に入力されるアクティブ画像（近赤外フラッシュ画像）とパッシブ画像（可視光画像）を示している。また、図９の下段には、上段のアクティブ画像とパッシブ画像を合成して得られる合成画像を示しており、左側に従来技術による合成画像（比較例）を示し、右側に本実施形態の画像処理装置１０００による合成画像を示している。
【００６１】
図９のアクティブ画像では、右下の花の後ろに黒い影が映っている（領域Ａ７）。一方、図９のパッシブ画像では、右下の花の後ろには殆ど影が生じていない（領域Ａ８）。ここで、パッシブ画像の方が人の見た目に近い画像となる。
【００６２】
図９の下段に示す比較例の合成画像と本実施形態の合成画像では、右下の花の後ろには殆ど影が生じておらず、パッシブ画像と同様、人の見た目に近い画像となっている。しかし、比較例の合成画像では、アクティブ画像で黒い影が映っている位置に、筋状の画質摘花が生じている（領域Ａ９）。
【００６３】
一方、本実施形態では、上述した合成比率制御部２０４の処理により、アクティブ画像とパッシブ画像の相関量が低い領域では、ノイズ除去後のパッシブ画像の合成比率が高くなる。アクティブ画像で黒い影が映っている領域は、パッシブ画像では殆ど影が生じておらず、アクティブ画像とパッシブ画像の相関量が低い領域となっている。このため、合成部２４０における合成処理において、パッシブ画像の合成比率が高くなり、結果として、図９に示す本実施形態の合成画像では、筋状の画質劣化は生じていない（領域Ａ１０）。従って、本実施形態によれば、アクティブ画像とパッシブ画像を合成する際に生じる画質劣化を最小限に抑えることができる。
【００６４】
以上説明したように本実施形態によれば、アクティブ画像とパッシブ画像の輝度信号を合成する際に、局所領域の信号レベル補正を行なうことで、ノイズ低減の効果を損なうことなく、パッシブ画像に近い（人の見た目に近い）画像を合成することができる。また、アクティブ画像とパッシブ画像の局所領域の相関量に応じて合成比率を制御することで、特にアクティブ画像の影の境界付近における合成画像の画質劣化を防ぐことができる。
【００６５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６６】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００６７】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）  被写体に光を照射して撮影されたアクティブ画像の輝度と前記被写体に光を照射せずに撮影されたパッシブ画像の輝度の相関関係に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部、
を備える、画像処理装置。
（２）  前記合成部は、前記アクティブ画像の輝度と前記パッシブ画像の輝度の相関が大きい場合は小さい場合に比べて前記アクティブ画像の比率が大きくなるように前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する、前記（１）に記載の画像処理装置。
（３）  前記相関関係を算出する相関関係算出部を備える、前記（１）又は（２）に記載の画像処理装置。
（４）  前記相関関係に基づいて、前記合成部が前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する際の合成比率を算出する合成比率算出部を備え、前記相関関係算出部は、前記相関関係を画素毎に算出し、前記合成比率算出部は、前記合成比率を画素毎に算出する、前記（３）に記載の画像処理装置。
（５）  前記アクティブ画像又は前記パッシブ画像におけるエッジを検出するエッジ検出部を備え、
前記合成部は、前記エッジが検出された領域において、前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する、前記（１）〜（４）のいずれかに記載の画像処理装置。
（６）  局所領域における前記アクティブ画像の輝度に対する前記パッシブ画像の輝度の比率を用いて前記アクティブ画像の輝度を補正する補正部を備える、前記（１）〜（５）のいずれかに記載の画像処理装置。
（７）  前記アクティブ画像の輝度差が少ない画素領域を前記局所領域として決定する局所領域決定部を備える、前記（６）に記載の画像処理装置。
（８）  前記アクティブ画像は赤外光を照射して撮影された画像であり、前記パッシブ画像を可視光画像である、前記（１）〜（７）のいずれかに記載の画像処理装置。
（９）  被写体に所定の光を照射して撮影されたアクティブ画像の輝度を、前記被写体に前記所定の光を照射せずに撮影されたパッシブ画像の輝度に基づいて補正する補正部と、
補正された前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、
を備える、画像処理装置。
（１０）  前記補正部は、局所領域における前記アクティブ画像の輝度に対する前記パッシブ画像の輝度の比率を用いて前記アクティブ画像の輝度を補正する、前記（９）に記載の画像処理装置。
（１１）  前記アクティブ画像の輝度差が少ない画素領域を前記局所領域として決定する局所領域決定部を備える、前記（１０）に記載の画像処理装置。
（１２）  被写体像を撮像する撮像素子と、
被写体に所定の光を照射して前記撮像素子により撮影されたアクティブ画像の輝度と前記被写体に前記所定の光を照射せずに前記撮像素子により撮影されたパッシブ画像の輝度の相関関係に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部を有する、画像処理装置と、
を備える、撮像装置。
（１３）  被写体像を撮像する撮像素子と、
被写体に所定の光を照射して前記撮像素子により撮影されたアクティブ画像の輝度を、前記被写体に前記所定の光を照射せずに前記撮像素子により撮影されたパッシブ画像の輝度に基づいて補正する補正部と、
補正された前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、を有する、画像処理装置と、
を備える、撮像装置。
【符号の説明】
【００６８】
２２２    局所領域決定部
２３０    ゲイン補正部
２３６    相関量算出部
２３８    合成比率算出部
２４０    合成部
２４２，２４４    エッジ検出部
４００    ＩＲセンサ
５００    ＲＧＢセンサ
６００    単眼ＲＧＢ−ＩＲセンサ
【図１】
2018154965.tif 000005
【図２】
2018154965.tif 000006
【図３】
2018154965.tif 000007
【図４】
2018154965.tif 000008
【図５】
2018154965.tif 000009
【図６】
2018154965.tif 000010
【図７】
2018154965.tif 000011
【図８】
2018154965.tif 000012
【図９】
2018154965.tif 000013
【手続補正書】
【提出日】平成30年3月29日(2018.3.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体に所定の光を照射して撮影されたアクティブ画像の輝度と前記被写体に前記所定の光を照射せずに撮影されたパッシブ画像の輝度の相関関係に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部を備え、
前記合成部は、前記アクティブ画像の輝度と前記パッシブ画像の輝度の相関が大きい場合は小さい場合に比べて前記アクティブ画像の比率が大きくなるように前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する、画像処理装置。
【請求項２】
（削除）
【請求項３】
前記相関関係を算出する相関関係算出部を備える、請求項１に記載の画像処理装置。
【請求項４】
前記相関関係に基づいて、前記合成部が前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する際の合成比率を算出する合成比率算出部を備え、
前記相関関係算出部は、前記相関関係を画素毎に算出し、
前記合成比率算出部は、前記合成比率を画素毎に算出する、請求項３に記載の画像処理装置。
【請求項５】
前記アクティブ画像又は前記パッシブ画像におけるエッジを検出するエッジ検出部を備え、
前記合成部は、前記エッジが検出された領域において、前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する、請求項１に記載の画像処理装置。
【請求項６】
局所領域における前記アクティブ画像の輝度に対する前記パッシブ画像の輝度の比率を用いて前記アクティブ画像の輝度を補正する補正部を備える、請求項１に記載の画像処理装置。
【請求項７】
前記アクティブ画像の輝度差が少ない画素領域を前記局所領域として決定する局所領域決定部を備える、請求項６に記載の画像処理装置。
【請求項８】
前記アクティブ画像は赤外光を照射して撮影された画像であり、前記パッシブ画像は可視光画像である、請求項１に記載の画像処理装置。
【請求項９】
被写体に所定の光を照射して撮影されたアクティブ画像の輝度を、前記被写体に前記所定の光を照射せずに撮影されたパッシブ画像の輝度に基づいて補正する補正部と、
補正された前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、
を備える、画像処理装置。
【請求項１０】
前記補正部は、局所領域における前記アクティブ画像の輝度に対する前記パッシブ画像の輝度の比率を用いて前記アクティブ画像の輝度を補正する、請求項９に記載の画像処理装置。
【請求項１１】
前記アクティブ画像の輝度差が少ない画素領域を前記局所領域として決定する局所領域決定部を備える、請求項１０に記載の画像処理装置。
【請求項１２】
被写体像を撮像する撮像素子と、
被写体に所定の光を照射して前記撮像素子により撮影されたアクティブ画像の輝度と前記被写体に前記所定の光を照射せずに前記撮像素子により撮影されたパッシブ画像の輝度の相関関係に基づいて前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部を有し、前記合成部は、前記アクティブ画像の輝度と前記パッシブ画像の輝度の相関が大きい場合は小さい場合に比べて前記アクティブ画像の比率が大きくなるように前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する、画像処理装置と、
を備える、撮像装置。
【請求項１３】
被写体像を撮像する撮像素子と、
被写体に所定の光を照射して前記撮像素子により撮影されたアクティブ画像の輝度を、前記被写体に前記所定の光を照射せずに前記撮像素子により撮影されたパッシブ画像の輝度に基づいて補正する補正部と、補正された前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する合成部と、を有し、前記合成部は、前記アクティブ画像の輝度と前記パッシブ画像の輝度の相関が大きい場合は小さい場合に比べて前記アクティブ画像の比率が大きくなるように前記アクティブ画像の輝度と前記パッシブ画像の輝度を合成する、画像処理装置と、
を備える、撮像装置。
【国際調査報告】
2018154965.tif 000014
2018154965.tif 000015
2018154965.tif 000016