(57)【要約】分光ユニットが入射光を可視光信号及び非可視光信号に分光し、可視光信号結像ユニットが分光ユニットにより分光された可視光信号に基づいて感光・結像を行うことによって、第１の可視光画像を形成し、非可視光信号結像ユニットが分光ユニットにより分光された非可視光信号に基づいて感光・結像を行うことによって、第１の非可視光画像を形成し、位置合わせユニットが前記第１の可視光画像及び前記第１の非可視光画像を位置合わせて、目標可視光画像及び第２の非可視光画像を取得し、前処理合成ユニットが第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得し、融合ユニットが目標可視光画像及び目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得する、分光・融合する画像収集装置である。本案によって、融合後の画像の色精度を効果的に確保することができる。  【選択図】図４
2019530940.tif 000002
【特許請求の範囲】
【請求項１】
入射光を可視光信号及び非可視光信号に分光するための分光ユニットと、
前記分光ユニットにより分光された可視光信号に基づいて感光・結像を行うことによって、第１の可視光画像を形成するための可視光信号結像ユニットと、
前記分光ユニットにより分光された非可視光信号に基づいて感光・結像を行うことによって、第１の非可視光画像を形成するための非可視光信号結像ユニットと、
前記第１の可視光画像及び前記第１の非可視光画像を位置合わせて、目標可視光画像及び第２の非可視光画像を取得するための位置合わせユニットと、
前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得するための前処理合成ユニットと、
前記目標可視光画像及び前記目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得するための融合ユニットと、を備える
ことを特徴とする分光・融合する画像収集装置。
【請求項２】
前記前処理合成ユニットは、具体的に、前記目標可視光画像に基づき、前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得するためのものである
ことを特徴とする請求項１に記載の画像収集装置。
【請求項３】
前記前処理合成ユニットは、具体的に、
前記目標可視光画像に対して色空間変換を行うことによって、前記目標可視光画像の輝度成分を取得し、
前記輝度成分の第１の平均値及び第１の分散、並びに前記第２の非可視光画像の輝度成分の第２の平均値及び第２の分散をそれぞれ計算し、
前記第１の平均値と、前記第１の分散と、前記第２の平均値と、前記第２の分散とに基づき、前記第２の非可視光画像の輝度成分に対してグローバルマッピング処理を行い、
プリセットしたｓｏｂｅｌエッジ検出演算子を利用して前記目標可視光画像及び前記第２の非可視光画像に対してそれぞれ畳み込みを行うことによって、前記目標可視光画像に対応する第１のテクスチャ画像及び前記第２の非可視光画像に対応する第２のテクスチャ画像を取得し、
グローバルマッピング処理によって取得された輝度成分と、前記目標可視光画像の輝度成分と、前記第１のテクスチャ画像と、前記第２のテクスチャ画像とを利用して、前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を決定するためのものである
ことを特徴とする請求項２に記載の画像収集装置。
【請求項４】
前記前処理合成ユニットが前記第２の非可視光画像の輝度成分に対してグローバルマッピング処理を行うときに利用した公式は
【数２４】
2019530940.tif 000026
であり、
そのうち、ｙN’はグローバルマッピング処理によって取得された輝度成分を示し、ｙNは前記第２の非可視光画像の輝度成分を示し、μDは前記第１の平均値を示し、
2019530940.tif 000027
は前記第２の平均値を示し、σDは前記第１の分散を示し、σNは前記第２の分散を示し、
前記前処理合成ユニットが利用した前記プリセットしたｓｏｂｅｌエッジ検出演算子は
【数２５】
2019530940.tif 000028
であり、
前記前処理合成ユニットが前記第２の非可視光画像に対して輝度調整を行うときに利用した公式は
【数２６】
2019530940.tif 000029
であり、
そのうち、ｙAPは目標非可視光画像を示し、ｙN’はグローバルマッピング処理によって取得された輝度成分を示し、ｙDは前記目標可視光画像の輝度成分を示し、ｔNは前記第２のテクスチャ画像を示し、ｔDは前記第１のテクスチャ画像を示す
ことを特徴とする請求項３に記載の画像収集装置。
【請求項５】
前記融合ユニットは、具体的に、
前記目標可視光画像及び前記目標非可視光画像に対して、対応する第１の種類の重み値に基づいて重み付け処理を行うことによって、融合後の画像を取得するためのものである
ことを特徴とする請求項１〜４のいずれか１項に記載の画像収集装置。
【請求項６】
前記融合ユニットは、具体的に、
前記目標可視光画像及び前記目標非可視光画像に対して分周融合を行うことによって、融合後の画像を取得するためのものである
ことを特徴とする請求項１〜４のいずれか１項に記載の画像収集装置。
【請求項７】
前記融合ユニットが前記目標可視光画像及び前記目標非可視光画像に対して分周融合を行うことは、
前記目標可視光画像に対して色空間変換を行うことによって、前記目標可視光画像の輝度成分及び色成分を取得することと、
前記輝度成分をローパスフィルタリングすることによって、前記目標可視光画像の低周波情報を取得することと、
前記目標非可視光画像をハイパスフィルタリングすることによって、前記目標非可視光画像の高周波情報を取得することと、
前記低周波情報及び前記高周波情報に対して、対応する第２の種類の重み値に基づいて重み付け処理を行うことによって、形成予定の融合後の画像に対応する輝度成分を取得することと、
前記形成予定の融合後の画像に対応する輝度成分及び前記目標可視光画像の色成分を結合して、融合後の画像を取得することと、を含む
ことを特徴とする請求項６に記載の画像収集装置。
【請求項８】
前記融合ユニットが前記低周波情報及び前記高周波情報に対して、対応する第２の種類の重み値に基づいて重み付け処理を行うときに利用した公式は
【数２７】
2019530940.tif 000030
であり、
ｙFusは形成予定の融合後の画像に対応する輝度成分を示し、ｙAPは前記目標非可視光画像を示し、ylowは前記低周波情報を示し、yhighは前記高周波情報を示し、ｗは前記低周波情報に対応する第２の種類の重み値を示し、Kは前記高周波情報に対応する第２の種類の重み値を示す
ことを特徴とする請求項７に記載の画像収集装置。
【請求項９】
ｗは前記目標非可視光画像及び目標可視光画像の輝度成分の輝度差によって決定され、そのうち、
【数２８】
2019530940.tif 000031
そのうち、ｙAPは前記目標非可視光画像を示し、ｙDは前記目標可視光画像の輝度成分を示し、abs（ｙAP−ｙD）は（ｙAP−ｙD）の絶対値を示し、max（abs（ｙAP−ｙD））はabs（ｙAP−ｙD）の最大値を示す
ことを特徴とする請求項８に記載の画像収集装置。
【請求項１０】
前記可視光信号結像ユニットと前記非可視光信号結像ユニットとは９０°をなすように置かれ、前記分光ユニットは反射面と入射光とが４５°をなす
ことを特徴とする請求項１〜４のいずれか１項に記載の画像収集装置。
【請求項１１】
補光ユニットを更に備え、
前記補光ユニットは前記非可視光信号結像ユニットに対して赤外線補光を行うためのものである
ことを特徴とする請求項１〜４のいずれか１項に記載の画像収集装置。
【請求項１２】
前記非可視光信号結像ユニットは、更に、自ら形成した第１の非可視光画像が所定の補光条件を満たすと検出したとき、前記補光ユニットへ補光信号を送信するためのものであり、
前記補光ユニットは、具体的に、前記補光信号を受信した後、前記非可視光信号結像ユニットに対して赤外線補光を行うためのものである
ことを特徴とする請求項１１に記載の画像収集装置。
【請求項１３】
前記所定の補光条件は、
前記第１の非可視光画像のS/Nが所定閾値より小さく、
又は、
前記第１の非可視光画像を結像する際に行われる自動露光処理のゲインレベルが所定レベルより低いことである
ことを特徴とする請求項１２に記載の画像収集装置。
【請求項１４】
ハウジング、プロセッサ、メモリ、回路基板、電源回路、分光ユニット、可視光信号結像ユニット、非可視光信号結像ユニットを備え、回路基板及び分光ユニットがハウジングにより取り囲まれてなる空間の内部に配置され、プロセッサ、メモリ、可視光信号結像ユニット及び非可視光信号結像ユニットが回路基板に設置され、
前記電源回路は各回路又はデバイスに給電するためのものであり、
前記分光ユニットは入射光を可視光信号及び非可視光信号に分光するためのものであり、
前記可視光信号結像ユニットは前記分光ユニットにより分光された可視光信号に基づいて感光・結像を行うことによって、第１の可視光画像を形成するためのものであり、
前記非可視光信号結像ユニットは前記分光ユニットにより分光された非可視光信号に基づいて感光・結像を行うことによって、第１の非可視光画像を形成するためのものであり、
前記メモリは実行可能なコードを記憶するためのものであり、
前記プロセッサはメモリに記憶される実行可能なコードを実行することにより、
前記第１の可視光画像及び前記第１の非可視光画像を位置合わせて、目標可視光画像及び第２の非可視光画像を取得するステップと、
前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得するステップと、
前記目標可視光画像及び前記目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得するステップを実行する
ことを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は画像処理技術分野に関し、特に分光・融合する画像収集装置に関する。
【背景技術】
【０００２】
低光度の状況において、収集された画像により多くの画像情報が含まれることを確保するためには、一般的に、分光・融合する画像収集装置によって画像を収集する必要がある。具体的には、分光・融合する画像収集装置によって画像を収集する基本原理は、可視光信号に対応する可視光画像及び非可視光信号に対応する非可視光画像を収集して可視光画像及び非可視光画像を融合することによって、融合後の画像を取得する。そのうち、融合後の画像はデュアルバンド画像であるので、シングルバンドの可視光画像及び非可視光画像のうちのいずれか１種の画像に対して表現された画像情報がより多い。非可視光信号とは近赤外信号又は赤外信号である。これによって、非可視光信号が近赤外信号である場合、非可視光画像が近赤外画像であり、非可視光信号が赤外信号である場合、非可視光画像が赤外画像である。
【０００３】
従来技術では、分光・融合する画像収集装置は、具体的に、セミ反射型レンズ、可視光センサ、赤外線センサ、位置合わせユニット及び融合ユニットを備える。具体的には、該セミ反射型レンズは入射光を可視光信号及び非可視光信号に分光するためのものであり、該可視光センサは可視光信号を感光して可視光画像を形成するためのものであり、該赤外線センサは非可視光信号を感光して非可視光画像を形成するためのものであり、該位置合わせユニットは非可視光画像と可視光画像との位置ずれを除去するためのものであり、該融合ユニットは位置合わせユニットにより形成されて位置合わせた非可視光画像及び可視光画像に対して重み付けて融合するためのものである。そのうち、融合により形成された融合後の画像は画像収集装置の出力画像である。
【０００４】
発明者は、従来技術の画像収集装置の融合ユニットは位置合わせユニットにより形成されて位置合わせた非可視光画像及び可視光画像に対して直接に重み付けて融合するため、その物体が異なる波長域の光波に対して反射特性の違いによる画像の差異に気づいていなく、融合後の画像の色歪みが生じることを研究によって発見した。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本願の実施例は、融合後の画像の色精度を向上させる、分光・融合する画像収集装置を提供することを目的とする。その技術案は具体的に以下である。
【課題を解決するための手段】
【０００６】
まず、本願の実施例は、
入射光を可視光信号及び非可視光信号に分光するための分光ユニットと、
前記分光ユニットにより分光された可視光信号に基づいて感光・結像することによって、第１の可視光画像を形成するための可視光信号結像ユニットと、
前記分光ユニットにより分光された非可視光信号に基づいて感光・結像することによって、第１の非可視光画像を形成するための非可視光信号結像ユニットと、
前記第１の可視光画像及び前記第１の非可視光画像を位置合わせることによって、目標可視光画像及び第２の非可視光画像を取得するための位置合わせユニットと、
前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得するための前処理合成ユニットと、
前記目標可視光画像及び前記目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得するための融合ユニットと、
を備える分光・融合する画像収集装置を提供する。
【０００７】
好ましくは、前記前処理合成ユニットは、具体的に、前記目標可視光画像に基づいて前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得するためのものである。
【０００８】
好ましくは、前記前処理合成ユニットは、具体的に、
前記目標可視光画像に対して色空間変換を行うことによって、前記目標可視光画像の輝度成分を取得し、
前記輝度成分の第１の平均値及び第１の分散、並びに前記第２の非可視光画像の輝度成分の第２の平均値及び第２の分散をそれぞれ計算し、
前記第１の平均値、前記第１の分散、前記第２の平均値及び前記第２の分散に基づき、前記第２の非可視光画像の輝度成分に対してグローバルマッピング処理を行い、
プリセットしたｓｏｂｅｌエッジ検出演算子を利用して前記目標可視光画像及び前記第２の非可視光画像に対してそれぞれ畳み込みを行うことによって、前記目標可視光画像に対応する第１のテクスチャ画像及び前記第２の非可視光画像に対応する第２のテクスチャ画像を取得し、
グローバルマッピング処理によって取得された輝度成分、前記目標可視光画像の輝度成分、前記第１のテクスチャ画像及び前記第２のテクスチャ画像を利用して、前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を決定するためのものである。
【０００９】
好ましくは、前記前処理合成ユニットが前記第２の非可視光画像の輝度成分に対してグローバルマッピング処理を行うときに利用した公式は
【数１】
2019530940.tif 000003
であり、
ｙN’はグローバルマッピング処理によって取得された輝度成分を示し、ｙNは前記第２の非可視光画像の輝度成分を示し、μDは前記第１の平均値を示し、μNは前記第２の平均値を示し、σDは前記第１の分散を示し、σNは前記第２の分散を示し、
前記前処理合成ユニットが利用した前記プリセットしたｓｏｂｅｌエッジ検出演算子は
【数２】
2019530940.tif 000004
であり、
前記前処理合成ユニットが前記第２の非可視光画像に対して輝度調整を行うときに利用した公式は
【数３】
2019530940.tif 000005
であり、
ｙAPは目標非可視光画像を示し、ｙN’はグローバルマッピング処理によって取得された輝度成分を示し、ｙDは前記目標可視光画像の輝度成分を示し、ｔNは前記第２のテクスチャ画像を示し、ｔDは前記第１のテクスチャ画像を示す。
【００１０】
好ましくは、前記融合ユニットは、具体的に、
前記目標可視光画像及び前記目標非可視光画像に対して、対応する第１の種類の重み値に基づいて重み付け処理を行うことによって、融合後の画像を取得するためのものである。
【００１１】
好ましくは、前記融合ユニットは、具体的に、
前記目標可視光画像及び前記目標非可視光画像に対して分周融合を行うことによって、融合後の画像を取得するためのものである。
【００１２】
好ましくは、前記融合ユニットが前記目標可視光画像及び前記目標非可視光画像に対して分周融合を行うプロセスは、
前記目標可視光画像に対して色空間変換を行うことによって、前記目標可視光画像の輝度成分及び色成分を取得することと、
前記輝度成分をローパスフィルタリングすることによって、前記目標可視光画像の低周波情報を取得することと、
前記目標非可視光画像をハイパスフィルタリングすることによって、前記目標非可視光画像の高周波情報を取得することと、
前記低周波情報及び前記高周波情報に対して、対応する第２の種類の重み値に基づいて重み付け処理を行うことによって、形成予定の融合後の画像に対応する輝度成分を取得することと、
前記形成予定の融合後の画像に対応する輝度成分及び前記目標可視光画像の色成分を結合することによって、融合後の画像を取得することと、を含む。
【００１３】
好ましくは、前記融合ユニットが前記低周波情報及び前記高周波情報に対して対応する第２の種類の重み値に基づいて重み付け処理を行うときに利用した公式は
【数４】
2019530940.tif 000006
であり、
ｙFusは形成予定の融合後の画像に対応する輝度成分を示し、ｙAPは前記目標非可視光画像を示し、ylowは前記低周波情報を示し、yhighは前記高周波情報を示し、ｗは前記低周波情報に対応する第２の種類の重み値を示し、Kは前記高周波情報に対応する第２の種類の重み値を示す。
【００１４】
好ましくは、ｗは前記目標非可視光画像と目標可視光画像の輝度成分との輝度差によって決定され、
【数５】
2019530940.tif 000007
ｙAPは前記目標非可視光画像を示し、ｙDは前記目標可視光画像の輝度成分を示し、abs（ｙAP−ｙD）は、（ｙAP−ｙD）の絶対値を示し、max（abs（ｙAP−ｙD））は、abs（ｙAP−ｙD）の最大値を示す。
【００１５】
好ましくは、前記可視光信号結像ユニットと前記非可視光信号結像ユニットとは、９０°をなすように置かれ、前記分光ユニットの反射面と入射光とは４５°をなす。
【００１６】
好ましくは、本願の実施例に係る画像収集装置は更に補光ユニットを備え、
前記補光ユニットは前記非可視光信号結像ユニットに対して赤外線補光を行うためのものである。
【００１７】
好ましくは、前記非可視光信号結像ユニットは、更に、自ら形成した第１の非可視光画像が所定の補光条件を満たすと検出したとき、前記補光ユニットへ補光信号を送信するためのものであり、
前記補光ユニットは、具体的に、前記補光信号を受信した後、前記非可視光信号結像ユニットに対して赤外線補光を行うためのものである。
【００１８】
好ましくは、前記所定の補光条件は、
前記第１の非可視光画像のS/N（signal to noise ratio）が所定閾値より小さく、
又は、
前記第１の非可視光画像を結像する際に行われる自動露光処理のゲインレベルが所定レベルより低いことである。
【００１９】
また、本願の実施例は
ハウジング、プロセッサ、メモリ、回路基板、電源回路、分光ユニット、可視光信号結像ユニット、非可視光信号結像ユニットを備え、回路基板及び分光ユニットはハウジングにより取り囲まれてなる空間の内部に配置され、プロセッサ、メモリ、可視光信号結像ユニット及び非可視光信号結像ユニットは回路基板に設置され、
前記電源回路は各回路又はデバイスに給電するためのものであり、
前記分光ユニットは入射光を可視光信号及び非可視光信号に分光するためのものであり、
前記可視光信号結像ユニットは前記分光ユニットにより分光された可視光信号に基づいて感光・結像を行うことによって、第１の可視光画像を形成するためのものであり、
前記非可視光信号結像ユニットは前記分光ユニットにより分光された非可視光信号に基づいて感光・結像を行うことによって、第１の非可視光画像を形成するためのものであり、
前記メモリは実行可能なコードを記憶するためのものであり、
前記プロセッサはメモリに記憶される実行可能なコードを実行することにより、
前記第１の可視光画像及び前記第１の非可視光画像を位置合わせて、目標可視光画像及び第２の非可視光画像を取得するステップと、
前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得するステップと、
前記目標可視光画像及び前記目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得するステップを実行する
電子機器を更に提供する。
【００２０】
好ましくは、前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得するステップは、
前記目標可視光画像に基づき、前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得することを含む。
【００２１】
好ましくは、前記目標可視光画像に基づき、前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得するステップは、
前記目標可視光画像に対して色空間変換を行うことによって、前記目標可視光画像の輝度成分を取得することと、
前記輝度成分の第１の平均値及び第１の分散、並びに前記第２の非可視光画像の輝度成分の第２の平均値及び第２の分散をそれぞれ計算することと、
前記第１の平均値、前記第１の分散、前記第２の平均値及び前記第２の分散に基づき、前記第２の非可視光画像の輝度成分に対してグローバルマッピング処理を行うことと、
プリセットしたｓｏｂｅｌエッジ検出演算子を利用して前記目標可視光画像及び前記第２の非可視光画像に対してそれぞれ畳み込みを行うことによって、前記目標可視光画像に対応する第１のテクスチャ画像及び前記第２の非可視光画像に対応する第２のテクスチャ画像を取得することと、
グローバルマッピング処理によって取得された輝度成分、前記目標可視光画像の輝度成分、前記第１のテクスチャ画像及び前記第２のテクスチャ画像を利用して、前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を決定することと、を含む。
【００２２】
好ましくは、前記第２の非可視光画像の輝度成分に対してグローバルマッピング処理を行うときに利用した公式は
【数６】
2019530940.tif 000008
ｙN’はグローバルマッピング処理によって取得された輝度成分を示し、ｙNは前記第２の非可視光画像の輝度成分を示し、μDは前記第１の平均値を示し、μNは前記第２の平均値を示し、σDは前記第１の分散を示し、σNは前記第２の分散を示し、
前記プリセットしたｓｏｂｅｌエッジ検出演算子は
【数７】
2019530940.tif 000009
であり、
前記第２の非可視光画像に対して輝度調整を行うときに利用した公式は
【数８】
2019530940.tif 000010
であり、
ｙAPは目標非可視光画像を示し、ｙN’はグローバルマッピング処理によって取得された輝度成分を示し、ｙDは前記目標可視光画像の輝度成分を示し、ｔNは前記第２のテクスチャ画像を示し、ｔDは前記第１のテクスチャ画像を示す。
【００２３】
好ましくは、前記目標可視光画像及び前記目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得するステップは、
前記目標可視光画像及び前記目標非可視光画像に対して、対応する第１の種類の重み値に基づいて重み付け処理を行うことによって、融合後の画像を取得することを含む。
【００２４】
好ましくは、前記目標可視光画像及び前記目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得するステップは、
前記目標可視光画像及び前記目標非可視光画像に対して分周融合を行うことによって、融合後の画像を取得することを含む。
【００２５】
好ましくは、前記目標可視光画像及び前記目標非可視光画像に対して分周融合を行うことによって、融合後の画像を取得するステップは、
前記目標可視光画像に対して色空間変換を行うことによって、前記目標可視光画像の輝度成分及び色成分を取得することと、
前記輝度成分をローパスフィルタリングすることによって、前記目標可視光画像の低周波情報を取得することと、
前記目標非可視光画像をハイパスフィルタリングすることによって、前記目標非可視光画像の高周波情報を取得することと、
前記低周波情報及び前記高周波情報に対して対応する第２の種類の重み値に基づいて重み付け処理を行って、形成予定の融合後の画像に対応する輝度成分を取得することと、
前記形成予定の融合後の画像に対応する輝度成分及び前記目標可視光画像の色成分を結合して、融合後の画像を取得することと、を含む。
【００２６】
好ましくは、前記低周波情報及び前記高周波情報に対して、対応する第２の種類の重み値に基づいて重み付け処理を行うときに利用した公式は
【数９】
2019530940.tif 000011
であり、
yFusは形成予定の融合後の画像に対応する輝度成分を示し、ｙAPは前記目標非可視光画像を示し、ylowは前記低周波情報を示し、yhighは前記高周波情報を示し、ｗは前記低周波情報に対応する第２の種類の重み値を示し、Kは前記高周波情報に対応する第２の種類の重み値を示す。
【００２７】
好ましくは、ｗが前記目標非可視光画像及び目標可視光画像の輝度成分の輝度差によって決定され、
【数１０】
2019530940.tif 000012
ｙAPは前記目標非可視光画像を示し、ｙDは前記目標可視光画像の輝度成分を示し、abs（ｙAP−ｙD）は（ｙAP−ｙD）の絶対値を示し、max（abs（ｙAP−ｙD））はabs（ｙAP−ｙD）の最大値を示す。
【００２８】
好ましくは、前記可視光信号結像ユニットと前記非可視光信号結像ユニットとは９０°をなすように置かれ、前記分光ユニットの反射面と入射光とは４５°をなす。
【００２９】
好ましくは、前記電子機器は更に補光ユニットを備え、
前記補光ユニットは前記非可視光信号結像ユニットに対して赤外線補光を行うためのものである。
【００３０】
好ましくは、前記非可視光信号結像ユニットは、更に、自体に形成された第１の非可視光画像が所定の補光条件を満たすと検出したとき、前記補光ユニットへ補光信号を送信するためのものであり、
前記補光ユニットは具体的に前記補光信号を受信した後、前記非可視光信号結像ユニットに対して赤外線補光を行うためのものである。
【００３１】
好ましくは、前記所定の補光条件は、
前記第１の非可視光画像のS/Nが所定閾値より小さく、
又は、
前記第１の非可視光画像を結像する際に行われる自動露光処理のゲインレベルが所定レベルより低いことである。
【発明の効果】
【００３２】
本願の実施例に係る分光・融合する画像収集装置は、分光ユニットが入射光を可視光信号及び非可視光信号に分光し、可視光信号結像ユニットが該分光ユニットにより分光された可視光信号に基づいて感光・結像を行うことによって、第１の可視光画像を形成し、非可視光信号結像ユニットが該分光ユニットにより分光された非可視光信号に基づいて感光・結像を行うことによって、第１の非可視光画像を形成し、位置合わせユニットが該第１の可視光画像及び該第１の非可視光画像を位置合わせて、目標可視光画像及び第２の非可視光画像を取得するためのものであり、前処理合成ユニットが該第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得し、融合ユニットが該目標可視光画像及び該目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得する。従来技術に対しては、本案は前処理合成ユニットを増設し、該プリセットした処理合成ユニットが該第２の非可視光画像に対して輝度調整を行った後、融合ユニットによって該目標可視光画像及び輝度が調整されてなる目標非可視光画像に対して画像融合を行う。その物体が異なる波長域の光波に対して反射特性の違いによる画像差異を考慮したため、融合後の画像の色精度を向上させることができる。
【図面の簡単な説明】
【００３３】
本願の実施例及び従来技術の技術案をより明確に説明するために、以下に実施例及び従来技術の記述において必要な図面を用いて簡単に説明を行うが、当然ながら、以下に記載する図面は単に本願の実施例の一例であって、当業者であれば、創造的な労力をしなくても、これらの図面に基づいて他の図面に想到しうる。
【００３４】
【図１】図１は本願の実施例に係る分光・融合する画像収集装置の構造模式図である。
【図２】図２は本願の実施例に係る融合ユニットの融合原理の図である。
【図３】図３は本願の実施例に係る分光・融合する画像収集装置における分光ユニットの設置位置の模式図である。
【図４】図４は本願の実施例に係る分光・融合する画像収集装置の他の構造模式図である。
【図５】図５は本願の実施例に係る電子機器の構造模式図である。
【発明を実施するための形態】
【００３５】
以下、本願の実施例の図面を参照しながら、本願の実施例の技術案を明確且つ完全に説明し、無論、説明される実施例は本願の実施例の一部であり、実施例のすべてではない。本願の実施例に基づき、当業者が進歩性のある労働を必要とせずに得られる他の実施例は、いずれも本願の保護範囲に属する。
【００３６】
低光度の状況において、融合後の画像の色精度を向上させるために、本願の実施例は分光・融合する画像収集装置を提供する。該分光・融合する画像収集装置は分光・融合するウェブカメラ、分光・融合するカメラ等であっても合理的によいである。
【００３７】
図１に示すように、本願の実施例に係る分光・融合する画像収集装置は、
入射光を可視光信号及び非可視光信号に分光するための分光ユニット１１０と、
該分光ユニット１１０により分光された可視光信号に基づいて感光・結像を行うことによって、第１の可視光画像を形成するための可視光信号結像ユニット１２０と、
該分光ユニット１１０により分光された非可視光信号に基づいて感光・結像を行うことによって、第１の非可視光画像を形成するための非可視光信号結像ユニット１３０と、
前記第１の可視光画像及び前記第１の非可視光画像を位置合わせて、目標可視光画像及び第２の非可視光画像を取得するための位置合わせユニット１４０と、
該第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得するための前処理合成ユニット１５０と、
該目標可視光画像及び該目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得するための融合ユニット１６０と、
を備えてもよい。
【００３８】
非可視光信号は近赤外線信号又は赤外線信号であり、赤外線信号は電磁波の１種であり、その波長範囲が７６０ｎｍ〜１ｍｍであり、人の肉眼に見えないものであり、近赤外線は可視光と中赤外線との間に介在する電磁波であり、米国材料試験協会ＡＳＴＭが近赤外線を波長７８０〜２５２６ｎｍ範囲内の電磁波として定義する。近赤外線は近赤外短波（７８０〜１１００ｎｍ）及び近赤外長波（１１００〜２５２６ｎｍ）に分けられると理解されている。それに対応して、本願の実施例において、非可視光信号が近赤外線信号である場合、非可視光画像が近赤外画像であり、非可視光信号が赤外線信号である場合、非可視光画像が赤外画像である。
【００３９】
分光ユニット１１０は、画像収集装置のレンズの後側に設置されることにより、レンズに入った入射光を分光する。また、入力出力の観点から、分光ユニット１１０は入力が入射光であり、出力が可視光及び非可視光であると理解される。そして、入射光を可視光信号及び非可視光信号に分光するために、分光ユニット１１０はセミ反射型レンズであってもよく、該セミ反射型レンズは可視光を透過して非可視光を反射することができる。具体的に、該セミ反射型レンズは具体的な製品形態が分光プリズムであってもよいが、それに限らない。当業者であれば、分光プリズムが可視光の透過を許容し、非可視光を遮断又は反射できる。つまり、プリズム反射面を透過した入射光は非可視波長域がフィルタリングされ（フィルタリングされた非可視光が反射されてもよい）が、可視光を透過させると理解される。また、分光プリズムは、プリズムのコーティングの厚さを調整することにより透過可能な可視光波長域範囲を制御することができる。具体的な制御方式は従来技術であるので、詳細な説明を省略する。また、入射光の分光処理を確保する上で、本願の実施例は該分光ユニット１１０の設置方式を制限しなくてもよい。例えば、該分光ユニット１１０が固定設置されてもよいし、可動に設置されてもよい。無論、分光ユニット１１０が可動に設置されると、下記の位置合わせマトリックスの更新頻度がより高いため、計算量がより大きくなる。従って、位置合わせマトリックスを１回でオフラインキャリブレーションするために、分光ユニット１１０が固定設置されてもよいと理解される。
【００４０】
該可視光信号結像ユニット１２０は従来技術における可視光を結像できるいずれか１種のデバイスであってもよい。そして、結像中に自動露光、ホワイトバランス、ガンママッピング等の処理を行う。例えば、該可視光信号結像ユニット１２０は可視光画像センサであってもよい。同様に、該非可視光信号結像ユニット１３０は従来技術における非可視光を結像できるいずれか１種のデバイスであってもよい。そして、結像中に自動露光、ホワイトバランス、ガンママッピングを行う。例えば、非可視光信号結像ユニットは非可視光画像センサであってもよいと説明すべきである。そして、可視光信号結像ユニット１２０及び非可視光信号結像ユニット１３０は自信が本願の発明点ではないため、本願の実施例は可視光信号結像ユニット１２０及び非可視光信号結像ユニット１３０の具体的なデバイス形態を制限しないとともに具体的な結像原理も省略する。
【００４１】
また、該位置合わせユニット１４０は第１の非可視光画像と第１の可視光画像との位置ずれを除去することによって、下記の処理時に位置ずれ、ゴーストイメージ等の問題が発生することを避ける。本願の一実施形態として、水平鏡像及びアフィン変換の数学モデルを利用して分光中の画像歪み問題を再現することにより、位置ずれを除去することができる。オフラインキャリブレーションすることでアフィン変換処理に必要な位置合わせマトリックスの関連係数を取得することができる。位置合わせユニット１４０が該第１の可視光画像及び該第１の非可視光画像を位置合わせてなる目標可視光画像及び第２の非可視光画像において、目標可視光画像が第１の可視光画像に対して位置ずれがあってもよいし、位置ずれがなくてもよく、第２の非可視光画像が第１の非可視光画像に対して位置ずれがあってもよいし、位置ずれがなくてもよい。そして、位置合わせ時には、第１の可視光画像を基準として、第１の非可視光画像を位置合わせてもよいし、第１の非可視光画像を基準として、第１の可視光画像を位置合わせてもよいことはいずれも合理的であると理解される。該位置合わせユニット１４０は具体的な位置合わせ方式が従来技術における位置合わせ方式を用いてもよい。明確に配置するために、以下に該位置合わせ方式を説明する。
【００４２】
可視光信号結像ユニット１２０と非可視光信号結像ユニット１３０とは感光波長域が異なるため、結像の輝度差が生じやすく、輝度差の大きさが色精度に影響を及ぼす。従って、融合後の画像の色精度を向上させるために、第２の非可視光画像の輝度を変えることにより、予定融合の２種の画像の輝度差を減少させることができると理解される。該処理思想に基づき、本願の実施例に係る分光・融合する画像収集装置は従来技術に対して該前処理合成ユニット１５０を追加した。該前処理合成ユニット１５０は該第２の非可視光画像に対して輝度調整を行うという具体的な実現過程が多い。明確に配置するために、以下に例を挙げて説明すると理解される。
【００４３】
当業者であれば理解できるように、画像は目標可視光画像及び目標非可視光画像で２種が存在するので、融合後の画像を取得するために、該融合ユニット１６０は該目標可視光画像及び該目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得する。融合後の画像がデュアルバンド画像であり、シングルバンドの目標可視光画像及び目標非可視光画像のいずれか１種の画像に対して表現された画像情報がより多い。融合ユニット１６０は該目標可視光画像及び該目標非可視光画像に対して画像融合を行うという具体的な実現方式が多い。明確に配置するために、以下に例を挙げて説明する。
【００４４】
ただし、本願の実施例に係る「第１の非可視光画像」における「第１の」、「第２の非可視光画像」における「第２の」及び「目標非可視光画像」における「目標」は名称で異なる処理段階の非可視光画像を区別するためのものに過ぎず、限定的な意味を有しない。同様に、「第１の可視光画像」における「第１の」及び「目標可視光画像」における「目標」も限定的な意味を有しない。
【００４５】
本願の実施例に係る分光・融合する画像収集装置は、分光ユニットが入射光を可視光信号及び非可視光信号に分光し、可視光信号結像ユニットが該分光ユニットにより分光された可視光信号に基づいて感光・結像を行うことによって、第１の可視光画像を形成し、非可視光信号結像ユニットが該分光ユニットにより分光された非可視光信号に基づいて感光・結像を行うことによって、第１の非可視光画像を形成し、位置合わせユニットが第１の可視光画像及び第１の非可視光画像を位置合わせて、目標可視光画像及び第２の非可視光画像を取得するためのものであり、前処理合成ユニットが該第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得し、融合ユニットが該目標可視光画像及び該目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得する。従来技術に対して、本案は前処理合成ユニットを増設し、該プリセットした処理合成ユニットが該第２の非可視光画像に対して輝度調整を行った後、融合ユニットによって該目標可視光画像及び輝度が調整されてなる目標非可視光画像に対して画像融合を行う。その物体が異なる波長域の光波に対して反射特性の違いによる画像差異を考慮したため、融合後の画像の色精度を向上させることができる。
【００４６】
具体的に、該前処理合成ユニット１５０は該第２の非可視光画像に対して輝度調整を行うという実現方式が多い。以下に例を挙げて説明する。
【００４７】
一実現方式において、該前処理合成ユニット１５０はプリセットした輝度パラメータ値又はプリセットした輝度調整値に基づき、該第２の非可視光画像に対して輝度調整を行う。
【００４８】
プリセットした輝度パラメータ値に基づいて該第２の非可視光画像に対して輝度調整を行うという方式は、目標非可視光画像の輝度パラメータ値が該プリセットした輝度パラメータ値であり、つまり、該第２の非可視光画像の輝度パラメータ値を該プリセットした輝度パラメータ値に調整する。プリセットした輝度調整値に基づいて該第２の非可視光画像に対して輝度調整を行うという方式は、該目標非可視光画像の輝度パラメータ値がプリセットした輝度調整値と該第２の非可視光画像の輝度パラメータ値との和であり、つまり、該第２の非可視光画像の輝度パラメータ値をプリセットした輝度調整値に調整し、該プリセットした輝度調整値が増加した分の値であると理解される。また、プリセットした輝度パラメータ値及びプリセットした輝度調整値はいずれも経験値であり、該経験値が該可視光信号結像ユニット１２０により形成された画像と該非可視光信号結像ユニット１３０により形成された画像との輝度差に基づいて取得した値であると強調すべきである。
【００４９】
他の実現方式において、該前処理合成ユニット１５０は該目標可視光画像に基づき、該第２の非可視光画像に対して輝度調整を行う。ただし、該前処理合成ユニット１５０は該目標可視光画像に基づき、該第２の非可視光画像に対して輝度調整を行うという実現方式が多い。以下に例を挙げて説明する。
【００５０】
具体的な実現方式において、該前処理合成ユニット１５０は具体的に以下に用いられる。
【００５１】
ステップａ１、該目標可視光画像に対して色空間変換を行うことによって、該目標可視光画像の輝度成分を取得する。
当業者であれば、よく使用される色空間タイプはＲＧＢ（赤緑青色モデル）、ＣＭＹＫ（印刷色モデル、反射に基づく色モード）、Ｌａｂ（人間の色に対する感覚に基づき、輝度（Ｌ）及び色に関わるａ、ｂという３つの要素からなる）、ＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ、具体的に、このモデルにおける色のパラメータがそれぞれ色調（Ｈ）、飽和度（Ｓ）、輝度（Ｖ）である）等があると理解される。該目標可視光画像に対して色空間変換を行うことによって、該目標可視光画像の輝度成分を取得することは、目標可視光画像を現在所属する色空間モデルから輝度を含む色空間モデルに変換することにより、輝度成分を分離することである。具体的には、変換方式が従来技術における色空間モデルの間の変換方式を参照し、ここで限定しない。
【００５２】
ステップｂ１、該輝度成分の第１の平均値及び第１の分散、並びに該第２の非可視光画像の輝度成分の第２の平均値及び第２の分散をそれぞれ計算する。
第２の非可視光画像は自体が色成分に関わらないため、輝度成分の分離処理を実行する必要がない。従って、該目標可視光画像の輝度成分を分離して取得した後、従来技術を用いてそれぞれに該輝度成分の第１の平均値及び第１の分散、並びに該第２の非可視光画像の輝度成分の第２の平均値及び第２の分散を計算し、更に下記の処理を実行することができる。
【００５３】
ステップｃ１、該第１の平均値、該第１の分散、該第２の平均値及び該第２の分散に基づき、該第２の非可視光画像の輝度成分に対してグローバルマッピング処理を行う。
具体的な実現方式においては、該前処理合成ユニット１５０が該第２の非可視光画像の輝度成分に対してグローバルマッピング処理を行うときに利用した公式は
【数１１】
2019530940.tif 000013
である。
ｙN’はグローバルマッピング処理によって取得された輝度成分を示し、ｙNは前記第２の非可視光画像の輝度成分を示し、μDは前記第１の平均値を示し、μNは前記第２の平均値を示し、σDは前記第１の分散を示し、σNは前記第２の分散を示す。
【００５４】
ステップｄ１、プリセットしたｓｏｂｅｌエッジ検出演算子を利用して該目標可視光画像及び該第２の非可視光画像に対してそれぞれ畳み込みを行うことによって、該目標可視光画像に対応する第１のテクスチャ画像及び該第２の非可視光画像に対応する第２のテクスチャ画像を取得する。
ソーベルｓｏｂｅｌエッジ検出演算子は主にエッジ検出として使用され、技術上では、画像輝度関数のグレースケールの近似値を演算するための離散差分演算子である。画像の任意の一点にこの演算子を用いると、対応するグレースケールベクトル又はその法線ベクトルが生じる。
【００５５】
具体的な実現方式において、該前処理合成ユニット１５０が利用した該プリセットしたｓｏｂｅｌエッジ検出演算子は
【数１２】
2019530940.tif 000014
であり、
プリセットしたｓｏｂｅｌエッジ検出演算子を利用して該目標可視光画像及び該第２の非可視光画像に対してそれぞれ畳み込みを行うという具体的な実現方式は従来技術を参照してもよく、ここで限定しないと理解される。
【００５６】
ステップｅ１、グローバルマッピング処理によって取得された輝度成分、該目標可視光画像の輝度成分、該第１のテクスチャ画像及び該第２のテクスチャ画像を利用して、該第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を決定する。
【００５７】
具体的な実現方式において、該前処理合成ユニット１５０が該第２の非可視光画像に対して輝度調整を行うときに利用した公式は
【数１３】
2019530940.tif 000015
である。
ｙAPは目標非可視光画像を示し、ｙN’はグローバルマッピング処理によって取得された輝度成分を示し、ｙDは前記目標可視光画像の輝度成分を示し、ｔNは前記第２のテクスチャ画像を示し、ｔDは前記第１のテクスチャ画像を示す。
【００５８】
ただし、該前処理合成ユニット１５０が該第２の非可視光画像の輝度成分に対してグローバルマッピング処理を行うときに利用した公式、及び該前処理合成ユニット１５０が該第２の非可視光画像に対して輝度調整を行うときに利用した公式は例示的なものに過ぎず、本願の実施例を制限するためのものではない。そして、該前処理合成ユニット１５０は該目標可視光画像に基づき、該第２の非可視光画像に対して輝度調整を行うという具体的な実現方式も例示的なものに過ぎず、本願の実施例を制限するためのものではない。
【００５９】
具体的に、該融合ユニット１６０は該目標可視光画像及び該目標非可視光画像に対して画像融合を行うという具体的な実現方式が多い。以下に例を挙げて説明する。
【００６０】
具体的な実現方式において、該融合ユニット１６０は、具体的に、
該目標可視光画像及び該目標非可視光画像に対して、対応する第１の種類の重み値に基づいて重み付け処理を行うことによって、融合後の画像を取得するためのものである。
【００６１】
このような実現方式において、目標可視光画像及び目標非可視光画像に対応する重み値がいずれも第１の種類の重み値と称される。目標可視光画像に対応する第１の種類の重み値と目標非可視光画像に対応する第１の種類の重み値とは具体的に大きさが同じであってもよいし、異なってもよいが、２つの第１の種類の重み値の和が１であると説明すべきである。そして、該目標可視光画像及び該目標非可視光画像に対して、対応する第１の種類の重み値に基づいて重み付け処理を行うことは、具体的に、該目標可視光画像及び該目標非可視光画像を、対応する第１の種類の重み値に乗じて、その積を加算する。例えば、ｙ＝ｘ１＊Ａ＋ｘ２＊Ｂ、ｙは融合後の画像を示し、Ａは目標可視光画像を示し、Ｂは目標非可視光画像を示し、ｘ１は目標可視光画像に対応する第１の種類の重み値を示し、ｘ２は目標非可視光画像に対応する第１の種類の重み値を示すことを意味する。
【００６２】
該目標可視光画像に対応する第１の種類の重み値及び該目標非可視光画像に対応する第１の種類の重み値は予め設定された値であってもよい。設定の時、目標可視光画像及び目標非可視光画像を実際の情報ニーズに応じて設定してもよく、ここで限定しないと理解される。例えば、目標可視光画像の画像情報が目標非可視光画像の画像情報より多くなると要求される場合、該目標可視光画像に対応する第１の種類の重み値を該目標非可視光画像に対応する第１の種類の重み値より大きく設定してもよい。同様に、目標可視光画像の画像情報が目標非可視光画像の画像情報より少なくなると要求される場合、該目標可視光画像に対応する第１の種類の重み値を該目標非可視光画像に対応する第１の種類の重み値より小さく設定してもよい。そして、該目標可視光画像及び該目標非可視光画像に対して、対応する第１の種類の重み値に基づいて重み付け処理を行うというプロセスは従来技術を用いてもよく、ここで詳細な説明を省略する。
【００６３】
他の具体的な実現方式において、画像の詳細、情報量及び色精度を向上させるために、該融合ユニット１６０は、具体的に、
該目標可視光画像及び該目標非可視光画像に対して分周融合を行うことによって、融合後の画像を取得するためのものである。
【００６４】
分周融合とは、基本思想として、目標可視光画像の低周波情報及び目標非可視光画像の高周波情報を抽出して、ある程度の重みに応じて重み付け融合を行い、融合後の輝度及び可視光色成分を結合して、カラーの融合後の画像を出力することである。
【００６５】
具体的に、具体的な実現方式において、図２に示すように、該融合ユニット１６０は該目標可視光画像及び該目標非可視光画像に対して分周融合を行うというプロセスは以下のステップを含んでもよい。
【００６６】
ステップａ２、該目標可視光画像に対して色空間変換を行うことによって、該目標可視光画像の輝度成分及び色成分を取得する。
当業者であれば、よく使用される色空間タイプはＲＧＢ（赤緑青色モデル）、ＣＭＹＫ（印刷色モデル、反射に基づく色モード）、Ｌａｂ（人間の色に対する感覚に基づき、輝度（Ｌ）及び色に関わるａ、ｂという３つの要素からなる）、ＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ、具体的に、このモデルにおける色のパラメータがそれぞれ色調（Ｈ）、飽和度（Ｓ）、輝度（Ｖ）である）等があると理解される。該目標可視光画像に対して色空間変換を行うことによって、該目標可視光画像の輝度成分を取得することは、目標可視光画像を現在所属する色空間モデルから輝度を含む色空間モデルに変換することにより、輝度成分を分離することである。具体的には、変換方式が従来技術における色空間モデルの間の変換方式を参照し、ここで限定しない。
【００６７】
ステップｂ２、該輝度成分をローパスフィルタリングすることによって、該目標可視光画像の低周波情報を取得する。
輝度成分を取得した後、関連するローパスフィルタリング方式で該輝度成分をローパスフィルタリングすることによって、該目標可視光画像の低周波情報を取得することができる。
【００６８】
ステップｃ２、該目標非可視光画像をハイパスフィルタリングすることによって、該目標非可視光画像の高周波情報を取得する。
目標非可視光画像は自体が色成分に関わらないため、輝度成分の分離処理を実行する必要がない。従って、関連するハイパスフィルタリング方式で該目標非可視光画像を直接ハイパスフィルタリングすることによって、該目標非可視光画像の高周波情報を取得することができる。
【００６９】
ステップｄ２、該低周波情報及び該高周波情報に対して、対応する第２の種類の重み値に基づいて重み付け処理を行うことによって、形成予定の融合後の画像に対応する輝度成分を取得する。
目標可視光画像の低周波情報及び目標非可視光画像の高周波情報を取得した後、該低周波情報及び該高周波情報に対して、対応する第２の種類の重み値に基づいて重み付け処理を行うことによって、形成予定の融合後の画像に対応する輝度成分を取得することができる。
【００７０】
具体的に、具体的な実現方式において、該融合ユニット１６０が該低周波情報及び該高周波情報に対して対応する第２の種類の重み値に基づいて重み付け処理を行うときに利用した公式は
【数１４】
2019530940.tif 000016
であってもよく、
ｙFusは形成予定の融合後の画像に対応する輝度成分を示し、ｙAPは前記目標非可視光画像を示し、ylowは前記低周波情報を示し、yhighは前記高周波情報を示し、ｗは前記低周波情報に対応する第２の種類の重み値を示し、Kは前記高周波情報に対応する第２の種類の重み値を示す。
【００７１】
具体的に、このような実現方式において、ｗとＫは具体的に大きさが同じであってもよいし、異なってもよい。ｗは手動で設定した値であってもよいし、自動的に決定した値であってもよく、ｗの大きさは目標可視光画像に必要な画像情報の量を示し、大きければ必要な画像情報が多いほどことを示す。自動的に決定した値に対して、ｗは該目標非可視光画像及び目標可視光画像の輝度成分の輝度差によって決定されてもよい。その決定公式は
【数１５】
2019530940.tif 000017
である。
ｙAPは前記目標非可視光画像を示し、ｙDは前記目標可視光画像の輝度成分を示し、abs（ｙAP−ｙD）は（ｙAP−ｙD）の絶対値を示し、max（abs（ｙAP−ｙD））はabs（ｙAP−ｙD）の最大値を示す。
【００７２】
また、Ｋは画像の鮮明度を示し、手動で設定してもよい。一般的には、その範囲が０〜５であり、１は正常を示し、０はすべてが低周波情報であり、鮮明度がより低いことを示す。
【００７３】
ステップｅ２、該形成予定の融合後の画像に対応する輝度成分及び該目標可視光画像の色成分を結合して、融合後の画像を取得する。
【００７４】
該形成予定の融合後の画像に対応する輝度成分を取得した後、従来技術を用いて該形成予定の融合後の画像に対応する輝度成分及び該目標可視光画像の色成分を結合して、融合後の画像を取得する。結合方式は具体的に制限しない。
【００７５】
ただし、該融合ユニット１６０が該目標可視光画像及び該目標非可視光画像に対して分周融合を行うというプロセスは例示的なものに過ぎず、本願の実施例を制限するためのものではない。
【００７６】
位置合わせユニット１４０による具体的な位置合わせ方式は従来技術における位置合わせ方式を用いてもよく、例えば、該位置合わせユニット１４０は、具体的に、
第１の可視光画像に基づき、第１の非可視光画像に対して水平鏡像処理を行うためのものであり、
以下の公式で水平鏡像処理後の第１の非可視光画像に対してアフィン変換処理を行って、第２の非可視光画像を取得する。位置合わせマトリックスが分光ユニット１１０と２つの結像ユニット（すなわち可視光信号結像ユニット１２０及び非可視光信号結像ユニット１３０）との位置関係によってオフラインキャリブレーションされるものである。
【数１６】
2019530940.tif 000018
【数１７】
2019530940.tif 000019
（ｘ，ｙ）は第２の非可視光画像のピクセル座標であり、（ｘ１，ｙ１）は第１の非可視光画像のピクセル座標であり、
【数１８】
2019530940.tif 000020
はオフラインキャリブレーションによって取得した位置合わせマトリックスである。
【００７７】
ただし、該位置合わせユニット１４０の上記具体的な機能は例示的に説明されるものに過ぎず、本願の実施例を制限するためのものではない。
【００７８】
具体的な実現方式において、分光ユニット１１０が固定設置されるとの場合は、入光量が最大であることを確保するために、該可視光信号結像ユニット１２０と該非可視光信号結像ユニット１３０とは９０°をなすように置かれ、該分光ユニットの反射面と入射光とは４５°をなす。具体的に、図３に示すように、該可視光信号結像ユニット１２０と該非可視光信号結像ユニット１３０とは９０°をなすように置かれ、分光ユニットの反射面は上記２つの結像ユニットで構成されてなる対角線に固定して設置されることにより、分光ユニット１１０の反射面と該可視光信号結像ユニット１２０との夾角及び分光ユニット１１０の反射面と該非可視光信号結像ユニット１３０との夾角をいずれも４５°とする。これにより、分光ユニット１１０を透過した可視光信号及び分光ユニット１１０に反射された非可視光信号によって２つの結像ユニットが軸対称の関係であることを確保する。
【００７９】
具体的な実現方式において、充足な非可視光を確保して、非可視光の不足による融合後の画像の情報の不足を避ける。図４に示すように、本願の実施例に係る分光・融合する画像収集装置は更に補光ユニット１７０を備えてもよい。
該補光ユニット１７０は該非可視光信号結像ユニット１３０に対して非可視光補光を行うためのものである。
【００８０】
充足な非可視光を確保するように、該補光ユニット１７０はリアルタイムに補光すると理解される。無論、効果的に補光するために、該非可視光信号結像ユニット１３０は更に自ら形成した第１の非可視光画像が所定の補光条件を満たすと検出したとき、該補光ユニットへ補光信号を送信するためのものである。該補光ユニット１７０は具体的に該補光信号を受信した後、該非可視光信号結像ユニット１３０に対して非可視光補光を行うためのものである。つまり、該補光ユニット１７０は自動対応スイッチング機能を有する。無論、該非可視光信号結像ユニット１３０は更に必要な補光強度を決定して、補光ユニット１７０が該補光強度で補光するように指示することができる。この時、該補光ユニット１７０は自動対応スイッチング／強度制御機能を有する。ただし、補光ユニット１７０が補光を実行する具体的な方式は従来技術であってもよく、ここで限定しない。
【００８１】
具体的に、前記所定の補光条件は、該第１の非可視光画像のS/Nが所定閾値より小さく、又は、該第１の非可視光画像を結像する際に行なわれる自動露光処理のゲインレベルが所定レベルより低いことである。該第１の非可視光画像のS/Nは従来技術で計算して取得されることができる。同様に、該第１の非可視光画像を結像する際に行なわれる自動露光処理のゲインレベルは従来技術で決定されることができる。そして、所定閾値及び所定レベルは経験値であってもよいし、実際の状況に応じて設定されてもよいので、ここで限定しない。本願の実施例に係る該所定の補光条件は例示的なものに過ぎず、本願の実施例を制限するためのものではないと理解される。
【００８２】
また、本願の実施例は更に電子機器を提供し、ハウジング５１０、プロセッサ５２０、メモリ５３０、回路基板５４０、電源回路５５０、分光ユニット５６０、可視光信号結像ユニット５７０、非可視光信号結像ユニット５８０を備え、回路基板５４０及び分光ユニット５６０がハウジング５１０により取り囲まれてなる空間の内部に配置され、プロセッサ５２０、メモリ５３０、可視光信号結像ユニット５７０及び非可視光信号結像ユニット５８０が回路基板５４０に設置され、
前記電源回路５５０は各回路又はデバイスに給電するためのものであり、
前記分光ユニット５６０は入射光を可視光信号及び非可視光信号に分光するためのものであり、
前記可視光信号結像ユニット５７０は前記分光ユニット５６０により分光された可視光信号に基づいて感光・結像を行うことによって、第１の可視光画像を形成するためのものであり、
前記非可視光信号結像ユニット５８０は前記分光ユニット５６０により分光された非可視光信号に基づいて感光・結像を行うことによって、第１の非可視光画像を形成するためのものであり、
前記メモリ５３０は実行可能なコードを記憶するためのものであり、
前記プロセッサ５２０はメモリ５３０に記憶される実行可能なコードを実行することにより、
前記第１の可視光画像及び前記第１の非可視光画像を位置合わせて、目標可視光画像及び第２の非可視光画像を取得するステップ、
前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得するステップ、
前記目標可視光画像及び前記目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得するステップを実行する。
【００８３】
具体的な応用において、該電子機器は、具体的に、分光・融合するウェブカメラ、分光・融合するカメラ等であってもよい。
【００８４】
好ましくは、前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得するステップは、
前記目標可視光画像に基づき、前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得することを含む。
【００８５】
具体的に、前記目標可視光画像に基づき、前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得するステップは、
前記目標可視光画像に対して色空間変換を行うことによって、前記目標可視光画像の輝度成分を取得することと、
前記輝度成分の第１の平均値及び第１の分散、並びに前記第２の非可視光画像の輝度成分の第２の平均値及び第２の分散をそれぞれ計算することと、
前記第１の平均値、前記第１の分散、前記第２の平均値及び前記第２の分散に基づき、前記第２の非可視光画像の輝度成分に対してグローバルマッピング処理を行うことと、
プリセットしたｓｏｂｅｌエッジ検出演算子を利用して前記目標可視光画像及び前記第２の非可視光画像に対してそれぞれ畳み込みを行うことによって、前記目標可視光画像に対応する第１のテクスチャ画像及び前記第２の非可視光画像に対応する第２のテクスチャ画像を取得することと、
グローバルマッピング処理によって取得された輝度成分、前記目標可視光画像の輝度成分、前記第１のテクスチャ画像及び前記第２のテクスチャ画像を利用して、前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を決定することと、を含む。
【００８６】
好ましくは、前記第２の非可視光画像の輝度成分に対してグローバルマッピング処理を行うときに利用した公式は
【数１９】
2019530940.tif 000021
であり、
ｙN’はグローバルマッピング処理によって取得された輝度成分を示し、ｙNは前記第２の非可視光画像の輝度成分を示し、μDは前記第１の平均値を示し、μNは前記第２の平均値を示し、σDは前記第１の分散を示し、σNは前記第２の分散を示し、
前記プリセットしたｓｏｂｅｌエッジ検出演算子は
【数２０】
2019530940.tif 000022
である。
前記第２の非可視光画像に対して輝度調整を行うときに利用した公式は
【数２１】
2019530940.tif 000023
である。
ｙAPは目標非可視光画像を示し、ｙN’はグローバルマッピング処理によって取得された輝度成分を示し、ｙDは前記目標可視光画像の輝度成分を示し、ｔNは前記第２のテクスチャ画像を示し、ｔDは前記第１のテクスチャ画像を示す。
【００８７】
好ましくは、具体的な実現方式において、前記目標可視光画像及び前記目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得するステップは、
前記目標可視光画像及び前記目標非可視光画像に対して、対応する第１の種類の重み値に基づいて重み付け処理を行うことによって、融合後の画像を取得することを含む。
【００８８】
好ましくは、具体的な実現方式において、前記目標可視光画像及び前記目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得するステップは、
前記目標可視光画像及び前記目標非可視光画像に対して分周融合を行うことによって、融合後の画像を取得することを含む。
【００８９】
好ましくは、前記目標可視光画像及び前記目標非可視光画像に対して分周融合を行うことによって、融合後の画像を取得するステップは、
前記目標可視光画像に対して色空間変換を行うことによって、前記目標可視光画像の輝度成分及び色成分を取得することと、
前記輝度成分をローパスフィルタリングすることによって、前記目標可視光画像の低周波情報を取得することと、
前記目標非可視光画像をハイパスフィルタリングすることによって、前記目標非可視光画像の高周波情報を取得することと、
前記低周波情報及び前記高周波情報に対して、対応する第２の種類の重み値に基づいて重み付け処理を行うことによって、形成予定の融合後の画像に対応する輝度成分を取得することと、
前記形成予定の融合後の画像に対応する輝度成分及び前記目標可視光画像の色成分を結合して、融合後の画像を取得することと、を含む。
【００９０】
好ましくは、前記低周波情報及び前記高周波情報に対して対応する第２の種類の重み値に基づいて重み付け処理を行うときに利用した公式は
【数２２】
2019530940.tif 000024
であり、
ｙFusは形成予定の融合後の画像に対応する輝度成分を示し、ｙAPは前記目標非可視光画像を示し、ylowは前記低周波情報を示し、yhighは前記高周波情報を示し、ｗは前記低周波情報に対応する第２の種類の重み値を示し、Kは前記高周波情報に対応する第２の種類の重み値を示す。
【００９１】
好ましくは、ｗが前記目標非可視光画像及び目標可視光画像の輝度成分の輝度差によって決定され、
【数２３】
2019530940.tif 000025
ｙAPは前記目標非可視光画像を示し、ｙDは前記目標可視光画像の輝度成分を示し、abs（ｙAP−ｙD）は（ｙAP−ｙD）の絶対値を示し、max（abs（ｙAP−ｙD））はabs（ｙAP−ｙD）の最大値を示す。
【００９２】
好ましくは、前記可視光信号結像ユニットと前記非可視光信号結像ユニットとは９０°をなすように置かれ、前記分光ユニットの反射面と入射光とは４５°をなす。
【００９３】
好ましくは、前記電子機器は更に補光ユニットを備え、前記補光ユニットは前記非可視光信号結像ユニットに対して赤外線補光を行うためのものである。
【００９４】
好ましくは、前記非可視光信号結像ユニットは更に自ら形成した第１の非可視光画像が所定の補光条件を満たすと検出したとき、前記補光ユニットへ補光信号を送信するためのものであり、
前記補光ユニットは具体的に前記補光信号を受信した後、前記非可視光信号結像ユニットに対して赤外線補光を行うためのものである。
【００９５】
好ましくは、前記所定の補光条件は、
前記第１の非可視光画像のS/Nが所定閾値より小さく、又は、前記第１の非可視光画像を結像する際に行われる自動露光処理のゲインレベルが所定レベルより低いことである。
【００９６】
本実施例において、該電子機器のプロセッサはメモリに記憶される実行可能なコードを読み取ることにより前記実行可能なコードに対応するプログラムを実行する。該プログラムが実行されるとき、以下の内容を実行する。つまり、前記第１の可視光画像及び前記第１の非可視光画像を位置合わせて、目標可視光画像及び第２の非可視光画像を取得する。前記第２の非可視光画像に対して輝度調整を行うことによって、目標非可視光画像を取得する。前記目標可視光画像及び前記目標非可視光画像に対して画像融合を行うことによって、融合後の画像を取得する。以上によれば、その物体が異なる波長域の光波に対して反射特性の違いによる画像差異を考慮したため、融合後の画像の色精度を向上させることができる。
【００９７】
ただし、電子機器の実施例は、関わる方法内容が上記方法実施例と略同様であるため、より簡単に説明したが、関連個所は方法実施例の説明の一部を参照すればよい。
【００９８】
本明細書において、第１の及び第２の等の関係用語は１つの実物又は操作を他の実物又は操作と区別するためのものであって、これらの実物又は操作の間にいかなるこのような実際の関係又は順序が存在するように要求又は暗示するためのものではないと説明すべきである。且つ、用語「包括」、「包含」又はいかなる他の変形は非排他的包含を含むことを目的とし、それにより一連の要素を備える過程、方法、品物又は装置はそれらの要素を備えるだけでなく、更に明確に列挙しない他の要素を備え、又は、更にこのような過程、方法、品物又は装置が特有の要素を備える。より多く制限されない場合、語句「１つの〇〇を備える」で制限された要素は、前記要素を備える過程、方法、品物又は装置が更に他の同じ要素を備えることを排除しない。
【００９９】
本明細書における各実施例はいずれも関連方式で説明されるが、各実施例の同様箇所は互いに参照すればよく、各実施例における重点的に説明した箇所はいずれも他の実施例との相違点である。特に、システム実施例は、方法実施例と略同様であるため、より簡単に説明したが、関連個所は方法実施例の説明の一部を参照すればよい。
【０１００】
以上の説明は本願の好適な実施例に過ぎず、本願の保護範囲を制限するためのものではない。本願の主旨及び原則を逸脱せずになされるいかなる修正、等価置換、改良等は、いずれも本願の保護範囲内に含まれる。
【０１０１】
本願は、２０１６年０９月１９日に中国特許局に提出した、出願番号が２０１６１０８３０００５．６で発明の名称が「分光・融合する画像収集装置」である中国特許出願の優先権を主張する。ここで、その内容はすべて援引により本願に取り込まれている。
【図１】
2019530940.tif 000032
【図２】
2019530940.tif 000033
【図３】
2019530940.tif 000034
【図４】
2019530940.tif 000035
【図５】
2019530940.tif 000036
【国際調査報告】
2019530940.tif 000037
2019530940.tif 000038
2019530940.tif 000039
2019530940.tif 000040