(57)【要約】【課題】可視光画像と非可視光画像との合成画像の他に、可視光画像と非可視光画像の情報を有する出力画像を生成する技術を提供することである。【解決手段】画像処理装置は、可視光画像と非可視光画像を合成する合成手段（２０４）と、可視光画像から特定領域の画像を抽出する第１の抽出手段（２０６）と、非可視光画像から特定領域の画像を抽出する第２の抽出手段（２０７）と、合成手段により合成された画像と、第１の抽出手段により抽出された画像と、第２の抽出手段により抽出された画像とを基に、出力画像を生成する生成手段（２０８）とを有する。【選択図】図２
2020120181.tif 000002
【特許請求の範囲】
【請求項１】
可視光画像と非可視光画像を合成する合成手段と、
前記可視光画像から特定領域の画像を抽出する第１の抽出手段と、
前記非可視光画像から特定領域の画像を抽出する第２の抽出手段と、
前記合成手段により合成された画像と、前記第１の抽出手段により抽出された画像と、前記第２の抽出手段により抽出された画像とを基に、出力画像を生成する生成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記合成手段により合成された画像に対して特定領域を検出する検出手段をさらに有し、
前記第１の抽出手段は、前記可視光画像から、前記検出手段により検出された特定領域に対応する画像を抽出し、
前記第２の抽出手段は、前記非可視光画像から、前記検出手段により検出された特定領域に対応する画像を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記検出手段が特定領域を検出できなかった場合には、前記合成手段により合成された画像を基に、出力画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
可視光成分の撮像信号に対して現像処理を行うことにより前記可視光画像を生成する第１の現像処理手段と、
非可視光成分の撮像信号に対して現像処理を行うことにより前記非可視光画像を生成する第２の現像処理手段とをさらに有することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記生成手段は、前記出力画像を表示することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記非可視光画像は、赤外光画像であることを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記特定領域は、所定の被写体を含む領域であることを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
可視光画像と非可視光画像を合成する合成ステップと、
前記可視光画像から特定領域の画像を抽出する第１の抽出ステップと、
前記非可視光画像から特定領域の画像を抽出する第２の抽出ステップと、
前記合成ステップで合成された画像と、前記第１の抽出ステップで抽出された画像と、前記第２の抽出ステップで抽出された画像とを基に、出力画像を生成する生成ステップと
を有することを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１〜７のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
可視光と非可視光（赤外光など）を用いて撮像する撮像装置が知られている。そのような撮像装置では、視覚的に見にくい可視光画像または非可視光画像のどちらか一方に対して、他方の画像データを合成し、補完することで、視認性を向上させる。
【０００３】
例えば、特許文献１では、対向車のヘッドライトで眩惑されて見えなくなった可視光画像に対し、該当する撮像領域に赤外光画像を合成する技術が開示されている。また、特許文献２では、自動追尾している被写体が可視光領域から非可視光領域に移動した場合に、可視光画像の被写体像を遠赤外光画像に合成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−３０８６０９号公報
【特許文献２】特開２０１１−６６８０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮像装置の一例である監視カメラにおいては、視認性が悪い画像であっても重要な情報となる場合がある。例えば、上述の特許文献１では、赤外光画像を可視光画像に合成することでヘッドライトのハレーションを抑制した画像を取得することが可能になる一方、可視光画像の情報が欠落してしまうため、合成箇所の色情報が分からなくなってしまう。上述の特許文献２では、可視光画像を遠赤外画像に合成することで被写体の人相の識別が可能となるが、合成領域における遠赤外光画像の情報が欠落してしまい、遠赤外光画像から取得できる情報（例えば、被写体の体温情報など）が取得できなくなる可能性がある。
【０００６】
本発明の目的は、可視光画像と非可視光画像との合成画像の他に、可視光画像と非可視光画像の情報を有する出力画像を生成する技術を提供することである。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、可視光画像と非可視光画像を合成する合成手段と、前記可視光画像から特定領域の画像を抽出する第１の抽出手段と、前記非可視光画像から特定領域の画像を抽出する第２の抽出手段と、前記合成手段により合成された画像と、前記第１の抽出手段により抽出された画像と、前記第２の抽出手段により抽出された画像とを基に、出力画像を生成する生成手段とを有する。
【発明の効果】
【０００８】
本発明によれば、可視光画像と非可視光画像との合成画像の他に、可視光画像と非可視光画像の情報を有する出力画像を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムの構成例を示すブロック図である。
【図２】画像処理回路の構成例を示すブロック図である。
【図３】画像処理方法を示すフローチャートである。
【図４】画像処理方法を説明するための図である。
【発明を実施するための形態】
【００１０】
図１は、本発明の実施形態による画像処理システム１００の構成例を示すブロック図である。画像処理システム１００は、撮像装置１１６と、クライアント端末装置１１８とを有する。撮像装置１１６は、ローカルエリアネットワーク（ＬＡＮ）１１７を介して、クライアント端末装置１１８に接続される。
【００１１】
撮像装置１１６は、ズームレンズ群１０１と、ズーム制御回路１０２と、フォーカスレンズ群１０３と、フォーカス制御回路１０４と、絞り１０５と、絞り制御回路１０６と、波長分離プリズム１０７と、可視光撮像素子１０８と、可視光増幅器１０９とを有する。さらに、撮像装置１１６は、赤外光撮像素子１１０と、赤外光増幅器１１１と、画像処理回路１１３と、ネットワーク処理回路１１４と、ＣＰＵ１１５とを有する。
【００１２】
ズームレンズ群１０１は、複数レンズ、ズームレンズモータ、ラック等を有する。ズームレンズ群１０１では、ズーム制御回路１０２の出力信号に基づいて、複数レンズが光軸に対して前後に動き、焦点距離が変更される。
【００１３】
フォーカスレンズ群１０３は、複数レンズ、フォーカスレンズモータ、ラック等を有する。フォーカスレンズ群１０３では、フォーカス制御回路１０４の出力信号に基づいて、複数レンズが光軸に対して前後に動き、フォーカス位置が至近から無限までの任意の位置へ変更される。
【００１４】
絞り１０５は、被写体からの光線に対して開閉動作することで絞り値を変更する。絞り１０５は、絞り制御回路１０６の出力信号に基づいて、絞りモータ等によって開閉動作する。なお、絞り１０５は、閉じ切ることによって、被写体からの光線を遮るメカシャッタとして用いることが可能である。
【００１５】
ここで、ズームレンズ群１０１、フォーカスレンズ群１０３を含む光学系は、可視光や非可視光（赤外光等）の複数の波長成分を含む光を集光可能であり、レンズ部に相当する。また、絞り１０５は、可視光撮像素子１０８と赤外光撮像素子１１０へ結像する光を減光するための減光部に相当する。なお、絞り１０５は、減光部としての絞り機構に加えて、レンズ部を透過する光を減光するためのＮＤフィルタや偏光フィルタ等の光学フィルタを別途備えてもよい。
【００１６】
波長分離プリズム１０７は、被写体光を波長毎に分離する。波長分離プリズム１０７は、ズームレンズ群１０１、フォーカスレンズ群１０３および絞り１０５を通過した被写体光に含まれる波長４００ｎｍ〜７００ｎｍ程度の可視光成分と波長７００ｎｍ以上の非可視光成分（赤外光成分）を分離する。波長分離プリズム１０７において、被写体光に含まれる可視光成分は、波長分離プリズム１０７を透過直進する。この透過直進した可視光成分を主光成分とする。一方、被写体光に含まれる非可視光成分（赤外光成分）は、波長分離プリズム１０７のミラー面で反射する。この反射した非可視光成分（赤外光成分）を副光成分とする。以下、非可視光成分が赤外光成分である例を説明する。
【００１７】
可視光撮像素子１０８は、可視光領域の光に対して感度をもつ撮像素子である。波長分離プリズム１０７を透過直進した主光成分は、可視光撮像素子１０８に結像される。可視光撮像素子１０８は、主光成分を電気的な撮像信号に変換する。可視光増幅器１０９は、可視光撮像素子１０８により変換された撮像信号を、所定の信号レベルに増幅する。可視光増幅器１０９は、アナログデジタル変換器を含み、増幅した撮像信号をアナログからデジタルに変換し、デジタルの可視光信号を画像処理回路１１３に出力する。なお、可視光撮像素子１０８と可視光増幅器１０９は、不図示のタイミングジェネレータからの信号によって同期駆動される。
【００１８】
赤外光撮像素子１１０は、赤外光領域（非可視光領域）の光に対して感度をもつ撮像素子である。波長分離プリズム１０７を反射した副光成分は、赤外光撮像素子１１０に結像される。赤外光撮像素子１１０は、副光成分を電気的な撮像信号に変換する。赤外光増幅器１１１は、赤外光撮像素子１１０により変換された撮像信号を、所定の信号レベルに増幅する。赤外光増幅器１１１は、アナログデジタル変換器を含み、増幅した撮像信号をアナログからデジタルに変換し、デジタルの赤外光信号を画像処理回路１１３に出力する。なお、赤外光撮像素子１１０と赤外光増幅器１１１は、不図示のタイミングジェネレータからの信号によって同期駆動される。
【００１９】
画像処理回路１１３は、画像処理装置であり、可視光信号と赤外光信号のそれぞれに対して、現像処理、カラーバランス処理、ガンマ処理、ノイズ低減処理等の各種処理を行い、画像信号を生成する。さらに、画像処理回路１１３は、ピント調整や露出調整のための評価値算出、可視光信号と赤外光信号の合成処理等を行う。画像処理回路１１３のより詳細な説明は後述する。
【００２０】
ネットワーク処理回路１１４は、画像処理回路１１３から出力される画像信号に対して、通信プロトコルに準拠して変換した上で、ＬＡＮ１１７を介して、クライアント端末装置１１８に送信する。また、ネットワーク処理回路１１４は、ＬＡＮ１１７を介して、クライアント端末装置１１８に対して、撮像装置１１６を制御するための制御信号を通信プロトコルに準拠して送受信する。また、ネットワーク処理回路１１４は、Ｈ．２６４やＨ．２６５等の圧縮符号化処理や所定の文字や画像を画像信号中に重畳するＯＳＤ処理を行う。
【００２１】
ＣＰＵ１１５は、撮像装置１１６の各構成要素を統括的に制御し、各種パラメータ等の設定を行う。具体的には、ＣＰＵ１１５は、ズーム制御回路１０２、フォーカス制御回路１０４、絞り制御回路１０６、画像処理回路１１３およびネットワーク処理回路１１４の制御を行う。また、ＣＰＵ１１５は、電気的にデータを消去可能なデータ記憶部を含み、データ記憶部に記憶されたプログラムを実行することにより動作する。なお、データ記憶部は、ＣＰＵ１１５が実行するプログラム格納領域、プログラム実行中のワーク領域、可視光信号や赤外光信号等の一時的なデータ格納領域等として使用される。
【００２２】
撮像装置１１６は、ＬＡＮ１１７経由でクライアント端末装置１１８と通信する撮像装置の一例であり、例えば動画像を撮像する監視カメラである。例えば、撮像装置１１６は、監視に用いられるネットワークカメラであるが、これに限定されるものではない。
【００２３】
ＬＡＮ１１７は、撮像装置１１６に対して、ＬＡＮケーブル等によって接続され、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足するルータ、スイッチ、ケーブル等を有する。ＬＡＮ１１７には、複数の撮像装置１１６と、クライアント端末装置１１８が接続される。なお、ＬＡＮ１１７は、撮像装置１１６とクライアント端末装置１１８との間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。
【００２４】
例えば、ＬＡＮ１１７は、有線ＬＡＮ、無線ＬＡＮ、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等でもよい。また、ＬＡＮ１１７は、ネットワーク上にクラウドを介する構成でもよい。撮像装置１１６は、例えば、ＰｏＥ（Ｐｏｗｅｒ  Ｏｖｅｒ  Ｅｔｈｅｒｎｅｔ（登録商標））に対応していてもよく、ＬＡＮケーブルを介して電力が供給されてもよい。
【００２５】
クライアント端末装置１１８は、ＬＡＮ１１７を介して、撮像装置１１６に対して相互に通信可能な状態に接続されている。クライアント端末装置１１８は、制御ツールを用いて、撮像装置１１６からの画像を受信し、表示し、録画する。また、クライアント端末装置１１８は、撮像装置１１６を制御するための制御情報（各種コマンド等）を送受信することにより、撮像装置１１６に対して各種制御を行うことができる。
【００２６】
また、撮像装置１１６のネットワーク処理回路１１４は、通信部を有し、画像に対する各種設定の指示や、被写体像に対する露出制御の指示や、符号化に関する指示等の設定コマンドを含む制御コマンドを、クライアント端末装置１１８から受信する。ＣＰＵ１１５は、画像に対する設定コマンドを解析する。また、ＣＰＵ１１５は、データ記憶部に画像設定情報を記憶し、データ記憶部に記憶されている画像設定情報に従って、各構成要素に対して設定を行う。また、ネットワーク処理回路１１４に含まれる通信部は、クライアント端末装置１１８からのコマンドに対するレスポンスの送信を行う。クライアント端末装置１１８は、このレスポンスを受信することによって、撮像装置１１６の情報を取得する。
【００２７】
図２は、図１の画像処理回路１１３の構成例を示すブロック図である。画像処理回路１１３は、可視光現像処理部２０１と、赤外光現像処理部２０３と、画像合成部２０４と、特定領域検出部２０５と、特定領域画像抽出部２０６と、特定領域画像抽出部２０７と、出力画像生成部２０８とを有する。
【００２８】
可視光現像処理部２０１は、図１の可視光増幅器１０９が出力する可視光信号に対して現像処理を行い、可視光画像を生成する。赤外光現像処理部２０３は、図１の赤外光増幅器１１１が出力する赤外光信号に対して現像処理を行い、赤外光画像（非可視光画像）を生成する。
【００２９】
画像合成部２０４は、可視光現像処理部２０１により生成された可視光画像と、赤外光現像処理部２０３により生成された赤外光画像を合成し、合成画像を生成する。例えば、画像合成部２０４は、予め定められた所定の合成割合で、可視光画像と赤外光を合成するが、これに限定されない。画像合成部２０４は、可視光画像および赤外光画像の輝度値等による画像評価結果に基づき合成割合を算出してもよい。また、画像合成部２０４は、領域ごとに画像評価を実施し、領域ごとに合成割合を変えてもよい。
【００３０】
特定領域検出部２０５は、画像合成部２０４により生成された合成画像に対して、予め定められた所定の被写体を含む特定領域を検出する。所定の被写体は、例えば車体であるが、これに限定されず、例えば人体やその一部（例えば、顔）でもよい。また、所定の被写体は、ユーザが任意の被写体を選択してもよい。その場合、特定領域検出部２０５は、クライアント端末装置１１８から受信したユーザの選択結果に基づいた被写体を検出する。また、特定領域検出部２０５は、所定の被写体を含む領域の可視光画像と赤外光画像のヒストグラムを比較し、その差が大きい場合のみ特定領域を検出してもよく、任意の検出条件を設けてもよい。
【００３１】
特定領域画像抽出部２０６は、可視光現像処理部２０１により生成された可視光画像から、特定領域検出部２０５により検出された特定領域に対応する画像を抽出する。特定領域画像抽出部２０７は、赤外光現像処理部２０３により生成された赤外光画像から、特定領域検出部２０５により検出された特定領域に対応する画像を抽出する。
【００３２】
出力画像生成部２０８は、画像合成部２０４により生成された合成画像と、特定領域画像抽出部２０６により抽出された画像と、特定領域画像抽出部２０７により抽出された画像とを基に、出力画像を生成する。そして、出力画像生成部２０８は、その生成した出力画像を、図１のネットワーク処理回路１１４に出力する。ネットワーク処理回路１１４は、ＬＡＮ１１７を介して、その出力画像をクライアント端末装置１１８に送信する。
【００３３】
なお、特定領域画像抽出部２０６および２０７は、それぞれ、可視光画像および赤外光画像に対して特定領域の画像を抽出する例を説明したが、これに限定されない。例えば、画像合成部２０４における可視光画像の合成割合が閾値より高い場合は、特定領域画像抽出部２０７のみが赤外光画像に対して特定領域の画像を抽出し、特定領域画像抽出部２０６は可視光画像に対して特定領域の画像を抽出しない。また、画像合成部２０４における赤外光画像の合成割合が閾値より高い場合は、特定領域画像抽出部２０６のみが可視光画像に対して特定領域の画像を抽出し、特定領域画像抽出部２０７は赤外光画像に対して特定領域の画像を抽出しない。
【００３４】
図３は撮像装置１１６の画像処理方法を示すフローチャートであり、図４は撮像装置１１６の画像処理方法を説明するための図である。まず、ステップＳ３０１では、ＣＰＵ１１５は、出力画像生成の処理を開始する。
【００３５】
次に、ステップＳ３０２では、可視光撮像素子１０８は、可視光成分を撮像信号に変換する。可視光増幅器１０９は、可視光撮像素子１０８により変換された撮像信号を増幅し、その増幅した撮像信号をアナログからデジタルに変換する。可視光現像処理部２０１は、可視光増幅器１０９が出力する可視光成分の撮像信号に対して現像処理を行い、可視光画像４０１を生成する。
【００３６】
赤外光撮像素子１１０は、赤外光成分を撮像信号に変換する。赤外光増幅器１１１は、赤外光撮像素子１１０により変換された撮像信号を増幅し、その増幅した撮像信号をアナログからデジタルに変換する。赤外光現像処理部２０３は、赤外光増幅器１１１が出力する赤外光成分の撮像信号に対して現像処理を行い、赤外光画像４０２を生成する。
【００３７】
次に、ステップＳ３０３では、画像合成部２０４は、所定の合成割合で、可視光現像処理部２０１により生成された可視光画像４０１と、赤外光現像処理部２０３により生成された赤外光画像４０２を合成し、合成画像４０３を生成する。
【００３８】
次に、ステップＳ３０４では、特定領域検出部２０５は、画像合成部２０４により生成された合成画像４０３に対して、所定の被写体（例えば車体）を含む特定領域４０４を検出する。特定領域検出部２０５は、特定領域４０４を検出できた場合には、合成画像４０３内に特定画像４０４が存在するので、ステップＳ３０５に進む。
【００３９】
ステップＳ３０５では、特定領域画像抽出部２０６は、可視光現像処理部２０１により生成された可視光画像４０１から、特定領域検出部２０５により検出された特定領域４０４に対応する画像４０６を抽出する。特定領域画像抽出部２０７は、赤外光現像処理部２０３により生成された赤外光画像４０２から、特定領域検出部２０５により検出された特定領域４０４に対応する画像４０７を抽出する。
【００４０】
次に、ステップＳ３０６では、出力画像生成部２０８は、画像合成部２０４により生成された合成画像４０３と、特定領域画像抽出部２０６により抽出された画像４０６と、特定領域画像抽出部２０７により抽出された画像４０７を基に、出力画像４０５を生成する。また、出力画像生成部２０８は、出力画像４０５を表示してもよい。その後、ステップＳ３０７では、ＣＰＵ１１５は、出力画像生成の処理を終了する。
【００４１】
ステップＳ３０４において、特定領域検出部２０５は、特定領域４０４を検出できなかった場合には、合成画像４０３内に特定領域４０４が存在しないので、ステップＳ３０６に進む。ステップＳ３０６では、出力画像生成部２０８は、画像合成部２０４により生成された合成画像４０３を基に、出力画像４０５を生成する。また、出力画像生成部２０８は、出力画像４０５を表示してもよい。その後、ステップＳ３０７では、ＣＰＵ１１５は、出力画像生成の処理を終了する。
【００４２】
出力画像生成部２０８は、その生成した出力画像４０５を、図１のネットワーク処理回路１１４に出力する。ネットワーク処理回路１１４は、ＬＡＮ１１７を介して、その出力画像４０５をクライアント端末装置１１８に送信する。クライアント端末装置１１８は、その出力画像４０５を表示する。
【００４３】
特定領域４０４内の所定の被写体である車は、ヘッドライトの分光特性により、可視光画像４０１では白とびしてしまう一方、赤外光画像４０２では鮮明な画像となる場合がある。また、特定領域４０４内の車は、フロントガラスの反射・透過率特性により、可視光画像４０１では車内の様子が監視できる一方、赤外光画像４０２では監視できない場合がある。合成画像４０３は、これら可視光画像４０１と赤外光画像４０２の良いところを合わせ持つ。また、出力画像４０５は、車種ごとにヘッドライトの分光特性やフロントガラスの反射・透過率特性が異なる場合においても、情報を欠落することがない画像を有する。
【００４４】
出力画像４０５は、合成画像４０３の他に、可視光画像４０６と赤外光画像４０７を有する。合成画像４０３の特定領域４０４は、可視光画像の情報（被写体の色情報）が欠落している。これに対し、可視光画像４０６は、被写体の色情報を有する画像である。また、合成画像４０３の特定領域４０４は、赤外光画像の情報（例えば、被写体の温度情報など）が欠落している。これに対し、被写体の温度情報を有する画像であり、低ノイズ画像である。
【００４５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４７】
１０８：可視光撮像素子、１１０：赤外光撮像素子、１１３：画像処理回路、２０１：可視光現像処理部、２０３：赤外光現像処理部、２０４：画像合成部、２０５：特定領域検出部、２０６，２０７：特定領域画像抽出部、２０８：出力画像生成部
【図１】
2020120181.tif 000003
【図２】
2020120181.tif 000004
【図３】
2020120181.tif 000005
【図４】
2020120181.tif 000006