(57)【要約】【課題】可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法を提供する。【解決手段】同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、可視光画像のブラー（ぼけ）の態様を推定するブラー推定部と、ブラー推定部のブラー推定結果を入力して、可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有する。ブラー推定部は、遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、ブラー除去部は、ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する。【選択図】図６
2019046276.tif 000002
【特許請求の範囲】
【請求項１】
同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、
前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、
前記ブラー推定部は、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、
前記ブラー除去部は、
前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する画像処理装置。
【請求項２】
前記ブラー推定部は、
前記可視光画像の分割領域であるブロック単位で、フィルタを選択し、
前記ブラー除去部は、
前記可視光画像の分割領域であるブロック単位で、前記フィルタに対応する逆フィルタを選択して適用する請求項１に記載の画像処理装置。
【請求項３】
前記ブラー推定部は、
異なる多数の点広がり関数対応のフィルタを保持するフィルタバンクから、異なるフィルタを順次、取得して前記遠赤外画像に適用するフィルタ処理部と、
前記フィルタ処理部の生成したフィルタ適用遠赤外画像と、前記可視光画像との相関を、画像の分割領域であるブロック単位で算出する相関演算部を有する請求項１に記載の画像処理装置。
【請求項４】
前記ブラー除去部は、
前記フィルタバンクに格納されたフィルタと逆特性を持つ逆フィルタを格納した逆フィルタバンクから、前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを選択して、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する逆フィルタ処理部を有する請求項３に記載の画像処理装置。
【請求項５】
前記画像処理装置は、
前記ブラー推定部におけるブラー推定処理の前に、前記ブラー推定部における相関算出の精度を高める前処理を実行する前処理部を有する請求項１に記載の画像処理装置。
【請求項６】
前記前処理部は、
可視光画像と遠赤外画像の勾配画像を生成する勾配画像生成部であり、
前記ブラー推定部は、
前記勾配画像生成部の生成した可視光勾配画像と、遠赤外勾配画像を入力して、
前記遠赤外勾配画像にフィルタを適用したフィルタ適用遠赤外勾配画像と、前記可視光勾配画像との相関を算出する請求項５に記載の画像処理装置。
【請求項７】
前記前処理部は、
可視光画像と遠赤外画像の帯域制限画像を生成する帯域制限画像生成部であり、
前記ブラー推定部は、
前記帯域制限画像生成部の生成した可視光帯域制限画像と、遠赤外帯域制限画像を入力して、
前記遠赤外帯域制限画像にフィルタを適用したフィルタ適用遠赤外帯域制限画像と、前記可視光帯域制限画像との相関を算出する請求項５に記載の画像処理装置。
【請求項８】
前記前処理部は、
可視光画像に基づく疑似遠赤外画像を生成する疑似遠赤外画像生成部であり、
前記ブラー推定部は、
前記疑似遠赤外画像生成部の生成した疑似遠赤外画像と、遠赤外画像を入力して、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記疑似遠赤外画像との相関を算出する請求項５に記載の画像処理装置。
【請求項９】
前記前処理部は、
遠赤外画像に基づく疑似可視光画像を生成する疑似可視光画像生成部であり、
前記ブラー推定部は、
前記可視光画像と、前記疑似可視光画像生成部の生成した疑似可視光画像を入力して、
前記疑似可視光画像にフィルタを適用したフィルタ適用疑似可視光画像と、前記可視光画像との相関を算出する請求項５に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、
前記ブラー推定部におけるブラー推定結果の信頼度を算出する信頼度算出部を有し、
前記ブラー除去部は、
前記信頼度算出部の算出した信頼度が低い場合は、前記可視光画像に対する逆フィルタの適用強度を弱める処理を行う請求項１に記載の画像処理装置。
【請求項１１】
前記信頼度算出部は、
前記ブラー推定部において選択されたフィルタに対応して算出された相関値に応じて、相関値が高い場合は高信頼度、相関値が低い場合は低信頼度とする信頼度の算出を行う請求項１０に記載の画像処理装置。
【請求項１２】
前記信頼度算出部は、
前記ブラー推定部において選択されたフィルタの妥当性に基づく信頼度の算出を行う請求項１０に記載の画像処理装置。
【請求項１３】
前記信頼度算出部は、
前記ブラー推定部において選択されたフィルタが、複数方向のラインに沿ったブラーを発生させるようなフィルタである場合、低信頼度とし、
前記ブラー推定部において選択されたフィルタが、一方向のラインに沿ったブラーを発生させるようなフィルタである場合、高信頼度とする信頼度算出処理を実行する請求項１２に記載の画像処理装置。
【請求項１４】
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、
前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、
前記ブラー推定部が、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、
前記ブラー除去部が、
前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する画像処理方法。
【請求項１５】
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、
前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、
前記プログラムは、前記ブラー推定部に、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択させ、
前記ブラー除去部に、
前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、同一被写体を撮影した可視光画像と赤外線画像を入力して、可視光画像のブラー（ぼけ）を低減する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
夜間等の暗い環境で可視光画像を撮影する場合、露光時間を長くする必要があり、その結果、カメラの動きや被写体の動きに起因するぼけであるブラーが発生しやすくなる。
【０００３】
この問題を解決する従来技術として、例えば特許文献１（特開２００３−２０９７３５号公報）に開示された技術がある。
特許文献１は、可視光カメラによって連続的に撮影された複数の画像を利用して画像の動きを解析し、この動き解析結果に基づいてぼけ補正を行う技術を開示している。
【０００４】
しかし、上記特許文献１に記載の構成では、複数の連続撮影された画像が必要であり、静止画に対する処理は実行できないという問題がある。また、複数の連続撮影画像から画像の動きを解析する処理が必要であり、各画像対応の即時的処理ができないという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２０９７３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示は、例えば、上記の問題点に鑑みてなされたものであり、複数の連続撮影画像を用いることなく、可視光画像と赤外線画像を用いて可視光画像のブラー（ぼけ）の解消または低減を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の第１の側面は、
同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、
前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、
前記ブラー推定部は、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、
前記ブラー除去部は、
前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する画像処理装置にある。
【０００８】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、
前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、
前記ブラー推定部が、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、
前記ブラー除去部が、
前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する画像処理方法にある。
【０００９】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、
前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、
前記プログラムは、前記ブラー推定部に、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択させ、
前記ブラー除去部に、
前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成させるプログラムにある。
【００１０】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００１１】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００１２】
本開示の一実施例の構成によれば、可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法が実現される。
具体的には、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、可視光画像のブラー（ぼけ）の態様を推定するブラー推定部と、ブラー推定部のブラー推定結果を入力して、可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有する。ブラー推定部は、遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、ブラー除去部は、ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する。
これらの処理により、可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１３】
【図１】本開示の画像処理装置の実行する処理の概要について説明する図である。
【図２】撮影画像の種類と光の波長との対応関係について説明する図である。
【図３】可視光画像と遠赤外画像の例について説明する図である。
【図４】本開示の画像処理装置の構成例と処理例について説明する図である。
【図５】本開示の実施例１の画像処理装置の構成例と処理例について説明する図である。
【図６】本開示の実施例１の画像処理装置の構成例と処理例について説明する図である。
【図７】本開示の実施例１の画像処理装置の構成例と処理例について説明する図である。
【図８】本開示の実施例１の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図９】本開示の実施例２の画像処理装置の構成例と処理例について説明する図である。
【図１０】本開示の実施例２の画像処理装置の実行する処理の処理例について説明する図である。
【図１１】本開示の実施例２の画像処理装置の構成例と処理例について説明する図である。
【図１２】本開示の実施例２の画像処理装置の実行する処理の処理例について説明する図である。
【図１３】本開示の実施例２の画像処理装置の構成例と処理例について説明する図である。
【図１４】本開示の実施例２の画像処理装置の構成例と処理例について説明する図である。
【図１５】本開示の実施例２の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図１６】本開示の実施例２の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図１７】本開示の実施例３の画像処理装置の構成例と処理例について説明する図である。
【図１８】本開示の実施例３の画像処理装置の実行する処理の処理例について説明する図である。
【図１９】本開示の実施例３の画像処理装置の構成例と処理例について説明する図である。
【図２０】本開示の実施例３の画像処理装置の実行する処理の処理例について説明する図である。
【図２１】本開示の実施例３の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図２２】本開示の実施例４の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図２３】本開示の実施例４の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図２４】画像処理装置のハードウェア構成例について説明する図である。
【図２５】本開示の画像処理装置の機能を有する車両制御システムの構成例について説明する図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本開示の画像処理装置の構成と処理の概要について
２．本開示の画像処理装置の具体例について
３．（実施例１）基本構成例Ａ対応の画像処理装置の構成と処理について
４．（実施例２）（Ａ＋Ｂ）ブラー推定前に前処理を行う画像処理装置の構成と処理について
５．（実施例３）（Ａ＋Ｃ）ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成と処理について
６．（実施例４）基本構成（Ａ）＋前処理（Ｂ）＋信頼度に応じたブラー除去処理（Ｃ）の全てを実行する画像処理装置の処理について
７．画像処理装置のハードウェア構成例について
８．車両に本開示の画像処理装置を備えた車両制御システムの構成例について
９．本開示の構成のまとめ
【００１５】
［１．本開示の画像処理装置の構成と処理の概要について］
まず、図１以下を参照して本開示の画像処理装置の構成と処理の概要について説明する。
図１は、本開示の画像処理装置の実行する処理の概要を説明する図である。
本開示の画像処理装置は、同一被写体を撮影した可視光画像と赤外線画像を入力して、可視光画像のブラー（ぼけ）を低減させる処理を実行する。
【００１６】
夜間等の暗い環境で可視光画像を撮影する場合、露光時間を長くする必要があり、その結果、カメラの動きや被写体の動きに起因するブラーが発生しやすくなる。
本開示の画像処理装置は、例えば、このような環境下で撮影された可視光画像のブラーを低減させるため、同じ被写体を同時に撮影した遠赤外画像を利用する。
【００１７】
赤外線画像は、被写体から発せられる熱に応じた画素値が設定された画像であり、例えば人の体温を検出することができる。従って、例えば暗闇等において熱を発生する人物等を撮影することが可能であり、監視カメラ等に利用される。
赤外線の中でも波長の長い遠赤外線は、熱に対してより高感度であり、露光時間の短い撮影でも人等の熱を発生する被写体を比較的、明瞭に撮影することができる。
【００１８】
夜間等、暗闇での可視光画像の撮影合には、露光時間を長くすることが必要であり、カメラや被写体の動きに応じたブラー（ぼけ）が大きくなる。
しかし、遠赤外画像は、暗闇で露光時間を短く設定して撮影しても熱を発生させる被写体、例えば人等を明瞭に撮影できる。
本開示の画像処理装置は、これら可視光画像と、遠赤外画像の特性の違いを利用して、ブラーの大きな可視光画像の補正を行う。すなわち、ブラーの少ない赤外画像を参照画像として用いて補正（ブラー除去）処理を行って、ブラーを解消または低減した可視光画像を生成する。
【００１９】
図１を参照して本開示の画像処理装置の実行する処理の概要について説明する。
図１に示すように、本開示の画像処理装置は、同一被写体を同時に撮影したブラーあり可視光画像１１と、ブラーなし遠赤外画像１２を入力する。
【００２０】
本開示の画像処理装置は、まず、ステップＳ２０において、これら２つの画像を利用して、可視光画像のブラー推定を行う。
具体的には、例えば、画像のぼけ量を示す関数である点広がり関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）の推定を行う。
ＰＳＦは、ある画素位置の画素値の周囲に対するひろがり具合、すなわちぼけ量やぼけ態様を示す関数である。
【００２１】
ステップＳ２０では、ブラーなし遠赤外画像１２に対して、様々な点広がり関数（ＰＳＦ）対応のフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを適用して、故意にブラーを発生させた遠赤外画像を生成し、このフィルタ適用遠赤外画像と、ブラーあり可視光画像１１を比較（相関算出）する。
この比較処理（相関算出）に基づいて、ブラーあり可視光画像１１のブラー（ぼけ）と同様のブラー（ぼけ）を発生させる点広がり関数（ＰＳＦ）対応のフィルタを選択する。
【００２２】
なお、このステップＳ２０において選択しようとするフィルタは、ブラー（ぼけ）のない可視光画像に適用した場合、ブラーあり可視光画像１１が生成されるフィルタに相当する。
しかし、撮影画像として、ブラー（ぼけ）のない可視光画像は取得できていないため、その代替画像として、ブラーなし遠赤外画像１２を利用するものである。
すなわち、ブラーなし遠赤外画像１２に適用することで、ブラーあり可視光画像１１に存在するブラー（ぼけ）と同様のブラー（ぼけ）が発生するフィルタを選択、または点広がり関数（ＰＳＦ）を算出する。
【００２３】
次に、ステップＳ４０において、可視光画像のブラーを除去する処理を行う。
ブラー除去処理は、上記の点広がり関数：ＰＳＦ＝ｐ（ｘ，ｙ）で示される特性を持つフィルタと逆の特性を持つ逆フィルタを生成して、生成した逆フィルタをブラーあり可視光画像１１に適用する処理である。
この逆フィルタの適用処理により、ブラーあり可視光画像１１から、ブラー（ぼけ）が除去され、ブラー低減可視光画像１３が生成される。
【００２４】
なお、ステップＳ４０の可視光画像ブラー除去処理は、デコンボリューション処理とよばれる周波数領域でのフィルタ処理が適用可能である。
ブラーあり可視光画像１１の点広がり関数（ＰＳＦ）＝ｐ（ｘ，ｙ）とし、
ブラーあり可視光画像１１をｂ（ｘ，ｙ）、ブラーのない真の可視光画像をｓ（ｘ，ｙ）としたとき、それぞれのフーリエ変換を、Ｐ（ｕ，ｖ），Ｂ（ｕ，ｖ），Ｓ（ｕ，ｖ）とすると、以下の関係式が成立する。
ｂ（ｘ，ｙ）＝ｐ（ｘ，ｙ）＊ｓ（ｘ，ｙ）
Ｂ（ｕ，ｖ）＝Ｐ（ｕ，ｖ）・Ｓ（Ｕ，ｖ）
なお、＊はコンボリューション演算である。
【００２５】
さらに、フーリエ変換をＦＴ［］としたとき、
Ｂ（ｕ，ｖ）＝ＦＴ［ｂ（ｘ，ｙ）］
Ｐ（ｕ，ｖ）＝ＦＴ［ｐ（ｘ，ｙ）］
Ｓ（ｕ，ｖ）＝ＦＴ［ｓ（ｘ，ｙ）］
上記関係式が成立する。
【００２６】
ブラーのない真の可視光画像：ｓ（ｘ，ｙ）を算出する処理は、ブラーあり可視光画像１１：ｂ（ｘ，ｙ）から、ブラーのない真の可視光画像：ｓ（ｘ，ｙ）を算出する処理（＝Ｂ（ｕ，ｖ）からＳ（ｕ，ｖ）を算出する処理と同様）であり、この処理を行うフィルタを、デコンボリューションフィルタと呼び、このフィルタ適用処理をデコンボリューション処理と呼ぶ。
デコンボリューションフィルタは、ＰＳＦ＝ｐ（ｘ，ｙ）で示される特性を持つフィルタと逆の特性を持つ逆フィルタである。
【００２７】
このように、ステップＳ４０では、ステップＳ２０で推定したブラーあり可視光画像１１のブラー態様を示すＰＳＦ＝ｐ（ｘ，ｙ）で示される特性を持つフィルタと逆特性を持つ逆フィルタを生成して、生成した逆フィルタをブラーあり可視光画像１１に適用する。すなわち、「デコンボリューション処理」を実行して、ブラーあり可視光画像１１から、ブラー（ぼけ）を除去したブラー低減可視光画像１３を生成する。
【００２８】
次に、図２を参照して可視光画像と、赤外線画像について説明する。
図２に示すように、可視光画像は、波長が約０．４μｍ〜０．７μｍの範囲の画像であり、一般的なカメラで撮影されるＲＧＢ画像等のカラー画像である。
一方赤外線画像は、波長が．０．７μｍ以上の長波長光からなる画像である。赤外線画像を撮影する赤外画像撮影カメラは、例えば暗闇等において熱を発生する人物等を撮影することが可能であり、監視カメラ等に利用される。
なお、赤外線は、図２に示すように、
波長が約０．７〜１μｍの近赤外線、
波長が約３〜５μｍの中赤外線、
波長が約８〜１４μｍの遠赤外線、
このように区分される。
【００２９】
以下に説明する実施例では、主に波長が約８〜１４μｍの遠赤外線の撮影画像である遠赤外画像を利用した画像処理例について説明する。
ただし、本開示の処理は、遠赤外画像に限らず、その他の赤外画像を利用した処理にも適用可能である。
【００３０】
先に説明したように、夜間等の暗い環境で可視光画像を撮影する場合、露光時間を長くする必要があり、その結果、カメラの動きや被写体の動きに起因するブラーが発生しやすくなる。一方、遠赤外画像は、露光時間を短くした撮影を行っても、人等の熱を発生する被写体を明瞭に撮影することができる。
具体的な撮影画像の例を図３に示す。
【００３１】
図３には、夜間の交差点で撮影した可視光画像と遠赤外画像の撮影画像の例を示している。
これら２つの画像は、暗い環境での撮影画像であり、可視光画像は長時間露光を行っている。
（１）可視光画像、（２）遠赤外画像を比較すると、（１）可視光画像のブラー（ぼけ）が大きく、人の姿がほとんど認識できないが、（２）遠赤外画像には、人の姿が明瞭に示されている。
これは、遠赤外画像は、露光時間が短く、ほとんどブラー（ぼけ）が発生しないためである。
【００３２】
本開示の画像処理装置は、このように、ほとんどブラーが発生しない遠赤外画像を参照画像として用いて、ブラーの発生した可視光画像の補正を行い、ブラーを除去または低減した可視光画像を生成するものである。
【００３３】
［２．本開示の画像処理装置の具体例について］
次に、本開示の画像処理装置の具体例について説明する。
図４は、本開示の画像処理装置の複数の構成例を示している。
（Ａ）基本構成例
（Ａ＋Ｂ）基本構成（Ａ）＋ブラー推定前に前処理を行う構成例
（Ａ＋Ｃ）基本構成（Ａ）＋ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成例
（Ａ＋Ｂ＋Ｃ）基本構成（Ａ）＋前処理（Ｂ）＋信頼度に応じたブラー除去処理（Ｃ）の全てを実行する構成例
【００３４】
本開示の画像処理装置には、図４に示すような様々な構成例がある。
後段で、これらの各構成例の具体的な構成と処理について説明するが、まず、これら４種類の構成に応じた処理の概要について説明する。
【００３５】
（Ａ）基本構成例
この基本構成例は、図１を参照して説明した処理と同様、ステップＳ２０におけるブラー推定処理と、ステップＳ４０におけるブラー除去処理を行う構成例である。
【００３６】
まず、ステップＳ２０において、同一被写体を同時に撮影したブラーあり可視光画像１１とブラーなし遠赤外画像１２を入力し、これらの２つの画像を比較して、ブラーあり可視光画像１１のブラー推定処理を行う。
【００３７】
具体的には、ブラーなし遠赤外画像１２に対して、様々な点広がり関数（ＰＳＦ）対応のフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを適用して、故意にブラーを発生させた遠赤外画像を生成し、このフィルタ適用遠赤外画像と、ブラーあり可視光画像１１を比較（相関算出）する。
この比較処理（相関算出）に基づいて、ブラーあり可視光画像１１のブラー（ぼけ）と同様のブラー（ぼけ）を発生させる点広がり関数（ＰＳＦ）対応のフィルタを選択する。
【００３８】
すなわち、ブラーなし遠赤外画像１２に様々なフィルタを適用してブラーを発生させて、ブラーあり可視光画像１１と比較することで、ブラーあり可視光画像１１のブラー態様と同じブラー（ぼけ）を発生させるフィルタを選択、または点広がり関数（ＰＳＦ）を算出する。
なお、フィルタ選択は、例えば、所定の画素ブロック単位で実行される。
【００３９】
さらに、ステップＳ４０において、ステップＳ２０で推定したブラーあり可視光画像１１のブラー態様を示すＰＳＦ特性と同様の特性を持つフィルタと逆の特性を持つ逆フィルタを選択、または生成して、選択または生成した逆フィルタをブラーあり可視光画像１１に適用するデコンボリューション処理を実行して、ブラーあり可視光画像１１から、ブラー（ぼけ）を除去したブラー低減可視光画像１３を生成する。
なお、逆フィルタの適用処理は、例えば、所定の画素ブロック単位で実行される。
【００４０】
（Ａ＋Ｂ）基本構成（Ａ）＋ブラー推定前に前処理を行う構成例
次に、（Ａ＋Ｂ）の構成について説明する。
この構成は、基本構成（Ａ）の処理に追加して、「ブラー推定前の前処理」を行う構成例である。
【００４１】
この（Ａ＋Ｂ）の構成では、図４の２番目の（Ａ＋Ｂ）の図に示すように、ステップＳ２０におけるブラー推定処理の前段階のステップＳ１１，Ｓ１２の処理として、ブラーあり可視光画像１１とブラーなし遠赤外画像１２に対する前処理を実行する。
【００４２】
これらの前処理は、可視光画像と遠赤外画像との見え方の違いを緩和するための処理である。具体的には、たとえば、以下のいずれかの処理を前処理として行う。
（１）可視光画像と遠赤外画像各々の勾配画像の生成処理、
（２）可視光画像と遠赤外画像各々の帯域制限画像生成処理、
（３）可視光画像からの疑似遠赤外画像の生成処理、
（４）遠赤外画像からの疑似可視光画像の生成処理、
これらいずれかの前処理を実行して、前処理後の画像を用いてステップＳ２０のブラー推定を実行する。
【００４３】
この前処理を行うことで、可視光画像と遠赤外画像の見え方の違いが緩和され、結果としてステップＳ２０で実行するブラー推定処理の精度を高めることが可能となる。
なお、具体的な構成例や処理例については後段で説明する。
【００４４】
（Ａ＋Ｃ）基本構成（Ａ）＋ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成例
次に、（Ａ＋Ｃ）の構成について説明する。
この構成は、基本構成（Ａ）の処理に追加して、「ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を行う構成例である。
【００４５】
この（Ａ＋Ｃ）の構成では、図４の３番目の（Ａ＋Ｃ）の図に示すように、ステップＳ２０におけるブラー推定処理の後に、ステップＳ３１においてブラー推定結果の信頼度の計算を行い、ステップＳ３２においてブラー除去強度計算を実行する処理を追加している。
ステップＳ４０におけるブラー除去処理において適用する逆フィルタの強度が、ステップＳ３２で計算されたブラー除去強度情報によって調整される。
【００４６】
具体的には、ステップＳ２０において実行されたブラー推定結果の信頼度が低い場合は、ステップＳ４０におけるブラー除去処理において適用する逆フィルタの強度を弱める処理を行う。なお、信頼度の算出は、例えば、所定の画素ブロック単位で実行される。
このような処理を行うことで、ブラー推定結果の信頼度に応じた逆フィルタの適用が可能となる。
【００４７】
なお、ステップＳ３１におけるブラー推定結果の信頼度の算出処理と、ステップＳ３２のブラー除去強度計算処理態様には、以下の２つの態様がある。
（１）ステップＳ２０におけるブラー推定処理時に実行するブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値に基づいて信頼度を算出し、算出した信頼度に応じて、ステップＳ４０におけるブラー除去処理時のフィルタ適用レベルを調整する構成、
（２）ステップＳ２０におけるブラー推定処理時に実行するブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値算出のために実行したブラーなし遠赤外光画像のフィルタ処理に適用したフィルタの妥当性に基づく信頼度を算出し、算出した信頼度に応じて、ステップＳ４０にのおけるブラー除去処理時のフィルタ適用レベルを調整する構成、
ステップＳ３１〜Ｓ３２では、これらいずれかの処理を実行する。
なお、具体的な構成例や処理例については後段で説明する。
【００４８】
（Ａ＋Ｂ＋Ｃ）基本構成（Ａ）＋前処理（Ｂ）＋信頼度に応じたブラー除去処理（Ｃ）の全てを実行する構成例
次に、（Ａ＋Ｂ＋Ｃ）の構成について説明する。
この構成は、基本構成（Ａ）の処理に追加して、「（Ｂ）ブラー推定前の前処理」と、「（Ｃ）ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」の両処理を行う構成例である。
この具体的な構成例や処理例についても後段で説明する。
【００４９】
［３．（実施例１）基本構成例Ａ対応の画像処理装置の構成と処理について］
次に、本開示の画像処理装置の実施例１として、図４を参照して説明した（基本構成例Ａ）対応の画像処理装置の構成と処理について説明する。
【００５０】
図５は、基本構成例Ａ対応の画像処理装置の構成と処理を説明する図である。
「（Ａ）基本構成例」は、ステップＳ２０におけるブラー推定処理と、ステップＳ４０におけるブラー除去処理を行う構成例である。
【００５１】
まず、ステップＳ２０において、同一被写体を同時に撮影したブラーあり可視光画像１１とブラーなし遠赤外画像１２を入力し、これらの２つの画像を比較して、ブラーあり可視光画像１１のブラー推定処理を行う。
【００５２】
具体的には、ブラーなし遠赤外画像１２に対して、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用して、ブラーなし遠赤外画像１２に様々な態様のブラーを故意に発生させて、ブラーを故意に発生させた遠赤外画像と、ブラーあり可視光画像１１との相関を算出する。
【００５３】
フィルタバンク３５には、ブラー（ぼけ）の大きさや方向の異なる多数のブラー発生用フィルタが格納されている。すなわち様々なＰＳＦ対応の多数のフィルタが格納されている。
なお、これらのフィルタの各々にはフィルタ識別子（ＩＤ）が設定されている。
ステップＳ２０における可視光画像ブラー推定処理では、フィルタバンク３５に格納されたフィルタを、順次、ブラーなし遠赤外画像１２に適用してブラーを発生させた遠赤外画像と、ブラーあり可視光画像１１との相関を算出する。
【００５４】
各フィルタ適用結果に基づく相関値を比較して、最も相関の高いフィルタを、ブラーあり可視光画像１１のブラーの特徴を示すフィルタとして選択する。
ステップＳ２０では、選択したフィルタの識別子であるフィルタＩＤを取得し、このフィルタＩＤが、次のステップＳ４０の可視光画像ブラー除去処理において利用される。
なお、これらの処理は、例えば、所定の画素ブロック単位で実行される。
【００５５】
ステップＳ４０において、ステップＳ２０で推定したブラーあり可視光画像１１のブラー態様を示すＰＳＦ特性と同様の特性を持つフィルタと逆の特性を持つ逆フィルタを選択または生成して、選択または生成した逆フィルタをブラーあり可視光画像１１に適用するデコンボリューション処理を実行して、ブラーあり可視光画像１１から、ブラー（ぼけ）を除去したブラー低減可視光画像１３を生成する。
【００５６】
なお、本実施例では、フィルタバンク３５に格納されたフィルタと逆特性を持つ逆フィルタを格納した逆フィルタバンク４５から逆フィルタを選択して利用する。
逆フィルタバンク４５には、フィルタバンク３５に格納された全てのフィルタに対応する逆特性を持つ多数の逆フィルタが格納されている。
【００５７】
なお、これらの逆フィルタの各々には逆フィルタ識別子（ＩＤ）が設定されており、このＩＤは、フィルタバンク３５に格納されたフィルタに設定されたフィルタＩＤと対応付けられた設定となっている。例えば同一のＩＤ、または一部を同一としたＩＤが設定されている。
すなわち、フィルタバンク３５に格納されたフィルタのフィルタＩＤに基づいて、逆フィルタバンク４５から、そのＩＤを持つフィルタの逆特性を持つ逆フィルタを即座に選択することができる。
【００５８】
ステップＳ４０では、ステップＳ２０で選択されたフィルタＩＤに対応付けられた逆フィルタを逆フィルタバンク４５から選択して、選択した逆フィルタをブラーあり可視光画像１１に適用して、ブラーあり可視光画像１１から、ブラー（ぼけ）を除去したブラー低減可視光画像１３を生成する。
【００５９】
なお、フィルタの選択、適用処理は、図６に示すように、画像をブロック領域に分割し、各ブロック単位で実行する。
これは、画像内に含まれる動く被写体領域や、製紙被写体領域によってブラーの発生態様が異なり、各ブロック領域単位で異なるブラーに応じたフィルタを選択して適用するためである。
【００６０】
次に、図７を参照してこの「（Ａ）基本構成例」に対応する画像処理装置の具体的な構成例と処理について説明する。
図７に示す画像処理装置Ａ，２０−Ａは、可視光画像入力部２１、遠赤外画像入力部２２、ブラー推定部３０、ブラー除去部４０、フィルタバンク３５、逆フィルタバンク４５を有する。
さらに、ブラー推定部３０は、フィルタ処理部３１、相関演算部３２、フィルタ決定部３３を有する。
また、ブラー除去部４０は、逆フィルタ処理部４１を有する。
【００６１】
可視光画像入力部２１は、補正前可視光画像１５をブラー推定部３０と、ブラー除去部４０に入力する。
また、遠赤外画像入力部２２は、遠赤外画像１６を、ブラー推定部３０に入力する。
【００６２】
可視光画像入力部２１と遠赤外画像入力部２２が入力する補正前可視光画像１５と、遠赤外画像１６は、同一被写体を同時に撮影した画像である。
これらの画像は、例えば暗闇で撮影された画像であり、可視光画像入力部２１の入力する補正前可視光画像１５は、長時間露光によるブラー（ぼけ）が発生している。
一方、遠赤外画像入力部２２の入力する遠赤外画像１６は短時間露光画像であり、ブラー（ぼけ）のほとんどない画像である。
【００６３】
なお、補正前可視光画像１５と、遠赤外画像１６は、いずれも横＝Ｗ画素、縦＝Ｈ画素のＷ×Ｈ画素の画像である。図には補正前可視光画像［Ｗ＊Ｈ］１５と、遠赤外画像［Ｗ＊Ｈ］１６として示している。
また、図中に示す［ＷＢ＊ＨＢ］は、先に図６を参照して説明した１つのブロック領域を示す。
１枚の画像フレームのブロック数はＮとする。
【００６４】
次に、ブラー推定部３０の実行する処理について説明する。
ブラー推定部３０のフィルタ処理部３１は、遠赤外画像１６に対して、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用する。すなわち、遠赤外画像１６に様々な態様のブラーを故意に発生させる。
【００６５】
前述したように、フィルタバンク３５には、ブラー（ぼけ）の大きさや方向の異なる多数のブラー発生用フィルタが格納されている。すなわち様々なＰＳＦ対応の多数のフィルタが格納されている。
【００６６】
ブラー推定部３０のフィルタ処理部３１が、遠赤外画像１６にフィルタを適用して生成したブラーを故意に発生させた遠赤外画像は、相関運算部３２に出力される。
相関演算部３２は、フィルタ適用によりブラーを故意に発生させた遠赤外画像と、補正前可視光画像１５との相関を算出する。
【００６７】
なお、このフィルタ処理部３１と、相関演算部３２の実行するフィルタ適用処理、および相関算出処理は、補正前可視光画像１５のＮ個のブロック領域と、遠赤外画像１６のＮ個のブロック領域の対応ブロック単位で実行する。
【００６８】
フィルタ処理部３１は、遠赤外画像１６のＮ個のブロックの各々について、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用する。
相関演算部３２は、遠赤外画像１６のＮ個のブロックの各々について、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用した結果と、補正前可視光画像１５との相関を算出し、Ｎ個のブロック各々についての各フィルタ対応の相関値をフィルタＩＤとともにフィルタ決定部３３に出力する。
【００６９】
フィルタ決定部３３は、相関演算部３２からの入力データ、すなわち、
Ｎ個のブロック各々についての適用フィルタＩＤと相関値との対応データの中から、
各ブロックについて、最も相関の高いブロック対応のフィルタを選択する。
フィルタ決定部３３が選択したＮ個のブロック各々についてのＮ個のフィルタのフィルタＩＤは、ブラー除去部４０の逆フィルタ処理部４１に入力される。
【００７０】
ブラー除去部４０の逆フィルタ処理部４１は、ブラー推定部３０のフィルタ決定部３３から、以下のデータを入力する。すなわち、
Ｎ個のブロック各々について最も相関値が高いと判定されたＮ個のフィルタのフィルタＩＤ、
上記Ｎ個のブロック対応のＮ個のフィルタＩＤを入力する。
【００７１】
ブラー除去部４０の逆フィルタ処理部４１は、各ブロック対応のフィルタＩＤに基づいて、逆フィルタバンク４５から、そのフィルタＩＤのフィルタと逆特性を持つ逆フィルタを選択し、選択した逆フィルタを、可視光画像入力部２１から入力する補正前可視光画像１５の該当ブロックに適用する。
【００７２】
すなわち、逆フィルタ処理部４１は、ブラー推定部３０において選択された最も相関値の高いブロック対応のフィルタ、具体的には、補正前可視光画像１５のブラー態様を示すＰＳＦ特性と同様の特性を持つフィルタと逆の特性を持つ逆フィルタを、逆フィルタバンク４５から選択して、選択した逆フィルタを補正前可視光画像１５の該当ブロックに適用する。
【００７３】
逆フィルタバンク４５には、フィルタバンク３５に格納された全てのフィルタに対応する逆特性を持つ多数の逆フィルタがＩＤとともに格納されており、ブラー推定部３０のフィルタ決定部３３から入力するフィルタＩＤに基づいて、このフィルタＩＤ対応のフィルタの逆特性を持つ逆フィルタを抽出可能な構成となっている。
【００７４】
逆フィルタ処理部４１は、可視光画像入力部２１から入力する補正前可視光画像１５のＮ個のブロック各々について、ブラー推定部３０のフィルタ決定部３３から入力するフィルタＩＤに基づいて、逆フィルタバンク４５から、各ブロックにおいて最大の相関値を示したフィルタの逆特性を持つ逆フィルタを取得して、取得した逆フィルタを、可視光画像入力部２１から入力する補正前可視光画像１５の該当ブロックに適用する。
【００７５】
可視光画像入力部２１から入力する補正前可視光画像１５のＮ個のすべてのブロックに対する逆フィルタ適用処理が完了すると、この完了画像を補正後可視光画像１７として出力する。
これらの処理により、補正前可視光画像１５から、ブラー（ぼけ）が除去または低減された補正後可視光画像１７が生成され出力される。
【００７６】
次に、図８に示すフローチャートを参照して、図７に示す「（Ａ）基本構成例」対応の画像処理装置の実行する処理のシーケンスについて説明する。
なお、図８に示すフローチャートに従った処理は、例えば、画像処理装置の記憶部に格納されたプログラムに従って実行可能な処理であり、プログラム実行機能を有するＣＰＵ等を備えた制御部（データ処理部）の制御の下で実行することができる。
以下、図７に示すフローの各ステップの処理について、順次、説明する。
【００７７】
（ステップＳ１０１）
まず、ステップＳ１０１において、補正対象とする可視光画像を取得する。
この処理は、図７に示す画像処理装置における可視光画像入力部２１によって行われる。具体的には、例えば可視光画像撮影カメラの撮影画像の取得処理である。
【００７８】
（ステップＳ１０２）
次に、ステップＳ１０２において、参照画像として利用される遠赤外画像を取得する。
この処理は、図７に示す画像処理装置における遠赤外画像入力部２２によって行われる。具体的には、例えば遠赤外画像撮影カメラの撮影画像の取得処理である。
【００７９】
なお、ステップＳ１０１、およびステップＳ１０２において取得する可視光画像と、遠赤外画像は、同一被写体を同時に撮影した画像である。
これらの画像は、例えば暗闇で撮影された画像であり、可視光画像は、長時間露光によるブラー（ぼけ）が発生している。一方、遠赤外画像は短時間露光画像であり、ブラー（ぼけ）のほとんどない画像である。
【００８０】
（ステップＳ１０３）
次のステップＳ１０３から、ステップＳ１１０の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ１）である。
なお、ブロック数はＮとする。
【００８１】
（ステップＳ１０４）
次のステップＳ１０４から、ステップＳ１０８の処理は、フィルタバンク３５に格納された全てのフィルタに対応付けられたフィルタＩＤの全てについて、順次、繰り返し実行されるループ処理（ループ２）である。
【００８２】
（ステップＳ１０５）
ステップＳ１０５において、フィルタ（係数）を取得する。
ステップＳ１０５〜Ｓ１０６の処理は、図７に示すブラー推定部３０のフィルタ処理部３１の実行する処理である。フィルタ処理部３１は、遠赤外画像の各ブロックに適用するなフィルタ（ブラー（ぼけ）発生フィルタ）をフィルタバンク３５から、順次、取得する。
なお、フィルタバンク３５から、順次、取得するデータはフィルタ自体、またはフィルタの構成データであるフィルタ係数のいずれでもよい。
【００８３】
（ステップＳ１０６）
次に、ステップＳ１０６において、ステップＳ１０５で取得したフィルタを遠赤外画像の１つのブロック、すなわち現在、処理対象として選択されているブロックに適用する。
この処理は、遠赤外画像にブラーを故意に発生させるためのフィルタ処理である。
【００８４】
（ステップＳ１０７）
次に、ステップＳ１０７において、ステップＳ１０６でのフィルタ適用結果の遠赤外画像のブロックと、可視光画像の対応ブロックとの相関値を算出する。
この処理は、図７に示すブラー推定部３０の相関演算部３２の実行する処理である。
相関演算部３２は、フィルタ適用によりブラーを故意に発生させた遠赤外画像と、可視光画像との相関を算出する。
【００８５】
（ステップＳ１０８）
ステップＳ１０８は、ステップＳ１０４〜Ｓ１０８のループ２の終了位置である。
すなわち、ステップＳ１０５〜Ｓ１０７の処理を、フィルタバンク３５に格納された全てのフィルタに対応付けられたフィルタＩＤの全てについて、順次、繰り返し実行する。
【００８６】
（ステップＳ１０９）
１つのブロックについてのステップＳ１０２〜Ｓ１０８のループ２の処理が完了すると、ステップＳ１０９に進む。
すなわち、１つのブロックについて、フィルタバンク３５に格納された全てのフィルタ対応の相関値算出処理が修了するとステップＳ１０９に進む。
【００８７】
ステップＳ１０９の処理は、図７に示すブラー推定部３０のフィルタ決定部３３の実行する処理である。
フィルタ決定部３３は、ステップＳ１０９において、ステップＳ１０４〜Ｓ１０８のループ２の処理が完了したブロックについて、フィルタバンク３５に格納された全てのフィルタ対応の相関値中、最も高い相関値を持つフィルタのＩＤを選択する。
【００８８】
（ステップＳ１１０）
ステップＳ１１０は、ステップＳ１０３〜Ｓ１１０のループ１の終了位置である。
すなわち、ステップＳ１０４〜Ｓ１０９の処理を、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。
【００８９】
このループ処理（ループ１）が完了すると、
Ｎ個のブロック全てについて、最も高い相関値を持つフィルタのフィルタＩＤが決定することになる。
【００９０】
（ステップＳ１１１）
次のステップＳ１１１からステップＳ１１４の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ３）である。
なお、ブロック数はＮとする。
【００９１】
（ステップＳ１１２）
ステップＳ１１２〜Ｓ１１３の処理は、図７に示すブラー除去部４０の逆フィルタ処理部４１の実行する処理である。
【００９２】
逆フィルタ処理部４１は、ステップＳ１１２において、処理対象として選択されたブロックに対応付けられた最大の相関値を持つフィルタのフィルタＩＤを、ブラー推定部３０のフィルタ決定部３３から入力して、このフィルタＩＤに基づいて、逆フィルタバンク４５から、そのフィルタＩＤのフィルタと逆特性を持つ逆フィルタ（係数）を選択する。
なお、逆フィルタバンク４５から取得するデータはフィルタ自体、またはフィルタの構成データであるフィルタ係数のいずれでもよい。
【００９３】
（ステップＳ１１３）
次に、ブラー除去部４０の逆フィルタ処理部４１は、ステップＳ１１３において、ステップＳ１１２で取得した逆フィルタを、処理対象の可視光画像のブロックに適用する。
【００９４】
（ステップＳ１１４）
ステップＳ１１４は、ステップＳ１１１〜Ｓ１１４のループ３の終了位置である。
すなわち、ステップＳ１１２〜Ｓ１１３の処理を、補正対象画像である可視光画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。
【００９５】
可視光画像のＮ個のすべてのブロックに対する逆フィルタ適用処理が完了すると、その完了画像を補正後可視光画像として出力する。
これらの処理により、ステップＳ１０１における入力画像である可視光画像、すなわち図７に示す補正前可視光画像１５から、ブラー（ぼけ）が除去または低減され、図７に示す補正後可視光画像１７が生成されて出力される。
【００９６】
［４．（実施例２）（Ａ＋Ｂ）ブラー推定前に前処理を行う画像処理装置の構成と処理について］
次に、本開示の画像処理装置の実施例２として、図４を参照して説明した構成（Ａ＋Ｂ）、すなわち基本構成（Ａ）に、ブラー推定前に前処理を行う構成を追加した画像処理装置の具体的構成と具体的処理について説明する。
【００９７】
なお、先に図４を参照して説明したように、構成（Ａ＋Ｂ）における追加構成であるブラー推定前の前処理は、具体的には、たとえば、以下のいずれかの処理である。
（１）可視光画像と遠赤外画像各々の勾配画像の生成処理、
（２）可視光画像と遠赤外画像各々の帯域制限画像生成処理、
（３）可視光画像からの疑似遠赤外画像の生成処理、
（４）遠赤外画像からの疑似可視光画像の生成処理、
これらいずれかの前処理を実行して、前処理後の画像を用いてブラー推定を実行する。
【００９８】
図９以下を参照して、上記４種類の前処理のいずれかを実行する構成を有する画像処理装置の構成例について、順次、説明する。
まず、図９を参照して、前処理として、
（１）可視光画像と遠赤外画像各々の勾配画像の生成処理、
上記処理を実行する画像処理装置の構成例について説明する。
【００９９】
図９に示す画像処理装置ＡＢ１，２０−ＡＢ１は、ブラー推定部３０におけるブラー推定処理の前処理として、勾配画像生成部５１において、可視光画像と遠赤外画像各々の勾配画像の生成を行う構成を有する。
【０１００】
図９に示す画像処理装置ＡＢ１，２０−ＡＢ１は、先に説明した図７に示す画像処理装置Ａ，２０−Ａに勾配画像生成部５１を追加した構成であり、その他の構成は、図７に示す画像処理装置Ａ，２０−Ａと同一である。
【０１０１】
勾配画像生成部５１の実行する処理について説明する。
勾配画像生成部５１は、可視光画像入力部２１と遠赤外画像入力部２２が入力する補正前可視光画像１５と、遠赤外画像１６の見え方の違いを緩和するための処理行う。
例えば、補正前可視光画像１５はＲＧＢ画素から構成されるカラー画像であり、遠赤外画像１６は、熱に応じた濃淡画素から構成されるモノクロ画像である。
【０１０２】
ブラー推定部３０の相関演算部３２は可視光画像と、遠赤外画像とのブロック単位の相関を算出する処理を行うが、このように出力画素値が本質的に異なる画像を比較して相関値を求めようとすると、正しい相関値が得られない可能性が高くなる。
勾配画像生成部５１は、この問題を解決するための前処理を行う。
すなわち、勾配画像生成部５１は、可視光画像入力部２１と遠赤外画像入力部２２が入力する補正前可視光画像１５と、遠赤外画像１６の見え方の違いを緩和し、類似画素値によって構成される画像に変換する処理行う。
【０１０３】
勾配画像生成部５１の実行する処理の具体例について、図１０を参照して説明する。
図１０には、暗がりで同一被写体を撮影した（１ａ）可視光画像と、（２ａ）遠赤外画像に対する勾配画像生成処理例を示している。
なお、（１ａ）可視光画像は、本来はカラー画像であるが、ここでは簡略化してモノクロ画像を例として説明する。
（１ａ）可視光画像にはブラー（ぼけ）が発生しており、（２ａ）遠赤外画像には発生していない。
【０１０４】
勾配画像とは、画素値の勾配（変化）の大小に応じて画素値を設定した画像である。例えば画素値の勾配（変化）の大きい領域は白に近く、画素値の勾配（変化）の小さい領域は黒に近い設定とした画像である。
図に示す（１ａ）可視光画像と、（２ａ）遠赤外画像においては、人の領域と背景領域との境界部分が画素値変化の大きい領域となる。
【０１０５】
従って、（１ａ）可視光画像に対する勾配画像生成処理によって生成される（１ｂ）可視光勾配画像と、（２ａ）遠赤外画像に対する勾配画像生成処理によって生成される（２ｂ）遠赤外勾配画像のいずれも、人の領域と背景領域との境界部分が白に近い設定となり、その他の領域、すなわち画素値変化の小さい領域は黒に近い設定とした勾配画像となる。
なお、勾配画像は、所定のフィルタ係数を持つフィルタを適用したフィルタ演算によって生成することができる。
【０１０６】
このように、勾配画像生成部５１は、出力画素値の構成が異なる可視光画像と、遠赤外画像を、勾配画像に変換することで、２つの画像の出力画素構成を類似または一致させる処理を行う。
図９に示すように、勾配画像生成部５１は、生成した可視光勾配画像と、遠赤外勾配画像をブラー推定部３０に入力する。
【０１０７】
勾配画像生成部５１が生成した可視光勾配画像は相関演算部３２に入力され、遠赤外勾配画像は、フィルタ処理部３１に入力される。
【０１０８】
ブラー推定部３０のフィルタ処理部３１は、遠赤外画像１６に基づいて生成された遠赤外勾配画像に対して、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用してブラーを故意に発生させた遠赤外勾配画像を生成して、相関運算部３２に出力する。
【０１０９】
相関演算部３２は、以下の２つの勾配画像を入力してブロック単位の相関値算出処理を行う。
（可視光勾配画像）勾配画像生成部５１が、補正前可視光画像１５に基づく勾配画像生成処理を行って生成した可視光勾配画像、
（遠赤外勾配画像）勾配画像生成部５１が、遠赤外画像１６に基づく勾配画像生成処理を行って生成した遠赤外勾配画像に対して、フィルタ処理部３１が、フィルタ適用によりブラーを故意に発生させた遠赤外勾配画像、
相関演算部３２は、これら２つの勾配画像を入力してブロック単位の相関値算出処理を行う。
【０１１０】
これら２つの勾配画像は、元の入力画像に比較して、出力画素値が類似する設定であり、正しい相関値を算出しやすくなる。
【０１１１】
相関演算部３２は、遠赤外勾配画像のＮ個のブロックの各々について、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用した結果と、補正前可視光画像１５に基づいて生成された可視光勾配画像との相関を算出し、Ｎ個のブロック各々についての各フィルタ対応の相関値をフィルタＩＤとともにフィルタ決定部３３に出力する。
【０１１２】
その後の処理は、先に図７を参照して説明した（基本構成Ａ）の画像処理装置Ａ，２０−Ａの実行する処理と同様の処理である。
【０１１３】
次に、図１１を参照して、前処理として、
（２）可視光画像と遠赤外画像各々の帯域制限画像生成処理、
上記処理を実行する画像処理装置の構成例について説明する。
【０１１４】
図１１に示す画像処理装置ＡＢ２，２０−ＡＢ２は、ブラー推定部３０におけるブラー推定処理の前処理として、帯域制限画像生成部５２において、可視光画像と遠赤外画像各々の帯域制限画像の生成を行う構成を有する。
【０１１５】
図１１に示す画像処理装置ＡＢ２，２０−ＡＢ２は、先に説明した図７に示す画像処理装置Ａ，２０−Ａに帯域制限画像生成部５２を追加した構成であり、その他の構成は、図７に示す画像処理装置Ａ，２０−Ａと同一である。
【０１１６】
帯域制限画像生成部５２の実行する処理について説明する。
帯域制限画像生成部５２は、可視光画像入力部２１と遠赤外画像入力部２２が入力する補正前可視光画像１５と、遠赤外画像１６の見え方の違いを緩和するための処理として、帯域制限画像の生成処理を行う。
【０１１７】
帯域制限画像生成部５２の実行する処理の具体例について、図１２を参照して説明する。
図１２には、暗がりで同一被写体を撮影した（１ａ）可視光画像と、（２ａ）遠赤外画像に対する帯域制限画像生成処理例を示している。
なお、（１ａ）可視光画像は、本来はカラー画像であるが、ここでは簡略化してモノクロ画像を例として説明する。
（１ａ）可視光画像にはブラー（ぼけ）が発生しており、（２ａ）遠赤外画像には発生していない。
【０１１８】
帯域制限画像とは、画像ないの高帯域部分、すなわちテクスチャ等、画素値変化の大きい領域を画素値変化の少ない低帯域に変換する処理を行って生成した画像である。例えば、図１２に示す（１ａ）可視光画像には人の衣服の模様が表示されているが、このような模様部分は、画素値変化の大きい画素領域、すなわち高帯域部分である。
帯域制限処理を行うことで、このような高帯域部分が低帯域に変換される結果として衣服の模様等を消滅させた画像を生成することができる。
【０１１９】
このような被服の模様等は、可視光画像には出力されるが、温度情報を出力画素値とする遠赤外画像には出力されない。
従って、ブラー推定部３０の相関演算部３２における相関算出を行う場合、このような模様等の情報は正しい相関値の算出の妨げになる。
【０１２０】
この問題を解消するため、帯域制限画像生成部５２が、可視光画像入力部２１と遠赤外画像入力部２２が入力する補正前可視光画像１５と、遠赤外画像１６の見え方の違いを緩和するための処理として、帯域制限画像の生成処理を行う。
【０１２１】
図１２に示すように（１ａ）可視光画像に対する帯域制限画像生成処理によって生成される（１ｂ）可視光帯域制限画像と、（２ａ）遠赤外画像に対する帯域制限画像生成処理によって生成される（２ｂ）遠赤外帯域制限画像のいずれも、衣服の模様は出力されておらず、見え方が類似する画像となる。
なお、帯域制限画像は、所定のフィルタ係数を持つフィルタを適用したフィルタ演算によって生成することができる。
【０１２２】
このように、帯域制限画像生成部５２は、出力画素値の構成が異なる可視光画像と、遠赤外画像を、帯域制限画像に変換することで、２つの画像の出力画素構成を類似または一致させる処理を行う。
図１１に示すように、帯域制限画像生成部５２は、生成した可視光帯域制限画像と、遠赤外帯域制限画像をブラー推定部３０に入力する。
【０１２３】
帯域制限画像生成部５２が生成した可視光帯域制限画像は相関演算部３２に入力され、遠赤外帯域制限画像は、フィルタ処理部３１に入力される。
【０１２４】
ブラー推定部３０のフィルタ処理部３１は、遠赤外画像１６に基づいて生成された遠赤外帯域制限画像に対して、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用してブラーを故意に発生させた遠赤外帯域制限画像を生成して、相関運算部３２に出力する。
【０１２５】
相関演算部３２は、以下の２つの帯域制限画像を入力してブロック単位の相関値算出処理を行う。
（可視光帯域制限画像）帯域制限画像生成部５２が、補正前可視光画像１５に基づく帯域制限画像生成処理を行って生成した可視光帯域制限画像、
（遠赤外帯域制限画像）帯域制限画像生成部５２が、遠赤外画像１６に基づく帯域制限画像生成処理を行って生成した遠赤外帯域制限画像に対して、フィルタ処理部３１が、フィルタ適用によりブラーを故意に発生させた遠赤外帯域制限画像、
相関演算部３２は、これら２つの帯域制限画像を入力してブロック単位の相関値算出処理を行う。
【０１２６】
これら２つの帯域制限画像は、元の入力画像に比較して、出力画素値が類似する設定であり、正しい相関値を算出しやすくなる。
【０１２７】
相関演算部３２は、遠赤外帯域制限画像のＮ個のブロックの各々について、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用した結果と、補正前可視光画像１５に基づいて生成された可視光帯域制限画像との相関を算出し、Ｎ個のブロック各々についての各フィルタ対応の相関値をフィルタＩＤとともにフィルタ決定部３３に出力する。
【０１２８】
その後の処理は、先に図７を参照して説明した（基本構成Ａ）の画像処理装置Ａ，２０−Ａの実行する処理と同様の処理である。
【０１２９】
次に、図１３を参照して、前処理として、
（３）可視光画像からの疑似遠赤外画像の生成処理、
上記処理を実行する画像処理装置の構成例について説明する。
【０１３０】
図１３に示す画像処理装置ＡＢ３，２０−ＡＢ３は、ブラー推定部３０におけるブラー推定処理の前処理として、疑似遠赤外画像生成部５３において、可視光画像入力部２１から入力する補正前可視光画像１５に基づく疑似遠赤外画像の生成を行う構成を有する。
【０１３１】
図１３に示す画像処理装置ＡＢ３，２０−ＡＢ３は、先に説明した図７に示す画像処理装置Ａ，２０−Ａに疑似遠赤外画像生成部５３を追加した構成であり、その他の構成は、図７に示す画像処理装置Ａ，２０−Ａと同一である。
【０１３２】
疑似遠赤外画像生成部５３の実行する処理について説明する。
疑似遠赤外画像生成部５３は、可視光画像入力部２１と遠赤外画像入力部２２が入力する補正前可視光画像１５と、遠赤外画像１６の見え方の違いを緩和するための処理として、補正前可視光画像１５を疑似遠赤外画像に変換する処理を行う。
【０１３３】
この画像変換処理には、例えば、予め生成した機械学習データを利用する。
具体的には、暗闇で同一被写体を同時に撮影した可視光画像と遠赤外画像との画像ペアを大量に用意し、可視光画像に対して、どのような画像変換を実行すれば、ペアとして設定された遠赤外画像に近づけることができるかの変換関数を機械学習処理によって算出する。
この学習処理によって、例えば可視光画像において肌色で丸い形は、人の顔であり、人の温度に対応する遠赤外画像の画素値に変換する処理等が可能となる。
【０１３４】
疑似遠赤外画像生成部５３は、この学習データを用いて、可視光画像入力部２１から入力する補正前可視光画像１５に対する画像変換を行い、疑似遠赤外画像を生成する。
【０１３５】
図１３に示すように、疑似遠赤外画像生成部５３は、補正前可視光画像１５に基づいて生成した疑似遠赤外画像をブラー推定部３０の相関算出部３２に入力する。
相関演算部３２は、以下の２つの画像を入力してブロック単位の相関値算出処理を行う。
（疑似遠赤外画像）疑似遠赤外画像生成部５３が、補正前可視光画像１５に基づく疑似遠赤外画像生成処理を行って生成した疑似遠赤外画像、
（遠赤外画像）遠赤外画像１６に対して、フィルタ処理部３１が、フィルタ適用によりブラーを故意に発生させた遠赤外画像、
相関演算部３２は、これら２つの画像を入力してブロック単位の相関値算出処理を行う。
これら２つの画像は、元の入力画像に比較して、出力画素値が類似する設定であり、正しい相関値を算出しやすくなる。
【０１３６】
相関演算部３２は、遠赤外画像１６のＮ個のブロックの各々について、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用した結果と、補正前可視光画像１５に基づいて生成された疑似遠赤外画像との相関を算出し、Ｎ個のブロック各々についての各フィルタ対応の相関値をフィルタＩＤとともにフィルタ決定部３３に出力する。
【０１３７】
その後の処理は、先に図７を参照して説明した（基本構成Ａ）の画像処理装置Ａ，２０−Ａの実行する処理と同様の処理である。
【０１３８】
次に、図１４を参照して、前処理として、
（４）遠赤外画像からの疑似可視光画像の生成処理、
上記処理を実行する画像処理装置の構成例について説明する。
【０１３９】
図１４に示す画像処理装置ＡＢ４，２０−ＡＢ４は、ブラー推定部３０におけるブラー推定処理の前処理として、疑似可視光画像生成部５４において、遠赤外画像入力部２２から入力する遠赤外画像１６に基づく疑似可視光画像の生成を行う構成を有する。
【０１４０】
図１４に示す画像処理装置ＡＢ４，２０−ＡＢ４は、先に説明した図７に示す画像処理装置Ａ，２０−Ａに疑似可視光画像生成部５４を追加した構成であり、その他の構成は、図７に示す画像処理装置Ａ，２０−Ａと同一である。
【０１４１】
疑似可視光画像生成部５４の実行する処理について説明する。
疑似可視光画像生成部５４は、可視光画像入力部２１と遠赤外画像入力部２２が入力する補正前可視光画像１５と、遠赤外画像１６の見え方の違いを緩和するための処理として、遠赤外画像１６を疑似可視光画像に変換する処理を行う。
【０１４２】
この画像変換処理には、例えば、予め生成した機械学習データを利用する。
具体的には、暗闇で同一被写体を同時に撮影した可視光画像と遠赤外画像との画像ペアを大量に用意し、遠赤外画像に対して、どのような画像変換を実行すれば、ペアとして設定された可視光画像に近づけることができるかの変換関数を機械学習処理によって算出する。
【０１４３】
疑似可視光画像生成部５４は、この学習データを用いて、遠赤外画像入力部２２から入力する遠赤外画像１６に対する画像変換を行い、疑似可視光画像を生成する。
【０１４４】
図１４に示すように、疑似可視光画像生成部５４は、遠赤外画像１６に基づいて生成した疑似可視光画像を、ブラー推定部３０のフィルタ処理部３１に入力する。
フィルタ処理部３１は、遠赤外画像１６に基づいて生成された疑似可視光画像に対して、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用してブラーを故意に発生させた疑似可視光画像を生成して、相関運算部３２に出力する。
【０１４５】
相関演算部３２は、以下の２つの画像を入力してブロック単位の相関値算出処理を行う。
（補正前可視光画像１５）可視光画像入力部２１から入力される補正前可視光画像１５、
（疑似可視光画像）疑似可視光画像生成部５４が、遠赤外画像１６に基づいて生成した疑似可視光画像に対して、フィルタ処理部３１が、フィルタ適用によりブラーを故意に発生させた疑似可視光画像、
相関演算部３２は、これら２つの画像を入力してブロック単位の相関値算出処理を行う。
これら２つの画像は、元の入力画像に比較して、出力画素値が類似する設定であり、正しい相関値を算出しやすくなる。
【０１４６】
相関演算部３２は、遠赤外画像１６に基づいて生成された疑似可視光画像のＮ個のブロックの各々について、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用した結果と、補正前可視光画像１５との相関を算出し、Ｎ個のブロック各々についての各フィルタ対応の相関値をフィルタＩＤとともにフィルタ決定部３３に出力する。
【０１４７】
その後の処理は、先に図７を参照して説明した（基本構成Ａ）の画像処理装置Ａ，２０−Ａの実行する処理と同様の処理である。
【０１４８】
図９〜図１４を参照して説明したように、
構成（Ａ＋Ｂ）における追加構成であるブラー推定前の前処理として、以下のいずれかの処理が実行される。
（１）可視光画像と遠赤外画像各々の勾配画像の生成処理（図９）、
（２）可視光画像と遠赤外画像各々の帯域制限画像生成処理（図１１）、
（３）可視光画像からの疑似遠赤外画像の生成処理（図１３）、
（４）遠赤外画像からの疑似可視光画像の生成処理（図１４）、
これらいずれかの前処理を実行して、前処理後の画像を用いてブラー推定を実行する。
【０１４９】
これら、ブラー推定前の前処理を行う画像処理装置の実行する処理のシーケンスについて、図１５、図１６に示すフローチャートを参照して説明する。
図１５に示すフローチャートは、前処理として、以下の（１），（２）のいずれかの処理を実行する場合のフローチャートである。
（１）可視光画像と遠赤外画像各々の勾配画像の生成処理（図９）、
（２）可視光画像と遠赤外画像各々の帯域制限画像生成処理（図１１）、
【０１５０】
また、図１６に示すフローチャートは、前処理として、以下の（３），（４）のいずれかの処理を実行する場合のフローチャートである。
（３）可視光画像からの疑似遠赤外画像の生成処理（図１３）、
（４）遠赤外画像からの疑似可視光画像の生成処理（図１４）、
【０１５１】
まず、図１５に示すフローチャートを参照して、以下の（１），（２）のいずれかの処理を実行する場合のフローチャートについて説明する。
（１）可視光画像と遠赤外画像各々の勾配画像の生成処理（図９）、
（２）可視光画像と遠赤外画像各々の帯域制限画像生成処理（図１１）、
【０１５２】
図１５に示すフローチャートは、先に、図８を参照して説明した図７の「（Ａ）基本構成例」対応の画像処理装置の実行する処理フローのステップＳ１０１〜Ｓ１１４の処理に、ステップＳ１０１ｂと、ステップＳ１０２ｂの処理を追加したフローチャートである。
【０１５３】
追加処理であるステップＳ１０１ｂと、ステップＳ１０２ｂ以外の処理は、図８を参照して説明したフローのステップＳ１０１〜Ｓ１１４の処理と同様であるので、説明を省略し、追加処理であるステップＳ１０１ｂと、ステップＳ１０２ｂの処理についてのみ説明する。
【０１５４】
（ステップＳ１０１ｂ）
ステップＳ１０１ｂの処理は、ステップＳ１０１において入力した補正対象となる可視光画像に対する前処理である。
この前処理は、図９を参照して説明した勾配画像生成部５１、または図１１を参照して説明した帯域制限画像生成部５２において実行される。
【０１５５】
ステップＳ１０１では、補正対象とする可視光画像を取得する。
この処理は、画像処理装置の可視光画像入力部２１によって行われる。具体的には、例えば可視光画像撮影カメラの撮影画像の取得処理である。
【０１５６】
ステップＳ１０１ｂでは、ステップＳ１０１において入力した可視光画像の勾配画像、または帯域制限画像を生成する。
ステップＳ１０３以下で実行されるブロック単位の相関値算出処理では、この可視光画像の勾配画像、または帯域制限画像を利用した相関値算出処理を実行する。
【０１５７】
（ステップＳ１０２ｂ）
ステップＳ１０２ｂの処理は、ステップＳ１０２において入力した遠赤外画像に対する前処理である。
この前処理は、図９を参照して説明した勾配画像生成部５１、または図１１を参照して説明した帯域制限画像生成部５２において実行される。
【０１５８】
ステップＳ１０２では、参照画像である遠赤外画像を取得する。
この処理は、画像処理装置の遠赤外画像入力部２２によって行われる。具体的には、例えば遠赤外画像撮影カメラの撮影画像の取得処理である。
【０１５９】
ステップＳ１０２ｂでは、ステップＳ１０２において入力した遠赤外画像の勾配画像、または帯域制限画像を生成する。
なお、ステップＳ１０１ｂにおいて、可視光画像の勾配画像を生成した場合は、ステップＳ１０２ｂでは、遠赤外画像の勾配画像を生成する。
また、ステップＳ１０１ｂにおいて、可視光画像の帯域制限画像を生成した場合は、ステップＳ１０２ｂでは、遠赤外画像の帯域制限画像を生成する。
【０１６０】
ステップＳ１０３以下で実行されるフィルタ適用処理と、ブロック単位の相関値算出処理では、
可視光画像と遠赤外画像の勾配画像を利用したフィルタ適用処理、および相関値算出処理、または、
可視光画像と遠赤外画像の帯域制限画像を利用したフィルタ適用処理、および相関値算出処理、
これらのいずれかの処理を実行する。
【０１６１】
次に、図１６に示すフローチャートを参照して、以下の（３），（４）のいずれかの処理を実行する場合のフローチャートについて説明する。
（３）可視光画像からの疑似遠赤外画像の生成処理（図１３）、
（４）遠赤外画像からの疑似可視光画像の生成処理（図１４）、
【０１６２】
図１６に示すフローチャートは、先に、図８を参照して説明した図７の「（Ａ）基本構成例」対応の画像処理装置の実行する処理フローのステップＳ１０１〜Ｓ１１４の処理に、ステップＳ１０１ｃと、ステップＳ１０２ｃの処理を追加したフローチャートである。
【０１６３】
なお、ブラー推定の前処理として、
（３）可視光画像からの疑似遠赤外画像の生成処理（図１３）、
を実行する場合は、ステップＳ１０１ｃの処理を追加処理として実行し、ステップＳ１０２ｃの処理は実行しない。
一方、ブラー推定の前処理として、
（４）遠赤外画像からの疑似可視光画像の生成処理（図１４）、
を実行する場合は、ステップＳ１０１ｃの処理は実行せず、ステップＳ１０２ｃの処理を追加処理として実行する。
【０１６４】
追加処理であるステップＳ１０１ｃと、ステップＳ１０２ｃ以外の処理は、図８を参照して説明したフローのステップＳ１０１〜Ｓ１１４の処理と同様であるので、説明を省略し、追加処理であるステップＳ１０１ｃと、ステップＳ１０２ｃの処理についてのみ説明する。
【０１６５】
（ステップＳ１０１ｃ）
ステップＳ１０１ｃの処理は、ステップＳ１０１において入力した補正対象となる可視光画像に対する前処理である。
この前処理は、図１３を参照して説明した疑似遠赤外画像生成部５３において実行される。
【０１６６】
ステップＳ１０１では、補正対象とする可視光画像を取得する。
この処理は、画像処理装置の可視光画像入力部２１によって行われる。具体的には、例えば可視光画像撮影カメラの撮影画像の取得処理である。
【０１６７】
ステップＳ１０１ｃでは、ステップＳ１０１において入力した可視光画像に基づいて、疑似遠赤外画像を生成する。
先に図１３を参照して説明したように、例えば予め生成した学習データを用いて可視光画像に基づく疑似遠赤外画像を生成する。
【０１６８】
ステップＳ１０３以下で実行されるブロック単位の相関値算出処理では、この可視光画像に基づいて生成した疑似遠赤外画像を利用した相関値算出処理を実行する。
すなわち、ステップＳ１０７では、ステップＳ１０１ｃで生成した疑似遠赤外画像と、ステップＳ１０２で入力した遠赤外画像のフィルタ適用結果との相関演算が行われる。
【０１６９】
（ステップＳ１０２ｃ）
ステップＳ１０２ｃの処理は、ステップＳ１０２において入力した遠赤外画像に対する前処理である。
この前処理は、図１４を参照して説明した疑似可視光画像生成部５４において実行される。
【０１７０】
ステップＳ１０２では、参照画像である遠赤外画像を取得する。
この処理は、画像処理装置の遠赤外画像入力部２２によって行われる。具体的には、例えば遠赤外画像撮影カメラの撮影画像の取得処理である。
【０１７１】
ステップＳ１０２ｃでは、ステップＳ１０２において入力した遠赤外画像に基づいて、疑似可視光画像を生成する。
先に図１４を参照して説明したように、例えば予め生成した学習データを用いて遠赤外画像に基づく疑似可視光画像を生成する。
【０１７２】
ステップＳ１０３以下で実行されるフィルタ適用処理と、ブロック単位の相関値算出処理では、この疑似可視光画像を利用したフィルタ適用処理、および相関値算出処理を実行する。
すなわち、ステップＳ１０６では、ステップＳ１０２ｃで生成した疑似可視光画像に対するフィルタ適用処理が行われ、また、ステップＳ１０７では、ステップＳ１０１で入力した可視光画像と、ステップＳ１０２ｃで生成した疑似可視光画像のフィルタ適用結果との相関演算が行われる。
【０１７３】
このように、「実施例２（Ａ＋Ｂ）ブラー推定前に前処理を行う画像処理装置」は、ブラー推定前に前処理、すなわち、
（１）可視光画像と遠赤外画像各々の勾配画像の生成処理、
（２）可視光画像と遠赤外画像各々の帯域制限画像生成処理、
（３）可視光画像からの疑似遠赤外画像の生成処理、
（４）遠赤外画像からの疑似可視光画像の生成処理、
これらいずれかの前処理を実行して、前処理後の画像を用いてブラー推定を実行する。
【０１７４】
これらの前処理を行うことで、補正前可視光画像１５と、遠赤外画像１６の見え方の違いが緩和され、類似画素値によって構成される画像に基づく相関値算出が可能となり、より精度の高い相関値算出が実行される。最終的に生成される補正後可視光画像１７のブラー除去効果も、より高くなる。
【０１７５】
［５．（実施例３）（Ａ＋Ｃ）ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成と処理について］
次に、本開示の画像処理装置の実施例３として、図４を参照して説明した構成（Ａ＋Ｃ）、すなわち基本構成（Ａ）に、ブラー推定部３０の推定したブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成を追加した画像処理装置の具体的構成と具体的処理について説明する。
【０１７６】
なお、先に図４を参照して説明したように、構成（Ａ＋Ｃ）における追加構成であるブラー推定結果の信頼度適用処理構成として、以下の２つの構成がある。
（１）ステップＳ２０におけるブラー推定処理時に実行するブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値に基づいて信頼度を算出し、算出した信頼度に応じて、ステップＳ４０におけるブラー除去処理時のフィルタ適用レベルを調整する構成、
（２）ステップＳ２０におけるブラー推定処理時に実行するブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値算出のために実行したブラーなし遠赤外光画像のフィルタ処理に適用したフィルタの妥当性に基づく信頼度を算出し、算出した信頼度に応じて、ステップＳ４０にのおけるブラー除去処理時のフィルタ適用レベルを調整する構成、
これら２種類の信頼度算出構成がある。
【０１７７】
図１７以下を参照して、上記２種類の信頼度算出処理を実行する構成を有する画像処理装置の構成例について、順次、説明する。
まず、図１７を参照して、
（１）ステップＳ２０におけるブラー推定処理時に実行するブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値に基づいて信頼度を算出し、算出した信頼度に応じて、ステップＳ４０におけるブラー除去処理時のフィルタ適用レベルを調整する構成、
上記信頼度算出構成を持つ画像処理装置の構成と処理について説明する。
【０１７８】
図１７に示す画像処理装置ＡＣ１，２０−ＡＣ１は、ブラー推定部３０内に、信頼度算出部３４ａを有し、さらに、ブラー除去部４０内に逆フィルタ補正部４２を有する。
図１７に示す画像処理装置ＡＣ１，２０−ＡＣ１は、先に説明した図７に示す画像処理装置Ａ，２０−Ａに信頼度算出部３４ａと、逆フィルタ補正部４２を追加した構成であり、その他の構成は、図７に示す画像処理装置Ａ，２０−Ａと同一である。
【０１７９】
信頼度算出部３４ａと、逆フィルタ補正部４２の実行する処理について説明する。
信頼度算出部３４ａは、ブラー推定部３０の相関演算部３２が算出する相関値、すなわち、ブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値に基づく信頼度を算出する。
信頼度算出部３４ａは、算出した相関値信頼度を、ブラー除去部４０の逆フィルタ補正部４２に出力する。
【０１８０】
逆フィルタ補正部４２は、信頼度算出部３４ａから入力する相関値信頼度に応じて、逆フィルタ処理部４１において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部３４ａから入力する相関値信頼度が高い場合は、逆フィルタ処理部４１において適用する逆フィルタの強度を弱めることなく、逆フィルタバンク４５から取得した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像１５の処理対象ブロックに対して逆フィルタバンク４５から取得した逆フィルタをそのまま適用する。
【０１８１】
一方、信頼度算出部３４ａから入力する相関値信頼度が低い場合は、逆フィルタ処理部４１において適用する逆フィルタの強度を弱める。すなわち、逆フィルタバンク４５から取得した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。
【０１８２】
具体的には、例えば、信頼度算出部３４ａの算出する相関値信頼度が、
相関値信頼度α＝１（高信頼度）〜０（縦い信頼度）の設定である場合、
逆フィルタ補正部４２は、逆フィルタバンク４５から取得した逆フィルタに設定された係数に対して信頼度αを乗算して補正逆フィルタを生成して、逆フィルタ処理部４１に出力する。
【０１８３】
逆フィルタ処理部４１は、逆フィルタ補正部４２から入力する補正逆フィルタを、補正前可視光画像１５の処理対象ブロックに対して適用する。
なお、ブラー推定部３０の相関演算部３２における相関演算はブロック単位で実行され、信頼度算出部３４ａの信頼度算出処理や、逆フィルタ補正部４２の逆フィルタ補正処理、さらに、逆フィルタ処理部４１における逆フィルタ適用処理もブロック単位の処理として実行される。
【０１８４】
信頼度算出部３４ａの実行する相関値信頼度の具体的な算出処理例について、図１８を参照して説明する。
図１８には、以下の各図を示している。
（ａ１）補正前可視光画像、
（ａ２）補正前可視光画像相関値算出ブロック、
（ｂ１）遠赤外画像、
（ｂ２）フィルタ適用前遠赤外画像相関値算出ブロック、
（ｂ３）フィルタ適用後遠赤外画像相関値算出ブロック、
【０１８５】
入力画像は、
（ａ１）補正前可視光画像、
（ｂ１）遠赤外画像、
である。
（ｂ２）フィルタ適用前遠赤外画像相関値算出ブロック、
が、ブラー推定部３０のフィルタ処理部に入力され、フィルタバンク３５から選択されたフィルタによりフィルタ処理がなされる。
このフィルタ結果が、
（ｂ３）フィルタ適用後遠赤外画像相関値算出ブロック、
である。
【０１８６】
ブラー推定部３０の相関演算部３２における相関演算による相関値算出対象となるブロックは、
（ａ２）補正前可視光画像相関値算出ブロック、
（ｂ３）フィルタ適用後遠赤外画像相関値算出ブロック、
この２つのブロックとなる。
【０１８７】
図１８に示す例では、（ａ１）補正前可視光画像内に示すブロック内や、（ａ２）補正前可視光画像相関値算出ブロックには、横長の明るく光る画像が写し出されている。
これに対して、（ｂ１）遠赤外画像、（ｂ２）フィルタ適用前遠赤外画像相関値算出ブロック、および（ｂ３）フィルタ適用後遠赤外画像相関値算出ブロックには、このような横長の画像は全く見えていない。
このような現象は、この横長の明るく光る被写体が多くの熱を発していない被写体である場合に起こり得る現象である。
【０１８８】
ブラー推定部３０の相関演算部３２は、図１８に示す、
（ａ２）補正前可視光画像相関値算出ブロック、
（ｂ３）フィルタ適用後遠赤外画像相関値算出ブロック、
この２つのブロックの相関値を算出することになるが、これら２つのブロックの類似度は低いため、相関値は、極めて低い値となる。
【０１８９】
このように、ブラー推定部３０の相関演算部３２の算出する相関値が低い値である場合、信頼度算出部３４ａは、相関値信頼度を低い値に設定する。
例えば、信頼度算出部３４ａの算出する相関値信頼度が、
相関値信頼度α＝１（高信頼度）〜０（縦い信頼度）の範囲の設定である場合、
信頼度算出部３４ａは、相関値信頼度α＝０〜０．１程度の低い値に設定して、逆フィルタ補正部４２に出力する。
【０１９０】
逆フィルタ補正部４２は、逆フィルタバンク４５から取得した逆フィルタに設定された係数に対して信頼度αを乗算して補正逆フィルタを生成して、逆フィルタ処理部４１に出力する。
逆フィルタ処理部４１は、逆フィルタ補正部４２から入力する補正逆フィルタを、補正前可視光画像１５の処理対象ブロックに対して適用する。
この結果、信頼度の低い相関値が設定されたブロックに対する逆フィルタの適用効果は、小さく抑えられることになる。
逆に、信頼度の高い相関値が設定されたブロックに対する逆フィルタの適用効果は、大きく設定される。
【０１９１】
このように、本実施例では、相関演算部３２において算出する相関値の信頼度に応じた逆フィルタ適用処理が実現されることになり、相関値の高いブロックは逆フィルタの適用効果を高め、相関値信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、相関値信頼度に応じた効果的なブラー解消処理が可能となる。
【０１９２】
次に、図１９を参照して、
（２）ステップＳ２０におけるブラー推定処理時に実行するブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値算出のために実行したブラーなし遠赤外光画像のフィルタ処理に適用したフィルタの妥当性に基づく信頼度を算出し、算出した信頼度に応じて、ステップＳ４０にのおけるブラー除去処理時のフィルタ適用レベルを調整する構成、
上記信頼度算出構成を持つ画像処理装置の構成と処理について説明する。
【０１９３】
図１９に示す画像処理装置ＡＣ２，２０−ＡＣ２は、ブラー推定部３０内に、信頼度算出部３４ｂを有し、さらに、ブラー除去部４０内に逆フィルタ補正部４２を有する。
図１９に示す画像処理装置ＡＣ２，２０−ＡＣ２は、先に説明した図７に示す画像処理装置Ａ，２０−Ａに信頼度算出部３４ｂと、逆フィルタ補正部４２を追加した構成であり、その他の構成は、図７に示す画像処理装置Ａ，２０−Ａと同一である。
【０１９４】
信頼度算出部３４ｂと、逆フィルタ補正部４２の実行する処理について説明する。
信頼度算出部３４ｂは、ブラー推定部３０の相関演算部３２における相関算出処理に利用したフィルタ処理後の遠赤外光画像に適用されたフィルタの妥当性に基づく信頼度を算出する。
信頼度算出部３４ｂは、算出したフィルタ妥当性信頼度を、ブラー除去部４０の逆フィルタ補正部４２に出力する。
【０１９５】
逆フィルタ補正部４２は、信頼度算出部３４ｂから入力するフィルタ妥当性信頼度に応じて、逆フィルタ処理部４１において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部３４ｂから入力するフィルタ妥当性信頼度が高い場合は、逆フィルタ処理部４１において適用する逆フィルタの強度を弱めることなく、逆フィルタバンク４５から取得した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像１５の処理対象ブロックに対して逆フィルタバンク４５から取得した逆フィルタをそのまま適用する。
【０１９６】
一方、信頼度算出部３４ｂから入力するフィルタ妥当性信頼度が低い場合は、逆フィルタ処理部４１において適用する逆フィルタの強度を弱める。すなわち、逆フィルタバンク４５から取得した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。
【０１９７】
具体的には、例えば、信頼度算出部３４ｂの算出するフィルタ妥当性信頼度が、
フィルタ妥当性信頼度α＝１（高信頼度）〜０（縦い信頼度）の設定である場合、
逆フィルタ補正部４２は、逆フィルタバンク４５から取得した逆フィルタに設定された係数に対して信頼度αを乗算して補正逆フィルタを生成して、逆フィルタ処理部４１に出力する。
【０１９８】
逆フィルタ処理部４１は、逆フィルタ補正部４２から入力する補正逆フィルタを、補正前可視光画像１５の処理対象ブロックに対して適用する。
なお、ブラー推定部３０の相関演算部３２における相関演算はブロック単位で実行され、信頼度算出部３４ｂの信頼度算出処理や、逆フィルタ補正部４２の逆フィルタ補正処理、さらに、逆フィルタ処理部４１における逆フィルタ適用処理もブロック単位の処理として実行される。
【０１９９】
信頼度算出部３４ｂの実行する相関値信頼度の具体的な算出処理例について、図２０を参照して説明する。
図２０には、以下の各図を示している。
（ａ１）補正前可視光画像、
（ａ２）補正前可視光画像相関値算出ブロック、
（ｂ１）遠赤外画像、
（ｂ２）フィルタ適用前遠赤外画像相関値算出ブロック、
（ｂ３）フィルタ適用後遠赤外画像相関値算出ブロック、
（ｂ４）相関値最大のフィルタ適用後遠赤外画像相関値算出ブロック、
【０２００】
入力画像は、
（ａ１）補正前可視光画像、
（ｂ１）遠赤外画像、
である。
（ｂ２）フィルタ適用前遠赤外画像相関値算出ブロック、
が、ブラー推定部３０のフィルタ処理部に入力され、フィルタバンク３５から選択されたフィルタによりフィルタ処理がなされる。
このフィルタ結果が、
（ｂ３）フィルタ適用後遠赤外画像相関値算出ブロック、
である。
【０２０１】
ブラー推定部３０の相関演算部３２における相関演算による相関値算出対象となるブロックは、
（ａ２）補正前可視光画像相関値算出ブロック、
（ｂ３）フィルタ適用後遠赤外画像相関値算出ブロック、
この２つのブロックとなる。
【０２０２】
このブラー推定部３０の相関演算部３２における相関演算による相関値算出処理の結果として、最大の相関値を持つフィルタ適用後遠赤外画像相関値算出ブロックとして選択されたブロックが、
（ｂ４）相関値最大のフィルタ適用後遠赤外画像相関値算出ブロック、
である。
【０２０３】
図２０に示す例では、ブラー推定部３０の相関演算部３２における相関演算による相関値算出処理の処理対象ブロックは、（ａ１）補正前可視光画像内に示すブロックに示すように、標識である。この標識は、Ｘ印の模様がペイントされており、さらに中央に熱発生部が設定されている。
【０２０４】
このような場合、（ｂ１）遠赤外画像や、（ｂ２）フィルタ適用前遠赤外画像相関値算出ブロックには、標識中央部の熱発生部の領域が丸い画像として出力されるが、Ｘ印の模様は全く出力されない結果となる。
【０２０５】
ブラー推定部３０のフィルタ処理部３１では、この（ｂ２）フィルタ適用前遠赤外画像相関値算出ブロックに対して、フィルタバンク３５に格納されたフィルタを順次、適用して、相関演算部３２に出力する。
【０２０６】
相関演算部３２は、
（ａ２）補正前可視光画像相関値算出ブロックと、
様々なフィルタを適用した結果として得られる（ｂ３）フィルタ適用後遠赤外画像相関値算出ブロック、
これら２つのブロックの相関値を算出し、相関値が最大となる（ｂ３）フィルタ適用後遠赤外画像相関値算出ブロックを選択して、その相関値を算出する。
【０２０７】
この選択結果が、図に示す
（ｂ４）相関値最大のフィルタ適用後遠赤外画像相関値算出ブロック、
である。
この（ｂ４）相関値最大のフィルタ適用後遠赤外画像相関値算出ブロックを生成するために適用されたフィルタは、図２０に示すフィルタＦ１である。
【０２０８】
信頼度算出部３４ｂは、この（ｂ４）相関値最大のフィルタ適用後遠赤外画像相関値算出ブロックを生成するために適用されたフィルタＦ１の妥当性に基づく信頼度を算出する。
【０２０９】
フィルタＦ１は、２方向の直角にクロスするラインに流れるぼけを発生させるフィルタであり、被写体の自然な動き、あるいはカメラの自然な動きからはあり得ないブラー（ぼけ）の態様である。
通常、被写体やカメラの動きは１つのラインに沿って動くため、そのラインに沿ったブラー（ぼけ）が発生する。
このことから、図２０に示すフフィルタＦ１は、通常の想定されるブラー（ぼけ）を発生させるフィルタのとしての信頼度が低いと判定される。
【０２１０】
このように、信頼度算出部３４ｂは、例えば、図２０に示すような複数方向のラインを有するフィルタが、最大相関値算出ブロックに適用された場合、フィルタの信頼度を低いと判定する。
一方、例えば一方向のラインを有するフィルタが、最大相関値算出ブロックに適用された場合、フィルタの信頼度を高いと判定する。
【０２１１】
例えば、信頼度算出部３４ｂの算出するフィルタ妥当性信頼度が、
フィルタ妥当性頼度α＝１（高信頼度）〜０（縦い信頼度）の範囲の設定である場合、図２０に示すような複数方向のラインを有するフィルタが、最大相関値算出ブロックに適用された場合、信頼度算出部３４ｂは、フィルタ妥当性信頼度α＝０〜０．１程度の低い値に設定して、逆フィルタ補正部４２に出力する。
【０２１２】
逆フィルタ補正部４２は、逆フィルタバンク４５から取得した逆フィルタに設定された係数に対して信頼度αを乗算して補正逆フィルタを生成して、逆フィルタ処理部４１に出力する。
逆フィルタ処理部４１は、逆フィルタ補正部４２から入力する補正逆フィルタを、補正前可視光画像１５の処理対象ブロックに対して適用する。
この結果、フィルタ妥当性信頼度の低いブロックに対する逆フィルタの適用効果は、小さく抑えられることになる。
逆に、フィルタ妥当性信頼度の高いブロックに対する逆フィルタの適用効果は、大きく設定される。
【０２１３】
このように、本実施例では、遠赤外画像に適用したフィルタの妥当性信頼度に応じた逆フィルタ適用処理が実現されることになり、フィルタ妥当性の高いブロックは逆フィルタの適用効果を高め、フィルタ妥当性信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、フィルタ妥当性信頼度に応じた効果的なブラー解消処理が可能となる。
【０２１４】
次に、図１７〜図２０を参照して説明した本実施例３、すなわち、構成（Ａ＋Ｃ）であるブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置における処理シーケンスについて、図２１に示すフローチャートを参照して説明する。
【０２１５】
図２１に示すフローチャートは、先に、図８を参照して説明した図７の「（Ａ）基本構成例」対応の画像処理装置の実行する処理フローのステップＳ１０１〜Ｓ１１４の処理に、ステップＳ１０９ｂと、ステップＳ１１２ｂの処理を追加したフローチャートである。
【０２１６】
追加処理であるステップＳ１０９ｂと、ステップＳ１１２ｂ以外の処理は、図８を参照して説明したフローのステップＳ１０１〜Ｓ１１４の処理と同様であるので、説明を省略し、追加処理であるステップＳ１０９ｂと、ステップＳ１１２ｂの処理についてのみ説明する。
【０２１７】
（ステップＳ１０９ｂ）
ステップＳ１０９は、相関値、または、フィルタ妥当性に基づいて、ブラー推定部３０の実行したブラー推定結果の信頼度を算出する処理である。
【０２１８】
このステップＳ１０９ｂの処理は、図１７、図１８を参照して説明したブラー推定部３０の信頼度算出部３４ａ、または、図１９、図２０を参照して説明したブラー推定部３０の信頼度算出部３４ｂの実行する処理である。
【０２１９】
図１７に示す画像処理装置ＡＣ１，２０−ＡＣ１を利用した構成では、信頼度算出部３４ａが、ブラー推定部３０の相関演算部３２が算出する相関値、すなわち、ブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値に基づく信頼度を算出する。
【０２２０】
先に、図１８を参照して説明したように、ブラー推定部３０の相関演算部３２は、例えば、図１８に示す以下の２つのブロック、すなわち、
（ａ２）補正前可視光画像相関値算出ブロック、
（ｂ３）フィルタ適用後遠赤外画像相関値算出ブロック、
この２つのブロックの相関値を算出する。
図１８に示す例では、これら２つのブロックの類似度は低いため、相関値は、極めて低い値となる。
【０２２１】
このように、ブラー推定部３０の相関演算部３２の算出する相関値が低い値である場合、信頼度算出部３４ａは、相関値信頼度を低い値に設定する。
例えば、信頼度算出部３４ａの算出する相関値信頼度が、
相関値信頼度α＝１（高信頼度）〜０（縦い信頼度）の範囲の設定である場合、
信頼度算出部３４ａは、相関値信頼度α＝０〜０．１程度の低い値に設定して、逆フィルタ補正部４２に出力する。
逆に、２つのブロックの類似度が高い場合は、相関値は、高い値となり、信頼度算出部３４ａは、相関値信頼度を高い値に設定して、逆フィルタ補正部４２に出力する。
【０２２２】
このように、図１７に示す画像処理装置ＡＣ１，２０−ＡＣ１を利用した構成では、信頼度算出部３４ａが、ブラー推定部３０の相関演算部３２が算出する相関値、すなわち、ブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像との相関値に基づく信頼度を算出する。
【０２２３】
なお、この信頼度算出処理は、フロー中のループ１において実行される処理であり、ブロック単位で繰り返し実行される。
すなわち、信頼度算出部３４ａは、ブラー推定部３０の相関演算部３２が算出するブロック単位の相関値、すなわち、ブラーなし遠赤外光画像のフィルタ処理結果と、ブラーあり可視光画像とのブロック単位の相関値に基づくブロック単位の相関値信頼度を算出する。
【０２２４】
次に、図１９に示す画像処理装置ＡＣ２，２０−ＡＣ２を利用した構成の場合のステップＳ１０９ｂの処理について説明する。
図１９に示す画像処理装置ＡＣ２，２０−ＡＣ２を利用した構成では、信頼度算出部３４ｂが、ブラー推定部３０の相関演算部３２における相関算出処理に利用したフィルタ処理後の遠赤外光画像に適用されたフィルタの妥当性に基づく信頼度を算出する。
【０２２５】
先に、図２０を参照して説明したように、信頼度算出部３４ｂは、図２０に示すような、「（ｂ４）相関値最大のフィルタ適用後遠赤外画像相関値算出ブロック」を生成するために適用されたフィルタＦ１の妥当性に基づく信頼度を算出する。
例えば、図２０に示すような複数方向のラインに沿ったブラー（ぼけ）を発生させるようなフィルタが、最大相関値算出ブロックに適用された場合、フィルタの信頼度を低いと判定する。
一方、一方向のラインに沿ったブラー（ぼけ）を発生させフィルタが、最大相関値算出ブロックに適用された場合、フィルタの信頼度を高いと判定する。
【０２２６】
このように、信頼度算出部３４ｂは、ブラー推定部３０の相関演算部３２における相関算出処理に利用したフィルタ処理後の遠赤外光画像に適用されたフィルタの妥当性に基づく信頼度を算出する。
例えば、信頼度算出部３４ｂの算出するフィルタ妥当性信頼度が、
フィルタ妥当性頼度α＝１（高信頼度）〜０（縦い信頼度）の範囲の設定である場合、図２０に示すような複数方向のラインを有するフィルタが、最大相関値算出ブロックに適用された場合、信頼度算出部３４ｂは、フィルタ妥当性信頼度α＝０〜０．１程度の低い値に設定して、逆フィルタ補正部４２に出力する。
【０２２７】
逆に、例えば一方向のラインを有するフィルタが、最大相関値算出ブロックに適用された場合、信頼度算出部３４ｂは、フィルタ妥当性信頼度を高い値に設定して、逆フィルタ補正部４２に出力する。
【０２２８】
このように、図１９に示す画像処理装置ＡＣ２，２０−ＡＣ２を利用した構成では、信頼度算出部３４ｂが、ブラー推定部３０の相関演算部３２における相関算出処理に利用したフィルタ処理後の遠赤外光画像に適用されたフィルタの妥当性に基づく信頼度を算出する。
なお、この信頼度算出処理は、フロー中のループ１において実行される処理であり、ブロック単位で繰り返し実行される。
【０２２９】
（ステップＳ１１２ｂ）
次に、図２１に示すフローのもう一つの追加ステップの処理であるステップＳ１１２ｂの処理について説明する。
【０２３０】
ステップＳ１１２ｂは、図１７、図１９に示すブラー除去部４０の逆フィルタ補正部４２において実行する処理である。
図１７に示す構成では、逆フィルタ補正部４２は、信頼度算出部３４ａから入力するブラー推定結果信頼度である相関値信頼度に応じて、逆フィルタ処理部４１において適用する逆フィルタの強度を調整する。
また、図１９に示す構成では、逆フィルタ補正部４２は、信頼度算出部３４ｂから入力するブラー推定結果信頼度であるフィルタ妥当性信頼度に応じて、逆フィルタ処理部４１において適用する逆フィルタの強度を調整する。
【０２３１】
例えば、信頼度算出部３４ａ、または信頼度算出部３４ｂから入力するブラー推定結果信頼度である相関値信頼度、またはフィルタ妥当性信頼度が高い場合は、逆フィルタ処理部４１において適用する逆フィルタの強度を弱めることなく、逆フィルタバンク４５から取得した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像１５の処理対象ブロックに対して逆フィルタバンク４５から取得した逆フィルタをそのまま適用する。
【０２３２】
一方、信頼度算出部３４ａ、または信頼度算出部３４ｂから入力するブラー推定結果信頼度である相関値信頼度、またはフィルタ妥当性信頼度がが低い場合は、逆フィルタ処理部４１において適用する逆フィルタの強度を弱める。すなわち、逆フィルタバンク４５から取得した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。
【０２３３】
このように、「（実施例３）（Ａ＋Ｃ）ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置」は、
相関演算部３２において算出する相関値信頼度、または
遠赤外画像に適用したフィルタの妥当性信頼度、
これらいずれかの信頼度をブラー推定結果の信頼度として算出し、このブラー推定結果の信頼度に応じて逆フィルタの適用効果の調整処理を行う。、
【０２３４】
この処理によりブラー推定結果の信頼度の高いブロックは逆フィルタの適用効果を高め、ブラー推定結果の信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、ブラー推定結果の信頼度に応じた最適なブラー除去処理が可能となる。
【０２３５】
［６．（実施例４）基本構成（Ａ）＋前処理（Ｂ）＋信頼度に応じたブラー除去処理（Ｃ）の全てを実行する画像処理装置の処理について］
次に、本開示の画像処理装置の実施例４として、基本構成（Ａ）＋前処理（Ｂ）＋信頼度に応じたブラー除去処理（Ｃ）の全てを実行する画像処理装置の処理について説明する。
【０２３６】
この実施例４は、先に図４を参照して説明した構成（Ａ＋Ｂ＋Ｃ）、すなわち基本構成（Ａ）の処理に追加して、「（Ｂ）ブラー推定前の前処理」と、「（Ｃ）ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」の両処理を行う構成例である。
【０２３７】
画像処理装置の構成としては、例えば、先に実施例２として説明した「（Ｂ）ブラー推定前の前処理」を実行する構成（Ａ＋Ｂ）に対応する画像処理装置である図９、図１１、図１３、図１４のいずれかの構成と、先に実施例３として説明した「（Ｃ）ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を実行する構成（Ａ＋Ｃ）に対応する画像処理装置である図１７、または図１９のいずれかの構成とを組み合わせた構成となる。
【０２３８】
処理フローについては、先に実施例２として説明した「（Ｂ）ブラー推定前の前処理」を実行する処理フローである図１５、または図１６に示す処理フローのいずれかのフローと、先に実施例３として説明した「（Ｃ）ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を実行する処理フローである図２１に示す処理フローを組み合わせたフローとなる。
【０２３９】
本実施例４の処理シーケンスを説明するフローチャートを図２２、図２３に示す。
図２２に示すフローチャートは、先に実施例２として説明した「（Ｂ）ブラー推定前の前処理」を実行する処理フローである図１５に示す処理フローと、先に実施例３として説明した「（Ｃ）ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を実行する処理フローである図２１に示す処理フローを組み合わせたフローである。
【０２４０】
この図２２に示すフローは、先に、図８を参照して説明した図７の「（Ａ）基本構成例」対応の画像処理装置の実行する処理フローのステップＳ１０１〜Ｓ１１４の処理に、以下の処理を追加したフローである。
（追加処理１）図１５を参照して説明した「（Ｂ）ブラー推定前の前処理」を実行する（Ａ＋Ｂ）構成の画像処理装置の実行する処理ステップであるステップＳ１０１ｂと、ステップＳ１０２ｂの処理、
（追加処理２）図２１を参照して説明した「（Ｃ）ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を実行する（Ａ＋Ｃ）構成の画像処理装置の実行する処理ステップであるステップＳ１０９ｂと、ステップＳ１１２ｂの処理、
これらの各ステップの具体的な処理については、説明済みであるので、説明は省略する。
【０２４１】
さらに、図２３に示すフローチャートは、先に実施例２として説明した「（Ｂ）ブラー推定前の前処理」を実行する処理フローである図１６に示す処理フローと、先に実施例３として説明した「（Ｃ）ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を実行する処理フローである図２１に示す処理フローを組み合わせたフローである。
【０２４２】
この図２３に示すフローは、先に、図８を参照して説明した図７の「（Ａ）基本構成例」対応の画像処理装置の実行する処理フローのステップＳ１０１〜Ｓ１１４の処理に、以下の処理を追加したフローである。
（追加処理１）図１６を参照して説明した「（Ｂ）ブラー推定前の前処理」を実行する（Ａ＋Ｂ）構成の画像処理装置の実行する処理ステップであるステップＳ１０１ｃと、ステップＳ１０２ｃの処理、
（追加処理２）図２１を参照して説明した「（Ｃ）ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を実行する（Ａ＋Ｃ）構成の画像処理装置の実行する処理ステップであるステップＳ１０９ｂと、ステップＳ１１２ｂの処理、
これらの各ステップの具体的な処理については、説明済みであるので、説明は省略する。
【０２４３】
本実施例４は、先に説明した実施例２のブラー推定前の前処理、および実施例３のブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理、これら２つの処理を併せて実行する構成である。
【０２４４】
ブラー推定前の前処理を行うことで、補正前可視光画像１５と、遠赤外画像１６の見え方の違いが緩和され、類似画素値によって構成される画像に基づく相関値算出が可能となり、より精度の高い相関値算出が実行される。最終的に生成される補正後可視光画像１７のブラー除去効果も、より高くなる。
また、ブラー推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行うことで、ブラー推定結果の信頼度に応じた最適なブラー除去処理が可能となる。
【０２４５】
［７．画像処理装置のハードウェア構成例について］
次に、図２４を参照して画像処理装置のハードウェア構成例について説明する。
図２４は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。
【０２４６】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）８１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）８２、または記憶部８８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）８３には、ＣＰＵ８１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ８１、ＲＯＭ８２、およびＲＡＭ８３は、バス８４により相互に接続されている。
【０２４７】
ＣＰＵ８１はバス８４を介して入出力インタフェース８５に接続され、入出力インタフェース８５には、可視光カメラや（遠）赤外カメラ等によって構成される撮像部９５の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロフォンなどよりなる入力部８６、表示部９６やスピーカなどに対するデータ出力を実行する出力部８７が接続されている。ＣＰＵ８１は、入力部８６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部８７に出力する。
【０２４８】
入出力インタフェース８５に接続されている記憶部８８は、例えばハードディスク等からなり、ＣＰＵ８１が実行するプログラムや各種のデータを記憶する。通信部８９は、Ｗｉ−Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
【０２４９】
入出力インタフェース８５に接続されているドライブ９０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア９１を駆動し、データの記録あるいは読み取りを実行する。
【０２５０】
［８．車両に本開示の画像処理装置を備えた車両制御システムの構成例について］
次に、上述した本開示の画像処理装置を、車両に備え付けた車両制御システムの一構成例について説明する。
図２５は、上述した処理を実行する画像処理装置を含む車両制御システム１００の概略的な機能の構成例を示すブロック図である。
【０２５１】
なお、上述した本開示の画像処理装置は、図２５に示す車両制御システム１００の検出部１３１の車外情報検出部１４１、データ取得部１０２、出力制御部１０５、出力部１０６の構成の一部に対応する。
【０２５２】
上述した本開示の画像処理装置が実行する処理は、主に図２５に示す車両制御システム１００の検出部１３１の車外情報検出部１４１によって実行される。
図２５に示す車両制御システム１００のデータ取得部１０２は、可視光カメラと（遠）赤外カメラを含み、車外情報検出部１４１は、これらのカメラの撮影画像を入力して上述した処理を実行する。
なお、処理結果は、例えば、図２５に示す車両制御システム１００の出力部１０６を構成する表示部に表示され、ユーザ（ドライバ）によって確認される。
以下、図２５に示す車両制御システム１００の構成について説明する。
【０２５３】
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
【０２５４】
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ  Ｉｎｔｅｒｃｏｎｎｅｃｔ  Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
【０２５５】
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
【０２５６】
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
【０２５７】
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
【０２５８】
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
【０２５９】
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）カメラ、可視光カメラ、ステレオカメラ、単眼カメラ、（遠）赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ、Ｌａｓｅｒ  Ｉｍａｇｉｎｇ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）、ソナー等からなる。
【０２６０】
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
【０２６１】
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
【０２６２】
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
【０２６３】
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）、又は、ＭＨＬ（Ｍｏｂｉｌｅ  Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ  Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。
【０２６４】
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ  Ｔｏ  Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ  Ｔｙｐｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ  ｔｏ  Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ  ｔｏ  Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ  ｔｏ  Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ  ｔｏ  Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
【０２６５】
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
【０２６６】
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
【０２６７】
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
【０２６８】
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
【０２６９】
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ  Ｂｒａｋｅ  Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ  Ｓｔａｂｉｌｉｔｙ  Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。
【０２７０】
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
【０２７１】
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
【０２７２】
記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
【０２７３】
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
【０２７４】
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
【０２７５】
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
【０２７６】
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
【０２７７】
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
【０２７８】
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
【０２７９】
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
【０２８０】
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【０２８１】
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
【０２８２】
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ  Ｇｒｉｄ  Ｍａｐ）とされる。
【０２８３】
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
【０２８４】
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
【０２８５】
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
【０２８６】
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
【０２８７】
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【０２８８】
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
【０２８９】
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
【０２９０】
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
【０２９１】
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
【０２９２】
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
【０２９３】
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【０２９４】
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【０２９５】
［９．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２９６】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、
前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、
前記ブラー推定部は、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、
前記ブラー除去部は、
前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する画像処理装置。
【０２９７】
（２）  前記ブラー推定部は、
前記可視光画像の分割領域であるブロック単位で、フィルタを選択し、
前記ブラー除去部は、
前記可視光画像の分割領域であるブロック単位で、前記フィルタに対応する逆フィルタを選択して適用する（１）に記載の画像処理装置。
【０２９８】
（３）  前記ブラー推定部は、
異なる多数の点広がり関数対応のフィルタを保持するフィルタバンクから、異なるフィルタを順次、取得して前記遠赤外画像に適用するフィルタ処理部と、
前記フィルタ処理部の生成したフィルタ適用遠赤外画像と、前記可視光画像との相関を、画像の分割領域であるブロック単位で算出する相関演算部を有する（１）または（２）に記載の画像処理装置。
【０２９９】
（４）  前記ブラー除去部は、
前記フィルタバンクに格納されたフィルタと逆特性を持つ逆フィルタを格納した逆フィルタバンクから、前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを選択して、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する逆フィルタ処理部を有する（３）に記載の画像処理装置。
【０３００】
（５）  前記画像処理装置は、
前記ブラー推定部におけるブラー推定処理の前に、前記ブラー推定部における相関算出の精度を高める前処理を実行する前処理部を有する（１）〜（４）いずれかに記載の画像処理装置。
【０３０１】
（６）  前記前処理部は、
可視光画像と遠赤外画像の勾配画像を生成する勾配画像生成部であり、
前記ブラー推定部は、
前記勾配画像生成部の生成した可視光勾配画像と、遠赤外勾配画像を入力して、
前記遠赤外勾配画像にフィルタを適用したフィルタ適用遠赤外勾配画像と、前記可視光勾配画像との相関を算出する（５）に記載の画像処理装置。
【０３０２】
（７）  前記前処理部は、
可視光画像と遠赤外画像の帯域制限画像を生成する帯域制限画像生成部であり、
前記ブラー推定部は、
前記帯域制限画像生成部の生成した可視光帯域制限画像と、遠赤外帯域制限画像を入力して、
前記遠赤外帯域制限画像にフィルタを適用したフィルタ適用遠赤外帯域制限画像と、前記可視光帯域制限画像との相関を算出する（５）に記載の画像処理装置。
【０３０３】
（８）  前記前処理部は、
可視光画像に基づく疑似遠赤外画像を生成する疑似遠赤外画像生成部であり、
前記ブラー推定部は、
前記疑似遠赤外画像生成部の生成した疑似遠赤外画像と、遠赤外画像を入力して、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記疑似遠赤外画像との相関を算出する（５）に記載の画像処理装置。
【０３０４】
（９）  前記前処理部は、
遠赤外画像に基づく疑似可視光画像を生成する疑似可視光画像生成部であり、
前記ブラー推定部は、
前記可視光画像と、前記疑似可視光画像生成部の生成した疑似可視光画像を入力して、
前記疑似可視光画像にフィルタを適用したフィルタ適用疑似可視光画像と、前記可視光画像との相関を算出する（５）に記載の画像処理装置。
【０３０５】
（１０）  前記画像処理装置は、
前記ブラー推定部におけるブラー推定結果の信頼度を算出する信頼度算出部を有し、
前記ブラー除去部は、
前記信頼度算出部の算出した信頼度が低い場合は、前記可視光画像に対する逆フィルタの適用強度を弱める処理を行う（１）〜（９）いずれかに記載の画像処理装置。
【０３０６】
（１１）  前記信頼度算出部は、
前記ブラー推定部において選択されたフィルタに対応して算出された相関値に応じて、相関値が高い場合は高信頼度、相関値が低い場合は低信頼度とする信頼度の算出を行う（１０）に記載の画像処理装置。
【０３０７】
（１２）  前記信頼度算出部は、
前記ブラー推定部において選択されたフィルタの妥当性に基づく信頼度の算出を行う（１０）に記載の画像処理装置。
【０３０８】
（１３）  前記信頼度算出部は、
前記ブラー推定部において選択されたフィルタが、複数方向のラインに沿ったブラーを発生させるようなフィルタである場合、低信頼度とし、
前記ブラー推定部において選択されたフィルタが、一方向のラインに沿ったブラーを発生させるようなフィルタである場合、高信頼度とする信頼度算出処理を実行する（１２）に記載の画像処理装置。
【０３０９】
（１４）  画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、
前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、
前記ブラー推定部が、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、
前記ブラー除去部が、
前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する画像処理方法。
【０３１０】
（１５）  画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、前記可視光画像のブラーの態様を推定するブラー推定部と、
前記ブラー推定部のブラー推定結果を入力して、前記可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有し、
前記プログラムは、前記ブラー推定部に、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを選択させ、
前記ブラー除去部に、
前記ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成させるプログラム。
【０３１１】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０３１２】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０３１３】
以上、説明したように、本開示の一実施例の構成によれば、可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法が実現される。
具体的には、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力し、可視光画像のブラー（ぼけ）の態様を推定するブラー推定部と、ブラー推定部のブラー推定結果を入力して、可視光画像に対する補正処理を行い、ブラーを除去または低減した補正可視光画像を生成するブラー除去部を有する。ブラー推定部は、遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、可視光画像との相関を算出し、相関の最も高くなるフィルタを選択し、ブラー除去部は、ブラー推定部において選択されたフィルタと逆特性を持つ逆フィルタを、可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する。
これらの処理により、可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法が実現される。
【符号の説明】
【０３１４】
１１・・ブラーあり可視光画像、１２・・ブラーなし遠赤外画像、１３・・ブラー低減可視光画像、１５・・補正前可視光画像、１６・・遠赤外画像、１７・・補正後可視光画像、２１・・可視光画像入力部、２２・・遠赤外画像入力部、３０・・ブラー推定部、３１・・フィルタ処理部、３２・・相関演算部、３３・・フィルタ決定部、３４・・信頼度算出部、４０・・ブラー除去部、４１・・逆フィルタ処理部、４２・・逆フィルタ補正部、３５・・フィルタバンク、４５・・フィルタバンク、８１・・ＣＰＵ、８２・・ＲＯＭ、８３・・ＲＡＭ、８４・・バス、８５・・入出力インタフェース、８６・・入力部、８７・・出力部、８８・・記憶部、８９・・通信部、９０・・ドライブ、９１・・リムーバブルメディア、９５・・撮像部（カメラ）、９６・・表示部、１００・・車両走行制御装置、１０１・・入力部、１０２・・データ取得部、１０３・・通信部、１０４・・車内機器、１０５・・出力制御部、１０６・・出力部、１０７・・駆動系制御部、１０８・・駆動系システム、１０９・・ボディ系制御部、１１０・・ボディ系システム、１１１・・記憶部、１１２・・自動運転制御部、１３１・・検出部、１３２・・自己位置推定部、１３３・・状況分析部、１３４・・計画部、１３５・・動作制御部、１４１・・車外情報検出部、１４２・・車内情報検出部、１４３・・車両状態検出部、１５１・・マップ解析部、１５２・・交通ルール認識部、１５３・・状況認識部、１５４・・状況予測部、１６１・・ルート計画部、１６２・・行動計画部、１６３・・動作計画部、１７１・・緊急事態回避部、１７２・・加減速制御部、１７３・・方向制御部、２０１・・表示部、
【図１】
2019046276.tif 000003
【図２】
2019046276.tif 000004
【図３】
2019046276.tif 000005
【図４】
2019046276.tif 000006
【図５】
2019046276.tif 000007
【図６】
2019046276.tif 000008
【図７】
2019046276.tif 000009
【図８】
2019046276.tif 000010
【図９】
2019046276.tif 000011
【図１０】
2019046276.tif 000012
【図１１】
2019046276.tif 000013
【図１２】
2019046276.tif 000014
【図１３】
2019046276.tif 000015
【図１４】
2019046276.tif 000016
【図１５】
2019046276.tif 000017
【図１６】
2019046276.tif 000018
【図１７】
2019046276.tif 000019
【図１８】
2019046276.tif 000020
【図１９】
2019046276.tif 000021
【図２０】
2019046276.tif 000022
【図２１】
2019046276.tif 000023
【図２２】
2019046276.tif 000024
【図２３】
2019046276.tif 000025
【図２４】
2019046276.tif 000026
【図２５】
2019046276.tif 000027