(57)【要約】【課題】可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法を提供する。【解決手段】同一被写体を同時に撮影した可視光画像と遠赤外画像、さらに、カメラの動き情報を入力し、カメラの動きに起因する可視光画像のブラー（ぼけ）であるカメラ動きベースブラーを推定し、可視光画像と遠赤外画像、およびカメラ動きベースブラーを利用して、可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定し、推定した統合フィルタと逆特性を持つ逆特性フィルタを可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する。【選択図】図９
2019046277.tif 000002
【特許請求の範囲】
【請求項１】
同一被写体を同時に撮影した可視光画像と遠赤外画像を入力する画像入力部と、
前記可視光画像を撮影したカメラの動き情報を入力するカメラ動き情報入力部と、
前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定するカメラ動きベースブラー推定部と、
前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定するブラー推定部と、
前記ブラー推定部の推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成するブラー除去部を有する画像処理装置。
【請求項２】
前記カメラ動きベースブラー推定部は、
前記可視光画像の画像ブロック領域単位で、前記カメラ動きベースブラーを推定し、
前記ブラー推定部は、
前記可視光画像の画像ブロック領域単位で、前記統合フィルタを推定し、
前記ブラー除去部は、
前記可視光画像の画像ブロック領域単位で、前記逆特性フィルタを適用する請求項１に記載の画像処理装置。
【請求項３】
前記ブラー推定部は、
異なる多数の点広がり関数対応のフィルタを保持するフィルタバンクから、異なるフィルタを順次、取得して前記遠赤外画像に適用するフィルタ処理部と、
前記フィルタ処理部の生成したフィルタ適用遠赤外画像と、前記可視光画像との相関を、画像の分割領域であるブロック単位で算出する相関演算部を有する請求項１に記載の画像処理装置。
【請求項４】
前記ブラー推定部は、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを画像ベースフィルタとして決定する画像ベースブラー推定部と、
カメラ動きベースブラー相当のブラーを発生させるフィルタであるカメラ動きベースフィルタと、前記画像ベースフィルタのいずれかを選択、あるいは加重平均することで、前記統合フィルタを算出する統合ブラー推定部を有する構成である請求項１に記載の画像処理装置。
【請求項５】
前記統合フィルタ推定部は、
環境情報を利用した動き量判定アルゴリズムに従った画像ブロック領域単位の動き量判定処理によって、被写体動き量が多いと判定された画像ブロック領域については、前記画像ベースフィルタを前記統合フィルタとし、
被写体動き量が少ないと判定された画像ブロック領域については、前記カメラ動きベースフィルタを前記統合フィルタとする処理を実行する請求項４に記載の画像処理装置。
【請求項６】
前記環境情報は、地図情報、時間情報、交通情報、画像ブロック領域情報の少なくともいずれかの情報を含む請求項５に記載の画像処理装置。
【請求項７】
前記統合フィルタ推定部は、
環境情報を利用した重み係数決定アルゴリズムに従って決定される重み係数を利用して、前記画像ベースフィルタと、前記カメラ動きベースフィルタとの加重平均処理を実行して、前記統合フィルタを算出する請求項４に記載の画像処理装置。
【請求項８】
前記環境情報は、地図情報、時間情報、交通情報、画像ブロック領域情報の少なくともいずれかの情報を含む請求項７に記載の画像処理装置。
【請求項９】
前記画像処理装置は、さらに、
フィルタ特性の類似する複数のフィルタを格納したフィルタバンクを複数格納したフィルタバンクプールを有し、
前記ブラー推定部は、
前記カメラ動きベースブラー相当のブラーを発生させるフィルタに類似するフィルタ特性を有するフィルタを格納したフィルタバンクを、前記フィルタバンクプールから選択するフィルタバンク選択部と、
前記フィルタバンク選択部の選択したフィルタバンクに格納されたフィルタを、前記遠赤外画像に適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出する相関算出部と、
相関の最も高くなるフィルタを統合フィルタとして決定する統合フィルタ決定部を有する請求項１に記載の画像処理装置。
【請求項１０】
前記ブラー推定部は、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関値を算出する相関算出部と、
前記遠赤外画像に適用したフィルタと、前記カメラ動きベースブラーとの比較処理を実行するフィルタ比較部と、
前記フィルタ比較部における比較結果に応じて、前記相関算出部の算出した相関値を補正する相関補正部と、
前記相関補正部の補正した補正相関値の最も高くなるフィルタを統合フィルタとして決定する統合フィルタ決定部を有する請求項１に記載の画像処理装置。
【請求項１１】
前記相関補正部は、
前記遠赤外画像に適用したフィルタと、前記カメラ動きベースブラーとが類似度が低いほど、前記相関算出部の算出した相関値を低下させる相関値補正を行う請求項１０に記載の画像処理装置。
【請求項１２】
前記画像処理装置は、
前記ブラー推定部における推定結果の信頼度を算出する信頼度算出部を有し、
前記ブラー除去部は、
前記信頼度算出部の算出した信頼度が低い場合は、前記可視光画像に対する逆フィルタの適用強度を弱める処理を行う請求項１に記載の画像処理装置。
【請求項１３】
前記信頼度算出部は、
前記ブラー推定部において推定された前記画像ベースブラー相当のブラーを発生させる画像ベースブラーフィルタ、または前記統合フィルタの信頼度を算出する請求項１２に記載の画像処理装置。
【請求項１４】
前記信頼度算出部は、
前記カメラ動きベースブラーと、
前記画像ベースブラーフィルタ、または前記統合フィルタを比較して、類似度が高いほど高い信頼度を算出する請求項１３に記載の画像処理装置。
【請求項１５】
前記ブラー除去部は、
前記ブラー推定部の推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを算出する逆フィルタ算出部と、
前記信頼度算出部の算出した信頼度を入力して、前記信頼度が低い場合は、前記逆フィルタの適用強度を弱めた補正逆フィルタを生成する逆フィルタ補正部と、
前記逆フィルタ補正部の生成した補正逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する請求項１２に記載の画像処理装置。
【請求項１６】
画像処理装置において実行する画像処理方法であり、
画像入力部が、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力するステップと、
カメラ動き情報入力部が、前記可視光画像を撮影したカメラの動き情報を入力するステップと、
カメラ動きベースブラー推定部が、前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定するステップと、
ブラー推定部が、前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定するブラー推定ステップと、
ブラー除去部が、前記ブラー推定ステップにおいて推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成するブラー除去ステップを実行する画像処理方法。
【請求項１７】
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力させるステップと、
カメラ動き情報入力部に、前記可視光画像を撮影したカメラの動き情報を入力させるステップと、
カメラ動きベースブラー推定部に、前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定させるステップと、
ブラー推定部に、前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定させるブラー推定ステップと、
ブラー除去部に、前記ブラー推定ステップにおいて推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成させるブラー除去ステップを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、可視光画像と赤外線画像に併せてカメラの動き情報を入力して、可視光画像のブラー（ぼけ）を低減する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
夜間等の暗い環境で可視光画像を撮影する場合、露光時間を長くする必要があり、その結果、カメラの動きや被写体の動きに起因するぼけであるブラーが発生しやすくなる。
【０００３】
この問題を解決する従来技術として、例えば特許文献１（特開２００３−２０９７３５号公報）に開示された技術がある。
特許文献１は、可視光カメラによって連続的に撮影された複数の画像を利用して画像の動きを解析し、この動き解析結果に基づいてぼけ補正を行う技術を開示している。
【０００４】
しかし、上記特許文献１に記載の構成では、複数の連続撮影された画像が必要であり、静止画に対する処理は実行できないという問題がある。また、複数の連続撮影画像から画像の動きを解析する処理が必要であり、各画像対応の即時的処理ができないという問題がある。
【０００５】
さらに、上記特許文献１に記載の構成は、固定されたカメラによる撮影画像のぼけ補正を開示しており、カメラが動いた場合の処理についての開示はなく、例えば、車載カメラ等、カメラが動く場合のぼけ低減には効果が発揮されにくいという問題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−２０９７３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本開示は、例えば、上記の問題点に鑑みてなされたものであり、複数の連続撮影画像を用いることなく、可視光画像と赤外線画像を用いて可視光画像のブラー（ぼけ）の解消または低減を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【０００８】
さらに、本開示は、例えば、車載カメラ等、カメラが動く場合であってもカメラの動きを考慮した処理を行うことで、効果的な可視光画像のブラー（ぼけ）の解消または低減を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本開示の第１の側面は、
同一被写体を同時に撮影した可視光画像と遠赤外画像を入力する画像入力部と、
前記可視光画像を撮影したカメラの動き情報を入力するカメラ動き情報入力部と、
前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定するカメラ動きベースブラー推定部と、
前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定するブラー推定部と、
前記ブラー推定部の推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成するブラー除去部を有する画像処理装置にある。
【００１０】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像入力部が、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力するステップと、
カメラ動き情報入力部が、前記可視光画像を撮影したカメラの動き情報を入力するステップと、
カメラ動きベースブラー推定部が、前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定するステップと、
ブラー推定部が、前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定するブラー推定ステップと、
ブラー除去部が、前記ブラー推定ステップにおいて推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成するブラー除去ステップを実行する画像処理方法にある。
【００１１】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力させるステップと、
カメラ動き情報入力部に、前記可視光画像を撮影したカメラの動き情報を入力させるステップと、
カメラ動きベースブラー推定部に、前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定させるステップと、
ブラー推定部に、前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定させるブラー推定ステップと、
ブラー除去部に、前記ブラー推定ステップにおいて推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成させるブラー除去ステップを実行させるプログラムにある。
【００１２】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００１３】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００１４】
本開示の一実施例の構成によれば、可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法が実現される。
具体的には、同一被写体を同時に撮影した可視光画像と遠赤外画像、さらに、カメラの動き情報を入力し、カメラの動きに起因する可視光画像のブラー（ぼけ）であるカメラ動きベースブラーを推定し、可視光画像と遠赤外画像、およびカメラ動きベースブラーを利用して、可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定し、推定した統合フィルタと逆特性を持つ逆特性フィルタを可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する。
これらの処理により、可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１５】
【図１】本開示の画像処理装置の実行する処理の概要について説明する図である。
【図２】撮影画像の種類と光の波長との対応関係について説明する図である。
【図３】可視光画像と遠赤外画像の例について説明する図である。
【図４】カメラの動きによって発生する撮影画像中のブラーについて説明する図である。
【図５】カメラの動きによって発生する撮影画像中のブラーと被写体の動きの影響について説明する図である。
【図６】自動車に対するカメラの装着例とカメラの動き検出について説明する図である。
【図７】本開示の画像処理装置の構成例と処理例について説明する図である。
【図８】本開示の画像処理装置の構成例と処理例について説明する図である。
【図９】本開示の実施例１の画像処理装置の構成例と処理例について説明する図である。
【図１０】カメラ動きブラーマップについて説明する図である。
【図１１】本開示の実施例１の画像処理装置の構成例と処理例について説明する図である。
【図１２】本開示の実施例１の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図１３】本開示の実施例１の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図１４】本開示の実施例１の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図１５】本開示の実施例２の画像処理装置の構成例と処理例について説明する図である。
【図１６】フィルタバンクプールの格納データと、カメラ動きに基づくフィルタバンクの選択処理例について説明する図である。
【図１７】本開示の実施例２の画像処理装置の構成例と処理例について説明する図である。
【図１８】本開示の実施例２の画像処理装置の実行する処理の処理例について説明する図である。
【図１９】本開示の実施例２の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図２０】本開示の実施例２の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図２１】本開示の実施例２の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図２２】本開示の実施例３の画像処理装置の構成例と処理例について説明する図である。
【図２３】本開示の実施例３の画像処理装置の実行する処理の処理例について説明する図である。
【図２４】本開示の実施例３の画像処理装置の構成例と処理例について説明する図である。
【図２５】本開示の実施例３の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図２６】本開示の実施例３の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図２７】本開示の実施例４の画像処理装置の実行する処理の処理例について説明する図である。
【図２８】本開示の実施例４の画像処理装置の実行する処理の処理例について説明する図である。
【図２９】本開示の実施例４の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図３０】本開示の実施例４の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図３１】画像処理装置のハードウェア構成例について説明する図である。
【図３２】本開示の画像処理装置の機能を有する車両制御システムの構成例について説明する図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本開示の画像処理装置の構成と処理の概要について
２．カメラの動きに起因して発生するブラーの具体例について
３．車に対するカメラ装着例について
４．本開示の画像処理装置の構成と処理の概要について
５．（実施例１）構成Ａ対応の画像処理装置の構成と処理について
６．（実施例２）構成Ｂ対応の画像処理装置の構成と処理について
７．（実施例３）構成Ａ＋Ｃ対応の画像処理装置の構成と処理について
８．（実施例４）構成Ｂ＋Ｃ対応の画像処理装置の構成と処理について
９．画像処理装置のハードウェア構成例について
１０．車両に本開示の画像処理装置を備えた車両制御システムの構成例について
１１．本開示の構成のまとめ
【００１７】
［１．本開示の画像処理装置の構成と処理の概要について］
まず、図１以下を参照して本開示の画像処理装置の構成と処理の概要について説明する。
図１は、本開示の画像処理装置の実行する処理の概要を説明する図である。
本開示の画像処理装置は、同一被写体を撮影した可視光画像と赤外線画像を入力し、さらに、これらの画像を撮影したカメラのカメラ動き情報を入力して可視光画像のブラー（ぼけ）を低減させる処理を実行する。
【００１８】
夜間等の暗い環境で可視光画像を撮影する場合、露光時間を長くする必要があり、その結果、カメラの動きや被写体の動きに起因するブラーが発生しやすくなる。
本開示の画像処理装置は、例えば、このような環境下で撮影された可視光画像のブラーを低減させるため、同じ被写体を同時に撮影した遠赤外画像を利用する。
【００１９】
赤外線画像は、被写体から発せられる熱に応じた画素値が設定された画像であり、例えば人の体温を検出することができる。従って、例えば暗闇等において熱を発生する人物等を撮影することが可能であり、監視カメラ等に利用される。
赤外線の中でも波長の長い遠赤外線は、熱に対してより高感度であり、露光時間の短い撮影でも人等の熱を発生する被写体を比較的、明瞭に撮影することができる。
【００２０】
夜間等、暗闇での可視光画像の撮影合には、露光時間を長くすることが必要であり、カメラや被写体の動きに応じたブラー（ぼけ）が大きくなる。
しかし、遠赤外画像は、暗闇で露光時間を短く設定して撮影しても熱を発生させる被写体、例えば人等を明瞭に撮影できる。
本開示の画像処理装置は、これら可視光画像と、遠赤外画像の特性の違いを利用して、ブラーの大きな可視光画像の補正を行う。すなわち、ブラーの少ない赤外画像を参照画像として用いて補正（ブラー除去）処理を行って、ブラーを解消または低減した可視光画像を生成する。
【００２１】
図１を参照して本開示の画像処理装置の実行する処理の概要について説明する。
図１に示すように、本開示の画像処理装置は、同一被写体を同時に撮影したブラーあり可視光画像１１と、ブラーなし遠赤外画像１２を入力する。
さらに、これらの画像を撮影したカメラ動き情報１３を入力する。
【００２２】
本開示の画像処理装置は、まず、ステップＳ２０において、入力した２つの画像と、カメラ動き情報を利用して、可視光画像のブラー推定を行う。
具体的には、例えば、画像のぼけ量を示す関数である点広がり関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）の推定を行う。
ＰＳＦは、ある画素位置の画素値の周囲に対するひろがり具合、すなわちぼけ量やぼけ態様を示す関数である。
【００２３】
ステップＳ２０では、ブラーなし遠赤外画像１２に対して、様々な点広がり関数（ＰＳＦ）対応のフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを適用して、故意にブラーを発生させた遠赤外画像を生成し、このフィルタ適用遠赤外画像と、ブラーあり可視光画像１１を比較（相関算出）する。
この比較処理（相関算出）に基づいて、ブラーあり可視光画像１１のブラー（ぼけ）と同様のブラー（ぼけ）を発生させる点広がり関数（ＰＳＦ）対応のフィルタを選択する。
【００２４】
なお、このステップＳ２０において選択しようとするフィルタは、ブラー（ぼけ）のない可視光画像に適用した場合、ブラーあり可視光画像１１が生成されるフィルタに相当する。
しかし、撮影画像として、ブラー（ぼけ）のない可視光画像は取得できていないため、その代替画像として、ブラーなし遠赤外画像１２を利用するものである。
すなわち、ブラーなし遠赤外画像１２に適用することで、ブラーあり可視光画像１１に存在するブラー（ぼけ）と同様のブラー（ぼけ）が発生するフィルタを選択、または点広がり関数（ＰＳＦ）を算出する。
【００２５】
次に、ステップＳ４０において、可視光画像のブラーを除去する処理を行う。
ブラー除去処理は、上記の点広がり関数：ＰＳＦ＝ｐ（ｘ，ｙ）で示される特性を持つフィルタと逆の特性を持つ逆フィルタを生成して、生成した逆フィルタをブラーあり可視光画像１１に適用する処理である。
この逆フィルタの適用処理により、ブラーあり可視光画像１１から、ブラー（ぼけ）が除去され、ブラー低減可視光画像１５が生成される。
【００２６】
なお、ステップＳ４０の可視光画像ブラー除去処理は、デコンボリューション処理とよばれる周波数領域でのフィルタ処理が適用可能である。
ブラーあり可視光画像１１の点広がり関数（ＰＳＦ）＝ｐ（ｘ，ｙ）とし、
ブラーあり可視光画像１１をｂ（ｘ，ｙ）、ブラーのない真の可視光画像をｓ（ｘ，ｙ）としたとき、それぞれのフーリエ変換を、Ｐ（ｕ，ｖ），Ｂ（ｕ，ｖ），Ｓ（ｕ，ｖ）とすると、以下の関係式が成立する。
ｂ（ｘ，ｙ）＝ｐ（ｘ，ｙ）＊ｓ（ｘ，ｙ）
Ｂ（ｕ，ｖ）＝Ｐ（ｕ，ｖ）・Ｓ（Ｕ，ｖ）
なお、＊はコンボリューション演算である。
【００２７】
さらに、フーリエ変換をＦＴ［］としたとき、
Ｂ（ｕ，ｖ）＝ＦＴ［ｂ（ｘ，ｙ）］
Ｐ（ｕ，ｖ）＝ＦＴ［ｐ（ｘ，ｙ）］
Ｓ（ｕ，ｖ）＝ＦＴ［ｓ（ｘ，ｙ）］
上記関係式が成立する。
【００２８】
ブラーのない真の可視光画像：ｓ（ｘ，ｙ）を算出する処理は、ブラーあり可視光画像１１：ｂ（ｘ，ｙ）から、ブラーのない真の可視光画像：ｓ（ｘ，ｙ）を算出する処理（＝Ｂ（ｕ，ｖ）からＳ（ｕ，ｖ）を算出する処理と同様）であり、この処理を行うフィルタを、デコンボリューションフィルタと呼び、このフィルタ適用処理をデコンボリューション処理と呼ぶ。
デコンボリューションフィルタは、ＰＳＦ＝ｐ（ｘ，ｙ）で示される特性を持つフィルタと逆の特性を持つ逆フィルタである。
【００２９】
このように、ステップＳ４０では、ステップＳ２０で推定したブラーあり可視光画像１１のブラー態様を示すＰＳＦ＝ｐ（ｘ，ｙ）で示される特性を持つフィルタと逆特性を持つ逆フィルタを生成して、生成した逆フィルタをブラーあり可視光画像１１に適用する。すなわち、「デコンボリューション処理」を実行して、ブラーあり可視光画像１１から、ブラー（ぼけ）を除去したブラー低減可視光画像１５を生成する。
【００３０】
次に、図２を参照して可視光画像と、赤外線画像について説明する。
図２に示すように、可視光画像は、波長が約０．４μｍ〜０．７μｍの範囲の画像であり、一般的なカメラで撮影されるＲＧＢ画像等のカラー画像である。
一方赤外線画像は、波長が．０．７μｍ以上の長波長光からなる画像である。赤外線画像を撮影する赤外画像撮影カメラは、例えば暗闇等において熱を発生する人物等を撮影することが可能であり、監視カメラ等に利用される。
なお、赤外線は、図２に示すように、
波長が約０．７〜１μｍの近赤外線、
波長が約３〜５μｍの中赤外線、
波長が約８〜１４μｍの遠赤外線、
このように区分される。
【００３１】
以下に説明する実施例では、主に波長が約８〜１４μｍの遠赤外線の撮影画像である遠赤外画像を利用した画像処理例について説明する。
ただし、本開示の処理は、遠赤外画像に限らず、その他の赤外画像を利用した処理にも適用可能である。
【００３２】
先に説明したように、夜間等の暗い環境で可視光画像を撮影する場合、露光時間を長くする必要があり、その結果、カメラの動きや被写体の動きに起因するブラーが発生しやすくなる。一方、遠赤外画像は、露光時間を短くした撮影を行っても、人等の熱を発生する被写体を明瞭に撮影することができる。
具体的な撮影画像の例を図３に示す。
【００３３】
図３には、夜間の交差点で撮影した可視光画像と遠赤外画像の撮影画像の例を示している。
これら２つの画像は、暗い環境での撮影画像であり、可視光画像は長時間露光を行っている。
（１）可視光画像、（２）遠赤外画像を比較すると、（１）可視光画像のブラー（ぼけ）が大きく、人の姿がほとんど認識できないが、（２）遠赤外画像には、人の姿が明瞭に示されている。
これは、遠赤外画像は、露光時間が短く、ほとんどブラー（ぼけ）が発生しないためである。
【００３４】
本開示の画像処理装置は、このように、ほとんどブラーが発生しない遠赤外画像を参照画像として用いて、ブラーの発生した可視光画像の補正を行い、ブラーを除去または低減した可視光画像を生成するものである。
【００３５】
［２．カメラの動きに起因して発生するブラーの具体例について］
次に、図４以下を参照して画像を撮影するカメラの動きに起因して発生するブラーの具体例について説明する。
【００３６】
本開示の構成は、例えば、車に可視光画像撮影カメラと、遠赤外画像撮影カメラを搭載し、これらのカメラ撮影画像からぼけのない可視光画像を生成してドライバに提示可能とする構成を実現するものである。
【００３７】
車は、高速で移動するため、カメラも高速で移動しながら画像を撮影することになり、撮影画像にはカメラの動きに応じたブラー（ぼけ）が発生する。
図４は、様々なカメラの動きの種類に応じたブラー態様を説明する図であり、以下の４種類のカメラ動きに対応して撮影画像に発生するブラーの方向と、大きさをベクトルで示している。
（１）カメラが前方に直進
（２）カメラが後方に直進
（３）カメラが右方向に回転
（４）カメラが上方向に回転
【００３８】
例えば、「（１）カメラが前方に直進」する場合、図４（１）に示すように撮影画像の中心部から周囲に向かう方向に画像が流れるようにブラーが発生する。ブラーの大きさは、画像中心では小さく、画像周囲に行くほど大きくなる。
また、「（２）カメラが後方に直進」する場合、図４（２）に示すように撮影画像の周囲から中心部に向かう方向に画像が流れるようにブラーが発生する。ブラーの大きさは、画像中心では小さく、画像周囲に行くほど大きくなる。
【００３９】
また、「（３）カメラが右方向に回転」する場合、図に示すように撮影画像の右から左に向かう方向に画像が流れるようにブラーが発生する。ブラーの大きさは、画像中においてほぼ均一となる。
また、「（４）カメラが上方向に回転」する場合、図に示すように撮影画像の上から下に向かう方向に画像が流れるようにブラーが発生する。ブラーの大きさは、画像中においてほぼ均一となる。
このように、撮影画像にはカメラの動きに応じたブラー（ぼけ）が発生する。
【００４０】
なお、図４に示す各画像のベクトルの設定例は、カメラによる撮影画像に動く被写体がない場合のブラーの方向と大きさを示すベクトルである。
カメラによる撮影画像に動く被写体がある場合は、被写体の動きに応じてブラーの方向と大きさを示すベクトルは変化することになる。
【００４１】
図５は、カメラが動き、さらに、カメラの撮影画像中の被写体が動く場合のブラーの方向と大きさを示すベクトルの例を示す図である。
図５には以下の２つの画像例を示している。
（１）カメラが前方に直進中、左前方の被写体が、カメラより高速で前方に移動、
（２）カメラが後方に直進中、左前方の被写体が、カメラより高速で後方に移動、
【００４２】
図５（１）の例は、例えば、車載カメラを搭載したカメラの前方左側からバイクが高速で追い抜いていく状況に相当する。
カメラが前方に直進し、動く被写体が無い場合のブラーの方向と大きさは、先に図４（１）を参照して説明した設定であるが、この中に動く被写体がある場合は、図５（１）に示す設定となる。
【００４３】
図５（１）に示す点線枠が、カメラより高速で前方に動く被写体によって発生するブラーの方向と大きさを示すベクトルに相当する。
このベクトルは、その他の領域のベクトルの逆方向を向いている。
【００４４】
また、図５（２）の例は、例えば、後方を撮影する車載カメラの撮影画像の例であり、車後方右側からバイクが高速で近づいてくる状況に相当する。
カメラが後方に直進し、動く被写体が無い場合のブラーの方向と大きさは、先に図４（２）を参照して説明した設定であるが、この中に動く被写体がある場合は、図５（２）に示す設定となる。
【００４５】
図５（２）に示す点線枠が、カメラより高速で前方に動く被写体によって発生するブラーの方向と大きさを示すベクトルに相当する。
このベクトルは、その他の領域のベクトルの逆方向を向いている。
【００４６】
このように、カメラが動き、さらに、カメラの撮影画像中の被写体が動く場合には、これらの動きに応じてブラーの方向と大きさが決定される。
従って、ブラーの解消、または低減を高精度に行うためには、カメラの動きや被写体の動きを考慮した処理を行うことが必要となる。
【００４７】
［３．車に対するカメラ装着例について］
次に、本開示の画像処理装置の一構成例として、車に装着したカメラの撮影画像を入力して処理を行う画像処理装置の例について説明する。
【００４８】
前述したように、本開示の画像処理装置の一構成例は、例えば、車に搭載した可視光画像撮影カメラと、遠赤外画像撮影カメラの撮影画像を入力して、ぼけのない可視光画像を生成してドライバに提示可能とする構成を実現する。
【００４９】
図６は、車へのカメラ搭載例の一例を示す図である。
図６（ａ）上面図に示すように、車には、可視光カメラ、遠赤外カメラ、これら２つのカメラが搭載される。これらのカメラの撮影画像は、車内部に備えられた画像処理装置に入力され、可視光画像のブラー（ぼけ）を除去または低減する処理が実行される。
ブラー（ぼけ）の除去、または低減された可視光画像は、運転席に備えられた表示部に表示される。また、自動運転制御部に出力され、自動運転のための情報、例えば障害物検出情報等として利用される。
【００５０】
なお、図６に示す例では、カメラは前方方向のみを撮影する設定として示しているが、これは一例であり、車の後方や側面方向にも、それぞれカメラを設定して、全ての方向の画像を撮影する設定としてもよい。
【００５１】
なお、前述したように、本開示の画像処理装置は、可視光画像と遠赤外画像を入力するとともに、カメラの動き情報を入力して、精度の高いブラー除去処理を実現する。
例えば、カメラは、車と一体で動く設定であり、カメラの動き情報は、カメラ、または車に装着されたセンサから取得する。
センサは、例えばジャイロ、ＩＭＵ、加速度センサ、傾きセンサ等によって構成される。
なお、ＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）は、３軸方向の角度、または角速度、加速度を検出するセンサである。
センサは、図６（ｃ）に示すように、例えばカメラの移動方向、移動速度、回転半径等を検出し、これらをカメラ動き情報として、画像処理装置のデータ処理部に入力する。
【００５２】
［４．本開示の画像処理装置の構成と処理の概要について］
次に、図７以下を参照して、本開示の画像処理装置の構成と処理の概要について説明する。
【００５３】
先に図１を参照して説明したように、本開示の画像処理装置は、同一被写体を同時に撮影した可視光画像と、遠赤外画像、さらに、これらの画像を撮影したカメラの動き情報を入力して、可視光画像のブラーを解消または低減する処理を実行する。
この処理を実行する画像処理装置の複数の構成例について、図７、図８を参照して説明する。
【００５４】
図７、図８には、本開示の画像処理装置の以下の複数の構成例を示している。
（構成Ａ）可視光画像と遠赤外画像を用いた画像ベースブラー推定後に、カメラ動き情報に基づくカメラ動きベースブラー推定情報を利用して最終的な統合ブラー推定を実行する構成例
（構成Ｂ）可視光画像と遠赤外画像を用いた画像ベースブラー推定と、カメラ動き情報に基づくカメラ動きベースブラー推定を併せて実行して統合ブラー推定を実行する構成例
（構成Ａ＋Ｃ）構成Ａ＋フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成例
（構成Ｂ＋Ｃ）構成Ｂ＋フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成例
【００５５】
本開示の画像処理装置には、図５、図６に示すような様々な構成例がある。
後段で、これらの各構成例の具体的な構成と処理について説明するが、まず、これら４種類の構成に応じた処理の概要について説明する。
【００５６】
（構成Ａ）可視光画像と遠赤外画像を用いた画像ベースブラー推定後に、カメラ動き情報に基づくカメラ動きベースブラー推定情報を利用して最終的な統合ブラー推定を実行する構成例
【００５７】
この構成Ａは、図１を参照して説明した２つの処理ステップ、すなわち、ステップＳ２０のブラー推定処理と、ステップＳ４０におけるブラー除去処理を行う。
ただし、図７に示す構成Ａでは、図１を参照して説明したステップＳ２０のブラー推定処理を、以下の３つのステップによって構成している。
（ステップＳ２１）画像ベースブラー推定（Ｅｔ）
（ステップＳ２２）カメラ動きベースブラー推定（Ｅｃ）
（ステップＳ２３）統合ブラー推定（Ｅａｌｌ）
【００５８】
図７他、以下の説明において使用する記号の意味について説明する。
Ｅｔ：画像ベースブラーであり、可視光画像と遠赤外線画像に基づいて推定される可視光画像のブラー、具体的にはぼけ態様情報であり、例えば点広がり関数（ＰＳＦ）である。
Ｅｃ：カメラ動きベースブラーであり、画像（可視光画像と遠赤外線画像）を撮影したカメラの動きに基づいて推定される可視光画像のブラー、具体的にはぼけ態様情報であり、例えばＰＳＦである。
Ｅａｌｌ：統合ブラーであり、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）を統合した可視光画像のブラー、具体的にはぼけ態様情報であり、例えばＰＳＦである。
【００５９】
さらに、
画像ベースブラー（Ｅｔ）と同様のブラー（ぼけ）を画像に発生させるフィルタ、またはフィルタを構成するフィルタ係数を画像ベースフィルタ（Ｅｔｆ）、
カメラ動きベースブラー（Ｅｃ）と同様のブラー（ぼけ）を画像に発生させるフィルタ、またはフィルタを構成するフィルタ係数をカメラ動きベースフィルタ（Ｅｃｆ）、
統合ブラー（Ｅａｌｌ）と同様のブラー（ぼけ）を画像に発生させるフィルタ、またはフィルタを構成するフィルタ係数を統合フィルタ（Ｅａｌｌｆ）、
とする。
【００６０】
なお、各ブラー、各フィルタは、画像の分割領域であるブロック単位で、取得、算出、適用可能である。
また、１つの態様のブラーから、そのブラーを発生させる１つのフィルタが一義的に決定される。
従って、例えば、ある１つの態様の画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースブラー（Ｅｃ）とを比較して、画像ベースフィルタ（Ｅｔｆ）の適用によって発生するブラー態様と、カメラ動きベースブラー（Ｅｃ）が一致、または類似するか否かを判定する処理も可能である。すなわち、ブラーとフィルタの類似性を判定する処理も行われる。
後段において説明する実施例では、このような処理も行われる。
【００６１】
図７に示す構成Ａの実行する処理について説明する。
まず、ステップＳ２１において、同一被写体を同時に撮影したブラーあり可視光画像１１とブラーなし遠赤外画像１２を入力し、これらの２つの画像を比較して、ブラーあり可視光画像１１の画像ベースブラー（Ｅｔ）の推定処理を行う。
【００６２】
具体的には、ブラーなし遠赤外画像１２に対して、様々な点広がり関数（ＰＳＦ）対応のフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを適用して、故意にブラーを発生させた遠赤外画像を生成し、このフィルタ適用遠赤外画像と、ブラーあり可視光画像１１を比較（相関算出）する。
この比較処理（相関算出）に基づいて、ブラーあり可視光画像１１のブラー（ぼけ）と同様のブラー（ぼけ）を発生させる点広がり関数（ＰＳＦ）対応のフィルタを選択する。
【００６３】
すなわち、ブラーなし遠赤外画像１２に様々なフィルタを適用してブラーを発生させて、ブラーあり可視光画像１１と比較することで、ブラーあり可視光画像１１のブラー態様と同じブラー（ぼけ）を発生させるフィルタを選択、または点広がり関数（ＰＳＦ）を算出する。
なお、フィルタ選択は、例えば、所定の画素ブロック単位で実行される。
【００６４】
次に、ステップＳ２２において、カメラ動きベースブラー（Ｅｃ）の推定処理を行う。
具体的には、例えばＩＭＵ等のセンサによって取得されたカメラの動きに応じて、撮影画像中に発生すると推定されるブラーを推定するる
例えば先に図４を参照して説明したブラーの方向と大きさを示すベクトルを推定する。すなわち、カメラの様々な動きに応じて画像内に発生するブラーを画像の各ブロック単位で推定する。
【００６５】
次に、ステップＳ２３において、ステップＳ２１で推定した画像ベースブラー（Ｅｔ）と、ステップＳ２２で推定したカメラ動きベースブラー（Ｅｃ）を統合した統合ブラー（Ｅａｌｌ）を推定する。
これらの統合処理は、画像の分割領域であるブロック単位で実行する。
この統合処理により、カメラ動きも考慮した可視光画像１１内のブロック単位のブラーが推定される。
【００６６】
これら、ステップＳ２１〜Ｓ２３の処理が修了すると、次にステップＳ４０のブラー除去処理を実行する。
ステップＳ４０では、ステップＳ２３で推定したブラーあり可視光画像１１のブラー態様（Ｅａｌｌ）を示すＰＳＦ特性と同様の特性を持つフィルタと逆の特性を持つ「逆フィルタ」を算出、または、様々な逆フィルタを格納した逆フィルタバンクから選択し、算出または選択した逆フィルタをブラーあり可視光画像１１に適用する。
【００６７】
なお、前述したように、この逆フィルタ適用処理は、デコンボリューション処理と呼ばれる。デコンボリューション処理を実行して、ブラーあり可視光画像１１から、ブラー（ぼけ）を除去したブラー低減可視光画像１５を生成する。
なお、逆フィルタの算出、または選択、および適用処理は、所定の画素ブロック単位で実行する。
【００６８】
（構成Ｂ）可視光画像と遠赤外画像を用いた画像ベースブラー推定と、カメラ動き情報に基づくカメラ動きベースブラー推定を併せて実行して統合ブラー推定を実行する構成例
次に、構成Ｂについて説明する。
この構成Ｂと前述した構成Ａとの差異は、図１を参照して説明したステップＳ２０のブラー推定処理が、以下の２つのステップで構成した点である。
（ステップＳ２２）カメラ動きベースブラー推定（Ｅｃ）
（ステップＳ２５）統合ブラー推定（Ｅａｌｌ）
【００６９】
まず、ステップＳ２２において、カメラ動きベースブラー（Ｅｃ）の推定処理を行う。
この処理は、上述した（構成Ａ）におけるステップＳ２２の処理と同様の処理である。すなわち、カメラの様々な動きに応じて画像内に発生するブラーを画像の各ブロック単位で推定する。
【００７０】
次に、ステップＳ２５において、統合ブラー（Ｅａｌｌ）の推定処理を実行する。
この処理は、同一被写体を同時に撮影したブラーあり可視光画像１１とブラーなし遠赤外画像１２に基づくブラーあり可視光画像１１のブラー推定処理において、ステップＳ２２において取得済みのカメラ動きベースブラー（Ｅｃ）を利用した処理を行うものである。
【００７１】
具体的な処理については後段で説明するが、例えば、以下の２つの処理のいずれかを実行する。
（１）遠赤外画像に適用するフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを、ステップＳ２２において取得済みのカメラ動きベースブラー（Ｅｃ）に基づいて選択する処理。
（２）フィルタ適用遠赤外画像と、ブラーあり可視光画像１１との相関値を、ステップＳ２２において取得済みのカメラ動きベースブラー（Ｅｃ）に基づいて補正する処理。
例えばステップＳ２５では、これら２つの処理のいずれかを実行して、統合ブラー（Ｅａｌｌ）の推定処理を実行する。
具体的な処理については後段で説明する。
【００７２】
ステップＳ４０では、ステップＳ２５で推定したブラーあり可視光画像１１のブラー態様（Ｅａｌｌ）を示すＰＳＦ特性と同様の特性を持つフィルタと逆の特性を持つ「逆フィルタ」を算出、または、様々な逆フィルタを格納した逆フィルタバンクから選択し、算出または選択した逆フィルタをブラーあり可視光画像１１に適用する。
【００７３】
（構成Ａ＋Ｃ）構成Ａ＋フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成例
次に、（構成Ａ＋Ｃ）について説明する。
この構成は、構成Ａに追加して、「フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を行う構成例である。
【００７４】
この（構成Ａ＋Ｃ）は、図８の（Ａ＋Ｃ）の図に示すように、ステップＳ４０におけるブラー除去処理の前に、ステップＳ３１においてブラー推定信頼度算出処理を実行することが特徴である。
その他の構成は、構成Ａと同様である。
【００７５】
ステップＳ３１におけるブラー推定信頼度算出処理は、ステップＳ２１の画像ベースブラー推定結果（Ｅｔ）と、ステップＳ２２のカメラ動きベースブラー推定結果（Ｅｃ）とを比較し、２つのブラー推定結果の一致度が高いほど、ステップＳ２３で生成された統合ブラー（Ｅａｌｌ）の推定結果の信頼度が高いと判定する。
【００７６】
ステップＳ３１で生成した信頼度情報は、ステップＳ４０におけるブラー除去処理において利用される。
すなわち、ステップＳ４０におけるブラー除去処理において適用する逆フィルタの強度が、ステップＳ３１で計算された信頼度情報によって調整される。
【００７７】
具体的には、ステップＳ２３で生成された統合ブラー（Ｅａｌｌ）の推定結果の信頼度が低い場合は、ステップＳ４０におけるブラー除去処理において適用する逆フィルタの強度を弱める処理を行う。なお、信頼度の算出は、例えば、所定の画素ブロック単位で実行される。
このような処理を行うことで、フィルタ（ブラー）推定結果の信頼度に応じた逆フィルタの適用が可能となる。
【００７８】
（構成Ｂ＋Ｃ）構成Ｂ＋フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成例
次に、（構成Ｂ＋Ｃ）について説明する。
この構成は、構成Ｂに追加して、「フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を行う構成例である。
【００７９】
この（構成Ｂ＋Ｃ）は、図８の（Ｂ＋Ｃ）の図に示すように、ステップＳ４０におけるブラー除去処理の前に、ステップＳ３２においてブラー推定信頼度算出処理を実行することが特徴である。
その他の構成は、構成Ｂと同様である。
【００８０】
ステップＳ３２におけるブラー推定信頼度算出処理は、ステップＳ２２のカメラ動きベースブラー推定結果（Ｅｃ）と、ステップＳ２５の統合ブラー推定結果（Ｅａｌｌ）とを比較し、２つのブラー推定結果の一致度が高いほど、ステップＳ２３で生成された統合ブラー（Ｅａｌｌ）の推定結果の信頼度が高いと判定する。
【００８１】
ステップＳ３２で生成した信頼度情報は、ステップＳ４０におけるブラー除去処理において利用される。
すなわち、ステップＳ４０におけるブラー除去処理において適用する逆フィルタの強度が、ステップＳ３２で計算された信頼度情報によって調整される。
【００８２】
具体的には、ステップＳ２３で生成された統合ブラー（Ｅａｌｌ）の推定結果の信頼度が低い場合は、ステップＳ４０におけるブラー除去処理において適用する逆フィルタの強度を弱める処理を行う。なお、信頼度の算出は、例えば、所定の画素ブロック単位で実行される。
このような処理を行うことで、フィルタ（ブラー）推定結果の信頼度に応じた逆フィルタの適用が可能となる。
なお、具体的な構成例や処理例については後段で説明する。
【００８３】
［５．（実施例１）構成Ａ対応の画像処理装置の構成と処理について］
次に、本開示の画像処理装置の実施例１として、図７を参照して説明した構成Ａ対応の画像処理装置の具体的な構成と処理について説明する。
【００８４】
先に図７を参照して説明したように、構成Ａは、可視光画像と遠赤外画像を用いた画像ベースブラー推定後に、カメラ動き情報に基づくカメラ動きベースブラー推定情報を利用して最終的な統合ブラー推定を実行する構成である。
【００８５】
なお、この構成Ａの統合ブラー（Ｅａｌｌ）推定処理の処理態様として、以下の２種類がある。
（Ａ１）被写体の動きの量に応じて、統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）を適用するか、カメラ動きベースブラー（Ｅｃ）を選択するかを切り換える構成。
（Ａ２）統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）の加重平均を利用し、被写体の動きの量に応じて加重平均態様を変更する構成。
【００８６】
カメラ動きベースブラー（Ｅｃ）は、先に図４を参照して説明したように、カメラの動きのみに基づいて、画像内のブラー態様を推定するものであり、先に図５を参照して説明したように、撮影画像中内の被写体に動きがある場合は、画像に発生するブラーは、被写体の動きに依存する設定となる。
従って、撮影画像中内の被写体の動きが多い場合は、カメラ動きベースブラー（Ｅｃ）をそのまま適用してしまうと、誤ったブラー推定がなされる。
上記の（Ａ１），（Ａ２）は、このような問題を解決する２種類の方法である。
【００８７】
なお、被写体の動きが多いか少ないかについては、例えば、以下の環境情報を入力して判定する。
（ａ）地図情報：予め記憶部に格納してある地図情報、あるいはネットワークを介して地図情報を入力し、市街地等、車両、歩行者の多いエリアでは被写体動きが多いと判定し、山間部等では被写体動きが少ないと判定する。
（ｂ）時間情報：画像処理装置内、または外部装置、あるいはネット経由で時間情報を取得し、時間帯、例えば昼は被写体動きが多いと判定し、深夜は被写体動きが少ないと判定する。
【００８８】
（ｃ）交通情報：ネットワーク経由で交通情報を入力し、道路が混雑している状況であれば、被写体動きが多いと判定し、混雑していない状況では被写体動きが少ないと判定する。
（ｄ）画像上の位置（ブロック）：画像上の領域単位（ブロック単位）で、被写体動きの多い少ないを予め規定しておく。例えば、水平方向のブロックは、被写体動きが多く、上下方向は被写体動きが少ないと判定する。
【００８９】
構成Ａの画像処理装置は、例えば、上記（ａ）〜（ｄ）の環境情報を入力して、統合ブラー（Ｅａｌｌ）推定処理を実行する。
上述した（Ａ１）の構成では、例えば、上記（ａ）〜（ｄ）の環境情報を入力して、被写体の動きの量を判定し、被写体動きが既定のしきい値以上であると判定した場合は、統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）を適用し、しきい値未満である場合は、カメラ動きベースブラー（Ｅｃ）を選択する。
【００９０】
また、上述した（Ａ２）の構成では、例えば、上記（ａ）〜（ｄ）の環境情報を入力して、被写体の動きの量を判定し、判定した被写体動き量に応じて、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）の加重平均態様を変更して、加重平均結果を、統合ブラー（Ｅａｌｌ）とする。
以下、これら２種類の処理を実行する画像処理装置の構成について、順次、説明する。
【００９１】
まず、図９を参照して、
（Ａ１）被写体の動きの量に応じて、統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）を適用するか、カメラ動きベースブラー（Ｅｃ）を選択するかを切り換える構成。
上記（Ａ１）の構成について説明する。
【００９２】
図９は、構成Ａ１対応の画像処理装置の構成と処理を説明する図である。
図９に示す画像処理装置Ａ１，２０−Ａ１は、可視光画像入力部２１、遠赤外画像入力部２２、カメラ動き情報入力部２３、画像ベースブラー推定部３０、カメラ動きベースブラー推定部４０、統合ブラー推定部５０、ブラー除去部６０、フィルタバンク３５、カメラ動きブラーマップ記憶部４５、環境情報記憶部／入力部５５を有する。
【００９３】
さらに、画像ベースブラー推定部３０は、フィルタ処理部３１、相関演算部３２、画像ベースフィルタ（Ｅｔｆ）決定部３３を有する。
カメラ動きベースブラー推定４０は、カメラ動きブラーマップ取得部４１を有する。
統合ブラー推定部５０は、被写体動き判定部５１、統合フィルタ（Ｅａｌｌｆ）決定部５２を有する。
また、ブラー除去部６０は、逆フィルタ算出部６１、逆フィルタ処理部６２を有する。
【００９４】
可視光画像入力部２１は、補正前可視光画像２５を画像ベースブラー推定部３０と、ブラー除去部６０に入力する。
また、遠赤外画像入力部２２は、遠赤外画像２６を、画像ベースブラー推定部３０に入力する。
さらに、カメラ動き情報入力部２３は、例えばＩＭＵ等の動きセンサの取得したカメラ動き情報をカメラ動きベースブラー推定部４０に入力する。
【００９５】
可視光画像入力部２１と遠赤外画像入力部２２が入力する補正前可視光画像２５と、遠赤外画像２６は、同一被写体を同時に撮影した画像である。
これらの画像は、例えば暗闇で撮影された画像であり、可視光画像入力部２１の入力する補正前可視光画像２５は、長時間露光によるブラー（ぼけ）が発生している。
一方、遠赤外画像入力部２２の入力する遠赤外画像２６は短時間露光画像であり、ブラー（ぼけ）のほとんどない画像である。
【００９６】
なお、補正前可視光画像２５と、遠赤外画像２６は、いずれも横＝Ｗ画素、縦＝Ｈ画素のＷ×Ｈ画素の画像である。図には補正前可視光画像［Ｗ＊Ｈ］２５と、遠赤外画像［Ｗ＊Ｈ］２６として示している。
また、図中に示す［ＷＢ＊ＨＢ］は、画像の区分領域である１つのブロック領域を示す。
１枚の画像フレームのブロック数はＮとする。
【００９７】
次に、画像ベースブラー推定部３０の実行する処理について説明する。
画像ベースブラー推定部３０のフィルタ処理部３１は、遠赤外画像２６に対して、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用する。すなわち、遠赤外画像２６に様々な態様のブラーを故意に発生させる。
【００９８】
フィルタバンク３５には、ブラー（ぼけ）の大きさや方向の異なる多数のブラー発生用フィルタが格納されている。すなわち様々なＰＳＦ対応の多数のフィルタが格納されている。
【００９９】
画像ベースブラー推定部３０のフィルタ処理部３１が、遠赤外画像２６にフィルタを適用して生成したブラーを故意に発生させた遠赤外画像は、相関運算部３２に出力される。
相関演算部３２は、フィルタ適用によりブラーを故意に発生させた遠赤外画像と、補正前可視光画像２５との相関を算出する。
【０１００】
なお、このフィルタ処理部３１と、相関演算部３２の実行するフィルタ適用処理、および相関算出処理は、補正前可視光画像２５のＮ個のブロック領域と、遠赤外画像２６のＮ個のブロック領域の対応ブロック単位で実行する。
【０１０１】
フィルタ処理部３１は、遠赤外画像２６のＮ個のブロックの各々について、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用する。
相関演算部３２は、遠赤外画像２６のＮ個のブロックの各々について、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用した結果と、補正前可視光画像２５との相関を算出し、Ｎ個のブロック各々についての各フィルタ対応の相関値を画像ベースフィルタ（Ｅｔｆ）決定部３３に出力する。
【０１０２】
画像ベースフィルタ（Ｅｔｆ）決定部３３は、相関演算部３２からの入力データ、すなわち、
Ｎ個のブロック各々についての各フィルタ対応の相関値の中から、
各ブロックについて、最も相関の高いブロック対応のフィルタを選択する。
画像ベースフィルタ（Ｅｔｆ）決定部３３が選択したＮ個のブロック各々についてのＮ個のフィルタは、統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）決定部５２に入力される。
【０１０３】
統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）決定部５２は、
画像ベースフィルタ（Ｅｔｆ）決定部３３から、最も相関の高いブロック対応の画像ベースフィルタ（Ｅｔｆ）を入力し、さらに、
カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から、カメラ動きに対応したカメラ動きブラーマップを入力する。
【０１０４】
カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１は、カメラ動き情報入力部２３から入力するカメラ動き情報に基づいて、カメラ動きブラーマップ記憶部４５に格納された様々なカメラ動きに対応するブラーマップから、１つのカメラ動きブラーマップを取得して、統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）決定部５２に入力する。
【０１０５】
カメラ動きブラーマップ記憶部４５に格納された様々なカメラ動きに対応するブラーマップの例を図１０に示す。
図１０には、先に図４を参照して説明したと同様のカメラの動きに応じて撮影画像内に発生するブラーの方向と大きさを示すベクトルを設定した図を示している。
各画像は、所定の大きさのブロックに分割されている。なお、図では、簡略化して示しているが、各ブロック単位でブラーの方向と大きさを示すベクトルが設定されている。
【０１０６】
このように、画像の分割領域であるブロック単位でカメラ動きに応じたブラーの方向と大きさを示すベクトルを設定したデータをカメラ動きブラーマップと呼ぶ。
なお、ブロックは、画像ベースブラー推定部３０の相関演算部３２における相関算出処理が実行されるブロックと同じブロックであり、統合ブラー推定部５０において生成される統合フィルタ（Ｅａｌｌ）の生成単位でもある。
【０１０７】
図１０には、以下の４種類のカメラ動きに対応するブラーマップの例を示している。
（１）カメラが前方に直進する場合のカメラ動きブラーマップ
（２）カメラが後方に直進する場合のカメラ動きブラーマップ
（３）カメラが右方向に回転する場合のカメラ動きブラーマップ
（４）カメラが上方向に回転する場合のカメラ動きブラーマップ
なお、カメラ動きブラーマップ記憶部４５には、これらの他にも、様々なカメラ動きに応じたブラーマップが格納されている。
【０１０８】
カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１は、カメラ動き情報入力部２３から入力するカメラ動き情報に基づいて、検出されたカメラの動きに一致、または最も近い設定のカメラ動き対応のブラーマップを選択して、統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）決定部５２に入力する。
【０１０９】
統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）決定部５２は、被写体動き判定部５１から入力する被写体動き量の判定情報、すなわち被写体動きが多いか少ないかの判定情報に基づいて、統合フィルタ（Ｅａｌｌｆ）を画像ベースフィルタ（Ｅｔｆ）に設定するか、カメラ動きベースブラー（Ｅｃ）に基づくカメラ動きベースフィルタ（Ｅｃｆ）にするかを決定する。
なお、この決定処理は、ブロック単位で実行する。
【０１１０】
被写体動き判定部５１は、環境情報記憶部／入力部５５から、環境情報を取得して、画像内の各ブロックについて、被写体動きが多いブロックか少ないブロックかを判定する。
環境情報は、先に説明したように、地図情報、時間情報、交通情報、画像上のブロック位置情報等である。
【０１１１】
被写体動き判定部５１は、予め規定されたアルゴリズムを実行して、上記各種の環境情報基づいて各ブロック単位で、被写体動きが多いブロックであるか少ないブロックであるかを判定し、このブロック単位の判定情報を統合フィルタ（Ｅａｌｌｆ）決定部５２に出力する。
【０１１２】
統合フィルタ（Ｅａｌｌｆ）決定部５２は、被写体動き判定部５１から入力するブロック単位の判定情報、すなわち、
被写体動きの多いブロックであるか、
被写体動きの少ないブロックであるか、
これらの判定情報に基づいて、以下の処理を行う。
【０１１３】
被写体動きの多いブロックについては、画像ベースブラー推定部３０から入力する画像ベースフィルタ（Ｅｔｆ）を統合フィルタ（Ｅａｌｌｆ）に設定する。
一方、被写体動きの少ないブロックについては、カメラ動きベースブラー推定部４０から入力するカメラ動きブラーマップに含まれるブロック単位のカメラ動きベースブラー（Ｅｃ）に基づいて決定されるカメラ動きベースフィルタ（Ｅｃｆ）を統合フィルタ（Ｅａｌｌｆ）に設定する。
【０１１４】
統合フィルタ（Ｅａｌｌｆ）決定部５２は、上記のようにブロック単位で、画像ベースフィルタ（Ｅｔｆ）、または、カメラ動きベースフィルタ（Ｅｃｆ）のいずれかを、統合フィルタ（Ｅａｌｌｆ）とするフィルタ選択処理を行う。
【０１１５】
統合フィルタ（Ｅａｌｌｆ）決定部５２の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）は、ブラー除去部６０の逆フィルタ算出部６１に入力される。
【０１１６】
ブラー除去部６０の逆フィルタ算出部６１は、統合フィルタ（Ｅａｌｌｆ）決定部５２の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）を入力し、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つ逆フィルタを生成する。
すなわち、デコンボリューションフィルタを生成して、逆フィルタ処理部６２に出力する。
デコンボリューションフィルタは、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つフィルタである。
【０１１７】
ブラー除去部６０の逆フィルタ処理部６２は、各ブロック対応の逆フィルタを逆フィルタ算出部６１から入力し、入力した逆フィルタを、可視光画像入力部２１から入力する補正前可視光画像２５の該当ブロックに適用する。
【０１１８】
すなわち、逆フィルタ処理部６２は、統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）決定部５２の決定したブロック単位のフィルタである画像ベースフィルタ（Ｅｔｆ）、または、カメラ動きベースフィルタ（Ｅｃｆ）のいずれかと逆の特性を持つ逆フィルタを補正前可視光画像２５の該当ブロックに適用する。
【０１１９】
可視光画像入力部２１から入力する補正前可視光画像２５のＮ個のすべてのブロックに対する逆フィルタ適用処理が完了すると、この完了画像を補正後可視光画像２７として出力する。
これらの処理により、補正前可視光画像２５から、ブラー（ぼけ）が除去または低減された補正後可視光画像２７が生成され出力される。
【０１２０】
次に、図１１を参照して、
（Ａ２）統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）の加重平均を利用し、被写体の動きの量に応じて加重平均態様を変更する構成。
上記（Ａ２）の構成について説明する。
【０１２１】
図１１は、構成Ａ２対応の画像処理装置の構成と処理を説明する図である。
図１１に示す画像処理装置Ａ２，２０−Ａ２は、可視光画像入力部２１、遠赤外画像入力部２２、カメラ動き情報入力部２３、画像ベースブラー推定部３０、カメラ動きベースブラー推定部４０、統合ブラー推定部５０、ブラー除去部６０、フィルタバンク３５、カメラ動きブラーマップ記憶部４５、環境情報記憶部／入力部５５を有する。
【０１２２】
さらに、画像ベースブラー推定部３０は、フィルタ処理部３１、相関演算部３２、画像ベースフィルタ（Ｅｔｆ）決定部３３を有する。
カメラ動きベース推定部４１は、カメラ動きブラーマップ取得部４１を有する。
統合ブラー推定部５０は、重み算出部５３、統合フィルタ（Ｅａｌｌｆ）算出部５４を有する。
また、ブラー除去部６０は、逆フィルタ算出部６１、逆フィルタ処理部６２を有する。
【０１２３】
先に図９を参照して説明した構成Ａ１対応の画像処理装置Ａ１，２０−Ａ１との差異は、統合ブラー推定部５０の構成のみであり、統合ブラー推定部５０が重み算出部５３と、統合フィルタ（Ｅａｌｌｆ）算出部５４を有する点である。
【０１２４】
その他の構成は、先に図９を参照して説明した構成Ａ１対応の画像処理装置Ａ１，２０−Ａ１と同様の構成であり、処理も同様の処理となる。
以下では、図１１に示す画像処理装置Ａ２，２０−Ａ２における統合ブラー推定部５０の重み算出部５３と、統合フィルタ（Ｅａｌｌｆ）算出部５４の処理について説明する。
【０１２５】
統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）算出部５４は、
画像ベースフィルタ（Ｅｔｆ）決定部３３から、最も相関の高いブロック対応の画像ベースフィルタ（Ｅｔｆ）を入力し、さらに、
カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から、カメラ動きに対応したカメラ動きブラーマップを入力する。
【０１２６】
カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１は、カメラ動き情報入力部２３から入力するカメラ動き情報に基づいて、カメラ動きブラーマップ記憶部４５に格納された様々なカメラ動きに対応するブラーマップから、１つのカメラ動きブラーマップを取得して、統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）算出部５４に入力する。
【０１２７】
統合フィルタ（Ｅａｌｌｆ）算出部５４は、カメラ動きブラーマップから取得されるブロック単位のカメラ動きブラー（Ｅｃ）から、そのブラーに対応するフィルタ、すなわち、そのブラーを発生させるフィルタであるカメラ動きフィルタ（Ｅｃｆ）を算出する。
【０１２８】
さらに、統合フィルタ（Ｅａｌｌｆ）算出部５４は、重み算出部５３から入力する重み情報を用いて、画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースフィルタ（Ｅｃｆ）の加重平均を行い、統合フィルタ（Ｅａｌｌｆ）を算出する。
【０１２９】
具体的には、例えば、重み係数α、βを用いて、統合ブラー（Ｅａｌｌｆ）を以下の算出式に従って算出する。
Ｅａｌｌｆ＝α（Ｅｔｆ）＋β（Ｅｃｆ）
なお、上記式は、各フィルタのフィルタ係数の算出式に相当する。
また、この統合ブラー（Ｅａｌｌｆ）算出処理は、ブロック単位で実行する。
【０１３０】
重み係数α、βは、０〜１の値であり、重み算出部５３から入力される。
重み算出部５３は、環境情報記憶部／入力部５５から、環境情報を取得して、画像内の各ブロックについて、重み係数α、βを算出する。
環境情報は、先に説明したように、地図情報、時間情報、交通情報、画像上のブロック位置情報等である。
【０１３１】
重み算出部５３は、予め規定されたアルゴリズムを実行して、上記各種の環境情報基づいて各ブロック単位で、重み係数α、βを算出する。
具体的には、被写体動きの多いブロックについては、重み係数αをより大きな値に設定する。すなわち、画像ベースフィルタ（Ｅｔｆ）の寄与率を高く設定した統合ブラー（Ｅａｌｌｆ）算出を可能とする重み係数の設定を行う。
一方、被写体動きの少ないブロックについては、重み係数βをより大きな値に設定する。すなわち、カメラ動きベースフィルタ（Ｅｃｆ）の寄与率を高く設定した統合ブラー（Ｅａｌｌｆ）算出を可能とした重み係数の設定を行う。
【０１３２】
統合フィルタ（Ｅａｌｌｆ）算出部５４は、重み算出部５３から入力するブロック単位の重み情報、すなわち上述した各ブロック単位の重み係数α、βを用いて、画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースフィルタ（Ｅｃｆ）の加重平均を行い、統合フィルタ（Ｅａｌｌｆ）を算出する。
【０１３３】
この結果、被写体動きの多いブロックについては、画像ベースブラー推定部３０から入力する画像ベースフィルタ（Ｅｔｆ）の寄与率の高い統合フィルタ（Ｅａｌｌｆ）が算出される。
一方、被写体動きの少ないブロックについては、カメラ動きベースブラー推定部４０から入力するカメラ動きブラーマップに含まれるブロック単位のカメラ動きベースブラー（Ｅｃ）に基づいて決定されるカメラ動きベースフィルタ（Ｅｃｆ）の寄与率の高い統合フィルタ（Ｅａｌｌｆ）が算出される。
【０１３４】
統合フィルタ（Ｅａｌｌｆ）算出部５４は、上記のようにブロック単位で、画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースフィルタ（Ｅｃｆ）の加重平均を算出して、統合フィルタ（Ｅａｌｌｆ）の算出処理を行う。
【０１３５】
統合フィルタ（Ｅａｌｌｆ）算出部５４の算出したブロック単位の統合フィルタ（Ｅａｌｌｆ）は、ブラー除去部６０の逆フィルタ算出部６１に入力される。
【０１３６】
ブラー除去部６０の逆フィルタ算出部６１は、統合フィルタ（Ｅａｌｌｆ）決定部５２の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）を入力し、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つ逆フィルタを生成する。
【０１３７】
ブラー除去部６０の逆フィルタ処理部６２は、各ブロック対応の逆フィルタを逆フィルタ算出部６１から入力し、入力した逆フィルタを、可視光画像入力部２１から入力する補正前可視光画像２５の該当ブロックに適用する。
【０１３８】
これらの処理により、補正前可視光画像２５から、ブラー（ぼけ）が除去または低減された補正後可視光画像２７が生成され出力される。
【０１３９】
次に、図１２以下に示すフローチャートを参照して、図９、図１１を参照して説明した構成Ａ対応の画像処理装置の実行する処理のシーケンスについて説明する。
なお、図１２以下に示すフローチャートに従った処理は、例えば、画像処理装置の記憶部に格納されたプログラムに従って実行可能な処理であり、プログラム実行機能を有するＣＰＵ等を備えた制御部（データ処理部）の制御の下で実行することができる。
【０１４０】
まず、図１２に示すフローチャートを参照して、図９を参照して説明した、
（Ａ１）被写体の動きの量に応じて、統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）を適用するか、カメラ動きベースブラー（Ｅｃ）を選択するかを切り換える画像処理装置−Ａ１の実行する処理のシーケンスについて説明する。
以下、図１２に示すフローの各ステップの処理について、順次、説明する。
【０１４１】
（ステップＳ１０１）
まず、ステップＳ１０１において、補正対象とする可視光画像を取得する。
この処理は、図９に示す画像処理装置における可視光画像入力部２１によって行われる。具体的には、例えば可視光画像撮影カメラの撮影画像の取得処理である。
【０１４２】
（ステップＳ１０２）
次に、ステップＳ１０２において、参照画像として利用される遠赤外画像を取得する。
この処理は、図９に示す画像処理装置における遠赤外画像入力部２２によって行われる。具体的には、例えば遠赤外画像撮影カメラの撮影画像の取得処理である。
【０１４３】
なお、ステップＳ１０１、およびステップＳ１０２において取得する可視光画像と、遠赤外画像は、同一被写体を同時に撮影した画像である。
これらの画像は、例えば暗闇で撮影された画像であり、可視光画像は、長時間露光によるブラー（ぼけ）が発生している。一方、遠赤外画像は短時間露光画像であり、ブラー（ぼけ）のほとんどない画像である。
【０１４４】
（ステップＳ１０３）
次に、ステップＳ１０３において、カメラの動き情報を取得する。
この処理は、図９に示す画像処理装置におけるカメラ動き情報入力部２３によって行われる。具体的には、例えばＩＭＵ等のセンサによって、カメラの動き情報が取得され入力される。
【０１４５】
（ステップＳ１０４）
次に、ステップＳ１０４において、ステップＳ１０３で入力したカメラの動き情報に基づいて、カメラ動きブラーマッブが取得される。
この処理は、図９に示す画像処理装置におけるカメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１の実行する処理である。
【０１４６】
カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１は、カメラ動き情報入力部２３から入力するカメラ動き情報に基づいて、カメラ動きブラーマップ記憶部４５に格納された様々なカメラ動きに対応するブラーマップから、１つのカメラ動きブラーマップを取得して、統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）決定部５２に入力する。
【０１４７】
（ステップＳ１０５）
次のステップＳ１０５から、ステップＳ１０７の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ１）である。
なお、ブロック数はＮとする。
【０１４８】
（ステップＳ１０６）
ステップＳ１０６において、各ブロック単位で画像ベースフィルタ（Ｅｔｆ）を取得する。
この処理は、図９に示す画像処理装置における画像ベースブラー推定部３０の実行する処理である。
【０１４９】
このステップＳ１０６の処理の詳細について、図１３に示すフローを参照して説明する。
このステップＳ１０６における各ブロック単位の画像ベースフィルタ（Ｅｔｆ）の取得処理には、ステップＳ１０１で取得した可視光画像と、ステップＳ１０２で取得した遠赤外画像を利用するので、図１３には、ステップＳ１０１、Ｓ１０２も併せて示している。
【０１５０】
ステップＳ１０６の詳細処理は、図１３に示すステップＳ１２１〜Ｓ１２６の処理である。
以下、この処理について、順次、説明する。
【０１５１】
（ステップＳ１２１）
ステップＳ１２１から、ステップＳ１２５の処理は、フィルタバンク３５に格納された全てのフィルタに対応付けられたフィルタＩＤの全てについて、順次、繰り返し実行されるループ処理（ループ１ｂ）である。
【０１５２】
（ステップＳ１２２）
ステップＳ１２２において、フィルタ（係数）を取得する。
ステップＳ１２２〜Ｓ１２３の処理は、図９に示す画像ベースブラー推定部３０のフィルタ処理部３１の実行する処理である。フィルタ処理部３１は、遠赤外画像の各ブロックに適用するなフィルタ（ブラー（ぼけ）発生フィルタ）をフィルタバンク３５から、順次、取得する。
なお、フィルタバンク３５から、順次、取得するデータはフィルタ自体、またはフィルタの構成データであるフィルタ係数のいずれでもよい。
【０１５３】
（ステップＳ１２３）
次に、ステップＳ１２３において、ステップＳ１２２で取得したフィルタを遠赤外画像の１つのブロック、すなわち現在、処理対象として選択されているブロックに適用する。
この処理は、遠赤外画像にブラーを故意に発生させるためのフィルタ処理である。
【０１５４】
（ステップＳ１２４）
次に、ステップＳ１２４において、ステップＳ１２３でのフィルタ適用結果の遠赤外画像のブロックと、可視光画像の対応ブロックとの相関値を算出する。
この処理は、図９に示す画像ベースブラー推定部３０の相関演算部３２の実行する処理である。
相関演算部３２は、フィルタ適用によりブラーを故意に発生させた遠赤外画像と、可視光画像との相関を算出する。
【０１５５】
（ステップＳ１２５）
ステップＳ１２５は、ステップＳ１２１〜Ｓ１２５のループ１ｂの終了位置である。
すなわち、ステップＳ１２２〜Ｓ１２４の処理を、フィルタバンク３５に格納された全てのフィルタに対応付けられたフィルタＩＤの全てについて、順次、繰り返し実行する。
【０１５６】
（ステップＳ１２６）
１つのブロックについてのステップＳ１２１〜Ｓ１２５のループ１ｂの処理が完了すると、ステップＳ１２６に進む。
すなわち、１つのブロックについて、フィルタバンク３５に格納された全てのフィルタ対応の相関値算出処理が修了するとステップＳ１２６に進む。
【０１５７】
ステップＳ１２６の処理は、図９に示す画像ベースブラー推定部３０の画像ベースフィルタ（Ｅｔｆ）決定部３３の実行する処理である。
画像ベースフィルタ（Ｅｔｆ）決定部３３は、ステップＳ１２６において、ステップＳ１２１〜Ｓ１２５のループ１ｂの処理が完了したブロックについて、フィルタバンク３５に格納された全てのフィルタ対応の相関値中、最も高い相関値を持つフィルタのＩＤを選択する。
【０１５８】
図１２に示すフローのステップＳ１０６の処理は、これらステップＳ１２１〜Ｓ１２６の処理によって構成される。
図１２に戻り、ステップＳ１０６の処理後の処理について説明する。
【０１５９】
（ステップＳ１０７）
ステップＳ１０７は、ステップＳ１０５〜Ｓ１０７のループ１の終了位置である。
すなわち、ステップＳ１０６の処理を、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。
【０１６０】
このループ処理（ループ１）が完了すると、
Ｎ個のブロック全てについて、最も高い相関値を持つ画像ベースフィルタ（Ｅｔｆ）が決定することになる。
【０１６１】
（ステップＳ１０８）
次に、ステップＳ１０８において、画像撮影時の環境情報を取得する。
この処理は、図９に示す画像処理装置の環境情報記憶部／入力部５５を利用して実行される。
環境情報は、先に説明したように、地図情報、時間情報、交通情報、画像上のブロック位置情報等である。
【０１６２】
（ステップＳ１０９）
次のステップＳ１０９からステップＳ１１２の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ２）である。
なお、ブロック数はＮとする。
【０１６３】
（ステップＳ１１０）
ステップＳ１１０〜Ｓ１１１の処理は、図９に示す統合ブラー推定部５０の実行する処理である。
まず、ステップＳ１１０において、統合ブラー推定部５０の被写体動き判定部５１が、予め規定されたアルゴリズムを実行して、上記各種の環境情報基づいて各ブロック単位で、被写体動きが多いブロックであるか少ないブロックであるかを判定する。判定されたブロック単位の判定情報は、統合フィルタ（Ｅａｌｌｆ）決定部５２に出力される。
【０１６４】
（ステップＳ１１１）
次に、ステップＳ１１１において、統合フィルタ（Ｅａｌｌｆ）決定部５２が、各ブロック単位で、画像ベースフィルタ（Ｅｔｆ）、または、カメラ動きベースフィルタ（Ｅｃｆ）のいずれかを、統合フィルタ（Ｅａｌｌｆ）とするフィルタ選択処理を行う。
【０１６５】
具体的には、被写体動きの多いブロックについては、画像ベースブラー推定部３０から入力する画像ベースフィルタ（Ｅｔｆ）を統合フィルタ（Ｅａｌｌｆ）に設定する。
一方、被写体動きの少ないブロックについては、カメラ動きベースブラー推定部４０から入力するカメラ動きブラーマップに含まれるブロック単位のカメラ動きベースブラー（Ｅｃ）に基づいて決定されるカメラ動きベースフィルタ（Ｅｃｆ）を統合フィルタ（Ｅａｌｌｆ）に設定する。
【０１６６】
（ステップＳ１１２）
ステップＳ１１２は、ステップＳ１０９〜Ｓ１１２のループ２の終了位置である。
すなわち、ステップＳ１１０〜Ｓ１１１の処理を、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。
【０１６７】
このループ処理（ループ２）が完了すると、
Ｎ個のブロック全てについて、統合フィルタ（Ｅａｌｌｆ）が決定することになる。
【０１６８】
（ステップＳ１１３）
次のステップＳ１１３からステップＳ１１６の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ３）である。
なお、ブロック数はＮとする。
【０１６９】
（ステップＳ１１４）
ステップＳ１１４〜Ｓ１１５の処理は、図９に示すブラー除去部６０の実行する処理である。
【０１７０】
まず、ステップＳ１１４において、ブラー除去部６０の逆フィルタ算出部６１が、統合フィルタ（Ｅａｌｌｆ）決定部５２の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）を入力し、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つ逆フィルタを算出する。
【０１７１】
（ステップＳ１１５）
次に、ステップＳ１１５において、ブラー除去部６０の逆フィルタ処理部６２が、ステップＳ１１４で算出された逆フィルタを、処理対象の可視光画像のブロックに適用する。
【０１７２】
（ステップＳ１１６）
ステップＳ１１６は、ステップＳ１１３〜Ｓ１１６のループ３の終了位置である。
すなわち、ステップＳ１１４〜Ｓ１１５の処理を、補正対象画像である可視光画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。
【０１７３】
可視光画像のＮ個のすべてのブロックに対する逆フィルタ適用処理が完了すると、その完了画像を補正後可視光画像として出力する。
これらの処理により、ステップＳ１０１における入力画像である可視光画像、すなわち図９に示す補正前可視光画像２５から、ブラー（ぼけ）が除去または低減され、図９に示す補正後可視光画像２７が生成されて出力される。
【０１７４】
次に、図１４に示すフローチャートを参照して、図１１を参照して説明した、
（Ａ２）統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）の加重平均を利用し、被写体の動きの量に応じて加重平均態様を変更する画像処理装置−Ａ２の実行する処理のシーケンスについて説明する。
【０１７５】
なお、図１４に示すフローと、構成Ａ１対応の処理を説明した図１２に示すフローとの差異は、図１４に示すフロー中のステップＳ１１０ｂ〜Ｓ１１１ｂのみである。すなわち、
図１２に示すフローのステップＳ１１０を、図１４に示すフローのステップＳ１１０ｂに置き換え、
図１２に示すフローのステップＳ１１１を、図１４に示すフローのステップＳ１１１ｂに置き換えた点が異なる。
【０１７６】
その他の処理は、図１２に示すフローの各処理と同様の処理であるので説明を省略し、以下、上記のステップＳ１１０ｂ〜Ｓ１１１ｂの処理について説明する。
【０１７７】
（ステップＳ１１０ｂ）
次のステップＳ１０９からステップＳ１１２の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ２）である。
なお、ブロック数はＮとする。
【０１７８】
ステップＳ１１０ｂ〜Ｓ１１１ｂの処理は、図１１に示す統合ブラー推定部５０の実行する処理である。
まず、ステップＳ１１０ｂにおいて、統合ブラー推定部５０の重み算出部５３が、環境情報記憶部／入力部５５から、環境情報を取得して、画像内の各ブロックについて、重み情報を算出する。
環境情報は、先に説明したように、地図情報、時間情報、交通情報、画像上のブロック位置情報等である。
【０１７９】
重み情報とは、例えば、、画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースフィルタ（Ｅｃｆ）の加重平均算出式、すなわち、以下に示す重み係数α、βを用いた統合ブラー（Ｅａｌｌｆ）の算出式、
Ｅａｌｌｆ＝α（Ｅｔｆ）＋β（Ｅｃｆ）
上記式における重み係数α、βの各値である。
【０１８０】
統合ブラー推定部５０の重み算出部５３は、予め規定されたアルゴリズムを実行して、上記各種の環境情報基づいて各ブロック単位で、重み係数α、βを算出する。
具体的には、被写体動きの多いブロックについては、重み係数αをより大きな値に設定する。
一方、被写体動きの少ないブロックについては、重み係数βをより大きな値に設定する。
【０１８１】
（ステップＳ１１１ｂ）
次に、ステップＳ１１１ｂにおいて、統合フィルタ（Ｅａｌｌｆ）算出部５４が、重み算出部５３から入力するブロック単位の重み情報、すなわち上述した各ブロック単位の重み係数α、βを用いて、画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースフィルタ（Ｅｃｆ）の加重平均を行い、統合フィルタ（Ｅａｌｌｆ）を算出する。
【０１８２】
具体的には、被写体動きの多いブロックについては、画像ベースフィルタ（Ｅｔｆ）の寄与率を高く設定した統合ブラー（Ｅａｌｌｆ）を算出する。
一方、被写体動きの少ないブロックについては、カメラ動きベースフィルタ（Ｅｃｆ）の寄与率を高く設定した統合ブラー（Ｅａｌｌｆ）を算出する。
【０１８３】
ステップＳ１０９〜Ｓ１１２では、ステップＳ１１０ｂ〜Ｓ１１１ｂの処理を、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。
【０１８４】
このループ処理（ループ２）が完了すると、
Ｎ個のブロック全てについて、統合フィルタ（Ｅａｌｌｆ）が決定することになる。
以下のステップＳ１１３以下では、ブラー除去部６０において、統合ブラー（Ｅａｌｌｆ）の逆フィルタの算出と、補正対象可視光画像に対する適用処理が行われる。
【０１８５】
これらの処理により、ステップＳ１０１における入力画像である可視光画像、すなわち図１１に示す補正前可視光画像２５から、ブラー（ぼけ）が除去または低減され、図１１に示す補正後可視光画像２７が生成されて出力される。
【０１８６】
［６．（実施例２）構成Ｂ対応の画像処理装置の構成と処理について］
次に、本開示の画像処理装置の実施例２として、図７を参照して説明した構成Ｂ対応の画像処理装置の具体的な構成と処理について説明する。
【０１８７】
先に図７を参照して説明したように、構成Ｂは、可視光画像と遠赤外画像を用いた画像ベースブラー推定と、カメラ動き情報に基づくカメラ動きベースブラー推定を併せて実行して統合ブラー推定を実行する構成である。
【０１８８】
なお、この構成Ｂにおける統合ブラー（Ｅａｌｌ）生成処理では、以下の２種類の処理のいずれかを実行する。
（Ｂ１）遠赤外画像に適用するフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを、カメラ動きベースブラー（Ｅｃ）に基づいて選択する処理。
（Ｂ２）フィルタ適用遠赤外画像と、ブラーあり可視光画像との相関値を、カメラ動きベースブラー（Ｅｃ）に基づいて補正する処理。
【０１８９】
まず、図１５を参照して、
（Ｂ１）遠赤外画像に適用するフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを、カメラ動きベースブラー（Ｅｃ）に基づいて選択する処理。
上記処理を実行する画像処理装置−Ｂ１の構成について説明する。
【０１９０】
図１５は、画像処理装置−Ｂ１の構成と処理を説明する図である。
図１５に示す画像処理装置Ｂ１，２０−Ｂ１は、可視光画像入力部２１、遠赤外画像入力部２２、カメラ動き情報入力部２３、ブラー推定部３０ｂ、カメラ動きベースブラー推定部４０、ブラー除去部６０、フィルタバンクプール３６、カメラ動きブラーマップ記憶部４５を有する。
【０１９１】
さらに、ブラー推定部３０ｂは、フィルタ処理部３１、相関演算部３２、フィルタバンク選択部３４、統合フィルタ（Ｅａｌｌｆ）決定部３７を有する。
カメラ動きベースブラー推定４０は、カメラ動きブラーマップ取得部４１を有する。
また、ブラー除去部６０は、逆フィルタ算出部６１、逆フィルタ処理部６２を有する。
【０１９２】
可視光画像入力部２１は、補正前可視光画像２５をブラー推定部３０ｂと、ブラー除去部６０に入力する。
また、遠赤外画像入力部２２は、遠赤外画像２６を、ブラー推定部３０ｂに入力する。
さらに、カメラ動き情報入力部２３は、例えばＩＭＵ等の動きセンサの取得したカメラ動き情報をカメラ動きベースブラー推定部４０に入力する。
【０１９３】
可視光画像入力部２１と遠赤外画像入力部２２が入力する補正前可視光画像２５と、遠赤外画像２６は、同一被写体を同時に撮影した画像である。
これらの画像は、例えば暗闇で撮影された画像であり、可視光画像入力部２１の入力する補正前可視光画像２５は、長時間露光によるブラー（ぼけ）が発生している。
一方、遠赤外画像入力部２２の入力する遠赤外画像２６は短時間露光画像であり、ブラー（ぼけ）のほとんどない画像である。
【０１９４】
なお、補正前可視光画像２５と、遠赤外画像２６は、いずれも横＝Ｗ画素、縦＝Ｈ画素のＷ×Ｈ画素の画像である。図には補正前可視光画像［Ｗ＊Ｈ］２５と、遠赤外画像［Ｗ＊Ｈ］２６として示している。
また、図中に示す［ＷＢ＊ＨＢ］は、画像の区分領域である１つのブロック領域を示す。
１枚の画像フレームのブロック数はＮとする。
【０１９５】
次に、ブラー推定部３０ｂの実行する処理について説明する。
ブラー推定部３０ｂのフィルタ処理部３１は、遠赤外画像２６に対して、フィルタバンク選択部３４が、フィルタバンクプール３６から選択したフィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用する。すなわち、遠赤外画像２６に様々な態様のブラーを故意に発生させる。
【０１９６】
フィルタバンク３５には、ある特定の範囲の大きさや方向を有する複数の異なるブラー（ぼけ）発生用フィルタが格納されている。すなわち様々なＰＳＦ対応の多数のフィルタが格納されている。
【０１９７】
フィルタバンク３５は、フィルタバンク選択部３４が、フィルタバンクプール３６から選択した１つのフィルタバンクである。
フィルタバンク選択部３４は、カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から、カメラ動きに対応したカメラ動きブラーマップを入力し、入力したカメラ動きブラーマップに設定されたブラーの方向や大きさに類似するブラー対応のフィルタを格納したフィルタバンクを、フィルタバンクプール３６から選択する。
なお、このフィルタバンク選択処理は、画像の分割領域であるブロック単位で実行する。
【０１９８】
フィルタバンクプール３６に格納されるフィルタバンクの例と、カメラ動きブラーマップに基づくフィルタバンクの選択処理例について図１６を参照して説明する。
【０１９９】
図１６（１）は、フィルタバンクプール３６に格納されるフィルタバンクの例を示している。
フィルタバンクプール３６に格納されるフィルタバンクには、図１６（１）に示すように、例えば以下のようなフィルタバンクがある。
（ａ１）横ブラー対応フィルタバンク
（ａ２）長い横ブラー対応フィルタバンク
（ｂ１）縦ブラー対応フィルタバンク
（ｃ）右上斜めブラー対応フィルタバンク
【０２００】
フィルタバンクプール３６には、このように、類似する設定の複数のブラーに対応する複数のフィルタ、すなわち類似するブラーを発生させる類似する係数設定を持つフィルタを複数格納したフィルタバンクが多数、格納されている。
【０２０１】
フィルタバンク選択部３４は、カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から、カメラ動きに対応したカメラ動きブラーマップを入力し、入力したカメラ動きブラーマップに設定されたブラーの方向や大きさに類似するブラー対応のフィルタを格納したフィルタバンクを、フィルタバンクプール３６から選択する。
【０２０２】
図１６（２）は、フィルタバンク選択部３４が、カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から入力したカメラ動きに対応したカメラ動きブラーマップの一例である。
このカメラ動きブラーマップは、カメラが前方向に直進しているとの判定に基づいて取得されるブラーマップである。
【０２０３】
フィルタバンク選択部３４は、このカメラ動きブラーマップを入力し、入力したカメラ動きブラーマップの各ブロック各々について、ブロックに設定されたブラーの方向や大きさに類似するブラー対応のフィルタを格納したフィルタバンクを、フィルタバンクプール３６から選択する。
【０２０４】
図１６に示す例では、４つの太い点線枠で示すブロックについて、それぞれ選択されるフィルタバンクを示している。
左端部中央のブロックは、横方向に長いカメラ動きベースブラー（Ｅｃ）の設定されたブロックである。
フィルタバンク選択部３４は、このブロックに対するフィルタバンクとして、この横長ブラーに類似するブラーを発生させるフィルタを格納した、
（ａ２）長い横ブラー対応フィルタバンク
を選択する。
【０２０５】
左から３番目の中央のブロックは、横方向のカメラ動きベースブラー（Ｅｃ）の設定されたブロックである。
フィルタバンク選択部３４は、このブロックに対するフィルタバンクとして、この横ブラーに類似するブラーを発生させるフィルタを格納した、
（ａ１）横ブラー対応フィルタバンク
を選択する。
【０２０６】
左から５番目、上から２番目のブロックは、縦方向のカメラ動きベースブラー（Ｅｃ）の設定されたブロックである。
フィルタバンク選択部３４は、このブロックに対するフィルタバンクとして、この縦ブラーに類似するブラーを発生させるフィルタを格納した、
（ｂ１）縦ブラー対応フィルタバンク
を選択する。
【０２０７】
右から４番目、上から３番目のブロックは、右上斜め方向のカメラ動きベースブラー（Ｅｃ）の設定されたブロックである。
フィルタバンク選択部３４は、このブロックに対するフィルタバンクとして、この右上斜めブラーに類似するブラーを発生させるフィルタを格納した、
（ｃ）右上斜めブラー対応フィルタバンク
を選択する。
【０２０８】
フィルタバンク選択部３４は、このように、カメラ動きブラーマップ取得部４１から、カメラの動きに応じたカメラ動きブラーマップを入力し、入力したカメラ動きブラーマップの各ブロック各々について、ブロックに設定されたブラーの方向や大きさに類似するブラー対応のフィルタを格納したフィルタバンクを、フィルタバンクプール３６から選択する。
【０２０９】
図１５に示すフィルタバンクｎ，３５が、あるブロックに対して選択されたフィルタバンクである。
選択されたフィルタバンク３５は、フィルタ処理部３１に入力される。
【０２１０】
ブラー推定部３０ｂのフィルタ処理部３１は、遠赤外画像２６の各ブロックに対して、フィルタバンク選択部３４の選択したフィルタバンク３５に格納されたふぃるたを順次、適用する。
フィルタを適用して生成したブラーを故意に発生させた遠赤外画像は、相関運算部３２に出力される。
相関演算部３２は、フィルタ適用によりブラーを故意に発生させた遠赤外画像と、補正前可視光画像２５との相関を算出する。
【０２１１】
なお、このフィルタ処理部３１と、相関演算部３２の実行するフィルタ適用処理、および相関算出処理は、補正前可視光画像２５のＮ個のブロック領域と、遠赤外画像２６のＮ個のブロック領域の対応ブロック単位で実行する。
【０２１２】
フィルタ処理部３１は、遠赤外画像２６のＮ個のブロックの各々について、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用する。
相関演算部３２は、遠赤外画像２６のＮ個のブロックの各々について、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用した結果と、補正前可視光画像２５との相関を算出し、Ｎ個のブロック各々についての各フィルタ対応の相関値を統合フィルタ（Ｅａｌｌｆ）決定部３７に出力する。
【０２１３】
統合フィルタ（Ｅａｌｌｆ）決定部３７は、相関演算部３２からの入力データ、すなわち、
Ｎ個のブロック各々についての各フィルタ対応の相関値の中から、
各ブロックについて、最も相関の高いブロック対応のフィルタを選択する。
統合フィルタ（Ｅａｌｌｆ）決定部３７が選択したＮ個のブロック各々についてのＮ個のフィルタは、ブラー除去部６０の逆フィルタ算出部６１に入力される。
【０２１４】
ブラー除去部６０の逆フィルタ算出部６１は、統合フィルタ（Ｅａｌｌｆ）決定部３７の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）を入力し、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つ逆フィルタを生成する。
すなわち、デコンボリューションフィルタを生成して、逆フィルタ処理部６２に出力する。
デコンボリューションフィルタは、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つフィルタである。
【０２１５】
ブラー除去部６０の逆フィルタ処理部６２は、各ブロック対応の逆フィルタを逆フィルタ算出部６１から入力し、入力した逆フィルタを、可視光画像入力部２１から入力する補正前可視光画像２５の該当ブロックに適用する。
【０２１６】
すなわち、逆フィルタ処理部６２は、統合フィルタ（Ｅａｌｌｆ）決定部３７の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）と逆の特性を持つ逆フィルタを補正前可視光画像２５の該当ブロックに適用する。
【０２１７】
可視光画像入力部２１から入力する補正前可視光画像２５のＮ個のすべてのブロックに対する逆フィルタ適用処理が完了すると、この完了画像を補正後可視光画像２７として出力する。
これらの処理により、補正前可視光画像２５から、ブラー（ぼけ）が除去または低減された補正後可視光画像２７が生成され出力される。
【０２１８】
次に、図１７を参照して、
（Ｂ２）フィルタ適用遠赤外画像と、ブラーあり可視光画像との相関値を、カメラ動きベースブラー（Ｅｃ）に基づいて補正する処理。
上記処理を実行する画像処理装置−Ｂ２の構成について説明する。
【０２１９】
図１７は、画像処理装置−Ｂ２の構成と処理を説明する図である。
図１７に示す画像処理装置Ｂ２，２０−Ｂ２は、可視光画像入力部２１、遠赤外画像入力部２２、カメラ動き情報入力部２３、ブラー推定部３０ｂ、カメラ動きベースブラー推定部４０、ブラー除去部６０、カメラ動きブラーマップ記憶部４５を有する。
【０２２０】
さらに、ブラー推定部３０ｂは、フィルタ処理部３１、相関演算部３２、統合フィルタ（Ｅａｌｌｆ）決定部３７、フィルタ（ブラー）比較部３８、相関補正部３９を有する。
カメラ動きベースブラー推定４０は、カメラ動きブラーマップ取得部４１を有する。
また、ブラー除去部６０は、逆フィルタ算出部６１、逆フィルタ処理部６２を有する。
【０２２１】
先に図１５を参照して説明した画像処理装置Ｂ１，２０−Ｂ１との差異は、フィルタバンクプール３６を有していない点と、ブラー推定部３０ｂの構成である。
図１７に示す画像処理装置Ｂ２，２０−Ｂ２のブラー推定部３０ｂは、先に図１５を参照して説明したフィルタバンク選択部３４を有しておらず、フィルタ（ブラー）比較部３８と、相関補正部３９を有する。
【０２２２】
以下、これら、フィルタ（ブラー）比較部３８と、相関補正部３９の実行する処理を中心に説明する。
【０２２３】
フィルタ（ブラー）比較部３８は、以下の各情報を入力する。
フィルタ処理部３１において遠赤外画像２６に適用するためのブラー（ぼけ）発生用のフィルタをフィルタバンク３５から入力する。
さらに、カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から、カメラ動きに対応したカメラ動きブラーマップを入力する。
【０２２４】
フィルタ（ブラー）比較部３８は、これらの２つのフィルタ（ブラー）の類似度を判定して、類似度に応じた補正係数（０〜１）を算出して相関補正部３９に出力する。
２つのフィルタ（ブラー）の類似度が大きいほど、補正係数は、大きく（１に近く）。類似度が小さいほど補正係数は小さく（０に近く）設定される。
【０２２５】
相関補正部３９は、フィルタ（ブラー）比較部３８から入力する補正係数を、相関演算部３２から入力する相関値（補正前可視光画像２５と、フィルタ適用遠赤外画像の対応ブロックの相関値）に乗算して、補正相関値を算出して、統合フィルタ決定部３７に出力する。
【０２２６】
これらの一連の処理の具体例について、図１８を参照して説明する。
図１８には、以下の各情報を示している。
（１）フィルタバンク３５からの取得フィルタＦ１
（２）相関演算部３２の算出する相関値
（３）カメラ動きベースブラー
（４）フィルタ（ブラー）の類似度に基づく算出補正係数
（５）相関補正部３９の算出する補正相関値
【０２２７】
図１８に示す（１）フィルタバンク３５からの取得フィルタＦ１は、図１７に示すブラー推定部３０ｂのフィルタ処理部３１において遠赤外画像２６に適用するためのブラー（ぼけ）発生用のフィルタである。
フィルタ（ブラー）比較部３８は、このフィルタを入力する。
図１８には３種類のみ示しているが、この他、多数のフィルタがフィルタ処理部３１において遠赤外画像２６に、順次、適用される。
なお、このフィルタ適用処理は、ブロック単位で実行される。
【０２２８】
図１８に示す（２）相関演算部３２の算出する相関値は、図１７に示すブラー推定部３０ｂの相関演算部３２において算出される相関値である。
すなわち、補正前可視光画像２５と、フィルタ適用遠赤外画像の対応ブロックの相関値である。
図には、上から、遠赤外画像２６に適用された３種類の各フィルタに対応した３種類の相関値として、
相関値＝０．５，
相関値＝０．４，
相関値＝０．１、
これらの相関値が算出された例を示している。
【０２２９】
図１８（３）カメラ動きベースブラーは、カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から入力する、カメラ動きに対応したカメラ動きブラーマップから取得されるブラーである。
相関演算部３２における相関値算出対象となったブロックに対応するブロックのカメラ動きベースブラーであり、カメラ動きブラーマップから取得される。
図１８（３）に示す例では、右斜め下がりのカメラ動きベースブラー（Ｅｃ）を示している。
【０２３０】
フィルタ（ブラー）比較部３８は、
図１８（１）に示すフィルタバンク３５からの取得フィルタＦ１、
図１８（３）に示すカメラ動きベースブラー（Ｅｃ）、
これらの２つのフィルタ（ブラー）を比較する。
なお、フィルタＦ１は、ブラーを発生させるフィルタであり、図１８（１）に示すフィルタバンク３５から取得するフィルタＦ１によって発生するブラーが、図１８（３）に示すカメラ動きベースブラー（Ｅｃ）に類似するか否かを判定する。
【０２３１】
フィルタ（ブラー）比較部３８は、これらの２つのフィルタ（ブラー）の類似度を判定して、類似度に応じた補正係数（０〜１）を算出して相関補正部３９に出力する。
図１８（４）に示すフィルタ（ブラー）の類似度に基づく算出補正係数が、この補正係数である。
図１８に示す例では、上から、遠赤外画像２６に適用された３種類の各フィルタに対応した３種類の補正係数として、
補正係数＝０．３，
補正係数＝０．９，
補正係数＝０．９、
これらの補正係数が算出された例を示している。
【０２３２】
補正係数は、２つのフィルタ（ブラー）の類似度が大きいほど大きい値（１に近い値）となる。
図１８に示す例では、図１８（３）に示すカメラ動きベースブラー（Ｅｃ）が右下斜め方向のブラーである。
図１８（１）フィルタバンク３５からの取得フィルタＦ１として示す３種類のフィルタ中、一番目の横方向のブラー対応のフィルタは、右下斜め方向のカメラ動きベースブラー（Ｅｃ）との類似度が低いと判定され、補正係数＝０．３の算出がなされる。
【０２３３】
一方、２番目の右下方向のブラー、および３番目の縦方向のブラー対応のフィルタは、図１８（３）に示す右下斜め方向のカメラ動きベースブラー（Ｅｃ）との類似度が高いと判定され、補正係数＝０．９の算出がなされる。
【０２３４】
フィルタ（ブラー）比較部３８は、これらの補正係数を相関補正部３９に出力する。
相関補正部３９は、フィルタ（ブラー）比較部３８から入力する補正係数を、相関演算部３２から入力する相関値、すなわち、図１８に示す（２）相関演算部３２の算出する相関値に乗算して、補正相関値を算出する。
図１８（５）に示す補正相関値である。
【０２３５】
図１８（５）に示す例では、上から、遠赤外画像２６に適用された３種類の各フィルタに対応した３種類の補正相関値として、
補正相関値＝０．５×０．３＝０．１５，
補正相関値＝０．４×０．９＝０．３６，
補正相関値＝０．１×０．９＝０．０９，
これらの補正相関値が算出された例を示している。
【０２３６】
相関補正部３９の算出した補正相関値は、統合フィルタ決定部３７に出力される。
統合フィルタ決定部３７は、相関補正部３９からの入力データ、すなわち、
Ｎ個のブロック各々についての各フィルタ対応の補正相関値の中から、
各ブロックについて、最も相関の高いブロック対応のフィルタを選択する。
統合フィルタ（Ｅａｌｌｆ）決定部３７が選択したＮ個のブロック各々についてのＮ個のフィルタは、ブラー除去部６０の逆フィルタ算出部６１に入力される。
【０２３７】
図１８に示す例では、図１８（５）に示すように、２番目のエントリが最も補正相関値の高いエントリとなる。
この場合、２番目のエントリのフィルタ、すなわち、図１８（１）フィルタバンクからの取得フィルタＦ１に示す２番目のフィルタが統合フィルタ（Ｅａｌｌｆ）として決定される。
【０２３８】
統合フィルタ（Ｅａｌｌｆ）決定部３７が決定した統合フィルタ（Ｅａｌｌｆ）は、ブラー除去部６０の逆フィルタ算出部６１に入力される。
ブラー除去部６０の逆フィルタ算出部６１は、ブロック単位の統合フィルタ（Ｅａｌｌｆ）を入力し、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つ逆フィルタを生成する。
すなわち、デコンボリューションフィルタを生成して、逆フィルタ処理部６２に出力する。
デコンボリューションフィルタは、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つフィルタである。
【０２３９】
ブラー除去部６０の逆フィルタ処理部６２は、各ブロック対応の逆フィルタを逆フィルタ算出部６１から入力し、入力した逆フィルタを、可視光画像入力部２１から入力する補正前可視光画像２５の該当ブロックに適用する。
【０２４０】
すなわち、逆フィルタ処理部６２は、統合フィルタ（Ｅａｌｌｆ）決定部３７の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）と逆の特性を持つ逆フィルタを補正前可視光画像２５の該当ブロックに適用する。
【０２４１】
可視光画像入力部２１から入力する補正前可視光画像２５のＮ個のすべてのブロックに対する逆フィルタ適用処理が完了すると、この完了画像を補正後可視光画像２７として出力する。
これらの処理により、補正前可視光画像２５から、ブラー（ぼけ）が除去または低減された補正後可視光画像２７が生成され出力される。
【０２４２】
次に、図１９以下に示すフローチャートを参照して、図１５、図１７を参照して説明した構成Ｂ対応の画像処理装置の実行する処理のシーケンスについて説明する。
【０２４３】
まず、図１９に示すフローチャートを参照して、図１５を参照して説明した、
（Ｂ１）遠赤外画像に適用するフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを、カメラ動きベースブラー（Ｅｃ）に基づいて選択する処理。
上記処理を実行する画像処理装置−Ｂ１の実行する処理のシーケンスについて説明する。
【０２４４】
なお、図１９に示すフロー中、先に図１２を参照して説明した構成Ａ対応の画像処理装置−Ａ１の実行する処理と同様の処理を実行するステップについては、同一のステップ番号を示している。
以下、図１９に示すフローの各ステップの処理について、順次、説明する。
【０２４５】
（ステップＳ１０１）
まず、ステップＳ１０１において、補正対象とする可視光画像を取得する。
この処理は、図１５に示す画像処理装置における可視光画像入力部２１によって行われる。具体的には、例えば可視光画像撮影カメラの撮影画像の取得処理である。
【０２４６】
（ステップＳ１０２）
次に、ステップＳ１０２において、参照画像として利用される遠赤外画像を取得する。
この処理は、図１５に示す画像処理装置における遠赤外画像入力部２２によって行われる。具体的には、例えば遠赤外画像撮影カメラの撮影画像の取得処理である。
【０２４７】
なお、ステップＳ１０１、およびステップＳ１０２において取得する可視光画像と、遠赤外画像は、同一被写体を同時に撮影した画像である。
これらの画像は、例えば暗闇で撮影された画像であり、可視光画像は、長時間露光によるブラー（ぼけ）が発生している。一方、遠赤外画像は短時間露光画像であり、ブラー（ぼけ）のほとんどない画像である。
【０２４８】
（ステップＳ１０３）
次に、ステップＳ１０３において、カメラの動き情報を取得する。
この処理は、図１５に示す画像処理装置におけるカメラ動き情報入力部２３によって行われる。具体的には、例えばＩＭＵ等のセンサによって、カメラの動き情報が取得され入力される。
【０２４９】
（ステップＳ１０４）
次に、ステップＳ１０４において、ステップＳ１０３で入力したカメラの動き情報に基づいて、カメラ動きブラーマッブが取得される。
この処理は、図１５に示す画像処理装置におけるカメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１の実行する処理である。
【０２５０】
カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１は、カメラ動き情報入力部２３から入力するカメラ動き情報に基づいて、カメラ動きブラーマップ記憶部４５に格納された様々なカメラ動きに対応するブラーマップから、１つのカメラ動きブラーマップを取得して、ブラー推定部３０ｂのフィルタバンク選択部３４に入力する。
【０２５１】
（ステップＳ１０５）
次のステップＳ１０５から、ステップＳ１０７の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ１）である。
なお、ブロック数はＮとする。
【０２５２】
（ステップＳ１０５ｂ）
ステップＳ１０５ｂの処理は、図１５に示すブラー推定部３０ｂのフィルタバンク選択部３４の実行する処理である。
フィルタバンク選択部３４は、カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から、カメラ動きに対応したカメラ動きブラーマップを入力し、入力したカメラ動きブラーマップに設定されたブラーの方向や大きさに類似するブラー対応のフィルタを格納したフィルタバンクを、フィルタバンクプール３６から選択する。
なお、このフィルタバンク選択処理は、画像の分割領域であるブロック単位で実行する。
【０２５３】
（ステップＳ１０６ｂ）
次に、ステップＳ１０６ｂにおいて、統号フィルタ（Ｅａｌｌｆ）の決定処理を実行する。
このステップＳ１０６ｂの処理は、図１５に示すブラー推定部２０ｂのフィルタ処理部３１、相関演算部３２、統合フィルタ決定部３７において実行する処理であ。
【０２５４】
このステップＳ１０６ｂの処理シーケンスは、先に図１３を参照して説明したステップＳ１０６の処理、すなわち、図１３に示すステップＳ１２１〜Ｓ１２６の処理と同一である。
ただし、図１３を参照して説明したステップＳ１２１〜Ｓ１２６の処理では、出力するフィルタは、画像ベースフィルタ（Ｅｔｆ）であるが、図１９のフローのステップＳ１０６ｂは、図１３に示すステップＳ１２６において、図１５に示す統合フィルタ決定部３７が、相関値最大のフィルタを統合フィルタ（Ｅａｌｌｆ）として選択する処理を行う。
【０２５５】
（ステップＳ１０７）
ステップＳ１０７は、ステップＳ１０５〜Ｓ１０７のループ１の終了位置である。
すなわち、ステップＳ１０５ｂ〜１０６ｂの処理を、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。
【０２５６】
このループ処理（ループ１）が完了すると、
Ｎ個のブロック全てについて、最も高い相関値を持つ統合フィルタ（Ｅａｌｌｆ）が決定することになる。
【０２５７】
（ステップＳ１１３）
次のステップＳ１１３からステップＳ１１６の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ３）である。
なお、ブロック数はＮとする。
【０２５８】
（ステップＳ１１４）
ステップＳ１１４〜Ｓ１１５の処理は、図１５に示すブラー除去部６０の実行する処理である。
【０２５９】
まず、ステップＳ１１４において、ブラー除去部６０の逆フィルタ算出部６１が、統合フィルタ（Ｅａｌｌｆ）決定部３７の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）を入力し、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つ逆フィルタを算出する。
【０２６０】
（ステップＳ１１５）
次に、ステップＳ１１５において、ブラー除去部６０の逆フィルタ処理部６２が、ステップＳ１１４で算出された逆フィルタを、処理対象の可視光画像のブロックに適用する。
【０２６１】
（ステップＳ１１６）
ステップＳ１１６は、ステップＳ１１３〜Ｓ１１６のループ３の終了位置である。
すなわち、ステップＳ１１４〜Ｓ１１５の処理を、補正対象画像である可視光画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。
【０２６２】
可視光画像のＮ個のすべてのブロックに対する逆フィルタ適用処理が完了すると、その完了画像を補正後可視光画像として出力する。
これらの処理により、ステップＳ１０１における入力画像である可視光画像、すなわち図１５に示す補正前可視光画像２５から、ブラー（ぼけ）が除去または低減され、図１５に示す補正後可視光画像２７が生成されて出力される。
【０２６３】
次に、図２０に示すフローチャートを参照して、図１７を参照して説明した、
（Ｂ２）フィルタ適用遠赤外画像と、ブラーあり可視光画像との相関値を、カメラ動きベースブラー（Ｅｃ）に基づいて補正する処理。
上記処理を実行する画像処理装置−Ｂ２の実行する処理シーケンスについて説明する。
【０２６４】
図２０に示すフローは、図１９を参照して説明した図１９のフロー中のステップＳ１０５ｂ〜Ｓ１０６ｂの処理を、図２０のフローに示すステップＳ１０６ｃに置き換えた点のみが異なる。
その他の処理は図１９に示すフローを参照して説明した処理と同様であるので、説明を省略し、図２０のフローに示すステップＳ１０６ｃの処理を中心として説明する。
【０２６５】
（ステップＳ１０６ｃ）
このステップＳ１０６ｃは、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ１）として実行される。
【０２６６】
ステップＳ１０６は、図１７に示すブラー推定部３０ｂの実行するブロック単位の統合フィルタ（Ｅａｌｌｆ）算出処理である。
このステップＳ１０６ｃの処理の詳細シーケンスについて、図２１に示すフローを参照して説明する。
【０２６７】
ステップＳ１０６ｃにおける各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の算出処理には、ステップＳ１０１で取得した可視光画像と、ステップＳ１０２で取得した遠赤外画像、さらに、ステップＳ１０３〜Ｓ１０４で取得されるカメラ動きブラーマップを利用するので、図２１には、ステップＳ１０１〜Ｓ１０４も併せて示している。
【０２６８】
ステップＳ１０６ｃの詳細処理は、図２１に示すステップＳ１２１〜Ｓ１２６の処理である。
以下、この処理について、順次、説明する。
【０２６９】
（ステップＳ１２１）
ステップＳ１２１から、ステップＳ１２５の処理は、フィルタバンク３５に格納された全てのフィルタに対応付けられたフィルタＩＤの全てについて、順次、繰り返し実行されるループ処理（ループ１ｂ）である。
【０２７０】
（ステップＳ１２２）
ステップＳ１２２において、フィルタ（係数）を取得する。
ステップＳ１２２〜Ｓ１２３の処理は、図１７に示すブラー推定部３０ｂのフィルタ処理部３１の実行する処理である。フィルタ処理部３１は、遠赤外画像の各ブロックに適用するなフィルタ（ブラー（ぼけ）発生フィルタ）をフィルタバンク３５から、順次、取得する。
なお、フィルタバンク３５から、順次、取得するデータはフィルタ自体、またはフィルタの構成データであるフィルタ係数のいずれでもよい。
【０２７１】
（ステップＳ１２３）
次に、ステップＳ１２３において、ステップＳ１２２で取得したフィルタを遠赤外画像の１つのブロック、すなわち現在、処理対象として選択されているブロックに適用する。
この処理は、遠赤外画像にブラーを故意に発生させるためのフィルタ処理である。
【０２７２】
（ステップＳ１２４）
次に、ステップＳ１２４において、ステップＳ１２３でのフィルタ適用結果の遠赤外画像のブロックと、可視光画像の対応ブロックとの相関値を算出する。
この処理は、図１７に示すブラー推定部３０ｂの相関演算部３２の実行する処理である。
相関演算部３２は、フィルタ適用によりブラーを故意に発生させた遠赤外画像と、可視光画像との相関を算出する。
【０２７３】
（ステップＳ１２５）
ステップＳ１２５は、ステップＳ１２１〜Ｓ１２５のループ１ｂの終了位置である。
すなわち、ステップＳ１２２〜Ｓ１２４の処理を、フィルタバンク３５に格納された全てのフィルタに対応付けられたフィルタＩＤの全てについて、順次、繰り返し実行する。
【０２７４】
（ステップＳ１２５ｃ）
１つのブロックについてのステップＳ１２１〜Ｓ１２５のループ１ｂの処理が完了すると、ステップＳ１２５ｃに進む。
すなわち、１つのブロックについて、フィルタバンク３５に格納された全てのフィルタ対応の相関値算出処理が修了するとステップＳ１２５ｃに進む。
【０２７５】
ステップＳ１２５ｃの処理は、図１７に示すブラー推定部３０ｂのフィルタ（ブラー）比較部３８と、相関補正部３９の実行する処理である。
フィルタ（ブラー）比較部３８は、以下の各情報を入力する。
フィルタ処理部３１において遠赤外画像２６に適用するためのブラー（ぼけ）発生用のフィルタをフィルタバンク３５から入力する。
さらに、カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から、カメラ動きに対応したカメラ動きブラーマップを入力する。
【０２７６】
フィルタ（ブラー）比較部３８は、これらの２つのフィルタ（ブラー）の類似度を判定して、類似度に応じた補正係数（０〜１）を算出して相関補正部３９に出力する。
２つのフィルタ（ブラー）の類似度が大きいほど、補正係数は、大きく（１に近く）。類似度が小さいほど補正係数は小さく（０に近く）設定される。
【０２７７】
相関補正部３９は、フィルタ（ブラー）比較部３８から入力する補正係数を、相関演算部３２から入力する相関値（補正前可視光画像２５と、フィルタ適用遠赤外画像の対応ブロックの相関値）に乗算して、補正相関値を算出して、統合フィルタ決定部３７に出力する。
【０２７８】
（ステップＳ１２６）
ステップＳ１２６の処理は、図１７に示すブラー推定部３０ｂの統合フィルタ（Ｅａｌｌｆ）決定部３７の実行する処理である。
【０２７９】
統合フィルタ（Ｅａｌｌｆ）決定部３７は、ステップＳ１２６において、ステップＳ１２５ｂで相関補正部３９の算出したブロック対応の補正相関値中、最も高い相関値を持つフィルタを、ブロック対応の統合フィルタ（Ｅａｌｌｆ）として決定する。
統合フィルタ（Ｅａｌｌｆ）決定部３７の決定したブロック対応の統合フィルタ（Ｅａｌｌｆ）は、図１７に示すブラー除去部６０の逆フィルタ算出部６１に入力される。
【０２８０】
（ステップＳ１０７）
ステップＳ１０７は、ステップＳ１０５〜Ｓ１０７のループ１の終了位置である。
すなわち、ステップＳ１０５ｂ〜１０６ｂの処理を、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。
【０２８１】
このループ処理（ループ１）が完了すると、
Ｎ個のブロック全てについて、統合フィルタ（Ｅａｌｌｆ）が決定することになる。
【０２８２】
次に、図２０に示すステップＳ１１３〜Ｓ１１６の処理が実行される。
すなわち、ブラー除去部６０の逆フィルタ算出部６１が、統合フィルタ（Ｅａｌｌｆ）決定部３７の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）を入力し、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つ逆フィルタを算出し、ブラー除去部６０の逆フィルタ処理部６２が、逆フィルタを、処理対象の可視光画像のブロックに適用する。
【０２８３】
可視光画像のＮ個のすべてのブロックに対する逆フィルタ適用処理が完了すると、その完了画像を補正後可視光画像として出力する。
これらの処理により、ステップＳ１０１における入力画像である可視光画像、すなわち図１７に示す補正前可視光画像２５から、ブラー（ぼけ）が除去または低減され、図１７に示す補正後可視光画像２７が生成されて出力される。
【０２８４】
［７．（実施例３）構成Ａ＋Ｃ対応の画像処理装置の構成と処理について］
次に、本開示の画像処理装置の実施例３として、図８を参照して説明した構成（Ａ＋Ｃ）、すなわち、構成Ａを基本構成として、さらにフィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成と処理について説明する。
【０２８５】
構成Ａは、画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースフィルタ（Ｅｃｆ）を統合した統合フィルタ（Ｅａｌｌｆ）を推定して、この統合フィルタ（Ｅａｌｌｆ）の逆特性を持つ逆フィルタを、ブラーを有する可視光画像に適用する構成である。
以下に説明する実施例３としての構成Ａ＋Ｃは、この構成Ａにおいて推定される画像ベースフィルタ（Ｅｔｆ）や、カメラ動きベースフィルタ（Ｅｃｆ）の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成である。
【０２８６】
なお、構成Ａについては、先に図９〜図１４を参照して説明したように、統合ブラー（Ｅａｌｌ）推定処理の処理態様として、以下の２種類がある。
（Ａ１）被写体の動きの量に応じて、統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）を適用するか、カメラ動きベースブラー（Ｅｃ）を選択するかを切り換える構成。
（Ａ２）統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）の加重平均を利用し、被写体の動きの量に応じて加重平均態様を変更する構成。
【０２８７】
以下、これら構成Ａ１，Ａ２の各々に対して、構成Ｃ、すなわち、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成と処理について説明する。すなわち、
構成Ａ１＋Ｃ、
構成Ａ２＋Ｃ、
これらの２つの構成例と処理について、図２２以下を参照して説明する。
【０２８８】
まず、図２２を参照して、構成Ａ１＋Ｃ、すなわち、
（Ａ１）被写体の動きの量に応じて、統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）を適用するか、カメラ動きベースブラー（Ｅｃ）を選択するかを切り換える構成。
上記構成に、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成について説明する。
【０２８９】
図２２に示す画像処理装置Ａ１＋Ｃ，２０−Ａ１Ｃは、先に図９を参照して説明した画像処理装置Ａ１，２０−Ａ１の構成に、信頼度算出部７０を追加し、さらに、ブラー除去部６０内に逆フィルタ補正部６３を追加した構成である。
その他の構成は、図９に示す画像処理装置Ａ１，２０−Ａ１と同一である。
【０２９０】
信頼度算出部７０と、逆フィルタ補正部６３の実行する処理について説明する。
信頼度算出部７０は、フィルタ（ブラー）比較部７１を有する。
【０２９１】
信頼度算出部７０のフィルタ（ブラー）比較部７１は、以下の２つのデータを入力する。
（１）画像ベースブラー推定部３０の生成した画像ベースフィルタ（Ｅｔｆ）
（２）カメラ動きベースブラー推定部４０が取得したカメラ動きブラーマップ
【０２９２】
画像ベースブラー推定部３０の生成した画像ベースフィルタ（Ｅｔｆ）は画像の分割領域であるブロック単位のフィルタである。
カメラ動きベースブラー推定部４０が取得したカメラ動きブラーマップは、先に図１０を参照して説明したようにカメラ動きに応じたブラー情報をブロック単位で有するデータである。
【０２９３】
信頼度算出部７０のフィルタ（ブラー）比較部７１は、画像ベースブラー推定部３０の生成したブロック単位の画像ベースフィルタ（Ｅｔｆ）と、そのブロックに対応するカメラ動きブラーマップ内のブロックのカメラ動きベースブラー（Ｅｃ）を比較する。
【０２９４】
なお、ここで比較対象となるフィルタは、ブラーを発生させるフィルタであり、例えば、フィルタの係数とブラーを示す関数（ＰＳＦ）とを直接比較することが可能であり、この比較により、フィルタとブラーとの類似性を判定することができる。
【０２９５】
なお、カメラ動きベースブラー（Ｅｃ）をカメラ動きベースフィルタ（Ｅｃｆ）に変換して、画像ベースフィルタ（Ｅｔｆ）と比較する処理を行ってもよいし、あるいは、画像ベースフィルタ（Ｅｔｆ）を画像ベースブラー（Ｅｃ）に変換して、カメラ動きベースブラー（Ｅｃ）と比較する処理を行ってもよい。
【０２９６】
いずれにおいても、画像内の同一位置にある対応するブロック間で、画像ベースブラー（Ｅｔ）、または画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースブラー（Ｅｃ）、またはカメラ動きベースフィルタ（Ｅｃｆ）との比較処理を行う。
この比較処理の結果として、２つのフィルタ（ブラー）の類似度が高い場合は、信頼度の値を高く設定する。
一方、２つのフィルタ（ブラー）の類似度が低い場合は、信頼度の値を低く設定する。
なお、信頼度は、例えば信頼度＝０〜１の値とする。
【０２９７】
図２３に信頼度算出部７０のフィルタ（ブラー）比較部７１の実行する信頼度算出処理例を示す。
図２３には、フィルタ（ブラー）比較部７１の実行する信頼度算出処理例として２つの例を示している。
【０２９８】
（例１）は、画像ベースブラー推定部３０の生成した画像ベースフィルタ（ブラー）が、横長のフィルタ（ブラー）であり、カメラ動きブラーマップ内のブロックから取得したカメラ動きベースフィルタ（ブラー）が、右下斜め方向のフィルタ（ブラー）である例である。
この場合、これら２つのフィルタ（ブラー）の類似度は低いと判定し、信頼度を低い値、例えば０．１に設定する。
【０２９９】
（例２）は、画像ベースブラー推定部３０の生成した画像ベースフィルタ（ブラー）が、右下斜め方向のフィルタ（ブラー）であり、カメラ動きブラーマップ内のブロックから取得したカメラ動きベースフィルタ（ブラー）が、右下斜め方向のフィルタ（ブラー）である例である。
この場合、これら２つのフィルタ（ブラー）の類似度は高いと判定し、信頼度を高い値、例えば０．９に設定する。
【０３００】
信頼度算出部７０のフィルタ（ブラー）比較部７１は、算出した信頼度を、ブラー除去部６０の逆フィルタ補正部６３に出力する。
逆フィルタ補正部６３は、信頼度算出部７０から入力する信頼度に応じて、逆フィルタ処理部６２において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部７０から入力する信頼度が高い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱めることなく、逆フィルタ算出部６１の算出した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像２５の処理対象ブロックに対して逆フィルタ算出部６１の算出した逆フィルタをそのまま適用する。
【０３０１】
一方、信頼度算出部７０から入力する信頼度が低い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱める。すなわち、逆フィルタ算出部６１の算出した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。
【０３０２】
具体的には、例えば、信頼度算出部７０の算出する相関値信頼度が、
相関値信頼度α＝１（高信頼度）〜０（縦い信頼度）の設定である場合、
逆フィルタ補正部６３は、逆フィルタ算出部６１の算出した逆フィルタに設定された係数に対して信頼度αを乗算して補正逆フィルタを生成して、逆フィルタ処理部６２に出力する。
【０３０３】
逆フィルタ処理部６２は、逆フィルタ補正部６３から入力する補正逆フィルタを、補正前可視光画像２５の処理対象ブロックに対して適用する。
なお、信頼度算出部７０の信頼度算出処理や、逆フィルタ補正部６３の逆フィルタ補正処理、さらに、逆フィルタ処理部６２における逆フィルタ適用処理はブロック単位の処理として実行される。
【０３０４】
このように、本実施例では、推定されたフィルタ（ブラー）の信頼度に応じた逆フィルタ適用処理が実現されることになり、信頼度の高いブロックは逆フィルタの適用効果を高め、信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、信頼度に応じた効果的なブラー解消処理が可能となる。
【０３０５】
次に、図２４を参照して、構成Ａ２＋Ｃ、すなわち、
（Ａ２）統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）の加重平均を利用し、被写体の動きの量に応じて加重平均態様を変更する構成。
上記構成に、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成について説明する。
【０３０６】
図２４に示す画像処理装置Ａ２＋Ｃ，２０−Ａ２Ｃは、先に図１１を参照して説明した画像処理装置Ａ２，２０−Ａ２の構成に、信頼度算出部７０を追加し、さらに、ブラー除去部６０内に逆フィルタ補正部６３を追加した構成である。
その他の構成は、図１１に示す画像処理装置Ａ２，２０−Ａ２と同一である。
【０３０７】
信頼度算出部７０と、逆フィルタ補正部６３の実行する処理は、上述した画像処理装置Ａ１＋Ｃ，２０−Ａ１Ｃについて、図２２、図２３を参照して説明した処理と同様の処理である。
【０３０８】
すなわち、信頼度算出部７０は、画像内の同一位置にある対応するブロック間で、画像ベースブラー（Ｅｔ）、または画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースブラー（Ｅｃ）、またはカメラ動きベースフィルタ（Ｅｃｆ）との比較処理を行う。
この比較処理の結果として、２つのフィルタ（ブラー）の類似度が高い場合は、信頼度の値を高く設定し、類似度が低い場合は、信頼度の値を低く設定する。
【０３０９】
信頼度算出部７０のフィルタ（ブラー）比較部７１は、算出した信頼度を、ブラー除去部６０の逆フィルタ補正部６３に出力する。
逆フィルタ補正部６３は、信頼度算出部７０から入力する信頼度に応じて、逆フィルタ処理部６２において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部７０から入力する信頼度が高い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱めることなく、逆フィルタ算出部６１の算出した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像２５の処理対象ブロックに対して逆フィルタ算出部６１の算出した逆フィルタをそのまま適用する。
【０３１０】
一方、信頼度算出部７０から入力する信頼度が低い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱める。すなわち、逆フィルタ算出部６１の算出した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。
【０３１１】
このように、本実施例でも、推定されたフィルタ（ブラー）の信頼度に応じた逆フィルタ適用処理が実現されることになり、信頼度の高いブロックは逆フィルタの適用効果を高め、信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、信頼度に応じた効果的なブラー解消処理が可能となる。
【０３１２】
次に、図２２〜図２４を参照して説明した本実施例３、すなわち、構成（Ａ１＋Ｃ）、および構成（Ａ２＋Ｃ）の画像処理装置における処理シーケンスについて、図２５以下に示すフローチャートを参照して説明する。
【０３１３】
図２５に示すフローチャートは、先に図２２を参照して説明した構成Ａ１＋Ｃ、すなわち、
（Ａ１）被写体の動きの量に応じて、統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）を適用するか、カメラ動きベースブラー（Ｅｃ）を選択するかを切り換える構成。
上記構成に、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の実行する処理シーケンスを説明するフローチャートである。
【０３１４】
この図２５に示すフローチャートは、先に、図１２を参照して説明した図９の「構成Ａ１」対応の画像処理装置の実行する処理フローのステップＳ１０１〜Ｓ１１６の処理に、ステップＳ１１２ｂと、ステップＳ１１４ｂの処理を追加したフローチャートである。
【０３１５】
追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂ以外の処理は、図１２を参照して説明したフローのステップＳ１０１〜Ｓ１１６の処理と同様であるので、説明を省略し、追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂの処理についてのみ説明する。
【０３１６】
（ステップＳ１１２ｂ）
ステップＳ１１２ｂは、信頼度算出処理であり、ブロック単位で繰り返し実行される。
図２２に示す信頼度算出部７０のフィルタ（ブラー）比較部７１は、画像内の同一位置にある対応するブロック間で、画像ベースブラー（Ｅｔ）、または画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースブラー（Ｅｃ）、またはカメラ動きベースフィルタ（Ｅｃｆ）との比較処理を行い、比較処理結果として、２つのフィルタ（ブラー）の類似度が高い場合は、信頼度の値を高く設定し、類似度が低い場合は、信頼度の値を低く設定する。
全てのブロックについての信頼度算出処理を完了すると、ステップＳ１１３に進む。
【０３１７】
（ステップＳ１１４ｂ）
次に、図２５に示すフローのもう一つの追加ステップの処理であるステップＳ１１４ｂの処理について説明する。
【０３１８】
ステップＳ１１４ｂは、図２２に示すブラー除去部６０の逆フィルタ補正部６３において実行する処理である。
逆フィルタ補正部６３は、信頼度算出部７０から入力する信頼度に応じて、逆フィルタ処理部６２において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部７０から入力する信頼度が高い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱めることなく、逆フィルタ算出部６１の算出した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像２５の処理対象ブロックに対して逆フィルタ算出部６１の算出した逆フィルタをそのまま適用する。
【０３１９】
一方、信頼度算出部７０から入力する信頼度が低い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱める。すなわち、逆フィルタ算出部６１の算出した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。
【０３２０】
次に、図２６に示すフローチャートを参照して、先に図２４を参照して説明した構成Ａ２＋Ｃ、すなわち、
（Ａ２）統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）の加重平均を利用し、被写体の動きの量に応じて加重平均態様を変更する構成。
上記構成に、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の実行する処理シーケンスについて説明する。
【０３２１】
この図２６に示すフローチャートは、先に、図１４を参照して説明した図１１の「構成Ａ２」対応の画像処理装置の実行する処理フローのステップＳ１０１〜Ｓ１１６の処理に、ステップＳ１１２ｂと、ステップＳ１１４ｂの処理を追加したフローチャートである。
【０３２２】
追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂ以外の処理は、図１４を参照して説明したフローのステップＳ１０１〜Ｓ１１６の処理と同様である。
また、追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂの処理は、図２５のフローチャートを参照して説明した構成Ａ１＋Ｃの画像処理装置の処理であるステップＳ１１２ｂと、ステップＳ１１４ｂの処理と同様の処理である。
【０３２３】
すなわち、ステップＳ１１２ｂでは、画像ベースフィルタ（ブラー）と、カメラ動きベースフィルタ（ブラー）との類似度に基づく信頼度を算出する。
さらに、ステップＳ１１４ｂでは、信頼度に応じて逆フィルタの適用強度を制御するための逆フィルタ補正処理を実行する。
【０３２４】
これらの処理によって、推定されたフィルタ（ブラー）の信頼度に応じた逆フィルタ適用処理が実現されることになり、信頼度の高いブロックは逆フィルタの適用効果を高め、信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、信頼度に応じた効果的なブラー解消処理が可能となる。
【０３２５】
［８．（実施例４）構成Ｂ＋Ｃ対応の画像処理装置の構成と処理について］
次に、本開示の画像処理装置の実施例４として、図８を参照して説明した構成（Ｂ＋Ｃ）、すなわち、構成Ｂを基本構成として、さらにフィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成と処理について説明する。
【０３２６】
構成Ｂは、先に図１５〜図２１を参照して説明した構成であり、可視光画像と遠赤外画像を用いた画像ベースブラー推定と、カメラ動き情報に基づくカメラ動きベースブラー推定を併せて実行して統合ブラー推定を実行する構成である。
以下に説明する実施例４としての構成Ｂ＋Ｃは、この構成Ｂにおいて推定される画像ベースフィルタ（Ｅｔｆ）や、カメラ動きベースフィルタ（Ｅｃｆ）の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成である。
【０３２７】
なお、先に、図１５〜図２１を参照して説明したように、構成Ｂの統合ブラー（Ｅａｌｌ）生成処理においては、以下の２種類の処理のいずれかを実行する。
（Ｂ１）遠赤外画像に適用するフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを、カメラ動きベースブラー（Ｅｃ）に基づいて選択する処理（図１５）。
（Ｂ２）フィルタ適用遠赤外画像と、ブラーあり可視光画像との相関値を、カメラ動きベースブラー（Ｅｃ）に基づいて補正する処理（図１７）。
【０３２８】
以下、これら構成Ｂ１，Ｂ２の各々に対して、構成Ｃ、すなわち、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成と処理について説明する。すなわち、
構成Ｂ１＋Ｃ、
構成Ｂ２＋Ｃ、
これらの２つの構成例と処理について、図２７以下を参照して説明する。
【０３２９】
まず、図２７を参照して、構成Ｂ１＋Ｃ、すなわち、
（Ｂ１）遠赤外画像に適用するフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを、カメラ動きベースブラー（Ｅｃ）に基づいて選択する処理を行う装置において、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成について説明する。
【０３３０】
図２７に示す画像処理装置Ｂ１＋Ｃ，２０−Ｂ１Ｃは、先に図１５を参照して説明した画像処理装置Ｂ１，２０−Ｂ１の構成に、信頼度算出部７０を追加し、さらに、ブラー除去部６０内に逆フィルタ補正部６３を追加した構成である。
その他の構成は、図１５に示す画像処理装置Ｂ１，２０−Ｂ１と同一である。
【０３３１】
信頼度算出部７０と、逆フィルタ補正部６３の実行する処理は、先に図２２、図２３を参照して説明した画像処理装置Ａ１＋Ｃ，２０−Ａ１Ｃの実行する処理とほぼ同様の処理である。
【０３３２】
ただし、先に図２２、図２３を参照して説明した画像処理装置Ａ１＋Ｃ，２０−Ａ１Ｃの信頼度算出部７０は、画像ベースフィルタ（ブラー）と、カメラ動きベースフィルタ（ブラー）との比較処理を実行していたが、図２７に示す画像処理装置Ｂ１＋Ｃ，２０−Ｂ１Ｃの信頼度算出部７０は、統合フィルタ（ブラー）と、カメラ動きベースフィルタ（ブラー）との比較処理を実行する。
【０３３３】
図２７に示すように、信頼度算出部７０は、ブラー推定部３０ｂの生成する統合フィルタと、カメラ動きベースブラー推定部４０の出力するカメラ動きブラーマップを入力して、これらのフィルタ（ブラー）の類似性を判定する。
【０３３４】
すなわち、信頼度算出部７０は、画像内の同一位置にある対応するブロック間で、統合フィルタ（ブラー）、と、カメラ動きベースフィルタ（ブラー）との比較処理を行う。
この比較処理の結果として、２つのフィルタ（ブラー）の類似度が高い場合は、信頼度の値を高く設定し、類似度が低い場合は、信頼度の値を低く設定する。
【０３３５】
信頼度算出部７０のフィルタ（ブラー）比較部７１は、算出した信頼度を、ブラー除去部６０の逆フィルタ補正部６３に出力する。
逆フィルタ補正部６３は、信頼度算出部７０から入力する信頼度に応じて、逆フィルタ処理部６２において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部７０から入力する信頼度が高い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱めることなく、逆フィルタ算出部６１の算出した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像２５の処理対象ブロックに対して逆フィルタ算出部６１の算出した逆フィルタをそのまま適用する。
【０３３６】
一方、信頼度算出部７０から入力する信頼度が低い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱める。すなわち、逆フィルタ算出部６１の算出した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。
【０３３７】
このように、本実施例でも、推定されたフィルタ（ブラー）の信頼度に応じた逆フィルタ適用処理が実現されることになり、信頼度の高いブロックは逆フィルタの適用効果を高め、信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、信頼度に応じた効果的なブラー解消処理が可能となる。
【０３３８】
次に、図２８を参照して、構成Ｂ２＋Ｃ、すなわち、
（Ｂ２）フィルタ適用遠赤外画像と、ブラーあり可視光画像との相関値を、カメラ動きベースブラー（Ｅｃ）に基づいて補正する処理を行う装置において、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成について説明する。
【０３３９】
図２８に示す画像処理装置Ｂ２＋Ｃ，２０−Ｂ２Ｃは、先に図１７を参照して説明した画像処理装置Ｂ２，２０−Ｂ２の構成に、信頼度算出部７０を追加し、さらに、ブラー除去部６０内に逆フィルタ補正部６３を追加した構成である。
その他の構成は、図１７に示す画像処理装置Ｂ２，２０−Ｂ２と同一である。
【０３４０】
信頼度算出部７０と、逆フィルタ補正部６３の実行する処理は、上述の図２７を参照して説明した画像処理装置Ｂ１＋Ｃ，２０−Ｂ１Ｃの実行する処理と同様の処理である。
【０３４１】
すなわち、図２８に示す画像処理装置Ｂ２＋Ｃ，２０−Ｂ２Ｃの信頼度算出部７０は画像内の同一位置にある対応するブロック間で、統合フィルタ（ブラー）、と、カメラ動きベースフィルタ（ブラー）との比較処理を行う。
この比較処理の結果として、２つのフィルタ（ブラー）の類似度が高い場合は、信頼度の値を高く設定し、類似度が低い場合は、信頼度の値を低く設定する。
【０３４２】
図２８に示す信頼度算出部７０のフィルタ（ブラー）比較部７１は、算出した信頼度を、ブラー除去部６０の逆フィルタ補正部６３に出力する。
逆フィルタ補正部６３は、信頼度算出部７０から入力する信頼度に応じて、逆フィルタ処理部６２において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部７０から入力する信頼度が高い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱めることなく、逆フィルタ算出部６１の算出した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像２５の処理対象ブロックに対して逆フィルタ算出部６１の算出した逆フィルタをそのまま適用する。
【０３４３】
一方、信頼度算出部７０から入力する信頼度が低い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱める。すなわち、逆フィルタ算出部６１の算出した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。
【０３４４】
このように、本実施例でも、推定されたフィルタ（ブラー）の信頼度に応じた逆フィルタ適用処理が実現されることになり、信頼度の高いブロックは逆フィルタの適用効果を高め、信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、信頼度に応じた効果的なブラー解消処理が可能となる。
【０３４５】
次に、図２７〜図２８を参照して説明した本実施例４、すなわち、構成（Ｂ１＋Ｃ）、および構成（Ｂ２＋Ｃ）の画像処理装置における処理シーケンスについて、図２９以下に示すフローチャートを参照して説明する。
【０３４６】
図２９に示すフローチャートは、先に図２７を参照して説明した構成Ｂ１＋Ｃ、すなわち、
（Ｂ１）遠赤外画像に適用するフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを、カメラ動きベースブラー（Ｅｃ）に基づいて選択する処理を行う装置において、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の実行する処理シーケンスを説明するフローチャートである。
【０３４７】
この図２９に示すフローチャートは、先に、図１９を参照して説明した図１５の「構成Ｂ１」対応の画像処理装置の実行する処理フローのステップＳ１０１〜Ｓ１１６の処理に、ステップＳ１１２ｂと、ステップＳ１１４ｂの処理を追加したフローチャートである。
【０３４８】
追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂ以外の処理は、図１９を参照して説明したフローのステップＳ１０１〜Ｓ１１６の処理と同様である。
また、追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂの処理は、図２５のフローチャートを参照して説明した構成Ａ１＋Ｃの画像処理装置の処理であるステップＳ１１２ｂと、ステップＳ１１４ｂの処理と同様の処理である。
【０３４９】
ただし、図２５のフローチャートを参照して説明した構成Ａ１＋Ｃの画像処理装置の処理であるステップＳ１１２ｂでは信頼度算出に際して比較対象となるデータは画像ベースフィルタ（ブラー）とカメラ動きベースフィルタ（ブラー）であったが、本構成Ｂ１＋Ｃでは、ステップＳ１１２ｂでの信頼度算出に際して比較対象となるデータは統合フィルタ（ブラー）とカメラ動きベースフィルタ（ブラー）となる。
この点のみが異なる。
【０３５０】
図２９に示すフローのステップＳ１１２ｂでは、画像内の同一位置にある対応するブロック間で、統合フィルタ（ブラー）、と、カメラ動きベースフィルタ（ブラー）との比較処理を行う。
この比較処理の結果として、２つのフィルタ（ブラー）の類似度が高い場合は、信頼度の値を高く設定し、類似度が低い場合は、信頼度の値を低く設定する。
【０３５１】
信頼度算出部７０のフィルタ（ブラー）比較部７１は、算出した信頼度を、ブラー除去部６０の逆フィルタ補正部６３に出力する。
逆フィルタ補正部６３は、信頼度算出部７０から入力する信頼度に応じて、逆フィルタ処理部６２において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部７０から入力する信頼度が高い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱めることなく、逆フィルタ算出部６１の算出した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像２５の処理対象ブロックに対して逆フィルタ算出部６１の算出した逆フィルタをそのまま適用する。
【０３５２】
一方、信頼度算出部７０から入力する信頼度が低い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱める。すなわち、逆フィルタ算出部６１の算出した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。
【０３５３】
このように、本実施例でも、推定されたフィルタ（ブラー）の信頼度に応じた逆フィルタ適用処理が実現されることになり、信頼度の高いブロックは逆フィルタの適用効果を高め、信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、信頼度に応じた効果的なブラー解消処理が可能となる。
【０３５４】
次に、図３０に示すフローチャートを参照して図２８を参照して説明した構成Ｂ２＋Ｃ、すなわち、
（Ｂ２）フィルタ適用遠赤外画像と、ブラーあり可視光画像との相関値を、カメラ動きベースブラー（Ｅｃ）に基づいて補正する処理を行う装置において、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の実行する処理シーケンスについてを説明する。
【０３５５】
この図３０に示すフローチャートは、先に、図２０を参照して説明した図１７の「構成Ｂ２」対応の画像処理装置の実行する処理フローのステップＳ１０１〜Ｓ１１６の処理に、ステップＳ１１２ｂと、ステップＳ１１４ｂの処理を追加したフローチャートである。
【０３５６】
追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂ以外の処理は、図２０を参照して説明したフローのステップＳ１０１〜Ｓ１１６の処理と同様である。
また、追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂの処理は、前述の図２９の構成Ｂ１＋Ｃの画像処理装置の処理であるステップＳ１１２ｂと、ステップＳ１１４ｂの処理と同様の処理である。
【０３５７】
図３０に示すフローのステップＳ１１２ｂでは、画像内の同一位置にある対応するブロック間で、統合フィルタ（ブラー）、と、カメラ動きベースフィルタ（ブラー）との比較処理を行う。
この比較処理の結果として、２つのフィルタ（ブラー）の類似度が高い場合は、信頼度の値を高く設定し、類似度が低い場合は、信頼度の値を低く設定する。
【０３５８】
信頼度算出部７０のフィルタ（ブラー）比較部７１は、算出した信頼度を、ブラー除去部６０の逆フィルタ補正部６３に出力する。
逆フィルタ補正部６３は、信頼度算出部７０から入力する信頼度に応じて、逆フィルタ処理部６２において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部７０から入力する信頼度が高い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱めることなく、逆フィルタ算出部６１の算出した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像２５の処理対象ブロックに対して逆フィルタ算出部６１の算出した逆フィルタをそのまま適用する。
【０３５９】
一方、信頼度算出部７０から入力する信頼度が低い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱める。すなわち、逆フィルタ算出部６１の算出した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。
【０３６０】
このように、本実施例でも、推定されたフィルタ（ブラー）の信頼度に応じた逆フィルタ適用処理が実現されることになり、信頼度の高いブロックは逆フィルタの適用効果を高め、信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、信頼度に応じた効果的なブラー解消処理が可能となる。
【０３６１】
［９．画像処理装置のハードウェア構成例について］
次に、図３１を参照して画像処理装置のハードウェア構成例について説明する。
図３１は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。
【０３６２】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）８１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）８２、または記憶部８８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）８３には、ＣＰＵ８１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ８１、ＲＯＭ８２、およびＲＡＭ８３は、バス８４により相互に接続されている。
【０３６３】
ＣＰＵ８１はバス８４を介して入出力インタフェース８５に接続され、入出力インタフェース８５には、可視光カメラや（遠）赤外カメラ等によって構成される撮像部９５の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロフォンなどよりなる入力部８６、表示部９６やスピーカなどに対するデータ出力を実行する出力部８７が接続されている。ＣＰＵ８１は、入力部８６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部８７に出力する。
【０３６４】
入出力インタフェース８５に接続されている記憶部８８は、例えばハードディスク等からなり、ＣＰＵ８１が実行するプログラムや各種のデータを記憶する。通信部８９は、Ｗｉ−Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
【０３６５】
入出力インタフェース８５に接続されているドライブ９０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア９１を駆動し、データの記録あるいは読み取りを実行する。
【０３６６】
［１０．車両に本開示の画像処理装置を備えた車両制御システムの構成例について］
次に、上述した本開示の画像処理装置を、車両に備え付けた車両制御システムの一構成例について説明する。
図３２は、上述した処理を実行する画像処理装置を含む車両制御システム１００の概略的な機能の構成例を示すブロック図である。
【０３６７】
なお、上述した本開示の画像処理装置は、図３２に示す車両制御システム１００の検出部１３１、データ取得部１０２、出力制御部１０５、出力部１０６の構成の一部に対応する。
【０３６８】
上述した本開示の画像処理装置が実行する処理は、主に図３２に示す車両制御システム１００の検出部１３１の車外情報検出部１４１によって実行される。
図３２に示す車両制御システム１００のデータ取得部１０２は、可視光カメラと（遠）赤外カメラ、さらにＩＭＵ等のセンサを含み、検出部１３１は、これらのカメラの撮影画像、車両の動き情報（＝カメラの動き情報）を入力して上述した処理を実行する。
なお、処理結果は、例えば、図３２に示す車両制御システム１００の出力部１０６を構成する表示部に表示され、ユーザ（ドライバ）によって確認される。
以下、図３２に示す車両制御システム１００の構成について説明する。
【０３６９】
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
【０３７０】
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ  Ｉｎｔｅｒｃｏｎｎｅｃｔ  Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
【０３７１】
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
【０３７２】
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
【０３７３】
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
【０３７４】
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
【０３７５】
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）カメラ、可視光カメラ、ステレオカメラ、単眼カメラ、（遠）赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ、Ｌａｓｅｒ  Ｉｍａｇｉｎｇ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）、ソナー等からなる。
【０３７６】
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
【０３７７】
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
【０３７８】
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
【０３７９】
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）、又は、ＭＨＬ（Ｍｏｂｉｌｅ  Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ  Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。
【０３８０】
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ  Ｔｏ  Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ  Ｔｙｐｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ  ｔｏ  Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ  ｔｏ  Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ  ｔｏ  Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ  ｔｏ  Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
【０３８１】
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
【０３８２】
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
【０３８３】
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
【０３８４】
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
【０３８５】
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ  Ｂｒａｋｅ  Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ  Ｓｔａｂｉｌｉｔｙ  Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。
【０３８６】
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
【０３８７】
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
【０３８８】
記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
【０３８９】
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
【０３９０】
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
【０３９１】
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
【０３９２】
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
【０３９３】
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
【０３９４】
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
【０３９５】
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
【０３９６】
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【０３９７】
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
【０３９８】
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ  Ｇｒｉｄ  Ｍａｐ）とされる。
【０３９９】
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
【０４００】
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
【０４０１】
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
【０４０２】
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
【０４０３】
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【０４０４】
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
【０４０５】
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
【０４０６】
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
【０４０７】
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
【０４０８】
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
【０４０９】
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【０４１０】
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【０４１１】
［１１．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０４１２】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  同一被写体を同時に撮影した可視光画像と遠赤外画像を入力する画像入力部と、
前記可視光画像を撮影したカメラの動き情報を入力するカメラ動き情報入力部と、
前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定するカメラ動きベースブラー推定部と、
前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定するブラー推定部と、
前記ブラー推定部の推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成するブラー除去部を有する画像処理装置。
【０４１３】
（２）  前記カメラ動きベースブラー推定部は、
前記可視光画像の画像ブロック領域単位で、前記カメラ動きベースブラーを推定し、
前記ブラー推定部は、
前記可視光画像の画像ブロック領域単位で、前記統合フィルタを推定し、
前記ブラー除去部は、
前記可視光画像の画像ブロック領域単位で、前記逆特性フィルタを適用する（１）に記載の画像処理装置。
【０４１４】
（３）  前記ブラー推定部は、
異なる多数の点広がり関数対応のフィルタを保持するフィルタバンクから、異なるフィルタを順次、取得して前記遠赤外画像に適用するフィルタ処理部と、
前記フィルタ処理部の生成したフィルタ適用遠赤外画像と、前記可視光画像との相関を、画像の分割領域であるブロック単位で算出する相関演算部を有する（１）または（２）１に記載の画像処理装置。
【０４１５】
（４）  前記ブラー推定部は、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを画像ベースフィルタとして決定する画像ベースブラー推定部と、
カメラ動きベースブラー相当のブラーを発生させるフィルタであるカメラ動きベースフィルタと、前記画像ベースフィルタのいずれかを選択、あるいは加重平均することで、前記統合フィルタを算出する統合ブラー推定部を有する構成である（１）〜（３）いずれかに記載の画像処理装置。
【０４１６】
（５）  前記統合フィルタ推定部は、
環境情報を利用した動き量判定アルゴリズムに従った画像ブロック領域単位の動き量判定処理によって、被写体動き量が多いと判定された画像ブロック領域については、前記画像ベースフィルタを前記統合フィルタとし、
被写体動き量が少ないと判定された画像ブロック領域については、前記カメラ動きベースフィルタを前記統合フィルタとする処理を実行する（４）に記載の画像処理装置。
【０４１７】
（６）  前記環境情報は、地図情報、時間情報、交通情報、画像ブロック領域情報の少なくともいずれかの情報を含む（５）に記載の画像処理装置。
【０４１８】
（７）  前記統合フィルタ推定部は、
環境情報を利用した重み係数決定アルゴリズムに従って決定される重み係数を利用して、前記画像ベースフィルタと、前記カメラ動きベースフィルタとの加重平均処理を実行して、前記統合フィルタを算出する（４）に記載の画像処理装置。
【０４１９】
（８）  前記環境情報は、地図情報、時間情報、交通情報、画像ブロック領域情報の少なくともいずれかの情報を含む（７）に記載の画像処理装置。
【０４２０】
（９）  前記画像処理装置は、さらに、
フィルタ特性の類似する複数のフィルタを格納したフィルタバンクを複数格納したフィルタバンクプールを有し、
前記ブラー推定部は、
前記カメラ動きベースブラー相当のブラーを発生させるフィルタに類似するフィルタ特性を有するフィルタを格納したフィルタバンクを、前記フィルタバンクプールから選択するフィルタバンク選択部と、
前記フィルタバンク選択部の選択したフィルタバンクに格納されたフィルタを、前記遠赤外画像に適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出する相関算出部と、
相関の最も高くなるフィルタを統合フィルタとして決定する統合フィルタ決定部を有する（１）〜（３）いずれかに記載の画像処理装置。
【０４２１】
（１０）  前記ブラー推定部は、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関値を算出する相関算出部と、
前記遠赤外画像に適用したフィルタと、前記カメラ動きベースブラーとの比較処理を実行するフィルタ比較部と、
前記フィルタ比較部における比較結果に応じて、前記相関算出部の算出した相関値を補正する相関補正部と、
前記相関補正部の補正した補正相関値の最も高くなるフィルタを統合フィルタとして決定する統合フィルタ決定部を有する（１）〜（３）いずれかに記載の画像処理装置。
【０４２２】
（１１）  前記相関補正部は、
前記遠赤外画像に適用したフィルタと、前記カメラ動きベースブラーとが類似度が低いほど、前記相関算出部の算出した相関値を低下させる相関値補正を行う（１０）に記載の画像処理装置。
【０４２３】
（１２）  前記画像処理装置は、
前記ブラー推定部における推定結果の信頼度を算出する信頼度算出部を有し、
前記ブラー除去部は、
前記信頼度算出部の算出した信頼度が低い場合は、前記可視光画像に対する逆フィルタの適用強度を弱める処理を行う（１）〜（１１）いずれかに記載の画像処理装置。
【０４２４】
（１３）  前記信頼度算出部は、
前記ブラー推定部において推定された前記画像ベースブラー相当のブラーを発生させる画像ベースブラーフィルタ、または前記統合フィルタの信頼度を算出する（１２）に記載の画像処理装置。
【０４２５】
（１４）  前記信頼度算出部は、
前記カメラ動きベースブラーと、
前記画像ベースブラーフィルタ、または前記統合フィルタを比較して、類似度が高いほど高い信頼度を算出する（１３）に記載の画像処理装置。
【０４２６】
（１５）  前記ブラー除去部は、
前記ブラー推定部の推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを算出する逆フィルタ算出部と、
前記信頼度算出部の算出した信頼度を入力して、前記信頼度が低い場合は、前記逆フィルタの適用強度を弱めた補正逆フィルタを生成する逆フィルタ補正部と、
前記逆フィルタ補正部の生成した補正逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する（１２）〜（１４）いずれかに記載の画像処理装置。
【０４２７】
（１６）  画像処理装置において実行する画像処理方法であり、
画像入力部が、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力するステップと、
カメラ動き情報入力部が、前記可視光画像を撮影したカメラの動き情報を入力するステップと、
カメラ動きベースブラー推定部が、前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定するステップと、
ブラー推定部が、前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定するブラー推定ステップと、
ブラー除去部が、前記ブラー推定ステップにおいて推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成するブラー除去ステップを実行する画像処理方法。
【０４２８】
（１７）  画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力させるステップと、
カメラ動き情報入力部に、前記可視光画像を撮影したカメラの動き情報を入力させるステップと、
カメラ動きベースブラー推定部に、前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定させるステップと、
ブラー推定部に、前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定させるブラー推定ステップと、
ブラー除去部に、前記ブラー推定ステップにおいて推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成させるブラー除去ステップを実行させるプログラム。
【０４２９】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０４３０】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０４３１】
以上、説明したように、本開示の一実施例の構成によれば、可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法が実現される。
具体的には、同一被写体を同時に撮影した可視光画像と遠赤外画像、さらに、カメラの動き情報を入力し、カメラの動きに起因する可視光画像のブラー（ぼけ）であるカメラ動きベースブラーを推定し、可視光画像と遠赤外画像、およびカメラ動きベースブラーを利用して、可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定し、推定した統合フィルタと逆特性を持つ逆特性フィルタを可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する。
これらの処理により、可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法が実現される。
【符号の説明】
【０４３２】
１１・・ブラーあり可視光画像、１２・・ブラーなし遠赤外画像、１３・・カメラ動き情報、１５・・ブラー低減可視光画像、２１・・可視光画像入力部、２２・・遠赤外画像入力部、２３・・カメラ動き情報入力部、２５・・補正前可視光画像、２６・・遠赤外画像、２７・・補正後可視光画像、３０・・画像ベースブラー推定部、３０ｂ・・ブラー推定部、３１・・フィルタ処理部、３２・・相関演算部、３３・・画像ベースフィルタ決定部、３４・・フィルタバンク選択部、３５・・フィルタバンク、３７・・統合フィルタ決定部、３８・・フィルタ（ブラー）比較部、３９・・相関補正部、４０・・カメラ動きベースブラー推定部、４１・・カメラ動きブラーマップ取得部、４５・・カメラ動きブラーマップ記憶部、５０・・統合ブラー推定部、５１・・被写体動き判定部、５２・・統合フィルタ決定部、５５・・環境情報記憶部／入力部、６０・・ブラー除去部、６１・・逆フィルタ算出部、６２・・逆フィルタ処理部、６３・・逆フィルタ補正部、７０・・信頼度算出部、７１・・フィルタ（ブラー）比較部、８１・・ＣＰＵ、８２・・ＲＯＭ、８３・・ＲＡＭ、８４・・バス、８５・・入出力インタフェース、８６・・入力部、８７・・出力部、８８・・記憶部、８９・・通信部、９０・・ドライブ、９１・・リムーバブルメディア、９５・・撮像部（カメラ）、９６・・表示部、１００・・車両走行制御装置、１０１・・入力部、１０２・・データ取得部、１０３・・通信部、１０４・・車内機器、１０５・・出力制御部、１０６・・出力部、１０７・・駆動系制御部、１０８・・駆動系システム、１０９・・ボディ系制御部、１１０・・ボディ系システム、１１１・・記憶部、１１２・・自動運転制御部、１３１・・検出部、１３２・・自己位置推定部、１３３・・状況分析部、１３４・・計画部、１３５・・動作制御部、１４１・・車外情報検出部、１４２・・車内情報検出部、１４３・・車両状態検出部、１５１・・マップ解析部、１５２・・交通ルール認識部、１５３・・状況認識部、１５４・・状況予測部、１６１・・ルート計画部、１６２・・行動計画部、１６３・・動作計画部、１７１・・緊急事態回避部、１７２・・加減速制御部、１７３・・方向制御部、２０１・・表示部、
【図１】
2019046277.tif 000003
【図２】
2019046277.tif 000004
【図３】
2019046277.tif 000005
【図４】
2019046277.tif 000006
【図５】
2019046277.tif 000007
【図６】
2019046277.tif 000008
【図７】
2019046277.tif 000009
【図８】
2019046277.tif 000010
【図９】
2019046277.tif 000011
【図１０】
2019046277.tif 000012
【図１１】
2019046277.tif 000013
【図１２】
2019046277.tif 000014
【図１３】
2019046277.tif 000015
【図１４】
2019046277.tif 000016
【図１５】
2019046277.tif 000017
【図１６】
2019046277.tif 000018
【図１７】
2019046277.tif 000019
【図１８】
2019046277.tif 000020
【図１９】
2019046277.tif 000021
【図２０】
2019046277.tif 000022
【図２１】
2019046277.tif 000023
【図２２】
2019046277.tif 000024
【図２３】
2019046277.tif 000025
【図２４】
2019046277.tif 000026
【図２５】
2019046277.tif 000027
【図２６】
2019046277.tif 000028
【図２７】
2019046277.tif 000029
【図２８】
2019046277.tif 000030
【図２９】
2019046277.tif 000031
【図３０】
2019046277.tif 000032
【図３１】
2019046277.tif 000033
【図３２】
2019046277.tif 000034