(57)【要約】  画像内からより適切に霧を除去する技術が求められていた。動画に含まれる複数のフレームのうちの一のフレームから、彩度が予め定められた閾値より高い高彩度画素を抽出する高彩度画素抽出部と、一のフレームにおける高彩度画素の割合を示す高彩度画素率を導出する高彩度画素率導出部と、一のフレームにおける高彩度画素率が予め定められた閾値より高いか否かに応じて、異なる基準に基づいて、動画にシーンチェンジが含まれるか否かを判定するシーンチェンジ判定部とを備える画像処理システムを提供する。
2015190183.tif 000002
【特許請求の範囲】
【請求項１】
動画に含まれる複数のフレームのうちの一のフレームから、彩度が予め定められた閾値より高い高彩度画素を抽出する高彩度画素抽出部と、
前記一のフレームにおける前記高彩度画素の割合を示す高彩度画素率を導出する高彩度画素率導出部と、
前記一のフレームにおける前記高彩度画素率が予め定められた閾値より高いか否かに応じて、異なる基準に基づいて、前記動画にシーンチェンジが含まれるか否かを判定するシーンチェンジ判定部と
を備える、画像処理システム。
【請求項２】
前記シーンチェンジ判定部は、前記高彩度画素率が前記閾値よりも高い場合、前記一のフレームの色相と、前記一のフレームの過去のフレームの色相とに基づいて、前記画像にシーンチェンジが含まれるか否かを判定し、前記高彩度画素率が前記閾値以下の場合、前記一のフレームの高彩度画素率と、前記一のフレームの過去のフレームの高彩度画素率とに基づいて、前記画像にシーンチェンジが含まれるか否かを判定する、請求項１に記載の画像処理システム。
【請求項３】
前記一のフレームのヘイズ濃度の推定値を取得するヘイズ濃度推定値取得部と、
前記一のフレームにおける前記高彩度画素率と、前記一のフレームの平均輝度値とに基づいて、前記ヘイズ濃度の推定値の信頼度を導出する信頼度導出部と
を更に備える、請求項１又は２に記載の画像処理システム。
【請求項４】
前記信頼度導出部は、前記推定値が予め定められた閾値よりも高い場合、前記平均輝度値が大きいほど高い信頼度を導出し、かつ、前記高彩度画素率が低いほど高い信頼度を導出し、前記推定値が予め定められた閾値以下の場合、前記平均輝度値が小さいほど高い信頼度を導出し、かつ、前記高彩度画素率が高いほど高い信頼度を導出する、請求項３に記載の画像処理システム。
【請求項５】
前記一のフレームの過去のフレームのヘイズ濃度目標値を取得する目標値取得部と、
前記信頼度導出部が導出した前記信頼度に基づいて、前記目標値取得部が取得した前記ヘイズ濃度目標値と、前記ヘイズ濃度推定値取得部が取得した前記ヘイズ濃度の推定値とのいずれをヘイズ除去処理に用いるパラメータを調整するために用いるかを決定する目標値決定部と
を更に備える、請求項３又は４に記載の画像処理システム。
【請求項６】
前記目標値取得部が取得したヘイズ濃度目標値と、前記ヘイズ濃度推定値取得部が取得した前記ヘイズ濃度の推定値との差分絶対値を導出する差分絶対値導出部
を更に備え、
前記目標値決定部は、前記推定値の信頼度及び前記差分絶対値、又は、前記一のフレームがシーンチェンジしたフレームであるかを示すシーンチェンジフラグに基づいて、前記目標値取得部が取得した前記ヘイズ濃度目標値と、前記ヘイズ濃度推定値取得部が取得した前記ヘイズ濃度の推定値とのいずれをヘイズ除去処理に用いるパラメータを調整するために用いるかを決定する、請求項５に記載の画像処理システム。
【請求項７】
前記一のフレームのヘイズ除去処理に用いるパラメータを、前記目標値決定部によって決定された前記ヘイズ濃度目標値又は前記ヘイズ濃度の推定値に対応する値に段階的に近づけるように調整するパラメータ調整部
を更に備える、請求項５又は６に記載の画像処理システム。
【請求項８】
前記パラメータ調整部は、前記目標値決定部によって決定された前記ヘイズ濃度目標値又は前記ヘイズ濃度の推定値と、前記一のフレームの過去のフレームのヘイズ除去処理に用いたパラメータとの差分絶対値、前記ヘイズ濃度の推定値の信頼度、及び前記一のフレームがシーンチェンジしたフレームであるかを示すシーンチェンジフラグに応じた調整量で、前記ヘイズ除去処理に用いるパラメータを、前記目標値決定部によって決定された前記ヘイズ濃度目標値又は前記ヘイズ濃度の推定値に対応する値に段階的に近づけるように調整する、請求項７に記載の画像処理システム。
【請求項９】
コンピュータを、請求項１から８のいずれか一項に記載の画像処理システムとして機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム及びコンピュータ読み取り可能な記録媒体に関する。米国において本出願は、国際出願ＰＣＴ／ＪＰ２０１４／００３１３１（出願日：２０１４年６月１２日）の一部継続出願であり、かつ、国際出願ＰＣＴ／ＪＰ２０１５／０５６０８６（出願日：２０１５年３月２日）の一部継続出願である。
【背景技術】
【０００２】
大気モデルに基づいて画像内の霧を除去する技術が知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１２−１６８９３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
画像内からより適切に霧を除去する技術が求められていた。
【課題を解決するための手段】
【０００４】
本発明の第１の態様によれば、画像処理システムが提供される。上記画像処理システムは、動画に含まれる複数のフレームのうちの一のフレームから、彩度が予め定められた閾値より高い高彩度画素を抽出する高彩度画素抽出部を備えてよい。上記画像処理システムは、上記一のフレームにおける上記高彩度画素の割合を示す高彩度画素率を導出する高彩度画素率導出部を備えてよい。上記画像処理システムは、上記一のフレームにおける上記高彩度画素率が予め定められた閾値より高いか否かに応じて、異なる基準に基づいて、上記画像にシーンチェンジが含まれるか否かを判定するシーンチェンジ判定部を備えてよい。【０００５】
上記シーンチェンジ判定部は、上記高彩度画素率が上記閾値よりも高い場合、上記一のフレームの色相と、上記一のフレームの過去のフレームの色相とに基づいて、上記画像にシーンチェンジが含まれるか否かを判定してよい。上記シーンチェンジ判定部は、上記高彩度画素率が上記閾値以下の場合、上記一のフレームの高彩度画素率と、上記一のフレームの過去のフレームの高彩度画素率とに基づいて、上記画像にシーンチェンジが含まれるか否かを判定してよい。上記画像処理システムは、上記一のフレームのヘイズ濃度の推定値を取得するヘイズ濃度推定値取得部と、上記一のフレームにおける上記高彩度画素率と、上記一のフレームの平均輝度値とに基づいて、上記ヘイズ濃度の推定値の信頼度を導出する信頼度導出部とを備えてよい。上記信頼度導出部は、上記推定値が予め定められた閾値よりも高い場合、上記平均輝度値が大きいほど高い信頼度を導出し、かつ、上記高彩度画素率が低いほど高い信頼度を導出してよい。上記信頼度導出部は、上記推定値が予め定められた閾値以下の場合、上記平均輝度値が小さいほど高い信頼度を導出し、かつ、上記高彩度画素率が高いほど高い信頼度を導出してよい。【０００６】
上記画像処理システムは、ヘイズ濃度目標値を取得する目標値取得部と、上記信頼度導出部が導出した上記信頼度に基づいて、上記目標値取得部が取得した上記一のフレームの過去のフレームのヘイズ濃度目標値と、上記ヘイズ濃度推定値取得部が取得した上記ヘイズ濃度の推定値とのいずれをヘイズ除去処理に用いるパラメータを調整するために用いるかを決定する目標値決定部とを備えてよい。上記画像処理システムは、上記目標値取得部が取得したヘイズ濃度目標値と、上記ヘイズ濃度推定値取得部が取得した上記ヘイズ濃度の推定値との差分絶対値を導出する差分絶対値導出部に備えてよく、上記目標値決定部は、上記推定値の信頼度及び上記差分絶対値、又は、上記一のフレームがシーンチェンジしたフレームであるかを示すシーンチェンジフラグに基づいて、上記目標値取得部が取得した上記ヘイズ濃度目標値と、上記ヘイズ濃度推定値取得部が取得した上記ヘイズ濃度の推定値とのいずれをヘイズ除去処理に用いるパラメータを調整するために用いるかを決定してよい。【０００７】
上記画像処理システムは、上記一のフレームのヘイズ除去処理に用いるパラメータを、上記目標値決定部によって決定された上記ヘイズ濃度目標値又は上記ヘイズ濃度の推定値に対応する値に段階的に近づけるように調整するパラメータ調整部を備えてよい。上記パラメータ調整部は、上記目標値決定部によって決定された上記ヘイズ濃度目標値又は上記ヘイズ濃度の推定値と、上記一のフレームの過去のフレームのヘイズ除去処理に用いたパラメータとの差分絶対値、上記ヘイズ濃度の推定値の信頼度、及び上記一のフレームがシーンチェンジしたフレームであるかを示すシーンチェンジフラグに応じた調整量で、上記ヘイズ除去処理に用いるパラメータを、上記目標値決定部によって決定された上記ヘイズ濃度目標値又は上記ヘイズ濃度の推定値に対応する値に段階的に近づけるように調整してよい。【０００８】
本発明の第２の態様によれば、画像処理システムが提供される。上記画像処理システムは、画像の少なくとも一部の領域の輝度の評価値を導出する輝度評価値導出部を備えてよい。上記画像処理システムは、画像の少なくとも一部の領域の彩度の評価値を導出する彩度評価値導出部を備えてよい。上記画像処理システムは、画像の少なくとも一部の領域のコントラストの評価値を導出するコントラスト評価値導出部を備えてよい。上記画像処理システムは、上記輝度の評価値、上記彩度の評価値及び上記コントラストの評価値に基づいて、上記画像のヘイズ濃度の推定値を導出するヘイズ濃度推定部を備えてよい。【０００９】
上記画像処理システムは、上記画像から平坦でも強エッジでもない画素を抽出する第１画素抽出部を備えてよく、上記ヘイズ濃度推定部は、上記第１画素抽出部によって抽出された上記平坦でも強エッジでもない画素の輝度の評価値、彩度の評価値及びコントラストの評価値に基づいて、上記ヘイズ濃度の推定値を導出してよい。【００１０】
本発明の第３の態様によれば、画像処理システムが提供される。上記画像処理システムは、画像から平坦でも強エッジでもない画素を抽出する第１画素抽出部を備えてよい。また上記画像処理システムは、上記第１画素抽出部によって抽出された上記平坦でも強エッジでもない画素の輝度の評価値、彩度の評価値及びコントラストの評価値の少なくとも２つに基づいて、上記画像のヘイズ濃度の推定値を導出するヘイズ濃度推定部を備えてよい。【００１１】
上記輝度の評価値は、上記領域の平均輝度値であってよい。上記彩度の評価値は、上記領域の平均彩度値であってよい。上記コントラストの評価値は、上記領域のコントラスト値であってよい。上記ヘイズ濃度推定部は、上記平均輝度値が高いほど高い値の上記ヘイズ濃度の推定値を導出してよい。上記ヘイズ濃度推定部は、上記平均彩度値が低いほど高い値の上記ヘイズ濃度の推定値を導出してよい。上記ヘイズ濃度推定部は、上記コントラスト値が低いほど高い値の上記ヘイズ濃度の推定値を導出してよい。上記画像は複数のフレームを含む動画であってよく、上記画像処理システムは、上記複数のフレームのうちの一のフレームにおける、彩度が予め定められた閾値より高い高彩度画素を抽出する高彩度画素抽出部と、上記一のフレームにおける上記高彩度画素の割合を示す高彩度画素率を導出する高彩度画素率導出部と、上記高彩度画素率が予め定められた閾値より高いか否かに応じて、異なる基準に基づいて、上記画像にシーンチェンジが含まれるか否かを判定するシーンチェンジ判定部とを備えてよい。上記画像処理システムは、上記一のフレームにおける上記高彩度画素率と、上記一のフレームの平均輝度値とに基づいて、上記一のフレームの上記ヘイズ濃度の推定値の信頼度を導出する信頼度導出部を備えてよい。上記画像処理システムは、上記信頼度導出部が導出した上記一のフレームのヘイズ濃度の推定値の信頼度と、上記一のフレームがシーンチェンジしたフレームであるかを示すシーンチェンジフラグとに基づいて、上記一のフレームに対するヘイズ除去処理に用いるパラメータを調整するパラメータ調整部を備えてよい。【００１２】
上記画像処理システムは、上記画像の複数の画素毎のヘイズ濃度に対応する透過率を導出する透過率導出部と、上記ヘイズ濃度の推定値及び上記透過率に基づいて、上記画像にヘイズ除去処理を実行するヘイズ除去部とを備えてよい。上記画像処理システムは、上記画像から平坦でも強エッジでもない画素を抽出する第２画素抽出部をさらに備えてよく、上記ヘイズ除去部は、上記第２画素抽出部によって抽出された上記平坦でも強エッジでもない画素の、上記画像における割合に基づいて、上記ヘイズ除去処理を実行するか否かを決定してよい。【００１３】
本発明の第４の態様によれば、画像処理システムが提供される。上記画像処理システムは、画像のヘイズ濃度を取得するヘイズ濃度取得部を備えてよい。上記画像処理システムは、上記ヘイズ濃度に基づいて、上記画像の反射率成分と上記画像の照明光成分に、ヘイズ除去度がそれぞれ異なるヘイズ除去処理を施す除去処理部を備えてよい。上記画像処理システムは、上記ヘイズ除去処理が施された上記反射率成分及び上記照明光成分を合成する合成部を備えてよい。上記除去処理部は、大気光に含まれる反射率成分がないと近似できることを前提として、ヘイズ画像の大気モデルとレティネックス理論とを用いて、上記画像の反射率成分と上記画像の照明光成分とに、ヘイズ除去度がそれぞれ異なるヘイズ除去処理を施してよい。上記除去処理部は、上記照明光成分のみに対して上記ヘイズ画像の大気モデルが適用できることをさらに前提として、ヘイズ画像の大気モデルとレティネックス理論とを用いて、上記画像の反射率成分と上記画像の照明光成分とに、ヘイズ除去度がそれぞれ異なるヘイズ除去処理を施してよい。【００１４】
本発明の第５の態様によれば、コンピュータを、上記画像処理システムとして機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。【００１５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１６】
【図１】画像処理システム１００の機能構成の一例を概略的に示す。
【図２】ヘイズ濃度推定部２００の機能構成の一例を概略的に示す。
【図３】平坦＆強エッジ画素の抽出処理を説明するための図である。
【図４Ａ】重み付けグラフ２４０の一例を概略的に示す。
【図４Ｂ】重み付けグラフ２４２の一例を概略的に示す。
【図５】ヒストグラム値について説明するための図である。
【図６】シーン制御部３００の機能構成の一例を概略的に示す。
【図７】シーンチェンジ判定部３１０の機能構成の一例を概略的に示す。
【図８】ヘイズ信頼度推定部３３０の機能構成の一例を概略的に示す。
【図９】重み付けグラフ３５２の一例を概略的に示す。
【図１０】重み付けグラフ３５４の一例を概略的に示す。
【図１１】ヘイズ除去パラメータ調整部３６０の機能構成の一例を概略的に示す。
【図１２】ヘイズ除去部４００の機能構成の一例を概略的に示す。
【発明を実施するための形態】
【００１７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１８】
図１は、画像処理システム１００の機能構成の一例を概略的に示す。本実施形態に係る画像処理システム１００は、入力画像に含まれるヘイズを除去して表示する表示装置であってよい。ヘイズとは、微粒子により視界が悪くなる大気現象全般を含む。例えば、ヘイズは霧、靄、霞、煙、粉塵、砂塵、雨及び雪等を含む。表示装置は、液晶ディスプレイ、プラズマディスプレイ及び有機ＥＬディスプレイ等であってよい。
【００１９】
画像処理システム１００は、画像入力部１１０、表示部１２０、ヘイズ濃度推定部２００、シーン制御部３００及びヘイズ除去部４００を備える。画像入力部１１０は、画像を入力する。画像は、動画又は静止画であってよく、また、動画に含まれるフレームであってもよい。画像入力部１１０は、ＲＧＢデータ、ＹＵＶデータ又はＨＳＶデータを入力してよい。画像処理システム１００は、入力されたＹＵＶデータをＲＧＢデータに変換してもよい。
【００２０】
ヘイズ濃度推定部２００は、入力された画像毎のヘイズ濃度の推定値を導出する。画像のヘイズ濃度とは、画像に含まれるヘイズの濃度である。例えば、同一の空間を撮像した場合、空間の霧の濃度が高いときの方が、空間の霧の濃度が低いときよりも、画像のヘイズ濃度が高い。
【００２１】
シーン制御部３００は、入力された動画にシーンチェンジが含まれるか否かを判定する。シーン制御部３００は、入力された動画にシーンチェンジが含まれるか否かに基づいて、ヘイズ除去処理に用いるパラメータを生成してよい。ヘイズ除去部４００は、入力された画像からヘイズを除去する。ヘイズ除去部４００は、シーン制御部３００によって生成されたパラメータを用いて、入力された画像からヘイズを除去してよい。表示部１２０は、ヘイズ除去部４００によってヘイズが除去された画像を表示する。
【００２２】
例えば、シーン制御部３００は、動画にシーンチェンジが検出されていない場合には、複数のフレームに渡って段階的にヘイズ除去の強度を変化させるべく、ヘイズ除去処理に用いるパラメータを生成する。そして、ヘイズ除去部４００は、シーン制御部３００が生成したパラメータを用いることによって、動画にシーンチェンジが検出されていない場合には、複数のフレームに渡って段階的にヘイズ除去の強度を変化させる。これにより、ヘイズ除去によって画像が急激に変化してしまうことを防止でき、いわゆるフリッカーのような現象の発生を抑制できる。
【００２３】
また、例えば、シーン制御部３００は、動画にシーンチェンジが検出された場合には、動画にシーンチェンジが検出されていない場合よりも少ない数のフレームに渡って段階的にヘイズ除去の強度を変化させるべく、ヘイズ除去処理に用いるパラメータを生成する。そして、ヘイズ除去部４００は、シーン制御部３００が生成したパラメータを用いることによって、動画にシーンチェンジが検出された場合には、動画にシーンチェンジが検出されていない場合よりも少ない数のフレームに渡って段階的にヘイズ除去の強度を変化させる。
【００２４】
なお、画像処理システム１００は、シーン制御部３００を備えなくてもよい。この場合、ヘイズ除去部４００は、ヘイズ濃度推定部２００によって導出された画像のヘイズ濃度の推定値に基づいて、入力された画像からヘイズを除去する。これにより、ヘイズ濃度推定部２００によって推定されたヘイズ濃度に基づく、精度の高いヘイズ除去処理を実現することができる。
【００２５】
図２は、ヘイズ濃度推定部２００の機能構成の一例を概略的に示す。ヘイズ濃度推定部２００は、平坦＆強エッジ画素抽出部２０２、平均輝度算出部２０４、平均彩度算出部２０６、コントラスト算出部２０８、最大彩度取得部２１０、重み付け取得部２１２、ヘイズ濃度算出部２１４、ツール画面判定部２１６及びセレクタ２１８を備える。
【００２６】
平坦＆強エッジ画素抽出部２０２は、画像入力部１１０によって入力された画像から、平坦でも強エッジでもない画素を抽出する。平坦＆強エッジ画素抽出部２０２は、例えば、画像から平坦又は強エッジである画素を抽出して、抽出した画素を当該画像から除外することによって、平坦でも強エッジでもない画素を抽出する。平坦＆強エッジ画素抽出部２０２は、第１画素抽出部の一例であってよい。
【００２７】
平均輝度算出部２０４は、平坦でも強エッジでもない画素の平均輝度値（ＡＶＥＹと記載する場合がある。）を算出する。平均輝度値は、輝度の評価値の一例であってよい。平均輝度算出部２０４は、輝度評価値導出部の一例であってよい。
【００２８】
平均彩度算出部２０６は、平坦でも強エッジでもない画素の平均彩度値（ＡＶＥＳと記載する場合がある。）を算出する。平均彩度値は、彩度の評価値の一例であってよい。平均彩度算出部２０６は、彩度評価値導出部の一例であってよい。
【００２９】
コントラスト算出部２０８は、平坦でも強エッジでもない画素のコントラスト値を算出する。コントラスト値は、コントラストの評価値の一例であってよい。コントラスト算出部２０８は、コントラスト評価値導出部の一例であってよい。
【００３０】
コントラスト算出部２０８は、平坦でも強エッジでもない画素のヒストグラムを生成してよい。コントラスト算出部２０８は、任意のビン数のヒストグラムを生成してよい。そして、コントラスト算出部２０８は、生成したヒストグラムの最大値から最小値を減算して、ヒストグラム幅（ＨＩＳＴＷＩＤＴＨと記載する場合がある。）を算出してよい。このとき、コントラスト算出部２０８は、複数のビンのうち、その値が閾値を超えているビンのうちの最大値から最小値を減算してよい。
【００３１】
ＨＩＳＴＷＩＤＴＨは、コントラスト値の一例であってよい。コントラスト算出部２０８は、ヒストグラムのビン数を、ヒストグラムの最大幅（ＭＡＸＷＩＤＴＨと記載する場合がある。）として出力してよい。
【００３２】
最大彩度取得部２１０は、画像処理システム１００における最大彩度（ＭＡＸＳと記載する場合がある。）を取得する。重み付け取得部２１２は、画像のヘイズ濃度を算出するときに用いる重み付け値（ｃｏｅｆと記載する場合がある。）を取得する。重み付け取得部２１２は、例えば、画像処理システム１００の製造者又は使用者によって指定されたｃｏｅｆを取得する。
【００３３】
ヘイズ濃度算出部２１４は、画像のヘイズ濃度の推定値（Ｓｔｒｅｎｇｔｈと記載する場合がある。）を算出する。ヘイズ濃度算出部２１４は、平坦でも強エッジでもない画素の輝度の評価値、彩度の評価値及びコントラストの評価値に基づいて、Ｓｔｒｅｎｇｔｈを算出してよい。
【００３４】
ヘイズ濃度算出部２１４は、平均輝度算出部２０４によって算出された平均輝度値と、平均彩度算出部２０６によって算出された平均彩度値と、コントラスト算出部２０８によって算出されたコントラスト値とに基づいて、Ｓｔｒｅｎｇｔｈを算出してよい。ヘイズ濃度算出部２１４は、平均輝度値と、平均彩度値と、コントラスト値とを乗算することによって、Ｓｔｒｅｎｇｔｈを算出してよい。ヘイズ濃度算出部２１４は、平均彩度値と、最大彩度から平均彩度値を減算した値と、ヒストグラムの最大幅からコントラスト値を減算した値とを乗算してよい。
【００３５】
このとき、ヘイズ濃度算出部２１４は、平均輝度値に重み付けをしてよい。例えば、ヘイズ濃度算出部２１４は、値が高いほどより値が高くなり、値が低いほどより値が低くなる重み付けをしてよい。また、ヘイズ濃度算出部２１４は、平均彩度値に重み付けをしてよい。例えば、ヘイズ濃度算出部２１４は、値が高いほどより値が高くなり、値が低いほどより値が低くなる重み付けをしてよい。
【００３６】
ヘイズ濃度算出部２１４は、例えば、下記数式１によって、Ｓｔｒｅｎｇｔｈを算出する。
【００３７】
【数１】
2015190183.tif 000003
【００３８】
これにより、ヘイズ濃度算出部２１４は、平均輝度値が高いほど高い値のヘイズ濃度の推定値を導出でき、平均彩度値が低いほど高い値のヘイズ濃度の推定値を導出でき、コントラスト値が低いほど高い値のヘイズ濃度の推定値を導出できる。画像のヘイズ濃度が高い場合、画像のコントラストが低く、平均の輝度が高くかつ平均の彩度が低いという仮定が成り立つことから、ヘイズ濃度算出部２１４によれば、ヘイズの特徴を反映した、より精度の高いヘイズ濃度の推定値を算出することができる。
【００３９】
ツール画面判定部２１６は、入力された画像がツール画面であるか否かを判定する。ツール画面とは、例えば、表示部１２０の表示パラメータを設定する画面及び画像の表示パラメータを設定する画面等である。
【００４０】
例えば、表示部１２０が監視カメラ映像を表示している間に、監視カメラ映像内にヘイズが発生したときは、ヘイズ除去部４００によってヘイズ除去処理が実行されることが望ましい。一方、表示部１２０が監視カメラ映像を表示している間に、監視カメラ映像の閲覧者が表示パラメータの設定を変更するべくツール画面を表示させた場合、当該ツール画面に対してヘイズ除去処理が実行されてしまうと、不必要に画面が暗くなったり、ちらついたりしてしまう場合がある。
【００４１】
そこで、本実施形態に係るヘイズ濃度推定部２００は、入力された画像がツール画面と判定された場合には、ヘイズ濃度の推定値として０を出力し、入力された画像がツール画面と判定されなかった場合、ヘイズ濃度算出部２１４によって算出されたＳｔｒｅｎｇｔｈを出力するよう制御する。
【００４２】
具体的には、セレクタ２１８が、ヘイズ濃度算出部２１４によって算出されたＳｔｒｅｎｇｔｈと、ツール画面判定部２１６によるツール画面判定結果を受信して、入力された画像がツール画面でない場合にはＳｔｒｅｎｇｔｈをシーン制御部３００又はヘイズ除去部４００に出力し、入力された画像がツール画面である場合には０をシーン制御部３００又はヘイズ除去部４００に出力する。これにより、ヘイズ除去部４００は、入力された画像がツール画面であることを判別することができる。ヘイズ除去部４００は、入力された画像がツール画面である場合には、ヘイズ除去処理を実行しないことを決定してよい。なお、ヘイズ濃度推定部２００は、０を出力する代わりに、低い値の推定値を出力してもよい。例えば、ヘイズ濃度推定部２００は、ヘイズ濃度算出部２１４によって算出されるＳｔｒｅｎｇｔｈの最小値よりも低い値の推定値を出力する。
【００４３】
ツール画面判定部２１６は、平坦＆強エッジ画素抽出部２０２によって抽出された平坦でも強エッジでもない画素に基づいて、入力された画像がツール画面であるか否かを判定してよい。ここで、平坦＆強エッジ画素抽出部２０２は、平均輝度算出部２０４、平均彩度算出部２０６及びコントラスト算出部２０８に対して出力する平坦でも強エッジでもない画素を抽出する第１の基準とは異なる第２の基準に従って、ツール画面判定部２１６に対して出力する平坦でも強エッジでもない画素を抽出してよい。第２の基準は、第１の基準に比べて、平坦でも強エッジでもない画素と判定されにくい基準であってよい。平坦＆強エッジ画素抽出部２０２は、第２画素抽出部の一例であってよい。
【００４４】
ツール画面判定部２１６は、入力された画像の全画素に対する、平坦＆強エッジ画素抽出部２０２から受信した平坦でも強エッジでもない画素の割合が、予め定められた閾値以下の場合、ツール画面でないと判定し、予め定められた閾値より大きい場合、ツール画面であると判定してよい。
【００４５】
また、ツール画面判定部２１６は、第１の基準に従って抽出された平坦又は強エッジである画素に対する、第２の基準に従って抽出された平坦又は強エッジである画素の割合が、予め定められた閾値以下の場合に、ツール画面であると判定し、予め定められた閾値より大きい場合、ツール画面でないと判定してもよい。
【００４６】
なお、ツール画面判定部２１６によれば、ツール画面に限らず、入力された画像における、平坦でも強エッジでもない画素の割合が小さい画面であれば、他の種類の画面であっても判定することができる。例えば、ツール画面判定部２１６によれば、入力された画像が、表示部１２０の表示領域全体における、画像表示領域以外の領域の割合が高い画像であるか否かを判定できる。ツール画面判定部２１６は、入力された画像が、ヘイズ除去処理を実行する対象であるか否かを判定するヘイズ除去処理対象判定部の一例であってよい。
【００４７】
なお、ここでは、平均輝度算出部２０４、平均彩度算出部２０６及びコントラスト算出部２０８が、平坦でも強エッジでもない画素の平均輝度値、平均彩度値及びコントラスト値を算出する場合を例に挙げて説明したが、これに限らない。平均輝度算出部２０４、平均彩度算出部２０６及びコントラスト算出部２０８は、入力された画像の全体の平均輝度値、平均彩度値及びコントラスト値を算出してもよい。また、平均輝度算出部２０４、平均彩度算出部２０６及びコントラスト算出部２０８は、入力された画像の一部の平均輝度値、平均彩度値及びコントラスト値を算出してもよい。
【００４８】
図３は、平坦＆強エッジ画素の抽出処理の一例を説明するための図である。平坦＆強エッジ画素抽出部２０２は、注目画素２３０が平坦又は強エッジであるか否かを判定する場合、まず、注目画素２３０を中心とした縦横それぞれ７画素について画素値の最大値及び最小値を取得する。
【００４９】
次に、平坦＆強エッジ画素抽出部２０２は、縦方向の７画素及び横方向の７画素のそれぞれについて、最大値から最小値を減算した値を算出する。そして、平坦＆強エッジ画素抽出部２０２は、縦方向及び横方向の少なくとも一方において、最大値から最小値を減算した値が、第１閾値以下である場合、及び、第１閾値よりも大きな値の第２閾値以上である場合に、注目画素２３０を、平坦又は強エッジである画素として判定する。
【００５０】
なお、縦方向の画素数及び横方向の画素数は７画素以外の画素数であってもよい。また、平坦＆強エッジ画素抽出部２０２は、第１の基準に従って平坦又は強エッジである画素を抽出する場合、第１閾値及び第２閾値を用いてよく、第２の基準に従って平坦又は強エッジである画素を抽出する場合、第１閾値より大きくかつ第２閾値より小さい第３閾値と、第３閾値より大きくかつ第２閾値より小さい第４閾値とを用いてよい。
【００５１】
図４Ａは、重み付けグラフ２４０一例を概略的に示す。また、図４Ｂは、重み付けグラフ２４２の一例を概略的に示す。重み付けグラフ２４０は、ヘイズ濃度算出部２１４が、平均輝度値に対して重み付けをするときに用いる重み付け値の一例を示す。図４Ａ及び図４Ｂでは、入力信号が１０ｂｉｔである場合を例示する。ヘイズ濃度算出部２１４は、重み付けグラフ２４０に従って平均輝度値に対して重み付けをすることによって、平均輝度値が高いほどより値が高くなり、平均輝度値が低いほどより値が低くなる重み付けをすることができる。
【００５２】
ヘイズ濃度算出部２１４は、平均彩度値に対して重み付けをするときにも、重み付けグラフ２４０を用いてよい。ヘイズ濃度算出部２１４は、平均輝度値に対して重み付けをするときと、平均彩度値に対して重み付けをするときとで、値が同じ重み付けグラフ２４０を用いてよく、値が異なる重み付けグラフ２４０を用いてもよい。例えば、平均輝度値の重み付けを、平均彩度値よりも重くする場合、ヘイズ濃度算出部２１４は、重み付けグラフ２４２に示すように、より重み付けが重くなる重み付けグラフ２４２を用いて、平均輝度値に重み付けをしてよい。
【００５３】
図５は、ヒストグラム値について説明するための図である。図５は、ヒストグラムのビン数を１６とした場合を例示している。コントラスト算出部２０８は、図５に示すように、複数のビンのうち、その値が閾値を超えているビンの最大値から最小値を減算することによって、ＨＩＳＴＷＩＤＴＨを算出してよい。
【００５４】
図６は、シーン制御部３００の機能構成の一例を概略的に示す。シーン制御部３００は、シーンチェンジ判定部３１０、ヘイズ信頼度推定部３３０及びヘイズ除去パラメータ調整部３６０を備える。
【００５５】
シーンチェンジ判定部３１０は、画像入力部１１０によって入力された動画にシーンチェンジが含まれるか否かを判定する。シーンチェンジ判定部３１０は、動画に含まれる複数のフレームのそれぞれについて、シーンチェンジしたフレームであるか否かを示すシーンチェンジフラグを対応付けてよい。
【００５６】
ヘイズ信頼度推定部３３０は、画像入力部１１０によって入力された動画に含まれるフレームについて、ヘイズ濃度推定部２００から出力されたＳｔｒｅｎｇｔｈの信頼度を推定する。
【００５７】
ヘイズ除去パラメータ調整部３６０は、動画に含まれる複数のフレームに対するヘイズ除去処理に用いるパラメータを調整して、ヘイズ除去部４００に出力する。ヘイズ除去パラメータ調整部３６０は、一のフレームと、当該一のフレームの過去のフレームとの関係から、当該一のフレームのヘイズ除去処理に用いるパラメータを調整してよい。ヘイズ除去パラメータ調整部３６０は、ヘイズ信頼度推定部３３０が推定した信頼度と、シーンチェンジ判定部３１０が生成したシーンチェンジフラグとに基づいて、動画に含まれる複数のフレームに対するヘイズ除去処理に用いるパラメータを調整して、ヘイズ除去部４００に出力してよい。
【００５８】
図７は、シーンチェンジ判定部３１０の機能構成の一例を概略的に示す。シーンチェンジ判定部３１０は、高彩度画素抽出部３１２、色相ヒストグラム生成部３１４、高彩度画素率計測部３１６、平坦＆強エッジ画素抽出部３１８、平均輝度算出部３２０、平均彩度算出部３２２及び判定処理部３２４を備える。
【００５９】
高彩度画素抽出部３１２は、画像入力部１１０によって入力された動画に含まれる複数のフレームのうちの一のフレームから、高彩度画素を抽出する。高彩度画素は、その彩度が予め定められた閾値より高い画素であってよい。高彩度画素抽出部３１２は、ＲＧＢデータを受信した場合、フレームに含まれる複数の画素のそれぞれについて、Ｒ成分、Ｇ成分及びＢ成分の最大値と最小値との差分が予め定められた閾値以上である画素を高彩度画素として抽出してよい。また、高彩度画素抽出部３１２は、ＨＳＶデータを受信した場合、フレームに含まれる複数の画素のそれぞれについて、Ｓ成分が予め定められた閾値以上である画素を高彩度画素として抽出してよい。
【００６０】
色相ヒストグラム生成部３１４は、高彩度画素抽出部３１２によって抽出された高彩度画素について、色相のヒストグラム（ＨｕｅＨＩＳＴと記載する場合がある。）を生成する。なお、ここでは、色相ヒストグラム生成部３１４が、高彩度画素抽出部３１２によって抽出された高彩度画素についてＨｕｅＨＩＳＴを生成する場合を例に挙げて説明するが、これに限らない。色相ヒストグラム生成部３１４は、画像入力部１１０によって入力された動画に含まれるフレームについてＨｕｅＨＩＳＴを生成してもよい。
【００６１】
高彩度画素率計測部３１６は、一のフレームにおける高彩度画素の割合を示す高彩度画素率（ＨｉｇｈＳａｔＲａｔｅと記載する場合がある。）を計測する。高彩度画素率計測部３１６は、一のフレームの全画素に対する光彩度画素の割合をＨｉｇｈＳａｔＲａｔｅとしてよい。高彩度画素率計測部３１６は、一のフレームにおける高彩度画素率を導出する高彩度画素率導出部の一例であってよい。
【００６２】
平坦＆強エッジ画素抽出部３１８は、画像入力部１１０によって入力された動画に含まれる複数のフレームのうちの一のフレームから、平坦でも強エッジでもない画素を抽出する。平坦＆強エッジ画素抽出部３１８は、平坦＆強エッジ画素抽出部２０２と同様に平坦でも強エッジでもない画素を抽出してよい。このとき、平坦＆強エッジ画素抽出部３１８は、第１の基準に従って平坦でも強エッジでもない画素を抽出してもよく、第２の基準に従って平坦でも強エッジでもない画素を抽出してもよく、また、他の基準に従って平坦でも強エッジでもない画素を抽出してもよい。
【００６３】
平均輝度算出部３２０は、平坦＆強エッジ画素抽出部３１８によって抽出された平坦でも強エッジでもない画素のＡＶＥＹを算出する。なお、ここでは、平均輝度算出部３２０が、平坦＆強エッジ画素抽出部３１８によって抽出された平坦でも強エッジでもない画素のＡＶＥＹを算出する場合を例に挙げて説明するが、これに限らない。平均輝度算出部３２０は、画像入力部１１０によって入力された動画に含まれるフレームについてＡＶＥＹを算出してもよい。
【００６４】
平均彩度算出部３２２は、平坦＆強エッジ画素抽出部３１８によって抽出された平坦でも強エッジでもない画素のＡＶＥＳを算出する。なお、ここでは、平均彩度算出部３２２が、平坦＆強エッジ画素抽出部３１８によって抽出された平坦でも強エッジでもない画素のＡＶＥＳを算出する場合を例に挙げて説明するが、これに限らない。平均彩度算出部３２２は、画像入力部１１０によって入力された動画に含まれるフレームについてＡＶＥＳを算出してもよい。
【００６５】
判定処理部３２４は、画像入力部１１０によって入力された動画にシーンチェンジが含まれるか否かを判定する判定処理を実行する。判定処理部３２４は、フレームがシーンチェンジしたフレームであるかを示すシーンチェンジフラグを生成して、ヘイズ除去パラメータ調整部３６０に出力する。
【００６６】
判定処理部３２４は、高彩度画素率計測部３１６が計測した高彩度画素率が予め定められた閾値より高いか否かに応じて、異なる基準に基づいて、動画にシーンチェンジが含まれるか否かを判定してよい。
【００６７】
判定処理部３２４は、高彩度画素率計測部３１６が計測した一のフレームについての高彩度画素率が予め定められた閾値よりも高い場合、当該一のフレームの色相と、当該一のフレームの過去のフレームの色相とに基づいて、動画にシーンチェンジが含まれるか否かを判定してよい。当該一のフレームの過去のフレームとは、例えば、当該一のフレームの前のフレームである。
【００６８】
具体的に、判定処理部３２４は、色相ヒストグラム生成部３１４が生成した当該一のフレームのＨｕｅＨＩＳＴと、当該一のフレームの過去のフレームの色相ヒストグラム（ＨｕｅＨＩＳＴ＿ｄｌと記載する場合がある。）とのＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）（ＨｕｅＨＩＳＴＳＡＤと記載する場合がある。）に基づいて、動画にシーンチェンジが含まれるか否かを判定してよい。
【００６９】
例えば、判定処理部３２４は、ＨｕｅＨＩＳＴＳＡＤが第５閾値より低く、当該一のフレームのＡＶＥＹと当該一のフレームの過去のフレームの平均輝度値（ＡＶＥＹ＿ｄｌと記載する場合がある。）との差分絶対値が第６閾値より低く、当該一のフレームのＡＶＥＳと当該一のフレームの過去のフレームの平均彩度値（ＡＶＥＳ＿ｄｌと記載する場合がある。）との差分絶対値が第７閾値より低い場合、当該一のフレームはシーンチェンジしたフレームではないと判定し、それ以外の場合は、当該一のフレームはシーンチェンジしたフレームであると判定する。判定処理部３２４は、当該一のフレームがシーンチェンジしたフレームでないと判定した場合、当該一のフレームのシーンチェンジフラグをＦａｌｓｅとしてよい。判定処理部３２４は、当該一のフレームがシーンチェンジしたフレームであると判定した場合、当該一のフレームのシーンチェンジフラグをＴｒｕｅとしてよい。
【００７０】
判定処理部３２４は、高彩度画素率計測部３１６が計測した一のフレームについての高彩度画素率が予め定められた閾値以下の場合、当該一のフレームのＨｉｇｈＳａｔＲａｔｅと、当該一のフレームの過去のフレームの高彩度画素率（ＨｉｇｈＳａｔＲａｔｅ＿ｄｌと記載する場合がある。）とに基づいて、動画にシーンチェンジが含まれるか否かを判定してよい。
【００７１】
例えば、判定処理部３２４は、ＨｉｇｈＳａｔＲａｔｅとＨｉｇｈＳａｔＲａｔｅ＿ｄｌとの差分絶対値が第８閾値より低く、ＡＶＥＹとＡＶＥＹ＿ｄｌとの差分絶対値が第６閾値より低く、ＡＶＥＳとＡＶＥＳ＿ｄｌとの差分絶対値が第７閾値より低い場合、当該一のフレームはシーンチェンジしたフレームであると判定し、それ以外の場合は、当該一のフレームはシーンチェンジしたフレームであると判定する。
【００７２】
図８は、ヘイズ信頼度推定部３３０の機能構成の一例を概略的に示す。ヘイズ信頼度推定部３３０は、平坦＆強エッジ画素抽出部３３２、平均輝度算出部３３４、高彩度画素抽出部３３６、高彩度画素率計測部３３８、ヘイズ濃度推定値取得部３４０及び信頼度算出部３４２を備える。
【００７３】
平坦＆強エッジ画素抽出部３３２は、画像入力部１１０によって入力された動画に含まれる複数のフレームのうちの一のフレームから、平坦でも強エッジでもない画素を抽出する。平坦＆強エッジ画素抽出部３３２は、平坦＆強エッジ画素抽出部２０２と同様に平坦でも強エッジでもない画素を抽出してよい。このとき、平坦＆強エッジ画素抽出部３３２は、第１の基準に従って平坦でも強エッジでもない画素を抽出してもよく、第２の基準に従って平坦でも強エッジでもない画素を抽出してもよく、また、他の基準に従って平坦でも強エッジでもない画素を抽出してもよい。
【００７４】
平均輝度算出部３３４は、平坦＆強エッジ画素抽出部３３２によって抽出された平坦でも強エッジでもない画素のＡＶＥＹを算出する。なお、ここでは、平均輝度算出部３３４が、平坦＆強エッジ画素抽出部３３２によって抽出された平坦でも強エッジでもない画素のＡＶＥＹを算出する場合を例に挙げて説明するが、これに限らない。平均輝度算出部３３４は、画像入力部１１０によって入力された動画に含まれるフレームについてＡＶＥＹを算出してもよい。
【００７５】
高彩度画素抽出部３３６は、画像入力部１１０によって入力された動画に含まれる複数のフレームのうちの一のフレームから、高彩度画素を抽出する。高彩度画素抽出部３３６は、フレームに含まれる複数の画素のそれぞれについて、Ｒ成分、Ｇ成分及びＢ成分の最大値と最小値との差分が予め定められた閾値以上である画素を高彩度画素として抽出してよい。
【００７６】
高彩度画素率計測部３３８は、一のフレームにおけるＨｉｇｈＳａｔＲａｔｅを計測する。ヘイズ濃度推定値取得部３４０は、ヘイズ濃度推定部２００が出力したＳｔｒｅｎｇｔｈを取得する。
【００７７】
信頼度算出部３４２は、平均輝度算出部３３４が算出したＡＶＥＹと、高彩度画素率計測部３３８が計測したＨｉｇｈＳａｔＲａｔｅとに基づいて、ヘイズ濃度推定値取得部３４０が取得したＳｔｒｅｎｇｔｈの信頼度を算出して、ヘイズ除去パラメータ調整部３６０に出力する。信頼度算出部３４２は、ＡＶＥＹとＨｉｇｈＳａｔＲａｔｅとに基づいてＳｔｒｅｎｇｔｈの信頼度を導出する信頼度導出部の一例であってよい。信頼度算出部３４２は、ヘイズ濃度推定値取得部３４０が取得したＳｔｒｅｎｇｔｈが、予め定められた閾値よりも大きいか否かに応じて、異なる基準で、Ｓｔｒｅｎｇｔｈの信頼度を算出してよい。
【００７８】
信頼度算出部３４２は、ヘイズ濃度推定値取得部３４０が取得したＳｔｒｅｎｇｔｈが予め定められた閾値よりも大きい場合、ＡＶＥＹが大きいほど高い信頼度を算出し、かつ、ＨｉｇｈＳａｔＲａｔｅが低いほど高い信頼度を算出してよい。また、信頼度算出部３４２は、ヘイズ濃度推定値取得部３４０が取得したＳｔｒｅｎｇｔｈが予め定められた閾値以下の場合、ＡＶＥＹが小さいほど高い信頼度を算出し、かつ、ＨｉｇｈＳａｔＲａｔｅが高いほど高い信頼度を算出してよい。
【００７９】
信頼度を算出する処理の具体例として、まず、信頼度算出部３４２は、ヘイズ濃度推定値取得部３４０が取得したＳｔｒｅｎｇｔｈ、平均輝度算出部３３４が算出したＡＶＥＹ、及び高彩度画素率計測部３３８が計測したＨｉｇｈＳａｔＲａｔｅのそれぞれに対して重み付けをする。
【００８０】
信頼度算出部３４２は、例えば、Ｓｔｒｅｎｇｔｈ及びＨｉｇｈＳａｔＲａｔｅに対して、値が高いほどより値が高くなり、値が低いほどより値が低くなる重み付けをする。また、信頼度算出部３４２は、例えば、ＡＶＥＹに対して、値が高いほど値が低くなり、値が低いほど値が高くなる重み付けをする。重み付けをしたＳｔｒｅｎｇｔｈをＳｔｒｅｎｇｔｈＷｅｉｇｈｔと記載する場合がある。重み付けをしたＡＶＥＹをＡＶＥＹＷｅｉｇｈｔと記載する場合がある。重み付けをしたＨｉｇｈＳａｔＲａｔｅをＨｉｇｈＳａｔＲａｔｅＷｅｉｇｈｔと記載する場合がある。
【００８１】
次に、信頼度算出部３４２は、ＡＶＥＹＷｅｉｇｈｔ及びＨｉｇｈＳａｔＲａｔｅＷｅｉｇｈｔのうち値が大きい方を、ＥｖａｌＭａｘとする。そして、信頼度算出部３４２は、ＥｖａｌＭａｘとＳｔｒｅｎｇｔｈＷｅｉｇｈｔとの差分絶対値を、ヘイズ濃度の推定値の信頼度として算出する。
【００８２】
図９は、重み付けグラフ３５２の一例を概略的に示す。重み付けグラフ３５２は、信頼度算出部３４２が、Ｓｔｒｅｎｇｔｈに対して重み付けをするときに用いる重み付け値の一例を示す。信頼度算出部３４２が、重み付けグラフ３５２に従ってＳｔｒｅｎｇｔｈに対して重み付けをすることによって、Ｓｔｒｅｎｇｔｈが高いほどより値が高くなり、Ｓｔｒｅｎｇｔｈが低いほどより値が低くなる重み付けをすることができる。重み付けグラフ３５２は、信頼度算出部３４２が、ＨｉｇｈＳａｔＲａｔｅに対して重み付けをするときに用いられてもよい。
【００８３】
図１０は、重み付けグラフ３５４の一例を概略的に示す。重み付けグラフ３５４は、信頼度算出部３４２が、ＡＶＥＹに対して重み付けをするときに用いる重み付け値の一例を示す。信頼度算出部３４２が、重み付けグラフ３５４に従ってＡＶＥＹに対して重み付けをすることによって、ＡＶＥＹが高いほど値が低くなり、Ｓｔｒｅｎｇｔｈが低いほど値が高くなる重み付けをすることができる。
【００８４】
図１１は、ヘイズ除去パラメータ調整部３６０の機能構成の一例を概略的に示す。ヘイズ除去パラメータ調整部３６０は、ヘイズ濃度目標値算出部３６２及びパラメータ調整部３６４を備える。
【００８５】
ヘイズ濃度目標値算出部３６２は、一のフレームに対するヘイズ濃度目標値（ＴａｒｇｅｔＤｅｐｔｈと記載する場合がある）を算出する。ＴａｒｇｅｔＤｅｐｔｈとは、一のフレーム及び当該一のフレームに続く複数のフレームの内容が変化しない場合に収束すべきヘイズ除去パラメータを示す。
【００８６】
ヘイズ濃度目標値算出部３６２は、ヘイズ信頼度推定部３３０が、一のフレームにおいて、当該一のフレームのヘイズ濃度の推定値が信頼できないと判断した場合、当該一のフレームの過去のフレームの時点で設定したＴａｒｇｅｔＤｅｐｔｈ（ＴａｒｇｅｔＤｅｐｔｈ＿ｄｌと記載する場合がある。）を、当該一のフレームに対するＴａｒｇｅｔＤｅｐｔｈとしてよい。ヘイズ信頼度推定部３３０は、例えば、一のフレームのヘイズ濃度の推定値の信頼度が予め定められた閾値よりも小さい場合に、当該推定値が信頼できないと判断する。
【００８７】
ヘイズ濃度目標値算出部３６２は、当該一のフレームの過去のフレームのＴａｒｇｅｔＤｅｐｔｈ（ＴａｒｇｅｔＤｅｐｔｈ＿ｄｌ）と、ヘイズ濃度推定部２００から受信した当該一のフレームについてのＳｔｒｅｎｇｔｈと、信頼度算出部３４２から受信した当該Ｓｔｒｅｎｇｔｈの信頼度と、判定処理部３２４から受信した当該一のフレームについてのシーンチェンジフラグとに基づいて、当該一のフレームに対するＴａｒｇｅｔＤｅｐｔｈを決定してよい。
【００８８】
例えば、まず、ヘイズ濃度目標値算出部３６２は、ＳｔｒｅｎｇｔｈとＴａｒｇｅｔＤｅｐｔｈ＿ｄｌとの差分絶対値（ＤｉｆｆＤｅｐｔｈと記載する場合がある。）を算出する。そして、ヘイズ濃度目標値算出部３６２は、ＤｉｆｆＤｅｐｔｈが第９閾値より大きくかつＳｔｒｅｎｇｔｈの信頼度が第１０閾値より大きい場合、及び、シーンチェンジフラグがＴｒｕｅである場合、ＳｔｒｅｎｇｔｈをＴａｒｇｅｔＤｅｐｔｈとし、それ以外の場合、ＴａｒｇｅｔＤｅｐｔｈ＿ｄｌをＴａｒｇｅｔＤｅｐｔｈとする。それ以外の場合とは、シーンチェンジフラグがＦａｌｓｅであり、かつ、ＤｉｆｆＤｅｐｔｈが第９閾値より小さい又はＳｔｒｅｎｇｔｈの信頼度が第１０閾値より小さい場合であってよい。
【００８９】
パラメータ調整部３６４は、当該一のフレームのヘイズ除去処理に用いるパラメータ（ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈと記載する場合がある。）を、ヘイズ濃度目標値算出部３６２によって当該一のフレームのＴａｒｇｅｔＤｅｐｔｈとして決定されたＳｔｒｅｎｇｔｈ又はＴａｒｇｅｔＤｅｐｔｈ＿ｄｌに対応する値に段階的に近づけるように調整する。これにより、複数のフレームに渡って段階的にヘイズ除去の強度を変化させることができる。
【００９０】
パラメータ調整部３６４は、ヘイズ濃度目標値算出部３６２によって決定されたＴａｒｇｅｔＤｅｐｔｈと、当該一のフレームと当該一のフレームの過去のフレームとの関係から、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを調整してよい。パラメータ調整部３６４は、当該一のフレームの過去のフレームにおいて調整されたパラメータからヘイズ濃度目標値算出部３６２によって決定されたＴａｒｇｅｔＤｅｐｔｈに段階的に近づくようにＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを調整してよい。パラメータ調整部３６４は、当該一のフレームがシーンチェンジしたフレームであるか否かに基づいて、ＴａｒｇｅｔＤｅｐｔｈに段階的に近づける幅を変更してよい。例えば、パラメータ調整部３６４は、シーンチェンジフラグがＴｒｕｅの場合、すなわち、シーンチェンジ判定部３１０によって当該一のフレームがシーンチェンジしたフレームであると判定された場合、ＴａｒｇｅｔＤｅｐｔｈに段階的に近づける幅を大きくする。これにより、当該一のフレームがシーンチェンジしたフレームである場合に、当該一のフレームがシーンチェンジしたフレームでない場合に比べてヘイズ除去の強度を強くすることができる。
【００９１】
パラメータ調整部３６４は、ヘイズ濃度目標値算出部３６２によって決定されたＴａｒｇｅｔＤｅｐｔｈと、当該一のフレームの過去のフレームのヘイズ除去処理に用いたパラメータ（ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈ＿ｄｌと記載する場合がある。）との差分絶対値（ＤｉｆｆＳｔｒｅｎｇｔｈと記載する場合がある。）と、Ｓｔｒｅｎｇｔｈの信頼度と、シーンチェンジフラグとに応じた調整量で、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを、ヘイズ濃度目標値算出部３６２によって当該一のフレームのＴａｒｇｅｔＤｅｐｔｈとして決定されたＳｔｒｅｎｇｔｈ又はＴａｒｇｅｔＤｅｐｔｈ＿ｄｌに対応する値に段階的に近づけるように調整してよい。
【００９２】
例えば、パラメータ調整部３６４は、シーンチェンジフラグがＴｒｕｅの場合、第１の調整量で、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを、ヘイズ濃度目標値算出部３６２によって当該一のフレームのＴａｒｇｅｔＤｅｐｔｈとして決定されたＳｔｒｅｎｇｔｈ又はＴａｒｇｅｔＤｅｐｔｈ＿ｄｌに対応する値に段階的に近づけるように調整する。また、パラメータ調整部３６４は、シーンチェンジフラグがＦａｌｓｅであり、ＤｉｆｆＳｔｒｅｎｇｔｈが第１１閾値より大きく、かつ、Ｓｔｒｅｎｇｔｈの信頼度が第１２閾値より大きい場合、第２の調整量で、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを、当該一のフレームのＴａｒｇｅｔＤｅｐｔｈとして決定されたＳｔｒｅｎｇｔｈ又はＴａｒｇｅｔＤｅｐｔｈ＿ｄｌに対応する値に段階的に近づけるように調整する。また、パラメータ調整部３６４は、それ以外の場合には、第３の調整量で、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを、当該一のフレームのＴａｒｇｅｔＤｅｐｔｈとして決定されたＳｔｒｅｎｇｔｈ又はＴａｒｇｅｔＤｅｐｔｈ＿ｄｌに対応する値に段階的に近づけるように調整する。それ以外の場合とは、シーンチェンジフラグがＦａｌｓｅであり、ＤｉｆｆＳｔｒｅｎｇｔｈが第１１閾値より小さい又はＳｔｒｅｎｇｔｈの信頼度が第１２閾値より小さい場合であってよい。ここで、第１の調整量は、第２の調整量及び第３の調整量より多く、第２の調整量は第３の調整量より多い。
【００９３】
上述したように、ヘイズ濃度目標値算出部３６２は、Ｓｔｒｅｎｇｔｈの信頼度及びＳｔｒｅｎｇｔｈとＴａｒｇｅｔＤｅｐｔｈ＿ｄｌとの差分絶対値、又は、シーンチェンジフラグに基づいて、ＴａｒｇｅｔＤｅｐｔｈ＿ｄｌと、Ｓｔｒｅｎｇｔｈとのいずれをヘイズ除去処理に用いるパラメータを調整するために用いるかを決定してよい。
【００９４】
ＴａｒｇｅｔＤｅｐｔｈ＿ｄｌを取得するヘイズ濃度目標値算出部３６２は、目標値取得部の一例であってよい。また、ヘイズ濃度目標値算出部３６２は、ＳｔｒｅｎｇｔｈとＴａｒｇｅｔＤｅｐｔｈ＿ｄｌとの差分絶対値を算出する差分絶対値導出部の一例であってよい。また、ヘイズ濃度目標値算出部３６２は、当該一のフレームに対するＴａｒｇｅｔＤｅｐｔｈを決定する目標値決定部の一例であってよい。
【００９５】
図１２は、ヘイズ除去部４００の機能構成の一例を概略的に示す。ヘイズ除去部４００は、照明光分離部４０２、パラメータ取得部４１０、除去処理部４２０及び合成部４２６を備える。
【００９６】
照明光分離部４０２は、画像入力部１１０によって入力された画像Ｉから照明光成分ＩＬを分離する。照明光分離部４０２は、画像Ｉから照明光成分ＩＬを分離することができれば、どのような処理を行ってもよい。
【００９７】
例えば、照明光分離部４０２は、エッジ保存型ローパスフィルタを用いて、画像Ｉから照明光成分ＩＬを分離する。エッジ保存型ローパスフィルタとは、エッジを保存しつつ平滑化をおこなうフィルタである。照明光分離部４０２は、エッジ保存型ローパスフィルタとして、例えば、バイラテラルフィルタを用いる。照明光分離部４０２は、照明光成分ＩＬ及び画像Ｉをパラメータ取得部４１０に対して出力してよい。
【００９８】
パラメータ取得部４１０は、ヘイズ除去に用いるパラメータを取得する。パラメータ取得部４１０は、大気光算出部４１２、透過率算出部４１４及びヘイズ濃度推定値取得部４１６を有する。
【００９９】
大気光算出部４１２は、画像Ｉの大気光Ａを算出する。大気光算出部４１２は、画像Ｉの大気光Ａを算出できれば、どのような処理を行ってもよい。例えば、大気光算出部４１２は、まず、画像Ｉの各画素に対して周辺画素を含めたＲＧＢの最小値を算出する。次に、大気光算出部４１２は、画像Ｉから、算出した最小値が上位０．１％の画素を抽出する。そして、大気光算出部４１２は、抽出した画素のうち、最も輝度が高い画素の値を大気光Ａとする。
【０１００】
透過率算出部４１４は、画像入力部１１０によって入力された画像の複数の画素毎のヘイズ濃度に対応する透過率ｔを算出する。透過率算出部４１４は、透過率導出部の一例であってよい。透過率算出部４１４は、透過率ｔを算出できれば、どのような処理を行ってもよい。例えば、透過率算出部４１４は、下記数式２によって表されるダークチャネルプライア（Ｄａｒｋ  Ｃｈａｎｎｅｌ  Ｐｒｉｏｒ）（ＤＣＰと記載する場合がある。）に基づいて、透過率ｔを算出する。
【０１０１】
【数２】
2015190183.tif 000004
【０１０２】
ＩＣはＩの色チャネルであり、Ω（ｘ）はｘを中心とする局所領域である。
【０１０３】
透過率算出部４１４は、数式２におけるＤＣＰが透過率ｔを表すとの仮定に基づいて、ＤＣＰの値から透過率ｔを算出してよい。例えば、透過率算出部４１４は、下記数式３によって、透過率ｔを算出してよい。
【０１０４】
【数３】
2015190183.tif 000005
【０１０５】
ヘイズ濃度推定値取得部４１６は、ヘイズ濃度推定部２００が出力したＳｔｒｅｎｇｔｈを取得する。
【０１０６】
パラメータ取得部４１０は、画像Ｉ、照明光成分ＩＬ、大気光算出部４１２が算出した大気光Ａ、透過率算出部４１４が算出した透過率ｔ及びヘイズ濃度推定値取得部４１６が取得したＳｔｒｅｎｇｔｈを除去処理部に出力する。
【０１０７】
除去処理部４２０は、下記数式４によって表されるレティネックス理論と下記数式５によって表されるヘイズ画像の大気モデルとに基づいて、画像Ｉに対するヘイズ除去処理を実行する。
【０１０８】
【数４】
2015190183.tif 000006
【０１０９】
【数５】
2015190183.tif 000007
【０１１０】
上記数式５を変形すると下記数式６となる。
【０１１１】
【数６】
2015190183.tif 000008
【０１１２】
上記数式６に、レティネックス理論を適用し、それぞれを反射率成分及び照明光成分の積で表すと、下記数式７となる。
【０１１３】
【数７】
2015190183.tif 000009
【０１１４】
ここで、除去処理部４２０は、大気光に含まれる反射率成分が少ない又はないと近似できることを前提として、ヘイズ画像の大気モデルとレティネックス理論とを用いて、ヘイズ除去処理を実行してよい。例えば、大気光に含まれる反射率成分が、極小であるとした場合、下記数式８が成り立つものとみなすことができる。
【０１１５】
【数８】
2015190183.tif 000010
【０１１６】
また、除去処理部４２０は、大気光、原画像、入力画像に対して、それぞれの照明光成分のみに対して大気モデルが適用できることをさらに前提として、ヘイズ画像の大気モデルとレティネックス理論とを用いて、ヘイズ除去処理を実行してもよい。このような前提によれば、下記数式９が成り立つ。
【０１１７】
【数９】
2015190183.tif 000011
【０１１８】
上記数式８及び数式９を、上記数式７に適用することによって、下記数式１０が得られる。
【０１１９】
【数１０】
2015190183.tif 000012
【０１２０】
上記数式１０から、ＪＲの値は、ＩＲが１より大きいときにＩＲより大きくなり、ＩＲが１より小さいときにＩＲより小さくなることが導かれる。
【０１２１】
上記数式９及び数式１０を用いることによって、除去処理部４２０は、反射率成分と照明光成分とに、ヘイズ除去度がそれぞれ異なるヘイズ除去処理を施してよい。例えば、除去処理部４２０は、上記数式９及び数式１０に対して、透過率ｔを異ならせることによって、ヘイズ除去度を異ならせてよい。また、除去処理部４２０は、上記数式９及び上記数式１０の結果に対して異なる重み付けをすることによって、ヘイズ除去度を異ならせてもよい。
【０１２２】
除去処理部４２０は、照明光成分処理部４２２及び反射率成分処理部４２４を有する。照明光成分処理部４２２は、画像の照明光成分に対してヘイズ除去処理を施す。反射率成分処理部４２４は、画像の反射率成分に対してヘイズ除去処理を施す。
【０１２３】
照明光成分処理部４２２は、パラメータ調整部３６４から受信したＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いて、ヘイズ除去処理を実行してよい。例えば、照明光成分処理部４２２は、照明光成分ＩＬ、大気光Ａ、透過率ｔ、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈ及び上記数式９を用いて、ヘイズ除去処理を施した照明光成分ＪＬを算出してよい。照明光成分処理部４２２は、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いて、透過率ｔを調整してよい。また、照明光成分処理部４２２は、透過率ｔに代えて、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いてもよい。また、照明光成分処理部４２２は、透過率ｔに代えて、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈに基づく値を用いてもよい。照明光成分処理部４２２がパラメータ調整部３６４から受信したＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いてヘイズ除去処理を実行する場合、パラメータ取得部４１０は、ヘイズ濃度推定値取得部４１６を有さなくてよい。また、ヘイズ濃度推定値取得部４１６がパラメータ調整部３６４からＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを受信して、当該受信したＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを除去処理部４２０に送信してもよい。
【０１２４】
照明光成分処理部４２２は、画像入力部１１０によって静止画が入力された場合及び画像処理システム１００がシーン制御部３００を備えない場合等においては、パラメータ取得部４１０から受信した、照明光成分ＩＬ、大気光Ａ、透過率ｔ、Ｓｔｒｅｎｇｔｈ及び上記数式９を用いて、ヘイズ除去処理を施した照明光成分ＪＬを算出してよい。照明光成分処理部４２２は、透過率ｔにＳｔｒｅｎｇｔｈを適用して、照明光成分ＪＬを算出してよい。例えば、照明光成分処理部４２２は、透過率ｔにＳｔｒｅｎｇｔｈを乗算する。また、例えば、照明光成分処理部４２２は、Ｓｔｒｅｎｇｔｈの値に応じた重み付けを透過率ｔに対して行ってもよい。これにより、ヘイズ濃度推定部２００によって推定されたＳｔｒｅｎｇｔｈを用いた、より高精度なヘイズ除去処理を実現できる。
【０１２５】
反射率成分処理部４２４は、パラメータ取得部４１０から受信した画像Ｉ及び照明光成分ＩＬから、反射率成分ＩＲを算出してよい。反射率成分処理部４２４は、パラメータ調整部３６４から受信したＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いて、ヘイズ除去処理を実行してよい。例えば、反射率成分処理部４２４は、照明光成分ＩＬ、反射率成分ＩＲ、透過率ｔ、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈ及び上記数式１０を用いて、ヘイズ除去処理を施した反射率成分ＪＲを算出してよい。反射率成分処理部４２４は、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いて、透過率ｔを調整してよい。また、反射率成分処理部４２４は、透過率ｔに代えて、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いてもよい。また、反射率成分処理部４２４は、透過率ｔに代えて、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈに基づく値を用いてもよい。反射率成分処理部４２４がパラメータ調整部３６４から受信したＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いてヘイズ除去処理を実行する場合、パラメータ取得部４１０は、ヘイズ濃度推定値取得部４１６を有さなくてよい。また、ヘイズ濃度推定値取得部４１６が、パラメータ調整部３６４からＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを受信して、当該受信したＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを除去処理部４２０に送信してもよい。
【０１２６】
反射率成分処理部４２４は、画像入力部１１０によって静止画が入力された場合及び画像処理システム１００がシーン制御部３００を備えない場合等においては、照明光成分ＩＬ、反射率成分ＩＲ、透過率ｔ、Ｓｔｒｅｎｇｔｈ及び上記数式１０を用いて、ヘイズ除去処理を施したＪＲを算出してよい。反射率成分処理部４２４は、透過率ｔにＳｔｒｅｎｇｔｈを適用して、ＪＲを算出してよい。例えば、反射率成分処理部４２４は、透過率ｔにＳｔｒｅｎｇｔｈを乗算する。また、例えば反射率成分処理部４２４は、Ｓｔｒｅｎｇｔｈの値に応じた重み付けを透過率ｔに対して行ってもよい。これにより、ヘイズ濃度推定部２００によって推定されたＳｔｒｅｎｇｔｈを用いた、より高精度なヘイズ除去処理を実現できる。
【０１２７】
合成部４２６は、照明光成分処理部４２２によってヘイズ除去処理が施された照明光成分ＪＬと、反射率成分処理部４２４によってヘイズ除去処理が施された反射率成分ＪＲとを合成する。合成部４２６は、ＪＬとＪＲとを合成することによって、出力画像Ｊを生成する。合成部４２６によって生成された出力画像Ｊは、表示部１２０によって表示されてよい。
【０１２８】
本実施形態では、画像処理システム１００が、ヘイズ濃度推定部２００、シーン制御部３００及びヘイズ除去部４００を備える表示装置である場合を例に挙げて説明したが、これに限らない。画像処理システム１００は、ヘイズ濃度推定部２００、シーン制御部３００及びヘイズ除去部４００のうちの少なくとも１つを備える表示装置であってもよい。
【０１２９】
また、画像処理システム１００は、シーン制御部３００が備えるシーンチェンジ判定部３１０、ヘイズ信頼度推定部３３０及びヘイズ除去パラメータ調整部３６０のうち、シーンチェンジ判定部３１０のみを備える表示装置であってもよい。また、画像処理システム１００は、ヘイズ信頼度推定部３３０のみを備える表示装置であってもよい。このとき、ヘイズ濃度推定値取得部３４０は、ヘイズ濃度推定部２００によって出力されたＳｔｒｅｎｇｔｈではなく、他の装置等によって推定されたヘイズ濃度推定値を取得してもよい。
【０１３０】
また、画像処理システム１００が、ヘイズ濃度推定部２００、シーン制御部３００及びヘイズ除去部４００のうちのヘイズ除去部４００のみを備える表示装置である場合、ヘイズ濃度推定値取得部４１６は、ヘイズ濃度推定部２００によって出力されたＳｔｒｅｎｇｔｈではなく、他の装置等によって推定されたヘイズ濃度推定値を取得してもよい。
【０１３１】
また、本実施形態では、画像処理システム１００が表示装置である場合を例に挙げて説明したが、これに限らない。画像を処理する装置であれば、他の種類の装置であってもよい。例えば、画像処理システム１００は、スマートフォン等の携帯電話、タブレット端末、パーソナルコンピュータ及び情報家電等であってよい。また、画像処理システム１００は、表示部１２０を有さず、外部の表示部に画像を表示させる装置であってもよい。
【０１３２】
以上の説明において、画像処理システム１００の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよい。また、ハードウエアとソフトウエアとの組み合わせにより実現されてもよい。また、プログラムが実行されることにより、コンピュータが、画像処理システム１００として機能してもよい。プログラムは、コンピュータ読み取り可能な媒体又はネットワークに接続された記憶装置から、画像処理システム１００の少なくとも一部を構成するコンピュータにインストールされてよい。
【０１３３】
コンピュータにインストールされ、コンピュータを本実施形態に係る画像処理システム１００として機能させるプログラムは、ＣＰＵ等に働きかけて、コンピュータを、画像処理システム１００の各部としてそれぞれ機能させる。これらのプログラムに記述された情報処理は、コンピュータに読込まれることにより、ソフトウエアと画像処理システム１００のハードウエア資源とが協働した具体的手段として機能する。
【０１３４】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
【０１３５】
請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１３６】
１００  画像処理システム、１１０  画像入力部、１２０  表示部、２００  ヘイズ濃度推定部、２０２  平坦＆強エッジ画素抽出部、２０４  平均輝度算出部、２０６  平均彩度算出部、２０８  コントラスト算出部、２１０  最大彩度取得部、２１２  重み付け取得部、２１４  ヘイズ濃度算出部、２１６  ツール画面判定部、２１８  セレクタ、２３０  注目画素、２４０  重み付けグラフ、２４２  重み付けグラフ、３００  シーン制御部、３１０  シーンチェンジ判定部、３１２  高彩度画素抽出部、３１４  色相ヒストグラム生成部、３１６  高彩度画素率計測部（高彩度画素率導出部）、３１８  平坦＆強エッジ画素抽出部、３２０  平均輝度算出部、３２２  平均彩度算出部、３２４  判定処理部（シーンチェンジ判定部）、３３０  ヘイズ信頼度推定部、３３２  平坦＆強エッジ画素抽出部、３３４  平均輝度算出部、３３６  高彩度画素抽出部、３３８  高彩度画素率計測部、３４０  ヘイズ濃度推定値取得部、３４２  信頼度算出部（信頼度導出部）、３５２  重み付けグラフ、３５４  重み付けグラフ、３６０  ヘイズ除去パラメータ調整部、３６２  ヘイズ濃度目標値算出部（目標値取得部、目標値決定部、差分絶対値導出部）、３６４  パラメータ調整部、４００  ヘイズ除去部、４０２  照明光分離部、４１０  パラメータ取得部、４１２  大気光算出部、４１４  透過率算出部、４１６  ヘイズ濃度推定値取得部、４２０  除去処理部、４２２  照明光成分処理部、４２４  反射率成分処理部、４２６  合成部
【図１】
2015190183.tif 000013
【図２】
2015190183.tif 000014
【図３】
2015190183.tif 000015
【図４Ａ】
2015190183.tif 000016
【図４Ｂ】
2015190183.tif 000017
【図５】
2015190183.tif 000018
【図６】
2015190183.tif 000019
【図７】
2015190183.tif 000020
【図８】
2015190183.tif 000021
【図９】
2015190183.tif 000022
【図１０】
2015190183.tif 000023
【図１１】
2015190183.tif 000024
【図１２】
2015190183.tif 000025
【手続補正書】
【提出日】平成28年9月23日(2016.9.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画に含まれる複数のフレームのうちの一のフレームから、彩度が予め定められた閾値より高い高彩度画素を抽出する高彩度画素抽出部と、
前記一のフレームにおける前記高彩度画素の割合を示す高彩度画素率を導出する高彩度画素率導出部と、
前記一のフレームにおける前記高彩度画素率が予め定められた閾値より高いか否かに応じて、異なる基準に基づいて、前記動画にシーンチェンジが含まれるか否かを判定するシーンチェンジ判定部と
を備える、画像処理システム。
【請求項２】
前記シーンチェンジ判定部は、前記高彩度画素率が前記閾値よりも高い場合、前記一のフレームの色相と、前記一のフレームの過去のフレームの色相とに基づいて、前記動画にシーンチェンジが含まれるか否かを判定し、前記高彩度画素率が前記閾値以下の場合、前記一のフレームの高彩度画素率と、前記一のフレームの過去のフレームの高彩度画素率とに基づいて、前記動画にシーンチェンジが含まれるか否かを判定する、請求項１に記載の画像処理システム。
【請求項３】
前記一のフレームのヘイズ濃度の推定値を取得するヘイズ濃度推定値取得部と、
前記一のフレームにおける前記高彩度画素率と、前記一のフレームの平均輝度値とに基づいて、前記ヘイズ濃度の推定値の信頼度を導出する信頼度導出部と
を更に備える、請求項１又は２に記載の画像処理システム。
【請求項４】
前記信頼度導出部は、前記推定値が予め定められた閾値よりも高い場合、前記平均輝度値が大きいほど高い信頼度を導出し、かつ、前記高彩度画素率が低いほど高い信頼度を導出し、前記推定値が予め定められた閾値以下の場合、前記平均輝度値が小さいほど高い信頼度を導出し、かつ、前記高彩度画素率が高いほど高い信頼度を導出する、請求項３に記載の画像処理システム。
【請求項５】
前記一のフレームの過去のフレームのヘイズ濃度目標値を取得する目標値取得部と、
前記信頼度導出部が導出した前記信頼度に基づいて、前記目標値取得部が取得した前記ヘイズ濃度目標値と、前記ヘイズ濃度推定値取得部が取得した前記ヘイズ濃度の推定値とのいずれをヘイズ除去処理に用いるパラメータを調整するために用いるかを決定する目標値決定部と
を更に備える、請求項３又は４に記載の画像処理システム。
【請求項６】
前記目標値取得部が取得したヘイズ濃度目標値と、前記ヘイズ濃度推定値取得部が取得した前記ヘイズ濃度の推定値との差分絶対値を導出する差分絶対値導出部
を更に備え、
前記目標値決定部は、前記推定値の信頼度及び前記差分絶対値、又は、前記一のフレームがシーンチェンジしたフレームであるかを示すシーンチェンジフラグに基づいて、前記目標値取得部が取得した前記ヘイズ濃度目標値と、前記ヘイズ濃度推定値取得部が取得した前記ヘイズ濃度の推定値とのいずれをヘイズ除去処理に用いるパラメータを調整するために用いるかを決定する、請求項５に記載の画像処理システム。
【請求項７】
前記一のフレームのヘイズ除去処理に用いるパラメータを、前記目標値決定部によって決定された前記ヘイズ濃度目標値又は前記ヘイズ濃度の推定値に対応する値に段階的に近づけるように調整するパラメータ調整部
を更に備える、請求項５又は６に記載の画像処理システム。
【請求項８】
前記パラメータ調整部は、前記目標値決定部によって決定された前記ヘイズ濃度目標値又は前記ヘイズ濃度の推定値と、前記一のフレームの過去のフレームのヘイズ除去処理に用いたパラメータとの差分絶対値、前記ヘイズ濃度の推定値の信頼度、及び前記一のフレームがシーンチェンジしたフレームであるかを示すシーンチェンジフラグに応じた調整量で、前記ヘイズ除去処理に用いるパラメータを、前記目標値決定部によって決定された前記ヘイズ濃度目標値又は前記ヘイズ濃度の推定値に対応する値に段階的に近づけるように調整する、請求項７に記載の画像処理システム。
【請求項９】
コンピュータを、請求項１から８のいずれか一項に記載の画像処理システムとして機能させるためのプログラム。
【国際調査報告】
2015190183.tif 000026
2015190183.tif 000027