(57)【要約】  画像処理装置１０は、入力された複数のフレームから構成される動画像において、フレームから生成した低周波成分を用いてダイナミックレンジを補正する場合に、入力された動画像のフレームから生成された低周波成分を記憶し、入力された動画像のＮ番目のフレームから低周波成分を生成して、低周波成分記憶部に格納し、入力された動画像のＮ＋１番目以降のフレームと、低周波成分記憶部に格納されたＮ番目のフレームの低周波成分とを用いてダイナミックレンジを補正する。
2009087760.tif 000002
【特許請求の範囲】
【請求項１】
入力された複数のフレームから構成される動画像において、フレームから生成した低周波成分を用いてダイナミックレンジを補正する画像処理装置であって、
前記入力された動画像のフレームから生成された低周波成分を記憶する低周波成分記憶手段と、
前記入力された動画像のＮ番目のフレームから低周波成分を生成して、前記低周波成分記憶手段に格納する低周波成分生成手段と、
前記入力された動画像のＮ＋１番目以降のフレームと、前記低周波成分生成手段により前記低周波成分記憶手段に格納されたＮ番目のフレームの低周波成分とを用いてダイナミックレンジを補正するダイナミックレンジ補正手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記低周波成分生成手段は、前記入力された動画像の複数フレームから低周波成分を生成して前記低周波成分記憶手段に格納し、
前記ダイナミックレンジ補正手段は、前記入力された動画像の処理対象フレームと、前記低周波成分生成手段により前記低周波成分記憶手段に格納された低周波成分とを用いてダイナミックレンジを補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
入力された動画像のフレームを記憶する入力画像記憶手段と、
前記入力画像記憶手段により記憶される前記入力された動画像のフレームから低周波成分が生成されたフレームと、前記入力画像記憶手段により記憶される当該フレームより後段以降のフレームとを比較して、シーンチェンジが検出された場合に、前記低周波成分生成手段に通知するシーンチェンジ検出手段と、をさらに備え、
前記低周波成分生成手段は、前記シーンチェンジ検出手段によりシーンチェンジが検出された場合に、前記シーンチェンジが発生したフレームから低周波成分を生成し、
前記ダイナミックレンジ補正手段は、前記低周波成分生成手段により生成された低周波成分を用いてダイナミックレンジを補正することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記低周波成分生成手段は、前記シーンチェンジ検出手段によりシーンチェンジが検出された旨の通知を受け付けていない場合でも、予め決定する所定数を超えると、当該所定数を超えた際のフレームから低周波成分を生成し、
前記ダイナミックレンジ補正手段は、前記低周波成分生成手段により生成された低周波成分を用いてダイナミックレンジを補正することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
入力された動画像のフレームを記憶する入力画像記憶手段と、
前記入力画像記憶手段により記憶される前記入力された動画像のフレームから低周波成分が生成されたフレームと、前記入力画像記憶手段により記憶される当該フレームより後段以降のフレームとを比較して、シーンチェンジが検出された場合に、前記低周波成分生成手段に通知するシーンチェンジ検出手段と、をさらに備え、
前記低周波成分生成手段は、前記シーンチェンジ検出手段によりシーンチェンジが検出された場合に、前記シーンチェンジが発生したフレームから低周波成分を生成し、シーンチェンジ前のフレームから生成された低周波成分と、シーンチェンジが発生したフレームから生成された低周波成分とを線形補間して、シーンチェンジが発生するまでのフレームの低周波成分を生成し、
前記ダイナミックレンジ補正手段は、前記低周波成分生成手段により生成された低周波成分を用いてダイナミックレンジを補正することを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記低周波成分生成手段は、前記入力された動画像のフレームから低周波成分を生成する場合に、所定のフレーム数を受け付けるまでの期間にわたって生成して前記低周波成分記憶手段に格納することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記入力された動画像のＮ番目のフレームを縮小処理して縮小画像を生成する画像縮小処理手段をさらに備え、
前記低周波成分生成手段は、前記画像縮小処理手段により生成されたＮ番目のフレームの縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の平滑化画像を生成し、生成されたＮ番目のフレームの複数の平滑化画像の一つまたは複数と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して合成低周波成分を生成して、前記低周波成分記憶手段に格納し、
前記ダイナミックレンジ補正手段は、前記低周波成分生成手段により低周波成分記憶手段に格納された合成低周波成分を用いてダイナミックレンジを補正することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
入力された複数のフレームから構成される動画像において、フレームから生成した低周波成分を用いてダイナミックレンジを補正する画像処理装置の画像処理方法であって、
前記入力された動画像のフレームから生成された低周波成分を記憶する低周波成分記憶工程と、
前記入力された動画像のＮ番目のフレームから低周波成分を生成して、前記低周波成分記憶部に格納する低周波成分生成工程と、
前記入力された動画像のＮ＋１番目以降のフレームと、前記低周波成分生成工程により前記低周波成分記憶部に格納されたＮ番目のフレームの低周波成分とを用いてダイナミックレンジを補正するダイナミックレンジ補正工程と、
を含んだことを特徴とする画像処理方法。
【請求項９】
入力された複数のフレームから構成される動画像において、フレームから生成した低周波成分を用いてダイナミックレンジを補正する方法をコンピュータに実行させる画像処理プログラムであって、
前記入力された動画像のフレームから生成された低周波成分を記憶する低周波成分記憶手順と、
前記入力された動画像のＮ番目のフレームから低周波成分を生成して、前記低周波成分記憶部に格納する低周波成分生成手順と、
前記入力された動画像のＮ＋１番目以降のフレームと、前記低周波成分生成手順により前記低周波成分記憶部に格納されたＮ番目のフレームの低周波成分とを用いてダイナミックレンジを補正するダイナミックレンジ補正手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力された入力画像から生成した低周波成分を用いてダイナミックレンジを補正する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、入力される画像データの細かい情報を再現するダイナミックレンジを補正する処理において、低域周波数のみを通過させるフィルタであるＬＰＦ（Low  Pass  Filter：ローパスフィルタ）を利用して画像の低域周波数成分を生成するＬＰＦ処理がある。そして、入力される画像データから低域周波数成分を生成するＬＰＦ処理は、ＬＰＦのフィルタサイズが大きく、処理が重いために処理速度を向上させることが困難である。【０００３】
そこで最近では、ＬＰＦ処理による処理遅延を防ぐための技術が開示されている。例えば、特許文献１では、図１１に示すように、１フレーム前の縮小画像を利用した低域周波数成分生成処理を行うことで処理負荷を分散するとともに、ＬＰＦ処理による処理遅延を防ぐことができる。【０００４】
具体的に説明すると、特許文献１では、Ｎフレーム目の画像データを受信すると、受信したＮフレーム目から低周波成分を生成して、生成したＮフレームの低周波成分を用いてＮ＋１フレーム目のダイナミックレンジ補正処理を行う。つまり、特許文献１では、Ｎフレーム目の低周波成分を用いてＮ＋１フレーム目のダイナミックレンジ補正処理をして、Ｎ＋１フレーム目の低周波成分を用いてＮ＋２フレーム目のダイナミックレンジ補正をするといった処理を繰り返している。【０００５】
【特許文献１】特開２００４−２２１６４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した従来の技術では、処理遅延が発生してしまうという課題があった。具体的には、１フレーム前の低域周波数成分を生成する時間以内にＬＰＦ処理が完了しない場合に、当該ＬＰＦ処理が完了しなければ後段の処理を行えないために、処理遅延が発生してしまう。【０００７】
そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、処理負荷を低減することが可能であるとともに、処理遅延を防ぐことが可能である画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するため、本装置は、入力された複数のフレームから構成される動画像において、フレームから生成した低周波成分を用いてダイナミックレンジを補正する画像処理装置であって、前記入力された動画像のフレームから生成された低周波成分を記憶する低周波成分記憶手段と、前記入力された動画像のＮ番目のフレームから低周波成分を生成して、前記低周波成分記憶手段に格納する低周波成分生成手段と、前記入力された動画像のＮ＋１番目以降のフレームと、前記低周波成分生成手段により前記低周波成分記憶手段に格納されたＮ番目のフレームの低周波成分とを用いてダイナミックレンジを補正するダイナミックレンジ補正手段と、を備える。
【発明の効果】
【０００９】
本発明によれば、一つの入力画像から生成された低周波成分を用いて複数の処理対象画像のダイナミックレンジを補正するので、処理負荷を低減することが可能であるとともに、処理遅延を防ぐことが可能である。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１に係る画像処理装置の概要および特徴を示す図である。
【図２】図２は、実施例１に係るダイナミックレンジ補正処理のタイムチャートを説明するための図である。
【図３】図３は、実施例１に係る画像処理装置の構成を示すブロック図である。
【図４】図４は、実施例１に係る画像処理装置によるダイナミックレンジ補正処理を示すフローチャートである。
【図５】図５は、画像処理装置による低周波成分生成期間を説明するための図である。
【図６】図６は、実施例２に係る画像処理装置の構成を示すブロック図である。
【図７】図７は、実施例２に係る画像処理装置によるダイナミックレンジ補正処理を示すフローチャートである。
【図８】図８は、実施例３に係る画像処理装置によるダイナミックレンジ補正処理を示すフローチャートである。
【図９】図９は、実施例４に係る画像処理装置によるダイナミックレンジ補正処理を説明するための図である。
【図１０】図１０は、画像処理プログラムを実行するコンピュータを示す図である。
【図１１】図１１は、従来技術に係る画像処理を説明するための図である。
【符号の説明】
【００１１】
１  入力画像
２  出力画像
１０  画像処理装置
１１  記憶部
１１ａ  入力画像記憶部
１１ｂ  低周波成分記憶部
１２  制御部
１２ａ  入力画像受付部
１２ｂ  低周波成分生成処理部
１２ｃ  ダイナミックレンジ補正部
１２ｃ−１  高周波成分生成処理部
１２ｃ−２  レンジ補正部
１２ｄ  シーンチェンジ検出部
【発明を実施するための最良の形態】
【００１２】
以下に添付図面を参照して、この発明に係る画像処理装置の実施例を詳細に説明する。なお、以下では、実施例１に係る画像処理装置の概要および特徴、画像処理装置の構成および処理の流れを順に説明し、最後に本実施例による効果を説明する。
【実施例１】
【００１３】
［画像処理装置の概要および特徴］
次に、実施例１に係る画像処理装置の概要および特徴を説明する。図１は、実施例１に係る画像処理装置の概要および特徴を示す図である。なお、図１では、生成する低周波成分を「ａ」、処理対象となる原画像を「ｂ」、高周波成分を「ｃ」、ダイナミックレンジ補正で利用する拡大係数および抑制係数をそれぞれ「α」および「β」として説明する。【００１４】
この画像処理装置は、動画のフレームが一定時間ごとに入力され、入力されたフレームを低周波成分と高周波成分とに分離し、分離された一つのフレームの低周波成分の抑制と高周波成分の拡大とによって動画像の視認性を向上させるダイナミックレンジ補正処理を行う装置である。【００１５】
このような構成において、画像処理装置は、入力された複数のフレームから構成される動画像において、フレームから生成した低周波成分を用いてダイナミックレンジを補正することを概要とし、特に、処理負荷を低減することが可能であるとともに、処理遅延を防ぐことが可能である点を主たる特徴とする。【００１６】
この主たる特徴について説明すると、画像処理装置は、入力された動画像のＮ番目のフレームから低周波成分を生成し、生成された低周波成分を低周波成分記憶部に格納する（図１の（１））。具体的に例を挙げると、画像処理装置は、複数のフレームから構成される動画像を外部から入力されると、入力された動画像のＮ番目のフレームからＬＰＦを通して低周波成分を生成し、生成されたＮ番目のフレームの低周波成分「ａ」を低周波成分記憶部に格納する。【００１７】
そして、画像処理装置は、入力された動画像のＮ＋１番目以降のフレームと、低周波成分記憶部に格納されたＮ番目のフレームの低周波成分とを用いてダイナミックレンジを補正する（図１の（２）参照）。【００１８】
上記した例で具体的に説明すると、画像処理装置は、入力された動画像の処理対象となる原画像であるＮ＋１番目のフレーム「ｂ」と低周波成分記憶部に格納されたＮ番目のフレームの低周波成分「ａ」との差分「ｃ＝ｂ−ａ」から高周波成分「ｃ」を生成する。そして、画像処理装置は、Ｎ番目のフレームの低周波成分「ａ」の抑制（抑制係数：β）と、高周波成分「ｃ」の拡大（拡大係数：α）とによって動画像の視認性を向上させるダイナミックレンジ補正処理「ｃ×α＋ａ×β」を行う。そして、画像処理装置は、Ｎ＋２番目以降のフレームについても、上記した手法と同様に、Ｎ番目のフレームから生成された低周波成分を用いて、Ｎ＋２番目以降のフレームのダイナミックレンジ補正処理を行う。なお、Ｎ＋１番目以降のフレームとは、Ｎ＋１番目のフレームやＮ＋２番目のフレームなどの処理対象となる外部から入力される動画像を構成するフレームのことである。【００１９】
ここで、図１で説明したＮ番目のフレームの低周波成分を用いてＮ＋１番目のフレームをダイナミックレンジ補正する例を、タイムチャートを用いて詳細に説明する。図２は、実施例１に係るダイナミックレンジ補正処理のタイムチャートを説明するための図である。【００２０】
［ダイナミックレンジ補正処理のタイムチャート］
図２に示すように、画像処理装置は、動画像のＮ番目のフレームが外部から入力されると（図２の（１）参照）、当該入力された動画像のＮ番目のフレームから低周波成分を生成する（図２の（２）参照）。そして、画像処理装置は、処理対象画像であるＮ＋１番目のフレームが外部から入力されると、当該入力されたＮ＋１番目のフレームと、生成したＮ番目のフレームの低周波成分とを用いてダイナミックレンジ補正処理を行う（図２の（３）参照）。【００２１】
続いて、画像処理装置は、処理対象画像であるＮ＋２番目のフレームが外部から入力されると、当該入力されたＮ＋２番目のフレームと、生成したＮ番目のフレームの低周波成分とを用いてダイナミックレンジ補正処理を行う。その後、画像処理装置は、処理対象画像であるＮ＋３番目のフレームが外部から入力されると、当該入力されたＮ＋３番目のフレームと、生成したＮ番目のフレームの低周波成分とを用いてダイナミックレンジ補正処理を行う。【００２２】
つまり、画像処理装置は、Ｎ＋１番目のフレームやＮ＋２番目のフレームなどのダイナミックレンジ補正を行う場合に、Ｎ番目のフレームから生成された低周波成分を用いて、処理対象画像であるＮ＋１番目のフレームやＮ＋２番目のフレームなどのダイナミックレンジ補正処理を行う。このため、画像処理装置は、従来技術のように、１フレーム前の低周波成分生成処理が完了しないために後段の処理が遅延してしまうということはない。【００２３】
このように、実施例１に係る画像処理装置は、一つのフレームから生成された低周波成分を用いて複数フレームのダイナミックレンジを補正することができる結果、上記した主たる特徴のごとく、処理負荷を低減することが可能であるとともに、処理遅延を防ぐことが可能である。【００２４】
［画像処理装置の構成］
次に、図３を用いて、実施例１に係る画像処理装置の構成を説明する。図３は、実施例１に係る画像処理装置の構成を示すブロック図である。図３に示すように、画像処理装置１０は、記憶部１１と制御部１２とから構成され、入力された動画像の複数のフレームの一つである入力画像１から低周波成分を生成して、ダイナミックレンジ補正処理を行って出力画像２を出力する。【００２５】
記憶部１１は、制御部１２による各種処理に必要なデータや、制御部１２による各種処理結果を記憶し、特に本発明に密接に関連するものとしては、入力画像記憶部１１ａと、低周波成分記憶部１１ｂとを備える。【００２６】
入力画像記憶部１１ａは、外部から画像処理装置１０に入力される動画像のフレームを記憶する。低周波成分記憶部１１ｂは、後述する低周波成分生成処理部１２ｂにより生成される低周波成分を記憶する。【００２７】
制御部１２は、制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、入力画像受付部１２ａと、低周波成分生成処理部１２ｂと、ダイナミックレンジ補正部１２ｃとを備え、これらによって種々の処理を実行する。【００２８】
入力画像受付部１２ａは、外部から画像処理装置１０に入力される動画像のフレームである入力画像を受け付ける。具体的に例を挙げると、入力画像受付部１２ａは、外部から画像処理装置１０に入力される動画データのＮ番目のフレームである入力画像１が入力されると、当該入力された入力画像１を入力画像記憶部１１ａに格納する。なお、外部から受け付ける動画像のフレームは、外部ネットワークからだけではなく、ＣＤ−ＲＯＭなどの記憶媒体などから受け付けても良い。【００２９】
低周波成分生成処理部１２ｂは、入力された動画像のＮ番目のフレームから低周波成分を生成し、低周波成分記憶部１１ｂに格納する。上記した例で具体的に例を挙げると、低周波成分生成処理部１２ｂは、入力画像受付部１２ａにより受け付けられた動画像のＮ番目のフレームを入力画像記憶部１１ａから取得する。そして、低周波成分生成処理部１２ｂは、取得したＮ番目のフレームから低周波成分を生成し、生成されたＮ番目のフレームの低周波成分「ａ」を低周波成分記憶部１１ｂに格納する。【００３０】
ダイナミックレンジ補正部１２ｃは、入力された動画像のＮ＋１番目以降のフレームと、低周波成分生成処理部１２ｂにより低周波成分記憶部１１ｂに格納された低周波成分とを用いてダイナミックレンジを補正し、特に本発明と関係するものとしては、高周波成分生成処理部１２ｃ−１と、レンジ補正部１２ｃ−２とを備える。【００３１】
高周波成分生成処理部１２ｃ−１は、入力された動画像のＮ＋１番目以降のフレームと、低周波成分生成処理部１２ｂにより低周波成分記憶部１１ｂに格納された低周波成分とを用いて高周波成分を生成する。また、レンジ補正部１２ｃ−２は、高周波成分生成処理部１２ｃ−１により生成された高周波成分と、低周波成分生成処理部１２ｂにより低周波成分記憶部１１ｂに格納された低周波成分とを用いてダイナミックレンジを補正する。【００３２】
上記した例で具体的に例を挙げると、高周波成分生成処理部１２ｃ−１は、入力された動画像の処理対象となる原画像であるＮ＋１番目のフレーム「ｂ」と、低周波成分生成処理部１２ｂにより低周波成分記憶部１１ｂに格納された低周波成分「ａ」との差分「ｃ＝ｂ−ａ」から高周波成分「ｃ」を生成する。そして、レンジ補正部１２ｃ−２は、Ｎ番目のフレームの低周波成分「ａ」の抑制（抑制係数：β）と、高周波成分「ｃ」の拡大（拡大係数：α）とによって動画像の視認性を向上させるダイナミックレンジ補正処理「＝ｃ×α＋ａ×β」を行なった結果を出力画像２として出力する。【００３３】
［実施例１に係る画像処理装置による処理］
次に、図４を用いて、実施例１に係る画像処理装置１０によるダイナミックレンジ補正処理を説明する。図４は、実施例１に係る画像処理装置１０によるダイナミックレンジ補正処理を示すフローチャートである。【００３４】
図４に示すように、入力画像受付部１２ａは、外部から画像処理装置１０に動画像のフレームが入力されると（ステップＳ１０１肯定）、当該外部から画像処理装置１０に入力される入力画像を受け付ける（ステップＳ１０２）。具体的に例を挙げると、入力画像受付部１２ａは、外部から画像処理装置１０に入力される動画データのＮ番目のフレームである入力画像１を受け付ける。そして、入力画像受付部１２ａは、入力された入力画像１を入力画像記憶部１１ａに格納する。【００３５】
そして、低周波成分生成処理部１２ｂは、入力された動画像のＮ番目のフレームから低周波成分を生成し、低周波成分記憶部１１ｂに格納する（ステップＳ１０３）。上記した例で具体的に説明すると、低周波成分生成処理部１２ｂは、入力画像受付部１２ａにより受け付けられた動画像のＮ番目のフレームを入力画像記憶部１１ａから取得し、取得したＮ番目のフレームから低周波成分を生成して、生成されたＮ番目のフレームの低周波成分を低周波成分記憶部１１ｂに格納する。【００３６】
その後、ダイナミックレンジ補正部１２ｃは、入力された動画像のＮ＋１番目以降のフレームと、低周波成分生成処理部１２ｂにより低周波成分記憶部１１ｂに格納された低周波成分とを用いてダイナミックレンジを補正する（ステップＳ１０４）。上記した例で具体的に説明すると、ダイナミックレンジ補正部１２ｃは、入力された動画像のＮ＋１番目のフレームと、低周波成分生成処理部１２ｂにより低周波成分記憶部１１ｂに格納された低周波成分とを用いてＮ＋１番目のフレームの高周波成分を生成し、生成したＮ＋１番目のフレームの高周波成分の拡大と、Ｎ番目のフレームの低周波成分の抑制とによってＮ＋１番目のフレームのダイナミックレンジ補正処理を行う。【００３７】
［実施例１による効果］
このように、画像処理装置１０は、入力された動画像のフレームから生成された低周波成分を記憶し、入力された動画像のＮ番目のフレームから低周波成分を生成して所定の記憶部に格納し、入力された動画像のＮ＋１番目以降のフレームと、所定の記憶部に格納されたＮ番目のフレームの低周波成分とを用いてダイナミックレンジを補正することとしたので、処理負荷を低減することが可能であるとともに、処理遅延を防ぐことが可能である。【００３８】
例えば、画像処理装置１０は、入力された複数のフレームから構成される動画像において、フレームから生成した低周波成分を用いてダイナミックレンジを補正する場合に、外部から画像処理装置１０に入力される動画データのＮ番目のフレームから生成した低周波成分を、Ｎ＋１番目以降のフレームであるＮ＋１番目のフレームやＮ＋２番目のフレームなどのダイナミックレンジ補正に利用するので、入力された全てのフレームから低周波成分を生成するのに比べて、処理負荷を低減することが可能であるとともに、処理遅延を防ぐことが可能である。【００３９】
また、画像処理装置１０は、低周波成分を生成する場合に、１フレームの画像データが入力されるまでに生成することとして説明したが、本発明はこれに限定されるものではなく、複数フレームの画像データの入力期間を利用して低周波成分を生成してもよい。【００４０】
具体的に例を挙げると、図５に示すように、画像処理装置１０は、外部から動画像のＮ番目のフレームを受信すると（図５の（１）参照）、受信したＮ番目のフレームの低周波成分を、Ｎ＋３番目のフレームを受信するまでの間に負荷分散して生成する（図５の（２）参照）。【００４１】
そして、画像処理装置１０は、入力されたＮ＋３番目のフレームと、生成したＮ番目のフレームの低周波成分とを用いて、Ｎ＋３番目のフレームの高周波成分を生成し、生成したＮ＋３番目のフレームの高周波成分の拡大と、生成したＮ番目のフレームの低周波成分の抑制とによってＮ＋３番目のダイナミックレンジ補正処理を行う（図５の（３）参照）。また、画像処理装置１０は、Ｎ＋３番目のフレームと同様に、Ｎ＋４番目のフレームやＮ＋５番目のフレームなどのダイナミックレンジ補正処理をＮ番目のフレームの低周波成分を用いて行う。このように、画像処理装置１０は、複数フレームの画像データの入力期間を利用して低周波成分を生成するので、処理負荷を分散することが可能である。なお、図５は、画像処理装置１０による低周波成分生成期間を説明するための図である。
【実施例２】
【００４２】
ところで、実施例１では、外部から画像処理装置１０にリアルタイムに動画像が入力される場合を説明したが、本発明はこれに限定されるものではなく、外部から画像処理装置１０に入力される動画像のフレームを蓄積して処理を行うこともできる。【００４３】
［実施例２に係る画像処理装置の構成］
そこで、以下の実施例２では、図６および図７を用いて、外部から画像処理装置１０に入力される動画像のフレームを蓄積して処理を行う場合を説明する。なお、図６は、実施例２に係る画像処理装置の構成を示すブロック図であり、図７は、実施例２に係る画像処理装置１０によるダイナミックレンジ補正処理を示すフローチャートである。【００４４】
また、図６に示した低周波成分記憶部１１ｂと、入力画像受付部１２ａと、低周波成分生成処理部１２ｂと、ダイナミックレンジ補正部１２ｃとは、実施例１において図３に示した各機能部と同様の機能を有するので、ここでは、異なる機能を有する入力画像記憶部１１ａと、シーンチェンジ検出部１２ｄとについて説明する。【００４５】
入力画像記憶部１１ａは、入力された動画像のフレームを記憶する。例えば、入力画像記憶部１１ａは、Ｎ番目のフレーム、Ｎ＋１番目のフレーム、Ｎ＋２番目のフレームなどのように、入力された動画像のフレームを蓄積する形で記憶する。【００４６】
シーンチェンジ検出部１２ｄは、入力画像記憶部１１ａに記憶される入力された動画像のフレームから低周波成分が生成されたフレームと、入力画像記憶部１１ａに記憶される当該フレームより後段以降のフレームとを比較して、シーンチェンジが検出された場合に、低周波成分生成処理部１２ｂに通知する。【００４７】
具体的に例を挙げて説明すると、シーンチェンジ検出部１２ｄは、入力された動画像のフレームから低周波成分が生成されたフレームと、当該フレームより後段以降のフレームとにおいて、画素毎の差の絶対値の総和を算出する。そして、シーンチェンジ検出部１２ｄは、算出した絶対値の総和が一定の閾値を超えた場合に、シーンチェンジが発生した旨を低周波成分生成処理部１２ｂに通知する。なお、低周波成分生成処理部１２ｂは、シーンチェンジ検出部１２ｄからシーンチェンジが検出された場合に、シーンチェンジが発生したフレームから低周波成分を生成する。【００４８】
［実施例２に係る画像処理装置によるダイナミックレンジ補正処理］
実施例２に係る画像処理装置１０によるダイナミックレンジ補正処理を示すフローチャートにおいて、図７に示す変数「ｉ」は、低周波成分生成処理部１２ｂによりシーンチェンジ前のフレームから生成された低周波成分を示しており、変数「ｊ」は、当該フレームより後段以降のフレームを示している。そして、上記したように、「ｊ」フレームにおいてシーンチェンジが発生した場合には、当該「ｊ」フレームの低周波成分を生成し、この処理を最終フレームまで繰り返し行う。また、入力された動画像のフレームは、入力画像記憶部１１ａに蓄積した形で記憶している。【００４９】
このような構成において、画像処理装置１０は、０フレームの低周波成分を生成すると（ステップＳ２０１肯定）、ｉフレームをｊフレームの低周波成分を用いてダイナミックレンジを補正する（ステップＳ２０２）。具体的に例を挙げて説明すると、画像処理装置１０は、実施例１と同様に０番目のフレームの低周波成分を生成すると、当該０番目のフレームの低周波成分からダイナミックレンジの補正を行う。【００５０】
そして、画像処理装置１０は、ｉフレームとｉ＋１フレームとの画像を比較して（ステップＳ２０３）、シーンチェンジがある、または、ｉ−ｊが所定数より大きい場合に（ステップＳ２０４肯定）、ｉ＝ｊ＝ｉ＋１として、ｊフレームの低周波成分を生成する（ステップＳ２０５）。【００５１】
上記した例で具体的に説明すると、画像処理装置１０は、０番目のフレーム（ｉ番目のフレーム）と１番目のフレーム（ｉ＋１番目のフレーム）とである２つのフレームの入力画像において、シーンチェンジが発生したか否かを判定するために、画素毎の差の絶対値の総和を算出する。ここで、画像処理装置１０は、算出された絶対値の総和が一定の閾値を超えた場合に、シーンチェンジが発生したと判定する。続いて、画像処理装置１０は、シーンチェンジの比較回数となるｉ−ｊが予め設定する所定数（例えば、「２」など）より大きい、または、１番目のフレーム（ｉ＋１番目のフレーム）においてシーンチェンジが発生したと判定すると、ｉ＝ｊ＝ｉ＋１として、シーンチェンジが発生した１番目のフレーム（ｊ番目のフレーム）の低周波成分を生成する。【００５２】
続いて、画像処理装置１０は、ｉが最終フレームである場合に（ステップＳ２０６肯定）、ｉフレームをｊフレームの低周波成分を用いてダイナミックレンジの補正を行う（ステップＳ２０７）。上記した例で具体的に説明すると、画像処理装置１０は、１番目のフレーム（ｉ番目のフレーム）が最終フレームである場合に、１番目のフレーム（ｉ番目のフレーム）を１番目のフレーム（ｊ番目のフレーム）の低周波成分を用いてダイナミックレンジの補正を行う。【００５３】
また、画像処理装置１０は、ステップＳ２０４においてシーンチェンジがなく、かつ、シーンチェンジの比較回数となるｉ−ｊが予め設定する所定数（例えば、「２」など）以下である場合に（ステップＳ２０４否定）、ｉ＝ｉ＋１として（ステップＳ２０８）、新規に低周波成分を生成しない。また、画像処理装置１０は、ステップＳ２０６においてｉ番目のフレームが最終フレームでない場合に（ステップＳ２０６否定）、後段のフレームの処理を行う。【００５４】
ここで、シーンチェンジが３番目のフレームにおいて発生する場合について説明する。例えば、画像処理装置１０は、ステップＳ２０４において０番目のフレームと１番目のフレームとでシーンチェンジが発生していない場合に、ステップＳ２０８において比較対象のフレームを２番目のフレームとする。そして、画像処理装置１０は、ステップＳ２０２において１番目のフレームを０番目のフレームの低周波成分を用いてダイナミックレンジを補正する。続いて、画像処理装置１０は、ステップＳ２０４において１番目のフレームと２番目のフレームとでシーンチェンジが発生していない場合に、同様に、ステップＳ２０８において比較対象のフレームを３番目のフレームとする。その後、画像処理装置１０は、ステップＳ２０２において２番目のフレームを０番目のフレームの低周波成分を用いてダイナミックレンジを補正する。そして、画像処理装置１０は、ステップＳ２０４において２番目のフレームと３番目のフレームとでシーンチェンジが発生すると、３番目のフレームの低周波成分を生成する。このように、画像処理装置１０は、上記した処理を最終フレームまで繰り返して、最終フレームになると、当該最終フレームのダイナミックレンジを補正して処理を終了する。【００５５】
つまり、実施例２に係る画像処理装置１０は、シーンチェンジが発生した場合に低周波成分を生成し、シーンチェンジが発生しなくても、予め設定する所定数を超えた場合には、新規に低周波成分を生成する。また、画像処理装置１０は、ダイナミックレンジの補正を常に最新の低周波成分を用いて行う。【００５６】
［実施例２による効果］
このように、実施例２に係る画像処理装置１０は、最新の低周波成分を用いて処理対象フレームのダイナミックレンジを補正するので、シーンチェンジ前の画質の影響を受けることなくダイナミックレンジを補正することが可能であるとともに、所定数を超えると新規に低周波成分を生成するので、シーンチェンジの判定となる画素毎の差の絶対値などの数値だけでは認識できない範囲にも対応して新規に低周波成分を生成することが可能である。
【実施例３】
【００５７】
ところで、実施例２では、シーンチェンジが発生した場合、または、所定数に達した場合に、低周波成分を生成してダイナミックレンジを補正する場合を説明したが、本発明はこれに限定されるものではなく、シーンチェンジが発生した場合に低周波成分を生成し、低周波成分を生成しなかったフレームについては線形補間により低周波成分を生成してダイナミックレンジを補正することもできる。【００５８】
［実施例３に係る画像処理装置によるダイナミックレンジ補正処理］
そこで、以下の実施例３では、図８を用いて、シーンチェンジが発生してはじめて低周波成分を生成し、低周波成分を生成しなかったフレームについては線形補間により低周波成分を生成する場合を説明する。なお、図８は、実施例３に係る画像処理装置１０によるダイナミックレンジ補正処理を示すフローチャートである。【００５９】
図８に示すように、画像処理装置１０は、０フレームの低周波成分を生成すると（ステップＳ３０１肯定）、ｊフレームとｉ＋１フレームとの入力画像を比較する（ステップＳ３０２）。具体的に例を挙げて説明すると、画像処理装置１０は、実施例１と同様に０フレームの低周波成分を生成すると、０番目のフレーム（ｊ番目のフレーム）と１番目のフレーム（ｉ＋１番目のフレーム）との２つのフレームの入力画像において、シーンチェンジが発生したか否かを判定するために画素毎の差の絶対値の総和を算出する。【００６０】
そして、画像処理装置１０は、シーンチェンジがある、または、ｉ＋１フレームが最終フレームである場合に（ステップＳ３０３肯定）、ｋ＝ｊ、ｉ＝ｊ＝ｉ＋１として、ｊ番目のフレームの低周波成分を生成する（ステップＳ３０４）。【００６１】
上記した例で具体的に説明すると、画像処理装置１０は、０番目のフレームと１番目のフレームとでシーンチェンジがある、または、１番目のフレーム（ｉ＋１番目のフレーム）が最終フレームである場合に、ｋ＝ｊ、ｉ＝ｊ＝ｉ＋１として、シーンチェンジが発生した１番目のフレーム（ｊ番目のフレーム）の低周波成分を生成する。【００６２】
続いて、画像処理装置１０は、ｎ＝ｋとして（ステップＳ３０５）、ｋフレームとｊフレームとの低周波成分を線形補間して、ｎフレームの低周波成分を生成し（ステップＳ３０６）、生成したｎフレームの低周波成分を用いてダイナミックレンジ補正を行う（ステップＳ３０７）。【００６３】
上記した例で具体的に説明すると、画像処理装置１０は、ｎ＝ｋとして、シーンチェンジ前の０番目のフレーム（ｋ番目のフレーム）とシーンチェンジ後の１番目のフレーム（ｊ番目のフレーム）との低周波成分を用いて、シーンチェンジ前のフレームとシーンチェンジ後のフレームとの間のフレーム（ｎ番目のフレーム）の低周波成分を線形補間により生成する。ここでは、０番目のフレームと１番目のフレームであるため、ｎ番目のフレームが存在しないが、例えば、シーンチェンジが３番目のフレームにおいて発生した場合に、０番目のフレームと３番目のフレームとの低周波成分を線形補間して１番目のフレームと２番目のフレームとの低周波成分を生成する。そして、画像処理装置１０は、生成したｎ番目のフレーム（線形補間により低周波成分を生成されたフレーム）の低周波成分を用いてダイナミックレンジの補正を行う。【００６４】
その後、画像処理装置１０は、ｎ＝ｎ＋１として（ステップＳ３０８）、ｎ＝ｊである場合に（ステップＳ３０９肯定）、ｎが最終フレームであるかどうかの判定を行う（ステップＳ３１０）。そして、画像処理装置１０は、ｎが最終フレームである場合に（ステップＳ３１０肯定）、ｋフレームとｊフレームとの低周波成分を線形補間して、ｎフレームの低周波成分を生成し（ステップＳ３１１）、生成したｎフレームの低周波成分を用いてダイナミックレンジ補正を行う（ステップＳ３１２）。【００６５】
上記した例で具体的に説明すると、画像処理装置１０は、ｎ＝ｎ＋１として、シーンチェンジ前のフレームとシーンチェンジ後のフレームとの間のフレームの低周波成分を生成した場合に（ｎ＝ｊ）、ｎ番目のフレームが外部から入力された動画像の最終フレームであるかどうかの判定を行う。そして、画像処理装置１０は、ｎ番目のフレームが最終フレームである場合に、ｋ番目のフレームとｊ番目のフレームとの低周波成分を線形補間して、ｎ番目のフレームの低周波成分を生成する。続いて、画像処理装置１０は、生成したｎ番目のフレームの低周波成分を用いてダイナミックレンジの補正を行う。【００６６】
また、画像処理装置１０は、ステップＳ３０３においてシーンチェンジがなく、かつ、ｉ＋１番目のフレームが最終フレームではない場合に（ステップＳ３０３否定）、ｉ＝ｉ＋１として（ステップＳ３１３）、後段のフレームとの入力画像を比較する。また、画像処理装置１０は、ステップＳ３０９においてシーンチェンジが発生したフレームまで、または、最終フレームまでの低周波成分を生成していない場合に（ステップＳ３０９否定）、低周波成分を生成する処理を繰り返し行う。また、画像処理装置１０は、ステップＳ３１０においてｎが最終フレームでない場合に（ステップＳ３１０否定）、シーンチェンジが発生したフレームより後段のフレームの処理を行う。【００６７】
つまり、実施例３に係る画像処理装置１０は、シーンチェンジが発生してはじめて低周波成分を生成する。そして、シーンチェンジが発生しなかったために低周波成分を生成していないフレームについては、線形補間により低周波成分を生成する。【００６８】
このように、実施例３に係る画像処理装置１０は、シーンチェンジが発生するまで低周波成分を生成しないので、処理負荷を低減することが可能であるとともに、低周波成分を生成しなかったフレームについては、線形補間により低周波成分を生成するので、画像の精度をより高くすることが可能である。【００６９】
また、上記実施例３では、線形補間により低周波成分を生成する場合を説明したが、本発明はこれに限定されるものではなく、線形補間などを用いることなく、最も近いフレームを用いて低周波成分を生成することもできる。
【実施例４】
【００７０】
ところで、実施例１では、Ｎ番目のフレームから生成された低周波成分を用いてＮ＋１番目以降のフレームのダイナミックレンジを補正する場合を説明したが、本発明はこれに限定されるものではなく、複数の（離散化された）ＬＰＦを用いて、Ｎ番目のフレームの複数階層のＬＰＦ結果を用いて、当該Ｎ番目のフレームの複数階層のＬＰＦ結果とＮ＋１番目以降のフレームとを合成して最終的なＬＰＦ結果を生成し、この最終的なＬＰＦ結果を用いてダイナミックレンジを補正することもできる。【００７１】
［実施例４に係る画像処理装置によるダイナミックレンジ補正処理］
そこで、以下の実施例４では、図９を用いて、複数階層のＬＰＦ結果と、処理対象画像とを合成して最終的なＬＰＦ結果を生成してダイナミックレンジを補正する場合を説明する。なお、図９は、実施例４に係る画像処理装置１０によるダイナミックレンジ補正処理を説明するための図である。【００７２】
図９に示すように、画像処理装置１０は、入力された動画像のＮ番目のフレームを縮小処理して縮小画像を生成し、生成されたＮ番目のフレームの縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の平滑化画像を生成し、生成されたＮ番目のフレームの複数の平滑化画像の一つまたは複数と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して合成低周波成分を生成して、生成された合成低周波成分を低周波成分記憶／合成低周波成分生成部に格納する（図９の（１）参照）。【００７３】
具体的に例を挙げると、画像処理装置１０は、複数のフレームから構成される動画像が外部から入力されると、入力された動画像のＮ番目のフレームを縮小処理して縮小画像を生成する。そして、画像処理装置１０は、生成されたＮ番目のフレームの縮小画像に対して、予め設定された複数のレベル値範囲（０〜２５５階調を多層化）に対応する平滑化処理を実施して複数の平滑化画像を生成する。続いて、画像処理装置１０は、生成されたＮ番目のフレームの複数の平滑化画像の一つまたは複数と外部から受け付けた動画像のＮ＋１番目の処理対象であるフレームとを合成してエッジ保存型のＬＰＦ処理を行なうことで合成低周波成分「ａ」を生成して、低周波成分記憶／合成低周波成分生成部に格納する。【００７４】
つまり、画像処理装置１０は、縮小処理されたＮ番目のフレームの平滑化画像を用いて、当該Ｎ番目のフレームの平滑化画像が保持しきれないエッジなどの細かい情報を、処理対象となるＮ＋１番目のフレームから取得しつつ合成することで、エッジ情報のある合成低周波成分を生成する。【００７５】
そして、画像処理装置１０は、低周波成分記憶／合成低周波成分生成部に格納された合成低周波成分を用いてダイナミックレンジを補正する（図９の（２）参照）。【００７６】
上記した例で具体的に説明すると、画像処理装置１０は、入力された動画像の処理対象であるＮ＋１番目のフレーム「ｂ」と、低周波成分記憶／合成低周波成分生成部に格納された合成低周波成分「ａ」との差分「ｃ＝ｂ−ａ」から高周波成分「ｃ」を生成する。そして、画像処理装置１０は、合成低周波成分「ａ」の抑制（抑制係数：β）と、高周波成分「ｃ」の拡大（拡大係数：α）とによって動画像の視認性を向上させるダイナミックレンジ補正処理「ｃ×α＋ａ×β」を行なう。そして、画像処理装置１０は、Ｎ＋１番目以降のフレーム（例えば、Ｎ＋２番目のフレームやＮ＋３番目のフレームなど）についても、Ｎ番目のフレームの複数の平滑化画像を同様に用いて、Ｎ＋２番目のフレームやＮ＋３番目のフレームなどと合成するエッジ保存型のＬＰＦ処理により合成低周波成分を生成して、ダイナミックレンジ補正処理を行なう。【００７７】
［実施例４による効果］
このように、実施例４に係る画像処理装置１０は、複数階層のＬＰＦ結果を用いて、当該複数階層のＬＰＦ結果と、処理対象画像とを合成して最終的なＬＰＦ結果を生成してダイナミックレンジを補正するので、エッジを正確に再現した画像を出力することが可能である。
【実施例５】
【００７８】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、（１）システム構成、（２）低周波成分の生成、（３）プログラムに区分けして異なる実施例を説明する。【００７９】
（１）システム構成
例えば、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメタを含む情報（例えば、図３に示した「低周波成分記憶部１１ｂ」の情報）については、特記する場合を除いて任意に変更することができる。【００８０】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、例えば、高周波成分生成処理部１２ｃ−１およびレンジ補正部１２ｃ−２を、ダイナミックレンジ補正部１２ｃとして統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。【００８１】
（２）低周波成分の生成
また、上記実施例１では、一つのフレームから低周波成分を生成して、生成した低周波成分を用いてダイナミックレンジを補正する場合を説明したが、本発明はこれに限定されるものではなく、複数のフレームから低周波成分を生成して、生成した低周波成分を用いてダイナミックレンジを補正することもできる。【００８２】
例えば、画像処理装置１０は、入力された動画像のＮ番目のフレームと、Ｎ＋１番目のフレームと、Ｎ＋２番目のフレームとから低周波成分を生成する。そして、画像処理装置１０は、生成した低周波成分を用いて低周波成分の抑制と高周波成分の拡大とによって動画像の視認性を向上させるダイナミックレンジ補正を行う。なお、複数のフレームから低周波成分を生成する場合には、各フレームを利用する比率を「Ｎ：Ｎ＋１：Ｎ＋２＝５：４：１」などとしたり、各フレームから取得する部分を明るさで分けて利用したりすることもできる。この結果、画像処理装置１０は、画像の大まかな情報を保持し、有意な変化が少ない低周波成分を複数のフレームにて共用するので、画質への影響を最小限に抑えることが可能である。【００８３】
（３）プログラム
なお、本実施例で説明した画像処理装置は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１０を用いて、上記の実施例に示した画像処理装置と同様の機能を有する画像処理プログラムを実行するコンピュータの一例を説明する。図１０は、画像処理プログラムを実行するコンピュータを示す図である。【００８４】
図１０に示すように、画像処理装置としてのコンピュータ１１０は、ＨＤＤ１３０、ＣＰＵ１４０、ＲＯＭ１５０およびＲＡＭ１６０をバス１８０などで接続して構成される。【００８５】
ＲＯＭ１５０には、上記の実施例１に示した画像処理装置１０と同様の機能を発揮する画像処理プログラム、つまり、図１０に示すように低周波成分生成プログラム１５０ａと、ダイナミックレンジ補正プログラム１５０ｂとが、あらかじめ記憶されている。なお、これらのプログラム１５０ａと１５０ｂとについては、図３に示した画像処理装置の各構成要素と同様、適宜統合または、分散してもよい。【００８６】
そして、ＣＰＵ１４０がこれらのプログラム１５０ａとプログラム１５０ｂとをＲＯＭ１５０から読み出して実行することで、図１０に示すように、プログラム１５０ａとプログラム１５０ｂとは、低周波成分生成プロセス１４０ａと、ダイナミックレンジ補正プロセス１４０ｂとして機能するようになる。なお、プロセス１４０ａとプロセス１４０ｂとは、図３に示した、低周波成分生成処理部１２ｂと、ダイナミックレンジ補正部１２ｃとにそれぞれ対応する。【００８７】
そして、ＣＰＵ１４０はＲＡＭ１６０に記録された入力画像データ１６０ａと、低周波成分データ１６０ｂとに基づいて画像処理プログラムを実行する。【００８８】
なお、上記した各プログラム１５０ａと１５０ｂとについては、必ずしも最初からＲＯＭ１５０に記憶させておく必要はなく、例えば、コンピュータ１１０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、またはコンピュータ１１０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１１０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ１１０がこれから各プログラムを読み出して実行するようにしてもよい。
【産業上の利用可能性】
【００８９】
以上のように、本発明に係る画像処理装置、画像処理方法および画像処理プログラムは、入力された複数のフレームから構成される動画像において、フレームから生成した低周波成分を用いてダイナミックレンジを補正する場合に有用であり、特に、処理負荷を低減するとともに、処理遅延を防ぐことに適する。
【図１】
2009087760.tif 000003
【図２】
2009087760.tif 000004
【図３】
2009087760.tif 000005
【図４】
2009087760.tif 000006
【図５】
2009087760.tif 000007
【図６】
2009087760.tif 000008
【図７】
2009087760.tif 000009
【図８】
2009087760.tif 000010
【図９】
2009087760.tif 000011
【図１０】
2009087760.tif 000012
【図１１】
2009087760.tif 000013
【手続補正書】
【提出日】平成22年3月10日(2010.3.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力された複数のフレームから構成される動画像において、フレームから生成した低周波成分を用いてダイナミックレンジを補正する画像処理装置であって、
前記入力された動画像のフレームから生成された低周波成分を記憶する低周波成分記憶手段と、
前記入力された動画像のＮ番目のフレームから低周波成分を生成して、前記低周波成分記憶手段に格納する低周波成分生成手段と、
前記入力された動画像のＮ＋１番目以降のフレームと、前記低周波成分生成手段により前記低周波成分記憶手段に格納されたＮ番目のフレームの低周波成分とを用いてダイナミックレンジを補正するダイナミックレンジ補正手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記低周波成分生成手段は、前記入力された動画像の複数フレームから低周波成分を生成して前記低周波成分記憶手段に格納し、
前記ダイナミックレンジ補正手段は、前記入力された動画像の処理対象フレームと、前記低周波成分生成手段により前記低周波成分記憶手段に格納された低周波成分とを用いてダイナミックレンジを補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
入力された動画像のフレームを記憶する入力画像記憶手段と、
前記入力画像記憶手段により記憶される前記入力された動画像のフレームから低周波成分が生成されたフレームと、前記入力画像記憶手段により記憶される当該フレームより後段以降のフレームとを比較して、シーンチェンジが検出された場合に、前記低周波成分生成手段に通知するシーンチェンジ検出手段と、をさらに備え、
前記低周波成分生成手段は、前記シーンチェンジ検出手段によりシーンチェンジが検出された場合に、前記シーンチェンジが発生したフレームから低周波成分を生成し、
前記ダイナミックレンジ補正手段は、前記低周波成分生成手段により生成された低周波成分を用いてダイナミックレンジを補正することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記低周波成分生成手段は、前記シーンチェンジ検出手段によりシーンチェンジが検出された旨の通知を受け付けていない場合でも、予め決定する所定数を超えると、当該所定数を超えた際のフレームから低周波成分を生成し、
前記ダイナミックレンジ補正手段は、前記低周波成分生成手段により生成された低周波成分を用いてダイナミックレンジを補正することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
入力された動画像のフレームを記憶する入力画像記憶手段と、
前記入力画像記憶手段により記憶される前記入力された動画像のフレームから低周波成分が生成されたフレームと、前記入力画像記憶手段により記憶される当該フレームより後段以降のフレームとを比較して、シーンチェンジが検出された場合に、前記低周波成分生成手段に通知するシーンチェンジ検出手段と、をさらに備え、
前記低周波成分生成手段は、前記シーンチェンジ検出手段によりシーンチェンジが検出された場合に、前記シーンチェンジが発生したフレームから低周波成分を生成し、シーンチェンジ前のフレームから生成された低周波成分と、シーンチェンジが発生したフレームから生成された低周波成分とを線形補間して、シーンチェンジが発生するまでのフレームの低周波成分を生成し、
前記ダイナミックレンジ補正手段は、前記低周波成分生成手段により生成された低周波成分を用いてダイナミックレンジを補正することを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
入力された複数のフレームから構成される動画像において、フレームから生成した低周波成分を用いてダイナミックレンジを補正する画像処理装置の画像処理方法であって、
前記入力された動画像のフレームから生成された低周波成分を記憶する低周波成分記憶工程と、
前記入力された動画像のＮ番目のフレームから低周波成分を生成して、前記低周波成分記憶部に格納する低周波成分生成工程と、
前記入力された動画像のＮ＋１番目以降のフレームと、前記低周波成分生成工程により前記低周波成分記憶部に格納されたＮ番目のフレームの低周波成分とを用いてダイナミックレンジを補正するダイナミックレンジ補正工程と、
を含んだことを特徴とする画像処理方法。
【請求項７】
入力された複数のフレームから構成される動画像において、フレームから生成した低周波成分を用いてダイナミックレンジを補正する方法をコンピュータに実行させる画像処理プログラムであって、
前記入力された動画像のフレームから生成された低周波成分を記憶する低周波成分記憶手順と、
前記入力された動画像のＮ番目のフレームから低周波成分を生成して、前記低周波成分記憶部に格納する低周波成分生成手順と、
前記入力された動画像のＮ＋１番目以降のフレームと、前記低周波成分生成手順により前記低周波成分記憶部に格納されたＮ番目のフレームの低周波成分とを用いてダイナミックレンジを補正するダイナミックレンジ補正手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力された入力画像から生成した低周波成分を用いてダイナミックレンジを補正する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、入力される画像データの細かい情報を再現するダイナミックレンジを補正する処理において、低域周波数のみを通過させるフィルタであるＬＰＦ（Low  Pass  Filter：ローパスフィルタ）を利用して画像の低域周波数成分を生成するＬＰＦ処理がある。そして、入力される画像データから低域周波数成分を生成するＬＰＦ処理は、ＬＰＦのフィルタサイズが大きく、処理が重いために処理速度を向上させることが困難である。
【０００３】
そこで最近では、ＬＰＦ処理による処理遅延を防ぐための技術が開示されている。例えば、特許文献１では、図１１に示すように、１フレーム前の縮小画像を利用した低域周波数成分生成処理を行うことで処理負荷を分散するとともに、ＬＰＦ処理による処理遅延を防ぐことができる。
【０００４】
具体的に説明すると、特許文献１では、Ｎフレーム目の画像データを受信すると、受信したＮフレーム目から低周波成分を生成して、生成したＮフレームの低周波成分を用いてＮ＋１フレーム目のダイナミックレンジ補正処理を行う。つまり、特許文献１では、Ｎフレーム目の低周波成分を用いてＮ＋１フレーム目のダイナミックレンジ補正処理をして、Ｎ＋１フレーム目の低周波成分を用いてＮ＋２フレーム目のダイナミックレンジ補正をするといった処理を繰り返している。
【０００５】
【特許文献１】特開２００４−２２１６４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した従来の技術では、処理遅延が発生してしまうという課題があった。具体的には、１フレーム前の低域周波数成分を生成する時間以内にＬＰＦ処理が完了しない場合に、当該ＬＰＦ処理が完了しなければ後段の処理を行えないために、処理遅延が発生してしまう。
【０００７】
そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、処理負荷を低減することが可能であるとともに、処理遅延を防ぐことが可能である画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するため、本装置は、入力された複数のフレームから構成される動画像において、フレームから生成した低周波成分を用いてダイナミックレンジを補正する画像処理装置であって、前記入力された動画像のフレームから生成された低周波成分を記憶する低周波成分記憶手段と、前記入力された動画像のＮ番目のフレームから低周波成分を生成して、前記低周波成分記憶手段に格納する低周波成分生成手段と、前記入力された動画像のＮ＋１番目以降のフレームと、前記低周波成分生成手段により前記低周波成分記憶手段に格納されたＮ番目のフレームの低周波成分とを用いてダイナミックレンジを補正するダイナミックレンジ補正手段と、を備える。
【発明の効果】
【０００９】
本発明によれば、一つの入力画像から生成された低周波成分を用いて複数の処理対象画像のダイナミックレンジを補正するので、処理負荷を低減することが可能であるとともに、処理遅延を防ぐことが可能である。
【発明を実施するための最良の形態】
【００１０】
以下に添付図面を参照して、この発明に係る画像処理装置の実施例を詳細に説明する。なお、以下では、実施例１に係る画像処理装置の概要および特徴、画像処理装置の構成および処理の流れを順に説明し、最後に本実施例による効果を説明する。
【実施例１】
【００１１】
［画像処理装置の概要および特徴］
次に、実施例１に係る画像処理装置の概要および特徴を説明する。図１は、実施例１に係る画像処理装置の概要および特徴を示す図である。なお、図１では、生成する低周波成分を「ａ」、処理対象となる原画像を「ｂ」、高周波成分を「ｃ」、ダイナミックレンジ補正で利用する拡大係数および抑制係数をそれぞれ「α」および「β」として説明する。
【００１２】
この画像処理装置は、動画のフレームが一定時間ごとに入力され、入力されたフレームを低周波成分と高周波成分とに分離し、分離された一つのフレームの低周波成分の抑制と高周波成分の拡大とによって動画像の視認性を向上させるダイナミックレンジ補正処理を行う装置である。
【００１３】
このような構成において、画像処理装置は、入力された複数のフレームから構成される動画像において、フレームから生成した低周波成分を用いてダイナミックレンジを補正することを概要とし、特に、処理負荷を低減することが可能であるとともに、処理遅延を防ぐことが可能である点を主たる特徴とする。
【００１４】
この主たる特徴について説明すると、画像処理装置は、入力された動画像のＮ番目のフレームから低周波成分を生成し、生成された低周波成分を低周波成分記憶部に格納する（図１の（１））。具体的に例を挙げると、画像処理装置は、複数のフレームから構成される動画像を外部から入力されると、入力された動画像のＮ番目のフレームからＬＰＦを通して低周波成分を生成し、生成されたＮ番目のフレームの低周波成分「ａ」を低周波成分記憶部に格納する。
【００１５】
そして、画像処理装置は、入力された動画像のＮ＋１番目以降のフレームと、低周波成分記憶部に格納されたＮ番目のフレームの低周波成分とを用いてダイナミックレンジを補正する（図１の（２）参照）。
【００１６】
上記した例で具体的に説明すると、画像処理装置は、入力された動画像の処理対象となる原画像であるＮ＋１番目のフレーム「ｂ」と低周波成分記憶部に格納されたＮ番目のフレームの低周波成分「ａ」との差分「ｃ＝ｂ−ａ」から高周波成分「ｃ」を生成する。そして、画像処理装置は、Ｎ番目のフレームの低周波成分「ａ」の抑制（抑制係数：β）と、高周波成分「ｃ」の拡大（拡大係数：α）とによって動画像の視認性を向上させるダイナミックレンジ補正処理「ｃ×α＋ａ×β」を行う。そして、画像処理装置は、Ｎ＋２番目以降のフレームについても、上記した手法と同様に、Ｎ番目のフレームから生成された低周波成分を用いて、Ｎ＋２番目以降のフレームのダイナミックレンジ補正処理を行う。なお、Ｎ＋１番目以降のフレームとは、Ｎ＋１番目のフレームやＮ＋２番目のフレームなどの処理対象となる外部から入力される動画像を構成するフレームのことである。
【００１７】
ここで、図１で説明したＮ番目のフレームの低周波成分を用いてＮ＋１番目のフレームをダイナミックレンジ補正する例を、タイムチャートを用いて詳細に説明する。図２は、実施例１に係るダイナミックレンジ補正処理のタイムチャートを説明するための図である。
【００１８】
［ダイナミックレンジ補正処理のタイムチャート］
図２に示すように、画像処理装置は、動画像のＮ番目のフレームが外部から入力されると（図２の（１）参照）、当該入力された動画像のＮ番目のフレームから低周波成分を生成する（図２の（２）参照）。そして、画像処理装置は、処理対象画像であるＮ＋１番目のフレームが外部から入力されると、当該入力されたＮ＋１番目のフレームと、生成したＮ番目のフレームの低周波成分とを用いてダイナミックレンジ補正処理を行う（図２の（３）参照）。
【００１９】
続いて、画像処理装置は、処理対象画像であるＮ＋２番目のフレームが外部から入力されると、当該入力されたＮ＋２番目のフレームと、生成したＮ番目のフレームの低周波成分とを用いてダイナミックレンジ補正処理を行う。その後、画像処理装置は、処理対象画像であるＮ＋３番目のフレームが外部から入力されると、当該入力されたＮ＋３番目のフレームと、生成したＮ番目のフレームの低周波成分とを用いてダイナミックレンジ補正処理を行う。
【００２０】
つまり、画像処理装置は、Ｎ＋１番目のフレームやＮ＋２番目のフレームなどのダイナミックレンジ補正を行う場合に、Ｎ番目のフレームから生成された低周波成分を用いて、処理対象画像であるＮ＋１番目のフレームやＮ＋２番目のフレームなどのダイナミックレンジ補正処理を行う。このため、画像処理装置は、従来技術のように、１フレーム前の低周波成分生成処理が完了しないために後段の処理が遅延してしまうということはない。
【００２１】
このように、実施例１に係る画像処理装置は、一つのフレームから生成された低周波成分を用いて複数フレームのダイナミックレンジを補正することができる結果、上記した主たる特徴のごとく、処理負荷を低減することが可能であるとともに、処理遅延を防ぐことが可能である。
【００２２】
［画像処理装置の構成］
次に、図３を用いて、実施例１に係る画像処理装置の構成を説明する。図３は、実施例１に係る画像処理装置の構成を示すブロック図である。図３に示すように、画像処理装置１０は、記憶部１１と制御部１２とから構成され、入力された動画像の複数のフレームの一つである入力画像１から低周波成分を生成して、ダイナミックレンジ補正処理を行って出力画像２を出力する。
【００２３】
記憶部１１は、制御部１２による各種処理に必要なデータや、制御部１２による各種処理結果を記憶し、特に本発明に密接に関連するものとしては、入力画像記憶部１１ａと、低周波成分記憶部１１ｂとを備える。
【００２４】
入力画像記憶部１１ａは、外部から画像処理装置１０に入力される動画像のフレームを記憶する。低周波成分記憶部１１ｂは、後述する低周波成分生成処理部１２ｂにより生成される低周波成分を記憶する。
【００２５】
制御部１２は、制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、入力画像受付部１２ａと、低周波成分生成処理部１２ｂと、ダイナミックレンジ補正部１２ｃとを備え、これらによって種々の処理を実行する。
【００２６】
入力画像受付部１２ａは、外部から画像処理装置１０に入力される動画像のフレームである入力画像を受け付ける。具体的に例を挙げると、入力画像受付部１２ａは、外部から画像処理装置１０に入力される動画データのＮ番目のフレームである入力画像１が入力されると、当該入力された入力画像１を入力画像記憶部１１ａに格納する。なお、外部から受け付ける動画像のフレームは、外部ネットワークからだけではなく、ＣＤ−ＲＯＭなどの記憶媒体などから受け付けても良い。
【００２７】
低周波成分生成処理部１２ｂは、入力された動画像のＮ番目のフレームから低周波成分を生成し、低周波成分記憶部１１ｂに格納する。上記した例で具体的に例を挙げると、低周波成分生成処理部１２ｂは、入力画像受付部１２ａにより受け付けられた動画像のＮ番目のフレームを入力画像記憶部１１ａから取得する。そして、低周波成分生成処理部１２ｂは、取得したＮ番目のフレームから低周波成分を生成し、生成されたＮ番目のフレームの低周波成分「ａ」を低周波成分記憶部１１ｂに格納する。
【００２８】
ダイナミックレンジ補正部１２ｃは、入力された動画像のＮ＋１番目以降のフレームと、低周波成分生成処理部１２ｂにより低周波成分記憶部１１ｂに格納された低周波成分とを用いてダイナミックレンジを補正し、特に本発明と関係するものとしては、高周波成分生成処理部１２ｃ−１と、レンジ補正部１２ｃ−２とを備える。
【００２９】
高周波成分生成処理部１２ｃ−１は、入力された動画像のＮ＋１番目以降のフレームと、低周波成分生成処理部１２ｂにより低周波成分記憶部１１ｂに格納された低周波成分とを用いて高周波成分を生成する。また、レンジ補正部１２ｃ−２は、高周波成分生成処理部１２ｃ−１により生成された高周波成分と、低周波成分生成処理部１２ｂにより低周波成分記憶部１１ｂに格納された低周波成分とを用いてダイナミックレンジを補正する。
【００３０】
上記した例で具体的に例を挙げると、高周波成分生成処理部１２ｃ−１は、入力された動画像の処理対象となる原画像であるＮ＋１番目のフレーム「ｂ」と、低周波成分生成処理部１２ｂにより低周波成分記憶部１１ｂに格納された低周波成分「ａ」との差分「ｃ＝ｂ−ａ」から高周波成分「ｃ」を生成する。そして、レンジ補正部１２ｃ−２は、Ｎ番目のフレームの低周波成分「ａ」の抑制（抑制係数：β）と、高周波成分「ｃ」の拡大（拡大係数：α）とによって動画像の視認性を向上させるダイナミックレンジ補正処理「＝ｃ×α＋ａ×β」を行なった結果を出力画像２として出力する。
【００３１】
［実施例１に係る画像処理装置による処理］
次に、図４を用いて、実施例１に係る画像処理装置１０によるダイナミックレンジ補正処理を説明する。図４は、実施例１に係る画像処理装置１０によるダイナミックレンジ補正処理を示すフローチャートである。
【００３２】
図４に示すように、入力画像受付部１２ａは、外部から画像処理装置１０に動画像のフレームが入力されると（ステップＳ１０１肯定）、当該外部から画像処理装置１０に入力される入力画像を受け付ける（ステップＳ１０２）。具体的に例を挙げると、入力画像受付部１２ａは、外部から画像処理装置１０に入力される動画データのＮ番目のフレームである入力画像１を受け付ける。そして、入力画像受付部１２ａは、入力された入力画像１を入力画像記憶部１１ａに格納する。
【００３３】
そして、低周波成分生成処理部１２ｂは、入力された動画像のＮ番目のフレームから低周波成分を生成し、低周波成分記憶部１１ｂに格納する（ステップＳ１０３）。上記した例で具体的に説明すると、低周波成分生成処理部１２ｂは、入力画像受付部１２ａにより受け付けられた動画像のＮ番目のフレームを入力画像記憶部１１ａから取得し、取得したＮ番目のフレームから低周波成分を生成して、生成されたＮ番目のフレームの低周波成分を低周波成分記憶部１１ｂに格納する。
【００３４】
その後、ダイナミックレンジ補正部１２ｃは、入力された動画像のＮ＋１番目以降のフレームと、低周波成分生成処理部１２ｂにより低周波成分記憶部１１ｂに格納された低周波成分とを用いてダイナミックレンジを補正する（ステップＳ１０４）。上記した例で具体的に説明すると、ダイナミックレンジ補正部１２ｃは、入力された動画像のＮ＋１番目のフレームと、低周波成分生成処理部１２ｂにより低周波成分記憶部１１ｂに格納された低周波成分とを用いてＮ＋１番目のフレームの高周波成分を生成し、生成したＮ＋１番目のフレームの高周波成分の拡大と、Ｎ番目のフレームの低周波成分の抑制とによってＮ＋１番目のフレームのダイナミックレンジ補正処理を行う。
【００３５】
［実施例１による効果］
このように、画像処理装置１０は、入力された動画像のフレームから生成された低周波成分を記憶し、入力された動画像のＮ番目のフレームから低周波成分を生成して所定の記憶部に格納し、入力された動画像のＮ＋１番目以降のフレームと、所定の記憶部に格納されたＮ番目のフレームの低周波成分とを用いてダイナミックレンジを補正することとしたので、処理負荷を低減することが可能であるとともに、処理遅延を防ぐことが可能である。
【００３６】
例えば、画像処理装置１０は、入力された複数のフレームから構成される動画像において、フレームから生成した低周波成分を用いてダイナミックレンジを補正する場合に、外部から画像処理装置１０に入力される動画データのＮ番目のフレームから生成した低周波成分を、Ｎ＋１番目以降のフレームであるＮ＋１番目のフレームやＮ＋２番目のフレームなどのダイナミックレンジ補正に利用するので、入力された全てのフレームから低周波成分を生成するのに比べて、処理負荷を低減することが可能であるとともに、処理遅延を防ぐことが可能である。
【００３７】
また、画像処理装置１０は、低周波成分を生成する場合に、１フレームの画像データが入力されるまでに生成することとして説明したが、本発明はこれに限定されるものではなく、複数フレームの画像データの入力期間を利用して低周波成分を生成してもよい。
【００３８】
具体的に例を挙げると、図５に示すように、画像処理装置１０は、外部から動画像のＮ番目のフレームを受信すると（図５の（１）参照）、受信したＮ番目のフレームの低周波成分を、Ｎ＋３番目のフレームを受信するまでの間に負荷分散して生成する（図５の（２）参照）。
【００３９】
そして、画像処理装置１０は、入力されたＮ＋３番目のフレームと、生成したＮ番目のフレームの低周波成分とを用いて、Ｎ＋３番目のフレームの高周波成分を生成し、生成したＮ＋３番目のフレームの高周波成分の拡大と、生成したＮ番目のフレームの低周波成分の抑制とによってＮ＋３番目のダイナミックレンジ補正処理を行う（図５の（３）参照）。また、画像処理装置１０は、Ｎ＋３番目のフレームと同様に、Ｎ＋４番目のフレームやＮ＋５番目のフレームなどのダイナミックレンジ補正処理をＮ番目のフレームの低周波成分を用いて行う。このように、画像処理装置１０は、複数フレームの画像データの入力期間を利用して低周波成分を生成するので、処理負荷を分散することが可能である。なお、図５は、画像処理装置１０による低周波成分生成期間を説明するための図である。
【実施例２】
【００４０】
ところで、実施例１では、外部から画像処理装置１０にリアルタイムに動画像が入力される場合を説明したが、本発明はこれに限定されるものではなく、外部から画像処理装置１０に入力される動画像のフレームを蓄積して処理を行うこともできる。
【００４１】
［実施例２に係る画像処理装置の構成］
そこで、以下の実施例２では、図６および図７を用いて、外部から画像処理装置１０に入力される動画像のフレームを蓄積して処理を行う場合を説明する。なお、図６は、実施例２に係る画像処理装置の構成を示すブロック図であり、図７は、実施例２に係る画像処理装置１０によるダイナミックレンジ補正処理を示すフローチャートである。
【００４２】
また、図６に示した低周波成分記憶部１１ｂと、入力画像受付部１２ａと、低周波成分生成処理部１２ｂと、ダイナミックレンジ補正部１２ｃとは、実施例１において図３に示した各機能部と同様の機能を有するので、ここでは、異なる機能を有する入力画像記憶部１１ａと、シーンチェンジ検出部１２ｄとについて説明する。
【００４３】
入力画像記憶部１１ａは、入力された動画像のフレームを記憶する。例えば、入力画像記憶部１１ａは、Ｎ番目のフレーム、Ｎ＋１番目のフレーム、Ｎ＋２番目のフレームなどのように、入力された動画像のフレームを蓄積する形で記憶する。
【００４４】
シーンチェンジ検出部１２ｄは、入力画像記憶部１１ａに記憶される入力された動画像のフレームから低周波成分が生成されたフレームと、入力画像記憶部１１ａに記憶される当該フレームより後段以降のフレームとを比較して、シーンチェンジが検出された場合に、低周波成分生成処理部１２ｂに通知する。
【００４５】
具体的に例を挙げて説明すると、シーンチェンジ検出部１２ｄは、入力された動画像のフレームから低周波成分が生成されたフレームと、当該フレームより後段以降のフレームとにおいて、画素毎の差の絶対値の総和を算出する。そして、シーンチェンジ検出部１２ｄは、算出した絶対値の総和が一定の閾値を超えた場合に、シーンチェンジが発生した旨を低周波成分生成処理部１２ｂに通知する。なお、低周波成分生成処理部１２ｂは、シーンチェンジ検出部１２ｄからシーンチェンジが検出された場合に、シーンチェンジが発生したフレームから低周波成分を生成する。
【００４６】
［実施例２に係る画像処理装置によるダイナミックレンジ補正処理］
実施例２に係る画像処理装置１０によるダイナミックレンジ補正処理を示すフローチャートにおいて、図７に示す変数「ｉ」は、低周波成分生成処理部１２ｂによりシーンチェンジ前のフレームから生成された低周波成分を示しており、変数「ｊ」は、当該フレームより後段以降のフレームを示している。そして、上記したように、「ｊ」フレームにおいてシーンチェンジが発生した場合には、当該「ｊ」フレームの低周波成分を生成し、この処理を最終フレームまで繰り返し行う。また、入力された動画像のフレームは、入力画像記憶部１１ａに蓄積した形で記憶している。
【００４７】
このような構成において、画像処理装置１０は、０フレームの低周波成分を生成すると（ステップＳ２０１肯定）、ｉフレームをｊフレームの低周波成分を用いてダイナミックレンジを補正する（ステップＳ２０２）。具体的に例を挙げて説明すると、画像処理装置１０は、実施例１と同様に０番目のフレームの低周波成分を生成すると、当該０番目のフレームの低周波成分からダイナミックレンジの補正を行う。
【００４８】
そして、画像処理装置１０は、ｉフレームとｉ＋１フレームとの画像を比較して（ステップＳ２０３）、シーンチェンジがある、または、ｉ−ｊが所定数より大きい場合に（ステップＳ２０４肯定）、ｉ＝ｊ＝ｉ＋１として、ｊフレームの低周波成分を生成する（ステップＳ２０５）。
【００４９】
上記した例で具体的に説明すると、画像処理装置１０は、０番目のフレーム（ｉ番目のフレーム）と１番目のフレーム（ｉ＋１番目のフレーム）とである２つのフレームの入力画像において、シーンチェンジが発生したか否かを判定するために、画素毎の差の絶対値の総和を算出する。ここで、画像処理装置１０は、算出された絶対値の総和が一定の閾値を超えた場合に、シーンチェンジが発生したと判定する。続いて、画像処理装置１０は、シーンチェンジの比較回数となるｉ−ｊが予め設定する所定数（例えば、「２」など）より大きい、または、１番目のフレーム（ｉ＋１番目のフレーム）においてシーンチェンジが発生したと判定すると、ｉ＝ｊ＝ｉ＋１として、シーンチェンジが発生した１番目のフレーム（ｊ番目のフレーム）の低周波成分を生成する。
【００５０】
続いて、画像処理装置１０は、ｉが最終フレームである場合に（ステップＳ２０６肯定）、ｉフレームをｊフレームの低周波成分を用いてダイナミックレンジの補正を行う（ステップＳ２０７）。上記した例で具体的に説明すると、画像処理装置１０は、１番目のフレーム（ｉ番目のフレーム）が最終フレームである場合に、１番目のフレーム（ｉ番目のフレーム）を１番目のフレーム（ｊ番目のフレーム）の低周波成分を用いてダイナミックレンジの補正を行う。
【００５１】
また、画像処理装置１０は、ステップＳ２０４においてシーンチェンジがなく、かつ、シーンチェンジの比較回数となるｉ−ｊが予め設定する所定数（例えば、「２」など）以下である場合に（ステップＳ２０４否定）、ｉ＝ｉ＋１として（ステップＳ２０８）、新規に低周波成分を生成しない。また、画像処理装置１０は、ステップＳ２０６においてｉ番目のフレームが最終フレームでない場合に（ステップＳ２０６否定）、後段のフレームの処理を行う。
【００５２】
ここで、シーンチェンジが３番目のフレームにおいて発生する場合について説明する。例えば、画像処理装置１０は、ステップＳ２０４において０番目のフレームと１番目のフレームとでシーンチェンジが発生していない場合に、ステップＳ２０８において比較対象のフレームを２番目のフレームとする。そして、画像処理装置１０は、ステップＳ２０２において１番目のフレームを０番目のフレームの低周波成分を用いてダイナミックレンジを補正する。続いて、画像処理装置１０は、ステップＳ２０４において１番目のフレームと２番目のフレームとでシーンチェンジが発生していない場合に、同様に、ステップＳ２０８において比較対象のフレームを３番目のフレームとする。その後、画像処理装置１０は、ステップＳ２０２において２番目のフレームを０番目のフレームの低周波成分を用いてダイナミックレンジを補正する。そして、画像処理装置１０は、ステップＳ２０４において２番目のフレームと３番目のフレームとでシーンチェンジが発生すると、３番目のフレームの低周波成分を生成する。このように、画像処理装置１０は、上記した処理を最終フレームまで繰り返して、最終フレームになると、当該最終フレームのダイナミックレンジを補正して処理を終了する。
【００５３】
つまり、実施例２に係る画像処理装置１０は、シーンチェンジが発生した場合に低周波成分を生成し、シーンチェンジが発生しなくても、予め設定する所定数を超えた場合には、新規に低周波成分を生成する。また、画像処理装置１０は、ダイナミックレンジの補正を常に最新の低周波成分を用いて行う。
【００５４】
［実施例２による効果］
このように、実施例２に係る画像処理装置１０は、最新の低周波成分を用いて処理対象フレームのダイナミックレンジを補正するので、シーンチェンジ前の画質の影響を受けることなくダイナミックレンジを補正することが可能であるとともに、所定数を超えると新規に低周波成分を生成するので、シーンチェンジの判定となる画素毎の差の絶対値などの数値だけでは認識できない範囲にも対応して新規に低周波成分を生成することが可能である。
【実施例３】
【００５５】
ところで、実施例２では、シーンチェンジが発生した場合、または、所定数に達した場合に、低周波成分を生成してダイナミックレンジを補正する場合を説明したが、本発明はこれに限定されるものではなく、シーンチェンジが発生した場合に低周波成分を生成し、低周波成分を生成しなかったフレームについては線形補間により低周波成分を生成してダイナミックレンジを補正することもできる。
【００５６】
［実施例３に係る画像処理装置によるダイナミックレンジ補正処理］
そこで、以下の実施例３では、図８を用いて、シーンチェンジが発生してはじめて低周波成分を生成し、低周波成分を生成しなかったフレームについては線形補間により低周波成分を生成する場合を説明する。なお、図８は、実施例３に係る画像処理装置１０によるダイナミックレンジ補正処理を示すフローチャートである。
【００５７】
図８に示すように、画像処理装置１０は、０フレームの低周波成分を生成すると（ステップＳ３０１肯定）、ｊフレームとｉ＋１フレームとの入力画像を比較する（ステップＳ３０２）。具体的に例を挙げて説明すると、画像処理装置１０は、実施例１と同様に０フレームの低周波成分を生成すると、０番目のフレーム（ｊ番目のフレーム）と１番目のフレーム（ｉ＋１番目のフレーム）との２つのフレームの入力画像において、シーンチェンジが発生したか否かを判定するために画素毎の差の絶対値の総和を算出する。
【００５８】
そして、画像処理装置１０は、シーンチェンジがある、または、ｉ＋１フレームが最終フレームである場合に（ステップＳ３０３肯定）、ｋ＝ｊ、ｉ＝ｊ＝ｉ＋１として、ｊ番目のフレームの低周波成分を生成する（ステップＳ３０４）。
【００５９】
上記した例で具体的に説明すると、画像処理装置１０は、０番目のフレームと１番目のフレームとでシーンチェンジがある、または、１番目のフレーム（ｉ＋１番目のフレーム）が最終フレームである場合に、ｋ＝ｊ、ｉ＝ｊ＝ｉ＋１として、シーンチェンジが発生した１番目のフレーム（ｊ番目のフレーム）の低周波成分を生成する。
【００６０】
続いて、画像処理装置１０は、ｎ＝ｋとして（ステップＳ３０５）、ｋフレームとｊフレームとの低周波成分を線形補間して、ｎフレームの低周波成分を生成し（ステップＳ３０６）、生成したｎフレームの低周波成分を用いてダイナミックレンジ補正を行う（ステップＳ３０７）。
【００６１】
上記した例で具体的に説明すると、画像処理装置１０は、ｎ＝ｋとして、シーンチェンジ前の０番目のフレーム（ｋ番目のフレーム）とシーンチェンジ後の１番目のフレーム（ｊ番目のフレーム）との低周波成分を用いて、シーンチェンジ前のフレームとシーンチェンジ後のフレームとの間のフレーム（ｎ番目のフレーム）の低周波成分を線形補間により生成する。ここでは、０番目のフレームと１番目のフレームであるため、ｎ番目のフレームが存在しないが、例えば、シーンチェンジが３番目のフレームにおいて発生した場合に、０番目のフレームと３番目のフレームとの低周波成分を線形補間して１番目のフレームと２番目のフレームとの低周波成分を生成する。そして、画像処理装置１０は、生成したｎ番目のフレーム（線形補間により低周波成分を生成されたフレーム）の低周波成分を用いてダイナミックレンジの補正を行う。
【００６２】
その後、画像処理装置１０は、ｎ＝ｎ＋１として（ステップＳ３０８）、ｎ＝ｊである場合に（ステップＳ３０９肯定）、ｎが最終フレームであるかどうかの判定を行う（ステップＳ３１０）。そして、画像処理装置１０は、ｎが最終フレームである場合に（ステップＳ３１０肯定）、ｋフレームとｊフレームとの低周波成分を線形補間して、ｎフレームの低周波成分を生成し（ステップＳ３１１）、生成したｎフレームの低周波成分を用いてダイナミックレンジ補正を行う（ステップＳ３１２）。
【００６３】
上記した例で具体的に説明すると、画像処理装置１０は、ｎ＝ｎ＋１として、シーンチェンジ前のフレームとシーンチェンジ後のフレームとの間のフレームの低周波成分を生成した場合に（ｎ＝ｊ）、ｎ番目のフレームが外部から入力された動画像の最終フレームであるかどうかの判定を行う。そして、画像処理装置１０は、ｎ番目のフレームが最終フレームである場合に、ｋ番目のフレームとｊ番目のフレームとの低周波成分を線形補間して、ｎ番目のフレームの低周波成分を生成する。続いて、画像処理装置１０は、生成したｎ番目のフレームの低周波成分を用いてダイナミックレンジの補正を行う。
【００６４】
また、画像処理装置１０は、ステップＳ３０３においてシーンチェンジがなく、かつ、ｉ＋１番目のフレームが最終フレームではない場合に（ステップＳ３０３否定）、ｉ＝ｉ＋１として（ステップＳ３１３）、後段のフレームとの入力画像を比較する。また、画像処理装置１０は、ステップＳ３０９においてシーンチェンジが発生したフレームまで、または、最終フレームまでの低周波成分を生成していない場合に（ステップＳ３０９否定）、低周波成分を生成する処理を繰り返し行う。また、画像処理装置１０は、ステップＳ３１０においてｎが最終フレームでない場合に（ステップＳ３１０否定）、シーンチェンジが発生したフレームより後段のフレームの処理を行う。
【００６５】
つまり、実施例３に係る画像処理装置１０は、シーンチェンジが発生してはじめて低周波成分を生成する。そして、シーンチェンジが発生しなかったために低周波成分を生成していないフレームについては、線形補間により低周波成分を生成する。
【００６６】
このように、実施例３に係る画像処理装置１０は、シーンチェンジが発生するまで低周波成分を生成しないので、処理負荷を低減することが可能であるとともに、低周波成分を生成しなかったフレームについては、線形補間により低周波成分を生成するので、画像の精度をより高くすることが可能である。
【００６７】
また、上記実施例３では、線形補間により低周波成分を生成する場合を説明したが、本発明はこれに限定されるものではなく、線形補間などを用いることなく、最も近いフレームを用いて低周波成分を生成することもできる。
【実施例４】
【００６８】
ところで、実施例１では、Ｎ番目のフレームから生成された低周波成分を用いてＮ＋１番目以降のフレームのダイナミックレンジを補正する場合を説明したが、本発明はこれに限定されるものではなく、複数の（離散化された）ＬＰＦを用いて、Ｎ番目のフレームの複数階層のＬＰＦ結果を用いて、当該Ｎ番目のフレームの複数階層のＬＰＦ結果とＮ＋１番目以降のフレームとを合成して最終的なＬＰＦ結果を生成し、この最終的なＬＰＦ結果を用いてダイナミックレンジを補正することもできる。
【００６９】
［実施例４に係る画像処理装置によるダイナミックレンジ補正処理］
そこで、以下の実施例４では、図９を用いて、複数階層のＬＰＦ結果と、処理対象画像とを合成して最終的なＬＰＦ結果を生成してダイナミックレンジを補正する場合を説明する。なお、図９は、実施例４に係る画像処理装置１０によるダイナミックレンジ補正処理を説明するための図である。
【００７０】
図９に示すように、画像処理装置１０は、入力された動画像のＮ番目のフレームを縮小処理して縮小画像を生成し、生成されたＮ番目のフレームの縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の平滑化画像を生成し、生成されたＮ番目のフレームの複数の平滑化画像の一つまたは複数と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して合成低周波成分を生成して、生成された合成低周波成分を低周波成分記憶／合成低周波成分生成部に格納する（図９の（１）参照）。
【００７１】
具体的に例を挙げると、画像処理装置１０は、複数のフレームから構成される動画像が外部から入力されると、入力された動画像のＮ番目のフレームを縮小処理して縮小画像を生成する。そして、画像処理装置１０は、生成されたＮ番目のフレームの縮小画像に対して、予め設定された複数のレベル値範囲（０〜２５５階調を多層化）に対応する平滑化処理を実施して複数の平滑化画像を生成する。続いて、画像処理装置１０は、生成されたＮ番目のフレームの複数の平滑化画像の一つまたは複数と外部から受け付けた動画像のＮ＋１番目の処理対象であるフレームとを合成してエッジ保存型のＬＰＦ処理を行なうことで合成低周波成分「ａ」を生成して、低周波成分記憶／合成低周波成分生成部に格納する。
【００７２】
つまり、画像処理装置１０は、縮小処理されたＮ番目のフレームの平滑化画像を用いて、当該Ｎ番目のフレームの平滑化画像が保持しきれないエッジなどの細かい情報を、処理対象となるＮ＋１番目のフレームから取得しつつ合成することで、エッジ情報のある合成低周波成分を生成する。
【００７３】
そして、画像処理装置１０は、低周波成分記憶／合成低周波成分生成部に格納された合成低周波成分を用いてダイナミックレンジを補正する（図９の（２）参照）。
【００７４】
上記した例で具体的に説明すると、画像処理装置１０は、入力された動画像の処理対象であるＮ＋１番目のフレーム「ｂ」と、低周波成分記憶／合成低周波成分生成部に格納された合成低周波成分「ａ」との差分「ｃ＝ｂ−ａ」から高周波成分「ｃ」を生成する。そして、画像処理装置１０は、合成低周波成分「ａ」の抑制（抑制係数：β）と、高周波成分「ｃ」の拡大（拡大係数：α）とによって動画像の視認性を向上させるダイナミックレンジ補正処理「ｃ×α＋ａ×β」を行なう。そして、画像処理装置１０は、Ｎ＋１番目以降のフレーム（例えば、Ｎ＋２番目のフレームやＮ＋３番目のフレームなど）についても、Ｎ番目のフレームの複数の平滑化画像を同様に用いて、Ｎ＋２番目のフレームやＮ＋３番目のフレームなどと合成するエッジ保存型のＬＰＦ処理により合成低周波成分を生成して、ダイナミックレンジ補正処理を行なう。
【００７５】
［実施例４による効果］
このように、実施例４に係る画像処理装置１０は、複数階層のＬＰＦ結果を用いて、当該複数階層のＬＰＦ結果と、処理対象画像とを合成して最終的なＬＰＦ結果を生成してダイナミックレンジを補正するので、エッジを正確に再現した画像を出力することが可能である。
【実施例５】
【００７６】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、（１）システム構成、（２）低周波成分の生成、（３）プログラムに区分けして異なる実施例を説明する。
【００７７】
（１）システム構成
例えば、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメタを含む情報（例えば、図３に示した「低周波成分記憶部１１ｂ」の情報）については、特記する場合を除いて任意に変更することができる。
【００７８】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、例えば、高周波成分生成処理部１２ｃ−１およびレンジ補正部１２ｃ−２を、ダイナミックレンジ補正部１２ｃとして統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００７９】
（２）低周波成分の生成
また、上記実施例１では、一つのフレームから低周波成分を生成して、生成した低周波成分を用いてダイナミックレンジを補正する場合を説明したが、本発明はこれに限定されるものではなく、複数のフレームから低周波成分を生成して、生成した低周波成分を用いてダイナミックレンジを補正することもできる。
【００８０】
例えば、画像処理装置１０は、入力された動画像のＮ番目のフレームと、Ｎ＋１番目のフレームと、Ｎ＋２番目のフレームとから低周波成分を生成する。そして、画像処理装置１０は、生成した低周波成分を用いて低周波成分の抑制と高周波成分の拡大とによって動画像の視認性を向上させるダイナミックレンジ補正を行う。なお、複数のフレームから低周波成分を生成する場合には、各フレームを利用する比率を「Ｎ：Ｎ＋１：Ｎ＋２＝５：４：１」などとしたり、各フレームから取得する部分を明るさで分けて利用したりすることもできる。この結果、画像処理装置１０は、画像の大まかな情報を保持し、有意な変化が少ない低周波成分を複数のフレームにて共用するので、画質への影響を最小限に抑えることが可能である。
【００８１】
（３）プログラム
なお、本実施例で説明した画像処理装置は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１０を用いて、上記の実施例に示した画像処理装置と同様の機能を有する画像処理プログラムを実行するコンピュータの一例を説明する。図１０は、画像処理プログラムを実行するコンピュータを示す図である。
【００８２】
図１０に示すように、画像処理装置としてのコンピュータ１１０は、ＨＤＤ１３０、ＣＰＵ１４０、ＲＯＭ１５０およびＲＡＭ１６０をバス１８０などで接続して構成される。
【００８３】
ＲＯＭ１５０には、上記の実施例１に示した画像処理装置１０と同様の機能を発揮する画像処理プログラム、つまり、図１０に示すように低周波成分生成プログラム１５０ａと、ダイナミックレンジ補正プログラム１５０ｂとが、あらかじめ記憶されている。なお、これらのプログラム１５０ａと１５０ｂとについては、図３に示した画像処理装置の各構成要素と同様、適宜統合または、分散してもよい。
【００８４】
そして、ＣＰＵ１４０がこれらのプログラム１５０ａとプログラム１５０ｂとをＲＯＭ１５０から読み出して実行することで、図１０に示すように、プログラム１５０ａとプログラム１５０ｂとは、低周波成分生成プロセス１４０ａと、ダイナミックレンジ補正プロセス１４０ｂとして機能するようになる。なお、プロセス１４０ａとプロセス１４０ｂとは、図３に示した、低周波成分生成処理部１２ｂと、ダイナミックレンジ補正部１２ｃとにそれぞれ対応する。
【００８５】
そして、ＣＰＵ１４０はＲＡＭ１６０に記録された入力画像データ１６０ａと、低周波成分データ１６０ｂとに基づいて画像処理プログラムを実行する。
【００８６】
なお、上記した各プログラム１５０ａと１５０ｂとについては、必ずしも最初からＲＯＭ１５０に記憶させておく必要はなく、例えば、コンピュータ１１０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、またはコンピュータ１１０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１１０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ１１０がこれから各プログラムを読み出して実行するようにしてもよい。
【図面の簡単な説明】
【００８７】
【図１】図１は、実施例１に係る画像処理装置の概要および特徴を示す図である。
【図２】図２は、実施例１に係るダイナミックレンジ補正処理のタイムチャートを説明するための図である。
【図３】図３は、実施例１に係る画像処理装置の構成を示すブロック図である。
【図４】図４は、実施例１に係る画像処理装置によるダイナミックレンジ補正処理を示すフローチャートである。
【図５】図５は、画像処理装置による低周波成分生成期間を説明するための図である。
【図６】図６は、実施例２に係る画像処理装置の構成を示すブロック図である。
【図７】図７は、実施例２に係る画像処理装置によるダイナミックレンジ補正処理を示すフローチャートである。
【図８】図８は、実施例３に係る画像処理装置によるダイナミックレンジ補正処理を示すフローチャートである。
【図９】図９は、実施例４に係る画像処理装置によるダイナミックレンジ補正処理を説明するための図である。
【図１０】図１０は、画像処理プログラムを実行するコンピュータを示す図である。
【図１１】図１１は、従来技術に係る画像処理を説明するための図である。
【符号の説明】
【００８８】
１  入力画像
２  出力画像
１０  画像処理装置
１１  記憶部
１１ａ  入力画像記憶部
１１ｂ  低周波成分記憶部
１２  制御部
１２ａ  入力画像受付部
１２ｂ  低周波成分生成処理部
１２ｃ  ダイナミックレンジ補正部
１２ｃ−１  高周波成分生成処理部
１２ｃ−２  レンジ補正部
１２ｄ  シーンチェンジ検出部
【国際調査報告】
2009087760.tif 000014
2009087760.tif 000015
2009087760.tif 000016
2009087760.tif 000017