(57)【特許請求の範囲】
【請求項１】
入力画像信号のフレームから複数のサブフレームを生成し、前記入力画像信号のフレームレートを高めるフレームレート変換手段と、
サブフレームの画像信号に、空間的な高周波成分を強調する強調処理を施すことにより、高域強調画像信号を生成する強調手段と、
サブフレームの画像信号に、空間的な高周波成分を抑圧する抑圧処理を施すことにより、高域抑圧画像信号を生成する抑圧手段と、
前記高域強調画像信号に、画素値を規定の範囲内の値に制限する制限処理を施し、前記高域抑圧画像信号に、前記制限処理による画素値の変化量を補償する補償値を加算する補償処理を施す調整手段と、
前記制限処理が施された高域強調画像信号と、前記補償処理が施された高域抑圧画像信号とを、サブフレーム毎に交互に表示装置に出力する出力手段と、
前記制限処理による画素値の変化量を予測する予測手段と、
を有し、
前記強調手段は、前記予測手段の予測結果である予測値に基づいて、前記補償値が第１の基準値よりも大きくならないように、前記強調処理の強調度合いを制御する
ことを特徴とする画像処理装置。
【請求項２】
前記強調手段は、前記予測値が大きいときに、小さいときよりも、前記強調処理の強調度合いを低くする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
サブフレームの画像信号の空間的な高周波成分を基準の強調度合いで強調することにより、基準画像信号を生成する基準強調手段を更に有し、
前記予測値は、前記基準強調手段で生成された基準画像信号の画素値の、前記規定の範囲からの超過量である
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
サブフレームの画像信号の空間的な高周波成分を基準の強調度合いで強調することにより、基準画像信号を生成する基準強調手段を更に有し、
前記予測値は、前記基準強調手段で生成された基準画像信号における、画素値が前記規定の範囲から超過する画素の数である
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記入力画像信号は、フレーム単位で順に入力されるものであり、
前記予測値は、現フレームの１つ前のフレームから生成されたサブフレームの画像信号から前記強調手段で生成された高域強調画像信号の画素値の、前記規定の範囲からの超過量である
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記入力画像信号は、フレーム単位で順に入力されるものであり、
前記予測値は、現フレームの１つ前のフレームから生成されたサブフレームの画像信号から前記強調手段で生成された高域強調画像信号における、画素値が前記規定の範囲から超過する画素の数である
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項７】
前記強調手段は、前記予測値が閾値より大きい場合に、前記強調処理の強調度合いを前記基準の強調度合いよりも低くする
ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記入力画像信号から、画像の動き量を検出する検出手段を更に有し、
前記抑圧処理の抑圧度合いは、前記強調処理の強調度合いが高いほど低くされるものであり、
前記強調手段は、前記予測値が閾値以下である場合に、当該予測値による前記強調度合いの制御を行わずに、前記検出手段で検出された動き量に基づいて、前記抑圧手段で生成される高域抑圧画像信号の空間的な高周波成分が第２の基準値よりも大きくならないように、前記強調処理の強調度合いを制御する
ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記強調手段は、前記予測値が閾値以下である場合に、前記検出手段で検出された動き量が大きいときに、小さいときよりも、前記強調処理の強調度合いを高くする
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
入力画像信号のフレームから複数のサブフレームを生成し、前記入力画像信号のフレームレートを高めるフレームレート変換ステップと、
サブフレームの画像信号に、空間的な高周波成分を強調する強調処理を施すことにより、高域強調画像信号を生成する強調ステップと、
サブフレームの画像信号に、空間的な高周波成分を抑圧する抑圧処理を施すことにより、高域抑圧画像信号を生成する抑圧ステップと、
前記高域強調画像信号に、画素値を規定の範囲内の値に制限する制限処理を施し、前記高域抑圧画像信号に、前記制限処理による画素値の変化量を補償する補償値を加算する補償処理を施す調整ステップと、
前記制限処理が施された高域強調画像信号と、前記補償処理が施された高域抑圧画像信号とを、サブフレーム毎に交互に表示装置に出力する出力ステップと、
前記制限処理による画素値の変化量を予測する予測ステップと、
を有し、
前記強調ステップでは、前記予測ステップでの予測結果である予測値に基づいて、前記補償値が第１の基準値よりも大きくならないように、前記強調処理の強調度合いを制御する
ことを特徴とする画像処理装置の制御方法。
【請求項１１】
前記強調ステップでは、前記予測値が大きいときに、小さいときよりも、前記強調処理の強調度合いを低くする
ことを特徴とする請求項１０に記載の画像処理装置の制御方法。
【請求項１２】
サブフレームの画像信号の空間的な高周波成分を基準の強調度合いで強調することにより、基準画像信号を生成する基準強調ステップを更に有し、
前記予測値は、前記基準強調ステップで生成された基準画像信号の画素値の、前記規定の範囲からの超過量である
ことを特徴とする請求項１０または１１に記載の画像処理装置の制御方法。
【請求項１３】
サブフレームの画像信号の空間的な高周波成分を基準の強調度合いで強調することにより、基準画像信号を生成する基準強調ステップを更に有し、
前記予測値は、前記基準強調ステップで生成された基準画像信号における、画素値が前記規定の範囲から超過する画素の数である
ことを特徴とする請求項１０または１１に記載の画像処理装置の制御方法。
【請求項１４】
前記入力画像信号は、フレーム単位で順に入力されるものであり、
前記予測値は、現フレームの１つ前のフレームから生成されたサブフレームの画像信号
から前記強調ステップで生成された高域強調画像信号の画素値の、前記規定の範囲からの超過量である
ことを特徴とする請求項１０または１１に記載の画像処理装置の制御方法。
【請求項１５】
前記入力画像信号は、フレーム単位で順に入力されるものであり、
前記予測値は、現フレームの１つ前のフレームから生成されたサブフレームの画像信号から前記強調ステップで生成された高域強調画像信号における、画素値が前記規定の範囲から超過する画素の数である
ことを特徴とする請求項１０または１１に記載の画像処理装置の制御方法。
【請求項１６】
前記強調ステップでは、前記予測値が閾値より大きい場合に、前記強調処理の強調度合いを前記基準の強調度合いよりも低くする
ことを特徴とする請求項１０〜１５のいずれか１項に記載の画像処理装置の制御方法。
【請求項１７】
前記入力画像信号から、画像の動き量を検出する検出ステップを更に有し、
前記抑圧処理の抑圧度合いは、前記強調処理の強調度合いが高いほど低くされるものであり、
前記強調ステップでは、前記予測値が閾値以下である場合に、当該予測値による前記強調度合いの制御を行わずに、前記検出ステップで検出された動き量に基づいて、前記抑圧ステップで生成される高域抑圧画像信号の空間的な高周波成分が第２の基準値よりも大きくならないように、前記強調処理の強調度合いを制御する
ことを特徴とする請求項１０〜１６のいずれか１項に記載の画像処理装置の制御方法。
【請求項１８】
前記強調ステップでは、前記予測値が閾値以下である場合に、前記検出ステップで検出された動き量が大きいときに、小さいときよりも、前記強調処理の強調度合いを高くすることを特徴とする請求項１７に記載の画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、入力画像信号のフレームレートをｎ倍（ｎは２以上の整数）に高め、入力画像信号の１フレームから、画像の空間周波数が互いに異なる複数のサブフレームを生成、表示する方法がある。以下、このような方法を駆動分配法と呼ぶ。
駆動分配法では、例えば、入力画像信号の１フレームから、高域強調サブフレームと高域抑圧サブフレームが生成される。高域強調サブフレームは、空間的な高周波成分が強調された画像（Ｈｉ画像）のサブフレームであり、高域抑圧サブフレームは、空間的な高周波成分が抑圧された画像（Ｌｏｗ画像）のサブフレームである。そして、高域強調サブフレームと高域抑圧サブフレームを交互に表示することにより、動きぼやけとフリッカを低減することができる。
【０００３】
しかし、上限値または下限値に近い輝度を有するエッジ部分、若しくは、輝度差の大きいエッジ部分に対して、空間的な高周波成分を強調する強調処理を施すと、輝度が飽和してしまう。具体的には、Ｈｉ画像を生成する際に、輝度が上限値を上回る場合には輝度が上限値に制限され、輝度が下限値を下回る場合には輝度が下限値に制限されてしまう。そのため、Ｈｉ画像とＬｏｗ画像の輝度の合計が所望の輝度（例えば、元の画像（入力画像信号の１フレームの画像）の輝度）からずれてしまう。
この課題を解決するために、輝度の制限量（変化量）をＬｏｗ画像に加算する技術が提案されている（特許文献１）。以下、このような処理を補償処理と呼ぶ。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−４４４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示の従来技術では、エッジ部分での輝度の制限量（変化量）が大きい場合に、Ｌｏｗ画像の当該エッジ部分に輝度段差が生じてしまう。その結果、エッジ部分を追従視した際に、エッジ部分付近で輝度段差が知覚され、画質が劣化してしまう。ここで、追従視とは、動画像において動きのある部分を目で追いかけることである。
【０００６】
図３は、画像の１ライン分の輝度の一例を示す図である。図３の縦軸は輝度、横軸は画面上の位置（水平位置）を示す。図３の例は、低輝度な背景上を高輝度な物体が左から右へ移動する様子を表している。
図１１（ａ）は、従来の方法により図３のＮフレームの画像から生成されたＨｉ画像の輝度を示す。図１１（ｂ）は、従来の方法により図３のＮフレームの画像から生成されたＬｏｗ画像の輝度を示す。図１１（ｃ）は、Ｈｉ画像とＬｏ画像を交互に表示し、ユーザが高輝度な物体を追従視したときに、ユーザに知覚される輝度（積分値）を示している。
【０００７】
図１１（ａ）の破線は、強調処理後（輝度が制限される前）の輝度を示している。図１１（ａ），１１（ｂ）の実線は、Ｈｉ画像、Ｌｏｗ画像の最終的な輝度を示している。即ち、図１１（ａ）の実線と破線の差分が、輝度の制限量であり、補償処理においてＬｏｗ画像に加算される値である。図１１（ａ）の実線と破線の差分がＬｏｗ画像に加算される
ことにより、図１１（ｂ）に示すように、最終的なＬｏｗ画像に輝度段差が生じてしまう。その結果、図１１（ｃ）に示すように、エッジ部分付近で輝度段差が知覚され、画質が劣化してしまう。制限量は、エッジ部分の輝度が上限値または下限値に近いほど、若しくは、エッジ部分の輝度差が大きいほど、大きくなる。そして、制限量が大きいほど、エッジ部分付近で輝度段差が知覚されやすくなり、画質が劣化する可能性が高くなる。
【０００８】
本発明は、補償処理により生じる輝度段差を低減することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、
入力画像信号のフレームから複数のサブフレームを生成し、前記入力画像信号のフレームレートを高めるフレームレート変換手段と、
サブフレームの画像信号に、空間的な高周波成分を強調する強調処理を施すことにより、高域強調画像信号を生成する強調手段と、
サブフレームの画像信号に、空間的な高周波成分を抑圧する抑圧処理を施すことにより、高域抑圧画像信号を生成する抑圧手段と、
前記高域強調画像信号に、画素値を規定の範囲内の値に制限する制限処理を施し、前記高域抑圧画像信号に、前記制限処理による画素値の変化量を補償する補償値を加算する補償処理を施す調整手段と、
前記制限処理が施された高域強調画像信号と、前記補償処理が施された高域抑圧画像信号とを、サブフレーム毎に交互に表示装置に出力する出力手段と、
前記制限処理による画素値の変化量を予測する予測手段と、
を有し、
前記強調手段は、前記予測手段の予測結果である予測値に基づいて、前記補償値が第１の基準値よりも大きくならないように、前記強調処理の強調度合いを制御する
ことを特徴とする。
【００１０】
本発明の画像処理装置の制御方法は、
入力画像信号のフレームから複数のサブフレームを生成し、前記入力画像信号のフレームレートを高めるフレームレート変換ステップと、
サブフレームの画像信号に、空間的な高周波成分を強調する強調処理を施すことにより、高域強調画像信号を生成する強調ステップと、
サブフレームの画像信号に、空間的な高周波成分を抑圧する抑圧処理を施すことにより、高域抑圧画像信号を生成する抑圧ステップと、
前記高域強調画像信号に、画素値を規定の範囲内の値に制限する制限処理を施し、前記高域抑圧画像信号に、前記制限処理による画素値の変化量を補償する補償値を加算する補償処理を施す調整ステップと、
前記制限処理が施された高域強調画像信号と、前記補償処理が施された高域抑圧画像信号とを、サブフレーム毎に交互に表示装置に出力する出力ステップと、
前記制限処理による画素値の変化量を予測する予測ステップと、
を有し、
前記強調ステップでは、前記予測ステップでの予測結果である予測値に基づいて、前記補償値が第１の基準値よりも大きくならないように、前記強調処理の強調度合いを制御する
ことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、補償処理により生じる輝度段差を低減することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１に係る画像処理装置の機能構成の一例を示すブロック図
【図２】実施例１に係る変化量予測部と抑圧部の詳細な構成を示すブロック図
【図３】画像の１ライン分の輝度の一例を示す図
【図４】実施例１に係るＨｉ画像とＬｏ画像の輝度及びその見え方の一例を示す図
【図５】実施例２に係る画像処理装置の機能構成の一例を示すブロック図
【図６】実施例３に係る画像処理装置の機能構成の一例を示すブロック図
【図７】実施例３の抑圧部の処理の具体例を示す図
【図８】画像の１ライン分の輝度の一例を示す図
【図９】従来のＨｉ画像とＬｏ画像の輝度及びその見え方の一例を示す図
【図１０】実施例３に係るＨｉ画像とＬｏ画像の輝度及びその見え方の一例を示す図
【図１１】従来のＨｉ画像とＬｏ画像の輝度及びその見え方の一例を示す図
【発明を実施するための形態】
【００１３】
＜実施例１＞
以下、本発明の実施例１に係る画像処理装置及びその制御方法について説明する。
図１は、実施例１に係る画像処理装置１００の機能構成の一例を示すブロック図である。
本実施例では、画像処理装置１００に入力画像信号（動画像データ）がフレーム単位で順に入力される。そして、画像処理装置１００は、入力画像信号のフレーム毎に、そのフレームの画像信号から空間周波数が互いに異なる２つの画像信号を生成し、生成した２つの画像信号を入力画像信号の２倍のフレームレートで出力する。画像処理装置１００は、例えば、不図示の表示装置に画像信号を出力する。
画像処理装置１００は、フレームレート変換部１０１、変化量予測部１０２、強調部１０３、抑圧部１０４、調整部１０７、出力部１１０、制御部１１１などを有する。
【００１４】
フレームレート変換部１０１は、入力画像信号のフレームから複数（本実施例では２つ）のサブフレームを生成し、入力画像信号のフレームレートを高める（フレームレート変換）。具体的には、フレームレート変換部１０１は、画像処理装置１００に入力されたフレームをメモリに書き込む。そして、フレームレート変換部１０１は、メモリに書き込んだフレームを、入力画像信号のフレームレートの２倍の周波数で２度読み出して、サブフレームとして出力する。以下では、フレームレート変換部１０１から出力された画像信号（サブフレームの画像信号）を画像Ａと記載する。
本実施例では、入力画像信号のフレームレートが６０ｆｐｓであるものとする。そして、フレームレート変換部１０１では６０Ｈｚで書き込み処理が行われ、１２０Ｈｚで読み出しが行われるものとする。それにより、入力画像信号のフレームレートが６０ｆｐｓから１２０ｆｐｓに高められる。なお、入力画像信号の変換前後のフレームレートはこれらに限らない。例えば、変換前のフレームレートが１２０ｆｐｓであり、変換後のフレームレートが２４０ｆｐｓであってもよい。
フレームの書き込みは、制御部１１１からの書き込み制御信号に基づいて行われる。フレームの読み出しは、制御部１１１からの読み出し制御信号に基づいて行われる。書き込み制御信号は、例えば、フレームを書き込むメモリのアドレスである書き込みアドレスや、書き込みを実行するか否かを示す書き込みイネーブル信号などを含む信号である。読み出し制御信号も同様に、アドレスやイネーブル信号などを含む信号である。
【００１５】
抑圧部１０４は、サブフレームの画像信号（画像Ａ）に、空間的な高周波成分を抑圧する抑圧処理を施すことにより高域抑圧画像信号（画像Ｃ）を生成する。具体的には、抑圧部１０４は、２次元のローパスフィルタ（ＬＰＦ）を用いて、画像Ａから画像Ｃを生成する。このフィルタは、ガウス関数でもよいし、移動平均あるいは重み付けした移動平均等の関数でもよい。抑圧部１０４は、カットオフ周波数が互いに異なる複数のＬＰＦ係数を
記憶しており、後述する変化量予測部１０２から出力されるＬＰＦ係数選択信号に応じて、使用するＬＰＦ係数を選択する。本実施例では、通常時に、抑圧部１０４は、標準のＬＰＦ係数を用いたＬＰＦ処理を行うことにより、画像Ｃを生成する。なお、標準のＬＰＦ係数（即ち、基準の強調度合い）は、メーカ等により予め定められた値である。例えば、標準のＬＰＦ係数は、入力画像信号の空間周波数帯域を半分に制限するＬＰＦ係数である。標準のＬＰＦ係数は、入力画像信号の空間周波数帯域を半分に制限するＬＰＦ係数に限らない。
【００１６】
強調部１０３は、サブフレームの画像信号（画像Ａ）に、空間的な高周波成分を強調する強調処理を施すことにより高域強調画像信号（画像Ｂ）を生成する。具体的には、強調部１０３は、減算器１０５と加算器１０６を有する。減算器１０５において、画像Ａから画像Ｃが減算され、差分画像が生成される。そして、加算器１０６において、画像Ａに差分画像が加算され、画像Ｂが生成される。
本実施例の構成では、強調部１０３による強調処理の強調度合いは、抑圧部１０４で使用するＬＰＦのカットオフ周波数によって決まる。具体的には、ＬＰＦのカットオフ周波数が高いほど、強調処理の強調度合いは低くなる。また、ＬＰＦのカットオフ周波数が高いほど、抑圧処理の抑圧度合いは低くなる。そして、抑圧処理の抑圧度合いは、強調処理の強調度合いが高いほど高くなる。
なお、本実施例では、抑圧部１０３で生成された画像Ｃを用いて画像Ｂが生成されるものとしたが、この構成に限らない。例えば、強調部１０３は、ハイパスフィルタ（ＨＰＦ）を使用して画像Ａから画像Ｂを生成してもよい。そのような構成の場合には、画像Ｃは、画像Ｂを用いて生成されてもよい。
【００１７】
調整部１０７は、高域強調画像信号（画像Ｂ）に、画素値を規定の範囲内の値に制限する制限処理を施す。また、調整部１０７は、高域抑圧画像信号（画像Ｃ）に、制限処理による画素値の変化量を補償する補償値を加算する補償処理を施す。
具体的には、調整部１０７は、リミット部１０８と加算器１０９を有する。
リミット部１０８において、画像Ｂの画素値が規定の範囲内の値に制限される。例えば、規定の範囲の上限値より大きい画素値が当該上限値に制限され、規定の範囲の下限値より小さい画素値が当該下限値に制限される。リミット部１０８により行われる処理が、上記制限処理である。なお、制限処理後の画素値が規定の範囲内の値となれば、制限処理後の画素値は規定の範囲の上限値や下限値でなくてもよい。規定の範囲は、例えば、画素値の取りうる範囲であり、画素値が８ｂｉｔｓのデータである場合には、上限値は２５５、下限値は０となる。なお、規定の範囲は、画素値の取りうる範囲より狭い範囲であってもよい。例えば、画素値が８ｂｉｔｓのデータである場合には、規定の範囲の上限値が２５０、下限値が５であってもよい。リミット部１０８は、画像Ｂの画素値を規定の範囲内の値に制限することによりＨｉ画像を生成し、出力部１１０へ出力する。また、リミット部１０８は、制限処理による画素値の変化量を加算器１０９に出力する。
加算器１０９は、リミット部１０８から出力された画素値の変化量を、上記補償値として、画像Ｃに加算する。加算器１０９により行われる処理が、上記補償処理である。リミット部１０８は、画素値の変化量を画像Ｃに加算することによりＬｏｗ画像を生成し、出力部１１０へ出力する。なお、補償値は、制限処理による画素値の変化量と同じ値でなくてもよい。補償値は、制限処理による画素値の変化量より大きくても小さくてもよい。
【００１８】
出力部１１０は、制限処理が施された高域強調画像信号（Ｈｉ画像）と、補償処理が施された高域抑圧画像信号（Ｌｏｗ画像）とを、サブフレーム毎に交互に出力する。本実施例では、出力部１１０には、サブフレーム毎に、Ｈｉ画像とＬｏｗ画像の２つの画像が入力される。出力部１１０は、サブフレーム毎に、Ｈｉ画像とＬｏｗ画像を交互に選択して出力する。出力部１１０による画像の選択は、制御部１１１からのフレーム切り替え信号に基づいて行われる。
【００１９】
変化量予測部１０２は、調整部１０７で行われる制限処理による画素値の変化量を予測する。そして、変化量予測部１０２は、予測結果である予測値に応じたＬＰＦ選択信号を出力する。
【００２０】
以下、変化量予測部１０２と抑圧部１０４の動作について詳細に説明する。
図２は、変化量予測部１０２と抑圧部１０４の詳細な構成を示すブロック図である。
変化量予測部１０２は、ＬＰＦ処理部１０２１、減算器１０２２、加算器１０２３、判断部１０２４などを有する。
【００２１】
ＬＰＦ処理部１０２１、減算器１０２２、及び、加算器１０２３は、画像Ａの空間的な高周波成分を基準（標準）の強調度合いで強調することにより、基準強調画像（基準画像信号）を生成する。
ＬＰＦ処理部１０２１は、画像Ａの空間的な高周波成分を基準（標準）の抑圧度合いで抑圧することにより、基準抑圧画像を生成する。具体的には、ＬＰＦ処理部１０２１は、標準のＬＰＦ係数を用いたＬＰＦ処理により、基準抑圧画像を生成する。
減算器１０２２は、画像Ａから基準抑圧画像を減算することにより、基準差分画像を生成する。
加算器１０２３は、画像Ａに基準差分画像を加算することにより、基準強調画像（画像Ｄ）を生成する。
【００２２】
判断部１０２４は、画像Ｄから、制限処理による画素値の変化量の予測値を算出する。具体的には、画像Ｄの画素値の、上記規定の範囲からの超過量が、予測値として算出される。超過量は、全ての画素の超過量の合計値であってもよいし、一部の画素の超過量の合計値であってもよい。超過量は、複数の画素の超過量の平均値、最頻値、最大値、最小値などであってもよい。そして、判断部１０２４は、予測値が閾値より大きい場合に、標準のＬＰＦ係数よりもＬＰＦのカットオフ周波数が高いＬＰＦ係数を選択するＬＰＦ係数選択信号を出力する。
【００２３】
なお、予測値は上記値に限らない。例えば、予測値は、画像Ｄにおける、画素値が規定の範囲から超過する画素の数であってもよい。予測値は、画像Ｄの画素値の上記規定の範囲からの超過量の大小を把握することのできる値であればどのような値であってもよい。
なお、基準強調画像の生成方法は上記方法に限らない。基準強調画像はＨＰＦを用いて基準強調画像を生成してもよい。
なお、予測値と比較する閾値は、固定値であってもよいし、固定値でなくてもよい。例えば、閾値は、入力画像信号の画素値などに応じて変更される値であってもよい。また、閾値は、ユーザが変更可能な値であってもよい。
【００２４】
抑圧部１０４は、係数選択部１０４１、係数記憶部１０４２、畳込み演算部１０４３などを有する。
係数記憶部１０４２には、複数のＬＰＦ係数が予め記憶されている。本実施例では、標準のＬＰＦ係数（強度０のＬＰＦ係数）と、標準のＬＰＦ係数よりもＬＰＦのカットオフ周波数が高いＬＰＦ係数（強度１のＬＰＦ係数）とが記憶されているものとする。
係数選択部１０４１は、変化量予測部１０２から出力されたＬＰＦ係数選択信号に応じて、係数記憶部１０４２からＬＰＦ係数を読み出す。具体的には、判断部１０２４で予測値が閾値より大きいと判断された場合に、ＬＰＦ係数選択信号は「フィルタ強度：１」となり、強度１のＬＰＦ係数が読み出される。一方、判断部１０２４で予測値が閾値以下であると判断された場合には、ＬＰＦ係数選択信号は「フィルタ強度：０」となり、強度０のＬＰＦ係数が読み出される。
畳込み演算部１０４３は、係数選択部１０４１で選択された（読み出された）ＬＰＦ係
数を用いて、画像Ａに対して畳込み演算処理（ＬＰＦ処理）を施す。
【００２５】
上述したように、ＬＰＦのカットオフ周波数が高いほど、強調処理の強調度合いは低くなる。本実施例では、予測値が閾値より大きい場合に、ＬＰＦのカットオフ周波数を高くすることにより、強調処理の強調度合いが低くされる。
【００２６】
以下、本実施例の効果について説明する。
図３は、画像Ａの１ライン分の輝度の一例を示す図である。図３の縦軸は輝度、横軸は画面上の位置（水平位置）を示す。図３の例は、低輝度な背景上を高輝度な物体が左から右へ移動する様子を表している。以下では、画像Ａの輝度分布が図３に示す分布である場合の例について説明する。
【００２７】
標準のＬＰＦ係数を使用して図３のフレームＮの画像Ａから生成されるＨｉ画像とＬｏｗ画像の輝度は、それぞれ、図１１（ａ）の実線で示す値、図１１（ｂ）の実線で示す値となる。即ち、基準の強調度合いで強調し、制限処理を行うことにより、フレームＮの画像Ａから生成されるＨｉ画像の輝度は、図１１（ａ）の実線で示す値となる。また、基準の抑圧度合いで抑圧し、補償処理を行うことにより、フレームＮの画像Ａから生成されるＬｏｗ画像の輝度は、図１１（ｂ）の実線で示す値となる。図１１（ｂ）の例では、Ｌｏｗ画像に輝度段差が生じている。そのため、ユーザが高輝度な物体を追従視したときに、ユーザに知覚される輝度（積分値）は、図１１（ｃ）に示す値となる。その結果、エッジ部分付近で輝度段差が知覚され、画質が劣化してしまう。
【００２８】
本実施例では、図３のフレームＮの画像ＡからＨｉ画像を生成する際に、強調度合いが基準の強調度合いよりも低くされる。具体的には、図３のフレームＮの画像ＡからＨｉ画像とＬｏｗ画像を生成する際に、標準のＬＰＦ係数よりもＬＰＦのカットオフ周波数の高いＬＰＦ係数が使用される。その結果、標準のＬＰＦを使用した場合よりも制限処理の制限量が小さくなり、Ｈｉ画像の輝度は、図４（ａ）の実線で示す値となる。また、制限処理の制限量が小さくなったことにより、補償処理の補償値も小さくなり、Ｌｏｗ画像の輝度は、図４（ｂ）の実線で示す値となる（Ｌｏｗ画像の輝度波形が緩やかな波形となる）。そして、ユーザが高輝度な物体を追従視したときに、ユーザに知覚される輝度（積分値）は、図４（ｃ）に示す値となる。図４（ｂ）に示すように、本実施例では、図１１（ｂ）で生じていた輝度段差を低減することができる。それにより、図４（ｃ）に示すように、従来エッジ部分付近で知覚されていた輝度段差を低減することができ、画質の劣化を抑制することができる。
【００２９】
以上述べたように、本実施例によれば、制限処理による画素値の変化量が予測される。そして、予測値が閾値より大きい場合に、強調処理の強調度合いが基準の強調度合いよりも低くされる。変化量が大きい場合、Ｌｏｗ画像に輝度段差が生じる可能性が高い。本実施例では、上記構成により、Ｌｏｗ画像に輝度段差が生じる可能性が高い場合に、強調度合いが低くされる。それにより、変化量、ひいては、補償値を小さくすることができ、補償処理により生じる輝度段差を低減することができる。その結果、従来エッジ部分付近で知覚されていた輝度段差を低減することができ、画質の劣化を抑制することができる。
【００３０】
なお、本実施例では、ＬＰＦ係数（即ち、強調処理の強調度合い）の種類数が２である場合の例を説明したが、種類数は２より多くてもよい。
なお、本実施例では、予測値が大きいときに、小さいときよりも強調処理の強調度合いを低くする構成について説明したが、この構成に限らない。補償値が基準値（第１の基準値）より大きくならないように強調度合いが制御されれば、強調度合いはどのように制御されてもよい。例えば、補償値が基準値より大きくならないのであれば、予測値が大きいときに、小さいときよりも強調処理の強調度合いが高くされてもよい。基準値は、例えば
、ユーザが知覚可能な輝度段差を生じさせる補償値の最小値などである。
なお、本実施例では、予測値と閾値を比較して強調度合いを決定する構成としたが、この構成に限らない。例えば、閾値との比較を行わずに、予測値に応じて強調度合いが決定されてもよい。
なお、本実施例では、フレームレートが入力画像信号の２倍のフレームレートに変換される例を説明するが、この構成に限らない。フレームレートは入力画像信号のｎ倍（ｎは２以上の整数）のフレームレートに変換されてもよい。その場合には、フレームレート変換部１０１が入力画像信号のｎ倍のフレームレートで画像Ａを出力する処理をｎ回行い、出力部１１０がＨｉ画像とＬｏｗ画像を順番に出力する処理をｎ回行えばよい。
なお、本実施例では、各種信号の遅延時間についての記載を省略したが、現フレームの画像Ａから得られた予測値に基づいて、現フレームの画像Ａから画像Ｂ，Ｃが生成されるように、各種信号の遅延時間は調整される。
なお、強調度合いは、画像単位（フレームまたはサブフレーム単位）、領域単位（例えば、画像を分割して得られる分割画像単位）、画素単位のどの単位で制御されてもよい。例えば、画素毎に、制限処理による画素値の変化量を予測し、予測結果に基づいて強調処理の強調度合いが制御されてもよい。具体的には、画素毎に、画像Ｄの画素値の、上記規定の範囲からの超過量が算出されてもよい。そして、算出された超過量に基づいて、処理対象の画素についての補償値が第１の基準値よりも大きくならないように、強調処理の強調度合いが制御されてもよい。
【００３１】
＜実施例２＞
実施例１では、基準強調画像を生成し、生成した基準強調画像から制限処理による画素値の変化量を予測していた。実施例２では、基準強調画像を生成せずに、制限処理による画素値の変化量を予測する構成を説明する。
以下、図面を参照しながら本発明の実施例２に係る画像処理装置及びその制御方法について説明する。
【００３２】
図５は、実施例２に係る画像処理装置２００の機能構成の一例を示すブロック図である。
画像処理装置２００は、実施例１の変化量予測部１０２の代わりに、変化量記憶部１１２と判断部１１３を有する。以下では、変化量記憶部１１２と判断部１１３について説明する。他の機能は、実施例１と同様のため、実施例１と同じ符号を付し、その説明を省略する。
【００３３】
変化量記憶部１１２は、リミット部１０８から出力された変化量に基づいて、画像Ｂの画素値の、規定の範囲からの超過量を算出し、メモリに書き込む。また、変化量記憶部１１２は、メモリから超過量を読み出して、判断部１１３に出力する。
特徴量の書き込みは、制御部１１１からの書き込み制御信号に基づいて行われる。特徴量の読み出しは、制御部１１１からの読み出し制御信号に基づいて行われる。書き込み制御信号は、例えば、特徴量を書き込むメモリのアドレスである書き込みアドレスや、書き込みを実行するか否かを示す書き込みイネーブル信号などを含む信号である。読み出し制御信号も同様に、アドレスやイネーブル信号などを含む信号である。
なお、変化量記憶部１１２が記憶する超過量は、リミット部１０８から出力された変換量（画素毎の超過量）であってもよいし、各画素の超過量の総和、最大値、最小値、平均値、最頻値などであってもよい。
【００３４】
判断部１１３は、現フレームの１つ前のフレームから生成されたサブフレームの画像Ｂの超過量を、予測値として、変化量記憶部１１２から取得する。そして、判断部１１３は、実施例１の判断部１０２４と同様に、予測値と閾値の比較を行い、比較結果に応じたＬＰＦ係数選択信号を出力する。
【００３５】
抑圧部１０４では、現フレームの１つ前のフレームから生成されたサブフレームの画像Ｂの超過量に基づいて決定されたＬＰＦ係数選択信号から、使用するＬＰＦ係数が選択される。そして、抑圧部１０４において、上記選択されたＬＰＦ係数を用いたＬＰＦ処理が行われ、現フレームから生成されたサブフレームの画像Ｃが生成される。その後、強調部１０３において、上記生成された画像Ｃから、現フレームから生成されたサブフレームの画像Ｂが生成される。
【００３６】
現フレームの１つ前のフレームから生成されたサブフレームの画像Ｂの制限量が多い場合、現フレームから生成されたサブフレームの画像Ｂの制限量も多くなる可能性が高い。本実施例では、上記構成により、実施例１と同様に、変化量、ひいては、補償値を小さくすることができ、補償処理により生じる輝度段差を低減することができる。その結果、従来エッジ部分付近で知覚されていた輝度段差を低減することができ、画質の劣化を抑制することができる。
また、本実施例では、基準強調画像を生成する必要が無いため、実施例１よりも処理量及び各種信号の遅延時間を低減することができる。
【００３７】
なお、基準の強調度合いより低い強調度合いが設定された後は、強調度合いの変更は行わなくてもよいし、行ってもよい。例えば、予測値が閾値より大きくなる度に強調度合いが低下されてもよい。予測値が閾値以下となる度に強調度合いが大きくされてもよい。閾値との比較を行わずに、予測値と現在の強調度合い（設定されている強調度合い）とから、次回の強調度合いが決定されてもよい。
なお、本実施例では、予測値が画像Ｂの超過量である場合の例を示したが、予測値はこれに限らない。例えば、変化量記憶部１１２は、画像Ｂにおける、画素値が規定の範囲から超過する画素の数を記憶してもよい。そして、判断部１１３は、予測値として、画像Ｂにおける、画素値が規定の範囲から超過する画素の数を取得してもよい。
【００３８】
＜実施例３＞
画像の動き量が大きい場合、Ｌｏｗ画像の空間的な高周波成分があまり抑圧されていないと、動きぼやけが生じてしまう。本実施例では、そのような動きぼやけを低減することにより、実施例１，２よりも高画質の画像を得ることのできる構成について説明する。
以下、図面を参照しながら本発明の実施例２に係る画像処理装置及びその制御方法について説明する。
【００３９】
図６は、実施例３に係る画像処理装置３００の機能構成の一例を示すブロック図である。
画像処理装置３００は、フレームレート変換部１０１の処理が実施例１と異なる（本実施例では、実施例１のフレームレート変換部１０１と区別するために、フレームレート変換部１１４と記載する）。また、画像処理装置３００は、実施例１の構成の他に、動き量検出部１１５を更に有する。以下では、フレームレート変換部１１４と動き量検出部１１５について説明する。他の機能は、実施例１と同様のため、実施例１と同じ符号を付し、その説明を省略する。
【００４０】
フレームレート変換部１１４は、画像処理装置３００に入力されたフレームをメモリに書き込む。そして、フレームレート変換部１０１は、メモリから、２フレーム前のフレームと、１フレーム前のフレームとを、入力画像信号のフレームレートの２倍の周波数で２度読み出して出力する。２フレーム前のフレームの画像が、実施例１，２の画像Ａに対応する。１フレーム前のフレームの画像は、画像Ｅと記載する。
フレームの書き込みは、制御部１１１からの書き込み制御信号に基づいて行われる。フレームの読み出しは、制御部１１１からの読み出し制御信号に基づいて行われる。書き込
み制御信号は、例えば、フレームを書き込むメモリのアドレスである書き込みアドレスや、書き込みを実行するか否かを示す書き込みイネーブル信号などを含む信号である。読み出し制御信号も同様に、アドレスやイネーブル信号などを含む信号である。
【００４１】
動き量検出部１１５は、入力画像信号から、画像の動き量を検出する。具体的には、動き量検出部１１５は、画像Ａと画像Ｅとを用いて、画像の動きの有無を検出する。画像の動きは、どのような方法で検出されてもよい。例えば、画像の動きは、ブロックマッチング法や勾配法などの既存の技術を用いて検出される。動き量検出部１１５は、動き量の検出結果を動き量判別情報として出力する。本実施例では、画像の動きの有無が検出されるものとする。例えば、前後２フレーム間で２０画素以上の動きがある画素が存在する場合は、動き量判別情報は「動き量：１（動き有り）」とされ、それ以外の場合は、動き量判別情報は「動き量：０（動き無し）」とされる。
【００４２】
抑圧部１０４は、変化量予測部１０２が出力するＬＰＦ係数選択信号と、動き量検出部１１５が出力する動き量判別信号に基づいて、ＬＰＦ係数を選択し、ＬＰＦ処理を行う。具体的には、予測値が閾値より大きい場合には、実施例１と同様にＬＰＦ係数が選択される。予測値が閾値以下である場合には、動き量判別情報に基づいて、画像Ｃの空間的な高周波成分が基準値（第２の基準値）よりも大きくならないように、ＬＰＦ係数が選択される。換言すれば、予測値が閾値以下である場合には、当該予測値による強調度合いの制御が行われずに、検出された動き量に基づいて、画像Ｃの空間的な高周波成分が基準値よりも大きくならないように、強調処理の強調度合いが制御される。基準値は、例えば、ユーザが知覚可能な動きぼやけを生じさせる空間的な高周波成分の最小値などである。
【００４３】
以下、本実施例の抑圧部１０４の処理の具体例について図７を用いて説明する。図７は、本実施例の抑圧部１０４（係数選択部１０４１）のＬＰＦ係数の選択方法の一例を示すフローチャートである。なお、本実施例では、標準のＬＰＦ係数（強度０のＬＰＦ係数）、標準のＬＰＦ係数よりもＬＰＦのカットオフ周波数が高いＬＰＦ係数（強度１のＬＰＦ係数）、標準のＬＰＦ係数よりもＬＰＦのカットオフ周波数が低いＬＰＦ係数（強度−１のＬＰＦ係数）が予め記憶されているものとする。
【００４４】
まず、抑圧部１０４は、ＬＰＦ係数選択信号が「フィルタ強度：０」か否かを判定する（Ｓ１）。ＬＰＦ係数選択信号が「フィルタ強度：０」の場合には、Ｓ２へ処理が進められる。ＬＰＦ係数選択信号が「フィルタ強度：１」の場合には、Ｓ５へ処理が進められる。
Ｓ５では、抑圧部１０４は、ＬＰＦ係数選択信号に従って、強度１のＬＰＦ係数を選択する。そして、強度１のＬＰＦ係数を用いた畳込み演算処理が行われる。
【００４５】
Ｓ２では、抑圧部１０４は、動き量判別信号が「動き量：１」か否かを判定する。動き量判別信号が「動き量：１」の場合には、Ｓ３へ処理が進められる。動き量判別信号が「動き量：０」の場合には、Ｓ４へ処理が進められる。
Ｓ３では、抑圧部１０４は、強度−１のＬＰＦ係数を選択する。即ち、制限処理による画素値の変化量が小さいと予測され、且つ、動きが速い画像の場合には、準のＬＰＦ係数よりもＬＰＦのカットオフ周波数が低いＬＰＦ係数が選択される。そして、強度−１のＬＰＦ係数を用いた畳込み演算処理が行われる。
Ｓ４では、抑圧部１０４は、強度０のＬＰＦ係数を選択する。そして、強度０のＬＰＦ係数を用いた畳込み演算処理が行われる。
【００４６】
なお、Ｓ１とＳ２の処理の順序は逆であってもよい。具体的には、最初に動き量判別信号が「動き量：１」か否かが判定され、動き量判別信号が「動き量：１」の場合にＳ１へ、動き量判別信号が「動き量：０」の場合にＳ４へ処理が進められてもよい。そして、Ｓ
１でＬＰＦ係数選択信号が「フィルタ強度：０」か否かが判定され、ＬＰＦ係数選択信号が「フィルタ強度：０」の場合にＳ３へ、ＬＰＦ係数選択信号が「フィルタ強度：１」の場合にＳ５へ処理が進められてもよい。
【００４７】
以下、本実施例の効果について説明する。
図８は、画像Ａの１ライン分の輝度の一例を示す図である。図８の縦軸は輝度、横軸は画面上の位置（水平位置）を示す。図８の例は、低輝度な背景上を高輝度な物体が左から右へ移動する様子を表している。図８は、図３よりもエッジ部分の輝度差が小さい場合（制限処理による画素値の変化量が閾値以下である場合）の例である。図８は、図３よりも画像の動きが大きい（速い）場合の例である。以下では、画像Ａの輝度分布が図８に示す分布である場合の例について説明する。
【００４８】
標準のＬＰＦ係数を使用して図８のフレームＮの画像Ａから生成されるＨｉ画像とＬｏｗ画像の輝度は、それぞれ、図９（ａ）の実線で示す値、図９（ｂ）の実線で示す値となる。図９（ｂ）の例では、Ｌｏｗ画像の空間的な高周波成分が十分に抑圧されていない。そのため、Ｌｏｗ画像においてもエッジ部分の存在が知覚されてしまう。そして、図８の例では画像の動き量が大きいため、ユーザが高輝度な物体を追従視したときに、ユーザに知覚される輝度（積分値）は、図９（ｃ）に示す値となる。図９（ｃ）の例では、Ｈｉ画像のエッジ部分と、Ｌｏｗ画像のエッジ部分とが大きく離れている。その結果、動きぼやけが目立ち、画質が劣化してしまう。具体的には、大きく離れた２か所でエッジ部分が知覚されてしまう。
【００４９】
本実施例では、図８のフレームＮの画像ＡからＨｉ画像を生成する際に、強調処理の強調度合いが基準の強調度合いよりも高くされる。そして、抑圧処理の抑圧度合いが基準の抑圧度合いよりも高くされる。具体的には、図８のフレームＮの画像ＡからＨｉ画像とＬｏｗ画像を生成する際に、標準のＬＰＦ係数よりもＬＰＦのカットオフ周波数の低いＬＰＦ係数がしようされる。その結果、抑圧処理において、標準のＬＰＦを使用した場合よりも空間的な高周波成分が抑圧され、Ｌｏｗ画像の輝度は、図１０（ｂ）の実線で示す値となる。また、Ｈｉ画像の輝度は、図１０（ａ）の実線で示す値となる。そして、ユーザが高輝度な物体を追従視したときに、ユーザに知覚される輝度（積分値）は、図１０（ｃ）に示す値となる。図１０（ｂ）に示すように、本実施例では、Ｌｏｗ画像の空間的な高周波成分が図９（ｂ）よりも抑圧される（Ｌｏｗ画像の輝度波形が図９（ｂ）よりも緩やかな波形となる）。そのため、Ｌｏｗ画像におけるエッジ部分の存在を知覚され難くすることができる。その結果、動きぼやけを低減することができる。
【００５０】
以上述べたように、本実施例によれば、予測値が閾値以下であり、且つ、画像の動きが有る場合に、抑圧処理の抑圧度合いが基準の抑圧度合いよりも高くされる。それにより、Ｌｏｗ画像の画素値（輝度）がより平坦なるため、動きぼやけを低減することができ、画質の劣化を抑制することができる。
【００５１】
なお、本実施例では、動き量として動きの有無を検出する場合の例を示したが、動きの大きさが検出されてもよい。そして、動きの大きさに応じて、３つ以上のＬＰＦ係数（強調処理の強調度合い；抑圧処理の抑圧度合い）の中から１つが選択されてもよい。
なお、本実施例では、動き量が大きいときに、小さいときよりも強調処理の強調度合いを高くする構成について説明したが、この構成に限らない。Ｌｏｗ画像の空間的な高周波成分が基準値（第２の基準値）より大きくならないように強調度合いが制御されれば、強調度合いはどのように制御されてもよい。例えば、Ｌｏｗ画像の空間的な高周波成分が基準値より大きくならないのであれば、動きが大きいときに、小さいときよりも強調処理の強調度合いが低くされてもよい。
なお、本実施例では、実施例１の構成に動き量に基づく処理を追加した場合の例を説明
したが、実施例２に動き量に基づく処理が追加されてもよい。その場合であっても、同様の効果を得ることができる。
なお、動き量は、画像単位（フレームまたはサブフレーム単位）、領域単位（例えば、画像を分割して得られる分割画像単位）、画素単位のどの単位で制御されてもよい。そして、強調度合いは、画像単位、領域単位、画素単位のどの単位で制御されてもよい。例えば、画素毎に、動き量の検出と、制限処理による画素値の変化量の予測とが行われてもよい。そして、予測値が閾値以下の画素については、その画素の動き量に基づいて強調処理の強調度合いと抑圧処理の抑圧度合いとが制御されてもよい。また、動き量の検出単位と、制限処理による画素値の変化量の予測単位とが異なっていてもよい。例えば、領域毎に動き量が検出され、画素毎に制限処理による画素値の変化量が予測されてもよい。そして、予測値が閾値以下の画素については、その画素を含む領域の動き量に基づいて強調処理の強調度合いと抑圧処理の抑圧度合いとが制御されてもよい。
【符号の説明】
【００５２】
１００，２００，３００  画像処理装置
１０１  フレームレート変換部
１０２  変化量予測部
１０３  強調部
１０４  抑圧部
１０７  調整部
１１０  出力部
【図１】
0005968067.tif 000002
【図２】
0005968067.tif 000003
【図３】
0005968067.tif 000004
【図４】
0005968067.tif 000005
【図５】
0005968067.tif 000006
【図６】
0005968067.tif 000007
【図７】
0005968067.tif 000008
【図８】
0005968067.tif 000009
【図９】
0005968067.tif 000010
【図１０】
0005968067.tif 000011
【図１１】
0005968067.tif 000012