(57)【要約】      （修正有）【課題】より好適な階調表示を実現する。【解決手段】映像に映像処理を行う映像処理部と、前記映像処理部で映像処理を行った映像を表示する表示ユニットを備え、前記表示ユニットの表示階調がＮビットである場合に、前記映像処理部はＮ＋Ｍビットの階調の映像を処理対象とし、２のＭ乗―１個の補間フレームを生成して前記処理対象の映像の２つフレーム間に挿入する処理を行うものであり、生成する補間フレームの少なくとも一部の領域の画素の値を、前記処理対象の映像の２つフレームのうちの少なくとも一方のフレームの画素のＮ＋Ｍビットの値をＮビットの値に変換するビット数変換処理によって生成し、前記Ｎ＋Ｍビットの値の下位Ｍビットの値に応じて、前記ビット数変換処理を変更する。【選択図】図１
2013120369.tif 000002
【特許請求の範囲】
【請求項１】
映像に映像処理を行う映像処理部と、
前記映像処理部で映像処理を行った映像を表示する表示ユニットを備え、
前記表示ユニットの表示階調がＮビットである場合に、前記映像処理部はＮ＋Ｍビットの階調の映像を処理対象とし、２のＭ乗―１個の補間フレームを生成して前記処理対象の映像の２つフレーム間に挿入する処理を行うものであり、生成する補間フレームの少なくとも一部の領域の画素の値を、前記処理対象の映像の２つフレームのうちの少なくとも一方のフレームの画素のＮ＋Ｍビットの値をＮビットの値に変換するビット数変換処理によって生成し、前記Ｎ＋Ｍビットの値の下位Ｍビットの値に応じて、前記ビット数変換処理を変更することを特徴とする表示装置。
【請求項２】
請求項１に記載の表示装置であって、
前記映像処理部は、前記ビット数変換処理において、前記処理対象の映像の画素について、前記下位Ｍビットの値に応じて、前記２のＭ乗―１個の補間フレームのうち、切上げ処理によってＮ＋Ｍビットの値からＮビットの値に変換するフレームの数を変更することを特徴とする表示装置。
【請求項３】
請求項２に記載の表示装置であって、
前記処理対象の映像の２つフレーム間で動きがある領域を検出する動き領域検出部を備え、
前記映像処理部は、前記補間フレームの生成において、前記処理対象の映像のうち前記動き領域検出部で動きがある領域ではないと判定された領域の画素について、前記処理対象の映像の画素のＮ＋Ｍビットの値のうち、下位Ｍビットの値に応じて、前記Ｎ＋Ｍビットの値からＮビットの値に変換するビット数変換処理を変更することを特徴とする表示装置。
【請求項４】
請求項３に記載の表示装置であって、
前記映像処理部は、前記補間フレームの生成において、前記処理対象の映像のうち前記動き領域検出部で動きがある領域と判定された領域の画素については、動き補正処理によって生成した画素を用いることを特徴とする表示装置。
【請求項５】
請求項２から請求項４のいずれか一項に記載の表示装置であって、
Ｍ＝１であり、
前記映像処理部は、Ｎ＋１ビットの階調を有する処理対象の映像の２つフレーム間に１個の補間フレームを挿入し、該１個の補間フレームの生成においては、前記処理対象の映像の処理対象画素のＮ＋１ビット目の値に応じて、前記１個の補間フレームの対応する画素の画素値のビット数変換処理において切上げ処理を行うか切捨て処理を行うかを変更することを特徴とする表示装置。
【請求項６】
請求項２から請求項４のいずれか一項に記載の表示装置であって、
Ｍ＝２であり、
前記映像処理部は、Ｎ＋２ビットの階調を有する処理対象の映像の２つフレーム間に３個の補間フレームを挿入し、該３個の補間フレームの生成においては、前記処理対象の映像の処理対象画素のＮ＋１ビット目及びＮ＋２ビット目の値に応じて、前記３個の補間フレームの対応する画素の画素値のビット数変換処理において切上げ処理を行うフレームの数を変更することを特徴とする表示装置。
【請求項７】
請求項３から請求項６のいずれか一項に記載の表示装置であって、
前記動き領域検出部は、放送波を受信するチューナまたはネットワークを介して情報を取得するネットワーク通信部を介して取得した前記処理対象映像の番組についての番組ジャンル情報を用いて、動きがある領域を検出する際の検出基準を変更することを特徴とする表示装置。
【請求項８】
請求項３から請求項６のいずれか一項に記載の表示装置であって、
前記処理対象映像の特徴を検出する映像特徴検出部を備え、
前記動き領域検出部は、前記映像特徴検出部で検出した映像の特徴に応じて、動きがある領域を検出する際の検出基準を変更することを特徴とする表示装置。
【請求項９】
請求項１から請求項８のいずれか一項に記載の表示装置であって、
生成する補間フレームの少なくとも一部の領域の画素の値を、前記処理対象の映像の２つフレームの画素の値を平均して生成したＮ＋Ｍビットの値をＮビットの値に変換するビット数変換処理によって生成することを特徴とする表示装置。
【請求項１０】
映像に映像処理を行う映像処理ステップと、
前記映像処理ステップで映像処理を行った映像を表示する表示ユニットに出力する出力ステップを備え、
前記表示ユニットの表示階調がＮビットである場合に、前記映像処理ステップではＮ＋Ｍビットの階調の映像を処理対象とし、２のＭ乗―１個の補間フレームを生成して前記処理対象の映像の２つフレーム間に挿入する処理を行うものであり、生成する補間フレームの少なくとも一部の領域の画素の値を、前記処理対象の映像の２つフレームのうちの少なくとも一方のフレームの画素のＮ＋Ｍビットの値をＮビットの値に変換するビット数変換処理によって生成し、前記Ｎ＋Ｍビットの値の下位Ｍビットの値に応じて、前記ビット数変換処理を変更することを特徴とする映像処理方法。
【請求項１１】
請求項１０に記載の映像処理方法であって、
前記映像処理ステップでは、前記ビット数変換処理において、前記処理対象の映像の画素について、前記下位Ｍビットの値に応じて、前記２のＭ乗―１個の補間フレームのうち、切上げ処理によってＮ＋Ｍビットの値からＮビットの値に変換するフレームの数を変更することを特徴とする映像処理方法。
【請求項１２】
請求項１１に記載の映像処理方法であって、
前記処理対象の映像の２つフレーム間で動きがある領域を検出する動き領域検出ステップを備え、
前記映像処理ステップでは、前記補間フレームの生成において、前記処理対象の映像のうち前記動き領域検出ステップで動きがある領域ではないと判定された領域の画素について、前記処理対象の映像の画素のＮ＋Ｍビットの値のうち、下位Ｍビットの値に応じて、前記Ｎ＋Ｍビットの値からＮビットの値に変換するビット数変換処理を変更することを特徴とする映像処理方法。
【請求項１３】
請求項１２に記載の映像処理方法であって、
前記映像処理ステップでは、前記補間フレームの生成において、前記処理対象の映像のうち前記動き領域検出ステップで動きがある領域と判定された領域の画素については、動き補正処理によって生成した画素を用いることを特徴とする映像処理方法。
【請求項１４】
請求項１１から請求項１３のいずれか一項に記載の映像処理方法であって、
Ｍ＝１であり、
前記映像処理ステップでは、Ｎ＋１ビットの階調を有する処理対象の映像の２つフレーム間に１個の補間フレームを挿入し、該１個の補間フレームの生成においては、前記処理対象の映像の処理対象画素のＮ＋１ビット目の値に応じて、前記１個の補間フレームの対応する画素の画素値のビット数変換処理において切上げ処理を行うか切捨て処理を行うかを変更することを特徴とする映像処理方法。
【請求項１５】
請求項１１から請求項１３のいずれか一項に記載の映像処理方法であって、
Ｍ＝２であり、
前記映像処理ステップでは、Ｎ＋２ビットの階調を有する処理対象の映像の２つフレーム間に３個の補間フレームを挿入し、該３個の補間フレームの生成においては、前記処理対象の映像の処理対象画素のＮ＋１ビット目及びＮ＋２ビット目の値に応じて、前記３個の補間フレームの対応する画素の画素値のビット数変換処理において切上げ処理を行うフレームの数を変更することを特徴とする映像処理方法。
【請求項１６】
請求項１２から請求項１５のいずれか一項に記載の映像処理方法であって、
前記動き領域検出ステップでは、放送波またはネットワークを介して取得した前記処理対象映像の番組についての番組ジャンル情報を用いて、動きがある領域を検出する際の検出基準を変更することを特徴とする映像処理方法。
【請求項１７】
請求項１２から請求項１５のいずれか一項に記載の映像処理方法であって、
前記処理対象映像の特徴を検出する映像特徴検出ステップを備え、
前記動き領域検出ステップでは、前記映像特徴検出ステップで検出した映像の特徴に応じて、動きがある領域を検出する際の検出基準を変更することを特徴とする映像処理方法。
【請求項１８】
請求項１０から請求項１７のいずれか一項に記載の映像処理方法であって、
前記映像処理ステップでは、生成する補間フレームの少なくとも一部の領域の画素の値を、前記処理対象の映像の２つフレームの画素の値を平均して生成したＮ＋Ｍビットの値をＮビットの値に変換するビット数変換処理によって生成することを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像処理技術に関する。
【背景技術】
【０００２】
近年、テレビジョン（以下、ＴＶと呼ぶ）やパーソナルコンピュータ（以下、ＰＣと呼ぶ）等のモニタとして使用されるディスプレイとして液晶やプラズマパネルを用いたものが登場しており、その多く機器における表示フレームレート（１秒間の描画フレーム数）は入力映像のフレームレートの２倍や４倍にフレームレート変換されて表示されている。また、パネルの表示階調としても８ビットや１０ビットの精度で表示されるようになっている。一方、表示する映像信号としては、例えば、国内のデジタル放送ではフレームレート６０Ｈｚ、階調は８ビットが主流であるが、１０ビットや１２ビットの映像も存在する。また、その映像内容としても最初からハイビジョンカメラ（走査線１０８０本）で製作されたものから、従来からの標準フォーマットのカメラ（走査線５２５本）で撮影された後にハイビジョン形式に変換されたものまで存在する。
【０００３】
このような背景の下、各ＴＶメーカのＴＶ表示装置では、映像を受信した後に、例えば、特許文献１に示されるような、ノイズ低減処理、シャープネス補正、コントラスト補正、等の信号処理を施すことで画質改善を図り画面表示させる機能を備えている。
【０００４】
このような映像処理の後、さらに近年では、例えば、特許文献２に開示されるようなフレームレート変換を施し、入力フレームの２倍や４倍などのフレームレートで表示させるためのフレームレート変換機能も備えている。このように表示する際のフレームレートを高くすることで、液晶パネルのようなホールド型ディスプレイでは動画がぼやける現象の改善を図っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３１１９５４号公報
【特許文献２】特開２０１０−４１５３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来技術では、画質改善を図る信号処理やフレームレート変換については述べられているものの、常に固定の階調（ビット数）とフレームレートで表示されることになる。例えば、入力される映像は上述のような画質改善のための映像処理の過程で、デジタル信号処理により各画素のビット数が増えるが、液晶やプラズマなどのパネル入力のビット数に合わせるための丸め処理が施される。一方、映像の内容によっては、例えば、風景シーンの空のように微妙なグラデーション表現が必要な場合があり、上述の丸め処理によりビット数が減らされた場合に、表示階調の最小ビット（ＬＳＢ）の変化が等高線状の縞模様の弊害となって表示されてしまう場合がある。
【０００７】
本発明は、上記課題を鑑みてなされたものであり、その目的は、より好適な階調表示を実現することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の一実施の形態では、映像に映像処理を行う映像処理部と、前記映像処理部で映像処理を行った映像を表示する表示ユニットを備え、前記表示ユニットの表示階調がＮビットである場合に、前記映像処理部はＮ＋Ｍビットの階調の映像を処理対象とし、２のＭ乗―１個の補間フレームを生成して前記処理対象の映像の２つフレーム間に挿入する処理を行うものであり、生成する補間フレームの少なくとも一部の領域の画素の値を、前記処理対象の映像の２つフレームのうちの少なくとも一方のフレームの画素のＮ＋Ｍビットの値をＮビットの値に変換するビット数変換処理によって生成し、前記Ｎ＋Ｍビットの値の下位Ｍビットの値に応じて、前記ビット数変換処理を変更する。
【発明の効果】
【０００９】
本発明によれば、より好適な階調表示を実現することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１の映像処理装置を示す図である。
【図２】本発明の実施例１の映像処理装置を構成するフレーム補間部の構成を示す図である。
【図３】本発明の実施例１の動作例を示す図である。
【図４】本発明の実施例２の映像処理装置を示す図である。
【図５】本発明の実施例２の映像処理装置を構成するフレーム補間部の構成を示す図である。
【図６】本発明の実施例２の動作例を示す図である。
【図７】本発明の実施例４の映像処理装置を示す図である。
【図８】本発明の実施例４の映像処理装置を構成するフレーム補間部の構成を示す図である。
【図９】本発明の実施例５の映像処理装置を示す図である。
【図１０】本発明の実施例５の映像処理装置を構成するフレーム補間部の構成を示す図である。
【図１１】本発明の実施例６のフレーム補間部の構成を示す図である。
【図１２】表示ユニットの表示特性の一例を示す図である。
【図１３】本発明の実施例３の動作例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明するための図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００１２】
なお、各実施例に示す映像処理装置は、表示ユニットと別体で構成してもよいが、表示ユニットと一体の表示装置として構成してもよい。また放送波を受信するチューナや、ネットワークを介して映像を入力するネットワーク通信部などを備え、これらから入力映像を取得しても良い。また、各実施例に示す映像処理を行う前に、チューナやネットワーク通信部で取得した映像の階調を増やす処理を適宜行っても良い。デジタルテレビションチューナと表示ユニットを備える場合は、いわゆるデジタルテレビション受信表示装置となる。ＩＰＴＶサーバからネットワークを介して映像を入力するネットワーク通信部と表示ユニットを備える場合は、いわゆるＩＰＴＶ受信表示装置となる。
【実施例１】
【００１３】
まず、本発明の実施例１について図１から図３を用いて説明する。
【００１４】
図１は映像処理装置の構成を示す図である。１０は動き検出部、１１はフレーム補間部、１２はフレーム選択部、１３はメモリインターフェース部（以下メモリＩＦ部と記す）、１４はメモリである。また、２０は入力フレーム、２１は入力フレーム２０を１フレーム期間遅延したフレームである。動き検出部１０はフレーム２０およびフレーム２１を元にフレーム間の動きを検出して、動き情報２２として出力する。フレーム補間部１１は、上記動き情報２２に基づきフレーム２０およびフレーム２１を用いて補間フレーム２３を出力する。フレーム選択部１２はメモリＩＦ部１３から出力される入力フレームを遅延したフレーム２４および補間フレーム２３を遅延したフレーム２５のいずれかを選択してフレーム２６として出力する。なお、メモリ１４は複数の画像を保持できるメモリであれば何でも良く、メモリＩＦ部１３は、信号処理過程で生成される複数フレームの画像をメモリ１４へ読み書きする機能を備えている。これらメモリアクセスの実現には様々な方法があり、既存の方法を用いればよいのでここでは省略する。ここで、図１において各フレームの画像を構成するデータの階調（１画素データのビット数）としては、最終的に出力フレーム２６から得る画素データをＮビット（Ｎは１以上の整数）とした場合（表示ユニットの表示階調がＮビットの場合）、入力フレーム２０の画素データを（Ｎ＋１）ビットで入力するものとし、メモリＩＦ部１３へも（Ｎ＋１）ビットで入力するものとする。
【００１５】
次に図２は、フレーム補間部１１の構成例を示す図である。３０は動き補正部、３１は映像の動きの領域を判定して検出する領域判定部、３２は入力される映像の階調補正を行う階調補正部、３３は動き補正部３０の出力フレーム３４と階調補正部３２の出力フレーム３５のいずれかを選択するデータ選択部である。
【００１６】
これら図１、図２の動作例について図３を用いて説明する。図３は入力フレーム２０のフレームレートを２倍にしてフレーム２６へ出力する場合の一例を記している。例えば、入力フレームレートが６０Ｈｚであれば、１２０Ｈｚに変換して出力する。（なお、フレームレートを２倍以外にする場合であっても２つの入力フレームの間に１つの補間フレームを挿入する場合であれば、本実施例の処理が適用できる。）図３は出力フレームを基準に記載している。入力フレーム２０は時間の遷移とともに、Ｆ１、Ｆ３、Ｆ５の順に入力される。Ｆ２、Ｆ４の位置のフレームは入力フレームには存在しない。また、映像の一例として、物体（図３中の丸い物体）が左から右に動いていることを示している。図１の動き検出部１０は、入力フレーム２０および遅延フレーム２１から入力されるＦ１とＦ３を用いて物体の動き情報２２を出力する。この動き情報は一例として画素ごとにフレーム間の動きの方向と大きさを示す動きベクトルであるとする。この動き情報２２は図２に示した動き補正部３０へ導く。動き補正部３０では動き情報２２に基づき入力フレーム２０と遅延フレーム２１から入力されるＦ１とＦ３を用いて物体の動きを補正したフレーム３４を生成する。この動き検出部１０における動き検出処理と動き補正部３０における動き補正処理は、入力フレーム２０を構成する各画素データのＮ＋１ビットを全て用いて実施してもよく、上位Ｎビットのみを用いて実施してもよいが、最終的にフレーム３４はＮビットのフレームとして出力するものとする。上位Ｎビットのみを用いる場合には、Ｎ＋１ビットのデータの最下位ビットの切上処理または切捨処理などの処理をして動き検出部１０および動き補正部３０へ入力する構成とすればよい。
【００１７】
次に、階調補正部３２では、入力されるフレーム２０のＮ＋１ビットの画素データの最下位ビットを切上処理または切捨処理する処理を行ないＮビットに変換してフレーム３５を得る。次に領域判定部３１は、入力される動き情報が所定値以上の値の場合に動き領域と判定して検出し、それ以外は静止領域として判定して検出する。例えば、図３のＦ１とＦ３から得る動き情報としては、Ｆ２の部分に斜線で示す領域を動き領域情報３６として出力する。データ選択部３３では、動き領域情報３６に基づき、映像の動いている領域は動き補正部３０の出力フレーム３４を選択し、静止している領域は階調補正部３２の出力フレーム３５を選択することで補間フレーム２３を生成する。この補間フレーム２３は図１のメモリＩＦ部１３を介してメモリ１４へ書き込まれる。
【００１８】
次に、入力フレーム２０と上記処理によりメモリ１４へ書き込まれた補間フレーム２３は、メモリＩＦ部１３を介してそれぞれフレーム２４およびフレーム２５として読み出される。さらに、フレーム選択部１２を介して出力フレーム２６として出力される。その際、入力フレームＦ１、Ｆ３、Ｆ５の間にフレーム補間部１１により生成されるＦ２、Ｆ４が挿入されるようフレーム選択部１２でフレーム２４またはフレーム２５を選択する制御を行う。また、フレーム２０から書き込んだ画素データをフレーム２４から読み出す際には、Ｎ＋１ビットの画素データの最下位ビットを切り捨て、Ｎビットとして読み出す。以上の制御によって得られる出力フレーム２６は、動いている領域ではＦ１からＦ５のように時間とともに物体の位置が移動する表示がなされるので、良好な動画表示特性を得ることができる。一方、静止領域については、Ｆ１、Ｆ３、Ｆ５では入力フレーム２０の最下位ビット（Ｎ＋１ビット目）が切り捨て処理を行う。図３の表に示すように、補間フレームであるＦ２、Ｆ４では最下位ビットが「０」の場合には切捨処理を行い、最下位ビットが「１」の場合には切上処理を行って、それぞれＮビットで表示する。ここで、入力フレーム２０の最下位ビット（Ｎ＋１ビット目）が「１」の場合、Ｆ１からＦ５のうち、Ｆ２、Ｆ４の画素データは＋１加算され、それ以外の画素データは±０となる。これを時間方向に連続してみるとフレーム毎に±０、＋１、±０、＋１・・・となる。人間の視覚特性としては、静止している領域の１点を凝視する場合、複数フレームの階調を時間方向に積分して明るさとして認識するため、Ｎビットの画素データで表現できる明るさの最小変化の半分の明るさ変化として認識される。
【００１９】
この効果について図１２を用いて従来の表示装置と比較しながら説明する。図１２（ａ）に従来の表示装置の表示特性の一例を示す。図１２（ａ）は、データが１ＬＳＢ（ＬＳＢはデジタル化された画像データの最下位ビットの意味）の単位で変化した場合の明るさ（輝度）の変化を示している。風景シーンの空のように微妙なグラデーション表現が必要なシーンで丸め処理（ビット数変換処理）によりビット数が減らされた場合などの映像では図１２（ａ）のような明るさの変化になる場合があり、この最下位ビットの変化が等高線状の縞模様となって視認される場合がある。すなわち、図１２（ａ）の例では１ＬＳＢの変化に従い、階段状に明るさが変化する特性となっている。
【００２０】
一方（ｂ）は図１から図３で説明した本実施例による明るさの一例を示しており、１ＬＳＢの半分の明るさ変化が表現できることにより、グラデーション表現が必要なシーンでの明るさの最小変化量が半分となるため、なめらかな明るさ変化が得られ、より良好な階調表示特性を得ることができる。
【００２１】
以上説明した本発明の実施例１によれば、入力映像のフレームレートを２倍にする場合など、２つの入力フレームの間に１つの補間フレームを挿入する場合であって、画質改善処理などにより表示ユニットの入力ビットよりもビット数が多い映像信号を処理可能な場合に、表示ユニットの入力ビット数よりも１ビット多い情報を処理し、補間フレームの静止画領域については、最下位bitに応じた丸め処理（ビット数変換処理）を行った結果を表示ユニットで表示する。これにより、表示ユニットの入力階調（ビット数）よりも１ビット多い階調表現が可能となる。つまり、より好適な階調表示を実現することが可能となる。
【実施例２】
【００２２】
実施例１では、入力される画像のフレームレートを２倍に変換して出力する場合について説明したが、フレームレートを４倍に変換して出力する実施例である実施例２について図４から図６を用いて説明する。（なお、フレームレートを４倍以外にする場合であっても２つの入力フレームの間に３つの補間フレームを挿入する場合であれば、本実施例の処理が適用できる。）本実施例において、各フレームの画像を構成するデータの階調（１画素データのビット数）としては、最終的に出力フレーム２６から得る画素データをＮビット（Ｎは１以上の整数）とする場合、入力フレーム２０の画素データを（Ｎ＋２）ビットで入力するものとし、メモリＩＦ部１３へも（Ｎ＋２）ビットで入力する。
【００２３】
まず、図４は画像処理装置の構成例を示すものであり、図１の構成例との違いは、入力フレーム２０はメモリＩＦ部１３を介してメモリ１４へ書き込む構成とし、動き検出部１０とフレーム補間部１１へ入力する２つのフレームをメモリＩＦ部１３から与えるように構成している点である。図５はフレーム補間部１１の構成例を示しており、図２との違いは、動き補正部３０および階調補正部３２へ入力するフレームを、フレーム２１ａおよびフレーム２１ｂとしている点である。
【００２４】
動作例について図６を用いて説明する。図６は入力される映像の一例として、ある物体（図中の丸い物体）が左から右に動いていることを示している。また、出力フレームを基準に記載しているため、Ｆ２、Ｆ３、Ｆ４の位置のフレームは存在しない。まず、入力フレーム２０は時間の遷移とともに、Ｆ１、Ｆ５の順に入力され、メモリＩＦ部１３を介してメモリ１４へ書き込まれる。この書き込んだＦ１、Ｆ５は、メモリＩＦ部１３から読み出されるときにフレーム２１ａ、フレーム２１ｂから同時に読み出され、動き補正部１０およびフレーム補間部１１へ入力される。図４の動き検出部１０は、Ｆ１とＦ５を用いて物体の動き情報を出力し、図５に示した動き補正部３０へ導く。動き補正部３０では動き情報２２に基づきフレーム２１ａとフレーム２１ｂを用いて物体の動きを補正したフレーム３４を生成する。ここで、Ｆ１とＦ５を用いたフレーム３４の生成処理は３回行われ、最終的にＦ２、Ｆ３、Ｆ４の位置に対応する動き補正処理を施したフレームが出力される。
【００２５】
次に、階調補正部３２では、入力されるフレーム２１ａのＮ＋２ビットの映像データの下位２ビットに応じた丸め処理を行ないＮビットに変換してフレーム３５を得る。このフレーム３５の生成処理も前述のフレーム３４の生成処理と同様に３回行う。それぞれＦ２、Ｆ３、Ｆ４の位置の補間フレームのための処理である。図６の表に示すように、フレーム２０の下位２ビットが「００」の場合には３回の処理で生成される３フレームを全て下位２ビットの切捨処理を行ってＮビットに変換する。フレーム２０の下位２ビットが「０１」の場合には生成される３フレームのうち、１フレームを切上げ、２フレームを切捨処理を行いＮビットに変換する。フレーム２０の下位２ビットが「１０」の場合には２フレームを切上処理し、１フレームを切捨処理してＮビットに変換する。フレーム２０の下位２ビットが「１１」の場合には３フレームの全てを切上処理を行いＮビットの画素データに変換とする。
【００２６】
次に、領域判定部３１は、入力される動き情報が所定値以上の場合に動き領域と判定し、それ以外は静止領域として判定する。例えば、図６のＦ１とＦ５から得る動き情報としては、Ｆ２の部分に斜線で示す領域を動き領域情報３６として出力する。データ選択部３３では、動き領域情報３６に基づき、映像の動いている領域は動き補正部３０の出力フレーム３４を選択し、静止している領域は階調補正部３２の出力フレーム３５を選択することで補間フレーム２３を生成する。この補間フレーム２３は図４のメモリＩＦ部１３を介してメモリ１４へ書き込まれる。
【００２７】
次に、入力フレーム２０と上記処理によりメモリ１４へ書き込まれた補間フレーム２３は、メモリＩＦ部１３を介してそれぞれフレーム２４およびフレーム２５として読み出し、フレーム選択部１２を介して出力フレーム２６を生成する。その際、入力フレームＦ１、Ｆ５の間にフレーム補間部１１により生成されるＦ２、Ｆ３、Ｆ４が挿入されるようフレーム選択部１２で制御する。また、フレーム２０から書き込んだ画素データをフレーム２４から読み出す際には、Ｎ＋２ビットの画素データの最下２ビットを切り捨て、Ｎビットとして読み出す。以上の制御によって得られる出力フレーム２６は、動いている領域ではＦ１からＦ５のように時間とともに物体の位置が移動する表示がなされ、良好な動画表示特性を得ることができる。一方、静止領域については、Ｆ１、Ｆ５は、入力フレーム２０の下位２ビットが切り捨てられて表示され、Ｆ２、Ｆ３、Ｆ４については上述のように入力フレーム２０の下位２ビットの値に応じて切上げてＮビット化されるフレームの数を変えて表示されることになる。実施例１で説明したとおり、人間の視覚特性は、各フレームの明るさを時間方向に積分して明るさとして認識する。すると、実施例２の処理によれば、静止領域において、Ｎビットの画素データにより１フレームで表現できる明るさの最小変化の１／４の明るさ変化が表現できることになり、より良好な階調表示特性が得られる。
【００２８】
以上説明した本発明の実施例２によれば、入力映像のフレームレートを４倍にする場合など、２つの入力フレームの間に３つの補間フレームを挿入する場合であって、画質改善処理などにより表示ユニットの入力ビットよりもビット数が多い映像信号を処理可能な場合に、表示ユニットの入力ビット数よりも２ビット多い情報を処理し、補間フレームの静止画領域については、最下位２bitに応じた丸め処理を行った結果を表示ユニットで表示する。これにより、表示ユニットの入力階調（ビット数）よりも２ビット多い階調表現が可能となる。つまり、より好適な階調表示を実現することが可能となる。
【実施例３】
【００２９】
本発明の実施例３は、実施例１及び実施例２を一般化した例である。実施例３の動作例を図１３に示す。実施例３では、映像のフレームレートを２Ｍ倍に変換して出力する。（なお、フレームレートを２Ｍ倍以外にする場合であっても２つの入力フレームの間に２Ｍ−１個の補間フレームを挿入する場合であれば、本実施例の処理が適用できる。）実施例３の映像処理装置は、実施例２と同様に図４、図５の構成を有するがその動作が異なるものである。実施例３の映像処理装置の動作を図１３に示す。
【００３０】
図１３の例では、入力フレームは、Ｆ１、Ｆ(２Ｍ+1)である。これに対しＦ２〜Ｆ(２Ｍ)までの補間フレームを生成する。実施例３では、図５の動き補正部３０と階調補正部３２は、それぞれデータ生成を２Ｍ−１回行って、Ｆ２〜Ｆ(２Ｍ)までの補間フレーム用のデータを生成する。なお、図１３の入力フレーム２０、動き補正フレーム３４、動き領域判定結果３６、出力フレーム２６の詳細については、実施例１の図３、実施例２の図６を一般化しただけであるので、説明を省略する。
【００３１】
ここで、図１３の静止領域出力情報下位ビット処理の表を用いて階調補正部３２の動作について説明する。実施例３の映像処理装置では、表示ユニットの入力ビット数（Ｎビットとする）よりもＭビット多い情報を入力する。ここで、フレーム２０の下位Ｍビットが「００…００」の場合には、２Ｍ−１回の処理で生成されるＦ２〜Ｆ(２Ｍ)までのフレームを全て下位Ｍビットの切捨処理を行ってＮビットに変換する。フレーム２０の下位Ｍビットが「００…０１」の場合には生成されるＦ２〜Ｆ(２Ｍ)までのフレームのうち、１フレームを切上げ、他のフレームを切捨処理を行いＮビットに変換する。フレーム２０の下位Ｍビットが１０進法でＫの値を示す場合には、Ｆ２〜Ｆ(２Ｍ)までのフレームのうち、Ｋ個のフレームを切上処理し、他のフレームを切捨処理してＮビットに変換する。フレーム２０の下位Ｍビットが「１１…１０」の場合には、Ｆ２〜Ｆ(２Ｍ)までのフレームのうち、２Ｍ−２フレーム切上処理し、１フレームを切捨処理してＮビットに変換する。フレーム２０の下位Ｍビットが「１１…１１」の場合には、Ｆ２〜Ｆ(２Ｍ)までのフレームの全てを切上処理を行いＮビットの画素データに変換とする。このように、実施例３の映像処理装置では、フレーム２０の下位Ｍビットの値に応じて、切上処理でＮビット化されるフレームの数を変更する。
【００３２】
なお、領域判定部３１及びフレーム選択部１２の動作は、実施例２に係る図４の動作を、２つの入力フレームの間に２Ｍ−１個の補間フレームを挿入する場合に一般化したのみであるので説明を省略する。
【００３３】
上述のとおり、人間の視覚特性は各フレームの明るさを時間方向に積分して明るさとして認識する。すると、実施例３の処理によれば、静止領域において、Ｎビットの画素データにより１フレームで表現できる明るさの最小変化の１／２Ｍの明るさ変化が表現できることになり、より良好な階調表示特性が得られる。
【００３４】
以上説明した本発明の実施例３によれば、入力映像のフレームレートを２Ｍ倍にする場合など、２つの入力フレームの間に２Ｍ−１個の補間フレームを挿入する場合であって、画質改善処理などにより表示ユニットの入力ビットよりもビット数が多い映像信号を処理可能な場合に、表示ユニットの入力ビット数よりもＭビット多い情報を処理し、補間フレームの静止画領域については、最下位Ｍbitに応じた丸め処理を行った結果を表示ユニットで表示する。これにより、表示ユニットの入力階調（ビット数）よりもＭビット多い階調表現が可能となる。つまり、より好適な階調表示を実現することが可能となる。
【実施例４】
【００３５】
実施例１、実施例２および実施例３では、入力フレーム２０および入力フレーム２０をメモリ１４により遅延したフレームを用いて動き検出部１０で動き情報２２を得た後、領域判定部３１で動き領域を判定していた。実施例４では、動き領域を判定するために、実施例1、実施例２及び実施例３で説明した動き情報２２に加えて、放送などに多重されて送られてくる番組ジャンル情報を用いて判定するように構成している。図７および図８を用いて説明する。図７は映像処理装置の構成例であり、４０は番組ジャンル情報を示している。図８はフレーム補間部１１の構成例であり、番組ジャンル情報４０は領域判定部３１へ入力する。当該、番組ジャンル情報４０は、放送波を受信するチューナや、ネットワークを介して情報を取得するネットワーク通信部などを介して取得すればよい。
【００３６】
領域判定部３１では、番組ジャンル情報が、スポーツ、バラエティ番組等、映像の動きが一般的に大きなジャンルの場合には、動き情報に基づく動き領域と判定するときの基準値を下げて動き領域と判定しやすくする。一方、ニュースなど、映像の動きが一般的に小さなジャンル場合には、動き領域の判定基準値を上げることで静止領域と判定しやすくする。このように制御することで、出力フレーム２６から得るフレームの領域として、動き補正部３０により生成する動き補正を施したフレームの領域を大きくすることができるので、良好な動画表示特性で表示させることができる。一方、動きの小さな番組ジャンルの場合には、階調補正部３２により生成するフレームの領域を大きくできるので良好な階調特性で表示できるようになる。
【００３７】
その他の構成は、実施例１、実施例２および実施例３と同様であるので、説明を省略する。
【００３８】
以上説明した本発明の実施例４によれば、実施例１、実施例２および実施例３の効果に加えて、番組ジャンルに応じて、動画表示特性重視で処理する領域と階調特性重視で処理する領域の比率を変更することが可能となる。これにより、番組ジャンルに応じた画質で映像を表示することが可能となる。
【実施例５】
【００３９】
実施例１、実施例２および実施例３では、入力フレーム２０および入力フレームをメモリ１４により遅延したフレームを用いて動き検出部１０で動き情報２２を得た後、領域判定部３１で動き領域を判定していた。実施例５では、動き領域の判定に動き情報とともに、動き以外の映像の特徴に応じて判定するように構成している。図９および図１０を用いて説明する。
【００４０】
図９は映像処理装置の一例であり５０は映像特徴検出部である。例えば入力フレーム２０の輝度分布を輝度ヒストグラム５１として検出する。図１０はフレーム補間部の構成例を示しており、輝度ヒストグラム５１は領域判定部３１へ入力する。
【００４１】
領域判定部３１では、輝度ヒストグラムの分布に応じて、例えば分布が特定の階調に偏っている場合に動き領域の判定基準値を上げることで静止領域と判定しやすく制御する。一般的に映像の階調が偏っていると、前述したような微妙な階調変化が見え易くなるが、本実施例の制御によれば階調表示特性を良好にできるので、階調の偏りによる弊害が生じ難くできる。
【００４２】
上記実施例では、一例として輝度ヒストグラムによる制御例を説明したが、色情報やエッジ情報（周波数成分）などの情報を加えて制御しても良い。
【００４３】
また、図９には示していないが、本実施例の制御は映像のコントラスト補正と組合せて制御することも有効である。例えば、コントラスト補正により表示階調の割当てを増やす階調について静止領域と判定するように領域判定部３１を制御する。また、実施例４で説明した番組ジャンル情報との併用も可能であることは言うまでもない。
【００４４】
その他の構成は、実施例１〜実施例４と同様であるので、説明を省略する。
【００４５】
以上説明した本発明の実施例５によれば、実施例１〜実施例４の効果に加えて、動き以外の映像の特徴に応じて、動画表示特性重視で処理する領域と階調特性重視で処理する領域の比率を変更することが可能となる。これにより、様々な映像の特徴に応じた画質で映像を表示することが可能となる。
【実施例６】
【００４６】
実施例１から実施例５では、階調補正部３２の処理において、処理対象の２個の入力フレームのうち一方の入力フレーム２０または入力フレーム２１aのみを用いているが、実施例６では２つのフレームを用いるように構成している。図１１はフレーム補間部１１の構成例を示しており、フレーム２０およびフレーム２１の２つのフレームを階調補正部３２へ入力する。階調補正部３２では、例えばフレーム２０とフレーム２１の平均した画像データを生成し、前述したものと同様な階調補正処理を行う。画像データの下位ビット付近には映像中のノイズ成分が含まれる場合があるが、２フレームの平均によりノイズの影響を低減した上で階調補正を行うことができる。
【００４７】
その他の構成は、実施例１〜実施例５と同様であるので、説明を省略する。
【００４８】
以上説明した本発明の実施例６によれば、実施例１〜実施例５の効果に加えて、ノイズの影響を低減した画質で映像を表示することが可能となる。
【００４９】
なお、実施例１〜実施例５において、階調補正部３２の処理において、処理対象の２個の入力フレームのうち、時間的に前の入力フレーム２０または入力フレーム２１aを用いているが、処理対象の２個の入力フレームのうち、時間的に後の入力フレーム２１または入力フレーム２１ｂを用いているがを用いてもよい。
【符号の説明】
【００５０】
１０  動き補正部
１１  フレーム補間部
１２  フレーム選択部
１３  メモリＩＦ部
１４  メモリ
２０  入力フレーム
２１  遅延フレーム
２１ａ  １フレーム遅延フレーム
２１ｂ  ２フレーム遅延フレーム
２２  動き情報
２３  補間フレーム
２４  入力フレームの遅延フレーム
２５  補間フレームの遅延フレーム
２６  出力フレーム
３０  動き補正部
３１  動き領域判定部
３２  階調補正部
３３  データ選択部
３４  動き補正フレーム
３５  階調補正フレーム
３６  動き領域情報
４０  番組ジャンル情報
５０  特徴検出部
５１  輝度ヒストグラム
【図１】
2013120369.tif 000003
【図２】
2013120369.tif 000004
【図３】
2013120369.tif 000005
【図４】
2013120369.tif 000006
【図５】
2013120369.tif 000007
【図６】
2013120369.tif 000008
【図７】
2013120369.tif 000009
【図８】
2013120369.tif 000010
【図９】
2013120369.tif 000011
【図１０】
2013120369.tif 000012
【図１１】
2013120369.tif 000013
【図１２】
2013120369.tif 000014
【図１３】
2013120369.tif 000015