(57)【要約】【課題】  装置に入力される時点で既に破綻している映像について、破綻を低減する。【解決手段】  入力映像に含まれるエッジの不連続性を検出して映像の破綻の判定を行う判定部と、入力映像を高画質化処理または高フレームレート化処理を行う映像処理部と、  前記映像処理部で処理した映像を表示する表示部とを備え、前記映像処理部は、前記判定部の判定結果に応じて、高画質化処理の強弱、レベルの変更、または高フレームレート化処理における補間フレームの生成処理を変更する構成とする。【選択図】  図１
2012015669.tif 000002
【特許請求の範囲】
【請求項１】
入力映像に含まれるエッジの不連続性を検出して映像の破綻の判定を行う判定部と、
入力映像を高画質化処理または高フレームレート化処理を行う映像処理部と、
前記映像処理部で処理した映像を表示する表示部とを備え、
前記映像処理部は、前記判定部の判定結果に応じて、高画質化処理の強弱、レベルの変更、または高フレームレート化処理における補間フレームの生成処理を変更することを特徴とする表示装置。
【請求項２】
請求項１に記載の表示装置であって、
前記判定部は、入力映像のフレームに含まれるエッジの不連続の発生数が所定の閾値以上の場合には、前記映像処理部における高画質化処理をＯＦＦにする、または高フレームレート化処理の補間フレーム生成処理において、動きベクトルを用いない補間フレーム生成処理を行い、動きベクトルを用いる補間フレーム生成処理は行わないことを特徴とする表示装置。
【請求項３】
請求項１に記載の表示装置であって、
前記判定部は、入力映像のフレームに含まれるエッジの不連続の発生総数を第１の指標値とし、入力映像におけるエッジの不連続の発生の空間的な分散を第２の指標値とし、両者の組合せからエッジの不連続の発生についてのレベルを判定し、当該判定結果に応じて、高画質化処理の強弱、レベルの変更、または高フレームレート化処理における補間フレームの生成処理を変更することを特徴とする表示装置。
【請求項４】
入力映像に含まれる複数のフレームについてエッジの不連続性を検出して映像の破綻の判定を行い、該複数のフレームについての映像の破綻の判定結果から破綻フレームの出現に規則性があるか否かを判定する判定部と、
前記判定部の判定結果に応じて、入力映像から一部のフレームを間引く処理が可能なフレーム間引き処理部と、
前記フレーム間引き処理部から出力される映像に高画質化処理または高フレームレート化処理を行う映像処理部と、
前記映像処理部で処理した映像を表示する表示部とを備え、
前記判定部が破綻フレームの出現に規則性があると判断した場合には、前記フレーム間引き処理部が、入力映像から破綻フレームを間引いた映像を出力し、前記映像処理部は、前記判定部が判定した規則性の種類に応じた高フレームレート化処理を行い、
前記判定部が破綻フレームの出現に規則性がないと判断した場合には、前記フレーム間引き処理部は、入力映像から破綻フレームを間引かずに出力し、前記映像処理部は、それぞれのフレームの映像破綻の有無に応じて高画質化処理の強弱、レベルの変更、または高フレームレート化処理における補間フレームの生成処理を変更することを特徴とする表示装置。
【請求項５】
入力映像に含まれるフレームについてエッジの不連続性を検出して映像の破綻の判定を行う判定部と、
前記判定部の判定結果に応じて、入力映像から一部のフレームを間引く処理が可能なフレーム間引き処理部と、
前記フレーム間引き処理部から出力される映像に高フレームレート化処理を行う映像処理部と、
前記映像処理部で処理した映像を表示する表示部とを備え、
前記映像処理部は、前記フレーム間引き処理部で間引いたフレームを、高フレームレート化処理により生成した補間フレームに置き換えることを特徴とする表示装置。
【請求項６】
左目用の映像と右目用の映像の組が含まれる入力３Ｄ映像を入力する入力部と、
入力３Ｄ映像について映像の破綻を判定する判定部と、
入力３Ｄ映像に高画質化処理または高フレームレート化処理を行う映像処理部と、
前記映像処理部で処理した３Ｄ映像を３Ｄ表示する３Ｄ映像表示部とを備え、
前記判定部は、前記入力３Ｄ映像に含まれる左目用の映像と右目用の映像の組のうちそれぞれの映像について映像の破綻のレベルを判定し、該左目用の映像と該右目用の映像における映像の破綻のレベルが相違する場合であっても、前記映像処理部は、該左目用の映像と該右目用の映像について、同じレベルの高画質化処理または高フレームレート化処理を行うことを特徴とする表示装置。
【請求項７】
入力映像に含まれるエッジの不連続性を検出して映像の破綻の判定を行う判定部と、
入力映像を高画質化処理または高フレームレート化処理を行う映像処理部とを備え、
前記映像処理部は、前記判定部の判定結果に応じて、高画質化処理の強弱、レベルの変更、または高フレームレート化処理における補間フレームの生成処理を変更することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置であって、
前記判定部は、入力映像のフレームに含まれるエッジの不連続の発生数が所定の閾値以上の場合には、前記映像処理部における高画質化処理をＯＦＦにする、または高フレームレート化処理の補間フレーム生成処理において、動きベクトルを用いない補間フレーム生成処理を行い、動きベクトルを用いる補間フレーム生成処理は行わないことを特徴とする画像処理装置。
【請求項９】
請求項７に記載の画像処理装置であって、
前記判定部は、入力映像のフレームに含まれるエッジの不連続の発生総数を第１の指標値とし、入力映像におけるエッジの不連続の発生の空間的な分散を第２の指標値とし、両者の組合せからエッジの不連続の発生についてのレベルを判定し、当該判定結果に応じて、高画質化処理の強弱、レベルの変更、または高フレームレート化処理における補間フレームの生成処理を変更することを特徴とする画像処理装置。
【請求項１０】
入力映像に含まれる複数のフレームについてエッジの不連続性を検出して映像の破綻の判定を行い、該複数のフレームについての映像の破綻の判定結果から破綻フレームの出現に規則性があるか否かを判定する判定部と、
前記判定部の判定結果に応じて、入力映像から一部のフレームを間引く処理が可能なフレーム間引き処理部と、
前記フレーム間引き処理部から出力される映像に高画質化処理または高フレームレート化処理を行う映像処理部とを備え、
前記判定部が破綻フレームの出現に規則性があると判断した場合には、前記フレーム間引き処理部が、入力映像から破綻フレームを間引いた映像を出力し、前記映像処理部は、前記判定部が判定した規則性の種類に応じた高フレームレート化処理を行い、
前記判定部が破綻フレームの出現に規則性がないと判断した場合には、前記フレーム間引き処理部は、入力映像から破綻フレームを間引かずに出力し、前記映像処理部は、それぞれのフレームの映像破綻の有無に応じて高画質化処理の強弱、レベルの変更、または高フレームレート化処理における補間フレームの生成処理を変更することを特徴とする画像処理装置。
【請求項１１】
入力映像に含まれるフレームについてエッジの不連続性を検出して映像の破綻の判定を行う判定部と、
前記判定部の判定結果に応じて、入力映像から一部のフレームを間引く処理が可能なフレーム間引き処理部と、
前記フレーム間引き処理部から出力される映像に高フレームレート化処理を行う映像処理部とを備え、
前記映像処理部は、前記フレーム間引き処理部で間引いたフレームを、高フレームレート化処理により生成した補間フレームに置き換えることを特徴とする画像処理装置。
【請求項１２】
左目用の映像と右目用の映像の組が含まれる入力３Ｄ映像を入力する入力部と、
入力３Ｄ映像について映像の破綻を判定する判定部と、
入力３Ｄ映像に高画質化処理または高フレームレート化処理を行う映像処理部とを備え、
前記判定部は、前記入力３Ｄ映像に含まれる左目用の映像と右目用の映像の組のうちそれぞれの映像について映像の破綻のレベルを判定し、該左目用の映像と該右目用の映像における映像の破綻のレベルが相違する場合であっても、前記映像処理部は、該左目用の映像と該右目用の映像について、同じレベルの高画質化処理または高フレームレート化処理を行うことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像（映像）の高画質化処理に関する。
【背景技術】
【０００２】
近年、映像のフレーム数を増やし、時間方向の高解像度化を図ることにより、動画表示におけるぼやけ感やガタガタ感といった不自然さを改善することを目的として、テレビジョン受信装置や表示装置などにフレームレート変換処理機能を備えることが多い。しかし、フレームレート変換処理機能は元々存在しないフレームを予測して作り出すという非常に高度な技術を要し、フレームレート変換処理後の映像の一部が本来とは異なる映像（画像）になる（以下、本現象を「映像の破綻」または「画像の破綻」と表現する）現象が発生する場合がある。
【０００３】
テレビジョン受信装置や表示装置内部のフレームレート変換処理による破綻を改善する技術が、例えば特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2009-278578
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示される技術は、フレームレート変換処理を行う装置自体でフレームレート変換処理による映像の破綻を低減するものであり、装置に入力される時点で既に破綻している映像について、破綻を改善することはできない。
【０００６】
本発明は上記課題を鑑みてなされたものであり、装置に入力される時点で既に破綻している映像について、破綻を低減することを目的とするものである。
【課題を解決するための手段】
【０００７】
上記目的を達するためには、入力映像に含まれるエッジの不連続性を検出して映像の破綻の判定を行う判定部と、入力映像を高画質化処理または高フレームレート化処理を行う映像処理部と、前記映像処理部で処理した映像を表示する表示部とを備え、前記映像処理部は、前記判定部の判定結果に応じて、高画質化処理の強弱、レベルの変更、または高フレームレート化処理における補間フレームの生成処理を変更する構成とすればよい。
【発明の効果】
【０００８】
本発明によれば、装置に入力される時点で既に破綻している映像について、破綻を低減することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施例に係る画像処理装置の一例を示すブロック図である。
【図２】本発明の一実施例に係る破綻検出部の構成の一例を示すものである。
【図３】本発明の一実施例に係るエッジ検出の一例を説明するための図である。
【図４】本発明の一実施例に係るエッジ検出の極性の一例を説明するための図である。
【図５】本発明の一実施例に係るエッジ連続性判定の一例を説明するための図である。
【図６】本発明の一実施例に係る画像処理装置の一例を示すブロック図である。
【図７】本発明の一実施例に係るレベル判定部の構成の一例を示すものである。
【図８】本発明の一実施例に係るレベル判定部の分散判定の一例を説明するための図である。
【図９】本発明の一実施例に係る画像処理装置の一例を示すブロック図である。
【図１０】本発明の一実施例に係る破綻パタン検出の一例を説明するための図である。
【図１１】本発明の一実施例に係る画像処理装置の一例を示すブロック図である。
【図１２】HDMI ver.1.4aでのFramePackingデータのフォーマットを説明するための図である。
【図１３】本発明の一実施例に係る同期生成部の構成の一例を示すものである。
【図１４】本発明の一実施例に係る同期生成部の動作の一例を説明するための図である。
【図１５】本発明の一実施例に係る破綻検出部の構成の一例を示すものである。
【図１６】本発明の一実施例に係るシステムの一例を説明するための図である。
【図１７】フレームレート変換処理による映像破綻の一例を説明するための図である。
【図１８】本発明の一実施例に係るシステムの一例を説明するための図である。
【図１９】本発明の一実施例に係る適応エンハンサ処理部の構成の一例を示すものである。
【図２０】本発明の一実施例に係る適応エンハンサ処理部の非線形処理部の構成の一例を示すものである。
【図２１】本発明の一実施例に係る適応エンハンサ処理部の非線形処理部の入出力特性の一例を示すものである。
【図２２】本発明の一実施例に係る画像処理装置の一例を示すを示すブロック図である。
【発明を実施するための形態】
【実施例１】
【００１０】
本発明の実施例１に係る画像処理装置を含むシステム例を図１６を用いて説明する。図１６において、放送局側システム16001において、撮影カメラ16003で撮像された映像は、フレームレート変換処理部16004でフレームレート変換され、エンコード処理部16005により映像データ圧縮が行われる。圧縮された映像データは伝送データ16006として、放送波または通信網を介して送信される。送信された伝送データ16006は、本発明の実施例１に係る画像処理装置16002おいて受信され、画像処理がなされる。
【００１１】
なお、本発明の実施例１に係る画像処理装置16002は、画像処理した映像を表示部に表示する表示装置でもよく、画像処理した映像を他の装置に出力する画像出力装置でもよい。また、画像処理装置16002をチューナや復調部を備えるテレビジョン放送受信装置として構成してもよい。この場合、テレビジョン放送信号に含まれて伝送される映像データも処理することができる。
【００１２】
放送局側システム16001のフレームレート変換処理部16004におけるフレームレート変換処理の例としては、例えば、欧州や中国といったPAL圏で撮影された映像を、日本のNTSC圏で放送するために、50Hzから60Hzへフレームレート変換処理する場合などが挙げられる。
【００１３】
このとき、フレームレート変換処理部16004におけるフレームレート変換処理により映像（画像）の破綻が発生すると、伝送データ16006に含まれる映像データにおいても当該映像の破綻は残ったままとなる。
【００１４】
ここで、当該映像の破綻の発生の一例を図１７を用いて説明する。例えば図１７(a)に示すような、繰り返しパターン模様が含まれる映像に関しては、正確な動きベクトルの検出が難しい。このような映像に動きベクトルを用いるフレームレート変換処理を行うと、図１７(b)に示すようにフレームレート変換処理後の映像の一部が本来の映像とは異なる映像となる場合があり、映像の破綻が生じることとなる。
【００１５】
なお、本発明の実施例１に係る画像処理装置を含むシステムの別の例としては、図１８の例もありうる。図１８において、再生装置18001は、映像データを再生する装置であり、映像データをデコーダ部18003で再生し、フレームレート変換処理部18004でフレームレート変換処理を行って出力する装置である。出力映像データは伝送データ18005として有線または無線の伝送路を介して画像処理装置18002に入力される。
【００１６】
なお、再生装置18001において再生対象となる映像データは、DVD、BDなどの光ディスクや、HDDなどの磁気ディスクに記録した映像データでもよい、この場合、再生装置18001は、記録媒体からの映像再生部を有する必要がある。また、デジタル放送信号に含まれる映像データを再生してもよく、この場合、再生装置18001は、デジタル放送信号から圧縮映像データを生成するためにチューナや復調部などを備える必要がある。
【００１７】
図１８の場合も、フレームレート変換処理部18004におけるフレームレート変換処理により映像の破綻が生じると、画像処理装置18002に入力される伝送データ中の映像データにも映像の破綻が生じたままとなる。
【００１８】
次に、図１６のシステムにおける画像処理装置16002または図１８のシステムにおける、画像処理装置18002となる本発明の画像処理装置の構成について説明する。
【００１９】
図１は、本発明の実施例１に係る画像処理装置の構成の一例を示すブロック図である。
【００２０】
図１において、1001はデコーダ部、1002は破綻検出部、1003は高画質化処理部、1004はフレームレート変換処理（以下、FRC：Frame Rate Conversionと呼ぶ）部、1005はタイミングコントローラ部、1006は表示部、1007はメモリI/F部、1008はフレームメモリである。
【００２１】
デコーダ部1001では、MPEGやH.264といった圧縮データをデコード処理する。なお、実施例１に係る画像処理装置が、図１８のシステムの画像処理装置18002である場合には、デコーダ部1001は不要である。デコード済みのデータが入力されるからである。この点は以降の実施例の画像処理装置でも同様である。
破綻検出部1002では、入力映像に含まれる映像の破綻を検出する。破綻検出部1002は、後述する破綻判定信号2007を高画質化処理部1003及びFRC部1004に出力する。高画質化処理部1003では解像度変換や、IP(Interlace/Progressive)変換、ノイズリダクション等の高画質化画像処理が施される。FRC部1004では、メモリI/F部1007、及びフレームメモリ1008を利用して、フレームレートの変換処理を行う。タイミングコントローラ部1005では前記FRC部1004ら得たフレームレート変換処理後の映像出力を表示部1006に表示するためのタイミング調整を行う。
【００２２】
図２は、図１における破綻検出部1002の構成の一例を示すものである。
【００２３】
図２において、2001は輝度レベル検出部、2002は水平方向エッジ検出部、2003は垂直方向エッジ検出部、2004はエッジ連続性判定部、2005は破綻判定部、2006 は映像遅延部、2007は破綻判定信号である。
【００２４】
輝度レベル検出部2001では、入力映像の輝度レベルを検出する。ここでは例えば図３に示すように、入力信号のダイナミックレンジを所定閾値TH1〜TH3で区切り、各画素がL1〜L4のどの領域に属しているかを分類する。
【００２５】
水平方向エッジ検出部2002、垂直方向エッジ検出部2003では、水平方向、垂直方向それぞれのエッジ量（強度）、極性（立上り／立下り）を検出する。ここで、エッジ量（強度）とは、隣接画素との画素値の差分である。エッジ量（強度）関しては、例えば図４(a)に示すように、所定閾値TH4〜TH6で区切り、各画素のエッジ量（強度）がE0〜E4のどの領域に属しているかを分類する。ここで、E0はエッジなし（輝度差なし）の点である。上記分類は、水平、垂直方向独立に実施する。また、図4に示すように、エッジ有りの場合はその極性が立上り(図４(b))か、立下りか(図４(c))を判定する。また、ここで検出の順番としては、特に垂直方向の後に水平方向でも問題ない。
【００２６】
エッジ連続性判定部2004では、前記の輝度レベル情報、エッジ情報を用いて、エッジの連続性を判定する。具体的には、対象とするエッジ有りの画素含めて図５に示すように周囲8画素の輝度レベル情報、エッジ情報を用いる。図５において、A0 がエッジ有りの対象画素である。
【００２７】
エッジの連続性の判定条件の一例について説明する。例えば以下の条件に当てはまる場合には、エッジの連続性がないと判定する。
条件（１）対象画素と同一分類の輝度レベルで、且つ所定閾値（X１）以上異なるエッジ量を持つ画素が、所定閾値（N１）以上の個数存在する場合
条件（２）対象画素と同一分類の輝度レベルで、且つ異なるエッジ方向（水平／垂直）を持つ画素が、所定閾値（N２）以上の個数存在する場合
条件（３）対象画素と同一分類の輝度レベルで、且つ異なる極性のエッジを持つ画素が、所定閾値（N３）以上の個数存在する場合
条件（１）〜（３）はそれぞれ単独でエッジの連続性の判定条件として用いてもよく、条件（１）〜（３）のうちのいくつかの条件または全ての条件を組合せ、これらの条件を全て満たした場合にエッジの連続性がないと判断してもよい。
【００２８】
ここで、エッジ有りとする画素の定義は事前に決めておく必要がある。例えば、「輝度レベルL2以上、且つエッジ量（強度）E3以上をエッジ有りとする」等である。
【００２９】
前記条件の意味するところは、まずエッジというものは映像の特徴部分を示すものであり、このような画素が1画素のみ孤立して存在する映像は通常生じ難い。このような画素は、通常は物体の輪郭や模様等を示している場合が多いため、同じ特性を持つ画素が周囲に1つ以上存在する可能性が高い。さらに、このような特徴的な画素が、何種類も周囲にある映像も通常生じ難い。
【００３０】
ここで、フレームレート変換処理による映像の破綻は、エッジ部分、物体の輪郭等が崩れる（エッジの連続性が崩れる）現象が経験上多いことが分かっている。エッジの連続性を判定することにより、フレームレート変換処理による映像の破綻を精度よく検出することが可能となる。さらに、同一輝度レベルのエッジという条件を加えることにより、同じ物体、輪郭に属するエッジ成分の不連続性である部分の検出精度を高めることが可能となる。
【００３１】
破綻判定2005では、前記エッジ連続性判定によってエッジの連続性がないと判定された箇所（画素）を1フレーム中カウントし、前記カウント値が所定閾値（M）以上である場合を「破綻あり」、閾値（M）より小さい場合を「破綻なし」、と判定し破綻判定信号2007として出力する。
【００３２】
遅延部2006は、上記破綻検出系回路分の遅延量分入力データを遅延させて出力する。
【００３３】
前記破綻判定信号2007は、高画質化処理部1003、FRC処理部1004へそれぞれ送られる。
【００３４】
高画質化処理部1003では、破綻判定信号2007が「破綻あり」を示すフレームに関しては、例えばエッジ強調を行うようなエンハンサ、シャープネス系の処理を「破綻あり」を示すフレームに対する処理よりも弱くする。または、破綻判定信号2007が「破綻あり」を示すフレームに関しては、当該処理をOFFとする。
【００３５】
図１９は、高画質化処理部1003がエンハンサ処理を行う場合の構成の一例を示すものである。図１９において、19001は垂直ハイパスフィルタ、19002は水平ハイパスフィルタ、19003は遅延部、19004、19006は加算器、19005は非線形処理部、19007はセレクタ部である。
【００３６】
入力信号19009は、遅延部19003と、水平・垂直ハイパスフィルタ処理部19001、19002への入力の2系統に分かれる。水平・垂直ハイパスフィルタ19001、19002では、入力信号19009に対してフィルタ処理を施し、エンハンスしたい信号の周波数成分を取り出す。図１９では、垂直エンハンス成分と水平エンハンス成分を個々に抽出し、加算器19004にてそれらを加算してエンハンス成分を生成している。前記エンハンサ成分は、非線形処理部19005により、ノイズ除去、ゲイン調整、リミッタ等の非線形処理を施され、最終的なエンハンス信号が生成される。
【００３７】
加算器19006により、前記遅延部19003からのタイミング調整された入力信号にエンハンス信号を加算することにより、所定の高域成分をエンハンスした信号が生成される。セレクタ部19007では、破綻判定信号2007により、エンハンス処理前後どちらの信号を用いるかを選択する。これにより、エンハンス処理のON／OFFを制御することが可能となる。
【００３８】
また、破綻判定信号2007は非線形処理部19005へも入力されそのエンハンス量の制御も可能とする。
【００３９】
図２０は、図１９における、非線形処理部19005の構成の一例を示すものである。図２０において、20001はコアリング処理部、20002はゲイン調整部、20003は振幅リミッタ部である。コアリング処理部20001は、所定閾値CORE以下の入力信号に対する出力信号のレベルを0とし、ノイズ成分をエンハンス成分として抽出することを防止する。ゲイン調整部20002は、エンハンス成分の感度を所定ゲイン量GAINに応じて上げる。振幅リミッタ部20003は、ダイナミックレンジ付近の大振幅の成分に対して、前記ゲイン調整により過度にエンハンスされることによる白飛びや黒潰れという過度なエンハンサ処理を防止するために、入力信号が所定レベルLIM1とLIM2の範囲内の大振幅のエンハンス信号に対してその振幅レベルを一定もしくは下げるように制御を施す。以上のように非線形処理部19005は、例えば図２１に示すような入出力特性を示す。上記コアリング量、ゲイン量、リミッタレベルを破綻判定信号2007によって適応的に可変することで、破綻が発生している映像に対する好適な高画質化処理が可能となる。
【００４０】
また、高質化処理1003における別の処理の例として、IP変換、解像度変換、ノイズ低減等を行ってもよい。この場合、高質化処理1003の構成は、既に説明したエンハンサ処理と同様に、破綻判定信号によって、入力映像の破綻状況に応じた適応処理を行い、処理の強弱やレベルを変更する構成とすればよい。これにより、より好適な映像を作り出すことが可能となる。
【００４１】
FRC処理部1004では、破綻判定信号2007が「破綻あり」を示すフレームに関しては、動きベクトルの信頼性が低いため、そのフレームを用いた補間フレーム生成においては、例えば同一フレーム繰り返しや前後フレームの線形補間などの動きベクトルを用いない補間フレーム生成処理を選択すればよい。また、動きベクトルを用いない補間フレーム生成処理を用いる場合も動きベクトルの短縮化を行うことにより、動きベクトルの影響が低い補間フレーム生成処理を行えばよい。このように、破綻判定信号2007が「破綻あり」を示すフレームに関しては、動きベクトルを用いる補間フレーム生成処理を制限し、破綻の見え難い補間フレーム生成処理を選択する。なお、破綻判定信号2007が「破綻なし」を示すフレームに関しては、入力映像自体の破綻による動きベクトルの信頼性の低下は問題ないと判断して、FRC処理部1004においてその他の要因を含めて好適と判断する補間フレーム生成処理を選択すればよい。すなわち、動きベクトルを用いる補間フレーム生成処理を制限する必要はない。  以上説明した本発明の実施例１の画像処理装置によれば、入力された映像信号において既に映像が破綻しているような場合、前記破綻の有無を判定することができ、画像処置装置内の信号処理において、それに適応したより好適な高画質化処理を施すことが可能となる。すなわち、より好適に映像の高画質を行うことが可能となる。
【００４２】
また、本実施例においては、入力された映像の破綻を、フレームレート変換処理によるものを一例として記載したが、これに限るものではなく、各種エンコード、デコード処理やIP変換、解像度変換、超解像処理、ノイズ低減処理等各種高画質化処理による映像の破綻のいずれにおいても、本実施例による開示技術を適用することが可能である。
【実施例２】
【００４３】
次に、本発明の実施例２について説明する。本発明の実施例２は、実施例１の画像処理装置のうち、破綻検出部の構成、動作が異なるものであり、その他の構成、動作は同様であるため、説明を省略する。前提となる図１６や図１８のシステムも実施例１と同様であるため、説明を省略する。
【００４４】
図６は、本発明の実施例２の破綻検出部6002の構成の一例を示すブロック図である。
【００４５】
図６において、図２に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００４６】
実施例２に係る破綻検出部6002は、エッジの連続性のレベルを判定することができ、前記レベルに応じた後段の高画質化処理が可能となる。
【００４７】
以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。
【００４８】
図６に示す破綻検出部6002において、6001はフレーム中におけるエッジ連続性のレベルを検出するレベル判定部である。図６に示す実施例２の破綻検出部6002当該レベル判定部6001が加えられている点で、図２に示す実施例１の破綻検出部1002と相違する。
【００４９】
図７は、図６におけるレベル判定部6001の構成の一例を示すブロック図である。図7において、7001はエッジ不連続個数総数判定部、7002はエッジ不連続分散判定部、7003はレベル決定部である。
【００５０】
エッジ不連続個数総数判定部7001では、1フレーム中のエッジ不連続部の個数をカウントし、そのカウント値に対して閾値設定によるレベル分けを行う。ここで、1フレーム中のエッジ不連続部の個数をカウントする処理は、実施例１で説明したエッジ連続性判定部2004におけるエッジ不連続部の個数のカウント処理と同様でかまわない。よって、当該カウント処理は、エッジ不連続個数総数判定部7001で行っても良いが、エッジ連続性判定部2004のカウント結果を取得して用いても構わない。
【００５１】
算出したカウント値の分類について説明する。例えば2個の閾値TH1、2（TH1<TH2）を用意して表１のように分類を行う。すなわち、当該カウント値をフレーム内のエッジ不連続部の個数についての指標値とし、分類を行う。
【表１】
2012015669.tif 000003
【００５２】
次に、分散判定部7002では、前段のエッジ連続性判定2004において、不連続と判定された画素の位置情報（フレーム内の座標情報）を取得し、その分散情報を検出する。前記位置情報としては、例えば図８に示すように1フレーム内を6つの領域に分け、各領域におけるエッジ不連続画素の個数をカウントする。当該カウント数に対して所定閾値TH3を用意し領域の数に対して所定閾値TH４を用意して表２のように分類を行う。すなわち、カウント数が所定閾値TH3以上の領域の数を、入力映像におけるエッジの不連続の発生の空間的な分散についての指標値とし、分類を行う。
【表２】
2012015669.tif 000004
【００５３】
レベル決定部7003では、不連続個数総数判定部7001、集中度判定部7002からの結果を元に、例えば表３に示すようなエッジ不連続レベルを決定する判定処理を行う。
【００５４】
つまり、フレーム内のエッジ不連続個数が多く、且つその分散が大きくなる程、エッジ不連続レベルが高いと判定し、逆にエッジ不連続個数が少なく、且つ分散が小さい程エッジ不連続レベルが低いと判定する。
【表３】
2012015669.tif 000005
【００５５】
具体的な判定処理としては、レベル決定部7003は、表３に示すような判定テーブルを予め記憶しておき、不連続個数総数判定部7001、集中度判定部7002の結果に応じてエッジ不連続レベルを決定すればよい。レベル決定部7003は、決定したエッジ不連続レベルを破綻判定信号2007に含めて、高画質化処理部1003やFRC部1004などの後段の処理部へ出力する。
【００５６】
高画質化処理部1003やFRC部1004などでは、前記判定によるエッジ不連続レベルに応じて、処理を適応的に切り替える。具体的には、不連続レベルが高くなる程、高画質化処理部1003では、エンハンサ、シャープネス系の処理を弱くする、FRC部1004では、補間フレームにおける動きベクトルを用いない補間フレーム（例えば、線形補間フレーム）の挿入率を上げる等の適応的処理を行う。表３の例では、不連続レベルが「低」の場合は、高画質化処理部1003でのエンハンサ、シャープネス系の処理の制限をなしとし、不連続レベルが「中」、「高」と上がるにつれて制限を大きくしてもよい。不連続レベルが「高」の場合には、エンハンサ、シャープネス系の処理をOFFにしてもよい。
【００５７】
また、不連続レベルが「低」の場合は、FRC部1004において、補間フレームにおける動きベクトルを用いて生成する補間フレームの挿入制限をなしとし、不連続レベルが「中」、「高」と上がるにつれて、動きベクトルを用いて生成する補間フレームに替えて動きベクトルを用いない補間フレーム（例えば、線形補間フレーム）の挿入率を大きくしてもよい。また、不連続レベルが「高」の場合には、動きベクトルを用いて生成する補間フレームの挿入を禁止してもよい。
【００５８】
以上説明した本発明の実施例２の画像処理装置によれば、エッジの不連続個数の総数のみならず、エッジの不連続の発生領域の分散も考慮して映像内の破綻の割合を判定し、当該割合に応じて適応的に後段の信号処理方法を可変することで、より好適に映像を高画質化することが可能となる。
【実施例３】
【００５９】
次に、本発明の実施例３について説明する。図９は、本発明の実施例３に係る画像処理装置の構成の一例を示すブロック図である。
【００６０】
実施例３に係る画像処理装置は、入力映像の破綻フレームの有無、または破綻フレーム出現の周期性を検出することにより、入力映像から破綻フレームを削除し、画像処理装置においてFRC処理をやり直して削除したフレームを新たなフレームに置き換えることにより、破綻を低減ことが可能となる。
【００６１】
図９において、図１に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。以下、上述した実施例１と異なる部分についてその動作を説明する。
【００６２】
図9において、9001は破綻判定信号、9002はFRCモード信号、9003はパタン検出部である。
【００６３】
破綻検出部1002の構成は実施例１と同様である。破綻検出部1002は実施例１と同様にフレーム毎に破綻判定信号2007を出力する。破綻判定信号2007は、パタン検出部9003へ入力される。パタン検出部9003では、入力データと、前記破綻検出部1002による破綻判定結果を複数フレーム分取得し、破綻が起きているフレームのパタンを検出する。
【００６４】
当該検出の一例を説明する。図１０に示すように例えば連続する6フレーム分の破綻判定結果に基づいて、パタン検出を行うことが可能である。ここで、例えば破綻検出部1002への入力信号は、60Hzであるとする。図１０において、”有”、”無”の表記はそれぞれ破綻が起きているフレームを”有”、破綻が起きていないフレームを”無”と表記している。図１０(a)のパタンは送信側における24Hz⇒60Hz(2.5倍)のFRC処理において、送信側で生成した補間フレームが全て破綻していた場合のパタンである。同様に、(b)(c)は送信側におけるそれぞれ倍速(30Hz⇒60Hz等)、50Hz⇒60Hz(1.2倍)のFRC処理において、送信側で生成した補間フレームが全て破綻していた場合のパタンである。また、場合によっては(d)のように破綻フレームの出現に規則性が見られない場合も有り得る。
【００６５】
メモリI/F部1007では、当該検出されたパタンに応じて、破綻無のフレームのみ読み出し、後段の信号処理部へ出力する。つまり、図9(a)では第1、4、7・・・フレームデータのみを読み出す。すなわち、メモリI/F部1007は、破綻有りのフレームの間引き処理を行うことができるフレーム間引き処理部としての機能を有する。
【００６６】
また、メモリI/F部1007では、高画質化処理部1003の遅延数を考慮し、FRC部1004へ、前記破綻無のフレームのみ渡した事を示すFRCモード信号9002を出力する。破綻判定信号9001は、実施例１における破綻判定信号2007と同様である。この場合は、メモリI/F部1007から出力されたフレームについて破綻無しであることを示す破綻判定信号9001が、高画質化処理部1003、FRC部1004に出力される。
【００６７】
例えば、図９において表示部1006での表示フレームレートが120Hzの場合、図１０(a)(b)(c)の場合には、それぞれ5倍速、4倍速、2.4倍速のFRC処理が必要であるというFRCモード信号9002を出力する。FRC処理部1004では、FRCモード信号9002に応じて、メモリI/F部1007から取得した前記破綻無のフレームを用いて補間フレームを生成するFRC処理を実施する。当該FRC処理により、フレームレートが入力映像より増加するとともに、結果的に入力映像中の破綻”有”フレームは、実施例３に係る画像処理装置におけるFRC処理により新たに生成した補間フレームに置き換えられることとなる。
【００６８】
また、図１０(d)のように破綻フレームの出現に規則性が見られない場合には、メモリI/F部1007は、破綻フレーム含めた全フレーム読み出しを行い、且つ高画質化処理部1003には破綻判定信号9001を出力し、FRC処理部には2倍速のFRC処理が必要であるというFRCモード信号9002を出力する。高画質化処理部1003では、破綻判定信号2009が破綻有りを示すフレームについてはエンハンサ、シャープネス系の処理を弱くする、もしくはOFFとする。高画質化処理部1003において、破綻判定信号2009が破綻無しを示すフレームについてはこのような高画質化処理の制限を行う必要がない。同様に、FRC処理部1004では、破綻判定信号9001が破綻有りを示すフレームに関しては、例えば同一フレーム繰り返しや前後フレームの線形補間、動きベクトルの短縮化等により、破綻の見え難い補間フレーム生成処理を選択し、動きベクトルを用いた補間処理を制限する。FRC処理部1004においても、破綻判定信号2009が破綻無しを示すフレームについてはこのような制限は行う必要がない。すなわち、図１０(d)のように破綻フレームの出現に規則性が見られない場合には、実施例１に係る画像処理装置と同様の処理を行い、破綻フレームをあらたな補間フレームに置き換える処理を行わなくともよい。
【００６９】
以上説明した本発明の実施例３の画像処理装置によれば、破綻の起こっているフレームの規則的なパタンを検出することにより、破綻しているフレームを削除し、後段のFRC処理をやり直すことで、破綻しているフレームを新たな補間フレームに置きかえることができる。また、規則的なパタンが検出されなかった場合には、実施例１同様の破綻フレームの補正を行うことが可能となる。
【００７０】
また、本実施例においては、破綻検出部の構成を実施例１と同様の構成としたが、これに限ることはなく、実施例２における破綻検出部の構成を同様の構成としても良い。
【実施例４】
【００７１】
次に、本発明の実施例４について説明する。本発明の実施例４の画像処理装置の構成は、例えば、図２２に示すように構成すればよい。図２２に示す画像処理装置は、図９に示す実施例３の画像処理装置からパタン検出部9003を除いた構成である。
【００７２】
図２２において、図９に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００７３】
本発明の実施例３に係る画像処理装置のパタン検出部9003では、例えば、図１０に示すように、複数のフレームの破綻判定結果からは破綻フレームの出現パターンを検出し、規則的な出現パターンが検出された場合とされない場合で処理を切り替えた。
これに対し、本発明の実施例４に係る画像処理装置においては、破綻検出部1002で検出したフレーム毎に破綻判定信号2007がメモリI/F部1007に入力されると、メモリI/F部1007では、破綻無のフレームのみ読み出し、後段の信号処理部へ出力する。この場合、メモリI/F部1007は、破綻フレームの出現の規則性の有無にかかわらず、図１０(a)〜(d)のいずれの場合にも破綻無のフレームのみを出力する。この場合、メモリI/F部1007から出力されたフレームについて破綻無しであることを示す破綻判定信号9001が、高画質化処理部1003、FRC部1004に出力される。また、FRC部1004には、全ての破綻フレームを削除したため、FRC処理の補間処理により置きかえる必要があることを示すFRCモード信号9002が出力される。
【００７４】
高画質化処理部1003では、入力される全ての映像フレームが破綻無しと判断されたフレームであるため、制限なく高画質化処理を行う。
【００７５】
FRC部1004では、まずは破綻無しと判断されたフレームを用いて、メモリI/F部1007から出力されなかった破綻ありと判断されたフレームに置き換わる補間フレームを生成して入力映像中の破綻ありフレームを新たな補間フレームに置き換える。入力映像のフレームレートよりも高フレームレート化が必要な場合には、さらに補間フレームを生成して高フレームレートの映像へ変換する。なお、この場合、FRC部1004に入力されるフレームはいずれも破綻無しと判断されたフレームに高画質化処理がなされたものであるので、動きベクトルの信頼性は低くない。よって、FRC部1004における補間処理は、動きベクトルを用いない補間処理（例えば線形補間）のみならず、動きベクトルを用いる補間処理を用いてもよい。
【００７６】
以上説明した本発明の実施例４の画像処理装置によれば、入力映像に含まれる破綻有りフレームの出現パターンに規則性があるか否かにかかわらず、入力映像に含まれる破綻有りフレームを新たに生成する補間フレームに置き換えることが可能となり、より好適に映像を高画質化することができる。
【実施例５】
【００７７】
次に、本発明の実施例５について説明する。図１1は、本発明の実施例５に係るる画像処理装置の構成の一例を示すブロック図である。
【００７８】
図１1において、図１に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００７９】
本発明の実施例５に係る画像処理装置は、入力される信号が3D映像信号であった場合に、左右画像への画像処理量を合わせることにより、違和感のない３D映像とすることを可能とするものである。
【００８０】
以下、上述した各実施例と異なる部分についてその動作を説明する。
【００８１】
図１1において、11001は3Dモード信号、11002は同期生成部、11003は内部同期信号、11004は左右映像破綻統一判定フラグ、11005はデータ圧縮伸長部であり、破綻検出部11006は、実施例１の破綻検出部1002に替わる新たな破綻検出部である。３Ｄ対応表示部11007は、２Ｄ映像のみならず、３Ｄ映像表示にも対応した表示部である。
【００８２】
ここで、3Dモード信号11001とは、3Dの信号形式を示す信号であり、例えばHDMI ver.1.4aでの表記を用いれば、FramePacking（後述）、Side-by-Side（左右目用の映像を横に並べた形で送出する方式：横方向の解像度は半分）、Top-and-Bottom（左右目用の映像を縦に並べた形で送出する方式：縦方向の解像度は半分）を示すものである。以下、図１1のデコーダ部1001からは、3D映像信号がHDMI ver.1.4aで記載されているフォーマットで出力されるとして説明するが、３D映像フォーマットを取り扱うことができる他の規格に準じたフォーマットでも良い。また、上記3D映像フォーマットのうち、FramePackingの場合を例として説明する。
【００８３】
ここで、HDMI ver.1.4aでのFramePackingデータのフォーマット(1080p@24Hz)は、図１2のようになっている。つまり、左側、右側の映像を上下に並べ、2D映像の倍の垂直同期期間、ドットクロックで映像が送られてくる。
【００８４】
図１３は、図１１における同期生成部11002の動作を説明するための図である。図１３において、(a)(b)は入力映像データから得られる垂直同期信号とデータイネーブル波形である。これに対し同期生成部10002では、(b)(c)に示すように、左右の画像データの区切りを示す内部同期信号10003を生成する。具体的には、図１４に示すような垂直同期信号SVｐ 14001、データイネーブル：SDe 14002を生成する。尚、水平同期信号はそのまま使用する。
【００８５】
図１５は、図１１における破綻検出部11006の構成の一例を示すものである。図１５において、15001は入力される内部同期信号10003の垂直同期信号、15002は左右映像破綻統一判定部、15003はレベル判定出力である。エッジ連続性判定部2004では、前記同期生成部10002で生成された内部同期信号10003の垂直同期毎に判定を行う。すなわち、左右画像それぞれで判定を行いそれぞれの結果をレベル判定部6001へ出力する。レベル判定部6001では、前記左右映像それぞれのエッジ連続性判定から、前記表３と同様にレベル判定を行う。その結果を破綻統一判定部15002へ出力し、外部へ出力15003する。左右映像破綻統一判定部15002では、前記左右映像のレベル判定結果から表４に示すような分類を行う。
【表４】
2012015669.tif 000006
【００８６】
本判定は、入力の垂直同期毎に行われ、左右画像の組につき1つの判定結果を左右映像破綻統一判定フラグ11004として出力する。具体的には、左右映像で破綻レベルに1段階の差があると判定された場合、高いレベルに統一して判定信号を出力する。ここで、左右のレベルを破綻レベルの判定を統一することにより、後段の高画質化処理の強弱により、左右画像の最終的な画における映像の破綻の差が広がることを防止することができる。また、判定の統一の際には、破綻レベルの高いレベルに統一することにより、後段の高画質化処理による映像破綻の強調を抑制することができる。
【００８７】
さらに、破綻レベルに2段階の差があると判定された場合、破綻有りと判定させ、後段の高画質化処理を制限またはＯＦＦとする。つまり、左右画像に大きな破綻レベルの差がある場合はそれを増長する可能性のある処理を制限または排除する。
【００８８】
左右画像の最終的な画における映像の破綻の差が3D視聴する際の違和感を増大させる可能性が高いが、以上説明した表４に示す判定を行うことにより、当該違和感の増大を抑制することが可能となる。
【００８９】
なお表４のような分類をした場合、破綻統一判定フラグ11004は3bitの信号で実現できる。
【００９０】
上記破綻統一判定フラグ11004を受け取った高画質化処理部1003、FRC部1004は、それぞれ表４に示す破綻統一判定結果に従い、左右画像両方に対して同一または同一レベルの高画質化処理およびフレームレート変換処理を施す。これらの処理が施された左右映像を含む３Ｄ映像は、３Ｄ対応表示部11007に３Ｄ表示される。
【００９１】
一方、外部出力されたレベル判定出力15003は、データ圧縮伸長部11005へ送られる。データ圧縮伸長部11005は、フレームメモリ容量、及びSDRAMバンド幅削減を目的として、データを圧縮してメモリに格納し、データを使用する際には伸長する機能であり、システム全体のコスト低減としても重要な処理である。理想的にはロスレス方式が望ましいが、ロッシー方式が採用されることが少なくない。この場合、圧縮率が高くなればなるほど映像劣化を引き起こすことになる。
【００９２】
データ圧縮伸長部11005は、その圧縮率を可変にできる構成となっており、本実施例においては、前記レベル判定出力15003に応じて、その圧縮率を可変する。左右画像の破綻レベルに差がある場合、例えばL側の画像の破綻レベルが”低”でR側の画像の破綻レベルが”高”の場合には、L側の画像の圧縮率を上げ、その分R側の画像の圧縮率を下げることにより、L側の画像とRの画像の破綻のさらなる乖離を防止する。但し、圧縮率は基本的には、L側の画像とR側の画像とで同じにすべきであり、上記したように破綻レベルが明らかに異なる場合に適用することが望ましい。
【００９３】
以上説明した本発明の実施例５の画像処理装置によれば、入力された信号が3D映像信号であった場合に、左右映像の高画質化処理およびフレームレート変換処理の処理のレベルを統一することにより、最終画像での違和感を低減することが可能となる。
【００９４】
また、映像データを格納する際に圧縮処理を行う構成においては、入力された3D信号の左右画像の破綻レベルが異なる場合、破綻レベルの低い画像の方のデータ圧縮率を上げ、破綻レベルの高い方のデータ圧縮率を下げることにより、映像の破綻の差が広がらないように左右映像のバランスを取ることで違和感のない３D映像とすることが可能となる。
【００９５】
また、本実施例では、３Dのフォーマットとして、FramePacking方式のみで説明を行ったが、これに限るものではなく、Side-By-Side方式、Top-and-Bottom方式の場合でも適用可能である。FramePacking方式と、Side-By-Side方式、Top-and-Bottom方式とは左右の映像の格納方法が異なるのみで、必要なスケーリング処理等を処理を行えばFramePacking方式の映像と同様に扱うことができるからである。
【００９６】
なお、以上説明したいずれの実施例の画像処理装置も、表示部に替えてまたはこれに加えて出力部を設け、他の機器へ画像または映像を出力してもよい。
【符号の説明】
【００９７】
1001デコーダ部、1002破綻検出部、1003高画質化処理部、1004フレームレート変換処理部、1005タイミングコントロール部、1006表示部、1007メモリI/F部、1008フレームメモリ、
2001輝度レベル検出部、2002水平方向エッジ検出部、2003垂直方向エッジ検出部、2004エッジ連続性判定部、2005破綻判定部、2006映像遅延部、2007破綻判定信号、
6001レベル判定部、6002破綻検出部、
7001エッジ不連続個数総数判定部、7002エッジ不連続分散判定部、7003レベル決定部、
9001破綻判定信号、9002 FRCモード信号、
11001 3Dモード信号、11002 同期生成部、11003 内部同期信号、11004 破綻統一判定フラグ、11005 データ圧縮伸長部、11006破綻検出部、11007 ３Ｄ対応表示部、
14001垂直同期信号、14002 データイネーブル、
15001入力の垂直同期信号、15002破綻統一判定部、15003レベル判定出力、
16001放送局側信号処理、16002 TVセット内部信号処理、16003撮影カメラ、16004フレームレート変換処理部、16005データ圧縮を行うエンコード処理部、16006デコード処理部、16007高画質化処理部、16008フレームレート変換処理部、16009タイミングコントローラ部、16010表示部、
18001 TVセット内部信号処理、18002 レコーダ側信号処理、
19001垂直ハイパスフィルタ、19002 水平ハイパスフィルタ、19003 遅延部、19004、19006 加算器、19005 非線形処理部、19007 セレクタ部、
19001 コアリング処理部、19002 ゲイン調整部、19003 振幅リミッタ部、
【図１】
2012015669.tif 000007
【図２】
2012015669.tif 000008
【図３】
2012015669.tif 000009
【図４】
2012015669.tif 000010
【図５】
2012015669.tif 000011
【図６】
2012015669.tif 000012
【図７】
2012015669.tif 000013
【図８】
2012015669.tif 000014
【図９】
2012015669.tif 000015
【図１０】
2012015669.tif 000016
【図１１】
2012015669.tif 000017
【図１２】
2012015669.tif 000018
【図１３】
2012015669.tif 000019
【図１４】
2012015669.tif 000020
【図１５】
2012015669.tif 000021
【図１６】
2012015669.tif 000022
【図１７】
2012015669.tif 000023
【図１８】
2012015669.tif 000024
【図１９】
2012015669.tif 000025
【図２０】
2012015669.tif 000026
【図２１】
2012015669.tif 000027
【図２２】
2012015669.tif 000028