(57)【要約】【課題】画質の向上を図る。【解決手段】実施形態の画像処理装置は、拡大画像生成手段と、奥行き特徴算出手段と、生成手段と、を備える。拡大画像生成手段は、入力画像情報から、予め定められた拡大率で拡大した拡大画像情報を生成する。奥行き特徴算出手段は、入力画像情報から、当該入力画像情報に含まれる領域毎の、被写界の奥行きの変化の度合いを示した奥行き特徴量を算出する。生成手段は、奥行き特徴算出手段により算出された奥行き特徴量に基づいて、予め定められた高周波成分を含む画像情報を拡大画像情報に合成して、出力画像情報を生成する。【選択図】図２
2014049829.tif 000002
【特許請求の範囲】
【請求項１】
入力画像情報から、予め定められた拡大率で拡大した拡大画像情報を生成する拡大画像生成手段と、
前記入力画像情報から、当該入力画像情報に含まれる領域毎の、被写界の奥行きの変化の度合いを示した奥行き特徴量を算出する奥行き特徴算出手段と、
前記奥行き特徴算出手段により算出された前記奥行き特徴量に基づいて、予め定められた高周波成分を含む画像情報を前記拡大画像情報に合成して、出力画像情報を生成する生成手段と、
を備える画像処理装置。
【請求項２】
前記入力画像情報と、当該入力画像情報より前に入力された元入力画像情報と、の間で生じた、予め定められた第１ブロック単位の動き量を算出する動き量算出手段と、
前記動き量算出手段で算出された前記第１ブロック単位の動き量に従って、前記第１ブロック単位に対応する、前記拡大画像情報の領域に基づいて高周波成分画像を生成する高周波成分画像生成手段と、をさらに備え、
前記生成手段は、前記奥行き特徴量に従って、前記高周波成分画像生成手段により生成された前記予め定められた高周波成分を、前記拡大画像情報に合成して、前記出力画像情報を生成する、
請求項１に記載の画像処理装置。
【請求項３】
前記奥行き特徴算出手段は、前記入力画像情報から、予め定められた第２ブロック単位で、被写界の奥行きの度合いを示した奥行き特徴量を算出し、
複数の前記第２ブロックから処理の対象となる処理対象ブロックを順次選択し、当該処理対象ブロックの奥行き特徴量が所定の閾値以下か否かを判定する判定手段と、
前記判定手段により前記閾値を上回ると判定された場合、前記処理対象ブロックと当該処理対象ブロックに隣接する隣接ブロックとの位置関係を基準とした補間係数を用いて、前記処理対象ブロックの各位置での奥行き特徴量を補間する補間手段と、を備え、
前記補間手段は、前記隣接ブロックの奥行き特徴量が前記閾値以下か否かに応じて、前記補間係数の基準となる前記位置関係の条件を変更する、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記入力画像情報から、予め定められた縮小率で縮小した縮小画像情報を生成する縮小画像生成手段と、
前記第２ブロックに対応する、当該縮小画像情報の領域単位で、画像の特徴を示した特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された前記特徴量と、前記奥行き特徴算出手段により算出された前記第２ブロック単位の前記奥行き特徴量と、を前記第２ブロックに対応する領域毎に重畳する重畳手段と、をさらに備え、
前記判定手段は、前記重畳手段により重畳された複数の前記領域から処理の対象となる処理対象ブロックを順次選択し、前記重畳手段による重畳結果が所定の閾値以下か否かを判定し、
前記補間手段は、前記判定手段により前記閾値を上回ると判定された場合、前記処理対象ブロックと当該処理対象ブロックに隣接する隣接ブロックとの位置関係を基準とした補間係数を用いて、前記処理対象ブロックの各位置での、前記重畳された特徴量を補間する、
請求項３に記載の画像処理装置。
【請求項５】
前記動き量算出手段により算出された前記動き量に基づいて、前記第２のブロックに対応する領域単位で、前記動き量の信頼度を算出する信頼度算出手段をさらに備え、
前記重畳手段は、前記特徴量算出手段により算出された前記特徴量と、前記奥行き特徴算出手段により算出された前記第２ブロック単位の前記奥行き特徴量と、前記信頼度算出手段により算出された前記動き量の信頼度と、を前記第２ブロックに対応する領域毎に重畳する、
請求項４に記載の画像処理装置。
【請求項６】
前記高周波成分画像生成手段により生成された前記予め定められた高周波成分を含む画像情報における、高周波成分の度合いを、前記奥行き特徴算出手段により算出された前記奥行き特徴量に基づいて調整する調整手段をさらに備え、
前記生成手段は、前記動き量に基づいて、前記調整手段により調整された前記予め定められた高周波成分を含む画像情報を、前記拡大画像情報に合成して、前記出力画像情報を生成する、
請求項２に記載の画像処理装置。
【請求項７】
入力画像情報から、予め定められた拡大率で拡大した拡大画像情報を生成する拡大画像生成ステップと、
前記入力画像情報から、当該入力画像情報に含まれる領域毎の、被写界の奥行きの変化の度合いを示した奥行き特徴量を算出する奥行き特徴算出ステップと、
前記奥行き特徴算出ステップにより算出された前記奥行き特徴量に基づいて、予め定められた高周波成分を含む画像情報を前記拡大画像情報に合成して、出力画像情報を生成する生成ステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
従来、カメラやテレビジョン受信装置等では、画像の解像度や画質を向上させるために様々な画像処理が施されている。画像処理の一つの様態として、フレーム画像にテクスチャ等の高周波画像成分を付与する技術がある。当該従来技術では、例えば、フレーム画像毎にテクスチャ画像を生成した上で、当該テクスチャ画像を高周波成分画像に付与することで、質感を向上させることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１２０２７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術においてはフレーム画像毎にテクスチャ等の高周波画像を付与する際、フレーム画像に表示されている被写界等を考慮して調整することはあまり行われていなかった。
【０００５】
本発明は、上記に鑑みてなされたものであって、画質の向上を図る画像処理装置、及び画像処理方法を提供する。
【課題を解決するための手段】
【０００６】
実施形態の画像処理装置は、拡大画像生成手段と、奥行き特徴算出手段と、生成手段と、を備える。拡大画像生成手段は、入力画像情報から、予め定められた拡大率で拡大した拡大画像情報を生成する。奥行き特徴算出手段は、入力画像情報から、当該入力画像情報に含まれる領域毎の、被写界の奥行きの変化の度合いを示した奥行き特徴量を算出する。生成手段は、奥行き特徴算出手段により算出された奥行き特徴量に基づいて、予め定められた高周波成分を含む画像情報を拡大画像情報に合成して、出力画像情報を生成する。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態にかかるテレビジョン装置の構成例を示す図である。
【図２】図２は、第１の実施形態にかかる画像処理部の機能構成を示す図である。
【図３】図３は、第１の実施形態にかかる補間部が行う補間係数の設定方法の一例を説明するための図である。
【図４】図４は、処理対象ブロックの分割例を示す図である。
【図５】図５は、第１の実施形態にかかる補間部が行う補間係数の設定方法の一例を示した図とする。
【図６】図６は、第１の実施形態にかかる補間部が行う補間係数の設定方法の他の例を説明するための図である。
【図７】図７は、第１の実施形態にかかる分布算出部を示した図である。
【図８】図８は、第１の実施形態にかかる確率分布について説明する図である。
【図９】図９は、第１の実施形態にかかる画像処理部が行う画像処理の手順を示すフローチャートである。
【図１０】図１０は、第２の実施形態にかかる画像処理部の機能構成を示す図である。
【図１１】図１１は、第２の実施形態にかかる画像処理部が行う画像処理の手順を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して、この発明にかかる画像処理装置及び画像処理方法の実施形態について詳細に説明する。なお、本実施形態では、この発明にかかる画像処理装置及び画像処理方法をテレビジョン装置に適用した例について説明するが、この装置に制限するものではない。
【０００９】
（第１の実施形態）
図１は、第１の実施形態にかかるテレビジョン装置１００の構成例を示す図である。同図に示すように、テレビジョン装置１００は、アンテナ１１で受信した放送信号を、入力端子１２を介してチューナ部１３に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。
【００１０】
テレビジョン装置１００は、チューナ部１３で選局された放送信号を、復調復号部１４に供給してデジタル映像信号及びデジタル音声信号等に復元した後、信号処理部１５に出力する。
【００１１】
信号処理部１５は、復調復号部１４から供給されたデジタル映像信号に所定の画像処理を施す画像処理部１５１と、復調復号部１４から供給されたデジタル音声信号に所定の音声処理を施す音声処理部１５２とを有する。
【００１２】
ここで、画像処理部１５１は、復調復号部１４から供給されたデジタル映像信号に対し高画質化のための所定の画像処理を施し、画像処理後のデジタル映像信号を合成処理部１６に出力する。また、音声処理部１５２は、処理を施したデジタル音声信号を音声変換部１７に出力する。なお、画像処理部１５１の詳細な構成については後述する。
【００１３】
合成処理部１６は、信号処理部１５（画像処理部１５１）から供給されたデジタル映像信号に、ＯＳＤ（On  Screen  Display）信号生成部１８で生成される字幕、ＧＵＩ（Graphical  User  Interface）、ＯＳＤ等の重畳用映像信号であるＯＳＤ信号を重畳して出力する。
【００１４】
テレビジョン装置１００は、合成処理部１６から出力されたデジタル映像信号を、映像変換部１９に供給する。映像変換部１９は、入力されたデジタル映像信号を、後段の表示部３０で表示可能なフォーマットのアナログ映像信号に変換している。テレビジョン装置１００は、映像変換部１９から出力されたアナログ映像信号を、表示部３０に供給して映像表示に供する。表示部３０は、ＬＣＤ（Liquid  Crystal  Display）等の表示デバイスを有し、映像変換部１９から出力されたアナログ映像信号を表示する。
【００１５】
音声変換部１７は、信号処理部１５（音声処理部１５２）から供給されたデジタル音声信号を、後段のスピーカ２０で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声変換部１７から出力されたアナログ音声信号が、スピーカ２０に供給されることにより音声再生に供される。
【００１６】
ここで、テレビジョン装置１００は、上記した各種の受信動作を含むその全ての動作を制御部２１によって統括的に制御している。この制御部２１は、ＣＰＵ（Central  Processing  Unit）１２１、ＣＰＵ１２１が実行するプログラムを格納したＲＯＭ（Read  Only  Memory）１２２、ＣＰＵ１２１に作業エリアを提供するためのＲＡＭ（Random  Access  Memory）１２３を有しており、ＣＰＵ１２１と各種プログラムとの協働により各部の動作を統括的に制御する。
【００１７】
具体的に、制御部２１は、テレビジョン装置１００の本体に設置された操作部２２からの操作情報を受けて、または、リモートコントローラ２３から送出され受信部２４で受信した操作情報を受けて、その操作内容が反映されるように各部を制御する。
【００１８】
また、制御部２１は、復調復号部１４で復元された信号からＥＰＧ（Electronic  Program  Guide）等の電子番組ガイドを取得し、視聴者による操作部２２やリモートコントローラ２３の操作に応じて、当該電子番組ガイドをＯＳＤ信号生成部１８や映像変換部１９に供給することで放送中又は放送予定の番組表を視聴者に提供する。ここで、電子番組ガイドには、現在放送中及び将来放送予定の各番組について、当該番組を識別する番組ＩＤ（例えば、放送局及び放送時刻等）の他、その番組のタイトルやジャンル、番組概要、出演者等の番組内容を示した番組情報が含まれているものとする。
【００１９】
また、制御部２１には、ディスクドライブ部２５が接続されていてもよい。ディスクドライブ部２５は、例えばＢＤ（Blu-ray  Disc）、ＤＶＤ（Digital  Versatile  Disk）等の光ディスク２６を着脱自在とするもので、装着された光ディスク２６に対してデジタルデータの記録再生を行う機能を有している。
【００２０】
制御部２１は、視聴者による操作部２２やリモートコントローラ２３の操作に基づいて、復調復号部１４から得られるデジタルの映像信号及び音声信号を、記録再生処理部２８によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部２５に供給して光ディスク２６に記録させるように制御することができる。
【００２１】
また、制御部２１には、ＨＤＤ（Hard  Disk  Drive）２７が接続されている。ＨＤＤ２７は、外付け装置としての形態を取っても構わない。制御部２１は、視聴者から操作部２２やリモートコントローラ２３を介して、録画対象の番組が指定されると、復調復号部１４から得られるこの番組の映像信号及び音声信号（以下、番組データという）を、記録再生処理部２８によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ２７に供給して記録させることで番組の録画を行う。
【００２２】
また、制御部２１は、視聴者による操作部２２やリモートコントローラ２３の操作に基づいて、ＨＤＤ２７に録画された番組の番組データ又はディスクドライブ部２５により光ディスク２６からデジタルの映像信号及び音声信号を読み出させ、記録再生処理部２８によって復号化した後、信号処理部１５に供給することによって、上記した映像表示及び音声再生に供させるように制御する。
【００２３】
また、制御部２１には、通信部２９が接続されている。通信部２９は、インターネット等のネットワークＮに接続可能な通信インタフェースである。制御部２１は、通信部２９を介して、ネットワークＮに接続された外部装置（図示せず）との間で各種情報の送受信を行う。
【００２４】
次に、上述した画像処理部１５１の機能構成について説明する。図２は、画像処理部１５１の機能構成を示す図である。図２に示すように、画像処理部１５１は、デジタル映像信号の画像処理にかかる機能部として、拡大画像生成部２０１と、縮小画像生成部２０２と、奥行き推定部２０３と、奥行き特徴量算出部２０４と、特徴量算出部２０５と、動き量算出部２０６と、第１重畳部２０７と、信頼度算出部２０８と、第２重畳部２０９と、高解像度化処理部２１０と、補間部２１１と、生成部２１２と、確率分布記憶部２１３と、を備える。なお、以下では、復調復号部１４から供給されたフレーム単位のデジタルの映像信号を入力画像データと示す。
【００２５】
拡大画像生成部２０１は、復調復号部１４から供給された入力画像データのサイズを、予め定められた拡大率で拡大する処理を行い、拡大画像データを生成する。そして、拡大画像生成部２０１は、拡大画像データを、高解像度化処理部２１０及び生成部２１２に出力する。拡大画像の生成方法は特に問わず、例えば、Ｃｕｂｉｃ  Ｃｏｎｖｏｌｕｔｉｏｎ等の補間アルゴリズムを用いて生成する形態としてもよい。また、拡大サイズは特に問わないものとするが、例えば、表示部３０の表示サイズや解像度等に応じた値とすることが好ましい。なお、入力画像データのサイズが、表示部３０により表示される拡大画像データと合致する場合、当該入力画像データを、拡大画像データとして出力してもよい。
【００２６】
縮小画像生成部２０２は、復調復号部１４から供給された入力画像データのサイズを、予め定められた縮小率で縮小する処理を行い、縮小画像データを生成する。縮小画像生成部２０２が入力画像データの縮小を行わずに、後段の処理に入力画像データを用いて行うことで精度を優先することも可能である。しかしながら、本実施形態では、当該縮小処理を行うことで、後段の処理にかかる負荷を軽減している。ここで、縮小画像データの生成方法は特に問わず、例えば、Ｂｉ  ＬｉｎｅａｒやＢｉ  Ｃｕｂｉｃ等の補間アルゴリズムを用いて生成する形態としてもよい。
【００２７】
本実施形態は、縮小率を制限するものではないが、後述する動き量算出部２０６で処理の単位となるブロックのサイズに応じて定めてもよい。例えば、１／４や１／１６等で縮小することが考えられる。そして、縮小画像生成部２０２は、縮小した縮小画像データを、特徴量算出部２０５及び動き量算出部２０６に出力する。
【００２８】
奥行き推定部２０３は、入力画像データの構図を推定して奥行きデータを生成する。本実施形態にかかる奥行きデータ（例えば奥行き感を示す画像データ）は、入力画像データ内の被写界の奥行き（深度）の度合いをグレースケールで表したデータとする。本実施形態は、奥行きデータのフォーマットを制限するものではなく、入力画像データに含まれる領域毎の奥行きが認識できるデータであれば、どのようなデータであってもよい。構図の推定手法はどのような手法を用いてもよいが、例えば、特開２０１２−１５７４４号公報に記載された手法を用いることが考えられる。
【００２９】
奥行き特徴量算出部２０４は、奥行き推定部２０３により生成された奥行データに対して、所定の手法を用いて、奥行き特徴量を生成する。所定の手法としては、例えば一次関数を用いた変換などが考えられる。奥行き特徴量は、所定の第１ブロック単位における、奥行きの変化を表した特徴量とする。奥行き特徴量は、例えば０．０〜１．０の数値範囲をとる。この奥行き特徴量は、付加するテクスチャ成分の割合を変更する際に用いられる。なお、奥行き特徴量の算出対象となる第１ブロックは、画素単位でもブロック単位でもよい。ブロック単位としては、例えば、４×４画素等が考えられる。
【００３０】
特徴量算出部２０５は、縮小画像データの第１ブロック単位で、縮小画像から画像の特徴解析を行い、画像の特徴を示した特徴量を算出する。特徴量とは、当該第１ブロック内での画素値の変化を表す値とする。本実施形態にかかる第１ブロック単位は、重畳対象となる奥行き特徴量算出部２０４が算出する第１ブロックに対応する、４×４画素等のブロック単位等が考えられるが、対応関係が認識できれば良く、他のサイズであってもよい。
【００３１】
特徴量の算出手法としては、どの様な手法を用いてもよいが、例えば、隣接する画素間での画素値（輝度等）の変動度合を示すアクティビティ等に基づいて、非線形もしくは線形な変換を施す手法が考えられる。特徴量は、例えば０．０〜１．０の数値範囲をとる。この特徴量は、付加するテクスチャ成分の割合を変更する際に用いられる。また、この解析から得られる特徴量は１つに限らず、複数の解析結果から変換した値を用いてもよい。なお、本実施形態は、特徴量の算出方法を制限するものではなく、公知の技術を問わずどのような手法を用いてもよい。
【００３２】
動き量算出部２０６は、動きベクトル探索を行うことで抽出した縮小画像の動きベクトル量に基づき、縮小画像生成部２０２で生成された時間的に連続する複数の縮小画像データのうち、現フレームの縮小画像データと、現フレームより前のフレームの縮小画像データと、の間で生じた動き量を、当該縮小画像を構成する所定の第２ブロック単位で算出する。算出対象となる第２ブロック単位としては、８×８画素単位などが考えられるが、他のサイズや、画素単位であってもよい。この第２ブロックのサイズを特に制限するものではないが、特徴量や奥行き特徴量を算出した第１ブロックに対応する領域単位、例えば、第１ブロックの整数倍（或いは、整数分の一倍）のサイズとすることが好ましい。なお、動きベクトル探索及び動き量の算出は公知の技術を用いるものとする。
【００３３】
信頼度算出部２０８は、動き量算出部２０６により算出された動き量に基づいて、第２ブロック（例えば８×８画素）単位で、動き量適応信頼度を算出する。動き量適応信頼度は、動き量が閾値より大きいか否かに応じて、適切な一次式を当てはめることで求められる信頼度とする。例えば、動き量適応信頼度は、動き量が小さい程大きく、動き量が大きい程小さな値とすることが考えられる（換言すれば、動きが小さいほど、高画質化強度が強い）。
【００３４】
第１重畳部２０７は、特徴量算出部２０５により算出された特徴量と、奥行き特徴量算出部２０４により算出された奥行き特徴量と、を対応する領域毎に重畳する。本実施形態では、例えば、第１ブロックである４×４画素毎に重畳することが考えられる。
【００３５】
第２重畳部２０９は、第１重畳部２０７による重畳結果と、信頼度算出部２０８により算出された動き量適応信頼度と、を領域毎に重畳する。当該重畳も、対応する領域に従って重畳する。例えば、８×８画素単位で算出された動き量適応信頼度に対して、４×４画素単位で求められた重畳結果を対応する領域に合わせるように重畳する。重畳された後の特徴量は、例えば０．０〜１．０の数値範囲をとる。
【００３６】
上述した重畳処理は、ブロック単位で行っている。このため、ブロックの境界で特徴量が変化することになり、ブロックの形状が目立つことも多い。このため、本実施形態では、補間部２１１により補間を行うこととした。本実施形態では、ブロック単位で補間を行う例について説明するが、ブロック単位の補間に制限するものではなく、１×１画素サイズのピクセル単位で行ってもよい。
【００３７】
補間部２１１は、隣接するブロック間の重畳特徴量の差を緩和するため、処理の対象となるブロック（以下、処理対象ブロックという）と当該処理対象ブロックに隣接するブロック（以下、参照ブロックという）との位置関係を基準とした補間係数を用いて、処理対象ブロックの各位置での重畳特徴量を補間する。また、補間部２１１は、補間処理を行う前に、予め縮小画像データが拡大画像データの画像サイズに一致する程度の拡大処理を行うこととする。本実施形態では、当該拡大処理により、縮小画像データの第１ブロック（４×４画素）が３２×３２画素に拡大されたものとする。このサイズのブロックを第３ブロックと称する。
【００３８】
図３は、補間部２１１が行う補間係数の設定方法の一例を説明するための図である。図３のブロックＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉが、３２×３２画素の第３ブロックとする。図３は、処理対象ブロックと参照ブロックとの関係を示す図である。この図３では、第３ブロックＥを処理対象ブロックとしているため、第３ブロックＥに隣接する第３ブロックＡ〜Ｄ、Ｆ〜Ｉが参照ブロックとなっている。なお、第３ブロックの丸括弧“（）”内に示した数値が重畳特徴量であり、閾値αが“０．０”とする。
【００３９】
図３に示すように、処理対象ブロックである第３ブロックＥの重畳特徴量“１．０”が閾値αを上回るため、補間部２１１は、図４に示すように第１ブロックＥを複数のサブブロックに分割する。
【００４０】
図４は、処理対象ブロックの分割例を示す図である。同図では、処理対象ブロックである第３ブロックＥを、８×８画素からなる１６個のサブブロックＥ１〜Ｅ１６に分割した例を示している。
【００４１】
図４において、補間部２１１は、第３ブロックＥに隣接する参照ブロック（第３ブロックＡ〜Ｄ、Ｆ〜Ｉ）の重畳特徴量を参照し、その重畳特徴量が閾値α以下となる参照ブロックが存在するか否かを判定する。ここでは、図３に示したように第３ブロックＢ、Ｆの重畳特徴量が（０．０）であるため、補間部２１１は、第３ブロックＢ、Ｆが閾値α以下であり、第３ブロックＡ、Ｃ、Ｄ、Ｇ〜Ｉが閾値αを上回ると判定する。
【００４２】
補間部２１１は、判定結果に基づき、サブブロックＥ１〜Ｅ１６の各々について、Ｘ方向及びＹ方向の補間係数をそれぞれ設定する。ここで、補間部２１１は、サブブロックＥ１〜Ｅ１６の配置位置に基づき、補間係数の設定に用いる参照ブロックを、第３ブロックＡ〜Ｄ、Ｆ〜Ｉの中から選定する。
【００４３】
例えば、図４に示す状態の場合、補間部２１１は、第３ブロックＥ内の左上方向に配置されたサブブロック（Ｅ１、Ｅ２、Ｅ５及びＥ６）の各々について、これらサブブロックの近隣に存在する第３ブロックＡ、Ｂ、Ｄを選定する。また、第３ブロックＥ内の右上方向に配置されたサブブロック（Ｅ３、Ｅ４、Ｅ７及びＥ８）の各々について、第３ブロックＢ、Ｃ、Ｆを選定する。さらに、第３ブロックＥ内の左下方向に配置されたサブブロック（Ｅ９、Ｅ１０、Ｅ１３及びＥ１４）の各々について、第３ブロックＤ、Ｇ、Ｈを選定する。同様に、第３ブロックＥ内の右下方向に配置されたサブブロック（Ｅ１１、Ｅ１２、Ｅ１５及びＥ１６）の各々について、第３ブロックＦ、Ｈ、Ｉを選定する。このように、各サブブロックの配置位置により近い参照ブロックを用いて補間係数を設定する。
【００４４】
ここで、例えば、サブブロックＥ６に着目すると、参照ブロックである第３ブロックＡ、Ｂ、Ｄのうち、第３ブロックＢの重畳特徴量が閾値α以下となるため、補間部２１１は、サブブロックＥ６の、第３ブロックＢの存在方向に対応するＹ方向の補間係数を、第３ブロックＥの中心と第３ブロックＢの境界とを基準に設定する。また、Ｘ方向については重畳特徴量が閾値α以下の参照ブロックは存在しないため、補間部２１１は、第３ブロックＥの中心と各参照ブロック（第３ブロックＡ、Ｂ、Ｄ）の中心とを基準に、Ｘ方向についての補間係数を設定する。そして、補間部２１１は、各方向について定めた補間係数を用いて、サブブロックＥ６の重畳特徴量を補間する。
【００４５】
図５は、補間部２１１が行う補間係数の設定方法の一例を示した図とする。図５では、距離を画素単位で表しており、処理対象ブロックである第３ブロックＥの中心とサブブロックＥ６中の任意の画素（例えば、中央の画素）との間のＸ方向の距離を“ｒ”、Ｙ方向の距離を“ｓ'”としている。なお、以下では説明の便宜を図るため、サブブロックＥ６中の任意の画素の位置を、サブブロックＥ６の位置と表記する。
【００４６】
上述したように、補間部２１１は、サブブロックＥ６にかかるＹ方向の補間係数を、第３ブロックＥの中心と第３ブロックＢの境界とを基準に設定する。補間手法はどのような手法を用いてもよいが、例えばＢｉ  Ｌｉｎｅａｒ補間を用いることが考えられる。
【００４７】
補間部２１１は、例えば式（１）を用いることで、サブブロックＥ６の重畳特徴量を補間した補間特徴量を導出する。なお、下記式（１）において“Ａ、Ｂ、Ｄ”には、参照ブロックである第３ブロックＡ、Ｂ、Ｄの重畳特徴量がそれぞれ入力され、“Ｅ”には、処理対象ブロックである第３ブロックＥの重畳特徴量が入力される。
【００４８】
補間特徴量＝(A*(r/32)+B*((32-r)/32))*(s'/16)
+(D*(r/32)+E*((32-r)/32))*((16-s')/16)    …（１）
【００４９】
図６は、補間部２１１が行う補間係数の設定方法の他の例を説明するための図であり、全ての参照ブロックの重畳特徴量が閾値αを上回った場合の設定方法を示している。なお、図６では、図５の設定方法と対比するため、図５と同様にサブブロックＥ６の補間係数について説明する。
【００５０】
全ての参照ブロックの重畳特徴量が閾値αを上回る場合、補間部２１１は、サブブロックＥ６の位置に対する、第３ブロックＥの中心と各参照ブロック（第３ブロックＡ、Ｂ、Ｄ）の中心との位置関係を基準に、Ｘ方向及びＹ方向についての補間係数を設定する。この場合、補間部２１１は、例えば下記式（２）を用いることで、サブブロックＥ６の補間特徴量を導出する。
【００５１】
補間特徴量＝(A*(r/32)+B*((32-r)/32))*(s/32)
+(D*(r/32)+E*((32-r)/32))*((32-s)/32)    …（２）
【００５２】
なお、補間特徴量の導出に用いる数式は上記の例に限らず、他の数式を用いる形態としてもよい。また、上記例では、第３ブロックＢの重畳特徴量が閾値α以下の場合について説明したが、他の参照ブロックが閾値α以下の場合についても同様に処理を行うものとする。他のブロックについても同様の処理を行うものとして説明を省略する。
【００５３】
本実施形態の補間部２１１では、処理対象ブロックの重畳特徴量が閾値α以下の場合には重畳特徴量をそのまま維持し、処理対象ブロックの重畳特徴量が閾値αを上回る場合には、隣接する参照ブロックの重畳特徴量が閾値α以下か否かに応じて、補間係数の基準となる処理対象ブロックと参照ブロックとの位置関係にかかる条件を変更し、当該補間係数を用いて重畳特徴量を補間する。これにより、重畳特徴量が閾値α以下の第３ブロックではその重畳特徴量を維持しつつ、隣接する第３ブロック間での重畳特徴量の差を緩和することができるため、アーチファクトノイズが発生する可能性を抑止し、画質低下を抑止することが可能となった。
【００５４】
高解像度化処理部２１０は、拡大画像データに含まれる画素毎に、勾配特徴データを算出する。勾配特徴データとは、拡大画像データに含まれる画素毎に、当該画素の周辺の所定の表示領域内の画素値の変化を、傾きとして表した特徴情報である。例えば、高解像度化処理部２１０は、微分フィルタ等を用いて、拡大画像データに含まれる画素毎の勾配特徴データを算出する。本実施形態では、高解像度化処理部２１０は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、画素毎に、水平方向の勾配特徴データと、垂直方向の勾配特徴データと、を算出する。算出に用いるフィルタのサイズは、例えば、３×３〜５×５程度とするが、サイズに制限を設けるものではない。なお、下記では、水平方向の勾配特徴を「Ｆｘ」、垂直方向の勾配特徴を「Ｆｙ」と記載する場合がある。また、本実施形態は、画素毎の特徴データとして、勾配特徴データを用いる例について説明するが、勾配特徴データに制限するものではなく、画素毎に他の画素との違いを認識できる特徴データであればよい。
【００５５】
高解像度化処理部２１０は、学習用画像データに含まれる画素毎の勾配特徴データに対する、当該学習用画像データに含まれる画素毎の高周波成分の勾配特徴データの相対的な値の分布を表す確率分布と、算出された勾配特徴データ（Ｆｘ，Ｆｙ）と、に基づいて、拡大画像データに含まれる画素毎の高周波成分に関する重みである、局所勾配パターンの勾配強度を算出する。
【００５６】
本実施形態にかかる局所勾配パターンは、予め定められた画素値（例えば、輝度値）の変化のパターンを表した所定画像パターンとする。勾配強度は、勾配特徴に基づいて算出される、拡大画像データに含まれる画素毎の高周波成分に関する重みであり、拡大画像データの高周波成分の生成に用いる。
【００５７】
そして、高解像度化処理部２１０は、当該局所勾配パターンを勾配強度で重み付けして、拡大画像データに対する高周波成分を示したテクスチャ画像データを生成する。なお、局所勾配パターン及び勾配強度の詳細は、後述する。
【００５８】
本実施形態にかかる確率分布は、上述した相対的な値の分布として、学習用画像データの画素毎の勾配に対する学習用高周波成分画像データの画素毎の勾配の相対的な角度及び大きさの分布とする。ここで、確率分布について説明する。図７は、第１の実施形態にかかる分布算出部７０１を示した図である。なお、分布算出部７０１は、テレビジョン装置１００の内部に備えてもよい。また、分布算出部７０１をテレビジョン装置１００の外部に備え、分布算出部７０１により算出された確率分布をテレビジョン装置１００の内部に記憶してもよい。
【００５９】
図７に示すように、分布算出部７０１は、学習用画像データと、学習用高周波成分画像データと、を入力し、確率分布データを出力する。出力された確率分布データは、確率分布記憶部２１３に記憶される。
【００６０】
図８は、第１の実施形態にかかる確率分布について説明する図である。分布算出部７０１は、学習用画像データと学習用高周波成分画像データとの同じ位置の画素における勾配をそれぞれ算出する。この勾配算出に利用する微分フィルタは、高解像度化処理部２１０で利用されたフィルタと同一のものとする。学習用高周波成分画像データは、学習用画像データの高周波成分の画像データとする。なお、学習用画像データは、拡大画像データと同様に、画質が劣化している場合がある。
【００６１】
図８に示すように、分布算出部７０１は、２次元の平面の領域上に確率分布を算出する。当該平面領域のｘ軸を、学習用画像データの各画素の勾配方向とし、ｙ軸を該勾配方向と垂直の方向とする。分布算出部７０１は、学習用画像データに含まれる各画素の勾配を（１，０）のベクトルに変換する。任意の画素の勾配を、（１，０）のベクトルに変換した変換行列を「変換φ」とする。そして、分布算出部７０１は、当該任意の画素と同じ位置の、学習用高周波成分画像データの画素の勾配を、当該変換φを用いて変換する。これにより、学習用画像データの各画素の勾配を基準に相対的に変換された、学習用高周波成分画像データの各画素の勾配のベクトルが求められる。
【００６２】
分布算出部７０１が、画素毎に、上述した高周波成分の勾配のベクトルの算出を行うことで、学習用高周波成分画像データの勾配のばらつきを表した、図８に示す破線で囲まれた確率分布を算出する。図８に示すように、確率分布は、２次元正規分布「正規分布Ｎ１」、「正規分布Ｎ２」で表される。
【００６３】
本実施形態にかかるテレビジョン装置１００では、上述した処理で算出された確率分布が、確率分布記憶部２１３に予め記憶されている。
【００６４】
そして、高解像度化処理部２１０は、当該確率分布と、勾配特徴データと、を用いて、勾配強度を算出する。「正規分布Ｎ１」の平均を「μ１」とし、標準偏差を「σ１」とする。また、「正規分布Ｎ２」の平均を「μ２」とし、標準偏差を「σ２」とする。高解像度化処理部２１０は、「正規分布Ｎ１」から、確率変数“α”を取得し、「正規分布Ｎ２」から確率変数“β”を取得する。そして、高解像度化処理部２１０は、確率変数“α”、確率変数“β”、及び勾配特徴データ（Ｆｘ，Ｆｙ）を、以下に示す式（３）に代入して、高周波成分の勾配強度を算出する。
ｆｘ＝αＦｘ＋βＦｙ，ｆｙ＝αＦｙ−βＦｘ…（３）
なお、式（３）において、“ｆｘ”は水平方向の勾配強度を示し、“ｆｙ”は垂直方向の勾配強度を示している。
【００６５】
続いて、高解像度化処理部２１０は、高周波成分の勾配強度（水平方向：ｆｘ，垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）と、に基づいて、入力画像データに対する高周波成分を生成する。「Ｇｘ」及び「Ｇｙ」は、予め定められた画素値の変化のパターンを表した所定画像パターンであって、本実施形態では、分布算出部７０１によって学習用高周波成分画像の勾配の算出に用いられたフィルタと同一の輝度変化を有する基底パターンである。
【００６６】
つまり、高解像度化処理部２１０は、勾配強度（水平方向：ｆｘ，垂直方向：ｆｙ）と局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）を、式（４）に代入して、拡大画像データに含まれる画素毎に高周波成分「Ｔ」を算出する。そして、画素毎に算出された高周波成分「Ｔ」で構成された高周波成分画像データを、本実施形態ではテクスチャ画像データとする。なお、本実施形態では、テクスチャ画像データは、拡大画像データと同一の表示領域サイズとする。
Ｔ＝ｆｘ・Ｇｘ＋ｆｙ・Ｇｙ…（４）
【００６７】
そして、高解像度化処理部２１０は、学習用画像データの勾配に対する学習用高周波成分画像データの勾配の相対的な大きさ及び角度であるベクトルの分布を表す確率分布と、高解像度化処理部２１０によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める。
【００６８】
そして、高解像度化処理部２１０は、次に入力された拡大画像データの高周波成分を生成する際に、前に入力された拡大画像データとの間の動き量を用いて、高周波成分を生成する。ところで、本実施形態は、動き量の探索に用いた画像データ（縮小画像データ）と、拡大画像データと、の表示領域のサイズが異なる。このため、本実施形態にかかる高解像度化処理部２１０は、拡大画像データにあわせて動き量を拡張する。
【００６９】
具体的には、高解像度化処理部２１０は、動き量算出部２０６により算出された動きベクトルに基づいて、当該拡大画像データの画素の確率変数を取得する。本実施形態にかかる高解像度化処理部２１０は、算出された動きベクトルに基づいて、当該拡大画像データの画素の移動前の位置を特定し、特定した位置の確率変数を、確率分布記憶部２１３から取得する。例えば、高解像度化処理部２１０は、動き量算出部２０６によって算出された動きベクトルが表す直前に処理された拡大画像データの座標位置に対応した、確率分布記憶部２１３のメモリ領域から、確率変数“α”及び確率変数“β”を取得する。例えば、拡大画像データの座標（ｉ，ｊ）を指し示す動きベクトルによる、移動前の拡大画像データの座標が（ｋ，ｌ）であり、確率分布記憶部２１３のメモリ領域が「Ｍ×Ｎ」である場合、高解像度化処理部２１０は、座標（ｉ，ｊ）の確率変数を、確率分布記憶部２１３の位置（ｋ  ｍｏｄ  Ｍ，ｌ  ｍｏｄ  Ｎ）から取得する。なお、「ｋ  ｍｏｄ  Ｍ」は、「ｋ」を「Ｍ」で割ったときの余りを表し、「ｌ  ｍｏｄ  Ｎ」は、「ｌ」を「Ｎ」で割ったときの余りを表す。
【００７０】
本実施形態によれば、直前の入力画像に対してどの確率変数が利用されたかが分かる。直前に処理された入力画像への動きベクトルが示す座標に対応したメモリ領域を使って確率分布記憶部２１３を利用するので、動画像を処理した場合に、ちらつきを抑制することができる。
【００７１】
高解像度化処理部２１０は、拡大画像データに含まれる画素であって、前の拡大画像データから移動した各画素に対して、取得した確率変数“α”及び確率変数“β”と、高解像度化処理部２１０により算出された勾配特徴（Ｆｘ，Ｆｙ）と、を式（３）に代入することで、高周波成分の勾配強度を算出する。
【００７２】
続いて、高解像度化処理部２１０は、算出された高周波成分の勾配強度（水平方向：ｆｘ、垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）と、を式（４）に代入して、拡大画像データに含まれる画素毎の高周波成分「Ｔ」を算出する。そして、画素毎に算出された高周波成分「Ｔ」で構成された高周波成分画像データを、本実施形態ではテクスチャ画像データとする。なお、本実施形態では、テクスチャ画像データは、拡大画像データと同一の表示領域サイズとする。
【００７３】
ところで、ＨＤの画像データを、単に４Ｋ２Ｋの画像データとして拡大すると、テクスチャが弱く、ぼやけた感じの画像データとなる。これに対し、テクスチャ画像データは、上述したように、高周波成分で構成された画像データである。そこで、テレビジョン装置１００が、テクスチャ画像データを重畳して生成した出力画像データを表示部に表示すると、テクスチャを詳細に表示できる。これにより、質感が向上し、高画質化を図ることができる。
【００７４】
しかしながら、拡大画像データに対して、単純にテクスチャ画像データを重畳すると、動きがある表示領域で、細かい柄、模様等が強調されるため、ユーザにはノイズのように感じられるという問題が生じる。
【００７５】
そこで、生成部２１２では、補間部２１１により補間された補間特徴量に応じた強度で、高解像度化処理部２１０により生成された予め定められたテクスチャ画像データを、拡大画像データに合成して、出力画像データを生成する。合成を行う際には、同一領域が重畳されるように制御を行うこととする。
【００７６】
本実施形態では、補間部２１１が、補間を行い、隣接ブロック間の違いを抑止しているため、ブロック境界の視認を抑止し、画質劣化の抑止することが可能となる。これにより、出力画像データの高画質化を図ることができる。
【００７７】
次に、本実施形態にかかるテレビジョン装置１００の動作について説明する。ここで、図９は、画像処理部１５１が行う画像処理の手順を示すフローチャートである。
【００７８】
まず、復調復号部１４からフレーム単位の入力画像が信号処理部１５に入力されると、拡大画像生成部２０１は、入力画像データのサイズを所定の拡大サイズに拡大した拡大画像データを順次生成する（ステップＳ９０１）。また、縮小画像生成部２０２では、入力画像データを所定の縮小サイズに縮小した縮小画像データを順次生成する（ステップＳ９０２）。
【００７９】
さらに、奥行き推定部２０３が、入力画像データから、奥行きデータを順次生成する（ステップＳ９０３）。
【００８０】
そして、奥行き特徴量算出部２０４が、奥行き推定部２０３により生成された奥行データに基づいて、奥行き特徴量を生成する（ステップＳ９０４）。
【００８１】
特徴量算出部２０５は、縮小画像生成部２０２で生成された縮小画像データから、当該縮小画像データの特徴量を第１ブロック単位で算出する（ステップＳ９０５）。
【００８２】
動き量算出部２０６は、動きベクトル探索を行うことで、縮小画像データを構成する所定の第２ブロック単位で動き量を算出する（ステップＳ９０６）。
【００８３】
次に、信頼度算出部２０８が、動き量算出部２０６で算出された第２ブロック単位で、動き量適応信頼度を算出する（ステップＳ９０７）。
【００８４】
そして、第１重畳部２０７が、第１ブロック単位で、特徴量と奥行き特徴量とを重畳する（ステップＳ９０８）。その後、第２重畳部２０９が、第１ブロックと第２ブロックとの対応関係を合わせた上で、ステップＳ９０８の重畳結果と、動き量適応信頼度と、を重畳する（ステップＳ９０９）。
【００８５】
そして、補間部２１１が、ステップＳ９０９による重畳結果（重畳特徴量）に対して補間を行う（ステップＳ９１０）。
【００８６】
一方、高解像度化処理部２１０が、動き量算出部２０６により算出された動き量に基づいて、テクスチャ画像データを生成する（ステップＳ９１１）。
【００８７】
その後、生成部２１２は、補間部２１１により補間された補間特徴量に応じた強度で、高解像度化処理部２１０により生成されたテクスチャ画像データを、拡大画像データに合成して、出力画像データを生成する（ステップＳ９１２）。
【００８８】
以上のように、本実施形態によれば、上述した処理を行うことで、アーチファクトノイズの発生要因を低減した状態で高画質画像を生成することができる。これにより、高画質化を図ることができる。
【００８９】
（第２の実施形態）
第２の実施形態では、第１の実施形態と構成が異なるテレビジョン装置１００の画像処理部１０００について説明する。
【００９０】
図１０は、第２の実施形態にかかる画像処理部１０００の機能構成を示す図である。図１０に示すように、画像処理部１０００は、デジタルの映像信号の画像処理にかかる機能部として、拡大画像生成部２０１と、縮小画像生成部２０２と、奥行き推定部２０３と、奥行き特徴量算出部２０４と、特徴量算出部２０５と、動き量算出部２０６と、信頼度算出部２０８と、高解像度化処理部２１０と、確率分布記憶部２１３と、第３重畳部１００１と、強度調整部１００２と、補間部１００３と、生成部１００４と、を備える。以下の説明では、上述した第１の実施形態と同一の構成要素には同一の符号を付してその説明を省略している。
【００９１】
第３重畳部１００１は、特徴量算出部２０５により算出された第１ブロック（４×４画素）単位の特徴量と、信頼度算出部２０８により算出された第２ブロック（８×８画素）単位の動き量適応信頼度と、を対応する領域を合わせて重畳する。
【００９２】
補間部１００３は、隣接するブロック間の重畳特徴量の差を緩和するため、第３重畳部１００１により重畳された後の第１ブロック毎の重畳結果である特徴量を補間する。補完する手法は第１の実施形態と同様として説明を省略する。
【００９３】
強度調整部１００２は、奥行き特徴量算出部２０４により算出された奥行き特徴量に応じて、高解像度化処理部２１０により生成されたテクスチャ画像データの強度（度合い）を調整する。
【００９４】
生成部１００４が、補間部１００３により補間された補間特徴量に応じた強度で、強度調整部１００２により強度が調節された後のテクスチャ画像データを合成して、出力画像データを生成する。
【００９５】
次に、本実施形態にかかるテレビジョン装置１００の動作について説明する。ここで、図１１は、画像処理部１０００が行う画像処理の手順を示すフローチャートである。
【００９６】
まず、復調復号部１４からフレーム単位の入力画像が信号処理部１５に入力されると、拡大画像生成部２０１は、入力画像データのサイズを所定の拡大サイズに拡大した拡大画像データを順次生成する（ステップＳ１１０１）。また、縮小画像生成部２０２では、入力画像データを所定の縮小サイズに縮小した縮小画像データを順次生成する（ステップＳ１１０２）。
【００９７】
さらに、奥行き推定部２０３が、入力画像データから、奥行きデータを順次生成する（ステップＳ１１０３）。
【００９８】
そして、奥行き特徴量算出部２０４が、奥行き推定部２０３により生成された奥行データに基づいて、奥行き特徴量を生成する（ステップＳ１１０４）。
【００９９】
特徴量算出部２０５は、縮小画像生成部２０２で生成された縮小画像データから、当該縮小画像データの特徴量を第１ブロック単位で算出する（ステップＳ１１０５）。
【０１００】
動き量算出部２０６は、動きベクトル探索を行うことで、縮小画像データを構成する所定の第２ブロック単位で動き量を算出する（ステップＳ１１０６）。
【０１０１】
次に、信頼度算出部２０８が、動き量算出部２０６で算出された第２ブロック単位で、動き量適応信頼度を算出する（ステップＳ１１０７）。
【０１０２】
そして、第３重畳部１００１が、第１ブロック単位で算出された特徴量と、第２ブロック単位で算出された動き量適応信頼度と、を第１ブロックと第２ブロックとの対応関係を合わせた上で、重畳する（ステップＳ１１０８）。
【０１０３】
そして、補間部１００３が、ステップＳ１１０８による重畳結果（重畳特徴量）に対して補間を行う（ステップＳ１１０９）。
【０１０４】
一方、高解像度化処理部２１０が、動き量算出部２０６により算出された動き量に基づいて、テクスチャ画像データを生成する（ステップＳ１１１０）。
【０１０５】
そして、強度調整部１００２が、奥行き特徴量算出部２０４により算出された奥行き特徴量に応じて、高解像度化処理部２１０により生成されたテクスチャ画像データの強度（度合い）を調整する（ステップＳ１１１１）。
【０１０６】
その後、生成部１００４は、補間部１００３により補間された補間特徴量に応じた強度で、強度調整部１００２により調整された後のテクスチャ画像データを、拡大画像データに合成して、出力画像データを生成する（ステップＳ１１１２）。
【０１０７】
以上のように、本実施形態によれば、上述した処理を行うことで、アーチファクトノイズの発生要因を低減した状態で高画質画像を生成することができる。これにより、高画質化を図ることができる。このように第２の実施形態は、第１の実施形態と異なる構成であっても同様の効果を得られる。
【０１０８】
上述した実施形態にかかるテレビジョン装置においては、入力画像データの奥行きにより、テクスチャ（高周波成分）が付与される強度（度合い）を異ならせた画像データが出力される。これにより、テレビジョン装置立体感（奥行き感のある）のある画像データを表示できる。従って、表示される画像データの高画質化を図ることができる。
【０１０９】
上述した実施形態においては、動きベクトルではなく動きの大きさ(絶対値)から算出した係数と特徴量との重畳値を補間して平滑化を図っている。動き量を含む値を平滑化することにより、時間方向に関係なく動きの大きさに忠実な制御をすることができ、テクスチャのような高周波成分の領域において、ちらつきを抑制できる。
【０１１０】
ところで、従来、動き探索や画像解析の演算量は、それぞれ一般的に演算量が多く、対象画像のフレームサイズが、フルＨＤや４Ｋ２Ｋのサイズの場合、リアルタイム処理するのが難しかった。これに対して、上述した実施形態では、縮小画像データを用いて処理を行い、縮小画像データを用いて特徴量や動き量の算出等を行うことで、画質調整を行うための演算量を削減できる。
【０１１１】
上述した実施形態では、特徴量、奥行き特徴量、及び動き量のうちいずれか１つ以上をブロック単位で算出していた。このため、隣接するブロックの相違具合が目立ち、ブロック形状が強調され画質劣化が生じる可能性があった。これに対して、上述した実施形態では、補間処理を行うことで、ブロック境界を緩和し、画質の劣化を抑制できる。
【０１１２】
ところで、テクスチャのような高周波成分は、動きが大きい領域では強調するとちらつきが大きく、動画として画質が劣化する。そこで、上述した実施形態では、動きの大きなところは強調度合を小さくすることで、高周波成分の画質を向上させることとした。
【０１１３】
以上、本発明の実施形態を説明したが、上記の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記の各実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記の各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１４】
例えば、上記実施形態では、処理対象ブロックの各位置での特徴量をサブブロックの単位で補間する形態としたが、これに限らず、画素単位で補間する形態としてもよい。
【０１１５】
また、上記実施形態では、特徴量や動き量の算出等にかかる処理の負荷を軽減するため、入力画像データから縮小画像データを生成し、当該縮小画像に対し処理を施すこととしたが、これに限らず、入力画像データや拡大画像データに対し処理を施す形態としてもよい。
【０１１６】
また、上記実施形態では、本発明をテレビジョン装置１００に適用した例を説明したが、適用先となる装置はこれに限らず、例えば、放送信号を受信することが可能なセットトップボックスや、録画再生装置、ＰＣ（Personal  Computer）等の情報処理装置に適用する形態としてもよい。
【０１１７】
また、上記実施形態の信号処理部１５が備える各機能部は、ＡＳＩＣ等の集積回路により実現されるハードウェア構成としてもよいし、ＣＰＵ等のプロセッサと所定の記憶媒体に格納されたプログラムとの協働により実現されるソフトウェア構成としてもよい。
【０１１８】
信号処理部１５の各機能部をソフトウェア構成で実現させる場合、そのプログラムは、テレビジョン装置１００が備える記憶媒体（ＲＯＭ１２２又はＨＤＤ２７等）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでフレキシブルディスク（ＦＤ）、光ディスク２６等のコンピュータで読み取り可能な記憶媒体に記録して提供するように構成してもよい。
【０１１９】
さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。また、プログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【０１２０】
１００…テレビジョン装置、１５１、１０００…画像処理部、１５２…音声処理部、２０１…拡大画像生成部、２０２…縮小画像生成部、２０３…奥行き推定部、２０４…奥行き特徴量算出部、２０５…特徴量算出部、２０６…動き量算出部、２０７…第１重畳部、２０８…信頼度算出部、２０９…第２重畳部、２１０…高解像度化処理部、２１１、１００３…補間部、２１２、１００４…生成部、２１３…確率分布記憶部、７０１…分布算出部、１００１…第３重畳部、１００２…強度調整部
【図１】
2014049829.tif 000003
【図２】
2014049829.tif 000004
【図３】
2014049829.tif 000005
【図４】
2014049829.tif 000006
【図５】
2014049829.tif 000007
【図６】
2014049829.tif 000008
【図７】
2014049829.tif 000009
【図８】
2014049829.tif 000010
【図９】
2014049829.tif 000011
【図１０】
2014049829.tif 000012
【図１１】
2014049829.tif 000013