(57)【要約】入力される画像信号がどのようなものであっても、原画像の解像度を適切に推定することができる解像度推定装置を実現する。解像度推定装置（１０００）は、近接度取得部（１）と、累積加算部（２）と、周波数変換部（３）と、スペクトル解析部（４）と、を備える。近接度取得部（１）は、注目画素の近接度値を取得する。累積加算部（２）は、注目画素の近接度を、画像上の例えば、垂直方向に累積加算し、近接度の累積加算値の１次元データ列を取得する。周波数変換部（３）は、累積加算部（２）により取得された近接度の累積加算値の１次元データ列に対して、周波数変換を行い、周波数領域の１次元データ列である周波数成分１次元データ列を取得する。スペクトル解析部（４）は、周波数変換部（３）により取得された周波数成分１次元データ列に基づいて、近接度の画像上の例えば、水平方向における周期性を検出し、検出した周期性に基づいて、入力画像のアップスケール処理前の原画像の解像度を推定する。
2015098436.tif 000002
【特許請求の範囲】
【請求項１】
入力画像のアップスケール処理前の原画像の解像度を推定する解像度推定装置であって、
注目画素の画素位置が、前記原画像をアップスケール処理した場合に、前記原画像の画素が配置される画素位置に近いと推定される程、大きな値となるように、前記注目画素の推定近接度を設定する近接度取得部と、
前記注目画素の前記推定近接度を、画像上の第１方向と直交する第２方向に累積加算し、前記推定近接度の累積加算値の１次元データ列を取得する累積加算部と、
前記累積加算部により取得された前記推定近接度の累積加算値の前記１次元データ列に対して、周波数変換を行い、周波数領域の１次元データ列である周波数成分１次元データ列を取得する周波数変換部と、
前記周波数変換部により取得された前記周波数成分１次元データ列に基づいて、前記推定近接度の画像上の前記第１方向における周期性を検出し、検出した前記周期性に基づいて、前記入力画像のアップスケール処理前の原画像の解像度を推定するスペクトル解析部と、
を備える解像度推定装置。
【請求項２】
前記近接度取得部は、
前記注目画素の画素値が、局所領域において、極大値または極小値をとる場合、前記注目画素の画素位置が、前記原画像をアップスケール処理した場合に、前記原画像の画素が配置される画素位置に近いと推定し、前記注目画素の推定近接度を、前記注目画素の画素値が、局所領域において、極大値および極小値のいずれでもない場合の推定近接度よりも大きな値に設定する、
請求項１に記載の解像度推定装置。
【請求項３】
前記近接度取得部は、
前記注目画素を中心として、画像上の第１方向に連続する３つの画素において、前記注目画素の画素値が極大値または極小値である場合、前記注目画素の推定近接度を第１の値に設定し、前記注目画素を中心として、画像上の前記第１方向に連続する前記３つの画素において、前記注目画素の画素値が極大値および極小値のいずれでもない場合、前記注目画素の推定近接度を前記第１の値よりも小さい第２の値に設定することで、前記注目画素の推定近接度を設定する、
請求項１に記載の解像度推定装置。
【請求項４】
前記スペクトル解析部は、前記周波数成分１次元データ列において、ピーク値をとる周波数成分値を検出し、検出した当該周波数成分値に基づいて、前記入力画像のアップスケール処理前の原画像の解像度を推定する、
請求項１に記載の解像度推定装置。
【請求項５】
前記スペクトル解析部により、異なる周波数成分値において、前記周波数成分１次元データ列にピークが検出された場合、ピークが検出されたデータの周波数成分値のうち、最小の値をとる周波数成分値を最小周波数成分値とし、当該最小周波数成分値に対応する解像度を第１解像度とすると、
前記入力画像の画素値を前記第２方向に累積加算することで取得した１次元データ列Ｓ０（ｘ）を、前記第１解像度の１次元データ列にダウンスケール処理し、さらに、前記ダウンスケール処理された前記第１解像度の前記１次元データ列を、前記ダウンスケール処理前の解像度と一致するようにアップスケール処理して１次元データ列Ｓ１（ｘ）を取得し、
前記入力画像から取得した前記１次元データ列Ｓ０（ｘ）と、前記アップスケール処理により取得した前記１次元データ列Ｓ１（ｘ）との誤差を算出し、
算出した前記誤差に基づいて、前記周波数成分１次元データ列中に検出されたピークのいずれかに対応する周波数成分値に相当する解像度を、前記入力画像のアップスケール処理前の原画像の解像度と推定する推定解像度取得部をさらに備える、
請求項４に記載の解像度推定装置。
【請求項６】
前記第１方向は、画像上の水平方向であり、
前記第２方向は、画像上の垂直方向である、
請求項１から５のいずれかに記載の解像度推定装置。
【請求項７】
前記第１方向は、画像上の垂直方向であり、
前記第２方向は、画像上の水平方向である、
請求項１から５のいずれかに記載の解像度推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、例えば、解像度の低い画像をアップスケール処理により解像度の高い表示装置に表示させる場合において、アップスケール処理前の画像（原画像）の解像度を推定する技術に関する。
【背景技術】
【０００２】
解像度の低い画像を解像度の高い表示装置に表示する場合、解像度の低い画像（原画像）に対して、アップスケール処理を実行し、当該アップスケール処理後の画像を解像度の高い表示装置に表示させることで、解像度の低い画像（原画像）を、品質の良い画像として表示させることができる。アップスケールされた画像（アップスケール処理が実行された画像）に対して、画質改善処理を施す場合、何倍でアップスケールされたのかという情報が必要であり、この情報の推定精度が、画像の品質に影響を及ぼす。【０００３】
一般に、テレビ受像機等の表示装置において、ＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）画質の画像（映像）を、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）画質の画像（映像）にアップスケールする場合、アップスケール処理前の原画像の解像度が既知であるため、アップスケール処理におけるアップスケールの倍率（以下、これを「アップスケール倍率」という）は、容易に把握することができる。【０００４】
しかし、例えば、放送局側でアップスケールされた映像などを受信する場合、受信した画像（映像）の画素数が、ＨＤ画像（ＨＤ映像）の画素数になっているため、アップスケールされる前の画像（映像）の倍率は、一般に既知ではない。したがって、このような場合、アップスケール倍率の推定が必要となる。【０００５】
従来のアップスケール倍率の推定方法では、画像信号を直接周波数解析(例えば、フーリエ変換)することにより、当該画像信号に含まれる高周波成分を検出し、検出した当該高周波成分の量に基づいて、おおよそのアップスケール倍率を推定する。【０００６】
また、例えば、特許文献１（特開２０００−３０５５５５号公報）に開示されている技術では、水平同期信号と垂直同期信号とを手掛かりに、映像（画像）の水平画素数を推定することができるので、この技術により、アップスケール倍率を推定することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記周波数解析を用いてアップスケール倍率を推定する方法では、アップスケール倍率の推定の精度は、表示するコンテンツに大きく左右される。また、アップスケールの方式によっては、正しくアップスケール倍率を推定することができない。例えば、アップスケールの方式によっては、低解像度の画像をアップスケールした画像を周波数解析すると、折り返し成分（エイリアス成分）が高周波数領域に大きな電力で分布することがあり、当該折り返し成分を高周波成分と誤判定し、処理対象が画像を高解像度画像であると誤判定することがある。このような場合、画像信号を直接周波数解析する方法を用いてアップスケール倍率を推定する方法では、正しくアップスケール倍率を推定することができない。【０００８】
また、上記特許文献１の技術では、コンテンツ（例えば、特許文献１の液晶表示装置に入力される映像）そのものがアップスケールされている場合、当該コンテンツのアップスケールされる前の原画像の解像度を推定することができない。【０００９】
そこで、本発明は、上記問題点に鑑み、入力される画像信号（映像信号）がどのようなものであっても、原画像（原映像）の解像度を適切に推定することができる解像度推定装置を実現することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、第１の構成は、入力画像のアップスケール処理前の原画像の解像度を推定する解像度推定装置であって、近接度取得部と、累積加算部と、周波数変換部と、スペクトル解析部と、を備える。【００１１】
近接度取得部は、注目画素の画素位置が、原画像をアップスケール処理した場合に、原画像の画素が配置される画素位置に近いと推定される程、大きな値となるように、注目画素の推定近接度を設定する。【００１２】
累積加算部は、注目画素の近接度を、画像上の第１方向と直交する第２方向に累積加算し、近接度の累積加算値の１次元データ列を取得する。
周波数変換部は、累積加算部により取得された近接度の累積加算値の１次元データ列に対して、周波数変換を行い、周波数領域の１次元データ列である周波数成分１次元データ列を取得する。【００１３】
スペクトル解析部は、周波数変換部により取得された周波数成分１次元データ列に基づいて、近接度の画像上の第１方向における周期性を検出し、検出した周期性に基づいて、入力画像のアップスケール処理前の原画像の解像度を推定する。【００１４】
なお、「推定近接度」とは、注目画素の画像上の画素位置と、入力画像の原画像に対して挿入処理（インターポーレート）を行って取得したインターポーレート画像上の画素位置との位置的な近さを表す指標である。近接度は、例えば、次のように設定される。注目画素の画像上の画素位置と、原画像から取得したインターポーレート画像上の画素位置とが近い程、近接度は大きい値に設定される。【００１５】
つまり、「推定近接度」とは、アップスケール処理後の座標空間において、挿入処理で配置された入力画像の画素の位置と、アップスケール処理後の画像の注目画素の距離が、どの程度近いかを示す指標である。
【発明の効果】
【００１６】
本発明によれば、入力される画像信号（映像信号）がどのようなものであっても、原画像（原映像）の解像度を適切に推定することができる解像度推定装置を実現することができる。
【図面の簡単な説明】
【００１７】
【図１】第１実施形態に係る解像度推定装置１０００の概略構成図。
【図２】第１実施形態に係る解像度推定装置１０００をハードウェアで構成する場合の概略構成図。
【図３】アップスケール処理を説明するための図。
【図４】直線補間の場合における画素の関係を説明するための図。
【図５】アップスケール処理を、（１）直線補間法（Ｌｉｎｅａｒ法）、（２）Ｂｉｃｕｂｉｃ法、（３）Ｌａｎｃｚｏｓ３法、および（４）Ｌａｎｃｚｏｓ４法により実行した場合のピーク画素のズレ量（座標位置の差）Δｘと、頻度とを示すグラフ。
【図６】入力画像Ｉｍｇ４と、入力画像Ｉｍｇ４から取得した近接度画像Ｉｍｇ５と、座標位置と累積加算値との関係を示すグラフとを示す図。
【図７】図６の近接度値の累積加算値のデータ列ｓ０〜ｓ５１１が、フーリエ変換され、周波数成分値（各周波数成分のスペクトル値のデータ列）ｆ０〜ｆ５１１に変換される様子を示す図。
【図８】周波数変換部３により取得された周波数スペクトルを示す図。
【図９】第１実施形態の第１変形例に係る解像度推定装置１０００Ａの概略構成図。
【図１０】第１実施形態の第１変形例に係る解像度推定装置１０００Ａの指定解像度取得部５の概略構成図。
【図１１】第１実施形態の第２変形例に係る解像度推定装置１０００Ｂの概略構成図。
【図１２】第１実施形態の第２変形例に係る解像度推定装置１０００Ｂをハードウェアで構成する場合の概略構成図。
【図１３】第２実施形態に係る解像度推定方法のフローチャート。
【発明を実施するための形態】
【００１８】
［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。
【００１９】
第１実施形態では、画像（映像）の水平解像度を推定する場合を例に説明する。
【００２０】
＜１．１：解像度推定装置の構成＞
図１は、第１実施形態に係る解像度推定装置１０００の概略構成図である。
【００２１】
図２は、第１実施形態に係る解像度推定装置１０００をハードウェアで構成する場合の概略構成図（一例）である。
【００２２】
解像度推定装置１０００は、図１に示すように、近接度取得部１と、累積加算部２と、周波数変換部３と、スペクトル解析部４と、を備える。
【００２３】
近接度取得部１は、入力画像（映像）Ｄｉｎを入力とし、注目画素（処理対象画素）の画素値と、当該注目画素に隣接する画素の画素値との関係に基づいて、注目画素の近接度（推定近接度）を取得する。なお、近接度取得部１は、入力画像（映像）Ｄｉｎの同期信号（水平同期信号、または、垂直同信号）Ｓｙｎｃを入力するものであってもよい。図２では、同期信号Ｓｙｎｃは、入力画像（映像）Ｄｉｎの水平同期信号であるものとして、図示している。
【００２４】
「近接度」（推定近接度）とは、注目画素の入力画像Ｄｉｎ上の座標位置が、入力画像Ｄｉｎのアップスケール前の画像上の画素位置にどの程度近いかを示す指標である（詳細については、後述）。
【００２５】
近接度取得部１は、取得した近接度を示す値（信号）を累積加算部２に出力する。
【００２６】
近接度取得部１は、例えば、図２に示すように、座標取得部１１と、近接度算出部１２とを備える。
【００２７】
座標取得部１１は、ハードウェアで構成する場合、図２に示すように、Ｄフリップフロップ１１１と、座標算出部１１２とを備える。
【００２８】
Ｄフリップフロップ１１１は、入力画像（映像）Ｄｉｎの同期信号Ｓｙｎｃ（例えば、水平同期信号、垂直同期信号、イネーブル信号等）を入力とし、入力された同期信号Ｓｙｎｃを１クロック分遅延させて、座標算出部１１２に出力する。
【００２９】
座標算出部１１２は、Ｄフリップフロップ１１１から出力される同期信号Ｓｙｎｃを入力とし、入力された同期信号Ｓｙｎｃに基づいて、処理対象の信号（注目画素に相当する画像信号）の水平座標ｘ（入力画像信号Ｄｉｎにより形成される画像上の注目画素の水平方向の座標ｘ）を算出する。そして、座標算出部１１２は、算出した水平座標ｘの値を累積加算部２に出力する。
【００３０】
近接度算出部１２は、ハードウェアで構成する場合、図２に示すように、Ｄフリップフロップ１２１、１２２と、ピーク検出部１２３とを備える。
【００３１】
Ｄフリップフロップ１２１は、入力画像（映像）Ｄｉｎ（画像信号Ｄｉｎ）を入力とし、入力された画像信号Ｄｉｎを１クロック分遅延させて、Ｄフリップフロップ１２２およびピーク検出部１２３に出力する。
【００３２】
Ｄフリップフロップ１２２は、Ｄフリップフロップ１２１から出力される画像信号を入力とし、入力された画像信号を１クロック分遅延させて、ピーク検出部１２３に出力する。
【００３３】
ピーク検出部１２３は、入力画像（映像）Ｄｉｎ（画像信号Ｄｉｎ）（これを画像信号（画像データ）Ｄｎと表記する）と、Ｄフリップフロップ１２１から出力される画像信号（これを画像信号（画像データ）Ｄｃと表記する）と、Ｄフリップフロップ１２２から出力される画像信号（これを画像信号（画像データ）Ｄｐと表記する）と、を入力する。つまり、ピーク検出部１２３は、処理対象の画像データＤｃと、当該画像データＤｃに相当する画素を中心とし、画像上の水平方向に隣接する画像データＤｎおよびＤｐとの３つの画像データ（画素）を用いて、処理対象の画像データＤｃ（注目画素）がピーク（極値）となっているか否かを検出する。そして、ピーク検出部１２３は、上記検出結果に基づいて、近接度Ｑを算出し、算出した近接度Ｑを示すデータを累積加算部２に出力する。
【００３４】
累積加算部２と、近接度取得部１から出力される近接度を示す値（信号）を入力する。累積加算部２は、入力された近接度を示す値（以下、「近接度値」という）を、入力画像Ｄｉｎの２次元画像領域上で規定される水平座標ごとに累積加算する（詳細については、後述）。そして、累積加算部２は、上記処理に取得した、水平座標ごとにの近接度の累積加算値を周波数変換部３に出力する。
【００３５】
累積加算部２は、ハードウェアで構成する場合、図２に示すように、第１累積加算処理部２０、第２累積加算処理部２１、・・・、第ｎ＋１累積加算処理部２ｎの（ｎ＋１）個（ｎ：自然数）の累積加算処理部を備える。
【００３６】
第１累積加算処理部２０は、図２に示すように、座標判定部２０１と、第１セレクタ２０２と、加算器２０３と、第２セレクタ２０４と、Ｄフリップフロップ２０５とを備える。
【００３７】
座標判定部２０１は、近接度取得部１の座標取得部１１から出力される水平座標値ｘを入力する。座標判定部２０１は、（１）入力された水平座標値ｘが「０」である場合、「１」を第１セレクタ２０２に出力し、（２）入力された水平座標値ｘが「０」でない場合、「０」を第１セレクタ２０２に出力する。
【００３８】
第１セレクタ２０２は、近接度取得部１の近接度算出部１２から出力される近接度値Ｑと、座標判定部２０１から出力される判定結果を示す値を入力する。第１セレクタ２０２は、（１）座標判定部２０１から出力される判定結果を示す値が「１」である場合、近接度算出部１２から出力される近接度値Ｑを加算器２０３に出力し、（２）座標判定部２０１から出力される判定結果を示す値が「０」である場合、値「０」を加算器２０３に出力する。
【００３９】
加算器２０３は、第１セレクタ２０２からの出力と、Ｄフリップフロップ２０５からの出力とを入力とし、両者を加算する。そして、加算器２０３は、加算して取得した値を第２セレクタ２０４に出力する。
【００４０】
第２セレクタ２０４は、加算器２０３からの出力と、スペクトル解析部４から出力されるリセット信号Ｒｓｔとを入力する。第２セレクタ２０４は、（１）リセット信号が「０」である場合、加算器２０３からの出力をＤフリップフロップ２０５に出力し、（２）リセット信号が「１」である場合、値「０」をＤフリップフロップ２０５に出力する。
【００４１】
Ｄフリップフロップ２０５は、第２セレクタ２０４からの出力を、１クロック分遅延させて、周波数変換部３および加算器２０３に、加算累積値ｓ０として出力する。
【００４２】
第２累積加算処理部２１〜第ｎ＋１累積加算処理部２ｎの構成も、図２に示すように、上記第１累積加算処理部２０と同様の構成を有しており、第２累積加算処理部２１〜第ｎ＋１累積加算処理部２ｎは、第１累積加算処理部２０と同様に、それぞれの加算累積値ｓ１〜ｓｎを周波数変換部３に出力する。
【００４３】
周波数変換部３は、累積加算部２から出力される近接度の累積加算値を入力する。周波数変換部３は、画像単位で（例えば、１フレーム画像単位で）累積加算部２により取得された近接度の累積加算値を１系列のデータ（例えば、図２の加算累積値ｓ０〜ｓｎのｎ＋１個の値からのなるデータ）として、当該１系列のデータに対して、周波数変換処理（例えば、フーリエ変換、離散フーリエ変換、高速フーリエ変換等）を実行し、当該１系列のデータに対応する周波数スペクトルデータ（例えば、図２の周波数スペクトル値ｆ０〜ｆｎのｎ＋１個の値からのなるデータ）を取得する。そして、周波数変換部３は、取得した周波数スペクトルデータを、スペクトル解析部４に出力する。
【００４４】
スペクトル解析部４は、図１に示すように、スペクトル検出部４１と、推定解像度取得部４２とを備える。
【００４５】
スペクトル検出部４１は、周波数変換部３から出力される周波数スペクトルデータを入力する。スペクトル検出部４１は、入力された周波数スペクトルデータを解析し、解析結果を推定解像度取得部４２に出力する。
【００４６】
推定解像度取得部４２は、スペクトル検出部４１から出力される周波数スペクトルデータの解析結果に基づいて、入力画像（映像）Ｄｉｎのアップスケール前の解像度を推定（決定）する。そして、推定解像度取得部４２は、推定（決定）した解像度を、推定解像度Ｎｄｅｔとして、出力する。
【００４７】
＜１．２：解像度推定装置の動作＞
以上のように構成された解像度推定装置１０００の動作について、以下、説明する。
【００４８】
なお、以下では、解像度推定装置１０００が、図２に示すように、ハードウェアで構成される場合を例に、説明する。
【００４９】
入力画像（映像）Ｄｉｎは、近接度取得部１の近接度算出部１２に入力される。
【００５０】
近接度算出部１２では、入力された入力画像（映像）Ｄｉｎから、近接度値Ｑが算出される。具体的には、近接度算出部１２では、（１）Ｄフリップフロップ１２１からの出力である画像データＤｃ（注目画素の画像データＤＣ）と、（２）画像信号Ｄｉｎにより形成される画像上において、注目画素の水平方向左隣の画素（画像データＤｃの１クロック前に入力された画像データ）の画像データＤｐ（Ｄフリップフロップ１２２の出力である画像データＤｐ）と、（３）注目画素の水平方向右隣の画素（画像データＤｐの１クロック後に入力された画像データ）の画像データＤｎ（＝画像データＤｉｎ）の水平方向に連続する３つの画素の画像データを用いて、近接度値Ｑが算出される。
【００５１】
より具体的には、以下の（方法Ａ）または（方法Ｂ）により、近接度値Ｑが算出される。
【００５２】
（方法Ａ）：
（Ａ１）３つの画素の画像データＤｎ、Ｄｃ、Ｃｐのうち、画像データＤｃが最大値または最小値をとる場合、近接度算出部１２は、近接度値Ｑを、
Ｑ＝１
とする。
（Ａ２）上記（Ａ１）以外の場合、近接度算出部１２は、近接度値Ｑを、
Ｑ＝０
とする。
【００５３】
（方法Ｂ）：
（Ｂ１）３つの画素の画像データＤｎ、Ｄｃ、Ｃｐのうち、画像データＤｃが最大値または最小値をとる場合、近接度算出部１２は、近接度値Ｑを、
Ｑ＝１
とする。
（Ｂ２）３つの画素の画像データＤｎ、Ｄｃ、Ｃｐのうち、画像データＤｃおよびＤｐが最大値または最小値をとる、または、画像データＤｃおよびＤｎが最大値または最小値をとる場合、つまり、画像データＤｃが最大値または最小値をとるが、画像データＤｐおよびＤｎのいずれか一方が、画像データＤｃと同じ値である場合、近接度算出部１２は、近接度値Ｑを、
Ｑ＝０．５
とする。
（Ｂ３）上記（Ｂ１）、（Ｂ２）以外の場合、近接度算出部１２は、近接度値Ｑを、
Ｑ＝０
とする。
【００５４】
以上のように、近接度算出部１２により算出された近接度値Ｑは、累積加算部２に出力される。なお、上記（Ｂ２）において、Ｑは、０＜Ｑ＜１を満たす値であればよく、「０．５」以外の値であってもよい。
【００５５】
ここで、近接度値Ｑを上記のように算出する理由について、図３〜図５を用いて説明する。
【００５６】
図３は、アップスケール処理を説明するための図である。
【００５７】
図３では、６４画素×６４画素からなる原画像Ｉｍｇ１を、水平・垂直ともに４倍にアップスケールする場合を模式的に示している。つまり、図３では、原画像Ｉｍｇ１とともに、挿入処理（インターポーレーション処理）後の画像Ｉｍｇ２と、画像Ｉｍｇ２を平滑化して取得されるアップスケール画像（アップスケール処理後の画像）Ｉｍｇ３とを、模式的に示している。
いる。
【００５８】
アップスケール処理では、一般に、原画像に対して、挿入処理（インターポーレーション処理）が実行された後、平滑化処理が実行される。
【００５９】
挿入処理（インターポーレーション処理）では、図３に示すように、６４画素×６４画素の原画像Ｉｍｇ１の画素データが、２５６画素×２５６画素の座標系に均等に配置されるように拡大され、拡大後の２５６画素×２５６画素の画像において、原画像に対応する画素がない座標には、画素値が「０」の画素が配置される。このようにして、インターポーレーション処理後の画像Ｉｍｇ２が取得される。
【００６０】
そして、挿入処理（インターポーレーション処理）後の画像Ｉｍｇ２に対して、平滑化処理が実行される。例えば、平滑化処理において、ローパスフィルタ処理等を実行し、画素値が「０」の画素を適切な値で補完することによって、自然なアップスケール画像を取得することができる。このようにして、アップスケール画像Ｉｍｇ３が取得される。
【００６１】
アップスケール処理が実行された画像は、その画素が自然に滑らかに補間されているため、従来は、アップスケール処理後の画像から原画素の解像度を推定することは困難であった。
【００６２】
ここで、インターポーレーション処理直後の画像Ｉｍｇ２に注目する。この画像であれば、水平(垂直)の２５６画素の中に６４画素の非ゼロのデータ（画素データ）が存在していることから、アップスケールされる前の画像（原画像）は、６４画素×６４画素の画像であり、アップスケール倍率が４倍でアップスケールされていることがわかる。
【００６３】
したがって、アップスケーリング画像から原画像の画素数を推定するためには、何らかの形で、インターポーレーションされた画素の個数（インターポーレーション処理直後の画像の画素数）を明らかにする必要がある。
【００６４】
ここで、図４を用いて、直線補間の場合における画素の関係について説明する。
【００６５】
図４は、直線補間の場合における画素の関係を説明するための図であり、インターポーレート画像Ｄ＿ｉｎｐｌ（ｘ）とアップスケール画像Ｄ＿ｕｐｓｌ（ｘ）とを横軸を一致させて表示させた図である。なお、図４において、白丸は画素を示している。
【００６６】
本来、画像データは２次元データであるが、説明を簡単にするため、１次元のデータを使って説明する。図４は、横軸に座標の位置ｘ、縦軸に画素の輝度（画素値）を表している。図４の下図は、元のデータ（原画像データ）を、アップスケール後の座標系で表示させた図である。つまり、図４の下図は、アップスケール処理が実行される前の画像データＤ＿ｉｎｐｌ（ｘ）（インターポーレート画像Ｄ＿ｉｎｐｌ（ｘ））を示している。図４の上図は、アップスケール処理後の画像データＤ＿ｕｐｓｌ（ｘ）（アップスケール画像Ｄ＿ｕｐｓｌ（ｘ））を示している。
【００６７】
図４の下図の画像データに対して、直線補間によるアップスケール処理を実行した場合について考える。
【００６８】
たとえば、インターポーレート画像Ｄ＿ｉｎｐｌ（ｘ）において、連続する３つの画像データにおいて、その中央の画像データがピーク値（極値）をとっている部分に着目する。例えば、図４に示した連続する３つの画像データＳｑ（ｘ＝ｘｑの画像データ）、Ｓｃ（ｘ＝ｘ０の画像データ）、Ｓｍ（ｘ＝ｘｍの画像データ）に着目する。
【００６９】
図４から分かるように、インターポーレート画像Ｄ＿ｉｎｐｌ（ｘ）においてピーク値をとる画素Ｓｃに最も近い位置にある、アップスケール画像Ｄ＿ｕｐｓｌ（ｘ）の画素は、画素Ｄｃ（ｘ＝ｘｃ）である。この画素Ｄｃ（ｘ＝ｘｃの画像データ）は、当該画素の隣接画素Ｄｐ（ｘ＝ｘｐの画像データ）およびＤｎ（ｘ＝ｘｎの画像データ）よりも大きな値をとる。すなわち、画素Ｄｃ（ｘ＝ｘｃの画像データ）は、ピーク値（３つの画素の中の最大値）をとることが分かる。
【００７０】
アップスケール処理を直線補間により実行した場合、画素Ｄｐは、おおよそ画素Ｓｃと画素Ｓｑの間の値をとり、画素Ｄｎは、画素Ｓｃと画素Ｓｍの間の値をとる。したがって、画素Ｄｎや画素Ｄｐは、アップスケール画像Ｄ＿ｕｐｓｌ（ｘ）において、ピーク値をとる画素にはなりえない。
【００７１】
このように、アップスケール画像Ｄ＿ｕｐｓｌ（ｘ）において、隣接画素と比べて、処理対象画素（注目画素）が最大値もしくは最小値をとる場合（ピーク値をとる場合）、当該注目画素は、インターポーレート画像Ｄ＿ｉｎｐｌ（ｘ）の画素の位置に近いということがわかる。
【００７２】
なお、アップスケール画像Ｄ＿ｕｐｓｌ（ｘ）において、隣接画素に比べて最大値・最小値をとる画素（ピーク値をとる画素）が現れるのは、インターポーレート画像Ｄ＿ｉｎｐｌ（ｘ）においても、隣接画素に比べて最大値・最小値をとる画素（ピーク値をとる画素）が現れる場合に限られる。
【００７３】
次に、アップスケール処理を、直線補間以外の処理により実行した場合について考える。
【００７４】
図５は、アップスケール処理を、（１）直線補間法（Ｌｉｎｅａｒ法）、（２）Ｂｉｃｕｂｉｃ法、（３）Ｌａｎｃｚｏｓ３法、および（４）Ｌａｎｃｚｏｓ４法により実行した場合のピーク画素のズレ量（座標位置の差）Δｘと、頻度とを示すグラフである。なお、図５のグラフは、横軸に、アップスケール画像Ｄ＿ｕｐｓｌ（ｘ）においてピーク値をとる画素の座標位置と、インターポーレート画像Ｄ＿ｉｎｐｌ（ｘ）においてピーク値をとる画素の座標位置との差Δｘ（図４のΔｘに相当）をとり、縦軸に、頻度をとったグラフである。
【００７５】
図５の各グラフから分かるように、いずれの方式により、アップスケール処理を実行しても、Δｘ＝０のときが最頻値を示しており、したがって、この統計的な性質を利用することで、インターポーレート画像Ｄ＿ｉｎｐｌ（ｘ）の画素位置を推定することができる。
【００７６】
以上のように、アップスケール画像においてピーク値をとる画素は、インターポーレート画像の画素位置に近いと判断することができる。したがって、近接度取得部１に入力される画像データおいて、ピーク値を示す画素ほど、高い値の近接度値を設定する。これにより、注目画素の画素位置が、どの程度、インターポーレート画像の画素位置に近いかを適切に表現することができる。
【００７７】
このように近接度取得部１の近接度算出部１２により算出された近接度値Ｑは、累積加算部２に出力される。
【００７８】
累積加算部２では、座標位置ｘごとに、近接度取得部１の近接度算出部１２から出力される近接度値Ｑが累積加算される。
【００７９】
例えば、画像データの水平方向の画素数が「５１２」である場合、累積加算部２は、第１累積加算処理部２０、第２累積加算処理部２１、・・・、第５１２累積加算処理部２５１１の５１２個の累積加算処理部を備える。
【００８０】
座標位置ｘ＝ｋ（０≦ｋ≦５１１）である場合、第（ｋ＋１）累積加算部により、近接度算出部１２から出力される近接度値Ｑが累積加算される。そして、この処理が１枚の画像分（例えば、１フレーム画像分）だけ実行され、取得された累積加算値ｓ０〜ｓ５１１（ｎ＝５１１の場合）が、周波数変換部３に出力される。なお、上記累積加算処理は、１枚の画像分（例えば、１フレーム画像分）の画像データに対して実行された後、スペクトル解析部４から出力されるリセット信号Ｒｓｔにより、各累積加算処理部の累積加算値は、「０」にリセットされる。つまり、各累積加算処理部の第２セレクタ２０４〜２ｎ４にリセット信号Ｒｓｔ（信号値「１」）が入力されることにより、累積加算値が「０」にリセットされる。
【００８１】
ここで、累積加算処理を実行する理由について、図６を用いて説明する。
【００８２】
図６は、入力画像Ｉｍｇ４と、入力画像Ｉｍｇ４から取得した近接度画像Ｉｍｇ５と、座標位置と累積加算値との関係を示すグラフとを示す図である。
【００８３】
近接度画像Ｉｍｇ５は、画素毎に取得された近接度値を、対応する画素位置にマッピングした画像である。入力画像Ｉｍｇ４の画素が、インターポーレート画像の画素位置に近い程大きな値とし、近接度画像Ｉｍｇ５において、近接度値が大きい画素ほど、輝度を高く表示している（白く表示されている画素ほど、近接度値が大きい）。
一般に、近接度画像では、必ずしもサンプリング位置（インターポーレート画像の画素位置）に近い位置で「１」が出現するとは限らない。
【００８４】
これは、以下の理由による。
【００８５】
例えば、アップスケールされる前の画像において、輝度的に平坦で最大値・最小値（ピーク値）を持たない画像領域では、処理対象画素が、サンプリング位置（インターポーレート画像の画素位置）に近い位置であっても、当該画素の近接度値は、大きな値にはならない。また、図５に示したグラフ（ヒストグラム）からも分かるように、直線補間法（Ｌｉｎｅａｒ法）以外の方法によりアップスケール処理を実行した場合、処理対象画素が、必ずしもサンプリング位置（インターポーレート画像の画素位置）に近い位置であっても、当該画素の近接度値は、最大値・最小値（ピーク値）となるとは限らない。
【００８６】
このような理由により、一般に、近接度画像では、必ずしもサンプリング位置（インターポーレート画像の画素位置）に近い位置で「１」が出現するとは限らない。
【００８７】
そこで、統計的な性質を利用し、サンプリング位置（インターポーレート画像の画素位置）を推定する。
【００８８】
具体的には、１枚の画像（例えば、１フレーム画像）に対して、水平方向の座標位置ｘが同じ画素の近接度値を（垂直方向に）累積加算することで、水平方向の座標位置ｘごとの近接度値の累積加算値を取得する。そして、取得した当該水平方向の座標位置ｘごとの近接度値の累積加算値における水平方向の周期性を判断することで、原画像の解像度（またはアップスケール倍率）を推定することができる。
【００８９】
つまり、少ないサンプル数のデータからでは、近接度値が大きな値をとる位置の水平方向の周期性を的確に把握することが困難であるが、上記のようにして取得した水平方向の座標位置ｘごとの近接度値の累積加算値を用いることで、データサンプル数を増やし、より精度良く、近接度値が大きな値をとる位置の水平方向の周期性を的確に把握することができるようになる。
【００９０】
すなわち、どのようなアップスケール処理が実行されていても、近接度画像において、サンプリング位置（インターポーレート画像の画素位置）に近い位置の画素ほど、近接度値が大きな値となる確率は高いので、この統計的な性質を利用し、上記のように、データサンプル数を多くすることで、より精度良く、近接度値が大きな値をとる位置の水平方向の周期性を的確に把握することができるようになる。
【００９１】
このような理由により、累積加算部２では、上記のような累積加算処理が実行される。
【００９２】
累積加算部２の累積加算処理により取得された累積加算値ｓ０〜ｓ５１１（ｎ＝５１１の場合）は、周波数変換部３に出力される。
【００９３】
周波数変換部３では、入力された累積加算値ｓ０〜ｓ５１１（ｎ＝５１１の場合）に対して、周波数変換処理が実行される。周波数変換部３は、累積加算値ｓ０〜ｓ５１１のデータ列に対して、例えば、フーリエ変換（離散フーリエ変換または高速フーリエ変換）を行い、周波数成分値（各周波数成分のスペクトル値のデータ列）ｆ０〜ｆ５１１を取得する。
【００９４】
図７に、図６の近接度値の累積加算値のデータ列ｓ０〜ｓ５１１（図７上図）が、フーリエ変換され、周波数成分値（各周波数成分のスペクトル値のデータ列）ｆ０〜ｆ５１１に変換される様子を示す。なお、図７の上図において、水平方向座標位置ｘ＝ｋ（０≦ｋ≦５１１）のデータが、近接度の累積加算値ｓｋに対応する。また、図７の下図において、水平周波数ｆ＝ｋ（０≦ｋ≦５１１）のデータが、周波数成分値ｆｋに対応する。
【００９５】
図７から分かるように、図７の上図のように、時系列データからは、近接度値の累積加算値の周期性を見出すのは困難であるが、図７の下図のように、周波数領域のデータ列からは、ピークを容易に判断でき、近接度値の累積加算値の周期性を容易に見つけることができる。
【００９６】
このように近接度値の累積加算値の周期性を発見しやすくするために、周波数変換部３により周波数変換することで取得された周波数領域のデータ列ｆ０〜ｆ５１１（ｎ＝５１１）は、周波数変換部３から、スペクトル解析部４に出力される。
【００９７】
スペクトル解析部４では、入力された周波数領域のデータ列ｆ０〜ｆ５１１（ｎ＝５１１）から、原画像（アップスケール処理が実行される前の画像）の解像度Ｎｄｅｔを推定する。
【００９８】
例えば、図７の下図の周波数領域のデータ列ｆ０〜ｆ５１１が入力された場合、スペクトル解析部４のスペクトル検出部４１は、ピークが存在する場所を特定する。図７の下図の場合だと、スペクトル検出部４１は、ｆ＝１２８、３８４にピークが存在することを検出する。
【００９９】
そして、推定解像度取得部４２は、スペクトル検出部４１の検出結果（解析結果）に基づいて、解像度Ｎｄｅｔを推定する。ｎ＝５１２であるので、図７の下図のように、ｆ＝１２８にピークが出現する場合、原画像の画素数は、水平方向に１２８画素であると推定することができる。つまり、水平方向の５１２画素分のデータが１Ｈｚに相当すると、ｆ＝１２８にピークが存在するということは、１２８Ｈｚの周期でインターポーレート処理された画素が存在する可能性が高いことを意味する。
【０１００】
したがって、この場合、スペクトル解析部４の推定解像度取得部４２は、原画像（アップスケール処理が実行される前の画像）の解像度Ｎｄｅｔを
Ｎｄｅｔ＝１２８
と推定する。
【０１０１】
なお、周波数変換部３において、離散フーリエ変換あるいは高速フーリエ変換により、周波数領域のデータ列を取得した場合、ｆ＝１２８にピークが存在すると、その折り返し成分であるｆ＝３８４にもピークが存在する。
【０１０２】
この２つのピークの内のいずれかのピークを選択する必要があるが、例えば、アップスケール倍率としてとり得る範囲を予め設定しており、スペクトル解析部４の推定解像度取得部４２が、当該範囲内に入る方のピークを選択するようにしてもよい。
【０１０３】
この一例について、図８を用いて説明する。図８は、周波数変換部３により取得された周波数領域のデータ列ｆ０〜ｆ５１１であり、水平方向の１画素が解像度１９２０本に相当する場合を示している。
【０１０４】
地上波デジタル放送の場合、水平解像は１４４０本であり、ＢＳ放送の場合、水平解像度は、１９２０本であり、その他の動画フォーマットの水平解像度は、７２０本、６４０本等である。つまり、通常使用される水平解像度のバリエーションは、それ程多くない。ここで、解像度推定装置１０００において、水平解像度のバリエーション（取り得る値）として、１４４０本、９６０本、７２０本、６４０本と設定した場合、スペクトル解析部４のスペクトル検出部４１は、図８の周波数領域のデータ列ｆ０〜ｆ５１１が入力された場合、ｆ＝１２８（水平解像度４８０本に相当）のピークと、ｆ＝３８４（水平解像度１４４０本に相当）のピークを検出する。そして、スペクトル解析部４の推定解像度取得部４２は、検出した２つのピークについて、予め設定された水平解像度に一致するものがあるか否かを判断する。上記の場合、水平解像度１４４０本のみが予め設定された水平解像度として設定されているので、スペクトル解析部４の推定解像度取得部４２は、原画像（アップスケール処理が実行される前の画像）の解像度Ｎｄｅｔを
Ｎｄｅｔ＝３８４（水平解像度１４４０本に相当）
と推定する。
【０１０５】
なお、スペクトル解析部４は、上記解像度の推定処理が終了すると（１枚の画像分（１フレーム分の画像）の処理が終了すると）、累積加算部２の各累積加算処理部にリセット信号Ｒｓｔを出力する（値を「１」にして出力する）。
【０１０６】
また、別の方法として、スペクトル解析部４は、すでによく知られている水平解像度に相当する周波数領域に存在するスペクトル成分を積算し、その積算値が最大となる周波数領域に対応する水平解像度を、原画像の水平解像度と推定するようにしてもよい。例えば、スペクトル解析部４のスペクトル検出部４１は、図８に点線の矩形で示した領域について、スペクトル値を積算し、その積算値が最大となる領域（図８の場合では、水平解像度１４４０本の領域）を検出し、その検出結果に基づいて、推定解像度取得部４２は、当該領域に相当する水平解像度を、原画像の水平解像度（図８の場合、水平解像度１４４０本）として決定するようにしてもよい。
【０１０７】
さらに、解像度推定装置１０００に入力されることがない水平解像度については、予め除外し、原画像の水平解像度の判定処理を行うようにしてもよい。
【０１０８】
以上のようにして、スペクトル解析部４では、原画像の水平解像度を推定し、原画像の解像度Ｎｄｅｔを決定（推定）することができる。
【０１０９】
以上のように、解像度推定装置１０００では、近接度取得部１が、入力画像Ｄｉｎにおいて、ピーク値をとる画素の近接度値Ｑが高くなるように設定し、累積加算部２が、水平方向座標ｘが同じ画素について、（垂直方向に）近接度値Ｑを累積加算する。そして、解像度推定装置１０００では、周波数変換部３が、累積加算部２により取得された近接度値Ｑのデータ列に対して、周波数変換を行い、周波数領域のデータ列を取得する。そして、解像度推定装置１０００では、スペクトル解析部４が、周波数変換部３により取得された周波数領域のデータ列を解析することで、近接度値Ｑの水平方向の周期性を検出し、原画像（アップスケール処理が実行される前の画像）の（水平）解像度を特定（推定）する。
【０１１０】
つまり、解像度推定装置１０００では、サンプリング位置（インターポーレート画像の画素位置）の位置的な近さを表している近接度値のサンプル数を、（垂直方向に）累積加算することで、近接度値のサンプル数を増やし、さらに、近接度値の累積加算値の時系列のデータ列を周波数変換して取得した周波数領域のデータ列から、近接度値が高い画素の周期性を適切に検出することができる。
【０１１１】
すなわち、どのようなアップスケール処理が実行されていても、近接度画像（近接度値をマッピングした画像）において、サンプリング位置（インターポーレート画像の画素位置）に近い位置の画素ほど、近接度値が大きな値となる確率は高いので、解像度推定装置１０００では、この統計的な性質を利用し、上記のように、データサンプル数を多くすることで、より精度良く、近接度値が大きな値をとる位置の水平方向の周期性を的確に把握することができるようになる。
【０１１２】
このように、解像度推定装置１０００では、入力される画像信号（映像信号）がどのようなものであっても、原画像（原映像）の解像度を適切に推定することができる。
【０１１３】
≪第１変形例≫
次に、第１実施形態の第１変形例について説明する。
【０１１４】
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【０１１５】
図９は、第１実施形態の第１変形例に係る解像度推定装置１０００Ａの概略構成図である。
【０１１６】
図１０は、第１実施形態の第１変形例に係る解像度推定装置１０００Ａの指定解像度取得部５の概略構成図である。
【０１１７】
本変形例の解像度推定装置１０００Ａは、図９に示すように、第１実施形態の解像度推定装置１０００において、スペクトル解析部４を、スペクトル解析部４Ａに置換した構成を有している。つまり、本変形例の解像度推定装置１０００Ａは、図９に示すように、第１実施形態の解像度推定装置１０００において、推定解像度取得部４２を推定解像度取得部４２Ａに置換した構成を有している。
【０１１８】
推定解像度取得部４２Ａは、図１０に示すように、１次元データ列取得部４０１と、暫定解像度取得部４０２と、ダウンスケール処理部４０３と、アップスケール処理部４０４と、誤差算出部４０５と、推定解像度決定部４０６と、を備える。
【０１１９】
１次元データ列取得部４０１は、入力画像Ｄｉｎを入力し、入力画像Ｄｉｎにおいて、垂直方向に画素値を合計し、１次元のデータ列Ｓ０（ｘ）を取得する。そして、１次元データ列取得部４０１は、取得した１次元データ列Ｓ０（ｘ）を、ダウンスケール処理部４０３および誤差算出部４０５に出力する。
【０１２０】
暫定解像度取得部４０２は、スペクトル検出部４１から出力されるスペクトル検出結果を入力とし、当該スペクトル検出結果に基づいて、暫定解像度Ｎｄｅｔを取得する。なお、暫定解像度取得部４０２は、第１実施形態の推定解像度取得部４２と同様の処理を実行することで、暫定解像度Ｎｄｅｔを取得する。つまり、暫定解像度Ｎｄｅｔは、第１実施形態の推定解像度取得部４２により取得される解像度Ｎｄｅｔと同様のものである。
【０１２１】
ダウンスケール処理部４０３は、１次元データ列取得部４０１から出力される１次元データ列Ｓ０（ｘ）と、暫定解像度取得部４０２から出力される暫定解像度を示す値（信号）Ｎｄｅｔとを入力する。ダウンスケール処理部４０３は、暫定解像度Ｎｄｅｔに基づいて、１次元データ列Ｓ０（ｘ）に対して、ダウンスケール処理を実行する。ダウンスケール処理部４０３は、ダウンスケール処理後の１次元データ列を１次元データ列Ｓｄ（ｘ）として、アップスケール処理部４０４に出力する。
【０１２２】
アップスケール処理部４０４は、ダウンスケール処理部４０３から入力された１次元データ列Ｓｄ（ｘ）を入力とし、入力された１次元データ列Ｓｄ（ｘ）に対して、１次元データ列Ｓ０（ｘ）と同じ水平解像度（同じデータ数）となるように、アップスケール処理を実行し、１次元データ列Ｓ１（ｘ）を取得する。そして、アップスケール処理部４０４は、アップスケール処理後の１次元データ列Ｓ１（ｘ）を誤差算出部４０５に出力する。
【０１２３】
誤差算出部４０５は、１次元データ列取得部４０１から出力される１次元データ列Ｓ０（ｘ）と、アップスケール処理部４０４から出力される１次元データ列Ｓ１（ｘ）とを入力する。誤差算出部４０５は、入力された１次元データ列Ｓ０（ｘ）とＳ１（ｘ）との誤差を算出し、算出した誤差を示す値（誤差信号）Ｅｒｒを推定解像度決定部４０６に出力する。
【０１２４】
推定解像度決定部４０６は、誤差算出部４０５から出力される誤差信号Ｅｒｒを入力し、当該誤差信号Ｅｒｒに基づいて、入力画像Ｄｉｎの原画像（アップスケール処理が実行される前の画像）の解像度Ｎ２ｄｅｔを推定（決定）する。そして、推定解像度決定部４０６は、決定（推定）した解像度Ｎ２ｄｅｔを出力する。
【０１２５】
以上のように構成された解像度推定装置１０００Ａの動作について、説明する。
【０１２６】
なお、スペクトル解析部４のスペクトル検出部４１までの処理は、第１実施形態と同様であるため、説明を省略する。
【０１２７】
以下では、図７の下図の周波数領域のデータ列が、周波数変換部３により取得され、スペクトル検出部４１でのスペクトル検出結果に基づいて、暫定解像度取得部４０２により、暫定解像度Ｎｄｅｔが「１２８」（１２８画素に相当する解像度）として出力された場合について、説明する。
【０１２８】
この場合、上記第１実施形態で説明したように、入力画像Ｄｉｎの原画像（アップスケール処理前の画像）の解像度が「１２８」である場合と、「３８４」（折り返し成分に相当する解像度）である場合とが考えられる。
【０１２９】
そこで、本変形例の解像度推定装置１０００Ａでは、上記２つの推定解像度の候補のうち、正しい方の解像度をより適切に選択することができるように処理が実行される。これについて、以下、具体的に説明する。なお、本変形例では、値の小さい方の解像度をＮ１とし、値の大きい方の解像度（折り返し成分に相当する解像度）をＮ２とし、暫定解像度取得部４０２は、原画像の解像度の候補Ｎ１、Ｎ２のうち、常に値の小さい方の解像度Ｎ１を選択して、Ｎｄｅｔに設定するものとする。
【０１３０】
推定解像度取得部４２Ａの１次元データ列取得部４０１では、入力画像Ｄｉｎ（水平解像度５１２画素の画像）から、垂直方向に画素値を合計し、１次元のデータ列Ｓ０（ｘ）が生成される。つまり、１次元データ列取得部４０１は、入力画像Ｄｉｎにおいて、水平方向の座標位置ｘが同じ画素の画素値を（垂直方向に）累積加算し、Ｓ０（ｘ）を取得する。なお、本変形例では、入力画像の水平方向の画素数が５１２画素であるので、１次元データ列取得部４０１により取得される１次元データ列Ｓ０（ｘ）（０≦ｘ≦５１１）は、５１２個のデータからなるデータ列である。
【０１３１】
上記のようにして、１次元データ列取得部４０１で取得された１次元データ列Ｓ０（ｘ）は、ダウンスケール処理部４０３および誤差算出部４０５に出力される。
【０１３２】
ダウンスケール処理部４０３では、１次元データ列取得部４０１から出力された１次元データ列Ｓ０（ｘ）（５１２個のデータ列）に対して、解像度Ｎｄｅｔ（＝１２８）で指定されている（水平）解像度となるように、ダウンスケール処理が実行される。そして、ダウンスケール処理後のデータ列は、１次元データ列Ｓｄ（ｘ）（１２８個のデータ列）として、アップスケール処理部４０４に出力される。
【０１３３】
アップスケール処理部４０４では、ダウンスケール処理部４０３から出力されるダウンスケール処理後の１次元データ列Ｓｄ（ｘ）（１２８個のデータ列）が、ダウンスケール処理前のデータ列Ｓ０（ｘ）と同じ水平解像度（＝５１２画素）となるように、つまり、ダウンスケール処理前のデータ列Ｓ０（ｘ）と同じデータ数のデータ列となるように、１次元データ列Ｓｄ（ｘ）に対して、アップスケール処理が実行される。そして、アップスケール処理後の１次元データ列は、データ列Ｓ１（ｘ）（５１２個のデータ列）として、誤差算出部４０５に出力される。
【０１３４】
誤差算出部４０５では、１次元データ列取得部４０１から出力される１次元データ列Ｓ０（ｘ）（５１２個のデータ列）と、アップスケール処理部４０４から出力される１次元データ列Ｓ１（ｘ）（５１２個のデータ列）との誤差が算出される。具体的には、誤差算出部４０５は、
【数１】
2015098436.tif 000003
に相当する処理を実行することで、誤差Ｅｒｒを取得する。なお、上式において、ｎ＝５１１である。
【０１３５】
そして、上記のようにして取得された誤差Ｅｒｒは、推定解像度決定部４０６に出力される。
【０１３６】
推定解像度決定部４０６では、入力された誤差Ｅｒｒを所定の閾値Ｔｈ（例えば、Ｔｈ＝０．００１）と比較し、
（１）Ｅｒｒ＞Ｔｈである場合、
Ｎ２ｄｅｔ＝Ｎ２
とし、つまり、推定解像度の候補のうち、値が大きい方の解像度（折り返し成分に相当する解像度）Ｎ２（上記例では、３８４画素）を推定解像度Ｎ２ｄｅｔとして決定し、
（２）Ｅｒｒ≦Ｔｈである場合、
Ｎ２ｄｅｔ＝Ｎ１＝Ｎｄｅｔ
とし、つまり、推定解像度の候補のうち、値が小さい方の解像度Ｎ１（上記例では、１２８画素）を推定解像度Ｎ２ｄｅｔとして決定する。
【０１３７】
そして、決定した推定解像度Ｎ２ｄｅｔは、推定解像度決定部４０６から出力される。
【０１３８】
ここで、上記処理により、適切な推定解像度を取得することができる理由について、説明する。
【０１３９】
仮に、入力画像Ｄｉｎが、水平解像度１２８本（水平画素数１２８画素）の原画像をアップスケール処理した画像である場合、１次元データ列取得部４０１で、入力画像Ｄｉｎを１次元にしたデータ列（５１２個のデータ列）を、１２８個のデータ列（水平解像度１２８本に相当するデータ列）にダウンスケールした後、元の水平解像度５１２本のデータ列（５１２個のデータ列）にアップスケールしても、データ列（信号）の変化は小さい。つまり、誤差算出部４０５により算出される誤差Ｅｒｒの値は小さい。
【０１４０】
一方、入力画像Ｄｉｎが、水平解像度３８４本（水平画素数３８４画素）の原画像をアップスケール処理した画像である場合、１次元データ列取得部４０１で、入力画像Ｄｉｎを１次元にしたデータ列（５１２個のデータ列）を、１２８個のデータ列（水平解像度１２８本に相当するデータ列）にダウンスケールした後、元の水平解像度５１２本のデータ列（５１２個のデータ列）にアップスケールすると、水平解像度が３８４本であれば表現できる高周波成分の一部が、ダウンスケール処理およびアップスケール処理の過程で失われる。したがって、この場合、誤差算出部４０５により算出される誤差Ｅｒｒの値が大きくなる。
【０１４１】
このような理由により、推定解像度取得部４２Ａにおいて、上記処理を実行することで、スペクトル検出部４１のスペクトル検出結果に基づいて、暫定解像度取得部４０２により取得された暫定解像度と、その折り返し成分に相当する解像度の２つの候補のうちのより適切な方を、推定解像度として特定することができる。
【０１４２】
以上のように、本変形例の解像度推定装置１０００Ａでは、推定解像度取得部４２Ａが、入力画像Ｄｉｎから取得した１次元データ列Ｓ０（ｘ）に対して、スペクトル検出部４１のスペクトル検出結果に基づいて、暫定解像度取得部４０２により取得された推定解像度の２つの候補のうちの値が小さい方の解像度にダウンスケールした後、アップスケールした１次元データ列Ｓ１（ｘ）を取得する。そして、解像度推定装置１０００Ａでは、誤差算出部４０５により、１次元データ列Ｓ０（ｘ）、Ｓ１（ｘ）の間の誤差を算出し、算出した誤差に基づいて、スペクトル検出部４１のスペクトル検出結果に基づいて、暫定解像度取得部４０２により取得された暫定解像度と、その折り返し成分に相当する解像度の２つの候補のうちのより適切な方を、推定解像度として特定する。
【０１４３】
したがって、解像度推定装置１０００Ａでは、入力画像Ｄｉｎの原画像（アップスケール処理前の画像）の解像度を、さらに、適切に決定（推定）することができる。
【０１４４】
≪第２変形例≫
次に、第１実施形態の第２変形例について、説明する。
【０１４５】
第１実施形態の第２変形例では、画像（映像）の垂直解像度を推定する場合を例に説明する。
【０１４６】
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【０１４７】
図１１は、第１実施形態の第２変形例に係る解像度推定装置１０００Ｂの概略構成図である。
【０１４８】
図１２は、第１実施形態の第２変形例に係る解像度推定装置１０００Ｂをハードウェアで構成する場合の概略構成図（一例）である。
【０１４９】
本変形例の解像度推定装置１０００Ｂは、図１１に示すように、第１実施形態の解像度推定装置１０００において、近接度取得部１を近接度取得部１Ａに置換し、累積加算部２を累積加算部２Ａに置換した構成を有している。
【０１５０】
そして、図１２に示すように、本変形例の近接度取得部１Ａは、第１実施形態の近接度取得部１において、座標取得部１１を座標取得部１１Ａに置換し、近接度算出部１２を近接度算出部１２Ａに置換した構成を有している。つまり、第１実施形態の本変形例の近接度取得部１Ａは、第１実施形態の近接度取得部１において、Ｄフリップフロップ１１１、１２１，１２２を、１ライン分の遅延器（例えば、ラインメモリ）１１１Ａ、１２１Ａ、１２２Ａに置換した構成を有している。
【０１５１】
これにより、座標取得部１１Ａからは、画像の垂直方向の座標ｙが累積加算部２Ａに出力され、近接度算出部１２Ａからは、当該垂直座標値ｙに対応する画素の近接度値Ｑが累積加算部２Ａに出力される。
【０１５２】
また、図１２に示すように、本変形例の累積加算部２Ａの各累積加算処理部の座標判定部２０１Ａ〜２ｎ１Ａは、近接度取得部１Ａの座標取得部１１Ａから出力される垂直座標値ｙを入力する。そして、各座標判定部は、入力された垂直座標値ｙが、図１２に示すように設定された値と一致する場合、「１」を第１セレクタに出力し、入力された垂直座標値ｙが図１２に示すように設定された値と一致しない場合、「０」を第１セレクタに出力する。それ以外は、第１実施形態と同様である。
【０１５３】
以上のように構成された本変形例の解像度推定装置１０００Ａは、第１実施形態の解像度推定装置１０００とは、異なり、画像上の垂直方向に連続する３つの画素から、近接度値Ｑを算出し、画像上の水平方向に、近接度値Ｑを累積加算する。
【０１５４】
つまり、第１実施形態の解像度推定装置１０００が、画像上の水平方向において、近接度値Ｑを算出し、画像上の垂直方向に近接度値Ｑを累積加算していたのに対し、本変形例の解像度推定装置１０００Ｂでは、画像上の垂直方向において、近接度値Ｑを算出し、画像上の水平方向に近接度値Ｑを累積加算する。この点が、本変形例の解像度推定装置１０００Ａが、第１実施形態の解像度推定装置１０００と相違する点である。
【０１５５】
なお、推定解像度を決定（推定）する処理については、第１実施形態と同様である。
【０１５６】
本変形例の解像度推定装置１０００Ｂにおいても、第１実施形態の解像度推定装置１０００と同様に、入力される画像信号（映像信号）がどのようなものであっても、原画像（原映像）の解像度を適切に推定することができる。
【０１５７】
［第２実施形態］
次に、第２実施形態について、説明する。
【０１５８】
図１３は、第２実施形態に係る解像度推定方法のフローチャートである。
【０１５９】
図１３のフローチャートを用いて、本実施形態の解像度推定方法について、説明する。
【０１６０】
なお、本実施形態の解像度推定方法は、例えば、第１実施形態の解像度推定装置１０００により実行される。
【０１６１】
以下では、第１実施形態の解像度推定装置１０００により、本実施形態の解像度推定方法が実行される場合を一例として、説明する。
【０１６２】
（Ｓ１）：
ステップＳ１では、累積加算部２により保持される画像上の水平座標ｘごとに用意された水平累積加算値用配列Ｓｈ［］および累積加算部２により保持される画像上の垂直座標ｙごとに用意された垂直累積加算値用配列Ｓｖ［］が、リセットされ、全ての配列要素に「０」がセットされる。また、ステップＳ１では、画像上の水平座標ｘおよび垂直座標ｙが、ともに「０」にセットされる。
【０１６３】
（Ｓ２）：
ステップＳ２では、近接度取得部１により、水平近接度Ｑｈが算出される。
【０１６４】
具体的には、入力画像上の座標（ｘ，ｙ）の画素の画素値をＤ（ｘ，ｙ）と表記し、注目画素の画素値をＤ（ｘ，ｙ）とすると、
（１）注目画素を中心として、水平方向に連続する３つの画素の画素値Ｄ（ｘ−１，ｙ）、Ｄ（ｘ，ｙ）、および、Ｄ（ｘ＋１，ｙ）において、Ｄ（ｘ，ｙ）が単独で最大値あるいは最小値をとる場合、近接度取得部１は、注目画素の近接度値Ｑｈを、
Ｑｈ＝１
に設定する。
（２）画素値Ｄ（ｘ−１，ｙ）、Ｄ（ｘ，ｙ）、および、Ｄ（ｘ＋１，ｙ）において、Ｄ（ｘ，ｙ）が最大値あるいは最小値をとるが、Ｄ（ｘ−１，ｙ）およびＤ（ｘ＋１，ｙ）のいずれかがＤ（ｘ，ｙ）と同じ値である場合、近接度取得部１は、注目画素の近接度値Ｑｈを、
Ｑｈ＝０．５
に設定する。
（３）上記（１）、（２）以外の場合、近接度取得部１は、注目画素の近接度値Ｑｈを、
Ｑｈ＝０
に設定する。
【０１６５】
（Ｓ３）：
ステップＳ３では、累積加算部２により、近接度値Ｑｈの画像の垂直方向への累積加算処理が実行される。すなわち、累積加算部２は、
Ｓｈ［ｘ］＝Ｓｈ［ｘ］＋Ｑｈ
に相当する処理を実行する。
【０１６６】
（Ｓ４）：
ステップＳ４では、近接度取得部１により、垂直近接度Ｑｖが算出される。
【０１６７】
つまり、
（１）注目画素を中心として、垂直方向に連続する３つの画素の画素値Ｄ（ｘ，ｙ−１）、Ｄ（ｘ，ｙ）、および、Ｄ（ｘ，ｙ＋１）において、Ｄ（ｘ，ｙ）が単独で最大値あるいは最小値をとる場合、近接度取得部１は、注目画素の近接度値Ｑｖを、
Ｑｖ＝１
に設定する。
（２）画素値Ｄ（ｘ，ｙ−１）、Ｄ（ｘ，ｙ）、および、Ｄ（ｘ，ｙ＋１）において、Ｄ（ｘ，ｙ）が最大値あるいは最小値をとるが、Ｄ（ｘ，ｙ−１）およびＤ（ｘ，ｙ＋１）のいずれかがＤ（ｘ，ｙ）と同じ値である場合、近接度取得部１は、注目画素の近接度値Ｑｖを、
Ｑｖ＝０．５
に設定する。
（３）上記（１）、（２）以外の場合、近接度取得部１は、注目画素の近接度値Ｑｖを、
Ｑｖ＝０
に設定する。
【０１６８】
（Ｓ５）：
ステップＳ５では、累積加算部２により、近接度値Ｑｖの画像の水平方向への累積加算処理が実行される。すなわち、累積加算部２は、
Ｓｖ［ｘ］＝Ｓｖ［ｘ］＋Ｑｖ
に相当する処理を実行する。
【０１６９】
（Ｓ６、Ｓ７）：
ステップＳ６では、水平座標値ｘの＋１のインクリメント処理が実行される。
【０１７０】
また、ステップＳ７では、水平座標値ｘが、水平方向の最大値Ｈ＿ＳＩＳＥ（水平方向の画素数）以上であるか否かを判定し、判定結果が「Ｙｅｓ」である場合、処理をステップＳ８に進め、一方、判定結果が「Ｎｏ」である場合、処理をステップＳ２に戻す。
【０１７１】
（Ｓ８、Ｓ９）：
ステップＳ８では、水平座標値ｘを「０」にリセットし、垂直座標値ｙを＋１だけインクリメントする。
【０１７２】
また、ステップＳ９では、垂直座標値ｙが、垂直方向の最大値Ｖ＿ＳＩＳＥ（垂直方向の画素数）以上であるか否かを判定し、判定結果が「Ｙｅｓ」である場合、処理をステップＳ１０に進め、一方、判定結果が「Ｎｏ」である場合、処理をステップＳ２に戻す。
【０１７３】
（Ｓ１０）：
ステップＳ１０では、周波数変換部３により、１枚の画像（例えば、１フレーム画像）に対して、上記水平方向の累積加算処理を実行して取得されたデータ列Ｓｈ［］に対して、フーリエ変換（離散フーリエ変換、高速フーリエ変換等）が実行され、水平周波数領域のデータ列Ｆｈ［］が取得される。
【０１７４】
また、ステップＳ１０では、周波数変換部３により、１枚の画像（例えば、１フレーム画像）に対して、上記垂直方向の累積加算処理を実行して取得されたデータ列Ｓｖ［］に対して、フーリエ変換（離散フーリエ変換、高速フーリエ変換等）が実行され、垂直周波数領域のデータ列Ｆｖ［］が取得される。
【０１７５】
（Ｓ１１）：
ステップＳ１１では、スペクトル解析部４により、ステップＳ１０で取得された水平周波数領域のデータ列Ｆｈ［］からピークを検出し、当該ピークに基づいて、入力画像の原画像（アップスケール処理前の画像）の水平解像度を推定する。
【０１７６】
また、ステップＳ１１では、スペクトル解析部４により、ステップＳ１０で取得された垂直周波数領域のデータ列Ｆｖ［］からピークを検出し、当該ピークに基づいて、入力画像の原画像（アップスケール処理前の画像）の垂直解像度を推定する。
【０１７７】
以上のように、本実施形態の解像度推定方法を実行することにより、入力される画像信号（映像信号）がどのようなものであっても、原画像（原映像）の解像度を適切に推定することができる。
【０１７８】
［他の実施形態］
上記実施形態（変形例を含む）において、近接度取得部に同期信号Ｓｙｎｃが入力される場合（例えば、図２、図１２の場合）について、説明したが、これに限定されることはなく、例えば、近接度取得部が、入力画像Ｄｉｎから同期信号Ｓｙｎｃに対応する信号（データ）を取得し、取得した当該信号（データ）を用いて、座標算出処理を行うようにしてもよい。
【０１７９】
また、上記実施形態（変形例を含む）において、周波数変換部において、フーリエ変換により周波数変換を行う場合について説明した。しかし、これに限定されることはなく、データ列の周期性を見出すことができる周波数変換であれば、他の周波数変換（例えば、離散コサイン変換、ウェーブレット変換等）を用いて、周波数変換を行うようにしてもよい。
【０１８０】
また、上記実施形態（変形例を含む）の一部または全部を組み合わせて、解像度推定装置および解像度推定方法を実現するようにしてもよい。
【０１８１】
また、入力画像の垂直方向のアップスケール倍率と、水平方向のアップスケール倍率とは、異なるものであってもよい。例えば、入力画像（入力映像）は、６４０×４８０の画像（映像）を１９２０×１０８０の画像（映像）に拡大した画像（映像）であってもよいし、また、１４４０×１０８０の画像（映像）を１９２０×１０８０の画像（映像）に拡大した画像（映像）であってもよい。このような入力画像（映像）に対しても、上記実施形態（変形例を含む）の解像度推定装置（上記実施形態（変形例を含む）の一部または全部を組み合わせる場合を含む。）により処理、あるいは、解像度推定方法（上記実施形態（変形例を含む）の一部または全部を組み合わせる場合を含む。）を実行してもよい。
【０１８２】
また、上記実施形態の解像度推定装置の一部または全部は、集積回路（例えば、ＬＳＩ、システムＬＳＩ等）として実現されるものであってもよい。
【０１８３】
上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により実行されるものであってもよい。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、中央演算装置（ＣＰＵ）が、ＲＯＭ、あるいはＲＡＭから当該プログラムを読み出し、実行されるものであってもよい。
【０１８４】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【０１８５】
なお、上記実施形態に係る画像処理装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。また、タイミング調整を行うための遅延器等についても図示を省略している。
【０１８６】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【０１８７】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【０１８８】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【０１８９】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【０１９０】
［付記］
なお、本発明は、以下のようにも表現することができる。
【０１９１】
第１の発明は、入力画像のアップスケール処理前の原画像の解像度を推定する解像度推定装置であって、近接度取得部と、累積加算部と、周波数変換部と、スペクトル解析部と、を備える。
【０１９２】
近接度取得部は、注目画素の画素位置が、原画像をアップスケール処理した場合に、原画像の画素が配置される画素位置に近いと推定される程、大きな値となるように、注目画素の推定近接度を設定する。
【０１９３】
累積加算部は、注目画素の推定近接度を、画像上の第１方向と直交する第２方向に累積加算し、推定近接度の累積加算値の１次元データ列を取得する。
【０１９４】
周波数変換部は、累積加算部により取得された推定近接度の累積加算値の１次元データ列に対して、周波数変換を行い、周波数領域の１次元データ列である周波数成分１次元データ列を取得する。
【０１９５】
スペクトル解析部は、周波数変換部により取得された周波数成分１次元データ列に基づいて、近接度の画像上の第１方向における周期性を検出し、検出した周期性に基づいて、入力画像のアップスケール処理前の原画像の解像度を推定する。
【０１９６】
この解像度推定装置では、近接度取得部が、入力画像において、注目画素の画素位置が、原画像をアップスケール処理した場合に、原画像の画素が配置される画素位置に近いと推定される程、大きな値となるように、注目画素の推定近接度を設定する。そして、累積加算部が、第１方向（例えば、水平方向）座標が同じ画素について、第２方向（例えば、垂直方向）の推定近接度の値（推定近接度値）を累積加算する。そして、この解像度推定装置では、周波数変換部が、累積加算部により取得された推定近接度値の累積加算値の１次元データ列に対して、周波数変換を行い、周波数領域のデータ列を取得する。そして、この解像度推定装置では、スペクトル解析部が、周波数変換部により取得された周波数領域のデータ列を解析することで、推定近接度値の第１方向（例えば、水平方向）の周期性を検出し、原画像（アップスケール処理が実行される前の画像）の第１方向（例えば、水平方向）解像度を特定（推定）する。
【０１９７】
つまり、この解像度推定装置では、サンプリング位置（インターポーレート画像の画素位置）の位置的な近さを表している推定近接度値のサンプル数を、第２方向に（例えば、垂直方向に）累積加算することで、推定近接度値のサンプル数を増やし、さらに、推定近接度値の累積加算値の時系列のデータ列を周波数変換して取得した周波数領域のデータ列から、推定近接度値が高い画素の周期性を適切に検出することができる。
【０１９８】
すなわち、どのようなアップスケール処理が実行されていても、推定近接度画像（推定近接度値をマッピングした画像）において、サンプリング位置（インターポーレート画像の画素位置）に近い位置の画素ほど、推定近接度値が大きな値となる確率は高いので、この解像度推定装置では、この統計的な性質を利用し、上記のように、データサンプル数を多くすることで、より精度良く、推定近接度値が大きな値をとる位置の第１方向（例えば、水平方向）の周期性を的確に把握することができるようになる。
【０１９９】
このように、この解像度推定装置では、入力される画像信号（映像信号）がどのようなものであっても、原画像（原映像）の解像度を適切に推定することができる。
【０２００】
なお、「推定近接度」とは、注目画素の画像上の画素位置と、入力画像の原画像に対して挿入処理（インターポーレート）を行って取得したインターポーレート画像上の画素位置との位置的な近さを表す指標である。近接度は、例えば、次のように設定される。注目画素の画像上の画素位置と、原画像から取得したインターポーレート画像上の画素位置とが近い程、近接度は大きい値に設定される。
【０２０１】
つまり、「推定近接度」とは、アップスケール処理後の座標空間において、挿入処理で配置された入力画像の画素の位置と、アップスケール処理後の画像の注目画素の距離が、どの程度近いかを示す指標である。
【０２０２】
第２の発明は、第１の発明であって、近接度取得部は、注目画素の画素値が、局所領域において、極大値または極小値をとる場合、注目画素の画素位置が、原画像をアップスケール処理した場合に、原画像の画素が配置される画素位置に近いと推定し、注目画素の推定近接度を、注目画素の画素値が、局所領域において、極大値および極小値のいずれでもない場合の推定近接度よりも大きな値に設定する。
【０２０３】
この解像度推定装置では、（画像上の）局所領域において、極大値または極小値をとる画素についての推定近接度を高い値とするので、適切に、推定近接度を設定することができる。そして、適切に設定された推定近接度を用いて、高精度に、近接度値の第１方向（例えば、水平方向）の周期性を検出し、原画像（アップスケール処理が実行される前の画像）の第１方向（例えば、水平方向）解像度を特定（推定）することができる。
【０２０４】
第３の発明は、第１の発明であって、近接度取得部は、注目画素を中心として、画像上の第１方向に連続する３つの画素において、注目画素の画素値が極大値または極小値である場合、注目画素の推定近接度を第１の値に設定し、注目画素を中心として、画像上の前記第１方向に連続する３つの画素において、注目画素の画素値が極大値および極小値のいずれでもない場合、注目画素の推定近接度を前記第１の値よりも小さい第２の値に設定することで、注目画素の推定近接度を設定する。
【０２０５】
この解像度推定装置では、近接度取得部が、入力画像において、極大値または極小値（極値）をとる画素の近接度値（近接度）が高くなるように設定し、累積加算部が、第１方向（例えば、水平方向）座標が同じ画素について、第２方向（例えば、垂直方向）の近接度値を累積加算する。そして、この解像度推定装置では、周波数変換部が、累積加算部により取得された近接度値の累積加算値の１次元データ列に対して、周波数変換を行い、周波数領域のデータ列を取得する。そして、この解像度推定装置では、スペクトル解析部が、周波数変換部により取得された周波数領域のデータ列を解析することで、近接度値の第１方向（例えば、水平方向）の周期性を検出し、原画像（アップスケール処理が実行される前の画像）の第１方向（例えば、水平方向）解像度を特定（推定）する。
【０２０６】
つまり、この解像度推定装置では、サンプリング位置（インターポーレート画像の画素位置）の位置的な近さを表している近接度値のサンプル数を、第２方向に（例えば、垂直方向に）累積加算することで、近接度値のサンプル数を増やし、さらに、近接度値の累積加算値の時系列のデータ列を周波数変換して取得した周波数領域のデータ列から、近接度値が高い画素の周期性を適切に検出することができる。
【０２０７】
すなわち、どのようなアップスケール処理が実行されていても、近接度画像（近接度値をマッピングした画像）において、サンプリング位置（インターポーレート画像の画素位置）に近い位置の画素ほど、近接度値が大きな値となる確率は高いので、この解像度推定装置では、この統計的な性質を利用し、上記のように、データサンプル数を多くすることで、より精度良く、近接度値が大きな値をとる位置の第１方向（例えば、水平方向）の周期性を的確に把握することができるようになる。
【０２０８】
このように、この解像度推定装置では、入力される画像信号（映像信号）がどのようなものであっても、原画像（原映像）の解像度を適切に推定することができる。
【０２０９】
第４の発明は、第１の発明であって、スペクトル解析部は、周波数成分１次元データ列において、ピーク値をとる周波数成分値を検出し、検出した当該周波数成分値に基づいて、入力画像のアップスケール処理前の原画像の解像度を推定する。
【０２１０】
これにより、この解像度推定装置では、周波数成分１次元データ列において、ピーク値をとる周波数成分値に基づいて、適切に、入力画像のアップスケール処理前の原画像の解像度を推定することができる。
【０２１１】
第５の発明は、第４の発明であって、推定解像度取得部をさらに備える。
【０２１２】
推定解像度取得部は、スペクトル解析部により、異なる周波数成分値において、周波数成分１次元データ列にピークが検出された場合、ピークが検出されたデータの周波数成分値のうち、最小の値をとる周波数成分値を最小周波数成分値とし、当該最小周波数成分値に対応する解像度を第１解像度とすると、
入力画像の画素値を第２方向に累積加算することで取得した１次元データ列Ｓ０（ｘ）を、第１解像度の１次元データ列にダウンスケール処理し、さらに、ダウンスケール処理された第１解像度の１次元データ列を、ダウンスケール処理前の解像度と一致するようにアップスケール処理して１次元データ列Ｓ１（ｘ）を取得し、
入力画像から取得した１次元データ列Ｓ０（ｘ）と、アップスケール処理により取得した１次元データ列Ｓ１（ｘ）との誤差を算出し、
算出した誤差に基づいて、周波数成分１次元データ列中に検出されたピークのいずれかに対応する周波数成分値に相当する解像度を、入力画像のアップスケール処理前の原画像の解像度と推定する。
【０２１３】
この解像度推定装置では、推定解像度取得部が、入力画像から取得した１次元データ列Ｓ０（ｘ）に対して、スペクトル解析部により取得された推定解像度の複数の候補のうちの値が最小の解像度にダウンスケールした後、アップスケールした１次元データ列Ｓ１（ｘ）を取得する。そして、この解像度推定装置では、推定解像度取得部により、１次元データ列Ｓ０（ｘ）、Ｓ１（ｘ）の間の誤差が算出され、算出された誤差に基づいて、スペクトル解析部により取得された推定解像度の複数の候補のうちの最も適切な推定解像度を特定する。
【０２１４】
したがって、この解像度推定装置では、入力画像の原画像（アップスケール処理前の画像）の解像度を、さらに、適切に決定（推定）することができる。
【０２１５】
第６の発明は、第１から第５のいずれかの発明であって、第１方向は、画像上の水平方向であり、第２方向は、画像上の垂直方向である。
【０２１６】
これにより、この解像度推定装置では、第１方向を画像上の水平方向とし、第２方向を画像上の垂直方向として処理を行うことができ、入力画像の原画像（アップスケール処理前の画像）の水平解像度を、適切に決定（推定）することができる。
【０２１７】
第７の発明は、第１から第５のいずれかの発明であって、第１方向は、画像上の垂直方向であり、第２方向は、画像上の水平方向である。
【０２１８】
これにより、この解像度推定装置では、第１方向を画像上の垂直方向とし、第２方向を画像上の水平方向として処理を行うことができ、入力画像の原画像（アップスケール処理前の画像）の垂直解像度を、適切に決定（推定）することができる。
【産業上の利用可能性】
【０２１９】
本発明は、入力される画像信号（映像信号）がどのようなものであっても、原画像（原映像）の解像度を適切に推定することができる解像度推定装置を実現することができる。したがって、本発明は、映像関連産業分野において、有用であり、当該分野において実施することができる。
【符号の説明】
【０２２０】
１０００、１０００Ａ、１０００Ｂ  解像度推定装置
１、１Ａ  近接度取得部
２、２Ａ  累積加算部
３  周波数変換部
４、４Ａ  スペクトル解析部
４１  スペクトル検出部
４２、４２Ａ  推定解像度取得部
【図１】
2015098436.tif 000004
【図２】
2015098436.tif 000005
【図４】
2015098436.tif 000006
【図５】
2015098436.tif 000007
【図７】
2015098436.tif 000008
【図８】
2015098436.tif 000009
【図９】
2015098436.tif 000010
【図１０】
2015098436.tif 000011
【図１１】
2015098436.tif 000012
【図１２】
2015098436.tif 000013
【図１３】
2015098436.tif 000014
【図３】
2015098436.tif 000015
【図６】
2015098436.tif 000016
【手続補正書】
【提出日】平成28年7月1日(2016.7.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
しかしながら、上記周波数解析を用いてアップスケール倍率を推定する方法では、アップスケール倍率の推定の精度は、表示するコンテンツに大きく左右される。また、アップスケールの方式によっては、正しくアップスケール倍率を推定することができない。例えば、アップスケールの方式によっては、低解像度の画像をアップスケールした画像を周波数解析すると、折り返し成分（エイリアス成分）が高周波数領域に大きな電力で分布することがあり、当該折り返し成分を高周波成分と誤判定し、処理対象の画像を高解像度画像であると誤判定することがある。このような場合、画像信号を直接周波数解析する方法を用いてアップスケール倍率を推定する方法では、正しくアップスケール倍率を推定することができない。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
【図１】第１実施形態に係る解像度推定装置１０００の概略構成図。
【図２】第１実施形態に係る解像度推定装置１０００をハードウェアで構成する場合の概略構成図。
【図３】アップスケール処理を説明するための図。
【図４】直線補間の場合における画素の関係を説明するための図。
【図５】アップスケール処理を、（１）直線補間法（Ｌｉｎｅａｒ法）、（２）Ｂｉｃｕｂｉｃ法、（３）Ｌａｎｃｚｏｓ３法、および（４）Ｌａｎｃｚｏｓ４法により実行した場合のピーク画素のズレ量（座標位置の差）Δｘと、頻度とを示すグラフ。
【図６】入力画像Ｉｍｇ４と、入力画像Ｉｍｇ４から取得した近接度画像Ｉｍｇ５と、座標位置と累積加算値との関係を示すグラフとを示す図。
【図７】図６の近接度値の累積加算値のデータ列ｓ０〜ｓ５１１が、フーリエ変換され、周波数成分値（各周波数成分のスペクトル値のデータ列）ｆ０〜ｆ５１１に変換される様子を示す図。
【図８】周波数変換部３により取得された周波数スペクトルを示す図。
【図９】第１実施形態の第１変形例に係る解像度推定装置１０００Ａの概略構成図。
【図１０】第１実施形態の第１変形例に係る解像度推定装置１０００Ａの推定解像度取得部４２Ａの概略構成図。
【図１１】第１実施形態の第２変形例に係る解像度推定装置１０００Ｂの概略構成図。
【図１２】第１実施形態の第２変形例に係る解像度推定装置１０００Ｂをハードウェアで構成する場合の概略構成図。
【図１３】第２実施形態に係る解像度推定方法のフローチャート。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
近接度取得部１は、入力画像（映像）Ｄｉｎを入力とし、注目画素（処理対象画素）の画素値と、当該注目画素に隣接する画素の画素値との関係に基づいて、注目画素の近接度（推定近接度）を取得する。なお、近接度取得部１は、入力画像（映像）Ｄｉｎの同期信号（水平同期信号、または、垂直同期信号）Ｓｙｎｃを入力するものであってもよい。図２では、同期信号Ｓｙｎｃは、入力画像（映像）Ｄｉｎの水平同期信号であるものとして、図示している。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
累積加算部２は、近接度取得部１から出力される近接度を示す値（信号）を入力する。累積加算部２は、入力された近接度を示す値（以下、「近接度値」という）を、入力画像Ｄｉｎの２次元画像領域上で規定される水平座標ごとに累積加算する（詳細については、後述）。そして、累積加算部２は、上記処理に取得した、水平座標ごとにの近接度の累積加算値を周波数変換部３に出力する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
近接度算出部１２では、入力された入力画像（映像）Ｄｉｎから、近接度値Ｑが算出される。具体的には、近接度算出部１２では、（１）Ｄフリップフロップ１２１からの出力である画像データＤｃ（注目画素の画像データＤＣ）と、（２）画像信号Ｄｉｎにより形成される画像上において、注目画素の水平方向左隣の画素（画像データＤｃの１クロック前に入力された画像データ）の画像データＤｐ（Ｄフリップフロップ１２２の出力である画像データＤｐ）と、（３）注目画素の水平方向右隣の画素（画像データＤｃの１クロック後に入力された画像データ）の画像データＤｎ（＝画像データＤｉｎ）の水平方向に連続する３つの画素の画像データを用いて、近接度値Ｑが算出される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
（方法Ａ）：
（Ａ１）３つの画素の画像データＤｎ、Ｄｃ、Ｄｐのうち、画像データＤｃが最大値または最小値をとる場合、近接度算出部１２は、近接度値Ｑを、
Ｑ＝１
とする。
（Ａ２）上記（Ａ１）以外の場合、近接度算出部１２は、近接度値Ｑを、
Ｑ＝０
とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
（方法Ｂ）：
（Ｂ１）３つの画素の画像データＤｎ、Ｄｃ、Ｄｐのうち、画像データＤｃが最大値または最小値をとる場合、近接度算出部１２は、近接度値Ｑを、
Ｑ＝１
とする。
（Ｂ２）３つの画素の画像データＤｎ、Ｄｃ、Ｄｐのうち、画像データＤｃおよびＤｐが最大値または最小値をとる、または、画像データＤｃおよびＤｎが最大値または最小値をとる場合、つまり、画像データＤｃが最大値または最小値をとるが、画像データＤｐおよびＤｎのいずれか一方が、画像データＤｃと同じ値である場合、近接度算出部１２は、近接度値Ｑを、
Ｑ＝０．５
とする。
（Ｂ３）上記（Ｂ１）、（Ｂ２）以外の場合、近接度算出部１２は、近接度値Ｑを、
Ｑ＝０
とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
座標位置ｘ＝ｋ（０≦ｋ≦５１１）である場合、第（ｋ＋１）累積加算処理部により、近接度算出部１２から出力される近接度値Ｑが累積加算される。そして、この処理が１枚の画像分（例えば、１フレーム画像分）だけ実行され、取得された累積加算値ｓ０〜ｓ５１１（ｎ＝５１１の場合）が、周波数変換部３に出力される。なお、上記累積加算処理は、１枚の画像分（例えば、１フレーム画像分）の画像データに対して実行された後、スペクトル解析部４から出力されるリセット信号Ｒｓｔにより、各累積加算処理部の累積加算値は、「０」にリセットされる。つまり、各累積加算処理部の第２セレクタ２０４〜２ｎ４にリセット信号Ｒｓｔ（信号値「１」）が入力されることにより、累積加算値が「０」にリセットされる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【０１０３】
この一例について、図８を用いて説明する。図８は、周波数変換部３により取得された周波数領域のデータ列ｆ０〜ｆ５１１であり、水平解像度が１９２０本に相当する場合を示している。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
つまり、解像度推定装置１０００では、サンプリング位置（インターポーレート画像の画素位置）の位置的な近さを表している近接度値を、（垂直方向に）累積加算することで、近接度値のサンプル数を増やし、さらに、近接度値の累積加算値の時系列のデータ列を周波数変換して取得した周波数領域のデータ列から、近接度値が高い画素の周期性を適切に検出することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
図１０は、第１実施形態の第１変形例に係る解像度推定装置１０００Ａの推定解像度取得部４２Ａの概略構成図である。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１５３
【補正方法】変更
【補正の内容】
【０１５３】
以上のように構成された本変形例の解像度推定装置１０００Ｂは、第１実施形態の解像度推定装置１０００とは、異なり、画像上の垂直方向に連続する３つの画素から、近接度値Ｑを算出し、画像上の水平方向に、近接度値Ｑを累積加算する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１５４
【補正方法】変更
【補正の内容】
【０１５４】
つまり、第１実施形態の解像度推定装置１０００が、画像上の水平方向において、近接度値Ｑを算出し、画像上の垂直方向に近接度値Ｑを累積加算していたのに対し、本変形例の解像度推定装置１０００Ｂでは、画像上の垂直方向において、近接度値Ｑを算出し、画像上の水平方向に近接度値Ｑを累積加算する。この点が、本変形例の解像度推定装置１０００Ｂが、第１実施形態の解像度推定装置１０００と相違する点である。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１６２
【補正方法】変更
【補正の内容】
【０１６２】
（Ｓ１）：
ステップＳ１では、累積加算部２により保持される画像上の水平座標ｘごとに用意された水平累積加算値用配列Ｓｈ［］および累積加算部２により保持される画像上の垂直座標ｙごとに用意された垂直累積加算値用配列Ｓｖ［］が、リセットされ、全ての配列要素に「０」がセットされる。また、ステップＳ１では、画像上の水平座標値ｘおよび垂直座標値ｙが、ともに「０」にセットされる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１６８
【補正方法】変更
【補正の内容】
【０１６８】
（Ｓ５）：
ステップＳ５では、累積加算部２により、近接度値Ｑｖの画像の水平方向への累積加算処理が実行される。すなわち、累積加算部２は、
Ｓｖ［ｙ］＝Ｓｖ［ｙ］＋Ｑｖ
に相当する処理を実行する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１７０
【補正方法】変更
【補正の内容】
【０１７０】
また、ステップＳ７では、水平座標値ｘが、水平方向の最大値Ｈ＿ＳＩＺＥ（水平方向の画素数）以上であるか否かを判定し、判定結果が「Ｙｅｓ」である場合、処理をステップＳ８に進め、一方、判定結果が「Ｎｏ」である場合、処理をステップＳ２に戻す。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１７２
【補正方法】変更
【補正の内容】
【０１７２】
また、ステップＳ９では、垂直座標値ｙが、垂直方向の最大値Ｖ＿ＳＩＺＥ（垂直方向の画素数）以上であるか否かを判定し、判定結果が「Ｙｅｓ」である場合、処理をステップＳ１０に進め、一方、判定結果が「Ｎｏ」である場合、処理をステップＳ２に戻す。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１８５
【補正方法】変更
【補正の内容】
【０１８５】
なお、上記実施形態に係る解像度推定装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。また、タイミング調整を行うための遅延器等についても図示を省略している。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１９７
【補正方法】変更
【補正の内容】
【０１９７】
つまり、この解像度推定装置では、サンプリング位置（インターポーレート画像の画素位置）の位置的な近さを表している推定近接度値を、第２方向に（例えば、垂直方向に）累積加算することで、推定近接度値のサンプル数を増やし、さらに、推定近接度値の累積加算値の時系列のデータ列を周波数変換して取得した周波数領域のデータ列から、推定近接度値が高い画素の周期性を適切に検出することができる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０２０６
【補正方法】変更
【補正の内容】
【０２０６】
つまり、この解像度推定装置では、サンプリング位置（インターポーレート画像の画素位置）の位置的な近さを表している近接度値を、第２方向に（例えば、垂直方向に）累積加算することで、近接度値のサンプル数を増やし、さらに、近接度値の累積加算値の時系列のデータ列を周波数変換して取得した周波数領域のデータ列から、近接度値が高い画素の周期性を適切に検出することができる。
【国際調査報告】
2015098436.tif 000017
2015098436.tif 000018