(57)【要約】      （修正有）【課題】高精度なアップサンプルデータを高速に作成する。【解決手段】アップサンプル処理装置１は、第２サンプルレートより高レートの第３サンプルレートのデータを含む第１階層の複数の学習用サブセットについて、第２サンプルレートから第３サンプルレートにアップサンプルする第１フィルタ及び第２サンプルレートよりも低レートの第１サンプルレートから第２サンプルレートにアップサンプルする第２フィルタを取得する第１階層フィルタ取得部と、第２サンプルレートの入力データから第１サンプルレートの縮小データを作成する縮小データ作成部と、各第２フィルタを用いて、縮小データをアップサンプルして第２サンプルレートの候補データを作成する候補データ作成部と、候補データと入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、第２サンプルレートの入力データをアップサンプルするアップサンプル処理部とを備える。【選択図】図１
2019074892.tif 000002
【特許請求の範囲】
【請求項１】
１次元又は２次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータについて、
第２サンプルレートの入力データをアップサンプルして、第３サンプルレートの出力データを得るためのアップサンプル装置であって、
第３サンプルレートのデータを含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第２サンプルレートのデータを第３サンプルレートのデータにアップサンプルするための第１フィルタと、
前記第２サンプルレートのデータをダウンサンプルした第１サンプルレートのデータを前記第２サンプルレートにアップサンプルするための第２フィルタを取得する第１階層フィルタ取得部と、
前記第１階層フィルタ取得部が取得した各前記第２フィルタを用いて、前記第１サンプルレートのデータをアップサンプルして第２サンプルレートの候補データを作成する候補データ作成部と、
前記候補データ作成部が作成した前記候補データと前記入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記入力データをアップサンプルすることにより、第３サンプルレートの出力データを作成する出力用アップサンプル部と
を備えることを特徴とする、アップサンプル装置。
【請求項２】
前記空間は、３次元の空間であることを特徴とする、請求項１に記載のアップサンプル装置。
【請求項３】
前記差分が最小となる前記第２フィルタを機械学習するのに用いた前記第１階層の学習用サブセットのサブセットである第２階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された第１フィルタおよび第２フィルタを取得する第２階層フィルタ取得部を備え、
前記候補データ作成部は、前記第２階層フィルタ取得部が取得した前記第２階層の各前記第２フィルタを用いて、前記第１サンプルレートのデータをアップサンプルして前記候補データを作成し、
前記出力用アップサンプル部は、前記候補データ作成部が前記第２階層の前記第２フィルタを用いて作成した前記候補データと前記入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記入力データをアップサンプルすることにより、第３サンプルレートの出力データを作成することを特徴とする、請求項１又は２に記載のアップサンプル装置。
【請求項４】
コンピュータを請求項１〜３のいずれか１項に記載のアップサンプル装置として動作させることを特徴とする、コンピュータプログラム。
【請求項５】
請求項１〜３のいずれか１項に記載のアップサンプル装置又は請求項４に記載のコンピュータプログラムに向けて前記入力データを送信し、前記出力データを受信して利用することを特徴とする、コンピュータシステム。
【請求項６】
請求項１〜３のいずれか１項に記載のアップサンプル装置又は請求項４に記載のコンピュータプログラムに向けて前記入力データを送信する機器であって、
テレビジョン機器、カメラ、計測装置、スマートフォン、ゲーム機器、オーディオ機器、その他の機器であることを特徴とする、機器。
【請求項７】
１次元又は２次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータについて、
第２サンプルレートの入力データをアップサンプルして、第３サンプルレートの出力データを得るためのアップサンプル方法であって、
第３サンプルレートのデータを含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第２サンプルレートのデータを第３サンプルレートのデータにアップサンプルするための第１フィルタを取得するステップと、
前記第２サンプルレートのデータをダウンサンプルした第１サンプルレートのデータを前記第２サンプルレートにアップサンプルするための第２フィルタを取得するステップと、
前記第１階層フィルタ取得部が取得した各前記第２フィルタを用いて、前記第１サンプルレートのデータをアップサンプルして第２サンプルレートの候補データを作成するステップと、
前記候補データと前記入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記入力データをアップサンプルすることにより、第３サンプルレートの出力データを作成するステップと
を備えることを特徴とする、アップサンプル方法。
【請求項８】
前記差分が最小となる前記第２フィルタを機械学習するのに用いた前記第１階層の学習用サブセットのサブセットである第２階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された第１フィルタおよび第２フィルタを取得するステップをさらに備え、
前記候補データ作成するステップは、前記第２フィルタを取得するステップにおいて取得された前記第２階層の各前記第２フィルタを用いて、前記第１サンプルレートのデータをアップサンプルして前記候補データを作成し、
前記第３サンプルレートの出力データを作成するステップは、前記候補データ作成部が前記第２階層の前記第２フィルタを用いて作成した前記候補データと前記入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記入力データをアップサンプルすることにより、第３サンプルレートの出力データを作成することを特徴とする、請求項７に記載のアップサンプル方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力データにアップサンプル処理を施すアップサンプル装置、該アップサンプル装置を実現するコンピュータプログラム、該アップサンプル装置を活用するコンピュータシステム、該アップサンプル装置を活用する機器、及び該アップサンプル装置に用いられるアップサンプル方法に関する。
【背景技術】
【０００２】
画像、音響、その他のデータを高品質にするために、単位尺度当たりのサンプル数を増やすアップサンプル処理が行われる。特に、近年、入力画像に超解像度処理を施して、高解像度化する超解像度処理の技術が実用化されている（例えば、特許文献１参照）。
【０００３】
アップサンプル処理の手法としては、入力データを補間し必要に応じて変形するが、いかなる補間、変形を行うべきかを入力データと出力データとから学習したフィルタを用いることが考えられる。フィルタの例として、超解像度処理においては、機械学習済みの畳み込みニューラルネットワーク（Convolutional Neural Network：以下、「ＣＮＮ」という）に入力画像を入力し、当該入力画像に対して超解像度処理を施して、高解像度化された出力画像を出力する方法が知られている。このＣＮＮは、オリジナル画像と、当該オリジナル画像の縮小画像とに基づいて、縮小画像を入力とし、オリジナル画像を出力として各層におけるニューラルネットの重みおよびバイアスを機械学習することにより構成される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１３−５３２８７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
データが画像であるとすると、画像には人物写真、風景写真、イラストなど様々な種類が含まれる。例えば、イラストはエッジ成分を多く含むため強い高周波成分を含むのに対し、風景画像はすべての周波数成分を満遍なく含むなど、画像の種類によって特性が異なる。
【０００６】
また、データが音響であるとすると、音響には人間の声、楽器（例えばバイオリン）を演奏した音楽、スポーツ（例えば野球）における録音など様々な種類が含まれる。例えば、人間の声は発声の制約から強い高周波成分を含まないのに対し、バイオリンの演奏では弦の倍音としての高周波成分を含むなど、音響の種類によって特性が異なる。
【０００７】
しかしながら、これらのデータの特性を無視して、１つのフィルタ（以下、フィルタを「ＣＮＮ」とする。ＣＮＮ以外のもの、例えば補間に用いるパラメータの最小二乗推定結果に基づく処理、であるとしても同様である。）を用いてアップサンプルしたのでは、満足の行く結果が得られない場合がある。
【０００８】
例えば、画像について、低周波成分を多く含む画像を多く用いて機械学習したＣＮＮにより高周波成分を多く含む画像を超解像度処理した場合には、高周波成分の再現性が損なわれることが考えられる。また、高周波成分を多く含む画像を多く用いて機械学習したＣＮＮにより低周波成分を多く含む画像を超解像度処理した場合には、高周波ノイズが発生したりすることが考えられる。
【０００９】
また、音響については、アップサンプルは、低音域に影響せず、必然的に高音域を強調又は非強調することとなるが、高音域をあまり強調すべきでない音響（例えばバス又はバリトンの歌手の歌唱）を多く用いて機械学習したＣＮＮにより高音域を強調すべき音響（例えばバイオリンの演奏）をアップサンプル処理した場合には、高音が伸びずに音色が豊かにならないことが考えられる。また、高音域を強調すべき音響を多く用いて機械学習したＣＮＮにより、高音域をあまり強調すべきでない音響をアップサンプル処理した場合には、強調された高音により不自然な音色となってしまうことが考えられる。
【００１０】
そのうえ、複数のＣＮＮのプリセットの中からユーザが最適なものを選択するのは一般的に困難である。このため、従来、画像の超解像度処理においては、上述のように多くの種類の学習用画像を利用してＣＮＮを作成せざるを得なかった。多くの種類の学習用画像を利用する場合には、学習用画像の枚数が膨大となるため、機械学習に時間を要し、ＣＮＮの構成も複雑なものとなる。画像以外のデータについても同様と考えられる。
【００１１】
本発明はこのような事情に鑑みてなされたものであり、高精度なアップサンプルデータを高速に作成することのできるアップサンプル処理装置、機器、コンピュータプログラム及びアップサンプル方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明の一形態のアップサンプル装置は、１次元又は２次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータについて、
第２サンプルレートの入力データをアップサンプルして、第３サンプルレートの出力データを得るためのアップサンプル装置であって、
第３サンプルレートのデータを含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第２サンプルレートのデータを第３サンプルレートのデータにアップサンプルするための第１フィルタと、
前記第２サンプルレートのデータをダウンサンプルした第１サンプルレートのデータを前記第２サンプルレートにアップサンプルするための第２フィルタを取得する第１階層フィルタ取得部と、
前記第１階層フィルタ取得部が取得した各前記第２フィルタを用いて、前記第１サンプルレートのデータをアップサンプルして第２サンプルレートの候補データを作成する候補データ作成部と、
前記候補データ作成部が作成した前記候補データと前記入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記入力データをアップサンプルすることにより、第３サンプルレートの出力データを作成する出力用アップサンプル部と
を備える。
【００１３】
この構成によると、第２サンプルレートの候補データと第２サンプルレートの入力データとの差分が最小となる第２フィルタを複数の第２フィルタの中から選択することができる。また、選択した第２フィルタに対応する第１フィルタを用いて、入力データをアップサンプルすることができる。第２フィルタは、第１フィルタと同じ学習用サブセットを用いて機械学習されているため、第１フィルタと同様の性質を有し、かつ、第２フィルタが対象とする入力データのサンプルレートは第１フィルタが対象とする入力データのサンプルレートよりも小さい。このため、入力データに最適な性質を有する第２フィルタを高速に選択することができ、選択した第２フィルタに対応した第１フィルタを用いて入力データにアップサンプル処理を実行することで、高精度なアップサンプルデータ（出力データ）を高速に作成することができる。なお、「アップサンプル装置」には、当然に「超解像度処理装置」が含まれる。
【００１４】
本発明のある形態のアップサンプル装置は、３次元の空間に対する値をアップサンプルする。
【００１５】
この構成によると、動画データ、ＣＴ画像データ、その他の３次元の空間に係るデータに対してアップサンプルを行うことができる。
【００１６】
本発明の好ましいある形態のアップサンプル装置は、
前記差分が最小となる前記第２フィルタを機械学習するのに用いた前記第１階層の学習用サブセットのサブセットである第２階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された第１フィルタおよび第２フィルタを取得する第２階層フィルタ取得部を備え、
前記候補データ作成部は、前記第２階層フィルタ取得部が取得した前記第２階層の各前記第２フィルタを用いて、前記第１サンプルレートのデータをアップサンプルして前記候補データを作成し、
前記出力用アップサンプル部は、前記候補データ作成部が前記第２階層の前記第２フィルタを用いて作成した前記候補データと前記入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記入力データをアップサンプルすることにより、第３サンプルレートの出力データを作成する。
【００１７】
この構成によると、第１階層において第２フィルタを選択し、選択した第２フィルタに基づいて、さらに、第２階層における第２フィルタを選択することができる。また、選択した第２フィルタに対応する第１フィルタを用いて、入力データをアップサンプル処理することができる。このように、第１フィルタおよび第２フィルタを階層構造化することができるため、効率的に第２フィルタおよび該第２フィルタに対応する第１フィルタを選択することができる。これにより、高精度な出力データを高速に作成することができる。
【００１８】
本発明のコンピュータプログラムは、
コンピュータを本発明のアップサンプル装置として動作させる。
【００１９】
この構成によると、本発明のアップサンプル装置がコンピュータプログラムとして実装される。
【００２０】
本発明のある形態のコンピュータシステムは、
本発明のアップサンプル装置又はコンピュータプログラムに向けて前記入力データを送信し、前記出力データを受信して利用することを特徴とする。
【００２１】
この構成によると、コンピュータプログラムによって処理されたデータに対するアップサンプル処理が当然に行えるとともに、コンピュータシステムがアップサンプルを必要とするときに本発明のアップサンプル装置又はコンピュータプログラムを活用することができる。本発明のアップサンプル装置又はコンピュータプログラムを活用したコンピュータシステムを構築することができる。
【００２２】
本発明の機器は、
本発明のアップサンプル装置又はコンピュータプログラムに向けて前記入力データを送信する機器であって、テレビジョン機器、カメラ、計測装置、スマートフォン、ゲーム機器、オーディオ機器、その他の機器である。
【００２３】
この構成によると、種種の機器が、本発明のアップサンプル装置を活用して動作する。
【００２４】
本発明のアップサンプル方法は、
１次元又は２次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータについて、
アップサンプル装置を機能させて、第２サンプルレートの入力データをアップサンプルして、第３サンプルレートの出力データを得るためのアップサンプル方法であって、
第３サンプルレートのデータを含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第２サンプルレートのデータを第３サンプルレートのデータにアップサンプルするための第１フィルタを取得するステップと、
前記第２サンプルレートのデータをダウンサンプルした第１サンプルレートのデータを前記第２サンプルレートにアップサンプルするための第２フィルタを取得するステップと、
前記第１階層フィルタ取得部が取得した各前記第２フィルタを用いて、前記第１サンプルレートのデータをアップサンプルして第２サンプルレートの候補データを作成するステップと、
前記候補データと前記入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記入力データをアップサンプルすることにより、第３サンプルレートの出力データを作成するステップと
を備える。
【００２５】
この構成によると、上述のアップサンプル装置の処理手順を方法として活用し、必ずしも装置でない（例えば半導体集積回路）ものとして実装することができる。すなわち、第２サンプルレートの候補データと第２サンプルレートの入力データとの差分が最小となる第２フィルタを複数の第２フィルタの中から選択することができる。また、選択した第２フィルタに対応する第１フィルタを用いて、入力データをアップサンプルすることができる。第２フィルタは、第１フィルタと同じ学習用サブセットを用いて機械学習されているため、第１フィルタと同様の性質を有し、かつ、第２フィルタが対象とする入力データサンプルレートは第１フィルタが対象とする入力データサンプルレートよりも小さい。このため、入力データに最適な性質を有する第２フィルタを高速に選択することができ、選択した第２フィルタに対応した第１フィルタを用いて入力データにアップサンプル処理を実行することで、高精度なアップサンプルデータ（出力データ）を高速に作成することができる。なお、「アップサンプル方法」には、当然に「超解像度処理方法」が含まれる。
【００２６】
本発明のアップサンプル方法は、
前記差分が最小となる前記第２フィルタを機械学習するのに用いた前記第１階層の学習用サブセットのサブセットである第２階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された第１フィルタおよび第２フィルタを取得するステップをさらに備え、
前記候補データ作成するステップは、前記第２フィルタを取得するステップにおいて取得された前記第２階層の各前記第２フィルタを用いて、前記第１サンプルレートのデータをアップサンプルして前記候補データを作成し、
前記第３サンプルレートの出力データを作成するステップは、前記候補データ作成部が前記第２階層の前記第２フィルタを用いて作成した前記候補データと前記入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記入力データをアップサンプルすることにより、第３サンプルレートの出力データを作成する。
【００２７】
この構成によると、第１階層において第２フィルタを選択し、選択した第２フィルタに基づいて、さらに、第２階層における第２フィルタを選択することができる。また、選択した第２フィルタに対応する第１フィルタを用いて、入力データをアップサンプル処理することができる。このように、第１フィルタおよび第２フィルタを階層構造化することができるため、効率的に第２フィルタおよび該第２フィルタに対応する第１フィルタを選択することができる。これにより、より高精度な出力データをより高速に作成することができる。
【発明の効果】
【００２８】
本発明のアップサンプル装置、コンピュータプログラム及びアップサンプル方法によれば、高精度な出力データを高速に作成することができる。
【００２９】
本発明のコンピュータシステム及び機器によれば、アップサンプルデータ（出力データ）を活用することができる。
【図面の簡単な説明】
【００３０】
【図１】図１は、アップサンプル処理装置の構成を示すブロック図である。
【図２】図２は、データのサイズおよびフィルタを説明するための図である。
【図３】図３は、階層構造化された学習用セットおよびフィルタの一例を示す図である。
【図４】図４は、アップサンプル処理装置が実行するフィルタ作成処理の処理手順を示すフローチャートである。
【図５】図５は、アップサンプル処理装置が実行する入力データのアップサンプル処理の処理手順を示すフローチャートである。
【図６】図６は、アップサンプル処理装置を活用するコンピュータシステム及び機器示す図である。
【発明を実施するための形態】
【００３１】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【００３２】
図１は、本発明の実施の形態に係るアップサンプル処理装置の構成を示すブロック図である。アップサンプル処理装置１は、入力データに対してアップサンプル処理を施し、入力データよりもサンプルレートの高いデータを作成する装置であり、入力データ取得部１０と、縮小データ作成部１１と、機械学習部１２と、第１階層フィルタ取得部１３と、候補データ作成部１４と、第２階層フィルタ取得部１５と、アップサンプル処理部１６と、記憶装置１７とを備える。以下、アップサンプル処理装置１の行う処理について説明する。
【００３３】
入力データ取得部１０は、アップサンプル処理の対象となる入力データを取得する。入力データ取得部１０は、例えば、記憶装置１７に記憶されているデータの中からユーザがキーボード等を用いて選択したデータを、記憶装置１７から読み出すことにより、当該データを入力データとして取得してもよい。また、入力データ取得部１０は、ネットワーク等を介してデータをダウンロードすることにより、当該データを入力データとして取得してもよい。
【００３４】
縮小データ作成部１１は、入力データ取得部１０が取得した入力データをダウンサンプルすることにより縮小データを作成する。ここで、ダウンサンプルは任意の方法で、データの性質に応じたものとすることができる。整数比のダウンサンプリングであれば単純に間引く（データの一部を削除する）こととしてもよく、非整数比のダウンサンプリングであればデータ間で補間（例えば線形補間）を行ってもよく、これら以外の方法を用いてもよい（例えば音響データであればダウンサンプリング後のサンプリング周波数以下の周波数特性をダウンサンプル前のデータと同一にしてもよい）。
【００３５】
なお、縮小データ作成部１１は、入力データ以外にも、アップサンプル処理のためのフィルタを機械学習するために用意された学習用データもダウンサンプルする。
【００３６】
記憶装置１７には、予め第３サンプルレートの複数の学習用データを含む学習用セットが記憶されているものとする。また、学習用セットには、様々な種類の学習用データが含まれるものとする。縮小データ作成部１１は、記憶装置１７から学習用セットを読み出し、学習用セットに含まれる各学習用データを、第２サンプルレートにダウンサンプルした縮小データと、第１サンプルレートにダウンサンプルした縮小データとを作成する。
【００３７】
以下、学習用データから作成した第２サンプルレートの縮小データおよび第２サンプルレートの縮小データのことも「学習用データ」と呼ぶ。また、学習用セットには、複数の第３サンプルレートの学習用画像のみならず、これらから作成した第２サンプルレートの学習用画像および第１サンプルレートの学習用画像が含まれるものとする。
【００３８】
機械学習部１２は、学習用セットに含まれるデータを用いて、アップサンプル処理を行うためのフィルタを機械学習により作成する。なお、機械学習部１２は、学習用セットに含まれるデータを階層構造化して、各階層において、フィルタを作成する。
【００３９】
図３は、階層構造化された学習用セットおよびフィルタの一例を示す図である。つまり、機械学習部１２は、以下のような手順により、階層構造化された学習用セットおよびフィルタを作成する。
【００４０】
まず、機械学習部１２は、学習用セットに含まれる第２サンプルレートの学習用データと、第３サンプルレートの学習用データとを用いて、第２サンプルレートのデータを第３サンプルレートのデータにアップサンプル処理するためのＣＮＮ（Convolutional Neural Network）を作成する。図２に示すように、第２サンプルレートのデータを第３サンプルレートのデータにアップサンプル処理するＣＮＮを、第１ＣＮＮまたは第１フィルタと言う。機械学習部１２は、第２サンプルレートの学習用データをＣＮＮの入力とし、第３サンプルレートの学習用データをＣＮＮの出力として、ＣＮＮの各層における重みおよびバイアスを機械学習することで、第１ＣＮＮを作成する。学習用セットを用いて作成した第１ＣＮＮを、図３に示すように第１ＣＮＮ０と言う。
【００４１】
なお、本実施の形態では、機械学習部１２は、アップサンプル処理するためのフィルタとしてＣＮＮを例に説明するが、フィルタはＣＮＮに限定されるものではなく、複数の学習用データから機械学習されるその他のフィルタに対しても本発明を適用することができる。
【００４２】
ＣＮＮ以外のフィルタとしては、例えば、移動平均、多項式近似等のパラメータを有する近似曲線を用い、そのパラメータの値を学習するものが考えられる。
【００４３】
次に、機械学習部１２は、第１ＣＮＮ０を用いて、学習用セットを３つのサブセット（学習用サブセット１〜３）に分類する。例えば、機械学習部１２は、第１ＣＮＮ０によりアップサンプル処理されたデータと、学習用データとの差分に基づいて、上記分類を行う。
【００４４】
具体的には、機械学習部１２は、学習用セットに含まれる第２サンプルレートの各学習用データを第１ＣＮＮ０に入力することにより、第３サンプルレートのデータを作成する。
【００４５】
次に、機械学習部１２は、第１ＣＮＮ０が作成した第３サンプルレートのデータと、上記第２サンプルレートの学習用データを作成するのに用いた第３サンプルレートの学習用データとの差分を算出する。データ間の差分は、例えば、個々のデータ値の差分の二乗和または絶対値和により求めることができる。なお、三乗和の絶対値、その他の基準を用いてもよい。
【００４６】
ここで、データ間の差分は、必ずしも個々のデータ値の差分に基づいて求めなくともよい。例えば、音響データであれば、適宜に窓掛け（例えばハニング窓）しフーリエ変換をした結果の周波数特性の差分に基づいて求めることが考えられる。要するに、データの使用目的に合わせてデータ間の差分を任意に定義してよい。
【００４７】
次に、機械学習部１２は、算出した差分に基づいて、第３サンプルレートの学習用データを３つのサブセットのいずれかに分類する。
【００４８】
例えば、機械学習部１２は、差分が第１閾値よりも大きい第３サンプルレートの学習用データを学習用サブセット１に分類する。また、機械学習部１２は、差分が第２閾値（ただし、第２閾値は第１閾値よりも小さい値）よりも大きいく、かつ第１閾値以下の第３サンプルレートの学習用データを学習用サブセット２に分類する。また、機械学習部１２は、差分が第２閾値以下の第３サンプルレートの学習用データを学習用サブセット３に分類する。なお、機械学習部１２は、第３サンプルレートの学習用データから縮小データ作成部１１が作成した第２サンプルレートの学習用データおよび第１サンプルレートの学習用データも、第３サンプルレートの学習用データと同じ学習用サブセットに分類する。これにより、図３に示すように、学習用セットが学習用サブセット１〜３に分類される。
【００４９】
上記の差分は、アップサンプル処理されたデータの誤差を示しているため、学習用セットが誤差に基づいて、複数の学習用サブセットに分類されることになる。
【００５０】
機械学習部１２は、学習用サブセット１〜３のそれぞれを用いて、第１ＣＮＮと、第１サンプルレートのデータを第２サンプルレートのデータにアップサンプル処理するＣＮＮ（第２ＣＮＮまたは第２フィルタと言う）を作成する。
【００５１】
例えば、機械学習部１２は、学習用サブセット１に含まれる第２サンプルレートの学習用データをＣＮＮの入力とし、学習用サブセット１に含まれる第３サンプルレートの学習用データをＣＮＮの出力として、ＣＮＮの各層における重みおよびバイアスを機械学習することで、第１ＣＮＮを作成する。
【００５２】
また、機械学習部１２は、学習用サブセット１に含まれる第１サンプルレートの学習用データをＣＮＮの入力とし、学習用サブセット１に含まれる第２サンプルレートの学習用データをＣＮＮの出力として、ＣＮＮの各層における重みおよびバイアスを機械学習することで、第２ＣＮＮを作成する。
【００５３】
機械学習部１２は、学習用サブセット２および３についても、同様に、第１ＣＮＮおよび第２ＣＮＮを作成する。
【００５４】
学習用サブセットｉから作成された第１ＣＮＮをおよび第２ＣＮＮを、それぞれ、第１ＣＮＮｉおよび第２ＣＮＮｉと記載する（ｉ＝１〜３）。
【００５５】
機械学習部１２は、学習用サブセット１〜３のそれぞれを、さらに、３つのサブセットに分類する。
【００５６】
例えば、機械学習部１２は、第１ＣＮＮ１を用いて、学習用サブセット１を３つのサブセット（学習用サブセット１−１〜１−３）に分類する。分類方法は、学習用セットの分類方法と分類の対象が異なる以外同様である。このため、その詳細な説明はここでは繰り返さない。
【００５７】
また、機械学習部１２は、学習用サブセット１−１〜１−３のそれぞれについて、第１ＣＮＮおよび第２ＣＮＮを作成する。ＣＮＮの作成方法は、学習用サブセット１を用いた第１ＣＮＮおよび第２ＣＮＮの作成方法と、利用する学習用サブセットが異なる以外同様である。このため、その詳細な説明はここでは繰り返さない。
【００５８】
機械学習部１２は、学習用サブセット２および３についても、学習用サブセットの分類処理および分類された学習用サブセットを用いたＣＮＮの作成処理を行う。
【００５９】
学習用サブセットｉを分類することにより得られる学習用サブセットを、学習用サブセットｉ−ｊと記載する（ｉ＝１〜３，ｊ＝１〜３）。また、学習用サブセットｉ−ｊから作成された第１ＣＮＮおよび第２ＣＮＮを、それぞれ、第１ＣＮＮｉ−ｊおよび第２ＣＮＮｉ−ｊと記載する。
【００６０】
機械学習部１２が実行する処理により、図３に示すような解像構造化された学習用セットおよびＣＮＮの分類木が作成される。学習用セットおよび第１ＣＮＮ０を第０階層とすると、第１階層には、学習用セットｉ、第１ＣＮＮｉおよび第２ＣＮＮｉが含まれる。また、第２階層には、学習用セットｉ−ｊ、第１ＣＮＮｉ−ｊおよび第２ＣＮＮｉ−ｊが含まれる。
【００６１】
以下に説明する第１階層フィルタ取得部１３〜アップサンプル処理部１６は、入力データをアップサンプル処理するための処理部である。
【００６２】
第１階層フィルタ取得部１３は、第１階層の学習用サブセット１〜３のそれぞれについて、第１ＣＮＮおよび第２ＣＮＮを取得する。
【００６３】
候補データ作成部１４は、第１階層フィルタ取得部１３が取得した第２ＣＮＮｉを用いて、入力データをダウンサンプルした第１サンプルレートの縮小データをアップサンプル処理し、第２サンプルレートのデータを作成する。作成した第２サンプルレートのデータを候補データと呼ぶ。つまり、候補データ作成部１４は、第１サンプルレートの縮小データを、第２ＣＮＮｉに入力することにより、３枚の第２サンプルレートの候補データを作成する。
【００６４】
第２階層フィルタ取得部１５は、第２階層の複数の学習用サブセットｉ−ｊの各々について、学習用サブセットｉ−ｊを用いて機械学習された第１ＣＮＮｉ−ｊおよび第２ＣＮＮｉ−ｊを取得する（ｉ＝１〜３，ｊ＝１〜３）。
【００６５】
候補データ作成部１４は、さらに、第２階層フィルタ取得部１５が取得した第２ＣＮＮｉ−ｊを用いて、入力データをダウンサンプルした第１サンプルレートの縮小データをアップサンプル処理し、第２サンプルレートのデータ（以下、「候補データ」という）を作成する。つまり、候補データ作成部１４は、第１サンプルレートの縮小データを、第２ＣＮＮｉ−ｊに入力することにより、第２サンプルレートの候補データを作成する。
【００６６】
アップサンプル処理部１６は、候補データ作成部１４が第２ＣＮＮｉから作成した３枚の第２サンプルレートの候補データのそれぞれと、第２サンプルレートの入力データとの差分を算出する。データ間の差分の算出方法については、上述した通りである。
【００６７】
アップサンプル処理部１６は、算出した差分が最小となる候補データを作成するに用いた第２ＣＮＮｍを特定し、特定した第２ＣＮＮｍを機械学習するに用いた学習用サブセットｍを特定する。
【００６８】
アップサンプル処理部１６は、特定した学習用サブセットｍのサブセットである学習用サブセットｍ−ｊ（ｊ＝１〜３）を特定する。例えば、ｍ＝１の場合には、学習用サブセット１−１〜１−３が特定される。
【００６９】
アップサンプル処理部１６は、さらに、学習用サブセットｍ−ｊ（ｊ＝１〜３）の第２ＣＮＮｍ−ｊを用いて作成された３枚の候補データの中から、第２サンプルレートの入力データとの差分が最小となる候補データを特定する。
【００７０】
アップサンプル処理部１６は、特定した候補データを作成するのに用いた第２ＣＮＮｍ−ｎに対応する第１ＣＮＮｍ−ｎを用いて、第２サンプルレートの入力データをアップサンプル処理することにより、第３サンプルレートのアップサンプルデータを作成する。
【００７１】
記憶装置１７は、データや各種データを記憶するための記憶装置であり、ＨＤＤ（Hard Disk Drive）、不揮発性メモリまたは揮発性メモリなどにより構成される。
次に、アップサンプル処理装置１が実行する処理の手順について説明する。
【００７２】
図４は、本発明の実施の形態に係るアップサンプル処理装置１が実行するフィルタ作成処理の処理手順を示すフローチャートである。
【００７３】
図４に示すように、縮小データ作成部１１は、記憶装置１７に記憶されている学習用セットに含まれる第３サンプルレートの各学習用データから、当該データを、縦および横それぞれ１／２にダウンサンプルした第２サンプルレートの学習用データと、縦および横それぞれ１／４にダウンサンプルした第１サンプルレートの学習用データとを作成する（Ｓ１）。
【００７４】
機械学習部１２は、学習用セットに含まれる第３サンプルレートの学習用データと第２サンプルレートの縮小データとに基づいて、機械学習により、第２サンプルレートのデータを第３サンプルレートのデータに変換するための第１フィルタ（第１ＣＮＮ０）を作成する（Ｓ２）。
【００７５】
機械学習部１２は、学習用セットに含まれる第２サンプルレートの各学習用データを第１ＣＮＮ０に入力することにより、第３サンプルレートのデータを作成する。次に、機械学習部１２は、第１ＣＮＮ０が作成した第３サンプルレートのデータと、上記第２サンプルレートの学習用データを作成するのに用いた第３サンプルレートの学習用データとの差分を算出する。機械学習部１２は、算出した差分に基づいて、第３サンプルレートの学習用データを３つの学習用サブセット１〜３のいずれかに分類する（Ｓ３）。
【００７６】
機械学習部１２は、学習用サブセットｉ（ｉ＝１〜３）を用いて、第１ＣＮＮｉと、第２ＣＮＮｉを作成する（Ｓ４）。機械学習部１２は、作成したＣＮＮを、記憶装置１７に記憶させる。なお、機械学習部１２は、学習用サブセットｉ（ｉ＝１〜３）を適宜交換しながら、機械学習を繰り返し実行することにより、各学習用サブセットとの誤差が小さくなるように第１ＣＮＮｉおよび第２ＣＮＮｉを作成してもよい。
【００７７】
機械学習部１２は、学習用サブセット１〜３のそれぞれについて、学習用サブセットｉ（ｉ＝１〜３）に含まれる第２サンプルレートの各学習用データを第１ＣＮＮｉに入力することにより、第３サンプルレートのデータを作成する。次に、機械学習部１２は、第１ＣＮＮｉが作成した第３サンプルレートのデータと、上記第２サンプルレートの学習用データを作成するのに用いた第３サンプルレートの学習用データとの差分を算出する。機械学習部１２は、算出した差分に基づいて、第３サンプルレートの学習用データを３つの学習用サブセットｉ−ｊ（ｊ＝１〜３）のいずれかに分類する（Ｓ５）。これにより、学習用サブセット１〜３の各々が、さらに、３つの学習用サブセットに分類される。
【００７８】
機械学習部１２は、学習用サブセットｉ−ｊ（ｉ＝１〜３，ｊ＝１〜３）を用いて、機械学習により、第１ＣＮＮｉ−ｊと、第２ＣＮＮｉ−ｊを作成する（Ｓ６）。機械学習部１２は、作成したＣＮＮを、記憶装置１７に記憶させる。なお、機械学習部１２は、学習用サブセットｉ−ｊ（ｉ＝１〜３，ｊ＝１〜３）を適宜交換しながら、機械学習を繰り返し実行することにより、各学習用サブセットとの誤差が小さくなるように第１ＣＮＮｉ−ｊおよび第２ＣＮＮｉ−ｊを作成してもよい。
【００７９】
図４に示したフィルタ作成処理により、図３に示したような階層構図化されたＣＮＮが作成される。
【００８０】
図５は、本発明の実施の形態に係るアップサンプル処理装置１が実行する入力データのアップサンプル処理の処理手順を示すフローチャートである。
【００８１】
図５に示すように、入力データ取得部１０は、アップサンプル処理の対象となる第２サンプルレートの入力データを取得する（Ｓ１１）。
【００８２】
縮小データ作成部１１は、入力データ取得部１０が取得した第２サンプルレートの入力データを縮小することにより第１サンプルレートの縮小データを作成する（Ｓ１２）。
【００８３】
第１階層フィルタ取得部１３は、図３に示した分類木の第１階層のフィルタを取得する（Ｓ１３）。つまり、第１階層フィルタ取得部１３は、第１ＣＮＮ１〜３と、第２ＣＮＮ１〜３とを、記憶装置１７から取得する。
【００８４】
候補データ作成部１４は、第２ＣＮＮ１〜３に、入力データをダウンサンプルした第１サンプルレートの縮小データを入力することにより、３枚の第２サンプルレートの候補データを作成する（Ｓ１４）。
【００８５】
アップサンプル処理部１６は、ステップＳ１４で作成された３枚の第２サンプルレートの候補データのそれぞれと、第２サンプルレートの入力データとの差分を算出する（Ｓ１５）。
【００８６】
アップサンプル処理部１６は、ステップＳ１５で算出した差分が最小となる候補データを作成するに用いた第２ＣＮＮｍを特定する（Ｓ１６）。例えば、差分が最小となる候補データを作成するのに用いが第２ＣＮＮが第２ＣＮＮ１であると特定される。
【００８７】
なお、第２ＣＮＮ１〜３への入力は、第１サンプルレートの縮小データに限定されるものではない。例えば、入力データから切り出した一部のデータを第２ＣＮＮ１〜３に入力してもよい。例えば、入力データが画像の場合には、等間隔に小領域を切り出すことにより該一部のデータを作成してもよいし、入力データの画素を等間隔に間引くことで該一部のデータを作成してもよい。また、入力データと同様の性質を有するであろうと想定される複数のデータの中から、一部のデータの一部分を切り出すことにより、該一部のデータを作成しても良い。例えば、入力データが動画データの一部である場合には、入力データと同じシーンの動画データの中から、一部のデータを取り出し、取り出した一部のデータから一部分を切り出しても良い。
【００８８】
また、該一部のデータに基づいて第２ＣＮＮ１〜３が作成する候補データと、該一部のデータとの差分から、第２ＣＮＮｍを上記と同様に特定してもよい。このような処理により、第２ＣＮＮｍを特定するために必要な時間を短縮することができる。
【００８９】
第２階層フィルタ取得部１５は、ステップＳ１６で特定された第１階層の第２ＣＮＮｍの下位の階層である第２階層のフィルタを取得する（Ｓ１７）。つまり、第２階層フィルタ取得部１５は、図３に示した分類木における第１ＣＮＮｍ−ｊと、第２ＣＮＮｍ−ｊとを、記憶装置１７から読み出す（ｊ＝１〜３）。例えば、第２階層フィルタ取得部１５は、第１ＣＮＮ１−１〜１−３と、第２ＣＮＮ１−１〜１−３とを、記憶装置１７から読み出す。
【００９０】
候補データ作成部１４は、第２ＣＮＮｍ−ｊ（ｊ＝１〜３）に、入力データをダウンサンプルした第１サンプルレートの縮小データを入力することにより、３枚の第２サンプルレートの候補データを作成する（Ｓ１８）。
【００９１】
アップサンプル処理部１６は、ステップＳ１８で作成された３枚の第２サンプルレートの候補データのそれぞれと、第２サンプルレートの入力データとの差分を算出する（Ｓ１９）。
【００９２】
アップサンプル処理部１６は、ステップＳ１９で算出した差分が最小となる候補データを作成するに用いた第２ＣＮＮｍ−ｎを特定する（Ｓ２０）。例えば、差分が最小となる候補データを作成するのに用いた第２ＣＮＮが第２ＣＮＮ１−２であると特定される。
【００９３】
なお、第２ＣＮＮｍ−ｊ（ｊ＝１〜３）への入力は、第１サンプルレートの縮小データに限定されるものではない。例えば、入力データから切り出した一部のデータを第２ＣＮＮｍ−ｊ（ｊ＝１〜３）に入力してもよい。例えば、入力データが画像の場合には、等間隔に小領域を切り出すことにより該一部のデータを作成してもよいし、入力データの画素を等間隔に間引くことで該一部のデータを作成してもよい。また、入力データと同様の性質を有するであろうと想定される複数のデータの中から、一部のデータの一部分を切り出すことにより、該一部のデータを作成しても良い。例えば、入力データが動画データの一部である場合には、入力データと同じシーンの動画データの中から、一部のデータを取り出し、取り出した一部のデータから一部分を切り出しても良い。
【００９４】
また、該一部のデータに基づいて第２ＣＮＮｍ−ｊ（ｊ＝１〜３）が作成する候補データと、該一部のデータとの差分から、第２ＣＮＮｍ−ｎを上記と同様に特定してもよい。このような処理により、第２ＣＮＮｍ−ｎを特定するために必要な時間を短縮することができる。
【００９５】
アップサンプル処理部１６は、ステップＳ２０で特定された第２階層の第２ＣＮＮｍ−ｎに対応する第１ＣＮＮｍ−ｎを用いて、第２サンプルレートの入力データをアップサンプル処理することにより、第３サンプルレートの超解像度データを作成する（Ｓ２１）。上記の例では第１ＣＮＮ１−２を用いて、アップサンプル処理が行われる。
【００９６】
以上説明したように、アップサンプル処理装置１の行う処理によると、第２サンプルレートの入力データをダウンサンプルした第１サンプルレートの縮小データをアップサンプル処理した時の誤差が最小となる第２ＣＮＮを、分類木を用いて探索することができる。第２ＣＮＮは、第１ＣＮＮと同様の性質を有し、かつ第２ＣＮＮが対象とする入力データのサンプルレートは第１ＣＮＮが対象とする入力データのサンプルレートよりも小さい。このため、第２ＣＮＮを効率的に探索することができる。また、探索された第２ＣＮＮに対応する第１ＣＮＮを用いて、入力データをアップサンプル処理することにより、誤差の少ない高精度なアップサンプルデータを作成することができる。
【００９７】
つまり、第１ＣＮＮと、該第１ＣＮＮとペアをなす第２ＣＮＮとは、サイズの異なる同一の学習用データを用いて機械学習が行われる。このため、第２ＣＮＮが精度よくアップサンプル処理することのできるデータは、該第２ＣＮＮとペアをなす第１ＣＮＮによっても、精度よくアップサンプル処理されることが期待できる。これにより、誤差が最小となる第２ＮＮとペアをなす第１ＣＮＮを選択し、選択した第１ＣＮＮを用いて入力データをアップサンプル処理することにより、入力データをアップサンプル処理した時の誤差が小さくなると期待できる。
【００９８】
また、第２ＣＮＮの構成を第１ＣＮＮの構成よりも小さくし、第２ＣＮＮを選択した後に、選択した第２ＣＮＮに対応する第１ＣＮＮを選択することとしているため、第１ＣＮＮの選択の処理速度を向上させることができる。ただし、第２ＣＮＮの構成は必ずしも第１ＣＮＮの構成よりも小さくなくてもよい。
【００９９】
なお、学習用セットおよび学習用サブセットを、それぞれ、３つの学習用サブセットに分類したが、分類する学習用サブセットの個数は３つに限定されるものではなく、２つ以上であればよい。入力データの性質に応じて設計する場よい。
【０１００】
また、図３に示したように、学習用サブセットの階層は２階層としたが、１階層であってもよいし、３階層以上あってもよい。
【０１０１】
また、上述の実施の形態では、アップサンプル処理されたデータと学習用データとの差分に基づいて、学習用セットおよび学習用サブセットを分類したが、分類の仕方はこれに限定されるものではない。例えば、データの種類（画像の場合にはイラスト、風景写真、人物写真の別等）が既知であれば、それをさらに考慮して分類を行ってもよい。
【０１０２】
また、第１ＣＮＮおよび第２ＣＮＮは、データの全体領域を入力として受け、アップサンプル処理を行うものとして説明したが、各ＣＮＮは、データを分割した複数のブロック領域をそれぞれ入力として受け、各ブロック領域をアップサンプル処理した後にマージする構成であってもよい。また、各ブロック領域は、隣接するブロック領域とオーバーラップしていてもよいし、ブロック領域間でサイズが異なっていてもよい。このように、ＣＮＮを構成することにより、学習用データの全体領域を入力とせずとも、一部の領域だけを利用してＣＮＮの学習を行うことが可能となる。
【０１０３】
アップサンプル処理装置１の行う処理は、装置の機能でなく、装置を機能させるための方法あるいは装置を離れた方法であると考えることもできる。
【０１０４】
これらの方法をコンピュータにより実現するコンピュータプログラムとして実装することも可能である。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１０５】
マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されてもよい。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、アップサンプル処理装置１は、その機能を達成する。
【０１０６】
さらに、上記の超解像度処理装置１を構成する構成要素の一部または全部は、アップサンプル処理装置１に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、ＬＳＩ（Large Scale Integration：大規模集積回路：複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩを含む）を含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０１０７】
さらに、上記のアップサンプル処理装置１を構成する構成要素の一部または全部は、１個のシステムＬＳＩから構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１０８】
（画像データの処理）
アップサンプル処理装置１が処理対象とするデータは、イラストや写真等の画像データとすることができる。データは縦方向及び横方向の２次元の空間に対するピクセル値（例えばＲＧＢの３つの値）である。このように、「データ」は１の数値（スカラー値）に限定されず、２以上の数値（ベクトル値）であってよい。
【０１０９】
例えば、入力データが２Ｋサイズ（１９２０×１０８０ピクセル：第２サンプルレート）の画像であり、これにアップサンプル処理を施して４Ｋサイズ（３８４０×２１６０ピクセル：第３サンプルレート）の画像を作成することができる。縮小データは、ＱＨＤ（Quarter High Definition）サイズ（９６０×５４０ピクセル：第１サンプルレート）とすることができる。ただし、アップサンプル処理装置１が対象とする画像のサイズはこれらに限定されるものではない。
【０１１０】
図２において、データのサイズおよびフィルタを説明したが、縮小データ、入力データ及び出力データを示す長方形を、上述の画像のサイズに合わせて示している。
【０１１１】
なお、入力画像のサイズは学習用セットに含まれる学習用画像と同じものとしているが、必ずしも両者のサイズは同じである必要はなく、学習用画像のサイズが入力画像のサイズと異なっていてもよい。
【０１１２】
（画像以外のデータ）
本発明の適用対象は、画像データに限定されるものではない。例えば、音響データは、時間の１次元の空間に対する音圧値である。また、動画データは、縦方向、横方向、及び時間の３次元に対するピクセル値である。これらのデータは、いずれも、アップサンプル／ダウンサンプルの処理ができ、アップサンプル処理装置１の入力データとなり、本発明のアップサンプル方法を適用することができる。
【０１１３】
同様に、ＭＲＩ（Magnetic Resonance Imaging）データやＣＴ（Computed Tomography）データなどの医療用のスキャンデータのような、測定データの分布図を処理対象とすることもできる。画像の場合と同様の処理が可能なためである。また、ベクトルの構造体や、ボクセル画像のような３次元構造体なども、処理対象とすることもできる。すなわち、アップサンプル／ダウンサンプルの処理ができるデータであれば、いずれのデータも、アップサンプル処理装置１の入力データとなり、本発明のアップサンプル方法を適用することができる。
【０１１４】
なお、２以上の次元の空間に対するデータについては、第１サンプルレートと第２サンプルレートとの比及び第２サンプルレートと第３サンプルレートとの比が、空間を定義する各々の次元に依存して相違してもよい。例えば、動画では縦方向及び横方向の２次元の空間についてのサンプルレート（画像の解像度）と他の１次元である時間についてのサンプルレート（いわゆる「フレームレート」）とで別個に処理することも考えられる。
【０１１５】
（アップサンプル処理装置の活用）
図６は、アップサンプル処理装置を活用するコンピュータシステム及び機器示す図である。
【０１１６】
図６（Ａ）及び（Ｂ）はコンピュータシステムを示す。アップサンプル処理装置１は、コンピュータプログラムとして実装されているものとする。業務用コンピュータプログラム２１は、アップサンプル処理装置１に入力データを与え、アップサンプル処理装置１から出力データを受け取る。アップサンプル処理装置１及び業務用コンピュータプログラム２１を合わせて、コンピュータシステム２が構成される。
【０１１７】
ここで、アップサンプル処理装置１及び業務用コンピュータプログラム２１は、（Ａ）のように、１のコンピュータに実装されていてもよいし、（Ｂ）のように、アップサンプル処理装置１をサーバに備え、業務用コンピュータプログラム２１との入力データ及び出力データの送受信をネットワークを介して行ってもよい。
【０１１８】
業務用コンピュータプログラム２１としては、静止画像又は動画像を処理するプログラム（例えばレンダリング、ＣＯＤＥＣ処理を行うプログラム）、音響を処理するプログラム（例えば録音を行うプログラム）、その他が考えられる。なお、「業務用」といえども、個人の趣味等の経済的活動も含むものとする（「業務」は「何らかの処理を行う行為全般」と解する。）。
【０１１９】
図６（Ｃ）及び（Ｄ）は機器を示す。アップサンプル処理装置１は、コンピュータプログラムとして実装されていても、ＩＣカード、ＬＳＩ、装置として別途実装されていてもよい。
【０１２０】
図６（Ｃ）では、機器３の内部にアップサンプル処理装置１が実装されている。例えば、コンピュータプログラムとしてのアップサンプル処理装置１を機器３が備えるものである。機器３の機能要素３１がアップサンプル処理装置１に入力データを与え、アップサンプル処理装置１から出力データを受け取る。
【０１２１】
図６（Ｄ）では、アップサンプル処理装置１をサーバに備え、機器３（その中の機能要素３１）との入力データ及び出力データの送受信をネットワークを介して行う。
【０１２２】
ここで、アップサンプル処理装置１を備えるサーバは、図６（Ｂ）と（Ｄ）とで共通であり得る。すなわち、１のサーバによって図６（Ｂ）と（Ｄ）との双方に対応することができる。
【０１２３】
機器３（機能要素３１）としては、テレビジョン(モニタへの画像出力)、カメラ（撮影データの保存）、ＣＴ、ＭＲＩ、レントゲン、エコー、レーダーなどの測定装置（測定結果の表示）、スマートフォン（画面への画像出力、スピーカへの音響出力）、ゲーム機（画面への画像出力、スピーカへの音響出力）、オーディオ機器（アンプ又はスピーカへの音響出力）、その他が考えられる。
【０１２４】
本明細書において開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０１２５】
本発明は、入力データのサンプルレートを高解像度化したデータを作成するアップサンプル処理装置等に用いると有益である。
【符号の説明】
【０１２６】
１      アップサンプル処理装置
１０    入力データ取得部
１１    縮小データ作成部
１２    機械学習部
１３    第１階層フィルタ取得部
１４    候補データ作成部
１５    第２階層フィルタ取得部
１６    アップサンプル処理部
１７    記憶装置
２      コンピュータシステム
２１    業務用コンピュータプログラム
３      機器
３１    機能要素
【図１】
2019074892.tif 000003
【図２】
2019074892.tif 000004
【図３】
2019074892.tif 000005
【図４】
2019074892.tif 000006
【図５】
2019074892.tif 000007
【図６】
2019074892.tif 000008
【手続補正書】
【提出日】平成30年2月20日(2018.2.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１次元又は２次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータについて、
第２サンプルレートの入力データをアップサンプルして、第３サンプルレートの出力データを得るためのアップサンプル装置であって、
第３サンプルレートのデータを含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第２サンプルレートのデータを第３サンプルレートのデータにアップサンプルするための第１フィルタと、
前記第２サンプルレートのデータをダウンサンプルした第１サンプルレートのデータを前記第２サンプルレートにアップサンプルするための第２フィルタを取得する第１階層フィルタ取得部と、
前記第１階層フィルタ取得部が取得した各前記第２フィルタを用いて、前記第１サンプルレートのデータをアップサンプルして第２サンプルレートの候補データを作成する候補データ作成部と、
前記候補データ作成部が作成した前記候補データと前記入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記入力データをアップサンプルすることにより、第３サンプルレートの出力データを作成する出力用アップサンプル部と
を備えることを特徴とする、アップサンプル装置。
【請求項２】
前記空間は、３次元の空間であることを特徴とする、請求項１に記載のアップサンプル装置。
【請求項３】
前記差分が最小となる前記第２フィルタを機械学習するのに用いた前記第１階層の学習用サブセットのサブセットである第２階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された第１フィルタおよび第２フィルタを取得する第２階層フィルタ取得部を備え、
前記候補データ作成部は、前記第２階層フィルタ取得部が取得した前記第２階層の各前記第２フィルタを用いて、前記第１サンプルレートのデータをアップサンプルして前記候補データを作成し、
前記出力用アップサンプル部は、前記候補データ作成部が前記第２階層の前記第２フィルタを用いて作成した前記候補データと前記入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記入力データをアップサンプルすることにより、第３サンプルレートの出力データを作成することを特徴とする、請求項１又は２に記載のアップサンプル装置。
【請求項４】
コンピュータを請求項１〜３のいずれか１項に記載のアップサンプル装置として動作させることを特徴とする、コンピュータプログラム。
【請求項５】
請求項１〜３のいずれか１項に記載のアップサンプル装置又は請求項４に記載のコンピュータプログラムを備え、
前記アップサンプル装置又は前記コンピュータプログラムに向けて前記入力データを送信し、前記出力データを受信して利用することを特徴とする、コンピュータシステム。
【請求項６】
請求項１〜３のいずれか１項に記載のアップサンプル装置又は請求項４に記載のコンピュータプログラムを備え、
前記アップサンプル装置又は前記コンピュータプログラムに向けて前記入力データを送信する機器であって、
テレビジョン機器、カメラ、計測装置、スマートフォン、ゲーム機器、オーディオ機器、その他の機器であることを特徴とする、機器。
【請求項７】
１次元又は２次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータについて、
第２サンプルレートの入力データをアップサンプルして、第３サンプルレートの出力データを得るためのアップサンプル装置又はコンピュータプログラムを機能させるための方法であって、
第３サンプルレートのデータを含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第２サンプルレートのデータを第３サンプルレートのデータにアップサンプルするための第１フィルタを取得するステップと、
前記第２サンプルレートのデータをダウンサンプルした第１サンプルレートのデータを前記第２サンプルレートにアップサンプルするための第２フィルタを取得するステップと、
前記第１階層フィルタ取得部が取得した各前記第２フィルタを用いて、前記第１サンプルレートのデータをアップサンプルして第２サンプルレートの候補データを作成するステップと、
前記候補データと前記入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記入力データをアップサンプルすることにより、第３サンプルレートの出力データを作成するステップと
を備えることを特徴とする、アップサンプル方法。
【請求項８】
前記差分が最小となる前記第２フィルタを機械学習するのに用いた前記第１階層の学習用サブセットのサブセットである第２階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された第１フィルタおよび第２フィルタを取得するステップをさらに備え、
前記候補データを作成するステップは、前記第２フィルタを取得するステップにおいて取得された前記第２階層の各前記第２フィルタを用いて、前記第１サンプルレートのデータをアップサンプルして前記候補データを作成し、
前記第３サンプルレートの出力データを作成するステップは、前記候補データを作成するステップにおいて前記第２階層の前記第２フィルタを用いて作成された前記候補データと前記入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記入力データをアップサンプルすることにより、第３サンプルレートの出力データを作成することを特徴とする、請求項７に記載のアップサンプル方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本発明のある形態のコンピュータシステムは、
本発明のアップサンプル装置又はコンピュータプログラムをを備え、
前記アップサンプル装置又は前記コンピュータプログラムに向けて前記入力データを送信し、前記出力データを受信して利用することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
本発明の機器は、
本発明のアップサンプル装置又はコンピュータプログラムをを備え、
前記アップサンプル装置又は前記コンピュータプログラムに向けて前記入力データを送信する機器であって、テレビジョン機器、カメラ、計測装置、スマートフォン、ゲーム機器、オーディオ機器、その他の機器である。  
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
本発明のアップサンプル方法は、
１次元又は２次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータについて、
第２サンプルレートの入力データをアップサンプルして、第３サンプルレートの出力データを得るためのアップサンプル装置又はコンピュータプログラムを機能させるための方法であって、
第３サンプルレートのデータを含む学習用セットのサブセットである第１階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第２サンプルレートのデータを第３サンプルレートのデータにアップサンプルするための第１フィルタを取得するステップと、
前記第２サンプルレートのデータをダウンサンプルした第１サンプルレートのデータを前記第２サンプルレートにアップサンプルするための第２フィルタを取得するステップと、
前記第１階層フィルタ取得部が取得した各前記第２フィルタを用いて、前記第１サンプルレートのデータをアップサンプルして第２サンプルレートの候補データを作成するステップと、
前記候補データと前記入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記入力データをアップサンプルすることにより、第３サンプルレートの出力データを作成するステップと
を備える。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
本発明のアップサンプル方法は、
前記差分が最小となる前記第２フィルタを機械学習するのに用いた前記第１階層の学習用サブセットのサブセットである第２階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された第１フィルタおよび第２フィルタを取得するステップをさらに備え、
前記候補データ作成するステップは、前記第２フィルタを取得するステップにおいて取得された前記第２階層の各前記第２フィルタを用いて、前記第１サンプルレートのデータをアップサンプルして前記候補データを作成し、
前記第３サンプルレートの出力データを作成するステップは、前記候補データを作成するステップにおいて前記第２階層の前記第２フィルタを用いて作成された前記候補データと前記入力データとの差分が最小となる第２フィルタに対応する第１フィルタを用いて、前記入力データをアップサンプルすることにより、第３サンプルレートの出力データを作成する。