(57)【要約】【課題】より正確な基底信号を得ることができるようにする。【解決手段】学習部は、信号としての学習用の輝度画像の静止画像が、基底画像係数が疎となる複数の基底信号としての基底画像の線形演算で表されるように、基底画像係数間の相関性を表す項を含むコスト関数を用いて複数の基底信号としての基底画像を学習する。本技術は、例えば、スパースコーディングにおける基底信号を学習する学習装置に適用することができる。【選択図】図２
2014063359.tif 000002
【特許請求の範囲】
【請求項１】
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号を学習する学習部
を備える信号処理装置。
【請求項２】
前記コスト関数は、前記係数間の空間的な相関性を表す項を含む
請求項１に記載の信号処理装置。
【請求項３】
前記コスト関数は、前記係数間の時間的な相関性を表す項を含む
請求項１に記載の信号処理装置。
【請求項４】
前記学習部は、各色チャンネルの前記信号が前記線形演算で表されるように、各色チャンネルの前記係数間の相関性を表す項を含むコスト関数を用いて各色チャンネルの前記複数の基底信号を学習する
請求項１に記載の信号処理装置。
【請求項５】
前記信号を帯域分割し、各帯域の信号を生成する帯域分割部
をさらに備え、
前記学習部は、前記帯域分割部により生成された各帯域の信号が前記線形演算で表されるように、各帯域の前記係数間の相関性を表す項を含むコスト関数を用いて各帯域の前記複数の基底信号を学習する
請求項１に記載の信号処理装置。
【請求項６】
前記学習部は、各色チャンネルの前記信号が前記線形演算で表されるように、前記色チャンネルごとに、前記コスト関数を用いて前記複数の基底信号を学習する
請求項１に記載の信号処理装置。
【請求項７】
信号処理装置が、
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号を学習する学習ステップ
を含む信号処理方法。
【請求項８】
コンピュータを、
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号を学習する学習部
として機能させるためのプログラム。
【請求項９】
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数を演算する演算部
を備える出力装置。
【請求項１０】
前記コスト関数は、前記係数間の空間的な相関性を表す項を含む
請求項９に記載の出力装置。
【請求項１１】
前記コスト関数は、前記係数間の時間的な相関性を表す項を含む
請求項９に記載の出力装置。
【請求項１２】
前記演算部は、各色チャンネルの前記信号が前記線形演算で表されるように、各色チャンネルの前記係数間の相関性を表す項を含むコスト関数を用いて学習された各色チャンネルの前記複数の基底信号、各色チャンネルの前記所定の信号、および前記コスト関数に基づいて、各色チャンネルの前記所定の信号の前記係数を演算する
請求項９に記載の出力装置。
【請求項１３】
前記所定の信号を帯域分割し、各帯域の前記所定の信号を生成する帯域分割部
をさらに備え、
前記演算部は、各帯域の前記信号が前記線形演算で表されるように、各帯域の前記係数間の相関性を表す項を含むコスト関数を用いて学習された各帯域の前記複数の基底信号、前記帯域分割部により生成された各帯域の前記所定の信号、および前記コスト関数に基づいて、各帯域の前記所定の信号の前記係数を演算する
請求項９に記載の出力装置。
【請求項１４】
前記演算部は、色チャンネルごとに、各色チャンネルの前記信号が前記線形演算で表されるように前記コスト関数を用いて学習された各色チャンネルの前記複数の基底信号、各色チャンネルの前記所定の信号、および前記コスト関数に基づいて、前記色チャンネルごとに、前記所定の信号の前記係数を演算する
請求項９に記載の出力装置。
【請求項１５】
前記演算部により演算された前記係数と前記複数の基底信号とを用いて、前記所定の信号に対応する信号を生成する生成部
をさらに備える
請求項９に記載の出力装置。
【請求項１６】
前記生成部により生成された前記信号と前記所定の信号との差分に基づいて、前記所定の信号を認識する認識部
をさらに備える
請求項１５に記載の出力装置。
【請求項１７】
出力装置が、
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数を演算する演算ステップ
を含む出力方法。
【請求項１８】
コンピュータを、
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数を演算する演算部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラムに関し、特に、より正確な基底信号を得ることができるようにした信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、スパースコーディング(sparse coding)を用いた画像復元技術が多く研究されている。スパースコーディングとは、人間の視覚系をモデリングし、信号を基底信号に分解して表現する手法である。
【０００３】
具体的には、人間の視覚系では、網膜で捉えられた画像は、そのままの形で上位の認識機構に伝達されるのではなく、初期視覚の段階で、以下の式（１）に示すように複数の基底画像の線形和に分解されて伝達されると考えられている。
【０００４】
(画像)=Σ[(係数)×(基底画像)]
・・・（１）
【０００５】
ここで、式（１）において、多くの係数は0となり僅かな係数だけが大きな値となる、即ち係数は疎(sparse)となるという特徴がある。このため、人間の視覚系をモデリングし、信号を基底信号に分解して表現する手法は、スパースコーディングと呼ばれる。
【０００６】
スパースコーディングでは、まず、上述した式（１）によりモデリングされた基底信号が、以下の式（２）に示すコスト関数を用いて学習される。なお、ここでは、スパースコーディング対象となる信号が画像であるものとする。
【０００７】
L=argmin｛||Dα-Y||２+μ||α||０｝
・・・（２）
【０００８】
式（２）において、Lは、コスト関数であり、Dは、基底画像の各画素の画素値を列方向に並べたものを、基底画像ごとに行方向に並べた行列（以下、基底画像行列という）である。また、αは、各基底画像の係数（以下、基底画像係数という）を列方向に並べたベクトル(以下、基底画像係数ベクトルという)であり、Yは、学習用の画像の各画素の画素値を列方向に並べたベクトル(以下、学習用画像ベクトルという)である。μは予め設定されたパラメータである。
【０００９】
次に、式（２）において、学習された基底画像と、学習用の画像の代わりにスパースコーディング対象の画像とを用いることにより求められたコスト関数が、所定値以下になるときの基底画像係数が求められる。
【００１０】
近年、スパースコーディング対象の画像をブロックに分割し、ブロック単位で基底画像係数を求める方法が考案されている（例えば、非特許文献１参照）。
【００１１】
また、コスト関数における基底画像係数に対する拘束としては、式（２）で示したL0ノルム以外に、L1ノルムやL1ノルムの近似式などが存在する（例えば、非特許文献２参照）。基底画像係数がL1ノルムで拘束される場合、コスト関数は以下の式（３）で表され、基底画像係数がL1ノルムの近似式で拘束される場合、コスト関数は以下の式（４）で表される。
【００１２】
L=argmin{||Dα-Y||２+μ||α||１｝
・・・（３）
【数１】
2014063359.tif 000003
【００１３】
なお、式（３）および(４)において、Lはコスト関数であり、Dは基底画像行列であり、αは基底画像係数ベクトルであり、Yは学習用画像ベクトルであり、μは予め設定されたパラメータである。また、式（４）において、a,y,bは、予め設定されたパラメータである。
【００１４】
ところで、スパースコーディングの最も重要な要素は基底信号の学習である。従来、基底信号は、冗長性かつランダム性（基底信号間の相関性がない）を有すると仮定されて学習されている。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】Michal Aharon,Michael Elad,and Alred Bruckstein,“K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation”,IEEE TRANSACTION ON SIGNAL PROCESSING,VOL.54,NO.11,NOVEMBER 2006,P4311-4322
【非特許文献２】Libo Ma,Liqing Zhang,“Overcomplete topographic independent component analysis”,Neurocomputing,10 March 2008,P2217-2223
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、近年、人間の視覚系についての最新研究から、ニューロンの発火はランダムに発生するのではなく、近傍のニューロンの発火と相関性を有する（Topographic構造を有する）ことがわかっている。従って、従来のように、基底信号が、基底信号間の相関性がないと仮定して学習される場合、正確な基底信号を学習することはできない。
【００１７】
本技術は、このような状況に鑑みてなされたものであり、より正確な基底信号を得ることができるようにするものである。
【課題を解決するための手段】
【００１８】
本技術の第１の側面の信号処理装置は、信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号を学習する学習部を備える信号処理装置である。
【００１９】
本技術の第１の側面の信号処理方法およびプログラムは、本技術の第１の側面の信号処理装置に対応する。
【００２０】
本技術の第１の側面においては、信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号が学習される。
【００２１】
本技術の第２の側面の出力装置は、信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数を演算する演算部を備える出力装置である。
【００２２】
本技術の第２の側面の出力方法およびプログラムは、本技術の第２の側面の出力装置に対応する。
【００２３】
本技術の第２の側面においては、信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数が演算される。
【００２４】
第１の側面の信号処理装置および第２の側面の出力装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００２５】
本技術の第１の側面によれば、より正確な基底信号を学習することができる。
【００２６】
また、本技術の第２の側面によれば、より正確に学習された基底信号を得て、その基底信号の係数を演算することができる。
【図面の簡単な説明】
【００２７】
【図１】スパースコーディングによる画像復元の概要を説明する図である。
【図２】本技術を適用した信号処理装置の第１実施の形態としての学習装置の構成例を示すブロック図である。
【図３】図２の分割部により分割されるブロックの第１の例を示す図である。
【図４】図２の分割部により分割されるブロックの第２の例を示す図である。
【図５】図２の学習部における学習の背景を説明する図である。
【図６】図２の学習部による学習時の拘束条件を説明する図である。
【図７】図２の学習装置の学習処理を説明するフローチャートである。
【図８】本技術を適用した出力装置の第１実施の形態としての画像生成装置の第１の構成例を示すブロック図である。
【図９】図８の生成部の処理を説明する図である。
【図１０】図８の画像生成装置の生成処理を説明するフローチャートである。
【図１１】本技術を適用した出力装置の第１実施の形態としての画像生成装置の第２の構成例を示すブロック図である。
【図１２】図１１の画像生成装置の生成処理を説明するフローチャートである。
【図１３】本技術を適用した信号処理装置の第２実施の形態としての学習装置の構成例を示すブロック図である。
【図１４】図１３の学習部による学習時の拘束条件を説明する図である。
【図１５】図１３の学習装置の学習処理を説明するフローチャートである。
【図１６】本技術を適用した出力装置の第２実施の形態としての画像生成装置の構成例を示すブロック図である。
【図１７】図１６の画像生成装置の生成処理を説明するフローチャートである。
【図１８】本技術を適用した信号処理装置の第３実施の形態としての学習装置の構成例を示すブロック図である。
【図１９】図１８の帯域分割部の構成例を示すブロック図である。
【図２０】図１８の学習部による学習時の拘束条件を説明する図である。
【図２１】図１８の学習装置の学習処理を説明するフローチャートである
【図２２】本技術を適用した出力装置の第３実施の形態としての画像生成装置の構成例を示すブロック図である。
【図２３】図２２の生成部の構成例を示すブロック図である。
【図２４】図２２の画像生成装置の生成処理を説明するフローチャートである。
【図２５】本技術を適用した信号処理装置の第４実施の形態としての学習装置の構成例を示すブロック図である。
【図２６】図２５の学習部による学習時の拘束条件を説明する図である。
【図２７】本技術を適用した出力装置の第４実施の形態としての画像生成装置の構成例を示すブロック図である。
【図２８】本技術を適用した信号処理装置の第５実施の形態としての学習装置の構成例を示すブロック図である。
【図２９】本技術を適用した出力装置の第５実施の形態としてのオーディオ生成装置の構成例を示すブロック図である。
【図３０】本技術を適用した信号処理装置の第６実施の形態としての学習装置の構成例を示すブロック図である。
【図３１】図３０の学習装置の学習処理を説明するフローチャートである。
【図３２】本技術を適用した出力装置の第６実施の形態としての異常検知装置の構成例を示すブロック図である。
【図３３】図３２の抽出部により抽出される検知領域の例を示す図である。
【図３４】図３２の認識部による異常情報の生成方法を説明する図である。
【図３５】図３２の異常検知装置の異常検知処理を説明するフローチャートである。
【図３６】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２８】
＜第１実施の形態＞
[スパースコーディングによる画像復元の概要]
図１は、スパースコーディングによる画像復元の概要を説明する図である。
【００２９】
図１に示すように、スパースコーディングによる画像復元では、事前に、大量の画質劣化のない学習用の画像を用いて基底画像が学習され、その結果得られる基底画像が保持されている。そして、スパースコーディングの対象として入力される画質が劣化した劣化画像に対して、基底画像を用いて基底画像係数の最適化が行われ、最適化された基底画像係数と基底画像を用いて、劣化画像に対応する画質劣化のない画像が、復元画像として生成される。
【００３０】
［学習装置の構成例］
図２は、本技術を適用した信号処理装置の第１実施の形態としての学習装置の構成例を示すブロック図である。
【００３１】
図２に示すように、学習装置１０は、分割部１１、学習部１２、および記憶部１３により構成され、画像復元用のスパースコーディングの基底画像を学習する。
【００３２】
具体的には、学習装置１０の分割部１１には、外部から大量の画質劣化のない学習用の輝度画像の静止画像が入力される。分割部１１は、学習用の輝度画像の静止画像を所定のサイズ（例えば、8×8画素）のブロックに分割し、学習部１２に供給する。
【００３３】
学習部１２は、分割部１１から供給されるブロックを上述した式（１）によりモデリングして、基底画像係数間で空間的な相関性を有するという拘束条件の下に、ブロック単位の基底画像を学習する。具体的には、学習部１２は、ブロック単位の学習用の輝度画像の静止画像と、基底画像係数間の空間的な相関性を表す項を含むコスト関数とを用いて、ブロック単位の基底画像を学習する。学習部１２は、学習されたブロック単位の基底画像を記憶部１３に供給する。
【００３４】
記憶部１３は、学習部１２から供給されるブロック単位の基底画像を記憶する。
【００３５】
［ブロックの例］
図３は、図２の分割部１１により分割されるブロックの第１の例を示す図である。
【００３６】
図３の例では、分割部１１は、学習用の輝度画像の静止画像３０を、所定のサイズのブロックのいずれかに分割する。従って、水平方向に隣接するブロック３１とブロック３２、および、垂直方向に隣接するブロック３１とブロック３３は重ならない。
【００３７】
図４は、図２の分割部１１により分割されるブロックの第２の例を示す図である。
【００３８】
図４の例では、分割部１１は、学習用の輝度画像の静止画像４０を、ブロックサイズより小さい間隔（図４の例では、ブロックサイズの1/4）で水平方向および垂直方向に隣接する所定のサイズ（ブロックサイズ）のブロックに分割する。従って、水平方向に隣接するブロック４１とブロック４２、および、垂直方向に隣接するブロック４１とブロック４３は重なる。
【００３９】
図４に示したように、ブロックが重なるように分割される場合、図３の場合に比べて、学習の処理量は多くなるが、学習の精度は向上する。なお、ブロックの形状は正方形に限定されない。
【００４０】
［学習の説明］
図５は、図２の学習部１２における学習の背景を説明する図である。
【００４１】
なお、図５において、各正方形は、ブロック単位の基底画像を表しており、図５では、ブロック単位の基底画像が水平方向および垂直方向に並べられている。
【００４２】
近年、人間の視覚系についての最新研究から、ニューロンの発火はランダムに発生するのではなく、近傍のニューロンの発火と相関性を有する（Topographic構造を有する）ことがわかっている。
【００４３】
しかしながら、式（２）乃至（４）のいずれかで定義されるコスト関数に基づく従来の学習では、基底画像係数間に相関性がないと仮定されており、図５の左側に示すように、学習された基底画像間には空間的な相関性がない。
【００４４】
そこで、学習部１２は、基底画像係数間で空間的な相関性を有するという拘束条件の下に基底画像の学習を行うことにより、人間の視覚系により近いモデルで基底画像を学習する。その結果、図５の右側に示すように、学習された基底画像間には空間的な相関性がある。
【００４５】
図６は、図２の学習部１２による学習時の拘束条件を説明する図である。
【００４６】
学習部１２は、基底画像係数間で空間的な相関性を有する基底画像を学習する。そのため、学習部１２は、図６に示すように、ブロック単位の基底画像６１の基底画像係数が、その基底画像６１を中心とした3×3個のブロック単位の基底画像６１乃至６９の基底画像係数と同様の疎表現（0または非0）を有するという拘束条件をコスト関数の演算時に与える。
【００４７】
具体的には、学習部１２は、以下の式（５）によりコスト関数を定義する。
【００４８】
【数２】
2014063359.tif 000004
【００４９】
なお、式（５）において、Dは、ブロック単位の基底画像行列（以下、ブロック単位基底画像行列という）であり、αは、ブロック単位の基底画像係数ベクトル（以下、ブロック単位基底画像係数ベクトルという）である。また、Yは、ブロック単位の学習用の輝度画像の静止画像の各画素の画素値を列方向に並べたベクトル（以下、学習用輝度画像ベクトルという）であり、μは予め設定されたパラメータである。
【００５０】
さらに、h(i,j)は、ｉ番目（i=1,…,基底画像数n）のブロック単位の基底画像の基底画像係数と、ｉ番目のブロック単位の基底画像を中心とした3×3個のブロック単位の基底画像のうちのｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数との相関関係を表す係数（以下、相関係数という）である。αｊは、ｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数である。従って、式（５）の右辺のargmin()内の第２項は、基底画像係数間の空間的な相関性を表す項である。
【００５１】
学習部１２は、このようにして定義されたコスト関数を用いて、最急降下法により基底画像を学習する。具体的には、学習部１２は、全ての学習用の輝度画像の静止画像の全てのブロックについて以下の処理を行う。
【００５２】
まず、学習部１２は、以下の式（６）に示すように、式（５）で定義されるコスト関数をブロック単位基底画像係数ベクトルに対して偏微分し、ブロック単位基底画像行列を初期値にしてΔαを計算する。なお、ブロック単位基底画像行列の初期値としては、ランダムな値や所定値が用いられる。
【００５３】
【数３】
2014063359.tif 000005
【００５４】
式（６）において、Dはブロック単位基底画像行列であり、αはブロック単位基底画像係数ベクトルであり、Yは学習用輝度画像ベクトルであり、μは予め設定されたパラメータである。また、h(i,j)は相関係数であり、αｊはｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数である。
【００５５】
次に、学習部１２は、Δαを用いて、以下の式（７）に示すように、ブロック単位基底画像係数ベクトルを更新する。
【００５６】
α=α+η１Δα
・・・（７）
【００５７】
なお、式（７）において、αはブロック単位基底画像係数ベクトルであり、η１は最急降下法のパラメータである。
【００５８】
そして、学習部１２は、以下の式（８）に示すように、式（５）で定義されるコスト関数をブロック単位基底画像行列に対して偏微分し、更新後のブロック単位基底画像係数ベクトルを用いてΔDを計算する。
【００５９】
【数４】
2014063359.tif 000006
【００６０】
式（８）において、Yは学習用輝度画像ベクトルであり、Dはブロック単位基底画像行列であり、αはブロック単位基底画像係数ベクトルである。
【００６１】
次に、学習部１２は、ΔDを用いて、以下の式（９）に示すように、ブロック単位基底画像行列を更新する。
【００６２】
D＝D＋η２ΔD
・・・（９）
【００６３】
式（９）において、Dはブロック単位基底画像行列であり、η２は最急降下法のパラメータである。
【００６４】
そして、学習部１２は、更新後のブロック単位基底画像行列とブロック単位基底画像係数ベクトルを用いて、全ての学習用の輝度画像の静止画像の全てのブロックについて式（５）で定義されるコスト関数を演算する。そのコスト関数の和が所定値以下ではない場合、学習部１２は、コスト関数の和が所定値以下となるまで、ブロック単位基底画像行列とブロック単位基底画像係数ベクトルの更新を繰り返す。コスト関数の和が所定値以下である場合、学習部１２は、更新後のブロック単位基底画像行列を構成するブロック単位の基底画像を学習結果とする。
【００６５】
なお、本明細書では、ｊは9とするが、jは2以上であればどのような値であってもよい。  
【００６６】
［学習装置の処理の説明］
図７は、図２の学習装置１０の学習処理を説明するフローチャートである。この学習処理は、例えば、外部から全ての学習用の輝度画像の静止画像が学習装置１０に入力されたとき、オフラインで行われる。
【００６７】
図７のステップＳ１１において、分割部１１は、外部から入力された学習用の輝度画像の静止画像を所定のサイズのブロックに分割し、学習部１２に供給する。ステップＳ１２において、学習部１２は、学習の繰り返し回数Nを１に設定する。以降のステップＳ１３乃至Ｓ１７およびステップＳ１９の処理は、全ての学習用の輝度画像の静止画像の全てのブロックに対して、ブロックごとに行われる。
【００６８】
ステップＳ１３において、学習部１２は、ブロック単位基底画像行列を初期値に設定する。ステップＳ１４において、学習部１２は、設定されたブロック単位基底画像行列と、分割部１１から供給されるブロックとを用いて、上述した式（６）により、Δαを計算する。
【００６９】
ステップＳ１５において、学習部１２は、ステップＳ１４で計算されたΔαを用いて、上述した式（７）によりブロック単位基底画像係数ベクトルを更新する。ステップＳ１６において、学習部１２は、ステップＳ１５で更新されたブロック単位基底画像係数ベクトルとブロックとを用いて、上述した式（８）によりΔDを計算する。
【００７０】
ステップＳ１７において、学習部１２は、ステップＳ１６で計算されたΔDを用いて、上述した式（９）によりブロック単位基底画像行列を更新する。ステップＳ１８において、学習部１２は、学習の繰り返し回数Nを1だけインクリメントする。
【００７１】
ステップＳ１９において、学習部１２は、ステップＳ１５で更新されたブロック単位基底画像係数ベクトル、ステップＳ１７で更新されたブロック単位基底画像行列、および、ブロックを用いて、上述した式（５）によりコスト関数を求める。
【００７２】
ステップＳ２０において、学習部１２は、全ての学習用の輝度画像の静止画像の全てのブロックのコスト関数の和が所定の閾値より小さいかどうかを判定する。ステップＳ２０でコスト関数の和が所定の閾値以上であると判定された場合、処理はステップＳ２１に進む。
【００７３】
ステップＳ２１において、学習部１２は、学習の繰り返し回数Nが所定の閾値より大きいかどうかを判定する。ステップＳ２１で学習の繰り返し回数Nが所定の閾値以下であると判定された場合、処理はステップＳ１４に戻る。そして、コスト関数の和が所定の閾値より小さくなるか、または、学習の繰り返し回数Nが所定の閾値より大きくなるまで、ステップＳ１４乃至Ｓ２１の処理が繰り返される。
【００７４】
一方、ステップＳ２０でコスト関数の和が所定の閾値より小さいと判定された場合、または、ステップＳ２１で学習の繰り返し回数Nが所定の閾値より大きいと判定された場合、処理はステップＳ２２に進む。
【００７５】
ステップＳ２２において、学習部１２は、直前のステップＳ１７で更新されたブロック単位基底画像行列を構成するブロック単位の基底画像を記憶部１３に供給し、記憶させる。
【００７６】
なお、ここでは、全ての学習用の輝度画像の静止画像の全てのブロックを用いてブロック単位基底画像行列を繰り返し学習したが、各ブロックを用いた繰り返し学習を順に行うようにしてもよい。
【００７７】
以上のように、学習装置１０は、学習用の輝度画像の静止画像が、基底画像係数が疎となる基底画像の線形演算で表されるように、基底画像係数間の空間的な相関性を表す項を含むコスト関数を用いて基底画像を学習する。従って、より人間の視覚系に近いモデルを用いて基底画像を学習することができる。その結果、より正確な基底画像を学習することができる。
【００７８】
［画像生成装置の第１の構成例］
図８は、図２の学習装置１０により学習された基底画像を用いて画像を生成する、本技術を適用した出力装置の第１実施の形態としての画像生成装置の第１の構成例を示すブロック図である。
【００７９】
図８に示すように、画像生成装置８０は、分割部８１、記憶部８２、演算部８３、および生成部８４により構成される。画像生成装置８０は、外部から劣化画像として入力される輝度画像の静止画像に対してスパースコーディングを行うことにより、復元画像を生成する。
【００８０】
具体的には、画像生成装置８０の分割部８１には、外部から輝度画像の静止画像が劣化画像として入力される。分割部８１は、外部から入力された劣化画像を、図２の分割部１１と同様に所定のサイズのブロックに分割し、演算部８３に供給する。
【００８１】
記憶部８２は、図２の学習装置１０により学習され、記憶部１３に記憶されたブロック単位の基底画像を記憶する。
【００８２】
演算部８３は、記憶部８２からブロック単位の基底画像を読み出す。演算部８３は、分割部８１から供給される劣化画像のブロックごとに、コスト関数が所定の閾値より小さくなるように、ブロック単位基底画像係数ベクトルを演算する。このコスト関数は、読み出されたブロック単位の基底画像からなるブロック単位基底画像行列を用いて、上述した式（５）のYを劣化画像のブロックの各画素の画素値を列方向に並べたベクトル（以下、劣化画像ベクトルという）にした式により定義される。演算部８３は、ブロック単位基底画像係数ベクトルを生成部８４に供給する。
【００８３】
生成部８４は、記憶部８２からブロック単位の基底画像を読み出す。生成部８４は、ブロックごとに、演算部８３から供給されるブロック単位基底画像係数ベクトルと、読み出されたブロック単位の基底画像からなるブロック単位基底画像行列とを用いて、以下の式（１０）によりブロック単位の輝度画像の静止画像を生成する。
【００８４】
X=D×α
・・・（１０）
【００８５】
式（１０）において、Xは、生成されるブロック単位の輝度画像の静止画像の各画素の画素値を列方向に並べたベクトル（以下、ブロック単位生成画像ベクトルという）であり、Dは、ブロック単位基底画像行列であり、αは、ブロック単位基底画像係数ベクトルである。
【００８６】
生成部８４は、各ブロックのブロック単位の輝度画像の静止画像から１枚の輝度画像の静止画像を生成し、復元画像として出力する。
【００８７】
［生成部の処理の説明］
図９は、分割部８１が劣化画像を図４に示したブロックに分割する場合の図８の生成部８４の処理を説明する図である。
【００８８】
なお、図９において、実線の正方形は画素を表し、点線の正方形はブロックを表す。図９の例では、ブロックのサイズは4×4画素である。
【００８９】
図９に示すように、分割部８１が劣化画像１００を図４に示したブロックに分割する場合、生成部８４は、復元画像の各画素の画素値として、その画素に対応するブロックのブロック単位生成画像ベクトルの成分の平均値を生成する。
【００９０】
具体的には、例えば、左上の画素１０１はブロック１１１にのみ含まれる。従って、生成部８４は、画素１０１の画素値を、ブロック１１１のブロック単位生成画像ベクトルの画素１０１に対応する成分とする。
【００９１】
これに対して、画素１０１の右隣の画素１０２は、ブロック１１１とブロック１１２に含まれる。従って、生成部８４は、画素１０２の画素値を、ブロック１１１およびブロック１１２のブロック単位生成画像ベクトルの画素１０２に対応する成分の平均値とする。
【００９２】
また、画素１０１の直下の画素１０３は、ブロック１１１とブロック１１３に含まれる。従って、生成部８４は、画素１０３の画素値を、ブロック１１１およびブロック１１３のブロック単位生成画像ベクトルの画素１０３に対応する成分の平均値とする。
【００９３】
さらに、画素１０３の右隣の画素１０４は、ブロック１１１乃至ブロック１１４に含まれる。従って、生成部８４は、画素１０４の画素値を、ブロック１１１乃至ブロック１１４のブロック単位生成画像ベクトルの画素１０４に対応する成分の平均値とする。
【００９４】
一方、図示は省略するが、分割部８１が劣化画像を図３に示したブロックに分割する場合、生成部８４は、各ブロックのブロック単位生成画像ベクトルの各成分を、その成分に対応する画素の画素値として合成し、復元画像を生成する。
【００９５】
［画像生成装置８０の処理の説明］
図１０は、図８の画像生成装置８０の生成処理を説明するフローチャートである。この生成処理は、例えば、外部から劣化画像として輝度画像の静止画像が入力されたとき、開始される。
【００９６】
図１０のステップＳ４１において、画像生成装置８０の分割部８１は、外部から劣化画像として入力された輝度画像の静止画像を、図２の分割部１１と同様に所定のサイズのブロックに分割し、演算部８３に供給する。なお、以降のステップＳ４２乃至Ｓ５１の処理は、ブロック単位で行われる。
【００９７】
ステップＳ４２において、演算部８３は、ブロック単位基底画像係数ベクトルの演算の繰り返し回数Mを1に設定する。
【００９８】
ステップＳ４３において、演算部８３は、記憶部８２からブロック単位の基底画像を読み出す。ステップＳ４４において、演算部８３は、読み出されたブロック単位の基底画像からなるブロック単位基底画像行列と、分割部８１から供給されるブロックとを用いて、上述した式（６）のYを劣化画像ベクトルにした式により、Δαを計算する。
【００９９】
ステップＳ４５において、演算部８３は、ステップＳ４４で計算されたΔαを用いて、上述した式（７）によりブロック単位基底画像係数ベクトルを更新する。ステップＳ４６において、演算部８３は、繰り返し回数Mを1だけインクリメントする。
【０１００】
ステップＳ４７において、演算部８３は、ステップＳ４５で更新されたブロック単位基底画像係数ベクトル、ブロック単位基底画像行列、および、劣化画像のブロックを用いて、上述した式（５）のYを劣化画像ベクトルにした式によりコスト関数を求める。
【０１０１】
ステップＳ４８において、演算部８３は、コスト関数が所定の閾値より小さいかどうかを判定する。ステップＳ４８でコスト関数が所定の閾値以上であると判定された場合、ステップＳ４９において、演算部８３は、繰り返し回数Mが所定の閾値より大きいかどうかを判定する。
【０１０２】
ステップＳ４９で繰り返し回数Mが所定の閾値以下であると判定された場合、演算部８３は、処理をステップＳ４４に戻す。そして、コスト関数が所定の閾値より小さくなるか、または、繰り返し回数Mが所定の閾値より大きくなるまで、ステップＳ４４乃至Ｓ４９の処理が繰り返される。
【０１０３】
一方、ステップＳ４８でコスト関数が所定の閾値より小さいと判定された場合、または、ステップＳ４９で繰り返し回数Mが所定の閾値より大きいと判定された場合、演算部８３は、直前のステップＳ４５で更新されたブロック単位基底画像係数ベクトルを生成部８４に供給する。
【０１０４】
そして、ステップＳ５０において、生成部８４は、記憶部８２からブロック単位の基底画像を読み出す。ステップＳ５１において、生成部８４は、読み出されたブロック単位の基底画像からなるブロック単位基底画像行列と、演算部８３から供給されるブロック単位基底画像係数ベクトルとを用いて、上述した式（１０）によりブロック単位の輝度画像の静止画像を生成する。
【０１０５】
ステップＳ５２において、生成部８４は、ブロックの分割方法に応じて、ブロック単位の輝度画像の静止画像から１枚の輝度画像の静止画像を生成する。ステップＳ５３において、生成部８４は、生成された１枚の輝度画像の静止画像を復元画像として出力し、処理を終了する。
【０１０６】
以上のように、画像生成装置８０は、学習装置１０により学習された基底画像を得て、その基底画像、劣化画像、および基底画像係数間の空間的な相関性を表す項を含むコスト関数に基づいて、基底画像係数を演算する。従って、画像生成装置８０は、人間の視覚系に近いモデルの基底画像と基底画像係数を得ることができる。よって、画像生成装置８０は、得られた基底画像と基底画像係数を用いて、高画質な復元画像を生成することができる。
【０１０７】
［画像生成装置の第２の構成例］
図１１は、図２の学習装置１０により学習された基底画像を用いて画像を生成する、本技術を適用した出力装置の第１実施の形態としての画像生成装置の第２の構成例を示すブロック図である。
【０１０８】
図１１に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０９】
図１１の画像生成装置１３０の構成は、演算部８３の代わりに演算部１３１が設けられ、生成部８４の代わりに生成部１３２が設けられる点が図８の構成と異なる。画像生成装置１３０は、復元画像を生成するとともに基底画像を学習する。
【０１１０】
具体的には、画像生成装置１３０の演算部１３１は、図８の演算部８３と同様に、記憶部８２からブロック単位の基底画像を読み出す。演算部１３１は、分割部８１から供給される劣化画像のブロックごとに、コスト関数が所定の閾値より小さくなるように、ブロック単位基底画像行列を学習しつつ、ブロック単位基底画像係数ベクトルを演算する。
【０１１１】
このコスト関数は、読み出されたブロック単位の基底画像からなるブロック単位基底画像行列を用いて、上述した式（５）のYを劣化画像ベクトルにした式により定義される。演算部１３１は、学習されたブロック単位基底画像行列とブロック単位基底画像係数ベクトルとを生成部１３２に供給する。
【０１１２】
生成部１３２は、ブロックごとに、演算部１３１から供給されるブロック単位基底画像係数ベクトルとブロック単位基底画像行列とを用いて、上述した式（１０）によりブロック単位の輝度画像の静止画像を生成する。生成部１３２は、図８の生成部８４と同様に、各ブロックのブロック単位の輝度画像の静止画像から１枚の輝度画像の静止画像を生成し、復元画像として出力する。
【０１１３】
［画像生成装置１３０の処理の説明］
図１２は、図１１の画像生成装置１３０の生成処理を説明するフローチャートである。この生成処理は、例えば、外部から劣化画像として輝度画像の静止画像が入力されたとき、開始される。
【０１１４】
図１２のステップＳ７１乃至Ｓ７５の処理は、図１０のステップＳ４１乃至Ｓ４５の処理と同様であるので、説明は省略する。以降のステップＳ７６乃至Ｓ８２の処理は、ブロック単位で行われる。
【０１１５】
ステップＳ７６において、演算部１３１は、ステップＳ７５で更新されたブロック単位基底画像係数ベクトルと劣化画像のブロックとを用いて、上述した式（８）のYを劣化画像ベクトルにした式によりΔDを計算する。
【０１１６】
ステップＳ７７において、演算部１３１は、ステップＳ７７で計算されたΔDを用いて、上述した式（９）によりブロック単位基底画像行列を更新する。ステップＳ７８において、演算部１３１は、繰り返し回数Mを1だけインクリメントする。
【０１１７】
ステップＳ７９において、演算部１３１は、ステップＳ７５で更新されたブロック単位基底画像係数ベクトル、ステップＳ７７で更新されたブロック単位基底画像行列、および、劣化画像のブロックを用いて、上述した式（５）のYを劣化画像ベクトルにした式によりコスト関数を求める。
【０１１８】
ステップＳ８０において、演算部１３１は、コスト関数が所定の閾値より小さいかどうかを判定する。ステップＳ８０でコスト関数が所定の閾値以上であると判定された場合、処理はステップＳ８１に進む。
【０１１９】
ステップＳ８１において、演算部１３１は、繰り返し回数Mが所定の閾値より大きいかどうかを判定する。ステップＳ８１で繰り返し回数Mが所定の閾値以下であると判定された場合、処理はステップＳ７４に戻る。そして、コスト関数が所定の閾値より小さくなるか、または、学習の繰り返し回数Mが所定の閾値より大きくなるまで、ステップＳ７４乃至Ｓ８１の処理が繰り返される。
【０１２０】
一方、ステップＳ８０でコスト関数が所定の閾値より小さいと判定された場合、または、ステップＳ８１で繰り返し回数Mが所定の閾値より大きいと判定された場合、演算部１３１は、直前のステップＳ７５で更新されたブロック単位基底画像係数ベクトルと、ステップＳ７７で更新されたブロック単位基底画像行列を生成部１３２に供給する。
【０１２１】
そして、ステップＳ８２において、生成部１３２は、演算部１３１から供給されるブロック単位基底画像係数ベクトルとブロック単位基底画像行列を用いて、上述した式（１０）によりブロック単位の輝度画像の静止画像を生成する。
【０１２２】
ステップＳ８３およびＳ８４の処理は、図１０のステップＳ５２およびＳ５３の処理と同様であるので、説明は省略する。
【０１２３】
なお、図１２の生成処理では、ブロックごとにブロック単位基底画像行列が更新されるようにしたが、劣化画像単位でブロック単位基底画像行列が更新されるようにしてもよい。この場合、劣化画像の全てのブロックについてコスト関数が求められ、そのコスト関数の和に基づいて繰り返し演算が行われる。
【０１２４】
以上のように、画像生成装置１３０は、復元画像を生成するとともに、ブロック単位の基底画像を学習するので、ブロック単位の基底画像の精度を向上させ、高画質の復元画像を生成することができる。
【０１２５】
しかしながら、画像生成装置１３０では、劣化画像が入力されるたびに学習を行う、即ちオンライン学習を行う必要があるため、高い処理能力が要求される。従って、比較的処理能力の高いパーソナルコンピュータ等には画像生成装置１３０を適用し、比較的処理能力の低いデジタルカメラや携帯端末には画像生成装置８０を適用すると好適である。
【０１２６】
なお、第１実施の形態では、学習用の画像および劣化画像が輝度画像の静止画像であったが、色画像の静止画像であってもよい。
【０１２７】
学習用の画像および劣化画像が色画像の静止画像である場合には、その色画像の静止画像が、色チャンネル（例えば、R（Red）,G（Green）,B（Blue））ごとに所定のサイズのブロックに分割される。そして、以下の式（１１）に示すように色チャンネルごとにコスト関数が定義される。その結果、学習装置１０は、色チャンネルごとにブロック単位の基底画像を学習し、画像生成装置８０（１３０）は、色チャンネルごとに色画像の静止画像を生成する。
【０１２８】
【数５】
2014063359.tif 000007
【０１２９】
式（１１）において、LＲ,LＧ,LＢは、それぞれ、R,G,Bの色チャンネルのコスト関数であり、DＲ,DＧ,DＢは、それぞれ、R,G,Bの色チャンネルのブロック単位基底画像行列である。また、αＲ,αＧ,αＢは、それぞれ、R,G,Bの色チャンネルのブロック単位基底画像係数ベクトルであり、R,G,Bは、それぞれ、R,G,Bの色チャンネルのブロック単位の学習用の色画像の静止画像の各画素の画素値を列方向に並べたベクトル（以下、学習用色画像ベクトルという）である。μは予め設定されたパラメータである。
【０１３０】
さらに、h(i,j)は、相関係数である。αＲｊ,αＧｊ,αＢｊは、それぞれ、R,G,Bの色チャンネルのi番目（i=1,…,基底画像数n）のブロック単位の基底画像を中心とした3×3個のブロック単位の基底画像のうちのｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数である。また、a,y,bは、予め設定されたパラメータである。
【０１３１】
また、学習用の画像および劣化画像は、動画像であってもよい。この場合、その動画像はフレームごとに所定のサイズのブロックに分割される。
【０１３２】
＜第２実施の形態＞
［学習装置の構成例］
図１３は、本技術を適用した信号処理装置の第２実施の形態としての学習装置の構成例を示すブロック図である。
【０１３３】
図１３の学習装置１５０は、分割部１５１、学習部１５２、および記憶部１５３により構成される。学習装置１５０は、学習用の各色チャンネルの色画像の静止画像を用いて、各色チャンネルの基底画像係数間で相関性を有し、かつ、全ての色チャンネルの基底画像係数間で空間的な相関性を有するように、基底画像を学習する。
【０１３４】
具体的には、分割部１５１には、外部から大量の画質劣化のない学習用の各色チャンネルの色画像の静止画像が入力される。分割部１５１は、色チャンネルごとに、学習用の色画像の静止画像を所定のサイズのブロックに分割し、学習部１５２に供給する。
【０１３５】
学習部１５２は、分割部１５１から供給される各色チャンネルのブロックを上述した式（１）によりモデリングして、各色チャンネルの基底画像係数間で相関性を有し、かつ、全ての色チャンネルの基底画像係数間で空間的な相関性を有するという拘束条件の下に、各色チャンネルのブロック単位の基底画像を学習する。
【０１３６】
具体的には、学習部１５２は、各色チャンネルのブロックと、各色チャンネルの基底画像係数間の相関性と全ての色チャンネルの基底画像係数間の空間的な相関性とを表す項を含むコスト関数とを用いて、各色チャンネルのブロック単位の基底画像を学習する。学習部１５２は、学習された各色チャンネルのブロック単位の基底画像を記憶部１５３に供給し、記憶させる。
【０１３７】
［拘束条件の説明］
図１４は、図１３の学習部１５２による学習時の拘束条件を説明する図である。
【０１３８】
学習部１５２は、各色チャンネルの基底画像係数間で相関性を有し、全ての色チャンネルの基底画像係数間で空間的な相関性を有する基底画像を学習する。そのため、学習部１５２は、図１４に示すように、Rの色チャンネルのブロック単位の基底画像１７１Ａ、その基底画像１７１Ａを中心とした3×3個のブロック単位の基底画像からなる基底画像群１７１、Bの色チャンネルの基底画像群１７１と同一の位置の基底画像群１７２、およびGの色チャンネルの基底画像群１７１と同一の位置の基底画像群１７３の基底画像係数が同様の疎表現を有するという拘束条件をコスト関数の演算時に与える。
【０１３９】
具体的には、学習部１５２は、以下の式（１２）によりコスト関数を定義する。
【０１４０】
【数６】
2014063359.tif 000008
【０１４１】
なお、式（１２）において、DＲ,DＧ,DＢは、それぞれ、R,G,Bの色チャンネルのブロック単位基底画像行列であり、αＲ,αＧ,αＢは、それぞれ、R,G,Bの色チャンネルのブロック単位基底画像係数ベクトルである。また、R,G,Bは、それぞれ、R,G,Bの色チャンネルの学習用色画像ベクトルであり、μは予め設定されたパラメータである。
【０１４２】
さらに、h(i,j)は、相関係数である。αＲｊ,αＧｊ,αＢｊは、それぞれ、R,G,Bの色チャンネルのi番目（i=1,…,基底画像数n）のブロック単位の基底画像を中心とした3×3個のブロック単位の基底画像のうちのｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数である。また、a,y,bは、予め設定されたパラメータである。
【０１４３】
従って、式（１２）の右辺のargmin()内の第４項は、各色チャンネルの基底画像係数間の相関性と全ての色チャンネルの基底画像係数間の空間的な相関性を表す項である。
【０１４４】
［学習装置の処理の説明］
図１５は、図１３の学習装置１５０の学習処理を説明するフローチャートである。この学習処理は、例えば、外部から全ての学習用の輝度画像の静止画像が学習装置１０に入力されたとき、オフラインで行われる。
【０１４５】
図１５のステップＳ９１において、分割部１５１は、色チャンネルごとに、外部から入力された学習用の色画像の静止画像を所定のサイズのブロックに分割し、学習部１５２に供給する。ステップＳ９２において、学習部１２は、学習の繰り返し回数Nを１に設定する。以降のステップＳ９３乃至Ｓ９７およびステップＳ９９の処理は、全ての学習用の輝度画像の静止画像の全てのブロックに対して、ブロックごとに行われる。
【０１４６】
ステップＳ９３において、学習部１５２は、各色チャンネルのブロック単位基底画像行列を初期値に設定する。
【０１４７】
ステップＳ９４において、学習部１５２は、設定された各色チャンネルのブロック単位基底画像行列と、分割部１１から供給される各色チャンネルのブロックとを用いて、各色チャンネルのΔαを計算する。具体的には、学習部１５２は、式（１２）で定義されるコスト関数を各色チャンネルのブロック単位基底画像係数ベクトルに対して偏微分した式により、各色チャンネルのブロック単位基底画像行列と各色チャンネルのブロックとを用いて、各色チャンネルのΔαを計算する。
【０１４８】
ステップＳ９５において、学習部１５２は、ステップＳ９４で計算された各色チャンネルのΔαを用いて、色チャンネルごとに、上述した式（７）により各色チャンネルのブロック単位基底画像係数ベクトルを更新する。
【０１４９】
ステップＳ９６において、学習部１５２は、ステップＳ９５で更新された各色チャンネルのブロック単位基底画像係数ベクトルと各色チャンネルのブロックとを用いて、各色チャンネルのΔDを計算する。具体的には、学習部１５２は、式（１２）で定義されるコスト関数を各色チャンネルのブロック単位基底画像行列に対して偏微分した式により、各色チャンネルのブロック単位基底画像係数ベクトルと各色チャンネルのブロックとを用いて、各色チャンネルのΔDを計算する。
【０１５０】
ステップＳ９７において、学習部１５２は、ステップＳ９６で計算された各色チャンネルのΔDを用いて、色チャンネルごとに、上述した式（９）により各色チャンネルのブロック単位基底画像行列を更新する。ステップＳ９８において、学習部１５２は、学習の繰り返し回数Nを1だけインクリメントする。
【０１５１】
ステップＳ９９において、学習部１５２は、ステップＳ９５で更新された各色チャンネルのブロック単位基底画像係数ベクトル、ステップＳ９７で更新された各色チャンネルのブロック単位基底画像行列、および、各色チャンネルのブロックを用いて、上述した式（１２）によりコスト関数を求める。
【０１５２】
ステップＳ１００およびＳ１０１の処理は、図７のステップＳ２０およびＳ２１の処理と同様であるので、説明は省略する。
【０１５３】
ステップＳ１０２において、学習部１５２は、直前のステップＳ９７で更新された各色チャンネルのブロック単位基底画像行列を構成するブロック単位の基底画像を記憶部１５３に供給し、記憶させる。
【０１５４】
以上のように、学習装置１５０におけるコスト関数は、学習装置１０の場合と同様に全ての色チャンネルの基底画像係数間の空間的な相関性を表すだけでなく、各色チャンネルの基底画像係数間の相関性も表す項を含む。従って、人間の視覚系に近いだけでなく、偽色の発生を抑制するモデルを用いて基底画像を学習することができる。その結果、より正確な基底画像を学習することができる。
【０１５５】
［画像生成装置の構成例］
図１６は、図１３の学習装置１５０により学習された各色チャンネルの基底画像を用いて画像を生成する、本技術を適用した出力装置の第２実施の形態としての画像生成装置の構成例を示すブロック図である。
【０１５６】
図１６の画像生成装置１９０は、分割部１９１、記憶部１９２、演算部１９３、および生成部１９４により構成され、外部から劣化画像として入力される色画像の静止画像に対してスパースコーディングを行うことにより、復元画像を生成する。
【０１５７】
具体的には、画像生成装置１９０の分割部１９１には、外部から色画像の静止画像が劣化画像として入力される。分割部１９１は、外部から入力された劣化画像を、色チャンネルごとに図１３の分割部１５１と同様に所定のサイズのブロックに分割し、演算部１９３に供給する。
【０１５８】
記憶部１９２は、図１３の学習装置１５０により学習され、記憶部１５３に記憶された各色チャンネルのブロック単位の基底画像を記憶する。
【０１５９】
演算部１９３は、記憶部１９２から各色チャンネルのブロック単位の基底画像を読み出す。演算部１９３は、分割部１９１から供給される劣化画像のブロックごとに、コスト関数が所定の閾値より小さくなるように、各色チャンネルのブロック単位基底画像係数ベクトルを演算する。このコスト関数は、読み出された各色チャンネルのブロック単位の基底画像からなるブロック単位基底画像行列を用いて、上述した式（１２）のR,G,BをそれぞれR,G,Bの色チャンネルの劣化画像ベクトルにした式により定義される。演算部１９３は、各色チャンネルのブロック単位基底画像係数ベクトルを生成部１９４に供給する。
【０１６０】
生成部１９４は、記憶部１９２から各色チャンネルのブロック単位の基底画像を読み出す。生成部１９４は、各色チャンネルのブロックごとに、演算部８３から供給される各色チャンネルのブロック単位基底画像係数ベクトルと、読み出された各色チャンネルのブロック単位の基底画像からなるブロック単位基底画像行列とを用いて、上述した式（１０）の輝度画像を各色チャンネルの色画像にした式により、色画像の静止画像を生成する。
【０１６１】
生成部１９４は、各色チャンネルのブロックの色画像の静止画像から、各色チャンネルの１枚の色画像の静止画像を生成し、復元画像として出力する。
【０１６２】
[画像生成装置の処理の説明]
図１７は、図１６の画像生成装置１９０の生成処理を説明するフローチャートである。この生成処理は、例えば、外部から劣化画像として各色チャンネルの色画像の静止画像が入力されたとき、開始される。
【０１６３】
図１７のステップＳ１１１において、画像生成装置１９０の分割部１９１は、外部から劣化画像として入力された各色チャンネルの色画像の静止画像を、色チャンネルごとに図１３の分割部１５１と同様に所定のサイズのブロックに分割し、演算部１９３に供給する。なお、以降のステップＳ１１２乃至Ｓ１２１の処理は、ブロック単位で行われる。
【０１６４】
ステップＳ１１２において、演算部１９３は、ブロック単位基底画像係数ベクトルの演算の繰り返し回数Mを1に設定する。
【０１６５】
ステップＳ１１３において、演算部１９３は、記憶部１９２から各色チャンネルのブロック単位の基底画像を読み出す。
【０１６６】
ステップＳ１１４において、演算部１９３は、読み出された各色チャンネルのブロック単位の基底画像からなるブロック単位基底画像行列と、分割部１９１から供給される各色チャンネルのブロックとを用いて、Δαを計算する。具体的には、演算部１９３は、式（１２）で定義されるコスト関数を各色チャンネルのブロック単位基底画像係数ベクトルに対して偏微分し、Yを劣化画像ベクトルにした式により、各色チャンネルのブロック単位基底画像行列と各色チャンネルのブロックとを用いて、各色チャンネルのΔαを計算する。
【０１６７】
ステップＳ１１５において、演算部１９３は、ステップＳ１１４で計算されたΔαを用いて、色チャンネルごとに、上述した式（７）により各色チャンネルのブロック単位基底画像係数ベクトルを更新する。ステップＳ１１６において、演算部１９３は、繰り返し回数Mを1だけインクリメントする。
【０１６８】
ステップＳ１１７において、演算部１９３は、ステップＳ１１５で更新された各色チャンネルのブロック単位基底画像係数ベクトル、各色チャンネルのブロック単位基底画像行列、および、劣化画像の各色チャンネルのブロックを用いて、上述した式（１２）のYを劣化画像ベクトルにした式によりコスト関数を求める。
【０１６９】
ステップＳ１１８およびＳ１１９の処理は、図１７のステップＳ４８およびＳ４９の処理と同様であるので、説明は省略する。
【０１７０】
ステップＳ１２０において、生成部１９４は、記憶部１９２から各色チャンネルのブロック単位の基底画像を読み出す。ステップＳ１２１において、生成部１９４は、読み出された各色チャンネルのブロック単位の基底画像からなるブロック単位基底画像行列と、演算部１９３から供給される各色チャンネルのブロック単位基底画像係数ベクトルとを用いて、上述した式（１０）の輝度画像を各色チャンネルの色画像にした式により、各色チャンネルのブロック単位の色画像の静止画像を生成する。
【０１７１】
ステップＳ１２２において、生成部１９４は、ブロックの分割方法に応じて、色チャンネルごとに、ブロック単位の色画像の静止画像から１枚の色画像の静止画像を生成する。ステップＳ１２３において、生成部１９４は、生成された各色チャンネルの１枚の色画像の静止画像を復元画像として出力し、処理を終了する。
【０１７２】
以上のように、画像生成装置１９０は、学習装置１５０により学習された基底画像を得て、その基底画像、劣化画像、および学習装置１０の場合と同様に全ての色チャンネルの基底画像係数間の空間的な相関性を表すだけでなく、各色チャンネルの基底画像係数間の相関性も表す項を含むコスト関数に基づいて、基底画像係数を演算する。従って、画像生成装置８０は、人間の視覚系に近いだけでなく、偽色の発生を抑制するモデルの基底画像と基底画像係数を得ることができる。よって、画像生成装置８０は、得られた基底画像と基底画像係数を用いて、偽色の発生が抑制された高画質な復元画像を生成することができる。
【０１７３】
なお、第２実施の形態において、コスト関数は、各色チャンネルの基底画像係数間の相関性のみを表す項を含むようにしてもよい。また、第２実施の形態においても、第１実施の形態と同様に、復元画像を生成しながら基底画像を学習することもできる。さらに、第２実施の形態において、学習用の画像および劣化画像は、動画像であってもよい。
【０１７４】
＜第３実施の形態＞
[学習装置の構成例］
図１８は、本技術を適用した信号処理装置の第３実施の形態としての学習装置の構成例を示すブロック図である。
【０１７５】
図１８に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１７６】
図１８の学習装置２１０の構成は、帯域分割部２１１が新たに設けられる点、学習部１２の代わりに学習部２１２が設けられ、記憶部１３の代わりに記憶部２１３が設けられる点が図２の構成と異なる。学習装置２１０は、帯域分割された学習用の輝度画像の静止画像を用いて、各帯域の基底画像係数間で相関性を有し、かつ、全ての帯域の基底画像係数間で空間的な相関性を有するように、基底画像を学習する。
【０１７７】
具体的には、帯域分割部２１１は、分割部１１により分割されたブロックを、高域（高解像度）、中域（中解像度）、および低域（低解像度）に帯域分割して、高域、中域、および低域のブロックを生成し、学習部２１２に供給する。
【０１７８】
学習部２１２は、帯域分割部２１１から供給される高域、中域、および低域のブロックを上述した式（１）によりモデリングして、各帯域の基底画像係数間で相関性を有し、かつ、全ての帯域の基底画像係数間で空間的な相関性を有するという拘束条件の下に、各帯域のブロック単位の基底画像を学習する。
【０１７９】
具体的には、学習部２１２は、各帯域のブロックと、各帯域の基底画像係数間の相関性と全ての帯域の基底画像係数間の空間的な相関性とを表す項を含むコスト関数とを用いて、各帯域のブロック単位の基底画像を学習する。学習部２１２は、学習された各帯域のブロック単位の基底画像を記憶部２１３に供給し、記憶させる。
【０１８０】
[帯域分割部の構成例]
図１９は、図１８の帯域分割部２１１の構成例を示すブロック図である。
【０１８１】
図１９に示すように、帯域分割部２１１は、ローパスフィルタ２３１およびローパスフィルタ２３２、並びに、減算部２３３および減算部２３４により構成される。
【０１８２】
ローパスフィルタ２３１には、分割部１１により分割されたブロックが入力される。ローパスフィルタ２３１は、入力されたブロックのうちの低域のブロックを抽出し、ローパスフィルタ２３２、減算部２３３、および減算部２３４に供給する。
【０１８３】
ローパスフィルタ２３２は、ローパスフィルタ２３１から供給される低域のブロックのうちのさらに低域のブロックを抽出する。ローパスフィルタ２３２は、抽出された低域のブロックを減算部２３４と学習部２１２（図１８）に供給する。
【０１８４】
減算部２３３は、分割部１１から入力されたブロックから、ローパスフィルタ２３１から供給される低域のブロックを減算し、その結果得られる高域のブロックを学習部２１２に供給する。
【０１８５】
減算部２３４は、ローパスフィルタ２３１から供給される低域のブロックから、ローパスフィルタ２３２から供給されるより低域のブロックを減算し、その結果得られる高域と低域の間の帯域のブロックを、中域のブロックとして学習部２１２に供給する。
【０１８６】
［拘束条件の説明］
図２０は、図１８の学習部２１２による学習時の拘束条件を説明する図である。
【０１８７】
学習部２１２は、各帯域の基底画像係数間で相関性を有し、全ての帯域の基底画像係数間で空間的な相関性を有する基底画像を学習する。そのため、学習部２１２は、図２０に示すように、低域のブロック単位の基底画像２４１Ａ、その基底画像２４１Ａを中心とした3×3個のブロック単位の基底画像からなる基底画像群２４１、基底画像群２４１の各基底画像に対応する中域の3×3個のブロック単位の基底画像からなる基底画像群２４２、および基底画像群２４１の各基底画像に対応する高域の5×6個のブロック単位の基底画像からなる基底画像群２４３の基底画像係数が同様の疎表現を有するという拘束条件をコスト関数の演算時に与える。
【０１８８】
具体的には、学習部２１２は、以下の式（１３）によりコスト関数を定義する。
【０１８９】
【数７】
2014063359.tif 000009
【０１９０】
なお、式（１３）において、DH,DM,DＬは、それぞれ、高域、中域、低域のブロック単位基底画像行列であり、αH,αM,αＬは、それぞれ、高域、中域、低域のブロック単位基底画像係数ベクトルである。また、H,M,Loは、それぞれ、高域、中域、低域の学習用輝度画像ベクトルであり、μ１乃至μ３は予め設定されたパラメータである。
【０１９１】
さらに、h(i,j)は、相関係数である。h(i,j,k)は、所定の帯域のｉ番目（i=1,…,基底画像数n）のブロック単位の基底画像の基底画像係数、所定の帯域のｉ番目のブロック単位の基底画像を中心とした3×3個のブロック単位の基底画像のうちのｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数、および所定の帯域のｉ番目のブロック単位の基底画像に対応する、その帯域より高い帯域のブロック単位の基底画像のうちのk番目のブロック単位の基底画像の基底画像係数の相関関係を表す係数である。
【０１９２】
また、h(i,j,k,m)は、低域のｉ番目（i=1,…,基底画像数n）のブロック単位の基底画像の基底画像係数、低域のｉ番目のブロック単位の基底画像を中心とした3×3個のブロック単位の基底画像のうちのｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数、低域のｉ番目のブロック単位の基底画像に対応する3×3個の中域の基底画像のうちのk番目(k=1,・・・,9)のブロック単位の基底画像の基底画像係数、および低域のi番目のブロック単位の基底画像に対応する5×6個の高域の基底画像のうちのm番目(m=1,・・・,30)のブロック単位の基底画像の基底画像係数の相関関係を表す係数である。
【０１９３】
αＬｊ,αMｊ,αＨｊは、それぞれ、低域、中域、高域のｉ番目（i=1,…,基底画像数n）のブロック単位の基底画像を中心とした3×3個のブロック単位の基底画像のうちのｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数である。また、αＭｋ,αＨｋは、それぞれ、低域、中域のｉ番目（i=1,…,基底画像数n）のブロック単位の基底画像に対応する1つ上の帯域（中域、高域）のブロック単位の基底画像のうちのk番目のブロック単位の基底画像の基底画像係数である。
【０１９４】
また、αＨｍは、低域のｉ番目（i=1,…,基底画像数n）のブロック単位の基底画像に対応する高域の5×6個のブロック単位の基底画像のうちのm番目(m=1,・・・,30)のブロック単位の基底画像の基底画像係数である。さらに、a,y,bは、予め設定されたパラメータである。従って、式（１３）の右辺のargmin()内の第４項および第５項は、各帯域の基底画像係数間の相関性を表す項である。
【０１９５】
［学習装置の処理の説明］
図２１は、図１８の学習装置２１０の学習処理を説明するフローチャートである。この学習処理は、例えば、外部から全ての学習用の輝度画像の静止画像が学習装置２１０に入力されたとき、オフラインで行われる。
【０１９６】
図２１のステップＳ１３０において、分割部１１は、外部から入力された学習用の輝度画像の静止画像を所定のサイズのブロックに分割し、帯域分割部２１１に供給する。ステップＳ１３１において、帯域分割部２１１は、分割部１１から供給されるブロックを、高域、中域、および低域に帯域分割し、学習部２１２に供給する。
【０１９７】
ステップＳ１３２乃至Ｓ１４２の処理は、色チャンネルが帯域に変わった点、および、コスト関数を定義する式が式（１２）ではなく式（１３）である点を除いて、図１５のステップＳ９２乃至Ｓ１０２の処理と同様であるので、説明は省略する。
【０１９８】
以上のように、学習装置２１０におけるコスト関数は、学習装置１０の場合と同様に全ての帯域の基底画像係数間の空間的な相関性を表すだけでなく、各帯域の基底画像係数間の相関性も表す項を含む。従って、人間の視覚系に近いだけでなく、テクスチャやエッジなど重要な部分の画質を向上させるモデルを用いて基底画像を学習することができる。その結果、より正確な基底画像を学習することができる。
【０１９９】
［画像生成装置の構成例］
図２２は、図１８の学習装置２１０により学習された各帯域の基底画像を用いて画像を生成する、本技術を適用した出力装置の第３実施の形態としての画像生成装置の構成例を示すブロック図である。
【０２００】
図２２に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２０１】
図２２の画像生成装置２５０の構成は、帯域分割部２５１が新たに設けられる点、および記憶部８２、演算部８３、生成部８４の代わりに、記憶部２５２、演算部２５３、生成部２５４が設けられる点が図８の構成と異なる。画像生成装置２５０は、外部から劣化画像として入力される輝度画像の静止画像に対して帯域ごとにスパースコーディングを行うことにより、復元画像を生成する。
【０２０２】
具体的には、画像生成装置２５０の帯域分割部２５１は、図１９の帯域分割部２１１と同様に構成され、分割部８１により分割されたブロックを、高域、中域、および低域に帯域分割し、演算部２５３に供給する。
【０２０３】
記憶部２５２は、図１８の学習装置２１０により学習され、記憶部２１３に記憶された各帯域のブロック単位の基底画像を記憶する。
【０２０４】
演算部２５３は、記憶部２５２から各帯域のブロック単位の基底画像を読み出す。演算部２５３は、帯域分割部２５１から供給される劣化画像のブロックごとに、コスト関数が所定の閾値より小さくなるように、各帯域のブロック単位基底画像係数ベクトルを演算する。このコスト関数は、読み出された各帯域のブロック単位の基底画像からなるブロック単位基底画像行列を用いて、上述した式（１３）のH,M,Loをそれぞれ高域、中域、低域の劣化画像ベクトルにした式により定義される。演算部２５３は、各帯域のブロック単位基底画像係数ベクトルを生成部２５４に供給する。
【０２０５】
生成部２５４は、記憶部２５２から各帯用のブロック単位の基底画像を読み出す。生成部２５４は、各帯域のブロックごとに、演算部２５３から供給される各帯域のブロック単位基底画像係数ベクトルと、読み出された各帯域のブロック単位の基底画像からなるブロック単位基底画像行列とを用いて、上述した式（１０）により輝度画像の静止画像を生成する。
【０２０６】
生成部２５４は、各帯域のブロックの輝度画像の静止画像を合成することにより、１枚の全帯域の輝度画像の静止画像を生成し、復元画像として出力する。
【０２０７】
［生成部の構成例］
図２３は、図２２の生成部２５４の構成例を示すブロック図である。
【０２０８】
図２３の生成部２５４は、輝度画像生成部２７１と加算部２７２により構成される。
【０２０９】
生成部２５４の輝度画像生成部２７１は、図２２の記憶部２５２から各帯域用のブロック単位の基底画像を読み出す。輝度画像生成部２７１は、各帯域のブロックごとに、演算部２５３から供給される各帯域のブロック単位基底画像係数ベクトルと、読み出された各帯域のブロック単位の基底画像からなるブロック単位基底画像行列とを用いて、上述した式（１０）により輝度画像の静止画像を生成する。
【０２１０】
輝度画像生成部２７１は、帯域ごとに、各ブロックのブロック単位の輝度画像の静止画像を合成することにより、各帯域の1枚の輝度画像の静止画像を生成する。輝度画像生成部２７１は、生成された高域、中域、および低域の1枚の輝度画像の静止画像を加算部２７２に供給する。
【０２１１】
加算部２７２は、輝度画像生成部２７１から供給される高域、中域、および低域の1枚の輝度画像の静止画像を加算し、その結果得られる全帯域の1枚の輝度画像の静止画像を復元画像として出力する。
【０２１２】
［画像生成装置の処理の説明］
図２４は、図２２の画像生成装置２５０の生成処理を説明するフローチャートである。この生成処理は、例えば、外部から劣化画像として輝度画像の静止画像が入力されたとき、開始される。
【０２１３】
図２４のステップＳ１５０において、分割部８１は、外部から劣化画像として入力された輝度画像の静止画像を、図１８の分割部１１と同様に所定のサイズのブロックに分割し、帯域分割部２５１に供給する。ステップＳ１５１において、帯域分割部２５１は、分割部８１から供給されるブロックを、高域、中域、および低域に帯域分割し、演算部２５３に供給する。
【０２１４】
ステップＳ１５２乃至Ｓ１６３の処理は、色チャンネルが帯域に変わった点、および、コスト関数を定義する式が式（１２）ではなく式（１３）のH,M,Loをそれぞれ高域、中域、低域の劣化画像ベクトルにした式である点を除いて、図１７のステップＳ１１２乃至Ｓ１２３の処理と同様であるので、説明は省略する。
【０２１５】
以上のように、画像生成装置２５０は、学習装置２１０により学習された基底画像を得て、その基底画像、劣化画像、および学習装置１０の場合と同様に全ての帯域の基底画像係数間の空間的な相関性を表すだけでなく、各帯域の基底画像係数間の相関性も表す項を含むコスト関数に基づいて、基底画像係数を演算する。従って、画像生成装置２５０は、人間の視覚系に近いだけでなく、テクスチャやエッジなどの重要な部分の画質を向上させるモデルの基底画像と基底画像係数を得ることができる。よって、画像生成装置２５０は、得られた基底画像と基底画像係数を用いて、テクスチャやエッジなどの重要な部分の画質が向上した高画質な復元画像を生成することができる。
【０２１６】
なお、第３実施の形態において、コスト関数は、各帯域の基底画像係数間の相関性のみを表す項を含むようにしてもよい。また、第３実施の形態においても、第１実施の形態と同様に、復元画像を生成しながら基底画像を学習することもできる。
【０２１７】
また、第３実施の形態では、輝度画像の静止画像が、高域、中域、および低域の３つの帯域に分割されたが、帯域分割の数は３つに限定されない。また、ローパスフィルタ２３１（２３２）の通過帯域は限定されない。
【０２１８】
さらに、第３実施の形態では、学習用の画像および劣化画像が輝度画像の静止画像であったが、色画像の静止画像であってもよい。この場合、色チャンネルごとに学習処理や生成処理が行われる。また、学習用の画像および劣化画像は、動画像であってもよい。
【０２１９】
＜第４実施の形態＞
［学習装置の構成例］
図２５は、本技術を適用した信号処理装置の第４実施の形態としての学習装置の構成例を示すブロック図である。
【０２２０】
図２５の学習装置２９０は、分割部２９１、学習部２９２、および記憶部２９３により構成される。学習装置２９０は、学習用の輝度画像の動画像を用いて、連続する３フレームの基底画像係数間で時間的な相関性を有し、かつ、空間的な相関性を有するように、基底画像を学習する。
【０２２１】
具体的には、分割部２９１には、外部から大量の画質劣化のない学習用の輝度画像の動画像が入力される。分割部２９１は、フレームごとに、学習用の輝度画像の動画像を所定のサイズのブロックに分割し、学習部２９２に供給する。
【０２２２】
学習部２９２は、分割部２９１から供給される各フレームのブロックを上述した式（１）によりモデリングして、連続する３フレームの基底画像係数間で時間的な相関性を有し、かつ、空間的な相関性を有するという拘束条件の下に、連続する３フレームの各フレームのブロック単位の基底画像を学習する。
【０２２３】
具体的には、学習部２９２は、連続する３フレームの各フレームのブロックと、連続する３フレームの基底画像係数間の時間的な相関性と空間的な相関性とを表す項を含むコスト関数とを用いて、連続する３フレームの各フレームのブロック単位の基底画像を学習する。学習部２９２は、学習された連続する３フレームの各フレームのブロック単位の基底画像を記憶部２９３に供給し、記憶させる。
【０２２４】
［拘束条件の説明］
図２６は、図２５の学習部２９２による学習時の拘束条件を説明する図である。
【０２２５】
なお、図２６において、横軸は、先頭からのフレーム数を表している。
【０２２６】
学習部２９２は、連続する３フレームの各フレームの基底画像係数間で相関性を有し、連続する３フレームの基底画像係数間で空間的な相関性を有する基底画像を学習する。そのため、学習部２９２は、図２６に示すように、t番目（t=1,2,・・・,動画像のフレーム数T/3）のフレームのブロック単位の基底画像３１１Ａ、その基底画像３１１Ａを中心とした3×3個のブロック単位の基底画像からなる基底画像群３１１、t-1番目のフレームの基底画像群３１１と同一の位置の基底画像群３１２、およびt+1番目のフレームの基底画像群３１１と同一の位置の基底画像群３１３の基底画像係数が同様の疎表現を有するという拘束条件をコスト関数の演算時に与える。
【０２２７】
具体的には、学習部２９２は、以下の式（１４）によりコスト関数を定義する。
【０２２８】
【数８】
2014063359.tif 000010
【０２２９】
なお、式（１４）において、Dｔ−１,Dｔ,Dｔ＋１は、それぞれ、t-1,t,t+1番目のフレームのブロック単位基底画像行列であり、αｔ−１,αｔ,αｔ＋１は、それぞれ、t-1,t,t+1番目のフレームのブロック単位基底画像係数ベクトルである。また、Yｔ−１,Yｔ,Yｔ＋１は、それぞれ、t-1,t,t+1番目のフレームの学習用輝度画像ベクトルであり、μは予め設定されたパラメータである。h(i,j)は相関係数である。
【０２３０】
また、αｔ−１ｊ,αｔｊ,αｔ＋１ｊは、それぞれ、t-1,t,t+1番目のフレームのi番目（i=1,…,基底画像数n）のブロック単位の基底画像を中心とした3×3個のブロック単位の基底画像のうちのｊ番目(j=1,・・・,9)のブロック単位の基底画像の基底画像係数である。a,y,bは、予め設定されたパラメータである。
【０２３１】
従って、式（１４）の右辺のargmin()内の第４項は、連続する３フレームの基底画像係数間の時間的な相関性と空間的な相関性を表す項である。
【０２３２】
［学習装置の処理の説明］
学習装置２９０の学習処理は、各色チャンネルが連続する３フレームの各フレームに変わった点、および、コスト関数を定義する式が式（１２）ではなく式（１４）である点を除いて、図１５の学習処理と同一であるので、図示および説明は省略する。
【０２３３】
以上のように、学習装置２９０におけるコスト関数は、学習装置１０の場合と同様に連続する３フレームの基底画像係数間の空間的な相関性を表すだけでなく、時間的な相関性も表す項を含む。従って、人間の視覚系に近いだけでなく、フレーム間のバタツキを低減し、動画像を滑らかにするモデルを用いて基底画像を学習することができる。その結果、より正確な基底画像を学習することができる。
【０２３４】
［画像生成装置の構成例］
図２７は、図２５の学習装置２９０により学習された連続する３フレームの各フレームの基底画像を用いて画像を生成する、本技術を適用した出力装置の第４実施の形態としての画像生成装置の構成例を示すブロック図である。
【０２３５】
図２７の画像生成装置３３０は、分割部３３１、記憶部３３２、演算部３３３、および生成部３３４により構成され、外部から劣化画像として入力される輝度画像の動画像に対してスパースコーディングを行うことにより、復元画像を生成する。
【０２３６】
具体的には、画像生成装置３３０の分割部３３１には、外部から輝度画像の動画像が劣化画像として入力される。分割部３３１は、外部から入力された劣化画像を、フレームごとに図２５の分割部２９１と同様に所定のサイズのブロックに分割し、演算部３３３に供給する。
【０２３７】
記憶部３３２は、図２５の学習装置２９０により学習され、記憶部２９３に記憶された連続する３フレームの各フレームのブロック単位の基底画像を記憶する。
【０２３８】
演算部３３３は、記憶部３３２から連続する３フレームの各フレームのブロック単位の基底画像を読み出す。演算部３３３は、分割部３３１から供給される３フレーム分の劣化画像のブロックごとに、コスト関数が所定の閾値より小さくなるように、各フレームのブロック単位基底画像係数ベクトルを演算する。このコスト関数は、読み出された連続する３フレームの各フレームのブロック単位の基底画像からなるブロック単位基底画像行列を用いて、上述した式（１４）のYｔ−１,Yｔ,Yｔ＋１をそれぞれt-1,t,t+1番目のフレームの劣化画像ベクトルにした式により定義される。演算部３３３は、連続する３フレームの各フレームのブロック単位基底画像係数ベクトルを生成部３３４に供給する。
【０２３９】
生成部３３４は、記憶部３３２から連続する３フレームの各フレームのブロック単位の基底画像を読み出す。生成部３３４は、連続する３フレームの各フレームのブロックごとに、演算部３３３から供給される連続する３フレームの各フレームのブロック単位基底画像係数ベクトルと、読み出された連続する３フレームの各フレームのブロック単位の基底画像からなるブロック単位基底画像行列とを用いて、上述した式（１０）により、輝度画像の動画像を生成する。
【０２４０】
生成部３３４は、連続する３フレームの各フレームのブロックの輝度画像の動画像から、連続する３フレームの輝度画像の動画像を生成し、連続する３フレームの復元画像として出力する。
【０２４１】
[画像生成装置の処理の説明]
図２７の画像生成装置３３０の生成処理は、各色チャンネルが連続する３フレームの各フレームに変わった点、および、コスト関数を定義する式が式（１２）ではなく式（１４）のYｔ−１,Yｔ,Yｔ＋１をそれぞれt-1,t,t+1番目のフレームの劣化画像ベクトルにした式である点を除いて、図１７の生成処理と同一であるので、図示および説明は省略する。
【０２４２】
以上のように、画像生成装置３３０は、学習装置２９０により学習された基底画像を得て、その基底画像、劣化画像、および学習装置１０の場合と同様に連続する３フレームの基底画像係数間の空間的な相関性を表すだけでなく、時間的な相関性も表す項を含むコスト関数に基づいて、基底画像係数を演算する。従って、画像生成装置３３０は、人間の視覚系に近いだけでなく、フレーム間のバタツキを低減し、動画像を滑らかにするモデルの基底画像と基底画像係数を得ることができる。よって、画像生成装置３３０は、得られた基底画像と基底画像係数を用いて、フレーム間のバタツキが低減された滑らかで高画質な復元画像を生成することができる。
【０２４３】
なお、第４実施の形態において、コスト関数は、連続する３フレームの基底画像係数間の時間的な相関性のみを表す項を含むようにしてもよい。また、第４実施の形態においても、第１実施の形態と同様に、復元画像を生成しながら基底画像を学習することもできる。
【０２４４】
また、第４実施の形態では、学習用の画像および劣化画像が輝度画像の動画像であったが、色画像の動画像であってもよい。
【０２４５】
この場合、色画像の動画像の各フレームが色チャンネルごとに所定のサイズのブロックに分割される。そして、色チャンネルごとにコスト関数が定義される。その結果、学習装置２９０は、色チャンネルごとに連続する３フレームの各フレームのブロック単位の基底画像を学習し、画像生成装置３３０は、色チャンネルごとに色画像の動画像を生成する。
【０２４６】
さらに、第４実施の形態では、連続する３フレームの基底画像係数間で時間的な相関性を有するようにしたが、時間的な相関性を有する基底画像係数のフレーム数は３フレームに限定されない。
【０２４７】
＜第５実施の形態＞
[学習装置の構成例］
図２８は、本技術を適用した信号処理装置の第５実施の形態としての学習装置の構成例を示すブロック図である。
【０２４８】
図２８の学習装置３５０は、分割部３５１、帯域分割部３５２、学習部３５３、および記憶部３５４により構成される。学習装置３５０は、帯域分割された学習用のオーディオ信号を用いて、各帯域の基底オーディオ係数間で相関性を有し、かつ、全ての帯域の基底オーディオ係数間で空間的な相関性を有するように、基底オーディオ信号を学習する。
【０２４９】
具体的には、分割部３５１には、外部から大量の音質劣化のない学習用のオーディオ信号が入力される。分割部３５１は、学習用のオーディオ信号を所定の区間のブロック（フレーム）に分割し、帯域分割部３５２に供給する。
【０２５０】
帯域分割部３５２は、図１９の帯域分割部２１１と同様に構成され、分割部３５１から供給されるブロックを、高域、中域、および低域に帯域分割し、学習部３５３に供給する。
【０２５１】
学習部３５３は、帯域分割部３５２から供給される高域、中域、および低域のブロックを上述した式（１）の画像をオーディオ信号にした式によりモデリングして、各帯域の基底オーディオ係数（詳細は後述する）間で相関性を有し、かつ、全ての帯域の基底オーディオ係数間で空間的な相関性を有するという拘束条件の下に、各帯域のブロック単位の基底オーディオ信号を学習する。
【０２５２】
具体的には、学習部３５３は、各帯域のブロックと、各帯域の基底オーディオ係数間の相関性と全ての帯域の基底オーディオ係数間の空間的な相関性とを表す項を含むコスト関数とを用いて、各帯域のブロック単位の基底オーディオ信号を学習する。このコスト関数は、上述した式（１３）の画像をオーディオ信号にした式で定義される。
【０２５３】
即ち、学習部３５３におけるコスト関数を定義する式において、DH,DM,DＬは、それぞれ、高域、中域、低域のブロック単位の基底オーディオ信号の各サンプリング値を列方向に並べたものを、基底オーディオ信号ごとに行方向に並べた行列（以下、ブロック単位基底オーディオ行列という）である。αH,αM,αＬは、それぞれ、高域、中域、低域のブロック単位の各基底オーディオ信号の係数である基底オーディオ係数を列方向に並べたベクトル（以下、ブロック単位基底オーディオ係数ベクトルという）である。また、H,M,Loは、それぞれ、高域、中域、低域の学習用のオーディオ信号の各サンプリング値を列方向に並べたベクトル(以下、学習用音声ベクトルという)であり、μ１乃至μ３は予め設定されたパラメータである。
【０２５４】
さらに、h(i,j)は、ｉ番目（i=1,…,基底オーディオ信号数n）のブロック単位の基底オーディオ信号の基底オーディオ係数と、ｉ番目のブロック単位の基底オーディオ信号を中心とした3×3個のブロック単位の基底オーディオ信号のうちのｊ番目(j=1,・・・,9)のブロック単位の基底オーディオ信号の基底オーディオ係数との相関関係を表す係数である。h(i,j,k)は、所定の帯域のｉ番目（i=1,…,基底オーディオ信号数n）のブロック単位の基底オーディオ信号の基底オーディオ係数、所定の帯域のｉ番目のブロック単位の基底オーディオ信号を中心とした3×3個のブロック単位の基底オーディオ信号のうちのｊ番目(j=1,・・・,9)のブロック単位の基底オーディオ信号の基底オーディオ係数、および所定の帯域のｉ番目のブロック単位の基底オーディオ信号に対応する、その帯域より高い帯域のブロック単位の基底オーディオ信号のうちのk番目のブロック単位の基底オーディオ信号の基底オーディオ係数の相関関係を表す係数である。
【０２５５】
また、h(i,j,k,m)は、低域のｉ番目（i=1,…,基底オーディオ信号数n）のブロック単位の基底オーディオ信号の基底オーディオ係数、低域のｉ番目のブロック単位の基底オーディオ信号を中心とした3×3個のブロック単位の基底オーディオ信号のうちのｊ番目(j=1,・・・,9)のブロック単位の基底オーディオ信号の基底オーディオ係数、低域のｉ番目のブロック単位の基底オーディオ信号に対応する3×3個の中域の基底オーディオ信号のうちのk番目(k=1,・・・,9)のブロック単位の基底オーディオ信号の基底オーディオ係数、および低域のi番目のブロック単位の基底オーディオ信号に対応する5×6個の高域の基底オーディオ信号のうちのm番目(m=1,・・・,30)のブロック単位の基底オーディオ信号の基底オーディオ係数の相関関係を表す係数である。
【０２５６】
αＬｊ,αMｊ,αＨｊは、それぞれ、低域、中域、高域のｉ番目（i=1,…,基底オーディオ信号数n）のブロック単位の基底オーディオ信号を中心とした3×3個のブロック単位の基底オーディオ信号のうちのｊ番目(j=1,・・・,9)のブロック単位の基底オーディオ信号の基底オーディオ係数である。また、αＭｋ,αＨｋは、それぞれ、低域、中域のｉ番目（i=1,…, 基底オーディオ信号数n）のブロック単位の基底オーディオ信号に対応する1つ上の帯域（中域、高域）のブロック単位の基底オーディオ信号のうちのk番目のブロック単位の基底オーディオ信号の基底オーディオ係数である。
【０２５７】
また、αＨｍは、低域のｉ番目（i=1,…,基底オーディオ信号数n）のブロック単位の基底オーディオ信号に対応する高域の5×6個のブロック単位の基底オーディオ信号のうちのm番目(m=1,・・・,30)のブロック単位の基底オーディオ信号の基底オーディオ係数である。さらに、a,y,bは、予め設定されたパラメータである。
【０２５８】
学習部３５３は、学習された各帯域のブロック単位の基底オーディオ信号を記憶部３５４に供給し、記憶させる。
【０２５９】
［学習装置の処理の説明］
学習装置３５０の学習処理は、学習用の信号が輝度画像の静止画像ではなくオーディオ信号である点、および、コスト関数が上述した式（１３）の画像をオーディオ信号にした式により求められる点を除いて、図２１の学習処理と同一であるので、図示および説明は省略する。
【０２６０】
以上のように、学習装置３５０は、学習用のオーディオ信号が、基底オーディオ係数が疎となる基底オーディオ信号の線形演算で表されるように、基底オーディオ係数間の空間的な相関性を表す項を含むコスト関数を用いて基底オーディオ信号を学習する。従って、より人間の視覚系に近いモデルを用いて基底オーディオ信号を学習することができる。ここで、人間の視覚系と聴覚系は、ともに外部からの入力信号を理解する脳の処理であり、同様の処理であると考えられている。従って、学習装置３５０は、より人間の聴覚系に近いモデルを用いて基底オーディオ信号を学習することができるといえる。その結果、より正確な基底オーディオ信号を学習することができる。
【０２６１】
［オーディオ生成装置の構成例］
図２９は、図２８の学習装置３５０により学習された各帯域の基底オーディオ信号を用いてオーディオ信号を生成する、本技術を適用した出力装置の第５実施の形態としてのオーディオ生成装置の構成例を示すブロック図である。
【０２６２】
図２９のオーディオ生成装置３７０は、分割部３７１、帯域分割部３７２、記憶部３７３、演算部３７４、および生成部３７５により構成される。オーディオ生成装置３７０は、外部から入力される音質が劣化した劣化オーディオ信号に対して帯域ごとにスパースコーディングを行うことにより、復元オーディオ信号を生成する。
【０２６３】
オーディオ生成装置３７０の分割部３７１には、外部から劣化オーディオ信号が入力される。分割部３７１は、外部から入力された劣化オーディオ信号を、図２８の分割部３５１と同様に所定の区間のブロックに分割し、帯域分割部３７２に供給する。
【０２６４】
帯域分割部３７２は、図２８の帯域分割部３５２と同様に構成され、分割部３７１から供給されるブロックを、高域、中域、および低域に帯域分割し、演算部３７４に供給する。
【０２６５】
記憶部３７３は、図２８の学習装置３５０により学習され、記憶部３５４に記憶された各帯域のブロック単位の基底オーディオ信号を記憶する。
【０２６６】
演算部３７４は、記憶部３７３から各帯域のブロック単位の基底オーディオ信号を読み出す。演算部３７４は、帯域分割部３７２から供給される劣化オーディオ信号のブロックごとに、コスト関数が所定の閾値より小さくなるように、各帯域のブロック単位基底オーディオ係数ベクトルを演算する。このコスト関数は、読み出された各帯域のブロック単位の基底オーディオ信号からなるブロック単位基底オーディオ行列を用いて、上述した式（１３）のH,M,Loをそれぞれ高域、中域、低域の劣化オーディオ信号のブロックの各サンプリング値を列方向に並べたベクトル（以下、劣化オーディオベクトルという）にした式により定義される。演算部３７４は、各帯域のブロック単位基底オーディオ係数ベクトルを生成部３７５に供給する。
【０２６７】
生成部３７５は、記憶部３７３から各帯域のブロック単位の基底オーディオ信号を読み出す。生成部３７５は、各帯域のブロックごとに、演算部３７４から供給される各帯域のブロック単位基底オーディオ係数ベクトルと、読み出された各帯域のブロック単位の基底オーディオ信号からなるブロック単位基底オーディオ行列とを用いて、上述した式（１０）の画像をオーディオ信号にした式によりオーディオ信号を生成する。
【０２６８】
生成部３７５は、各帯域のブロックのオーディオ信号を合成することにより、全区間の全帯域のオーディオ信号を生成し、復元オーディオ信号として出力する。
【０２６９】
［オーディオ生成装置の処理の説明］
オーディオ生成装置３７０の生成処理は、スパースコーディング対象とする信号が劣化画像ではなく劣化オーディオ信号である点、および、コスト関数が上述した式（１３）の画像をオーディオ信号にし、H,M,Loをそれぞれ高域、中域、帯域の劣化オーディオベクトルにした式により求められる点を除いて、図２４の生成処理と同一であるので、図示および説明は省略する。
【０２７０】
以上のように、オーディオ生成装置３７０は、学習装置３５０により学習された基底オーディオ信号を得て、その基底オーディオ信号、劣化オーディオ信号、および基底オーディオ係数間の空間的な相関性を表す項を含むコスト関数に基づいて、基底オーディオ係数を演算する。従って、オーディオ生成装置３７０は、人間の視覚系に近いモデルの基底オーディオ信号と基底オーディオ係数を得ることができる。上述したように、人間の視覚系と聴覚系は同様の処理であると考えられている。従って、オーディオ生成装置３７０は、人間の聴覚系に近いモデルの基底オーディオ信号と基底オーディオ係数を得ることができるといえる。よって、オーディオ生成装置３７０は、得られた基底オーディオ信号と基底オーディオ係数を用いて、高音質の復元オーディオ信号を生成することができる。
【０２７１】
なお、第５実施の形態では、全ての帯域の基底オーディオ係数間の空間的な相関性を表すだけでなく、各帯域の基底オーディオ係数間の相関性も表す項を含むコスト関数が用いられたが、全ての帯域の基底オーディオ係数間の空間的な相関性を表す項のみを含むコスト関数が用いられるようにしてもよい。
【０２７２】
＜第６実施の形態＞
[学習装置の構成例]
図３０は、本技術を適用した信号処理装置の第６実施の形態としての学習装置の構成例を示すブロック図である。
【０２７３】
図３０に示す構成のうち、図２５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２７４】
図３０の学習装置３９０の構成は、分割部２９１の代わりに抽出部３９１が設けられる点が図２５の構成と異なる。学習装置３９０には、学習用の輝度画像の動画像として、図示せぬ監視カメラにより撮影された大量の正常時の輝度画像の動画像が入力される。
【０２７５】
学習装置３９０の抽出部３９１は、学習用の輝度画像の動画像として図示せぬ監視カメラから入力された大量の正常時の輝度画像の動画像の各フレームから、後述する異常検知装置で異常検知の対象とする領域（以下、検知領域という）を抽出する。
【０２７６】
例えば、後述する異常検知装置が人の異常を検知する場合には、抽出部３９１は、人や顔の領域を検出し、その領域を検知領域として抽出する。また、後述する異常検知装置が車の異常を検知する場合には、抽出部３９１は、予め設定された車の特徴点を含む領域を検出し、その領域を検知領域として抽出する。なお、抽出部３９１は、フレームごとに検知領域を抽出するのではなく、所定数のフレームごとに検知領域を抽出し、抽出しない期間においては、抽出された検知領域をトラッキングすることにより検知領域を設定するようにしてもよい。
【０２７７】
抽出部３９１は、抽出された検知領域を正規化して所定のサイズのブロックとし、学習部２９２に供給する。
【０２７８】
なお、検知領域の数は、各フレームに対して単数であっても複数であってもよい。各フレームの検知領域の数が複数である場合、検知領域ごとに基底画像が学習される。
【０２７９】
[学習装置の処理の説明]
図３１は、図３０の学習装置３９０の学習処理を説明するフローチャートである。この学習処理は、図示せぬ監視カメラから、全ての学習用の輝度画像の動画像としての正常時の輝度画像の動画像が学習装置３９０に入力されたとき、オフラインで行われる。
【０２８０】
ステップＳ１７１において、学習装置３９０の抽出部３９１は、図示せぬ監視カメラから入力される全ての学習用の輝度画像の動画像の各フレームから、検知領域を抽出する。
【０２８１】
ステップＳ１７２において、抽出部３９１は、抽出された検知領域を正規化して所定のサイズのブロックとし、学習部２９２に供給する。ステップＳ１７３乃至Ｓ１８３の処理は、各色チャンネルが連続する３フレームの各フレームに変わった点、および、コスト関数を定義する式が式（１２）ではなく式（１４）である点を除いて、図１５のステップＳ９２乃至Ｓ１０２の処理と同様であるので、説明は省略する。
【０２８２】
以上のように、学習装置３９０におけるコスト関数は、学習装置２９０の場合と同様に、連続する３フレームの基底画像係数間の空間的な相関性を表すだけでなく、連続する３フレームの各フレームの基底画像係数間の相関性も表す項を含む。従って、人間の視覚系に近いだけでなく、フレーム間のバタツキを低減し、動画像を滑らかにするモデルを用いて検知領域の基底画像を学習することができる。その結果、より正確な検知領域の基底画像を学習することができる。
【０２８３】
[異常検知装置の構成例]
図３２は、図３０の学習装置３９０により学習された連続する３フレームの各フレームの基底画像を用いて異常を検知する、本技術を適用した出力装置の第６実施の形態としての異常検知装置の構成例を示すブロック図である。
【０２８４】
図３２に示す構成のうち、図２７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２８５】
図３２の異常検知装置４１０の構成は、分割部３３１の代わりに抽出部４１１が設けられる点、生成部３３４の代わりに生成部４１２が設けられる点、および、新たに認識部４１３が設けられる点が図２７の構成と異なる。異常検知装置４１０は、監視カメラから異常検知対象の画像として入力される輝度画像の動画像に対してスパースコーディングを行うことにより、異常を検知する。
【０２８６】
具体的には、異常検知装置４１０の抽出部４１１には、監視カメラから輝度画像の動画像が異常検知対象の画像として入力される。抽出部４１１は、監視カメラから入力された異常検知対象の画像の各フレームから、図３０の抽出部３９１と同様に検知領域を抽出する。
【０２８７】
抽出部４１１は、抽出された検知領域を、図３０の抽出部３９１と同様に正規化して所定のサイズのブロックとし、演算部３３３と認識部４１３に供給する。ここで、異常検知装置４１０の演算部３３３におけるコスト関数を定義する式（１４）のYは、異常検知対象の画像のブロックの各画素の画素値を列方向に並べたベクトル（以下、検知画像ベクトルという）である。
【０２８８】
生成部４１２は、図２７の生成部３３４と同様に、記憶部３３２から連続する３フレームの各フレームのブロック単位の基底画像を読み出す。生成部４１２は、生成部３３４と同様に、連続する３フレームの各フレームのブロックごとに、輝度画像の動画像を生成し、認識部４１３に供給する。
【０２８９】
認識部４１３は、生成部４１２から供給されるブロック単位の輝度画像の動画像と、抽出部４１１から供給されるブロックの差分を、各フレームのブロックごとに求める。認識部４１３は、その差分に基づいてブロックの異常を検知（認識）して、異常の有無を表す異常情報を生成し、出力する。
【０２９０】
[検知領域の例]
図３３は、図３２の抽出部４１１により抽出される検知領域の例を示す図である。
【０２９１】
図３３の例では、抽出部４１１は、異常検知対象の画像の各フレームから人の領域を検知領域４３１として抽出し、車の領域を検知領域４３２として抽出する。図３３に示すように、異常検知対象の画像の各フレームの検知領域４３１や検知領域４３２のサイズは異なる場合があるため、所定のサイズのブロックに正規化される。
【０２９２】
抽出部４１１により抽出される各フレームの検知領域の数は、図３３に示すように複数であってもよいし、単数であってもよい。各フレームの検知領域の数が複数である場合には、検知領域ごとにブロック単位基底画像係数ベクトルが演算され、異常情報が生成される。
【０２９３】
[異常情報の生成方法の説明]
図３４は、図３２の認識部４１３による異常情報の生成方法を説明する図である。
【０２９４】
図３４の左側に示すように、図３０の学習装置３９０は、大量な正常時の輝度画像の動画像を用いてブロック単位の基底画像を学習する。図３４の中央と右側に示すように、図３２の異常検知装置４１０の演算部３３３は、学習されたブロック単位の基底画像と、異常検知対象の画像の検知領域のブロックとを用いて、連続する３フレームごとに、各フレームのブロック単位基底画像係数ベクトルを所定回数だけ繰り返し演算する。
【０２９５】
生成部４１２は、連続する３フレームごとに、各フレームのブロック単位基底画像係数ベクトルとブロック単位の基底画像とから、ブロック単位の輝度画像の動画像を生成する。そして、認識部４１３は、生成されたブロック単位の輝度画像の動画像と、異常検知対象の画像の検知領域のブロックとの差分を、各フレームのブロックごとに演算する。
【０２９６】
先頭からt-1乃至t+1番目のフレームの差分の和が閾値より小さい場合、図３４の中央に示すように、認識部４１３は、そのフレームについて異常を検知せず、異常の無しを表す異常情報を生成する。一方、先頭からt-1乃至t+1番目のフレームの差分の和が閾値以上である場合、図３４の右側に示すように、認識部４１３は、そのフレームについて異常を検知し、異常の有りを表す異常情報を生成する。
【０２９７】
即ち、異常検知対象の画像が、学習用の輝度画像の動画像と同様の輝度画像の動画像、即ち正常時の輝度画像の動画像である場合、所定の回数だけブロック単位基底画像係数ベクトルの演算が繰り返されると、ブロック単位基底画像係数ベクトルは十分に収束する。従って、そのブロック単位基底画像係数ベクトルを用いて生成されたブロック単位の輝度画像の動画像と、異常検知対象の画像の検知領域のブロックとの差分は小さくなる。
【０２９８】
これに対して、異常検知対象の輝度画像が、学習用の輝度画像の動画像と同様の輝度画像の動画像ではない、即ち異常時の輝度画像の動画像である場合、所定の回数だけブロック単位基底画像係数ベクトルの演算が繰り返されても、ブロック単位基底画像係数ベクトルは十分に収束しない。従って、そのブロック単位基底画像係数ベクトルを用いて生成されたブロック単位の輝度画像の動画像と、異常検知対象の画像の検知領域のブロックとの差分は大きくなる。
【０２９９】
よって、ブロック単位基底画像係数ベクトルを用いて生成されたブロック単位の輝度画像の動画像と、異常検知対象の画像の検知領域のブロックとの差分が閾値より小さい場合、認識部４１３は、異常を検知せず、異常の無しを表す異常情報を生成する。また、認識部４１３は、その差分が閾値以上である場合、異常を検知し、異常の有りを表す異常情報を生成する。
【０３００】
[異常検知装置の処理の説明]
図３５は、図３２の異常検知装置４１０の異常検知処理を説明するフローチャートである。この異常検知処理は、例えば、監視カメラから異常検知対象の画像として輝度画像の動画像の連続する３フレームが入力されたとき、開始される。
【０３０１】
図３５のステップＳ２０１において、異常検知装置４１０の抽出部４１１は、図示せぬ監視カメラから入力された異常検知対象の画像の連続する３フレームの各フレームから、図３０の抽出部３９１と同様に検知領域を抽出する。
【０３０２】
ステップＳ２０２において、抽出部４１１は、抽出された検知領域を、図３０の抽出部３９１と同様に正規化して所定のサイズのブロックとし、演算部３３３と認識部４１３に供給する。なお、以降のステップＳ２０３乃至Ｓ２１５の処理は、ブロック単位で行われる。
【０３０３】
ステップＳ２０３において、演算部３３３は、ブロック単位基底画像係数ベクトルの演算の繰り返し回数Mを１に設定する。ステップＳ２０４において、演算部３３３は、記憶部３３２から連続する３フレームの各フレームのブロック単位の基底画像を読み出す。
【０３０４】
ステップＳ２０５において、演算部３３３は、読み出された連続する３フレームの各フレームのブロック単位の基底画像からなるブロック単位基底画像行列と、抽出部４１１から供給されるブロックとを用いて、Δαを計算する。具体的には、演算部３３３は、式（１４）で定義されるコスト関数を連続する３フレームの各フレームのブロック単位基底画像係数ベクトルに対して偏微分し、Yを検知画像ベクトルにした式により、連続する３フレームの各フレームのブロック単位基底画像行列とブロックとを用いて、連続する３フレームの各フレームのΔαを計算する。
【０３０５】
ステップＳ２０６において、演算部３３３は、ステップＳ２０５で計算されたΔαを用いて、上述した式（７）により各フレームのブロック単位基底画像係数ベクトルを更新する。ステップＳ２０７において、演算部３３３は、繰り返し回数Mを1だけインクリメントする。
【０３０６】
ステップＳ２０８において、演算部３３３は、繰り返し回数Mが所定の閾値より大きいかどうかを判定する。ステップＳ２０８で繰り返し回数Mが所定の閾値以下であると判定された場合、演算部３３３は、処理をステップＳ２０５に戻す。そして、繰り返し回数Mが所定の閾値より大きくなるまで、ステップＳ２０５乃至Ｓ２０８の処理が繰り返される。
【０３０７】
一方、ステップＳ２０８で繰り返し回数Mが所定の閾値より大きいと判定された場合、演算部３３３は、直前のステップＳ２０６で更新された各フレームのブロック単位基底画像係数ベクトルを生成部４１２に供給する。
【０３０８】
そして、ステップＳ２０９において、生成部４１２は、記憶部３３２から連続する３フレームの各フレームのブロック単位の基底画像を読み出す。ステップＳ２１０において、生成部４１２は、読み出された連続する３フレームの各フレームのブロック単位の基底画像からなるブロック単位基底画像行列と、演算部３３３から供給される各フレームのブロック単位基底画像係数ベクトルとを用いて、上述した式（１０）により各フレームのブロック単位の輝度画像の動画像を生成する。生成部４１２は、そのブロック単位の輝度画像の動画像を認識部４１３に供給する。
【０３０９】
ステップＳ２１１において、認識部４１３は、フレームごとに、生成部４１２から供給されるブロック単位の輝度画像の動画像と、抽出部４１１から供給されるブロックの差分を演算する。
【０３１０】
ステップＳ２１２において、認識部４１３は、ステップＳ２１１で演算された連続する３フレームの差分を加算する。ステップＳ２１３において、認識部４１３は、ステップＳ２１２による加算の結果得られる差分の和が所定の閾値より小さいかどうかを判定する。
【０３１１】
ステップＳ２１３で差分の和が所定の閾値より小さいと判定された場合、ステップＳ２１４において、認識部４１３は、異常を検知せず、異常の無しを表す異常情報を生成して出力し、処理を終了する。
【０３１２】
一方、ステップＳ２１３で差分の和が所定の閾値以上であると判定された場合、ステップＳ２１５において、認識部４１３は、異常を検知し、異常の有りを表す異常情報を生成して出力し、処理を終了する。
【０３１３】
以上のように、異常検知装置４１０は、画像生成装置３３０と同様に、連続する３フレームの基底画像係数間の空間的な相関性を表すだけでなく、連続する３フレームの各フレームの基底画像係数間の相関性も表す項を含むコスト関数を用いて学習された基底画像を得る。そして、異常検知装置４１０は、その基底画像、異常検知対象の画像、およびコスト関数に基づいて、基底画像係数を演算する。
【０３１４】
従って、異常検知装置４１０は、人間の視覚系に近いだけでなく、フレーム間のバタツキを低減し、動画像を滑らかにするモデルの基底画像と基底画像係数を得ることができる。よって、異常検知装置４１０は、得られた基底画像と基底画像係数を用いて、フレーム間のバタツキが低減された滑らかで高画質な正常時の検知領域の輝度画像の動画像を生成することができる。
【０３１５】
そして、異常検知装置４１０は、生成された高画質な正常時の検知領域の輝度画像の動画像と、異常検知対象の画像の検知領域との差分に基づいて異常を検知（認識）する。従って、高精度に異常を検知することができる。
【０３１６】
なお、第６実施の形態では、第４実施の形態と同様の拘束条件の下に基底画像の学習および画像の生成を行ったが、第１および第３実施の形態と同様の拘束条件の下に基底画像の学習および画像の生成を行うようにしてもよい。
【０３１７】
また、学習用の画像および異常検知対象の画像が色画像である場合には、第１実施の形態、第３実施の形態、および第４実施の形態だけでなく、第２実施の形態と同様の拘束条件の下に基底画像の学習および画像の生成を行うようにしてもよい。学習用の画像および異常検知対象の画像は、静止画像であってもよい。
【０３１８】
さらに、第６実施の形態は、スパースコーディングの認識技術への応用の一例であり、スパースコーディングは、異常検知以外の物体認識等の認識技術にも応用することができる。
【０３１９】
＜第７実施の形態＞
[本技術を適用したコンピュータの説明]
上述した一連の処理（学習処理、生成処理、異常検知処理）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０３２０】
図３６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０３２１】
コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
【０３２２】
バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。
【０３２３】
入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。
【０３２４】
以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。
【０３２５】
コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３２６】
コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。
【０３２７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３２８】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３２９】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３３０】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３３１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３３２】
また、学習用の信号およびスパースコーディングの対象とする信号が、色画像の静止画像である場合、第２実施の形態と第３実施の形態を組み合わせるようにしてもよい。即ち、基底画像係数間の空間的な相関性、各色チャンネルの基底画像係数間の相関性、および各帯域の基底画像係数間の相関性を表す項を含むコスト関数を用いて学習およびスパースコーディングを行うようにしてもよい。
【０３３３】
さらに、学習用の信号およびスパースコーディングの対象とする信号が、輝度画像の動画像である場合、第３実施の形態と第４実施の形態を組み合わせるようにしてもよい。即ち、基底画像係数間の空間的な相関性、各帯域の基底画像係数間の相関性、および各フレームの基底画像係数間の相関性を表す項を含むコスト関数を用いて学習およびスパースコーディングを行うようにしてもよい。
【０３３４】
また、学習用の信号およびスパースコーディングの対象とする信号が、色画像の動画像である場合、第２実施の形態または第３実施の形態の少なくとも一方と第４実施の形態を組み合わせるようにしてもよい。即ち、基底画像係数間の空間的な相関性、各色チャンネルまたは各帯域の少なくとも一方の基底画像係数間の相関性、および各フレームの基底画像係数間の相関性を表す項を含むコスト関数を用いて学習およびスパースコーディングを行うようにしてもよい。
【０３３５】
なお、本技術は、以下のような構成もとることができる。
【０３３６】
（１）
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号を学習する学習部
を備える信号処理装置。
（２）
前記コスト関数は、前記係数間の空間的な相関性を表す項を含む
前記（１）に記載の信号処理装置。
（３）
前記コスト関数は、前記係数間の時間的な相関性を表す項を含む
前記（１）または（２）のいずれかに記載の信号処理装置。
（４）
前記学習部は、各色チャンネルの前記信号が前記線形演算で表されるように、各色チャンネルの前記係数間の相関性を表す項を含むコスト関数を用いて各色チャンネルの前記複数の基底信号を学習する
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（５）
前記信号を帯域分割し、各帯域の信号を生成する帯域分割部
をさらに備え、
前記学習部は、前記帯域分割部により生成された各帯域の信号が前記線形演算で表されるように、各帯域の前記係数間の相関性を表す項を含むコスト関数を用いて各帯域の前記複数の基底信号を学習する
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）
前記学習部は、各色チャンネルの前記信号が前記線形演算で表されるように、前記色チャンネルごとに、前記コスト関数を用いて前記複数の基底信号を学習する
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（７）
信号処理装置が、
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号を学習する学習ステップ
を含む信号処理方法。
（８）
コンピュータを、
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて前記複数の基底信号を学習する学習部
として機能させるためのプログラム。
（９）
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数を演算する演算部
を備える出力装置。
（１０）
前記コスト関数は、前記係数間の空間的な相関性を表す項を含む
前記（９）に記載の出力装置。
（１１）
前記コスト関数は、前記係数間の時間的な相関性を表す項を含む
前記（９）または（１０）に記載の出力装置。
（１２）
前記演算部は、各色チャンネルの前記信号が前記線形演算で表されるように、各色チャンネルの前記係数間の相関性を表す項を含むコスト関数を用いて学習された各色チャンネルの前記複数の基底信号、各色チャンネルの前記所定の信号、および前記コスト関数に基づいて、各色チャンネルの前記所定の信号の前記係数を演算する
前記（９）乃至（１１）のいずれかに記載の出力装置。
（１３）
前記所定の信号を帯域分割し、各帯域の前記所定の信号を生成する帯域分割部
をさらに備え、
前記演算部は、各帯域の前記信号が前記線形演算で表されるように、各帯域の前記係数間の相関性を表す項を含むコスト関数を用いて学習された各帯域の前記複数の基底信号、前記帯域分割部により生成された各帯域の前記所定の信号、および前記コスト関数に基づいて、各帯域の前記所定の信号の前記係数を演算する
前記（９）乃至（１２）のいずれかに記載の出力装置。
（１４）
前記演算部は、色チャンネルごとに、各色チャンネルの前記信号が前記線形演算で表されるように前記コスト関数を用いて学習された各色チャンネルの前記複数の基底信号、各色チャンネルの前記所定の信号、および前記コスト関数に基づいて、前記色チャンネルごとに、前記所定の信号の前記係数を演算する
前記（９）乃至（１１）のいずれかに記載の出力装置。
（１５）
前記演算部により演算された前記係数と前記複数の基底信号とを用いて、前記所定の信号に対応する信号を生成する生成部
をさらに備える
前記（９）乃至（１４）のいずれかに記載の出力装置。
（１６）
前記生成部により生成された前記信号と前記所定の信号との差分に基づいて、前記所定の信号を認識する認識部
をさらに備える
前記（１５）に記載の出力装置。
（１７）
出力装置が、
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数を演算する演算ステップ
を含む出力方法。
（１８）
コンピュータを、
信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記係数間の相関性を表す項を含むコスト関数を用いて学習された前記複数の基底信号、所定の信号、および前記コスト関数に基づいて、前記所定の信号の前記係数を演算する演算部
として機能させるためのプログラム。
【符号の説明】
【０３３７】
１０  学習装置，  １２  学習部，  ８０  画像生成装置，  ８３  演算部，  ８４  生成部，  １３０  画像生成装置，  １３１  演算部，  １３２  生成部，  １５０  学習装置，  １５２  学習部，  １９０  画像生成装置，  １９３  演算部，  １９４  生成部，  ２１０  学習装置，  ２１１  帯域分割部，  ２１２  学習部，  ２５０  画像生成装置，  ２５１  帯域分割部，  ２５３  演算部，  ２５４  生成部，  ２９０  学習装置，  ２９２  学習部，  ３３０  画像生成装置，  ３３３  演算部，  ３３４  生成部，  ３５０  学習装置，  ３５２  帯域分割部，  ３７０  オーディオ生成装置，  ３７２  帯域分割部，  ３７４  演算部，  ３７５  生成部，  ３９０  学習装置，  ４１０  異常検知装置，  ４１２  生成部，  ４１３  認識部
【図１】
2014063359.tif 000011
【図２】
2014063359.tif 000012
【図３】
2014063359.tif 000013
【図４】
2014063359.tif 000014
【図５】
2014063359.tif 000015
【図６】
2014063359.tif 000016
【図７】
2014063359.tif 000017
【図８】
2014063359.tif 000018
【図９】
2014063359.tif 000019
【図１０】
2014063359.tif 000020
【図１１】
2014063359.tif 000021
【図１２】
2014063359.tif 000022
【図１３】
2014063359.tif 000023
【図１４】
2014063359.tif 000024
【図１５】
2014063359.tif 000025
【図１６】
2014063359.tif 000026
【図１７】
2014063359.tif 000027
【図１８】
2014063359.tif 000028
【図１９】
2014063359.tif 000029
【図２０】
2014063359.tif 000030
【図２１】
2014063359.tif 000031
【図２２】
2014063359.tif 000032
【図２３】
2014063359.tif 000033
【図２４】
2014063359.tif 000034
【図２５】
2014063359.tif 000035
【図２６】
2014063359.tif 000036
【図２７】
2014063359.tif 000037
【図２８】
2014063359.tif 000038
【図２９】
2014063359.tif 000039
【図３０】
2014063359.tif 000040
【図３１】
2014063359.tif 000041
【図３２】
2014063359.tif 000042
【図３３】
2014063359.tif 000043
【図３４】
2014063359.tif 000044
【図３５】
2014063359.tif 000045
【図３６】
2014063359.tif 000046