(57)【要約】【課題】より正確な基底信号を得ることができるようにする。【解決手段】学習部は、信号としての学習用の輝度画像の静止画像の特徴ごとに、学習用の輝度画像の静止画像が、基底画像係数が疎となる複数の基底信号としての基底画像の線形演算で表されるように、複数の基底画像を学習する。本技術は、例えば、スパースコーディングにおける基底信号を学習する学習装置に適用することができる。【選択図】図２
2014063360.tif 000002
【特許請求の範囲】
【請求項１】
信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記複数の基底信号を学習する学習部
を備える信号処理装置。
【請求項２】
前記特徴は、前記信号の帯域の特徴である
請求項１に記載の信号処理装置。
【請求項３】
前記特徴は、前記信号のシーンまたは撮影環境の特徴である
請求項１に記載の信号処理装置。
【請求項４】
前記特徴は、前記信号としての画像の奥行き方向の位置の特徴である
請求項１に記載の信号処理装置。
【請求項５】
前記特徴は、前記信号としての画像の空間的な位置の特徴である
請求項１に記載の信号処理装置。
【請求項６】
前記特徴は、前記信号としての動画像の時間変化の特徴である
請求項１に記載の信号処理装置。
【請求項７】
前記特徴は、前記信号に対応する端末の特徴である
請求項１に記載の信号処理装置。
【請求項８】
信号処理装置が、
信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記複数の基底信号を学習する学習ステップ
を含む信号処理方法。
【請求項９】
コンピュータを、
信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記複数の基底信号を学習する学習部
として機能させるためのプログラム。
【請求項１０】
信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように学習された前記複数の基底信号と、所定の信号とに基づいて、前記所定の信号の前記係数を演算する演算部
を備える出力装置。
【請求項１１】
前記特徴は、前記信号の帯域の特徴である
請求項１０に記載の出力装置。
【請求項１２】
前記特徴は、前記信号のシーンまたは撮影環境の特徴である
請求項１０に記載の出力装置。
【請求項１３】
前記特徴は、前記信号としての画像の奥行き方向の位置の特徴である
請求項１０に記載の出力装置。
【請求項１４】
前記特徴は、前記信号としての画像の空間的な位置の特徴である
請求項１０に記載の出力装置。
【請求項１５】
前記特徴は、前記信号としての動画像の時間変化の特徴である
請求項１０に記載の出力装置。
【請求項１６】
前記特徴は、前記信号に対応する端末の特徴である
請求項１０に記載の出力装置。
【請求項１７】
前記演算部により演算された前記係数と前記複数の基底信号とを用いて、前記所定の信号に対応する信号を生成する生成部
をさらに備える
請求項１０に記載の出力装置。
【請求項１８】
前記生成部により生成された前記信号と前記所定の信号との差分に基づいて、前記所定の信号を認識する認識部
をさらに備える
請求項１７に記載の出力装置。
【請求項１９】
出力装置が、
信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように学習された前記複数の基底信号と、所定の信号とに基づいて、前記所定の信号の前記係数を演算する演算ステップ
を含む出力方法。
【請求項２０】
コンピュータを、
信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように学習された前記複数の基底信号と、所定の信号とに基づいて、前記所定の信号の前記係数を演算する演算部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラムに関し、特に、より正確な基底信号を得ることができるようにした信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、スパースコーディング(sparse coding)を用いた画像復元技術が多く研究されている。スパースコーディングとは、人間の視覚系をモデリングし、信号を基底信号に分解して表現する手法である。
【０００３】
具体的には、人間の視覚系では、網膜で捉えられた画像は、そのままの形で上位の認識機構に伝達されるのではなく、初期視覚の段階で、以下の式（１）に示すように複数の基底画像の線形和に分解されて伝達されると考えられている。
【０００４】
(画像)=Σ[(係数)×(基底画像)]
・・・（１）
【０００５】
ここで、式（１）において、多くの係数は0となり僅かな係数だけが大きな値となる、即ち係数は疎(sparse)となるという特徴がある。このため、人間の視覚系をモデリングし、信号を基底信号に分解して表現する手法は、スパースコーディングと呼ばれる。
【０００６】
スパースコーディングでは、まず、上述した式（１）によりモデリングされた基底信号が、以下の式（２）に示すコスト関数を用いて学習される。なお、ここでは、スパースコーディング対象となる信号が画像であるものとする。
【０００７】
L=argmin｛||Dα-Y||２+μ||α||０｝
・・・（２）
【０００８】
式（２）において、Lは、コスト関数であり、Dは、基底画像の各画素の画素値を列方向に並べたものを、基底画像ごとに行方向に並べた行列（以下、基底画像行列という）である。また、αは、各基底画像の係数（以下、基底画像係数という）を列方向に並べたベクトル(以下、基底画像係数ベクトルという)であり、Yは、学習用の画像の各画素の画素値を列方向に並べたベクトル(以下、学習用画像ベクトルという)である。μは予め設定されたパラメータである。
【０００９】
次に、式（２）において、学習された基底画像と、学習用の画像の代わりにスパースコーディング対象の画像とを用いることにより求められたコスト関数が、所定値以下になるときの基底画像係数が求められる。
【００１０】
近年、スパースコーディング対象の画像をブロックに分割し、ブロック単位で基底画像係数を求める方法が考案されている（例えば、非特許文献１参照）。
【００１１】
また、コスト関数における基底画像係数に対する拘束としては、式（２）で示したL0ノルム以外に、L1ノルムやL1ノルムの近似式などが存在する（例えば、非特許文献２参照）。基底画像係数がL1ノルムで拘束される場合、コスト関数は以下の式（３）で表され、基底画像係数がL1ノルムの近似式で拘束される場合、コスト関数は以下の式（４）で表される。
【００１２】
L=argmin{||Dα-Y||２+μ||α||１｝
・・・（３）
【数１】
2014063360.tif 000003
【００１３】
なお、式（３）および(４)において、Lはコスト関数であり、Dは基底画像行列であり、αは基底画像係数ベクトルであり、Yは学習用画像ベクトルであり、μは予め設定されたパラメータである。また、式（４）において、a,y,bは、予め設定されたパラメータである。
【００１４】
ところで、スパースコーディングの最も重要な要素は基底信号の学習である。従来、基底信号は、全ての信号に対して共通に学習されている。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】Michal Aharon,Michael Elad,and Alred Bruckstein,“K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation”,IEEE TRANSACTION ON SIGNAL PROCESSING,VOL.54,NO.11,NOVEMBER 2006,P4311-4322
【非特許文献２】Libo Ma,Liqing Zhang,“Overcomplete topographic independent component analysis”,Neurocomputing,10 March 2008,P2217-2223
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、全ての信号に対して共通の基底信号を学習することは困難であり、正確な基底信号を学習することはできなかった。
【００１７】
本技術は、このような状況に鑑みてなされたものであり、より正確な基底信号を得ることができるようにするものである。
【課題を解決するための手段】
【００１８】
本技術の第１の側面の信号処理装置は、信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記複数の基底信号を学習する学習部を備える信号処理装置である。
【００１９】
本技術の第１の側面の信号処理方法およびプログラムは、本技術の第１の側面の信号処理装置に対応する。
【００２０】
本技術の第１の側面においては、信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記複数の基底信号が学習される。
【００２１】
本技術の第２の側面の出力装置は、信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように学習された前記複数の基底信号と、所定の信号とに基づいて、前記所定の信号の前記係数を演算する演算部を備える出力装置である。
【００２２】
本技術の第２の側面の出力方法およびプログラムは、本技術の第２の側面の出力装置に対応する。
【００２３】
本技術の第２の側面においては、信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように学習された前記複数の基底信号と、所定の信号とに基づいて、前記所定の信号の前記係数が演算される。
【００２４】
第１の側面の信号処理装置および第２の側面の出力装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００２５】
本技術の第１の側面によれば、より正確な基底信号を学習することができる。
【００２６】
また、本技術の第２の側面によれば、より正確に学習された基底信号を得て、その基底信号の係数を演算することができる。
【図面の簡単な説明】
【００２７】
【図１】スパースコーディングによる画像復元の概要を説明する図である。
【図２】本技術を適用した信号処理装置の第１実施の形態としての学習装置の構成例を示すブロック図である。
【図３】図２の分割部により分割されるブロックの第１の例を示す図である。
【図４】図２の分割部により分割されるブロックの第２の例を示す図である。
【図５】図２の分類部の構成例を示すブロック図である。
【図６】図２の学習装置の分類学習処理を説明するフローチャートである。
【図７】図２の学習部の学習処理の詳細を説明するフローチャートである。
【図８】本技術を適用した出力装置の第１実施の形態としての画像生成装置の第１の構成例を示すブロック図である。
【図９】図８の生成部の処理を説明する図である。
【図１０】図８の画像生成装置の分類生成処理を説明するフローチャートである。
【図１１】図８の画像生成装置の生成処理の詳細を説明するフローチャートである。
【図１２】本技術を適用した出力装置の第１実施の形態としての画像生成装置の第２の構成例を示すブロック図である。
【図１３】図１２の画像生成装置の生成処理を説明するフローチャートである。
【図１４】本技術を適用した第２実施の形態におけるスパースコーディングの概要を説明する図である。
【図１５】本技術を適用した信号処理装置の第２実施の形態としての学習装置の構成例を示すブロック図である。
【図１６】図１５の学習装置の分類学習処理を説明するフローチャートである。
【図１７】本技術を適用した出力装置の第２実施の形態としての画像生成装置の構成例を示すブロック図である。
【図１８】図１７の画像生成装置の分類生成処理を説明するフローチャートである。
【図１９】本技術を適用した第３実施の形態におけるスパースコーディングの概要を説明する図である。
【図２０】本技術を適用した信号処理装置の第３実施の形態としての学習装置の構成例を示すブロック図である。
【図２１】図２０の学習装置の分類学習処理を説明するフローチャートである
【図２２】本技術を適用した出力装置の第３実施の形態としての画像生成装置の構成例を示すブロック図である。
【図２３】図２２の画像生成装置の分類生成処理を説明するフローチャートである。
【図２４】本技術を適用した第４実施の形態におけるスパースコーディングの概要を説明する図である。
【図２５】本技術を適用した信号処理装置の第４実施の形態としての学習装置の構成例を示すブロック図である。
【図２６】図２５の学習装置の分類学習処理を説明するフローチャートである。
【図２７】本技術を適用した出力装置の第４実施の形態としての画像生成装置の構成例を示すブロック図である。
【図２８】図２７の画像生成装置の分類生成処理を説明するフローチャートである。
【図２９】本技術を適用した第５実施の形態におけるスパースコーディングの概要を説明する図である。
【図３０】本技術を適用した信号処理装置の第５実施の形態としての学習装置の構成例を示すブロック図である。
【図３１】図３０の学習装置の分類学習処理を説明するフローチャートである。
【図３２】本技術を適用した出力装置の第５実施の形態としての画像生成装置の構成例を示すブロック図である。
【図３３】図３２の画像生成装置の分類生成処理を説明するフローチャートである。
【図３４】は、本技術を適用した第６実施の形態におけるスパースコーディングの概要を説明する図である。
【図３５】本技術を適用した信号処理装置の第６実施の形態としての学習装置の構成例を示すブロック図である。
【図３６】図３５の学習装置の分類学習処理を説明するフローチャートである。
【図３７】本技術を適用した出力装置の第６実施の形態としての画像生成装置の構成例を示すブロック図である。
【図３８】図３７の画像生成装置の分類生成処理を説明するフローチャートである。
【図３９】本技術を適用した信号処理装置の第７実施の形態としての学習装置の構成例を示すブロック図である。
【図４０】本技術を適用した出力装置の第７実施の形態としてのオーディオ生成装置の構成例を示すブロック図である。
【図４１】本技術を適用した信号処理装置の第８実施の形態としての学習装置の構成例を示すブロック図である。
【図４２】図４１の学習装置の分類学習処理を説明するフローチャートである。
【図４３】本技術を適用した出力装置の第８実施の形態としての異常検知装置の構成例を示すブロック図である。
【図４４】図４３の抽出部により抽出される検知領域の例を示す図である。
【図４５】図４３の認識部による異常情報の生成方法を説明する図である。
【図４６】図４３の異常検知装置の分類異常検知処理を説明するフローチャートである。
【図４７】図４３の異常検知装置の異常検知処理の詳細を説明するフローチャートである。
【図４８】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２８】
＜第１実施の形態＞
[スパースコーディングによる画像復元の概要の説明]
図１は、スパースコーディングによる画像復元の概要を説明する図である。
【００２９】
図１に示すように、スパースコーディングによる画像復元では、事前に、大量の画質劣化のない学習用の画像を用いて基底画像が学習され、その結果得られる基底画像が保持されている。そして、スパースコーディングの対象として入力される画質が劣化した劣化画像に対して、基底画像を用いて基底画像係数の最適化が行われ、最適化された基底画像係数と基底画像を用いて、劣化画像に対応する画質劣化のない画像が、復元画像として生成される。
【００３０】
［学習装置の構成例］
図２は、本技術を適用した信号処理装置の第１実施の形態としての学習装置の構成例を示すブロック図である。
【００３１】
図２に示すように、学習装置１０は、分割部１１、分類部１２、学習部１３−１乃至１３−３、および記憶部１４により構成され、画像復元用のスパースコーディングの基底画像を学習する。
【００３２】
具体的には、学習装置１０の分割部１１には、外部から大量の画質劣化のない学習用の輝度画像の静止画像が入力される。分割部１１は、学習用の輝度画像の静止画像を所定のサイズ（例えば、8×8画素）のブロックに分割し、分類部１２に供給する。
【００３３】
分類部１２は、分割部１１から供給されるブロックを、そのブロックの帯域の特徴ごとに分類する。具体的には、分類部１２は、ブロックを高域（高解像度）、中域（中解像度）、および低域（低解像度）に帯域分割する。分類部１２は、その結果生成される高域のブロックを学習部１３−１に供給し、中域のブロックを学習部１３−２に供給し、低域のブロックを学習部１３−３に供給する。
【００３４】
学習部１３−１は、分類部１２から供給される高域のブロックを上述した式（１）によりモデリングして、高域のブロック単位の基底画像を学習する。具体的には、学習部１３−１は、高域のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、高域のブロック単位の基底画像を学習する。学習部１３−１は、学習された高域のブロック単位の基底画像を記憶部１４−１に供給する。
【００３５】
学習部１３−２および学習部１３−３も、学習部１３−１と同様に、分類部１２から供給されるブロックを上述した式（１）によりモデリングして、ブロック単位の基底画像を学習する。学習部１３−２は、学習された中域のブロック単位の基底画像を記憶部１４−２に供給し、学習部１３−３は、学習された低域のブロック単位の基底画像を記憶部１４−３に供給する。
【００３６】
記憶部１４−１は、学習部１３−１から供給される高域のブロック単位の基底画像を記憶する。記憶部１４−２は、学習部１３−２から供給される中域のブロック単位の基底画像を記憶する。記憶部１４−３は、学習部１３−３から供給される低域のブロック単位の基底画像を記憶する。
【００３７】
なお、以下では、学習部１３−１乃至１３−３を特に区別する必要がない場合、それらをまとめて学習部１３という。同様に、記憶部１４−１乃至１４−３をまとめて記憶部１４という。
【００３８】
［ブロックの例］
図３は、図２の分割部１１により分割されるブロックの第１の例を示す図である。
【００３９】
図３の例では、分割部１１は、学習用の輝度画像の静止画像３０を、所定のサイズのブロックのいずれかに分割する。従って、水平方向に隣接するブロック３１とブロック３２、および、垂直方向に隣接するブロック３１とブロック３３は重ならない。
【００４０】
図４は、図２の分割部１１により分割されるブロックの第２の例を示す図である。
【００４１】
図４の例では、分割部１１は、学習用の輝度画像の静止画像４０を、ブロックサイズより小さい間隔（図４の例では、ブロックサイズの1/4）で水平方向および垂直方向に隣接する所定のサイズ（ブロックサイズ）のブロックに分割する。従って、水平方向に隣接するブロック４１とブロック４２、および、垂直方向に隣接するブロック４１とブロック４３は重なる。
【００４２】
図４に示したように、ブロックが重なるように分割される場合、図３の場合に比べて、学習の処理量は多くなるが、学習の精度は向上する。なお、ブロックの形状は正方形に限定されない。
【００４３】
[帯域分割部の構成例]
図５は、図２の分類部１２の構成例を示すブロック図である。
【００４４】
図５に示すように、分類部１２は、ローパスフィルタ６１およびローパスフィルタ６２、並びに、減算部６３および減算部６４により構成される。
【００４５】
ローパスフィルタ６１には、図２の分割部１１からブロックが入力される。ローパスフィルタ６１は、入力されたブロックのうちの低域のブロックを抽出し、ローパスフィルタ６２、減算部６３、および減算部６４に供給する。
【００４６】
ローパスフィルタ６２は、ローパスフィルタ６１から供給される低域のブロックのうちのさらに低域のブロックを抽出する。ローパスフィルタ６２は、抽出された低域のブロックを減算部６４と学習部１３−３（図２）に供給する。
【００４７】
減算部６３は、分割部１１から入力されたブロックから、ローパスフィルタ６１から供給される低域のブロックを減算し、その結果得られる高域のブロックを学習部１３−１に供給する。
【００４８】
減算部６４は、ローパスフィルタ６１から供給される低域のブロックから、ローパスフィルタ６２から供給されるより低域のブロックを減算し、その結果得られる高域と低域の間の帯域のブロックを、中域のブロックとして学習部１３−２に供給する。
【００４９】
［学習装置の処理の説明］
図６は、図２の学習装置１０の分類学習処理を説明するフローチャートである。この分類学習処理は、例えば、外部から全ての学習用の輝度画像の静止画像が学習装置１０に入力されたとき、オフラインで行われる。
【００５０】
図６のステップＳ１１において、分割部１１は、外部から入力された学習用の輝度画像の静止画像を所定のサイズのブロックに分割し、分類部１２に供給する。ステップＳ１２において、分類部１２は、分割部１１から供給されるブロックを高域、中域、および低域に帯域分割する。分類部１２は、その結果生成される高域のブロックを学習部１３−１に供給し、中域のブロックを学習部１３−２に供給し、低域のブロックを学習部１３−３に供給する。
【００５１】
ステップＳ１３において、学習部１３−１は、分類部１２から供給される高域のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、ブロック単位の基底画像を学習する学習処理を行う。学習部１３−１は、学習された高域のブロック単位の基底画像を記憶部１４−１に供給する。
【００５２】
ステップＳ１４において、学習部１３−２は、分割部１１から供給される中域のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、学習処理を行う。学習部１３−２は、学習された中域のブロック単位の基底画像を記憶部１４−２に供給する。
【００５３】
ステップＳ１５において、学習部１３−３は、分割部１１から供給される低域のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、学習処理を行う。学習部１３−３は、学習された低域のブロック単位の基底画像を記憶部１４−３に供給する。そして、処理は終了する。
【００５４】
図７は、学習部１３の学習処理の詳細を説明するフローチャートである。
【００５５】
図７のステップＳ３１において、学習部１３は、学習の繰り返し回数Nを１に設定する。以降のステップＳ３２乃至Ｓ３６およびステップＳ３８の処理は、全ての学習用の輝度画像の静止画像の全てのブロックに対して、ブロックごとに行われる。
【００５６】
ステップＳ３２において、学習部１３は、ブロック単位の基底画像行列を初期値に設定する。ステップＳ３３において、学習部１３は、設定されたブロック単位の基底画像行列と、分類部１２から供給されるブロックとを用いて、上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数をαで偏微分した値をΔαとして計算する。
【００５７】
ステップＳ３４において、学習部１３は、ステップＳ３３で計算されたΔαを用いて、以下の式（５）によりブロック単位の基底画像係数ベクトルを更新する。
【００５８】
α=α+η１Δα
・・・（５）
【００５９】
なお、式（５）において、αはブロック単位の基底画像係数ベクトルであり、η１は最急降下法のパラメータである。
【００６０】
ステップＳ３５において、学習部１３は、ステップＳ３４で更新されたブロック単位の基底画像係数ベクトルとブロックとを用いて、上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数をDで偏微分した値をΔDとして計算する。
【００６１】
ステップＳ３６において、学習部１３は、ステップＳ３５で計算されたΔDを用いて、以下の式（６）によりブロック単位の基底画像行列を更新する。
【００６２】
D＝D＋η２ΔD
・・・（６）
【００６３】
式（６）において、Dはブロック単位の基底画像行列であり、η２は最急降下法のパラメータである。
【００６４】
ステップＳ３７において、学習部１３は、学習の繰り返し回数Nを1だけインクリメントする。ステップＳ３８において、学習部１３は、ステップＳ３４で更新されたブロック単位の基底画像係数ベクトル、ステップＳ３６で更新されたブロック単位の基底画像行列、および、ブロックを用いて、上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数を求める。
【００６５】
ステップＳ３９において、学習部１３は、全ての学習用の輝度画像の静止画像の全てのブロックのコスト関数の和が所定の閾値より小さいかどうかを判定する。ステップＳ３９でコスト関数の和が所定の閾値以上であると判定された場合、処理はステップＳ４０に進む。
【００６６】
ステップＳ４０において、学習部１３は、学習の繰り返し回数Nが所定の閾値より大きいかどうかを判定する。ステップＳ４０で学習の繰り返し回数Nが所定の閾値以下であると判定された場合、処理はステップＳ３３に戻る。そして、コスト関数の和が所定の閾値より小さくなるか、または、学習の繰り返し回数Nが所定の閾値より大きくなるまで、ステップＳ３３乃至Ｓ４０の処理が繰り返される。
【００６７】
一方、ステップＳ３９でコスト関数の和が所定の閾値より小さいと判定された場合、または、ステップＳ４０で学習の繰り返し回数Nが所定の閾値より大きいと判定された場合、処理はステップＳ４１に進む。
【００６８】
ステップＳ４１において、学習部１３は、直前のステップＳ３６で更新されたブロック単位の基底画像行列を構成するブロック単位の基底画像を記憶部１４に供給し、記憶させる。
【００６９】
以上のように、図７の学習処理では、学習部１３は、KSVD方式を用いて基底画像行列を更新し、Matching Pursuitを用いて基底係数ベクトルを算出する。このKSVD方式とMatching Pursuit方式の詳細については非特許文献１に記載されている。
【００７０】
なお、ここでは、全ての学習用の輝度画像の静止画像の全てのブロックを用いてブロック単位の基底画像行列を繰り返し学習したが、各ブロックを用いた繰り返し学習を順に行うようにしてもよい。
【００７１】
以上のように、学習装置１０は、学習用の輝度画像の静止画像の帯域の特徴ごとに、学習用の輝度画像の静止画像が、基底画像係数が疎となる基底画像の線形演算で表されるように基底画像を学習する。従って、より正確な帯域の特徴ごとの基底画像を学習することができる。
【００７２】
また、スパースコーディングでは、基底画像係数が疎となるように基底画像を学習するため、一般的に、基底画像の収束時間が長い。従って、学習装置１０は、帯域の特徴ごとに基底画像を学習することにより、基底画像の収束時間を短縮することができる。さらに、学習装置１０は、帯域の特徴ごとに基底画像を学習するので、帯域の特徴ごとに学習処理を並列に行うことができる。
【００７３】
［画像生成装置の第１の構成例］
図８は、図２の学習装置１０により学習された帯域の特徴ごとの基底画像を用いて画像を生成する、本技術を適用した出力装置の第１実施の形態としての画像生成装置の第１の構成例を示すブロック図である。
【００７４】
図８に示すように、画像生成装置８０は、分割部８１、分類部８２、記憶部８３−１乃至８３−３、演算部８４−１乃至８４−３、生成部８５−１乃至８５−３、および合成部８６により構成される。画像生成装置８０は、外部から劣化画像として入力される輝度画像の静止画像に対して帯域ごとにスパースコーディングを行うことにより、復元画像を生成する。
【００７５】
具体的には、画像生成装置８０の分割部８１には、外部から輝度画像の静止画像が劣化画像として入力される。分割部８１は、外部から入力された劣化画像を、図２の分割部１１と同様に所定のサイズのブロックに分割し、分類部８２に供給する。
【００７６】
分類部８２は、図５の分類部１２と同様に構成され、分割部８１により分割されたブロックを、高域、中域、および低域に帯域分割する。分類部８２は、その結果得られる高域のブロックを演算部８４−１に供給し、中域のブロックを演算部８４−２に供給し、低域のブロックを演算部８４−３に供給する。
【００７７】
記憶部８３−１は、図２の学習装置１０により学習され、記憶部１４−１に記憶された高域のブロック単位の基底画像を記憶する。記憶部８３−２は、記憶部１４−２に記憶された中域のブロック単位の基底画像を記憶し、記憶部８３−３は、記憶部１４−３に記憶された低域のブロック単位の基底画像を記憶する。
【００７８】
演算部８４−１は、記憶部８３−１から高域のブロック単位の基底画像を読み出す。演算部８４−１は、分類部８２から供給される劣化画像の高域のブロックごとに、コスト関数が所定の閾値より小さくなるように、ブロック単位の基底画像係数ベクトルを演算する。このコスト関数は、読み出されたブロック単位の基底画像からなるブロック単位の基底画像行列を用いて、上述した式（２）乃至（４）のいずれかのYを劣化画像の各画素の画素値を列方向に並べたベクトル（以下、劣化画像ベクトルという）にした式によりブロック単位で定義される。演算部８４−１は、演算されたブロック単位の基底画像係数ベクトルを生成部８５−１に供給する。
【００７９】
演算部８４−２と演算部８４−３も、それぞれ、演算部８４−１と同様に、記憶部８３−２、記憶部８３−３からブロック単位の基底画像を読み出し、分類部８２から供給されるブロックごとに、ブロック単位の基底画像係数ベクトルを演算する。演算部８４−２は、演算されたブロック単位の基底画像係数ベクトルを生成部８５−２に供給し、演算部８４−３は、演算されたブロック単位の基底画像係数ベクトルを生成部８５−３に供給する。
【００８０】
生成部８５−１は、記憶部８３−１から高域のブロック単位の基底画像を読み出す。生成部８５−１は、ブロックごとに、演算部８４−１からのブロック単位の基底画像係数ベクトルと、高域のブロック単位の基底画像からなるブロック単位の基底画像行列とを用いて、以下の式（７）によりブロック単位の輝度画像の静止画像を生成する。
【００８１】
X=D×α
・・・（７）
【００８２】
式（７）において、Xは、生成されるブロック単位の輝度画像の静止画像の各画素の画素値を列方向に並べたベクトル（以下、生成画像ベクトルという）であり、Dは、ブロック単位の基底画像行列である。αは、ブロック単位の基底画像係数ベクトルである。
【００８３】
生成部８５−１は、生成されたブロック単位の輝度画像の静止画像を高域のブロック単位の輝度画像の静止画像とし、その高域のブロック単位の輝度画像の静止画像から、高域の１枚の輝度画像の静止画像を生成する。そして、生成部８５−１は、その高域の１枚の輝度画像の静止画像を高域の復元画像として合成部８６に供給する。
【００８４】
生成部８５−２と生成部８５−３も、それぞれ、生成部８５−１と同様に、記憶部８３-１、記憶部８３−２からブロック単位の基底画像を読み出し、ブロック単位の輝度画像の静止画像を生成する。生成部８５−２は、生成部８５−１と同様に、生成されたブロック単位の輝度画像の静止画像から中域の復元画像を生成し、合成部８６に供給する。また、生成部８５−３は、生成されたブロック単位の輝度画像の静止画像から低域の復元画像を生成し、合成部８６に供給する。
【００８５】
合成部８６は、生成部８５−１乃至８５−３のそれぞれから供給される高域、中域、低域の復元画像を合成し、その結果得られる全帯域の復元画像を出力する。
【００８６】
なお、以下では、記憶部８３−１乃至８３−３を特に区別する必要がない場合、それらをまとめて記憶部８３という。同様に、演算部８４−１乃至８４−３をまとめて演算部８４といい、生成部８５−１乃至８５−３をまとめて生成部８５という。
【００８７】
［生成部の処理の説明］
図９は、図８の分割部８１が劣化画像を図４に示したブロックに分割する場合の生成部８５の処理を説明する図である。
【００８８】
なお、図９において、実線の正方形は画素を表し、点線の正方形はブロックを表す。図９の例では、ブロックのサイズは4×4画素である。
【００８９】
図９に示すように、分割部８１が劣化画像１００を図４に示したブロックに分割する場合、生成部８５は、復元画像の各画素の画素値として、その画素に対応するブロックの生成画像ベクトルの成分の平均値を生成する。
【００９０】
具体的には、例えば、左上の画素１０１はブロック１１１にのみ含まれる。従って、生成部８５は、画素１０１の画素値を、ブロック１１１の生成画像ベクトルの画素１０１に対応する成分とする。
【００９１】
これに対して、画素１０１の右隣の画素１０２は、ブロック１１１とブロック１１２に含まれる。従って、生成部８５は、画素１０２の画素値を、ブロック１１１およびブロック１１２の生成画像ベクトルの画素１０２に対応する成分の平均値とする。
【００９２】
また、画素１０１の直下の画素１０３は、ブロック１１１とブロック１１３に含まれる。従って、生成部８５は、画素１０３の画素値を、ブロック１１１およびブロック１１３の生成画像ベクトルの画素１０３に対応する成分の平均値とする。
【００９３】
さらに、画素１０３の右隣の画素１０４は、ブロック１１１乃至ブロック１１４に含まれる。従って、生成部８５は、画素１０４の画素値を、ブロック１１１乃至ブロック１１４の生成画像ベクトルの画素１０４に対応する成分の平均値とする。
【００９４】
一方、図示は省略するが、分割部８１が劣化画像を図３に示したブロックに分割する場合、生成部８５は、各ブロックの生成画像ベクトルの各成分を、その成分に対応する画素の画素値として合成し、復元画像を生成する。
【００９５】
［画像生成装置８０の処理の説明］
図１０は、図８の画像生成装置８０の分類生成処理を説明するフローチャートである。この分類生成処理は、例えば、外部から劣化画像として輝度画像の静止画像が入力されたとき、開始される。
【００９６】
図１０のステップＳ６１において、画像生成装置８０の分割部８１は、外部から劣化画像として入力された輝度画像の静止画像を、図２の分割部１１と同様に所定のサイズのブロックに分割し、分類部８２に供給する。
【００９７】
ステップＳ６２において、分類部８２は、分割部８１から供給されるブロックを、高域、中域、および低域に帯域分割する。分類部８２は、その結果得られる高域のブロックを演算部８４−１に供給し、中域のブロックを演算部８４−２に供給し、低域のブロックを演算部８４−３に供給する。
【００９８】
ステップＳ６３において、画像生成装置８０は、高域のブロックを用いて１枚の輝度画像の静止画像を生成する生成処理を行う。ステップＳ６４において、画像生成装置８０は、中域のブロックを用いて生成処理を行う。ステップＳ６５において、画像生成装置８０は、低域のブロックを用いて生成処理を行う。
【００９９】
ステップＳ６６において、合成部８６は、生成部８５−１乃至８５−３のそれぞれから供給される高域、中域、低域の復元画像を合成し、その結果得られる全帯域の復元画像を出力する。そして、処理は終了する。
【０１００】
図１１は、画像生成装置８０の生成処理の詳細を説明するフローチャートである。
【０１０１】
なお、図１１のステップＳ８１乃至Ｓ９０の処理は、ブロック単位で行われる。
【０１０２】
図１１のステップＳ８１において、演算部８４は、ブロック単位の基底画像係数ベクトルの演算の繰り返し回数Mを1に設定する。
【０１０３】
ステップＳ８２において、演算部８４は、記憶部８３からブロック単位の基底画像を読み出す。ステップＳ８３において、演算部８４は、読み出されたブロック単位の基底画像からなるブロック単位の基底画像行列と、分類部８２から供給されるブロックとを用いて、上述した式（２）乃至（４）のYを劣化画像ベクトルにした式のいずれかによりブロック単位で定義されるコスト関数をαで偏微分した値をΔαとして計算する。
【０１０４】
ステップＳ８４において、演算部８４は、ステップＳ８３で計算されたΔαを用いて、上述した式（５）によりブロック単位の基底画像係数ベクトルを更新する。ステップＳ８５において、演算部８４は、繰り返し回数Mを1だけインクリメントする。
【０１０５】
ステップＳ８６において、演算部８４は、ステップＳ８４で更新されたブロック単位の基底画像係数ベクトル、ブロック単位の基底画像行列、および、劣化画像のブロックを用いて、上述した式（２）乃至（４）のYを劣化画像ベクトルにした式のいずれかによりブロック単位で定義されるコスト関数を求める。
【０１０６】
ステップＳ８７において、演算部８４は、コスト関数が所定の閾値より小さいかどうかを判定する。ステップＳ８７でコスト関数が所定の閾値以上であると判定された場合、ステップＳ８８において、演算部８４は、繰り返し回数Mが所定の閾値より大きいかどうかを判定する。
【０１０７】
ステップＳ８８で繰り返し回数Mが所定の閾値以下であると判定された場合、演算部８４は、処理をステップＳ８３に戻す。そして、コスト関数が所定の閾値より小さくなるか、または、繰り返し回数Mが所定の閾値より大きくなるまで、ステップＳ８３乃至Ｓ８８の処理が繰り返される。
【０１０８】
一方、ステップＳ８７でコスト関数が所定の閾値より小さいと判定された場合、または、ステップＳ８８で繰り返し回数Mが所定の閾値より大きいと判定された場合、演算部８４は、直前のステップＳ８４で更新されたブロック単位の基底画像係数ベクトルを生成部８５に供給する。
【０１０９】
そして、ステップＳ８９において、生成部８５は、記憶部８３からブロック単位の基底画像を読み出す。ステップＳ９０において、生成部８５は、読み出されたブロック単位の基底画像からなるブロック単位の基底画像行列と、演算部８４から供給されるブロック単位の基底画像係数ベクトルとを用いて、上述した式（７）によりブロック単位の輝度画像の静止画像を生成する。
【０１１０】
ステップＳ９１において、生成部８５は、ブロックの分割方法に応じて、ブロック単位の輝度画像の静止画像から１枚の輝度画像の静止画像を生成する。ステップＳ９２において、生成部８５は、生成された１枚の輝度画像の静止画像を復元画像として合成部８６に出力し、処理を終了する。
【０１１１】
以上のように、画像生成装置８０は、学習装置１０により帯域の特徴ごとに学習された基底画像を得て、帯域の特徴ごとの基底画像と劣化画像に基づいて、帯域の特徴ごとに基底画像係数を演算する。従って、画像生成装置８０は、帯域の特徴ごとの基底画像と基底画像係数を用いて、テクスチャやエッジなど重要な部分の画質が向上した復元画像を生成することができる。
【０１１２】
また、スパースコーディングでは、基底画像係数が疎となるように基底画像係数を演算するため、一般的に、基底画像係数の収束時間が長い。従って、画像生成装置８０は、帯域の特徴ごとに基底画像係数を演算することにより、基底画像係数の収束時間を短縮することができる。
【０１１３】
さらに、画像生成装置８０は、帯域の特徴ごとの基底画像と基底画像係数を用いて、帯域の特徴ごとに復元画像を生成するので、帯域の特徴ごとに生成処理を並列に行うことができる。
【０１１４】
［画像生成装置の第２の構成例］
図１２は、図２の学習装置１０により学習された基底画像を用いて画像を生成する、本技術を適用した出力装置の第１実施の形態としての画像生成装置の第２の構成例を示すブロック図である。
【０１１５】
図１２に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１６】
図１２の画像生成装置１３０の構成は、演算部８４−１乃至８４−３の代わりに演算部１３１−１乃至１３１−３が設けられ、生成部８５−１乃至８５−３の代わりに生成部１３２−１乃至１３２−３が設けられる点が図８の構成と異なる。画像生成装置１３０は、復元画像を生成するとともに基底画像を学習する。
【０１１７】
具体的には、画像生成装置１３０の演算部１３１−１は、図８の演算部８４−１と同様に、記憶部８３−１からブロック単位の基底画像を読み出す。演算部１３１−１は、分類部８２から供給される高域の劣化画像のブロックごとに、コスト関数が所定の閾値より小さくなるように、高域のブロック単位の基底画像行列を学習しつつ、ブロック単位の基底画像係数ベクトルを演算する。
【０１１８】
このコスト関数は、読み出されたブロック単位の基底画像からなるブロック単位の基底画像行列を用いて、上述した式（２）乃至（４）のいずれかのYを劣化画像ベクトルにした式によりブロック単位で定義される。演算部１３１−１は、学習された高域のブロック単位の基底画像行列とブロック単位の基底画像係数ベクトルとを生成部１３２−１に供給する。
【０１１９】
演算部１３１−２と演算部１３１−３も、演算部１３１−１と同様に、分類部８２から供給されるブロックごとに、ブロック単位の基底画像行列を学習しつつ、ブロック単位の基底画像係数ベクトルを演算する。演算部８４−２は、学習された中域のブロック単位の基底画像行列とブロック単位の基底画像係数ベクトルを生成部８５−２に供給する。また、演算部８４−３は、学習された低域のブロック単位の基底画像行列とブロック単位の基底画像係数ベクトルを生成部８５−３に供給する。
【０１２０】
なお、以下では、演算部１３１−１乃至演算部１３１−３を特に区別する必要がない場合、それらをまとめて演算部１３１という。
【０１２１】
生成部１３２−１は、ブロックごとに、演算部１３１−１から供給されるブロック単位の基底画像係数ベクトルと高域のブロック単位の基底画像行列とを用いて、上述した式（７）によりブロック単位の輝度画像の静止画像を生成する。生成部１３２は、図８の生成部８５−１と同様に、生成されたブロック単位の輝度画像の静止画像から高域の復元画像を生成し、合成部８６に供給する。
【０１２２】
生成部１３２−２と生成部１３２−３も、生成部１３２−１と同様に、演算部１３１から供給されるブロック単位の基底画像係数ベクトルとブロック単位の基底画像行列とを用いて、ブロック単位の輝度画像の静止画像を生成する。生成部１３２−２は、生成部８５−２と同様に、生成されたブロック単位の輝度画像の静止画像から中域の復元画像を生成し、合成部８６に供給する。また、生成部１３２−３は、生成部８５−３と同様に、生成されたブロック単位の輝度画像の静止画像から低域の復元画像を生成し、合成部８６に供給する。
【０１２３】
なお、以下では、生成部１３２−１乃至生成部１３２−３を特に区別する必要がない場合、それらをまとめて生成部１３２という。
【０１２４】
［画像生成装置１３０の処理の説明］
図１２の画像生成装置１３０の分類生成処理は、生成処理を除いて図１０の分類生成処理と同様であるので、生成処理についてのみ説明する。
【０１２５】
図１３は、図１２の画像生成装置１３０の生成処理の詳細を説明するフローチャートである。
【０１２６】
図１３のステップＳ１０１乃至Ｓ１０４の処理は、図１１のステップＳ８１乃至Ｓ８４の処理と同様であるので、説明は省略する。以降のステップＳ１０５乃至Ｓ１１１の処理は、ブロック単位で行われる。
【０１２７】
ステップＳ１０５において、演算部１３１は、ステップＳ１０４で更新されたブロック単位の基底画像係数ベクトルと劣化画像のブロックとを用いて、上述した式（２）乃至（４）のYを劣化画像ベクトルにした式のいずれかによりブロック単位で定義されるコスト関数をDで偏微分した値をΔDとして計算する。
【０１２８】
ステップＳ１０６において、演算部１３１は、ステップＳ１０５で計算されたΔDを用いて、上述した式（６）によりブロック単位の基底画像行列を更新する。ステップＳ１０７において、演算部１３１は、繰り返し回数Mを1だけインクリメントする。
【０１２９】
ステップＳ１０８において、演算部１３１は、ステップＳ１０４で更新されたブロック単位の基底画像係数ベクトル、ステップＳ１０６で更新されたブロック単位の基底画像行列、および、劣化画像のブロックを用いて、上述した式（２）乃至（４）のYを劣化画像ベクトルにした式のいずれかによりブロック単位で定義されるコスト関数を求める。
【０１３０】
ステップＳ１０９において、演算部１３１は、コスト関数が所定の閾値より小さいかどうかを判定する。ステップＳ１０９でコスト関数が所定の閾値以上であると判定された場合、処理はステップＳ１１０に進む。
【０１３１】
ステップＳ１１０において、演算部１３１は、繰り返し回数Mが所定の閾値より大きいかどうかを判定する。ステップＳ１１０で繰り返し回数Mが所定の閾値以下であると判定された場合、処理はステップＳ１０３に戻る。そして、コスト関数が所定の閾値より小さくなるか、または、学習の繰り返し回数Mが所定の閾値より大きくなるまで、ステップＳ１０３乃至Ｓ１１０の処理が繰り返される。
【０１３２】
一方、ステップＳ１０９でコスト関数が所定の閾値より小さいと判定された場合、または、ステップＳ１１０で繰り返し回数Mが所定の閾値より大きいと判定された場合、演算部１３１は、直前のステップＳ１０４で更新されたブロック単位の基底画像係数ベクトルと、ステップＳ１０６で更新されたブロック単位の基底画像行列を生成部１３２に供給する。
【０１３３】
そして、ステップＳ１１１において、生成部１３２は、演算部１３１から供給されるブロック単位の基底画像係数ベクトルとブロック単位の基底画像行列を用いて、上述した式（７）によりブロック単位の輝度画像の静止画像を生成する。
【０１３４】
ステップＳ１１２およびＳ１１３の処理は、図１１のステップＳ９１およびＳ９２の処理と同様であるので、説明は省略する。
【０１３５】
なお、図１３の生成処理では、ブロックごとにブロック単位の基底画像行列が更新されるようにしたが、劣化画像単位でブロック単位の基底画像行列が更新されるようにしてもよい。この場合、劣化画像の全てのブロックについてコスト関数が求められ、そのコスト関数の和に基づいて繰り返し演算が行われる。
【０１３６】
以上のように、画像生成装置１３０は、復元画像を生成するとともに、ブロック単位の基底画像を学習するので、ブロック単位の基底画像の精度を向上させ、高画質の復元画像を生成することができる。
【０１３７】
しかしながら、画像生成装置１３０では、劣化画像が入力されるたびに学習を行う、即ちオンライン学習を行う必要があるため、高い処理能力が要求される。従って、比較的処理能力の高いパーソナルコンピュータ、クラウドコンピューティング等には画像生成装置１３０を適用し、比較的処理能力の低いデジタルカメラや携帯端末には画像生成装置８０を適用すると好適である。
【０１３８】
なお、第１実施の形態では、学習用の画像および劣化画像が輝度画像の静止画像であったが、色画像の静止画像であってもよい。
【０１３９】
学習用の画像および劣化画像が色画像の静止画像である場合には、その色画像の静止画像が、色チャンネル（例えば、R（Red）,G（Green）,B（Blue））ごとに所定のサイズのブロックに分割される。そして、色チャンネルごとにコスト関数が定義される。その結果、学習装置１０は、色チャンネルごとにブロック単位の基底画像を学習し、画像生成装置８０（１３０）は、色チャンネルごとに色画像の静止画像を生成する。
【０１４０】
また、学習用の画像および劣化画像は、動画像であってもよい。この場合、その動画像はフレームごとに所定のサイズのブロックに分割される。
【０１４１】
また、第１実施の形態では、輝度画像の静止画像が、高域、中域、および低域の３つの帯域に分割されたが、帯域分割の数は３つに限定されない。また、ローパスフィルタ６１（６２）の通過帯域は限定されない。
【０１４２】
＜第２実施の形態＞
［第２実施の形態におけるスパースコーディングの概要の説明］
図１４は、本技術を適用した第２実施の形態におけるスパースコーディングの概要を説明する図である。
【０１４３】
図１４に示すように、第２実施の形態では、事前に、大量の画質劣化のない学習用の輝度画像の静止画像がシーンの特徴ごとに分類され、シーンの特徴ごとに学習用の輝度画像の静止画像を用いて基底画像が学習される。そして、学習されたシーンの特徴ごとの基底画像は保持される。なお、シーンの特徴としては、例えば、撮影状況と撮影モードの組み合わせが用いられる。
【０１４４】
ここでは、撮影状況の種類は、オート撮影、三脚での撮影、および動きのある撮影の3種類である。撮影モードの種類は、夜景と人物の撮影モード、夜景撮影モード、オート撮影モード、人物の逆光撮影モード、逆光撮影モード、人物撮影モード、風景撮影モード、マクロ撮影モード、赤ちゃん撮影モード、スポットライト撮影モード、低輝度撮影モード、および拡大鏡撮影モードの12種類である。従って、シーンの特徴の種類は、36（=3×12）種類である。勿論、シーンの特徴の種類や種類数はこれに限定されない。
【０１４５】
スパースコーディングの対象として劣化画像が入力されると、その劣化画像が撮影状況と撮影モードに基づいて36種類のシーンの特徴のいずれかに分類され、そのシーンの特徴の基底画像を用いて劣化画像に対して基底画像係数の最適化が行われる。そして、最適化された基底画像係数と、劣化画像が分類されたシーンの特徴の基底画像とを用いて、劣化画像に対応する画質劣化のない画像が、復元画像として生成される。
【０１４６】
［学習装置の構成例］
図１５は、本技術を適用した信号処理装置の第２実施の形態としての学習装置の構成例を示すブロック図である。
【０１４７】
図１５に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１４８】
図１５の学習装置１５０の構成は、分類部１２の代わりに分類部１５１が設けられる点、学習部１３−１乃至１３−３の代わりに学習部１５２−１乃至１５２−３６が設けられる点、および記憶部１４−１乃至１４−３の代わりに記憶部１５３−１乃至１５３−３６が設けられる点が図２の構成と異なる。学習装置１５０は、シーンの特徴ごとに基底画像を学習する。
【０１４９】
具体的には、分類部１５１には、外部から各学習用の輝度画像の静止画像の撮影状況および撮影モードが入力される。分類部１５１は、分割部１１から供給されるブロックを、外部から入力される、そのブロックの学習用の輝度画像の静止画像の撮影状況および撮影モードに基づいて、36種類のシーンの特徴のいずれかに分類する。分類部１５１は、ブロックを、そのブロックが分類されたシーンの特徴に対応する学習部１５２−１乃至１５２−３６のいずれかに供給する。
【０１５０】
学習部１５２−１乃至１５２−３６のそれぞれは、36種類のシーンの特徴のそれぞれに対応する。学習部１５２−１は、分類部１５１から供給される、自分に対応するシーンの特徴に分類されたブロックを、上述した式（１）によりモデリングして、そのシーンの特徴のブロック単位の基底画像を学習する。具体的には、学習部１５２−１は、自分に対応するシーンの特徴に分類されたブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、そのシーンのブロック単位の基底画像を学習する。学習部１５２−１は、学習された、自分に対応するシーンの特徴のブロック単位の基底画像を記憶部１５３−１に供給する。
【０１５１】
学習部１５２−２乃至１５２−３６も、学習部１５２−１と同様に、分類部１５１から供給される、自分に対応するシーンの特徴に分類されたブロックを、上述した式（１）によりモデリングして、そのシーンの特徴のブロック単位の基底画像を学習する。学習部１５２−２乃至１５２−３６は、それぞれ、学習されたブロック単位の基底画像を記憶部１５３−２乃至１５３−３６に供給する。なお、以下では、学習部１５２−１乃至１５２−３６を特に区別する必要がない場合、それらをまとめて学習部１５２という。
【０１５２】
記憶部１５３−１乃至１５３−３６は、それぞれ、学習部１５２から供給される、その学習部１５２に対応するシーンの特徴のブロック単位の基底画像を記憶する。なお、以下では、記憶部１５３−１乃至１５３−３６を特に区別する必要がない場合、それらをまとめて記憶部１５３という。
【０１５３】
［学習装置の処理の説明］
図１６は、図１５の学習装置１５０の分類学習処理を説明するフローチャートである。この分類学習処理は、例えば、外部から全ての学習用の輝度画像の静止画像が学習装置１５０に入力されたとき、オフラインで行われる。
【０１５４】
図１６のステップＳ１３１において、分割部１１は、外部から入力された学習用の輝度画像の静止画像を所定のサイズのブロックに分割し、分類部１５１に供給する。
【０１５５】
ステップＳ１３２において、分類部１５１は、分割部１１から供給されるブロックを、外部から入力される、そのブロックの学習用の輝度画像の静止画像の撮影状況および撮影モードに基づいて、36種類のシーンの特徴のいずれかに分類する。分類部１５１は、ブロックを、そのブロックが分類されたシーンの特徴に対応する学習部１５２に供給する。
【０１５６】
ステップＳ１３３において、学習部１５２は、分類部１５１から供給される各シーンの特徴のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。そして処理は終了する。
【０１５７】
以上のように、学習装置１５０は、学習用の輝度画像の静止画像のシーンの特徴ごとに、学習用の輝度画像の静止画像が、基底画像係数が疎となる基底画像の線形演算で表されるように基底画像を学習する。従って、より正確なシーンの特徴ごとの基底画像を学習することができる。
【０１５８】
また、学習装置１５０は、シーンの特徴ごとに基底画像を学習することにより、学習装置１０と同様に、基底画像の収束時間を短縮することができる。さらに、学習装置１５０は、シーンの特徴ごとに基底画像を学習するので、シーンの特徴ごとに学習処理を並列に行うことができる。
【０１５９】
［画像生成装置の構成例］
図１７は、図１５の学習装置１５０により学習されたシーンの特徴ごとの基底画像を用いて画像を生成する、本技術を適用した出力装置の第２実施の形態としての画像生成装置の構成例を示すブロック図である。
【０１６０】
図１７に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１６１】
図１７の画像生成装置１９０の構成は、分類部８２、記憶部８３−１乃至８３−３、演算部８４−１乃至８４−３、生成部８５−１乃至８５−３の代わりに、分類部１９１、記憶部１９２−１乃至１９２−３６、演算部１９３−１乃至１９３−３６、生成部１９４−１乃至１９４−３６が設けられる点、および合成部８６が設けられない点が図８の構成と異なる。画像生成装置１９０は、外部から劣化画像として入力される輝度画像の静止画像に対して、シーンの特徴に応じたスパースコーディングを行うことにより、復元画像を生成する。
【０１６２】
具体的には、画像生成装置１９０の分類部１９１には、外部から劣化画像の撮影状況および撮影モードが入力される。分類部１９１は、分割部８１から供給される劣化画像の全ブロックを、外部から入力される、その劣化画像の撮影状況および撮影モードに基づいて、36種類のシーンの特徴のいずれかに分類する。分類部１９１は、全ブロックを、その全ブロックが分類されたシーンの特徴に対応する演算部１９３−１乃至１９３−３６のいずれかに供給する。
【０１６３】
記憶部１９２−１乃至１９２−３６は、図１５の学習装置１５０により学習され、記憶部１５３に記憶された、演算部１９３−１乃至１９３−３６のそれぞれに対応するシーンの特徴のブロック単位の基底画像を記憶する。
【０１６４】
演算部１９３−１乃至１９３−３６のそれぞれは、36種類のシーンの特徴のそれぞれに対応する。演算部１９３−１は、記憶部１９２−１から、自分に対応するシーンの特徴のブロック単位の基底画像を読み出す。演算部１９３−１は、分類部１９１から供給される、自分に対応するシーンの特徴の劣化画像のブロックごとに、コスト関数が所定の閾値より小さくなるように、ブロック単位の基底画像係数ベクトルを演算する。このコスト関数は、読み出されたブロック単位の基底画像からなるブロック単位の基底画像行列を用いて、上述した式（２）乃至（４）のいずれかのYを劣化画像ベクトルにした式によりブロック単位で定義される。演算部１９３−１は、ブロック単位の基底画像係数ベクトルを生成部１９４−１に供給する。
【０１６５】
演算部１９３−２乃至１９３−３６も、演算部１９３−１と同様に、記憶部１９２−２乃至１９２−３６のそれぞれから、自分に対応するシーンの特徴のブロック単位の基底画像を読み出す。また、演算部１９３−２乃至１９３−３６は、演算部１９３−１と同様に、分類部１９１から供給される、自分に対応するシーンの特徴の劣化画像のブロックごとに、ブロック単位の基底画像係数ベクトルを演算する。そして、演算部１９３−２乃至１９３−３６は、それぞれ、演算されたブロック単位の基底画像係数ベクトルを生成部１９４−２乃至１９４−３６に供給する。
【０１６６】
生成部１９４−１は、記憶部１９２−１から、自分に対応するシーンの特徴のブロック単位の基底画像を読み出す。生成部１９４−１は、ブロックごとに、演算部１９３−１からのブロック単位の基底画像係数ベクトルと、読み出されたブロック単位の基底画像からなるブロック単位の基底画像行列とを用いて、上述した式（７）によりブロック単位の輝度画像の静止画像を生成する。生成部１９４−１は、ブロック単位の輝度画像の静止画像から、１枚の輝度画像の静止画像を生成し、復元画像として出力する。
【０１６７】
生成部１９４−２乃至１９４−３６も、生成部１９４−１と同様に、記憶部１９２−２乃至１９２−３６のそれぞれからブロック単位の基底画像を読み出し、ブロック単位の輝度画像の静止画像を生成する。生成部１９４−２乃至１９４−３６は、生成されたブロック単位の輝度画像の静止画像から１枚の輝度画像の静止画像を生成し、復元画像として出力する。
【０１６８】
なお、以下では、記憶部１９２−１乃至１９２−３６を特に区別する必要がない場合、それらをまとめて記憶部１９２という。同様に、演算部１９３−１乃至１９３−３６をまとめて演算部１９３といい、生成部１９４−１乃至１９４−３６をまとめて生成部１９４という。
【０１６９】
[画像生成装置の処理の説明]
図１８は、図１７の画像生成装置１９０の分類生成処理を説明するフローチャートである。この分類生成処理は、例えば、外部から劣化画像として輝度画像の静止画像が入力されたとき、開始される。
【０１７０】
図１８のステップＳ１５１において、画像生成装置１９０の分割部８１は、外部から劣化画像として入力された輝度画像の静止画像を、図１５の分割部１１と同様に所定のサイズのブロックに分割し、分類部１９１に供給する。
【０１７１】
ステップＳ１５２において、分類部１９１は、分割部８１から供給される劣化画像の全ブロックを、外部から入力される、その劣化画像の撮影状況および撮影モードに基づいて、36種類のシーンの特徴のいずれかに分類する。分類部１９１は、全ブロックを、その全ブロックが分類されたシーンの特徴に対応する演算部１９３に供給する。
【０１７２】
ステップＳ１５３において、画像生成装置１９０は、全ブロックが分類されたシーンの特徴の基底画像と全ブロックとを用いて図１１の生成処理を行い、処理を終了する。
【０１７３】
以上のように、画像生成装置１９０は、学習装置１５０によりシーンの特徴ごとに学習された基底画像を得て、劣化画像と劣化画像のシーンの特徴の基底画像とに基づいて、基底画像係数を演算する。従って、画像生成装置１９０は、劣化画像のシーンの特徴に応じた基底画像と基底画像係数を用いて、シーンに適した復元効果を有する高画質な復元画像を生成することができる。
【０１７４】
また、画像生成装置１９０は、シーンの特徴ごとに基底画像係数を演算することにより、画像生成装置８０と同様に、基底画像係数の収束時間を短縮することができる。
【０１７５】
なお、第２実施の形態では、第１実施の形態と同様に、学習用の画像および劣化画像が輝度画像の静止画像であったが、色画像の静止画像であってもよい。また、学習用の画像および劣化画像は、動画像であってもよい。さらに、第２実施の形態においても、第１実施の形態と同様に、復元画像を生成しながら基底画像を学習することもできる。
【０１７６】
また、第２実施の形態では、外部から入力される撮影状況および撮影モードに基づいてシーンによる特徴の分類が行われたが、輝度画像の静止画像そのものに基づいてシーンの特徴による分類が行われるようにしてもよい。
【０１７７】
＜第３実施の形態＞
［第３実施の形態におけるスパースコーディングの概要の説明］
図１９は、本技術を適用した第３実施の形態におけるスパースコーディングの概要を説明する図である。
【０１７８】
図１９に示すように、第３実施の形態では、事前に、大量の画質劣化のない学習用の輝度画像の静止画像が奥行きマップの特徴ごとに分類され、奥行きマップの特徴ごとに学習用の輝度画像の静止画像を用いて基底画像が学習される。そして、学習された奥行きマップの特徴ごとの基底画像は保持される。
【０１７９】
なお、奥行きマップとは、学習用の輝度画像の静止画像の各画素の被写体の奥行方向の位置を表す奥行き値のマップである。また、奥行きマップの特徴は、ここでは、奥行き値の平均値が第１の閾値より大きいという特徴（以下、奥行き大という）、第２の閾値以上第１の閾値未満であるという特徴（以下、奥行き中という）、および第２の閾値より小さいという特徴（以下、奥行き小という）の３種類の特徴である。
【０１８０】
勿論、奥行きマップの特徴の種類や種類数はこれに限定されない。例えば、奥行き値の最大値や最小値と所定の閾値との関係、奥行き値の分布等を奥行きマップの特徴とするようにしてもよい。
【０１８１】
スパースコーディングの対象として劣化画像が入力されると、その劣化画像が奥行きマップの特徴ごとに分類され、奥行きマップの特徴ごとに、その奥行きマップの特徴の基底画像を用いて劣化画像に対して基底画像係数の最適化が行われる。そして、奥行きマップの特徴ごとに、最適化された基底画像係数と基底画像を用いて劣化画像に対応する画質劣化のない画像が復元画像として生成され、各奥行きマップの特徴の復元画像が合成される。
【０１８２】
[学習装置の構成例］
図２０は、本技術を適用した信号処理装置の第３実施の形態としての学習装置の構成例を示すブロック図である。
【０１８３】
図２０に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１８４】
図２０の学習装置２１０の構成は、分類部１２の代わりに分類部２１１が設けられる点、学習部１３−１乃至１３−３の代わりに学習部２１２−１乃至２１２−３が設けられる点、および記憶部１４−１乃至１４−３の代わりに記憶部２１３−１乃至２１３−３が設けられる点が図２の構成と異なる。学習装置２１０は、奥行きマップの特徴ごとに基底画像を学習する。
【０１８５】
具体的には、分類部２１１は、分割部１１から供給されるブロックから、そのブロックの奥行きマップを生成する。分類部２１１は、各ブロックを、そのブロックの奥行きマップに基づいて、奥行き大、奥行き中、または奥行き小に分類する。分類部２１１は、奥行き大のブロックを学習部２１２−１に供給し、奥行き中のブロックを学習部２１２−２に供給し、奥行き小のブロックを学習部２１２−３に供給する。
【０１８６】
学習部２１２−１は、分類部２１１から供給される奥行き大のブロックを上述した式（１）によりモデリングして、奥行き大のブロック単位の基底画像を学習する。具体的には、学習部２１２−１は、奥行き大のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、奥行き大のブロック単位の基底画像を学習する。学習部２１２−１は、学習された奥行き大のブロック単位の基底画像を記憶部２１３−１に供給する。
【０１８７】
学習部２１２−２および２１２−３も、学習部２１２−１と同様に、分類部２１１から供給されるブロックを上述した式（１）によりモデリングして、ブロック単位の基底画像を学習する。学習部２１２−２は、学習された奥行き中のブロック単位の基底画像を記憶部１４−２に供給し、学習部２１２−３は、学習された奥行き小のブロック単位の基底画像を記憶部１４−３に供給する。なお、以下では、学習部２１２−１乃至２１２−３を特に区別する必要がない場合、それらをまとめて学習部２１２という。
【０１８８】
記憶部２１３−１は、学習部２１２−１から供給される奥行き大のブロック単位の基底画像を記憶する。記憶部２１３−２は、学習部２１２−２から供給される奥行き中のブロック単位の基底画像を記憶する。記憶部２１３−３は、学習部２１２−３から供給される奥行き小のブロック単位の基底画像を記憶する。なお、以下では、記憶部２１３−１乃至２１３−３を特に区別する必要がない場合、それらをまとめて記憶部２１３という。
【０１８９】
［学習装置の処理の説明］
図２１は、図２０の学習装置２１０の分類学習処理を説明するフローチャートである。この分類学習処理は、例えば、外部から全ての学習用の輝度画像の静止画像が学習装置２１０に入力されたとき、オフラインで行われる。
【０１９０】
図２１のステップＳ１７０において、分割部１１は、外部から入力された学習用の輝度画像の静止画像を所定のサイズのブロックに分割し、分類部２１１に供給する。ステップＳ１７１において、分類部２１１は、分割部１１から供給されるブロックから、そのブロックの奥行きマップを生成する。
【０１９１】
ステップＳ１７２において、分類部２１１は、各ブロックを、そのブロックの奥行きマップに基づいて、奥行き大、奥行き中、または奥行き小に分類する。分類部２１１は、奥行き大のブロックを学習部２１２−１に供給し、奥行き中のブロックを学習部２１２−２に供給し、奥行き小のブロックを学習部２１２−３に供給する。
【０１９２】
ステップＳ１７３において、学習部２１２−１は、分類部２１１から供給される奥行き大のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。学習部２１２−１は、学習された奥行き大のブロック単位の基底画像を記憶部２１３−１に供給する。
【０１９３】
ステップＳ１７４において、学習部２１２−２は、分類部２１１から供給される奥行き中のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。学習部２１２−２は、学習された奥行き中のブロック単位の基底画像を記憶部２１３−２に供給する。
【０１９４】
ステップＳ１７５において、学習部２１２−３は、分類部２１１から供給される奥行き小のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。学習部２１２−３は、学習された奥行き小のブロック単位の基底画像を記憶部２１３−３に供給する。そして、処理は終了する。
【０１９５】
以上のように、学習装置２１０は、学習用の輝度画像の静止画像の奥行きマップの特徴ごとに、学習用の輝度画像の静止画像が、基底画像係数が疎となる基底画像の線形演算で表されるように基底画像を学習する。従って、より正確な奥行きマップの特徴ごとの基底画像を学習することができる。
【０１９６】
また、学習装置２１０は、奥行きマップの特徴ごとに基底画像を学習することにより、学習装置１０と同様に、基底画像の収束時間を短縮することができる。さらに、学習装置２１０は、奥行きマップの特徴ごとに基底画像を学習するので、奥行きマップの特徴ごとに学習処理を並列に行うことができる。
【０１９７】
［画像生成装置の構成例］
図２２は、図２０の学習装置２１０により学習された奥行きマップの特徴ごとの基底画像を用いて画像を生成する、本技術を適用した出力装置の第３実施の形態としての画像生成装置の構成例を示すブロック図である。
【０１９８】
図２２に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９９】
図２２の画像生成装置２５０の構成は、分類部８２、記憶部８３−１乃至８３−３、演算部８４−１乃至８４−３、生成部８５−１乃至８５−３、合成部８６の代わりに分類部２５１、記憶部２５２−１乃至２５２−３、演算部２５３−１乃至２５３−３、生成部２５４−１乃至２５４−３、合成部２５５が設けられる点が図８の構成と異なる。画像生成装置２５０は、外部から劣化画像として入力される輝度画像の静止画像に対して、奥行きマップの特徴に応じたスパースコーディングを行うことにより、復元画像を生成する。
【０２００】
具体的には、画像生成装置２５０の分類部２５１は、分割部８１から供給されるブロックから、そのブロックの奥行きマップを生成する。分類部２５１は、各ブロックを、そのブロックの奥行きマップに基づいて、奥行き大、奥行き中、または奥行き小に分類する。分類部２５１は、奥行き大のブロックを演算部２５３−１に供給し、奥行き中のブロックを演算部２５３−２に供給し、奥行き小のブロックを演算部２５３−３に供給する。
【０２０１】
記憶部２５２−１は、図２０の学習装置２１０により学習され、記憶部２１３−１に記憶された奥行き大のブロック単位の基底画像を記憶する。記憶部２５２−２は、記憶部２１３−２に記憶された奥行き中のブロック単位の基底画像を記憶し、記憶部２５２−３は、記憶部２１３−３に記憶された奥行き小のブロック単位の基底画像を記憶する。
【０２０２】
演算部２５３−１は、記憶部２５２−１から奥行き大のブロック単位の基底画像を読み出す。演算部２５３−１は、分類部２５１から供給される劣化画像の奥行き大のブロックごとに、コスト関数が所定の閾値より小さくなるように、ブロック単位の基底画像係数ベクトルを演算する。このコスト関数は、読み出されたブロック単位の基底画像からなるブロック単位の基底画像行列を用いて、上述した式（２）乃至（４）のいずれかのYを劣化画像ベクトルにした式によりブロック単位で定義される。演算部２５３−１は、ブロック単位の基底画像係数ベクトルを生成部２５４−１に供給する。
【０２０３】
演算部２５３−２と演算部２５３−３も、演算部２５３−１と同様に、それぞれ、記憶部２５２−２、記憶部２５２−３からブロック単位の基底画像を読み出し、分類部２５１から供給されるブロックごとに、ブロック単位の基底画像係数ベクトルを演算する。
【０２０４】
演算部２５３−２は、演算されたブロック単位の基底画像係数ベクトルを生成部２５４−２に供給し、演算部２５３−３は、演算されたブロック単位の基底画像係数ベクトルを生成部２５４−３に供給する。
【０２０５】
生成部２５４−１は、記憶部２５２−１から奥行き大のブロック単位の基底画像を読み出す。生成部２５４−１は、ブロックごとに、演算部２５３−１からのブロック単位の基底画像係数ベクトルと、読み出された奥行き大のブロック単位の基底画像からなるブロック単位の基底画像行列とを用いて、上述した式（７）により奥行き大のブロック単位の輝度画像の静止画像を生成する。
【０２０６】
生成部２５４−１は、奥行き大のブロック単位の輝度画像の静止画像から、劣化画像の奥行き大の領域に対応する輝度画像の静止画像を生成し、奥行き大の復元画像として合成部２５５に供給する。
【０２０７】
生成部２５４−２と生成部２５４−３も、生成部２５４−１と同様に、それぞれ、記憶部２５２-２、記憶部２５２−３からブロック単位の基底画像を読み出し、ブロック単位の輝度画像の静止画像を生成する。生成部２５４−２は、生成されたブロック単位の輝度画像の静止画像から奥行き中の復元画像を生成し、合成部２５５に供給する。また、生成部２５４−３は、生成されたブロック単位の輝度画像の静止画像から奥行き小の復元画像を生成し、合成部２５５に供給する。
【０２０８】
合成部２５５は、生成部２５４−１乃至２５４−３のそれぞれから供給される奥行き大、奥行き中、および奥行き小の復元画像を合成し、その結果得られる劣化画像の全領域に対応する復元画像を出力する。
【０２０９】
なお、以下では、記憶部２５２−１乃至２５２−３を特に区別する必要がない場合、それらをまとめて記憶部２５２という。同様に、演算部２５３−１乃至２５３−３を演算部２５３といい、生成部２５４−１乃至２５４−３を生成部２５４という。
【０２１０】
［画像生成装置の処理の説明］
図２３は、図２２の画像生成装置２５０の分類生成処理を説明するフローチャートである。この分類生成処理は、例えば、外部から劣化画像として輝度画像の静止画像が入力されたとき、開始される。
【０２１１】
図２３のステップＳ１９０において、画像生成装置２５０の分割部８１は、外部から劣化画像として入力された輝度画像の静止画像を、図２０の分割部１１と同様に所定のサイズのブロックに分割し、分類部２５１に供給する。
【０２１２】
ステップＳ１９１において、分類部２５１は、分割部８１から供給されるブロックから、そのブロックの奥行きマップを生成する。ステップＳ１９２において、分類部２５１は、各ブロックを、そのブロックの奥行きマップに基づいて、奥行き大、奥行き中、または奥行き小に分類する。分類部２５１は、その結果得られる奥行き大のブロックを演算部２５３−１に供給し、奥行き中のブロックを演算部２５３−２に供給し、奥行き小のブロックを演算部２５３−３に供給する。
【０２１３】
ステップＳ１９３において、画像生成装置２５０は、奥行き大のブロックを用いて生成処理を行う。ステップＳ１９４において、画像生成装置２５０は、奥行き中のブロックを用いて生成処理を行う。ステップＳ１９５において、画像生成装置２５０は、奥行き小のブロックを用いて生成処理を行う。
【０２１４】
なお、ステップＳ１９３乃至Ｓ１９５で行われる生成処理は、ステップＳ９１において１枚の輝度画像の静止画像ではなく、対応する奥行きマップの特徴の劣化画像の領域に対応する輝度画像の静止画像が生成される点を除いて図１１の生成処理と同様である。
【０２１５】
ステップＳ１９６において、合成部２５５は、生成部２５４−１乃至２５４−３のそれぞれから供給される奥行き大、奥行き中、および奥行き小の復元画像を合成し、その結果得られる劣化画像の全領域に対応する復元画像を出力する。そして、処理は終了する。
【０２１６】
以上のように、画像生成装置２５０は、学習装置２１０により奥行きマップの特徴ごとに学習された基底画像を得て、奥行きマップの特徴ごとの基底画像と劣化画像に基づいて、奥行きマップの特徴ごとに基底画像係数を演算する。従って、画像生成装置２５０は、奥行きマップの特徴ごとの基底画像と基底画像係数を用いて、奥行きマップの特徴に適した復元効果を有する高画質な復元画像を生成することができる。
【０２１７】
また、画像生成装置２５０は、奥行きマップの特徴ごとに基底画像係数を演算することにより、画像生成装置８０と同様に、基底画像係数の収束時間を短縮することができる。さらに、画像生成装置２５０は、奥行きマップの特徴ごとの基底画像と基底画像係数を用いて、奥行きマップの特徴ごとに復元画像を生成するので、奥行きマップの特徴ごとに生成処理を並列に行うことができる。
【０２１８】
なお、第３実施の形態では、第１実施の形態と同様に、学習用の画像および劣化画像が輝度画像の静止画像であったが、色画像の静止画像であってもよい。また、学習用の画像および劣化画像は、動画像であってもよい。さらに、第３実施の形態においても、第１実施の形態と同様に、復元画像を生成しながら基底画像を学習することもできる。
【０２１９】
また、第３実施の形態では、輝度画像の静止画像から奥行きマップが生成されたが、奥行きマップは外部から入力されるようにしてもよい。
【０２２０】
＜第４実施の形態＞
［第４実施の形態におけるスパースコーディングの概要の説明］
図２４は、本技術を適用した第４実施の形態におけるスパースコーディングの概要を説明する図である。
【０２２１】
図２４に示すように、第４実施の形態では、事前に、大量の画質劣化のない学習用の輝度画像の静止画像が空間的な位置の特徴ごとに分類され、空間的な位置の特徴ごとに学習用の輝度画像の静止画像を用いて基底画像が学習される。そして、学習された空間的な位置の特徴ごとの基底画像は保持される。
【０２２２】
なお、空間的な位置の特徴は、ここでは、画面を４分割したときの左上の領域に位置するという特徴（以下、左上領域という）、右上の領域に位置するという特徴（以下、右上領域という）、左下の領域に位置するという特徴（以下、左下領域という）、および右下の領域に位置するという特徴（以下、右下領域という）の4種類の特徴である。勿論、空間的な位置の特徴の種類や種類数は、これに限定されない。
【０２２３】
スパースコーディングの対象として劣化画像が入力されると、その劣化画像が、画面内の空間的な位置に基づいて、空間的な位置の特徴としての左上領域、右上領域、左下領域、右下領域に分類される。そして、空間的な位置の特徴ごとに、その空間的な位置の特徴の基底画像を用いて劣化画像に対して基底画像係数の最適化が行われる。そして、空間的な位置の特徴ごとに、最適化された基底画像係数と基底画像を用いて劣化画像に対応する画質劣化のない画像が復元画像として生成され、各空間的な位置の特徴の復元画像が合成される。
【０２２４】
［学習装置の構成例］
図２５は、本技術を適用した信号処理装置の第４実施の形態としての学習装置の構成例を示すブロック図である。
【０２２５】
図２５に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２２６】
図２５の学習装置２７０の構成は、分類部１２の代わりに分類部２７１が設けられる点、学習部１３−１乃至１３−３の代わりに学習部２７２−１乃至２７２−４が設けられる点、および記憶部１４−１乃至１４−３の代わりに記憶部２７３−１乃至２７３−４が設けられる点が図２の構成と異なる。学習装置２７０は、空間的な位置の特徴ごとに基底画像を学習する。
【０２２７】
具体的には、分類部２７１は、分割部１１から供給されるブロックを、そのブロックの空間的な位置に基づいて、左上領域、左下領域、右下領域、または右上領域に分類する。分類部２７１は、左上領域のブロックを学習部２７２−１に供給し、右上領域のブロックを学習部２７２−２に供給し、左下領域のブロックを学習部２７２−３に供給し、右下領域のブロックを学習部２７２−４に供給する。
【０２２８】
学習部２７２−１は、分類部２７１から供給される左上領域のブロックを上述した式（１）によりモデリングして、左上領域のブロック単位の基底画像を学習する。具体的には、学習部２７２−１は、左上領域のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、左上領域のブロック単位の基底画像を学習する。学習部２７２−１は、学習された左上領域のブロック単位の基底画像を記憶部２７３−１に供給する。
【０２２９】
学習部２７２−２乃至２７２−４も、学習部２７２−１と同様に、分類部２７１から供給されるブロックを上述した式（１）によりモデリングして、ブロック単位の基底画像を学習する。学習部２７２−２は、学習された右上領域のブロック単位の基底画像を記憶部２７３−２に供給し、学習部２７２−３は、学習された左下領域のブロック単位の基底画像を記憶部２７３−３に供給する。また、学習部２７２−４は、学習された右下領域のブロック単位の基底画像を記憶部２７３−４に供給する。なお、以下では、学習部２７２−１乃至２７２−４を特に区別する必要がない場合、それらをまとめて学習部２７２という。
【０２３０】
記憶部２７３−１は、学習部２７２−１から供給される左上領域のブロック単位の基底画像を記憶し、記憶部２７３−２は、学習部２７２−２から供給される右上領域のブロック単位の基底画像を記憶する。また、記憶部２７３−３は、学習部２７２−３から供給される左下領域のブロック単位の基底画像を記憶し、記憶部２７３−４は、学習部２７２−４から供給される右下領域のブロック単位の基底画像を記憶する。なお、以下では、記憶部２７３−１乃至２７３−４を特に区別する必要がない場合、それらをまとめて記憶部２７３という。
【０２３１】
［学習装置の処理の説明］
図２６は、図２５の学習装置２７０の分類学習処理を説明するフローチャートである。この分類学習処理は、例えば、外部から全ての学習用の輝度画像の静止画像が学習装置２７０に入力されたとき、オフラインで行われる。
【０２３２】
図２６のステップＳ２１１において、分割部１１は、外部から入力された学習用の輝度画像の静止画像を所定のサイズのブロックに分割し、分類部２７１に供給する。
【０２３３】
ステップＳ２１２において、分類部２７１は、分割部１１から供給されるブロックを、そのブロックの画面内の空間的な位置に基づいて、左上領域、左下領域、右下領域、または右上領域に分類する。分類部２７１は、左上領域のブロックを学習部２７２−１に供給し、右上領域のブロックを学習部２７２−２に供給し、左下領域のブロックを学習部２７２−３に供給し、右下領域のブロックを学習部２７２−４に供給する。
【０２３４】
ステップＳ２１３において、学習部２７２−１は、分類部２７１から供給される左上領域のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。
【０２３５】
ステップＳ２１４において、学習部２７２−１は、分類部２７１から供給される右上領域のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。
【０２３６】
ステップＳ２１５において、学習部２７２−１は、分類部２７１から供給される左下領域のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。
【０２３７】
ステップＳ２１６において、学習部２７２−１は、分類部２７１から供給される右下領域のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。そして、処理は終了する。
【０２３８】
以上のように、学習装置２７０は、学習用の輝度画像の静止画像の空間的な位置の特徴ごとに、学習用の輝度画像の静止画像が、基底画像係数が疎となる基底画像の線形演算で表されるように基底画像を学習する。従って、より正確な空間的な位置の特徴ごとの基底画像を学習することができる。
【０２３９】
また、学習装置２７０は、空間的な位置の特徴ごとに基底画像を学習することにより、学習装置１０と同様に、基底画像の収束時間を短縮することができる。さらに、学習装置２７０は、空間的な位置の特徴ごとに基底画像を学習するので、空間的な位置の特徴ごとに学習処理を並列に行うことができる。
【０２４０】
［画像生成装置の構成例］
図２７は、図２５の学習装置２７０により学習された空間的な位置の特徴ごとの基底画像を用いて画像を生成する、本技術を適用した出力装置の第４実施の形態としての画像生成装置の構成例を示すブロック図である。
【０２４１】
図２７に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２４２】
図２７の画像生成装置１９０の構成は、分類部８２、記憶部８３−１乃至８３−３、演算部８４−１乃至８４−３、生成部８５−１乃至８５−３、合成部８６の代わりに、分類部２９１、記憶部２９２−１乃至２９２−４、演算部２９３−１乃至２９３−４、生成部２９４−１乃至２９４−４、合成部２９５が設けられる点が図８の構成と異なる。画像生成装置１９０は、外部から劣化画像として入力される輝度画像の静止画像に対して、空間的な位置の特徴に応じたスパースコーディングを行うことにより、復元画像を生成する。
【０２４３】
具体的には、画像生成装置１９０の分類部２９１は、分割部８１から供給されるブロックを、そのブロックの空間的な位置に基づいて、左上領域、右上領域、左下領域、または右下領域に分類する。分類部２９１は、左上領域のブロックを演算部２９３−１に供給し、右上領域のブロックを演算部２９３−２に供給し、左下領域のブロックを演算部２９３−３に供給し、右下領域のブロックを演算部２９３−４に供給する。
【０２４４】
記憶部２９２−１は、図２５の学習装置２７０により学習され、記憶部２７３−１に記憶された左上領域のブロック単位の基底画像を記憶する。記憶部２９２−２は、記憶部２７３−２に記憶された右上領域のブロック単位の基底画像を記憶し、記憶部２９２−３は、記憶部２７３−３に記憶された左下領域のブロック単位の基底画像を記憶する。記憶部２９２−４は、記憶部２７３−４に記憶された右下領域のブロック単位の基底画像を記憶する。
【０２４５】
演算部２９３−１は、記憶部２９２−１から左上領域のブロック単位の基底画像を読み出す。演算部２９３−１は、分類部２９１から供給される劣化画像の左上領域のブロックごとに、コスト関数が所定の閾値より小さくなるように、ブロック単位の基底画像係数ベクトルを演算する。このコスト関数は、読み出されたブロック単位の基底画像からなるブロック単位の基底画像行列を用いて、上述した式（２）乃至（４）のいずれかのYを劣化画像ベクトルにした式によりブロック単位で定義される。演算部２９３−１は、ブロック単位の基底画像係数ベクトルを生成部２９４−１に供給する。
【０２４６】
演算部２９３−２乃至２９３−４も、演算部２９３−１と同様に、記憶部２９２−２乃至２９２−４のそれぞれからブロック単位の基底画像を読み出し、分類部２９１から供給されるブロックごとに、ブロック単位の基底画像係数ベクトルを演算する。そして、演算部２９３−２乃至２９３−４は、それぞれ、演算されたブロック単位の基底画像係数ベクトルを生成部２９４−２乃至２９４−４に供給する。
【０２４７】
生成部２９４−１は、記憶部２９２−１から左上領域のブロック単位の基底画像を読み出す。生成部２９４−１は、ブロックごとに、演算部２９３−１からのブロック単位の基底画像係数ベクトルと、読み出された左上領域のブロック単位の基底画像からなるブロック単位の基底画像行列とを用いて、上述した式（７）により左上領域のブロック単位の輝度画像の静止画像を生成する。
【０２４８】
生成部２９４−１は、左上領域のブロック単位の輝度画像の静止画像から、劣化画像の左上の領域に対応する輝度画像の静止画像を生成し、左上領域の復元画像として合成部２９５に供給する。
【０２４９】
生成部２９４−２乃至２９４−４も、生成部２９４−１と同様に、記憶部２９２-２乃至２９２−４のそれぞれからブロック単位の基底画像を読み出し、ブロック単位の輝度画像の静止画像を生成する。生成部２９４−２は、生成されたブロック単位の輝度画像の静止画像から右上領域の復元画像を生成し、合成部２９５に供給する。
【０２５０】
生成部２９４−３は、生成されたブロック単位の輝度画像の静止画像から左下領域の復元画像を生成し、合成部２９５に供給する。生成部２９４−４は、生成されたブロック単位の輝度画像の静止画像から右下領域の復元画像を生成し、合成部２９５に供給する。
【０２５１】
合成部２９５は、生成部２９４−１からの左上領域の復元画像が画面の左上に配置され、生成部２９４−２からの右上領域の復元画像が画面の右上に配置され、生成部２９４−３からの左下領域の復元画像が画面の左下に配置され、および生成部２９４−４からの右下領域の復元画像が画面の右下に配置されるように、左上領域、右上領域、左下領域、および右下領域の復元画像を合成する。合成部２９５は、その結果得られる1枚の復元画像を出力する。
【０２５２】
なお、以下では、記憶部２９２−１乃至２９２−４を特に区別する必要がない場合、それらをまとめて記憶部２９２という。同様に、演算部２９３−１乃至２９３−４を演算部２９３といい、生成部２９４−１乃至２９４−４を生成部２９４という。
【０２５３】
[画像生成装置の処理の説明]
図２８は、図２７の画像生成装置２９０の分類生成処理を説明するフローチャートである。この分類生成処理は、例えば、外部から劣化画像として輝度画像の静止画像が入力されたとき、開始される。
【０２５４】
図２８のステップＳ２３１において、画像生成装置２９０の分割部８１は、外部から劣化画像として入力された輝度画像の静止画像を、図２５の分割部１１と同様に所定のサイズのブロックに分割し、分類部２９１に供給する。
【０２５５】
ステップＳ２３２において、分類部２９１は、分割部８１から供給されるブロックを、そのブロックの画面内の空間的な位置に基づいて、左上領域、右上領域、左下領域、または右下領域に分類する。分類部２９１は、左上領域のブロックを演算部２９３−１に供給し、右上領域のブロックを演算部２９３−２に供給し、左下領域のブロックを演算部２９３−３に供給し、右下領域のブロックを演算部２９３−４に供給する。
【０２５６】
ステップＳ２３３において、画像生成装置２９０は、左上領域のブロックを用いて生成処理を行う。ステップＳ２３４において、画像生成装置２９０は、右上領域のブロックを用いて生成処理を行う。ステップＳ２３５において、画像生成装置２９０は、左下領域のブロックを用いて生成処理を行う。ステップＳ２３６において、画像生成装置２９０は、右下領域のブロックを用いて生成処理を行う。
【０２５７】
なお、ステップＳ２３３乃至Ｓ２３６で行われる生成処理は、ステップＳ９１において１枚の輝度画像の静止画像ではなく、対応する空間的な位置の特徴の劣化画像の領域に対応する輝度画像の静止画像が生成される点を除いて図１１の生成処理と同様である。
【０２５８】
ステップＳ２３７において、合成部２９５は、生成部２９４−１からの左上領域の復元画像が画面の左上に配置され、生成部２９４−２からの右上領域の復元画像が画面の右上に配置され、生成部２９４−３からの左下領域の復元画像が画面の左下に配置され、および生成部２９４−４からの右下領域の復元画像が画面の右下に配置されるように、左上領域、右上領域、左下領域、および右下領域の復元画像を合成する。合成部２９５は、その結果得られる1枚の復元画像を出力し、処理を終了する。
【０２５９】
以上のように、画像生成装置２９０は、学習装置２７０により空間的な位置の特徴ごとに学習された基底画像を得て、劣化画像の空間的な位置の特徴ごとの基底画像と劣化画像に基づいて、空間的な位置の特徴ごとに基底画像係数を演算する。従って、画像生成装置２９０は、空間的な位置の特徴ごとの基底画像と基底画像係数を用いて、空間的な位置の特徴に適した復元効果を有する高画質な復元画像を生成することができる。
【０２６０】
また、画像生成装置２９０は、空間的な位置の特徴ごとに基底画像係数を演算することにより、画像生成装置８０と同様に、基底画像係数の収束時間を短縮することができる。さらに、画像生成装置２９０は、空間的な位置の特徴ごとの基底画像と基底画像係数を用いて、空間的な位置の特徴ごとに復元画像を生成するので、空間的な位置の特徴ごとに生成処理を並列に行うことができる。
【０２６１】
なお、第４実施の形態では、第１実施の形態と同様に、学習用の画像および劣化画像が輝度画像の静止画像であったが、色画像の静止画像であってもよい。また、学習用の画像および劣化画像は、動画像であってもよい。さらに、第４実施の形態においても、第１実施の形態と同様に、復元画像を生成しながら基底画像を学習することもできる。
【０２６２】
＜第５実施の形態＞
［第５実施の形態におけるスパースコーディングの概要の説明］
図２９は、本技術を適用した第５実施の形態におけるスパースコーディングの概要を説明する図である。
【０２６３】
図２９に示すように、第５実施の形態では、事前に、大量の画質劣化のない学習用の輝度画像の動画像が時間変化の特徴ごとに分類され、時間変化の特徴ごとに学習用の輝度画像の動画像を用いて基底画像が学習される。そして、学習された時間変化の特徴ごとの基底画像は保持される。
【０２６４】
なお、時間変化の特徴は、ここでは、Nフレーム間で時間変化しない特徴としてのNフレーム分の画素値の平均値（以下、平均画像という）、および、各フレームで時間変化する特徴としての平均値と各フレームの画素値との差分値（以下、差分画像という）である。勿論、時間変化の特徴は、これに限定されない。
【０２６５】
スパースコーディングの対象の劣化画像として輝度画像の動画像が入力されると、その動画像の各フレームが、平均画像と差分画像に分類される。そして、平均画像の基底画像と平均画像とを用いて基底画像係数の最適化が行われ、その基底画像係数と平均画像の基底画像とを用いて、平均画像に対応する画質劣化のない画像が平均画像の復元画像として生成される。
【０２６６】
また、差分画像の基底画像と差分画像とを用いて基底画像係数の最適化が行われ、その基底画像係数と差分画像の基底画像とを用いて、差分画像に対応する画質劣化のない画像が差分画像の復元画像として生成される。そして、Nフレームごとの平均画像の復元画像と、各フレームの差分画像の復元画像が、フレームごとに加算され、各フレームの復元画像が生成される。
【０２６７】
［学習装置の構成例］
図３０は、本技術を適用した信号処理装置の第５実施の形態としての学習装置の構成例を示すブロック図である。
【０２６８】
図３０の学習装置３１０は、分割部３１１、分類部３１２、学習部３１３−１および３１３−２、並びに記憶部３１４−１および３１４−２により構成され、時間変化の特徴ごとに基底画像を学習する。
【０２６９】
具体的には、学習装置３１０の分割部３１１には、外部から大量の画質劣化のない学習用の輝度画像の動画像が入力される。分割部３１１は、フレームごとに、学習用の輝度画像の動画像を所定のサイズのブロックに分割し、分類部３１２に供給する。
【０２７０】
分類部３１２は、分割部３１１から供給される各フレームのブロックから、Nフレームごとにブロック単位の平均画像を生成し、学習部３１３−１に供給する。また、分類部３１２は、各フレームの各ブロックの画素値と、そのフレームを含むNフレームの平均画像との差分値を演算して、ブロック単位の差分画像を生成し、学習部３１３−２に供給する。
【０２７１】
学習部３１３−１は、分類部３１２から供給されるブロック単位の平均画像を上述した式（１）によりモデリングして、平均画像のブロック単位の基底画像を学習する。具体的には、学習部３１３−１は、ブロック単位の平均画像と上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、平均画像のブロック単位の基底画像を学習する。学習部３１３−１は、学習された平均画像のブロック単位の基底画像を記憶部３１４−１に供給する。
【０２７２】
学習部３１３−２も、学習部３１３−１と同様に、分類部３１２から供給されるブロック単位の差分画像を上述した式（１）によりモデリングして、差分画像のブロック単位の基底画像を学習する。学習部３１３−２は、学習された差分画像のブロック単位の基底画像を記憶部３１４−２に供給する。
【０２７３】
記憶部３１４−１は、学習部３１３−１から供給される平均画像のブロック単位の基底画像を記憶する。記憶部３１４−２は、学習部３１３−２から供給される差分画像のブロック単位の基底画像を記憶する。
【０２７４】
なお、以下では、学習部３１３−１および３１３−２を特に区別する必要がない場合、それらをまとめて学習部３１３という。同様に、記憶部３１４−１および３１４−２をまとめて記憶部３１４という。
【０２７５】
［学習装置の処理の説明］
図３１は、図３０の学習装置３１０の分類学習処理を説明するフローチャートである。この分類学習処理は、例えば、外部から全ての学習用の輝度画像の動画像が学習装置３１０に入力されたとき、オフラインで行われる。
【０２７６】
図３１のステップＳ２５１において、分割部３１１は、外部から入力された学習用の輝度画像の動画像をフレームごとに所定のサイズのブロックに分割し、分類部３１２に供給する。
【０２７７】
ステップＳ２５２において、分類部３１２は、分割部３１１から供給される各フレームのブロックから、Nフレームごとにブロック単位の平均画像を生成し、学習部３１３−１に供給する。
【０２７８】
ステップＳ２５３において、分類部３１２は、各フレームの各ブロックの画素値と、そのフレームを含むNフレームの平均画像との差分値を演算して、ブロック単位の差分画像を生成し、学習部３１３−２に供給する。
【０２７９】
ステップＳ２５４において、学習部３１３−１は、分類部３１２から供給されるブロック単位の平均画像と上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。
【０２８０】
ステップＳ２５５において、学習部３１３−１は、分類部３１２から供給されるブロック単位の差分画像と上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。そして、処理は終了する。
【０２８１】
以上のように、学習装置３１０は、学習用の輝度画像の動画像の時間変化の特徴ごとに、学習用の輝度画像の動画像が、基底画像係数が疎となる基底画像の線形演算で表されるように基底画像を学習する。従って、より正確な時間変化の特徴ごとの基底画像を学習することができる。
【０２８２】
また、学習装置３１０は、時間変化の特徴ごとに基底画像を学習することにより、学習装置１０と同様に、基底画像の収束時間を短縮することができる。さらに、学習装置３１０は、時間変化の特徴ごとに基底画像を学習するので、時間変化の特徴ごとに学習処理を並列に行うことができる。
【０２８３】
［画像生成装置の構成例］
図３２は、図３０の学習装置３１０により学習された時間変化の特徴ごとの基底画像を用いて画像を生成する、本技術を適用した出力装置の第５実施の形態としての画像生成装置の構成例を示すブロック図である。
【０２８４】
図３２の画像生成装置３３０は、分割部３３１、分類部３３２、記憶部３３３−１および３３３−２、演算部３３４−１および３３４−２、生成部３３５−１および３３５−２、並びに合成部３３６により構成される。画像生成装置３３０は、外部から劣化画像として入力される輝度画像の動画像に対して、時間変化の特徴ごとにスパースコーディングを行うことにより、復元画像を生成する。
【０２８５】
具体的には、画像生成装置３３０の分割部３３１には、外部から輝度画像の動画像が劣化画像として入力される。分割部３３１は、外部から入力された劣化画像を、フレームごとに、図３０の分割部３１１と同様に所定のサイズのブロックに分割し、分類部３１２に供給する。
【０２８６】
分類部３３２は、分割部３３１から供給される各フレームのブロックから、Nフレームごとにブロック単位の平均画像を生成し、演算部３３４−１に供給する。また、分類部３３２は、各フレームの各ブロックの画素値と、そのフレームを含むNフレームの平均画像との差分値を演算してブロック単位の差分画像を生成し、演算部３３４−２に供給する。
【０２８７】
記憶部３３３−１は、図３０の学習装置３１０により学習され、記憶部３１４−１に記憶された平均画像のブロック単位の基底画像を記憶し、記憶部３３３−２は、記憶部３１４−２に記憶された差分画像のブロック単位の基底画像を記憶する。
【０２８８】
演算部３３４−１は、記憶部３３３−１から平均画像のブロック単位の基底画像を読み出す。演算部３３４−１は、分類部３３２から供給されるブロック単位の平均画像ごとに、コスト関数が所定の閾値より小さくなるように、ブロック単位の基底画像係数ベクトルを演算する。このコスト関数は、読み出されたブロック単位の基底画像からなるブロック単位の基底画像行列を用いて、上述した式（２）乃至（４）のいずれかのYを劣化画像ベクトルにした式によりブロック単位で定義される。演算部３３４−１は、演算されたブロック単位の基底画像係数ベクトルを生成部３３５−１に供給する。
【０２８９】
演算部３３４−２も、演算部３３４−１と同様に、分類部３３２から供給される差分画像のブロックごとに、ブロック単位の基底画像係数ベクトルを演算し、生成部３３５−２に供給する。
【０２９０】
生成部３３５−１は、記憶部３３３−１から平均画像のブロック単位の基底画像を読み出す。生成部３３５−１は、ブロックごとに、演算部３３４−１からのブロック単位の基底画像係数ベクトルと、平均画像のブロック単位の基底画像からなるブロック単位の基底画像行列とを用いて、上述した式（７）によりブロック単位の輝度画像の動画像を生成する。生成部３３５−１は、生成されたブロック単位の輝度画像の動画像から、フレーム単位の輝度画像の動画像を生成し、平均画像の復元画像として合成部３３６に供給する。
【０２９１】
生成部３３５−２も、生成部３３５−１と同様に、記憶部３３３-２から差分画像のブロック単位の基底画像を読み出し、ブロック単位の輝度画像の動画像を生成する。生成部３３５−２は、生成されたブロック単位の輝度画像の動画像からフレーム単位の輝度画像の動画像を生成し、差分画像の復元画像として合成部３３６に供給する。
【０２９２】
合成部３３６は、生成部３３５−１から供給される平均画像の復元画像と、生成部３３５−２から供給される差分画像の復元画像を、フレームごとに合成（加算）し、復元画像を生成する。合成部３３６は、生成された復元画像を出力する。
【０２９３】
なお、以下では、記憶部３３３−１および３３３−２を特に区別する必要がない場合、それらをまとめて記憶部３３３という。同様に、演算部３３４−１および３３４−２を演算部３３４といい、生成部３３５−１および３３５−２を生成部３３５という。
【０２９４】
[画像生成装置の処理の説明]
図３３は、図３２の画像生成装置３３０の分類生成処理を説明するフローチャートである。この分類生成処理は、例えば、外部から劣化画像として輝度画像の動画像が入力されたとき、開始される。
【０２９５】
図３３のステップＳ２７１において、画像生成装置３３０の分割部３３１は、外部から劣化画像として入力された輝度画像の動画像を、フレームごとに、図３０の分割部３１１と同様に所定のサイズのブロックに分割し、分類部３３２に供給する。
【０２９６】
ステップＳ２７２において、分類部３３２は、分割部３３１から供給される各フレームのブロックから、Nフレームごとにブロック単位の平均画像を生成し、演算部３３４−１に供給する。
【０２９７】
ステップＳ２７３において、分類部３３２は、各フレームの各ブロックの画素値と、そのフレームを含むNフレームの平均画像との差分値を演算してブロック単位の差分画像を生成し、演算部３３４−２に供給する。
【０２９８】
ステップＳ２７４において、画像生成装置３３０は、ブロック単位の平均画像を用いて図１１の生成処理を行う。ステップＳ２７５において、画像生成装置３３０は、ブロック単位の差分画像を用いて図１１の生成処理を行う。
【０２９９】
ステップＳ２７６において、合成部３３６は、生成部３３５−１から供給される平均画像の復元画像と、生成部３３５−２から供給される差分画像の復元画像を、フレームごとに合成し、復元画像を生成する。合成部３３６は、生成された復元画像を出力して処理を終了する。
【０３００】
以上のように、画像生成装置３３０は、学習装置３１０により時間変化の特徴ごとに学習された基底画像を得て、時間変化の特徴ごとの基底画像と劣化画像とに基づいて、時間変化の特徴ごとに基底画像係数を演算する。従って、画像生成装置３３０は、時間変化の特徴ごとの基底画像と基底画像係数を用いて、よりスムーズな高画質の復元画像を生成することができる。
【０３０１】
また、画像生成装置３３０は、時間変化の特徴ごとに基底画像係数を演算することにより、画像生成装置８０と同様に、基底画像係数の収束時間を短縮することができる。さらに、画像生成装置３３０は、時間変化の特徴ごとの基底画像と基底画像係数を用いて、時間変化の特徴ごとに復元画像を生成するので、時間変化の特徴ごとに生成処理を並列に行うことができる。
【０３０２】
なお、第５実施の形態では、学習用の画像および劣化画像が輝度画像の動画像であったが、色画像の動画像であってもよい。また、第５実施の形態においても、第１実施の形態と同様に、復元画像を生成しながら基底画像を学習することもできる。
【０３０３】
＜第６実施の形態＞
［第６実施の形態におけるスパースコーディングの概要の説明］
図３４は、本技術を適用した第６実施の形態におけるスパースコーディングの概要を説明する図である。
【０３０４】
図３４に示すように、第６実施の形態では、画像生成装置３４０と端末３４１−１乃至３４１−Ｎがクラウドコンピューティングの構成をとる。画像生成装置３４０は、劣化画像を画像生成装置３４０に送信し、その劣化画像に対応する復元画像を画像生成装置３４０から受信する。
【０３０５】
この場合、事前に、大量の画質劣化のない学習用の輝度画像の静止画像が端末３４１−１乃至３４１−Ｎの特徴ごとに分類され、端末３４１−１乃至３４１−Ｎの特徴ごとに学習用の輝度画像の静止画像を用いて基底画像が学習される。そして、学習された端末３４１−１乃至３４１−Ｎの特徴ごとの基底画像は保持される。
【０３０６】
なお、以下では、端末３４１−１乃至３４１−Ｎを特に区別する必要がない場合、それらをまとめて端末３４１という。また、端末３４１の特徴としては、例えば、端末３４１の機種、撮影設定パラメータ、GPS(Global Positioning System)情報などがある。ここでは、端末３４１の特徴が端末３４１の機種であるものとし、端末３４１の機種は、機種Ａ、機種Ｂ、および機種Ｃの３種類であるものとする。
【０３０７】
端末３４１からスパースコーディングの対象として劣化画像が送信されてくると、画像生成装置３４０は、その劣化画像を送信元の端末３４１の特徴に基づいて機種Ａ乃至Ｃのいずれかに分類する。そして、画像生成装置３４０は、劣化画像が分類された機種の基底画像を用いて、その劣化画像に対して基底画像係数の最適化を行う。そして、画像生成装置３４０は、最適化された基底画像係数と劣化画像が分類された機種の基底画像とを用いて、その劣化画像に対応する画質劣化のない画像を復元画像として生成し、端末３４１に送信する。
【０３０８】
［学習装置の構成例］
図３５は、本技術を適用した信号処理装置の第６実施の形態としての学習装置の構成例を示すブロック図である。
【０３０９】
図３５に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３１０】
図３５の学習装置３５０の構成は、分類部１２の代わりに分類部３５１が設けられる点、学習部１３−１乃至１３−３の代わりに学習部３５２−１乃至３５２−３が設けられる点、および記憶部１４−１乃至１４−３の代わりに記憶部３５３−１乃至３５３−３が設けられる点が図２の構成と異なる。学習装置３５０は、端末３４１の特徴ごとに基底画像を学習する。
【０３１１】
具体的には、分類部３５１には、外部から各学習用の輝度画像の静止画像に対応する端末３４１の機種が入力される。分類部３５１は、分割部１１から供給されるブロックを、外部から入力される、そのブロックの学習用の輝度画像の静止画像に対応する端末３４１の機種に基づいて、機種Ａ乃至Ｃのいずれかに分類する。分類部３５１は、ブロックを、そのブロックが分類された機種に対応する学習部３５２−１乃至３５２−３のいずれかに供給する。
【０３１２】
学習部３５２−１乃至３５２−３は、それぞれ、機種Ａ、機種Ｂ、機種Ｃに対応する。学習部３５２−１は、分類部３５１から供給される機種Ａのブロックを上述した式（１）によりモデリングして、機種Ａのブロック単位の基底画像を学習する。具体的には、学習部３５２−１は、機種Ａのブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、機種Ａのブロック単位の基底画像を学習する。学習部３５２−１は、学習された機種Ａのブロック単位の基底画像を記憶部３５３−１に供給する。
【０３１３】
学習部３５２−２および３５２−３も、学習部３５２−１と同様に、分類部３５１から供給されるブロックを上述した式（１）によりモデリングして、ブロック単位の基底画像を学習する。学習部３５２−２は、学習された機種Ｂのブロック単位の基底画像を記憶部３５３−２に供給し、学習部３５２−３は、学習された機種Ｃのブロック単位の基底画像を記憶部３５３−３に供給する。
【０３１４】
記憶部３５３−１は、学習部３５２−１から供給される機種Ａのブロック単位の基底画像を記憶し、記憶部３５３−２は、学習部３５２−２から供給される機種Ｂのブロック単位の基底画像を記憶する。また、記憶部３５３−３は、学習部３５２−３から供給される機種Ｃのブロック単位の基底画像を記憶する。
【０３１５】
なお、以下では、学習部３５２−１乃至３５２−３を特に区別する必要がない場合、それらをまとめて学習部３５２という。同様に、記憶部３５３−１乃至３５３−３をまとめて記憶部３５３という。
【０３１６】
［学習装置の処理の説明］
図３６は、図３５の学習装置３５０の分類学習処理を説明するフローチャートである。この分類学習処理は、例えば、外部から全ての学習用の輝度画像の静止画像が学習装置３５０に入力されたとき、オフラインで行われる。
【０３１７】
図３６のステップＳ２９１において、分割部１１は、外部から入力された学習用の輝度画像の静止画像を所定のサイズのブロックに分割し、分類部３５１に供給する。
【０３１８】
ステップＳ２９２において、分類部３５１は、分割部１１から供給されるブロックを、外部から入力される、そのブロックの学習用の輝度画像の静止画像に対応する端末３４１の機種に基づいて、機種Ａ乃至Ｃのいずれかに分類する。分類部３５１は、ブロックを、そのブロックが分類された機種に対応する学習部３５２に供給する。
【０３１９】
ステップＳ２９３において、学習部３５２−１は、分類部３５１から供給される機種Ａのブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。
【０３２０】
ステップＳ２９４において、学習部３５２−２は、分類部３５１から供給される機種Ｂのブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。
【０３２１】
ステップＳ２９５において、学習部３５２−３は、分類部３５１から供給される機種Ｃのブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。そして処理は終了する。
【０３２２】
以上のように、学習装置３５０は、学習用の輝度画像の静止画像に対応する端末３４１の特徴ごとに、学習用の輝度画像の静止画像が、基底画像係数が疎となる基底画像の線形演算で表されるように基底画像を学習する。従って、より正確な端末３４１の特徴ごとの基底画像を学習することができる。
【０３２３】
また、学習装置３５０は、端末３４１の特徴ごとに基底画像を学習することにより、学習装置１０と同様に、基底画像の収束時間を短縮することができる。さらに、学習装置３５０は、端末の特徴ごとに基底画像を学習するので、端末の特徴ごとに学習処理を並列に行うことができる。
【０３２４】
［画像生成装置の構成例］
図３７は、図３５の学習装置３５０により学習された端末３４１の特徴ごとの基底画像を用いて画像を生成する、本技術を適用した出力装置の第６実施の形態としての画像生成装置の構成例を示すブロック図である。
【０３２５】
図３７の画像生成装置３４０は、分割部３７１、分類部３７２、記憶部３７３−１乃至３７３−３、演算部３７４−１乃至３７４−３、および生成部３７５−１乃至３７５−３により構成される。画像生成装置３４０は、端末３４１から劣化画像として送信されてくる輝度画像の静止画像に対して、端末３４１の特徴に応じたスパースコーディングを行うことにより、復元画像を生成する。
【０３２６】
具体的には、画像生成装置３４０の分割部３７１は、端末３４１から劣化画像として送信されてくる輝度画像の静止画像を受信し、図３５の分割部１１と同様に所定のサイズのブロックに分割し、分類部８２に供給する。
【０３２７】
分類部３７２は、端末３４１から送信されてくる端末３４１の機種を受信する。分類部３７２は、分割部３７１から供給される劣化画像の全ブロックを、その劣化画像を送信した端末３４１の機種に基づいて、機種Ａ乃至Ｃのいずれかに分類する。分類部３７２は、全ブロックを、その全ブロックが分類された機種に対応する演算部３７４−１乃至３７４−３のいずれかに供給する。
【０３２８】
記憶部３７３−１は、図３５の学習装置３５０により学習され、記憶部３５３−１に記憶された機種Ａのブロック単位の基底画像を記憶する。記憶部３７３−２は、記憶部３５３−２に記憶された機種Ｂのブロック単位の基底画像を記憶し、記憶部３７３−３は、記憶部３５３−３に記憶された機種Ｃのブロック単位の基底画像を記憶する。
【０３２９】
演算部３７４−１乃至３７４−３は、それぞれ、機種Ａ、機種Ｂ、機種Ｃに対応する。演算部３７４−１は、記憶部３７３−１から機種Ａのブロック単位の基底画像を読み出す。演算部３７４−１は、分類部３７２から供給される機種Ａの劣化画像のブロックごとに、コスト関数が所定の閾値より小さくなるように、ブロック単位の基底画像係数ベクトルを演算する。このコスト関数は、読み出されたブロック単位の基底画像からなるブロック単位の基底画像行列を用いて、上述した式（２）乃至（４）のいずれかのYを劣化画像ベクトルにした式によりブロック単位で定義される。演算部３７４−１は、ブロック単位の基底画像係数ベクトルを生成部３７５−１に供給する。
【０３３０】
演算部３７４−２および演算部３７３−３も、それぞれ、演算部３７４−１と同様に、記憶部３７３−２、記憶部３７３−３からブロック単位の基底画像を読み出し、分類部３７２から供給されるブロックごとに、ブロック単位の基底画像係数ベクトルを演算する。そして、演算部３７４−２は、演算されたブロック単位の基底画像係数ベクトルを生成部３７５−２に供給し、演算部３７４−３は、演算されたブロック単位の基底画像係数ベクトルを生成部３７５−３に供給する。
【０３３１】
生成部３７５−１は、記憶部３７３−１から機種Ａのブロック単位の基底画像を読み出す。生成部３７５−１は、ブロックごとに、演算部３７４−１からのブロック単位の基底画像係数ベクトルと、読み出された機種Ａのブロック単位の基底画像からなるブロック単位の基底画像行列とを用いて、上述した式（７）によりブロック単位の輝度画像の静止画像を生成する。生成部３７５−１は、生成されたブロック単位の輝度画像の静止画像から１枚の輝度画像の静止画像を生成し、復元画像として出力する。
【０３３２】
生成部３７５−２および生成部３７５−３も、それぞれ、生成部３７５−１と同様に、記憶部３７３-２、記憶部３７３−３からブロック単位の基底画像を読み出し、ブロック単位の輝度画像の静止画像を生成する。そして、生成部３７５−２および生成部３７５−３は、それぞれ、生成されたブロック単位の輝度画像の静止画像から１枚の輝度画像の静止画像を生成し、復元画像として出力する。
【０３３３】
なお、以下では、記憶部３７３−１乃至３７３−３を特に区別する必要がない場合、それらをまとめて記憶部３７３という。同様に、演算部３７４−１乃至３７４−３を演算部３７４といい、生成部３７５−１乃至３７５−３を生成部３７５という。
【０３３４】
[画像生成装置の処理の説明]
図３８は、図３７の画像生成装置３４０の分類生成処理を説明するフローチャートである。この分類生成処理は、例えば、端末３４１から劣化画像として輝度画像の静止画像と端末３４１の機種が送信されてきたとき、開始される。
【０３３５】
図３８のステップＳ３１０において、画像生成装置３４０の分割部３７１は、端末３４１から劣化画像として送信されてくる輝度画像の静止画像を受信し、分類部３７２は、端末３４１から送信されてくる端末３４１の機種を受信する。ステップＳ３１１において、分割部３７１は、受信された劣化画像を、図３５の分割部１１と同様に所定のサイズのブロックに分割し、分類部３７２に供給する。
【０３３６】
ステップＳ３１２において、分類部３７２は、分割部３７１から供給される劣化画像の全ブロックを、ステップＳ３１０で受信された端末３４１の機種に基づいて、機種Ａ乃至Ｃのいずれかに分類する。分類部３７２は、全ブロックを、その全ブロックが分類された機種に対応する演算部３７４に供給する。
【０３３７】
ステップＳ３１３において、画像生成装置３４０は、全ブロックが分類された機種の基底画像と全ブロックとを用いて図１１の生成処理を行い、処理を終了する。
【０３３８】
以上のように、画像生成装置３４０は、学習装置３５０により端末３４１の特徴ごとに学習された基底画像を得て、劣化画像と劣化画像の送信元の端末３４１の特徴の基底画像とに基づいて、基底画像係数を演算する。従って、画像生成装置３４０は、劣化画像の送信元の端末３４１の特徴に応じた基底画像と基底画像係数を用いて、送信元の端末３４１の特徴に適した復元効果を有する高画質な復元画像を生成することができる。
【０３３９】
また、画像生成装置３４０は、端末３４１の特徴ごとに基底画像係数を演算することにより、画像生成装置８０と同様に、基底画像係数の収束時間を短縮することができる。
【０３４０】
なお、第６実施の形態では、第１実施の形態と同様に、学習用の画像および劣化画像が輝度画像の静止画像であったが、色画像の静止画像であってもよい。また、学習用の画像および劣化画像は、動画像であってもよい。さらに、第６実施の形態においても、第１実施の形態と同様に、復元画像を生成しながら基底画像を学習することもできる。
【０３４１】
＜第７実施の形態＞
[学習装置の構成例]
図３９は、本技術を適用した信号処理装置の第７実施の形態としての学習装置の構成例を示すブロック図である。
【０３４２】
図３９に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３４３】
図３９の学習装置３９０の構成は、分割部１１、学習部１３−１乃至１３−３、記憶部１４−１乃至１４−３の代わりに、分割部３９１、学習部３９２−１乃至３９２−３、記憶部３９３乃至３９３−３が設けられる点が図２の構成と異なる。学習装置３９０は、オーディオ復元用のスパースコーディングの基底オーディオ信号を学習する。
【０３４４】
具体的には、学習装置３９０の分割部３９１には、外部から大量の音質劣化のない学習用のオーディオ信号が入力される。分割部３９１は、学習用のオーディオ信号を所定の区間のブロック（フレーム）に分割し、分類部１２に供給する。
【０３４５】
学習部３９２−１は、分類部１２から供給される高域のブロックを上述した式（１）の画像をオーディオ信号にした式によりモデリングして、高域のブロック単位の基底オーディオ信号を学習する。具体的には、学習部３９２−１は、高域のブロックと上述した式（２）乃至（４）のいずれかの画像をオーディオ信号にした式によりブロック単位で定義されるコスト関数とを用いて、高域のブロック単位の基底オーディオ信号を学習する。学習部３９２−１は、学習された高域のブロック単位の基底オーディオ信号を記憶部３９３−１に供給する。
【０３４６】
学習部３９２−２および学習部３９２−３も、学習部３９２−１と同様に、分類部１２から供給されるブロックを上述した式（１）の画像をオーディオ信号にした式によりモデリングして、ブロック単位の基底オーディオ信号を学習する。学習部３９２−２は、学習された中域のブロック単位の基底オーディオ信号を記憶部３９３−２に供給し、学習部３９２−３は、学習された低域のブロック単位の基底オーディオ信号を記憶部３９３−３に供給する。
【０３４７】
記憶部３９３−１は、学習部３９２−１から供給される高域のブロック単位の基底オーディオ信号を記憶し、記憶部３９３−２は、学習部３９２−２から供給される中域のブロック単位の基底オーディオ信号を記憶する。記憶部３９３−３は、学習部３９２−３から供給される低域のブロック単位の基底オーディオ信号を記憶する。
【０３４８】
［学習装置の処理の説明］
学習装置３９０の学習処理は、学習用の信号が輝度画像の静止画像ではなくオーディオ信号である点、学習用の信号を所定の区間単位のブロックに分割する点、および、コスト関数が上述した式（２）乃至（４）のいずれかの画像をオーディオ信号にした式により求められる点を除いて、図６の分類学習処理と同一であるので、図示および説明は省略する。
【０３４９】
以上のように、学習装置３９０は、学習用のオーディオ信号の帯域の特徴ごとに、学習用のオーディオ信号が、基底オーディオ係数が疎となる基底オーディオ信号の線形演算で表されるように基底オーディオ信号を学習する。従って、より正確な帯域の特徴ごとの基底オーディオ信号を学習することができる。
【０３５０】
また、学習装置３９０は、帯域の特徴ごとに基底オーディオ信号を学習することにより、学習装置１０と同様に、基底オーディオ信号の収束時間を短縮することができる。さらに、学習装置３９０は、帯域の特徴ごとに基底オーディオ信号を学習するので、帯域の特徴ごとに学習処理を並列に行うことができる。
【０３５１】
［オーディオ生成装置の構成例］
図４０は、図３９の学習装置３９０により学習された帯域の特徴ごとの基底オーディオ信号を用いてオーディオ信号を生成する、本技術を適用した出力装置の第７実施の形態としてのオーディオ生成装置の構成例を示すブロック図である。
【０３５２】
図４０に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３５３】
図４０のオーディオ生成装置４１０の構成は、分割部８１、記憶部８３−１乃至８３−３、演算部８４−１乃至８４−３、生成部８５−１乃至８５−３、合成部８６の代わりに、分割部４１１、記憶部４１２−１乃至４１２−３、演算部４１３−１乃至４１３−３、生成部４１４−１乃至４１４−３、合成部４１５が設けられる点が図８の構成と異なる。オーディオ生成装置４１０は、外部から入力される音質が劣化した劣化オーディオ信号に対して帯域ごとにスパースコーディングを行うことにより、復元オーディオ信号を生成する。
【０３５４】
具体的には、オーディオ生成装置４１０の分割部４１１には、外部から劣化オーディオ信号が入力される。分割部４１１は、外部から入力された劣化オーディオ信号を、図３９の分割部３９１と同様に所定の区間のブロックに分割し、分類部８２に供給する。
【０３５５】
記憶部４１２−１は、図３９の学習装置３９０により学習され、記憶部３９３−１に記憶された高域のブロック単位の基底オーディオ信号を記憶する。記憶部４１２−２は、記憶部３９３−２に記憶された中域のブロック単位の基底オーディオ信号を記憶し、記憶部４１２−３は、記憶部３９３−３に記憶された低域のブロック単位の基底オーディオ信号を記憶する。
【０３５６】
演算部４１３−１は、記憶部４１２−１から高域のブロック単位の基底オーディオ信号を読み出す。演算部４１３−１は、分類部８２から供給される劣化オーディオ信号の高域のブロックごとに、コスト関数が所定の閾値より小さくなるように、ブロック単位の基底オーディオ係数ベクトルを演算する。このコスト関数は、読み出されたブロック単位の基底オーディオ信号からなるブロック単位の基底オーディオ信号行列を用いて、上述した式（２）乃至（４）のいずれかのYを劣化オーディオ信号の各サンプリング値を列方向に並べたベクトルにした式によりブロック単位で定義される。演算部４１３−１は、演算されたブロック単位の基底オーディオ係数ベクトルを生成部４１４−１に供給する。
【０３５７】
演算部４１３−２と演算部４１３−３も、それぞれ、演算部４１３−１と同様に、記憶部４１２−２、記憶部４１２−３からブロック単位の基底オーディオ信号を読み出す。そして、演算部４１３−２と演算部４１３−３は、それぞれ、演算部４１３−１と同様に、分類部８２から供給されるブロックごとにブロック単位の基底オーディオ係数ベクトルを演算する。
【０３５８】
演算部４１３−２は、演算されたブロック単位の基底オーディオ係数ベクトルを生成部４１４−２に供給し、演算部４１３−３は、演算されたブロック単位の基底オーディオ係数ベクトルを生成部４１４−３に供給する。
【０３５９】
生成部４１４−１は、記憶部４１２−１から高域のブロック単位の基底オーディオ信号を読み出す。生成部４１４−１は、ブロックごとに、演算部４１３−１からのブロック単位の基底オーディオ係数ベクトルと、高域のブロック単位の基底オーディオ信号からなるブロック単位の基底オーディオ信号行列とを用いて、上述した式（７）の画像をオーディオ信号にした式によりブロック単位のオーディオ信号を生成する。
【０３６０】
生成部４１４−１は、生成されたブロック単位のオーディオ信号から全区間のオーディオ信号を生成し、高域の復元オーディオ信号として合成部４１５に供給する。生成部４１４−２と生成部４１４−３も、それぞれ、生成部４１４−１と同様に、記憶部４１２-２、記憶部４１２−３からブロック単位の基底オーディオ信号を読み出し、ブロック単位のオーディオ信号を生成する。
【０３６１】
生成部４１４−２は、生成されたブロック単位のオーディオ信号から中域の復元オーディオ信号を生成し、合成部４１５に供給する。また、生成部４１４−３は、生成されたブロック単位のオーディオ信号から低域の復元オーディオ信号を生成し、合成部４１５に供給する。
【０３６２】
合成部４１５は、生成部４１４−１乃至４１４−３のそれぞれから供給される高域、中域、および低域の復元オーディオ信号を合成し、その結果得られる全帯域の復元オーディオ信号を出力する。
【０３６３】
［オーディオ生成装置の処理の説明］
オーディオ生成装置４１０の分類生成処理は、スパースコーディング対象とする信号が劣化画像ではなく劣化オーディオ信号である点、スパースコーディング対象とする信号を所定の区間単位のブロックに分割する点、コスト関数が上述した式（２）乃至（４）のいずれかの画像をオーディオ信号にした式により求められる点、およびブロック単位のオーディオ信号が上述した式（７）の画像をオーディオ信号にした式により求められる点を除いて、図１０の分類生成処理と同一であるので、図示および説明は省略する。
【０３６４】
以上のように、オーディオ生成装置４１０は、学習装置３９０により帯域の特徴ごとに学習された基底オーディオ信号を得て、帯域の特徴ごとの基底オーディオ信号と劣化オーディオ信号に基づいて、帯域の特徴ごとに基底オーディオ係数を演算する。従って、オーディオ生成装置４１０は、帯域の特徴ごとの基底オーディオ信号と基底オーディオ係数を用いて、帯域の特徴に適した復元効果を有する高音質な復元オーディオ信号を生成することができる。
【０３６５】
また、オーディオ生成装置４１０は、帯域の特徴ごとに基底オーディオ係数を演算することにより、画像生成装置８０と同様に、基底オーディオ係数の収束時間を短縮することができる。さらに、オーディオ生成装置４１０は、帯域の特徴ごとの基底オーディオ信号と基底オーディオ係数を用いて、帯域の特徴ごとに復元オーディオ信号を生成するので、帯域の特徴ごとに生成処理を並列に行うことができる。
【０３６６】
＜第８実施の形態＞
[学習装置の構成例]
図４１は、本技術を適用した信号処理装置の第８実施の形態としての学習装置の構成例を示すブロック図である。
【０３６７】
図４１の学習装置４３０は、抽出部４３１、分類部４３２、学習部４３３−１乃至４３３−３、および記憶部４３４−１乃至４３４−３により構成される。学習装置４３０には、学習用の輝度画像の動画像として、図示せぬ監視カメラにより撮影された大量の正常時の輝度画像の動画像が入力されるとともに、撮影環境（監視環境）の情報が入力される。
【０３６８】
学習装置４３０の抽出部４３１は、学習用の輝度画像の動画像として図示せぬ監視カメラから入力された大量の正常時の輝度画像の動画像の各フレームから、後述する異常検知装置で異常検知の対象とする領域（以下、検知領域という）を抽出する。
【０３６９】
例えば、後述する異常検知装置が人の異常を検知する場合には、抽出部４３１は、人や顔の領域を検出し、その領域を検知領域として抽出する。また、後述する異常検知装置が車の異常を検知する場合には、抽出部４３１は、予め設定された車の特徴点を含む領域を検出し、その領域を検知領域として抽出する。なお、抽出部４３１は、フレームごとに検知領域を抽出するのではなく、所定数のフレームごとに検知領域を抽出し、抽出しない期間においては、抽出された検知領域をトラッキングすることにより検知領域を設定するようにしてもよい。
【０３７０】
抽出部４３１は、抽出された検知領域を正規化して所定のサイズのブロックとし、分類部４３２に供給する。
【０３７１】
なお、検知領域の数は、各フレームに対して単数であっても複数であってもよい。各フレームの検知領域の数が複数である場合、検知領域ごとに基底画像が学習される。
【０３７２】
分類部４３２は、抽出部４３１から供給されるブロックを、図示せぬ監視カメラから入力される、そのブロックの学習用の輝度画像の動画像の撮影環境に基づいて、複数の撮影環境の特徴のいずれかに分類する。ここでは、撮影環境は、撮影時の時間帯であり、撮影環境の特徴の種類は、早朝、午前、午後、および深夜の4種類である。
【０３７３】
勿論、撮影時の時間帯の特徴の種類はこれに限定されず、例えば、朝のラッシュアワー（7時から9時半まで）、夕方のラッシュアワー（17時から19時まで）、および、それ以外等であってもよい。また、撮影環境も、撮影時の時間帯に限定されず、例えば、室外で撮影が行われる場合、天気（雨、曇り、晴れ）などであってもよい。
【０３７４】
分類部４３２は、ブロックを、そのブロックが分類された撮影環境の特徴に対応する学習部４３３−１乃至４３３−４のいずれかに供給する。
【０３７５】
学習部４３３−１乃至４３３−４は、それぞれ、早朝、午前、午後、および深夜に対応する。学習部４３３−１は、分類部４３２から供給される早朝のブロックを上述した式（１）によりモデリングして、早朝のブロック単位の基底画像を学習する。具体的には、学習部４３３−１は、早朝のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、早朝のブロック単位の基底画像を学習する。学習部４３３−１は、学習された早朝のブロック単位の基底画像を記憶部４３４−１に供給する。
【０３７６】
学習部４３３−２乃至４３３−４も、学習部４３３−１と同様に、分類部４３２から供給されるブロックを上述した式（１）によりモデリングして、ブロック単位の基底画像を学習する。学習部４３３−２は、学習された午前のブロック単位の基底画像を記憶部４３４−２に供給し、学習部４３３−３は、学習された午後のブロック単位の基底画像を記憶部４３４−３に供給する。学習部４３３−４は、学習された深夜のブロック単位の基底画像を記憶部４３４−４に供給する。
【０３７７】
記憶部４３４−１は、学習部４３３−１から供給される早朝のブロック単位の基底画像を記憶し、記憶部４３４−２は、学習部４３３−２から供給される午前のブロック単位の基底画像を記憶する。また、記憶部４３４−３は、学習部４３３−３から供給される午後のブロック単位の基底画像を記憶し、記憶部４３４−４は、学習部４３３−４から供給される深夜のブロック単位の基底画像を記憶する。
【０３７８】
[学習装置の処理の説明]
図４２は、図４１の学習装置４３０の分類学習処理を説明するフローチャートである。この分類学習処理は、図示せぬ監視カメラから、全ての学習用の輝度画像の動画像としての正常時の輝度画像の動画像が学習装置４３０に入力されたとき、オフラインで行われる。
【０３７９】
ステップＳ３３０において、学習装置４３０の抽出部４３１は、図示せぬ監視カメラから入力される全ての学習用の輝度画像の動画像の各フレームから、検知領域を抽出する。ステップＳ３３１において、抽出部４３１は、抽出された検知領域を正規化して所定のサイズのブロックとし、分類部４３２に供給する。
【０３８０】
ステップＳ３３２において、分類部４３２は、抽出部４３１から供給されるブロックを、外部から入力される、そのブロックの学習用の輝度画像の動画像の撮影環境に基づいて、撮影環境の特徴としての早朝、午前、午後、または深夜に分類する。分類部４３２は、ブロックを、そのブロックが分類された撮影環境の特徴に対応する学習部４３３に供給する。
【０３８１】
ステップＳ３３３において、学習部４３３−１は、分類部４３２から供給される早朝のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。
【０３８２】
ステップＳ３３４において、学習部４３３−２は、分類部４３２から供給される午前のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。
【０３８３】
ステップＳ３３５において、学習部４３３−３は、分類部４３２から供給される午後のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、学習処理を行う。
【０３８４】
ステップＳ３３６において、学習部４３３−４は、分類部４３２から供給される深夜のブロックと上述した式（２）乃至（４）のいずれかによりブロック単位で定義されるコスト関数とを用いて、図７の学習処理を行う。
【０３８５】
以上のように、学習装置４３０は、学習用の輝度画像の動画像の撮影環境の特徴ごとに、学習用の輝度画像の動画像が、基底画像係数が疎となる基底画像の線形演算で表されるように基底画像を学習する。従って、より正確な撮影環境の特徴ごとの基底画像を学習することができる。
【０３８６】
また、学習装置４３０は、撮影環境の特徴ごとに基底画像を学習することにより、学習装置１０と同様に、基底画像の収束時間を短縮することができる。さらに、学習装置１０は、撮影環境の特徴ごとに基底画像を学習するので、撮影環境の特徴ごとに学習処理を並列に行うことができる。
【０３８７】
[異常検知装置の構成例]
図４３は、図４１の学習装置４３０により学習された撮影環境の特徴ごとの基底画像を用いて異常を検知する、本技術を適用した出力装置の第８実施の形態としての異常検知装置の構成例を示すブロック図である。
【０３８８】
図４３の異常検知装置４５０は、抽出部４５１、分類部４５２、記憶部４５３−１乃至４５３−４、演算部４５４−１乃至４５４−４、生成部４５５−１乃至４５５−４、および認識部４５６により構成される。異常検知装置４５０は、図示せぬ監視カメラから異常検知対象の画像として入力される輝度画像の動画像に対して、撮影環境の特徴ごとにスパースコーディングを行うことにより、異常を検知する。
【０３８９】
具体的には、異常検知装置４５０の抽出部４５１には、図示せぬ監視カメラから輝度画像の動画像が異常検知対象の画像として入力される。抽出部４５１は、図示せぬ監視カメラから入力された異常検知対象の画像の各フレームから、図４１の抽出部４３１と同様に検知領域を抽出する。
【０３９０】
抽出部４５１は、抽出された検知領域を、抽出部４３１と同様に正規化して所定のサイズのブロックとし、分類部４５２と認識部４５６に供給する。
【０３９１】
分類部４５２には、図示せぬ監視カメラから異常検知対象の画像の撮影環境としての撮影時の時間帯が入力される。分類部４５２は、抽出部４５１から供給されるブロックを、そのブロックの異常検知対象の画像の撮影時の時間帯に基づいて、撮影環境の特徴としての早朝、午前、午後、または深夜に分類する。分類部４５２は、ブロックを、そのブロックが分類された撮影環境の特徴に対応する演算部４５４−１乃至４５４−４のいずれかに供給する。
【０３９２】
記憶部４５３−１は、図４１の学習装置４３０により学習され、記憶部４３４−１に記憶された早朝のブロック単位の基底画像を記憶する。記憶部４５３−２は、記憶部４３４−２に記憶された午前のブロック単位の基底画像を記憶し、記憶部４５３−３は、記憶部４３４−３に記憶された午後のブロック単位の基底画像を記憶する。また、記憶部４５３−４は、記憶部４３４−４に記憶された深夜のブロック単位の基底画像を記憶する。
【０３９３】
演算部４５４−１は、記憶部４５３−１から早朝のブロック単位の基底画像を読み出す。演算部４５４−１は、分類部４５２から供給される早朝のブロックごとに、コスト関数が所定の閾値より小さくなるように、ブロック単位の基底画像係数ベクトルを演算する。このコスト関数は、読み出されたブロック単位の基底画像からなるブロック単位の基底画像行列を用いて、上述した式（２）乃至（４）のいずれかのYを異常検知対象の画像の各画素の画素値を列方向に並べたベクトル（以下、検知画像ベクトルという）にした式によりブロック単位で定義される。演算部４５４−１は、演算されたブロック単位の基底画像係数ベクトルを生成部４５５−１に供給する。
【０３９４】
演算部４５４−２乃至４５４−４も、それぞれ、演算部４５４−１と同様に、記憶部４５３−２乃至４５３−４からブロック単位の基底画像を読み出し、分類部１９１から供給されるブロックごとに、ブロック単位の基底画像係数ベクトルを演算する。そして、演算部４５４−２乃至演算部４５４−４は、それぞれ、演算されたブロック単位の基底画像係数ベクトルを生成部４５５−２乃至４５５−４に供給する。
【０３９５】
生成部４５５−１は、記憶部４５３−１から早朝のブロック単位の基底画像を読み出す。生成部４５５−１は、ブロックごとに、演算部４５４−１からのブロック単位の基底画像係数ベクトルと、読み出された早朝のブロック単位の基底画像からなるブロック単位の基底画像行列とを用いて、上述した式（７）によりブロック単位の輝度画像の動画像を生成する。生成部４５５−１は、ブロック単位の輝度画像の動画像を認識部４５６に供給する。
【０３９６】
生成部４５５−２乃至４５５−４も、それぞれ、生成部４５５−１と同様に、記憶部４５３-２乃至４５３−３からブロック単位の基底画像を読み出し、ブロック単位の輝度画像の動画像を生成する。生成部４５５−２乃至４５５−４は、生成されたブロック単位の輝度画像の動画像を認識部４５６に供給する。
【０３９７】
なお、記憶部４５３−１乃至４５３−４を特に区別する必要がない場合、それらをまとめて記憶部４５３という。同様に、演算部４５４−１乃至４５４−４を演算部４５４といい、生成部４５５−１乃至４５５−４を生成部４５５という。
【０３９８】
認識部４５６は、生成部４５５から供給されるブロック単位の輝度画像の動画像と、抽出部４５１から供給されるブロックの差分を、各フレームのブロックごとに求める。認識部４５６は、その差分に基づいてブロックの異常を検知（認識）して、異常の有無を表す異常情報を生成し、出力する。
【０３９９】
[検知領域の例]
図４４は、図４３の抽出部４５１により抽出される検知領域の例を示す図である。
【０４００】
図４４の例では、抽出部４５１は、異常検知対象の画像の各フレームから人の領域を検知領域４７１として抽出し、車の領域を検知領域４７２として抽出する。図４４に示すように、異常検知対象の画像の各フレームの検知領域４７１や検知領域４７２のサイズは異なる場合があるため、所定のサイズのブロックに正規化される。
【０４０１】
抽出部４５１により抽出される各フレームの検知領域の数は、図４４に示すように複数であってもよいし、単数であってもよい。各フレームの検知領域の数が複数である場合には、検知領域ごとにブロック単位の基底画像係数ベクトルが演算され、異常情報が生成される。
【０４０２】
[異常情報の生成方法の説明]
図４５は、図４３の認識部４５６による異常情報の生成方法を説明する図である。
【０４０３】
図４５の左側に示すように、図４１の学習装置４３０は、大量な正常時の輝度画像の動画像を用いて、撮影環境の特徴ごとにブロック単位の基底画像を学習する。図４５の中央と右側に示すように、図４３の異常検知装置４５０の演算部４５４は、学習された撮影環境の特徴ごとのブロック単位の基底画像と、異常検知対象の画像の検知領域のブロックとを用いて、各フレームのブロック単位の基底画像係数ベクトルを所定回数だけ繰り返し演算する。
【０４０４】
生成部４５５は、各フレームのブロック単位の基底画像係数ベクトルと撮影環境の特徴ごとのブロック単位の基底画像とから、ブロック単位の輝度画像の動画像を生成する。そして、認識部４５６は、生成されたブロック単位の輝度画像の動画像と、異常検知対象の画像の検知領域のブロックとの差分を、各フレームのブロックごとに演算する。
【０４０５】
先頭からt-1乃至t+1番目のフレームの差分の和が閾値より小さい場合、図４５の中央に示すように、認識部４５６は、そのフレームについて異常を検知せず、異常の無しを表す異常情報を生成する。一方、先頭からt-1乃至t+1番目のフレームの差分の和が閾値以上である場合、図４５の右側に示すように、認識部４５６は、そのフレームについて異常を検知し、異常の有りを表す異常情報を生成する。
【０４０６】
即ち、異常検知対象の画像が、学習用の輝度画像の動画像と同様の輝度画像の動画像、即ち正常時の輝度画像の動画像である場合、所定の回数だけブロック単位の基底画像係数ベクトルの演算が繰り返されると、ブロック単位の基底画像係数ベクトルは十分に収束する。従って、そのブロック単位の基底画像係数ベクトルを用いて生成されたブロック単位の輝度画像の動画像と、異常検知対象の画像の検知領域のブロックとの差分は小さくなる。
【０４０７】
これに対して、異常検知対象の輝度画像が、学習用の輝度画像の動画像と同様の輝度画像の動画像ではない、即ち異常時の輝度画像の動画像である場合、所定の回数だけブロック単位の基底画像係数ベクトルの演算が繰り返されても、ブロック単位の基底画像係数ベクトルは十分に収束しない。従って、そのブロック単位の基底画像係数ベクトルを用いて生成されたブロック単位の輝度画像の動画像と、異常検知対象の画像の検知領域のブロックとの差分は大きくなる。
【０４０８】
よって、ブロック単位の基底画像係数ベクトルを用いて生成されたブロック単位の輝度画像の動画像と、異常検知対象の画像の検知領域のブロックとの差分が閾値より小さい場合、認識部４５６は、異常を検知せず、異常の無しを表す異常情報を生成する。また、認識部４５６は、その差分が閾値以上である場合、異常を検知し、異常の有りを表す異常情報を生成する。
【０４０９】
[異常検知装置の処理の説明]
図４６は、図４３の異常検知装置４５０の分類異常検知処理を説明するフローチャートである。この分類異常検知処理は、例えば、図示せぬ監視カメラから異常検知対象の画像として輝度画像の動画像が入力されたとき、開始される。
【０４１０】
図４６のステップＳ３５０において、異常検知装置４５０の抽出部４５１は、図示せぬ監視カメラから入力された異常検知対象の画像の各フレームから、図４１の抽出部４３１と同様に検知領域を抽出する。
【０４１１】
ステップＳ３５１において、抽出部４５１は、抽出された検知領域を、抽出部４３１と同様に正規化して所定のサイズのブロックとし、分類部４５２と認識部４５６に供給する。
【０４１２】
ステップＳ３５２において、分類部４５２は、抽出部４５１から供給されるブロックを、図示せぬ監視カメラから入力される、そのブロックの異常検知対象の画像の撮影時の時間帯に基づいて、撮影環境の特徴としての早朝、午前、午後、または深夜に分類する。分類部４５２は、ブロックを、そのブロックが分類された撮影環境の特徴に対応する演算部４５４に供給する。
【０４１３】
ステップＳ３５３において、異常検知装置４５０は、ブロックが分類された撮影環境の特徴の基底画像とブロックとを用いて異常検知処理を行い、処理を終了する。
【０４１４】
図４７は、図４３の異常検知装置４５０の異常検知処理の詳細を説明するフローチャートである。
【０４１５】
図４７のステップＳ３７１乃至Ｓ３８３の処理は、ブロック単位で行われる。
【０４１６】
ステップＳ３７１乃至Ｓ３７５の処理は、図４１のステップＳ８１乃至Ｓ８５の処理と同様であるので、説明は省略する。但し、コスト関数は、上述した式（２）乃至（４）のYを検知画像ベクトルにした式のいずれかによりブロック単位で定義される。
【０４１７】
ステップＳ３７６において、演算部４５４は、繰り返し回数Mが所定の閾値より大きいかどうかを判定する。ステップＳ３７６で繰り返し回数Mが所定の閾値以下であると判定された場合、演算部４５４は、処理をステップＳ３７３に戻す。そして、繰り返し回数Mが所定の閾値より大きくなるまで、ステップＳ３７３乃至Ｓ３７６の処理が繰り返される。
【０４１８】
一方、ステップＳ３７６で繰り返し回数Mが所定の閾値より大きいと判定された場合、演算部４５４は、直前のステップＳ３７４で更新されたブロック単位の基底画像係数ベクトルを生成部４５５に供給する。
【０４１９】
そして、ステップＳ３７７において、生成部４５５は、記憶部４５３からブロック単位の基底画像を読み出す。ステップＳ３７８において、生成部４５５は、読み出されたブロック単位の基底画像からなるブロック単位の基底画像行列と、演算部４５４から供給されるブロック単位の基底画像係数ベクトルとを用いて、上述した式（７）によりブロック単位の輝度画像の動画像を生成する。生成部４５５は、そのブロック単位の輝度画像の動画像を認識部４５６に供給する。
【０４２０】
ステップＳ３７９において、認識部４５６は、フレームごとに、生成部４５５から供給されるブロック単位の輝度画像の動画像と、抽出部４５１から供給されるブロックの差分を演算する。
【０４２１】
ステップＳ３８０において、認識部４５６は、ステップＳ３７９で演算された差分を３フレーム分ずつ加算する。ステップＳ３８１において、認識部４５６は、ステップＳ３８０による加算の結果得られる差分の和が所定の閾値より小さいかどうかを判定する。
【０４２２】
ステップＳ３８１で差分の和が所定の閾値より小さいと判定された場合、ステップＳ３８２において、認識部４５６は、異常を検知せず、異常の無しを表す異常情報を生成して出力し、処理を終了する。
【０４２３】
一方、ステップＳ３８１で差分の和が所定の閾値以上であると判定された場合、ステップＳ３８３において、認識部４５６は、異常を検知し、異常の有りを表す異常情報を生成して出力し、処理を終了する。
【０４２４】
なお、ここでは、異常検知装置４５０は、３フレームごとに異常情報を生成したが、１フレームごとに異常情報を生成するようにしてもよい。この場合、異常検知装置４５０は、各フレームと、そのフレームの前後のフレームの差分の和を演算し、その和に基づいて各フレームの異常情報を生成する。また、加算される差分に対応するフレームの数は、勿論、３フレームに限定されない。
【０４２５】
以上のように、異常検知装置４５０は、学習装置４３０により撮影環境の特徴ごとに学習された基底画像を得る。そして、異常検知装置４５０は、異常検知の対象の画像と、その画像の撮影環境の特徴の基底画像とに基づいて、基底画像係数を演算する。従って、異常検知装置４５０は、異常検知の対象の画像の撮影環境の特徴に応じた基底画像と基底画像係数を用いて、撮影環境の特徴に適した復元効果を有する高画質な正常時の検知領域の輝度画像の動画像を生成することができる。
【０４２６】
そして、異常検知装置４５０は、生成された高画質な正常時の検知領域の輝度画像の動画像と、異常検知対象の画像の検知領域との差分に基づいて異常を検知（認識）する。従って、監視環境の変化によらず高精度に異常を検知することができる。
【０４２７】
なお、第８実施の形態では、学習用の画像および異常検知対象の画像が輝度画像の動画像であったが、色画像の動画像であってもよい。この場合、各色チャンネルの撮影環境の特徴ごとに学習が行われ、色チャンネルごとに正常時の検知領域の色画像の動画像が生成される。そして、例えば、各色チャンネルの３フレーム分の差分の和に基づいて異常情報が生成される。また、学習用の画像および異常検知対象の画像は静止画像であってもよい。
【０４２８】
また、第８実施の形態においても、第１実施の形態と同様に、異常情報を生成しながら基底画像を学習することもできる。
【０４２９】
さらに、第８実施の形態は、スパースコーディングの認識技術への応用の一例であり、スパースコーディングは、異常検知以外の物体認識等の認識技術にも応用することができる。
【０４３０】
＜第９実施の形態＞
[本技術を適用したコンピュータの説明]
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０４３１】
図４８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０４３２】
コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
【０４３３】
バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。
【０４３４】
入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。
【０４３５】
以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。
【０４３６】
コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０４３７】
コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。
【０４３８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０４３９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４４０】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０４４１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４４２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４４３】
また、学習用の信号およびスパースコーディングの対象とする信号が静止画像である場合、第１実施の形態における帯域の特徴、第２実施の形態におけるシーンの特徴、第３の実施形態における奥行きマップの特徴、第４実施の形態における空間的な位置の特徴、第６実施の形態における端末の特徴、および第８実施の形態における撮影環境の特徴のうちの２以上の特徴で分類が行われるようにしてもよい。
【０４４４】
一方、学習用の信号およびスパースコーディングの対象とする信号が動画像である場合、第１実施の形態における帯域の特徴、第２実施の形態におけるシーンの特徴、第３の実施形態における奥行きマップの特徴、第４実施の形態における空間的な位置の特徴、第５実施の形態における時間変化の特徴、第６実施の形態における端末の特徴、および第８実施の形態における撮影環境の特徴のうちの２以上の特徴で分類が行われるようにしてもよい。
【０４４５】
また、学習用の信号およびスパースコーディングの対象とする信号がオーディオ信号である場合、第２実施の形態におけるシーンの特徴、第６実施の形態における端末の特徴、第７実施の形態における帯域の特徴、および第８実施の形態における撮影環境（監視環境）の特徴のうちの２以上の特徴で分類が行われるようにしてもよい。
【０４４６】
なお、本技術は、以下のような構成もとることができる。
【０４４７】
（１）
信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記複数の基底信号を学習する学習部
を備える信号処理装置。
（２）
前記特徴は、前記信号の帯域の特徴である
前記（１）に記載の信号処理装置。
（３）
前記特徴は、前記信号のシーンまたは撮影環境の特徴である
前記（１）または（２）に記載の信号処理装置。
（４）
前記特徴は、前記信号としての画像の奥行き方向の位置の特徴である
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（５）
前記特徴は、前記信号としての画像の空間的な位置の特徴である
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）
前記特徴は、前記信号としての動画像の時間変化の特徴である
前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
前記特徴は、前記信号に対応する端末の特徴である
前記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）
信号処理装置が、
信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記複数の基底信号を学習する学習ステップ
を含む信号処理方法。
（９）
コンピュータを、
信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように、前記複数の基底信号を学習する学習部
として機能させるためのプログラム。
（１０）
信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように学習された前記複数の基底信号と、所定の信号とに基づいて、前記所定の信号の前記係数を演算する演算部
を備える出力装置。
（１１）
前記特徴は、前記信号の帯域の特徴である
前記（１０）に記載の出力装置。
（１２）
前記特徴は、前記信号のシーンまたは撮影環境の特徴である
前記（１０）または（１１）に記載の出力装置。
（１３）
前記特徴は、前記信号としての画像の奥行き方向の位置の特徴である
前記（１０）乃至（１２）のいずれかに記載の出力装置。
（１４）
前記特徴は、前記信号としての画像の空間的な位置の特徴である
前記（１０）乃至（１３）のいずれかに記載の出力装置。
（１５）
前記特徴は、前記信号としての動画像の時間変化の特徴である
前記（１０）乃至（１４）のいずれかに記載の出力装置。
（１６）
前記特徴は、前記信号に対応する端末の特徴である
前記（１０）乃至（１５）のいずれかに記載の出力装置。
（１７）
前記演算部により演算された前記係数と前記複数の基底信号とを用いて、前記所定の信号に対応する信号を生成する生成部
をさらに備える
前記（１０）乃至（１６）のいずれかに記載の出力装置。
（１８）
前記生成部により生成された前記信号と前記所定の信号との差分に基づいて、前記所定の信号を認識する認識部
をさらに備える
前記（１７）に記載の出力装置。
（１９）
出力装置が、
信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように学習された前記複数の基底信号と、所定の信号とに基づいて、前記所定の信号の前記係数を演算する演算ステップ
を含む出力方法。
（２０）
コンピュータを、
信号の特徴ごとに、前記信号が、係数が疎となる複数の基底信号の線形演算で表されるように学習された前記複数の基底信号と、所定の信号とに基づいて、前記所定の信号の前記係数を演算する演算部
として機能させるためのプログラム。
【符号の説明】
【０４４８】
１０  学習装置,  １３−１乃至１３−３  学習部，  ８０  画像生成装置，  ８４−１乃至８４−３  演算部，  ８５−１乃至８５−３  生成部，  １３０  画像生成装置，  １３１−１乃至１３１−３  演算部，  １３２−１乃至１３２−３  生成部，  １５０  学習装置，  １５２−１乃至１５２−３６  学習部，  １９０  画像生成装置，  １９３−１乃至１９３−３６  演算部，  １９４−１乃至１９４−３６  生成部，  ２１０  学習装置，  ２１２−１乃至２１２−３  学習部，  ２５０  画像生成装置，  ２５３−１乃至２５３−３  演算部，  ２５４−１乃至２５４−３  生成部，  ２７０  学習装置，  ２７２−１乃至２７２−４  学習部，  ２９０  画像生成装置，  ２９３−１乃至２９３−４  演算部，  ２９４−１乃至２９４−４  生成部，  ３１０  学習装置，  ３１３−１，３１３−２  学習部，  ３３０  画像生成装置，  ３３４−１，３３４−２  演算部，  ３３５−１，３３５−２  生成部，  ３４０  画像生成装置，  ３４１−１乃至３４１−Ｎ  端末，  ３５０  学習装置，  ３５２−１乃至３５２−３  学習部，  ３７４−１乃至３７４−３  演算部，  ３７５−１乃至３７５−３  生成部，  ３９０  学習装置，  ３９２−１乃至３９２−３  学習部，  ４１０  オーディオ生成装置，  ４１３−１乃至４１３−３  演算部，  ４１４−１乃至４１４−３  生成部，  ４３０  学習装置，  ４３３−１乃至４３３−４  学習部，  ４５０  異常検知装置，  ４５４−１乃至４５４−４  演算部，  ４５５−１乃至４５５−４  生成部，  ４５６  認識部
【図１】
2014063360.tif 000004
【図２】
2014063360.tif 000005
【図３】
2014063360.tif 000006
【図４】
2014063360.tif 000007
【図５】
2014063360.tif 000008
【図６】
2014063360.tif 000009
【図７】
2014063360.tif 000010
【図８】
2014063360.tif 000011
【図９】
2014063360.tif 000012
【図１０】
2014063360.tif 000013
【図１１】
2014063360.tif 000014
【図１２】
2014063360.tif 000015
【図１３】
2014063360.tif 000016
【図１４】
2014063360.tif 000017
【図１５】
2014063360.tif 000018
【図１６】
2014063360.tif 000019
【図１７】
2014063360.tif 000020
【図１８】
2014063360.tif 000021
【図１９】
2014063360.tif 000022
【図２０】
2014063360.tif 000023
【図２１】
2014063360.tif 000024
【図２２】
2014063360.tif 000025
【図２３】
2014063360.tif 000026
【図２４】
2014063360.tif 000027
【図２５】
2014063360.tif 000028
【図２６】
2014063360.tif 000029
【図２７】
2014063360.tif 000030
【図２８】
2014063360.tif 000031
【図２９】
2014063360.tif 000032
【図３０】
2014063360.tif 000033
【図３１】
2014063360.tif 000034
【図３２】
2014063360.tif 000035
【図３３】
2014063360.tif 000036
【図３４】
2014063360.tif 000037
【図３５】
2014063360.tif 000038
【図３６】
2014063360.tif 000039
【図３７】
2014063360.tif 000040
【図３８】
2014063360.tif 000041
【図３９】
2014063360.tif 000042
【図４０】
2014063360.tif 000043
【図４１】
2014063360.tif 000044
【図４２】
2014063360.tif 000045
【図４３】
2014063360.tif 000046
【図４４】
2014063360.tif 000047
【図４５】
2014063360.tif 000048
【図４６】
2014063360.tif 000049
【図４７】
2014063360.tif 000050
【図４８】
2014063360.tif 000051