(57)【要約】【課題】画像の画質を効果的に向上させることができる画像変換装置、画像変換方法、及び画像変換プログラムを提供する。【解決手段】本実施の形態の非分離冗長重複変換のためのラティス構成である画像変換装置１０の変換器１２（順変換ＤＴ）は、多次元対称変換処理、冗長な表現を与える零値挿入拡張処理、及び拡張処理から構成される。また、逆変換器１４は、基底（フレーム）成分結合処理、変換器１２の零値挿入拡張処理で挿入した零値に応じた係数を棄却する係数棄却処理、及び多次元対称逆変換処理から構成される。【選択図】図２
2014107700.tif 000002
【特許請求の範囲】
【請求項１】
画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換処理、前記多次元対称変換処理された前記画像データに零値を挿入する零値挿入拡張処理、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張処理の各処理を順次行って前記画像データの変換係数を出力する変換器と、
前記変換器から出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合処理、前記成分結合された前記画像データの変換係数に前記零値挿入拡張処理で挿入した前記零値に応じて係数を棄却する係数棄却処理、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換処理に応じた多次元対称逆変換処理を行う多次元逆変換処理の各処理を順次行って前記画像データを復元する逆変換器と、
を備えた画像変換装置。
【請求項２】
前記変換器の前記零値挿入拡張処理では、チャネル数を前記間引き率で除した値に基づく個数の零値が挿入される請求項１に記載の画像変換装置。
【請求項３】
画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換工程、前記多次元対称変換された前記画像データに零値を挿入する零値挿入拡張工程、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張工程の各工程を順次行って前記画像データの変換係数を出力する変換工程と、
前記変換工程により出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合工程、前記成分結合された前記画像データの変換係数に前記零値挿入拡張工程で挿入した前記零値に応じて係数を棄却する係数棄却工程、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換工程に応じた多次元対称逆変換を行う多次元逆変換工程の各工程を順次行って前記画像データを復元する逆変換工程と、
を備えた画像変換方法。
【請求項４】
画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換ステップ、前記多次元対称変換された前記画像データに零値を挿入する零値挿入拡張ステップ、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張ステップの各ステップを順次行って前記画像データの変換係数を出力する変換ステップと、
前記変換ステップにより出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合ステップ、前記成分結合された前記画像データの変換係数に前記零値挿入拡張ステップで挿入した前記零値に応じて係数を棄却する係数棄却ステップ、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換ステップに応じた多次元対称逆変換を行う多次元逆変換ステップの各ステップを順次行って前記画像データを復元する逆変換ステップと、
を備えた処理をコンピュータに実行させるための画像変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像変換装置、画像変換方法、及び画像変換プログラムに関する。
【背景技術】
【０００２】
画像・映像処理装置、例えば、医療・福祉機器、防災・監視機器、自動車・産業機器等、カメラによって取得される観察画像を記録、伝送、及び解析等する機器一般において、フィルタバンク（変換ともいう）が用いられている。信号の時空間−周波数分析および合成機能を与えるフィルタバンクは、圧縮、通信、ノイズ除去、信号復元、及び特徴抽出等の幅広い応用をもち、信号処理分野では必要不可欠な処理要素となっている。
【０００３】
フィルタバンクとして、静止画像符号化方式ＪＰＥＧや動画像符号化方式ＭＰＥＧ−２等では二次元離散コサイン変換（ＤＣＴ）を採用している。また、静止画像符号化方式ＪＰＥＧ２０００等では二次元離散ウェーブレット変換を採用している。また、離散コサイン変換や離散ウェーブレット変換のシフト不変構成も広く利用されている。
【０００４】
また一般に、画像処理においては、実係数の有限インパルス応答（ＦＩＲ）かつ、直線位相（ＬＰ）特性を有するフィルタが好まれて利用される。ＦＩＲシステムは安定性のほか、フィルタ処理の影響が局所的に収まる利点がある。ＬＰ特性は、フィルタ係数の対称性から演算コスト等が削減でき、位相歪を生じない利点がある。このようなフィルタバンクとして、多次元直線位相パラユニタリフィルタバンク（ＭＤ−ＬＰＰＵＦＢ）が知られている（非特許文献１参照）。
【０００５】
また、Contourlet変換が知られている（非特許文献２参照）。Contourlet変換は、非分離、有理数冗長度、直線位相（ＬＰ）、及び実係数の有限インパルス応答（ＦＩＲ）を同時に満たすこと可能である。Contourlet変換は、斜め方向のエッジやテクスチャの画像復元に高い性能を示す。
【０００６】
さらにその他のフィルタバンクとしては、非分離重複直交変換があり、当該変換は、斜め方向のエッジやテクスチャの表現に強い利点がある。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】S. Muramatsu、 A. Yamada、 and H. Kiya、 “A designmethod of multidimensional linear-phase paraunitaryfilter banks with a lattice structure、” IEEE Trans. SignalProcess.、 vol.47、no.3、 pp.690−700、 Mar. 1999.
【非特許文献２】M.N. Do and M. Vetterli、 “The contourlet transform:An efficient directional multiresolution image representation、”IEEE Trans. Image Process.、 vol.14、 no.12、pp.2091−2106、 Dec. 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来では、圧縮技術を中心に冗長性のない水平・垂直独立な画像変換技術が広く利用されていた。例えば、上記の離散コサイン変換や離散ウェーブレット変換である。しかしながら、冗長性や指向性を持つ変換が復元処理などにおいて高い性能を示すことが様々な研究例から明らかになり、冗長性や指向性をもつ変換の研究開発が盛んとなっている。
【０００９】
例えば、冗長（Ｒ＞１）フィルタバンクは、その設計の自由度が高いという利点がある。さらに、一つの合成器に対し、ある画像Ｘ（ｚ）を表現するサブバンド信号Ｙｐ（ｚ）が無数に存在するため、スパース性尺度の導入により、少ない係数でよい近似表現を得ることができる。冗長フィルタバンクは、ベクトル空間におけるフレーム理論と密接な関係がある。冗長表現は、無数の候補の中から最適な変換係数を探索することを可能とし、高性能な信号復元に有利な性質である。そのため冗長系は、圧縮応用の他、ぼけ除去、超解像、及び画像修復といった画像復元に応用され、その有効性が確認されている。
【００１０】
冗長系を構築する方法の一つに、複数の最大間引きフィルタバンクを併用し混成構成にする方法がある。また、最大間引きフィルタバンクを利用し、非間引き構成とする方法がある。しかしながらいずれも冗長系の自由度を活用した設計が困難である。さらに、冗長度は整数に限られ、特に後者は冗長度が高くなる傾向がある。
【００１１】
上述した二次元離散コサイン変換及び二次元離散ウェーブレット変換は、冗長性がなく、変換係数の選択に自由度がない。また、二次元離散コサイン変換及び二次元離散ウェーブレット変換は、一次元フィルタバンクを縦続接続して可分離構成とした二次元システムであるため、斜め方向のエッジやテクスチャ表現に弱く、高圧縮時に不快な歪を生じる問題がある。
【００１２】
また、離散コサイン変換及び離散ウェーブレット変換のシフト不変構成は、冗長度が膨大になる問題がある。また、水平・垂直独立な処理のため斜め方向のエッジやテクスチャの表現に弱い欠点がある。
【００１３】
Contourletは冗長変換であるが、構成要素に最大間引きシステムを必要とする点から、上述したように冗長度の自由度やエネルギー保存の性質、パラユニタリ（ＰＵ）性の実現に制約が伴う。なお、ＰＵ性はタイトフレームに対応し、画像復元アルゴリズムが簡便になるなどの利点がある。
【００１４】
また、非分離重複直交変換は、冗長度が整数に限られる制約がある。
【００１５】
このように従来の技術では、可分離であることや、冗長性等の要因により、フィルタバンク（変換）により得られる画像の画質が劣化する問題が生じる懸念がある。
【００１６】
本発明は、画像の画質を効果的に向上させることができる画像変換装置、画像変換方法、及び画像変換プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、本発明の画像変換装置は、画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換処理、前記多次元対称変換処理された前記画像データに零値を挿入する零値挿入拡張処理、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張処理の各処理を順次行って前記画像データの変換係数を出力する変換器と、前記変換器から出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合処理、前記成分結合された前記画像データの変換係数に前記零値挿入拡張処理で挿入した前記零値に応じて係数を棄却する係数棄却処理、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換処理に応じた多次元対称逆変換処理を行う多次元逆変換処理の各処理を順次行って前記画像データを復元する逆変換器と、を備える。
【００１８】
また、本発明の画像変換装置の前記変換器の前記零値挿入拡張処理では、チャネル数を前記間引き率で除した値に基づく個数の零値が挿入される。
【００１９】
本発明の画像変換方法は、画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換工程、前記多次元対称変換された前記画像データに零値を挿入する零値挿入拡張工程、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張工程の各工程を順次行って前記画像データの変換係数を出力する変換工程と、前記変換工程により出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合工程、前記成分結合された前記画像データの変換係数に前記零値挿入拡張工程で挿入した前記零値に応じて係数を棄却する係数棄却工程、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換工程に応じた多次元対称逆変換を行う多次元逆変換工程の各工程を順次行って前記画像データを復元する逆変換工程と、を備える。
【００２０】
本発明の画像変換プログラムは、画像データに対して間引き率に応じた多次元対称変換を行う多次元対称変換ステップ、前記多次元対称変換された前記画像データに零値を挿入する零値挿入拡張ステップ、及び零値が挿入された前記画像データに基底の対称性を保持しながらサポート領域の拡張を行う拡張ステップの各ステップを順次行って前記画像データの変換係数を出力する変換ステップと、前記変換ステップにより出力された前記画像データの変換係数に対して基底の対称性を保持しながら成分結合を行う成分結合ステップ、前記成分結合された前記画像データの変換係数に前記零値挿入拡張ステップで挿入した前記零値に応じて係数を棄却する係数棄却ステップ、及び前記係数が棄却された前記画像データの変換係数に対して前記多次元対称変換ステップに応じた多次元対称逆変換を行う多次元逆変換ステップの各ステップを順次行って前記画像データを復元する逆変換ステップと、を備えた処理をコンピュータに実行させるためのものである。
【発明の効果】
【００２１】
以上説明したように、本発明によれば、画像の画質を効果的に向上させることができる、という効果が得られる。
【図面の簡単な説明】
【００２２】
【図１】本実施の形態の画像変換装置が用いられるサイバーフィジカルシステムの一例の概要を示す概要図である。
【図２】本実施の形態に係る画像変換装置の構成の一例を示す構成図である。
【図３】本実施の形態に係る画像変換装置の変換器で行われる各処理の流れの一例のフローチャートである。
【図４】本実施の形態に係る画像変換装置の逆変換器で行われる各処理の流れの一例のフローチャートである。
【図５】一般的な二次元フィルタバンクの並列構成の一例を示す構成図である。
【図６】本実施の形態に係るNSOLTの変換器のラティス構成の一例の詳細を説明するための構成図である。
【図７】本実施の形態に係るNSOLTの理想周波数特性の通過域割り当ての一例として、チャネル数Ｐ＝５の場合を示す説明図である。
【図８】本実施の形態に係るNSOLTの設計の一例を示す説明図である。
【図９】画像劣化及び画像復元モデルの一例を説明するための説明図である。
【図１０】本実施の形態に係る変換器（順変換ＤＴ）及び逆変換器（逆変換Ｄ）とをＩＳＴＡの復元アルゴリズムに適用した場合の流れを示す流れ図である。
【図１１】本実施の形態に係る画像変換装置（変換器及び逆変換器）と、比較例の既存の変換装置（変換方法）との修復結果を示す説明図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。
【００２４】
まず、本実施の形態の画像変換装置が用いられるサイバーフィジカルシステム（Cyber Physical System）について説明する。図１には、本実施の形態の画像変換装置が用いられるサイバーフィジカルシステムの一例の概要図を示す。図１に示すように、サイバーフィジカルシステムとは、実世界に設けられたセンサノードから得られる種々の情報を、サイバー空間のコンピューティング能力により分析・融合等され、サイバー空間から実世界へフィードバックが行われることにより、サイバー空間と密接に連携して社会的な課題を解決するシステムである。
【００２５】
例えば、画像・映像処理装置、医療・福祉機器、防災・監視機器、自動車・産業機器等カメラによって取得される観測画像を記録、伝送、解析する機器一般に利用できる。実世界には、センサ、信号処理機能、パターン認識機能、無線通信機能、及びバッテリー（或いは自立発電装置）等を搭載したセンサノード４と、呼ばれる小型機器が無数に散りばめられておりネットワークを構成している。これらのセンサノード４からセンサ情報が、サイバー空間に設けられた処理機器８に送られる。サイバー空間に設けられた処理機器８では、センサ情報を分析等することにより、実世界に対して、指示や操作等を行う。
【００２６】
例えば、本実施の形態の画像変換装置（画像変換方法及び画像変換プログラム）は、屋外に設置したカメラで撮影した画像等を鮮明に復元するためにセンサノード４上で利用することができる。また本実施の形態の画像変換装置（画像変換方法及び画像変換プログラム）は、各カメラでの演算コスト、通信コストを節約するためにサーバー側で画像復元を行うために処理機器８上でも利用することができる。さらに本実施の形態の画像変換装置（画像変換方法及び画像変換プログラム）は、回路構成やソフトウェアモジュールを定義するＩＰ（知的財産）コアという形式で広く電子機器産業界に用いられるものである。
【００２７】
次に、本実施の形態の画像変換装置の概略について説明する。図２に、本実施の形態の画像変換装置の全体構成の概略図を示す。本実施の形態の画像変換装置１０は、順変換器（以下、単に変換器という）１２と、逆変換器１４と、を備える。図２に示すように、本実施の形態の画像変換装置１０は、非分離構成の冗長フィルタバンクであるため、以下では、非分離冗長重複変換（Non-Separable Oversampled  Lapped Tramsform）と呼び、NSOLTと略して称する場合がある。
【００２８】
変換器１２で行われる各処理の流れの一例のフローチャートを図３に示す。変換器１２は、多次元対称変換処理（ステップＳ１００）、零値挿入拡張処理（ステップＳ１０２）、及び拡張処理（ステップＳ１０４〜ステップＳ１１４）から構成される。変換器１２は、多次元対称変換処理（ステップＳ１００）に続けて、冗長な表現を与える零値挿入拡張処理（ステップＳ１０２）を行う。本実施の形態では、当該零値挿入拡張処理において挿入する零値の個数は、チャネル数と間引き率に応じて定めることができる。零値を挿入した後、基底（フレーム）の対称性を保持しながら、基底（フレーム）サポート領域の拡張処理（ステップＳ１０４〜ステップＳ１１４）を行うことにより、観測データ（原画像データ）の変換係数が出力される。当該拡張処理は、行列演算（ステップＳ１０４、ステップＳ１１２）、中間係数に対するバタフライ演算（ステップＳ１０６、ステップＳ１１０）、及び上下左右のブロックシフト処理（ステップＳ１０８）から構成される。拡張処理では、行列演算、バタフライ演算、及びブロックシフト処理が繰り返し行われ（ステップＳ１１４でＮ）、所定回数（ｙ回）繰り返した後（ステップＳ１１４でＹ）、変換係数が出力される。変換器１２では、行列を制御することで種々の対称な基底（フレーム）を構築できる他、ブロック処理による実現が可能となる。なお、図中の「−」は、１ブロックの遅延を表している。
【００２９】
また、逆変換器１４で行われる各処理の流れの一例のフローチャートを図４に示す。逆変換器１４は、順変換器と逆の手続きにより実現される。逆変換器１４は、基底（フレーム）成分結合処理（ステップＳ２００〜ステップＳ２１０）、係数棄却処理（ステップＳ２１２）、及び多次元対称逆変換処理（ステップＳ２１４）から構成される。基底（フレーム）成分結合処理（ステップＳ２００〜ステップＳ２１０）は、上述した変換器１２の拡張処理と同様に、逆行列演算（ステップＳ２００、ステップＳ２０８）、バタフライ演算（ステップＳ２０２、ステップＳ２０６）、及び上下左右のブロックシフト処理（ステップＳ２０４）から構成される。成分結合処理では、行列演算、バタフライ演算、及びブロックシフト処理が繰り返し行われ（ステップＳ２１０４でＮ）、所定回数（ｙ回）繰り返した後（ステップＳ２１０でＹ）、さらに、上述した変換器１２の零値挿入拡張処理で挿入した零値に応じて係数を棄却する係数棄却処理（ステップＳ２１２）が行われる。係数棄却後、上述した変換器１２の多次元対称変換処理に応じた多次元対称逆変換処理を行うことにより、変換器１２により得られた変換係数から、逆変換器１４により元の画像を再構成（復元）するこができる。
【００３０】
さらに、本実施の形態の画像変換装置１０の構成について詳細に説明する。ここで、本実施の形態の画像変換装置１０の構成について詳細に説明をする前に、本実施の形態の画像変換装置１０の前提として、二次元冗長ＬＰＰＵフィルタバンクについて概説する。
【００３１】
全ての間引き行列が等しい二次元等分割フィルタバンクのポリフェーズ表現について説明する。さらに、ＬＰ条件及びＰＵ条件を示し、対称性とポリフェーズ次数、及び分割数に関する重要な性質について述べる。
【００３２】
図５に、一般的な二次元フィルタバンクの並列構成を示す。フィルタバンクは分析器（Analysis bank、本実施の形態の変換器１２に対応）と合成器（Synthesis bank、本実施の形態の逆変換器１４に対応）から構成される。なお、図５中に示したｚは、二次元ｚ変換領域の２×１複素変数ベクトル（ｚｙ，ｚｘ）Ｔである。また、Ｈｐ（ｚ）及びＦｐ（ｚ） はｐ番目の分析フィルタと合成フィルタの伝達関数を示し、↓Ｍｐ及び↑Ｍｐは行列Ｍｐによる間引き処理と零値挿入処理をそれぞれ示している。また、Ｐはチャネル数を表している。可分離システムは，独立な一次元システムの縦続構成に帰着でき、全てのＨｐ（ｚ）及びＦｐ（ｚ） が単変量伝達関数の積で表現され、Ｍｐは対角行列となる。
【００３３】
ｐ番目チャネルの間引き率ＭｐはＭｐ＝｜det（Ｍｐ）｜と与えられる。Ｍｐの逆数の総和Ｒは、冗長度を示しており、下記（１）式で表される。
【００３４】
【数１】
2014107700.tif 000003
・・・（１）
【００３５】
冗長度Ｒ＝１のシステムは、最大間引きフィルタバンクと呼ばれる。一方、Ｒ＞１のシステムは冗長フィルタバンクと呼ばれる。なお、任意の入力Ｘ（ｚ）に対し、出力Ｘ＾（ｚ）がシフトとスケーリングとを除いて入力Ｘ（ｚ）と一致する条件を完全再構成（ＰＲ）条件と呼ぶ。フィルタバンクがＰＲ条件を満たすためには、Ｒ≧１が必要となる。
【００３６】
図５において、Ｍｐ＝Ｍ、ｐ＝０、１、２、・・・、Ｐ−１とする。間引き率はＭｐ＝Ｍ＝｜det（Ｍ）｜と与えられる。
【００３７】
いま、下記（２）式で表される分析フィルタバンクは、下記（３）式で表される。
【００３８】
【数２】
2014107700.tif 000004
・・・（２）
【００３９】
【数３】
2014107700.tif 000005
・・・（２）
【００４０】
いま、下記（４）式で表される合成フィルタバンクは、下記（５）式で表される。
【００４１】
【数４】
2014107700.tif 000006
・・・（４）
【００４２】
【数５】
2014107700.tif 000007
・・・（５）
【００４３】
このように、それぞれが、二変量多項式行列Ｅ（ｚ）、Ｒ（ｚ）によって表現できる。なお、本実施の形態では、上付き「Ｔ」は転置を示し、ｄ（ｚ）は、二次元の遅延鎖を表すＭ×１ベクトルである。Ｅ（ｚ）、Ｒ（ｚ）はポリフェーズ行列と呼ばれ、それぞれのサイズはＰ×Ｍ、Ｍ×Ｐである。間引き率Ｍ、チャネル数Ｐ、及び冗長度Ｒは、Ｒ＝Ｐ／Ｍと関係する。なお、Ｍが対角行列で、その対角要素がＭｙ、Ｍｘであるとき、下記（６）式のようになる。
【００４４】
【数６】
2014107700.tif 000008
【００４５】
また、Ｍ＝ＭｙＭｘとなり、遅延鎖ｄ（ｚ）の各要素は、下記（７）式のように与えられる。
【００４６】
【数７】
2014107700.tif 000009
・・・（７）
【００４７】
次に、直線位相（ＬＰ）条件について説明する。全てのフィルタＨｐ（ｚ）、Ｆｐ（ｚ）が同じサイズＬｙ×Ｌｘ＝（Ｎｙ＋１）Ｍｙ×（Ｎｘ＋１）Ｍｘを持つと仮定する。このとき、ポリフェーズ次数￣ｎは、￣ｎ＝（Ｎｙ，Ｎｘ）Ｔと与えられ、分析器および合成器のＬＰ条件は、それぞれ、下記（８）式及び（９）式と表現される。
【００４８】
【数８】
2014107700.tif 000010
・・・（８）
【００４９】
【数９】
2014107700.tif 000011
・・・（９）
【００５０】
ここで、ＪＭは、Ｍ×Ｍの反転行列、ΓＰは対角要素が「１」か、「−１」のＰ×Ｐの対角行列である。なお、「１」は、偶対称フィルタ、「−１」は、奇対称フィルタに対応する。
【００５１】
さらに、パラユニタリ（ＰＵ）条件について説明する。ここでは、フィルタ係数が実数であると仮定する。分析器、合成器のＰＵ条件は、それぞれ、下記（１０）式及び（１１）式と与えられる。
【００５２】
【数１０】
2014107700.tif 000012
・・・（１０）
【００５３】
【数１１】
2014107700.tif 000013
・・・（１１）
【００５４】
ここで、ＩＭは、Ｍ×Ｍの単位行列である。合成器がＰＵシステムならばＰＲ条件Ｒ（ｚ）Ｅ（ｚ）＝ＩＭを満たす分析器のポリフェーズ行列Ｅ（ｚ）は、下記（１２）式と与えられる。
【００５５】
【数１２】
2014107700.tif 000014
・・・（１２）
【００５６】
同様にＰＵ性を満たす。なお、冗長系（Ｒ＞１）の場合、ＰＲ条件を満たすフィルタバンク対は一意に定まらない。上記（１２）式は、下記（１３）式で表されるサブバンド信号のエネルギー（標準ノルム）を最小化する点で最適な解であるが、一つの選択に過ぎない。
【００５７】
【数１３】
2014107700.tif 000015
・・・（１３）
【００５８】
なお、与えられた合成器に対し、他の評価尺度によって最適な分析器を探すことや直接、上記（１３）式で表されるサブバンド信号を探すことも可能である。
ＰＵシステムは、タイトフレームに対応しており、画像処理応用の際、アルゴリズムが簡便になることや、設計パラメータを減らせる利点がある。
以下に、多次元非分離システムのポリフェーズ次数、間引き率、及びチャネル数とフィルタの対称性について定理を示す。なお、一次元冗長ＬＰＰＲフィルタバンク（ＯＬＰＰＲＦＢ）について同様の定理が、非特許文献である、L. Gan and K.-K. Ma、 “Oversampled linear-phase perfectreconstruction filterbanks: theory、lattice structure and parameterization、” IEEE Trans. Signal Process.、vol.51、 no.3、 pp.744−759、 March 2003.に記載されている。なお、定理１の証明は、本非特許文献に示されているためここでは説明を省略する。
【００５９】
定理１．間引き率Ｍ＝ＭｙＭｘのＰチャネル冗長ＰＲフィルタバンクに対し、全てのフィルタのサポート領域が等しくＬｙ×Ｌｘ＝（Ｎｙ＋１）Ｍｙ×（Ｎｘ＋１）Ｍｘであると仮定する。偶対称フィルタ数ｐｓと奇対称フィルタ数ｐａ＝Ｐ−ｐｓは、以下の必要条件を満たさなければならない。
１．Ｍが偶数。Ｎｙ、Ｎｘは任意。Ｍ／２≦ｐｓ≦Ｐ−Ｍ／２、かつＭ／２≦ｐａ≦Ｐ−Ｍ／２。
２．Ｍが奇数。Ｎｙ、Ｎｘの両方が偶数。（Ｍ＋１）／２≦ｐｓ≦Ｐ−（Ｍ−１）／２、かつ（Ｍ−１）／２≦ｐａ≦Ｐ−（Ｍ＋１）／２。
３．Ｍが奇数。Ｎｙ及びＮｘの少なくとも一方が奇数。（Ｍ＋１）／２≦ｐｓ≦Ｐ−（Ｍ＋１）／２、かつ（Ｍ＋１）／２≦ｐａ≦Ｐ−（Ｍ＋１）／２。
【００６０】
さらに、下記（１４）式で表される伝搬行列の条件について説明する。ＰチャネルＭ間引きＬＰＰＲフィルタバンクのラティス構成について述べる。
【００６１】
【数１４】
2014107700.tif 000016
・・・（１４）
【００６２】
同ラティス構成は、ポリフェーズ行列Ｅ（ｚ）の上記（１４）式で表される伝搬行列による下記（１５）式の縦続表現が与えられる。
【００６３】
【数１５】
2014107700.tif 000017
・・・（１５）
【００６４】
ここで、Ｅ０（ｚ）は、Ｐ×Ｍの初期行列であり、ポリフェーズ次数を￣ｎ０＝（Ｎｙ０，Ｎｘ０）Ｔとする。下記（１６）式及び（１７）式で表される伝搬行列をそれぞれ下記（１６）式及び（１７）式と共に示したポリフェーズ次数をもつＰ×Ｐ伝搬行列とする。
【００６５】
【数１６】
2014107700.tif 000018
・・・（１６）
【００６６】
【数１７】
2014107700.tif 000019
・・・（１７）
【００６７】
上記（１４）式で表される伝搬行列の条件は以下の定理２及び定理３のように示される。なお、定理２及び定理３の証明は、上記定理１と同様に定理１で示した非特許文献に示されているためここでは説明を省略する。
【００６８】
定理２．上記（１５）式において、伝搬行列がそれぞれ、ＦＩＲで可逆、かつ、下記（１８）式を満たすとき、Ｅ（ｚ）は、全てのフィルタがサイズＬｙ×Ｌｘ＝（ＫｙＮｙ１＋Ｎｙ０＋１）Ｍｙ×（ＫｘＮｘ１＋Ｎｘ０＋１）Ｍｘの冗長ＬＰＰＲフィルタバンクに対応する。
【００６９】
【数１８】
2014107700.tif 000020
・・・（１８）
【００７０】
定理３．もし、伝搬行列及びｄ∈｛ｙ，ｘ｝が可逆、かつ、Ｎｄ１＝１で、上記（１８）式を満たすならば、ｐｓ＝ｐａである。
一次元と同様、上記定理３により、二次元非分離冗長ＬＰＰＲフィルタバンクも以下の二つのタイプに分類される。
Type-１：ｐｓ＝ｐａ、Ｎｄ１＝１、ｄ∈｛ｙ，ｘ｝
Type-２：ｐｓ≠ｐａ、Ｎｄ１≠１、ｄ∈｛ｙ，ｘ｝
このような前提にたったうえで次に、本実施の形態の変換器１２及び逆変換機１４に対応する、間引き行列Ｍが対角行列diag（Ｍｙ，Ｍｘ）で与えられるＭ等分割非分離ＬＰＰＵＦフィルタバンクのラティス構成の詳細について説明する。すなわち、チャネル数Ｐが偶数及び奇数の場合について、具体的なラティス構成を示す。準備として、Ｐ×Ｐバタフライ行列ＢＰを下記（１９）式のように定義する。下記（１９）式において「０」は零ベクトルを意味する。
【００７１】
【数１９】
2014107700.tif 000021
・・・（１９）
【００７２】
まず、上記Type-１にあたる、チャネル数Ｐが偶数の場合について説明する。
ｐｓ＝ｐａと設定可能である。従って、上記定理３よりType-１、すなわち、次数Ｎｄ１＝１の上記（１４）式で表される伝搬行列によりラティスを構成できる。ラティス構成（変換器１２）の構成の一例を図６（ａ）に示す。
対応するポリフェーズ行列Ｅ（ｚ）は、下記（２０）式のように表現される。
【００７３】
【数２０】
2014107700.tif 000022
・・・（２０）
【００７４】
なお、本構成は間引き率Ｍが偶数、奇数いずれの場合にも対応する。ただし、下記（２１）式の通りである。
【００７５】
【数２１】
2014107700.tif 000023
・・・（２１）
【００７６】
ここで、０は零行列であり、下記（２２）式で表される行列は、任意の正規直交行列である。また、初期行列Ｅ０（ｚ）として、二次元ＤＣＴを下記（２３）式で示した行列表現と下記（２４）式の行列との積を採用する。
【００７７】
【数２２】
2014107700.tif 000024
・・・（２２）
【００７８】
【数２３】
2014107700.tif 000025
・・・（２３）
【００７９】
【数２４】
2014107700.tif 000026
・・・（２４）
【００８０】
Ｅ０（ｚ）＝Ｒ０Ｅ０の次数は、￣ｎ０＝（Ｎｙ，Ｎｘ０）Ｔ＝（０，０）Ｔ、Ｗ０、下記（２５）式で表される行列は、任意の正規直交行列である。上記（２０）式のＥ（ｚ）が、上記（８）式及び（１０）式を同時に満たすことは容易に確認できる。
【００８１】
【数２５】
2014107700.tif 000027
・・・（２５）
【００８２】
次に、上記Type-２の場合について説明する。
【００８３】
ｐｓ≠ｐａと設定可能であり、以下では、一例としてｐｓ＞ｐａと設定する。上記定理３よりType-２、すなわち、次数Ｎｄ１≠１の上記（１４）式で表される伝搬行列が必要となる。次数Ｎｄ１＝２の伝搬行列を用いたラティス構成（変換器１２）の一例を、図６（ｂ）に示す。
対応するポリフェーズ行列Ｅ（ｚ）は、下記（２６）式のように表現される。
【００８４】
【数２６】
2014107700.tif 000028
・・・（２６）
【００８５】
間引き率Ｍは偶数、奇数いずれにも対応する。ここで、下記（２７）式に示す関係がある。ただし、下記（２８）式で表された行列は、任意の正規直交行列である。初期行列Ｅ０（ｚ）として二次元ＤＣＴを行列表現した上記（２３）式と、上記（２４）式で表した行列との積を採用する。ただし、Ｗ０、Ｕ０は、下記（２９）式である。
【００８６】
【数２７】
2014107700.tif 000029
・・・（２７）
【００８７】
【数２８】
2014107700.tif 000030
・・・（２８）
【００８８】
【数２９】
2014107700.tif 000031
・・・（２９）
【００８９】
上記（２６）式のＥ（ｚ）が、上記（８）式及び（１０）式を同時に満たすことは容易に確認できる。
【００９０】
なお、Type-２で示した構成の場合、奇数のＮｙ、Ｎｘに対応するためには、初期行列Ｅ０（ｚ）の各方向あるいは全方向の次数Ｎｄ０、ｄ∈｛ｙ，ｘ｝を１に設定しなければならない。ここでは、初期行列Ｅ０（ｚ）の奇数次の設定については割愛する。
なお、上記図６では、変換器１２について詳細に示したが、逆変換器１４（図２参照）についても、同様に考えればよい。
【００９１】
さらに、直流無漏洩(No-DC-leackage) 条件について説明する。一つの低域通過フィルタＨ０（ｚ）のみに非零の直流利得を与え、他のフィルタＨｐ（ｚ）、ｐ＞０では、直流を消失させる直流無漏洩(No-DC-leackage) 性は、画像処理を対称とした最大間引きフィルタバンクの重要な性質である。上記（２０）式及び（２６）式に示した冗長システムに対して以下の定理が成り立つ。
【００９２】
定理４．上記（２０）式及び（２６）式において、正規直交行列Ｗ０、Ｗl{d}、ｌ＝１，２，・・・、Ｎｄ／２、ｄ∈｛ｙ，ｘ｝が任意の下記（３０）式の可逆行列を用いて、下記（３１）式と、表されるならば、対応するフィルタバンクは直流無漏洩条件を満たす。
【００９３】
【数３０】
2014107700.tif 000032
・・・（３０）
【００９４】
【数３１】
2014107700.tif 000033
・・・（３１）
【００９５】
定理４の証明は、以下のようになる。任意の非零値ｃ０に対して条件Ｅ（ｚＭ）ｄ（ｚ）｜ｚ＝１＝（ｃ０，０，０，・・・，０）Ｔを満たせばよい。Ｅ０ｄ（１）＝Ｅ０１＝｛√Ｍ，０，０，・・・，０）Ｔ及びＱ（ｚｄ）＝Ｑ（１）＝ＩＰの関係から、上記（３１）式で示したＷ０、Ｗl{d}の条件が導出される。
【００９６】
次に、本実施の形態の画像変換装置１０（画像変換方法）の有効性を示すために、いくつかの設計例について説明する。
まず、一例として、間引き率Ｍ＝１×１の場合について説明する。本ラティス構成は、特殊な場合として、非間引きＨａａｒ変換を含む。非間引きＨａａｒ変換は、以下の設定で与えられる。
間引き率：Ｍｙ＝Ｍｘ＝１（Ｍ＝１）
チャネル数：Ｐ＝４（Type-１、 冗長度Ｒ＝４）
ポリフェーズ次数：Ｎｙ＝Ｎｘ＝１
パラメータ行列：Ｗ０＝Ｉ２、Ｕ０＝Ｊ２、Ｕ1{x}＝Ｊ２、Ｕ1{ｙ}＝Ｉ２
なお、チャネル数Ｐや次数Ｎｙ、Ｎｘ、及びパラメータ行列を変更することで他の非間引きＬＰＰＵフィルタバンクも構築できる。
【００９７】
次に、一例として、間引き率Ｍ＝２×２の場合について説明する。本ラティス構成は、特殊な場合として、通常のＨａａｒ変換を含む。Ｈａａｒ変換は、以下の設定で与えられる。
間引き率：Ｍｙ＝Ｍｘ＝２（Ｍ＝４）
チャネル数：Ｐ＝４（Type-１、 冗長度Ｒ＝１）
ポリフェーズ次数：Ｎｙ＝Ｎｘ＝０
パラメータ行列：Ｗ０＝Ｉ２、Ｕ０＝Ｉ２
さらに、有理数の冗長度Ｒを与えるNSOLTの例として、フィルタの周波数仕様を与え、最適化設計を行う例を示そう。以下では、チャネル数Ｐ＝５の場合について各チャネルの理想周通過域を下記（３２）式のように設定する。
【００９８】
【数３２】
2014107700.tif 000034
・・・（３２）
【００９９】
ΩI0cは、[−π，π）２におけるΩI0の補空間、また、下記（３３）式とする。
【０１００】
【数３３】
2014107700.tif 000035
・・・（３３）
【０１０１】
図７に通過域の割当ての一例を示す。ΩIpをp番目チャネルの通過域の理想特性として、各チャネル毎、阻止域との間に遷移域を設定し設計仕様とする。設計パラメータを以下にまとめる。
間引き率：Ｍｙ＝Ｍｘ＝２（Ｍ＝４）
チャネル数：Ｐ＝５（Type-２、 冗長度Ｒ＝５／４）
ポリフェーズ次数：Ｎｙ＝Ｎｘ＝２
パラメータ行列：Ｗ０＝Ｉ２、Ｕ０＝Ｉ２
直流無漏洩条件：有り
図８に、上記設計パラメータにより設計したNSOLTのインパルス応答と周波数振幅特性の一例を示す。評価関数には理想特性からの誤差エネルギーを採用し、最適化手法として制約なし非線形最適化（MATLAB R2012b関数‘fminuc’)と遺伝的アルゴリズム（MATLAB R2012b関数‘ga’)を採用した。図８に示したNSOLTでは、基底（フレーム）が対称性を持ち、エネルギー保存の性質をもつ。
【０１０２】
さらに、上記のように設定した本実施の形態の画像変換装置１０（NSOLT）を画像復元に応用する処理例を示す。
まず、図９に示すように、画像復元における劣化過程が線形劣化モデルｘ＝Ｐｕ＋ｗで表され、加法性白色ガウス雑音が重畳された状況を仮定する。ここで、ｘは観測画像、ｕは未知の原画像、Ｐは線形劣化過程、ｗは零平均を持つ加法性白色ガウス雑音である。既知のｘとＰとから、未知の鮮明な原画像ｕを復元する問題を考える。ここで、本実施の形態の逆変換器１４による冗長変換の逆変換を辞書Ｄとして、原画像ｕがある変換係数ｙによりｕ＝Ｄｙと表現されると仮定する。画像復元問題は例えば以下の（３４）式で示すように定式化される。
【０１０３】
【数３４】
2014107700.tif 000036
・・・（３４）
【０１０４】
ここで、ｕ＾は、原画像ｕから推定された復元画像となる。||ｘ||22と||ｘ||1はそれぞれ、ｘの要素の二乗和と絶対値和である。復元画像の候補係数ｙ＾を求める手法に繰返し／閾値処理アルゴリズム（Iterative-Shrinkage/Thresholding Algorithm：ＩＳＴＡ）がある。一例として、図１０に、本実施の形態の変換器１２（順変換ＤＴ）及び逆変換器１４（逆変換Ｄ、辞書Ｄともいう）とをＩＳＴＡに適用した場合の概略図を示す。図１０に示すように、線形劣化過程Ｐとその共役過程ＰＴ、逆変換Ｄ、順変換ＤＴと係数縮退処理を繰り返し適用することで、画像復元が可能となる。ここで、もし、辞書ＤがタイトフレームならばＩＳＴＡの前処理は簡便となる。
【０１０５】
線形劣化過程Ｐを不規則な間引きと零値挿入でモデル化し、欠損画素を補う画像修復の実験を行う。線形劣化過程Ｐには２０％の画素欠損を仮定し、その位置はランダムに設定した。本実施の形態として、図８に示したNSOLTの低域通過成分を繰り返しツリー状に分割し、冗長度Ｒ＝約１．３３の順変換を変換器ＤＴ、逆変換を逆変換器１４をＤとして利用した。また、比較例として、上記図１０に示したＩＳＴＡの辞書Ｄとして、６段Ｈａａｒ ＤＷＴ、２段非間引きＨａａｒ ＤＷＴ、及び６段混成ＤｉｒＬＯＴを利用した場合について示す。本実施の形態のNSOLT及び比較例の修復結果を図１１に示す。ＩＳＴＡ における忠実度とスパース度の制御パラメータλは、それぞれ最もよい値を採用した。
【０１０６】
図１１に示した（ａ）は、原画像である。また、図１１（ｂ）は劣化画像であり、ＰＳＮＲが１１．９３ｄＢである。図１１（ｃ）は、６段ハールウェーブレット変換（冗長度１）を利用した場合であり、ＰＳＮＲが２７．６０ｄＢである。図１１（ｄ）は、２段非間引きハールウェーブレット変換（冗長度７）を利用した場合であり、ＰＳＮＲが２４．２１ｄＢである。また、図１１（ｅ）は、６段混成非分離重複直交変換（冗長度５）を利用した場合であり、ＰＳＮＲが３３．３９ｄＢである。これら比較例に対して、本実施の形態のNSOLTによる６段ツリー構成（冗長度１．３３）を利用した場合は、ＰＳＮＲが３１．０２ｄＢである。
【０１０７】
本実施の形態のNSOLTを利用した場合では、上記図１１（ｅ）の手法に及ばないものの、低い冗長度でも高い修復性能が確認できた。なお、上記図（ｃ）、（ｄ）、（ｅ）の手法も本実施の形態の特殊な場合と位置付けられる。
【０１０８】
以上、説明したように、本実施の形態の非分離冗長報復変換のためのラティス構成であるNSOLTとして、画像変換装置１０の変換器１２（順変換ＤＴ）は、多次元対称変換処理、冗長な表現を与える零値挿入拡張処理、及び拡張処理から構成される。また、逆変換器１４は、基底（フレーム）成分結合処理、変換器１２の零値挿入拡張処理で挿入した零値に応じた係数を棄却する係数棄却処理、及び多次元対称逆変換処理から構成される。
このように、本実施の形態のNSOLTとして画像変換装置１０では、新たに零値挿入拡張と係数棄却処理を導入したことで、冗長度Ｒの制御が可能な二次元非分離変換を実現しており、上記図１０（ｆ）に示したような、冗長度Ｒの選択が可能となった。変換器１２（順変換ＤＴ）、逆変換器１４（逆変換Ｄ）の選択は、処理速度やメモリ量、及び画質に大きく影響する。
【０１０９】
また、本実施の形態のNSOLTによれば、冗長性や指向性の実現が可能な他、既存の有益な一部の非冗長変換や冗長変換も特殊な例として含む一般的な構成であり、構成の選択の自由度が高い。冗長度Ｒの設定も整数倍に限らず、有理数倍の設定が可能である。さらに、冗長度Ｒを容易に制御できる利点があり、応用に合わせた設計、実現が可能となる。
また、重複性、パラユニタリ（ＰＵ）性、及び対称性を有し、実係数のＦＩＲシステムとしてタイトフレームを実現する。
従って、画像の画質を効果的に向上させることができるばかりでなく、画像復元が簡便になると共に、高い性能が与えられる。
【０１１０】
さらに、本実施の形態のSNSOLTによれば、非分離重複直交変換と同様に、ブロック処理が可能であり、歪の少ない境界終端処理が可能となる。
【０１１１】
なお、本実施の形態の画像変換装置１０（変換器１２及び逆変換器１４）は、ハードウエアとして構成を実現してもよいし、ソフトウエアとして構成を実現してもよい。また、ソフトウエアとして構成する場合は、ＵＳＢやＣＤ−ＲＯＭ等に記録された状態で供給されるようにしてもよい。
【０１１２】
その他、本実施の形態で説明したサイバーフィジカルシステム１、画像変換装置１０、  変換器１２、及び逆変換器１４の構成及び動作は一例であり、本発明の主旨を逸脱しない範囲内において状況に応じて変更可能であることは言うまでもない。また、
【符号の説明】
【０１１３】
１  サイバーフィジカルシステム
１０  画像変換装置
１２  変換器、（順変換器ＤＴ）
１４  逆変換器、（逆変換器Ｄ）
【図１】
2014107700.tif 000037
【図２】
2014107700.tif 000038
【図３】
2014107700.tif 000039
【図４】
2014107700.tif 000040
【図５】
2014107700.tif 000041
【図６】
2014107700.tif 000042
【図９】
2014107700.tif 000043
【図１０】
2014107700.tif 000044
【図７】
2014107700.tif 000045
【図８】
2014107700.tif 000046
【図１１】
2014107700.tif 000047