(57)【要約】      （修正有）【課題】予測符号化に用いられる符号処理部と復号処理部の予測器の予測精度を改善する。また，原系列信号と予測系列信号の量子化を独立に処理し，予測系列信号によって，量子化誤差系列信号が影響を受けないようにする。【解決手段】予測符号化処理中，予測器に対して，予測対象の信号特性に合わせるための学習を行う。これらの予測器には，学習能力の高いニューロンネットワークで構成された誤差収束型予測器を用いる。予測系列信号の量子化は，量子化器を用いず，端数処理を用いて予測器の予測を量子化する。【選択図】図１
2011166717.tif 000002
【特許請求の範囲】
【請求項１】
独立量子化型予測符号化の符号処理部と復号処理部に，同じ入力信号と教師信号を用いて学習を行うことができるニューロンネットワークで構成された誤差収束型予測器を備え，それらの予測精度を改善し，誤差系列信号の振幅を抑制しながら処理できる予測符号化．
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は，従来の予測符号化による再構成系列信号の精度を改善した独立量子化型予測符号化（Ｉｎｄｅｐｅｎｄｅｎｔ  Ｑｕａｎｔｉｚａｔｉｏｎ−ｔｙｐｅ  Ｐｒｅｄｉｃｔｉｖｅ  Ｃｏｄｉｎｇ），以下ＩＱＰＣと称する予測符号化の改良技術とその予測器にニューロンネットワークシステムの誤差収束法（Ｅｒｒｏｒ  Ｃｏｎｖｅｒｇｅｎｃｅ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｎｅｕｒｏｎ  Ｎｅｔｗｏｒｋ  Ｓｙｓｔｅｍ），以下ＥＣＭＮＮＳと称する方法を適用したニューロンネットワーク（Ｎｅｕｒｏｎ  Ｎｅｔｗｏｒｋ），以下ＮＮと称するもので構成された誤差収束型予測器（Ｅｒｒｏｒ  Ｃｏｎｖｅｒｇｅｎｃｅ−ｔｙｐｅ  Ｐｒｅｄｉｃｔｏｒ），以下ＥＣＰと称するものを組合せ，伝送する誤差系列信号を小さくするためにＥＣＰへ学習処理を付加した技術に関するものである．
【背景技術】
【０００２】  ＩＱＰＣについて説明する．従来の予測符号化に用いられる予測器の予測は，いつも量子化誤差の影響を受ける．したがって，高精度な再構成系列信号は，量子化誤差系列信号から得ることができない．そこで，この問題を除くために，ＩＱＰＣを本発明者が提案していた．符号処理は，原系列信号と予測系列信号の量子化を独立に処理することを特徴とする．したがって，予測によって量子化誤差系列信号は影響を受けない．すなわち，この予測符号化による量子化誤差は，原系列信号の量子化によるものだけとなる．現在のほとんどの信号は，取得時に量子化されている．したがって，ＩＱＰＣによる原系列信号の量子化器は，しばしば不必要となる．取得時の原系列信号の量子化幅の大きさが，ＩＱＰＣでの原系列信号の量子化幅の大きさと等しいならば，ＩＱＰＣで誤差のない原系列信号が完全に再構成される．すなわち，データの可逆圧縮が可能となる．尚，これを画像データの可逆圧縮に限定したものに非特許文献１がある．ＩＱＰＣは，この文献の予測符号化を一般的な信号を取り扱えるように表現したものである．ＩＱＰＣの公表を非特許文献２に示す．【０００３】  ＥＣＭＮＮＳについて説明する．ここで，教師信号との間に相関関係がある入力信号すべてに対して学習が収束するまで行われた結果，教師信号に対する出力誤差が学習以前よりも小さくなるがゼロに収束しない単出力のＮＮについて考える．はじめに，学習が，第１段目のＮＮによって行われる．次に，このＮＮの教師信号と出力信号から得られた誤差信号を次の段のＮＮの教師信号として使用し，その学習を行う．ゆえに，次々と前段のＮＮの学習から得られた誤差信号を教師信号として次段のＮＮで学習し続けても，この教師信号に対する出力信号の誤差は，ゼロに収束させることはできないと考えられる．すなわち，第１段目のＮＮに与えられた教師信号とすべてのＮＮの出力信号の総和から得られる誤差は，ゼロに収束しない．このことを式（１）〜（４）に示す．
2011166717.tif 000003
2011166717.tif 000004
ここで，ｙは教師信号，ｚは出力信号，εは出力誤差，各記号の添え字はＮＮの段番号を示す．
また，第２段目以降のＮＮで教師信号として使用される誤差信号が，ＮＮの段数の増加に伴って小さくなるため，段数の高いＮＮほど学習が困難となる．この問題を解決するために，増幅された誤差信号を第２段目以降のＮＮの教師信号として使用する．結果として，それらのＮＮの学習は，容易となる．学習後のＮＮの出力誤差は，教師信号として使用する誤差信号の増幅率が１より大きい場合，増幅前の信号レベルに復元されるとき縮小される．さらに，その増幅率が非常に大きい場合，復元時の出力誤差は，ゼロに近づく．ここで，第ｎ段目のＮＮの教師信号である誤差信号の増幅率をＡｎとして学習した結果得られた誤差信号が，εになると仮定する．このとき，ＮＮシステム全体に与えられる教師信号に対する出力誤差εｎは，式（５）で示され，式（６）に示す関係があるとする．さらに，ＮＮの段数が無限大の場合，式（７），（８）より，εｎがゼロに収束することが示される．したがって，このとき式（３），（８）よりＮＮシステム全体に与えられた教師信号とすべてのＮＮの復元後の出力信号の総和から得られた誤差が，ゼロに収束することが示される．すなわち，ＮＮシステム全体に与えられた教師信号とすべてのＮＮの復元後の出力信号の総和は等しくなる．これを式（９）に示す．以上より，前記問題を改善するためのこの手段は，高精度出力を得るために効果的かつ有用であることが示された．本発明者が考案したこの方法をＥＣＭＮＮＳと称し，この方法を適用したＮＮシステムを誤差収束型ニューロンネットワークシステム（Ｅｒｒｏｒ  Ｃｏｎｖｅｒｇｅｎｃｅ−ｔｙｐｅ  Ｎｅｕｒｏｎ  Ｎｅｔｗｏｒｋ  Ｓｙｓｔｅｍ），以下ＥＣＮＮＳと称する．
2011166717.tif 000005
ここで，ｙはＥＣＮＮＳの教師信号，ｚｉは第ｉ段目のＮＮの復元後の出力信号を示す．ＥＣＭＮＮＳとＥＣＮＮＳの公表を非特許文献３に示す．また，ＥＣＮＮＳの１個のデータに対する収束能力の評価を非特許文献４に示す．【０００４】  ＥＣＰについて説明する．高精度な予測符号化を行うためには，適用原理と使用する予測器を改善しなければならない．ここで，次の理由により，予測符号化に用いられる非線形予測器としてのＥＣＮＮＳの各段のニューロンネットワークＮＮの学習能力を改善する手段を考案した．この手段を適用した予測器がＥＣＰである．ＮＮを用いた非線形予測器の学習は，過去信号と予測信号間の因果性が強いほど容易となる．したがって，ＥＣＮＮＳの第１段目のＮＮの学習は比較的容易である．しかし，段数が高くなるに連れ，その因果性や相関性は弱くなると推測されるため，段数が高いＮＮの学習は，難しくなる．そこでＥＣＮＮＳの各段のＮＮの入力信号と教師信号の間の因果性を強くするために，各段のＮＮを予測器として用いる．また，ＮＮの学習能力は，非特許文献５に示されているように，入力信号の増加と共に向上させることができる．ここで，ＥＣＰのＮＮには，適切な任意のものを用いる．実例としては，２次ボルテラＮＮや入力遅れ２次ボルテラＮＮを用いたものがある．本発明者が考案したＥＣＰの公表を非特許文献２に示す．尚，非特許文献２では，ＥＣＰを誤差収束型ニューロンネットワークシステム予測器（Ｅｒｒｏｒ  Ｃｏｎｖｅｒｇｅｎｃｅ−ｔｙｐｅ  Ｎｅｕｒｏｎ  Ｎｅｔｗｏｒｋ  Ｓｙｓｔｅｍ  Ｐｒｅｄｉｃｔｏｒ），略してＥＣＮＮＳＰと称している．
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ａ．Ｆｕｋｕｎａｇａ  ａｎｄ  Ａ．Ｓｔｅｃｈｅｒｔ，“ＥｖｏＩｖｉｎｇ  Ｎｏｎｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ  Ｍｏｄｅｌｓ  ｆｏｒ  Ｌｏｓｓｌｅｓｓ  Ｉｍａｇｅ  Ｃｏｍｐｒｅｓｓｉｏｎ  ｗｉｔｈ  Ｇｅｎｅｔｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ，”Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ３ｒｄ  Ａｎｎｕａｌ  Ｇｅｎｅｔｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｃｏｎｆｅｒｅｎｃｅ，Ｓａｎ  Ｆｒａｎｃｉｓｃｏ，ＵＳＡ，ｐｐ．１−８，１９９８．
【非特許文献２】Ｓ．Ｋｏｂａｙａｋａｗａ  ａｎｄ  Ｈ．Ｙｏｋｏｉ，“Ｐｒｏｐｏｓａｌ  ｏｆ  Ｐｒｅｄｉｃｔｉｖｅ  Ｃｏｄｉｎｇ  ｕｓｉｎｇ  Ｅｒｒｏｒ  Ｃｏｎｖｅｒｇｅｎｃｅ−ｔｙｐｅ  Ｎｅｕｒｏｎ  Ｎｅｔｗｏｒｋ  Ｓｙｓｔｅｍ，”Ｔｈｅ  Ｐｒｏｃ．ｏｆ  ｔｈｅ  ＩＳＣＡ  ２２ｎｄ  Ｉｎｔｅｒｎａｔｉｏｎｌ  Ｃｏｎｆ．ｏｎ  Ｃｏｍｐｕｔｅｒｓ  ａｎｄ  Ｔｈｅｉｒ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｉｎ  Ｉｎｄｕｓｔｒｙ  ａｎｄ  Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓａｎ  Ｆｒａｎｃｉｓｃｏ，ＵＳＡ，ｐｐ．１６９−１７４，２００９．
【非特許文献３】Ｓ．Ｋｏｂａｙａｋａｗａ  ａｎｄ  Ｈ．Ｙｏｋｏｉ，“Ｐｒｏｐｏｓａｌ  ｏｆ  Ｅｒｒｏｒ  Ｃｏｎｖｅｒｇｅｎｃｅ−ｔｙｐｅ  Ｎｅｕｒｏｎ  Ｎｅｔｗｏｒｋ  Ｓｙｓｔｅｍ，”Ｐｒｅｓｅｎｔｅｄ  Ｐｒｏｃ．ｔｏ  ２００８  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐ．ｏｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｉｎｆｏｒｍａｔｉｃｓ，Ｋｕｍａｍｏｔｏ，Ｊａｐａｎ，ｐｐ．１−１０，２００８．
【非特許文献４】小早川俊祐，横井博一，“誤差収束型ニューロンネットワークシステムの収束能力に関する基礎的実験，”第８回情報科学技術フォーラム講演論文集，２分冊，ｐｐ．５３１−５３７，２００９．
【非特許文献５】小早川俊祐，横井博一，“入力信号数に対するＢＰネットワークの学習能力の評価，”電子情報通信学会技術研究報告，ＳＡＮＥ２００７−１０２〜１２４，ｖｏｌ．１０７，ｎｏ．４４２，ｐｐ．８３−８６，２００８．
【発明の概要】
【発明が解決しようとする課題】
【０００６】  従来の予測符号化に用いられている予測器は，予測対象の信号特性に合わせて，予め学習などにより，そのモデルパラメータが固定されていた．このため，予測器の汎化能力が低い場合には，予測精度が低く，予測符号化の誤差系列信号の振幅が大きくなってしまうという問題点があった．さらに，原系列信号と予測系列信から得られる誤差系列信号の量子化を一つの量子化器で行うため，予測器の量子誤差が含まれる問題点もあった．これらの問題点を解決することが課題である．
【課題を解決するための手段】
【０００７】  図１は，予測器にＥＣＰを用いた独立量子化型学習予測符号化のブロック図を示す．以下，この図を用いて説明する．前処理について説明する．はじめに，予測対象の信号特性に合わせて，予め予測器の学習を行う．この学習で得られたモデルパラメータを，予測符号化を行う前の符号処理部１９の予測器１１と復号処理部３９の予測器３０の初期設定とする．ここで，これら２つの予測器は，ＥＣＰから構成され，そのＮＮには，予測対象の信号特性に対して適切な任意のものを用いる．その例としては，２次ボルテラＮＮ，入力遅れ２次ボルテラＮＮ，時間遅れ２次ボルテラＮＮなどが考えられる．また，これら２つの予測器の学習終了条件を符号処理部１９と復号処理部３９に設定する．この学習終了条件は，予測器１１と予測器３０で同じものとする．学習終了条件としては，学習回数，学習終了誤差，それらを組み合わせたもの，学習用誤差信号に応じた条件などを用いる．【０００８】  符号処理部１９について説明する．
（１）原系列信号１を記憶器２へ一旦保存し，後段の処理の要求に合わせて出力する．
（２）量子化器３は，記憶器２に保存した原系列信号１を１個読み出す．この原信号は，量子化器３で量子化され，量子化原信号４となる．この量子化原信号４を遅延素子９で１離散時間遅らせた後，予測器１１へ出力する．すなわち，予測器１１は，時刻τから１離散時間前の量子化原信号４を受け取る．この量子化原信号４が，予測器１１へ入力されると，予測器１１は，時刻τの予測信号１２を出力する．このとき，切換スイッチ１３は，接点１４側に入れられている．予測信号１２は，端数処理１５で，量子量で表現される量子化予測信号１６へ丸め込まれる．加算器５で，時刻τの量子化原信号４とこの時刻τの量子化予測信号１６に−１を乗じた信号を加算し，予測器１１の学習用誤差信号１８を取得する．すなわち，時刻τの量子化原信号４が，予測器１１の教師信号である．このとき，ゲート６は，オンの状態であり，誤差信号７は，学習用誤差信号１８と同じ信号となる．誤差信号７を符号器８へ入力した後，ゲート７をオフの状態にする．この誤差信号７は，符号器８で符号化され，伝送路２０を経て復号処理部３９へ伝送，または，任意の記憶装置や媒体へ保存される．
（３）一方，予測器１１は，学習用誤差信号１８を用いて学習を開始する．このとき，切換スイッチ１３を接点１７側に入れる．予測器１１の学習後，予測信号１２を取得する．加算器５で，時刻τの量子化原信号４とこの予測信号１６に−１を乗じた信号を加算し，予測器１１の次の学習用誤差信号１８を取得する．この学習用誤差信号１８を用いて，予測器１１の次の学習を行う．この学習を，学習終了条件を満たすまで繰り返えす．学習が終了した後，再び前記（２）の処理へ戻る．以上の処理を記憶器２に保存した原系列信号１がなくなるまで行う．【０００９】  復号処理部３９について説明する．
（４）符号化された誤差信号７を復号器２１へ入力し，誤差信号２２に復号する．この誤差信号２２を記憶器２３に一旦保存し，後段の処理の要求に合わせて出力する．
（５）加算器２４は，記憶器２３に保存した誤差信号２２を１個読み出す．加算器２４で，この時刻τの誤差信号２２と時刻τの量子化予測信号３５を加算し，量子化原信号２５を再構成する．この量子化原信号２５を逆量子化器２６へ入力し，逆量子化を行い，再構成信号２７を取得する．また，この量子化原信号２５を遅延素子２８で１離散時間遅らせた後，予測器３０へ出力する．すなわち，予測器３０は，時刻τから１離散時間前の量子化原信号２５を受け取る．この量子化原信号２５が，予測器３０へ入力されると，予測器３０は，時刻τの予測信号３１を出力する．このとき，切換スイッチ３２は，接点３３側に入れられている．予測信号３１は，端数処理３４で，量子量で表現される量子化予測信号３５へ丸め込まれる．その後，切換スイッチ３２を接点３６側に入れる．
（６）一方，加算器３７で，時刻τの量子化原信号２５と時刻τの予測信号３１に−１を乗じた値を加算し，予測器３０の学習用誤差信号３８を取得する．すなわち，時刻τの量子化原信号２５が，予測器３０の教師信号である．予測器３０は，学習用誤差信号３８を用いて学習を開始する．予測器３０の学習後，予測信号３１を取得する．加算器３７で，時刻τの量子化原信号２５とこの予測信号３１に−１を乗じた信号を加算し，予測器３０の次の学習用誤差信号３８を取得する．この学習用誤差信号３８を用いて，予測器３０の次の学習を行う．この学習を，学習終了条件を満たすまで繰り返えす．学習が終了した後，再び前記（５）の処理へ戻る．以上の処理を記憶器２３に保存した誤差信号２２がなくなるまで行う．以上のように，符号処理部１９の予測器１１と復号処理部３９の予測器３０で，同じ入力信号と教師信号を用いて，学習を行うことにより，予測精度を改善しながら予測符号化が可能となる．
【図１】
2011166717.tif 000006
【手続補正書】
【提出日】平成22年4月21日(2010.4.21)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，従来の予測符号化による再構成系列信号の精度を改善した独立量子化型予測符号化(Independent
Quantization-type Predictive Coding)，以下IQPCと称する予測符号化の改良技術とその予測器にニューロンネットワークシステムの誤差収束法(Error Convergence Method for Neuron Network System)，以下ECMNNSと称する方法を適用したニューロンネットワーク(Neuron Network)，以下NNと称するもので構成された誤差収束型予測器(Error Convergence-type Predictor)，以下ECPと称するものを組合せ，伝送する誤差系列信号を小さくするためにECPへ学習処理を付加した技術に関するものである．
【背景技術】
【０００２】
IQPCについて説明する．従来の予測符号化に用いられる予測器の予測は，いつも量子化誤差の影響を受ける．したがって，高精度な再構成系列信号は，量子化誤差系列信号から得ることができない．そこで，この問題を除くために，IQPCを本発明者が提案していた．符号処理は，原系列信号と予測系列信号の量子化を独立に処理することを特徴とする．したがって，予測によって量子化誤差系列信号は影響を受けない．すなわち，この予測符号化による量子化誤差は，原系列信号の量子化によるものだけとなる．現在のほとんどの信号は，取得時に量子化されている．したがって，IQPCによる原系列信号の量子化器は，しばしば不必要となる．取得時の原系列信号の量子化幅の大きさが，IQPCでの原系列信号の量子化幅の大きさと等しいならば，IQPCで誤差のない原系列信号が完全に再構成される．すなわち，データの可逆圧縮が可能となる．尚，これを画像データの可逆圧縮に限定したものに非特許文献１がある．IQPCは，この文献の予測符号化を一般的な信号を取り扱えるように表現したものである．IQPCの公表を非特許文献２に示す
【０００３】
ECMNNSについて説明する．ここで，教師信号との間に相関関係がある入力信号すべてに対して学習が収束するまで行われた結果，教師信号に対する出力誤差が学習以前よりも小さくなるがゼロに収束しない単出力のNNについて考える．はじめに，学習が，第１段目のNNによって行われる．次に，このNNの教師信号と出力信号から得られた誤差信号を次の段のNNの教師信号として使用し，その学習を行う．ゆえに，次々と前段のNNの学習から得られた誤差信号を教師信号として次段のNNで学習し続けても，この教師信号に対する出力信号の誤差は，ゼロに収束させることはできないと考えられる．すなわち，第１段目のNNに与えられた教師信号とすべてのNNの出力信号の総和から得られる誤差は，ゼロに収束しない．このことを式（１）〜（４）に示す．
2011166717.tif 000007
ここで，yは教師信号，zは出力信号，εは出力誤差，各記号の添え字はNNの段番号を示す．
また，第２段目以降のNNで教師信号として使用される誤差信号が，NNの段数の増加に伴って小さくなるため，段数の高いNNほど学習が困難となる．この問題を解決するために，増幅された誤差信号を第２段目以降のNNの教師信号として使用する．結果として，それらのNNの学習は，容易となる．学習後のNNの出力誤差は，教師信号として使用する誤差信号の増幅率が１より大きい場合，増幅前の信号レベルに復元されるとき縮小される．さらに，その増幅率が非常に大きい場合，復元時の出力誤差は，ゼロに近づく．ここで，第n段目のNNの教師信号である誤差信号の増幅率をAnとして学習した結果得られた誤差信号が，εになると仮定する．このとき，NNシステム全体に与えられる教師信号に対する出力誤差εnは，式（５）で示され，式（６）に示す関係があるとする．さらに，NNの段数が無限大の場合，式（７），（８）より，εnがゼロに収束することが示される．したがって，このとき式（３），（８）よりNNシステム全体に与えられた教師信号とすべてのNNの復元後の出力信号の総和から得られた誤差が，ゼロに収束することが示される．すなわち，NNシステム全体に与えられた教師信号とすべてのNNの復元後の出力信号の総和は等しくなる．これを式（９）に示す．以上より，前記問題を改善するためのこの手段は，高精度出力を得るために効果的かつ有用であることが示された．本発明者が考案したこの方法をECMNNSと称し，この方法を適用したNNシステムを誤差収束型ニューロンネットワークシステム(Error Convergence-type Neuron Network System)，以下ECNNSと称する．
2011166717.tif 000008
ここで，yはECNNSの教師信号，ziは第i段目のNNの復元後の出力信号を示す．
ECMNNSとECNNSの公表を非特許文献３に示す．また，ECNNSの1個のデータに対する収束能力の評価を非特許文献４に示す．
【０００４】
ECPについて説明する．高精度な予測符号化を行うためには，適用原理と使用する予測器を改善しなければならない．ここで，次の理由により，予測符号化に用いられる非線形予測器としてのECNNSの各段のニューロンネットワークNNの学習能力を改善する手段を考案した．この手段を適用した予測器がECPである．NNを用いた非線形予測器の学習は，過去信号と予測信号間の因果性が強いほど容易となる．したがって，ECNNSの第１段目のNNの学習は比較的容易である．しかし，段数が高くなるに連れ，その因果性や相関性は弱くなると推測されるため，段数が高いNNの学習は，難しくなる．そこでECNNSの各段のNNの入力信号と教師信号の間の因果性を強くするために，各段のNNを予測器として用いる．また，NNの学習能力は，非特許文献５に示されているように，入力信号の増加と共に向上させることができる．ここで，ECPのNNには，適切な任意のものを用いる．実例としては，2次ボルテラNNや入力遅れ２次ボルテラNNを用いたものがある．本発明者が考案したECPの公表を非特許文献２に示す．尚，非特許文献２では，ECPを誤差収束型ニューロンネットワークシステム予測器(Error Convergence-type Neuron Network System
Predictor)，略してECNNSPと称している．
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】A. Fukunagaand A. Stechert, “Evolving Nonlinear PredictiveModels for Lossless Image Compression with Genetic Programming,” Proceedings of3rd Annual Genetic Programming Conference, San Francisco, USA, pp.1-8, 1998.
【非特許文献２】S. Kobayakawaand H. Yokoi, “Proposal of Predictive Coding using Error Convergence-typeNeuron Network System,” The Proc. of the ISCA 22nd International Conf. onComputers and Their Applications in Industry and Engineering, San Francisco,USA, pp. 169-174, 2009.
【非特許文献３】S. Kobayakawa and H. Yokoi, “Proposal ofError Convergence-type Neuron Network System,” Presented Proc. to 2008International Symp. onIntelligent Informatics, Kumamoto, Japan, pp. 1-10, 2008.
【非特許文献４】小早川俊祐, 横井博一,“誤差収束型ニューロンネットワークシステムの収束能力に関する基礎的実験,” 第8回情報科学技術フォーラム講演論文集, 2分冊, pp.531-537, 2009.
【非特許文献５】小早川俊祐, 横井博一,“入力信号数に対するBPネットワークの学習能力の評価,” 電子情報通信学会技術研究報告, SANE2007-102〜124,vol.107, no.442, pp.83-86, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の予測符号化に用いられている予測器は，予測対象の信号特性に合わせて，予め学習などにより，そのモデルパラメータが固定されていた．このため，予測器の汎化能力が低い場合には，予測精度が低く，予測符号化の誤差系列信号の振幅が大きくなってしまうという問題点があった．さらに，原系列信号と予測系列信から得られる誤差系列信号の量子化を一つの量子化器で行うため，予測器の量子誤差が含まれる問題点もあった．これらの問題点を解決することが課題である．
【課題を解決するための手段】
【０００７】
図１は，予測器にECPを用いた独立量子化型学習予測符号化のブロック図を示す．以下，この図を用いて説明する．前処理について説明する．はじめに，予測対象の信号特性に合わせて，予め予測器の学習を行う．この学習で得られたモデルパラメータを，予測符号化を行う前の符号処理部１９の予測器１１と復号処理部３９の予測器３０の初期設定とする．ここで，これら2つの予測器は，ECPから構成され，そのNNには，予測対象の信号特性に対して適切な任意のものを用いる．その例としては，2次ボルテラNN，入力遅れ２次ボルテラNN，時間遅れ２次ボルテラNNなどが考えられる．また，これら2つの予測器の学習終了条件を符号処理部１９と復号処理部３９に設定する．この学習終了条件は，予測器１１と予測器３０で同じものとする．学習終了条件としては，学習回数，学習終了誤差，それらを組み合わせたもの，学習用誤差信号に応じた条件などを用いる．
【０００８】
符号処理部１９について説明する．
（１）原系列信号１を記憶器２へ一旦保存し，後段の処理の要求に合わせて出力する．
（２）量子化器３は，記憶器２に保存した原系列信号１を1個読み出す．この原信号は，量子化器３で量子化され，量子化原信号４となる．この量子化原信号４を遅延素子９で１離散時間遅らせた後，予測器１１へ出力する．すなわち，予測器１１は，時刻τから１離散時間前の量子化原信号４を受け取る．この量子化原信号４が，予測器１１へ入力されると，予測器１１は，時刻τの予測信号１２を出力する．このとき，切換スイッチ１３は，接点１４側に入れられている．予測信号１２は，端数処理１５で，量子量で表現される量子化予測信号１６へ丸め込まれる．加算器５で，時刻τの量子化原信号４とこの時刻τの量子化予測信号１６に−１を乗じた信号を加算し，予測器１１の学習用誤差信号１８を取得する．すなわち，時刻τの量子化原信号４が，予測器１１の教師信号である．このとき，ゲート６は，オンの状態であり，誤差信号７は，学習用誤差信号１８と同じ信号となる．誤差信号７を符号器８へ入力した後，ゲート７をオフの状態にする．この誤差信号７は，符号器８で符号化され，伝送路２０を経て復号処理部３９へ伝送，または，任意の記憶装置や媒体へ保存される．
（３）一方，予測器１１は，学習用誤差信号１８を用いて学習を開始する．このとき，切換スイッチ１３を接点１７側に入れる．予測器１１の学習後，予測信号１２を取得する．加算器５で，時刻τの量子化原信号４とこの予測信号１６に−１を乗じた信号を加算し，予測器１１の次の学習用誤差信号１８を取得する．この学習用誤差信号１８を用いて，予測器１１の次の学習を行う．この学習を，学習終了条件を満たすまで繰り返えす．学習が終了した後，再び前記（２）の処理へ戻る．以上の処理を記憶器２に保存した原系列信号１がなくなるまで行う．
【０００９】
復号処理部３９について説明する．
（４）符号化された誤差信号７を復号器２１へ入力し，誤差信号２２に復号する．この誤差信号２２を記憶器２３に一旦保存し，後段の処理の要求に合わせて出力する．
（５）加算器２４は，記憶器２３に保存した誤差信号２２を1個読み出す．加算器２４で，この時刻τの誤差信号２２と時刻τの量子化予測信号３５を加算し，量子化原信号２５を再構成する．この量子化原信号２５を逆量子化器２６へ入力し，逆量子化を行い，再構成信号２７を取得する．また，この量子化原信号２５を遅延素子２８で１離散時間遅らせた後，予測器３０へ出力する．すなわち，予測器３０は，時刻τから１離散時間前の量子化原信号２５を受け取る．この量子化原信号２５が，予測器３０へ入力されると，予測器３０は，時刻τの予測信号３１を出力する．このとき，切換スイッチ３２は，接点３３側に入れられている．予測信号３１は，端数処理３４で，量子量で表現される量子化予測信号３５へ丸め込まれる．その後，切換スイッチ３２を接点３６側に入れる．
（６）一方，加算器３７で，時刻τの量子化原信号２５と時刻τの予測信号３１に−１を乗じた値を加算し，予測器３０の学習用誤差信号３８を取得する．すなわち，時刻τの量子化原信号２５が，予測器３０の教師信号である．予測器３０は，学習用誤差信号３８を用いて学習を開始する．予測器３０の学習後，予測信号３１を取得する．加算器３７で，時刻τの量子化原信号２５とこの予測信号３１に−１を乗じた信号を加算し，予測器３０の次の学習用誤差信号３８を取得する．この学習用誤差信号３８を用いて，予測器３０の次の学習を行う．この学習を，学習終了条件を満たすまで繰り返えす．学習が終了した後，再び前記（５）の処理へ戻る．以上の処理を記憶器２３に保存した誤差信号２２がなくなるまで行う．以上のように，符号処理部１９の予測器１１と復号処理部３９の予測器３０で，同じ入力信号と教師信号を用いて，学習を行うことにより，予測精度を改善しながら予測符号化が可能となる．
【図面の簡単な説明】
【００１０】
【図１】予測器にECPを用いた独立量子化型学習予測符号化を表すブロック図である．
【手続補正書】
【提出日】平成22年10月1日(2010.10.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，従来の予測符号化による再構成系列信号の精度を改善した独立量子化型予測符号化(Independent
Quantization-type Predictive Coding)，以下IQPCと称する予測符号化の改良技術とその予測器にニューロンネットワークシステムの誤差収束法(Error Convergence Method for Neuron Network System)，以下ECMNNSと称する方法を適用したニューロンネットワーク(Neuron Network)，以下NNと称するもので構成された誤差収束型予測器(Error Convergence-type Predictor)，以下ECPと称するものを組合せ，伝送する誤差系列信号を小さくするためにECPへ学習処理を付加した技術に関するものである．
【背景技術】
【０００２】
IQPCについて説明する．従来の予測符号化に用いられる予測器の予測は，いつも量子化誤差の影響を受ける．したがって，高精度な再構成系列信号は，量子化誤差系列信号から得ることができない．そこで，この問題を除くために，IQPCを本発明者が提案していた．符号処理は，原系列信号と予測系列信号の量子化を独立に処理することを特徴とする．したがって，予測によって量子化誤差系列信号は影響を受けない．すなわち，この予測符号化による量子化誤差は，原系列信号の量子化によるものだけとなる．現在のほとんどの信号は，取得時に量子化されている．したがって，IQPCによる原系列信号の量子化器は，しばしば不必要となる．取得時の原系列信号の量子化幅の大きさが，IQPCでの原系列信号の量子化幅の大きさと等しいならば，IQPCで誤差のない原系列信号が完全に再構成される．すなわち，データの可逆圧縮が可能となる．尚，これを画像データの可逆圧縮に限定したものに非特許文献１がある．IQPCは，この文献の予測符号化を一般的な信号を取り扱えるように表現したものである．IQPCの公表を非特許文献２に示す
【０００３】
ECMNNSについて説明する．ここで，教師信号との間に相関関係がある入力信号すべてに対して学習が収束するまで行われた結果，教師信号に対する出力誤差が学習以前よりも小さくなるがゼロに収束しない単出力のNNについて考える．はじめに，学習が，第１段目のNNによって行われる．次に，このNNの教師信号と出力信号から得られた誤差信号を次の段のNNの教師信号として使用し，その学習を行う．ゆえに，次々と前段のNNの学習から得られた誤差信号を教師信号として次段のNNで学習し続けても，この教師信号に対する出力信号の誤差は，ゼロに収束させることはできないと考えられる．すなわち，第１段目のNNに与えられた教師信号とすべてのNNの出力信号の総和から得られる誤差は，ゼロに収束しない．このことを式（１）〜（４）に示す．
2011166717.tif 000009
ここで，yは教師信号，zは出力信号，εは出力誤差，各記号の添え字はNNの段番号を示す．
また，第２段目以降のNNで教師信号として使用される誤差信号が，NNの段数の増加に伴って小さくなるため，段数の高いNNほど学習が困難となる．この問題を解決するために，増幅された誤差信号を第２段目以降のNNの教師信号として使用する．結果として，それらのNNの学習は，容易となる．学習後のNNの出力誤差は，教師信号として使用する誤差信号の増幅率が１より大きい場合，増幅前の信号レベルに復元されるとき縮小される．さらに，その増幅率が非常に大きい場合，復元時の出力誤差は，ゼロに近づく．ここで，第n段目のNNの教師信号である誤差信号の増幅率をAnとして学習した結果得られた誤差信号が，εになると仮定する．このとき，NNシステム全体に与えられる教師信号に対する出力誤差εnは，式（５）で示され，式（６）に示す関係があるとする．さらに，NNの段数が無限大の場合，式（７），（８）より，εnがゼロに収束することが示される．したがって，このとき式（３），（８）よりNNシステム全体に与えられた教師信号とすべてのNNの復元後の出力信号の総和から得られた誤差が，ゼロに収束することが示される．すなわち，NNシステム全体に与えられた教師信号とすべてのNNの復元後の出力信号の総和は等しくなる．これを式（９）に示す．以上より，前記問題を改善するためのこの手段は，高精度出力を得るために効果的かつ有用であることが示された．本発明者が考案したこの方法をECMNNSと称し，この方法を適用したNNシステムを誤差収束型ニューロンネットワークシステム(Error Convergence-type Neuron Network System)，以下ECNNSと称する．
2011166717.tif 000010
ここで，yはECNNSの教師信号，ziは第i段目のNNの復元後の出力信号を示す．
ECMNNSとECNNSの公表を非特許文献３に示す．また，ECNNSの1個のデータに対する収束能力の評価を非特許文献４に示す．
【０００４】
ECPについて説明する．高精度な予測符号化を行うためには，適用原理と使用する予測器を改善しなければならない．ここで，次の理由により，予測符号化に用いられる非線形予測器としてのECNNSの各段のニューロンネットワークNNの学習能力を改善する手段を考案した．この手段を適用した予測器がECPである．NNを用いた非線形予測器の学習は，過去信号と予測信号間の因果性が強いほど容易となる．したがって，ECNNSの第１段目のNNの学習は比較的容易である．しかし，段数が高くなるに連れ，その因果性や相関性は弱くなると推測されるため，段数が高いNNの学習は，難しくなる．そこでECNNSの各段のNNの入力信号と教師信号の間の因果性を強くするために，各段のNNを予測器として用いる．また，NNの学習能力は，非特許文献５に示されているように，入力信号の増加と共に向上させることができる．ここで，ECPのNNには，適切な任意のものを用いる．実例としては，2次ボルテラNNや入力遅れ２次ボルテラNNを用いたものがある．本発明者が考案したECPの公表を非特許文献２に示す．尚，非特許文献２では，ECPを誤差収束型ニューロンネットワークシステム予測器(Error Convergence-type Neuron Network System
Predictor)，略してECNNSPと称している．
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】A. Fukunagaand A. Stechert, “Evolving Nonlinear PredictiveModels for Lossless Image Compression with Genetic Programming,” Proceedings of3rd Annual Genetic Programming Conference, San Francisco, USA, pp.1-8, 1998.
【非特許文献２】S. Kobayakawaand H. Yokoi, “Proposal of Predictive Coding using Error Convergence-typeNeuron Network System,” The Proc. of the ISCA 22nd International Conf. onComputers and Their Applications in Industry and Engineering, San Francisco,USA, pp. 169-174, 2009.
【非特許文献３】S. Kobayakawa and H. Yokoi, “Proposal ofError Convergence-type Neuron Network System,” Presented Proc. to 2008International Symp. onIntelligent Informatics, Kumamoto, Japan, pp. 1-10, 2008.
【非特許文献４】小早川俊祐, 横井博一,“誤差収束型ニューロンネットワークシステムの収束能力に関する基礎的実験,” 第8回情報科学技術フォーラム講演論文集, 2分冊, pp.531-537, 2009.
【非特許文献５】小早川俊祐, 横井博一,“入力信号数に対するBPネットワークの学習能力の評価,” 電子情報通信学会技術研究報告, SANE2007-102〜124,vol.107, no.442, pp.83-86, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の予測符号化に用いられている予測器は，予測対象の信号特性に合わせて，予め学習などにより，そのモデルパラメータが固定されていた．このため，予測器の汎化能力が低い場合には，予測精度が低く，予測符号化の誤差系列信号の振幅が大きくなってしまうという問題点があった．さらに，原系列信号と予測系列信から得られる誤差系列信号の量子化を一つの量子化器で行うため，予測器の量子誤差が含まれる問題点もあった．これらの問題点を解決することが課題である．
【課題を解決するための手段】
【０００７】
図１は，予測器にECPを用いた独立量子化型学習予測符号化のブロック図を示す．以下，この図を用いて説明する．前処理について説明する．はじめに，予測対象の信号特性に合わせて，予め予測器の学習を行う．この学習で得られたモデルパラメータを，予測符号化を行う前の符号処理部１９の予測器１１と復号処理部３９の予測器３０の初期設定とする．ここで，これら2つの予測器は，ECPから構成され，そのNNには，予測対象の信号特性に対して適切な任意のものを用いる．その例としては，2次ボルテラNN，入力遅れ２次ボルテラNN，時間遅れ２次ボルテラNNなどが考えられる．また，これら2つの予測器の学習終了条件を符号処理部１９と復号処理部３９に設定する．この学習終了条件は，予測器１１と予測器３０で同じものとする．学習終了条件としては，学習回数，学習終了誤差，それらを組み合わせたもの，学習用誤差信号に応じた条件などを用いる．
【０００８】
符号処理部１９について説明する．
（１）原系列信号１を記憶器２へ一旦保存し，後段の処理の要求に合わせて出力する．
（２）量子化器３は，記憶器２に保存した原系列信号１を1個読み出す．この原信号は，量子化器３で量子化され，量子化原信号４となる．この量子化原信号４を遅延素子９で１離散時間遅らせた後，予測器１１へ出力する．すなわち，予測器１１は，時刻τから１離散時間前の量子化原信号４を受け取る．この量子化原信号４が，予測器１１へ入力されると，予測器１１は，時刻τの予測信号１２を出力する．このとき，切換スイッチ１３は，接点１４側に入れられている．予測信号１２は，端数処理１５で，量子量で表現される量子化予測信号１６へ丸め込まれる．加算器５で，時刻τの量子化原信号４とこの時刻τの量子化予測信号１６に−１を乗じた信号を加算し，予測器１１の学習用誤差信号１８を取得する．すなわち，時刻τの量子化原信号４が，予測器１１の教師信号である．このとき，ゲート６は，オンの状態であり，誤差信号７は，学習用誤差信号１８と同じ信号となる．誤差信号７を符号器８へ入力した後，ゲート７をオフの状態にする．この誤差信号７は，符号器８で符号化され，伝送路２０を経て復号処理部３９へ伝送，または，任意の記憶装置や媒体へ保存される．
（３）一方，予測器１１は，学習用誤差信号１８を用いて学習を開始する．このとき，切換スイッチ１３を接点１７側に入れる．予測器１１の学習後，予測信号１２を取得する．加算器５で，時刻τの量子化原信号４とこの予測信号１６に−１を乗じた信号を加算し，予測器１１の次の学習用誤差信号１８を取得する．この学習用誤差信号１８を用いて，予測器１１の次の学習を行う．この学習を，学習終了条件を満たすまで繰り返えす．学習が終了した後，再び前記（２）の処理へ戻る．以上の処理を記憶器２に保存した原系列信号１がなくなるまで行う．
【０００９】
復号処理部３９について説明する．
（４）符号化された誤差信号７を復号器２１へ入力し，誤差信号２２に復号する．この誤差信号２２を記憶器２３に一旦保存し，後段の処理の要求に合わせて出力する．
（５）加算器２４は，記憶器２３に保存した誤差信号２２を1個読み出す．加算器２４で，この時刻τの誤差信号２２と時刻τの量子化予測信号３５を加算し，量子化原信号２５を再構成する．この量子化原信号２５を逆量子化器２６へ入力し，逆量子化を行い，再構成信号２７を取得する．また，この量子化原信号２５を遅延素子２８で１離散時間遅らせた後，予測器３０へ出力する．すなわち，予測器３０は，時刻τから１離散時間前の量子化原信号２５を受け取る．この量子化原信号２５が，予測器３０へ入力されると，予測器３０は，時刻τの予測信号３１を出力する．このとき，切換スイッチ３２は，接点３３側に入れられている．予測信号３１は，端数処理３４で，量子量で表現される量子化予測信号３５へ丸め込まれる．その後，切換スイッチ３２を接点３６側に入れる．
（６）一方，加算器３７で，時刻τの量子化原信号２５と時刻τの予測信号３１に−１を乗じた値を加算し，予測器３０の学習用誤差信号３８を取得する．すなわち，時刻τの量子化原信号２５が，予測器３０の教師信号である．予測器３０は，学習用誤差信号３８を用いて学習を開始する．予測器３０の学習後，予測信号３１を取得する．加算器３７で，時刻τの量子化原信号２５とこの予測信号３１に−１を乗じた信号を加算し，予測器３０の次の学習用誤差信号３８を取得する．この学習用誤差信号３８を用いて，予測器３０の次の学習を行う．この学習を，学習終了条件を満たすまで繰り返えす．学習が終了した後，再び前記（５）の処理へ戻る．以上の処理を記憶器２３に保存した誤差信号２２がなくなるまで行う．以上のように，符号処理部１９の予測器１１と復号処理部３９の予測器３０で，同じ入力信号と教師信号を用いて，学習を行うことにより，予測精度を改善しながら予測符号化が可能となる．
【図面の簡単な説明】
【００１０】
【図１】予測器にECPを用いた独立量子化型学習予測符号化を表すブロック図である．