"複数チャネルの原信号をダウンミクスした主信号、前記原信号と前記主信号との誤差成分を表す残差信号、及び前記原信号の複数チャネルの信号間の関係を表す空間情報各々が符号化された信号が多重化された入力信号を、符号化された前記主信号、符号化された前記残差信号、及び符号化された前記空間情報に分離すると共に、各々を復号する復号部と、前記復号部で復号された前記主信号を非相関化して非相関信号を生成する非相関信号生成部と、前記復号部で復号された残差信号のレベルが、予め定めた残差閾値以下か否かを判定する残差信号判定部と、前記残差信号判定部により残差信号のレベルが前記残差閾値より大きいと判定された場合には、前記復号された前記残差信号を副信号として生成し、前記残差信号判定部により前記残差信号のレベルが前記残差閾値以下と判定された場合には、前記復号された前記残差信号を前記非相関信号生成部で生成された前記非相関信号に置換した信号を副信号として生成する副信号生成部と、前記復号部で復号された前記主信号、前記副信号生成部で生成された前記副信号、及び前記復号部で復号された前記空間情報に基づいて、前記入力信号を復号した出力信号を生成する出力信号生成部と、を含む復号装置。前記復号部で復号された前記空間情報が表す関係により示される前記原信号の複数チャネルの信号間の類似度が、予め定めた類似度閾値以下の場合に、前記復号された空間情報に対応する前記復号された残差信号を置換対象であると判定する置換対象判定部を含み、前記副信号生成部は、前記残差信号判定部により残差信号のレベルが前記残差閾値以下と判定され、かつ前記置換対象判定部で前記残差信号が置換対象であると判定された場合に、前記残差信号を前記非相関信号に置換した信号を副信号として生成する請求項1記載の復号装置。前記副信号生成部は、前記復号された残差信号の大きさに応じて重み付けされた非相関信号と、前記復号された残差信号とを加算して副信号を生成する請求項1または請求項2記載の復号装置。前記復号された主信号を複数の周波数帯域に分割して扱う場合に、前記副信号生成部は、前記重みを周波数帯域間で平準化する請求項3記載の復号装置。前記主信号が複数チャネルの場合に、互いに異なるチャネルに対応した複数の前記置換対象判定部を含み、いずれか1つの前記置換対象判定部の判定結果を、他の前記置換対象判定部の判定結果として用いる請求項2~請求項4のいずれか1項記載の復号装置。複数チャネルの原信号をダウンミクスした主信号、前記原信号と前記主信号との誤差成分を表す残差信号、及び前記原信号の複数チャネルの信号間の関係を表す空間情報各々が符号化された信号が多重化された入力信号を、符号化された前記主信号、符号化された前記残差信号、及び符号化された前記空間情報に分離すると共に、各々を復号する復号ステップと、前記復号ステップで復号された前記主信号を非相関化して非相関信号を生成する非相関信号生成ステップと、前記復号ステップで復号された残差信号のレベルが、予め定めた残差閾値以下か否かを判定する残差信号判定ステップと、前記残差信号判定ステップにより残差信号のレベルが前記残差閾値より大きいと判定された場合には、前記復号された前記残差信号を副信号として生成し、前記残差信号判定ステップにより前記残差信号のレベルが前記残差閾値以下と判定された場合には、前記復号された前記残差信号を前記非相関信号生成ステップで生成された前記非相関信号に置換した信号を副信号として生成する副信号生成ステップと、前記復号ステップで復号された前記主信号、前記副信号生成ステップで生成された前記副信号、及び前記復号ステップで復号された前記空間情報に基づいて、前記入力信号を復号した出力信号を生成する出力信号生成ステップと、を含む復号方法。コンピュータに、複数チャネルの原信号をダウンミクスした主信号、前記原信号と前記主信号との誤差成分を表す残差信号、及び前記原信号の複数チャネルの信号間の関係を表す空間情報各々が符号化された信号が多重化された入力信号を、符号化された前記主信号、符号化された前記残差信号、及び符号化された前記空間情報に分離すると共に、各々を復号する復号ステップと、前記復号ステップで復号された前記主信号を非相関化して非相関信号を生成する非相関信号生成ステップと、前記復号ステップで復号された残差信号のレベルが、予め定めた残差閾値以下か否かを判定する残差信号判定ステップと、前記残差信号判定ステップにより残差信号のレベルが前記残差閾値より大きいと判定された場合には、前記復号された前記残差信号を副信号として生成し、前記残差信号判定ステップにより前記残差信号のレベルが前記残差閾値以下と判定された場合には、前記復号された前記残差信号を前記非相関信号生成ステップで生成された前記非相関信号に置換した信号を副信号として生成する副信号生成ステップと、前記復号ステップで復号された前記主信号、前記副信号生成ステップで生成された前記副信号、及び前記復号ステップで復号された前記空間情報に基づいて、前記入力信号を復号した出力信号を生成する出力信号生成ステップと、を含む処理を実行させるための復号プログラム。しかしながら、残差信号の符号化時の量子化などにより、復号した残差信号に欠落が生じている場合がある。残差信号を使用して入力信号を復号すると定められた帯域において、このような残差信号の欠落が生じている場合には、入力信号を復号して生成される出力信号が劣化してしまう、という問題がある。開示の技術は、主信号、残差信号、及び空間情報を含む入力信号を復号して出力信号を生成する際に、出力信号の劣化を抑制することが目的である。開示の技術は、入力信号として、複数チャネルの原信号をダウンミクスした主信号、原信号と主信号との誤差成分を表す残差信号、及び原信号の複数チャネルの信号間の関係を表す空間情報各々が符号化された信号が多重化された信号が入力される。復号部は、入力信号を、符号化された主信号、符号化された残差信号、及び符号化された空間情報に分離すると共に、各々を復号する。非相関信号生成部は、復号部で復号された主信号を非相関化して非相関信号を生成する。残差信号判定部は、復号部で復号された残差信号のレベルが、予め定めた残差閾値以下か否かを判定する。副信号生成部は、残差信号判定部により残差信号のレベルが残差閾値より大きいと判定された場合には、復号された残差信号を副信号として生成する。また副信号生成部は、残差信号判定部により残差信号のレベルが残差閾値以下と判定された場合には、復号された残差信号を非相関信号生成部で生成された非相関信号に置換した信号を副信号として生成する。出力信号生成部は、復号部で復号された主信号、副信号生成部で生成された副信号、及び復号部で復号された空間情報に基づいて、入力信号を復号した出力信号を生成する。開示の技術は、主信号、残差信号、及び空間情報を含む入力信号を復号して出力信号を生成する際に、出力信号の劣化を抑制することができる、という効果を有する。以下、図面を参照して開示の技術の実施の形態の一例を詳細に説明する。本実施の形態では、MPEGサラウンド方式で符号化された入力信号を復号する復号装置を例に説明する。<第1の実施の形態>図1に、第1の実施の形態に係る復号装置10を示す。復号装置10は入力された入力ストリームを復号して復号信号を出力する処理を行う。復号装置10は、復号部20、時間周波数変換部22、第1アップミクス部24、第2アップミクス部26、及び周波数時間変換部28を含んで表すことができる。以下では、第1アップミクス部24として、チャネル数を2チャネルから3チャネルにアップミクスする2ch→3chアップミクス部24を例に説明する。また、第2アップミクス部26は第1アップミクス部でアップミクスされた信号をさらにアップミクスするものである。以下では、第2アップミクス部26として、2ch→3chアップミクス部24から出力された各チャネルの信号のチャネル数を1チャネルから2チャネルにアップミクスする3個の1ch→2chアップミクス部26を例に説明する。復号部20は、さらに、ストリーム分離部12、主信号復号部14、残差信号復号部16、及び空間情報復号部18を含んで表すことができる。また、3個の1ch→2chアップミクス部26各々は、さらに、図2に示すように、非相関信号生成部30、残差信号判定部32、置換対象判定部34、副信号生成部36、及び出力信号生成部38を含んで表すことができる。復号装置10は、例えば図3に示すコンピュータ70で実現することができる。コンピュータ70はCPU72、メモリ44、不揮発性の記憶部46、キーボード48、マウス50、ディスプレイ52、スピーカ54を備え、これらはバス56を介して互いに接続されている。なお、記憶部46はHDDやフラッシュメモリ等によって実現できる。記録媒体としての記憶部46には、コンピュータ70を復号装置10として機能させるための復号プログラム58が記憶されている。CPU72は、復号プログラム58を記憶部46から読み出してメモリ44に展開し、復号プログラム58が有するプロセスを順次実行する。復号プログラム58は、復号プロセス60、時間周波数変換プロセス62、2ch→3chアップミクスプロセス64、1ch→2chアップミクスプロセス66、及び周波数時間変換プロセス68を有する。1ch→2chアップミクスプロセス66は、さらに、非相関信号生成プロセス66a、残差信号判定プロセス66b、置換対象判定プロセス66c、副信号生成プロセス66d、及び出力信号生成プロセス66eを有する。CPU72は、復号プロセス60を実行することで、図1に示す復号部20として動作する。またCPU72は、時間周波数変換プロセス62を実行することで、図1に示す時間周波数変換部22として動作する。またCPU72は、2ch→3chアップミクスプロセス64を実行することで、図1に示す2ch→3chアップミクス部24として動作する。またCPU72は、1ch→2chアップミクスプロセス66を実行することで、図1に示す1ch→2chアップミクス部26として動作する。またCPU72は、周波数時間変換プロセス68を実行することで、図1に示す周波数時間変換部28として動作する。さらにCPU72は、非相関信号生成プロセス66aを実行することで、図2に示す非相関信号生成部30として動作する。またCPU72は、残差信号判定プロセス66bを実行することで、図2に示す残差信号判定部32として動作する。またCPU72は、置換対象判定プロセス66cを実行することで、図2に示す置換対象判定部34として動作する。またCPU72は、副信号生成プロセス66dを実行することで、図2に示す副信号生成部36として動作する。またCPU72は、出力信号生成プロセス66eを実行することで、図2に示す出力信号生成部38として動作する。これにより、復号プログラム58を実行したコンピュータ70が、復号装置10として機能することになる。なお、復号装置10は、例えば半導体集積回路、より詳しくはASICApplicationSpecificIntegratedCircuit等で実現することも可能である。ストリーム分離部12は、所定時間の時系列の入力信号である入力ストリームを解析し、多重化された入力ストリームを分離する。ここで、入力ストリームは、複数チャネルの原信号をダウンミクスした主信号、原信号をダウンミクスする際に生じる誤差成分を表す残差信号、及び原信号の複数チャネルの信号間の関係を表す空間情報を、各々符号化して多重化した信号である。図4に、MPEGサラウンドにおける入力ストリームのフォーマットの一例を示す。図4に示すフォーマットは、ADTSAudioDataTransportStreamと呼ばれるヘッダ形式で、ADTSヘッダ、AACAdvancedAudioCodingデータ、及びフィルエレメントの各フィールドを有する。AACデータが主信号に相当し、残差信号及び空間情報はフィルエレメントに含まれる。なお、フィルエレメントには、後述する主信号復号部14で用いられるSBRSpectralBandReplicationデータ等も含まれる。このように各信号が多重化された入力ストリームから、符号化された状態の主信号、残差信号、及び空間情報を分離する。なお、分離方法は、ISO/IEC14496-3規格に記載の方法を用いることができる。主信号復号部14は、ストリーム分離部12で分離された符号化された状態の主信号を、符号化時の方式に対応した復号方式で復号する。MPEGサラウンド方式においては、SBRデータを用いて、HE-AACHighEfficiencyAdvancedAudioCoding方式により主信号を復号する。HE-AAC方式による復号により、2チャネルの主信号x1及びx2が得られる。なお、HE-AAC方式による復号は、ISO/IEC14496-3規格に記載の方法を用いることができる。なお、主信号の復号方式としてHE-ACC以外の方式を用いてもよい。この場合、ストリーム分離部及び主信号復号部の構成を、採用した復号方式に応じて変更するとよい。残差信号復号部16は、ストリーム分離部12で分離された符号化された状態の残差信号を、符号化時の方式に対応した復号方式で復号する。例えば、残差信号がAAC方式により符号化されている場合には、AAC方式により残差信号を復号する。なお、AAC方式による復号は、ISO/IEC13818-7規格に記載の方法を用いることができる。以下では、復号された残差信号を残差信号Resと表記する。空間情報復号部18は、ストリーム分離部12で分離された符号化された状態の空間情報を、符号化時に用いた量子化テーブルを参照して復号する。空間情報が表す原信号の複数チャネルの信号間の関係には、信号間のパワー差を表すCLDChannelLevelDifferences、及び信号間の類似度を表すICCInterchannelCorrelationCoherencesが含まれる。符号化された状態のCLDを、例えば、図5に示すCLDパラメータテーブルを参照して復号する。同様に、符号化された状態のICCを、例えば、図6に示すICCパラメータテーブルを参照して復号する。時間周波数変換部22は、主信号復号部14で復号された時間信号である主信号を、周波数信号に変換する。具体的には、下記1式に示す複素型のQMFQuadratureMirrorFilterフィルタバンクを用いて、時間信号Lnで表される主信号を、周波数信号Lknに変換する。なお、nは時間、kは周波数帯域を表す。図7に、QMFによる時間周波数変換後の主信号の一例を示す。図中、Lk,nが各信号サンプルを表す。2ch→3chアップミクス部24は、時間周波数変換部22で周波数信号に変換された主信号をアップミクスする。ここでは、上記の主信号x1及びx2を時間周波数信号に変換した2チャネルの主信号X1及びX2をアップミクスして、3チャネルのアップミクスされた主信号Y1、Y2、Y3を出力する。図8に2ch→3chアップミクス部24の構成を示す。2ch→3chアップミクス部24において、例えば、下記2式により、アップミクスの計算を行う。ここで、wは下記3式及び4式に示す値である。なお、4式内のCLD1及びCLD2は、空間情報復号部18で復号された空間情報から得られる情報である。以下では、2ch→3chアップミクス部24でアップミクスされた主信号を主信号Inと表記する。非相関信号生成部30は、主信号Inを非相関化した非相関信号Dを生成する。図9に、主信号Inと非相関信号Dとの関係を示す。図9に示す通り、主信号Inと非相関信号Dとは、位相を90度回転させた関係にある。残差信号判定部32は、残差信号Resに欠落が発生しているか否かを判定する。残差信号の符号化時の量子化などにより情報が削減され、復元された残差信号に必ずしも全ての情報が含まれているとは限らず、残差信号が欠落している場合がある。一例として、原信号、残差信号符号化前、残差信号復号後、及び復号信号のスペクトル図を図10に示す。同図において、残差信号復号後の上側の帯域において、残差信号符号化前と比較して黒く表されている部分楕円で囲った部分は、残差信号が欠落していることを表している。従来技術のように、周波数帯域によって残差信号か非相関信号かを選択する場合において、残差信号を使用する周波数帯域で、上記のような残差信号の欠落が発生している場合には、出力信号は主信号のみから生成され、出力信号が劣化する場合があった。例えば図10の例では、残差信号復号後が欠落している帯域に対応した復号信号の帯域において、原信号と比較して黒く表されている部分楕円で囲った部分が存在し、復号信号に劣化が生じていることが分かる。このような欠落した残差信号を非相関信号生成部30で生成された非相関信号に置換するために、残差信号判定部32は、残差信号Resに欠落が発生しているか否かを判定するものである。具体的には、図11に示すように、残差信号Resのパワーが予め定めた閾値Th1以下の場合に、残差信号Resが無い、すなわち欠落していると判定する。閾値Th1は、5×109程度の値が望ましい。置換対象判定部34は、残差信号判定部32で、残差信号Resが閾値Th1以下であると判定された信号部分に対して、符号化前の残差信号の大小を推定し、推定された符号化前の残差信号が大きい場合には、非相関信号への置換対象であると判定する。符号化前の残差信号の大小の推定は、空間情報復号部18で復号されたICCを用いて行う。図12に、符号化前の残差信号とICCとの関係を概念化したベクトル図で示す。同図aに示すように、原信号の一方のチャネルの信号原信号Aと他方のチャネルの信号原信号Bとの類似度ICCは、原信号Aを表すベクトルと原信号Bを表すベクトルとの角度arccosICCで表される。また、原信号Aと原信号Bとをダウンミクスした主信号を表すベクトルと、原信号Aまたは原信号Bを表すベクトルとの角度はarccosICC/2となる。ここで、残差信号は、原信号と主信号との誤差成分であるので、主信号×cosICCと足し合わせた場合に原信号Aまたは原信号Bとなる信号を、符号化前の残差信号として推定することができる。従って、同図bに示すように、符号化前の残差信号が小さい場合には、角度arccosICC/2は小さく、すなわち類似度ICCは大きくなる。一方、同図cに示すように、符号化前の残差信号が大きい場合には、角度arccosICC/2は大きく、すなわち類似度ICCは小さくなる。符号化前の残差信号が大きい場合であって、その残差信号が復号後に欠落している場合には、出力信号を生成する際に劣化度合いが大きくなるため、非相関信号で置換することが望ましい。一方、符号化前の残差信号が小さい場合には、その残差信号が復号後に欠落しているとしても、出力信号を生成する際に与える影響が小さい。非相関信号は、復号された主信号から生成された信号であるため、欠落した残差信号を非相関信号に置換した場合よりも、置換しない場合の方が出力信号の劣化を抑制できる場合がある。そこで、置換対象判定部34は、残差信号Resが置換していると判定された信号部分を、非相関信号へ置換する対象とするか否かを判定する。具体的には、類似度ICCが予め定めた閾値Th2以下の場合に、非相関信号への置換対象であると判定する。閾値Th2は、0.5程度の値が望ましい。図13に、残差信号判定部32及び置換対象判定部34各々の判定結果、並びに非相関信号へ置換するか否かの最終的な判定結果の一例を示す。副信号生成部36は、残差信号Resにおいて、残差信号判定部32及び置換対象判定部34の判定により、最終的に非相関信号に置換すると判定された部分を非相関信号Dに置換した副信号Subを生成する。非相関信号に置換すると判定された部分については、残差信号使用帯域であっても非相関信号Dに置換する。出力信号生成部38は、主信号In、副信号生成部36から出力された副信号Sub、及び空間情報から、2チャネルの出力信号Out1、Out2を生成する。図14に、出力信号生成部38の動作を概念化したベクトル図で示す。具体的には、下記5式により、出力信号Out1、Out2を計算する。5式内のH11、H12、H21、H22は、副信号Subが残差信号Resか非相関信号Dかによって、下記6となる。周波数時間変換部28は、出力信号生成部38で生成された周波数信号である出力信号を、時間信号に変換する。具体的には、下記7式に示す複素型のQMFフィルタバンクを用いて、周波数信号Lknで表される出力信号を、時間信号Lnに変換する。次に、図15を参照して、第1の実施の形態の復号装置10における復号処理について説明する。ステップ100で、ストリーム分離部12は、多重化された入力ストリームから、符号化された状態の主信号、残差信号、及び空間情報を分離する。次に、ステップ102で、主信号復号部14は、ストリーム分離部12で分離された符号化された状態の主信号を復号して、主信号x1及びx2を出力する。次に、ステップ104で、残差信号復号部16は、ストリーム分離部12で分離された符号化された状態の残差信号を復号して、復号された残差信号Resを出力する。次に、ステップ106で、空間情報復号部18は、ストリーム分離部12で分離された符号化された状態の空間情報を復号して、復号された空間情報CLD及びICCを出力する。次に、ステップ108で、時間周波数変換部22は、主信号復号部14で復号された時間信号である主信号x1及びx2を、周波数信号である主信号X1及びX2に変換する。次に、ステップ110で、2ch→3chアップミクス部24は、時間周波数変換部22で周波数信号に変換された主信号X1及びX2を3チャネルにアップミクスして、アップミクスされた主信号InY1、Y2、Y3を出力する。次に、ステップ112で、非相関信号生成部30は、主信号Inを非相関化した非相関信号Dを生成する。次に、ステップ114で、残差信号判定部32は、残差信号Resのパワーが閾値Th1以下か否かを判定する。残差信号Resのパワー≦Th1の場合には、ステップ116へ移行し、残差信号Res>Th1の場合には、ステップ120へ移行する。ステップ116では、置換対象判定部34は、類似度ICCが閾値Th2以下か否かを判定する。ICC≦Th2の場合には、ステップ118へ移行し、ICC>Th2の場合には、ステップ120へ移行する。ステップ118では、副信号生成部36は、残差信号Resを非相関信号Dに置換した副信号Sub生成して出力する。一方、ステップ120では、副信号生成部36は、副信号Subとして残差信号Resを出力する。次に、ステップ122で、出力信号生成部38は、主信号In、副信号生成部36から出力された副信号Sub、及び空間情報から、2チャネルの出力信号Out1、Out2を生成する。次に、ステップ124で、周波数時間変換部28は、出力信号生成部38で生成された周波数信号である出力信号を、時間信号に変換して、最終的な復号信号として出力する。図16に、第1の実施の形態の復号装置の効果を概念化したベクトル図を示す。残差信号Resが欠落している場合、原信号と復号信号との誤差が大きくなるが、本実施の形態のように、残差信号Resが欠落した部分を非相関信号Dに置換した場合には、原信号と復号信号との誤差を小さくすることができる。すなわち、復号信号の劣化を抑制することができる。また、図17に、第1の実施の形態の復号装置の効果例をスペクトル図で示す。従来技術では、残差信号の欠落により発生していた復号信号の劣化が、本実施の形態では解消されていることが分かる。<第2の実施の形態>次に、第2の実施の形態について説明する。第2の実施の形態の復号装置の構成は、1ch→2chアップミクス部以外は第1の実施の形態の復号装置10の構成と同様であるため、異なる点についてのみ説明する。第2の実施の形態における1ch→2chアップミクス部226は、図18に示すように、非相関信号生成部30、非相関信号重み付け部40、残差信号判定部32、置換対象判定部34、副信号生成部236、及び出力信号生成部38を含んで表すことができる。非相関信号重み付け部40は、非相関信号Dに対する重み付け係数を計算し、非相関信号Dに掛け合わせて、重み付けされた非相関信号D’を出力する。非相関信号重み付け部40の構成を図19に示す。重み付け係数算出部40aは、例えば下記8式に示すような重み付け係数Wk,nを算出することができる。8式の例では、残差信号Resに含まれる非相関信号D成分の大きさを重み付けにより非相関信号Dから除くことを表している。8式中のαk,nは、空間情報から得られる値であり、6式中のαと同様である。また、sk,nは、置換対象判定部34の判定結果である。sk,n=1は、残差信号Resの信号サンプルResk,nが置換対象であることを示し、sk,n=0は、信号サンプルResk,nが置換対象ではないことを示す。副信号生成部236は、非相関信号重み付け部40で生成された重み付け非相関信号D’と残差信号Resとを用いて、副信号Subを生成する。副信号生成部236の構成を図20に示す。副信号生成部236では、例えば下記9式に示すように、重み付け非相関信号D’と残差信号Resとを加算した副信号Subを生成する。第2の実施の形態の復号装置によれば、復号された残差信号が欠落している部分について、単純に非相関信号に置換する場合に比べて、出力信号の劣化をより抑制することができる。<第3の実施の形態>次に、第3の実施の形態について説明する。第3の実施の形態の復号装置の構成は、非相関信号重み付け部以外は第2の実施の形態の復号装置の構成と同様であるため、異なる点についてのみ説明する。非相関信号重み付け部340は、非相関信号Dに対する重み付け係数を計算し、周波数帯域間での重み付けの量を平準化した上で、非相関信号Dに掛け合わせて、重み付けされた非相関信号D’を出力する。非相関信号重み付け部340の構成を図21に示す。帯域間補正部40bは、例えば下記10式に示すように重みが補正された補正重み付け係数Wk,nを算出することができる。Wk,n=x×Wk,n1-x×k-1,n10ここで、xは係数であり、例えば0.8などの固定値とすることができる。また、10式では、対象帯域kの下側帯域k-1の補正量をフィードバックしているが、上側帯域k1またはそれ以外の帯域を用いてもよい。第3の実施の形態の復号装置によれば、重み付け非相関信号を生成する際に、帯域間で重み付けの量を平準化するように補正することで、周波数帯域間での重み付け係数の急峻な変更による出力信号の劣化を軽減することができる。<第4の実施の形態>次に、第4の実施の形態について説明する。第4の実施の形態の復号装置の構成は、1ch→2chアップミクス部以外は第1の実施の形態の復号装置の構成と同様であるため、異なる点についてのみ説明する。図22に示すように、1ch→2chアップミクス部426は、2ch→3chアップミクス部24でアップミクスされた3チャネル各々に対応した3つの1ch→2chアップミクス部426a、426b、426cを有する。各1ch→2chアップミクス部426a、426b、426cの構成は図2に示した第1の実施の形態のアップミクス部26の構成と同様である。第4の実施の形態の1ch→2chアップミクス部426では、1ch→2chアップミクス部426aの置換対象判定部434aの判定結果を用いて、1ch→2chアップミクス部426b及び426cの置換対象判定部434b及び434cの判定結果を出力する。例えば、置換対象判定部434a、434b、434c各々の判定結果をs1k,n、s2k,n、s3k,nとする。置換対象判定部434b及び434cでは、下記11式及び12式により、置換対象判定部434aの判定結果をコピーして出力することができる。s2k,n=s1k,n11s3k,n=s1k,n12第4の実施の形態の復号装置によれば、各置換対象判定部で別個に判定結果を計算する場合に比べて、計算量を削減することができる。なお、上記各実施の形態では、残差信号判定部の判定結果及び置換対象判定部の判定結果の両方を用いる場合について説明したが、残差信号判定部の判定結果のみを用いて、残差信号を非相関信号に置換するか否かを判定するようにしてもよい。また、上記では復号プログラム58が記憶部46に予め記憶インストールされている態様を説明したが、これに限定されるものではない。例えば、開示の技術における復号プログラムは、CD-ROMやDVD-ROM等の記録媒体に記録されている形態で提供することも可能である。また、開示の技術の復号装置を、各部の処理を実現するためのハードウエアにより構成してもよい。本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。以上の実施形態に関し、更に以下の付記を開示する。付記1前記復号ステップで復号された前記空間情報が表す関係により示される前記原信号の複数チャネルの信号間の類似度が、予め定めた類似度閾値以下の場合に、前記復号された空間情報に対応する前記復号された残差信号を置換対象であると判定する置換対象判定ステップを含み、前記副信号生成ステップは、前記残差信号判定ステップで残差信号のレベルが前記残差閾値以下と判定され、かつ前記置換対象判定ステップで前記残差信号が置換対象であると判定された場合に、前記残差信号を前記非相関信号に置換した信号を副信号として生成する請求項6記載の復号方法。付記2前記副信号生成ステップは、前記復号された残差信号の大きさに応じて重み付けされた非相関信号と、前記復号された残差信号とを加算して副信号を生成する請求項6または付記1記載の復号方法。付記3前記復号された主信号を複数の周波数帯域に分割して扱う場合に、前記副信号生成ステップは、前記重みを周波数帯域間で平準化する付記2記載の復号方法。付記4前記主信号が複数チャネルの場合に、互いに異なるチャネルに対応した複数の前記置換対象判定ステップを含み、いずれか1つの前記置換対象判定ステップの判定結果を、他の前記置換対象判定ステップの判定結果として用いる付記1~付記3のいずれかに記載の復号方法。付記5前記コンピュータに、前記復号ステップで復号された前記空間情報が表す関係により示される前記原信号の複数チャネルの信号間の類似度が、予め定めた類似度閾値以下の場合に、前記復号された空間情報に対応する前記復号された残差信号を置換対象であると判定する置換対象判定ステップを含む処理を実行させるための復号プログラムであって、前記副信号生成ステップは、前記残差信号判定ステップで残差信号のレベルが前記残差閾値以下と判定され、かつ前記置換対象判定ステップで前記残差信号が置換対象であると判定された場合に、前記残差信号を前記非相関信号に置換した信号を副信号として生成する請求項7記載の復号プログラム。付記6前記副信号生成ステップは、前記復号された残差信号の大きさに応じて重み付けされた非相関信号と、前記復号された残差信号とを加算して副信号を生成する請求項7または付記5記載の復号プログラム。付記7前記復号された主信号を複数の周波数帯域に分割して扱う場合に、前記副信号生成ステップは、前記重みを周波数帯域間で平準化する付記6記載の復号プログラム。付記8前記主信号が複数チャネルの場合に、互いに異なるチャネルに対応した複数の前記置換対象判定ステップを含み、いずれか1つの前記置換対象判定ステップの判定結果を、他の前記置換対象判定ステップの判定結果として用いる付記5~付記7のいずれかに記載の復号プログラム。"