(57)【要約】  符号化装置（２００ｄ）は、画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を出力する符号化装置であって、上記原信号に含まれる周波数成分の一部を上記原信号から抽出することによって周波数成分抽出信号を生成する周波数成分抽出部（２３０）と、上記周波数成分抽出信号と上記原信号とを切り替えながら符号化し、該符号化した信号を上記符号化信号に含める符号化処理部（２２１）とを備える。
2011061957.tif 000002
【特許請求の範囲】
【請求項１】
画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を出力する符号化装置であって、
上記原信号に含まれる周波数成分の一部を上記原信号から抽出することによって周波数成分抽出信号を生成する周波数成分抽出手段と、
上記周波数成分抽出信号と上記原信号とを切り替えながら符号化し、該符号化した信号を上記符号化信号に含める符号化手段とを備えることを特徴とする符号化装置。
【請求項２】
上記周波数成分抽出手段は、
上記原信号に含まれる周波数成分のうち高周波成分を上記原信号から除去することによって高周波除去信号を生成する高周波成分除去手段と、
上記高周波除去信号の高調波を生成する高周波成分生成手段と、
上記原信号から、上記高周波除去信号の高調波を減算することによって、上記周波数成分抽出信号を生成する減算手段とを備えるとともに、
上記高周波成分生成手段は、
上記高周波除去信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記高周波除去信号から除去することによって低周波除去信号を生成する低周波成分除去手段と、
上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が０の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理手段と、
上記非線形処理信号を上記高周波除去信号に加算することによって、上記高調波を生成する加算手段とを備えることを特徴とする請求項１に記載の符号化装置。
【請求項３】
上記コンテンツは、時間的に連続する複数のフレームから構成され、
上記符号化手段は、さらに、
フレーム毎に、上記原信号を符号化した第１の信号、および、上記周波数成分抽出信号を符号化した第２の信号のいずれかを上記符号化信号に含め、かつ、
上記フレーム間の動き補償予測を行なうための動きベクトル情報を出力するものであって、
上記符号化信号を復号化することによって復号化信号を生成する復号化手段と、
上記復号化信号の高調波を生成する第２の高周波成分生成手段と、
上記原信号から、上記復号化信号の高調波を減算することによって差信号を生成する第２の減算手段とを備えるととともに、
上記復号化手段は、さらに、
上記第１の信号を復号化したとき、上記第１の信号を復号化した信号を、上記復号化信号として生成し、
上記第２の信号を復号化したとき、上記動きベクトル情報を用いて、直前に生成された上記復号化信号に対して動き補償を行なった後の信号と、上記第２の信号を復号化した信号とを加算した信号を、上記復号化信号として生成し、
上記第２の高周波成分生成手段は、
上記復号化信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記復号化信号から除去することによって第２の低周波除去信号を生成する第２の低周波成分除去手段と、
上記第２の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第２の低周波除去信号の値が０の近傍のとき、上記第２の低周波除去信号に対して非線形に広義に単調増加する第２の非線形処理信号を生成する第２の非線形処理手段と、
上記第２の非線形処理信号を上記復号化信号に加算することによって、上記第２の高周波成分生成手段により生成される高調波を生成する第２の加算手段とを備え、
上記高周波成分除去手段、上記低周波成分除去手段、および、上記第２の低周波成分除去手段は、それぞれ、外部からの指示に応じて、除去する周波数成分を増減するものであり、
上記差信号の値に応じて、上記高周波成分除去手段、上記低周波成分除去手段、および、上記第２の低周波成分除去手段の少なくともいずれかが除去する周波数成分を増減させる周波数成分制御部を備えることを特徴とする請求項２に記載の符号化装置。
【請求項４】
上記周波数成分制御部は、
上記差信号に含まれる各信号の絶対値の総和が所定閾値よりも大きいとき、
上記高周波成分除去手段にて除去する高周波成分を減少させ、かつ、
上記低周波成分除去手段にて除去する低周波成分を増加させ、かつ、
上記第２の低周波成分除去手段にて除去する低周波成分を増加させるとともに、
上記総和が所定閾値以下のとき、
上記高周波成分除去手段にて除去する高周波成分を増加させ、かつ、
上記低周波成分除去手段にて除去する低周波成分を減少させ、かつ、
上記第２の低周波成分除去手段にて除去する低周波成分を減少させることを特徴とする請求項３に記載の符号化装置。
【請求項５】
上記原信号および上記周波数成分抽出信号に対して信号の間引きを行なう信号間引手段と、
上記復号化信号に対して信号の補間を行なう信号補間手段とをさらに備えることを特徴とする請求項４に記載の符号化装置。
【請求項６】
上記非線形処理手段は、
２以上の偶数を冪指数として、上記低周波除去信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、
上記偶数冪乗信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備えることを特徴とする請求項２から５のいずれか１項に記載の符号化装置。
【請求項７】
上記非線形処理手段は、
２以上の偶数を冪指数として、上記低周波除去信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、
上記偶数冪乗信号を微分することによって微分信号を生成する微分手段と、
上記微分信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備えることを特徴とする請求項２から５のいずれか１項に記載の符号化装置。
【請求項８】
上記非線形処理手段は、３以上の奇数を冪指数として、上記低周波除去信号を冪乗することによって、上記非線形処理信号を生成する奇数冪乗演算手段を備えることを特徴とする請求項２から５のいずれか１項に記載の符号化装置。
【請求項９】
上記非線形処理手段は、
上記低周波除去信号を上記低周波除去信号の取り得る最大値で除算した値の絶対値の平方根と、上記最大値とを乗算することによって平方根信号を生成する平方根演算手段と、
上記平方根信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備えることを特徴とする請求項２から５のいずれか１項に記載の符号化装置。
【請求項１０】
上記非線形処理手段は、上記非線形処理信号の振幅を、所定の倍率値を乗算することによって調整する振幅調整手段をさらに備えることを特徴とする請求項２から９のいずれか１項に記載の符号化装置。
【請求項１１】
上記非線形処理手段は、上記低周波除去信号の値が０の近傍のとき、絶対値が上記低周波除去信号の絶対値よりも大きい上記非線形処理信号を生成することを特徴とする請求項２から１０のいずれか１項に記載の符号化装置。
【請求項１２】
上記低周波成分除去手段は、タップ数が３以上の高域通過型のフィルタであることを特徴とする請求項２から１１のいずれか１項に記載の符号化装置。
【請求項１３】
上記低周波成分除去手段は、
上記低周波除去信号のうち、絶対値が所定下限値よりも小さい部分の信号値を０に変更する低レベル信号除去手段と、
上記低周波除去信号のうち、絶対値が所定上限値よりも大きい部分の信号値を、符号を維持して絶対値のみ当該上限値以下に変更する高レベル信号除去手段とをさらに備えることを特徴とする請求項２から１２のいずれか１項に記載の符号化装置。
【請求項１４】
画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、該符号化信号を復号化した復号化信号を生成する復号化装置であって、
上記コンテンツは、時間的に連続する複数のフレームから構成され、
上記符号化において、上記フレーム間の動き補償予測を行なうための動きベクトル情報が出力され、
上記符号化信号は、フレーム毎に、上記原信号を符号化した第１の信号、および、上記原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかを含むものであって、
上記第１の信号を復号化したとき、上記第１の信号を復号化した信号を、上記復号化信号として生成し、
上記第２の信号を復号化したとき、上記ベクトル情報を用いて、直前に出力された上記復号化信号に対する動き補償を行なった後の信号と、上記第２の信号を復号化した信号とを加算した信号を、上記復号化信号として生成する復号化手段を備えることを特徴とする復号化装置。
【請求項１５】
画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を出力する符号化装置の制御方法であって、
上記原信号に含まれる周波数成分の一部を上記原信号から抽出することによって周波数成分抽出信号を生成する周波数成分抽出ステップと、
上記周波数成分抽出信号と上記原信号とを切り替えながら符号化し、該符号化した信号を上記符号化信号に含める符号化ステップとを含むことを特徴とする符号化装置の制御方法。
【請求項１６】
画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、該符号化信号を復号化した復号化信号を生成する復号化装置の制御方法であって、
上記コンテンツは、時間的に連続する複数のフレームから構成され、
上記符号化において、上記フレーム間の動き補償予測を行なうための動きベクトル情報が出力され、
上記符号化信号は、フレーム毎に、上記原信号を符号化した第１の信号、および、上記原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかを含むものであって、
上記第１の信号を復号化したとき、上記第１の信号を復号化した信号を、上記復号化信号として生成し、
上記第２の信号を復号化したとき、上記ベクトル情報を用いて、直前に出力された上記復号化信号に対する動き補償を行なった後の信号と、上記第２の信号を復号化した信号とを加算した信号を、上記復号化信号として生成する復号化ステップを含むことを特徴とする復号化装置の制御方法。
【請求項１７】
請求項１または２に記載の符号化装置を送信側に備え、
上記コンテンツは、時間的に連続する複数のフレームから構成され、
上記符号化手段は、さらに、
フレーム毎に、上記原信号を符号化した第１の信号、および、上記原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかを上記符号化信号に含め、かつ、
上記フレーム間の動き補償予測を行なうための動きベクトル情報を出力するものであって、
請求項１４に記載の復号化装置を受信側に備えることを特徴とする伝送システム。
【請求項１８】
請求項３または４に記載の符号化装置を送信側に備え、かつ、
上記復号化信号の高調波を生成する第３の高周波成分生成手段をさらに備える請求項１４に記載の復号化装置を受信側に備え、
上記第３の高周波成分生成手段は、
上記復号化信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記復号化信号から除去することによって第３の低周波除去信号を生成する第３の低周波成分除去手段と、
上記第３の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第３の低周波除去信号の値が０の近傍のとき、上記第３の低周波除去信号に対して非線形に広義に単調増加する第３の非線形処理信号を生成する第３の非線形処理手段と、
上記第３の非線形処理信号を上記復号化信号に加算することによって、上記第３の高周波成分生成手段により生成される高調波を生成する第３の加算手段とを備えており、
上記復号化装置が備える復号化手段は、上記符号化装置が備える上記第２の低周波成分除去手段が除去する低周波数成分と、上記第３の低周波除去信号が除去する低周波成分とが一致するように、上記第３の低周波除去信号が除去する低周波成分を増減させることを特徴とすることを特徴とする伝送システム。
【請求項１９】
請求項１から１３のいずれか１項に記載の符号化装置が備えるコンピュータを上記の各手段として機能させるための制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２０】
請求項１４に記載の復号化装置が備えるコンピュータを上記の各手段として機能させるための制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号の符号化を行なう符号化装置、符号化された信号の復号化を行なう復号化装置、符号化装置の制御方法、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
近年、インターネット、携帯電話、デジタル放送などの普及に伴い、画像や音声などのマルチメディアコンテンツを送受信するデジタル通信が広く行なわれている。マルチメディアコンテンツは情報量が大きいことから、通信ネットワークを介してマルチメディアコンテンツを送信する際は、伝送ビットレートを抑えるために、符号化（圧縮符号化）することによって情報量を低減する技術が広く用いられている。例えば、動画像の符号化方式として、ＭＰＥＧ（Moving Picture Experts Group）−２やＨ．２６４などが広く用いられている。【０００３】
これらの符号化は不可逆符号化であり、人間の視聴覚特性を利用して人間が認識しにくい情報を削減することにより符号化を行なうものである。そのため、復号化後の信号は、符号化前の原信号を完全に再現したものにはならない。したがって、復号化後の信号で表される画像や音声は、符号化前の原信号で表される画像や音声よりもやや劣化したものとなる。【０００４】
そこで、符号化による情報量の低減を維持しつつ、復号化後の信号をできるだけ劣化させない技術が従来から知られている。例えば、特許文献１には、人間がノイズ等を視認しにくい動画フレームのセクタでは量子化を大きくし、逆に、人間がノイズ等を視認しやすい動画フレームのセクタでは量子化を小さくすることによって、低いビットレートを維持しながら画質を最適にする符号化技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本国公開特許公報「特開２００２−３３５５２７号公報（公開日：２００２年１１月２２日）」
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、復号化後の信号に高周波成分が十分に存在しない場合、復号化後の信号で表される画像や音声は、不鮮鋭なものとなる。画像の場合、例えば、ボケたり、解像度が下がる。【０００７】
ここで、特許文献１などの従来技術では、原信号に含まれる高周波成分が符号化されていない限り、復号化後の信号において当該高周波成分を復元することはできない。そのため、復号化後の信号に高周波成分を含ませるためには、原信号から高周波成分をできるだけ削減しないように符号化する必要があるが、この場合、代償として、符号化した信号の伝送ビットレートが増大するという問題がある。【０００８】
また、広く用いられているＭＰＥＧ−２やＨ．２６４などの符号化方式では、フレーム間予測符号化や、ＤＣＴ（離散コサイン変換）を用いたブロック符号化などによる圧縮符号化を行なうことによって符号化効率を高めている。しかしながら、これらの符号化方式は、復号化時に高周波成分を含むエリアに何らかの画質劣化が生じる。【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、符号化による情報量の低減度を高めつつ、復号化時に信号の補償を可能とする符号化を行なう符号化装置等を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る符号化装置は、画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を出力する符号化装置であって、上記原信号に含まれる周波数成分の一部を上記原信号から抽出することによって周波数成分抽出信号を生成する周波数成分抽出手段と、上記周波数成分抽出信号と上記原信号とを切り替えながら符号化し、該符号化した信号を上記符号化信号に含める符号化手段とを備えることを特徴としている。【００１１】
また、本発明に係る符号化装置の制御方法は、画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を出力する符号化装置の制御方法であって、上記原信号に含まれる周波数成分の一部を上記原信号から抽出することによって周波数成分抽出信号を生成する周波数成分抽出ステップと、上記周波数成分抽出信号と上記原信号とを切り替えながら符号化し、該符号化した信号を上記符号化信号に含める符号化ステップとを含むことを特徴としている。【００１２】
上記の構成によれば、原信号に含まれる周波数成分の一部を原信号から抽出することによって周波数成分抽出信号を生成し、周波数成分抽出信号と原信号とを切り替えながら符号化し、該符号化した信号を符号化信号に含めて、符号化信号を出力する。なお、符号化方式は、例えば、ＭＰＥＧ−２やＨ．２６４などの従来から用いられている方式でよい。【００１３】
よって、符号化信号には、常に原信号を符号化した信号を含ませるのではなく、上記切り替えにより、原信号に代えて、原信号より情報量が少ない周波数成分抽出信号を符号化した信号を含ませることができる。例えば、原信号に含まれる高周波成分を除去した周波数成分抽出信号を含ませることができる。画像の情報量は高周波成分に多く含まれるため、原信号を符号化した信号を常に符号化信号に含める場合と比べて、符号化信号の情報量は全体として低減される。【００１４】
したがって、符号化装置から復号化装置に符号化信号を伝送する場合、伝送路における伝送レートを低減させることができるという効果を奏する。そして、伝送レートを低減させることにより、伝送路の設置コストや維持コストなどの、伝送に要するコストの低減を図ることができる。【００１５】
なお、上記切り替えは、例えば、原信号が、時間的に連続する複数のフレームから構成される動画像のコンテンツを表すものである場合、フレーム単位で行なうことが考えられる。より具体的には、数フレーム毎の１フレームでは原信号を符号化し、その他のフレームでは周波数成分抽出信号を符号化する。この場合、数フレーム毎の１フレーム以外のフレームでは、周波数成分抽出信号が符号化されるので、全フレームにて原信号を符号化するより、符号化信号の情報量は低減される。【００１６】
また、上記符号化装置から出力された符号化信号を復号化する復号化装置は、原信号が符号化された信号と周波数成分抽出信号が符号化された信号とを含む符号化信号を復号化することによって、画像および音声の少なくともいずれかのコンテンツを表す復号化信号を生成するように構成されているものとする。特に、周波数成分抽出信号が符号化された信号を含む符号化信号を復号化するときは、当該復号化した信号と、直前に生成された復号化信号に対して動き補償を行なった信号とを加算することによって、復号化信号を生成する。【００１７】
つまり、上記復号化装置は、周波数成分抽出信号が符号化された信号を復号化する際、周波数成分抽出信号を生成するにあたり符号化装置にて除去された周波数成分を補償する。これにより、上記復号化装置では、上記符号化装置にて情報量が低減された符号化信号を入力として、原信号と同等の復号化信号を復元する。なお、復号化装置では、さらに、復号化信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にする鮮鋭化処理を施してもよい。復号化装置の構成例については、後述する。【００１８】
また、上記課題を解決するために、本発明に係る復号化装置は、画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、該符号化信号を復号化した復号化信号を生成する復号化装置であって、上記コンテンツは、時間的に連続する複数のフレームから構成され、上記符号化において、上記フレーム間の動き補償予測を行なうための動きベクトル情報が出力され、上記符号化信号は、フレーム毎に、上記原信号を符号化した第１の信号、および、上記原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかを含むものであって、上記第１の信号を復号化したとき、上記第１の信号を復号化した信号を、上記復号化信号として生成し、上記第２の信号を復号化したとき、上記ベクトル情報を用いて、直前に出力された上記復号化信号に対する動き補償を行なった後の信号と、上記第２の信号を復号化した信号とを加算した信号を、上記復号化信号として生成する復号化手段を備えることを特徴としている。【００１９】
また、本発明に係る復号化装置の制御方法は、画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、該符号化信号を復号化した復号化信号を生成する復号化装置の制御方法であって、上記コンテンツは、時間的に連続する複数のフレームから構成され、上記符号化において、上記フレーム間の動き補償予測を行なうための動きベクトル情報が出力され、上記符号化信号は、フレーム毎に、上記原信号を符号化した第１の信号、および、上記原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかを含むものであって、上記第１の信号を復号化したとき、上記第１の信号を復号化した信号を、上記復号化信号として生成し、上記第２の信号を復号化したとき、上記ベクトル情報を用いて、直前に出力された上記復号化信号に対する動き補償を行なった後の信号と、上記第２の信号を復号化した信号とを加算した信号を、上記復号化信号として生成する復号化ステップを含むことを特徴としている。【００２０】
上記の構成によれば、符号化信号は、フレーム単位で、（１）原信号を符号化した第１の信号、および、（２）原信号に含まれる周波数成分の一部を符号化した第２の信号、のいずれかを含む。そして、本発明に係る復号化装置は、上記（１）の場合、第１の信号を復号化した信号を復号化信号として生成し、一方、上記（２）の場合、直前に生成された復号化信号に対して動き補償を行なった後の信号と、第２の信号を復号化した信号とを加算した信号を、次の復号化信号として生成する。これにより、復号化装置にて生成される復号化信号は、符号化および復号化による劣化を除けば、原信号と同等の信号となる。【００２１】
なお、上述のように、フレーム単位で上記（１）および（２）を含む符号化信号は、原信号のみを符号化した信号を含む符号化信号よりも情報量が少ないため、伝送路における伝送レートを低減させることができる。【００２２】
したがって、フレーム単位で上記（１）および（２）を含む情報量が少ない符号化信号を入力として、原信号と同等の復号化信号を復号化することができるので、符号化による情報量の低減を維持しつつ、復号化信号をできるだけ劣化させないようにすることができるという効果を奏する。【００２３】
なお、さらに復号化信号に対して上述した非線形処理を施し、復号化信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にするようにしてもよい。これにより、復号化信号で表されるコンテンツを高度に鮮鋭化することができる。【００２４】
本発明の他の目的、特徴、および優れた点は、以下に示す記載によって十分分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。
【図面の簡単な説明】
【００２５】
【図１】本発明に係る符号化装置の構成を示すブロック図である。
【図２】本発明に係る符号化装置を含む伝送システムの構成を示すブロック図である。
【図３】参考形態としての符号化装置および復号化装置の構成を示すブロック図である。
【図４】図３に示した符号化装置および復号化装置の変形例の構成例を示すブロック図である。
【図５】本発明に係る符号化装置に含まれる鮮鋭化処理部の構成を示すブロック図である。
【図６】図５に示した鮮鋭化処理部に含まれる高周波成分抽出部の構成を示すブロック図である。
【図７】図６に示した高周波成分抽出部に含まれるフィルタの他の構成例を示すブロック図である。
【図８】図８の（ａ）は、図５に示した鮮鋭化処理部に入力される信号の波形を模式的に示す図である。図８の（ｂ）は、図５に示した鮮鋭化処理部にて生成される高周波信号の波形を模式的に示す図である。図８の（ｃ）は、図５に示した鮮鋭化処理部にて生成される非線形信号の波形を模式的に示す図である。図８の（ｄ）は、図５に示した鮮鋭化処理部にて生成される符号変換信号の波形を模式的に示す図である。図８の（ｅ）は、図５に示した鮮鋭化処理部にて生成される出力信号の波形を模式的に示す図である。
【図９】図９の（ａ）は、図５に示した鮮鋭化処理部に入力される信号の波形を模式的に示す図である。図９の（ｂ）は、図９の（ａ）に示した信号を、従来技術によりエンハンスした波形を模式的に示す図である。
【図１０】本発明に係る符号化装置に含まれる鮮鋭化処理部の他の構成を示すブロック図である。
【図１１】図１０に示した鮮鋭化処理部に含まれる微分部の構成を示すブロック図である。
【図１２】図１２の（ａ）は、図１０に示した鮮鋭化処理部に入力される信号の波形を模式的に示す図である。図１２の（ｂ）は、図１０に示した鮮鋭化処理部にて生成される高周波信号の波形を模式的に示す図である。図１２の（ｃ）は、図１０に示した鮮鋭化処理部にて生成される非線形信号の波形を模式的に示す図である。図１２の（ｄ）は、図１０に示した鮮鋭化処理部にて生成される微分信号の波形を模式的に示す図である。図１２の（ｅ）は、図１０に示した鮮鋭化処理部にて生成される符号変換信号の波形を模式的に示す図である。図１２の（ｆ）は、図１０に示した鮮鋭化処理部にて生成される出力信号の波形を模式的に示す図である。
【図１３】本発明に係る符号化装置に含まれる鮮鋭化処理部のさらなる他の構成を示すブロック図である。
【図１４】図１４の（ａ）は、図１３に示した鮮鋭化処理部に入力される信号の波形を模式的に示す図である。図１４の（ｂ）は、図１３に示した鮮鋭化処理部にて生成される高周波信号の波形を模式的に示す図である。図１４の（ｃ）は、図１３に示した鮮鋭化処理部にて生成される非線形信号の波形を模式的に示す図である。図１４の（ｄ）は、図１３に示した鮮鋭化処理部にて生成される出力信号の波形を模式的に示す図である。
【図１５】本発明に係る符号化装置に含まれる鮮鋭化処理部のさらなる他の構成を示すブロック図である。
【図１６】本発明に係る符号化装置に含まれる鮮鋭化処理部のさらなる他の構成を示すブロック図である。
【図１７】本発明に係る符号化装置の他の構成を示すブロック図である。
【図１８】本発明に係る復号化装置の構成を示すブロック図である。
【図１９】図１８に示した復号化装置の変形例の構成例を示すブロック図である。
【図２０】図１７に示した符号化装置の変形例の構成例を示すブロック図である。
【図２１】本発明に係る符号化装置のさらなる他の構成を示すブロック図である。
【図２２】図２１に示した符号化装置と対応する復号化装置の構成を示すブロック図である。
【図２３】図２１に示した符号化装置の変形例の構成例を示すブロック図である。
【図２４】図２２に示した復号化装置の変形例の構成例を示すブロック図である。
【発明を実施するための形態】
【００２６】
（伝送システムの概要）
図２を参照しながら、各実施形態に係る伝送システム９００について説明する。図２は、伝送システム９００の構成を示すブロック図である。
【００２７】
同図に示すとおり、伝送システム９００は、送信サブシステム９２０および受信サブシステム９３０を含んでいる。そして、送信サブシステム９２０と受信サブシステム９３０とは、一般的に知られている伝送路７００を介して通信可能に接続されている。なお、伝送路７００には、スイッチや交換機等の中継装置が含まれていてもよい。
【００２８】
送信サブシステム９２０は、概略的には、画像や音声などのコンテンツを表す信号（以下、単に、原信号ＳＲと表記する）を、受信サブシステム９３０に送信するためのシステムであり、原信号ＳＲの符号化および変調等の、送信側に通常設けられる機能を具備している。送信サブシステム９２０は、特に、符号化に関する処理を行なう符号化装置２００を含んでいる。符号化装置２００の構成については、下記に示す各実施形態にて説明する。
【００２９】
次に、受信サブシステム９３０は、概略的には、送信サブシステム９２０から送信される信号を受信するためのシステムであり、信号の復調、復号化、および、いわゆる３Ｒ機能（reshaping、retiming、regenerating）等の、受信側に通常設けられる機能を具備している。受信サブシステム９３０は、特に、復号化に関する処理を行なう復号化装置３００を含んでいる。復号化装置３００の構成については、下記に示す各実施形態にて説明する。
【００３０】
なお、後述する符号化装置２００ａ〜２００ｇを区別しないとき、単に「符号化装置２００」と表記する。また、後述する復号化装置３００ａ〜３００ｇを区別しないとき、単に「復号化装置３００」と表記する。
【００３１】
なお、原信号ＳＲで表される画像（つまり、符号化を行なう前の画像）を「原画像」とも表記し、復号化装置３００にて復号化を行なうことによって復元された画像を「復元画像」とも表記する。
【００３２】
なお、原信号ＳＲで表されるコンテンツは、動画像、静止画像、音声などのコンテンツであるが、各実施形態では、特に、動画像を想定して説明する。さらに、動画像は、例えば、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）または高精細テレビジョン（ＨＤＴＶ：High Definition Television）の受像機等にて、リアルタイムに表示されるものであってもよい。なお、動画像は、時間的に連続する複数のフレーム（画面）から構成されているものとする。
【００３３】
（鮮鋭化処理部の概要）
次に、符号化装置２００および復号化装置３００の構成要素となる鮮鋭化処理部（高周波成分生成手段）１００の概要について説明する（図１９などを参照）。鮮鋭化処理部１００の詳細な構成については、後述する。なお、後述する鮮鋭化処理部１００ａ〜１００ｅを区別しないとき、単に、「鮮鋭化処理部１００」と表記する。
【００３４】
鮮鋭化処理部１００は、鮮鋭化処理部１００に入力される信号（以下、単に、入力信号と称する）に対して、該入力信号の波形を鮮鋭化するための鮮鋭化処理を施し、該鮮鋭化された出力信号を出力するものである。ここで、鮮鋭化処理とは、入力信号の立ち上がりおよび立ち下がりを急峻にする（エンハンスする）処理を指すものとする。特に、入力信号が画像を表すものである場合、画像に含まれる輪郭部分（エッジ）に相当する信号の立ち上がりおよび立ち下がりを急峻にする。
【００３５】
以下では、鮮鋭化処理部１００に入力される入力信号を、入力信号Ｓｉｎとも表記する。また、鮮鋭化処理部１００から出力される出力信号を、出力信号Ｓｏｕｔとも表記する。
【００３６】
なお、鮮鋭化処理部１００は、後述するように、少なくとも非線形処理部（非線形処理手段、第２の非線形処理手段、第３の非線形処理手段）１０２を備えている。非線形処理部１０２は、後述する非線形処理部１０２ａ〜１０２ｅの総称であるものとする。そして、鮮鋭化処理部１００は、入力信号Ｓｉｎの高周波成分に対して非線形処理部１０２にて非線形演算を施すことにより、入力信号Ｓｉｎに含まれない高周波成分（具体的には、入力信号Ｓｉｎを離散化する場合のサンプリング周波数の１／２の周波数であるナイキスト周波数より高い周波数成分）を、出力信号Ｓｏｕｔに含ませることができる。そのため、鮮鋭化処理部１００にて鮮鋭化処理を行なうと、線形演算に基づく鮮鋭化処理と比べて、入力信号の立ち上がりおよび立ち下がりを、より急峻なものにすることが可能となる。
【００３７】
〔参考形態としての実施形態１〕
本発明の参考形態としての一実施形態について図３から図１６に基づいて説明すると以下の通りである。なお、本実施形態に係る符号化装置２００を、符号化装置２００ａと表記する。また、本実施形態に係る復号化装置３００を、復号化装置３００ａと表記する。
【００３８】
（符号化装置および復号化装置の構成）
図３を参照しながら、符号化装置２００ａおよび復号化装置３００ａの構成について説明する。図３は、符号化装置２００ａおよび復号化装置３００ａの構成を示すブロック図である。
【００３９】
まず、符号化装置２００ａの構成について説明する。同図に示すとおり、符号化装置２００ａは、低域通過フィルタ（以下、ＬＰＦと表記する）（周波数成分抽出手段）２１０、および、符号化処理部２２０を備えている。
【００４０】
ＬＰＦ２１０は、一般的に知られている低域通過フィルタであり、原信号ＳＲに含まれる周波数成分のうちの高周波成分を、原信号ＳＲから除去するものである。周波数特性が調整可能な（いわゆるアダプティブな）低域通過フィルタであってもよい。なお、ＬＰＦ２１０から出力される信号を、高周波除去信号Ｓ２１０と表記する。
【００４１】
次に、符号化処理部２２０は、ＬＰＦ２１０の後段に設けられ、ＬＰＦ２１０から出力される高周波除去信号Ｓ２１０を符号化するものである。符号化処理部２２０から出力される信号を、符号化信号Ｓ２２０と表記する。
【００４２】
なお、符号化処理部２２０と後述する復号化処理部３１０とは対になっており、符号化処理部２２０は、復号化処理部３１０にて復号化が可能な符号化信号Ｓ２２０を出力するように構成されているものとする。
【００４３】
また、動画像を符号化する場合、符号化処理部２２０は、一般的に知られているフレーム間予測符号化による圧縮符号化を行なうものとする。そして、復号化処理部３１０にて動き補償を行なうために用いる動きベクトルを、符号化信号Ｓ２２０に含めて出力する。
【００４４】
次に、復号化装置３００ａの構成について説明する。復号化装置３００ａは、同図に示すとおり、復号化処理部３１０、および、鮮鋭化処理部１００を備えている。
【００４５】
復号化処理部３１０は、上述のとおり、符号化装置２００ａの符号化処理部２２０から出力された符号化信号Ｓ２２０を復号化するものである。なお、動画像を復号化する場合、復号化処理部３１０は、符号化信号Ｓ２２０に含まれる動きベクトルを用いてフレーム間予測を行なうことにより動き補償を行なう。
【００４６】
なお、復号化処理部３１０から出力される信号を、復号化信号Ｓ３１０と表記する。復号化信号Ｓ３１０は、原信号ＳＲで表される原画像に対応する復元画像を表す信号である。
【００４７】
次に、鮮鋭化処理部１００について説明する。鮮鋭化処理部１００は、上述したように、入力信号の高周波成分に対して非線形処理部１０２にて非線形演算を施すことにより、入力信号に含まれない高周波成分（具体的には、入力信号Ｓｉｎを離散化する場合のサンプリング周波数の１／２の周波数であるナイキスト周波数より高い周波数成分）を出力信号に含ませるものであり、入力信号の立ち上がりおよび立ち下がりを急峻なものにする。
【００４８】
そして、復号化装置３００ａは、鮮鋭化処理部１００を、復号化処理部３１０の後段に設ける構成であるため、復号化処理部３１０から出力される復号化信号Ｓ３１０が、鮮鋭化処理部１００の入力信号となる。したがって、復号化装置３００ａは、鮮鋭化処理部１００にて、復号化信号Ｓ３１０に対して非線形演算に基づく鮮鋭化処理を施す。つまり、復号化装置３００ａの鮮鋭化処理部１００によって、復号化信号Ｓ３１０で表される復元画像は鮮鋭化される。
【００４９】
（上記構成により奏される効果）
上述したように、符号化装置２００ａは、原信号ＳＲから高周波成分を除去した高周波除去信号Ｓ２１０を符号化する。したがって、符号化装置２００ａによって原信号ＳＲを符号化すると、原信号ＳＲをそのまま符号化する場合と比べて、高周波成分を除去する分だけ符号化後のデータ量を低減させることができる。つまり、符号化装置２００ａによれば、伝送路７００を伝送させる信号の伝送レートを低減させることができる。なお、伝送レートを低減させることにより、データ伝送の際に要するコストの低減が図られる。
【００５０】
ただし、原信号ＳＲに含まれていた高周波成分を除去しているため、当該符号化後の符号化信号Ｓ２２０を受信側にて復号化すると、復号化後の信号には、上記除去された高周波成分は含まれない。この場合、復号化信号Ｓ３１０で表される復元画像は、原信号ＳＲで表される原画像と比べて、高周波成分に相当する部分が劣化（または除去）されたものとなる。つまり、復元画像にて高周波成分に相当する輪郭部分（エッジ）を十分に再現することができなくなり、その結果、復元画像は不鮮鋭になる（復元画像がボケる）。原信号ＳＲで表されるコンテンツが音声である場合も同様であり、復号後の音声は不鮮鋭になる（例えば、音質が劣化する）。
【００５１】
そこで、本実施形態に係る復号化装置３００ａでは、上述したように、復号化処理部３１０の後段に鮮鋭化処理部１００を備える構成としている。鮮鋭化処理部１００は、入力信号に含まれない高周波成分を出力信号に含ませることができることから、復号化信号Ｓ３１０の立ち上がりおよび立ち下がりを急峻なものとすることができる。これにより、復号化装置３００ａでは、復号化後のコンテンツを鮮鋭化することができるので、例えば、コンテンツが画像の場合、復号化後の画像のボケを抑制し、解像度を向上させることができる。また、コンテンツが音声である場合も同様に鮮鋭化され、音質をクリアにすることができる。
【００５２】
したがって、符号化装置２００ａにて符号化を行なうとともに、復号化装置３００ａにて復号化を行なう上記構成によれば、伝送路７００にて伝送させる信号の伝送レートを低減させつつ、かつ、受信側で復号化した後のコンテンツが不鮮鋭になることを抑制することができるという効果を奏する。
【００５３】
（変形例１）
符号化装置２００ａは、ＬＰＦ２１０と符号化処理部２２０とを隣接して設ける構成であるが、必ずしも隣接して設けなくてもよい。つまり、ＬＰＦ２１０と符号化処理部２２０との間に他の装置（機器）を設け、ＬＰＦ２１０から出力される信号を、当該他の装置を介して、符号化処理部２２０に入力する構成にしてもよい。同様に、復号化装置３００ａは、復号化処理部３１０と鮮鋭化処理部１００とを隣接して設ける構成であるが、必ずしも隣接して設けなくてもよい。つまり、復号化処理部３１０と鮮鋭化処理部１００との間に他の装置（機器）を設け、復号化処理部３１０から出力される信号を、当該他の装置を介して、鮮鋭化処理部１００に入力する構成にしてもよい。
【００５４】
ＬＰＦ２１０と符号化処理部２２０との間、および、復号化処理部３１０と鮮鋭化処理部１００との間に他の装置（機器）を設ける構成例について、図４を参照しながら説明する。図４は、符号化装置２００ａの変形例である符号化装置２００ｂ、および、復号化装置３００ａの変形例である復号化装置３００ｂの構成例を示すブロック図である。
【００５５】
同図に示すとおり、符号化装置２００ｂは、ＬＰＦ２１０と符号化処理部２２０との間に、ダウンサンプラ２６０を備えている。ダウンサンプラ２６０は、ＬＰＦ２１０から出力される高周波除去信号Ｓ２１０に対して一般的な間引き（デシメーション：decimation）を行なうものである。そして、間引き後の信号を符号化処理部２２０に入力する。
【００５６】
そして、復号化装置３００ｂは、復号化処理部３１０と鮮鋭化処理部１００との間に、アップサンプラ３６０を備えている。アップサンプラ３６０は、ダウンサンプラ２６０に対応するものであり、復号化処理部３１０から出力される復号化信号Ｓ３１０に対して一般的な補間（インターポレーション：interpolation）を行なうものである。そして、補間後の信号を鮮鋭化処理部１００に入力する。
【００５７】
上記構成によれば、符号化する前にデータの間引きを行なうので、符号化後のデータ量をさらに低減させることができる。つまり、伝送路７００を伝送させる信号の伝送レートをさらに低減させることができるという効果を奏する。
【００５８】
なお、受信側では、間引きを行なった分を補間することにより、間引きによるコンテンツの劣化を抑制している。
【００５９】
そして、アップサンプラ３６０による補間の後、鮮鋭化処理部１００による鮮鋭化処理を行なうことによって、補間後の信号に対して非線形処理を施し、ナイキスト周波数を超える高周波域を補償する。これにより、間引きおよび補間により生じる画像のボケを抑制し、解像度の低下を抑制することができる。
【００６０】
なお、補間後に信号に線形演算による鮮鋭化処理（従来技術）を施す場合、ナイキスト周波数を超える高周波域を補償することができないことから、不鮮鋭さはあまり改善されない（画像の場合、ボケが残存したり、解像度があまり向上しない結果となる）。
【００６１】
（変形例２）
上述した変形例２では、送信側にダウンサンプラを設け、当該ダウンサンプラに対応するアップサンプラを受信側に設ける構成について説明したが、送信側にダウンサンプラを設けずに、受信側のみにアップサンプラを設ける構成も考えられる。
【００６２】
例えば、ＨＤＴＶ用の信号を伝送する伝送システムにおいて、受信側に備わるディスプレイ装置が、ＨＤＴＶの画素数よりも多い、４０００×２０００程度の画素数のディスプレイ（いわゆる４Ｋディスプレイ）等である場合を想定する。この場合、受信側にて、ＨＤＴＶ用の信号をアップコンバートしてからディスプレイ装置に表示することにより、アップコンバートせずにディスプレイ装置に表示する場合と比べて、画像の画質を改善させることができる。
【００６３】
このように、受信側にてコンテンツのアップコンバートを行なうことが望ましい場合、送信側の構成にかかわらず、受信側は、符号化装置２００ｂのように、アップサンプラ３６０を備える構成にすることが望ましい。
【００６４】
（変形例３）
コンテンツの符号化および復号化を行なうと、復号化後のコンテンツは、符号化前のコンテンツと比べて若干劣化することが一般的に知られている。そのため、送信側の符号化装置の構成にかかわらず、受信側の復号化装置は常に鮮鋭化処理部１００を備える構成とすることが望ましい。これにより、復号化後のコンテンツは常に鮮鋭化され、不鮮鋭になることを抑制することができる。
【００６５】
（鮮鋭化処理部の構成）
次に、鮮鋭化処理部１００の詳細な構成について説明する。
【００６６】
（鮮鋭化処理部の構成例１）
図５は、鮮鋭化処理部１００ａの構成を示すブロック図である。同図に示すとおり、鮮鋭化処理部１００ａは、高周波成分抽出部（低周波成分除去手段、第２の低周波成分除去手段、第３の低周波成分除去手段）１１、非線形処理部１０２ａ、および加算部（加算手段、第２の加算手段、第３の加算手段）１５を備えている。
【００６７】
まず、高周波成分抽出部１１について説明する。高周波成分抽出部１１は、概略的には、入力信号Ｓｉｎに含まれる高周波成分を抽出し、高周波信号Ｓ１１（低周波除去信号、第２の低周波除去信号、第３の低周波除去信号）として出力するものである（低周波成分除去ステップ）。図６を参照しながら、高周波成分抽出部１１の構成について説明する。図６は、高周波成分抽出部１１の構成を示すブロック図である。
【００６８】
同図に示すように、高周波成分抽出部１１は、フィルタ１１０と、丸め処理部（低レベル信号除去手段）１３２、およびリミッタ（高レベル信号除去手段）１３３とを備えている。
【００６９】
フィルタ１１０は、フィルタ１１０は、ｍ−１個の単位遅延素子１１１ｈ（ｈ＝１、２、…、ｍ−１：ｍは３以上の正の整数を示す）と、ｍ個の乗算部１１２ｋ（ｋ＝１、２、…、ｍ）と、加算部１３１とを備える、ｍタップのトランスバーサル型の高域通過フィルタであり、入力信号Ｓｉｎを入力とし、高域信号ＳＨ１を出力する。
【００７０】
単位遅延素子１１１ｈのそれぞれは、入力された信号を単位時間ずつ遅延させた信号を出力するものである。なお、単位遅延素子１１１１（ｈ＝１）には、入力信号Ｓｉｎが入力される。
【００７１】
乗算部１１２ｋのそれぞれは、入力される信号に係数Ｃｋを乗算し、該乗算した結果を加算部１３１に出力する。ここで、係数Ｃｋは、フィルタ１１０が高域通過フィルタとして機能するように予め設定されるものである。例えば、ｍ＝３の場合、Ｃ１＝０．５、Ｃ２＝−１、Ｃ３＝０．５と設定することにより、フィルタ１１０は、高域通過フィルタとして機能する。
【００７２】
加算部１３１は、乗算部１１２ｋから出力される信号を加算することによって、高域信号ＳＨ１を生成する。
【００７３】
なお、一般的に知られているように、高域通過フィルタよりも低域通過フィルタの方が容易に実現可能である。そこで、フィルタ１１０は、低域通過フィルタを用いて構成してもよい。図７に、フィルタ１１０の他の構成例を示す。同図に示すように、フィルタ１１０は、低域通過フィルタ１１０１と減算部１１０２とによって構成してもよい。
【００７４】
丸め処理部１３２は、後段の非線形処理部１０２にてノイズを増幅させないために、高域信号ＳＨ１に含まれるノイズとみなせる低レベル信号を除去することによって、低レベル除去信号ＳＨ２を生成する。
【００７５】
具体的には、高域信号ＳＨ１の信号値のうち、絶対値が所定の下限値ＬＶ以下の信号値を“０”に変更することによって、低レベル除去信号ＳＨ２を生成する。
【００７６】
例えば、入力信号Ｓｉｎが、−２５５から２５５のいずれかの整数値を取り得る場合において、下限値ＬＶを“２”とすると、高域信号ＳＨ１の信号値のうち、絶対値が“２”以下の信号値を全てノイズとみなして“０”に変更する（つまり、丸める）。
【００７７】
次に、リミッタ１３３は、既に十分なエネルギーを有する信号を後段の非線形処理部１０２にてさらに増幅させないために、低レベル除去信号ＳＨ２に含まれる高レベルの信号値を除去することによって、高周波信号Ｓ１１を生成する。
【００７８】
具体的には、低レベル除去信号ＳＨ２の信号値が所定の上限値ＵＶ１以下となるように、低レベル除去信号ＳＨ２の信号のうち、絶対値が上限値ＵＶ１よりも大きい部分について、絶対値を上限値ＵＶ１以下に変更する処理（以下、クリップ処理とも表記する）を行なうことによって、高周波信号Ｓ１１を生成する。
【００７９】
例えば、低レベル除去信号ＳＨ２の信号値の絶対値が“６４”を超える部分について、当該部分の信号値を、符号に応じて“６４”または“−６４”に変更する。または、“０”に変更してもよい。
【００８０】
なお、入力信号Ｓｉｎが８ビット信号である場合、上述したフィルタ１１０では、この８ビット信号に対して、例えば１２ビット演算で３ｒｄＭＳＢ（８ビット信号で６４または−６４程度）以下に制限した信号を入力信号Ｓｉｎに加算する。そのため、丸め処理部１３２およびリミッタ１３３は、フィルタ１１０で行なわれた演算結果を、８ビット信号相当に制限する処理を行なっている。
【００８１】
また、上述では、高周波成分抽出部１１は、丸め処理部１３２とリミッタ１３３とをそれぞれ備える構成としたが、これらを一体にした部材を備える構成としてもよい。
【００８２】
次に、非線形処理部１０２ａについて説明する。非線形処理部１０２ａは、図５に示すように、非線形演算部（偶数冪乗演算手段、平方根演算手段）２１、符号変換部（符号変換手段）４１、およびリミッタ（振幅調整手段）５１を備えている。
【００８３】
非線形演算部２１は、高周波信号Ｓ１１に対して非線形演算を施し、非線形信号Ｓ２１を生成する。
【００８４】
ここで、非線形演算部２１にて行なう非線形演算について説明する。以下では、非線形演算部２１への入力信号値をｘとし、非線形演算部２１からの出力信号値をｙとし、非線形演算部２１にて行なう非線形演算を、ｙ＝ｆ（ｘ）という関数で表す。
【００８５】
ここで、関数ｆ（ｘ）は、正負対称（原点対称）に単調増加する非線形関数であるものとする。なお、単調増加とは広義の単調増加を意味するものとする。ただし、関数ｆ（ｘ）は、少なくともｘ＝“０”の近傍で単調増加するものであればよい。また、関数ｆ（ｘ）は、少なくともｘ＝“０”の近傍で、｜ｆ（ｘ）｜＞｜ｘ｜であることが好ましい。
【００８６】
このような関数ｆ（ｘ）として、例えば、下記数式（１）〜（３）で示されるものが挙げられる。なお、下記数式（２）および（３）で示される関数ｆ（ｘ）を用いる場合、当該関数ｆ（ｘ）は、０≦ｘ≦１の区間での値の増加が大きいため、当該区間で用いることが好ましい。
【００８７】
【数１】
2011061957.tif 000003
【００８８】
【数２】
2011061957.tif 000004
【００８９】
【数３】
2011061957.tif 000005
【００９０】
関数ｆ（ｘ）として上記数式（１）を用いる場合、非線形演算部２１は、２以上の偶数を冪指数として高周波信号Ｓ１１を冪乗することにより非線形信号Ｓ２１（偶数冪乗信号、平方根信号）を生成する。例えば、上記数式（１）においてｎ＝１の場合（つまり、ｆ（ｘ）＝ｘ２である場合）、非線形演算部２１は、高周波信号Ｓ１１を２乗することにより、非線形信号Ｓ２１を生成する。この場合、高周波信号Ｓ１１を構成するデータ列が、Ｘ１，Ｘ２，Ｘ３、…であるとすると、高周波信号Ｓ１１を２乗した非線形信号Ｓ２１は、データ列Ｘ１２，Ｘ２２，Ｘ３２、…で構成されるデジタル信号となる。
【００９１】
ところで、高周波信号Ｓ１１の信号値が、−２５５〜２５５のいずれかの整数値である場合、関数ｆ（ｘ）を用いるにあたり、ｘを２５５で正規化してもよい。例えば、上記数式（２）を用いる代わりに、上記数式（２）で示される関数ｆ（ｘ）の右辺のｘを、ｘ／２５５で正規化するとともに、右辺に２５５を乗算した下記数式（４）を用いてもよい。なお、下記数式（４）は、ｆ（ｘ）＞ｘという条件を満たす。
【００９２】
【数４】
2011061957.tif 000006
【００９３】
上記数式（４）では、上記数式（２）で示される関数ｆ（ｘ）の右辺のｘを、２５５で正規化するとともに、右辺に２５５を乗算したが、右辺に乗算する数値は正規化するための値（この例では２５５）と同じ値である必要はなく、｜ｆ（ｘ）｜＞｜ｘ｜という条件を満たすものであればよい。例えば、２５５の代わりに右辺に１００を乗算した下記数式（５）を用いてもよい。
【００９４】
【数５】
2011061957.tif 000007
【００９５】
また、関数ｆ（ｘ）は、下記数式（６）に示す三角関数を用いたものであってもよい。
【００９６】
【数６】
2011061957.tif 000008
【００９７】
次に、符号変換部４１は、高周波信号Ｓ１１の符号ビット情報に基づき、非線形信号Ｓ２１に高周波信号Ｓ１１の符号を反映させたものを、符号変換信号Ｓ４１として生成する。すなわち、符号変換部４１は、非線形信号Ｓ２１のうち、符号が、高周波信号Ｓ１１と同じ部分については、符号をそのまま維持する。一方、非線形信号Ｓ２１のうち、符号が、高周波信号Ｓ１１と異なる部分については、符号の正負を反転させる。
【００９８】
次に、リミッタ５１は、符号変換部４１が生成する符号変換信号Ｓ４１の振幅（信号レベル、強度）を調整する処理（以下、振幅調整処理とも表記する）を行なうことにより、非線形処理信号（第２の非線形処理信号、第３の非線形処理信号）Ｓ１２を生成する。具体的には、リミッタ５１は、符号変換信号Ｓ４１に、所定の倍率値α（｜α｜＜１）を乗算することにより、符号変換信号Ｓ４１の振幅を調整する。なお、倍率値αは、伝送路の特性に応じて、適切に設定されるものとする。
【００９９】
さらに、リミッタ５１は、既に十分なエネルギーを有する信号をさらに増幅させないために、非線形処理信号Ｓ１２の信号値が所定の上限値ＵＶ２以下となるように、非線形処理信号Ｓ１２の信号のうち、絶対値が上限値ＵＶ２よりも大きい部分について、絶対値を当該上限値ＵＶ２以下に変更する処理（以下、クリップ処理とも表記する）を行なう。例えば、非線形処理信号Ｓ１２の信号値の絶対値が“６４”を超える部分について、当該部分の信号値を、符号に応じて“６４”または“−６４”に変更する。または、“０”に変更してもよい。
【０１００】
なお、非線形処理部１０２ａは、リミッタ５１を備えず、符号変換信号Ｓ４１の振幅調整処理およびクリップ処理を行なわない構成としてもよい。この場合、符号変換部４１が生成する符号変換信号Ｓ４１が、非線形処理信号Ｓ１２として非線形処理部１０２ａから出力される。
【０１０１】
最後に、加算部１５について説明する。加算部１５は、非線形処理信号Ｓ１２を補償用信号として、入力信号Ｓｉｎに加算することにより、出力信号Ｓｏｕｔを生成するものである。なお、加算部１５には、入力信号Ｓｉｎと非線形処理信号Ｓ１２との間のタイミングを調整するための遅延素子が適宜含まれているものとする。
【０１０２】
（構成例１における信号の波形）
次に、図８の（ａ）〜（ｅ）を参照しながら、鮮鋭化処理部１００ａの各部にて生成される信号の波形について説明する。図８の（ａ）〜（ｅ）は、鮮鋭化処理部１００ａの各部にて生成される信号の波形を模式的に示す図である。ここでは、図８の（ａ）に示す信号が、入力信号Ｓｉｎとして鮮鋭化処理部１００ａに入力されるものとする。
【０１０３】
まず、入力信号Ｓｉｎが高周波成分抽出部１１に入力されると、入力信号Ｓｉｎに含まれる高周波成分が抽出され、図８の（ｂ）に示される高周波信号Ｓ１１が生成される。
【０１０４】
続いて、非線形処理部１０２ａの非線形演算部２１にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ２である場合、高周波信号Ｓ１１を２乗した非線形信号Ｓ２１が、非線形演算部２１にて生成される（図８の（ｃ）参照）。
【０１０５】
続いて、非線形信号Ｓ２１が符号変換部４１に入力されると、図８の（ｄ）に示される符号変換信号Ｓ４１が生成される。同図に示すとおり、符号変換信号Ｓ４１は、図８の（ｂ）に示される高周波信号Ｓ１１の符号の正負が維持されている。
【０１０６】
続いて、符号変換信号Ｓ４１がリミッタ５１に入力されると、振幅調整処理およびクリップ処理が行なわれ、非線形処理信号Ｓ１２が生成される。その後、加算部１５によって、非線形処理信号Ｓ１２が入力信号Ｓｉｎに加算されると、出力信号Ｓｏｕｔが生成される（図８の（ｅ）参照）。
【０１０７】
なお、図８の（ｅ）に示した非線形処理信号Ｓ１２における信号の立ち上がりおよび立ち下がりは、線形演算を用いて入力信号Ｓｉｎをエンハンスした場合における信号の立ち上がりおよび立ち下がりよりも、急峻となるので、図９を参照しながら説明する。
【０１０８】
図９の（ａ）に示す信号は、図８の（ａ）に示した入力信号Ｓｉｎと同じものである。そして、図９の（ａ）に示す入力信号Ｓｉｎをエンハンスする場合、線形演算を用いた鮮鋭化処理では、図９の（ａ）に示す入力信号Ｓｉｎから高域信号を抽出し、該抽出した高域信号に入力信号Ｓｉｎを加算するという方法が用いられる。したがって、線形演算を用いた鮮鋭化処理では、入力信号Ｓｉｎに含まれていないナイキスト周波数を超えた信号成分が付加されることはない。
【０１０９】
そのため、線形演算を用いた鮮鋭化処理では、図９の（ｂ）で示される信号が生成される。図９の（ｂ）で示される信号における立ち上がりは、図９の（ａ）に示す入力信号Ｓｉｎにおける信号の立ち上がりよりも急峻となるものの、鮮鋭化処理部１００ａにて生成される非線形処理信号Ｓ１２（図８の（ｅ））における信号の立ち上がりの方が、より急峻となる。
【０１１０】
（鮮鋭化処理部の構成例２）
上述した非線形処理部１０２ａにおいて、非線形演算部２１にて生成される非線形信号Ｓ２１を微分する構成としてもよい。非線形信号Ｓ２１を微分することによって、非線形信号Ｓ２１に含まれる直流成分を除去することができるからである。
【０１１１】
そこで、図１０を参照しながら、鮮鋭化処理部１００ｂの構成例について説明する。図１０は、鮮鋭化処理部１００ｂの構成を示すブロック図である。
【０１１２】
同図に示すとおり、鮮鋭化処理部１００ｂは、高周波成分抽出部１１、非線形処理部１０２ｂ、および加算部１５を備えている。そして、非線形処理部１０２ｂは、図５に示した非線形処理部１０２ａの構成に加え、非線形演算部２１と符号変換部４１との間に、微分部（微分手段）３１を備えている。高周波成分抽出部１１、非線形処理部１０２ｂの微分部３１以外の部材、および加算部１５は、上述したものと同じものであるので、ここではその詳細な説明を省略する。
【０１１３】
微分部３１は、非線形演算部２１にて生成される非線形信号Ｓ２１を微分することにより、微分信号Ｓ３１を生成するものである。
【０１１４】
図１１を参照しながら、微分部３１の構成について説明する。図１１は、微分部３１の構成を示すブロック図である。同図に示すように、微分部３１は、単位遅延素子３１１１と減算部３１１２とから構成されており、微分部３１に入力される信号に対して後退差分を算出するものである。
【０１１５】
そして、微分部３１が生成した微分信号Ｓ３１に対して、符号変換部４１は、高周波信号Ｓ１１の符号ビット情報に基づき、非線形信号Ｓ２１に高周波信号Ｓ１１の符号を反映させたものを、符号変換信号Ｓ４２として生成する。すなわち、符号変換部４１は、微分信号Ｓ３１のうち、符号が、高周波信号Ｓ１１と同じ部分については、符号をそのまま維持する。一方、非線形信号Ｓ２１のうち、符号が、高周波信号Ｓ１１と異なる部分については、符号の正負を反転させる。
【０１１６】
そして、リミッタ５１は、符号変換部４１にて生成される符号変換信号Ｓ４２に対して、振幅調整処理およびクリップ処理を行なうことによって、非線形処理信号Ｓ１２を生成する。振幅調整処理では、符号変換信号Ｓ４２に、所定の倍率値αを乗算することにより、符号変換信号Ｓ４２の振幅を調整する。
【０１１７】
なお、非線形処理部１０２ｂは、リミッタ５１を備えず、符号変換信号Ｓ４２の振幅調整処理およびクリップ処理を行なわない構成としてもよい。この場合、符号変換部４１が生成する符号変換信号Ｓ４２が、非線形処理信号Ｓ１２として非線形処理部１０２ｂから出力される。
【０１１８】
（構成例２における信号の波形）
次に、図１２の（ａ）〜（ｆ）を参照しながら、鮮鋭化処理部１００ｂの各部にて生成される信号の波形について説明する。図１２の（ａ）〜（ｆ）は、鮮鋭化処理部１００ｂの各部にて生成される信号の波形を模式的に示す図である。ここでは、図１２の（ａ）に示す信号が、入力信号Ｓｉｎとして鮮鋭化処理部１００ｂに入力されるものとする。なお、図１２の（ａ）に示す信号は、図８の（ａ）に示す信号と同じである。
【０１１９】
まず、入力信号Ｓｉｎが高周波成分抽出部１１に入力されると、入力信号Ｓｉｎに含まれる高周波成分が抽出され、図１２の（ｂ）に示される高周波信号Ｓ１１が生成される。
【０１２０】
続いて、非線形処理部１０２ｂの非線形演算部２１にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ２である場合、高周波信号Ｓ１１を２乗した非線形信号Ｓ２１が、非線形演算部２１にて生成される（図１２の（ｃ）参照）。
【０１２１】
続いて、非線形信号Ｓ２１が微分部３１に入力されると、図１２の（ｄ）に示される微分信号Ｓ３１が生成される。なお、微分信号Ｓ３１では、非線形信号Ｓ２１に含まれていた直流成分が除去されている。
【０１２２】
続いて、微分信号Ｓ３１が符号変換部４１に入力されると、図１２の（ｅ）に示される符号変換信号Ｓ４２が生成される。同図に示すとおり、符号変換信号Ｓ４２は、図１２の（ｂ）に示される高周波信号Ｓ１１の符号の正負が維持されている。
【０１２３】
続いて、符号変換信号Ｓ４１がリミッタ５１に入力されると、振幅調整処理およびクリップ処理が行なわれ、非線形処理信号Ｓ１２が生成される。最後に、加算部１５によって、非線形処理信号Ｓ１２が入力信号Ｓｉｎに加算されると、出力信号Ｓｏｕｔが生成される（図１２の（ｆ）参照）。
【０１２４】
なお、図１２の（ｆ）に示される出力信号Ｓｏｕｔにおける信号の立ち上がりおよび立ち下がりは、線形演算を用いて鮮鋭化する場合よりも、急峻となる。
【０１２５】
（鮮鋭化処理部の構成例３）
上述した非線形処理部１０２ａおよび非線形処理部１０２ｂの構成では、符号変換部４１を備える構成としたが、高周波信号Ｓ１１に対して施す非線形演算が、高周波信号Ｓ１１の符号の正負を維持するものであれば、符号変換部４１を備える必要はない。
【０１２６】
そこで、図１３を参照しながら、符号変換部４１を備えない鮮鋭化処理部１００ｃの構成例について説明する。図１３は、鮮鋭化処理部１００ｃの構成を示すブロック図である。
【０１２７】
同図に示すとおり、鮮鋭化処理部１００ｃは、高周波成分抽出部１１、非線形処理部１０２ｃ、および加算部１５を備えている。そして、非線形処理部１０２ｃは、非線形演算部（奇数冪乗演算手段）２２、およびリミッタ５１を備えている。高周波成分抽出部１１、リミッタ５１、および加算部１５は、上述したものと同じものであるので、ここではその詳細な説明を省略する。
【０１２８】
非線形演算部２２は、高周波信号Ｓ１１に対して非線形演算を施し、非線形信号Ｓ２２を生成する。
【０１２９】
ここで、非線形演算部２２にて行なう非線形演算について説明する。以下では、非線形演算部２２への入力信号値をｘとし、非線形演算部２２からの出力信号値をｙとし、非線形演算部２２にて行なう非線形演算を、ｙ＝ｇ（ｘ）という関数で表す。
【０１３０】
ここで、関数ｇ（ｘ）は、正負対称（原点対称）に単調増加する非線形関数であるものとする。なお、単調増加とは、広義の単調増加を意味するものとする。ただし、関数ｇ（ｘ）は、少なくともｘ＝“０”の近傍で単調増加するものであればよい。また、関数ｇ（ｘ）は、少なくともｘ＝“０”の近傍で、｜ｇ（ｘ）｜＞｜ｘ｜であることが好ましい。
【０１３１】
このような関数ｇ（ｘ）として、例えば、下記数式（７）が挙げられる。
【０１３２】
【数７】
2011061957.tif 000009
【０１３３】
関数ｇ（ｘ）として上記数式（７）を用いる場合、非線形演算部２２は、３以上の奇数を冪指数として高周波信号Ｓ１１を冪乗することにより非線形信号Ｓ２２を生成する。例えば、上記数式（７）においてｎ＝１の場合（つまり、ｇ（ｘ）＝ｘ３である場合）、非線形演算部２２は、高周波信号Ｓ１１を３乗することにより、非線形信号Ｓ２２を生成する。この場合、高周波信号Ｓ１１を構成するデータ列が、Ｘ１，Ｘ２，Ｘ３、…であるとすると、高周波信号Ｓ１１を３乗した非線形信号Ｓ２２は、データ列Ｘ１３，Ｘ２３，Ｘ３３、…で構成されるデジタル信号となる。
【０１３４】
そして、リミッタ５１は、非線形演算部２２にて生成される非線形信号Ｓ２２に対して、振幅調整処理およびクリップ処理を行なうことによって、非線形処理信号Ｓ１２を生成する。
【０１３５】
なお、非線形処理部１０２ｃは、リミッタ５１を備えず、非線形信号Ｓ２２の振幅調整処理およびクリップ処理を行なわない構成としてもよい。この場合、非線形演算部２２が生成する非線形信号Ｓ２２が、非線形処理信号Ｓ１２として非線形処理部１０２ｃから出力される。
【０１３６】
（構成例３における信号の波形）
次に、図１４の（ａ）〜（ｄ）を参照しながら、鮮鋭化処理部１００ｃの各部にて生成される信号の波形について説明する。図１４の（ａ）〜（ｄ）は、鮮鋭化処理部１００ｃの各部にて生成される信号の波形を模式的に示す図である。ここでは、図１４の（ａ）に示す信号が、入力信号Ｓｉｎとして鮮鋭化処理部１００ｃに入力されるものとする。なお、図１４の（ａ）に示す信号は、図８の（ａ）に示す信号と同じである。
【０１３７】
まず、入力信号Ｓｉｎが高周波成分抽出部１１に入力されると、入力信号Ｓｉｎに含まれる高周波成分が抽出され、図１４の（ｂ）に示される高周波信号Ｓ１１が生成される。
【０１３８】
続いて、非線形演算部２２にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ３である場合、高周波信号Ｓ１１を３乗した非線形信号Ｓ２２が、非線形演算部２２にて生成される（図１４の（ｃ）参照）。
【０１３９】
続いて、非線形信号Ｓ２２がリミッタ５１に入力されると、振幅調整処理およびクリップ処理が行なわれ、非線形処理信号Ｓ１２が生成される。最後に、加算部１５によって、非線形処理信号Ｓ１２が入力信号Ｓｉｎに加算されると、出力信号Ｓｏｕｔが生成される（図１４の（ｄ）参照）。
【０１４０】
なお、図１４の（ｄ）に示される出力信号Ｓｏｕｔにおける信号の立ち上がりおよび立ち下がりは、線形演算を用いて鮮鋭化する場合よりも、急峻となっている。
【０１４１】
（ナイキスト周波数を超える周波数が生成される理由）
次に、鮮鋭化処理部１００が生成する出力信号Ｓｏｕｔが、入力信号Ｓｉｎが有する高調波成分等のナイキスト周波数ｆｓ／２を超える高周波成分を含む理由について説明する。
【０１４２】
ここでは、入力信号Ｓｉｎが、時間をｘとした関数Ｆ（ｘ）で表現されるものとする。そして、入力信号Ｓｉｎの基本角周波数をωとすると、関数Ｆ（ｘ）は、下記数式（８）のようにフーリエ級数で表現することができる。
【０１４３】
【数８】
2011061957.tif 000010
【０１４４】
ここで、Ｎは、サンプリング周波数ｆｓに対するナイキスト周波数ｆｓ／２を超えない最高周波数の高調波の次数である。すなわち、下記数式（９）が満たされる。
【０１４５】
【数９】
2011061957.tif 000011
【０１４６】
次に、関数Ｆ（ｘ）で表される入力信号Ｓｉｎの直流成分ａ０以外の信号をＧ（ｘ）と表記すると、Ｇ（ｘ）は下記数式（１０）で表される。
【０１４７】
【数１０】
2011061957.tif 000012
【０１４８】
ここで、鮮鋭化処理部１００に入力される入力信号Ｓｉｎは、信号Ｇ（ｘ）または信号Ｇ（ｘ）の高周波成分を含む。
【０１４９】
そして、例えば、非線形演算部２１にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ２である場合、非線形演算部２１にて生成される非線形信号Ｓ２１は、高周波信号Ｓ１１を２乗することにより得られる信号である。ここで、上記数式（１０）により、（Ｇ（ｘ））２の各項は、下記数式（１１）〜（１３）のいずれかで表される（ｉ＝±１、±２、…、±Ｎ；ｊ＝±１、±２、…、±Ｎ）。
【０１５０】
【数１１】
2011061957.tif 000013
【０１５１】
【数１２】
2011061957.tif 000014
【０１５２】
【数１３】
2011061957.tif 000015
【０１５３】
ここで、三角関数に関する公式を用いることにより、上記数式（１１）〜（１３）は、それぞれ、下記数式（１４）〜（１６）に書き直すことができる。
【０１５４】
【数１４】
2011061957.tif 000016
【０１５５】
【数１５】
2011061957.tif 000017
【０１５６】
【数１６】
2011061957.tif 000018
【０１５７】
上記数式（１４）〜（１６）から分かるように、（Ｇ（ｘ））２は、（Ｎ＋１）ω、（Ｎ＋２）ω、…、２Ｎω等の角周波数成分を含む。
【０１５８】
よって、（Ｇ（ｘ））２は、ナイキスト周波数ｆｓ／２より高い周波数成分を含むこととなる。つまり、非線形演算部２１にて生成される非線形信号Ｓ２１は、周波数２Ｎω／（２π）といった高調波成分等のように、ナイキスト周波数ｆｓ／２より高い周波数成分を含むこととなる。
【０１５９】
同様に、例えば、非線形演算部２２にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ３である場合、非線形演算部２２にて生成される非線形信号Ｓ２２は、高周波信号Ｓ１１を３乗することにより得られる信号である。ここで、上記数式（１０）により、（Ｇ（ｘ））３の各項は、下記数式（１７）〜（２０）のいずれかで表される（ｉ＝±１、±２、…、±Ｎ；ｊ＝±１、±２、…、±Ｎ；ｋ＝±１、±２、…、±Ｎ）。
【０１６０】
【数１７】
2011061957.tif 000019
【０１６１】
【数１８】
2011061957.tif 000020
【０１６２】
【数１９】
2011061957.tif 000021
【０１６３】
【数２０】
2011061957.tif 000022
【０１６４】
ここで、例えば、ｉ＝ｊ＝ｋ＝Ｎである項のうち、上記数式（１７）および（２０）で示される項に着目すると、これらの項は、三角関数に関する公式を用いることにより、下記数式（２１）および（２２）に書き直すことができる。
【０１６５】
【数２１】
2011061957.tif 000023
【０１６６】
【数２２】
2011061957.tif 000024
【０１６７】
また、例えば、ｉ＝ｊ＝ｋ＝−Ｎである項のうち、上記数式（１７）および（２０）で示される項に着目すると、これらの項は、三角関数に関する公式を用いることにより、下記数式（２３）および（２４）に書き直すことができる。
【０１６８】
【数２３】
2011061957.tif 000025
【０１６９】
【数２４】
2011061957.tif 000026
【０１７０】
上記数式（２１）〜（２４）から分かるように、（Ｇ（ｘ））３は、基本角周波数ωの３Ｎ倍の周波数成分、および、−３Ｎ倍の周波数成分を含む。（Ｇ（ｘ））３の他の項についても三角関数の公式によって書き直すことにより、（Ｇ（ｘ））３は、基本角周波数ωの−３Ｎ倍から３Ｎ倍までの様々な周波数成分を含むことが分かる。
【０１７１】
よって、（Ｇ（ｘ））３は、ナイキスト周波数ｆｓ／２より高い周波数成分を含むこととなる。つまり、非線形演算部２２にて生成される非線形信号Ｓ２２は、周波数３Ｎω／（２π）といった高調波成分等のように、ナイキスト周波数ｆｓ／２より高い周波数成分を含むこととなる。
【０１７２】
以上のように、鮮鋭化処理部１００にて生成される出力信号Ｓｏｕｔは、入力信号Ｓｉｎに含まれない高周波成分、すなわちナイキスト周波数より高い周波数成分を含むこととなる。
【０１７３】
（鮮鋭化処理部の他の構成例１）
鮮鋭化処理部１００にて施す非線形演算は、上述した以外にも様々に考えられる。そこで、図１５および図１６を参照しながら、鮮鋭化処理部１００ｄおよび１００ｅの構成例について説明する。
【０１７４】
まず、図１５は、鮮鋭化処理部１００ｄの構成を示すブロック図である。同図に示すとおり、鮮鋭化処理部１００ｄは、高周波成分抽出部１１、非線形処理部１０２ｄ、および加算部１５を備えている。高周波成分抽出部１１および加算部１５は、上述したものと同じものであるので、ここではその詳細な説明を省略する。
【０１７５】
非線形処理部１０２ｄは、２乗演算部６１、第１微分部７１、第２微分部８１、および乗算部９１を備えている。
【０１７６】
２乗演算部６１は、高周波信号Ｓ１１を２乗することにより２乗信号Ｓ６１を生成するものである。すなわち、高周波信号Ｓ１１を構成するデータ列が、Ｘ１、Ｘ２、Ｘ３、…であるとすると、高周波信号Ｓ１１を２乗した２乗信号Ｓ６１は、データ列Ｘ１２、Ｘ２２、Ｘ３２、…によって構成されるデジタル信号となる。
【０１７７】
次に、第１微分部７１は、２乗演算部６１にて生成される２乗信号Ｓ６１を微分することにより、第１微分信号Ｓ７１を生成する。なお、第１微分部７１の構成は、例えば、微分部３１と同様の構成である。
【０１７８】
次に、第２微分部８１は、入力信号Ｓｉｎを微分することにより、第２微分信号Ｓ８１を生成する。なお、第２微分部８１の構成は、例えば、微分部３１と同様の構成である。
【０１７９】
そして、乗算部９１は、第１微分信号Ｓ７１と第２微分信号Ｓ８１とを乗算することにより、非線形処理信号Ｓ１２を生成する。すなわち、第１微分信号Ｓ７１を構成するデータ列が、Ｕ１、Ｕ２、Ｕ３、…であるとし、第２微分信号Ｓ８１を構成するデータ列が、Ｖ１、Ｖ２、Ｖ３、…であるとすると、非線形処理信号Ｓ１２は、データ列Ｕ１・Ｖ１、Ｕ２・Ｖ２、Ｕ３・Ｖ３、…によって構成されるデジタル信号となる。
【０１８０】
なお、上述では、非線形演算を施すために２乗演算部６１を設ける構成としたが、２乗演算部６１に代えて、高周波信号Ｓ１１を４乗する４乗演算部を用いてもよい。より一般的には、２以上の偶数を冪指数とする高周波信号Ｓ１１の冪乗に相当する信号を生成する冪乗演算部を用いてもよい。
【０１８１】
（鮮鋭化処理部の他の構成例２）
上述した鮮鋭化処理部１００ｄの構成では、２乗演算部６１を備える構成としたが、２乗演算部６１に代えて、入力された信号の絶対値を計算する絶対値処理部６２を備える構成としてもよい。
【０１８２】
そこで、図１６を参照しながら、絶対値処理部６２を備える鮮鋭化処理部１００ｅの構成例について説明する。図１６は、鮮鋭化処理部１００ｅの構成を示すブロック図である。
【０１８３】
同図に示すとおり、鮮鋭化処理部１００ｅは、高周波成分抽出部１１、非線形処理部１０２ｅ、および加算部１５を備えている。高周波成分抽出部１１および加算部１５は、上述したものと同じものであるので、ここではその詳細な説明を省略する。
【０１８４】
非線形処理部１０２ｅは、絶対値処理部６２、第１微分部７１、第２微分部８１、および乗算部９１を備えている。第１微分部７１、第２微分部８１、および乗算部９１は、上述したものと同じものであるので、ここではその詳細な説明を省略する。
【０１８５】
絶対値処理部６２は、高周波信号Ｓ１１の絶対値に相当する信号である絶対値信号Ｓ６２を生成する。すなわち、高周波信号Ｓ１１を構成するデータ列が、Ｘ１，Ｘ２，Ｘ３、…であるとすると、絶対値信号Ｓ６２は、データ列｜Ｘ１｜、｜Ｘ２｜、｜Ｘ３｜、…によって構成されるデジタル信号となる。
【０１８６】
次に、第１微分部７１は、絶対値処理部６２にて生成される絶対値信号Ｓ６２を微分することにより、第１微分信号Ｓ７２を生成する。
【０１８７】
そして、乗算部９１は、第１微分信号Ｓ７２と第２微分信号Ｓ８１とを乗算することにより、非線形処理信号Ｓ１２を生成する。
【０１８８】
〔実施形態２〕
実施形態１にて説明した符号化装置２００ａは、原信号ＳＲの高周波成分を除去した高周波除去信号Ｓ２１０のみを符号化処理部２２０にて符号化することによって符号化信号Ｓ２２０を出力する構成である。そして、復号化装置３００ａの復号化処理部３１０では、符号化信号Ｓ２２０のみに基づいて復号化処理を行なうので、復号化処理部３１０から出力される復号化信号Ｓ３１０で表される復元画像は、原信号ＳＲで表される原画像よりも必ず劣化するものとなる。
【０１８９】
ここで、伝送路７００を伝送させる信号の伝送レートの低減度合いが低くなることが許容される場合、復元画像の劣化をできるだけ抑えることを目的として、所定期間毎に高周波除去信号Ｓ２１０に代えて原信号ＳＲを符号化する構成としてもよい。例えば、数フレーム毎に１フレームだけ原信号ＳＲを符号化する構成としてもよい。
【０１９０】
そこで、本実施形態では、送信側にて、所定期間毎に、高周波除去信号Ｓ２１０に代えて原信号ＳＲを符号化する形態について説明する。
【０１９１】
本発明の一実施形態について図１７から図１９に基づいて説明すると以下の通りである。本実施形態に係る符号化装置２００を、符号化装置２００ｃと表記する。また、本実施形態に係る復号化装置３００を、復号化装置３００ｃと表記する。
【０１９２】
なお、説明の便宜上、実施形態１にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、特に記載する場合を除きその説明を省略する。
【０１９３】
（符号化装置および復号化装置の構成）
図１７および図１８を参照しながら、符号化装置２００ｃおよび復号化装置３００ｃの構成例について説明する。図１７および図１８は、それぞれ、符号化装置２００ｃおよび復号化装置３００ｃの構成例を示すブロック図である。
【０１９４】
まず、符号化装置２００ｃの構成について説明する。図１７に示すとおり、符号化装置２００ｃは、ＬＰＦ２１０、信号切替部２４０、および符号化処理部（符号化手段）２２１を備えている。
【０１９５】
信号切替部２４０は、符号化処理部２２１へ入力される信号線の接続を切り替えるスイッチである。信号切替部２４０は、符号化処理部２２１からの指示に応じて、接続点Ｏｕｔ１を接続点Ｉｎ１１と接続するか、または、接続点Ｉｎ１２と接続するかを切り替える。なお、本実施形態では、接続点Ｏｕｔ１と接続点Ｉｎ１２とを接続すると高周波除去信号Ｓ２１０が符号化処理部２２１へ入力され、一方、接続点Ｏｕｔ１と接続点Ｉｎ１１とを接続すると原信号ＳＲが符号化処理部２２１へ入力される。
【０１９６】
符号化処理部２２１は、信号切替部２４０から入力される信号を符号化するものである。符号化処理部２２１から出力される信号を、符号化信号Ｓ２２１と表記する。なお、本実施形態の場合、符号化信号Ｓ２２１には、原信号ＳＲを符号化した信号と、高周波除去信号Ｓ２１０を符号化した信号とが含まれることとなる。
【０１９７】
なお、符号化処理部２２１と後述する復号化処理部３２０とは対になっており、符号化処理部２２１は、復号化処理部３２０にて復号化が可能な符号化信号Ｓ２２１を出力するように構成されているものとする。
【０１９８】
また、動画像を符号化する場合、符号化処理部２２１は、一般的に知られているフレーム間予測符号化による圧縮符号化を行なうものとする（符号化ステップ）。そして、復号化処理部３２０が動き補償を行なうために用いる動きベクトルを、符号化信号Ｓ２２１に含めて出力する。
【０１９９】
さらに、符号化処理部２２１は、信号切替部２４０に対して、接続点Ｏｕｔ１を、接続点Ｉｎ１１および接続点Ｉｎ１２のいずれに接続させるかを指示する。より詳しくは、通常時は接続点Ｏｕｔ１を接続点Ｉｎ１２に接続させるように指示し、所定期間（以下、所定期間Ｔ１）毎に、接続点Ｏｕｔ１を接続点Ｉｎ１１に接続させるように指示する。
【０２００】
なお、所定期間Ｔ１は、符号化効率や復元画像の画質などに応じて、適宜定められるものである。本実施形態では、例えば、符号化効率を高くするときは、高周波除去信号Ｓ２１０を符号化するフレームを多く、かつ、原信号ＳＲを符号化するフレームが少なくなるように（一例として、所定の数百フレームについて高周波除去信号Ｓ２１０を符号化する毎に、次の１つのフレームについては原信号ＳＲを符号化するように）、上記所定期間Ｔ１を定めればよい。
【０２０１】
一方、復元画像の画質を重視する場合は、原信号ＳＲを符号化するフレームを多くするように（一例として、所定の数フレームについて高周波除去信号Ｓ２１０を符号化する毎に、次の１つのフレームについては原信号ＳＲを符号化するように）、上記所定期間Ｔ１を定めればよい。
【０２０２】
なお、符号化処理部２２１は、符号化信号Ｓ２２１が、信号切替部２４０の接続点Ｉｎ１１から入力された信号（以下、入力信号Ａ１１と表記する）、および、接続点Ｉｎ１２から入力された信号（以下、入力信号Ａ１２と表記する）のいずれを符号化したものであるかを示す情報（以下、符号化情報Ｅ１と表記する）を、符号化信号Ｓ２２１に多重化するものとする。なお、本実施形態では、入力信号Ａ１１は原信号ＳＲであり、入力信号Ａ１２は高周波除去信号Ｓ２１０である。
【０２０３】
次に、復号化装置３００ｃの構成について説明する。復号化装置３００ｃは、図１８に示すとおり、復号化制御部（復号化手段）３１１、および鮮鋭化処理部１００を備えている。
【０２０４】
まず、復号化制御部３１１について説明する。復号化制御部３１１は、復号化処理部３２０、および信号再構成部３３０を備えている。なお、復号化制御部３１１から出力される信号を、復号結果信号（復号化信号）Ｓ３１１と表記する。復号結果信号Ｓ３１１は、原画像に対応する復元画像を表す信号である。
【０２０５】
復号化処理部３２０は、上述のとおり、符号化処理部２２１から出力された符号化信号Ｓ２２１を復号化するものである（復号化ステップ）。なお、動画像を復号化する場合、復号化処理部３２０は、符号化信号Ｓ２２１に含まれる動きベクトルを用いてフレーム間予測を行なうことにより動き補償を行なう。
【０２０６】
なお、復号化処理部３２０から出力される信号を、復号化信号Ｓ３２０と表記する。ここで、上述したように、本実施形態では、符号化信号Ｓ２２１には、原信号ＳＲを符号化した信号と、高周波除去信号Ｓ２１０を符号化した信号とが含まれる。そのため、復号化信号Ｓ３２０には、原信号ＳＲを符号化した信号を復号化した信号（以下、復号後原信号と表記する）と、高周波除去信号Ｓ２１０を符号化した信号を復号化した信号（以下、復号後高周波除去信号と表記する）とが含まれる。
【０２０７】
さらに、復号化処理部３２０は、信号再構成部３３０が備える第１信号切替部３３１（後述する）に対して、接続点Ｏｕｔ２を、接続点Ｉｎ２１および接続点Ｉｎ２２のいずれに接続させるかを指示する。また、第２信号切替部３３４（後述する）に対して、接続点Ｏｕｔ３を、接続点Ｉｎ３１および接続点Ｉｎ３２のいずれに接続させるかを指示する。
【０２０８】
具体的には、復号化処理部３２０は、まず、符号化信号Ｓ２２１に含まれる符号化情報Ｅ１を抽出する。そして、符号化情報Ｅ１が、符号化信号Ｓ２２１が入力信号Ａ１１（つまり、原信号ＳＲ）を符号化したものであることを示す場合、第１信号切替部３３１に対して、接続点Ｏｕｔ２を接続点Ｉｎ２１に接続させるように指示するとともに、第２信号切替部３３４に対して、接続点Ｏｕｔ３を接続点Ｉｎ３１に接続させるように指示する。
【０２０９】
一方、符号化情報Ｅ１が、符号化信号Ｓ２２１が入力信号Ａ１２（つまり、高周波除去信号Ｓ２１０）を符号化したものであることを示す場合、第１信号切替部３３１に対して、接続点Ｏｕｔ２を接続点Ｉｎ２２に接続させるように指示するとともに、第２信号切替部３３４に対して、接続点Ｏｕｔ３を接続点Ｉｎ３２に接続させるように指示する。
【０２１０】
次に、信号再構成部３３０について説明する。信号再構成部３３０は、概略的には、復号化信号Ｓ３２０に含まれる復号後原信号および復号後高周波除去信号に基づいて、復元画像を表す復号結果信号（復号化信号）Ｓ３１１を出力するものである。具体的には、本実施形態では、復号化信号Ｓ３２０が復号後原信号であるとき、復号後原信号をそのまま復号結果信号Ｓ３１１として出力する。一方、復号化信号Ｓ３２０が復号後高周波除去信号であるとき、直前のフレームに相当する復号結果信号Ｓ３１１に対して動き補償を施した信号に、復号後高周波除去信号を加算することによって、最新のフレームに相当する復号結果信号Ｓ３１１を出力する。
【０２１１】
上記処理を行なうために、信号再構成部３３０は、第１信号切替部３３１、フレームメモリ部３３２、動き補償部３３３、第２信号切替部３３４、および、加算部３３５を備えている。
【０２１２】
第１信号切替部３３１は、フレームメモリ部３３２へ入力される信号線の接続を切り替えるスイッチである。第１信号切替部３３１は、復号化処理部３２０からの指示に応じて、接続点Ｏｕｔ２を接続点Ｉｎ２１と接続するか、または、接続点Ｉｎ２２と接続するかを切り替える。接続点Ｏｕｔ２と接続点Ｉｎ２１とを接続すると復号化信号Ｓ３２０がフレームメモリ部３３２へ入力され、一方、接続点Ｏｕｔ２と接続点Ｉｎ２２とを接続すると復号結果信号Ｓ３１１がフレームメモリ部３３２へ入力される。
【０２１３】
なお、接続点Ｏｕｔ２と接続点Ｉｎ２１とが接続されるのは、復号化処理部３２０にて抽出した符号化情報Ｅ１が、入力信号Ａ１１（つまり、原信号ＳＲ）を符号化したものであることを示すときであり、復号化処理部３２０では、復号後原信号を復号化信号Ｓ３２０として出力する。よって、接続点Ｏｕｔ２と接続点Ｉｎ２１とを接続したときは、復号後原信号がフレームメモリ部３３２へ入力される。
【０２１４】
次に、フレームメモリ部３３２は、第１信号切替部３３１を介して入力される信号を、１フレーム分保持するものである。したがって、フレームメモリ部３３２には、復号後原信号および復号結果信号Ｓ３１１のいずれか一方が、１フレーム分保持される。そして、フレームメモリ部３３２は、１フレーム毎に、保持している信号を、動き補償部３３３に出力する。フレームメモリ部３３２から出力される信号を、メモリ信号Ｓ３３２と表記する。
【０２１５】
次に、動き補償部３３３は、メモリ信号Ｓ３３２で表される直前のフレームに対し、動きベクトルに基づく動き補償を施すことによって、最新のフレームを算出するものである。なお、動き補償に用いる動きベクトルは、復号化処理部３２０にて行なう動き補償のために用いる動きベクトルを、復号化処理部３２０から受け取るものとする。そのため、動き補償部３３３には、メモリ信号Ｓ３３２と復号化処理部３２０から受け取る動きベクトルとの間のタイミングを調整するための遅延素子が適宜含まれているものとする。動き補償部３３３から出力される信号を、動き補償信号Ｓ３３３と表記する。
【０２１６】
次に、第２信号切替部３３４は、加算部３３５へ入力される信号線の接続を切り替えるスイッチである。第２信号切替部３３４は、復号化処理部３２０からの指示に応じて、接続点Ｏｕｔ３を接続点Ｉｎ３１と接続するか、または、接続点Ｉｎ３２と接続するかを切り替える。本実施形態では、接続点Ｏｕｔ３と接続点Ｉｎ３２とを接続すると動き補償信号Ｓ３３３が加算部３３５へ入力され、一方、接続点Ｏｕｔ３と接続点Ｉｎ３１とを接続すると加算部３３５へは何も入力されない。
【０２１７】
次に、加算部３３５は、第２信号切替部３３４から入力される信号と、復号化信号Ｓ３２０とを加算することによって復号結果信号Ｓ３１１を出力するものである。よって、第２信号切替部３３４の接続点Ｏｕｔ３と接続点Ｉｎ３２とが接続されているとき、復号化信号Ｓ３２０と動き補償信号Ｓ３３３とを加算することによって復号結果信号Ｓ３１１を出力する。一方、第２信号切替部３３４の接続点Ｏｕｔ３と接続点Ｉｎ３１とが接続されているとき、復号化信号Ｓ３２０をそのまま復号結果信号Ｓ３１１として出力する。
【０２１８】
なお、加算部３３５には、第２信号切替部３３４から入力される信号と復号化信号Ｓ３２０との間のタイミングを調整するための遅延素子が適宜含まれているものとする。
【０２１９】
以上の構成により、復号化制御部３１１は、本実施形態では、（１）符号化情報Ｅ１が、符号化信号Ｓ２２１が入力信号Ａ１１（つまり、原信号ＳＲ）を符号化したものであることを示すとき、復号化信号Ｓ３２０として復号後原信号を出力し、第１信号切替部３３１を介してフレームメモリ部３３２に復号後原信号を保持するとともに、加算部３３５を介して復号後原信号を復号結果信号Ｓ３１１として出力する。（２）一方、符号化情報Ｅ１が、符号化信号Ｓ２２１が入力信号Ａ１２（つまり、高周波除去信号Ｓ２１０）を符号化したものであることを示すとき、復号化信号Ｓ３２０として復号後高周波除去信号を出力し、フレームメモリ部３３２から出力されるメモリ信号Ｓ３３２に対して動き補償部３３３にて動き補償を行なうことによって生成される動き補償信号Ｓ３３３と、復号後高周波除去信号とを加算部３３５にて加算することによって、復号結果信号Ｓ３１１を出力する。そして、復号結果信号Ｓ３１１を、次回、動き補償部３３３にて動き補償を行なうために、第１信号切替部３３１を介してフレームメモリ部３３２に保持する。
【０２２０】
以上の処理を繰り返し行なうことにより、復号化制御部３１１は、原画像に対応する復元画像を表す復号結果信号Ｓ３１１を出力する。
【０２２１】
最後に、復号化装置３００ｃは、鮮鋭化処理部１００を、復号化制御部３１１の後段に設ける構成であり、復号化制御部３１１から出力される復号結果信号Ｓ３１１が、鮮鋭化処理部１００の入力信号となる。したがって、復号化装置３００ｃは、鮮鋭化処理部１００にて、復号結果信号Ｓ３１１に対して非線形演算に基づく鮮鋭化処理を施す。つまり、復号化装置３００ｃの鮮鋭化処理部１００によって、復号結果信号Ｓ３１１で表される復元画像が、鮮鋭化される。
【０２２２】
（上記構成により奏される効果）
符号化装置２００ｃでは、所定期間毎に高周波除去信号Ｓ２１０に代えて原信号ＳＲを符号化するとともに、復号化装置３００ｃでは、復号化制御部３１１により、直前のフレームを表す信号に対して動き補償を施した信号に、復号後高周波除去信号を加算した信号を復号結果信号Ｓ３１１として出力するとともに、所定期間毎に、復号後原信号をそのまま復号結果信号Ｓ３１１として出力する。したがって、復号化装置３００ｃは、実施形態１にて説明した符号化装置２００ａよりも、復元画像の劣化を抑制することができる。特に、高精細信号の欠如によるボケ感を減少させることに効果がある。
【０２２３】
（変形例１）
上述した復号化装置３００ｃでは、復号結果信号Ｓ３１１の全てに対して、鮮鋭化処理部１００にて鮮鋭化処理を施す構成としたが、復号結果信号Ｓ３１１に対して鮮鋭化処理を施すか否かを適宜切り替える構成としてもよい。例えば、復号後原信号をそのまま復号結果信号Ｓ３１１として出力するときは、復号結果信号Ｓ３１１に対して鮮鋭化処理を施さず、一方、復号後高周波除去信号を用いて復号結果信号Ｓ３１１を出力するときは、復号結果信号Ｓ３１１に対して鮮鋭化処理を施す構成としてもよい。これにより、復号結果信号Ｓ３１１の全てに対して鮮鋭化処理を施すのではなく、復号結果信号Ｓ３１１のうち劣化があると考えられる部分のみに対して鮮鋭化処理を施すことができる。
【０２２４】
そこで、上記構成について、図１９を参照しながら説明する。図１９は、復号化装置３００ｃの変形例である復号化装置３００ｄの構成例を示すブロック図である。
【０２２５】
同図に示すとおり、復号化装置３００ｄは、復号化制御部（復号化手段）３１２、鮮鋭化処理部１００、および、出力切替部３４０を備えている。なお、復号化制御部３１２から出力される信号を、復号結果信号（復号化信号）Ｓ３１２と表記する。復号結果信号Ｓ３１２は、原画像に対応する復元画像を表す信号である。
【０２２６】
まず、出力切替部３４０は、復号化装置３００ｄから出力する信号線を切り替えるスイッチである。信号切替部２４０は、復号化制御部３１２の復号化処理部３２１からの指示に応じて、接続点Ｏｕｔ４を接続点Ｉｎ４１と接続するか、または、接続点Ｉｎ４２と接続するかを切り替える。なお、接続点Ｏｕｔ４と接続点Ｉｎ４２とを接続すると、鮮鋭化処理部１００の出力信号が復号化装置３００ｄから出力される。一方、接続点Ｏｕｔ４と接続点Ｉｎ４１とを接続すると、復号結果信号Ｓ３１２が復号化装置３００ｄから出力される。
【０２２７】
次に、復号化制御部３１２は、復号化処理部３２０を復号化処理部３２１に置き換えた点を除き復号化制御部３１１と同じ構成である。復号化処理部３２１は、復号化処理部３２０が有する機能を全て備えている。さらに、復号化処理部３２１は、出力切替部３４０に対して、接続点Ｏｕｔ４を、接続点Ｉｎ４１および接続点Ｉｎ４２のいずれに接続させるかを指示する機能を備えている。
【０２２８】
具体的には、復号化処理部３２１は、符号化信号Ｓ２２１に含まれる符号化情報Ｅ１を抽出し、（１）符号化情報Ｅ１が、符号化信号Ｓ２２１が入力信号Ａ１１（つまり、原信号ＳＲ）を符号化したものであることを示す場合、出力切替部３４０に対して、接続点Ｏｕｔ４を接続点Ｉｎ４１に接続させるように指示する。これにより、復号後原信号をそのまま復号結果信号Ｓ３１２として出力するときは、復号結果信号Ｓ３１２をそのまま復号化装置３００ｄから出力する信号とする。
【０２２９】
一方、（２）符号化情報Ｅ１が、符号化信号Ｓ２２１が入力信号Ａ１２（つまり、高周波除去信号Ｓ２１０）を符号化したものであることを示す場合、出力切替部３４０に対して、接続点Ｏｕｔ４を接続点Ｉｎ４２に接続させるように指示する。これにより、信号再構成部３３０にて復号後高周波除去信号を用いて復号結果信号Ｓ３１２を出力するとき、鮮鋭化処理部１００にて鮮鋭化処理を施した信号を、復号化装置３００ｄから出力する信号とする。
【０２３０】
上記構成によれば、復号化後の信号の全てに対して鮮鋭化処理を施すのではなく、復号結果信号Ｓ３１２のうち劣化度合いが大きいと考えられる部分（つまり、復号後高周波除去信号を用いて復号結果信号Ｓ３１２を出力したとき）にのみ鮮鋭化処理を施すことができる。
【０２３１】
（変形例２）
上述した復号化装置３００ｃでは、鮮鋭化処理部１００を、復号化制御部３１１の後段に設ける構成について説明したが、鮮鋭化処理部１００は必ずしも設けなくてよい。特に、復号結果信号Ｓ３１１で表される復元画像が、鮮鋭化処理を施さなくてもよい程度に不鮮鋭でない場合は、鮮鋭化処理部１００を設けない構成としてもよい。
【０２３２】
〔実施形態３〕
上述した符号化装置２００ｃでは、ＬＰＦ２１０および信号切替部２４０を用いて、原信号ＳＲおよび高周波除去信号Ｓ２１０のいずれかを符号化する構成としたが、高周波除去信号Ｓ２１０は、ＬＰＦにより原信号ＳＲから高周波成分を除去したものであるので、原画像に含まれる輪郭部分（エッジ）に相当する信号が少ない。そのため、復号化装置３００ｃにて復号化した復元画像では、輪郭部分（エッジ）を十分に復元できない場合がある。
【０２３３】
そこで、本実施形態では、伝送路７００を伝送させる信号の伝送レートを抑えつつ、復元画像の輪郭部分（エッジ）を十分に復元可能とする構成について説明する。
【０２３４】
本発明の一実施形態について図１、図１８および図２０に基づいて説明すると以下の通りである。本実施形態に係る符号化装置２００を、符号化装置２００ｄと表記する。また、本実施形態に係る復号化装置３００を、復号化装置３００ｅと表記する。
【０２３５】
なお、説明の便宜上、実施形態１および２にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、特に記載する場合を除きその説明を省略する。
【０２３６】
（符号化装置および復号化装置の構成）
図１および図１８を参照しながら、符号化装置２００ｄおよび復号化装置３００ｅの構成例について説明する。図１および図１８は、それぞれ、符号化装置２００ｄおよび復号化装置３００ｅの構成例を示すブロック図である。
【０２３７】
まず、符号化装置２００ｄの構成について説明する。図１に示すとおり、符号化装置２００ｄは、ＬＰＦ（高周波成分除去手段）２１０、鮮鋭化処理部１００、および減算部（減算手段）２５０、並びに、信号切替部２４０、符号化処理部２２１を備えている。なお、ＬＰＦ２１０、鮮鋭化処理部１００、および減算部２５０を、まとめて、周波数成分抽出部（周波数成分抽出手段）２３０と称する。
【０２３８】
符号化装置２００ｄの鮮鋭化処理部１００は、ＬＰＦ２１０の後段に設けられており、ＬＰＦ２１０から出力される高周波除去信号Ｓ２１０に対して鮮鋭化処理を施した信号（以下、高周波除去信号Ｓ２１０の高調波とも表記する）を出力する。
【０２３９】
減算部２５０は、原信号ＳＲから、高周波除去信号Ｓ２１０の高調波を減算するものである（周波数成分抽出ステップ）。なお、減算部２５０には、原信号ＳＲと高周波除去信号Ｓ２１０の高調波との間のタイミングを調整するための遅延素子が適宜含まれているものとする。
【０２４０】
なお、減算部２５０から出力される信号を、差信号（周波数成分抽出信号）Ｓ２５０と表記する。差信号Ｓ２５０は、原信号ＳＲで表される原画像に含まれる輪郭部分（エッジ）に相当する信号であると言える。
【０２４１】
なお、ＬＰＦ２１０、信号切替部２４０、および、符号化処理部２２１は、実施形態２で説明した機能を有する。
【０２４２】
ただし、本実施形態では、信号切替部２４０にて接続点Ｏｕｔ１と接続点Ｉｎ１２とが接続されると、差信号Ｓ２５０が符号化処理部２２１へ入力される、一方、接続点Ｏｕｔ１と接続点Ｉｎ１１とが接続されると、原信号ＳＲが符号化処理部２２１へ入力される。そのため、本実施形態の場合、符号化信号Ｓ２２１は、差信号Ｓ２５０を符号化した信号と、原信号ＳＲを符号化した信号とを含むこととなる。
【０２４３】
また、本実施形態では、なお、本実施形態では、入力信号Ａ１１は原信号ＳＲであり、入力信号Ａ１２は差信号Ｓ２５０である。
【０２４４】
次に、復号化装置３００ｅの構成について説明する。復号化装置３００ｅは、実施形態２にて図１８に示した復号化装置３００ｃと同じ構成である。
【０２４５】
なお、本実施形態では、復号化処理部３２０は、抽出した符号化情報Ｅ１が、（１）符号化信号Ｓ２２１が入力信号Ａ１１（つまり、原信号ＳＲ）を符号化したものであることを示す場合、第１信号切替部３３１に対して、接続点Ｏｕｔ２を接続点Ｉｎ２１に接続させるように指示するとともに、第２信号切替部３３４に対して、接続点Ｏｕｔ３を接続点Ｉｎ３１に接続させるように指示する。
【０２４６】
一方、符号化情報Ｅ１が、（２）符号化信号Ｓ２２１が入力信号Ａ１２（つまり、差信号Ｓ２５０）を符号化したものであることを示す場合、第１信号切替部３３１に対して、接続点Ｏｕｔ２を接続点Ｉｎ２２に接続させるように指示するとともに、第２信号切替部３３４に対して、接続点Ｏｕｔ３を接続点Ｉｎ３２に接続させるように指示する。
【０２４７】
なお、本実施形態の場合、上述したように、符号化信号Ｓ２２１には、原信号ＳＲを符号化した信号と、差信号Ｓ２５０を符号化した信号とが含まれる。そのため、復号化処理部３２０から出力される復号化信号Ｓ３２０には、原信号ＳＲを符号化した信号を復号化した信号（以下、復号後原信号と表記する）と、差信号Ｓ２５０を符号化した信号を復号化した信号（以下、復号後差信号と表記する）とが含まれる。
【０２４８】
そして、本実施形態では、信号再構成部３３０は、復号化信号Ｓ３２０が復号後原信号であるときは、復号後原信号をそのまま復号結果信号Ｓ３１１として出力する。一方、復号化信号Ｓ３２０が復号後差信号であるときは、直前のフレームに相当する復号結果信号Ｓ３１１に対して動き補償を施した信号に、復号後差信号を加算することによって、最新のフレームに相当する復号結果信号Ｓ３１１を出力する。
【０２４９】
具体的には、復号化信号Ｓ３２０が復号後原信号であるとき、第１信号切替部３３１を介してフレームメモリ部３３２に復号後原信号を保持するとともに、加算部３３５を介して復号後原信号を復号結果信号Ｓ３１１として出力する。一方、復号化信号Ｓ３２０が復号後差信号であるとき、まず、フレームメモリ部３３２から出力されるメモリ信号Ｓ３３２に対して動き補償部３３３にて動き補償を行なうことによって生成する動き補償信号Ｓ３３３と、復号後差信号とを加算部３３５にて加算することによって復号結果信号Ｓ３１１を出力する。そして、復号結果信号Ｓ３１１を、次回、動き補償部３３３にて動き補償を行なうために、第１信号切替部３３１を介してフレームメモリ部３３２に保持する。
【０２５０】
そして、鮮鋭化処理部１００によって、復号結果信号Ｓ３１１で表される復元画像が、鮮鋭化される。
【０２５１】
（上記構成により奏される効果）
上述したように、符号化装置２００ｄは、鮮鋭化処理部１００により高周波除去信号Ｓ２１０に対して鮮鋭化処理を施した信号を、原信号ＳＲから減算した差信号Ｓ２５０を生成する。そして、原信号ＳＲと差信号Ｓ２５０とを切り替えながら符号化する。したがって、符号化装置２００ｄによれば、伝送路７００を伝送させる信号の伝送レートを低減させることができる。なお、伝送レートを低減させることにより、データ伝送の際に要するコストの低減が図られる。
【０２５２】
そして、復号化装置３００ｅでは、鮮鋭化処理部１００によって、復号結果信号Ｓ３１１で表されるコンテンツが鮮鋭化されるので、コンテンツが画像の場合、復号化後の画像のボケを抑制し、解像度を向上させることができる。また、コンテンツが音声である場合も同様に鮮鋭化され、音質をクリアにすることができる。
【０２５３】
したがって、符号化装置２００ｄにて符号化を行なうとともに、復号化装置３００ｅにて復号化を行なう上記構成によれば、伝送路７００にて伝送させる信号の伝送レートを低減させつつ、かつ、受信側で復号化した後のコンテンツが不鮮鋭になることを抑制することができるという効果を奏する。
【０２５４】
（変形例１）
上述した符号化装置２００ｄでは、ＬＰＦ２１０、鮮鋭化処理部１００、および減算部２５０を用いて、原信号ＳＲで表される原画像に含まれる輪郭部分（エッジ）に相当する信号としての差信号Ｓ２５０を出力する構成である。しかしながら、原画像に含まれる輪郭部分（エッジ）に相当する信号の生成方法は、他の方法であってもよい。最も単純な構成は、原信号ＳＲを高域通過フィルタ（以下、ＨＰＦ）に通すことによって原画像に含まれる輪郭部分（エッジ）に相当する信号を生成する構成である。
【０２５５】
そこで、上記構成について、図２０を参照しながら説明する。図２０は、符号化装置２００ｄの変形例である符号化装置２００ｅの構成例を示すブロック図である。
【０２５６】
同図に示すとおり、符号化装置２００ｅは、符号化装置２００ｄのＬＰＦ２１０、鮮鋭化処理部１００、および減算部２５０に代えて、ＨＰＦ（周波数成分抽出手段）２１５を備えている。
【０２５７】
ＨＰＦ２１５は、一般的に知られている高域通過フィルタであり、原信号ＳＲに含まれる周波数成分のうちの低周波成分を、原信号ＳＲから除去するものである。周波数特性が調整可能な（いわゆるアダプティブな）高域通過フィルタであってもよい。なお、ＨＰＦ２１５から出力される信号を、低周波除去信号（周波数成分抽出信号）Ｓ２１５と表記する。低周波除去信号Ｓ２１５は、原信号ＳＲで表される原画像に含まれる輪郭部分（エッジ）に相当する信号である。
【０２５８】
以上のように、符号化装置２００ｅは、簡易な構成により、符号化装置２００ｄと同様に、原信号ＳＲと、原信号ＳＲに含まれる周波数成分の一部とを切り替えながら符号化するものである。
【０２５９】
ただし、符号化装置２００ｅにて生成される低周波除去信号Ｓ２１５は、単に、原信号ＳＲから低周波成分を除去したものであるため、原信号ＳＲのナイキスト周波数の近傍にある高周波成分を含むものである。そのため、低周波除去信号Ｓ２１５は、符号化装置２００ｄにて生成される差信号Ｓ２５０よりもノイズや細かいエッジを多く含んでいるとともに、差信号Ｓ２５０よりもデータ量が多くなる。
【０２６０】
したがって、符号化装置２００ｅは、符号化装置２００ｄよりも伝送路７００を伝送させる信号の伝送レートが増加するとともに、復号化後の画像がやや不鮮鋭になるものの、回路規模やコストを低減させることを重視する場合は、符号化装置２００ｄよりも符号化装置２００ｅの方が適していると言える。
【０２６１】
（変形例２）
上述した復号化装置３００ｅでは、復号結果信号Ｓ３１１の全てに対して、鮮鋭化処理部１００にて鮮鋭化処理を施す構成としたが、復号結果信号Ｓ３１１に対して鮮鋭化処理を施すか否かを適宜切り替える構成としてもよい。例えば、復号後原信号をそのまま復号結果信号Ｓ３１１としたときは、復号結果信号Ｓ３１１に対して鮮鋭化処理を施さず、一方、復号後差信号に基づいて復号結果信号Ｓ３１１を出力したときは、復号結果信号Ｓ３１１に対して鮮鋭化処理を施す構成としてもよい。これにより、復号結果信号Ｓ３１１の全てに対して鮮鋭化処理を施すのではなく、復号結果信号Ｓ３１１のうち劣化があると考えられる部分（つまり、復号後差信号に基づいて復号結果信号Ｓ３１１をしたとき）のみに対して鮮鋭化処理を施すことができる。
【０２６２】
なお、上記構成は、復号化装置３００ｄの構成と同じであるので、ここではその説明を省略する。
【０２６３】
（変形例３）
上述した復号化装置３００ｅでは、鮮鋭化処理部１００を、復号化制御部３１１の後段に設ける構成である、復号化装置３００ｃと同様に、鮮鋭化処理部１００は必ずしも設けなくてよい。特に、復号結果信号Ｓ３１１で表される復元画像が、鮮鋭化処理を施さなくてもよい程度に不鮮鋭でない場合は、鮮鋭化処理部１００を設けない構成としてもよい。
【０２６４】
〔実施形態４〕
復号化後のコンテンツの劣化度合いは、伝送路７００における伝送帯域の変動やコンテンツ自体に依存して、適宜変わり得るものである。そのため、ＬＰＦ２１０および高周波成分抽出部１１の周波数特性を調整することによって、差信号Ｓ２５０のデータ量を調整する構成としてもよい。
【０２６５】
そこで、本実施形態では、送信側にて、符号化前のコンテンツと、復号化後のコンテンツとを比較し、該比較結果に応じて、ＬＰＦ２１０および高周波成分抽出部１１の周波数特性を調整する形態について説明する。
【０２６６】
本発明の一実施形態について図２１および図２２に基づいて説明すると以下の通りである。本実施形態に係る符号化装置２００を、符号化装置２００ｆと表記する。また、本実施形態に係る復号化装置３００を、復号化装置３００ｆと表記する。
【０２６７】
なお、説明の便宜上、実施形態１から３にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、その説明を省略する。
【０２６８】
（符号化装置および復号化装置の構成）
図２１および図２２を参照しながら、符号化装置２００ｆおよび復号化装置３００ｆの構成例について説明する。図２１および図２２は、それぞれ、符号化装置２００ｆおよび復号化装置３００ｆの構成例を示すブロック図である。
【０２６９】
まず、符号化装置２００ｆの構成について説明する。図２１に示すとおり、符号化装置２００ｆは、ＬＰＦ２１１、ＬＰＦ２１１の後段に設ける鮮鋭化処理部１０１（以下、鮮鋭化処理部１０１Ａと表記する）（高周波成分生成手段）、減算部２５０、信号切替部２４０、符号化処理部（符号化手段）２２２、復号化制御部３１３、復号化制御部３１３の後段に設ける鮮鋭化処理部１０１（以下、鮮鋭化処理部１０１Ｂと表記する）（第２の高周波成分生成手段）、減算部（第２の減算手段）２８０、および周波数成分制御部（周波数成分制御手段）２９０を備えている。なお、鮮鋭化処理部１０１Ａおよび１０１Ｂ、並びに後述する鮮鋭化処理部１０１Ｃを区別しないとき、単に、「鮮鋭化処理部１０１」と表記する。
【０２７０】
なお、鮮鋭化処理部１０１は、次に示す相違点を除き、鮮鋭化処理部１００と同じ構成を有するものである。相違点は、外部からの指示に応じて、高周波成分抽出部１１の周波数特性が調整可能（つまり、高周波成分抽出部１１が抽出する高周波成分の増減が調整可能）であることである。具体的にはフィルタ係数が調整可能になっている。鮮鋭化処理部１０１の構成については説明を省略する。
【０２７１】
ＬＰＦ２１１は、外部からの指示に応じて、周波数特性が調整可能な（いわゆるアダプティブな）低域通過フィルタである。具体的にはフィルタ係数が調整可能になっている。つまり、ＬＰＦ２１１は、除去する高周波成分の増減が調整可能である。なお、ＬＰＦ２１１から出力される信号を、高周波除去信号Ｓ２１１と表記する。
【０２７２】
鮮鋭化処理部１０１Ａは、ＬＰＦ２１１の後段に設けられており、ＬＰＦ２１１から出力される高周波除去信号Ｓ２１１に対して鮮鋭化処理を施した信号（以下、高周波除去信号Ｓ２１１の高調波とも表記する）を出力する。
【０２７３】
符号化処理部２２２は、符号化処理部２２１と同様の機能を備えている。符号化処理部２２２から出力される信号を、符号化信号Ｓ２２２と表記する。なお、符号化処理部２２２と、復号化制御部３１３の復号化処理部３２０および後述する復号化制御部（復号化手段）３１４の復号化処理部３２２とは対になっており、符号化処理部２２２は、復号化制御部３１３の復号化処理部３２０および復号化制御部３１３の復号化処理部３２２にて復号化が可能な符号化信号Ｓ２２２を出力するように構成されているものとする。
【０２７４】
復号化制御部３１３は、図１８を用いて説明した復号化制御部３１１と同じ構成であり、内部に、復号化処理部３２０、および、信号再構成部３３０を備えている。なお、復号化制御部３１３から出力される信号を、復号結果信号Ｓ３１３と表記する。
【０２７５】
鮮鋭化処理部１０１Ｂは、復号化制御部３１３の後段に設けられており、復号化制御部３１３から出力される復号結果信号Ｓ３１３に対して鮮鋭化処理を施した信号（以下、復号結果信号Ｓ３１３の高調波とも表記する）を出力する。
【０２７６】
減算部２８０は、原信号ＳＲから、復号結果信号Ｓ３１３の高調波を減算するものである。減算部２８０から出力される信号を、差信号Ｓ２８０と表記する。なお、減算部２８０には、原信号ＳＲと復号結果信号Ｓ３１３の高調波との間のタイミングを調整するための遅延素子が適宜含まれているものとする。
【０２７７】
周波数成分制御部２９０は、復号結果信号Ｓ３１３の高調波で表される画像と原画像との差が少なくなるように、ＬＰＦ２１１、並びに、鮮鋭化処理部１０１Ａおよび鮮鋭化処理部１０１Ｂの高周波成分抽出部１１を制御し、周波数特性を調整するものである。
【０２７８】
そのために、周波数成分制御部２９０は、まず、差信号Ｓ２８０の絶対値の総和（以下、総和ＳＵと表記する）と所定閾値とを比較する。なお、総和ＳＵは、復号結果信号Ｓ３１１の高調波で表される画像と原画像との差異を示す値であると言える。
【０２７９】
また、復号結果信号Ｓ３１３の高調波で表される画像は、後述する復号化装置３００ｆにて復号化された復号結果信号（復号化信号）Ｓ３１４の高調波で表される画像と同じ画像である。よって、総和ＳＵは、復元画像と原画像との差異を示す値であると言える。したがって、総和ＳＵの値が大きいほど、復元画像と原画像との差異が大きいこととなる。
【０２８０】
そこで、上記比較の結果、総和ＳＵが所定閾値より大きいとき、周波数成分制御部２９０は、復元画像と原画像との差異が小さくなるように、ＬＰＦ２１１、鮮鋭化処理部１０１Ａ、および鮮鋭化処理部１０１Ｂを制御する。つまり、差信号Ｓ２５０のデータ量が多くなるように制御する。具体的には、（Ａ）ＬＰＦ２１１が除去する高周波成分を減少させるようにＬＰＦ２１１の周波数特性を調整するか、または、（Ｂ）鮮鋭化処理部１０１Ａおよび１０１Ｂが抽出する高周波成分を増加させるように鮮鋭化処理部１０１Ａおよび１０１Ｂの高周波成分抽出部１１の周波数特性を調整するか、または、上記（Ａ）および（Ｂ）の両方を行なう。
【０２８１】
一方、上記比較の結果、総和ＳＵが所定閾値以下のとき、周波数成分制御部２９０は、差信号Ｓ２５０のデータ量が小さくなるように、ＬＰＦ２１１、鮮鋭化処理部１０１Ａ、および鮮鋭化処理部１０１Ｂを制御する。具体的には、（Ｃ）ＬＰＦ２１１が除去する高周波成分を増加させるようにＬＰＦ２１１の周波数特性を調整するか、または、（Ｄ）鮮鋭化処理部１０１Ａおよび１０１Ｂが抽出する高周波成分を減少させるように鮮鋭化処理部１０１Ａおよび１０１Ｂの高周波成分抽出部１１の周波数特性を調整するか、または、上記（Ｃ）および（Ｄ）の両方を行なう。
【０２８２】
なお、鮮鋭化処理部１０１Ａおよび１０１Ｂの高周波成分抽出部１１の周波数特性は、同一になるように調整する。
【０２８３】
また、鮮鋭化処理部１０１Ａおよび１０１Ｂが備える高周波成分抽出部１１の周波数特性の調整内容（以下、周波数特性調整情報Ｆ１と表記する）は、復号化装置３００ｆに送信されるものとする。例えば、符号化処理部２２２を介して、符号化信号Ｓ２２２と多重化されて復号化装置３００ｆに送信される。
【０２８４】
次に、復号化装置３００ｆの構成について説明する。復号化装置３００ｆは、復号化制御部３１４、および復号化制御部３１４の後段に設ける鮮鋭化処理部１０１（以下、鮮鋭化処理部１０１Ｃと表記する）（第３の高周波成分生成手段）を備えている。
【０２８５】
復号化制御部３１４は、復号化処理部３２０を復号化処理部３２２に置き換えた点を除き復号化制御部３１１と同じ構成である。復号化処理部３２２は、次の相違点を除いて、復号化処理部３２０と同じ機能を有している。相違点は、符号化装置２００ｆから送信される周波数特性調整情報Ｆ１に従って、復号化制御部３１４の後段に設けられている鮮鋭化処理部１０１Ｃが抽出する高周波成分の増減を調整することである。具体的には、鮮鋭化処理部１０１Ｃが備える高周波成分抽出部１１の周波数特性の調整を行なうことである。当該調整の内容は、鮮鋭化処理部１０１Ａおよび１０１Ｂが備える高周波成分抽出部１１の周波数特性の調整内容と同じである。
【０２８６】
なお、復号化制御部３１４から出力される信号を、復号結果信号Ｓ３１４と表記する。復号結果信号Ｓ３１４は、原画像に対応する復元画像を表す信号である。
【０２８７】
そして、復号化装置３００ｆは、鮮鋭化処理部１０１Ｃを、復号化制御部３１４の後段に設ける構成であり、復号化制御部３１３から出力される復号結果信号Ｓ３１４が、鮮鋭化処理部１０１Ｃの入力信号となる。したがって、復号化装置３００ｆは、鮮鋭化処理部１０１Ｃにて、復号結果信号Ｓ３１４に対して非線形演算に基づく鮮鋭化処理を施す。つまり、復号化装置３００ｆの鮮鋭化処理部１００によって、復号結果信号Ｓ３１４で表される復元画像が、鮮鋭化される。
【０２８８】
（上記構成により奏される効果）
上述したように、符号化装置２００ｆは、内部に復号化装置３００ｆと同等の機能を備えており、復号化装置３００ｆにて復号化された復元画像を生成するとともに、原画像との差異を比較することができる。そして、該比較結果に応じて、差信号Ｓ２５０のデータ量を調整している。また、符号化装置２００ｆにて調整した内容を、復号化装置３００ｆに送信し、復号化装置３００ｆにおける鮮鋭化処理に反映させている。これにより、復号化装置３００ｆにて復号化される復元画像の画質の調整、および、伝送路７００を伝送させるデータ量の調整を行なうことができる。
【０２８９】
したがって、符号化装置２００ｆおよび復号化装置３００ｆを含む伝送システムでは、復号化後のコンテンツの劣化度合い、および、伝送路７００を伝送させるデータ量を適切に調整することができる。
【０２９０】
（変形例１）
伝送路７００を伝送させるデータ量を抑えるために、さらに、符号化装置にて符号化を行なう前に信号の間引きを行なうとともに、復号化後に信号の補間を行なう構成としてもよい。
【０２９１】
そこで、上記構成について、図２３および図２４を参照しながら説明する。図２３および図２４は、それぞれ、符号化装置２００ｆの変形例である符号化装置２００ｇ、および、復号化装置３００ｆの変形例である復号化装置３００ｇの構成例を示すブロック図である。
【０２９２】
図２３に示すように、符号化装置２００ｇは、符号化装置２００ｆと同じ構成を備えているが、さらに、信号切替部２４０と符号化処理部２２２との間にダウンサンプラ（信号間引手段）２７０を備え、また、復号化制御部３１１と鮮鋭化処理部１０１Ｂとの間にアップサンプラ（信号補間手段）２７１を備えている。
【０２９３】
また、図２４に示すように、復号化装置３００ｇは、復号化装置３００ｆと同じ構成を備えているが、さらに、復号化制御部３１３と鮮鋭化処理部１０１Ｃとの間にアップサンプラ３７１を備えている。
【０２９４】
（変形例２）
上述した符号化装置２００ｆおよび復号化装置３００ｆでは、それぞれ、鮮鋭化処理部１０１Ｂおよび鮮鋭化処理部１０１Ｃを設け、復号後の復元画像を鮮鋭化する構成としたが、鮮鋭化処理部１０１Ｂおよび鮮鋭化処理部１０１Ｃは必ずしも設けなくてよい。特に、復元画像が、鮮鋭化処理を施さなくてもよい程度に不鮮鋭でない場合は、鮮鋭化処理部１００を設けない構成としてもよい。
【０２９５】
この場合、周波数成分制御部２９０は、総和ＳＵが所定閾値より大きいとき、（Ａ）ＬＰＦ２１１が除去する高周波成分を減少させるようにＬＰＦ２１１の周波数特性を調整するか、または、（Ｂ’）鮮鋭化処理部１０１Ａが抽出する高周波成分を増加させるように鮮鋭化処理部１０１Ａの高周波成分抽出部１１の周波数特性を調整するか、または、上記（Ａ）および（Ｂ’）の両方を行なう。
【０２９６】
一方、総和ＳＵが所定閾値以下のとき、周波数成分制御部２９０は、（Ｃ）ＬＰＦ２１１が除去する高周波成分を増加させるようにＬＰＦ２１１の周波数特性を調整するか、または、（Ｄ’）鮮鋭化処理部１０１Ａが抽出する高周波成分を減少させるように鮮鋭化処理部１０１Ａの高周波成分抽出部１１の周波数特性を調整するか、または、上記（Ｃ）および（Ｄ’）の両方を行なう。
【０２９７】
また、鮮鋭化処理部１０１Ｃを設けない場合、符号化装置２００ｆは、周波数特性調整情報Ｆ１を復号化装置３００ｆに送信しなくてよい。
【０２９８】
（変形例３）
上述した実施形態３では、図２０を参照しながら、符号化装置の変形例として、原信号ＳＲをＨＰＦに通すことによって原画像に含まれる輪郭部分（エッジ）に相当する信号を生成する構成について説明した。本実施形態においても、符号化装置２００ｆのＬＰＦ２１１、鮮鋭化処理部１０１Ａ、および減算部２５０に代えて、ＨＰＦ２９１（不図示）を備える構成としてもよい。ＨＰＦ２９１は、外部からの指示に応じて、周波数特性が調整可能な（いわゆるアダプティブな）高域通過フィルタである。具体的にはフィルタ係数が調整可能になっている。つまり、ＨＰＦ２９１は、除去する低周波成分の増減が調整可能である。
【０２９９】
そして、周波数成分制御部２９０は、総和ＳＵが所定閾値より大きいとき、ＨＰＦ２９１が除去する低周波成分を増加させるように、一方、総和ＳＵが所定閾値以下のとき、ＨＰＦ２９１が除去する低周波成分を減少させるように、ＨＰＦ２９１の周波数特性を調整すればよい。
【０３００】
（変形例４）
上述した復号化装置３００ｆでは、復号結果信号Ｓ３１３の全てに対して、鮮鋭化処理部１０１Ｃにて鮮鋭化処理を施す構成としたが、復号結果信号Ｓ３１３に対して鮮鋭化処理を施すか否かを適宜切り替える構成としてもよい。例えば、復号後原信号をそのまま復号結果信号Ｓ３１３とて出力するときは、復号結果信号Ｓ３１３に対して鮮鋭化処理を施さず、一方、復号後差信号に基づいて復号結果信号Ｓ３１３を出力したときは、復号結果信号Ｓ３１３に対して鮮鋭化処理を施す構成としてもよい。これにより、復号結果信号Ｓ３１３の全てに対して鮮鋭化処理を施すのではなく、復号結果信号Ｓ３１３のうち劣化があると考えられる部分（つまり、復号後差信号に基づいて復号結果信号Ｓ３１３をしたとき）のみに対して鮮鋭化処理を施すことができる。
【０３０１】
なお、上記切り替えを行なう構成は、復号化装置３００ｄの構成と同じであるので、ここではその説明を省略する。
【０３０２】
〔付記事項〕
最後に、符号化装置２００および復号化装置３００の各機能は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。
【０３０３】
ソフトウェアによって実現する場合は、符号化装置２００および復号化装置３００（特に、鮮鋭化処理部１００〜１０１、復号化制御部３１１〜３１４、周波数成分制御部２９０）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである符号化装置２００・復号化装置３００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記符号化装置２００・復号化装置３００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０３０４】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０３０５】
また、符号化装置２００・復号化装置３００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０３０６】
このように本明細書において、手段とは必ずしも物理的手段を意味するものではなく、各手段の機能がソフトウェアによって実現される場合も含む。さらに、１つの手段の機能が２つ以上の物理的手段により実現されても、もしくは２つ以上の手段の機能が１つの物理的手段により実現されてもよい。
【０３０７】
以上のように、本発明に係る符号化装置は、画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を出力する符号化装置であって、上記原信号に含まれる周波数成分の一部を上記原信号から抽出することによって周波数成分抽出信号を生成する周波数成分抽出手段と、上記周波数成分抽出信号と上記原信号とを切り替えながら符号化し、該符号化した信号を上記符号化信号に含める符号化手段とを備えている。
【０３０８】
また、本発明に係る符号化装置の制御方法は、画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を出力する符号化装置の制御方法であって、上記原信号に含まれる周波数成分の一部を上記原信号から抽出することによって周波数成分抽出信号を生成する周波数成分抽出ステップと、上記周波数成分抽出信号と上記原信号とを切り替えながら符号化し、該符号化した信号を上記符号化信号に含める符号化ステップとを含んでいる。
【０３０９】
画像の情報量は高周波成分に多く含まれるため、原信号を符号化した信号を常に符号化信号に含める場合と比べて、符号化信号の情報量は全体として低減される。
【０３１０】
したがって、符号化装置から復号化装置に符号化信号を伝送する場合、伝送路における伝送レートを低減させることができるという効果を奏する。そして、伝送レートを低減させることにより、伝送路の設置コストや維持コストなどの、伝送に要するコストの低減を図ることができる。
【０３１１】
また、本発明に係る復号化装置は、画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、該符号化信号を復号化した復号化信号を生成する復号化装置であって、上記コンテンツは、時間的に連続する複数のフレームから構成され、上記符号化において、上記フレーム間の動き補償予測を行なうための動きベクトル情報が出力され、上記符号化信号は、フレーム毎に、上記原信号を符号化した第１の信号、および、上記原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかを含むものであって、上記第１の信号を復号化したとき、上記第１の信号を復号化した信号を、上記復号化信号として生成し、上記第２の信号を復号化したとき、上記ベクトル情報を用いて、直前に出力された上記復号化信号に対する動き補償を行なった後の信号と、上記第２の信号を復号化した信号とを加算した信号を、上記復号化信号として生成する復号化手段を備えている。
【０３１２】
また、本発明に係る復号化装置の制御方法は、画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、該符号化信号を復号化した復号化信号を生成する復号化装置の制御方法であって、上記コンテンツは、時間的に連続する複数のフレームから構成され、上記符号化において、上記フレーム間の動き補償予測を行なうための動きベクトル情報が出力され、上記符号化信号は、フレーム毎に、上記原信号を符号化した第１の信号、および、上記原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかを含むものであって、上記第１の信号を復号化したとき、上記第１の信号を復号化した信号を、上記復号化信号として生成し、上記第２の信号を復号化したとき、上記ベクトル情報を用いて、直前に出力された上記復号化信号に対する動き補償を行なった後の信号と、上記第２の信号を復号化した信号とを加算した信号を、上記復号化信号として生成する復号化ステップを含んでいる。
【０３１３】
よって、フレーム単位で、（１）原信号を符号化した第１の信号、および、（２）原信号に含まれる周波数成分の一部を符号化した第２の信号、のいずれかを含む、情報量が少ない符号化信号を入力として、原信号と同等の信号を復号化することができるので、符号化による情報量の低減を維持しつつ、復号化後の信号をできるだけ劣化させないようにすることができるという効果を奏する。
【０３１４】
さらに、本発明に係る符号化装置は、上記周波数成分抽出手段は、上記原信号に含まれる周波数成分のうち高周波成分を上記原信号から除去することによって高周波除去信号を生成する高周波成分除去手段と、上記高周波除去信号の高調波を生成する高周波成分生成手段と、上記原信号から、上記高周波除去信号の高調波を減算することによって、上記周波数成分抽出信号を生成する減算手段とを備えるとともに、上記高周波成分生成手段は、上記高周波除去信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記高周波除去信号から除去することによって低周波除去信号を生成する低周波成分除去手段と、上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が０の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理手段と、上記非線形処理信号を上記高周波除去信号に加算することによって、上記高調波を生成する加算手段とを備える構成としてもよい。
【０３１５】
上記の構成によれば、原信号に含まれる周波数成分のうち高周波成分を原信号から除去することによって高周波除去信号を生成する。そして、高周波除去信号に含まれる周波数成分のうち、少なくとも直流成分を高周波除去信号から除去することによって低周波除去信号を生成する。そして、上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が０の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成する。そして、上記非線形処理信号を上記高周波除去信号に加算することによって、高周波除去信号の高調波を生成する。そして、原信号から、高周波除去信号の高調波を減算することによって、周波数成分抽出信号を生成する。
【０３１６】
ここで、高周波除去信号の高調波は、例えば、上記高周波除去信号と、低周波除去信号を２乗する等の非線形処理を施した非線形処理信号とを加算することにより生成される。ただし、上記高調波の符号の正負は、低周波除去信号の符号の正負が維持される。
【０３１７】
このように、上記高調波には、高周波除去信号の周波数成分には含まれない高い周波数成分が含まれる。その結果、上記高調波は、高周波除去信号を離散化する場合のサンプリング周波数の１／２の周波数であるナイキスト周波数よりも高い周波数成分を含むこととなる。
【０３１８】
よって、高周波除去信号の上記高調波を原信号から減算することにより生成される上記周波数成分抽出信号は、概略的には、原信号に含まれる高周波成分である。例えば、画像の場合であれば、周波数成分抽出信号は、輪郭部分（エッジ）に相当する信号である。
【０３１９】
したがって、当該周波数成分抽出信号を符号化した信号と原信号を符号化した信号とを含む符号化信号を生成することにより、符号化信号の情報量を低減することに加えて、復号化装置にて、原信号に含まれる高周波成分を復元させることができるという効果を奏する。
【０３２０】
例えば、原信号が画像を表すものである場合、伝送路における伝送レートを低減させることができることに加えて、復号化装置にて復元する画像にて輪郭部分を適切に復元させることが可能となる。
【０３２１】
なお、単に一般的な高域通過フィルタによって原信号に含まれる低周波成分を除去することによって生成される高周波成分と比較すると、原信号から高周波除去信号の上記高調波を減算することによって生成される周波数成分抽出信号は、データ量が少なく、また、原信号のナイキスト周波数の近傍にある高周波成分を含まないことからノイズや細かいエッジを含まない。したがって、本発明の符号化装置は、符号化による情報量を低減させつつ、ノイズ等の不要な情報を含まない符号化信号を生成することができる。符号化信号がノイズや細かいエッジを含まないものであれば、当該符号化信号を復号化して得られる復号化信号においてもノイズや細かいエッジの発生を抑えることができる。
【０３２２】
さらに、本発明に係る符号化装置は、上記コンテンツは、時間的に連続する複数のフレームから構成され、上記符号化手段は、さらに、フレーム毎に、上記原信号を符号化した第１の信号、および、上記周波数成分抽出信号を符号化した第２の信号のいずれかを上記符号化信号に含め、かつ、上記フレーム間の動き補償予測を行なうための動きベクトル情報を出力するものであって、上記符号化信号を復号化することによって復号化信号を生成する復号化手段と、上記復号化信号の高調波を生成する第２の高周波成分生成手段と、上記原信号から、上記復号化信号の高調波を減算することによって差信号を生成する第２の減算手段とを備えるととともに、上記復号化手段は、さらに、上記第１の信号を復号化したとき、上記第１の信号を復号化した信号を、上記復号化信号として生成し、上記第２の信号を復号化したとき、上記動きベクトル情報を用いて、直前に生成された上記復号化信号に対して動き補償を行なった後の信号と、上記第２の信号を復号化した信号とを加算した信号を、上記復号化信号として生成し、上記第２の高周波成分生成手段は、上記復号化信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記復号化信号から除去することによって第２の低周波除去信号を生成する第２の低周波成分除去手段と、上記第２の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第２の低周波除去信号の値が０の近傍のとき、上記第２の低周波除去信号に対して非線形に広義に単調増加する第２の非線形処理信号を生成する第２の非線形処理手段と、上記第２の非線形処理信号を上記復号化信号に加算することによって、上記第２の高周波成分生成手段により生成される高調波を生成する第２の加算手段とを備え、上記高周波成分除去手段、上記低周波成分除去手段、および、上記第２の低周波成分除去手段は、それぞれ、外部からの指示に応じて、除去する周波数成分を増減するものであり、上記差信号の値に応じて、上記高周波成分除去手段、上記低周波成分除去手段、および、上記第２の低周波成分除去手段の少なくともいずれかが除去する周波数成分を増減させる周波数成分制御部を備える構成としてもよい。
【０３２３】
上記の構成によれば、まず、（１）符号化信号を復号化することによって復号化信号を生成する。このとき、原信号を符号化した第１の信号を復号化したとき、上記第１の信号を復号化した信号を上記復号化信号とする。また、周波数成分抽出信号を符号化した第２の信号を復号化したとき、動きベクトル情報を用いて、直前に生成された復号化信号に対して動き補償を行なった後の信号と、第２の信号を復号化した信号とを加算した信号を復号化信号とする。次に、（２）復号化信号に含まれる周波数成分のうち、少なくとも直流成分を復号化信号から除去することによって第２の低周波除去信号を生成する。そして、第２の低周波除去信号の符号の正負が維持され、かつ、少なくとも第２の低周波除去信号の値が０の近傍のとき、第２の低周波除去信号に対して非線形に広義に単調増加する第２の非線形処理信号を生成する。そして、第２の非線形処理信号を復号化信号に加算することによって、復号化信号の高調波を生成する。次に、（３）原信号から復号化信号の高調波を減算することによって差信号を生成する。最後に、（４）差信号の値に応じて、高周波成分除去手段、低周波成分除去手段、および、第２の低周波成分除去手段の少なくともいずれかが除去する周波数成分を増減させる。
【０３２４】
なお、第２の高周波成分生成手段により生成される高調波は、例えば、復号化信号と、第２の低周波除去信号を２乗する等の非線形処理を施した第２の非線形処理信号とを加算することにより生成される。ただし、第２の高周波成分生成手段により生成される高調波の符号の正負は、第２の低周波除去信号の符号の正負が維持される。このように、当該高調波には、復号化信号の周波数成分には含まれない高い周波数成分が含まれる。その結果、当該高調波は、復号化信号を離散化する場合のサンプリング周波数の１／２の周波数であるナイキスト周波数よりも高い周波数成分を含むこととなる。よって、当該高調波は、復号化信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にしたものである。
【０３２５】
よって、第２の高周波成分生成手段により生成される高調波は、復号化信号にて表されるコンテンツを鮮鋭化させたものである。したがって、原信号から、当該高調波を減算することによって生成される差信号は、原信号で表される符号化前のコンテンツと、当該高調波で表される復号化後のコンテンツとの差異を示すものとなる。例えば、差信号に含まれる各信号の絶対値の総和を求めることによって、符号化前のコンテンツと復号化後のコンテンツとの差異を定量的に求めることができる。当該総和が大きいほど、符号化前のコンテンツと復号化後のコンテンツとの差異が大きいと言える。
【０３２６】
ところで、高周波成分除去手段および低周波成分除去手段が除去する周波数成分を増減させることによって、周波数成分抽出信号に含まれる周波数成分を調整することができ、符号化信号の情報量を調整することができる。その結果、符号化信号を復号化することによって得られる復号化信号で表されるコンテンツの鮮鋭度を調整することができる。
【０３２７】
例えば、周波数成分抽出信号に含まれる周波数成分を少なくすると、符号化信号の情報量が減るので、符号化信号を復号化することによって得られる復号化信号で表されるコンテンツは、符号化信号の情報量が多いときと比べて、不鮮鋭なものとなる。なお、この場合、伝送路における符号化信号の伝送レートは低減する。
【０３２８】
一方、周波数成分抽出信号に含まれる周波数成分を増やすと、符号化信号の情報量が増えるので、符号化信号を復号化することによって得られる復号化信号で表されるコンテンツは、符号化信号の情報量が少ないときと比べて、鮮鋭なものとなる。なお、この場合、伝送路における符号化信号の伝送レートは増加する。
【０３２９】
また、第２の低周波成分除去手段が除去する周波数成分の量を増減させることにより、第２の高周波成分生成手段により生成される高調波に含まれる周波数成分を調整することができ、当該高調波の情報量を調整することができる。その結果、当該高調波で表されるコンテンツの鮮鋭度を調整することができる。
【０３３０】
以上にように、高周波成分除去手段、低周波成分除去手段、および、第２の低周波成分除去手段の少なくともいずれかが除去する周波数成分を増減させることにより、符号化信号の情報量、および、復号化後のコンテンツの鮮鋭度を調整することができる。
【０３３１】
よって、差信号の値に応じて、高周波成分除去手段、低周波成分除去手段、および、第２の低周波成分除去手段の少なくともいずれかが除去する周波数成分を増減させる上記構成によれば、符号化前のコンテンツと復号化後のコンテンツとの差異に応じて、符号化信号の情報量、および、復号化後のコンテンツの鮮鋭度を調整することができるという効果を奏する。
【０３３２】
さらに、本発明に係る符号化装置は、上記周波数成分制御部は、上記差信号に含まれる各信号の絶対値の総和が所定閾値よりも大きいとき、上記高周波成分除去手段にて除去する高周波成分を減少させ、かつ、上記低周波成分除去手段にて除去する低周波成分を増加させ、かつ、上記第２の低周波成分除去手段にて除去する低周波成分を増加させるとともに、上記総和が所定閾値以下のとき、上記高周波成分除去手段にて除去する高周波成分を増加させ、かつ、上記低周波成分除去手段にて除去する低周波成分を減少させ、かつ、上記第２の低周波成分除去手段にて除去する低周波成分を減少させる構成としてもよい。
【０３３３】
上記の構成によれば、上記差信号に含まれる各信号の絶対値の総和が所定閾値よりも大きいとき、周波数成分抽出信号に含まれる周波数成分を増やすとともに、第２の高周波成分生成手段により生成される高調波に含まれる周波数成分を増やすことができる。その結果、符号化信号の情報量を増えるので、符号化信号を復号化することによって得られる復号化信号で表されるコンテンツは、符号化信号の情報量が少ないときと比べて、鮮鋭にすることができる。
【０３３４】
また、上記の構成によれば、上記差信号に含まれる各信号の絶対値の総和が所定閾値以下のとき、周波数成分抽出信号に含まれる周波数成分を減らすとともに、第２の高周波成分生成手段により生成される高調波に含まれる周波数成分を減らすことができる。その結果、符号化信号の情報量を減るので、伝送路における符号化信号の伝送レートを低減させることができる。ただし、符号化信号を復号化することによって得られる復号化信号で表されるコンテンツは、符号化信号の情報量が少ないときと比べて、不鮮鋭なものとなる。
【０３３５】
さらに、本発明に係る符号化装置は、上記原信号および上記周波数成分抽出信号に対して信号の間引きを行なう信号間引手段と、上記復号化信号に対して信号の補間を行なう信号補間手段とをさらに備える構成としてもよい。
【０３３６】
上記の構成によれば、符号化前に信号に対して間引き（デシメーション）を行なう。これにより、符号化信号の情報量のさらなる低減を図ることができる。また、間引きに対する処理として、復号化信号に対して信号の補間（インターポレーション、アップサンプリング）を行なっている。そして、補間後の信号に対して非線形処理を施すことによってナイキスト周波数を超える高周波域を補償するため、補間により生じるコンテンツの劣化を抑制している。
【０３３７】
なお、補間後に信号に線形演算による鮮鋭化処理（従来技術）を施す場合、ナイキスト周波数を超える高周波域を補償することができないことから、コンテンツの劣化はあまり改善されない。例えば、画像の場合、ボケが残存したり、解像度があまり向上しない結果となる。
【０３３８】
さらに、本発明に係る符号化装置は、上記非線形処理手段は、２以上の偶数を冪指数として、上記低周波除去信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、上記偶数冪乗信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備える構成としてもよい。
【０３３９】
上記の構成によれば、さらに、２以上の偶数を冪指数として、低周波除去信号を冪乗することにより偶数冪乗信号を生成するとともに、上記偶数冪乗信号のうち、符号の正負が上記冪乗前の周波数成分と異なる部分の符号を反転することによって、非線形処理信号を生成する。
【０３４０】
よって、低周波除去信号を、２以上の偶数を冪指数として冪乗するとともに、符号の正負は、上記冪乗前の低周波除去信号の符号の正負を維持したものが、非線形処理信号として生成されるので、低周波除去信号と非線形処理信号とを加算することによって得られる出力信号は、低周波除去信号には含まれない（すなわち、原信号に含まれない）高い周波数成分が含まれる。
【０３４１】
したがって、原信号に対して線形演算を施す方法よりも、原信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。
【０３４２】
さらに、本発明に係る符号化装置は、上記非線形処理手段は、２以上の偶数を冪指数として、上記低周波除去信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、上記偶数冪乗信号を微分することによって微分信号を生成する微分手段と、上記微分信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備える構成としてもよい。
【０３４３】
上記の構成によれば、さらに、２以上の偶数を冪指数として、低周波除去信号を冪乗することによって偶数冪乗信号を生成するとともに、偶数冪乗信号を微分することによって微分信号を生成し、上記微分信号のうち、符号の正負が上記冪乗前の周波数成分と異なる部分の符号を反転することによって、非線形処理信号を生成する。
【０３４４】
よって、低周波除去信号を、２以上の偶数を冪指数として冪乗し、冪乗後の信号に含まれ得る直流成分を微分することによって除去するとともに、符号の正負は、上記冪乗前の低周波除去信号の符号の正負を維持したものが、非線形処理信号として生成されるので、低周波除去信号と非線形処理信号とを加算することによって得られる出力信号は、低周波除去信号には含まれない（すなわち、原信号に含まれない）周波数成分が含まれる。
【０３４５】
したがって、原信号に対して線形演算を施す方法よりも、原信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。なお、冪乗後の信号に含まれ得る直流成分を微分することによって除去しているので、冪乗後の信号に含まれ得る直流成分を除去しない場合と比べて、信号の立ち上がりおよび立ち下がりをより急峻にすることができる。
【０３４６】
さらに、本発明に係る符号化装置は、上記非線形処理手段は、３以上の奇数を冪指数として、上記低周波除去信号を冪乗することによって、上記非線形処理信号を生成する奇数冪乗演算手段を備える構成としてもよい。
【０３４７】
上記の構成によれば、さらに、３以上の奇数を冪指数として、低周波除去信号を冪乗することによって、非線形処理信号を生成する。
【０３４８】
よって、低周波除去信号を、３以上の奇数を冪指数として冪乗したものが、非線形処理信号として生成されるので、低周波除去信号と非線形処理信号とを加算することによって得られる出力信号は、低周波除去信号には含まれない（すなわち、原信号に含まれない）周波数成分が含まれる。
【０３４９】
したがって、原信号に対して線形演算を施す方法よりも、原信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。
【０３５０】
さらに、本発明に係る符号化装置は、上記非線形処理手段は、上記低周波除去信号を上記低周波除去信号の取り得る最大値で除算した値の絶対値の平方根と、上記最大値とを乗算することによって平方根信号を生成する平方根演算手段と、上記平方根信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備える構成としてもよい。
【０３５１】
上記の構成によれば、上記低周波除去信号を上記低周波除去信号の取り得る最大値で除算した値（つまり、低周波除去信号を正規化した値）の絶対値の平方根と、上記最大値とを乗算した平方根信号であって、符号の正負は低周波除去信号の符号の正負を維持したものが、非線形処理信号として生成される。
【０３５２】
よって、低周波除去信号と非線形処理信号とを加算することによって得られる出力信号は、低周波除去信号には含まれない（すなわち、復号化信号に含まれない）高い周波数成分が含まれる。
【０３５３】
したがって、原信号に対して線形演算を施す方法よりも、原信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。
【０３５４】
さらに、本発明に係る符号化装置は、上記非線形処理手段は、上記非線形処理信号の振幅を、所定の倍率値を乗算することによって調整する振幅調整手段をさらに備える構成としてもよい。
【０３５５】
上記の構成によれば、低周波除去信号と非線形処理信号とを加算することによって得られる出力信号の振幅を適切な大きさに調整することができる。したがって、出力信号の振幅が大きくなりすぎることを防止できるという効果を奏する。
【０３５６】
さらに、本発明に係る符号化装置は、上記非線形処理手段は、上記低周波除去信号の値が０の近傍のとき、絶対値が上記低周波除去信号の絶対値よりも大きい上記非線形処理信号を生成する構成としてもよい。
【０３５７】
上記の構成によれば、低周波除去信号の値が０の近傍のとき、絶対値が低周波除去信号の絶対値よりも大きい非線形処理信号を生成する。
【０３５８】
よって、低周波除去信号の値が０の近傍の区間では、出力信号を生成する際に低周波除去信号に加算する非線形処理信号の値を、低周波除去信号より大きい値にすることができる。
【０３５９】
したがって、低周波除去信号の値が０の近傍の区間において、原信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。
【０３６０】
さらに、本発明に係る符号化装置は、上記低周波成分除去手段は、タップ数が３以上の高域通過型のフィルタである構成としてもよい。
【０３６１】
上記の構成によれば、低周波成分除去手段は、タップ数が３以上の高域通過型のフィルタであるので、原信号から、少なくとも直流成分を適切に除去することができる。
【０３６２】
よって、原信号に含まれる直流成分を除いた低周波除去信号に対して非線形処理を施した非線形処理信号と低周波除去信号とを加算することによって得られる出力信号は、低周波除去信号には含まれない（すなわち、原信号に含まれない）高い周波数成分が含まれる。
【０３６３】
したがって、原信号に対して線形演算を施す方法よりも、原信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。
【０３６４】
さらに、本発明に係る符号化装置は、上記低周波成分除去手段は、上記低周波除去信号のうち、絶対値が所定下限値よりも小さい部分の信号値を０に変更する低レベル信号除去手段と、上記低周波除去信号のうち、絶対値が所定上限値よりも大きい部分の信号値を、符号を維持して絶対値のみ当該上限値以下に変更する高レベル信号除去手段とをさらに備える構成としてもよい。
【０３６５】
上記の構成によれば、低周波除去信号のうち、絶対値が所定下限値よりも小さい部分の信号値を０に変更するとともに、低周波除去信号のうち、絶対値が所定上限値よりも大きい部分の信号値を、符号を維持して絶対値のみ当該上限値以下に変更する。
【０３６６】
よって、低周波除去信号に含まれるノイズを除去することができるとともに、低周波除去信号に含まれるエネルギーが大きい高周波成分が、非線形処理によって増幅されることを防ぐことができる。
【０３６７】
したがって、出力信号においても、ノイズが除去されており、かつ、エネルギーが大きい高周波成分が増幅されることを防止できるという効果を奏する。
【０３６８】
また、本発明に係る伝送システムは、上記符号化装置を送信側に備え、上記コンテンツは、時間的に連続する複数のフレームから構成され、上記符号化手段は、さらに、フレーム毎に、上記原信号を符号化した第１の信号、および、上記原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかを上記符号化信号に含め、かつ、上記フレーム間の動き補償予測を行なうための動きベクトル情報を出力するものであって、上記復号化装置を受信側に備えることを特徴としている。
【０３６９】
上記の構成によれば、送信側に備えられた符号化装置から、フレーム毎に、（１）原信号を符号化した第１の信号、および、（２）原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかが含まれる符号化信号が出力される。そして、受信側に備えられた復号化装置は、符号化信号を入力とし、第１の信号を復号化するときは、第１の信号を復号化した信号を復号化信号として生成し、第２の信号を復号化するときは、直前に生成された復号化信号に対して動き補償を行なった後の信号と、第２の信号を復号化した信号とを加算した信号を、次の復号化信号として生成する。これにより、復号化装置にて生成される復号化信号は、符号化および復号化による劣化を除けば、原信号と同等の信号となる。
【０３７０】
したがって、上記伝送システムによれば、第２の信号を含む情報量が少ない符号化信号を符号化装置から出力し、復号化装置にて原信号と同等の信号を復号化することができるので、符号化による情報量の低減を維持しつつ、復号化信号をできるだけ劣化させないようにすることができるという効果を奏する。
【０３７１】
なお、さらに復号化信号に対して上述した非線形処理を施し、復号化信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にするようにしてもよい。これにより、復号化信号で表されるコンテンツを高度に鮮鋭化することができる。
【０３７２】
また、本発明に係る伝送システムは、上記符号化装置を送信側に備え、かつ、上記復号化信号の高調波を生成する第３の高周波成分生成手段をさらに備える上記復号化装置を受信側に備え、上記第３の高周波成分生成手段は、上記復号化信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記復号化信号から除去することによって第３の低周波除去信号を生成する第３の低周波成分除去手段と、上記第３の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第３の低周波除去信号の値が０の近傍のとき、上記第３の低周波除去信号に対して非線形に広義に単調増加する第３の非線形処理信号を生成する第３の非線形処理手段と、上記第３の非線形処理信号を上記復号化信号に加算することによって、上記第３の高周波成分生成手段により生成される高調波を生成する第３の加算手段とを備えており、上記復号化装置が備える復号化手段は、上記符号化装置が備える上記第２の低周波成分除去手段が除去する低周波数成分と、上記第３の低周波除去信号が除去する低周波成分とが一致するように、上記第３の低周波除去信号が除去する低周波成分を増減させることを特徴とすることを特徴としている。
【０３７３】
上記の構成によれば、送信側に備えられた符号化装置から、フレーム毎に、（１）原信号を符号化した第１の信号、および、（２）原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかが含まれる符号化信号が出力される。また、差信号の値に応じて、高周波成分除去手段、低周波成分除去手段、および、第２の低周波成分除去手段の少なくともいずれかが除去する周波数成分を増減させる。
【０３７４】
一方、受信側に備えられた復号化装置は、符号化信号を入力とし、第１の信号を復号化するときは、第１の信号を復号化した信号を復号化信号として生成し、第２の信号を復号化するときは、直前に生成された復号化信号に対して動き補償を行なった後の信号と、第２の信号を復号化した信号とを加算した信号を、次の復号化信号として生成する。これにより、復号化装置にて生成される復号化信号は、符号化および復号化による劣化を除けば、原信号と同等の信号となる。
【０３７５】
さらに、復号化信号に含まれる周波数成分のうち、少なくとも直流成分を復号化信号から除去することによって第３の低周波除去信号を生成する。そして、第３の低周波除去信号の符号の正負が維持され、かつ、少なくとも第３の低周波除去信号の値が０の近傍のとき、第３の低周波除去信号に対して非線形に広義に単調増加する第３の非線形処理信号を生成する。そして、第３の非線形処理信号を復号化信号に加算することによって、第３の高周波成分生成手段により生成される高調波を生成する。ここで、当該高調波は、例えば、復号化信号と、第３の低周波除去信号を２乗する等の非線形処理を施した第３の非線形処理信号とを加算することにより生成される。ただし、当該高調波の符号の正負は、第３の低周波除去信号の符号の正負が維持される。このように、第３の高周波成分生成手段により生成される高調波には、高周波除去信号の周波数成分には含まれない高い周波数成分が含まれる。その結果、当該高調波は、高周波除去信号を離散化する場合のサンプリング周波数の１／２の周波数であるナイキスト周波数よりも高い周波数成分を含むこととなる。
【０３７６】
そして、復号化装置では、符号化装置が備える第２の低周波成分除去手段が除去する低周波数成分と、第３の低周波除去信号が除去する低周波成分とが一致するように、第３の低周波除去信号が除去する低周波成分を増減させる。これにより、符号化装置にて行なう復号化後のコンテンツに対する鮮鋭化処理と、復号化装置にて行なう復号化後のコンテンツに対する鮮鋭化処理とを一致させることができる。
【０３７７】
したがって、符号化装置と復号化装置との間で、復号化後のコンテンツに対する鮮鋭化の度合いを合せながら、符号化信号の情報量を調節することができるという効果を奏する。
【０３７８】
なお、上記符号化装置および復号化装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記符号化装置および復号化装置をコンピュータにて実現させる上記符号化装置および復号化装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０３７９】
さらに、上記の各手段を実行させる回路を備えるチップや、制御プログラムが格納されたＲＯＭ（read only memory）なども、本発明の範疇に入る。
【０３８０】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０３８１】
発明の詳細な説明の項においてなされた具体的な実施形態または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する特許請求事項の範囲内で、いろいろと変更して実施することができるものである。
【産業上の利用可能性】
【０３８２】
本発明は、符号化装置を含む送信側から復号化装置を含む受信側にデータを伝送する伝送システムに適用できる。特に、画像や音声などを符号化して伝送する伝送システムに好適に適用できる。
【符号の説明】
【０３８３】
１１                        高周波成分抽出部（低周波成分除去手段、第２の低周波成分除去手段、第３の低周波成分除去手段）
１５                        加算部（加算手段、第２の加算手段、第３の加算手段）
２１                        非線形演算部（偶数冪乗演算手段、平方根演算手段）
２２                        非線形演算部（奇数冪乗演算手段）
３１                        微分部（微分手段）
４１                        符号変換部（符号変換手段）
５１                        リミッタ（振幅調整手段）
１００、１００ａ〜１００ｅ、  鮮鋭化処理部（高周波成分生成手段）
１０１                        鮮鋭化処理部（高周波成分生成手段、第２の高周波成分生成手段、第３の高周波成分生成手段）
１０２、１０２ａ〜１０２ｅ    非線形処理部（非線形処理手段、第２の非線形処理手段、第３の非線形処理手段）
１３２                        丸め処理部（低レベル信号除去手段）
１３３                        リミッタ（高レベル信号除去手段）
２００、２００ａ〜２００ｇ    符号化装置
２１０、２１１                低域通過フィルタ（高周波成分除去手段、周波数成分抽出手段）
２１５                        高域通過フィルタ（周波数成分抽出手段）
２２１、２２２                符号化処理部（符号化手段）
２３０                        周波数成分抽出部（周波数成分抽出手段）
２５０                        減算部（減算手段）
２７０                        ダウンサンプラ（信号間引手段）
２７１                        アップサンプラ（信号補間手段）
２８０                        減算部（第２の減算手段）
２９０                        周波数成分制御部（周波数成分制御手段）
３００、３００ａ〜３００ｇ    復号化装置
３１１、３１２、３１４        復号化制御部（復号化手段）
３１３                        復号化制御部（復号化手段）
９００                        伝送システム
Ｓ１１                        高周波信号（低周波除去信号、第２の低周波除去信号、第３の低周波除去信号）
Ｓ１２                        非線形処理信号（第２の非線形処理信号、第３の非線形処理信号）
Ｓ２１                        非線形信号（偶数冪乗信号、平方根信号）
Ｓ２２                        非線形信号
Ｓ３１                        微分信号
Ｓ２１０                      高周波除去信号（周波数成分抽出信号）
Ｓ２１５                      低周波除去信号（周波数成分抽出信号）
Ｓ２２０、Ｓ２２１、Ｓ２２２  符号化信号
Ｓ２５０                      差信号（周波数成分抽出信号）
Ｓ３１１、Ｓ３１２、Ｓ３１４  復号結果信号（復号化信号）
ＳＲ                          原信号
【図１】
2011061957.tif 000027
【図２】
2011061957.tif 000028
【図３】
2011061957.tif 000029
【図４】
2011061957.tif 000030
【図５】
2011061957.tif 000031
【図６】
2011061957.tif 000032
【図７】
2011061957.tif 000033
【図８】
2011061957.tif 000034
【図９】
2011061957.tif 000035
【図１０】
2011061957.tif 000036
【図１１】
2011061957.tif 000037
【図１２】
2011061957.tif 000038
【図１３】
2011061957.tif 000039
【図１４】
2011061957.tif 000040
【図１５】
2011061957.tif 000041
【図１６】
2011061957.tif 000042
【図１７】
2011061957.tif 000043
【図１８】
2011061957.tif 000044
【図１９】
2011061957.tif 000045
【図２０】
2011061957.tif 000046
【図２１】
2011061957.tif 000047
【図２２】
2011061957.tif 000048
【図２３】
2011061957.tif 000049
【図２４】
2011061957.tif 000050
【手続補正書】
【提出日】平成24年5月7日(2012.5.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を出力する符号化装置であって、
上記原信号に含まれる周波数成分の一部を上記原信号から抽出することによって周波数成分抽出信号を生成する周波数成分抽出手段と、
上記周波数成分抽出信号と上記原信号とを切り替えながら符号化し、該符号化した信号を上記符号化信号に含める符号化手段とを備え、
上記周波数成分抽出手段は、
上記原信号に含まれる周波数成分のうち高周波成分を上記原信号から除去することによって高周波除去信号を生成する高周波成分除去手段と、
上記高周波除去信号の高調波を生成する高周波成分生成手段と、
上記原信号から、上記高周波除去信号の高調波を減算することによって、上記周波数成分抽出信号を生成する減算手段とを備えるとともに、
上記高周波成分生成手段は、
上記高周波除去信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記高周波除去信号から除去することによって低周波除去信号を生成する低周波成分除去手段と、
上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が０の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理手段と、
上記非線形処理信号を上記高周波除去信号に加算することによって、上記高調波を生成する加算手段とを備えることを特徴とする符号化装置。
【請求項２】
上記コンテンツは、時間的に連続する複数のフレームから構成され、
上記符号化手段は、さらに、
フレーム毎に、上記原信号を符号化した第１の信号、および、上記周波数成分抽出信号を符号化した第２の信号のいずれかを上記符号化信号に含め、かつ、
上記フレーム間の動き補償予測を行なうための動きベクトル情報を出力するものであって、
上記符号化信号を復号化することによって復号化信号を生成する復号化手段と、
上記復号化信号の高調波を生成する第２の高周波成分生成手段と、
上記原信号から、上記復号化信号の高調波を減算することによって差信号を生成する第２の減算手段とを備えるととともに、
上記復号化手段は、さらに、
上記第１の信号を復号化したとき、上記第１の信号を復号化した信号を、上記復号化信号として生成し、
上記第２の信号を復号化したとき、上記動きベクトル情報を用いて、直前に生成された上記復号化信号に対して動き補償を行なった後の信号と、上記第２の信号を復号化した信号とを加算した信号を、上記復号化信号として生成し、
上記第２の高周波成分生成手段は、
上記復号化信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記復号化信号から除去することによって第２の低周波除去信号を生成する第２の低周波成分除去手段と、
上記第２の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第２の低周波除去信号の値が０の近傍のとき、上記第２の低周波除去信号に対して非線形に広義に単調増加する第２の非線形処理信号を生成する第２の非線形処理手段と、
上記第２の非線形処理信号を上記復号化信号に加算することによって、上記第２の高周波成分生成手段により生成される高調波を生成する第２の加算手段とを備え、
上記高周波成分除去手段、上記低周波成分除去手段、および、上記第２の低周波成分除去手段は、それぞれ、外部からの指示に応じて、除去する周波数成分を増減するものであり、
上記差信号の値に応じて、上記高周波成分除去手段、上記低周波成分除去手段、および、上記第２の低周波成分除去手段の少なくともいずれかが除去する周波数成分を増減させる周波数成分制御部を備えることを特徴とする請求項１に記載の符号化装置。
【請求項３】
上記周波数成分制御部は、
上記差信号に含まれる各信号の絶対値の総和が所定閾値よりも大きいとき、
上記高周波成分除去手段にて除去する高周波成分を減少させ、かつ、
上記低周波成分除去手段にて除去する低周波成分を増加させ、かつ、
上記第２の低周波成分除去手段にて除去する低周波成分を増加させるとともに、
上記総和が所定閾値以下のとき、
上記高周波成分除去手段にて除去する高周波成分を増加させ、かつ、
上記低周波成分除去手段にて除去する低周波成分を減少させ、かつ、
上記第２の低周波成分除去手段にて除去する低周波成分を減少させることを特徴とする請求項２に記載の符号化装置。
【請求項４】
上記原信号および上記周波数成分抽出信号に対して信号の間引きを行なう信号間引手段と、
上記復号化信号に対して信号の補間を行なう信号補間手段とをさらに備えることを特徴とする請求項３に記載の符号化装置。
【請求項５】
上記非線形処理手段は、
２以上の偶数を冪指数として、上記低周波除去信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、
上記偶数冪乗信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備えることを特徴とする請求項１から４のいずれか１項に記載の符号化装置。
【請求項６】
上記非線形処理手段は、
２以上の偶数を冪指数として、上記低周波除去信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、
上記偶数冪乗信号を微分することによって微分信号を生成する微分手段と、
上記微分信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備えることを特徴とする請求項１から４のいずれか１項に記載の符号化装置。
【請求項７】
上記非線形処理手段は、３以上の奇数を冪指数として、上記低周波除去信号を冪乗することによって、上記非線形処理信号を生成する奇数冪乗演算手段を備えることを特徴とする請求項１から４のいずれか１項に記載の符号化装置。
【請求項８】
上記非線形処理手段は、
上記低周波除去信号を上記低周波除去信号の取り得る最大値で除算した値の絶対値の平方根と、上記最大値とを乗算することによって平方根信号を生成する平方根演算手段と、
上記平方根信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備えることを特徴とする請求項１から４のいずれか１項に記載の符号化装置。
【請求項９】
上記非線形処理手段は、上記非線形処理信号の振幅を、所定の倍率値を乗算することによって調整する振幅調整手段をさらに備えることを特徴とする請求項１から８のいずれか１項に記載の符号化装置。
【請求項１０】
上記非線形処理手段は、上記低周波除去信号の値が０の近傍のとき、絶対値が上記低周波除去信号の絶対値よりも大きい上記非線形処理信号を生成することを特徴とする請求項１から９のいずれか１項に記載の符号化装置。
【請求項１１】
上記低周波成分除去手段は、タップ数が３以上の高域通過型のフィルタであることを特徴とする請求項１から１０のいずれか１項に記載の符号化装置。
【請求項１２】
上記低周波成分除去手段は、
上記低周波除去信号のうち、絶対値が所定下限値よりも小さい部分の信号値を０に変更する低レベル信号除去手段と、
上記低周波除去信号のうち、絶対値が所定上限値よりも大きい部分の信号値を、符号を維持して絶対値のみ当該上限値以下に変更する高レベル信号除去手段とをさらに備えることを特徴とする請求項１から１１のいずれか１項に記載の符号化装置。
【請求項１３】
画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、該符号化信号を復号化した復号化信号を生成する復号化装置であって、
上記コンテンツは、時間的に連続する複数のフレームから構成され、
上記符号化において、上記フレーム間の動き補償予測を行なうための動きベクトル情報が出力され、
上記符号化信号は、フレーム毎に、上記原信号を符号化した第１の信号、および、上記原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかを含むものであって、
上記第１の信号を復号化したとき、上記第１の信号を復号化した信号を、上記復号化信号として生成し、
上記第２の信号を復号化したとき、上記動きベクトル情報を用いて、直前に出力された上記復号化信号に対する動き補償を行なった後の信号と、上記第２の信号を復号化した信号とを加算した信号を、上記復号化信号として生成する復号化手段を備えることを特徴とする復号化装置。
【請求項１４】
画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を出力する符号化装置の制御方法であって、
上記原信号に含まれる周波数成分の一部を上記原信号から抽出することによって周波数成分抽出信号を生成する周波数成分抽出ステップと、
上記周波数成分抽出信号と上記原信号とを切り替えながら符号化し、該符号化した信号を上記符号化信号に含める符号化ステップとを含み、
上記周波数成分抽出ステップは、
上記原信号に含まれる周波数成分のうち高周波成分を上記原信号から除去することによって高周波除去信号を生成する高周波成分除去ステップと、
上記高周波除去信号の高調波を生成する高周波成分生成ステップと、
上記原信号から、上記高周波除去信号の高調波を減算することによって、上記周波数成分抽出信号を生成する減算ステップとを含むとともに、
上記高周波成分生成ステップは、
上記高周波除去信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記高周波除去信号から除去することによって低周波除去信号を生成する低周波成分除去ステップと、
上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が０の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理ステップと、
上記非線形処理信号を上記高周波除去信号に加算することによって、上記高調波を生成する加算ステップとを含むことを特徴とする符号化装置の制御方法。
【請求項１５】
画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、該符号化信号を復号化した復号化信号を生成する復号化装置の制御方法であって、
上記コンテンツは、時間的に連続する複数のフレームから構成され、
上記符号化において、上記フレーム間の動き補償予測を行なうための動きベクトル情報が出力され、
上記符号化信号は、フレーム毎に、上記原信号を符号化した第１の信号、および、上記原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかを含むものであって、
上記第１の信号を復号化したとき、上記第１の信号を復号化した信号を、上記復号化信号として生成し、
上記第２の信号を復号化したとき、上記動きベクトル情報を用いて、直前に出力された上記復号化信号に対する動き補償を行なった後の信号と、上記第２の信号を復号化した信号とを加算した信号を、上記復号化信号として生成する復号化ステップを含むことを特徴とする復号化装置の制御方法。
【請求項１６】
請求項１に記載の符号化装置を送信側に備え、
上記コンテンツは、時間的に連続する複数のフレームから構成され、
上記符号化手段は、さらに、
フレーム毎に、上記原信号を符号化した第１の信号、および、上記原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかを上記符号化信号に含め、かつ、
上記フレーム間の動き補償予測を行なうための動きベクトル情報を出力するものであって、
請求項１３に記載の復号化装置を受信側に備えることを特徴とする伝送システム。
【請求項１７】
請求項２または３に記載の符号化装置を送信側に備え、かつ、
上記復号化信号の高調波を生成する第３の高周波成分生成手段をさらに備える請求項１３に記載の復号化装置を受信側に備え、
上記第３の高周波成分生成手段は、
上記復号化信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記復号化信号から除去することによって第３の低周波除去信号を生成する第３の低周波成分除去手段と、
上記第３の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第３の低周波除去信号の値が０の近傍のとき、上記第３の低周波除去信号に対して非線形に広義に単調増加する第３の非線形処理信号を生成する第３の非線形処理手段と、
上記第３の非線形処理信号を上記復号化信号に加算することによって、上記第３の高周波成分生成手段により生成される高調波を生成する第３の加算手段とを備えており、
上記復号化装置が備える復号化手段は、上記符号化装置が備える上記第２の低周波成分除去手段が除去する低周波数成分と、上記第３の低周波成分除去手段が除去する低周波成分とが一致するように、上記第３の低周波成分除去手段が除去する低周波成分を増減させることを特徴とすることを特徴とする伝送システム。
【請求項１８】
請求項１から１２のいずれか１項に記載の符号化装置が備えるコンピュータを上記の各手段として機能させるための制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１９】
請求項１３に記載の復号化装置が備えるコンピュータを上記の各手段として機能させるための制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０２２６
【補正方法】変更
【補正の内容】
【０２２６】
まず、出力切替部３４０は、復号化装置３００ｄから出力する信号線を切り替えるスイッチである。出力切替部３４０は、復号化制御部３１２の復号化処理部３２１からの指示に応じて、接続点Ｏｕｔ４を接続点Ｉｎ４１と接続するか、または、接続点Ｉｎ４２と接続するかを切り替える。なお、接続点Ｏｕｔ４と接続点Ｉｎ４２とを接続すると、鮮鋭化処理部１００の出力信号が復号化装置３００ｄから出力される。一方、接続点Ｏｕｔ４と接続点Ｉｎ４１とを接続すると、復号結果信号Ｓ３１２が復号化装置３００ｄから出力される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０２４３
【補正方法】変更
【補正の内容】
【０２４３】
また、本実施形態では、入力信号Ａ１１は原信号ＳＲであり、入力信号Ａ１２は差信号Ｓ２５０である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０２７３
【補正方法】変更
【補正の内容】
【０２７３】
符号化処理部２２２は、符号化処理部２２１と同様の機能を備えている。符号化処理部２２２から出力される信号を、符号化信号Ｓ２２２と表記する。なお、符号化処理部２２２と、復号化制御部３１３の復号化処理部３２０および後述する復号化制御部（復号化手段）３１４の復号化処理部３２２とは対になっており、符号化処理部２２２は、復号化制御部３１３の復号化処理部３２０および復号化制御部３１４の復号化処理部３２２にて復号化が可能な符号化信号Ｓ２２２を出力するように構成されているものとする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０２８７
【補正方法】変更
【補正の内容】
【０２８７】
そして、復号化装置３００ｆは、鮮鋭化処理部１０１Ｃを、復号化制御部３１４の後段に設ける構成であり、復号化制御部３１４から出力される復号結果信号Ｓ３１４が、鮮鋭化処理部１０１Ｃの入力信号となる。したがって、復号化装置３００ｆは、鮮鋭化処理部１０１Ｃにて、復号結果信号Ｓ３１４に対して非線形演算に基づく鮮鋭化処理を施す。つまり、復号化装置３００ｆの鮮鋭化処理部１００によって、復号結果信号Ｓ３１４で表される復元画像が、鮮鋭化される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０２９２
【補正方法】変更
【補正の内容】
【０２９２】
図２３に示すように、符号化装置２００ｇは、符号化装置２００ｆと同じ構成を備えているが、さらに、信号切替部２４０と符号化処理部２２２との間にダウンサンプラ（信号間引手段）２７０を備え、また、復号化制御部３１３と鮮鋭化処理部１０１Ｂとの間にアップサンプラ（信号補間手段）２７１を備えている。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０２９３
【補正方法】変更
【補正の内容】
【０２９３】
また、図２４に示すように、復号化装置３００ｇは、復号化装置３００ｆと同じ構成を備えているが、さらに、復号化制御部３１４と鮮鋭化処理部１０１Ｃとの間にアップサンプラ３７１を備えている。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０３７２
【補正方法】変更
【補正の内容】
【０３７２】
また、本発明に係る伝送システムは、上記符号化装置を送信側に備え、かつ、上記復号化信号の高調波を生成する第３の高周波成分生成手段をさらに備える上記復号化装置を受信側に備え、上記第３の高周波成分生成手段は、上記復号化信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記復号化信号から除去することによって第３の低周波除去信号を生成する第３の低周波成分除去手段と、上記第３の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第３の低周波除去信号第３の低周波除去信号の値が０の近傍のとき、上記第３の低周波除去信号に対して非線形に広義に単調増加する第３の非線形処理信号を生成する第３の非線形処理手段と、上記第３の非線形処理信号を上記復号化信号に加算することによって、上記第３の高周波成分生成手段により生成される高調波を生成する第３の加算手段とを備えており、上記復号化装置が備える復号化手段は、上記符号化装置が備える上記第２の低周波成分除去手段が除去する低周波数成分と、上記第３の低周波成分除去手段が除去する低周波成分とが一致するように、上記第３の低周波成分除去手段が除去する低周波成分を増減させることを特徴とすることを特徴としている。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０３７６
【補正方法】変更
【補正の内容】
【０３７６】
そして、復号化装置では、符号化装置が備える第２の低周波成分除去手段が除去する低周波数成分と、第３の低周波成分除去手段が除去する低周波成分とが一致するように、第３の低周波成分除去手段が除去する低周波成分を増減させる。これにより、符号化装置にて行なう復号化後のコンテンツに対する鮮鋭化処理と、復号化装置にて行なう復号化後のコンテンツに対する鮮鋭化処理とを一致させることができる。
【手続補正１０】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2011061957.tif 000051
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2011061957.tif 000052
【国際調査報告】
2011061957.tif 000053
2011061957.tif 000054
2011061957.tif 000055
2011061957.tif 000056