(57)【要約】入力画像が元々有していた高精細成分が、符号化処理により失われた場合に、元々高精細成分を有していた箇所に対して、復号化時に高精細感を復元することができる、画像符号化方法および画像復号化方法を提供する。画像符号化装置の付加情報生成部１０２は、高精細成分を復元すべき位置を決定し、決定した位置を示す位置情報ＰＳを出力する重畳位置決定部２０１と、復元すべき高精細成分を決定し、決定した高精細成分を示す高精細成分情報ＯＣを出力する重畳成分決定部２０２と、高精細成分を重畳する際のパラメータＯＰを出力する重畳パラメータ決定部２０３と、位置情報ＰＳ、高精細成分情報ＯＣ、およびパラメータＯＰに対して必要に応じて可変長符号化等を施し、付加情報ＡＩとして出力する符号列生成部２０４とを備える。【特許請求の範囲】
【請求項１】
入力画像に対して符号化処理を行い、第１の符号列を生成するとともに、符号化済み画像の復号画像を生成する画像符号化ステップと、
前記入力画像が有している高精細成分と、前記高精細成分が存在する前記入力画像内の位置情報とを抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分に関する付加情報を生成する付加情報生成ステップと
を含むことを特徴とする画像符号化方法。
【請求項２】
前記画像符号化方法は、さらに、
前記付加情報を含む第２の符号列を生成する第２符号列生成ステップを含む
ことを特徴とする請求項１記載の画像符号化方法。
【請求項３】
前記画像符号化ステップでは、前記付加情報を前記第１の符号列のヘッダ領域またはユーザデータ領域に記述する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項４】
前記抽出ステップでは、前記入力画像と前記復号画像との差分画像を生成し、生成した前記差分画像を用いて前記高精細成分を有している領域を特定し、前記位置情報を抽出する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項５】
前記抽出ステップでは、生成した前記差分画像の分散を算出し、算出した分散値が所定値以上である領域を、前記高精細成分を有している領域として特定し、前記位置情報を抽出する
ことを特徴とする請求項４記載の画像符号化方法。
【請求項６】
前記抽出ステップでは、前記入力画像または前記復号画像から特定の色成分を抽出し、抽出した前記特定の色成分を有している領域を、前記高精細成分を有している領域として特定し、前記位置情報を抽出する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項７】
前記特定の色成分は緑である
ことを特徴とする請求項６記載の画像符号化方法。
【請求項８】
前記抽出ステップでは、前記入力画像または前記復号画像から高域周波数成分を抽出し、抽出した前記高域周波数成分を所定値以上有している領域を、前記高精細成分を有している領域として特定し、前記位置情報を抽出する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項９】
前記抽出ステップでは、前記入力画像と前記復号画像との差分画像を生成し、生成した前記差分画像を用いて前記高精細成分を抽出する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項１０】
前記抽出ステップでは、前記高精細成分を予め設定されている関数のパラメータを用いて表現する
ことを特徴とする請求項９記載の画像符号化方法。
【請求項１１】
前記関数は正規分布関数である
ことを特徴とする請求項１０記載の画像符号化方法。
【請求項１２】
前記付加情報生成ステップでは、前記抽出ステップにおいて抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分および前記位置情報を含む前記付加情報を生成する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項１３】
前記付加情報生成ステップでは、前記抽出ステップにおいて抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分に対するゲインを算出し、算出した前記ゲインを含めて前記付加情報を生成する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項１４】
画像を符号化して得られる第１の符号列を復号化して復号画像を生成する画像復号化ステップと、
前記復号画像に対応した高精細成分に関する付加情報を取得する取得ステップと、
前記付加情報に基づいて高精細成分を生成する高精細成分生成ステップと、
前記復号画像または前記付加情報に基づいて、前記高精細成分を前記復号画像に重畳すべき位置を決定する重畳位置決定ステップと、
前記復号画像に対して、前記重畳位置決定ステップにおいて決定された前記位置に前記高精細成分を重畳する合成ステップと
を含むことを特徴とする画像復号化方法。
【請求項１５】
前記取得ステップでは、前記付加情報を含む第２の符号列より前記付加情報を取得する
ことを特徴とする請求項１４記載の画像復号化方法。
【請求項１６】
前記取得ステップでは、前記第１の符号列より前記付加情報を取得する
ことを特徴とする請求項１４記載の画像復号化方法。
【請求項１７】
前記重畳位置決定ステップでは、前記高精細成分を重畳すべき位置を、前記付加情報に含まれている位置情報に基づいて決定する
ことを特徴とする請求項１４記載の画像復号化方法。
【請求項１８】
前記重畳位置決定ステップでは、前記復号画像から特定の色成分を抽出し、抽出した前記特定の色成分を有している領域を、前記高精細成分を重畳すべき位置として決定する
ことを特徴とする請求項１４記載の画像復号化方法。
【請求項１９】
前記特定の色成分は緑である
ことを特徴とする請求項１８記載の画像復号化方法。
【請求項２０】
前記重畳位置決定ステップでは、前記復号画像から高域周波数成分を抽出し、抽出した前記高域周波数成分を所定値以上有している領域を、前記高精細成分を重畳すべき位置として決定する
ことを特徴とする請求項１４記載の画像復号化方法。
【請求項２１】
前記高精細成分生成ステップでは、
前記付加情報に含まれる予め設定されている関数のパラメータを用いて、前記高精細成分を生成する
ことを特徴とする請求項１４記載の画像復号化方法。
【請求項２２】
前記関数は正規分布関数である
ことを特徴とする請求項２１記載の画像復号化方法。
【請求項２３】
入力画像に対して符号化処理を行い、第１の符号列を生成するとともに、符号化済み画像の復号画像を生成する画像符号化手段と、
前記入力画像が有している高精細成分と、前記高精細成分が存在する前記入力画像内の位置情報とを抽出する抽出手段と、
前記抽出手段で抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分を含む高精細成分に関する付加情報を生成する付加情報生成手段と
を備えることを特徴とする画像符号化装置。
【請求項２４】
画像を符号化して得られる第１の符号列を復号化して復号画像を生成する画像復号化手段と、
前記復号画像に対応した高精細成分に関する付加情報を取得する取得手段と、
前記付加情報に基づいて高精細成分を生成する高精細成分生成手段と、
前記復号画像または前記付加情報に基づいて、前記高精細成分を前記復号画像に重畳すべき位置を決定する重畳位置決定手段と、
前記復号画像に対して、前記重畳位置決定手段で決定された前記位置に前記高精細成分を重畳する合成手段と
を備えることを特徴とする画像復号化装置。
【請求項２５】
入力画像に対して符号化処理を行い、第１の符号列を生成するとともに、符号化済み画像の復号画像を生成する画像符号化ステップと、
前記入力画像が有している高精細成分と、前記高精細成分が存在する前記入力画像内の位置情報とを抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分を含む高精細成分に関する付加情報を生成する付加情報生成ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項２６】
画像を符号化して得られる第１の符号列を復号化して復号画像を生成する画像復号化ステップと、
前記復号画像に対応した高精細成分に関する付加情報を取得する取得ステップと、
前記付加情報に基づいて高精細成分を生成する高精細成分生成ステップと、
前記復号画像または前記付加情報に基づいて、前記高精細成分を前記復号画像に重畳すべき位置を決定する重畳位置決定ステップと、
前記復号画像に対して、前記重畳位置決定ステップにおいて決定された前記位置に前記高精細成分を重畳する合成ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項２７】
入力画像に対して符号化処理を行い、第１の符号列を生成するとともに、符号化済み画像の復号画像を生成する画像符号化手段と、
前記入力画像が有している高精細成分と、前記高精細成分が存在する前記入力画像内の位置情報とを抽出する抽出手段と、
前記抽出手段で抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分を含む高精細成分に関する付加情報を生成する付加情報生成手段と
を備えることを特徴とする集積回路。
【請求項２８】
画像を符号化して得られる第１の符号列を復号化して復号画像を生成する画像復号化手段と、
前記復号画像に対応した高精細成分に関する付加情報を取得する取得手段と、
前記付加情報に基づいて高精細成分を生成する高精細成分生成手段と、
前記復号画像または前記付加情報に基づいて、前記高精細成分を前記復号画像に重畳すべき位置を決定する重畳位置決定手段と、
前記復号画像に対して、前記重畳位置決定手段で決定された前記位置に前記高精細成分を重畳する合成手段と
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像信号を高能率圧縮符号化する際の画像符号化方法および画像復号化方法に関するものである。
【背景技術】
【０００２】  一般に、画像を圧縮して符号化すると、画像が元々有していた高周波数成分が符号化処理により失われてしまう。そこで、特許文献１では、画像の符号化により失われたノイズ成分を復号後に付加する方法が開示されている。この方法では、符号化側で符号列のユーザデータ内に記述されたノイズ量を示すフラグ、または符号化列に記述されている量子化パラメータと符号列のユーザデータ内に記述されたプリフィルタパラメータとを用いて、付加すべきノイズ量を決定し、復号後の画像にホワイトノイズを付加している。
【特許文献１】特開平８−７９７６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】  しかしながら、上記従来の方法では、画面全体に同一量のホワイトノイズが付加される。またはマクロブロック毎に量子化パラメータとプリフィルタパラメータにより決定される量のホワイトノイズが重畳される。すなわち、画面内の画像の特性には無関係に付加すべきノイズ量が決定されている。例えば、上記従来の方法によると、元々高周波数成分を有していない箇所にもノイズが重畳されることとなり、これは視覚的な画質劣化として認知されることとなる。【０００４】  そこで、本発明は、上記従来の課題を解決するものであり、入力画像が元々有していた高周波数成分、すなわち高精細成分が、符号化処理により失われた場合に、元々高精細成分を有していた箇所に対して、復号化時に高精細感を復元することができる、画像符号化方法および画像復号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】  上記目的を達成するため、本発明に係る画像符号化方法は、入力画像に対して符号化処理を行い、第１の符号列を生成するとともに、符号化済み画像の復号画像を生成する画像符号化ステップと、前記入力画像が有している高精細成分と、前記高精細成分が存在する前記入力画像内の位置情報とを抽出する抽出ステップと、前記抽出ステップにおいて抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分に関する付加情報を生成する付加情報生成ステップとを含むことを特徴とする。【０００６】  これによって、従来の画像符号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）と互換性を有する符号列を生成し、それとは別に、さらに高精細成分生成のための付加情報を生成することができる。この付加情報は、高精細成分そのものを画像データとして符号化するのではなく、高精細成分の一部を用いたり、高精細成分を生成するためのパラメータを用いたりすることで、データ量は極めて少なくすることができ、少ない情報量の増加で高画質化を図ることができる。【０００７】  ここで、前記付加情報生成ステップでは、前記抽出ステップにおいて抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分および前記位置情報を含む前記付加情報を生成してもよい。【０００８】  また、記付加情報生成ステップでは、前記抽出ステップにおいて抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分に対するゲインを算出し、算出した前記ゲインを含めて前記付加情報を生成してもよい。【０００９】  これによって、高精細成分を重畳する際の位置、種類（モデルやモデルパラメータ）、量（ゲイン）、等の情報も生成するので、入力画像に高精細成分を有している箇所に対してのみ高精細成分を重畳するための情報を生成することができる。または、入力画像が高精細成分を有していて、かつ復号画像には高精細成分が欠如した箇所に対してのみ高精細成分を重畳するための情報を生成することができる。これにより、従来では入力画像が有する高精細成分に適した重畳ができなかった点を解消し、大幅に画質を改善することができる。【００１０】  本発明に係る画像復号化方法は、画像を符号化して得られる第１の符号列を復号化して復号画像を生成する画像復号化ステップと、前記復号画像に対応した高精細成分に関する付加情報を取得する取得ステップと、前記付加情報に基づいて高精細成分を生成する高精細成分生成ステップと、前記復号画像または前記付加情報に基づいて、前記高精細成分を前記復号画像に重畳すべき位置を決定する重畳位置決定ステップと、前記復号画像に対して、前記重畳位置決定ステップにおいて決定された前記位置に前記高精細成分を重畳する合成ステップとを含むことを特徴とする。【００１１】  これによって、従来の画像復号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）を用いて符号化された符号列から復号画像を生成し、それとは別に、さらに高精細成分生成のための付加情報を用いて画像の高精細成分を生成し、それを復号画像に重畳することにより、高精細画像を生成することができる。この付加情報は、高精細成分そのものを画像データとして符号化されているのではなく、高精細成分画像の一部であっ���り、高精細成分を生成するためのパラメータであったりするので、データ量は極めて少なくすることができ、少ない情報量の付加情報で高画質化を図ることができる。【００１２】  ここで、前記重畳位置決定ステップでは、前記高精細成分を重畳すべき位置を、前記付加情報に含まれている位置情報に基づいて決定してもよい。【００１３】  また、前記重畳位置決定ステップでは、前記復号画像から特定の色成分を抽出し、抽出した前記特定の色成分を有している領域を、前記高精細成分を重畳すべき位置として決定してもよい。【００１４】  また、前記重畳位置決定ステップでは、前記復号画像から高域周波数成分を抽出し、抽出した前記高域周波数成分を所定値以上有している領域を、前記高精細成分を重畳すべき位置として決定してもよい。【００１５】  これによって、付加情報に含まれている、高精細成分を重畳する際の位置の情報に応じて、または復号画像の特徴（高周波数成分を有している箇所、特定の色成分を有している箇所）に応じて、高精細成分を重畳するので、入力画像に高精細成分を有している箇所等に対してのみ高精細成分を重畳するための情報を生成することができる。これにより、従来では入力画像が有する高精細成分に適した重畳ができなかった点を解消し、大幅に画質を改善することができる。【００１６】  なお、本発明は、このような画像符号化方法および画像復号化方法として実現することができるだけでなく、このような画像符号化方法および画像復号化方法が備える特徴的なステップを手段とする画像符号化装置および画像復号化装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００１７】  本発明に係る画像符号化方法および画像復号化方法によれば、従来の画像符号化方法および画像復号化方法と比較して、高精細成分が符号化処理により失われた場合のみ、高精細成分を表現する情報を主映像とは別に符号化するため、符号量の増加がわずかで、かつ大幅に画質を向上させることができ、その実用的価値が高い。
【図面の簡単な説明】
【００１８】
【図１】図１は、本発明の画像符号化方法を用いた画像符号化装置の構成例を示すブロック図（実施の形態１）である。
【図２】図２は、本発明の画像符号化方法を用いた画像符号化装置における付加情報生成部の構成例を示すブロック図（実施の形態１）である。
【図３】図３は、本発明の画像符号化方法を用いた画像符号化装置における重畳位置決定部の構成を示すブロック図（実施の形態１）であり、（ａ）第１の構成例、（ｂ）第１の構成例の変形例である。
【図４】図４は、本発明の画像符号化方法を用いた画像符号化装置における重畳位置決定部の構成を示すブロック図（実施の形態１）であり、（ａ）第２の構成例、（ｂ）第２の構成例の変形例である。
【図５】図５は、本発明の画像符号化方法を用いた画像符号化装置における重畳位置決定部の構成を示すブロック図（実施の形態１）であり、（ａ）第３の構成例、（ｂ）第３の構成例の変形例である。
【図６】図６は、本発明の画像符号化方法を用いた画像符号化装置における重畳位置決定部の構成を示すブロック図（実施の形態１）であり、（ａ）第４の構成例、（ｂ）第４の構成例の変形例である。
【図７】図７は、本発明の画像符号化方法を用いた画像符号化装置における重畳成分決定部の第１の構成例を示すブロック図（実施の形態１）である。
【図８】図８は、本発明の画像符号化方法を用いた画像符号化装置における重畳成分決定部の第２の構成例を示すブロック図（実施の形態１）である。
【図９】図９は、本発明の画像符号化方法を用いた画像符号化装置における重畳パラメータ決定部の構成例を示すブロック図（実施の形態１）である。
【図１０】図１０は、本発明の画像符号化方法を用いた画像符号化装置における付加情報生成部の動作の流れを示すフローチャート（実施の形態１）である。
【図１１】図１１は、本発明の画像復号化方法を用いた画像復号化装置の構成例を示すブロック図（実施の形態２）である。
【図１２】図１２は、本発明の画像復号化方法を用いた画像復号化装置における付加情報処理部の第１の構成例を示すブロック図（実施の形態２）である。
【図１３】図１３は、本発明の画像復号化方法を用いた画像復号化装置における付加情報処理部の第２の構成例を示すブロック図（実施の形態２）である。
【図１４】図１４は、本発明の画像復号化方法を用いた画像復号化装置における付加情報処理部の動作の流れを示すフローチャート（実施の形態２）である。
【図１５】図１５は、各実施の形態の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図（実施の形態３）であり、（ａ）記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、（ｂ）フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、（ｃ）フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。
【図１６】図１６は、コンテンツ供給システムの全体構成を示すブロック図（実施の形態４）である。
【図１７】図１７は、画像符号化方法および画像復号化方法を用いた携帯電話の例（実施の形態４）を示す図である。
【図１８】図１８は、携帯電話のブロック図（実施の形態４）である。
【図１９】図１９は、ディジタル放送用システムの例（実施の形態４）である。
【符号の説明】
【００１９】  １０１  画像符号化部
１０２  付加情報生成部
２０１  重畳位置決定部
２０２  重畳成分決定部
２０３  重畳パラメータ決定部
２０４  符号列生成部
７０１、８０１  重畳位置決定部
７０２、８０２  重畳成分生成部
７０３、８０３  合成部
１２０１  画像復号化部
１２０２  付加情報処理部
【発明を実施するための最良の形態】
【００２０】  以下、本発明の実施の形態について、図１から図１９を用いて説明する。【００２１】  （実施の形態１）
図１は、本発明の画像符号化方法を用いた画像符号化装置１００の構成を示すブロック図である。図１に示すように、画像符号化装置１００は、画像符号化部１０１および付加情報生成部１０２を備えている。【００２２】  入力画像ＯＲは、画像符号化部１０１に入力される。画像符号化部１０１は、従来の画像符号化方法を実施する。従来の画像符号化方法としては、ＩＳＯ／ＩＥＣ規格であるＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式やＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式、ＩＴＵ−Ｔ規格であるＨ．２６ｘ方式、等を用いることができる。画像符号化部１０１は、入力画像ＯＲを符号化して得られる符号列ＢＳと、復号画像ＬＤとを出力する。符号列ＢＳは、画像符号化装置１００の外部に出力され、伝送、蓄積、等の処理が施される。【００２３】  復号画像ＬＤは、付加情報生成部１０２に入力される。また、付加情報生成部１０２には、入力画像ＯＲも入力される。付加情報生成部１０２は、入力画像ＯＲと復号画像ＬＤとを用いて、入力画像ＯＲから失われている高精細成分を復元するための付加情報ＡＩを生成する。付加情報ＡＩは、画像符号化装置１００の外部に出力され、符号列ＢＳと共に、伝送、蓄積、等の処理が施される。【００２４】  付加情報ＡＩは、符号列ＢＳ中のヘッダ領域やユーザデータ領域に記述して、伝送、蓄積、等の処理をしても良いし、符号列ＢＳとは別の符号列として、伝送、蓄積、等の処理をしても良い。【００２５】  以下で、付加情報生成部１０２において付加情報ＡＩを生成する際の処理例について説明する。【００２６】  図２は、付加情報生成部１０２の構成を示すブロック図である。【００２７】  付加情報生成部１０２は、図２に示すように重畳位置決定部２０１、重畳成分決定部２０２、重畳パラメータ決定部２０３、および符号列生成部２０４を備えている。【００２８】  重畳位置決定部２０１は、入力された入力信号ＯＲと復号画像ＬＤとに基づいて、高精細成分を復元すべき位置を決定し、決定した位置を示す位置情報ＰＳを出力する。重畳成分決定部２０２は、入力された入力信号ＯＲ、復号画像ＬＤ、および位置情報ＰＳに基づいて、高精細成分を示す高精細成分情報ＯＣを出力する。重畳パラメータ決定部２０３は、入力された入力信号ＯＲ、復号画像ＬＤ、位置情報ＰＳ、高精細成分情報ＯＣに基づいて、高精細成分情報ＯＣを重畳する際のパラメータＯＰを出力する。符号列生成部２０４は、入力された位置情報ＰＳ、高精細成分情報ＯＣ、およびパラメータＯＰに対して必要に応じて可変長符号化等を施し、付加情報ＡＩとして出力する。以下で、重畳位置決定部２０１、重畳成分決定部２０２、重畳パラメータ決定部２０３の処理の詳細を順に説明する。【００２９】  （重畳位置決定部２０１の第１の処理例）
図３（ａ）は、重畳位置決定部２０１の第１の構成例を示すブロック図である。重畳位置決定部２０１は、差分演算部５０１、およびしきい値処理部５０２を備えている。【００３０】  差分演算部５０１は、入力画像ＯＲから復号画像ＬＤを引くことにより、差分画像を生成し出力する。【００３１】  しきい値処理部５０２は、差分演算部５０１により生成された差分画像の画素値の絶対値が所定のしきい値以上である部分を抽出し、その部分の画面内での位置を位置情報ＰＳとして出力する。この場合、差分画像を所定の大きさを有するブロックに分割し、ブロック毎に差分画像の画素値の絶対値がしきい値を超える画素数を計数し、その画素数が別のしきい値を超えたブロックについて、そのブロックの位置を示す位置情報ＰＳを出力しても良い。【００３２】  また、図３（ｂ）に示すように、差分演算部５０１の処理後に、高域通過フィルタ５０３を挿入しても良い。これにより、差分画像に対する低域成分を除去し、差分画像の高域成分のみを用いて高精細成分を更に精度良く抽出することができる。【００３３】  （重畳位置決定部２０１の第２の処理例）
図４（ａ）は、重畳位置決定部２０１の第２の構成例を示すブロック図である。重畳位置決定部２０１は、差分演算部６０１、分散計算部６０２、およびしきい値処理部６０３を備えている。【００３４】  差分演算部６０１は、入力画像ＯＲから復号画像ＬＤを引くことにより、差分画像を生成し出力する。【００３５】  分散計算部６０２は、差分演算部６０１により生成された差分画像の画素値に対して、分散値を計算する。この場合には、例えば、差分画像を所定の大きさを有するブロックに分割し、ブロック毎に差分画像の画素値の分散値を計算すれば良い。分散計算部６０２は、得られた分散値をしきい値処理部６０３に対して出力する。【００３６】  しきい値処理部６０３は、分散計算部６０２から出力された分散値を用い、所定のしきい値以上の分散値を有する部分を検出し、その部分の画面内での位置を位置情報ＰＳとして出力する。【００３７】  また、図４（ｂ）に示すように、差分演算部６０１の処理後に、高域通過フィルタ６０４を挿入しても良い。これにより、差分画像に対する低域成分を除去し、高域成分のみを用いて分散値を計算し、高精細成分を更に精度良く抽出することができる。【００３８】  （重畳位置決定部２０１の第３の処理例）
図５（ａ）は、重畳位置決定部２０１の第３の構成例を示すブロック図である。重畳位置決定部２０１は、色差成分検査部３０１、およびしきい値処理部３０２を備えている。【００３９】  色差成分検査部３０１には、入力画像ＯＲまたは復号画像ＬＤが入力される。色差成分検査部３０１は、入力された画像の色差成分を用いて、予め設定された色を有する箇所を抽出する。予め設定された色としては、例えば緑、水色、青、赤、等がある。例えば、緑に設定された場合、木や草、等の部分を抽出することができる。また、水色に設定された場合、水、海、等の部分を抽出することができる。設定された色を有する箇所を抽出する方法としては、設定された色を画素値で示し、その画素値を中心として画素値がある範囲に属する画素を抽出する方法、設定された色を周波数で示し、その周波数を中心周波数とするバンドパスフィルタにより抽出する方法、等がある。【００４０】  しきい値処理部３０２は、色差成分検査部３０１から出力された色成分に対してしきい値処理を施し、しきい値以上の色成分を有する部分の画面内での位置情報ＰＳを出力する。【００４１】  なお、色差成分検査部３０１に復号画像ＬＤを入力する場合には、復号時にも同じ処理を行えば、位置情報ＰＳを得ることができるので、この場合には、位置情報ＰＳは符号列生成部２０４において、付加情報ＡＩに含めても良いし、含めなくても良い。また、位置情報ＰＳを得るために色差成分を用いていることや、しきい値処理部３０２におけるしきい値を付加情報ＡＩに含めても良い。【００４２】  また、本処理例と、重畳位置決定部２０１の第１の処理例または第２の処理例で説明した位置情報ＰＳの取得方法と組み合わせても良い。例えば、重畳位置決定部２０１の第１の処理例と組み合わせた場合の構成を図５（ｂ）に示す。この場合には、位置決定部３０３において、しきい値処理部５０２から出力された結果と、しきい値処理部３０２から出力された結果より、差分画像の画素値の絶対値が所定値よりも大きく、かつ、所定の色成分を有する箇所を抽出し、その位置情報ＰＳを出力する。【００４３】  （重畳位置決定部２０１の第４の処理例）
図６は、重畳位置決定部２０１の第４の構成例を示すブロック図である。重畳位置決定部２０１は、高域通過フィルタ部４０１、およびしきい値処理部４０２を備えている。【００４４】  高域通過フィルタ部４０１には、入力画像ＯＲまたは復号画像ＬＤが入力される。高域通過フィルタ部４０１は、入力された画像に対して、高域通過フィルタを施す。これにより、入力された画像の高域成分が抽出され、それがしきい値処理４０２に入力される。【００４５】  しきい値処理部４０２は、高域通過フィルタ部４０１から出力された画像の高域成分に対してしきい値処理を施し、しきい値以上の高域成分を有する部分の画面内での位置情報ＰＳを出力する。【００４６】  なお、高域通過フィルタ部４０１に復号画像ＬＤを入力する場合には、復号時にも同じ処理を行えば、位置情報ＰＳを得ることができるので、この場合には、位置情報ＰＳは符号列生成部２０４において、付加情報ＡＩに含めても良いし、含めなくても良い。また、位置情報ＰＳを得るために高域成分を用いていることや、しきい値処理部４０２におけるしきい値を付加情報ＡＩに含めても良い。【００４７】  また、本処理例と、重畳位置決定部２０１の第１の処理例または第２の処理例で説明した位置情報ＰＳの取得方法と組み合わせても良い。例えば、重畳位置決定部２０１の第１の処理例と組み合わせた場合の構成を図６（ｂ）に示す。この場合には、位置決定部４０３において、しきい値処理部５０２から出力された結果と、しきい値処理部４０２から出力された結果より、差分画像の画素値の絶対値が所定値よりも大きく、かつ、高域成分を所定値よりも多く有する箇所を抽出し、その位置情報ＰＳを出力する。【００４８】  （重畳成分決定部２０２の第１の処理例）
図７は、重畳成分決定部２０２の第１の構成例を示すブロック図である。重畳成分決定部２０２は、差分演算部９０１、および高精細成分決定部９０２を備えている。【００４９】  差分演算部９０１は、入力画像ＯＲから復号画像ＬＤを引くことにより、差分画像を生成し出力する。【００５０】  高精細成分決定部９０２は、差分演算部９０１から出力された差分画像と、重畳位置決定部２０１から出力された位置情報ＰＳとに基づいて、高精細成分の代表パターンを決定し、出力する。ここでは、例えば、差分画像を所定の領域（例えばブロック）に分割した後、位置情報ＰＳにより指定される箇所のみを抜き出し、その平均値となるパターン、中央値となるパターン、分散値が平均値、または中央値となるパターン、分散値のヒストグラムを生成して頻度がそのピークとなるパターン、等を代表パターンとすれば良い。代表パターンは１つとは限らず、複数であっても良い。代表パターンは、高精細成分情報ＯＣとして出力される。【００５１】  なお、重畳位置決定部２０１において、入力画像ＯＲと復号画像ＬＤとの差分画像を生成している場合には、差分演算部９０１を用いて差分画像を生成する必要はない。【００５２】  （重畳成分決定部２０２の第２の処理例）
図８は、重畳成分決定部２０２の第２の構成例を示すブロック図である。重畳成分決定部２０２は、差分演算部１００１、高精細成分決定部１００２、パラメータ決定部１００３、およびモデル保持部１００４を備えている。【００５３】  差分演算部１００１は、入力画像ＯＲから復号画像ＬＤを引くことにより、差分画像を生成し出力する。【００５４】  高精細成分決定部１００２は、差分演算部１００１から出力された差分画像と、重畳位置決定部２０１から出力された位置情報ＰＳとに基づいて、高精細成分の代表パターンを決定し、決定した代表パターンをパラメータ決定部１００３に対して出力する。これは、高精細成分決定部９０２と同様の処理を行えば良い。【００５５】  パラメータ決定部１００３は、入力された代表パターンをモデル保持部１００４に設定されたモデルで表現する。モデルとしては、例えばガウス分布関数、ポアソン分布関数、等がある。モデルの数は１つでも良いし、複数でも良い。パラメータ決定部１００３は、代表パターンに適合するモデル（モデルが複数の場合）およびモデルのパラメータ（モデルがパラメータにより変わる場合）を決定し、それを高精細成分情報ＯＣとして出力する。代表パターンに適合するモデルおよびモデルのパラメータを決定する方法としては、モデルにより生成したパターンと、高精細成分決定部１００２により決定した代表パターンとの２乗誤差が最小となるものを選択する方法、等で決定することができる。【００５６】  なお、重畳位置決定部２０１において、入力画像ＯＲと復号画像ＬＤとの差分画像を生成している場合には、差分演算部１００１を用いて差分画像を生成する必要はない。【００５７】  （重畳パラメータ決定部２０３の処理例）
図９は、重畳パラメータ決定部２０３の構成例を示すブロック図である。重畳パラメータ決定部２０３は、差分演算部１１０１、パラメータ決定部１１０２、および高精細成分生成部１１０３を備えている。【００５８】  差分演算部１１０１は、入力画像ＯＲから復号画像ＬＤを引くことにより、差分画像ＲＳを生成し出力する。【００５９】  高精細成分生成部１１０３は、重畳成分決定部２０２から入力された高精細成分情報ＯＣを用いて、高精細成分を生成する。例えば、高精細成分情報ＯＣが、重畳成分決定部２０２の第１の処理例により生成された場合、高精細成分情報ＯＣをそのまま高精細成分ＨＣとして出力する。また、高精細成分情報ＯＣが、重畳成分決定部２０２の第２の処理例により生成された場合、モデルおよびモデルパラメータを用いて高精細成分ＨＣを生成し出力する。【００６０】  パラメータ決定部１１０２は、差分画像ＲＳと、高精細成分ＨＣと、重畳位置決定部２０１から出力された位置情報ＰＳとに基づいて、高精細成分ＨＣのゲインを決定する。これは例えば、差分画像ＲＳのうち、位置情報ＰＳにより指定された箇所の画像と、高精細成分ＨＣとの差が最小となるように高精細成分ＨＣのゲインを決定すれば良い。または、差分画像ＲＳのエネルギーと、高精細成分ＨＣのエネルギーを計算し、そのエネルギーの比をゲインとすえば良い。このゲインは、位置情報ＰＳにより指定された箇所毎に決定しても良いし、画面全体の誤差が最小となるように１つのゲインを決めても良い。決定したゲインは、パラメータＯＰとして出力される。【００６１】  次に、上記のように構成された画像符号化装置１００の付加情報生成部１０２の動作について説明する。ここでは、重畳位置決定部２０１が第１の構成例で、重畳成分決定部２０２が第１の構成例である場合について説明する。図１０は、この場合の付加情報生成部１０２の動作の流れを示すフローチャートである。【００６２】  差分演算部５０１は、入力画像ＯＲから復号画像ＬＤを引くことにより、差分画像ＲＳを生成する（ステップＳ１００）。しきい値処理部５０２は、差分演算部５０１により生成された差分画像ＲＳの画素値の絶対値が所定のしきい値以上である部分を抽出し、その部分の画面内での位置、すなわち高精細成分を復元すべき位置を位置情報ＰＳとして出力する（ステップＳ１０１）。次に、高精細成分決定部９０２は、差分画像ＲＳと位置情報ＰＳとに基づいて、高精細成分の代表パターンを決定し、決定した代表パターンを高精細成分情報ＯＣとして出力する（ステップＳ１０２）。次に、パラメータ決定部１１０２は、差分画像ＲＳと、高精細成分ＨＣと、重畳位置決定部２０１から出力された位置情報ＰＳとに基づいて、高精細成分ＨＣのゲインを決定し、決定したゲインをパラメータＯＰとして出力する（ステップＳ１０３）。そして、符号列生成部２０４は、入力された位置情報ＰＳ、高精細成分情報ＯＣ、およびパラメータＯＰに対して必要に応じて可変長符号化等を施し、付加情報ＡＩとして出力する（ステップＳ１０４）。【００６３】  以上のように、本発明の画像符号化方法は、従来の画像符号化方法により入力画像を符号化し、入力画像と従来の画像符号化により生成された復号画像とを比較し、入力画像から失われた高精細成分（高域成分）を抽出する。そして、その高精細成分を表すパターンやパラメータを生成し、その情報を入力画像（主映像）の符号列とは別に符号化している。【００６４】  したがって、本発明の画像符号化方法を用いることにより、従来の画像符号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）等と互換性を有する符号列を生成し、それとは別に、さらに高精細成分生成のための付加情報を生成することができる。この付加情報は、高精細成分そのものを画像データとして符号化するのではなく、高精細成分の一部であったり、高精細成分を生成するためのパラメータであったりするので、データ量は極めて少なくすることができ、少ない情報量の増加で高画質化を図ることができる。また、高精細成分を重畳する際の場所、種類（モデルやモデルパラメータ）、量（ゲイン）、等の情報も生成するので、入力画像に高精細成分を有している箇所に対してのみ高精細成分を重畳するための情報を生成することができる。または、入力画像が高精細成分を有していて、かつ復号画像には高精細成分が欠如した箇所に対してのみ高精細成分を重畳するための情報を生成することができる。これにより、従来では入力画像が有する高精細成分に適した重畳ができなかった点を解消し、大幅に画質を改善することができる。【００６５】  なお、本発明の実施の形態においては、重畳位置決定部２０１での処理方法として４つの例をあげて説明したが、これらは個別に用いても良いし、複数の方法を用いて、位置情報ＰＳを生成しても良い。【００６６】  また、本発明の実施の形態においては、重畳パラメータ決定部２０３で高精細成分を重畳する際のゲインを求める方法について説明したが、これは付加情報ＡＩに含めなくても良い。この場合、復号側では一定のゲインで高精細成分が重畳されることになるが、付加情報ＡＩの情報量を削減することができる。【００６７】  （実施の形態２）
図１１は、本発明の画像復号化方法を用いた画像復号化装置１２００の構成を示すブロック図である。画像復号化装置１２００は、図１１に示すように画像復号化部１２０１および付加情報処理部１２０２を備えている。画像復号化装置１２００には、実施の形態１で説明した本発明の画像符号化方法を用いた画像符号化装置により生成された符号列ＢＳと付加情報ＡＩとが入力される。【００６８】  符号列ＢＳは、画像復号化部１２０１に入力される。画像復号化部１２０１は、符号列ＢＳに対して、従来の画像復号化を実施する。例えば、符号列ＢＳがＪＰＥＧ方式で符号化されたものである場合にはＪＰＥＧ方式で復号化し、符号列ＢＳがＭＰＥＧ方式で符号化されたものである場合にはＭＰＥＧ方式で復号化し、符号列ＢＳがＨ．２６ｘ方式で符号化されたものである場合にはＨ．２６ｘ方式で復号化し、といった具合である。画像復号化部１２０１により生成された復号画像ＤＣは、付加情報処理部１２０２に対して出力される。【００６９】  付加情報処理部１２０２には、復号画像ＤＣと付加情報ＡＩとが入力される。付加情報処理部１２０２は、付加情報ＡＩを用いて復号画像ＤＣに対して処理を施し、高画質復号画像ＨＱとして出力する。【００７０】  以下で、付加情報処理部１２０２での処理方法について説明する。【００７１】  （付加情報処理部１２０２の第１の処理例）
図１２は、付加情報処理部１２０２の第１の構成例を示すブロック図である。付加情報処理部１２０２は、重畳位置決定部７０１、重畳成分生成部７０２、および合成部７０３を備えている。【００７２】  重畳位置決定部７０１は、入力された付加情報ＡＩに記述されている位置情報（実施の形態１における位置情報ＰＳ）により、高精細成分を重畳すべき位置を決定して、位置情報ＤＰＳとして出力する。【００７３】  重畳成分生成部７０２は、入力された付加情報ＡＩに記述されている高精細成分生成用の情報（実施の形態１における高精細成分情報ＯＣとパラメータＯＰ）を用いて、重畳すべき高精細成分を生成する。例えば、高精細成分情報ＯＣが実施の形態１の重畳成分決定部２０２の第１の処理例により生成されている場合、高精細成分情報ＯＣを高精細成分とし、それにパラメータＯＰから得られるゲインを乗じて、高精細成分ＨＩとして出力する。また例えば、高精細成分情報ＯＣが実施の形態１の重畳成分決定部２０２の第２の処理例により生成されている場合、高精細成分情報ＯＣにより指定されているモデル、モデルパラメータを用いて、高精細成分を生成し、それにパラメータＯＰから得られるゲインを乗じて、高精細成分ＨＩとして出力する。【００７４】  合成部７０３は、入力された復号画像ＤＣに対して、位置情報ＤＰＳで指定されている箇所に、高精細成分ＨＩを重畳し、高画質画像ＨＱを生成して出力する。【００７５】  （付加情報処理部１２０２の第２の処理例）
図１３は、付加情報処理部１２０２の第２の構成例を示すブロック図である。付加情報処理部１２０２は、重畳位置決定部８０１、重畳成分生成部８０２、および合成部８０３を備えている。【００７６】  重畳位置決定部８０１は、入力された復号画像ＤＣを用いて高精細成分を重畳すべき位置を決定して、位置情報ＤＰＳとして出力する。高精細成分を重畳すべき位置としては、例えば、特定の色成分を有している領域や、高域成分を有している領域、等を選択する。特定の色成分を有している領域は、実施の形態１の重畳位置決定部２０１の第３の処理例で図５を用いて説明した方法において、入力を復号画像ＤＣとすることにより、決定することができる。また、高域成分を有している領域は、実施の形態１の重畳位置決定部２０１の第４の処理例で図６を用いて説明した方法において、入力を復号画像ＤＣとすることにより、決定することができる。この場合には、付加情報ＡＩには位置情報ＰＳは含まれていないことになる。【００７７】  重畳成分生成部８０２、合成部８０３の処理は、付加情報処理部１２０２の第１の処理例において説明した、重畳成分生成部７０２、合成部７０３の処理と同様であるので、説明は割愛する。【００７８】  次に、上記のように構成された画像復号化装置１２００の付加情報処理部１２０２の動作について説明する。ここでは、付加情報処理部１２０２が第１の構成例である場合について説明する。図１４は、この場合の付加情報処理部１２０２の動作の流れを示すフローチャートである。【００７９】  重畳位置決定部７０１は、入力された付加情報ＡＩに記述されている位置情報により、高精細成分を重畳すべき位置を決定して、位置情報ＤＰＳとして出力する（ステップＳ２０１）。次に、重畳成分生成部７０２は、入力された付加情報ＡＩに記述されている高精細成分生成用の情報を用いて、重畳すべき高精細成分を生成する（ステップＳ２０２）。次に、合成部７０３は、復号画像ＤＣに対して、位置情報ＤＰＳで指定されている箇所に、高精細成分ＨＩを重畳し、高画質画像ＨＱを生成する（ステップＳ２０３）。【００８０】  以上のように、本発明の画像復号化方法は、従来の画像復号化方法により入力画像（主映像）の符号列を復号化し、復号化した復号画像に対して、付加情報を用いて生成した高精細成分を重畳している。【００８１】  したがって、本発明の画像復号化方法を用いることにより、従来の画像復号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）を用いて符号列から復号画像を生成し、それとは別に、さらに高精細成分生成のための付加情報を用いて画像の高精細成分を生成し、それを復号画像に重畳することにより、高精細画像を生成することができる。この付加情報は、高精細成分そのものを画像データとして符号化されているのではなく、高精細成分画像の一部であったり、高精細成分を生成するためのパラメータであったりするので、データ量は極めて少なくすることができ、少ない情報量の付加情報で高画質化を図ることができる。また、付加情報に含まれている、高精細成分を重畳する際の場所、種類（モデルやモデルパラメータ）、量（ゲイン）、等の情報に応じて、または復号画像の特徴（高周波数成分を有している箇所、特定の色成分を有している箇所）に応じて、高精細成分を重畳するので、入力画像に高精細成分を有している箇所等に対してのみ高精細成分を重畳するための情報を生成することができる。これにより、従来では入力画像が有する高精細成分に適した重畳ができなかった点を解消し、大幅に画質を改善することができる。【００８２】  なお、本発明の実施の形態においては、付加情報処理部１２０２の処理方法として２つの例をあげ、位置情報ＰＳが付加情報ＡＩに含まれている場合と、含まれていない場合との説明をしたが、これらは個別に用いても良いし、両者の方法を用いて、重畳位置を決定しても良い。【００８３】  また、本発明の実施の形態においては、重畳成分生成部７０２、重畳成分生成部８０２において、重畳すべき高精細成分に付加情報ＡＩに示されているゲインを乗じる場合について説明したが、付加情報ＡＩにゲイン情報が含まれてない場合には、ゲインは乗じなくても良い。この場合、一定のゲインで高精細成分が重畳されることになるが、付加情報ＡＩの情報量を削減することができる。【００８４】  （実施の形態３）
さらに、上記各実施の形態で示した画像符号化方法および画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。【００８５】  図１５は、上記各実施の形態の画像符号化方法および画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。【００８６】  図１５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。【００８７】  また、図１５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化方法および画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法および画像復号化方法を実現する上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。【００８８】  なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。【００８９】  （実施の形態４）
さらにここで、上記実施の形態で示した画像符号化方法および画像復号化方法の応用例とそれを用いたシステムを説明する。【００９０】  図１６は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。【００９１】  このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。【００９２】  しかし、コンテンツ供給システムｅｘ１００は図１６のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。【００９３】  カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等であり、いずれでも構わない。【００９４】  また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。【００９５】  このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ���１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。【００９６】  このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。【００９７】  その一例として携帯電話について説明する。【００９８】  図１７は、上記実施の形態で説明した画像符号化方法および画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。【００９９】  さらに、携帯電話ｅｘ１１５について図１８を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。【０１００】  電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動��可能な状態に起動する。【０１０１】  携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。【０１０２】  さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。【０１０３】  データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。【０１０４】  画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。【０１０５】  多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。【０１０６】  データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。【０１０７】  また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。【０１０８】  次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。【０１０９】  なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１９に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。【０１１０】  更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。【０１１１】  なお、カ���ナビゲーションｅｘ４１３の構成は例えば図１８に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。【０１１２】  また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。【０１１３】  このように、上記実施の形態で示した画像符号化方法および画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。【０１１４】  なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。【０１１５】  また、各実施形態の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）【０１１６】  ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。【０１１７】  また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。【０１１８】  さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【０１１９】  本発明に係る画像符号化方法および画像復号化方法は、従来の符号化方法および復号化方法と比較して、わずかな符号量の増加で大幅に画質を向上させることができ、かつ対象画像が高精細成分を有していた箇所に対して、高精細成分を復元することができるという効果を有し、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等を用いた蓄積、伝送、通信等における画像符号化方法および画像復号化方法として有用である。
【図１】
2006003873.tif 000002
【図２】
2006003873.tif 000003
【図３】
2006003873.tif 000004
【図４】
2006003873.tif 000005
【図５】
2006003873.tif 000006
【図６】
2006003873.tif 000007
【図７】
2006003873.tif 000008
【図８】
2006003873.tif 000009
【図９】
2006003873.tif 000010
【図１０】
2006003873.tif 000011
【図１１】
2006003873.tif 000012
【図１２】
2006003873.tif 000013
【図１３】
2006003873.tif 000014
【図１４】
2006003873.tif 000015
【図１５】
2006003873.tif 000016
【図１６】
2006003873.tif 000017
【図１７】
2006003873.tif 000018
【図１８】
2006003873.tif 000019
【図１９】
2006003873.tif 000020
【手続補正書】
【提出日】平成18年3月15日(2006.3.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像に対して符号化処理を行い、第１の符号列を生成するとともに、符号化済み画像の復号画像を生成する画像符号化ステップと、
前記入力画像が有している高精細成分と、前記高精細成分が存在する前記入力画像内の位置情報とを抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分に関する付加情報を生成する付加情報生成ステップと
を含むことを特徴とする画像符号化方法。
【請求項２】
前記画像符号化方法は、さらに、
前記付加情報を含む第２の符号列を生成する第２符号列生成ステップを含む
ことを特徴とする請求項１記載の画像符号化方法。
【請求項３】
前記画像符号化ステップでは、前記付加情報を前記第１の符号列のヘッダ領域またはユーザデータ領域に記述する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項４】
前記抽出ステップでは、前記入力画像と前記復号画像との差分画像を生成し、生成した前記差分画像を用いて前記高精細成分を有している領域を特定し、前記位置情報を抽出する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項５】
前記抽出ステップでは、生成した前記差分画像の分散を算出し、算出した分散値が所定値以上である領域を、前記高精細成分を有している領域として特定し、前記位置情報を抽出する
ことを特徴とする請求項４記載の画像符号化方法。
【請求項６】
前記抽出ステップでは、前記入力画像または前記復号画像から特定の色成分を抽出し、抽出した前記特定の色成分を有している領域を、前記高精細成分を有している領域として特定し、前記位置情報を抽出する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項７】
前記特定の色成分は緑である
ことを特徴とする請求項６記載の画像符号化方法。
【請求項８】
前記抽出ステップでは、前記入力画像または前記復号画像から高域周波数成分を抽出し、抽出した前記高域周波数成分を所定値以上有している領域を、前記高精細成分を有している領域として特定し、前記位置情報を抽出する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項９】
前記抽出ステップでは、前記入力画像と前記復号画像との差分画像を生成し、生成した前記差分画像を用いて前記高精細成分を抽出する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項１０】
前記抽出ステップでは、前記高精細成分を予め設定されている関数のパラメータを用いて表現する
ことを特徴とする請求項９記載の画像符号化方法。
【請求項１１】
前記関数は正規分布関数である
ことを特徴とする請求項１０記載の画像符号化方法。
【請求項１２】
前記付加情報生成ステップでは、前記抽出ステップにおいて抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分および前記位置情報を含む前記付加情報を生成する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項１３】
前記付加情報生成ステップでは、前記抽出ステップにおいて抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分に対するゲインを算出し、算出した前記ゲインを含めて前記付加情報を生成する
ことを特徴とする請求項１記載の画像符号化方法。
【請求項１４】
画像を符号化して得られる第１の符号列を復号化して復号画像を生成する画像復号化ステップと、
前記復号画像に対応した高精細成分に関する付加情報を取得する取得ステップと、
前記付加情報に基づいて高精細成分を生成する高精細成分生成ステップと、
前記復号画像または前記付加情報に基づいて、前記高精細成分を前記復号画像に重畳すべき位置を決定する重畳位置決定ステップと、
前記復号画像に対して、前記重畳位置決定ステップにおいて決定された前記位置に前記高精細成分を重畳する合成ステップと
を含むことを特徴とする画像復号化方法。
【請求項１５】
前記取得ステップでは、前記付加情報を含む第２の符号列より前記付加情報を取得する
ことを特徴とする請求項１４記載の画像復号化方法。
【請求項１６】
前記取得ステップでは、前記第１の符号列より前記付加情報を取得する
ことを特徴とする請求項１４記載の画像復号化方法。
【請求項１７】
前記重畳位置決定ステップでは、前記高精細成分を重畳すべき位置を、前記付加情報に含まれている位置情報に基づいて決定する
ことを特徴とする請求項１４記載の画像復号化方法。
【請求項１８】
前記重畳位置決定ステップでは、前記復号画像から特定の色成分を抽出し、抽出した前記特定の色成分を有している領域を、前記高精細成分を重畳すべき位置として決定する
ことを特徴とする請求項１４記載の画像復号化方法。
【請求項１９】
前記特定の色成分は緑である
ことを特徴とする請求項１８記載の画像復号化方法。
【請求項２０】
前記重畳位置決定ステップでは、前記復号画像から高域周波数成分を抽出し、抽出した前記高域周波数成分を所定値以上有している領域を、前記高精細成分を重畳すべき位置として決定する
ことを特徴とする請求項１４記載の画像復号化方法。
【請求項２１】
前記高精細成分生成ステップでは、
前記付加情報に含まれる予め設定されている関数のパラメータを用いて、前記高精細成分を生成する
ことを特徴とする請求項１４記載の画像復号化方法。
【請求項２２】
前記関数は正規分布関数である
ことを特徴とする請求項２１記載の画像復号化方法。
【請求項２３】
入力画像に対して符号化処理を行い、第１の符号列を生成するとともに、符号化済み画像の復号画像を生成する画像符号化手段と、
前記入力画像が有している高精細成分と、前記高精細成分が存在する前記入力画像内の位置情報とを抽出する抽出手段と、
前記抽出手段で抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分を含む高精細成分に関する付加情報を生成する付加情報生成手段と
を備えることを特徴とする画像符号化装置。
【請求項２４】
画像を符号化して得られる第１の符号列を復号化して復号画像を生成する画像復号化手段と、
前記復号画像に対応した高精細成分に関する付加情報を取得する取得手段と、
前記付加情報に基づいて高精細成分を生成する高精細成分生成手段と、
前記復号画像または前記付加情報に基づいて、前記高精細成分を前記復号画像に重畳すべき位置を決定する重畳位置決定手段と、
前記復号画像に対して、前記重畳位置決定手段で決定された前記位置に前記高精細成分を重畳する合成手段と
を備えることを特徴とする画像復号化装置。
【請求項２５】
入力画像に対して符号化処理を行い、第１の符号列を生成するとともに、符号化済み画像の復号画像を生成する画像符号化ステップと、
前記入力画像が有している高精細成分と、前記高精細成分が存在する前記入力画像内の位置情報とを抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分を含む高精細成分に関する付加情報を生成する付加情報生成ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項２６】
画像を符号化して得られる第１の符号列を復号化して復号画像を生成する画像復号化ステップと、
前記復号画像に対応した高精細成分に関する付加情報を取得する取得ステップと、
前記付加情報に基づいて高精細成分を生成する高精細成分生成ステップと、
前記復号画像または前記付加情報に基づいて、前記高精細成分を前記復号画像に重畳すべき位置を決定する重畳位置決定ステップと、
前記復号画像に対して、前記重畳位置決定ステップにおいて決定された前記位置に前記高精細成分を重畳する合成ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項２７】
入力画像に対して符号化処理を行い、第１の符号列を生成するとともに、符号化済み画像の復号画像を生成する画像符号化手段と、
前記入力画像が有している高精細成分と、前記高精細成分が存在する前記入力画像内の位置情報とを抽出する抽出手段と、
前記抽出手段で抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分を含む高精細成分に関する付加情報を生成する付加情報生成手段と
を備えることを特徴とする集積回路。
【請求項２８】
画像を符号化して得られる第１の符号列を復号化して復号画像を生成する画像復号化手段と、
前記復号画像に対応した高精細成分に関する付加情報を取得する取得手段と、
前記付加情報に基づいて高精細成分を生成する高精細成分生成手段と、
前記復号画像または前記付加情報に基づいて、前記高精細成分を前記復号画像に重畳すべき位置を決定する重畳位置決定手段と、
前記復号画像に対して、前記重畳位置決定手段で決定された前記位置に前記高精細成分を重畳する合成手段と
を備えることを特徴とする集積回路。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を高能率圧縮符号化する際の画像符号化方法および画像復号化方法に関するものである。
【背景技術】
【０００２】
一般に、画像を圧縮して符号化すると、画像が元々有していた高周波数成分が符号化処理により失われてしまう。そこで、特許文献１では、画像の符号化により失われたノイズ成分を復号後に付加する方法が開示されている。この方法では、符号化側で符号列のユーザデータ内に記述されたノイズ量を示すフラグ、または符号化列に記述されている量子化パラメータと符号列のユーザデータ内に記述されたプリフィルタパラメータとを用いて、付加すべきノイズ量を決定し、復号後の画像にホワイトノイズを付加している。
【特許文献１】特開平８−７９７６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の方法では、画面全体に同一量のホワイトノイズが付加される。またはマクロブロック毎に量子化パラメータとプリフィルタパラメータにより決定される量のホワイトノイズが重畳される。すなわち、画面内の画像の特性には無関係に付加すべきノイズ量が決定されている。例えば、上記従来の方法によると、元々高周波数成分を有していない箇所にもノイズが重畳されることとなり、これは視覚的な画質劣化として認知されることとなる。
【０００４】
そこで、本発明は、上記従来の課題を解決するものであり、入力画像が元々有していた高周波数成分、すなわち高精細成分が、符号化処理により失われた場合に、元々高精細成分を有していた箇所に対して、復号化時に高精細感を復元することができる、画像符号化方法および画像復号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明に係る画像符号化方法は、入力画像に対して符号化処理を行い、第１の符号列を生成するとともに、符号化済み画像の復号画像を生成する画像符号化ステップと、前記入力画像が有している高精細成分と、前記高精細成分が存在する前記入力画像内の位置情報とを抽出する抽出ステップと、前記抽出ステップにおいて抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分に関する付加情報を生成する付加情報生成ステップとを含むことを特徴とする。
【０００６】
これによって、従来の画像符号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）と互換性を有する符号列を生成し、それとは別に、さらに高精細成分生成のための付加情報を生成することができる。この付加情報は、高精細成分そのものを画像データとして符号化するのではなく、高精細成分の一部を用いたり、高精細成分を生成するためのパラメータを用いたりすることで、データ量は極めて少なくすることができ、少ない情報量の増加で高画質化を図ることができる。
【０００７】
ここで、前記付加情報生成ステップでは、前記抽出ステップにおいて抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分および前記位置情報を含む前記付加情報を生成してもよい。
【０００８】
また、記付加情報生成ステップでは、前記抽出ステップにおいて抽出された前記高精細成分および前記位置情報に基づいて、前記高精細成分に対するゲインを算出し、算出した前記ゲインを含めて前記付加情報を生成してもよい。
【０００９】
これによって、高精細成分を重畳する際の位置、種類（モデルやモデルパラメータ）、量（ゲイン）、等の情報も生成するので、入力画像に高精細成分を有している箇所に対してのみ高精細成分を重畳するための情報を生成することができる。または、入力画像が高精細成分を有していて、かつ復号画像には高精細成分が欠如した箇所に対してのみ高精細成分を重畳するための情報を生成することができる。これにより、従来では入力画像が有する高精細成分に適した重畳ができなかった点を解消し、大幅に画質を改善することができる。
【００１０】
本発明に係る画像復号化方法は、画像を符号化して得られる第１の符号列を復号化して復号画像を生成する画像復号化ステップと、前記復号画像に対応した高精細成分に関する付加情報を取得する取得ステップと、前記付加情報に基づいて高精細成分を生成する高精細成分生成ステップと、前記復号画像または前記付加情報に基づいて、前記高精細成分を前記復号画像に重畳すべき位置を決定する重畳位置決定ステップと、前記復号画像に対して、前記重畳位置決定ステップにおいて決定された前記位置に前記高精細成分を重畳する合成ステップとを含むことを特徴とする。
【００１１】
これによって、従来の画像復号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）を用いて符号化された符号列から復号画像を生成し、それとは別に、さらに高精細成分生成のための付加情報を用いて画像の高精細成分を生成し、それを復号画像に重畳することにより、高精細画像を生成することができる。この付加情報は、高精細成分そのものを画像データとして符号化されているのではなく、高精細成分画像の一部であったり、高精細成分を生成するためのパラメータであったりするので、データ量は極めて少なくすることができ、少ない情報量の付加情報で高画質化を図ることができる。
【００１２】
ここで、前記重畳位置決定ステップでは、前記高精細成分を重畳すべき位置を、前記付加情報に含まれている位置情報に基づいて決定してもよい。
【００１３】
また、前記重畳位置決定ステップでは、前記復号画像から特定の色成分を抽出し、抽出した前記特定の色成分を有している領域を、前記高精細成分を重畳すべき位置として決定してもよい。
【００１４】
また、前記重畳位置決定ステップでは、前記復号画像から高域周波数成分を抽出し、抽出した前記高域周波数成分を所定値以上有している領域を、前記高精細成分を重畳すべき位置として決定してもよい。
【００１５】
これによって、付加情報に含まれている、高精細成分を重畳する際の位置の情報に応じて、または復号画像の特徴（高周波数成分を有している箇所、特定の色成分を有している箇所）に応じて、高精細成分を重畳するので、入力画像に高精細成分を有している箇所等に対してのみ高精細成分を重畳するための情報を生成することができる。これにより、従来では入力画像が有する高精細成分に適した重畳ができなかった点を解消し、大幅に画質を改善することができる。
【００１６】
なお、本発明は、このような画像符号化方法および画像復号化方法として実現することができるだけでなく、このような画像符号化方法および画像復号化方法が備える特徴的なステップを手段とする画像符号化装置および画像復号化装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００１７】
本発明に係る画像符号化方法および画像復号化方法によれば、従来の画像符号化方法および画像復号化方法と比較して、高精細成分が符号化処理により失われた場合のみ、高精細成分を表現する情報を主映像とは別に符号化するため、符号量の増加がわずかで、かつ大幅に画質を向上させることができ、その実用的価値が高い。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について、図１から図１９を用いて説明する。
【００１９】
（実施の形態１）
図１は、本発明の画像符号化方法を用いた画像符号化装置１００の構成を示すブロック図である。図１に示すように、画像符号化装置１００は、画像符号化部１０１および付加情報生成部１０２を備えている。
【００２０】
入力画像ＯＲは、画像符号化部１０１に入力される。画像符号化部１０１は、従来の画像符号化方法を実施する。従来の画像符号化方法としては、ＩＳＯ／ＩＥＣ規格であるＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式やＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式、ＩＴＵ−Ｔ規格であるＨ．２６ｘ方式、等を用いることができる。画像符号化部１０１は、入力画像ＯＲを符号化して得られる符号列ＢＳと、復号画像ＬＤとを出力する。符号列ＢＳは、画像符号化装置１００の外部に出力され、伝送、蓄積、等の処理が施される。
【００２１】
復号画像ＬＤは、付加情報生成部１０２に入力される。また、付加情報生成部１０２には、入力画像ＯＲも入力される。付加情報生成部１０２は、入力画像ＯＲと復号画像ＬＤとを用いて、入力画像ＯＲから失われている高精細成分を復元するための付加情報ＡＩを生成する。付加情報ＡＩは、画像符号化装置１００の外部に出力され、符号列ＢＳと共に、伝送、蓄積、等の処理が施される。
【００２２】
付加情報ＡＩは、符号列ＢＳ中のヘッダ領域やユーザデータ領域に記述して、伝送、蓄積、等の処理をしても良いし、符号列ＢＳとは別の符号列として、伝送、蓄積、等の処理をしても良い。
【００２３】
以下で、付加情報生成部１０２において付加情報ＡＩを生成する際の処理例について説明する。
【００２４】
図２は、付加情報生成部１０２の構成を示すブロック図である。
【００２５】
付加情報生成部１０２は、図２に示すように重畳位置決定部２０１、重畳成分決定部２０２、重畳パラメータ決定部２０３、および符号列生成部２０４を備えている。
【００２６】
重畳位置決定部２０１は、入力された入力信号ＯＲと復号画像ＬＤとに基づいて、高精細成分を復元すべき位置を決定し、決定した位置を示す位置情報ＰＳを出力する。重畳成分決定部２０２は、入力された入力信号ＯＲ、復号画像ＬＤ、および位置情報ＰＳに基づいて、高精細成分を示す高精細成分情報ＯＣを出力する。重畳パラメータ決定部２０３は、入力された入力信号ＯＲ、復号画像ＬＤ、位置情報ＰＳ、高精細成分情報ＯＣに基づいて、高精細成分情報ＯＣを重畳する際のパラメータＯＰを出力する。符号列生成部２０４は、入力された位置情報ＰＳ、高精細成分情報ＯＣ、およびパラメータＯＰに対して必要に応じて可変長符号化等を施し、付加情報ＡＩとして出力する。以下で、重畳位置決定部２０１、重畳成分決定部２０２、重畳パラメータ決定部２０３の処理の詳細を順に説明する。
【００２７】
（重畳位置決定部２０１の第１の処理例）
図３（ａ）は、重畳位置決定部２０１の第１の構成例を示すブロック図である。重畳位置決定部２０１は、差分演算部５０１、およびしきい値処理部５０２を備えている。
【００２８】
差分演算部５０１は、入力画像ＯＲから復号画像ＬＤを引くことにより、差分画像を生成し出力する。
【００２９】
しきい値処理部５０２は、差分演算部５０１により生成された差分画像の画素値の絶対値が所定のしきい値以上である部分を抽出し、その部分の画面内での位置を位置情報ＰＳとして出力する。この場合、差分画像を所定の大きさを有するブロックに分割し、ブロック毎に差分画像の画素値の絶対値がしきい値を超える画素数を計数し、その画素数が別のしきい値を超えたブロックについて、そのブロックの位置を示す位置情報ＰＳを出力しても良い。
【００３０】
また、図３（ｂ）に示すように、差分演算部５０１の処理後に、高域通過フィルタ５０３を挿入しても良い。これにより、差分画像に対する低域成分を除去し、差分画像の高域成分のみを用いて高精細成分を更に精度良く抽出することができる。
【００３１】
（重畳位置決定部２０１の第２の処理例）
図４（ａ）は、重畳位置決定部２０１の第２の構成例を示すブロック図である。重畳位置決定部２０１は、差分演算部６０１、分散計算部６０２、およびしきい値処理部６０３を備えている。
【００３２】
差分演算部６０１は、入力画像ＯＲから復号画像ＬＤを引くことにより、差分画像を生成し出力する。
【００３３】
分散計算部６０２は、差分演算部６０１により生成された差分画像の画素値に対して、分散値を計算する。この場合には、例えば、差分画像を所定の大きさを有するブロックに分割し、ブロック毎に差分画像の画素値の分散値を計算すれば良い。分散計算部６０２は、得られた分散値をしきい値処理部６０３に対して出力する。
【００３４】
しきい値処理部６０３は、分散計算部６０２から出力された分散値を用い、所定のしきい値以上の分散値を有する部分を検出し、その部分の画面内での位置を位置情報ＰＳとして出力する。
【００３５】
また、図４（ｂ）に示すように、差分演算部６０１の処理後に、高域通過フィルタ６０４を挿入しても良い。これにより、差分画像に対する低域成分を除去し、高域成分のみを用いて分散値を計算し、高精細成分を更に精度良く抽出することができる。
【００３６】
（重畳位置決定部２０１の第３の処理例）
図５（ａ）は、重畳位置決定部２０１の第３の構成例を示すブロック図である。重畳位置決定部２０１は、色差成分検査部３０１、およびしきい値処理部３０２を備えている。
【００３７】
色差成分検査部３０１には、入力画像ＯＲまたは復号画像ＬＤが入力される。色差成分検査部３０１は、入力された画像の色差成分を用いて、予め設定された色を有する箇所を抽出する。予め設定された色としては、例えば緑、水色、青、赤、等がある。例えば、緑に設定された場合、木や草、等の部分を抽出することができる。また、水色に設定された場合、水、海、等の部分を抽出することができる。設定された色を有する箇所を抽出する方法としては、設定された色を画素値で示し、その画素値を中心として画素値がある範囲に属する画素を抽出する方法、設定された色を周波数で示し、その周波数を中心周波数とするバンドパスフィルタにより抽出する方法、等がある。
【００３８】
しきい値処理部３０２は、色差成分検査部３０１から出力された色成分に対してしきい値処理を施し、しきい値以上の色成分を有する部分の画面内での位置情報ＰＳを出力する。
【００３９】
なお、色差成分検査部３０１に復号画像ＬＤを入力する場合には、復号時にも同じ処理を行えば、位置情報ＰＳを得ることができるので、この場合には、位置情報ＰＳは符号列生成部２０４において、付加情報ＡＩに含めても良いし、含めなくても良い。また、位置情報ＰＳを得るために色差成分を用いていることや、しきい値処理部３０２におけるしきい値を付加情報ＡＩに含めても良い。
【００４０】
また、本処理例と、重畳位置決定部２０１の第１の処理例または第２の処理例で説明した位置情報ＰＳの取得方法と組み合わせても良い。例えば、重畳位置決定部２０１の第１の処理例と組み合わせた場合の構成を図５（ｂ）に示す。この場合には、位置決定部３０３において、しきい値処理部５０２から出力された結果と、しきい値処理部３０２から出力された結果より、差分画像の画素値の絶対値が所定値よりも大きく、かつ、所定の色成分を有する箇所を抽出し、その位置情報ＰＳを出力する。
【００４１】
（重畳位置決定部２０１の第４の処理例）
図６は、重畳位置決定部２０１の第４の構成例を示すブロック図である。重畳位置決定部２０１は、高域通過フィルタ部４０１、およびしきい値処理部４０２を備えている。
【００４２】
高域通過フィルタ部４０１には、入力画像ＯＲまたは復号画像ＬＤが入力される。高域通過フィルタ部４０１は、入力された画像に対して、高域通過フィルタを施す。これにより、入力された画像の高域成分が抽出され、それがしきい値処理４０２に入力される。
【００４３】
しきい値処理部４０２は、高域通過フィルタ部４０１から出力された画像の高域成分に対してしきい値処理を施し、しきい値以上の高域成分を有する部分の画面内での位置情報ＰＳを出力する。
【００４４】
なお、高域通過フィルタ部４０１に復号画像ＬＤを入力する場合には、復号時にも同じ処理を行えば、位置情報ＰＳを得ることができるので、この場合には、位置情報ＰＳは符号列生成部２０４において、付加情報ＡＩに含めても良いし、含めなくても良い。また、位置情報ＰＳを得るために高域成分を用いていることや、しきい値処理部４０２におけるしきい値を付加情報ＡＩに含めても良い。
【００４５】
また、本処理例と、重畳位置決定部２０１の第１の処理例または第２の処理例で説明した位置情報ＰＳの取得方法と組み合わせても良い。例えば、重畳位置決定部２０１の第１の処理例と組み合わせた場合の構成を図６（ｂ）に示す。この場合には、位置決定部４０３において、しきい値処理部５０２から出力された結果と、しきい値処理部４０２から出力された結果より、差分画像の画素値の絶対値が所定値よりも大きく、かつ、高域成分を所定値よりも多く有する箇所を抽出し、その位置情報ＰＳを出力する。
【００４６】
（重畳成分決定部２０２の第１の処理例）
図７は、重畳成分決定部２０２の第１の構成例を示すブロック図である。重畳成分決定部２０２は、差分演算部９０１、および高精細成分決定部９０２を備えている。
【００４７】
差分演算部９０１は、入力画像ＯＲから復号画像ＬＤを引くことにより、差分画像を生成し出力する。
【００４８】
高精細成分決定部９０２は、差分演算部９０１から出力された差分画像と、重畳位置決定部２０１から出力された位置情報ＰＳとに基づいて、高精細成分の代表パターンを決定し、出力する。ここでは、例えば、差分画像を所定の領域（例えばブロック）に分割した後、位置情報ＰＳにより指定される箇所のみを抜き出し、その平均値となるパターン、中央値となるパターン、分散値が平均値、または中央値となるパターン、分散値のヒストグラムを生成して頻度がそのピークとなるパターン、等を代表パターンとすれば良い。代表パターンは１つとは限らず、複数であっても良い。代表パターンは、高精細成分情報ＯＣとして出力される。
【００４９】
なお、重畳位置決定部２０１において、入力画像ＯＲと復号画像ＬＤとの差分画像を生成している場合には、差分演算部９０１を用いて差分画像を生成する必要はない。
【００５０】
（重畳成分決定部２０２の第２の処理例）
図８は、重畳成分決定部２０２の第２の構成例を示すブロック図である。重畳成分決定部２０２は、差分演算部１００１、高精細成分決定部１００２、パラメータ決定部１００３、およびモデル保持部１００４を備えている。
【００５１】
差分演算部１００１は、入力画像ＯＲから復号画像ＬＤを引くことにより、差分画像を生成し出力する。
【００５２】
高精細成分決定部１００２は、差分演算部１００１から出力された差分画像と、重畳位置決定部２０１から出力された位置情報ＰＳとに基づいて、高精細成分の代表パターンを決定し、決定した代表パターンをパラメータ決定部１００３に対して出力する。これは、高精細成分決定部９０２と同様の処理を行えば良い。
【００５３】
パラメータ決定部１００３は、入力された代表パターンをモデル保持部１００４に設定されたモデルで表現する。モデルとしては、例えばガウス分布関数、ポアソン分布関数、等がある。モデルの数は１つでも良いし、複数でも良い。パラメータ決定部１００３は、代表パターンに適合するモデル（モデルが複数の場合）およびモデルのパラメータ（モデルがパラメータにより変わる場合）を決定し、それを高精細成分情報ＯＣとして出力する。代表パターンに適合するモデルおよびモデルのパラメータを決定する方法としては、モデルにより生成したパターンと、高精細成分決定部１００２により決定した代表パターンとの２乗誤差が最小となるものを選択する方法、等で決定することができる。
【００５４】
なお、重畳位置決定部２０１において、入力画像ＯＲと復号画像ＬＤとの差分画像を生成している場合には、差分演算部１００１を用いて差分画像を生成する必要はない。
【００５５】
（重畳パラメータ決定部２０３の処理例）
図９は、重畳パラメータ決定部２０３の構成例を示すブロック図である。重畳パラメータ決定部２０３は、差分演算部１１０１、パラメータ決定部１１０２、および高精細成分生成部１１０３を備えている。
【００５６】
差分演算部１１０１は、入力画像ＯＲから復号画像ＬＤを引くことにより、差分画像ＲＳを生成し出力する。
【００５７】
高精細成分生成部１１０３は、重畳成分決定部２０２から入力された高精細成分情報ＯＣを用いて、高精細成分を生成する。例えば、高精細成分情報ＯＣが、重畳成分決定部２０２の第１の処理例により生成された場合、高精細成分情報ＯＣをそのまま高精細成分ＨＣとして出力する。また、高精細成分情報ＯＣが、重畳成分決定部２０２の第２の処理例により生成された場合、モデルおよびモデルパラメータを用いて高精細成分ＨＣを生成し出力する。
【００５８】
パラメータ決定部１１０２は、差分画像ＲＳと、高精細成分ＨＣと、重畳位置決定部２０１から出力された位置情報ＰＳとに基づいて、高精細成分ＨＣのゲインを決定する。これは例えば、差分画像ＲＳのうち、位置情報ＰＳにより指定された箇所の画像と、高精細成分ＨＣとの差が最小となるように高精細成分ＨＣのゲインを決定すれば良い。または、差分画像ＲＳのエネルギーと、高精細成分ＨＣのエネルギーを計算し、そのエネルギーの比をゲインとすえば良い。このゲインは、位置情報ＰＳにより指定された箇所毎に決定しても良いし、画面全体の誤差が最小となるように１つのゲインを決めても良い。決定したゲインは、パラメータＯＰとして出力される。
【００５９】
次に、上記のように構成された画像符号化装置１００の付加情報生成部１０２の動作について説明する。ここでは、重畳位置決定部２０１が第１の構成例で、重畳成分決定部２０２が第１の構成例である場合について説明する。図１０は、この場合の付加情報生成部１０２の動作の流れを示すフローチャートである。
【００６０】
差分演算部５０１は、入力画像ＯＲから復号画像ＬＤを引くことにより、差分画像ＲＳを生成する（ステップＳ１００）。しきい値処理部５０２は、差分演算部５０１により生成された差分画像ＲＳの画素値の絶対値が所定のしきい値以上である部分を抽出し、その部分の画面内での位置、すなわち高精細成分を復元すべき位置を位置情報ＰＳとして出力する（ステップＳ１０１）。次に、高精細成分決定部９０２は、差分画像ＲＳと位置情報ＰＳとに基づいて、高精細成分の代表パターンを決定し、決定した代表パターンを高精細成分情報ＯＣとして出力する（ステップＳ１０２）。次に、パラメータ決定部１１０２は、差分画像ＲＳと、高精細成分ＨＣと、重畳位置決定部２０１から出力された位置情報ＰＳとに基づいて、高精細成分ＨＣのゲインを決定し、決定したゲインをパラメータＯＰとして出力する（ステップＳ１０３）。そして、符号列生成部２０４は、入力された位置情報ＰＳ、高精細成分情報ＯＣ、およびパラメータＯＰに対して必要に応じて可変長符号化等を施し、付加情報ＡＩとして出力する（ステップＳ１０４）。
【００６１】
以上のように、本発明の画像符号化方法は、従来の画像符号化方法により入力画像を符号化し、入力画像と従来の画像符号化により生成された復号画像とを比較し、入力画像から失われた高精細成分（高域成分）を抽出する。そして、その高精細成分を表すパターンやパラメータを生成し、その情報を入力画像（主映像）の符号列とは別に符号化している。
【００６２】
したがって、本発明の画像符号化方法を用いることにより、従来の画像符号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）等と互換性を有する符号列を生成し、それとは別に、さらに高精細成分生成のための付加情報を生成することができる。この付加情報は、高精細成分そのものを画像データとして符号化するのではなく、高精細成分の一部であったり、高精細成分を生成するためのパラメータであったりするので、データ量は極めて少なくすることができ、少ない情報量の増加で高画質化を図ることができる。また、高精細成分を重畳する際の場所、種類（モデルやモデルパラメータ）、量（ゲイン）、等の情報も生成するので、入力画像に高精細成分を有している箇所に対してのみ高精細成分を重畳するための情報を生成することができる。または、入力画像が高精細成分を有していて、かつ復号画像には高精細成分が欠如した箇所に対してのみ高精細成分を重畳するための情報を生成することができる。これにより、従来では入力画像が有する高精細成分に適した重畳ができなかった点を解消し、大幅に画質を改善することができる。
【００６３】
なお、本発明の実施の形態においては、重畳位置決定部２０１での処理方法として４つの例をあげて説明したが、これらは個別に用いても良いし、複数の方法を用いて、位置情報ＰＳを生成しても良い。
【００６４】
また、本発明の実施の形態においては、重畳パラメータ決定部２０３で高精細成分を重畳する際のゲインを求める方法について説明したが、これは付加情報ＡＩに含めなくても良い。この場合、復号側では一定のゲインで高精細成分が重畳されることになるが、付加情報ＡＩの情報量を削減することができる。
【００６５】
（実施の形態２）
図１１は、本発明の画像復号化方法を用いた画像復号化装置１２００の構成を示すブロック図である。画像復号化装置１２００は、図１１に示すように画像復号化部１２０１および付加情報処理部１２０２を備えている。画像復号化装置１２００には、実施の形態１で説明した本発明の画像符号化方法を用いた画像符号化装置により生成された符号列ＢＳと付加情報ＡＩとが入力される。
【００６６】
符号列ＢＳは、画像復号化部１２０１に入力される。画像復号化部１２０１は、符号列ＢＳに対して、従来の画像復号化を実施する。例えば、符号列ＢＳがＪＰＥＧ方式で符号化されたものである場合にはＪＰＥＧ方式で復号化し、符号列ＢＳがＭＰＥＧ方式で符号化されたものである場合にはＭＰＥＧ方式で復号化し、符号列ＢＳがＨ．２６ｘ方式で符号化されたものである場合にはＨ．２６ｘ方式で復号化し、といった具合である。画像復号化部１２０１により生成された復号画像ＤＣは、付加情報処理部１２０２に対して出力される。
【００６７】
付加情報処理部１２０２には、復号画像ＤＣと付加情報ＡＩとが入力される。付加情報処理部１２０２は、付加情報ＡＩを用いて復号画像ＤＣに対して処理を施し、高画質復号画像ＨＱとして出力する。
【００６８】
以下で、付加情報処理部１２０２での処理方法について説明する。
【００６９】
（付加情報処理部１２０２の第１の処理例）
図１２は、付加情報処理部１２０２の第１の構成例を示すブロック図である。付加情報処理部１２０２は、重畳位置決定部７０１、重畳成分生成部７０２、および合成部７０３を備えている。
【００７０】
重畳位置決定部７０１は、入力された付加情報ＡＩに記述されている位置情報（実施の形態１における位置情報ＰＳ）により、高精細成分を重畳すべき位置を決定して、位置情報ＤＰＳとして出力する。
【００７１】
重畳成分生成部７０２は、入力された付加情報ＡＩに記述されている高精細成分生成用の情報（実施の形態１における高精細成分情報ＯＣとパラメータＯＰ）を用いて、重畳すべき高精細成分を生成する。例えば、高精細成分情報ＯＣが実施の形態１の重畳成分決定部２０２の第１の処理例により生成されている場合、高精細成分情報ＯＣを高精細成分とし、それにパラメータＯＰから得られるゲインを乗じて、高精細成分ＨＩとして出力する。また例えば、高精細成分情報ＯＣが実施の形態１の重畳成分決定部２０２の第２の処理例により生成されている場合、高精細成分情報ＯＣにより指定されているモデル、モデルパラメータを用いて、高精細成分を生成し、それにパラメータＯＰから得られるゲインを乗じて、高精細成分ＨＩとして出力する。
【００７２】
合成部７０３は、入力された復号画像ＤＣに対して、位置情報ＤＰＳで指定されている箇所に、高精細成分ＨＩを重畳し、高画質画像ＨＱを生成して出力する。
【００７３】
（付加情報処理部１２０２の第２の処理例）
図１３は、付加情報処理部１２０２の第２の構成例を示すブロック図である。付加情報処理部１２０２は、重畳位置決定部８０１、重畳成分生成部８０２、および合成部８０３を備えている。
【００７４】
重畳位置決定部８０１は、入力された復号画像ＤＣを用いて高精細成分を重畳すべき位置を決定して、位置情報ＤＰＳとして出力する。高精細成分を重畳すべき位置としては、例えば、特定の色成分を有している領域や、高域成分を有している領域、等を選択する。特定の色成分を有している領域は、実施の形態１の重畳位置決定部２０１の第３の処理例で図５を用いて説明した方法において、入力を復号画像ＤＣとすることにより、決定することができる。また、高域成分を有している領域は、実施の形態１の重畳位置決定部２０１の第４の処理例で図６を用いて説明した方法において、入力を復号画像ＤＣとすることにより、決定することができる。この場合には、付加情報ＡＩには位置情報ＰＳは含まれていないことになる。
【００７５】
重畳成分生成部８０２、合成部８０３の処理は、付加情報処理部１２０２の第１の処理例において説明した、重畳成分生成部７０２、合成部７０３の処理と同様であるので、説明は割愛する。
【００７６】
次に、上記のように構成された画像復号化装置１２００の付加情報処理部１２０２の動作について説明する。ここでは、付加情報処理部１２０２が第１の構成例である場合について説明する。図１４は、この場合の付加情報処理部１２０２の動作の流れを示すフローチャートである。
【００７７】
重畳位置決定部７０１は、入力された付加情報ＡＩに記述されている位置情報により、高精細成分を重畳すべき位置を決定して、位置情報ＤＰＳとして出力する（ステップＳ２０１）。次に、重畳成分生成部７０２は、入力された付加情報ＡＩに記述されている高精細成分生成用の情報を用いて、重畳すべき高精細成分を生成する（ステップＳ２０２）。次に、合成部７０３は、復号画像ＤＣに対して、位置情報ＤＰＳで指定されている箇所に、高精細成分ＨＩを重畳し、高画質画像ＨＱを生成する（ステップＳ２０３）。
【００７８】
以上のように、本発明の画像復号化方法は、従来の画像復号化方法により入力画像（主映像）の符号列を復号化し、復号化した復号画像に対して、付加情報を用いて生成した高精細成分を重畳している。
【００７９】
したがって、本発明の画像復号化方法を用いることにより、従来の画像復号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）を用いて符号列から復号画像を生成し、それとは別に、さらに高精細成分生成のための付加情報を用いて画像の高精細成分を生成し、それを復号画像に重畳することにより、高精細画像を生成することができる。この付加情報は、高精細成分そのものを画像データとして符号化されているのではなく、高精細成分画像の一部であったり、高精細成分を生成するためのパラメータであったりするので、データ量は極めて少なくすることができ、少ない情報量の付加情報で高画質化を図ることができる。また、付加情報に含まれている、高精細成分を重畳する際の場所、種類（モデルやモデルパラメータ）、量（ゲイン）、等の情報に応じて、または復号画像の特徴（高周波数成分を有している箇所、特定の色成分を有している箇所）に応じて、高精細成分を重畳するので、入力画像に高精細成分を有している箇所等に対してのみ高精細成分を重畳するための情報を生成することができる。これにより、従来では入力画像が有する高精細成分に適した重畳ができなかった点を解消し、大幅に画質を改善することができる。
【００８０】
なお、本発明の実施の形態においては、付加情報処理部１２０２の処理方法として２つの例をあげ、位置情報ＰＳが付加情報ＡＩに含まれている場合と、含まれていない場合との説明をしたが、これらは個別に用いても良いし、両者の方法を用いて、重畳位置を決定しても良い。
【００８１】
また、本発明の実施の形態においては、重畳成分生成部７０２、重畳成分生成部８０２において、重畳すべき高精細成分に付加情報ＡＩに示されているゲインを乗じる場合について説明したが、付加情報ＡＩにゲイン情報が含まれてない場合には、ゲインは乗じなくても良い。この場合、一定のゲインで高精細成分が重畳されることになるが、付加情報ＡＩの情報量を削減することができる。
【００８２】
（実施の形態３）
さらに、上記各実施の形態で示した画像符号化方法および画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００８３】
図１５は、上記各実施の形態の画像符号化方法および画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【００８４】
図１５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【００８５】
また、図１５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化方法および画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法および画像復号化方法を実現する上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００８６】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００８７】
（実施の形態４）
さらにここで、上記実施の形態で示した画像符号化方法および画像復号化方法の応用例とそれを用いたシステムを説明する。
【００８８】
図１６は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【００８９】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００９０】
しかし、コンテンツ供給システムｅｘ１００は図１６のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【００９１】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【００９２】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【００９３】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００９４】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
【００９５】
その一例として携帯電話について説明する。
【００９６】
図１７は、上記実施の形態で説明した画像符号化方法および画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【００９７】
さらに、携帯電話ｅｘ１１５について図１８を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【００９８】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【００９９】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１００】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１０１】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０１０２】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０１０３】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０１０４】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０１０５】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０１０６】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１０７】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１９に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０１０８】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０１０９】
なお、カーナビゲーションｅｘ４１３の構成は例えば図１８に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０１１０】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０１１１】
このように、上記実施の形態で示した画像符号化方法および画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０１１２】
なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０１１３】
また、各実施形態の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）
【０１１４】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１１５】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー を利用しても良い。
【０１１６】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【０１１７】
本発明に係る画像符号化方法および画像復号化方法は、従来の符号化方法および復号化方法と比較して、わずかな符号量の増加で大幅に画質を向上させることができ、かつ対象画像が高精細成分を有していた箇所に対して、高精細成分を復元することができるという効果を有し、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等を用いた蓄積、伝送、通信等における画像符号化方法および画像復号化方法として有用である。
【図面の簡単な説明】
【０１１８】
【図１】図１は、本発明の画像符号化方法を用いた画像符号化装置の構成例を示すブロック図（実施の形態１）である。
【図２】図２は、本発明の画像符号化方法を用いた画像符号化装置における付加情報生成部の構成例を示すブロック図（実施の形態１）である。
【図３】図３は、本発明の画像符号化方法を用いた画像符号化装置における重畳位置決定部の構成を示すブロック図（実施の形態１）であり、（ａ）第１の構成例、（ｂ）第１の構成例の変形例である。
【図４】図４は、本発明の画像符号化方法を用いた画像符号化装置における重畳位置決定部の構成を示すブロック図（実施の形態１）であり、（ａ）第２の構成例、（ｂ）第２の構成例の変形例である。
【図５】図５は、本発明の画像符号化方法を用いた画像符号化装置における重畳位置決定部の構成を示すブロック図（実施の形態１）であり、（ａ）第３の構成例、（ｂ）第３の構成例の変形例である。
【図６】図６は、本発明の画像符号化方法を用いた画像符号化装置における重畳位置決定部の構成を示すブロック図（実施の形態１）であり、（ａ）第４の構成例、（ｂ）第４の構成例の変形例である。
【図７】図７は、本発明の画像符号化方法を用いた画像符号化装置における重畳成分決定部の第１の構成例を示すブロック図（実施の形態１）である。
【図８】図８は、本発明の画像符号化方法を用いた画像符号化装置における重畳成分決定部の第２の構成例を示すブロック図（実施の形態１）である。
【図９】図９は、本発明の画像符号化方法を用いた画像符号化装置における重畳パラメータ決定部の構成例を示すブロック図（実施の形態１）である。
【図１０】図１０は、本発明の画像符号化方法を用いた画像符号化装置における付加情報生成部の動作の流れを示すフローチャート（実施の形態１）である。
【図１１】図１１は、本発明の画像復号化方法を用いた画像復号化装置の構成例を示すブロック図（実施の形態２）である。
【図１２】図１２は、本発明の画像復号化方法を用いた画像復号化装置における付加情報処理部の第１の構成例を示すブロック図（実施の形態２）である。
【図１３】図１３は、本発明の画像復号化方法を用いた画像復号化装置における付加情報処理部の第２の構成例を示すブロック図（実施の形態２）である。
【図１４】図１４は、本発明の画像復号化方法を用いた画像復号化装置における付加情報処理部の動作の流れを示すフローチャート（実施の形態２）である。
【図１５】図１５は、各実施の形態の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図（実施の形態３）であり、（ａ）記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、（ｂ）フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、（ｃ）フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。
【図１６】図１６は、コンテンツ供給システムの全体構成を示すブロック図（実施の形態４）である。
【図１７】図１７は、画像符号化方法および画像復号化方法を用いた携帯電話の例（実施の形態４）を示す図である。
【図１８】図１８は、携帯電話のブロック図（実施の形態４）である。
【図１９】図１９は、ディジタル放送用システムの例（実施の形態４）である。
【符号の説明】
【０１１９】
１０１    画像符号化部
１０２    付加情報生成部
２０１    重畳位置決定部
２０２    重畳成分決定部
２０３    重畳パラメータ決定部
２０４    符号列生成部
７０１、８０１  重畳位置決定部
７０２、８０２  重畳成分生成部
７０３、８０３  合成部
１２０１  画像復号化部
１２０２  付加情報処理部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006003873.tif 000021
【図２】
2006003873.tif 000022
【図３】
2006003873.tif 000023
【図４】
2006003873.tif 000024
【図５】
2006003873.tif 000025
【図６】
2006003873.tif 000026
【図７】
2006003873.tif 000027
【図８】
2006003873.tif 000028
【図９】
2006003873.tif 000029
【図１０】
2006003873.tif 000030
【図１１】
2006003873.tif 000031
【図１２】
2006003873.tif 000032
【図１３】
2006003873.tif 000033
【図１４】
2006003873.tif 000034
【図１５】
2006003873.tif 000035
【図１６】
2006003873.tif 000036
【図１７】
2006003873.tif 000037
【図１８】
2006003873.tif 000038
【図１９】
2006003873.tif 000039
【国際調査報告】
2006003873.tif 000040
2006003873.tif 000041
2006003873.tif 000042
2006003873.tif 000043
2006003873.tif 000044
2006003873.tif 000045
2006003873.tif 000046