【手続補正書】
【提出日】平成16年11月4日(2004.11.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を構成する物体を単位として、物体の形状情報を有する画像入力信号に対する階層符号化処理を行う画像処理方法であって、
上記画像入力信号に基づいて、所定の物体に対応する、空間解像度が異なる複数の画像空間を形成する階層画像信号として、少なくとも低解像度画像信号及び高解像度画像信号を生成し、
上記所定の物体に対応する高解像度画像信号から、高解像度画像空間における符号化処理の範囲となる上記物体を包含する領域に対応する高解像度の領域対応画像信号を抽出し、該領域対応画像信号を、所定数の画素からなる高解像度ブロックに対応するよう区分するとともに、上記所定の物体に対応する低解像度画像信号から、低解像度画像空間における符号化処理の範囲となる上記物体を包含する領域に対応する低解像度の領域対応画像信号を抽出し、該領域対応画像信号を、所定数の画素からなる低解像度ブロックに対応するよう区分し、
処理対象となる対象高解像度ブロックを形成する高解像度のブロック化画像信号に対する符号化処理を、該対象高解像度ブロックに対応する参照低解像度ブロックを形成する低解像度のブロック化画像信号を参照して順次行い、この符号化処理の際には、上記参照低解像度ブロックを、その低解像度画像空間における空間位置が、上記対象高解像度ブロックの、高解像度画像空間における空間位置に一定の規則により対応付けられたものとすることを特徴とする画像処理方法。
【請求項２】
請求項１記載の画像処理方法において、
上記高解像度画像空間を構成する個々の画素は、上記低解像度画像空間の解像度変換により得られる、空間解像度が上記高解像度画像空間と等しい解像度変換画像空間における個々の画素と一対一に対応することを特徴とする画像処理方法。
【請求項３】
請求項１記載の画像処理方法において、
上記参照低解像度ブロックを構成する画素の数と、上記対象高解像度ブロックを構成する画素の数とが一致することを特徴とする画像処理方法。
【請求項４】
請求項１記載の画像処理方法において、
上記参照低解像度ブロックの低解像度画像空間における位置と、対象高解像度ブロックの高解像度画像空間における位置とが相対的に一致することを特徴とする画像処理方法。
【請求項５】
請求項１記載の画像処理方法において、
上記参照低解像度ブロックに対する、符号化処理方法を識別するための符号化モードに応じて、上記対象高解像度ブロックに対する、符号化処理方法を識別するための符号化モードを示すモード信号の符号化方式を切換えることを特徴とする画像処理方法。
【請求項６】
請求項５記載の画像処理方法において、
上記符号化モードは、画像空間上に表示される物体の形状の境界が上記対象高解像度ブロック内に含まれるか否かを示す符号化モードであることを特徴とする画像処理方法。
【請求項７】
請求項５記載の画像処理方法において、
上記符号化モードは、参照低解像度ブロックに対応する画像信号を画素毎に順次符号化する符号化処理が、水平走査方向と垂直走査方向のいずれの走査方向に沿って行われているかを示す符号化モードであることを特徴とする画像処理方法。
【請求項８】
請求項１記載の画像処理方法において、
上記参照低解像度のブロックに対応する、上記低解像度画像空間での物体の動きを示す動き情報を参照して、上記対象高解像度ブロックに対応する、上記高解像度画像空間での物体の動きを示す動き情報の符号化方法を切換えることを特徴とする画像処理方法。
【請求項９】
請求項１記載の画像処理方法において、
符号化処理がすでに施された処理済高解像度ブロックの、高解像度画像空間での物体の動きを示す動き情報、及び上記参照低解像度ブロックに対応する、上記低解像度画像空間での物体の動きを示す動き情報を参照して、上記対象高解像度ブロックに対応する、上記高解像度画像空間での物体の動きを示す動き情報の符号化方法を切換えることを特徴とする画像処理方法。
【請求項１０】
画像を構成する物体を単位として、物体の形状情報を有する画像入力信号に階層符号化処理を施して得られる、所定の物体に対応する少なくとも２つのブロック化された階層符号化信号を復号化する画像処理方法であって、
上記階層符号化信号のうちの、所定の物体に対応する低解像度符号化信号を復号化して、低解像度画像空間における所定数の画素からなる低解像度ブロックに対応した低解像度復号化信号を生成し、
該低解像度復号化信号を統合して、上記低解像度画像空間における上記物体を包含する領域に対応する低解像度の領域対応画像信号を生成し、
上記階層符号化信号のうちの、所定の物体に対応する高解像度符号化信号を、参照低解像度復号化信号を参照して復号化して、高解像度画像空間における所定数の画素からなる高解像度ブロックに対応した高解像度復号化信号を生成し、
該高解像度復号化信号を統合して、上記高解像度画像空間における上記物体を包含する領域に対応する高解像度の領域対応画像信号を生成し、
上記高解像度符号化信号の復号化処理の際には、参照低解像度ブロックを、その低解像度画像空間における空間位置が、上記復号化処理の対象となる対象高解像度ブロックの、高解像度画像空間における空間位置に一定の規則により対応付けられたものとすることを特徴とする画像処理方法。
【請求項１１】
請求項１０記載の画像処理方法において、
上記高解像度画像空間を構成する個々の画素は、上記低解像度画像空間の解像度変換により得られる、空間解像度が上記高解像度画像空間と等しい解像度変換画像空間における個々の画素と一対一に対応することを特徴とする画像処理方法。
【請求項１２】
請求項１０記載の画像処理方法において、
上記参照低解像度ブロックを構成する画素の数と、上記対象高解像度ブロックを構成する画素の数とが一致することを特徴とする画像処理方法。
【請求項１３】
請求項１０記載の画像処理方法において、
上記参照低解像度ブロックの低解像度画像空間における位置と、対象高解像度ブロックの高解像度画像空間における位置とが相対的に一致することを特徴とする画像処理方法。
【請求項１４】
請求項１０記載の画像処理方法において、
上記参照低解像度ブロックに対する、復号化処理方法を識別するための符号化モードに応じて、上記対象高解像度ブロックに対する、復号化処理方法を識別するための符号化モードを示すモード符号化信号の復号化方式を切換えることを特徴とする画像処理方法。
【請求項１５】
請求項１４記載の画像処理方法において、
上記符号化モードは、画像空間上に表示される物体の形状の境界が上記対象高解像度ブロック内に含まれるか否かを示す符号化モードであることを特徴とする画像処理方法。
【請求項１６】
請求項１４記載の画像処理方法において、
上記符号化モードは、参照低解像度ブロックに対応する低解像度符号化信号を画素毎に順次復号化する復号化処理が、水平走査方向と垂直走査方向のいずれの走査方向に沿って行われているかを示す符号化モードであることを特徴とする画像処理方法。
【請求項１７】
請求項１０記載の画像処理方法において、
上記参照低解像度のブロックに対応する、上記低解像度画像空間での物体の動きを示す動き情報を参照して、上記対象高解像度ブロックに対応する、上記高解像度画像空間での物体の動きを示す動き情報の復号化方法を切換えることを特徴とする画像処理方法。
【請求項１８】
請求項１０記載の画像処理方法において、
復号化処理がすでに施された処理済高解像度ブロックの、高解像度画像空間での物体の動きを示す動き情報、及び上記参照低解像度ブロックに対応する、上記低解像度画像空間での物体の動きを示す動き情報を参照して、上記対象高解像度ブロックに対応する、上記高解像度画像空間での物体の動きを示す動き情報の復号化方法を切換えることを特徴とする画像処理方法。
【請求項１９】
画像を構成する物体を単位として、物体の形状情報を有する画像入力信号に階層符号化処理を施す階層画像符号化装置であって、
上記画像入力信号をサブサンプルして低解像度画像信号を生成するサブサンプル手段と、
上記低解像度画像信号から、低解像度画像空間における符号化処理の範囲となる上記物体を含む領域に対応する低解像度の領域対応画像信号を生成する第１の領域抽出手段と、
該低解像度の領域対応画像信号を、所定数の画素からなる低解像度ブロックに対応するようブロック化して低解像度のブロック化画像信号を出力する第１のブロック化手段と、
符号化処理の対象となる低解像度ブロックを形成する低解像度のブロック化画像信号に対する符号化処理を順次行う第１の符号化手段と、
上記画像入力信号としての高解像度画像信号から、高解像度画像空間における符号化処理の範囲となる上記物体を含む領域に対応する高解像度の領域対応画像信号を生成する第２の領域抽出手段と、
該高解像度の領域対応画像信号を、所定数の画素からなる高解像度ブロックに対応するようブロック化して高解像度のブロック化画像信号を出力する第２のブロック化手段と、
符号化処理の対象となる高解像度ブロックを形成する高解像度のブロック化画像信号に対する符号化処理を、該高解像度ブロックに対応する参照低解像度ブロックを形成する低解像度のブロック化画像信号を参照して順次行う第２の符号化手段とを備え、
上記符号化処理の際に参照される参照低解像度ブロックを、その低解像度画像空間における空間位置が、上記対象高解像度ブロックの、高解像度画像空間における空間位置に一定の規則により対応付けられたものとすることを特徴とする画像処理装置。
【請求項２０】
画像を構成する物体を単位として、物体の形状情報を有する画像入力信号に階層符号化処理を施して得られる、所定の物体に対応する少なくとも２つのブロック化された階層符号化信号を、復号化する階層画像復号化装置であって、
上記階層符号化信号のうちの、所定の物体に対応する低解像度符号化信号を復号化して、低解像度画像空間における所定数の画素からなる低解像度ブロックに対応した低解像度復号化信号を生成する第１の復号化手段と、
該低解像度ブロックに対応した低解像度復号化信号を統合して、上記低解像度画像空間における上記物体を包含する領域に対応する低解像度の領域対応画像信号を生成する第１の逆ブロック化手段と、
上記階層符号化信号のうちの、所定の物体に対応する高解像度符号化信号を、参照低解像度復号化信号を参照して復号化して、高解像度画像空間における所定数の画素からなる高解像度ブロックに対応した高解像度復号化信号を生成する第２の復号化手段と、
該高解像度ブロックに対応する高解像度復号化信号を統合して、上記高解像度画像空間における上記物体を包含する領域に対応する高解像度の領域対応画像信号を生成する第２の逆ブロック化手段とを備え、
上記高解像度符号化信号の復号化処理の際に参照される参照低解像度ブロックを、その低解像度画像空間における空間位置が、上記復号化処理の対象となる対象高解像度ブロックの、高解像度画像空間における空間位置に一定の規則により対応付けられたものとすることを特徴とする画像処理装置。
【請求項２１】
コンピュータに階層画像符号化処理を行わせるためのプログラムを格納したデータ記録媒体であって、
上記プログラムは、
請求項１記載の画像処理方法による階層画像符号化処理を、コンピュータが行うよう構成されていることを特徴とするデータ記録媒体。
【請求項２２】
コンピュータに階層画像復号化処理を行わせるためのプログラムを格納したデータ記録媒体であって、
上記プログラムは、
請求項１０記載の画像処理方法による階層画像復号化処理を、コンピュータが行うよう構成されていることを特徴とするデータ記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
従来の画像符号化処理（現在のＭＰＥＧ４の最新評価モデル方式）では、１フレーム上に、個々の物体に対応する、該物体を包含する矩形領域を設定し、 この矩形領域を更にブロック（ＭＰＥＧ４の評価モデルでは１６×１６画素の正方ブロック）ＭＢに分割する。そして、個々の物体に対する画像信号の符号化処理は、上記矩形領域を構成するブロック単位で行う。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記低解像度符号化部２０１Ｌは、上記低解像度画像信号ＬＳｇに基づいて、低解像度フレームＬＦ上での個々の物体に対応する低解像度矩形領域ＬＲの位置や大きさ等の情報を検出し、該情報を矩形信号ＬＲｇとして出力する領域検出器３と、該矩形信号ＬＲｇに基づいて、上記低解像度画像信号ＬＳｇから、上記矩形領域ＬＲに対応する画像信号ＬＯｇを抽出する領域抽出器５とを有している。さらに、上記符号化部２０１Ｌは、上記矩形領域ＬＲに対応する画像信号（領域対応画像信号）ＬＯｇを、該矩形領域を区分する１６×１６画素からなるブロックＭＢに対応するよう分割して、各ブロックに対応する画像信号（ブロック化画像信号）ＬＢｇを出力するブロック化器６と、該ブロック化画像信号ＬＢｇを符号化して、低解像度符号化信号ＬＥｇを出力する符号化器７とを有している。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、上記高解像度符号化部２０１Ｈは、上記高解像度画像信号ＨＳｇに基づいて、高解像度フレームＨＦ上での個々の物体に対応する高解像度矩形領域ＨＲの位置や大きさ等の情報を検出し、該情報を矩形信号ＨＲｇとして出力する領域検出器１２と、該矩形信号ＨＲｇに基づいて、上記高解像度画像信号ＨＳｇから、上記矩形領域ＨＲに対応する画像信号ＨＯｇを抽出する領域抽出器１４とを有している。さらに、上記符号化部２０１Ｈは、上記矩形領域ＨＲに対応する画像信号（領域対応画像信号）ＨＯｇを、該矩形領域を区分する１６×１６画素からなるブロックＭＢに対応するよう分割して、各ブロックに対応する画像信号（ブロック化画像信号）ＨＢｇを出力するブロック化器１５と、該ブロック化画像信号ＨＢｇを符号化して、高解像度符号化信号ＨＥｇを出力する符号化器１６とを有している。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
【課題を解決するための手段】
この発明（請求項１）に係る画像処理方法は、画像を構成する物体を単位として、物体の形状情報を有する画像入力信号に対する階層符号化処理を行う画像処理方法であって、上記画像入力信号に基づいて、所定の物体に対応する、空間解像度が異なる複数の画像空間を形成する階層画像信号として、少なくとも低解像度画像信号及び高解像度画像信号を生成し、上記所定の物体に対応する高解像度画像信号から、高解像度画像空間における符号化処理の範囲となる上記物体を包含する領域に対応する低解像度の領域対応画像信号を抽出し、該領域対応画像信号を、所定数の画素からなる低解像度ブロックに対応するよう区分し、処理対象となる対象高解像度ブロックを形成する高解像度のブロック化画像信号に対する符号化処理を、該対象高解像度ブロックに対応する参照低解像度ブロックを形成する低解像度のブロック化画像信号を参照して順次行い、この符号化処理の際には、上記参照低解像度ブロックを、その低解像度画像空間における空間位置が、上記対象高解像度ブロックの、高解像度画像空間における空間位置に一定の規則により対応付けられたものとするものである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
この発明（請求項４）は、請求項１記載の画像処理方法において、上記参照低解像度ブロックの低解像度画像空間における位置と、対象高解像度ブロックの高解像度画像空間における位置とを相対的に一致させたものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
この発明（請求項１０）に係る画像処理方法は、画像を構成する物体を単位として、物体の形状情報を有する画像入力信号に階層符号化処理を施して得られる、所定の物体に対応する少なくとも２つのブロック化された階層符号化信号を復号化する画像処理方法であって、上記階層符号化信号のうちの、所定の物体に対応する低解像度符号化信号を復号化して、低解像度画像空間における所定数の画素からなる低解像度ブロックに対応した低解像度復号化信号を生成し、該低解像度復号化信号を統合して、上記低解像度画像空間における上記物体を包含する領域に対応する低解像度の領域対応画像信号を生成し、上記階層符号化信号のうちの、所定の物体に対応する高解像度符号化信号を、参照低解像度復号化信号を参照して復号化して、高解像度画像空間における所定数の画素からなる高解像度ブロックに対応した高解像度復号化信号を生成し、該高解像度復号化信号を統合して上記高解像度画像空間における上記物体を包含する領域に対応する高解像度の領域対応画像信号を生成し、上記高解像度符号化信号の復号化処理の際には、参照低解像度ブロックを、その低解像度画像空間における空間位置が、上記復号化処理の対象となる対象高解像度ブロックの、高解像度画像空間における空間位置に一定の規則により対応付けられたものとするものである。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
この発明（請求項１３）は、請求項１０記載の画像処理方法において、上記参照低解像度ブロックの低解像度画像空間における位置と、対象高解像度ブロックの高解像度画像空間における位置とを相対的に一致させたものである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
この発明（請求項１６）は、請求項１４記載の画像処理方法において、上記符号化モードを、参照低解像度ブロックに対応する低解像度符号化信号を画素毎に順次復号化する復号化処理が、水平走査方向と垂直走査方向のいずれの走査方向に沿って行われているかを示す符号化モードとしたものである。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
この発明（請求項１９）に係る画像処理装置は、画像を構成する物体を単位として、物体の形状情報を有する画像入力信号に階層符号化処理を施す階層画像符号化装置であって、上記画像入力信号をサブサンプルして低解像度画像信号を生成するサブサンプル手段と、 上記低解像度画像信号から、低解像度画像空間における符号化処理の範囲となる上記物体を含む領域に対応する低解像度の領域対応画像信号を生成する第１の領域抽出手段と、該低解像度の領域対応画像信号を、所定数の画素からなる低解像度ブロックに対応するようブロック化して低解像度のブロック化画像信号を出力する第１のブロック化手段と、符号化処理の対象となる低解像度ブロックを形成する低解像度のブロック化画像信号に対する符号化処理を順次行う第１の符号化手段と、上記画像入力信号としての高解像度画像信号から、高解像度画像空間における符号化処理の範囲となる上記物体を含む領域に対応する高解像度の領域対応画像信号を生成する第２の領域抽出手段と、該高解像度の物体対応画像信号を、所定数の画素からなる高解像度ブロックに対応するようブロック化して高解像度のブロック化画像信号を出力する第２のブロック化手段と、符号化処理の対象となる高解像度ブロックを形成する高解像度のブロック化画像信号に対する符号化処理を、該高解像度ブロックに対応する参照低解像度ブロックを形成する低解像度のブロック化画像信号を参照して順次行う第２の符号化手段とを備え、上記符号化処理の際に参照される参照低解像度ブロックを、その低解像度画像空間における空間位置が、上記対象高解像度ブロックの、高解像度画像空間における空間位置に一定の規則により対応付けられたものとするものである。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
この発明（請求項２０）に係る画像処理装置は、画像を構成する物体を単位として、物体の形状情報を有する画像入力信号に階層符号化処理を施して得られる、所定の物体に対応する少なくとも２つのブロック化された階層符号化信号を、復号化する階層画像復号化装置であって、上記階層符号化信号のうちの、所定の物体に対応する低解像度符号化信号を復号化して、低解像度画像空間における所定数の画素からなる低解像度ブロックに対応した低解像度復号化信号を生成する第１の復号化手段と、該低解像度ブロックに対応した低解像度復号化信号を統合して、上記低解像度画像空間における上記物体を含む領域に対応する低解像度の領域対応画像信号を生成する第１の逆ブロック化手段と、上記階層符号化信号のうちの、所定の物体に対応する高解像度符号化信号を、参照低解像度復号化信号を参照して復号化して、高解像度画像空間における所定数の画素からなる高解像度ブロックに対応した高解像度復号化信号を生成する第２の復号化手段と、該高解像度ブロックに対応する高解像度復号化信号を統合して、上記高解像度画像空間における上記物体を含む領域に対応する高解像度の領域対応画像信号を生成する第２の逆ブロック化手段とを備え、上記高解像度符号化信号の復号化処理の際に参照される参照低解像度ブロックを、その低解像度画像空間における空間位置が、上記復号化処理の対象となる対象高解像度ブロックの、高解像度画像空間における空間位置に一定の規則により対応付けられたものとするものである。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
このように本実施の形態１では、高解像度矩形領域ＨＲを構成するブロックＨＭＢ１の空間位置と、低解像度矩形領域ＬＲを解像度変換して得られる補間矩形領域ＡＲを構成するブロックＡＭＢの空間位置とが一致するので、高解像度フレームＨＦ内の所定の物体に対応する矩形領域ＨＲを対象とする階層符号化処理を行う際、高解像度画像信号ＨＳｇの符号化処理を低解像度画像信号ＬＳｇを参照して、符号化効率の低下を招くことなく行うことができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
そこで、この実施の形態３の階層画像符号化装置１０３は、ブロック化した補間画像信号とブロック化した高解像度画像信号とを比較して差分値を求める構成の符号化器１６ａに代えて、ブロック化した高解像度画像信号を統合した統合信号を、ブロック化した補間画像信号と比較して、該統合信号と補間画像信号との差分値を求め、この差分値を符号化する符号化器１６ｃを備えた構成としている。また、この実施の形態３では、高解像度矩形領域ＨＲを構成する高解像度ブロックＨＭＢ２（図６(b)参照）は、低解像度矩形領域ＬＲを構成する低解像度ブロックＬＭＢ（図６(a)参照）と同様、１６×１６画素からなる画像空間とし、補間矩形領域ＡＲを構成する補間ブロックＡＭＢ（図６(c)参照）は、３２×３２画素からなる画像空間としている。従って、この実施の形態３では、ブロック化器１５は、高解像度画像信号のブロック化処理を、１６×１６画素からなるブロックＨＭＢ２として行う構成となっている。そして、この実施の形態３の階層画像符号化装置１０３におけるその他の構成は上記実施の形態１の階層画像符号化装置１０１と同一としている。つまりこの実施の形態３の階層画像符号化装置１０３を構成する低解像度符号化部１０３Ｌは、上記実施の形態１のものと同一構成であり、またこの階層画像符号化装置１０３を構成する高解像度符号化部１０３Ｈは、符号化器１６ｃ及びブロック器１５の構成のみ上記実施の形態１のものと異なっている。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
このとき、上記補間画像Ａｏｂの矩形領域ＡＲを構成する１つのブロックＡＭＢと、高解像度画像Ｈｏｂの矩形領域ＨＲを構成する４つのブロックＨＭＢ２を統合した領域とが一致するため、上記符号化器１６ｃでは、１つのブロックＡＭＢに対応する補完画像信号を参照して、該ブロックに一致する、高解像度矩形領域の４つのブロックＨＭＢ２に対応する画像信号ＨＢｇを符号化する。つまり、該４つのブロックＨＭＢ２に対応する画像信号ＨＢｇと上記１つのブロックＡＭＢに対応する補完画像信号ＬＡｇとの差分値を符号化して、高解像度符号化信号ＨＥｇとして出力する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
このように本実施の形態３では、４つの高解像度ブロックＨＭＢ２を統合した統合領域に対応する高解像度画像信号ＨＢｇと、該統合領域と一致する１つの補間ブロックＡＭＢに対応する補完画像信号ＡＬｇとの差分信号を符号化するので、高解像度ブロックと補間ブロックとが一対一に対応しない場合でも、高解像度ブロックにおける画素と、補間ブロックにおける画素との対応を取ることができ、低解像度画像信号を参照して高解像度画像信号を符号化することができる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
この符号化器１６ｆは、上記ブロック化された高解像度画像信号ＨＢｇを受け、その符号化モードを判定して高解像度ブロックの符号化モード信号ＭＤを出力するモード判定器５０と、該符号化モード信号ＭＤを、ブロック化された低解像度画像信号ＬＢｇの符号化モード信号Ｍｇに基づいて符号化し、この際、該符号化モード信号ＭＤの符号化方法を符号化モード信号Ｍｇに基づいて切り換えてモード符号化信号ＥＭｇを出力するモード符号化器５１と、高解像度ブロック化画像信号ＨＢｇに対する符号化方法が異なる第１及び第２の符号化器５３及び５４とを有している（図９(b)参照）。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
なお、上記実施の形態６では、高解像度ブロックの符号化モードに応じて、高解像度画像信号の符号化方法を切り換えるとともに、低解像度ブロックの符号化モードに応じて、高解像度ブロックの符号化モードの符号化方法を切り換える構成を示したが、低解像度ブロックの符号化モードに応じた高解像度ブロックの符号化モードの符号化方法の切り換えのみを行うようにしてもよい。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１２８
【補正方法】変更
【補正の内容】
【０１２８】
以下、上記復号化器４０ｇの詳細な動作について説明する。
上記復号化器４０ｇでは、分離器６０にて、高解像度符号化信号ＨＥｇは、符号化モードに対応する符号部分ＥＭｇとその他の符号部分ＳＨＥｇとに分離され、符号化モードに対応する符号部分ＥＭｇがモード復号化器６１に出力され、その他の符号部分ＳＨＥｇが前段スイッチ６２に出力される。このとき上記モード復号化器６１では、低解像度ブロックの符号化モード信号Ｍｇを参照して、高解像度ブロックに対応するモード符号化信号が復号化される。つまり、低解像度ブロックの符号化モード信号Ｍｇに応じて、高解像度ブロックに対応するモード符号化信号の復号化方法が切り換えられる。上記各スイッチ６２及び６５では、高解像度ブロックの、復号化された符号化モード信号ＤＭｇを参照して、 第１の復号化器６３及び第２の復号化器６４のいずれか一方が選択され、いずれかの復号化器の出力ＨＤｇ１あるいはＨＤｇ２が復号化器４０ｇの出力ＨＤｇとして出力される。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１３０
【補正方法】変更
【補正の内容】
【０１３０】
なお、上記実施の形態７では、高解像度ブロックの符号かモードに応じて、高解像度符号化信号の復号化方法を切り換えるとともに、低解像度ブロックの符号化モードに応じて、高解像度ブロックの符号化モードの復号化方法を切り換える構成を示したが、低解像度ブロックの符号化モードに応じた高解像度ブロックの符号化モードの復号化方法の切り換えのみを行うようにしてもよい。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１３４
【補正方法】変更
【補正の内容】
【０１３４】
また、上記符号化器１６ｈは、該判定信号ＢＤ及び識別信号ＭＤ１を低解像度符号化信号ＬＥｇの符号化モード信号Ｍｇに基づいて符号化し、この際、上記判定信号ＢＤ及び識別信号ＭＤ１の符号化方法を符号化モード信号Ｍｇに基づいて切り換えてモード符号化信号ＥＭｇを出力するモード符号化器７１と、高解像度画像信号ＨＳｇに対する任意形状符号化処理の方法が異なる第１及び第２の任意形状符号化器７３ａ及び７３ｂと、高解像度画像信号ＨＳｇに対して固定形状符号化処理を施す固定形状符号化器７４とを有している。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１３７
【補正方法】変更
【補正の内容】
【０１３７】
次に作用効果について説明する。
物体の形状情報を有する画像信号に対しては、物体の形状に応じて符号化方式を切換えることが有効である。
すなわち、 高解像度ブロック内に物体境界が含まれる場合は、任意形状符号化器７３ａあるいは７３ｂにより物体形状に応じた任意形状符号化処理を行い、 該高解像度ブロックが物体外部に位置する場合あるいは高解像度ブロックが物体内部に位置する場合は、ブロック内の画像信号（固定形状）を効率よく符号化できる固定形状符号化器７４で符号化を行う。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０１４４
【補正方法】変更
【補正の内容】
【０１４４】
またこのとき、上記モード符号化器７１では、上記境界判定器７０の判定信号ＢＤ及びモード判定器７５の判定信号ＭＤ１の符号化処理が、低解像度ブロックの符号化モードＭｇに基づいて行われており、上記多重化器５６には上記スイッチ５５の出力ＳＨＥｇと上記モード符号化器７１の出力ＥＭｇとが多重化されて、高解像度符号化信号ＨＥｇとして出力される。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０１４７
【補正方法】変更
【補正の内容】
【０１４７】
なお、上記実施の形態８では、高解像度ブロックの符号化モードに応じて、高解像度画像信号の符号化方法を切り換えるとともに、低解像度ブロックの符号化モードに応じて、高解像度ブロックの符号化モードの符号化方法を切り換える構成を示したが、低解像度ブロックの符号化モードに応じた高解像度ブロックの符号化モードの符号化方法の切り換えのみを行うようにしてもよい。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０１５３
【補正方法】変更
【補正の内容】
【０１５３】
上記復号化器４０ｉのモード復号化器７５ａでは、低解像度画像の符号化モード信号Ｍｇ（即ち物体の内であるか外部であるか）を参照して高解像度画像のモード符号化信号ＥＭｇを復号化する。つまり、低解像度画像の符号化モード信号Ｍｇに応じて、高解像度画像に対応するモード符号化信号の復号化方法が切り換えられる。上記前段スイッチ６２及び後段スイッチ６５では、復号化した高解像度画像の符号化モードに応じて上記３つの復号化器のいずれか１つを選択することとなる。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】０１５８
【補正方法】変更
【補正の内容】
【０１５８】
上記符号化器１６ｊは、ブロック化された高解像度符号化信号ＨＢｇを受け、各ブロックにおける画像値の相関の大きい走査方向を判定する走査方向判定器８０と、該判定結果を示す信号ＳＤを、低解像度符号化信号ＬＥｇに対する、画素値の相関の大きい走査方向を示すモード信号Ｍｇに基づいて符号化し、この際、上記判定結果を示す信号ＳＤの符号化方法を上記モード信号Ｍｇに基づいて切り換えてモード符号化信号ＥＭｇを出力するモード符号化器８１と、高解像度画像信号ＨＳｇに対して水平走査符号化処理を行う水平走査符号化器８３と、上記高解像度画像信号ＨＳｇに対して垂直方向符号化処理を行う垂直方向符号化器８４とを有している。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】０１７０
【補正方法】変更
【補正の内容】
【０１７０】
上記復号化器４０ｋのモード復号化器８５では、低解像度画像の符号化モードＭｇ（即ち、画素値の相関の大きい走査方向）を参照して高解像度画像のモード符号化信号ＥＭｇを復号化する。つまり、低解像度画像の符号化モード信号Ｍｇに応じて、高解像度画像に対応するモード符号化信号ＥＭｇの復号化方法が切り換えられる。復号化した高解像度画像の符号化モード信号（画素値の相関の大きい走査方向を示す信号）ＤＭｇに応じてスイッチ６２及びスイッチ６５を切換えることにより、水平走査符号化処理された画像信号は水平走査復号化器８６で復号化され、垂直走査符号化処理された画像信号は垂直走査復号化器８７で復号化される。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】０１７５
【補正方法】変更
【補正の内容】
【０１７５】
すなわち、この実施の形態における符号化器１６ｍを構成する第２の符号化器５４ｍは、予測信号Ｐｃに基づいて高解像度画像信号ＨＢｇを符号化して高解像度符号化信号ＨＥｇを出力する符号化器９２と、上記予測信号Ｐｃに基づいて高解像度符号化信号ＨＥｇを復号化して高解像度局所復号化信号Ｈｄｇを出力する局所復号化器９３と、該高解像度局所復号化信号Ｈｄｇを記憶するメモリ９４とを有している。また、上記第２の符号化器５４ｍは、上記高解像度画像信号ＨＢｇを受け、上記メモリ９４に記憶された高解像度局所復号化信号Ｈｄｇ、及び低解像度画像の符号化モードＭｇとしての動きベクトルＬＭＶを参照して、高解像度画像に対応する動きベクトルＨＭＶを検出する動き検出器９０と、該動きベクトルＨＭＶに基づいて、上記メモリ９４から上記予測信号Ｐｃを抽出する動き補償器９１と、上記高解像度画像の動きベクトルＨＭＶを、低解像度画像の動きベクトルＬＭＶに基づいて符号化し、この際、上記高解像度画像の動きベクトルＨＭＶの符号化方法を低解像度画像の動きベクトルＬＭＶに基づいて切り換えて動きベクトル符号化信号ＨＭＶｃを出力する動き符号化器９５と、該動きベクトル符号化信号ＨＭＶｃと上記高解像度符号化信号ＨＥｇとを多重化して出力する多重化器５６ｍとを有している。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】０１８５
【補正方法】変更
【補正の内容】
【０１８５】
すなわち、この実施の形態における復号化器４０ｎを構成する第２の復号化器６４ｎは、予測信号Ｐｄに基づいて高解像度符号化信号ＨＥｇを復号化して高解像度復号化信号ＨＤｇ２を出力する復号化器９３ｂと、該高解像度復号化信号Ｈｄｇ２を記憶するメモリ９４ｂとを有している。また、上記第２の復号化器６４ｎは、低解像度画像の符号化モード（動きベクトル）ＬＭＶを参照して、分離されたモード符号化信号ＥＭｇに対する復号化処理を施して、高解像度画像の動きベクトルＨＭＶを再生する動き復号化器９６と、該再生動きベクトルＨＭＶに基づいて、メモリ９４ｂに記憶された高解像度復号化信号ＨＤｇ２から予測信号Ｐｄを抽出する動き補償器９１ｂとを有している。ここで上記動き復号化器９６は、上記高解像度画像の動きベクトルＨＭＶの復号化方法を、低解像度画像の符号化モード（動きベクトル）ＬＭＶに基づいて切り換える構成となっている。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】０１９６
【補正方法】変更
【補正の内容】
【０１９６】
そこで、動き予測器９７では、動き符号化器９５で符号化した、高解像度画像の動きベクトルＨＭＶ（ＨＭＶ１〜ＨＭＶ３）の符号化信号ＨＥｍｖと、低解像度画像の動きベクトルの符号化信号Ｍｇ（ＬＥｍｖ）とを参照して高解像度画像の動きベクトルの予測値ＰＭＶを生成し、 動き符号化器９５では、予測生成した動きベクトルＰＭＶを参照して、動き検出器９０で検出した高解像度画像の動きベクトルＨＭＶを符号化する。このとき、上記予測生成した動きベクトルＰＭＶに応じて、上記高解像度画像の動きベクトルＨＭＶの符号化方法が切り換えられる。なお、上記動き符号化器９５で符号化された予測動きベクトルＰＥｍｖは、多重化器５６ｍにて、符号化器９２の出力である高解像度符号化信号と多重化されて、第２の符号化器５４ｐの出力ＨＤｇ２として出力される。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】０２０５
【補正方法】変更
【補正の内容】
【０２０５】
上記第２の復号化器６４ｑにおける動き予測器９８では、動き復号化器９６で復号化した高解像度画像の動きベクトルＨＭＶと、モード復号化器６１から供給される低解像度画像の動きベクトルＬＭＶ（ＤＭｇ）を参照して、高解像度画像ブロックの動きベクトルの予測値ＰＭＶが生成される。すると、 動き復号化器９６では、上記予測生成した動きベクトルＰＭＶを参照して、高解像度画像に対する動きベクトルの符号化信号ＥＭｇが復号化される。つまり、予測生成した動きベクトルＰＭＶに応じて、高解像度画像に対応する動きベクトルの符号化信号ＥＭｇの復号化方法が切り換えられる。その他の動作は図１７の実施の形態１３の階層画像復号化装置１１３と同じである。
【手続補正３１】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図１０】
1998257505.tif 000001
【手続補正３２】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
1998257505.tif 000002
【手続補正３３】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
1998257505.tif 000003
【手続補正３４】
【補正対象書類名】図面
【補正対象項目名】図２２
【補正方法】変更
【補正の内容】
【図２２】
1998257505.tif 000004