(57)【特許請求の範囲】
【請求項１】
伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、上記注目画素を通り互いにほぼ直交する少なくとも２本の線によって第１乃至第４の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、上記第１乃至第４の領域の各々において、上記メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って上記注目画素に近い順に未伝送の画素を探索し、
上記未伝送の画素が探索された時点でスキャンを中止し、
上記領域の各々で探索された上記未伝送の画素の各々について上記注目画素に対する相関度を判定し、
上記相関度が最も大きいと判定される画素を伝送画素として決定する判定手段と、
上記伝送画素と、上記注目画素との差分を計算する計算手段と、
上記伝送画素が上記複数個の領域の内の何れに属するかを示す領域情報と、上記計算手段によって計算される上記差分とを伝送する伝送手段とを有し、
上記伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、上記領域情報と上記差分とを伝送する処理を繰り返すことを特徴とする伝送装置。
【請求項２】
請求項１において、
上記第１乃至第４の領域は、
上記注目画素を座標原点とする各フレーム内の直交座標上で第１象限を含む領域、第２象限を含む領域、第３象限を含む領域および第４象限を含む領域であることを特徴とする伝送装置。
【請求項３】
請求項１において、
上記第１乃至第４の領域は、
注目画素を座標原点とする各フレーム内の直交座標上で座標軸と４５度をなし、上記座標原点を通る２本直線で第１象限、第２象限、第３象限および第４象限をそれぞれ２分割することによって設定される領域であることを特徴とする伝送装置。
【請求項４】
伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、上記注目画素を通り互いにほぼ直交する少なくとも２本の線によって第１乃至第４の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、上記第１乃至第４の領域の各々において、上記メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って上記注目画素に近い順に未伝送の画素を探索し、
上記未伝送の画素が探索された時点でスキャンを中止し、
上記領域の各々で探索された上記未伝送の画素の各々について上記注目画素に対する相関度を判定し、
上記相関度が最も大きいと判定される画素を伝送画素として決定する判定手段と、
上記伝送画素と、上記注目画素との差分を計算する計算手段と、
上記伝送画素が上記複数個の領域の内の何れに属するかを示す領域情報と、上記計算手段によって計算される上記差分とを伝送する伝送手段とを有し、
上記伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、上記領域情報と上記差分とを伝送する処理を繰り返す伝送装置に対する受信装置において、
上記差分に係るデータと、上記領域情報とを含む伝送データを受信する受信手段と、
１つ前に伝送された画素の値と、上記差分値とを加算することによって画素値生成する画素データ生成手段と、
既伝送の画素の画素位置を示す情報をメモリに記憶し、上記領域情報によって示される上記領域内で上記メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って上記注目画素に近い順に未伝送の画素を探索し、探索される未伝送の画素の位置をその時点での伝送画素と判定する画素位置決定手段とを有することを特徴とする受信装置。
【請求項５】
伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、上記注目画素を通り互いにほぼ直交する少なくとも２本の線によって第１乃至第４の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、上記第１乃至第４の領域の各々において、上記メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って上記注目画素に近い順に未伝送の画素を探索し、
上記未伝送の画素が探索された時点でスキャンを中止し、
上記領域の各々で探索された上記未伝送の画素の各々について上記注目画素に対する相関度を判定し、
上記相関度が最も大きいと判定される画素を伝送画素として決定する判定ステップと、
上記伝送画素と、上記注目画素との差分を計算する計算ステップと、
上記伝送画素が上記複数個の領域の内の何れに属するかを示す領域情報と、上記計算ステップによって計算される上記差分とを伝送する伝送ステップとを有し、
上記伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、上記領域情報と上記差分とを伝送する処理を繰り返すことを特徴とする伝送方法。
【請求項６】
伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、上記注目画素を通り互いにほぼ直交する少なくとも２本の線によって第１乃至第４の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、上記第１乃至第４の領域の各々において、上記メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って上記注目画素に近い順に未伝送の画素を探索し、
上記未伝送の画素が探索された時点でスキャンを中止し、
上記領域の各々で探索された上記未伝送の画素の各々について上記注目画素に対する相関度を判定し、
上記相関度が最も大きいと判定される画素を伝送画素として決定する判定ステップと、
上記伝送画素と、上記注目画素との差分を計算する計算ステップと、
上記伝送画素が上記複数個の領域の内の何れに属するかを示す領域情報と、上記計算ステップによって計算される上記差分とを伝送する伝送ステップとを有し、
上記伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、上記領域情報と上記差分とを伝送する処理を繰り返す伝送方法に対する受信方法において、
上記差分に係るデータと、上記領域情報とを含む伝送データを受信する受信ステップと、
１つ前に伝送された画素の値と、上記差分値とを加算することによって画素値生成する画素データ生成ステップと、
既伝送の画素の画素位置を示す情報をメモリに記憶し、上記領域情報によって示される上記領域内で上記メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って上記注目画素に近い順に未伝送の画素を探索し、探索される未伝送の画素の位置をその時点での伝送画素と判定する画素位置決定ステップとを有することを特徴とする受信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えばディジタルテレビ等において使用される画像データの伝送に係る伝送装置、伝送方法、受信装置および受信方法に関する。
【０００２】
【従来の技術】
ディジタル化されたテレビジョン放送用等の画像データを符号化する際に、伝送される画素の周辺に位置する画素を参照した処理が行われる。このような処理は、エッジ等を含まない一般的な画像部分では近傍領域における自己相関性が強いことが多いという性質を利用して効率的な圧縮符号化を行うものである。伝送する画素の順番としては、画像の左上から右下方向に順次伝送していくラスタースキャンが従来から用いられてきた。このような伝送方法においては、輝度信号Ｙ，色差信号ＵおよびＶを含む、１画素当たり例えば８ビットのデータが伝送される。また、画素のアドレスを示すデータを伝送する必要は無い。
【０００３】
上述したような方法においては、水平方向に隣接する画素値が急峻に変化する場合に、伝送されたデータを復号した画像に、近傍の画素を参照して圧縮したことに起因する影響が現れる。例えば、図１６Ａに示すような垂直方向の１本の「棒」の画像が上述したような符号化方法を用いて伝送されると、符号化時に参照される近傍画素の影響により、「棒」に影がついたような画像（図１６Ｂ参照）となる。
【０００４】
【発明が解決しようとする課題】
このような問題を解消若しくはその程度を軽減するために、本願出願人は以下のような伝送方法を先に提案している。かかる伝送方法は、注目画素に対して上下左右の４方向、またはそれら４方向に斜め方向を含めた８方向に位置する未伝送の画素の内で、注目画素との相関度が最も大きい画素を判定し、そのように判定される画素と注目画素との差分値を計算し、計算される差分値と共に注目画素との相関度が最も大きいと判定された画素の注目画素に対する方向を示すデータを伝送するようにしたものである。
【０００５】
かかる伝送方法においては、注目画素に対して４方向または８方向に位置する画素が全て伝送済である場合には処理が行き詰まってしまうので、このような場合にはラスタースキャンを行って未伝送の画素を探索し、探索した画素を新たに注目画素に設定して処理を続行するようにしている。しかしながら、ラスタースキャンを含む処理にスキップする際に伝送効率の低下が生じるという問題があった。
【０００６】
従って、この発明の目的は、近接する画素値が急峻に変化する場合等においても画質の良好な画像伝送を行い、また、伝送効率を向上させることが可能な伝送装置、伝送方法、受信装置および受信方法を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１の発明は、伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、注目画素を通り互いにほぼ直交する少なくとも２本の線によって第１乃至第４の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、第１乃至第４の領域の各々において、メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って注目画素に近い順に未伝送の画素を探索し、
未伝送の画素が探索された時点でスキャンを中止し、
領域の各々で探索された未伝送の画素の各々について注目画素に対する相関度を判定し、
相関度が最も大きいと判定される画素を伝送画素として決定する判定手段と、
伝送画素と、注目画素との差分を計算する計算手段と、
伝送画素が複数個の領域の内の何れに属するかを示す領域情報と、計算手段によって計算される差分とを伝送する伝送手段とを有し、
伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、領域情報と差分とを伝送する処理を繰り返すことを特徴とする伝送装置である。
【０００８】
請求項４の発明は、伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、注目画素を通り互いにほぼ直交する少なくとも２本の線によって第１乃至第４の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、第１乃至第４の領域の各々において、メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って注目画素に近い順に未伝送の画素を探索し、
未伝送の画素が探索された時点でスキャンを中止し、
領域の各々で探索された未伝送の画素の各々について注目画素に対する相関度を判定し、
相関度が最も大きいと判定される画素を伝送画素として決定する判定手段と、
伝送画素と、注目画素との差分を計算する計算手段と、
伝送画素が複数個の領域の内の何れに属するかを示す領域情報と、計算手段によって計算される差分とを伝送する伝送手段とを有し、
伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、領域情報と差分とを伝送する処理を繰り返す伝送装置に対する受信装置において、
差分に係るデータと、領域情報とを含む伝送データを受信する受信手段と、
１つ前に伝送された画素の値と、差分値とを加算することによって画素値生成する画素データ生成手段と、
既伝送の画素の画素位置を示す情報をメモリに記憶し、領域情報によって示される領域内でメモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って注目画素に近い順に未伝送の画素を探索し、探索される未伝送の画素の位置をその時点での伝送画素と判定する画素位置決定手段とを有することを特徴とする受信装置である。
【０００９】
請求項５の発明は、伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、注目画素を通り互いにほぼ直交する少なくとも２本の線によって第１乃至第４の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、第１乃至第４の領域の各々において、メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って注目画素に近い順に未伝送の画素を探索し、
未伝送の画素が探索された時点でスキャンを中止し、
領域の各々で探索された未伝送の画素の各々について注目画素に対する相関度を判定し、
相関度が最も大きいと判定される画素を伝送画素として決定する判定ステップと、
伝送画素と、注目画素との差分を計算する計算ステップと、
伝送画素が複数個の領域の内の何れに属するかを示す領域情報と、計算ステップによって計算される差分とを伝送する伝送ステップとを有し、
伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、領域情報と差分とを伝送する処理を繰り返すことを特徴とする伝送方法である。
【００１０】
請求項６の発明は、伝送すべき画像信号中の各フレームのほぼ中心位置に最初に伝送する注目画素が予め設定され、注目画素を通り互いにほぼ直交する少なくとも２本の線によって第１乃至第４の領域が設定され、
既伝送の画素の画素位置を示す情報をメモリに記憶し、第１乃至第４の領域の各々において、メモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って注目画素に近い順に未伝送の画素を探索し、
未伝送の画素が探索された時点でスキャンを中止し、
領域の各々で探索された未伝送の画素の各々について注目画素に対する相関度を判定し、
相関度が最も大きいと判定される画素を伝送画素として決定する判定ステップと、
伝送画素と、注目画素との差分を計算する計算ステップと、
伝送画素が複数個の領域の内の何れに属するかを示す領域情報と、計算ステップによって計算される差分とを伝送する伝送ステップとを有し、
伝送画素を新たに注目画素に設定して新たな伝送画素を決定し、領域情報と差分とを伝送する処理を繰り返す伝送方法に対する受信方法において、
差分に係るデータと、領域情報とを含む伝送データを受信する受信ステップと、
１つ前に伝送された画素の値と、差分値とを加算することによって画素値生成する画素データ生成ステップと、
既伝送の画素の画素位置を示す情報をメモリに記憶し、領域情報によって示される領域内でメモリの記憶内容を参照して、予め設定された水平方向または垂直方向のスキャン方式に沿って注目画素に近い順に未伝送の画素を探索し、探索される未伝送の画素の位置をその時点での伝送画素と判定する画素位置決定ステップとを有することを特徴とする受信方法である。
【００１１】
以上のような発明によれば、注目画素の周囲でフレームが例えば４個等の複数個に分割されてなる領域の各々から探索される伝送画素の候補の内で、注目画素との相関度が最も大きい画素が伝送画素として選択され、伝送画素に差分量子化等の伝送時の符号化が施されてなる符号化データと共に、伝送画素の画素位置についての領域情報が伝送される。
【００１２】
また、受信側では、伝送されて来るデータから復号される各画素データを、領域情報を参照して的確な位置に出力することができる。
【００１３】
【発明の実施の形態】
この発明の一実施形態についての説明に先立ち、理解を容易とするために本願出願人が先に提案した伝送方式（以下、先の提案に係る伝送方式と表記する）の概要を以下に説明する。かかる伝送方式における、伝送すべき画素を探索する探索方法の一例を図１Ａに示す。２重丸で示す注目画素に対して上下左右の４方向に位置する画素（図中では網かけを付して示す）が探索の対象とされる。また、探索方法の他の例を図１Ｂに示す。２重丸で示す注目画素に対して上下左右および斜めの計８方向に位置する画素（図中では網かけを付して示す）が探索の対象とされる。
【００１４】
図１Ａの探索方法における処理について図２および図３を参照して詳細に説明する。図２および図３においては、図１と同様に注目画素を２重丸で示し、探索において伝送画素の候補とされる画素を網かけで示す。また、図２および図３において白丸は未伝送の画素を示し、黒丸は伝送済の画素を示す。図２Ａにおいて、注目画素を起点とする４個の矢印は、探索の対象とされる画素が位置している上下左右の４方向を示す。図２Ａにおいては、注目画素以外の画素が全て未伝送の画素なので、図２Ｂに示すように、注目画素に対して４方向で隣接する４個の画素が伝送画素の候補とされる。
【００１５】
また、図３Ａにおける４個の矢印は、図２と同様に探索の対象とされる画素が位置している４方向を示す。図３Ａにおいては、探索の対象とされる画素が位置している方向に伝送済の画素がある。このような場合には、伝送済の画素を飛び越して、未伝送の画素が伝送画素の候補とされる。すなわち、図３Ｂに示すように注目画素の右側の２画素が伝送済の画素なので、その２画素を飛び越えて注目画素から右方向に３番目に位置する画素が伝送画素の候補とされる。また、注目画素の下側の１画素が伝送済の画素なので、その１画素を飛び越えて注目画素から下方向に２番目に位置する画素が伝送画素の候補とされる。なお、伝送済の画素は、フレームメモリ内でフラグを付する等の方法で認識することができる。
【００１６】
さらに、上述したような伝送画素の候補の内で注目画素との相関度が最も大きいものを選択し、選択された画素と注目画素とのＹ，Ｕ／Ｖの差分値と、選択された画素の注目画素に対する方向を示すデータとを例えば１画素当たり８ビットで伝送する。そして、伝送した画素を新たに注目画素に設定して、上述した処理を繰り返す。以上の説明は上下左右の４方向に位置する画素を探索の対象とする場合についてものであるが、斜め方向をも含む８方向に位置する画素を探索の対象とする場合（図１Ｂ参照）についても同様な処理を行うようにすれば良い。
【００１７】
上述したような動作について図４を参照して詳細に説明する。ステップＳ５０１として、初期伝送画素が決定される。初期伝送画素としては、例えば、左上に位置する画素、または中心に位置する画素等を設定することができる。次に、ステップＳ５０２に移行して、図１〜図３等を参照して上述したようにして伝送画素の候補が探索される。次に、ステップＳ５０３においては、全ての方向で未伝送画素が無いか否かが判定される。この判定は、例えば、所定のフレームメモリ上で、既伝送画素の画素位置にフラグを立てるようにし、フラグが立っていない画素位置を未伝送画素の画素位置として認識する等の処理によって実現される。ステップＳ５０３によって全ての方向で未伝送画素が無いと判定される場合にはステップＳ５０４に移行し、それ以外の場合にはステップＳ５０５に移行する。
【００１８】
ステップＳ５０５では、ステップＳ５０３によって各方向において探索された画素の内で、注目画素と最も相関度が大きいものを選択する。そして、ステップＳ５０７に移行する。ステップＳ５０７では、ステップＳ５０５によって選択された画素と注目画素との間で、輝度信号Ｙ，色差信号Ｕ／Ｖについての差分を計算する。そして、計算した差分と、ステップＳ５０５によって選択された画素の注目画素に対する方向を示す情報とを伝送する処理を行う。さらに、ステップＳ５０８に移行し、ステップＳ５０７で伝送した画素を注目画素として設定した上でステップＳ５０２に移行し、後続の処理を行う。
【００１９】
一方、ステップＳ５０３の結果としてステップＳ５０４に移行する場合は、図１〜図３等を参照して上述したような探索方法によって注目点の周りに未伝送画素を見つけることができない場合である。そこで、ステップＳ５０４においては、ラスタースキャンを行って未伝送画素を探索する。さらに、ステップＳ５０６に移行し、未伝送画素が無いか否かを判定する。未伝送画素が無いと判定される場合には、当該フレーム内の全ての画素についての伝送が完了したと判断できるので処理を終了する。それ以外の場合には、ステップＳ５０４によって探索された未伝送画素を用いてステップＳ５０７以降の処理を行う。
【００２０】
以上のような処理においては、注目画素に対して４方向または８方向に位置する画素の内に未伝送画素が無い場合に、ラスタースキャンを行うことによって未伝送画素を検出し、検出される未伝送画素を用いて処理を続行するようになされていた。このような処理においては、ラスタースキャンにスキップする際に伝送効率が低くなるという問題があった。
【００２１】
そこで、この発明は、ラスタースキャンへのスキップを行なわないようにしたものである。この発明の一実施形態について以下に説明する。この発明の一実施形態における探索方式について図５を参照して説明する。かかる探索方式では、フレームを注目画素に対して左上、左下、右下、右上にそれぞれ位置する領域Ｒ１、領域Ｒ２、領域Ｒ３、領域Ｒ４の４個の領域に分割し、これら４個の領域の各々において水平または垂直方向のスキャンを行って伝送画素の候補を探索する。そして、探索される伝送画素の候補の内で注目画素との相関度が最も大きいものを伝送画素として選択し、選択した伝送画素と注目画素とのＹ，Ｕ／Ｖについての差分値と、伝送画素が上述の４個の領域の何れに属するかを示す領域情報とを例えば１画素当たり８ビットで伝送する。
【００２２】
より厳密には領域Ｒ１は注目画素を座標原点とする各フレーム内の直交座標上で第２象限にｙ軸の原点より上の部分を加えた領域であり、また、領域Ｒ２は上述の直交座標上で第３象限にｘ軸の原点より左の部分を加えた領域である。さらに、領域Ｒ３，Ｒ４は、それぞれ、第４象限にｙ軸の原点より下の部分を加えた領域、第１象限にｘ軸の原点より右の部分を加えた領域である。
【００２３】
次に、この発明の一実施形態における伝送画素を決定する処理の手順について説明する。図６に、この発明の一実施形態におけるフローチャートの一例を示す。ステップＳ１として、領域Ｒ１について垂直方向のスキャン（図５参照）を行って伝送画素の候補を探索する。ステップＳ２として、領域Ｒ２について水平方向のスキャン（図５参照）を行って伝送画素の候補を探索する。ステップＳ３として、領域Ｒ３について垂直方向のスキャン（図５参照）を行って伝送画素の候補を探索する。
【００２４】
ステップＳ４として、領域Ｒ４について水平方向のスキャン（図５参照）を行って伝送画素の候補を探索する。なお、ステップＳ１〜ステップＳ４の何れにおいても、伝送画素の候補が探索された時点でスキャンを中止し、次の処理に備えてフレーム内でのアドレスを注目画素位置に戻す処理がなされる。ステップＳ５では、ステップＳ１〜ステップＳ４によって各領域から探索された伝送画素の候補の注目画素に対する相関度をそれぞれ計算し、得られた相関度を比較する。かかる比較の結果に基づいて、ステップＳ６において伝送画素を決定する。すなわち、ステップＳ６においては、相関度が最大となる画素を伝送画素として決定する。
【００２５】
ステップＳ１における処理の詳細について図７を参照して説明する。ステップＳ１０１として、アドレス（ｘ，ｙ）として現時点での注目点（ｃｕｒｒｘ，ｃｕｒｒｙ）が設定される。ステップＳ１０２としてｙの値から１を減算する。ここで、図５に示したようにｙ座標を下向きにとるので、ステップＳ１０２は上方向に１画素ずらす操作に対応する。
【００２６】
ステップＳ１０２によって到達した画素（ｘ，ｙ）の画素が未伝送画素であるか否かが判定される（ステップＳ１０３）。この判定は、例えば、所定のフレームメモリ上で、既伝送画素の画素位置にフラグを立てるようにし、フラグが立っていない画素位置を未伝送画素の画素位置として認識する等の処理によって実現される。なお、フラグを立てる処理は、例えば図６中のステップＳ６によって伝送画素が決定した時点等に行うようにすれば良い。
【００２７】
画素（ｘ，ｙ）が未伝送画素であると判定される場合にはステップＳ１０４に移行し、それ以外の場合にはステップＳ１０５に移行する。ステップＳ１０４では、画素（ｘ，ｙ）を伝送画素の候補と決定し、処理を終了する。
【００２８】
一方、ステップＳ１０５では、ｙ−１の値が０より小さいか否かが判定される。ｙ−１の値が０より小さいと判定される場合には、スキャンが領域Ｒ１の上端に到達し、上方向に１画素ずらす操作をすることができないので、図５において点線で示したような、左方向に１画素ずらす操作を行う。すなわち、ステップＳ１０６においてｘの値から１を減算し、また、ｙの値を注目点でのｙの値ｃｕｒｒｙとする。そして、ステップＳ１０７に移行し、ｘ−１＜０か否かを判定する。
【００２９】
ステップＳ１０７によってｘ−１＜０と判定される場合にはステップＳ１０８に移行し、それ以外の場合にはステップＳ１０２に移行して上方向へのスキャンを行う。一方、ステップＳ１０７によってｘ−１＜０と判定される場合にはｘ座標が領域Ｒ１の左端からはみ出すことになるので、ステップＳ１０８では伝送画素の候補無しと決定して処理を終了する。
【００３０】
以上のような、領域Ｒ１をはみ出さないようにチェックしながら、ｙの値を１ずつ減算する処理と、ｘの値を１減算すると共にｙの値に注目点のｙの値を設定する処理とを組合わせて行うことにより、領域Ｒ１内での伝送画素の候補を探索することができる。他の領域についても図７に示した処理に類似した処理によって伝送画素の候補を探索することができる。すなわち、領域Ｒ２をはみ出さないようにチェックしながら、ｘの値を１ずつ減算する処理と、ｙの値を１加算すると共にｘの値に注目点のｘの値を設定する処理とを組合わせて行うことにより、領域Ｒ２内での伝送画素の候補を探索することができる。
【００３１】
また、領域Ｒ３をはみ出さないようにチェックしながら、ｙの値を１ずつ加算する処理と、ｘの値を１加算すると共にｙの値に注目点のｙの値を設定する処理とを組合わせて行うことにより、領域Ｒ３内での伝送画素の候補を探索することができる。また、領域Ｒ４をはみ出さないようにチェックしながら、ｘの値を１ずつ加算する処理と、ｙの値を１減算すると共にｘの値に注目点のｘの値を設定する処理とを組合わせて行うことにより、領域Ｒ４内での伝送画素の候補を探索することができる。
【００３２】
次に、この発明の一実施形態における符号化装置について説明する。この発明の一実施形態における符号化装置の一例を図８に示す。輝度信号Ｙがフレームメモリ１０に供給され、記憶される。また、色差信号Ｕ／Ｖがフレームメモリ１１に供給され、記憶される。相関度判定回路１２は、フレームメモリ１０、１１に記憶されたデータに基づいて図５、図６、図７等を参照して上述したような処理を行い、注目画素に対する相関度が最も大きい画素を伝送画素として判定する。かかる判定は、輝度信号の相関度と色差信号の相関度との組み合わせに基づいてなされる。相関度判定回路１２は、判定した伝送画素を示す伝送画素情報をフレーム１０、１１にそれぞれ供給すると共に、伝送画素が属している領域を示す領域情報を多重化回路１９に供給する。
【００３３】
フレームメモリ１０は、伝送画素情報に基づいて伝送画素にフラグを付す処理を行うと共に、伝送画素の画素データをレジスタ１３および減算器１４に供給する。フレームメモリ１１は、伝送画素情報に基づいて伝送画素にフラグを付す処理を行うと共に、伝送画素の画素データをレジスタ１６および減算器１７に供給する。レジスタ１３は、データが供給される毎に記憶内容を更新することにより、直前に伝送された画素の画素データを注目画素の画素データとしてラッチする。減算器１４は、レジスタ１３がラッチしているデータとフレームメモリ１０から供給されるデータとの差分をとる。これにより、伝送画素のデータと注目画素のデータとの差分を得ることができる。この差分が量子化器１５に供給される。量子化器１５は、供給される差分に量子化を施して冗長度を取り除く。量子化の方法としては、ＤＰＣＭ(Differential Pulse Code Modulation)等の非線形量子化処理を用いることができる。量子化器１５の出力は多重化器１９に供給される。
【００３４】
また、レジスタ１６は、データが供給される毎に記憶内容を更新することにより、直前に伝送された画素の画素データを注目画素の画素データとしてラッチする。減算器１７は、レジスタ１６がラッチしているデータとフレームメモリ１１から供給されるデータとの差分をとる。これにより、伝送画素のデータと注目画素のデータとの差分を得ることができる。この差分が量子化器１８に供給される。量子化器１８は、供給される差分に量子化を施して冗長度を取り除く。量子化の方法としては、ＤＰＣＭ等の非線形量子化処理を用いることができる。
【００３５】
量子化器１８の出力は多重化器１９に供給される。このように、相関度判定回路１２による相関度の大きさを判定する輝度信号Ｙ，色差信号Ｕ／Ｖが組み合わされて用いられるが、差分値の計算、および量子化は、輝度信号Ｙ，色差信号Ｕ／Ｖの各々について別個に行われる。多重化器１９は、量子化器１５、１８から供給される差分の量子化値、および相関度判定回路１２から供給される領域情報を多重化して、各伝送画素毎の伝送データを形成し、形成した伝送データを出力する。なお、ここでは相関度の判定をフレームメモリ１０および１１に記憶される画素データに基づいて行うようにしたが、相関度の判定は、ローカルデコードを行うことによって得られるデータに基づいて行うようにしても良い。
【００３６】
上述したような符号化装置の動作について、図９のフローチャートを参照して説明する。ステップＳ２０１として、初期伝送画素を決定する。ステップＳ２０２として、図５に示した４つの領域をそれぞれスキャンし、伝送画素の候補を探索する。ステップＳ２０３においては、ステップＳ２０２においてスキャンした全ての領域において未伝送画素が無いか否かを判定する。全ての領域において未伝送画素が無い場合には当該フレーム内の画素データの伝送が完了したものと判断できるので処理を終了する。それ以外の場合にはステップＳ２０４に移行し、候補の中で注目画素と最も相関度の大きいものを伝送画素として選択する。
【００３７】
そして、ステップＳ２０５に移行し、伝送画素と注目画素との間での輝度信号Ｙおよび色差信号Ｕ／Ｖの差分、並びに伝送画素が含まれる領域を示す領域情報を伝送する。さらに、ステップＳ２０６に移行し、ステップＳ２０５によって伝送された画素を注目画素に設定し、ステップＳ２０１に移行して伝送処理を継続する。
【００３８】
次に、この発明の一実施形態における復号化装置について説明する。この発明の一実施形態における復号化装置の一例を図１０に示す。伝送データが分割化回路２１に入力する。分割化回路２１は、伝送データ中に多重化されている輝度信号，色差信号に係るデータ、および領域情報に係るデータを分割化する。そして、輝度信号，色差信号に係るデータをそれぞれ再構成回路２２、２６に供給すると共に、領域情報を出力位置決定回路３０に供給する。
【００３９】
再構成回路２２は、量子化テーブルを参照して、供給されるデータから輝度信号の差分値を再構成する。再構成回路２２の出力は加算回路２３に供給される。加算回路２３は、再構成回路２２の出力とレジスタ２４の記憶値とを加算し、加算値をレジスタ２４に供給する。このような構成により、１つ前に伝送された画素の輝度信号値と、輝度信号の差分値とが加算され、輝度信号値が順次復元される。レジスタ２４の記憶値は、加算回路２３に供給されると共に、フレームメモリ２５に供給される。フレームメモリ２５は、供給される輝度信号値を順次記憶する。
【００４０】
一方、再構成回路２６は、量子化テーブルを参照して、供給されるデータから色差信号の差分値を再構成する。再構成回路２６の出力は加算回路２７に供給される。加算回路２７は、再構成回路２６の出力とレジスタ２８の記憶値とを加算し、加算値をレジスタ２８に供給する。このような構成により、１つ前に伝送された画素の色差信号値と、色差信号の差分値とが加算され、色差信号値が順次復元される。レジスタ２８の記憶値は、加算回路２７に供給されると共に、フレームメモリ２９に供給される。フレームメモリ２９は、供給される色差信号値を順次記憶する。
【００４１】
また、出力位置決定回路３０は、供給される領域情報に基づいて出力画素位置を検出し、検出した出力画素位置をフレームメモリ２５および２９に供給する。すなわち、領域情報に応じて、図５に示したような各領域毎のスキャン方式に沿って注目画素に近い順に未伝送画素を探索し、探索される未伝送画素の位置をその時点での伝送画素と判定する。ここで、未伝送画素の探索は、フレームメモリ３１を参照することによって行われる。すなわち、出力位置決定回路３０は、伝送画素の位置を判定する毎に、フレームメモリ３１上の当該伝送画素のアドレスにフラグを立てることによって既伝送画素の位置をフレームメモリ３１上に保持する。また、出力位置決定回路３０は、未伝送画素を探索するに際して、フレームメモリ３１上でフラグが立てられている画素位置を飛び越し、それ以降の画素を探索対象とする処理を行う。
【００４２】
フレームメモリ２５および２９は、出力位置決定回路３０から供給される出力画素位置に従って、それぞれ、輝度信号値Ｙおよび色差信号値Ｕ／Ｖを出力する。このようにして輝度信号値Ｙおよび色差信号値Ｕ／Ｖを原画像と同じ位置に出力することができ、原画像を的確に復号できる。
【００４３】
上述したような符号化装置の動作について、図１１のフローチャートを参照して説明する。ステップＳ３０１として、その時点での注目画素を起点として、出力位置の決定に係るフレームメモリ内の伝送画素が含まれる領域を順次探索する。かかるフレームメモリは、図１０中ではフレームメモリ３１である。すなわち、上述したように、既伝送画素に対応するフレームメモリ３１上のアドレスにフラグが立てられるので、フラグが立っていないアドレスを順次探索していくことにより復号すべき未伝送の画素の位置を探索することができる。ステップＳ３０２では、当該領域内に未伝送画素が無いか否かを判定する。ステップＳ３０２によって当該領域内に未伝送画素が無いと判定される場合には処理を終了する。かかる場合には、伝送すべき画素が最早存在しないと判断することができる。一方、それ以外の場合にはステップＳ３０３に移行する。
【００４４】
ステップＳ３０３では、その時点での注目画素の輝度信号Ｙおよび色差信号Ｕ／Ｖと伝送されてきた情報に基づいて再構成された差分とに基づいて、伝送画素についての輝度信号Ｙおよび色差信号Ｕ／Ｖを計算する。そして、計算した輝度信号Ｙおよび色差信号Ｕ／ＶをステップＳ３０１およびＳ３０２によって探索された画素位置に対して出力する。さらに、ステップＳ３０４に移行して、ステップＳ３０３において出力した画素に対応するフレームメモリ３１上のアドレスにフラグを立てる。さらに、ステップＳ３０５に移行して、ステップＳ３０３において出力した画素を注目画素に設定し、ステップＳ３０１に移行して伝送処理を継続する。
【００４５】
次に、この発明の一実施形態による伝送の順序について説明する。図１２は、原画像をこの発明の一実施形態によって伝送する際の伝送の順序を、輝度によって表現した画像の一例である。ここで、輝度値が大きい部分、すなわち図上で明るい部分ほど伝送順序が遅いことを示す。また、図１３は、図４等を参照して上述した、先の提案に係る伝送方法によって原画像を伝送する際の伝送の順序を、輝度によって表現した画像の一例である。なお、図１２および図１３についての原画像を図１４に示す。
【００４６】
なお、図１２、図１３および図１４は、各画像をプリント・アウトしたものの複写である。右上の画像部分（図１４からわかるように「空」の部分）に注目すると、図１３では輝度の低い部分、すなわち伝送順序が早い部分が基調となっているのに加えて輝度の高い部分、すなわち伝送順序が遅い部分が点々と現れている。これらの点状の部分は、ラスタースキャンを含む処理にスキップすることによって伝送された部分であると考えられる。一方、同じ画像部分について、図１２では５段階程度の輝度が現れているが、輝度の大きく異なる点状の部分は図１３に比較してごく少ない。
【００４７】
一般に、注目画素との距離が近いほど相関性は強い。また、「空」のように画素値の変化が少ない部分については、連続的に伝送するほうが効率が良い。これらのことを考慮すると、図１２と図１３の比較から、この発明の一実施形態によって、図４等を参照して上述した伝送方法による場合よりも効率良く画素を伝送できることがわかる。符号化処理において算出される差分の平均と、伝送方法との関係について図１５を参照して説明する。図１５は、（ａ）全ての画素をラスタースキャン順に伝送する従来の伝送方法、（ｂ）図４等を参照して上述した先の提案に係る伝送方法、および（ｃ）この発明の一実施形態における輝度信号および色差信号差分平均値の一例を示している。
【００４８】
また、図１５では、輝度信号Ｙについての差分平均値を三角形を実線で結んで示し、色差信号Ｐｒを三角形を丸を点線で結んで示し、色差信号Ｐｂについての差分平均値を四角形を一点鎖線で結んで示した。図１５に示すように、この発明の一実施形態における差分平均値は、全ての画素をラスタースキャン順に伝送する従来の伝送方法における各差分平均値より小さい。但し、この発明では、伝送画素が注目画素の周りの４個の領域の何れに属するかを示す領域情報を伝送する必要があるのでその例えば２ビット分だけ伝送情報量が増加する。一般的には差分平均値の減少に起因して伝送情報量が削減される効果の方が領域情報の伝送に起因する伝送情報量の増加よりも大きいので、この発明により、従来の伝送方法に比較して伝送効率を向上されることができる。
【００４９】
また、この発明の一実施形態における差分平均値は、先の提案に係る伝送方法における各差分平均値よりも僅かながら小さいことが図１５からわかる。かかる点と、この発明の一実施形態においては未伝送画素の探索が行き詰まった場合にラスタースキャンを含む処理にスキップする必要が無い点とにより、この発明によれば本願出願人の先の提案に係る伝送方法に比較して伝送効率を向上させることができる。
【００５０】
上述したこの発明の一実施形態では、フレームを注目画素に対して左上、左下、右下、右上にそれぞれ位置する４個の領域に分割し、これら４個の領域の各々から伝送画素の候補を探索するものであるが、伝送画素の候補を探索するための領域のとり方はこれに限定されるものではない。例えば図５に示した４個の領域を各々２等分することによって８個の領域を設定し、それらの８個の領域の各々から伝送画素の候補を探索するようにしても良い。
【００５１】
この発明は、上述したこの発明の一実施形態やこの発明の他の実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００５２】
【発明の効果】
この発明によれば、注目画素の周囲でフレームが例えば４個等の複数個に分割されてなる領域の各々から、各領域内で例えばラスタ−スキャン状等の探索を行うことによって検出される伝送画素の候補の内で、注目画素との相関度が最も大きい画素が伝送画素として選択され、伝送画素に差分量子化等の伝送時の符号化が施されてなる符号化データと共に、伝送画素の画素位置についての領域情報が伝送される。
【００５３】
また、受信側では、例えば復号装置内にフレームメモリを備え、既伝送画素に対応する位置にフラグを立て、復号したデータを出力する画素位置がフラグの無い画素位置の内から選択されるようにする等の処理を行うことにより、領域情報を参照して認識される領域内において既伝送画素を飛び越える等、復号される画素データの出力位置の制御が適切に行われる。このため、伝送されて来るデータから復号される各画素データを、領域情報を参照して的確な位置に出力することができる。
【００５４】
従って、相関度がより大きい画素の間で、差分量子化等の符号化が常になされる。このため、例えばエッジを含む部分等の、相関が無い部分を跨ぐように位置する画素の間での符号化が行われることを防止、若しくはその確率を大幅に低減することができるので、そのような符号化に起因して復号される画像の画質が劣化することを防止することができる。従って、より高画質での画像伝送を実現することができる。
【００５５】
また、この発明において伝送される領域情報は、全ての画素をラスタースキャン順に伝送する従来の伝送方法においては伝送する必要が無いものなので、従来の伝送方法に比べて領域情報の分だけ伝送される情報量が増大することになる。一方で、この発明によってより相関度の大きい画素間で符号化処理が行われることにより、差分平均値の減少等、画素データの伝送に係る情報量が削減される効果が生じる。一般的には、領域情報の伝送に起因する伝送情報量の増加よりも画素データの伝送に係る情報量が削減される効果の方が大きいので、この発明により、総体的には、従来の伝送方法に比較して伝送効率を向上させることができる。
【００５６】
また、注目画素の周囲でフレームが複数個に分割されてなる領域内の全画素が伝送画素の候補を探すための探索の対象とされるので、当該フレームの伝送が完了する以前に、何れの領域においても伝送画素の候補が見つからないという状況が生じないようにすることができる。
【００５７】
このため、例えば注目画素に対して上下左右の４方向の何れかに位置する画素のみを探索の対象とする探索方法等において伝送画素の候補が見つからない場合に行われる、ラスタースキャン等を含む例外的な処理は、この発明においては不要とすることができる。このため、例外的な処理に起因して伝送効率が低下することを回避できるので、伝送効率の向上に寄与することができる。
【図面の簡単な説明】
【図１】本願出願人の先の提案に係る伝送方式における探索方法について説明するための略線図である。
【図２】図１に示す探索方式における処理の一例について説明するための略線図である。
【図３】図１に示す探索方式における処理の他の例について説明するための略線図である。
【図４】本願出願人の先の提案に係る伝送方式の処理手順について説明するためのフローチャートである。
【図５】この発明の一実施形態における探索方式について説明するための略線図である。
【図６】この発明の一実施形態における処理について説明するためのフローチャートである。
【図７】図６に示した処理における一部の処理について詳細に説明するためのフローチャートである。
【図８】この発明の一実施形態における符号化装置の構成の一例を示すブロック図である。
【図９】図８に示した構成による処理について説明するためのフローチャートである。
【図１０】この発明の一実施形態における復号化装置の構成の一例を示すブロック図である。
【図１１】図１０に示した構成による処理について説明するためのフローチャートである。
【図１２】原画像をこの発明の一実施形態によって伝送する際の伝送の順序を、輝度によって表現した画像の一例の複写である。
【図１３】本願出願人の先の提案に係る伝送方法によって原画像を伝送する際の伝送の順序を、輝度によって表現した画像の一例の複写である。
【図１４】図１２および図１３についての原画像の複写である。
【図１５】符号化処理において算出される差分の平均と、伝送方法との関係の一例を示す略線図である。
【図１６】従来技術における問題点について説明するための略線図である。
【符号の説明】
１２・・・相関度判定回路、３０・・・出力位置決定回路
【図１】
0004218117.tif 000002
【図２】
0004218117.tif 000003
【図３】
0004218117.tif 000004
【図４】
0004218117.tif 000005
【図５】
0004218117.tif 000006
【図６】
0004218117.tif 000007
【図７】
0004218117.tif 000008
【図８】
0004218117.tif 000009
【図９】
0004218117.tif 000010
【図１０】
0004218117.tif 000011
【図１１】
0004218117.tif 000012
【図１２】
0004218117.tif 000013
【図１３】
0004218117.tif 000014
【図１４】
0004218117.tif 000015
【図１５】
0004218117.tif 000016
【図１６】
0004218117.tif 000017