(57)【特許請求の範囲】
【請求項１】
複数の色成分を有する画像データについて、１画素または複数画素おきに、その複数の色成分のうちの１つを削除し、残りを選択して出力することにより得られる符号化データを復号する画像復号装置であって、
注目画素の削除された１つの色成分の推定値を、その周辺の画素が有する色成分のうち、削除された１つの色成分と同一の色成分から推定する推定手段と、
前記注目画素および前記周辺の画素が有する色成分のうち、削除された１つの色成分以外の色成分であって、前記注目画素の上記削除された色成分と前記周辺の画素の上記削除された色成分の平均値との差分から、所定の補正値を算出する算出手段と、
前記推定値を、前記補正値によって補正する補正手段と
を備えることを特徴とする画像復号装置。
【請求項２】
複数の色成分を有する画像データについて、１画素または複数画素おきに、その複数の色成分のうちの１つを削除し、残りを選択して出力することにより得られる符号化データを復号する画像復号方法であって、
注目画素の削除された１つの色成分の推定値を、その周辺の画素が有する色成分のうち、削除された１つの色成分と同一の色成分から推定し、
前記注目画素および前記周辺の画素が有する色成分のうち、削除された１つの色成分以外の色成分であって、前記注目画素の上記削除された色成分と前記周辺の画素の上記削除された色成分の平均値との差分から、所定の補正値を算出し、
前記推定値を、前記補正値によって補正する
ことを特徴とする画像復号方法。
【請求項３】
複数の色成分を有する画像データを符号化する画像符号化装置と、その画像符号化装置が出力する符号化データを復号する画像復号装置とからなる画像処理装置であって、
前記画像符号化装置は、１画素または複数画素おきに、前記複数の色成分のうちの１つを削除し、残りを選択して出力する選択手段を備え、
前記画像復号装置は、注目画素の削除された１つの色成分の推定値を、その周辺の画素が有する色成分のうち、削除された１つの色成分と同一の色成分から推定する推定手段と、
前記注目画素および前記周辺の画素が有する色成分のうち、削除された１つの色成分以外の色成分であって、前記注目画素の上記削除された色成分と前記周辺の画素の上記削除された色成分の平均値との差分から、所定の補正値を算出する算出手段と、
前記推定値を、前記補正値によって補正する補正手段と
を備えることを特徴とする画像処理装置。
【請求項４】
複数の色成分を有する画像データを符号化する画像符号化装置と、その画像符号化装置が出力する符号化データを復号する画像復号装置とからなる画像処理装置の画像処理方法であって、
前記画像符号化装置において、1画素または複数画素おきに、前記複数の色成分のうちの１つを削除し、残りを選択して出力し、
前記画像復号装置において、注目画素の削除された１つの色成分の推定値を、その周辺の画素が有する色成分のうち、削除された１つの色成分と同一の色成分から推定し、前記注目画素および前記周辺の画素が有する色成分のうち、削除された１つの色成分以外の色成分であって、前記注目画素の上記削除された色成分と前記周辺の画素の上記削除された色成分の平均値との差分から、所定の補正値を算出し、前記推定値を、前記補正値によって補正する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像復号装置および画像復号方法、並びに、画像処理装置および画像処理方法に関し、特に、データ量の増加を抑えて、画質の良い復号画像を得ることができるようにする画像復号装置および画像復号方法、並びに、画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
画像は、データ量が多いため、一般に、符号化（圧縮）して、伝送、あるいは記録される。
【０００３】
【発明が解決しようとする課題】
ところで、複数の色成分を有する画像としての、例えば、４：４：４のＲＧＢ（Red Green Blue）の画像を符号化（色圧縮）する場合において、例えば、Ｒ，Ｇ，Ｂの各成分が８ビットであるときに、１画素が８ビットにベクトル量子化されることがある。
【０００４】
この場合、復号側では、２５６（＝２8）色までの復号画像しか得られない。
【０００５】
これは、１の色成分へのビット割当が、平均で、８／３ビットとなることによる。従って、１の色成分に割り当てるビット数を増加させれば、復号画像の画質の劣化を低減することができるが、それでは、データ量が増加する。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、データ量を増加させずに、より高画質の復号画像を得ることができるようにするものである。
【０００９】
請求項１に記載の画像復号装置は、注目画素の削除された１つの色成分の推定値を、その周辺の画素が有する色成分のうち、削除された１つの色成分と同一の色成分から推定する推定手段と、前記注目画素および前記周辺の画素が有する色成分のうち、削除された１つの色成分以外の色成分であって、前記注目画素の上記削除された色成分と前記周辺の画素の上記削除された色成分の平均値との差分から、所定の補正値を算出する算出手段と、前記推定値を、前記補正値によって補正する補正手段とを備えることを特徴とする。
【００１０】
請求項２に記載の画像復号方法は、注目画素の削除された１つの色成分の推定値を、その周辺の画素が有する色成分のうち、削除された１つの色成分と同一の色成分から推定し、前記注目画素および前記周辺の画素が有する色成分のうち、削除された１つの色成分以外の色成分であって、前記注目画素の上記削除された色成分と前記周辺の画素の上記削除された色成分の平均値との差分から、所定の補正値を算出し、前記推定値を、前記補正値によって補正することを特徴とする。
【００１１】
請求項３に記載の画像処理装置は、画像符号化装置が、１画素または複数画素おきに、複数の色成分のうちの１つを削除し、残りを選択して出力する選択手段を備え、画像復号装置が、注目画素の削除された１つの色成分の推定値を、その周辺の画素が有する色成分のうち、削除された１つの色成分と同一の色成分から推定する推定手段と、前記注目画素および前記周辺の画素が有する色成分のうち、削除された１つの色成分以外の色成分であって、前記注目画素の上記削除された色成分と前記周辺の画素の上記削除された色成分の平均値との差分から、所定の補正値を算出する算出手段と、前記推定値を、前記補正値によって補正する補正手段とを備えることを特徴とする。
【００１２】
請求項４に記載の画像処理方法は、画像符号化装置において、１画素または複数画素おきに、複数の色成分のうちの１つを削除し、残りを選択して出力し、画像復号装置において、注目画素の削除された１つの色成分の推定値を、その周辺の画素が有する色成分のうち、削除された１つの色成分と同一の色成分から推定し、前記注目画素および前記周辺の画素が有する色成分のうち、削除された１つの色成分以外の色成分であって、前記注目画素の上記削除された色成分と前記周辺の画素の上記削除された色成分の平均値との差分から、所定の補正値を算出し、前記推定値を、前記補正値によって補正することを特徴とする。
【００１６】
請求項１に記載の画像復号装置においては、注目画素の削除された１つの色成分の推定値が、その周辺の画素が有する色成分のうち、削除された１つの色成分と同一の色成分から推定され、注目画素および周辺の画素が有する色成分のうち、削除された１つの色成分以外の色成分であって、注目画素の削除された色成分と周辺の画素の削除された色成分の平均値との差分から、所定の補正値が算出され、推定値が補正値によって補正される。
【００１７】
請求項２に記載の画像復号方法においては、注目画素の削除された１つの色成分の推定値が、その周辺の画素が有する色成分のうち、削除された１つの色成分と同一の色成分から推定され、注目画素および周辺の画素が有する色成分のうち、削除された１つの色成分以外の色成分であって、注目画素の削除された色成分と周辺の画素の削除された色成分の平均値との差分から、所定の補正値が算出され、推定値が補正値によって補正される。
【００１８】
請求項３に記載の画像処理装置においては、画像符号化装置によって、１画素または複数画素おきに、複数の色成分のうちの１つが削除され、残りが選択されて出力され、画像復号装置によって、注目画素の削除された１つの色成分の推定値が、その周辺の画素が有する色成分のうち、削除された１つの色成分と同一の色成分から推定され、注目画素および周辺の画素が有する色成分のうち、削除された１つの色成分以外の色成分であって、注目画素の削除された色成分と周辺の画素の削除された色成分の平均値との差分から、所定の補正値が算出され、推定値が補正値によって補正される。
【００１９】
請求項４に記載の画像処理方法においては、画像符号化装置によって、１画素または複数画素おきに、複数の色成分のうちの１つが削除され、残りが選択されて出力され、画像復号装置によって、注目画素の削除された１つの色成分の推定値が、その周辺の画素が有する色成分のうち、削除された１つの色成分と同一の色成分から推定され、注目画素および周辺の画素が有する色成分のうち、削除された１つの色成分以外の色成分であって、注目画素の削除された色成分と周辺の画素の削除された色成分の平均値との差分から、所定の補正値が算出され、推定値が補正値によって補正される。
【００２１】
【発明の実施の形態】
図１は、本発明を適用した伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００２２】
送信装置１には、符号化対象の画像（動画像および静止画のいずれであっても良い）として、例えば、４：４：４のＲＧＢのディジタル画像などの複数の色成分を有する画像が入力されるようになされている。なお、送信装置１に入力されるＲ，Ｇ，Ｂの各色成分には、ここでは、例えば、それぞれ８ビットが割り当てられている。
【００２３】
送信装置１では、そこに入力される画像が、例えば、前述した場合と同様に、１画素８ビットで符号化される。但し、ここでは、１画素に対して、次のような８ビットが割り当てられる。即ち、送信装置１に入力される画像を構成するＲ，Ｇ，Ｂの各色成分には、図２（Ａ）に示すように、それぞれ８ビットが割り当てられているが、送信装置１では、同図（Ｂ）に示すように、１画素を構成するＲ，Ｇ，Ｂの３つの色成分のうちの１の色成分が削除され、残りの２つの色成分が選択される。そして、その選択された２つの色成分が、それぞれ４ビットに符号化され、これにより、１画素あたり８ビットのデータが、符号化データとして出力される。
【００２４】
なお、送信装置１では、Ｒ，Ｇ，Ｂの色成分が周期的に削除されるようになされている。即ち、例えば、ある画素に注目した場合に、図２（Ｂ）に示すように、その画素については、Ｂ成分が削除され、その右隣の画素については、Ｒ成分が削除され、さらにその右隣の画素については、Ｇ成分が削除され、以下、同様にして、Ｒ，Ｇ，Ｂの色成分が、３画素周期で削除されるようになされている。
【００２５】
従って、ここでは、色成分の削除／選択が、各画素ごとに行われる。但し、色成分の削除／選択は、例えば、１画素おきや２画素おきに行うことも可能である。即ち、ある画素の色成分の削除／選択を行った後は、その右隣の１画素または２画素については、色成分の選択／削除を行わず、３画素目の色成分の削除／選択を行うことを繰り返すようにすることが可能である。なお、この場合、色成分の削除／選択が行われない画素は、例えば、従来と同様にベクトル量子化させることなどによって、８ビットとされる。
【００２６】
以上のようにして、１画素８ビットとされた符号化データは、例えば、衛星回線、地上波、ＣＡＴＶ（Cable Television）網、インターネットその他の伝送路２を介して伝送される。あるいは、また、符号化データは、例えば、磁気ディスクや、光磁気ディスク、磁気テープ、相変化ディスクその他の記録媒体３に記録される。
【００２７】
受信装置４では、伝送路２を介して伝送されてくる符号化データが受信される。あるいは、また、受信装置４では、記録媒体３に記録された符号化データが再生される。そして、受信装置４では、その符号化データの復号が行われる。
【００２８】
即ち、受信装置４では、送信装置１において、各画素につき選択された２つの色成分が、それぞれ、元の８ビットに復号される。さらに、受信装置４では、Ｒ，Ｇ，Ｂの色成分のうち、送信装置１において削除された１つの色成分が、その周辺の画素が有する色成分に基づいて生成される。そして、その結果得られるＲ，Ｇ，Ｂの３つの色成分でなる画像が、復号画像として出力される。
【００２９】
次に、図３は、図１の送信装置１の構成例を示している。
【００３０】
フレームメモリ１１には、符号化対象としての、Ｒ，Ｇ，Ｂ成分それぞれに８ビットが割り当てられている４：４：４のディジタル画像が供給されるようになされている。フレームメモリ１１は、そこに供給される画像を、例えば、フレーム単位で記憶するようになされている。選択部１２（選択手段）は、フレームメモリ１１に記憶されている画像データを、例えば、いわゆるラスタスキャン順に読み出し、各画素を構成するＲ成分、Ｇ成分、Ｂ成分のうちの１つを、周期的に削除し、残りを選択して、圧縮部１３に出力するようになされている。圧縮部１３は、選択部１２から供給される画像データに対して、例えば、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理などの圧縮符号化処理を施し、その処理結果を、符号化データとして出力するようになされている。
【００３１】
次に、その動作について説明する。
【００３２】
フレームメモリ１１には、ＲＧＢのディジタル画像が供給され、そこでは、その画像データがフレーム単位で記憶される。そして、選択部１２において、フレームメモリ１１に記憶された画像データが、ラスタスキャン順に読み出され、図２（Ｂ）で説明したように、各画素を構成するＲ成分、Ｇ成分、Ｂ成分のうちの１つが、周期的に削除されるとともに、残りが選択され、圧縮部１３に出力される。
【００３３】
即ち、これにより、図４（Ａ）に示すように、それぞれ８ビットが割り当てられているＲ，Ｇ，Ｂ成分を有する画素でなる画像（元の画像）が、同図（Ｂ）に示すように、いわば周期的に、Ｒ，Ｇ，Ｂ成分のうちのいずれか１の色成分の含まれない画素でなる画像、つまり、逆に言えば、Ｒ，Ｇ，Ｂ成分のうちのいずれか２の色成分だけが、各画素から選択されて構成される画像（以下、適宜、選択画像という）とされる。
【００３４】
なお、図４の実施の形態においては、水平方向、垂直方向のいずれについても（従って、斜め方向についても）、Ｒ，Ｇ，Ｂ成分のうちのいずれか１の色成分が、周期的に削除された画像とされている。
【００３５】
ここで、図４（Ｂ）に示した選択画像を、Ｒ，Ｇ，Ｂの各成分について見ると、図５（Ａ）乃至図５（Ｃ）にそれぞれ示すようになる。同図に示すように、選択画像は、Ｒ成分，Ｇ成分，Ｂ成分が、水平および垂直方向の両方に、２画素おきにないものとなる。但し、Ｒ成分，Ｇ成分，Ｂ成分のない画素の位置（位相）はずれている。
【００３６】
選択画像は、上述したように、圧縮部１３に供給される。圧縮部１３では、選択画像に対して、ＡＤＲＣ処理が施され、これにより、１画素あたりのビット割当量が８ビットの符号化データとされる。
【００３７】
ここで、ＡＤＲＣ処理は、画像をブロックに分割して、各ブロック単位で圧縮を行うもので、まず、ブロックを構成する画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００３８】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【００３９】
なお、ＡＤＲＣについては、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【００４０】
圧縮部１３では、選択画像に対して、各色成分ごとに、例えば、４ビットのＡＤＲＣ処理が施される。即ち、圧縮部１３では、８ビットの色成分Ｌが、例えば、次式にしたがって、ＡＤＲＣコードＱに符号化される。
【００４１】
Q=INT[L×(2n-1)/DR+0.5]・・・（１）
但し、ＩＮＴ［］は、［］内の値の小数点以下を切り捨てる関数であり、ｎは、ＡＤＲＣコードＱの最大ビット数（上述したＫ）を表し、ここでは、４に設定されている。また、式（１）においては、例えば、１フレーム全体が１ブロックとされ、最大値ＭＡＸまたは最小値ＭＩＮは、それぞれ２５５（＝２8−１）または０（２0−１）とされている。従って、ここでは、ＤＲ（＝ＭＡＸ−ＭＩＮ）は、２５５である。
【００４２】
圧縮部１３では、以上のように、各色成分ごとに、４ビットのＡＤＲＣ処理が施され、また、ここでは、各画素は、Ｒ，Ｇ，Ｂのうちのいずれか２つの色成分しか有しないから、圧縮部１３が出力する符号化データは、１画素あたりのビット割当量が８ビットのものとなる。
【００４３】
従って、圧縮部１３から出力される符号化データは、データ量について見れば、前述した従来の場合と同様となる。
【００４４】
次に、図６は、図１の受信装置４の構成例を示している。
【００４５】
符号化データは、伸張部２１に供給されるようになされており、伸張部２１は、その符号化データ、即ち、本実施の形態では、ＡＤＲＣコードを、選択画像に復号し、その選択画像を構成する各画素に含まれるＲ，Ｇ，Ｂ成分（但し、各画素において、Ｒ，Ｇ，Ｂ成分のうちのいずれか１つは含まれない）を、フレームメモリ２２Ｒ，２２Ｇ，２２Ｂにそれぞれ供給するようになされている。フレームメモリ２２Ｒ，２２Ｇ，２２Ｂは、伸張部２１から供給される各画素のＲ，Ｇ，Ｂ成分を、その画素に対応するアドレスに記憶するようになされている。生成部２３（生成手段）は、復号対象の画素（以下、適宜、注目画素という）を含む、その周辺の画素の色成分を、フレームメモリ２２Ｒ乃至２２Ｂから読み出し、その読み出した色成分に基づいて、注目画素に含まれない色成分を生成して、注目画素に含まれる２つの色成分とともに、フレームメモリ２４に供給するようになされている。フレームメモリ２４は、生成部２３から供給される各画素についてのＲ，Ｇ，Ｂの３つの色成分を、その画素に対応するアドレスに記憶し、１フレーム分の画素を記憶すると、その１フレーム分の画素でなる画像を、復号画像として出力するようになされている。
【００４６】
次に、その動作について説明する。
【００４７】
符号化データは、伸張部２１に供給され、そこでは、符号化データであるＡＤＲＣコードＱから、Ｒ，Ｇ，Ｂの各色成分Ｌが求められる。即ち、伸張部２１では、４ビットのＡＤＲＣコードＱが、例えば、次式にしたがって、色成分Ｌに復号される。
【００４８】
L=INT[Q×DR/(2n-1)+0.5]・・・（２）
【００４９】
伸張部２１において復号されたＲ，Ｇ，Ｂの各色成分は、フレームメモリ２２Ｒ，２２Ｇ，２２Ｂにそれぞれ供給されて記憶される。
【００５０】
生成部２３では、注目画素を含む、その周辺の画素の色成分が、フレームメモリ２２Ｒ乃至２２Ｂから読み出され、その色成分に基づいて、注目画素に含まれない色成分が生成される。即ち、生成部２３においては、例えば、注目画素の周辺の画素の色成分の重み付け加算値（単純には、平均値など）が演算され、その演算結果が、注目画素に含まれていない色成分とされる。そして、生成部２３では、そこで生成された色成分が、注目画素に含まれる２つの色成分とともに、フレームメモリ２４に供給される。フレームメモリ２４では、生成部２３から供給されるＲ，Ｇ，Ｂの３つの色成分、即ち、注目画素を構成するＲ，Ｇ，Ｂ成分が記憶される。以下、処理の対象となっているフレームを構成する他の画素についても、同様の処理が繰り返され、これにより、フレームメモリ２４において、１フレーム分の画素が記憶されると、その１フレーム分の画素でなる画像が、復号画像として出力される。
【００５１】
以上のように、注目画素に含まれていない色成分を、その周辺の画素の色成分（注目画素に含まれている色成分を含む）から生成するようにしたので、２５６（＝２8）色より多い色で表現された復号画像を得ることが可能となる。
【００５２】
ところで、注目画素の周辺の画素の色成分の重み付け加算値を、注目画素に含まれていない色成分とする場合においては、いわゆる平均化が行われ、元の画像にエッジや縞模様があるときには、そのエッジや縞模様が損なわれ、画質が劣化する。
【００５３】
そこで、図７は、図６の生成部２３の構成例を示している。
【００５４】
図７の実施の形態においては、注目画素に含まれない色成分の推定値が、その周辺の画素が有する、同一の色成分から推定されるとともに、それ以外の成分から所定の補正値が算出され、推定値が、補正値で補正されるようになされている。
【００５５】
即ち、選択部３１は、フレームメモリ２２Ｒ乃至２２Ｂから、例えば、注目画素に含まれる２つの色成分と、その注目画素に隣接する８つの画素（注目画素の左上、上、右上、右、左、左下、下、および右下の画素）に含まれる２つの色成分を読み出し、それらの色成分の中から、注目画素に含まれない色成分を選択して、補間部３２に供給するようになされている。さらに、選択部３１は、残りの色成分（注目画素に含まれる色成分と同一の色成分）を、補正値算出部３３に出力するようにもなされている。また、選択部３１は、注目画素に含まれる２つ色成分を、補正部３４に出力するようにもなされている。
【００５６】
補間部３２（推定手段）は、選択部３１から供給される色成分から、注目画素に含まれない色成分の推定値を算出し、補正部３４に供給するようになされている。補正値算出部３３（算出手段）は、選択部３１から供給される色成分から、補間部３２が出力する推定値を補正するのに用いる補正値を算出し、補正部３４に供給するようになされている。補正部３４（補正手段）は、補間部３２からの推定値を、補正値算出部３３からの補正値によって補正し、その補正後の推定値を、注目画素に含まれない色成分として最終的に決定し、選択部３１から供給される、注目画素に含まれる色成分とともに、フレームメモリ２４に供給するようになされている。
【００５７】
次に、その動作について説明する。
【００５８】
いま、例えば、上述の図４（Ｂ）においてＸで示す画素が注目画素とされているとする。この場合、選択部３１においては、フレームメモリ２２Ｒ乃至２２Ｂから、例えば、図４（Ｂ）において点線の長方形で囲む範囲の９画素（以下、適宜、処理対象画素という）それぞれが有する２つの色成分が読み出される。
【００５９】
ここで、処理対象画素のうち、Ｒ成分を有するのは、図８（Ａ）に示すように、注目画素の左上、上、左、右、下、右下に隣接する６つの画素である。また、Ｇ成分を有するのは、同図（Ｂ）に示すように、注目画素、その上、右上、左、左下、右下に隣接する６つの画素である。さらに、Ｂ成分を有するのは、注目画素、その左上、右上、右、左下、下に隣接する６つの画素である。
【００６０】
いま、注目画素を＃０で表し、その左上、上、右上、左、右、左下、下、右下に隣接する画素を、＃１乃至＃８でそれぞれ表すとともに、これらの９個の処理対象画素のＲ，Ｇ，Ｂの各色成分を、対応する画素の番号の前に、Ｒ，Ｇ，Ｂを付して表すとする。
【００６１】
この場合、選択部３１は、９個の処理対象画素が有する色成分のうち、注目画素が有しない色成分と同一の色成分、即ち、図４（Ｂ）においてＸで示す画素が注目画素とされているときには、Ｒ成分を選択し、つまり、Ｒ１，Ｒ２，Ｒ４，Ｒ５，Ｒ７，Ｒ８を選択し（図８（Ａ））、補間部３２に出力する。さらに、選択部３１は、残りの色成分、即ち、ここでは、Ｇ０，Ｇ２乃至Ｇ４，Ｇ６，Ｇ８，Ｂ０，Ｂ１，Ｂ３，Ｂ５乃至Ｂ７を、補正値算出部３３に出力する。さらに、選択部３１は、注目画素が有する色成分（注目画素に含まれる色成分）、即ち、ここでは、Ｇ０およびＢ０を、補正部３４に出力する。
【００６２】
なお、上述したように、送信装置１においては、元の画像を構成する画素から、Ｒ，Ｇ、またはＢ成分が、周期的に削除されるため、即ち、Ｒ，Ｇ、またはＢ成分が削除される規則が、あらかじめ決まっているため、選択部３１では、その規則にしたがって、注目画素が有しない色成分（あるいは、注目画素が有する色成分）が認識されるとともに、注目画素に隣接する８つの画素それぞれが有する色成分（あるいは、その８つの画素それぞれが有しない色成分）が認識される。
【００６３】
補間部３２では、選択部３１から供給されるＲ１，Ｒ２，Ｒ４，Ｒ５，Ｒ７，Ｒ８を用いて、例えば、補間が行われることにより、注目画素に含まれない色成分であるＲ０の推定値が算出される。
【００６４】
即ち、補間部３２では、例えば、図９（Ａ）に示すように、Ｒ２とＲ４との平均値ａｖｅ１（＝（Ｒ２＋Ｒ４）／２）が、Ｒ０の第１の推定値として求められる。さらに、同図（Ｂ）に示すように、Ｒ２とＲ８との平均値ａｖｅ２（＝（Ｒ２＋Ｒ８）／２）が、Ｒ０の第２の推定値として求められ、同図（Ｃ）に示すように、Ｒ４とＲ８との平均値ａｖｅ３（＝（Ｒ４＋Ｒ８）／２）が、Ｒ０の第３の推定値として求められる。また、同図（Ｄ）乃至（Ｆ）に示すように、Ｒ１とＲ５との平均値ａｖｅ４（＝（Ｒ１＋Ｒ５）／２）、Ｒ１とＲ７との平均値ａｖｅ５（＝（Ｒ１＋Ｒ７）／２）、Ｒ５とＲ７との平均値ａｖｅ６（＝（Ｒ５＋Ｒ７）／２）が、Ｒ０の第４乃至第６の推定値として、それぞれ求められる。
【００６５】
これらの第１乃至第６の推定値ａｖｅ１乃至ａｖｅ６は、いずれも、補正部３４に供給される。
【００６６】
一方、補正値算出部３３では、選択部３１から供給されるＧ０，Ｇ２乃至Ｇ４，Ｇ６，Ｇ８，Ｂ０，Ｂ１，Ｂ３，Ｂ５乃至Ｂ７から、補間部３２が出力する第１乃至第６の推定値ａｖｅ１乃至ａｖｅ６を補正するのに用いる補正値が算出される。
【００６７】
即ち、補正値算出部３３では、例えば、図１０（Ａ）に示すように、注目画素に含まれるＧ成分Ｇ０と、Ｇ２およびＧ４の平均値との差分ｄｉｆｆ１（＝Ｇ０−（Ｇ２＋Ｇ４）／２）が、第１の補正値として算出される。さらに、同図（Ｂ）に示すように、注目画素に含まれるＧ成分Ｇ０と、Ｇ２およびＧ８の平均値との差分ｄｉｆｆ２（＝Ｇ０−（Ｇ２＋Ｇ８）／２）が、第２の補正値として算出され、同図（Ｃ）に示すように、注目画素に含まれるＧ成分Ｇ０と、Ｇ４およびＧ８の平均値との差分ｄｉｆｆ３（＝Ｇ０−（Ｇ４＋Ｇ８）／２）が、第３の補正値として算出される。
【００６８】
また、補正値算出部３３では、例えば、図１１（Ａ）に示すように、注目画素に含まれるＢ成分Ｂ０と、Ｂ１およびＢ５の平均値との差分ｄｉｆｆ４（＝Ｂ０−（Ｂ１＋Ｂ５）／２）が、第４の補正値として算出される。さらに、同図（Ｂ）に示すように、注目画素に含まれるＢ成分Ｂ０と、Ｂ１およびＢ７の平均値との差分ｄｉｆｆ５（＝Ｂ０−（Ｂ１＋Ｂ７）／２）が、第５の補正値として算出され、同図（Ｃ）に示すように、注目画素に含まれるＢ成分Ｂ０と、Ｂ５およびＢ７の平均値との差分ｄｉｆｆ６（＝Ｂ０−（Ｂ５＋Ｂ７）／２）が、第６の補正値として算出される。なお、図１１の実施の形態では、ｄｉｆｆ４＝０、即ち、注目画素に含まれるＢ成分Ｂ０と、Ｂ１およびＢ５の平均値とが等しくなっている。
【００６９】
これらの第１乃至第６の補正値ｄｉｆｆ１乃至ｄｉｆｆ６は、いずれも、補正部３４に供給される。
【００７０】
補正部３４では、補間部３２からの第１乃至第６の推定値ａｖｅ１乃至ａｖｅ６が、補正値算出部３３からの第１乃至第６の補正値ｄｉｆｆ１乃至ｄｉｆｆ６によって補正される。
【００７１】
即ち、補正部３４では、第１の推定値ａｖｅ１が、その第１の推定値ａｖｅ１を求めるのに用いた色成分Ｒ２またはＲ４を有する画素＃２または＃４それぞれに含まれる他の色成分Ｇ２またはＧ４から求められた第１の補正値ｄｉｆｆ１によって補正される。具体的には、例えば、図１２（Ａ）に示すように、第１の推定値ａｖｅ１に、第１の補正値ｄｉｆｆ１が加算され、その加算値が、補正後の第１の推定値ｅｓｔ１とされる。
【００７２】
さらに、補正部３４では、第２の推定値ａｖｅ２が、その第２の推定値ａｖｅ２を求めるのに用いた色成分Ｒ２またはＲ８を有する画素＃２または＃８それぞれに含まれる他の色成分Ｇ２またはＧ８から求められた第２の補正値ｄｉｆｆ２によって補正される。具体的には、例えば、図１２（Ｂ）に示すように、第２の推定値ａｖｅ２に、第２の補正値ｄｉｆｆ２が加算され、その加算値が、補正後の第２の推定値ｅｓｔ２とされる。
【００７３】
以下、同様にして、図１２（Ｃ）乃至図１２（Ｆ）に示すように、第３乃至第６の推定値ａｖｅ３乃至ａｖｅ６に、第３乃至第６の補正値ｄｉｆｆ３乃至ｄｉｆｆ６が加算され、その加算値が、補正後の第３乃至第６の推定値ｅｓｔ３乃至絵ｓｔ６とそれぞれされる。
【００７４】
さらに、補正部３４では、第１乃至第４の推定値ｅｓｔ１乃至ｅｓｔ６の、例えば平均値ｅｓｔ（＝（ｅｓｔ１＋ｅｓｔ２＋ｅｓｔ３＋ｅｓｔ４＋ｅｓｔ５＋ｅｓｔ６）／６）が計算され、これが、注目画素＃０が有しない色成分Ｒ０の最終的な推定値ｅｓｔとされる。
【００７５】
その後、補正部３４は、Ｒ０の推定値ｅｓｔを、選択部３１からの色成分Ｇ０およびＢ０とともに、注目画素＃０の復号結果として、フレームメモリ２４に供給する。
【００７６】
生成部２３においては、注目画素が有しない色成分が、Ｒ成分以外のＧ成分やＢ成分の場合にも、上述のようにして、その推定値が求められる。
【００７７】
以上のように、注目画素に含まれない色成分の推定値を、処理対象画素のうちの、その色成分と同一の色成分から推定するとともに、それ以外の色成分から補正値を算出し、推定値を、補正値で補正するようにしたので、各画素に含まれない色成分については、自由度が大きくなり、８ビットで表現可能な２５６色より多い色で表現された復号画像を得ることが可能となる。即ち、データ量を増加させずに、復号画像の画質を向上させることができる。
【００７８】
さらに、処理対象画素の、単純な平均値などを、注目画素に含まれない色成分の推定値としておらず、従って、平均化が行われることにより、元の画像に含まれるエッジや縞模様が損なわれることを防止（低減）することができる。即ち、エッジや縞模様の部分において、例えば、色ずれが生じることなどによる復号画像の画質の劣化を低減することができる。特に、輝度の変化により形成されているエッジや縞模様は、比較的正確に再現（復号）することができる。
【００７９】
なお、本実施の形態においては、４：４：４の信号を対象としたが、本発明は、その他、４：２：２や、４：２：０などの信号にも適用可能である。さらに、本実施の形態では、ＲＧＢの画像を対象としたが、本発明は、例えば、ＹＵＶなどの、少なくとも複数の色成分を有する画像に適用可能である。例えば、ＹＵＶの画像を対象とする場合においては、図１３に示すように、送信装置１において、輝度信号Ｙは、常時選択し、色差信号ＵおよびＶは、２画素ごとに削除するようにし、受信装置４において、削除された色差信号は、隣接する画素の色差信号から、上述したように推定（生成）するようにすれば良い。
【００８０】
また、本実施の形態においては、元の画像を構成する画素から、Ｒ，Ｇ、またはＢ成分を、周期的に削除するようにしたが、色成分の削除は、周期的ではなく、ランダムに行うことが可能である。但し、その場合には、受信装置４において、どの色成分が削除されたのかを認識するための情報が必要となり、その情報の分だけ、データ量が多くなる。
【００８１】
さらに、本実施の形態では、Ｒ成分，Ｇ成分、またはＢ成分を、水平および垂直方向の両方に、２画素おきに削除するようにしたが、ある色成分を削除する周期は、２画素に限定されるものではなく、例えば、フレーム周期などであっても良い。また、ある色成分を、連続して削除するようにしても良い。但し、ある１の色成分を集中して削除したり、他の１の色成分を集中して残すようにした場合には、復号画像の画質にムラが生じるおそれがあるため、基本的には、各色成分を、フレーム全体に亘って、均等に削除する（あるいは、残す）のが望ましい。
【００８２】
また、本実施の形態では、選択画像をＡＤＲＣ処理するようにしたが、選択画像の圧縮方法は、ＡＤＲＣに限定されるものではない。
【００８３】
さらに、本実施の形態では、図７の補間部３２において、注目画素が有しない色成分の推定値として、周辺の画素が有する、その色成分と同一の色成分の平均値を用いるようにしたが、その他の値を、推定値として用いることも可能である。
【００８４】
また、本実施の形態では、図７の補間部３２において、注目画素が有しない色成分の推定値として、周辺の２画素が有する、その色成分と同一の色成分の平均値を用いるようにしたが、色成分の推定値は、２画素ではなく、１画素や３画素以上を用いて求めることも可能である。なお、この場合、色成分の推定値を求めるのに用いる画素に対応して、補正値算出部３３において補正値を求めるのに用いる画素も変更するのが望ましい。
【００８５】
さらに、本実施の形態では、画像を構成する各画素について、複数の色成分のうちの１つを削除するようにしたが、色成分の削除は、すべての画素について行う必要はなく、例えば、１画素や２画素おきに行うようにしても良い。
【００８６】
さらに、本発明は、特に、現実の世界を撮影した画像（いわゆる自然画）に、特に有効である。
【００８８】
【発明の効果】
請求項１に記載の画像復号装置および請求項２に記載の画像復号方法によれば、注目画素の削除された１つの色成分の推定値を、その周辺の画素が有する色成分のうち、削除された１つの色成分と同一の色成分から推定し、注目画素および周辺の画素が有する色成分のうち、削除された１つの色成分以外の色成分であって、注目画素の削除された色成分と周辺の画素の削除された色成分の平均値との差分から、所定の補正値を算出し、推定値を補正値によって補正するようにした。従って、従来よりも多い色数で表現された復号画像を得ることが可能となる。
【００８９】
請求項３に記載の画像処理装置および請求項４に記載の画像処理方法によれば、画像符号化装置において、１画素または複数画素おきに、複数の色成分のうちの１つを削除し、残りを選択して出力する。そして、画像復号装置において、注目画素の削除された１つの色成分の推定値を、その周辺の画素が有する色成分のうち、削除された１つの色成分と同一の色成分から推定し、注目画素および周辺の画素が有する色成分のうち、削除された１つの色成分以外の色成分であって、注目画素の削除された色成分と周辺の画素の削除された色成分の平均値との差分から、所定の補正値を算出し、推定値を補正値によって補正するようにした。従って、画像のデータ量を増加させずに、復号画像の画質を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した伝送システムの一実施の形態の構成例を示す図である。
【図２】図１の送信装置１の処理を説明するための図である。
【図３】図１の送信装置１の構成例を示すブロック図である。
【図４】図３の選択部１３の処理を説明するための図である。
【図５】図４における選択画像を、Ｒ，Ｇ，Ｂの各成分ごとに表した図である。
【図６】図１の受信装置４の構成例を示すブロック図である。
【図７】図６の生成部３３の構成例を示すブロック図である。
【図８】処理対象画素を、Ｒ，Ｇ，Ｂの各成分ごとに表した図である。
【図９】図７の補間部３２の処理を説明するための図である。
【図１０】図７の補正値算出部３３の処理を説明するための図である。
【図１１】図７の補正値算出部３３の処理を説明するための図である。
【図１２】図７の補正部３４の処理を説明するための図である。
【図１３】ＹＵＶの画像を処理対象とした場合の送信装置１および受信装置４の処理を説明するための図である。
【符号の説明】
１  送信装置，  ２  伝送路，  ３  記録媒体，  ４  受信装置，  １１  フレームメモリ，  １２  選択部（選択手段），  １３  圧縮部，  ２１  伸張部，  ２２Ｒ，２２Ｇ，２２Ｂ  フレームメモリ，  ２３  生成部（生成手段），２４  フレームメモリ，  ３１  選択部，  ３２  補間部（推定手段），  ３３  補正値算出部（算出手段），  ３４  補正部（補正手段）
【図１】
0003750128.tif 000002
【図２】
0003750128.tif 000003
【図３】
0003750128.tif 000004
【図４】
0003750128.tif 000005
【図５】
0003750128.tif 000006
【図６】
0003750128.tif 000007
【図７】
0003750128.tif 000008
【図８】
0003750128.tif 000009
【図９】
0003750128.tif 000010
【図１０】
0003750128.tif 000011
【図１１】
0003750128.tif 000012
【図１２】
0003750128.tif 000013
【図１３】
0003750128.tif 000014