(57)【要約】【課題】デジタル画像を複数の画像ブロックに分割して符号化復号化を行う方式において、各ブロックの境界が検知されるのを防止することを目的とする。【解決手段】符号化時に、原画像３１を複数の画像ブロック３２及び３３に分割する際に、その領域がお互いに重複するように分割し、それぞれの画像ブロック３２及び３３を符号化する。また、復号化する際に、重複した領域は、それぞれの画像ブロック３２及び３３の再生値から合成するが、合成に用いる混合比を可変することで、境界線の両側の画像ブロックに含まれるノイズの差が境界線方向に並ばない為、合成画像３６における画像ブロック３４及び３５の境界線が目立つのを防止する。混合比の可変規則として、周期的に変動させたり、ランダムに変動させたりできる。【選択図】図４
2008259122.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像を複数の画像ブロックに分割し、分割された前記画像ブロック毎に画像データの画像圧縮処理を行う第１の画像処理部と、
前記第１の画像処理部で画像圧縮処理された画像データを前記画像ブロック毎に復号処理を行う第２の画像処理部とを備えた、画像処理装置であって、
前記第１の画像処理部は、
画像の一部が重複するように、前記デジタル画像を複数の画像ブロックに分割処理する画像分割部と、
前記画像分割部で分割処理された前記画像ブロック毎に画像圧縮処理を行う複数の画像圧縮部とを備え、
前記第２の画像処理部は、
前記複数の画像圧縮部で圧縮処理された画像ブロックを、前記画像ブロック毎に復号処理する複数の画像復号部と、
前記複数の画像復号部のそれぞれから出力される前記画像ブロックにおいて、互いに重複する部分の画像データを所定の混合比率に基づいて混合する画像混合部と、
前記複数の画像復号部のそれぞれから出力される前記画像ブロックにおいて、互いに重複していない部分と、前記画像混合部から出力される画像データとを合成する画像合成部とを備え、
前記画像混合部は、少なくとも１画面内で混合比率を可変させて画像データを混合する、画像処理装置。
【請求項２】
前記画像混合部は、
前記複数の画像ブロックにおいて互いに重複している部分を混合する際、混合比率を画素毎に周期性をもって可変させる、請求項１記載の画像処理装置。
【請求項３】
前記画像混合部は、
前記複数の画像ブロックにおいて互いに重複している部分を混合する際、混合比率を画素毎にランダムに可変させる、請求項１記載の画像処理装置。
【請求項４】
第１の画像処理部で、デジタル画像を複数の画像ブロックに分割後、分割された画像ブロックをそれぞれ画像圧縮するとともに、
第２の画像処理部で、画像圧縮された画像データを各画像ブロック毎に復号し、復号した各画像ブロックを合成して前記デジタル画像を得る、画像処理方法であって、
前記第１の画像処理部において、前記デジタル画像を複数の画像ブロックに分割する際、一部が重複するように分割処理を行い、
前記第２の画像処理部において、前記複数の画像ブロックの互いに重複した部分は、混合比率を可変させて混合処理する、画像処理方法。
【請求項５】
前記複数の画像ブロックにおいて互いに重複している部分を混合する際、混合比率を画素毎に周期性をもって可変させる、請求項４記載の画像処理方法。
【請求項６】
前記複数の画像ブロックにおいて互いに重複している部分を混合する際、混合比率を画素毎にランダムに可変させる、請求項４記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＨＤＴＶ（High-Definition TV）画像等のサンプリング周波数が高い画像データを符号化及び復号化する画像処理装置および画像処理方法に関する。特に、送信側において画像を複数の画像ブロックに分割して画像圧縮と送信を行い、受信側において複数の画像ブロックを合成して原画像を再生する処理において、複数の画像ブロックの境界線が検知されないように画像処理するものである。
【背景技術】
【０００２】
ＨＤＴＶ画像等のサンプリング周波数が高い画像信号を画像圧縮する場合、処理スピード高くなり過ぎたり、１画面の画素数が大きくなり過ぎたりして、ハードウエアでの実現が難しくなっている。そこで、１画面の画像を複数（ｎ個）のブロックに分割し、分割したブロック毎に画像圧縮処理を行う方法がよく使われる。
【０００３】
図６は、従来の画像処理方法を説明するための図であり、分割数ｎ＝２の場合を示す。原画像１０１を分割線１０１ａを境に上下に２分割して、２つの画像ブロック１０２ａ及び１０２ｂを得る。次に、それぞれの画像ブロック１０２ａ及び１０２ｂの画像データに対して、並列に符号化処理などの画像圧縮処理が行われる。圧縮処理後の画像データは、多重化されてメモリカードなどの情報媒体（不図示）に記録される。
【０００４】
次に、情報媒体に記録されている画像データを再生する場合は、情報媒体から多重化された画像データを読み出し、分割処理を行って画像ブロック１０３ａ及び１０３ｂを得る。次に、それぞれの画像ブロック１０３ａ及び１０３ｂの画像データに対して復号化処理を行った後、合成されて１枚の原画像１０４に戻される。
【０００５】
しかしながら図６に示す処理では、２つの画像ブロック１０２ａ及び１０２ｂに対して各々独立して符号化処理が行われるため、画像ブロック１０２ａ及び１０２ｂ内の動きや複雑さにより、原画との誤差（ノイズレベル）が異なることが発生する。
【０００６】
図７は、１画面分の画像を上下に分割して、各々独立して符号化圧縮し、復号化処理後に合成処理して得られた画像である。図７に示すように、上側の分割エリア２０１における画像は、複雑であり高周波成分が多く存在するのに対して、下側の分割エリア２０２における画像は、分割エリア２０１における画像に対して複雑ではなく、平坦部分が多く存在する。分割エリア２０１は、符号化処理時に階調性を高めようと処理されるため、符号量が多くなり、これに伴い画像に含まれるノイズ成分のレベルも大きく増幅されてしまう。一方、分割エリア２０２は、符号化処理時の符号量が少ないため、画像に含まれるノイズ成分のレベルは原画とほとんど変わらない。このように、上下の分割エリアでノイズ成分のレベルが異なってしまうと、上下の分割エリアの境目に繋ぎ目２０３が生じてしまう。この繋ぎ目２０３は、上下の分割エリアのノイズレベルの差が大きくなるほど、顕著に現れてしまうという問題があった。
【０００７】
この問題を解決する方法として、特許文献１に開示されている処理方法がある。特許文献１には、互いに周囲が重なり合うように複数画像ブロックに分割し、複数ブロックを合成して原画像を復元する際に、重複部分において隣り合うブロック画素を段階的に加重平均する方法が開示されている。特許文献１に開示されている処理方法では、画像ブロックの繋ぎ目を境界線とは直角方向に暈けさせることで、繋ぎ目が見えにくいようにしている。
【特許文献１】特開平８−４６９６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら特許文献１に開示されている処理方法では、境界線両側のノイズ差を境界線とは垂直方向に暈かしてはいるが、ノイズ変化が境界線方向に整然と並んでおり、境界が浮かび上がって見えるという問題があった。
【０００９】
本発明の目的は、１画面分の画像を分割して圧縮処理し、復号時に画像ブロックをつなぎ合わせる画像処理において、画像ブロックの繋ぎ目の不自然さを解消できる画像処理装置及び画像処理方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、デジタル画像を複数の画像ブロックに分割し、分割された前記画像ブロック毎に画像データの画像圧縮処理を行う第１の画像処理部と、前記第１の画像処理部で画像圧縮処理された画像データを前記画像ブロック毎に復号処理を行う第２の画像処理部とを備えた、画像処理装置であって、前記第１の画像処理部は、画像の一部が重複するように、複数の画像ブロックに分割処理する画像分割部と、前記画像分割部で分割処理された前記画像ブロック毎に画像圧縮処理する複数の画像圧縮部とを備え、前記第２の画像処理部は、前記複数の画像圧縮部で圧縮処理された画像ブロックを復号処理する複数の画像復号部と、前記複数の画像復号部のそれぞれから出力される前記画像ブロックにおいて、互いに重複する部分の画像データを所定の混合比率に基づいて混合する画像混合部と、前記複数の画像復号部のそれぞれから出力される前記画像ブロックにおいて、互いに重複していない部分と、前記画像混合部から出力される画像データとを合成する画像合成部とを備え、前記画像混合部は、混合比率を可変させて画像データを混合するものである。
【００１１】
本発明の画像処理方法は、第１の画像処理部で、デジタル画像を複数の画像ブロックに分割後、分割された画像ブロックをそれぞれ画像圧縮するとともに、第２の画像処理部で、画像圧縮された画像データを各画像ブロック毎に復号し、復号した各画像ブロックを合成して前記デジタル画像を得る、画像処理方法であって、前記第１の画像処理部において、前記デジタル画像を複数の画像ブロックに分割する際、一部が重複するように分割処理を行い、前記第２の画像処理部において、前記複数の画像ブロックの互いに重複した部分は、混合比率を可変させて混合処理するものである。
【発明の効果】
【００１２】
本発明によれば、境界線を挟んで両側の画像ブロックに含まれるノイズの差を境界線方向に整然と並べない為、画像ブロックの繋ぎ目を目立たなくすることができる。
【発明を実施するための最良の形態】
【００１３】
本発明の画像処理装置及び画像処理方法において、前記画像混合部は、前記複数の画像ブロックにおいて互いに重複している部分を混合する際、混合比率を画素毎に周期性をもって可変させるよう処理してもよい。このように処理することにより、境界線を挟んで両側の画像ブロックに含まれるノイズの差が境界線方向に並ばない為、複数の画像ブロックの繋ぎ目を目立たなくすることができるとともに、違和感なく自然に繋がっているように表現することができる。
【００１４】
また、前記画像混合部は、前記複数の画像ブロックにおいて互いに重複している部分を混合する際、混合比率を画素毎にランダムに可変させるよう処理してもよい。このように処理することにより、境界線を挟んで両側の画像ブロックに含まれるノイズの差が境界線方向に並ばない為、複数の画像ブロックの繋ぎ目を目立たなくすることができるとともに、違和感なく自然に繋がっているように表現することができる。
【００１５】
（実施の形態１）
実施の形態１における画像処理装置は、図１に示すように構成されている第１の画像処理部（記録部）と、図２に示すように構成されている第２の画像処理部（再生部）とを備えている。図３は、実施の形態１の画像処理装置によって処理される画像の変遷を示す。本実施の形態では、原画像を上下に２分割する処理を例に挙げて説明する。
【００１６】
まず、第１の画像処理部の構成について説明する。
【００１７】
図１に示すように、画像分割部２は、入力部１から入力される画像データに基づく画像を、２つの画像ブロックに分割する処理を行う。本実施の形態では、図３に示すように、原画像３１を分割線３１ａで分割した第１の画像ブロック３２と、分割線３１ｂで分割した第２の画像ブロック３３とを得る。なお、画像分割部２は、分割線３１ａ及び３１ｂに示すように、原画像３１の一部が重複するように分割されるため、第１の画像ブロック３２と第２の画像ブロック３３とには同じ画像から構成される重複部３２ａ及び３３ａが存在する。また、入力部１には、ビデオカメラなどで撮影されてデジタル化された画像データなどが入力される。
【００１８】
第１の画像圧縮部３は、画像分割部２から出力される第１の画像ブロック３２に対して、符号化処理などの画像圧縮処理を行う。第２の画像圧縮部４は、画像分割部２から出力される第２の画像ブロック３３に対して、符号化処理などの画像圧縮処理を行う。
【００１９】
多重化部５は、第１の画像圧縮部３及び第２の画像圧縮部４から出力される画像データを多重化してストリームを生成する。多重化部５で生成されたストリームは、出力部６を介して出力される。生成されたストリームは、出力部６を介して情報媒体に記録される。
【００２０】
次に、第２の画像処理部の構成について説明する。
【００２１】
図２に示すように、多重分割部１２は、入力部１１に入力される多重化されたストリームを復号処理し、第１の画像ブロック３４と第２の画像ブロック３５とに分割処理する。分割処理された第１の画像ブロック３４は、第１の画像復号部１３に入力される。また、分割処理された第２の画像ブロック３５は、第２の画像復号部１８に入力される。
【００２２】
第１の画像復号部１３は、入力される第１の画像ブロック３４の画像データを復号処理する。また、第２の画像復号部１８は、入力される第２の画像ブロック３５の画像データを復号処理する。復号処理された第１の画像ブロック３４の画像データは、第１の重複判定部１４に入力される。また、復号処理された第２の画像ブロック３５の画像データは、第２の重複判定部１９に入力される。
【００２３】
第１の重複判定部１４は、入力される第１の画像ブロック３４の画像データを解析し、第１の画像ブロック３４において画素データ毎あるいは水平ライン毎に非重複部３４ａと重複部３４ｂとを判定する。同様に、第２の重複判定部１９は、入力される第２の画像ブロック３５の画像データを解析し、第２の画像ブロック３５において画像データ毎あるいは水平ライン毎に非重複部３５ａと重複部３５ｂとを判定する。なお、第１の画像ブロック３４は非重複部３４ａと重複部３４ｂとから構成され、第２の画像ブロック３５は非重複部３５ａと重複部３５ｂとから構成されている。第１の画像ブロック３４における非重複部３４ａと、第２の画像ブロック３５における非重複部３５ａとは、画像合成部２１に入力される。また、第１の画像ブロック３４における重複部３４ｂは、第１の乗算器１５に入力される。また、第２の画像ブロック３５における重複部３５ｂは、第２の乗算器１６に入力される。
【００２４】
第１の乗算器１５は、入力される重複部３４ｂの画像データと、係数発生部２０から出力される所定係数とで乗算処理を行う。また、第２の乗算器１６は、入力される重複部３５ｂの画像データと、係数発生部２０から出力される所定係数とで乗算処理を行う。第１の乗算器１５から出力される画像データと、第２の乗算器１６から出力される画像データとは、加算器１７で加算される。加算器１７で加算処理された画像データは、画像合成部２１に入力される。
【００２５】
係数発生部２０は、加算器１７において第１の乗算器１５から出力される画像データと第２の乗算器１６から出力される画像データとが所定の比率で加算されるように、係数が設定されている。なお、係数についての詳しい説明は後述する。また、第１の乗算器１５、第２の乗算器１６、加算器１７、および係数発生部２０で画像混合部を構成している。
【００２６】
画像合成部２１は、第１の重複判定部１４から出力される非重複部３４ａの画像データと、第２の重複判定部１９から出力される非重複部３５ａの画像データと、加算器１７から出力される重複部３６ａの画像データとを合成し、合成画像３６を生成する。画像合成部２１では、入力される３つの画像データの画像を垂直方向に並べて繋げる処理を行うため、合成画像３６の略中央には重複部３６ａが存在する。
【００２７】
本実施の形態では、加算器１７で生成される重複部３６ａの画像は、繋ぎ目を目立たせないように処理される。以下、重複部３６ａを生成するための画像処理方法について、具体的に説明する。
【００２８】
図４は、重複部３６ａを生成する処理の流れを模式的に示す。なお、図４において、図２及び図３に示す構成と同様の構成については、同一番号を付与して説明を省略する。
【００２９】
原画像３１は、第１の画像ブロック３２と第２の画像ブロック３３とに分割されるが、互いに重複する４ライン分の重複領域３１ｃがある。図中の上半分画像Ｕｘｙ及び下半分画像Ｌｘｙは、各画像ブロックにおける重複領域を拡大したものである。
【００３０】
上半分画像Ｕｘｙに示す格子状に配置されている○印は、第１の画像ブロック３２における下端４ライン分のデジタルサンプル画素データを表現している。サフィックスｘ，ｙは、４ライン画素の行列位置を示し、ｘは、上半分画像Ｕｘｙの左端を開始点「０」として、「１」ずつ増加している。また、ｙは、４ラインの一番上のラインを開始点「０」として、「１」ずつ増加している。
【００３１】
また、下半分画像Ｌｘｙに示す格子状に配置されている○印は、第２の画像ブロック３３で上端４ライン分のデジタルサンプル画素データを表現している。サフィックスｘ，ｙは、前述の上半分画像Ｕｘｙにおけるものと同様であるため、説明は省略する。
【００３２】
第１の乗算器１５では、上半分画像Ｕｘｙにおける画素データに、係数発生部２０（図２参照）から出力される係数ＫＵ＿ｘｙが乗算される。また、第２の乗算器１６では、下半分画像Ｌｘｙにおける画素データに、係数発生部２０から出力される係数ＫＬ＿ｘｙが乗算される。第１の乗算器１５及び第２の乗算器１６から出力される画素データは、加算器１７で合成処理される。加算器１７から出力される画素データは、画像合成部２１に入力される。
【００３３】
画像合成部２１は、入力される非重複部３４ａ及び３５ａと重複部３６ａとを合成処理し、合成画像３６を生成する。合成画像３６における重複部３６ａの近傍の画素データは、総合画像Ｔｘｙに示すようになっている。
【００３４】
総合画像Ｔｘｙに示すように、合成画像３６における画素データの値は、係数ＫＵ＿ｘｙ及びＫＬ＿ｘｙと、上半分画像Ｕｘｙ及び下半分画像Ｌｘｙにおける画素データとを用いて、一般的に下記の（１）式で表現することができる。（１）において、Ｕｘｙ１は上半分画像における画素データの値、Ｌｘｙ１は下半分画像における画素データの値を示している。
【００３５】
Ｔｘｙ＝ＫＵ＿ｘｙ×Ｕｘｙ１＋ＫＬ＿ｘｙ×Ｌｘｙ１  ・・・（１）
係数ＫＵ＿ｘｙ及び係数ＫＬ＿ｘｙに対して、下記の（２）式に示す規則を持たせることにより、混合比を水平方向に周期変動させることができる。
【００３６】
Ｔｘｙ１＝（７×Ｕｘｙ１＋１×Ｌｘｙ１）／８  for（x＿mod＿６）＝０
Ｔｘｙ２＝（５×Ｕｘｙ１＋３×Ｌｘｙ１）／８  for（x＿mod＿６）＝１，５
Ｔｘｙ３＝（３×Ｕｘｙ１＋５×Ｌｘｙ１）／８  for（x＿mod＿６）＝２，４
Ｔｘｙ４＝（１×Ｕｘｙ１＋７×Ｌｘｙ１）／８  for（x＿mod＿６）＝３
・・・（２）
上記（２）式は、ｍｏｄ演算子を用いて、水平サンプル番号を６で割った結果で、係数ＫＵ＿ｘｙ、係数ＫＬ＿ｘｙに使う係数（７／８，５／８，３／８，１／８）を使い分けている。
【００３７】
この式（２）に示した規則で加算器１７における混合比を変化させて重複部３６ａにおける画像を生成すると、重複部３６ａを構成する画素データの値は、上記（２）式のＴｘｙ１、Ｔｘｙ２、Ｔｘｙ３、Ｔｘｙ４、Ｔｘｙ３，Ｔｘｙ２の順で水平方向に周期性を持って変化する。これにより、重複部３６ａの垂直方向の両側において、画像の性質が異なることにより生じる境界線を目立たなくすることができる。
【００３８】
以上のように本実施の形態によれば、重複部３４ｂと重複部３５ｂとの混合比率を、水平サンプル毎に周期的に変動させることにより、合成画像３６の重複部３６ａの両側において画像の性質が異なる部分を少なくすることができ、繋ぎ目（境界線）を目立たなくすることができる。
【００３９】
また、境界線の両側の画像ブロックに含まれるノイズの差が境界線方向に整然と並ばない為、境界が浮かび上がら無い様にでき、画像ブロックの繋ぎ目を自然に表現することができる。
【００４０】
なお、実施の形態１に示すように、混合比率の変動を水平方向に周期性を持たせる構成としたが、この周期性はフレーム間で同期させてもよいが、フレーム間で異ならせてもよい。混合比率の周期性をフレーム間で異ならせることにより、画像ブロックの繋ぎ目をさらに目立たなくすることができる。
【００４１】
（実施の形態２）
実施の形態２は、合成手段の混合比率が画素毎にランダムに変動させることを特徴としている。なお、実施の形態２における画像処理装置の構成は、前述の実施の形態１の構成と全く同じであるため、同一番号を用いて説明する。実施の形態２と実施の形態１との違いは、係数発生部２０で発生する係数ＫＵ＿ｘｙ及びＫＬ＿ｘｙの発生規則が異なる。
【００４２】
図５は、重複部３６ａを生成する処理の流れを模式的に示す。なお、図５において、図４に示す構成と同様の構成については、同一番号を付与して説明を省略する。
【００４３】
実施の形態２では、係数発生部２０によって設定される係数が、下記（３）式で示すように、０〜１までの乱数Roundを画素データ毎に係数ＫＵ＿ｘｙに設定するとともに、乱数（１−Round）を係数ＫＬ＿ｘｙに設定する。
【００４４】
Ｔｘｙ＝Round×Ｕｘｙ１＋（１−Round）×Ｌｘｙ１  ・・・（３）
Round：範囲０〜１の乱数
係数ＫＵ＿ｘｙ及びＫＬ＿ｘｙに上記の発生規則を適用すると、合成画像３７における重複部３７ａに含まれる画素データは、ランダムな値になる。
【００４５】
以上のように本実施の形態によれば、係数発生部２０で発生する係数ＫＵ＿ｘｙ及びＫＬ＿ｘｙをランダムな値にすることにより、重複部３７ａがランダムな画像で構成された合成画像３７を生成することができる。よって、重複部３７ａにおける第１の画像ブロック３２と第２の画像ブロック３３との境界部分で、画像の性質が異なる部分を少なくすることができ、繋ぎ目（境界線）を目立たなくすることができる。
【００４６】
また、境界線の両側の画像ブロックに含まれるノイズの差が境界線方向に整然と並ばない為、境界が浮かび上がら無い様にでき、画像ブロックの繋ぎ目を自然に表現することができる。  なお、実施の形態１及び２では、第１の画像処理部（記録部）と第２の画像処理部（再生部）とを含む画像処理装置としたが、第１の画像処理部のみを備えた装置と、第２の画像処理部のみを備えた装置とに分離独立した構成としてもよい。
【００４７】
また、実施の形態１及び２において、画像分割部２における分割数は２個に限らず、繋ぎ目の画像処理を実施の形態１または２に示すように処理すれば、分割数は３個以上であっても同様に実現することができる。
【００４８】
また、実施の形態１及び２では、重複部３２ｂ及び３３ｂ（または３４ｂ及び３５ｂ）は、水平４ラインで構成されているが、このライン数には限定されない。また、このライン数を、フレーム毎に異ならせることで、繋ぎ目をより目立たなくすることができる。
【産業上の利用可能性】
【００４９】
本発明は、複数の画像ブロックに分割して画像圧縮し、復号時に複数の画像ブロックを合成して原画像を再生するにあたって、複数の画像ブロックの境界線が検知されない特徴を有している。特に、サンプリング周波数が高く、処理する画素数の多いＨＤＴＶ画像等で有用である。
【図面の簡単な説明】
【００５０】
【図１】実施の形態１及び２における第１の画像処理部の構成を示すブロック図
【図２】実施の形態１及び２における第２の画像処理部の構成を示すブロック図
【図３】画像処理の流れを説明するための模式図
【図４】実施の形態１の画像処理における画像混合処理および画像合成処理の流れを説明するための模式図
【図５】実施の形態２の画像処理における画像混合処理および画像合成処理の流れを説明するための模式図
【図６】従来の画像処理の流れを説明するための模式図
【図７】従来の画像処理において生成された合成画像を示す模式図
【符号の説明】
【００５１】
２  画像分割部
３  第１の画像圧縮部
４  第２の画像圧縮部
５  多重化部
１２  多重分割部
１３  第１の画像復号部
１４  第１の重複判定部
１５  第１の乗算器（画像混合部）
１６  第２の乗算器（画像混合部）
１７  加算器（画像混合部）
１８  第２の画像復号部
１９  第２の重複判定部
２０  係数発生部（画像混合部）
２１  画像合成部
【図１】
2008259122.tif 000003
【図２】
2008259122.tif 000004
【図３】
2008259122.tif 000005
【図４】
2008259122.tif 000006
【図５】
2008259122.tif 000007
【図６】
2008259122.tif 000008
【図７】
2008259122.tif 000009