(57)【特許請求の範囲】
【請求項１】
ダウンサンプリングにより縮小された２進画像より元の２進画像を復元する補間方法において、
ａ）補間画素の周囲に位置する縮小された画像の画素値（注目画素値）に基づき補間値を算出する過程と、
ｂ）前記注目画素の周囲に位置する画素（参照画素）の状態値（コンテクスト）を算出する過程と、
ｃ）前記算出されたコンテクストに相応する臨界値を獲得する過程と、
ｄ）前記補間値と獲得された臨界値とを比較し、補間値が獲得された臨界値より大きいならば補間画素の画素値を“１”と、そうでない場合は“０”と決定する過程とを含み、
前記臨界値の獲得過程で獲得された臨界値は、
前記注目画素の組合により生じうる補間値の個数ほど備えられる臨界値の候補値のうち何れか一つであることを特徴とする２進画像の補間方法。
【請求項２】
前記補間値の算出過程は双一次補間方法により補間値を算出することを特徴とする請求項１に記載の２進画像の補間方法。
【請求項３】
前記コンテクストの算出過程におけるコンテクストは、
Ｐは補間画素の位置を、Ｒは参照画素を、ｋは参照画素のインデックスをそれぞれ示すとした時、
【数１】
0003669833.tif 000004
により求められることを特徴とする請求項１に記載の２進画像の補間方法。
【請求項４】
前記臨界値の候補値は、
ａ１）インデックスｃ及びｔがそれぞれ補間値の大きさに応じた順番及び臨界値の候補値の大きさに応じた臨界値インデックスを示すとした時、ヒット配列ｈ[ｃ][ｔ]、ＴＨＲc[ｔ]を用意する過程と、
ａ２）ヒット配列ｈ[ｃ][ｔ]を零に初期化させてから元の２進画像及び縮小画像を入力する過程と、
ａ３）ラスタースキャンの順にしたがって補間を行う補間画素の位置を決定してから参照画素のコンテクストを求める過程と、
ａ４）臨界値インデックスｔを初期化する過程と、
ａ５）補間画素の補間値ＩＮＰ[Ｐ]を算出する過程と、
ａ６）現在の臨界値の候補値ＴＨＲc[ｔ]を算出された補間値ＩＮＰ[Ｐ]と比較し、補間値ＩＮＰ[Ｐ]が臨界値の候補値ＴＨＲc[ｔ]より大きいならば補間画素の画素値を“１”と、小さいかそれとも同じであれば“０”と決定する過程と、
ａ７）補間画素の画素値を元の画素値と比較し、同じであれば当該配列ｈ[ｃ][ｔ]の値及びｔを１ほど増加させる過程と、
ａ８）現在の補間値に対し全ての臨界値の候補値を適用してヒットの可否を調べるかを判断し、そうでなければａ６）過程に復帰する過程と、
ａ９）全ての臨界値の候補値に対するヒットの可否を調べ切れれば、２進画像内の全ての画素に対して行われたかを判断し、そうでなければ前記コンテクストの算出過程ａ３）に復帰する過程と、
ａ１０）２進画像内の全ての画素に対し行われれば、ヒット頻度が一番高い臨界値の候補値を当該補間値の臨界値として設定する過程により決定されることを特徴とする請求項４に記載の２進画像の補間方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は２進画像の補間方法に係り、特に補間により生じる画素値の決定に用いられる可変臨界値を周りの画素の状態値（コンテクスト）により決定する改良した補間方法に関する。
【０００２】
【従来の技術】
最近のＭＰＥＧ−４（Moving Picture Expert Group-4）では、以前とは違って、形状（shape）情報を処理する機能が追加された。形状情報とは画像の客体情報をいうのであり、２進画像として表現される。この２進画像を符号化するためにＭＰＥＧ−４はコンテクスト基盤の算術符号化器（Context-based Arithmetic Encoder；以下ＣＡＥという）を使用する。損失形状符号化のためにダウンサンプリング（down sampling）及びアップサンプリング（up sampling）が各形状マクロブロックで行われる。形状画像はＭ×Ｎのブロック大きさを有する形状ブロックに分割される。
【０００３】
ダウンサンプリングとは、２進画像ブロックを与えられた変換率により縮小するのをいう。縮小された画像（縮小画像）ブロックは変換率と共に伝送される。ここで、変換率は元の２進画像ブロックと追って復元された２進画像ブロックとの間の誤差が所定範囲内に含まれるように決められる。
ダウンサンプリングにより生じた縮小画像ブロックはＣＡＥにより符号化され伝送される。
【０００４】
このような縮小画像の復元のためにアップサンプリング（up sampling）という方法が用いられる。アップサンプリングとは補間により縮小画像ブロックから元の２進画像ブロックを復元する過程である。
このようなアップサンプリングでは、復元された２進画像で生じるブロッキング現象（blocking effect）、スムージング現象（smoothing effect）などを緩和する効率的な補間方法が求められる。
【０００５】
【発明が解決しようとする課題】
本発明は上記した要求に応じてなされたものであり、補間により形成される画素（補間画素）の周囲にある画素の状態値（コンテクスト）を用いて補間することにより、ブロッキング現象、スムージング現象などを緩和する改良した補間方法を提供することをその目的とする。
【０００６】
【課題を解決するための手段】
前記目的を達成するため本発明に係る２進画像の補間方法は、
ダウンサンプリングにより縮小された２進画像より元の２進画像を復元する補間方法において、
補間画素の周囲にある縮小された画像の画素値（注目画素値）に基づき補間値を算出する過程と、
前記注目画素の周囲にある画素（参照画素）の状態値（コンテクスト）を算出する過程と、
前記算出されたコンテクストに相応する臨界値を獲得する過程と、
前記補間値と獲得された臨界値とを比較し、補間値が獲得された臨界値より大きいならば補間画素の画素値を“１”と、そうでなければ“０”と決定する過程とを含み、
前記臨界値の獲得過程で獲得された臨界値は、
前記注目画素の組合により生じうる補間値の個数ほど備えられる臨界値の候補値のうち何れか一つであることを特徴とする。
【０００７】
【発明の実施の形態】
以下添付した図面に基づき本発明をさらに詳細に説明する。
図１はＭＰＥＧ−４において、客体情報を有する２進画像の符号化及び復号化方法を示したものである。図１に示した方法は、ダウンサンプリング過程１００、符号化過程１０２、逆符号化過程１０４、及びアップサンプリング過程１０６を含む。
【０００８】
ダウンサンプリング過程１００でＭ×Ｎの２進画像ブロックが（Ｍ×ＣＲ）×（Ｎ×ＣＲ）の縮小画像ブロックに変換される。ここで、ＣＲとは元の２進画像ブロックとダウンサンプリングにより生じた縮小画像ブロックとのサイズ比を示す変換率である。
符号化過程１０２は縮小画像を符号化する。２進画像の符号化のためにＭＰＥＧ−４ではＣＡＥが使われる。ＣＡＥは客体を示す２進画像をブロック化し、各ブロックを同一の方法により処理する符号化器である。このＣＡＥは処理方法が単純で、しかも符号化効率がわりに高いため、ＭＰＥＧ−４の検証モデルとして採択された。
符号化過程１０２を通じて符号化された縮小画像は伝送路を通じて伝送される。逆符号化過程１０４は符号化された縮小画像より縮小画像を復元する。アップサンプリング過程１０６は縮小画像に対し補間処理を行い、元の２進画像を復元する。
【０００９】
図２は図１に示したダウンサンプリング過程１００をさらに詳しく説明するためのものである。２進画像２００は図２に格子状で示した複数のマクロブロック（macro block）にブロック化する。マクロブロック２０１内の"○"で表示した画素は"×"で表示した一つの画素に変換される。ここで、マクロブロックの大きさは変換率に応じて決められる。ＭＰＥＧ−４において変換率は１、１/２、１/４などに決められる。このような変換を全てのマクロブロックに対して行うことにより変換率だけ縮小された画像（縮小画像）が得られる。図２に示したのはマクロブロックの４個の画素（"○"で表示した画素）が属する場合、即ち、変換率が１/２の場合である。
ダウンサンプリングにおいて、マクロブロックの４個の画素からなる各グループで、半分以上の画素が"１"であれば変換された画素の画素値は"１"となる。ここで、画素値"１"及び"０"はそれぞれ客体が存在する部分及び存在しない部分を示す。画素値が"１"の部分と"０"の部分との境界線は客体情報の境界線を示す。
【００１０】
図３は図１に示したアップサンプリング過程１０６をより詳細に説明するためのものである。アップサンプリング過程は縮小画像に含まれた４個の画素を用いた補間処理により元の２進画像の画素を復元する。
図３に基づき従来の補間方法を詳しく説明する。
図３においてＡ、Ｂ、Ｃ、Ｄで示した画素は補間に関与する画素（注目画素）であり、Ｐ１、Ｐ２、Ｐ３、Ｐ４は補間により生じた画素（補間画素）である。ここで、注目画素Ａ、Ｂ、Ｃ、Ｄは補間画素Ｐ１、Ｐ２、Ｐ３、Ｐ４を取り囲んでいる画素である。さらに、注目画素は縮小画像に属する画素であり、補間画素は復元された２進画像に属する画素である。
【００１１】
まず、注目画素Ａ、Ｂ、Ｃ、Ｄを用いて補間値ＩＮＰ[Ｐ]を求める。補間値を求めるために線形補間方法が用いられる。
線形補間方法による補間値ＩＮＰ[Ｐ]は次の通り求められる。
ＩＮＰ［Ｐ１］＝ｒ＊Ａ＋ｓ＊（Ｂ＋Ｃ＋Ｄ）
ＩＮＰ［Ｐ２］＝ｒ＊Ｂ＋ｓ＊（Ａ＋Ｃ＋Ｄ）
ＩＮＰ［Ｐ３］＝ｒ＊Ｃ＋ｓ＊（Ａ＋Ｂ＋Ｄ）
ＩＮＰ［Ｐ４］＝ｒ＊Ｄ＋ｓ＊（Ａ＋Ｂ＋Ｃ）
ここで、ｒ及びｓは加重値であり、ｒ＞ｓの関係を満足する。即ち、補間画素の最も近くに位置する画素に最大の加重値を与える。
【００１２】
次は、算出された補間値ＩＮＰ[Ｐ]と臨界値ＴＨＲとを比較する。ここで、臨界値ＴＨＲは最大の補間値の１/２となる値に設定される。補間値ＩＮＰ[Ｐ]が臨界値ＴＨＲより大きいならば補間画素の画素値は"１"となり、そうでない場合は"０"となる。
ここで、適用された臨界値ＴＨＲは一つであるが、補間値ＩＮＰは複数でありうるため、補間値ＩＮＰ[Ｐ]と臨界値ＴＨＲとが相互近接する場合は補間画素の画素値が正確かどうかが不明になる曖昧性が存在する。これにより、復元された２進画像におけるブロッキング現象あるいはスムージング現象が深刻化する問題点がある。
【００１３】
これを改良するために本発明に係る補間方法では、補間値ＩＮＰ[Ｐ]と比較される臨界値を補間画素の周囲にある画素（参照画素）の状態値（コンテクスト）により適応的に決定することによって、補間画素の画素値の決定時の曖昧性を緩和する。それから適用する臨界値の候補値を、後述されるように、学習方法により決定する。
【００１４】
本発明に係る改良した補間方法を図４乃至図７に基づき説明する。図４乃至図７において"○"で表示したものＡ、Ｂ、Ｃ、Ｄ、Ｃ０、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５は縮小画像の画素であり、"×"で表示したものＰ１、Ｐ２、Ｐ３、Ｐ４は復元された２進画像の画素（補間画素）である。
【００１５】
まず、補間により生じる画素の補間値を求める。ここで、補間値は注目画素の平均やその他の方法により求められるが、本発明においては双一次補間方法により求める。
双一次補間方法による補間値は次の＜数２＞により求められる。
【数２】
0003669833.tif 000002
ここで、各項におけるｈ及びｖはその項に含まれている注目画素と補間画素との間の水平及び垂直距離である。ＩＮＰ[Ｐ]は０から１までの値に決定される。注目画素の組合数は１６個であるので補間値ＩＮＰ[Ｐ]は１６個になりうるが、重複するのを除ければ実際には０から１までの１２個である。これにより、臨界値の候補値ＴＨＲc[ｔ]も１２個であり、それぞれ０、０．０６２５、０．１８７５、０．２５、０．３７５、０．４３７５、０．５６２５、０．６２５、０．７５、０．８１２５、０．９３７５、及び１である。
【００１６】
次いで、参照画素の状態値（コンテクスト）を算出する。コンテクストは次の＜数３＞により算出される。
【数３】
0003669833.tif 000003
ここで、Ｐは補間画素の位置を、Ｒは参照画素を、ｋは参照される順番あるいは加重値を示すインデックスである。ここで、インデックスは補間画素の位置に応じて変わる。本発明においては、参照画素として注目画素の周りを取り囲んでいる５個の画素を使用する。このような参照画素は縮小画像に含まれた画素である。
図４乃至図７はそれぞれ補間画素Ｐ１乃至Ｐ４を補間するために参照される参照画素の位置及びインデックスを示すものである。
臨界値の候補値ＴＨＲc[ｔ]は、後述されるように、学習方法により決められる。
【００１７】
次に、補間値ＩＮＰ[Ｐ]とコンテクストに応ずる臨界値ＴＨＲc[ｔ]とを比較し、補間画素の画素値を決定する。
補間値ＩＮＰ[Ｐ]がもしコンテクストに応ずる臨界値ＴＨＲcより大きいならば補間画素の画素値は"１"となり、小さいならば"０"となる。
【００１８】
続いて、参照画素のコンテクストに応ずる臨界値ＴＨＲcを決定する方法を詳細に説明する。臨界値ＴＨＲcは学習により求められる。学習は元の２進画像と復元された２進画像とを比較する過程を通じて行われる。これを図８乃至図９に基づき詳細に説明する。
まず、配列ｈ[ｃ][ｔ]、ＴＨＲc[ｔ]を用意する（３１０段階）。
ここで、配列ｈ[ｃ][ｔ]とは復元された画素値が実際の画素値と同一な場合を示すヒット（hit）の回数を表した配列であって、いかなるコンテクストに対して可能な全ての臨界値の候補値を適用することにより得られる。ここで、インデックスｃ及びｔはそれぞれ補間値の大きさに応ずる順番及び臨界値の候補値の大きさに応ずる順番を示す。図２に示した場合において、補間値が１２個であり、臨界値の候補値が１２個であるので配列の大きさはｈ[１１][１１]となる。
また、配列ＴＨＲc[ｔ]は臨界値の候補値を保存した配列である。ここで、ｔは臨界値の候補値の大きさに応じた順番を示す臨界値インデックスである。
配列ｈ[ｃ][ｔ]を零（zero）に初期化する（３２０段階）。
配列ｈ[ｃ][ｔ]を零に初期化させた後、元の２進画像及び縮小画像が入力される（３３０段階）。
それから補間される補間画素の位置を決定する。補間は左側の上から右側の下にラスタースキャンの順にしたがって行われる（３４０段階）。
補間画素の位置が決定されれば、前述した＜数３＞によりコンテクストを求める（３５０段階）。
臨界値インデックスｔを初期化する（３５５段階）。
補間画素の補間値ＩＮＰ[Ｐ]を算出する（３６０段階）。
【００１９】
現在の臨界値の候補値ＴＨＲc[ｔ]を算出された補間値ＩＮＰ[Ｐ]と比較し、補間値ＩＮＰ[Ｐ]が臨界値の候補値ＴＨＲc[ｔ]より大きいならば補間画素の画素値を"１"と、小さいならば"０"とする（３７０段階、３７２段階、３７４段階）。
補間画素の画素値ＩＮＰ[Ｐ]を元の画素値と比較し、同じであれば当該配列ｈ[ｃ][ｔ]の値を１ほど増加させる（３８０段階、３８５段階）。
現在の補間値に対し臨界値の候補値を全て適用してヒットの可否を調べる（３９０段階）。
全ての臨界値の候補値に対するヒットの可否を調べ終えると、２進画像内の全ての画素に対して補間が行われたかどうかを判断する（４００段階）。
補間が２進画像内の全ての画素に対して行われれば、ヒット頻度が最高の臨界値の候補値を当該補間値の臨界値として設定する（４１０段階）。
本発明によれば、双一次補間により算出された補間値のみで復元が不明になるのをコンテクストによりその曖昧さを取り除くことによって復元された２進画像における復元誤差を減らす。
【００２０】
図１０乃至図１２は本発明に係る補間方法の効果を示すためのものである。図１０はＭＰＥＧ−４のロゴ（logo）を示した２進画像であり、図１１は図３を通じて説明された従来の補間方法による補間結果を示したものであり、図１２は本発明による補間結果を示したものである。図１１と図１２との比較結果から分かるように、従来の線形補間に比べてブロッキング及びスムージング現象が大いに縮まる。
【００２１】
【発明の効果】
本発明の補間方法によれば、補間画素の周囲にある参照画素の状態値（コンテクスト）により補間値と臨界値との間の曖昧性を取り除くことにより、復元された２進画像におけるブロッキング現象、スムージング現象が減る。
【図面の簡単な説明】
【図１】  ＭＰＥＧ−４の２進画像の符号化及び復号化方法を示したものである。
【図２】  前記図１に示したダウンサンプリング過程を説明するためのものである。
【図３】  前記図１に示したアップサンプリング過程を説明するためのものである。
【図４】  本発明に係る補間方法を説明するためのものである。
【図５】  本発明に係る補間方法を説明するためのものである。
【図６】  本発明に係る補間方法を説明するためのものである。
【図７】  本発明に係る補間方法を説明するためのものである。
【図８】  本発明において臨界値の学習方法を示した流れ図である。
【図９】  本発明において臨界値の学習方法を示した流れ図である。
【図１０】  ２進画像の図である。
【図１１】  前記図１０の２進画像に対する、従来の技術による補間結果を示したものである。
【図１２】  前記図１０の２進画像に対する、本発明による補間結果を示したものである。
【符号の説明】
１００  ダウンサンプリング過程
１０２  符号化過程
１０４  逆符号化過程
１０６  アップサンプリング過程
２００  ２進画像
２０１  マクロブロック
ＣＲ  変換率
Ａ，Ｂ，Ｃ，Ｄ  注目画素
Ｐ１，Ｐ２，Ｐ３，Ｐ４  補間画素
Ｃ０，Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５  縮小画像の画素
ＩＮＰ[Ｐ]  補間値
ＴＨＲ[ｔ]，ＴＨＲc[ｔ]  臨界値
ｈ[ｃ][ｔ]  ヒット配列
Ｐ  補間画素の位置
Ｒ  参照画素
ｋ  参照画素のインデックス
ｃ，ｔ  インデックス
【図１】
0003669833.tif 000005
【図２】
0003669833.tif 000006
【図３】
0003669833.tif 000007
【図４】
0003669833.tif 000008
【図５】
0003669833.tif 000009
【図６】
0003669833.tif 000010
【図７】
0003669833.tif 000011
【図８】
0003669833.tif 000012
【図９】
0003669833.tif 000013
【図１０】
0003669833.tif 000014
【図１１】
0003669833.tif 000015
【図１２】
0003669833.tif 000016