(57)【要約】【課題】隣接領域からのエッジパターンの検出精度が低い場合にもエッジパターンの再現性を向上させる。【解決手段】コンシールメント部３００において、勾配ベクトルをもとに欠落画素位置Ｐ(i,j) を通る支配的なエッジの方向を検出して、当該エッジの直線上に位置する境界画素のペアＰa1，Ｐa2を選択する。さらにこの境界画素ペアＰa1，Ｐa2の周辺に位置する複数の境界画素ペアの中から、しきい値により指定された角度又は画素位置の範囲に存在する境界画素のペアＰb1，Ｐb2及びＰc1，Ｐc2を選択する。そして、上記選択された境界画素Ｐa1，Ｐa2、Ｐb1，Ｐb2、Ｐc1，Ｐc2間の差分値をそれぞれ算出して差分値が最小となる境界画素ペアを選択し、この選択された境界画素ペアの画素値と、欠落画素Ｐ(i,j) までの距離ｄ１，ｄ２とをもとに、上記欠落画素Ｐ(i,j) を補間する画素値を算出する。【選択図】      図２
2008199251.tif 000002
【特許請求の範囲】
【請求項１】
ブロックごとに符号化された画像データを復号処理して復号画像データを出力する画像復号装置において、
前記復号画像データ中から前記復号処理により正しく復号がなされなかった欠落画素を含む修復対象領域を特定する手段と、
前記特定された修復対象領域に隣接しかつ前記復号処理により正しく復号がなされた参照領域の画素情報をもとに、前記修復対象領域中の欠落画素を通過するエッジパターンを検出する手段と、
前記検出されたエッジパターンをもとに、前記参照領域中から前記欠落画素の補間に使用する第１の境界画素のペアを検出する手段と、
前記参照領域中の前記第１の境界画素のペアの周辺部から、前記欠落画素の補間に使用する第２の境界画素のペアを検出する手段と、
前記検出された第１及び第２の境界画素のペアの中から、境界画素間の差が最も小さい境界画素のペアを選択する手段と、
前記選択された境界画素間の差が最も小さい境界画素のペアをもとに、前記修復対象領域中の欠落画素を補間する手段と
を具備することを特徴とする画像復号装置。
【請求項２】
前記第２の境界画素のペアを検出する手段は、前記エッジパターンを前記修復対象領域中の欠落画素を中心に予め設定された角度の範囲で回転させ、当該回転後のエッジパターンの直線上に位置する境界画素のペアを第２の境界画素のペアとして選択することを特徴とする請求項１記載の画像復号装置。
【請求項３】
前記第２の境界画素のペアを検出する手段は、前記第１の境界画素を中心に予め設定された画素数の範囲に存在する境界画素のペアを第２の境界画素のペアとして選択することを特徴とする請求項１記載の画像復号装置。
【請求項４】
前記欠落画素を補間する手段は、
前記選択された境界画素間の差が最も小さい境界画素ペアの画素値と、当該境界画素ペアと前記欠落画素との間の距離とをもとに、当該欠落画素を補間するための画素値を算出する手段と、
前記欠落画素の画素値を前記算出された画素値をもとに変更する手段と
を備えることを特徴とする請求項１記載の画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像データを復号する際に、画像フレームのエラーを修復するエラーコンシールメント機能を備える画像復号装置に関する。
【背景技術】
【０００２】
近年、携帯電話機やＰＤＡ（Personal Digital Assistant）等の携帯端末の中には、地上ディジタル放送の１セグメント放送（以後ワンセグ放送と略称する）を受信する機能を備えた端末が多くなっている。地上ディジタル放送のワンセグ放送では動画像の符号化方式としてITUT H.264方式が採用されている。このため、上記携帯端末には上記ITUT H.264方式に対応する動画像復号装置が設けられている。
【０００３】
ところで、携帯端末の動画像復号装置では、例えば無線伝送路においてビットストリーム中にエラーが混入すると、可変長復号の同期が回復するまで画像の復号が不可能になり、視覚的に大きな劣化を生じる。そこで、エラーが混入したことにより失われた領域を、フレームメモリに蓄えられた既に復号済みの画像信号を用いて補間するエラーコンシールメント処理が行われる。
【０００４】
エラーコンシールメントには大別して、フレーム間の相関を利用する時間的コンシールメントと、フレーム内の相関を利用する空間的コンシールメントと、前述２つを組み合わせた時空間的コンシールメントがある。一般的には符号化の基準単位であるマクロブロック（ＭＢ）ごとにエラーの有無を特定して補間処理を行うが、補間処理方法を適応的に切り替えることでより画質改善効果の高いエラーコンシールメントが可能となる。
【０００５】
空間的コンシールメント手法の１つに、主観的画質に左右する要素の１つであるエッジパターンを隣接領域から補間して再現する手法がある。この種の手法は、例えば欠落マクロブロック（欠落ＭＢ）のうち、正常に復号された領域および既に補間処理が行われた領域の各画素に対し、Sobel FilterやPrewitt Filter等のフィルタリング処理を適用して、ベクトルで表される勾配を求めることにより隣接領域ごとのエッジパターンを検出する。その後、各領域で決定された勾配を比較して、最終的に欠落ＭＢを補間する支配的なエッジパターンを決定する。欠落ＭＢを補間する支配的なエッジパターンが決定された後は、各補間画素からエッジパターンを表す直線を引いて境界画素との交点のペアを求め、その画素値と各補間画素からの距離を用いて各補間画素の画素値を決定する（例えば、非特許文献１又は非特許文献２を参照。）。
【非特許文献１】O. Nemethova, A. Al Moghrabi, M. Rupp,  “Flexible Error Concealment for H.264 Based on Directional Interpolation”, Proc. of the 2005 International Conference on Wireless Networks Communications and Mobile Computing, Maui, Hawaii, USA, June, 2005.
【非特許文献２】D. Agrafiotis, DR Bull, and N. Canagarajah,  “Spatial error concealment with edge related perceptual considerations”, Signal Processing: Image Communication, vol. 21, pp. 130-142, 2006.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本来、エッジパターンは画素値の近い画素で構成されることが多い。ところが、先に述べた従来の方式では、補間画素値の算出時に境界画素との２つの交点が決定された後にその画素値が考慮されない。このため、画素値の遠い画素を用いて補間処理されることがあり、隣接領域からのエッジパターンの検出精度が低い場合にはエッジパターンの再現性が低くなってしまう。また、隣接領域からエッジパターンを検出した後は欠落領域内をエッジパターンの方向に沿って一様に補間している。このため、単一で直線的なエッジパターンしか再現することができない。  
この発明は上記事情に着目してなされたもので、その目的とするところは、隣接領域からのエッジパターンの検出精度が低い場合にもエッジパターンの再現性を向上させることが可能な画像復号装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためにこの発明の一観点は、ブロックごとに符号化された画像データを復号処理して復号画像データを出力する画像復号装置において、先ず上記復号画像データ中から上記復号処理により正しく復号がなされなかった欠落画素を含む修復対象領域を特定する。そして、この特定された修復対象領域に隣接しかつ上記復号処理により正しく復号がなされた参照領域の画素情報をもとに上記修復対象領域中の欠落画素を通過するエッジパターンを検出して、この検出されたエッジパターンをもとに上記参照領域中から上記欠落画素の補間に使用する第１の境界画素のペアを検出する。またそれと共に、上記参照領域中の上記第１の境界画素のペアの周辺に位置する境界画素の中から上記欠落画素の補間に使用する第２の境界画素のペアを検出する。続いて、上記検出された第１及び第２の境界画素のペアの中から境界画素間の差が最も小さい境界画素のペアを選択し、この選択された境界画素のペアをもとに上記修復対象領域中の欠落画素を補間するように構成したものである。
【発明の効果】
【０００８】
したがって、支配的な勾配ベクトルから検出される境界画素のみに依存せず、その周辺の境界画素のペアも考慮して欠落画素の補間処理が行われる。このため、境界画素の検出精度の影響を低減してエッジパターンの再現性を高めることができ、また単一で直線的なエッジパターン以外のエッジパターンについても再現することが可能となる。
【０００９】
すなわち、この発明によれば、隣接領域からのエッジパターンの検出精度が低い場合にもエッジパターンの再現性を向上させることが可能な画像復号装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照してこの発明の実施形態を説明する。  
この発明の一実施形態は、地上ディジタル放送のワンセグ放送を受信する機能を備える携帯端末において、受信されたワンセグ放送の画像フレームを復号して表示する際に、伝送路上で混入したエラーにより画像フレームに発生したマクロブロック（ＭＢ）の欠落を、当該欠落マクロブロックに含まれるであろうエッジパターンの画像を隣接する周辺マクロブロックから検出してこのエッジパターンの画像をもとに修復するものである。
【００１１】
具体的には，先ず欠落マクロブロックに含まれるであろうエッジを、隣接する複数のマクロブロックから勾配ベクトルをもとに検出して、この勾配ベクトルの大きさが最大となるエッジを支配的なエッジとして選択する。次に、この選択された支配的なエッジの方向に位置する境界画素ペアと、その周辺に位置する複数組の境界画素ペアの中から、修復用画素ペアとして最適な画素ペアを選択する。そして、この選択された画素ペアに基づいて上記欠落マクロブロックを修復する。
【００１２】
図１は、この発明の一実施形態に係わる画像復号装置を備えた携帯端末の構成を示すブロック図である。  
この実施形態に係わる携帯端末は、無線ユニット１と、ベースバンドユニット２と、ユーザインタフェースユニット３と、記憶ユニット４と、ディジタル放送受信ユニット５と、電源ユニット６とから構成される。
【００１３】
同図において、先ず通話モードが設定されている状態では、ユーザインタフェースユニット３のマイクロホン３２から出力されたユーザの送話音声信号がベースバンドユニット２のエンコーダ２３に入力される。また、カメラ（ＣＡＭ）３１から出力されたビデオ信号もエンコーダ２３に入力される。エンコーダ２３は、上記送話音声信号をCELP（Code Excited Liner Predictive coding）所定の符号化方式で符号化すると共に、上記ビデオ信号を例えばMPEG-4（Moving Picture Coding Experts Group-4）方式に従い符号化し、この符号化されたオーディオデータ及びビデオデータをそれぞれパケット化したのち多重化して送信マルチメディアデータを出力する。この送信マルチメディアデータは、制御モジュール２１においてさらに宛先情報などの種々制御情報が多重化されたのち、無線ユニット１の送信回路（ＴＸ）１５に供給される。
【００１４】
送信回路１５は、変調器、周波数変換器及び送信電力増幅器を備える。上記送信データは、変調器でディジタル変調されたのち、周波数変換器により周波数シンセサイザ１４から発生された送信局部発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としては、ＱＰＳＫ（Quadriphase Phase Shift Keying）方式やＱＡＭ（Quadrature Amplitude Modulation）方式等のディジタル変調方式と、拡散符号を使用するスペクトラム拡散方式が用いられる。そして、この変調された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅されたのち、アンテナ共用器（ＤＵＰ）１２を介してアンテナ１１に供給され、このアンテナ１１から図示しない基地局に向け送信される。
【００１５】
これに対し、基地局から無線チャネルを介して到来した無線周波信号は、アンテナ１１で受信されたのちアンテナ共用器１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、高周波増幅器、周波数変換器及び復調器を備える。そして、上記無線周波信号を低雑音増幅器で低雑音増幅したのち、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局部発振信号とミキシングして受信中間周波信号又は受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調する。復調方式としては、例えば直交復調方式と、拡散符号を使用したスペクトラム逆拡散方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局部発振信号周波数は、ベースバンドユニット２に設けられた制御モジュール２１から指示される。
【００１６】
上記復調器から出力された受信パケットデータはベースバンドユニット２に入力される。そして、このベースバンドユニット２内において、制御モジュール２１を介してデコーダ２２に入力される。デコーダ２２は、上記受信パケットデータをオーディオパケットとビデオパケットに分離したのち、オーディオパケットをデパケットしたのちオーディオデータに復号する。この復号されたオーディオフレームは、アナログ信号に変換されたのちユーザインタフェースユニット３のスピーカ３５から受話音声として拡声出力される。またデコーダ２２は、上記入力されたビデオパケットをデパケットしたのち、例えばＭＰＥＧ４方式に従いビデオフレームに復号する。この復号されたビデオフレームはユーザインタフェースユニット３の表示デバイス３４で表示される。表示デバイス３４は、例えばＬＣＤ（Liquid Crystal Display）３３からなる。
【００１７】
一方、ディジタル放送視聴モードが設定されている状態において、図示しない放送局から送信された放送信号は、アンテナ５１を介してディジタル放送受信ユニット５で受信復調される。そして、上記受信復調された受信放送データは、ベースバンドユニット２の制御モジュール２１においてヘッダの解析等が行われたのち、デコーダ２２に入力される。デコーダ２２は、上記入力された受信放送データをオーディオパケットとビデオパケットに分離する。そして、オーディオパケットをデパケットしたのちオーディオフレームに復号し、またビデオパケットをデパケットしたのち画像フレームに復号する。
【００１８】
例えば、地上波ディジタル放送のワンセグ放送では、オーディオデータはMPEG2 AAC方式で符号化され、ビデオデータはITUT H.264方式で符号化されている。このため、上記デコーダ２２は、上記オーディオパケット及びビデオパケットをこれらの符号化方式に対応する復号方式により復号する。上記復号されたオーディオ信号はユーザインタフェースユニット３のスピーカ３５から拡声出力され、ビデオ信号は表示デバイス３４に供給されて表示される。
【００１９】
なお、電源ユニット６には、リチウムイオン電池等のバッテリ６１と、このバッテリ６１を商用電源出力（ＡＣ１００Ｖ）をもとに充電するための充電回路６２と、電圧生成回路（ＰＳ）６３とが設けられている。電圧生成回路６３は、例えばＤＣ／ＤＣコンバータからなり、バッテリ６１の出力電圧をもとに所定の電源電圧Ｖccを生成する。
【００２０】
ところで、上記デコーダ２２は例えばＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、この発明に係わる機能として次のような機能を備えている。図２はその機能構成を示すブロック図である。すなわち、デコーダ２２は、復号部１００と、欠落領域情報メモリ２００と、コンシールメント部３００と、復号化ピクチャバッファ４００とを備えている。
【００２１】
復号部１００は、復号器と、エラー検出部１１０と、切替制御部１２０とを備えている。復号器は、入力されたビデオデータのビットストリームを可変長符号テーブルに従いマクロブロック単位で可変長復号し、復号されたピクチャデータを符号化ピクチャバッファ４００へ出力する。  
エラー検出部１１０は、上記復号器で復号処理されるビデオデータのビットストリームにシンタックス上の誤りが混入していた場合に、これを検出する。そして、この検出結果に応じ、マクロブロックごとに正常に復号されたか否かを表すフラグ情報StatusFragを生成して、このフラグ情報StatusFragを１画像フレーム分ずつ欠落領域情報メモリ２００に記憶させる。  
切替制御部１２０は、復号器により１フレーム分の復号処理が終了し、次のピクチャ境界が検出された時点で、コンシールメント部３００に対し上記復号処理が終了した修復対象フレームに対するコンシールメント処理を指示するための通知を行う。
【００２２】
コンシールメント部３００は、コンシールメント制御部３１０と、周辺領域情報取得部３２０と、周辺領域バッファ３３０と、勾配情報算出部２４０と、勾配選択部３５０と、しきい値設定部３６０と、境界座標算出部３７０と、補間画素値算出部３８０とを備えている。
【００２３】
コンシールメント制御部３１０は、コンシールメント部３００内各部の動作を統括的に制御するもので、上記切替制御部１２０からコンシールメント処理を指示するための通知を受け取ると、上記コンシールメント部３００内の各部に、修復対象フレーム内の欠落領域に対するコンシールメント処理を行わせる。またそれと共に、修復対象フレームのすべての欠落マクロブロックに対する補間処理が終了すると、切替制御部１２０を介して復号部１００に対しコンシールメント処理の終了を通知し、復号部１００に次の画像フレームの復号処理を開始させる。なお、このとき切替制御部１２０は欠落領域情報メモリ２００に記憶された修復対象フレームに対応するフラグ情報をクリアする。
【００２４】
周辺領域情報取得部３２０は、上記欠落領域情報メモリ２００に記憶されたフラグ情報StatusFlagを参照し、修復対象マクロブロックに隣接するマクロブロックの中から、正しく復号がなされたマクロブロックを修復に利用することが可能な参照領域として選択する。例えば、いま図５（ａ）に示すごとく修復対象マクロブロックをＸとすると、その上下左右に隣接する４個のマクロブロックＡ〜Ｄが修復に利用可能か否かを、これらの隣接マクロブロックＡ〜Ｄのフラグ情報StatusFlagをもとに判定する。図５（ｂ）の例では、隣接マクロブロックＡ〜Ｄのフラグ情報StatusFlagはそれぞれ１，１，０，１になっているため、隣接マクロブロックＡ，Ｂ，Ｄが修復に利用可能なマクロブロックと判定される。
【００２５】
周辺領域バッファ３３０は、周辺領域情報取得部３２０により修復に利用可能と判定された隣接マクロブロックの画素情報を、復号化ピクチャバッファ４００から取得して保存する。そして、境界座標検出部３７０から境界画素の座標値を受け取り、この受け取った境界画素の座標値をもとに、上記保存された隣接マクロブロックの画素情報のうち当該座標値に対応する画素情報を読み出して補間画素値算出部３８０へ出力する。
【００２６】
勾配情報算出部３４０は、上記周辺領域バッファ３３０に格納された画素情報から周辺領域ごとの勾配情報を算出する。勾配の算出には、例えばPrewitt FilterやSobel Filterなどを用いる。ここで、輝度情報と色差情報には相関があるため、勾配の算出に用いる隣接領域の画素情報としては輝度信号を想定しているが、色差信号に関しても同様の処理を行ってその結果を反映してもよい。  
勾配選択部３５０は、上記勾配情報算出部３４０により算出された隣接領域ごとの勾配情報から、対象マクロブロックに含まれるであろう支配的な勾配を選択する。勾配情報はベクトルで表されるため、例えばベクトルの大きさが最大のものを選択する。そして、この選択した支配的な勾配ベクトルに対し直交する方向を支配的なエッジの方向とする。
【００２７】
しきい値設定部３６０は、後述する欠落画素を補間する際の他の候補となる境界画素のペア数を限定するためのしきい値を設定する。しきい値は、例えば欠落画素を通る支配的なエッジを表す直線を当該欠落画素を中心に回転させるときの角度の範囲θか、又は欠落画素を通る支配的なエッジの方向から決定される境界画素を中心にその上下又は左右方向に画素位置を移動させるときの画素数の範囲αとして予め与えられる。
【００２８】
境界座標算出部３７０は、上記支配的なエッジの方向から決定される境界画素ペアの座標値を算出する。またそれと共に、上記しきい値設定部３６０から与えられるしきい値θ又はαに従い、上記支配的なエッジの方向から決定される境界画素ペアの周辺に位置する複数の境界画素ペアのうち、上記しきい値により指定された範囲に位置する境界画素のペアを他の候補として選択し、その座標値を算出する。
【００２９】
補間画素値算出部３８０は、上記境界座標算出部３７０により算出された座標値に応じて、上記支配的なエッジの方向に位置する境界画素ペアの画素値と、上記しきい値により指定された範囲に位置する他の候補となる複数の境界画素ペアの画素値を、上記周辺領域バッファ３３０から読み出す。そして、この読み出した支配的なエッジの方向に位置する境界画素ペアの画素値と、他の候補となる複数の境界画素ペアの画素値をもとに、欠落画素を補間するための画素値を算出し、この算出した欠落画素の補間画素値を復号化ピクチャバッファ４００に記憶されている復号画像フレームの該当する欠落画素の画素位置に書き込む。
【００３０】
復号化ピクチャバッファ４００は、画像フレームごとに、上記復号部１００により正常に復号された領域の画素値と、上記コンシールメント部３００の補間画素値算出部３８０により算出された欠落画素の画素値を記憶する。そして、上記コンシールメント部３００によりすべての欠落画素値の補間処理が終了した画像フレームを読み出して表示デバイス３４に供給する。
【００３１】
次に、以上のように構成されたデコーダ２２によるコンシールメント処理の手順と内容を説明する。  
制御モジュール２１からビデオデータのビットストリームが入力されると、復号部１００では上記入力されたビデオデータのビットストリームがそのマクロブロックごとに復号され、この復号されたピクチャデータが復号化ピクチャバッファ４００に送られて一時蓄積される。
【００３２】
またこの復号処理と並行して、上記復号処理されるビデオデータのビットストリームにシンタックス上の誤りが混入しているか否かがマクロブロックごとにエラー検出部１１０により判定され、その判定結果を表すフラグ情報が欠落領域情報メモリ２００に記憶される。例えば、正常に復号されたマクロブロックについてはStatusFlag＝１に設定され、復号不可能だったマクロブロックについてはStatusFrag＝０に設定されて、これらがフレーム単位で欠落領域情報メモリ２００に記憶される。図４に欠落領域情報メモリ２００におけるフラグ情報StatusFragの記憶結果の一例を示す。  
そして、１フレーム分のビデオデータの復号処理が終了すると、切替制御部１２０からコンシールメント制御部３１０対し、上記復号処理が終了したフレームに対するコンシールメント処理を指示する通知が送られる。
【００３３】
さて、上記コンシールメント処理の指示が通知されると、コンシールメント部３００では次のようにコンシールメント処理が行われる。図３はこのコンシールメント処理の手順と処理内容を示すフローチャートである。  
すなわち、先ず欠落画素を含むマクロブロックＸについて、周辺領域情報取得部３２０により例えば図５（ａ）に示すようにその上下及び左右に隣接する４つの周辺マクロブロックＡ〜Ｄを選択する。続いて、欠落領域情報メモリ２００に記憶されたフラグ情報StatusFlagを参照し、例えば図５（ｂ）に示すように上記４つの周辺マクロブロックＡ〜Ｄの中から欠落画素を含まないマクロブロックＡ，Ｂ，Ｄを選択する。そして、この選択された周辺マクロブロックＡ，Ｂ，Ｄに対応する各画素の値を上記復号化ピクチャバッファ４００から選択的に読み出し、この読み出した周辺マクロブロックＡ，Ｂ，Ｄの各画素値を周辺領域バッファ３３０に格納する。
【００３４】
なお、復号化ピクチャバッファ４００から画素値を取得する周辺マクロブロックの領域サイズは、必ずしも補間処理単位の領域サイズと等しくなくてもよく、隣接領域のエッジパターンを検出するために必要な画素数分だけを取得すればよい。取得する領域サイズと補間処理単位の領域サイズ（１６×１６画素）に含まれる画素数が等しくない場合の例を、図５（ｃ）に示す。この例では、１６×８画素または８×１６画素の領域を取得対象とする場合を示している。要するに、取得する画素数サイズは隣接領域のエッジパターン検出精度と確保可能なバッファサイズによって任意に決定することができる。
【００３５】
続いて、勾配情報算出部３４０において、上記周辺領域バッファ３３０に格納された周辺マクロブロックの画素値から周辺領域ごとの勾配ベクトルをそれぞれ算出する。そして、この算出された複数の勾配ベクトルの中からベクトル値が最大の勾配ベクトルを１つ選択し、この勾配ベクトルを欠落画素位置を通る支配的な勾配ベクトルとする。この支配的なベクトルの方向に対し直交する方向が支配的なエッジの方向となる。
【００３６】
次に、コンシールメント部３００はステップＳ３１に移行し、境界座標算出部３７０において、上記欠落画素位置を通る支配的な勾配ベクトルと直交するエッジの方向に位置する境界画素のペアを選択する。例えば、いま図６に示すように欠落画素の座標値がＰ(i,j) で、かつこの欠落画素Ｐ(i,j) を通る支配的なエッジの方向がＶａの方向だとすると、境界画素のペアとしてＰa1，Ｐa2が選択される。そしてステップＳ３２に移行し、補間画素値算出部３８０において、上記選択された境界画素Ｐa1，Ｐa2間の差分値ｄｉｆa が算出される。
【００３７】
続いて、コンシールメント部３００はステップＳ３３に移行し、境界座標算出部３７０において、上記支配的なエッジの方向から決定される境界画素ペアＰa1，Ｐa2の周辺に位置する複数の境界画素ペアの中から、しきい値設定部３６０により与えられるしきい値により指定された角度θの範囲に存在する境界画素のペアを他候補として選択し、その座標値を算出する。例えば、図６に示す例では、上記支配的なエッジの方向Ｖａを上記欠落画素Ｐ(i,j) を中心に角度θの範囲で回転させた場合に、当該回転後のエッジの方向Ｖｂ，Ｖｃの直線上に位置する境界画素のペアＰb1，Ｐb2及びＰc1，Ｐc2が他候補として選択される。
【００３８】
なお、上記境界画素ペアの他候補を選択する方法には、支配的なエッジの方向から決定される境界画素ペアＰa1，Ｐa2の位置を中心として上下又は左右の方向にしきい値により指定される画素数の範囲を設定したとき、この範囲に存在する境界画素を他候補の境界画素ペアとして選択する方法もある。例えば、図７に示す例では、欠落画素Ｐ(i,j) を通る支配的な勾配ベクトルＶａの直線上に位置する境界画素ペアＰa1，Ｐa2を中心に、その上下及び左右にそれぞれしきい値により指定される画素数αの範囲に存在する境界画素のペアＰb1，Ｐb2及びＰc1，Ｐc2が他候補として選択される。  
そうして、他候補の境界画素のペアＰb1，Ｐb2及びＰc1，Ｐc2が選択されると、補間画素値算出部３８０において、上記選択された他候補の境界画素Ｐb1，Ｐb2間の差分値ｄｉｆb 、及び境界画素Ｐc1，Ｐc2間の差分値ｄｉｆc がそれぞれ算出される。
【００３９】
次にコンシールメント部３００はステップＳ３４に移行し、補間画素値算出部３８０において、上記算出された境界画素Ｐa1，Ｐa2間の差分値ｄｉｆa と、上記他候補の境界画素Ｐb1，Ｐb2間の差分値ｄｉｆb 、及び境界画素Ｐc1，Ｐc2間の差分値ｄｉｆc とを比較する。そして、この比較の結果差分値が最小となる境界画素ペアを選択する。続いてコンシールメント部３００は、ステップＳ３５に移行し、補間画素値算出部３８０において、上記選択された差分値が最小となる境界画素ペアと欠落画素Ｐ(i,j) との間の距離ｄ１，ｄ２を算出する。そして、最後にステップＳ３６に移行し、補間画素値算出部３８０において、上記算出された距離ｄ１，ｄ２と、上記差分値が最小となる境界画素ペアの画素値とに基づいて、上記欠落画素Ｐ(i,j) を補間する画素値を算出する。
【００４０】
上記補間画素値算出部３８０により算出された欠落画素Ｐ(i,j) の補間画素値は、復号化ピクチャバッファ４００に保持されているピクチャフレーム中の該当する画素位置に書き込まれる。以後同様に、欠落画素Ｐ(i,j) が含まれるすべてのマクロブロックについてコンシールメント部３００によりコンシールメント処理が行われ、これにより欠落画素Ｐ(i,j) の補間画素値が算出されて、ピクチャフレーム中の該当する画素位置に書き込まれる。
【００４１】
以上詳述したようにこの実施形態では、コンシールメント部３００において、欠落画素位置Ｐ(i,j) を通る支配的な勾配ベクトルを検出して、当該勾配ベクトルに対し直交する方向となるエッジの直線上に位置する境界画素のペアＰa1，Ｐa2を選択する。またそれに加え、この境界画素ペアＰa1，Ｐa2の周辺に位置する複数の境界画素ペアの中から、しきい値により指定された角度θ又は画素位置αの範囲に存在する境界画素のペアＰb1，Ｐb2及びＰc1，Ｐc2を他候補として選択する。そして、上記選択された境界画素Ｐa1，Ｐa2間の差分値ｄｉｆa を算出すると共に、上記選択された他候補の境界画素Ｐb1，Ｐb2間の差分値ｄｉｆb 、及び境界画素Ｐc1，Ｐc2間の差分値ｄｉｆc を算出し、この算出された各差分値ｄｉｆa、ｄｉｆb 及びｄｉｆc を比較して、差分値が最小となる境界画素ペアを選択する。そして、この選択された差分値が最小となる境界画素ペアの画素値と、当該境界画素ペアと欠落画素Ｐ(i,j) との間の距離ｄ１，ｄ２とをもとに、上記欠落画素Ｐ(i,j) を補間する画素値を算出するようにしている。
【００４２】
したがって、支配的なエッジの方向から検出される境界画素のみに依存せず、その周辺の境界画素のペアも考慮して欠落画素の補間処理が行われる。このため、境界画素の検出精度の影響を低減してエッジパターンの再現性を高めることができ、また単一で直線的なエッジパターン以外のエッジパターンについても再現することが可能となる。例えば、図７に示すように検出された支配的なエッジパターンが本来のエッジパターンの方向からずれていても、支配的なエッジパターンの境界画素ペアばかりでなくその周辺の境界画素ペアも考慮して補間処理が行われるので、エッジパターンをより正確に再現することが可能となる。さらに、欠落画素ごとに補間処理が行われるため、欠落領域内で単一に補間されることを抑制して、主観的画質を向上させることができる。
【００４３】
また本実施形態では、周辺マクロブロックの画素値から周辺領域ごとの勾配ベクトルをそれぞれ算出して、この算出された複数の勾配ベクトルの中からベクトル値が最大の勾配ベクトルを支配的な勾配ベクトルとして選択し、この勾配ベクトルに対し直交する方向を支配的なエッジの方向としてこのエッジの方向から大まかな方向を定めた上でその周辺の境界画素ペアを選択するようにしている。このため、領域からの画素を候補とする周辺領域からエッジパターンを検出せず各欠落画素毎に補間に用いる境界画素のペアを数多く用意して、その中から最適な境界画素ペアを選択する場合に比べ、境界画素ペアを選択する処理を少ない演算量で短時間に行うことが可能となる。すなわち、本実施形態によれば、演算量を抑制しつつ再現性の高い画素補間を実現できる利点がある。
【００４４】
さらに、境界画素ペアの他候補を選択する方法として、支配的なエッジの方向を欠落画素Ｐ(i,j) を中心に角度θで回転させる方法を採用した場合には、対応する境界画素の座標値をその都度算出する必要があり演算量が多くなる。これに対し、支配的なエッジの方向から決定される境界画素ペアＰa1，Ｐa2を中心に画素位置を上下及び左右方向に移動させることにより選択する方法を採用すると、境界画素の座標値をその都度算出する必要がないので演算量を削減することができる。
【００４５】
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では、支配的なエッジの方向から決定される境界画素Ｐa1，Ｐa2の差分値ｄｅｆa と、他候補の境界画素Ｐb1，Ｐb2間の差分値ｄｉｆb 及び境界画素Ｐc1，Ｐc2間の差分値ｄｉｆcを単に比較して、差分値が最小となる境界画素ペアを選択するようにした。しかしそれに限らず、上記境界画素Ｐa1，Ｐa2と他候補の境界画素Ｐb1，Ｐb2及びＰc1，Ｐc2との間にその信頼性に応じて重み付け等の前処理をしたのち差分値を算出して、この差分値を比較するようにしてもよい。
【００４６】
また、前記実施形態ではデコーダ２２内にコンシールメント部３００を設けた場合を例にとって説明したが、コンシールメント部３００の機能を実現するアプリケーション・プログラムを制御モジュール２１のＣＰＵに実行させるように構成してもよい。また、コンシールメント部３００内の機能を分割して一部をデコーダ２２に実行させ、他部を制御モジュール２１に実行させるように構成してもよい。
【００４７】
さらに、前記実施形態では画像符号化方式としてITUT H.264方式を採用した場合を例にとって説明したが、画像データをブロック単位で符号化する符号化方式であれば、如何なる符号化方式を採用した画像データに対してもこの発明は適用可能である。また、この種の符号化方式により符号化された画像データであれば、動画像に限らず静止画像に対してもこの発明は適用可能である。
【００４８】
さらに、前記実施形態では地上ディジタル放送のワンセグ放送により受信した画像データを復号する場合を例にとって説明した。しかし、それに限らず、ウエブ上のコンテンツサーバからダウンロードした画像コンテンツデータや、メモリカードや高精細ＤＶＤ等の記録媒体に記録された画像コンテンツデータを復号する場合にも、この発明は同様に適用可能である。
【００４９】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００５０】
【図１】この発明の一実施形態に係わる画像復号装置を備えた携帯端末の構成を示すブロック図である。
【図２】図１に示した携帯端末のデコーダの機能構成を示すブロック図である。
【図３】図２に示したデコーダに設けられたコンシールメント部によるコンシールメント処理の手順と内容を示すフローチャートである。
【図４】図２に示したデコーダに設けられた欠落領域情報バッファに記憶されるフラグ情報の一例を示す図である。
【図５】欠落したマクロブロックと当該マクロブロックを修復するために用いる隣接マクロブロックとの位置関係を示す図である。
【図６】図３に示したコンシールメント処理において周辺領域情報を取得する方法の第１の例を示す図である。
【図７】図３に示したコンシールメント処理において周辺領域情報を取得する方法の第２の例を示す図である。
【図８】本発明と従来技術との効果の相違を説明するための図である。
【符号の説明】
【００５１】
１…無線ユニット、２…ベースバンドユニット、３…ユーザインタフェースユニット、４…記憶ユニット、５…ディジタル放送受信ユニット、１１…移動通信用アンテナ、１２…アンテナ共用器（ＤＵＰ）、１３…受信回路（ＲＸ）、１４…シンセサイザ（ＳＹＮ）、１５…送信回路（ＴＸ）、２１…制御モジュール、２２…デコーダ、２３…エンコーダ、３１…カメラ（ＣＡＭ）、３２…マイクロホン、３３…入力デバイス、３４…表示デバイス、３５…スピーカ、１００…復号部、１１０…エラー検出部、１２０…切替制御部、２００…欠落領域情報メモリ、３００…コンシールメント部、３１０…コンシールメント制御部、３２０…周辺領域情報取得部、３３０…周辺領域バッファ、３４０…勾配情報算出部、３５０…勾配選択部、３６０点しきい値設定部、３７０…境界座標算出部、３８０…補間画素値算出部、４００…復号化ピクチャバッファ。
【図１】
2008199251.tif 000003
【図２】
2008199251.tif 000004
【図３】
2008199251.tif 000005
【図４】
2008199251.tif 000006
【図５】
2008199251.tif 000007
【図６】
2008199251.tif 000008
【図７】
2008199251.tif 000009
【図８】
2008199251.tif 000010