(57)【要約】【課題】  フレーム信号の種類に応じた選択的な増幅処理を行なう画像処理装置及び画像処理方法を提供する。【解決手段】  与えられる符号化信号に含まれるＩピクチャを復号して復号フレーム信号を出力する第1復号部（１３）と、Ｐピクチャ及びＢピクチャに基づいて動き量を求めこれに応じてフレーム間の復号フレーム信号を出力する第２復号部（１２，１４）と、符号化信号から検出した周波数成分により符号化信号を復号して残差信号を出力する第３復号部（１５）と、第１復号部又は第２復号部からの復号フレーム信号と前記第３復号部からの残差信号を加算する加算部（２０）と、フレーム信号を増幅して出力する第１増幅回路（１８）と、第１増幅回路よりも負荷量が低い第２増幅回路（１９）と、動き量の大きさに応じて第１増幅回路又は第２増幅回路の一方を選択し、加算された復号フレーム信号を供給する選択部（１７）をもつ画像処理装置。【選択図】図１
2009016908.tif 000002
【特許請求の範囲】
【請求項１】
与えられる符号化信号に含まれるＩピクチャを復号してフレーム内の復号フレーム信号を出力する第1復号部と、
前記符号化信号に含まれるＰピクチャ及びＢピクチャに基づいて動き量を求め、この動き量に応じてフレーム間の復号フレーム信号を出力する第２復号部と、
前記符号化信号から検出した周波数成分により前記符号化信号を復号して残差信号を出力する第３復号部と、
前記第１復号部又は第２復号部からの前記復号フレーム信号と前記第３復号部からの前記残差信号を加算する加算部と、
フレーム信号を増幅して出力する第１増幅回路と、
前記第１増幅回路よりも負荷量が低い方法で前記フレーム信号を増幅して出力する第２増幅回路と、
前記第２復号部からの前記動き量の大きさに応じて前記第１増幅回路又は前記第２増幅回路の一方を選択し、前記加算部から受けた加算された復号フレーム信号を供給する選択部と、を具備することを特徴とする画像処理装置。
【請求項２】
前記選択部は、前記第３復号部が検出した前記周波数成分が第１閾値以下であるかどうかに基づき、前記第１増幅回路又は前記第２増幅回路の一方を選択することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記選択部は、前記検出した周波数成分が前記第１閾値以下である場合、前記第２増幅回路を選択し、前記検出した周波数成分が第１閾値以下ではなく、前記動き量が第２閾値以上である場合、前記第２増幅回路を選択し、前記検出した周波数成分が第１閾値以下ではなく、前記動き量が第２閾値以上でない場合、前記第１増幅回路を選択することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記符号化信号からのＳＰＳ，ＰＰＳに基づき、前記第１復号部及び前記第２復号部の復号処理を制御する復号制御部を更に有し、Ｈ．２６４／ＡＶＣ規格による復号処理を行なうことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記第１増幅回路又は前記第２増幅回路から出力される増幅されたフレーム信号に基づき、映像を画面に表示する表示部を更に有することを特徴とする請求項１記載の画像処理装置。
【請求項６】
与えられる符号化信号に含まれるＩピクチャを復号してフレーム内の復号フレーム信号を出力し、
前記符号化信号に含まれるＰピクチャ及びＢピクチャに基づいて動き量を求め、この動き量に応じてフレーム間の復号フレーム信号を出力し、
前記符号化信号から検出した周波数成分により前記符号化信号を復号して残差信号を出力し、
前記出力された復号フレーム信号の一方と前記残差信号を加算して出力し、
前記動き量の大きさに従って、第１の増幅方法又は前記第１よりも負荷量が低い第２の増幅方法の一方を選択し、これにより前記加算したフレーム信号の増幅処理を行なうことを特徴とする画像処理方法。
【請求項７】
前記検出した周波数成分が第１閾値以下であるかどうかに基づき、前記第１の増幅方法又は前記第２の増幅方法の一方を選択することを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記検出した周波数成分が前記第１閾値以下である場合、前記第２増幅方法を選択し、前記検出した周波数成分が第１閾値以下ではなく、前記動き量が第２閾値以上である場合、前記第２増幅方法を選択し、前記検出した周波数成分が第１閾値以下ではなく、前記動き量が第２閾値以上でない場合、前記第１増幅方法を選択することを特徴とする請求項８記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像の状態に応じて、動画像信号の増幅処理を複数の条件で選択的に行なう画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタル画像処理の高画質化の技術が開発され普及してきている。しかし、この高画質化により、諸回路の処理負荷が増加してきており、これへの対策として、消費電力を削減するための多くの技術が知られている。
【０００３】
特許文献１は、動画像の拡大操作・停止操作において、伸張処理が終われば伸張処理を停止することにより、ＣＰＵの負担軽減を図ることができる画像再生方法及び画像再生装置を開示している。
【特許文献１】特開２００６−３３７７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の従来技術では、停止操作に応じた無駄なＣＰＵの負担を軽減することはできるが、動画の内容に応じて、複数種類の増幅処理を選択的に行なうことで負担の軽減を行なう技術は開示されていない。すなわち、例えば、Ｈ．２６４やＭＰＥＧ等では、動画像の内容は必ずしも一律ではなく、増幅処理の品質が画質に影響の高いフレームと低いフレームがある。特許文献１の従来技術では、このようにフレーム信号の種類に応じた適応的な増幅処理を行なっていないので、処理負荷の低減と画質の維持の両立が十分に最適化されていないという問題がある。
【０００５】
本発明は、フレーム信号の種類に応じた選択的な増幅処理を行なう画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
課題を解決するための一つの実施形態は、
与えられる符号化信号に含まれるＩピクチャを復号してフレーム内の復号フレーム信号を出力する第1復号部（１３）と、
前記符号化信号に含まれるＰピクチャ及びＢピクチャに基づいて動き量を求め、この動き量に応じてフレーム間の復号フレーム信号を出力する第２復号部（１２，１４）と、
前記符号化信号から検出した周波数成分により前記符号化信号を復号して残差信号を出力する第３復号部（１５）と、
前記第１復号部又は第２復号部からの前記復号フレーム信号と前記第３復号部からの前記残差信号を加算する加算部（２０）と、
フレーム信号を増幅して出力する第１増幅回路（１８）と、
前記第１増幅回路よりも負荷量が低い方法で前記フレーム信号を増幅して出力する第２増幅回路（１９）と、
前記第２復号部からの前記動き量の大きさに応じて前記第１増幅回路又は前記第２増幅回路の一方を選択し、前記加算部から受けた加算された復号フレーム信号を供給する選択部（１７）と、を具備することを特徴とする画像処理装置である。
【発明の効果】
【０００７】
動画のフレーム信号の内容に応じて、高画質な増幅回路と一般的な増幅回路を選択的に用いることで、増幅回路の処理負荷の低減と、高画質の維持とを両立することができる。
【発明を実施するための最良の形態】
【０００８】
以下、この発明の実施の形態について図面を参照して詳細に説明する。
【０００９】
＜本発明の一実施形態である画像処理装置＞
初めに、本発明の一実施形態である画像処理装置の一例を図面を用いて詳細に説明する。  図１は、本発明の一実施形態に係るデコーダ回路を含む画像処理装置の一例を示すブロック図である。図２は、本発明の一実施形態に係る画像処理装置に含まれる高負荷・高画質の増幅回路の一例を示すブロック図、図３は、同じく、通常の増幅回路の一例を示すブロック図である。
【００１０】
本発明の一実施形態である画像処理装置１は、図１に示すように、エンコーダ部と増幅回路部とからなり、Ｈ．２６４やＭＰＥＧ−２等の現在主流の動画符号化方式をエンコードし、フレームの種類に応じて、高負荷の増幅回路か通常の増幅回路で増幅するものである。
【００１１】
すなわち、画像処理装置１は、Ｈ．２６４やＭＰＥＧ−２等の動画符号化信号を受け、少なくとも、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを抽出して後段に出力する分離部１０と、分離部１０からＩピクチャを受け、フレーム内の予測画像を生成すべく復号処理を行なうフレーム内予測画像復号部１３と、分離部１０からＰピクチャ及びＢピクチャを受け、フレーム間の動きベクトル信号を検出し出力する動きベクトル復号部１２と、動きベクトル復号部１２から動きベクトル信号を受け、フレーム間の予測画像を生成すべく復号処理を行なうフレーム間予測画像復号部１４を有している。
【００１２】
更に、画像処理装置１は、Ｈ．２６４やＭＰＥＧ−２等の動画符号化信号を受け、画像中のエッジ等の存在により高周波成分を示す周波数成分を検出し、この周波数成分により動画符号化信号を復号して残差信号を出力する周波数成分復号部１５と、周波数成分復号部１５からの残差信号と、フレーム内予測画像復号部１３からのフレーム信号又はフレーム間予測画像復号部１４からのフレーム信号とを加算する加算部２０と、加算部２０からの出力を記憶領域に格納して読み出した信号をフレーム間予測画像復号部１４に出力するフレームメモリ１６を有する。
【００１３】
更に、画像処理装置１は、周波数成分復号部１５から周波数情報を受け動きベクトル復号部１２から動き量を受けて使用する増幅回路を選択する増幅回路選択部１７と、増幅回路選択部１７に接続される高負荷・高画質増幅回路１８と、同じく増幅回路選択部１７に接続される通常増幅回路１９を有する。
【００１４】
更に、高負荷・高画質増幅回路１８は、図２に示すように、拡大後の画素の座標を算出する座標算出部２１と、拡大前の画像を読み込む画像読込部２２と、注目画素の周辺画素からの補間信号を画像読込部２２等に供給する画素補間部２３と、拡大後の画像信号をバッファ等に書き込む画素書込部２４を有している。
【００１５】
更に、通常増幅回路１９は、図３に示すように、拡大後の画素の座標を算出する座標算出部３１と、拡大前の画像を読み込む画像読込部３２と、拡大後の画像信号をバッファ等に書き込む画素書込部３３を有している。
【００１６】
高負荷・高画質増幅回路１８の方が、画素補間部２３により周辺画素を考慮した補正処理を行なっている分、高負荷な処理となり高画質な画像信号を出力することができる。
【００１７】
（趣旨と動作）
次に、上述した構成を有する画像処理装置の基本動作及び増幅回路の選択処理について、図面を用いて詳細に説明する。図４乃至図６は、本発明の一実施形態に係るデコーダ回路を含む画像処理装置における増幅回路の選択処理の一例を示すフローチャートである。
【００１８】
なお、以下の図４乃至図６のフローチャートの各ステップは、回路ブロックに置き換えることができ、従って、各フローチャートのステップは、全てブロックに定義しなおすことが可能である。
【００１９】
・趣旨
BicubicやBilinearなど、画像増幅回路には多くのものがあるが、一般に高画質であるほど高負荷（計算量が多い）であるといえる。そのため、高画質の画像増幅回路を用いて動画を拡大再生する場合、１秒間に１５から３０フレームの画像を拡大する必要があるため、かなりのマシンスペックを要する。そこで、複数の増幅回路による選択的な拡大処理により負荷を削減しつつ、画質の低下も抑えた手法を提案する。
【００２０】
一般に、人間はテロップなどのエッジの効いた部分の画質に敏感である。また動きの大きいシーンでは目まぐるしく画が変わるため、拡大フィルタの違いによる画質の違いは判別されにくい。このことより、エッジの少ないシーンや動きの大きいシーンでは、高画質な拡大フィルタを使わなくても、画質にはあまり影響がないといえる。
【００２１】
Ｈ．２６４／ＡＶＣやＭＰＥＧ−２等の現在主流の動画符号化方式は、ＤＣＴ（変換符号化）とＭＣ（動き補償フレーム間予測符号化）を用いて符号化される。ここで、ＤＣＴは画像の周波数成分を、ＭＣは画像の動き量をパラメータとして扱う。
【００２２】
この実施形態では、この周波数成分と動き量の情報を利用して（復号時に取得可能）、高画質な増幅回路とより一般的な増幅回路という２つの増幅回路を適応的に選択することで、画質への影響を少なくしつつ拡大処理の負荷削減を行う。
【００２３】
・基本動作
上述した画像処理装置１の基本動作について、図面を用いて説明を行なう。図１に示した画像処理装置１は、Ｈ．２６４やＭＰＥＧ−２等の現在主流の動画符号化方式をエンコードするものである。動画符号化信号が、入力端を介して分離部１０に供給されると、分離部１０はＩピクチャをフレーム内予測画像復号部１３に供給し、Ｐピクチャ，Ｂピクチャを動きベクトル復号部１２に供給する。又、同様に、動画符号化信号が、周波数成分復号部１５に供給される。
【００２４】
周波数成分復号部１５は、与えられた動画符号化信号に基づき、ピクチャ中のエッジ等に応じた高周波成分を示す周波数情報を検出する。そして、周波数成分復号部１５は、この周波数情報に対応した残差信号を加算部２０に出力する。
【００２５】
フレーム内予測画像復号部１３は、動画符号化信号のＩピクチャに基づき、フレーム内の予測画像を生成して加算部２０に出力する。
【００２６】
フレーム間予測画像復号部１４は、Ｐピクチャ，Ｂピクチャ、及び動きベクトル復号部１２からの動きベクトルに基づき、フレームメモリ１６を用いて前後のフレーム画像を参照することで、フレーム間の予測画像を生成して加算部２０に出力する。
【００２７】
加算部２０においては、フレーム内予測画像復号部１３からの予測画像とフレーム間予測画像復号部１４からの予測画像のどちらか一方と、周波数成分復号部１５からの残差信号を加算することで、本来の連続するフレーム信号へと復号して、後段の増幅回路選択部１７に供給する。
【００２８】
増幅回路１７は、周波数成分復号部１５から周波数情報を受け、動きベクトル復号部１２から動き量を受け、これらの信号に基づいて、連続するフレーム信号を高負荷・高画質増幅回路１８に供給して拡大処理するか、通常増幅回路１９に供給して拡大処理するかを決定する。その後、決定に応じて供給された連続するフレーム信号は、高負荷・高画質増幅回路１８又は通常増幅回路１９において拡大処理されることで、任意の大きさの図示しない液晶画面等の表示部に表示可能な映像信号となって出力される。
【００２９】
・増幅回路選択部１７の選択処理
次に、増幅回路選択部１７の選択処理をフローチャートを用いて、詳細に説明する。増幅回路選択部１７は、図４に示すように、周波数成分復号部１５から周波数情報を取得して評価する（ステップＳ１１）。周波数情報により高周波成分の割合が、ある閾値以下であるかどうかを判断する（ステップＳ１２）。閾値以下の場合は、このフレームはエッジがほとんど効いてないシーンとみなして、ステップＳ１６に進み、負荷の低い一般的な通常増幅回路１９を適用する（ステップＳ１６）。
【００３０】
次に、増幅回路選択部１７は、動きベクトル復号部１２から動き量を取得して評価する（ステップＳ１３）。増幅回路選択部１７が動き量が閾値以上であると判断すると（ステップＳ１４）、このフレームは動きが大きいシーンとみなして、ステップＳ１６に進み、負荷の低い一般的な通常増幅回路１９を適用する（ステップＳ１６）。
【００３１】
しかし、増幅回路選択部１７は、動き量が閾値以上でないと判断すると（ステップＳ１４）、このフレームは動きが小さいシーン、すなわちエッジが効いており動きの少ないシーンであると判断する。この場合、増幅回路の処理の差による画質違いが目立ってくるので、高負荷・高画質増幅回路１８を選択する（ステップＳ１５）。
【００３２】
すなわち、増幅回路選択部１７は、選択した高負荷・高画質増幅回路１８又は通常増幅回路１９に、加算部２０からのフレーム信号を供給することで、それぞれの増幅回路による処理を行なうものである。
【００３３】
こうすることにより、画像処理装置１は、動画像の内容に応じた高負荷・高画質な増幅処理又は通常の増幅処理を適応的に選択することで、高画質を維持しつつ、処理装置の負荷を削減することができる。
【００３４】
なお、図５のフローチャートに示すように、増幅回路選択部１７は、必ずしも周波数成分及び動き量の両方に基づいて選択処理する必要はなく、例えば、エッジが効いているかどうかを示す周波数情報だけに基づいて選択処理することも好適である。
【００３５】
同様に、図６のフローチャートに示すように、増幅回路選択部１７は、必ずしも周波数成分及び動き量の両方に基づいて選択処理する必要はなく、例えば、動き量の程度だけに基づいて選択処理することも好適である。
【００３６】
＜本発明の他の一実施形態である画像処理装置＞
又、更に、上述した図１に示す画像処理装置１は、例えば、Ｈ．２６４／ＡＶＣであるかＭＰＥＧであるかを特定していない。
【００３７】
しかし、図７に示す画像処理装置１’においては、図１に示す画像処理装置１の構成に加えて、復号制御部１１が追加されている。すなわち、復号制御部１１は、動画符号化信号に含まれるＳＰＳ（Sequence Parameter Set），ＰＰＳ（Picture Parameter Set）が分離部１０から供給される。このＳＰＳ及びＰＰＳに基づき、復号制御部１１は、上述したフレーム内予測画像復号部１３及びフレーム間予測画像復号部１４の復号処理を適宜制御するものである。
【００３８】
すなわち、図７に示す画像処理装置１’は、ここで行なわれている復号処理がＨ．２６４／ＡＶＣ規格に基づくものであることを構成上、特定するものである。
【００３９】
＜本発明の一実施形態である画像処理機能を適用した携帯表示装置の一例＞
次に、上述した画像処理機能を適用した携帯表示装置の一例を図面を用いて説明する。図８は、本発明の一実施形態に係るＨ．２６４デコーダ回路を含む画像処理機能を適用した携帯表示装置の外観の一例を示す外観図である。図９は、同じくＨ．２６４デコーダ回路を含む画像処理機能を適用した携帯表示装置の構成の一例を示すブロック図である。
【００４０】
上述した画像処理機能を適用した携帯表示装置１００は、図８及び図９において、制御部であるＣＰＵ部１１３にインタフェース等を介して接続され、プログラムデータやビデオ・オーディオデータを保存するＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の内部記憶部１１５と、着脱可能なメモリ等である外部記憶部１１４と、図８に示したＨ．２６４デコーダ部１’からの映像音声信号をＤＡ変換するＤＡコンバータ１１９を有している。
【００４１】
更に、携帯表示装置１０は、図９において、スピーカやヘッドフォン等に音声信号を出力する音声出力部１２０と、グラフィックコントローラ部１１７からの映像信号を画面表示するＬＣＤ（Liquid Crystal Display）等の表示部１１８と、パワースイッチやボリューム、選択キー等の操作部１２１と、上述した各部に電源を供給するバッテリ部１２５と、ＵＳＢ（Universal serial bus）等のＩ／Ｆ部１２６を有している。このような構成において、図９の実線は映像信号や音声信号等を示しており、破線は制御信号等を示している。
【００４２】
（基本動作）
このような構成をもつ本発明の一実施形態に係る携帯表示装置１０は、例えば、ＣＰＵ部１１３の制御下において、地上波デジタル放送を受信したチューナ部１１１からストリーム信号がストリーム処理部１１２等に供給され、これに応じたＭＰＥＧのパケット信号等がＨ．２６４デコーダ部１’でデコードされ、これに応じた映像音声信号がグラフィックコントローラ部１１７を介して表示部１１８に供給される。これにより、地上波デジタル放送に応じた映像が表示部１１８に表示される。同様に、地上波デジタル放送に応じた音声信号がＤＡコンバータ１１９、音声出力部１２０等を介して、スピーカやヘッドフォンに供給される。
【００４３】
更に、例えば、ＵＳＢ等のＩ／Ｆ部１２６を介して外部ＰＣ等から供給され、着脱可能なメモリ等の外部記憶部１１４や内部記憶部１１５等に格納された映像ファイルが、同様に、ＣＰＵ部１１３の制御下において、Ｈ．２６４デコーダ部１’でデコードされ、グラフィックコントローラ部１１７を介して表示部１１８に供給される。これにより、映像ファイルに応じた映像が表示部１１８に表示される。同様に、映像ファイルに応じた音声信号がＤＡコンバータ１１９、音声出力部１２０等を介して、スピーカやヘッドフォンに供給される。
【００４４】
以上記載した様々な実施形態により、当業者は本発明を実現することができるが、更にこれらの実施形態の様々な変形例を思いつくことが当業者によって容易であり、発明的な能力をもたなくとも様々な実施形態へと適用することが可能である。従って、本発明は、開示された原理と新規な特徴に矛盾しない広範な範囲に及ぶものであり、上述した実施形態に限定されるものではない。
【図面の簡単な説明】
【００４５】
【図１】本発明の一実施形態に係るデコーダ回路を含む画像処理装置の一例を示すブロック図。
【図２】本発明の一実施形態に係る画像処理装置に含まれる高負荷・高画質の増幅回路の一例を示すブロック図。
【図３】本発明の一実施形態に係る画像処理装置に含まれる通常の増幅回路の一例を示すブロック図。
【図４】本発明の一実施形態に係るデコーダ回路を含む画像処理装置における増幅回路の選択処理の一例を示すフローチャート。
【図５】本発明の一実施形態に係るデコーダ回路を含む画像処理装置における増幅回路の選択処理の他の一例を示すフローチャート。
【図６】本発明の一実施形態に係るデコーダ回路を含む画像処理装置における増幅回路の選択処理の他の一例を示すフローチャート。
【図７】本発明の一実施形態に係るＨ．２６４デコーダ回路を含む画像処理装置の一例を示すブロック図。
【図８】本発明の一実施形態に係るＨ．２６４デコーダ回路を含む画像処理機能を適用した携帯表示装置の外観の一例を示す外観図。
【図９】本発明の一実施形態に係るＨ．２６４デコーダ回路を含む画像処理機能を適用した携帯表示装置の構成の一例を示すブロック図。
【符号の説明】
【００４６】
１…画像処理装置、１０…分離部、１１…復号制御部、１２…動きベクトル復号部、１３…フレーム内予測画像復号部、１４…フレーム間予測画像復号部、１５…周波数成分復号部、１６…フレームメモリ、１７…増幅回路選択部、１８…高負荷・高画質増幅回路、１９…通常増幅回路。
【図１】
2009016908.tif 000003
【図２】
2009016908.tif 000004
【図３】
2009016908.tif 000005
【図４】
2009016908.tif 000006
【図５】
2009016908.tif 000007
【図６】
2009016908.tif 000008
【図７】
2009016908.tif 000009
【図８】
2009016908.tif 000010
【図９】
2009016908.tif 000011