(57)【要約】【課題】処理負荷の増大を最小限に抑えて高解像度化を行うことができる画像処理装置および画像処理方法を提供する。【解決手段】入力される映像信号に対してエッジ強調処理を行う鮮鋭化処理部５０と、鮮鋭化処理部５０による画像処理が行われた映像信号の補間画素を生成し、高解像度の映像信号を生成する高解像度処理部５１と、高解像度処理部５１による画像処理が行われた映像信号の画像内のエッジの方向に応じて異なる平滑化の処理を行う平滑化処理部とを備える。【選択図】      図３
2010004358.tif 000002
【特許請求の範囲】
【請求項１】
入力される映像信号に対してエッジ強調処理を行う第１のフィルタと、
前記第１のフィルタによる画像処理が行われた前記映像信号の補間画素を生成し、高解像度の映像信号を生成する第２のフィルタと、
前記第２のフィルタによる画像処理が行われた前記映像信号の画像内のエッジの方向に応じて異なる平滑化処理を行う第３のフィルタとを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第３のフィルタは、前記映像信号の画像の所定の１画素を対象画素とし、前記対象画素と当該対象画素の周囲の８画素とについて所定の演算を行い、前記対象画素がエッジであるか否かを判別することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記第３のフィルタは、前記対象画素がエッジであるか否かを判別する判別結果により、前記平滑化処理における画素の組み合わせを変化させることを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記第１のフィルタは、アンシャープ処理により前記映像信号のエッジ強調処理を行うことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記第２のフィルタは、キュービック・コンボリューション法により前記映像信号の補間画素を生成し、高解像度の映像信号を生成することを特徴とする画像処理装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の画像処理装置において、
前記第３のフィルタから出力された映像信号を表示する表示手段をさらに備えることを特徴とする画像処理装置。
【請求項７】
入力される映像信号に対してエッジ強調処理を行い、
前記エッジ強調処理による画像処理が行われた前記映像信号の補間画素を生成し、高解像度の映像信号を生成し、
前記高解像度の映像信号の生成が行われた前記映像信号の画像内のエッジの方向に応じて異なる平滑化処理を行うことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化技術、画像復号化技術、画像解像度変換技術に係り、特に最適な画像処理を行うことができる画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
一般に、高解像度のディスプレイを用いて画像を表示する場合、入力された画像をディスプレイの解像度に合わせて高解像度の画素に画素数を変換する場合がある。例えば、特許文献１では、画素の補間を行った後にエッジ強調を行い、最後に平滑化処理を行うことで高解像度処理を行う技術が開示されている。
【特許文献１】特開２００８−５４２６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載された技術では、入力された画像に対して最初に画素の補間を行い、高解像度化を行うので、その後の処理のデータ量が増大してしまい、処理の負荷が増大する。
【０００４】
そこで、本発明は、処理負荷の増大を最小限に抑えて高解像度化を行うことができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、本発明の一態様によれば、入力される映像信号に対してエッジ強調処理を行う第１のフィルタと、前記第１のフィルタによる画像処理が行われた前記映像信号の補間画素を生成し、高解像度の映像信号を生成する第２のフィルタと、前記第２のフィルタによる画像処理が行われた前記映像信号の画像内のエッジの方向に応じて異なる平滑化処理を行う第３のフィルタとを備えることを特徴とする画像処理装置が提供される。
【０００６】
また、本発明の別の一態様によれば、入力される映像信号に対してエッジ強調処理を行い、前記エッジ強調処理による画像処理が行われた前記映像信号の補間画素を生成し、高解像度の映像信号を生成し、前記高解像度の映像信号の生成が行われた前記映像信号の画像内のエッジの方向に応じて異なる平滑化処理を行うことを特徴とする画像処理方法が提供される。
【発明の効果】
【０００７】
本発明によれば、処理負荷の増大を最小限に抑えて高解像度化を行うことができる画像処理装置および画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施形態について図面を参照しながら説明する。
【０００９】
まず、図１および図２を参照して、本発明の一実施形態に係る画像処理装置の構成について説明する。この画像処理装置は、例えば、ノートブック型パーソナルコンピュータ１０として実現されている。
【００１０】
図１は、ノートブック型パーソナルコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＬＣＤ（Liquid Crystal Display）１７から構成される表示装置が組み込まれており、そのＬＣＤ１７の表示画面は、ディスプレイユニット１２のほぼ中央に位置されている。
【００１１】
ディスプレイユニット１２は、コンピュータ本体１１に対して開放位置と閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０を電源オン／オフするためのパワーボタン１４、入力操作パネル１５およびタッチパッド１６などが配置されている。
【００１２】
入力操作パネル１５は、押下されたボタンに対応するイベントをシステムに入力する入力装置であり、複数の機能をそれぞれに起動するための複数のボタンを備えている。これらボタン群には、ＴＶ起動ボタン１５Ａ、ＤＶＤ（Digital Versatile Disc）起動ボタン１５Ｂが含まれている。ＴＶ起動ボタン１５Ａは、デジタルＴＶ放送番組のような放送番組データの再生及び記録を行うためのＴＶ機能を起動するためのボタンであり、ユーザによって押下されると、このＴＶ機能を実行するためのＴＶアプリケーションプログラムが起動される。また、ＤＶＤ起動ボタン１５Ｂは、ＤＶＤに記録されたビデオコンテンツを再生するためのボタンであり、ユーザによって押下されると、ビデオコンテンツを再生するためのアプリケーションプログラムが自動的に起動される。
【００１３】
次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。
【００１４】
本コンピュータ１０は、図２に示されているように、ＣＰＵ１１１、ノースブリッジ１１２、主メモリ１１３、グラフィクスコントローラ１１４、サウスブリッジ１１９、ＢＩＯＳ−ＲＯＭ１２０、ハードディスクドライブ（ＨＤＤ）１２１、光ディスクドライブ（ＯＤＤ）１２２、デジタルＴＶ放送チューナ１２３、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４およびネットワークコントローラ１２５等を備えている。
【００１５】
ＣＰＵ１１１は、本コンピュータ１０の動作を制御するために設けられたプロセッサであり、ハードディスクドライブ（ＨＤＤ）１２１から主メモリ１１３にロードされる、オペレーティングシステム（ＯＳ）およびビデオ再生アプリケーション２０１のような各種アプリケーションプログラムを実行する。
【００１６】
また、ＣＰＵ１１１は、ＢＩＯＳ−ＲＯＭ１２０に格納されたシステムＢＩＯＳ（Basic Input Output System）も実行する。システムＢＩＯＳはハードウェア制御のためのプログラムである。
【００１７】
ノースブリッジ１１２はＣＰＵ１１１のローカルバスとサウスブリッジ１１９との間を接続するブリッジデバイスである。ノースブリッジ１１２には、主メモリ１１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１１２は、ＡＧＰ（Accelerated Graphics Port）バスなどを介してグラフィクスコントローラ１１４との通信を実行する機能も有している。
【００１８】
グラフィクスコントローラ１１４は本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このグラフィクスコントローラ１１４はビデオメモリ（ＶＲＡＭ）１１４Ａに書き込まれた画像データからＬＣＤ１７に送出すべき表示信号を生成する。
【００１９】
サウスブリッジ１１９は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１１９は、ＨＤＤ１２１、ＯＤＤ１２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１１９は、デジタルＴＶ放送チューナ１２３を制御する機能、およびＢＩＯＳ−ＲＯＭ１２０をアクセス制御するための機能も有している。
【００２０】
ＨＤＤ１２１は、各種ソフトウェア及びデータを格納する記憶装置である。光ディスクドライブ（ＯＤＤ）１２２は、ビデオコンテンツが格納されたＤＶＤなどの記憶メディアを駆動するためのドライブユニットである。デジタルＴＶ放送チューナ１２３は、デジタルＴＶ放送番組のような放送番組データを外部から受信するための受信装置である。
【００２１】
エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０を電源オン／オフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、ユーザによるＴＶ起動ボタン１５Ａ、ＤＶＤ起動ボタン１５Ｂの操作に応じて、本コンピュータ１０を電源オンすることもできる。ネットワークコントローラ１２５は、例えばインターネットなどの外部ネットワークとの通信を実行する通信装置である。
【００２２】
ビデオ再生アプリケーション２０１は、圧縮符号化された動画像データをデコード、高解像度化および再生するためのソフトウェアである。このビデオ再生アプリケーション２０１は、ＭＰＥＧ−２規格や、Ｈ．２６４／ＡＶＣ規格に対応するソフトウェアデコーダである。ビデオ再生アプリケーション２０１は、Ｈ．２６４／ＡＶＣ規格で定義された符号化方式で圧縮符号化されている動画像ストリーム（例えば、デジタルＴＶ放送チューナ１２３によって受信されたデジタルＴＶ放送番組、光ディスクドライブ（ＯＤＤ）１２２から読み出されるＨＤ（High Definition）規格のビデオコンテンツ、など）をデコード、高解像度化するための機能を有している。
【００２３】
ビデオ再生アプリケーション２０１は、例えば図３に示すように、例えばＯＤＤ１２２によって読み取られたＤＶＤディスク等の映像信号（低解像度データ）を入力し、入力された映像信号である低解像度データを高解像度データに変換する。ビデオ再生アプリケーション２０１は、鮮鋭化処理部５０、高解像度化処理部５１、ジャギー低減処理部５２を備える。鮮鋭化処理部５０は、入力される低解像度の映像信号（画像データ）に対してエッジ強調処理を行う第１のフィルタである。この第１のフィルタは、アンシャープ処理により映像信号のエッジ強調処理を行う。高解像度化処理部５１は、第１のフィルタによる画像処理が行われた映像信号の補間画素を生成し、高解像度の映像信号を生成する。この第２のフィルタは、例えばキュービック・コンボリューション法により映像信号の補間画素を生成し、高解像度の映像信号を生成する。ジャギー低減処理部５２は、第２のフィルタによる画像処理が行われた映像信号の画像内のエッジの方向に応じて異なる平滑化処理を行う。この第３のフィルタは、映像信号の画像の所定の１画素を対象画素とし、この対象画素と当該対象画素の周囲の８画素とについて所定の演算（後述）を行い、対象画素がエッジであるか否かを判別する。また、対象画素がエッジであるか否かを判別した判別結果により、平滑化処理における画素の組み合わせを変化させる。
【００２４】
ジャギー低減処理部５２は、図４に示すように、メモリ６０、エッジ判定部６１、平滑化処理部６２を備える。メモリ６０は、ジャギー低減処理部５２に入力された映像信号を一時的に記憶する例えばバッファメモリであり、１フレーム分の高解像度画像データを保持する。エッジ判定部６１は、メモリ６０から出力された画像データ（映像信号）内のエッジの方向の判定を行う。エッジ判定部６１は、映像信号の画像の所定の１画素を対象画素とし、この対象画素と当該対象画素の周囲の８画素とについて所定の演算（後述）を行い、対象画素がエッジであるか否かを判別する。平滑化処理部６２は、エッジ判定部６１によって所定の対象画素がエッジであるか否かを判別した判別結果により、平滑化処理における画素の組み合わせを変化させる。
【００２５】
また、本発明の映像処理装置に係る映像処理方法について、図５を参照して説明する。
【００２６】
まず、入力される低解像度の画像データ（映像信号）に対して鮮鋭化処理部５０でエッジ強調処理を行う（ステップＳ１０１）。このエッジ強調処理では、アンシャープ処理により映像信号のエッジ強調処理を行う。エッジ強調処理による画像処理が行われた映像信号の補間画素を生成し、高解像度の映像信号を生成する（ステップＳ１０２）。この高解像度化処理では、映像信号の補間画素を生成し、高解像度の映像信号を生成する。この高解像度化処理は、例えばキュービック・コンボリューション法により映像信号の補間画素を生成し、高解像度の映像信号を生成する。次に、高解像度の映像信号の画像内のエッジの方向に応じて異なる平滑化処理を行う（ステップＳ１０３）。この平滑化処理を行う場合、まず、平滑化処理を行うが、例えば図６に示すように、映像信号の画像の所定の１画素、例えば「画素ａ」を対象画素とし、この対象画素「画素ａ」と当該対象画素「画素ａ」の周囲の８画素（「画素ｂ〜ｉ」）とについて図７に示す条件１〜４の演算を行い、対象画素がエッジであるか否かを判別する。なお、各画素の輝度値を、
Y(a),Y(b),Y(c)......
と表すこととし、次のいづれかの条件を満たす場合は、対象画素aはエッジ部分に該当すると判定する。ただし、閾値であるth1〜th3は以下の条件を満たすものとする。
【００２７】
th1＞th2＞th3
例えば、条件１により、図８に示すようなエッジ（対象画素a）を判定することができる。なお、画素の輝度値を黒〜白の濃淡で表している。
【００２８】
また条件２により、図９に示すようなエッジ（対象画素a）を判定することができる。
【００２９】
さらに条件３により、図１０に示すようなエッジ（対象画素a）を判定することができる。
【００３０】
また条件４により、図１１に示すようなエッジ（対象画素a）を判定することができる。
【００３１】
ジャギー低減処理部５２の平滑化処理部６２では、エッジ判定部６１から判定結果を受け取り、エッジと判別された場合は、平滑化処理をおこなう。また、対象画素がエッジであるか否かを判別した判別結果により、平滑化処理における画素の組み合わせを変化させる。
【００３２】
例えば、条件１または２を満たすエッジである場合は「画素ａ、ｄ、ｇ」を使用し、次の演算により平滑化処理を行う。
【００３３】
(m*Y(d)+n*Y(a)+m*Y(g))/(n+2*m)  ただし、n,mは0以上の整数。
【００３４】
以上の演算結果を対象画素の輝度値とする。
【００３５】
さらに、条件３または４を満たすエッジである場合は「画素ａ、ｂ、ｉ」を使用し、
(m*Y(b)+n*Y(a)+m*Y(i))/(n+2*m)を対象画素の輝度値とする。
【００３６】
これらの平滑化処理によりジャギーを低減することができる。
【００３７】
また、上述したエッジ判定部６１及び平滑化処理部６２での演算は、対象画素を変えながら、メモリ６０に格納された画像データ（映像信号）の全画素に対しておこなう。
【００３８】
例えば、図１２は、図８における画素の輝度値を示している。ここで、th1=30、th2=10、th3=5とすると、
Y(i)-Y(a)=255-125=130>th1
Y(h)-Y(a)=255-125=130>th2
Y(f)-Y(a)=255-125=130>th2
Y(a)-Y(c)=125-115=10>th3
Y(a)-Y(e)=125-115=10>th3
となり、条件１を満たす。よって対象画素ａ、ｄ、ｇの画素を使用して平滑化処理を行う。
【００３９】
例えばn=2、m=1として計算すると、平滑化処理後の対象画素aの輝度値は、(1*255+2*125+1*255)/(2+2*1)=190となる。
【００４０】
以上で平滑化処理を終了する。なお、上述した処理は、ビデオ再生アプリケーション２０１を用いて行っているが、これに限定されることなく、専用のＩＣ等のハードウェアを用いて実行することも可能である。
【００４１】
上述した実施形態によれば、少ない処理量で鮮鋭な高解像度画像を得ることができる。すなわち、映像信号の低解像度から高解像度への変換処理をエッジ強調処理の後に行うことにより、画像処理の負荷の増大を最小限に抑えて高解像度化を行うことができる
なお、本発明は、上述した実施形態そのままに限定されるものではない。本発明は、実施段階では、その要旨を逸脱しない範囲で構成要素を変更して具現化できる。
【００４２】
また、上述した実施形態に開示されている複数の構成要素を適宜に組み合わせることで、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００４３】
【図１】本発明の一実施形態に係る画像処理装置の外観を示す図。
【図２】同一実施形態に係る画像処理装置のビデオ再生アプリケーションの構成を示す図。
【図３】同一実施形態に係る指紋センサＩＣの主要な構成を示すブロック図。
【図４】同一実施形態に係る画像処理装置のジャギー低減処理部の構成を示す図。
【図５】同一実施形態に係る画像処理装置の画像処理方法を説明するためのフローチャート。
【図６】同一実施形態に係る画像処理装置が扱う対象画素を説明するための概念図。
【図７】同一実施形態に係る画像処理装置が行う画像処理の条件を示した概念図。
【図８】同一実施形態に係る画像処理装置が行うエッジ判定処理の概念を示した概念図。
【図９】同一実施形態に係る画像処理装置が行うエッジ判定処理の概念を示した概念図。
【図１０】同一実施形態に係る画像処理装置が行うエッジ判定処理の概念を示した概念図。
【図１１】同一実施形態に係る画像処理装置が行うエッジ判定処理の概念を示した概念図。
【図１２】同一実施形態に係る画像処理装置が行う図８に対応する輝度値を示した概念図。
【符号の説明】
【００４４】
１０…コンピュータ、１２…ディスプレイユニット、１４…電源ボタン、１７…ＬＣＤ、５０…鮮鋭化処理部、５１…高解像度化処理部、５２…ジャギー低減処理部、６０…メモリ、６１…エッジ判定部、６２…平滑化処理部６２、１１１…ＣＰＵ、１１３…（主）メモリ、１１４…グラフィックスコントローラ、１２０…ＢＩＯＳ−ＲＯＭ、１２１…ＨＤＤ、１２４…ＥＣ／ＫＢＣ、２０１…ビデオ再生アプリケーション
【図１】
2010004358.tif 000003
【図２】
2010004358.tif 000004
【図３】
2010004358.tif 000005
【図４】
2010004358.tif 000006
【図５】
2010004358.tif 000007
【図６】
2010004358.tif 000008
【図７】
2010004358.tif 000009
【図８】
2010004358.tif 000010
【図９】
2010004358.tif 000011
【図１０】
2010004358.tif 000012
【図１１】
2010004358.tif 000013
【図１２】
2010004358.tif 000014