(57)【要約】【課題】外部から入力される画像を拡大する際に文字の周縁部で色が滲んで見えないようにすることが可能な画像処理装置を提供する。【解決手段】入力画素データからサブピクセル単位で表示するサブピクセルフォントを検出するフォント検出部と、前記入力画素データから背景色及び文字色を特定する色特定部と、前記フォント検出部が検出したサブピクセルフォントの色及び前記色特定部が特定した前記背景色及び前記文字色と、前記入力画素データの色とを混合する色混合部と、を備えることを特徴とする、画像処理装置が提供される。【選択図】図５
2015106095.tif 000002
【特許請求の範囲】
【請求項１】
入力画素データからサブピクセル単位で表示するサブピクセルフォントを検出するフォント検出部と、
前記入力画素データから背景色及び文字色を特定する色特定部と、
前記フォント検出部が検出したサブピクセルフォントの色及び前記色特定部が特定した前記背景色及び前記文字色と、前記入力画素データの色とを混合する色混合部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記フォント検出部による前記サブピクセルフォントの検出結果に応じて前記色混合部での混合条件を補正する混合条件補正部をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記フォント検出部は、検出対象画素と、該検出対象画素の周辺画素との関係に基づいて前記検出対象画素のサブピクセルフォントらしさを検出することを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記混合条件補正部は、前記検出対象画素のサブピクセルフォントらしさが強い程、前記色混合部での混合比を高くすることを特徴とする、請求項３に記載の画像処理装置。
【請求項５】
前記混合条件補正部は、前記色特定部の特定結果を用いて前記色混合部での混合条件を補正する、請求項２に記載の画像処理装置。
【請求項６】
前記混合条件補正部は、前記色特定部で背景色及び文字色の特定の確度が高い程、前記色混合部での混合比を高くすることを特徴とする、請求項５に記載の画像処理装置。
【請求項７】
前記色混合部は、輝度及び色差のそれぞれについて混合することを特徴とする、請求項１に記載の画像処理装置。
【請求項８】
前記色混合部は、混合により前記入力画素データと色合いが逆転しないよう制限することを特徴とする、請求項７に記載の画像処理装置。
【請求項９】
前記色混合部は、混合により前記入力画素データから色差の符号が逆転する場合は混合後の色差を０で固定することを特徴とする、請求項８に記載の画像処理装置。
【請求項１０】
入力画素データからサブピクセル単位で表示するサブピクセルフォントを検出するフォントステップと、
前記入力画素データから背景色及び文字色を特定する色特定ステップと、
前記フォント検出ステップで検出されたサブピクセルフォントの色及び前記色特定ステップで特定された前記背景色及び前記文字色と、前記入力画素データの色とを混合する色混合ステップと、
を含むことを特徴とする、画像処理方法。
【請求項１１】
コンピュータに、
入力画素データからサブピクセル単位で表示するサブピクセルフォントを検出するフォントステップと、
前記入力画素データから背景色及び文字色を特定する色特定ステップと、
前記フォント検出ステップで検出されたサブピクセルフォントの色及び前記色特定ステップで特定された前記背景色及び前記文字色と、前記入力画素データの色とを混合する色混合ステップと、
を実行させることを特徴とする、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）のディスプレイ（ｄｉｓｐｌａｙ）や、ＴＶ等の表示装置は、赤、青、緑の単色のサブピクセル（Ｓｕｂ  Ｐｉｘｅｌ；副画素）で１つの画素を構成している。文字は、通常画素単位で表示されるが、文字を滑らかに表示するために、画素単位ではなく、サブピクセル単位で文字を表示する技術がある（例えば特許文献１、２等参照）。以下、サブピクセル単位で文字を表示するためのフォント（ｆｏｎｔ）を「サブピクセルフォント」とも称する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】平８−２５５２５４号公報
【特許文献２】２００４−１２６５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＰＣの画面をＴＶ等の表示装置に接続して表示する際に、ＰＣの外部出力から送出している解像度と、ＴＶ等の表示装置の表示解像度とが異なる場合がある。例えば、ＰＣの外部出力から送出している画像データの解像度が１９２０ピクセル×１０８０ピクセルで、ＴＶの解像度が３８４０ピクセル×２１６０ピクセルの場合は、ＴＶ側で画像データをＴＶの表示解像度である３８４０ピクセル×２１６０ピクセルに拡大する拡大処理が必要になる。
【０００５】
しかし、サブピクセルフォントの文字を拡大する場合に、外部からＴＶ等の表示装置に入力された画像の解像度がＴＶ等の表示装置の表示解像度より低く、入力された画像を表示装置の表示解像度まで単純に拡大処理して表示すると、サブピクセルを使用して表現している部分では、赤色や青等の色のついている部分もそのまま拡大される。従って入力された画像を表示装置の表示解像度まで単純に拡大処理して表示すると、文字の周縁部で色が滲んで見えるようになるという問題があった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、外部から入力される画像をディスプレイの表示解像度に合わせて拡大する際に文字の周縁部で色が滲んで見えないようにすることが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、入力画素データからサブピクセル単位で表示するサブピクセルフォントを検出するフォント検出部と、前記入力画素データから背景色及び文字色を特定する色特定部と、前記フォント検出部が検出したサブピクセルフォントの色及び前記色特定部が特定した前記背景色及び前記文字色と、前記入力画素データの色とを混合する色混合部と、を備えることを特徴とする、画像処理装置が提供される。
【０００８】
上記画像処理装置は、前記フォント検出部による前記サブピクセルフォントの検出結果に応じて前記色混合部での混合条件を補正する混合条件補正部をさらに備えていてもよい。
【０００９】
前記フォント検出部は、検出対象画素と、該検出対象画素の周辺画素との関係に基づいて前記検出対象画素のサブピクセルフォントらしさを検出するようにしてもよい。
【００１０】
前記混合条件補正部は、前記検出対象画素のサブピクセルフォントらしさが強い程、前記色混合部での混合比を高くするようにしてもよい。
【００１１】
前記混合条件補正部は、前記色特定部の特定結果を用いて前記色混合部での混合条件を補正するようにしてもよい。
【００１２】
前記混合条件補正部は、前記色特定部で背景色及び文字色の特定の確度が高い程、前記色混合部での混合比を高くするようにしてもよい。
【００１３】
前記色混合部は、輝度及び色差のそれぞれについて混合するようにしてもよい。輝度及び色差のそれぞれについて混合する場合、前記色混合部は、混合により前記入力画素データと色合いが逆転しないよう制限するようにしてもよい。また混合により前記入力画素データと色合いが逆転しないよう制限するようにする場合、前記色混合部は、混合により前記入力画素データから色差の符号が逆転する場合は混合後の色差を０で固定するようにしてもよい。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、入力画素データからサブピクセル単位で表示するサブピクセルフォントを検出するフォントステップと、前記入力画素データから背景色及び文字色を特定する色特定ステップと、前記フォント検出ステップで検出されたサブピクセルフォントの色及び前記色特定ステップで特定された前記背景色及び前記文字色と、前記入力画素データの色とを混合する色混合ステップと、を含むことを特徴とする、画像処理方法が提供される。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、入力画素データからサブピクセル単位で表示するサブピクセルフォントを検出するフォントステップと、前記入力画素データから背景色及び文字色を特定する色特定ステップと、前記フォント検出ステップで検出されたサブピクセルフォントの色及び前記色特定ステップで特定された前記背景色及び前記文字色と、前記入力画素データの色とを混合する色混合ステップと、を実行させることを特徴とする、コンピュータプログラムが提供される。
【発明の効果】
【００１６】
以上説明したように本発明によれば、外部から入力される画像をディスプレイの表示解像度に合わせて拡大する際に文字の周縁部で色が滲んで見えないようにすることが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供する事が出来る。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態が想定する使用形態を示す説明図である。
【図２】通常のフォントで表示される文字を拡大した際の表示例を示す説明図である。
【図３】サブピクセルフォントで表示される文字を拡大した際の表示例を示す説明図である。
【図４】サブピクセルフォントで表示される文字を拡大した際の表示例を示す説明図である。
【図５】本発明の一実施形態に係る画像処理装置１００の機能構成例を示す説明図である。
【図６】本発明の一実施形態に係る画像処理装置１００に含まれる前処理部１１１の構成例を示す説明図である。
【図７】画素の位置関係の例を示す説明図である。
【図８】背景・文字色検出部１１３による処理の説明に用いる説明図である。
【図９】本発明の一実施形態に係る画像処理装置１００の動作例を示す流れ図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
＜１．本発明の一実施形態＞
［想定使用形態］
まず、本発明の一実施形態が想定する使用形態について説明する。図１は、本発明の一実施形態が想定する使用形態を示す説明図である。
【００２０】
図１には、画像データを生成するＰＣ１０と、ケーブル３０を通じてＰＣ１０から画像データを受信して表示する表示装置２０と、が示されている。ＰＣ１０で生成される画像データに基づく画像を、ＰＣ１０の画面ではなく表示装置２０に表示させる場合、ＰＣ１０で生成される画像データの解像度と、表示装置２０の表示解像度とが一致しないことがある。その場合、表示装置２０は、ＰＣ１０から受信した画像データを表示する際に、表示装置２０の解像度に合わせる画像処理を実行する。
【００２１】
例えば、ＰＣ１０の外部出力からケーブル３０を通じて表示装置２０へ送出している画像データの解像度が１９２０ピクセル×１０８０ピクセルで、表示装置２０の表示解像度が３８４０ピクセル×２１６０ピクセルであれば、表示装置２０は、画像データを縦方向及び横方向に２倍に拡大させる処理を実行する。表示装置２０は、画像データを拡大する際には、例えば線形補間によって拡大する。すなわち表示装置２０は、ある画素と、その画素に隣接する画素とのデータを用いて、その画素間のデータを線形的に決定する線形補間処理を実行する。
【００２２】
ＰＣ１０は、サブピクセル単位で文字を表示するためのサブピクセルフォントで文字を表示する機能を有するとともに、サブピクセルフォントで表示される文字が含まれた画像データを表示装置２０に送信する機能を有する。表示装置２０は、サブピクセルフォントで表示される文字が含まれた画像データについても、同様に表示解像度に合わせた拡大処理を実行する。
【００２３】
ここで、サブピクセルフォントではない通常のフォントで表示される文字を単純に２倍に拡大する場合と、サブピクセルフォントで表示される文字を単純に２倍に拡大する場合とを比較することで、サブピクセルフォントで表示される文字の拡大により、その文字の周縁部で色が滲んで見えるようになるという現象について説明する。
【００２４】
図２から図４は、通常のフォントまたはサブピクセルフォントで表示される文字を拡大した際の表示例を示す説明図である。図２は、白の背景に通常のフォントでかつ黒色で表示される文字を、線形補間によって２倍に拡大する場合の例を示す説明図である。また図３は、白の背景にサブピクセルフォントでかつ黒色で表示される文字を、線形補間によって２倍に拡大する場合の例を示す説明図である。
【００２５】
図２及び図３のそれぞれにおいて、（ａ）は、画面に表示される文字を適切な距離で見る場合に視認者に対して表現しようとする色を示し、（ｂ）は、サブピクセルでの表示パターンを示し、（ｃ）は画面に表示される文字を適切な距離で見る場合に視認者が感じる色を示し、（ｄ）は、線形補間によって２倍に拡大した場合に画面に表示される文字を適切な距離で見る場合に人間が感じる色を示す。
【００２６】
まず図２を用いて通常のフォントで表示される文字を、線形補間によって２倍に拡大する場合を説明する。画面に表示される文字を視認者が適切な距離で見る場合には、（ａ）のように画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、・・・毎に背景色と文字色とが黒と白とではっきりと表示されている。図２の例では、画素Ｐ３が黒色で表示され、他の画素が白色で表示されている場合が示されている。
【００２７】
通常のフォントは、画素単位で文字を表現するので、文字が表示されている場所でのサブピクセルでの表示パターンは（ｂ）のように赤、緑、青のサブピクセルのいずれもが全消灯し、背景が表示されている場所でのサブピクセルでの表示パターンは赤、緑、青のサブピクセルのいずれもが全点灯している。符号ＣＲ１，ＣＧ１，ＣＢ１は、それぞれ赤、緑、青のサブピクセルのいずれもが全点灯している場合の色を示しており、符号ＣＲ２，ＣＧ２，ＣＢ２は、それぞれ赤、緑、青のサブピクセルのいずれもが全消灯している場合の色を示している。
【００２８】
従って、通常のフォントで画面に表示される文字を適切な距離で見る場合に視認者が感じる色は、図２の（ｃ）のように、白及び黒以外には存在しない。この場合、線形補間によって２倍に拡大すると、白色と黒色の補間によって灰色に表示される画素が存在するが、白色及び黒色以外の色を視認者は感じないので、図２の（ｄ）のように赤色や青色が滲んで見えることは無い。なお、線形補間に際しては、（ｃ）の画素Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、・・・は（ｄ）の画素Ｐ１１、Ｐ１３、Ｐ１５、Ｐ１７、Ｐ１９、・・・にそのまま用いて、（ｃ）の画素Ｐ１、Ｐ２から画素Ｐ１２を、画素Ｐ２、Ｐ３から画素Ｐ１４を、画素Ｐ３、Ｐ４から画素Ｐ１６を、画素Ｐ４、Ｐ５から画素Ｐ１８を・・・というように線形補間する。
【００２９】
続いて図３を用いてサブピクセルフォントで表示される文字を、線形補間によって２倍に拡大する場合を説明する。画面に表示される文字を視認者が適切な距離で見る場合には、（ａ）のようにサブピクセルによって中間階調が表現される画素が存在する。通常のサブピクセルフォントは、サブピクセル単位で文字を表現する。従って通常のフォントとは異なり、サブピクセルフォントで文字が表示されている場所でのサブピクセルでの表示パターンは（ｂ）のように赤、緑、青のサブピクセルの点灯パターンが異なる。符号ＣＲ３は、ＣＲ１、ＣＲ２のいずれとも異なる色で点灯していることを表し、符号ＣＢ３は、ＣＢ１、ＣＢ２のいずれとも異なる色で点灯していることを表している。
【００３０】
従って、サブピクセルフォントで画面に表示される文字を適切な距離で見る場合に視認者が感じる色は白黒であるが、視認者が画面の近くで観察すると、図３の（ｃ）に示したように、黒色で表示される画素の左側の画素では青のサブピクセルが暗くなるために視認者は赤っぽく感じ、黒色で表示される画素の右側の画素では赤のサブピクセルが暗くなるために視認者は青っぽく感じる。
【００３１】
そのため、線形補間によって２倍に拡大すると、色が付いている画素も２倍に拡大されるため、図３の（ｄ）に示したように黒色で表示される画素の左側で赤っぽく見える領域が拡大し、右側で青っぽく見える領域が拡大してしまう。すなわち、視認者が文字の周囲で色が滲んで見えるように感じてしまうことになる。
【００３２】
そこで以下では、入力される画像データを画面の解像度に合わせて拡大する際に、図３に示したような文字の周囲での色滲みの発生を抑える、本発明の一実施形態について説明する。
【００３３】
まず、本発明の一実施形態が実現しようとする文字表示の概略を説明する。図４は、本発明の一実施形態によって、白の背景にサブピクセルフォントでかつ黒色で表示される文字を、線形補間によって２倍に拡大する場合の例を示す説明図である。図４において、（ａ）〜（ｃ）は図２及び図３と同様である。
【００３４】
すなわち図４の（ａ）は、画面に表示される文字を適切な距離で見る場合に視認者に対して表現しようとする色を示し、（ｂ）は、サブピクセルでの表示パターンを示し、（ｃ）は画面に表示される文字を適切な距離で見る場合に視認者が感じる色を示している。そして図４の（ｄ）は、本発明の一実施形態の手法によって色滲みの発生を抑えた後の、視認者が感じる色を示し、（ｅ）は、色滲みの発生を抑えた後で線形補間によって２倍に拡大した場合に画面に表示される文字を適切な距離で見る場合に人間が感じる色を示す。
【００３５】
本発明の一実施形態では、サブピクセルを利用して文字を表示する画素について、文字色や背景色を用いて混合する処理を実行する。本発明の一実施形態は、このようにサブピクセルを利用して文字を表示する画素について、文字色や背景色を用いて混合する処理を実行することで、色滲みの発生を抑えることを可能にする。
【００３６】
以上、本発明の一実施形態が想定する使用形態について説明した。続いて、本発明の一実施形態に係る画像処理装置の機能構成例について説明する。
【００３７】
［画像処理装置の機能構成例］
図５は、本発明の一実施形態に係る画像処理装置１００の機能構成例を示す説明図である。図５に示した画像処理装置１００は、ＰＣ１０が図１のようにケーブル３０を通じて出力する画像データの解像度を、表示装置２０の表示解像度に合わせて拡大する画像処理を実行する装置である。
【００３８】
図５に示したように、本発明の一実施形態に係る画像処理装置１００は、フォント処理部１１０と、拡大部１２０と、を含んで構成される。
【００３９】
フォント処理部１１０は、ＰＣ１０が出力する画像データに対して、ＰＣ１０が出力する画像データの解像度を、表示装置２０の表示解像度に合わせて拡大した際に上述の色滲みの発生を抑えるための各種処理を実行する。拡大部１２０は、フォント処理部１１０によって各種処理が施された画像データに対して、表示装置２０の表示解像度に合わせて拡大する処理を実行する。
【００４０】
拡大部１２０は、例えば、ＰＣ１０の外部出力から送出している画像データの解像度が１９２０ピクセル×１０８０ピクセルで、表示装置２０の表示解像度が３８４０ピクセル×２１６０ピクセルであれば、画像データを縦方向及び横方向に２倍に線形補間を用いて拡大させる処理を実行する。もちろんここに挙げた解像度の値は一例であり、本発明はかかる例に限定されないことは言うまでもない。
【００４１】
このように本発明の一実施形態に係る画像処理装置１００は、表示装置２０の表示解像度に合わせて拡大する処理の前に、色滲みの発生を抑えるための各種処理を実行することを特徴とする。
【００４２】
そして図５に示したように、フォント処理部１１０は、前処理部１１１と、フォント検出部１１２と、背景・文字色検出部１１３と、混合比補正部１１４と、混合部１１５と、を含んで構成される。
【００４３】
前処理部１１１は、色滲みの発生を抑えるための処理の実行に先立った処理を実行する。本実施形態では、前処理部１１１は、入力画像データの色空間の変換、色相および彩度の算出、隣接画素間の輝度、彩度、色相の差の算出を実行する。
【００４４】
図６は、本発明の一実施形態に係る画像処理装置１００に含まれる前処理部１１１の構成例を示す説明図である。図６に示したように、前処理部１１１は、色相・彩度算出部１３１と、変換部１３２と、差分算出部１３３と、を含んで構成される。
【００４５】
色相・彩度算出部１３１は、入力画像データから各画素の色相および彩度を算出する。入力画像データの各画素において、赤（Ｒ），緑（Ｇ），青（Ｂ）の最大値をＭａｘ＝ｍａｘ（Ｒ，Ｇ，Ｂ）、Ｒ，Ｇ，Ｂの最小値をＭｉｎ＝ｍｉｎ（Ｒ，Ｇ，Ｂ）とした場合、色相・彩度算出部１３１は、彩度Ｓを以下の式で求める。
Ｓ＝（Ｍａｘ−Ｍｉｎ）／Ｍａｘ
【００４６】
また色相・彩度算出部１３１は、色相Ｈを、Ｒ，Ｇ，Ｂの中でＲが最も大きければ以下の式で求める。
Ｈ＝６０×（Ｇ−Ｂ）／（Ｍａｘ−Ｍｉｎ）＋０
Ｒ，Ｇ，Ｂの中でＧが最も大きければ以下の式で求める。
Ｈ＝６０×（Ｂ−Ｒ）／（Ｍａｘ−Ｍｉｘ）＋１２０
Ｒ，Ｇ，Ｂの中でＢが最も大きければ以下の式で求める。
Ｈ＝６０×（Ｒ−Ｇ）／（Ｍａｘ−Ｍｉｘ）＋２４０
仮に、上記の式で求めたＨの値が負の値になれば、色相・彩度算出部１３１はＨの値に３６０を加える。
【００４７】
色相・彩度算出部１３１は、入力画像データから各画素の色相および彩度を算出すると、算出した色相Ｈおよび彩度Ｓの値を差分算出部１３３に送る。
【００４８】
変換部１３２は、入力画像データの色空間をＲＧＢからＹＣｂＣｒに変換する。例えば、ＨＤＴＶ（ハイビジョンテレビ）の規格であるＲｅｃｏｍｍｅｎｄａｔｉｏｎ  ＩＴＵ−Ｒ  ＢＴ．７０９では、輝度Ｙ、および色差Ｃｂ，Ｃｒは以下の式で定義される。従って、変換部１３２は以下の式を用いることで入力画像データの色空間をＲＧＢからＹＣｂＣｒに変換することが出来る。
【００４９】
Ｙ＝  ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
Ｃｒ＝  ０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ
【００５０】
変換部１３２は、色空間をＹＣｂＣｒに変換した画像データを差分算出部１３３に送る。また変換部１３２は、色空間をＹＣｂＣｒに変換した画像データを、後述の背景・文字色検出部１１３および混合部１１５にも送る。
【００５１】
差分算出部１３３は、ある画素と、その左右に隣接する画素との間の輝度差、彩度差、色相差を算出する。例えば、差分算出の対象の画素をｎ、左隣に隣接する画素をｎ−１、右隣に隣接する画素をｎ＋１とする。差分算出部１３３は、以下のように輝度差ΔＹ、彩度差ΔＳ、色相差ΔＨを算出する。
【００５２】
ΔＹ［ｎ−１］＝Ｙｎ−１−Ｙｎ
ΔＹ［ｎ］＝Ｙｎ−Ｙｎ＋１
ΔＳ［ｎ−１］＝Ｓｎ−１−Ｓｎ
ΔＳ［ｎ］＝Ｓｎ−Ｓｎ＋１
ΔＨ［ｎ−１］＝Ｈｎ−１−Ｈｎ
ΔＨ［ｎ］＝Ｈｎ−Ｈｎ＋１
【００５３】
差分算出部１３３は、画素毎の輝度差ΔＹ、彩度差ΔＳ、色相差ΔＨの情報を、後述のフォント検出部１１２に送る。
【００５４】
図５に戻ってフォント処理部１１０の説明を続ける。フォント検出部１１２は、前処理部１１１によって算出された、隣接画素間の輝度差、彩度差、色相差を用いて、その画素がサブピクセル単位での文字表示を行っている画素かどうかを検出する。
【００５５】
本実施形態では、フォント検出部１１２は、以下の仮定１〜３を満たすものをサブピクセル単位での文字表示を行っている画素であると判定する。
【００５６】
（仮定１）サブピクセルフォントの色は、背景色と文字色との画素間にあり、文字幅が１画素でなければ、輝度が滑らかに変化する。
（仮定２）サブピクセルフォントの色は、背景色や文字色との間で色相、彩度が異なる。
（仮定３）１画素単位で文字や背景が繰り返されるような場合、サブピクセルフォントの色の変化が大きくなる。
【００５７】
フォント検出部１１２は、各画素について下記の条件式に基づいてｐｏｌ＿Ｙ［ｉ］の値を決定する。なお、ｔｈ＿Ｙは任意の閾値であり、外部から調整可能な値である。
【００５８】
ｉｆ（｜ΔＹ［ｎ］｜＜ｔｈ＿Ｙ）｛
ｐｏｌ＿Ｙ［ｎ］＝０；｝
ｅｌｓｅ｛
ｉｆ（ΔＹ［ｎ］＝＝０）  ｔｈｅｎ          ｐｏｌ＿Ｙ［ｎ］＝０；
ｅｌｓｅ  ｉｆ（ΔＹ［ｎ］＜０）  ｔｈｅｎ  ｐｏｌ＿Ｙ［ｎ］＝１；
ｅｌｓｅ                                    ｐｏｌ＿Ｙ［ｎ］＝２；｝
【００５９】
上記の条件式で求まるｐｏｌ＿Ｙ［ｎ］とｐｏｌ＿Ｙ［ｎ＋１］の値が同じ場合は、隣接画素間で輝度が滑らかに変化する。ｐｏｌ＿Ｙ［ｎ］＝ｐｏｌ＿Ｙ［ｎ＋１］＝１または２の場合、フォント検出部１１２は、隣接画素間で輝度が滑らかに変化している画素であると判断する。ｐｏｌ＿Ｙ［ｎ］＝ｐｏｌ＿Ｙ［ｎ＋１］＝１または２の場合を（条件−Ｙ１）とする。なお、ｐｏｌ＿Ｙ［ｎ］＝ｐｏｌ＿Ｙ［ｎ＋１］＝０の場合は、フォント検出部１１２は、隣接画素間で輝度が変化していない画素であると判断する。
【００６０】
上記の条件式で求まるｐｏｌ＿Ｙ［ｎ］とｐｏｌ＿Ｙ［ｎ＋１］の符号が異なる場合は、１画素単位で文字や背景が繰り返されるような場合である。ｐｏｌ＿Ｙ［ｎ］＝１でありｐｏｌ＿Ｙ［ｎ＋１］＝２の場合、または、ｐｏｌ＿Ｙ［ｎ］＝２でありｐｏｌ＿Ｙ［ｎ＋１］＝１の場合、フォント検出部１１２は、隣接する画素単位で文字や背景が繰り返されている部分の画素であると判断する。この場合を（条件−Ｙ２）とする。
【００６１】
またフォント検出部１１２は、色相差の情報を用いて、ｓｕｍ＿Ｈ＝｜ΔＨ［ｎ］｜＋｜ΔＨ［ｎ＋１］｜の値を求める。ｓｕｍ＿Ｈ＞＝ｔｈ＿Ｈ（ｔｈ＿Ｈは任意の閾値であり、外部から調整可能な値）である場合、フォント検出部１１２は、背景色や文字色との間で色相、彩度が異なる画素であると判断する。この場合を（条件−Ｈ）とする。
【００６２】
またフォント検出部１１２は、彩度差の情報を用いて、ｓｕｍ＿Ｓ＝｜ΔＳ［ｎ］｜＋｜ΔＳ［ｎ＋１］｜の値を求める。ｓｕｍ＿Ｓ＞＝ｔｈ＿Ｓ（ｔｈ＿Ｓは任意の閾値であり、外部から調整可能な値）である場合、フォント検出部１１２は、背景色や文字色との間で色相、彩度が異なる画素であると判断する。この場合を（条件−Ｓ）とする。
【００６３】
フォント検出部１１２は、条件−Ｙ１、条件−Ｙ２、条件−Ｈ、条件−Ｓを組み合わせて、サブピクセルフォントの特徴を検出する。本実施形態では、フォント検出部１１２は、以下の様な条件を満たす場合に、当該画素のサブピクセルフォントらしさを決定する。
【００６４】
（画素変化１）条件−Ｙ１および条件−Ｓを満たす場合、フォント検出部１１２は、サブピクセルフォントらしさＳＰを以下の値に決定する。
ＳＰ＝｛ｓｕｍ＿Ｓ×４＋ｓｕｍ＿Ｈ×２＋（｜ΔＹ［ｎ］｜＋｜ΔＹ［ｎ＋１］｜）｝／１６
（画素変化２）条件−Ｙ２および条件−Ｈを満たす場合、フォント検出部１１２は、サブピクセルフォントらしさＳＰを以下の値に決定する。
ＳＰ＝｛ｓｕｍ＿Ｓ×２＋ｓｕｍ＿Ｈ×４＋（｜ΔＹ［ｎ］｜＋｜ΔＹ［ｎ＋１］｜）｝／１６
（画素変化３）上記（１）および（２）のいずれも満たさない場合、その画素はサブピクセルフォントではないとして、フォント検出部１１２は、サブピクセルフォントらしさＳＰを、ＳＰ＝０とする。
【００６５】
フォント検出部１１２は、このようにして求めたサブピクセルフォントらしさＳＰを混合比補正部１１４に送る。またフォント検出部１１２は、サブピクセルフォントらしさＳＰの算出過程で求めたｐｏｌ＿Ｙ［ｎ］の値を、背景・文字色検出部１１３に送る。
【００６６】
背景・文字色検出部１１３は、前処理部でＹＣｂＣｒ色空間に変換された画像データに対して各画素の背景色または文字色を検出する。本実施形態では、背景・文字色検出部１１３は、以下の仮定に基づいて各画素の背景色または文字色を検出する。
【００６７】
（仮定１）背景色は、グラデーションがある程度変化する、またはほとんど変化しない。
（仮定２）背景色・文字色は、サブピクセルフォントが表示される画素に隣接する画素の色である。
【００６８】
まずは仮定１を満たしているかどうかについて説明する。背景・文字色検出部１１３は、フォント検出部１１２がサブピクセルフォントらしさＳＰの算出過程で求めたｐｏｌ＿Ｙ［ｎ］の値を用いて、（ｐｏｌ＿Ｙ［ｎ］＝ｐｏｌ＿Ｙ［ｎ＋１］＝０）かつ（ｓｕｍ＿Ｈ＜ｔｈ＿Ｈ）かつ（ｓｕｍ＿Ｓ  ＜  ｔｈ＿Ｓ）であるかどうか判断する。この条件満たす場合、背景・文字色検出部１１３はその画素を背景色を表示する画素であると決定する。この条件を（条件−Ｂ）とする。
【００６９】
背景・文字色検出部１１３は、サブピクセルフォントとして検出された画素を中心に、縦３画素×横３画素の領域内の色数を数える。図７は、条件−Ｂを満たす画素と、サブピクセルフォントとして検出された画素との位置関係の例を示す説明図である。また図８は背景・文字色検出部１１３による処理の説明に用いる説明図である。
【００７０】
Ｃ［ｉ］＝Ｙ［ｉ］として、もし、（Ｃ［３］＞＝（Ｃ［ｉ］−ｔｈ＿ｇｒａｄ））かつ（Ｃ［３］＜＝（Ｃ［ｉ］＋ｔｈ＿ｇｒａｄ））かつ（条件−Ｂを満たす、背景色を表示する画素）であれば、背景・文字色検出部１１３は、Ｃ［３］とＣ［ｉ］とは同じ色であると判定する。なお、ｔｈ＿ｇｒａｄは所定の閾値であり、外部からの調整によって任意に設定することが可能な値である。
【００７１】
背景・文字色検出部１１３は、ｉ＝０，１，２，６，７，８で上記の処理を繰り返して、Ｃ［３］と同色の画素の数を計数する。
【００７２】
背景・文字色検出部１１３は、同様に、もし、（Ｃ［５］＞＝（Ｃ［ｉ］−ｔｈ＿ｇｒａｄ））かつ（Ｃ［５］＜＝（Ｃ［ｉ］＋ｔｈ＿ｇｒａｄ））かつ（条件−Ｂを満たす、背景色を表示する画素）であれば、Ｃ［５］とＣ［ｉ］とは同じ色であると判定する。
【００７３】
背景・文字色検出部１１３は、ｉ＝０，１，２，６，７，８で上記の処理を繰り返して、Ｃ［５］と同色の画素の数を計数する。
【００７４】
次に仮定２を満たしているかどうかについて説明する。背景・文字色検出部１１３は、フォント検出部１１２によるサブピクセルフォントの検出対象画素がサブピクセルフォントでは無い、すなわちサブピクセルフォントらしさが低い場合、背景色とフォント色は入力画素そのままの色にする。この場合、背景・文字色検出部１１３は、変数（背景・文字色特定）を背景・文字色特定＝１とする。
【００７５】
また背景・文字色検出部１１３は、フォント検出部１１２によるサブピクセルフォントの検出対象画素がサブピクセルフォントである、すなわちサブピクセルフォントらしさが高く、かつ、
Ｃ［３］の色との同色の画素数＞＝ｔｈ＿ＣｏｌｏｒＮｕｍ、または、
Ｃ［５］の色との同色の画素数＞＝ｔｈ＿ＣｏｌｏｒＮｕｍ、または、
Ｃ［３］の色とＣ［５］の色との同色の画素数の合計＞＝ｔｈ＿ＣｏｌｏｒＮｕｍ×２
を満たす場合、Ｃ［３］とＣ［５］の色を、背景色または文字色であると判定する。この場合、背景・文字色検出部１１３は、変数（背景・文字色特定）を背景・文字色特定＝１とする。
【００７６】
一方、背景・文字色検出部１１３は、上述したいずれの条件も満たさなかった場合、背景・文字色検出部１１３は、変数（背景・文字色特定）を背景・文字色特定＝０とする。また背景・文字色検出部１１３は、背景色をＣ［３］の色との同色の画素数とＣ［５］の色との同色の画素数とを比較し、数が大きい方の色に決定し、文字色をＣ［３］の色とＣ［５］の色とを足して平均したものに決定する。
【００７７】
混合比補正部１１４は、フォント検出部１１２が求めたサブピクセルフォントらしさの値を用いて、画像処理装置１００に入力される画像データの色と、背景・文字色検出部１１３が決定した背景色及び文字色との混合比を補正する。
【００７８】
フォント検出部１１２がサブピクセルフォントを検出した際に、当該画素が画素変化２を満たしていた場合は、背景・文字色検出部１１３で、その画素の正しい背景色や文字色が取れていない可能性がある。従って混合比補正部１１４は、フォント検出部１１２がサブピクセルフォントを検出した際に、当該画素が画素変化２を満たしていた画素は混合比を抑えるように補正する。
【００７９】
フォント検出部１１２がサブピクセルフォントを検出した際に、当該画素が画素変化２を満たしていた場合、混合比補正部１１４は、Ｂｌｅｎｄ係数（画素変化）を、フォント検出部１１２が算出したサブピクセルフォントらしさ×調整係数１に補正する。調整係数１は１未満の値であり、外部より調整可能な係数であるとする。
【００８０】
そして混合比補正部１１４は、フォント検出部１１２がサブピクセルフォントを検出した際に、当該画素が画素変化１または画素変化３を満たしていた場合、Ｂｌｅｎｄ係数（画素変化）をフォント検出部１１２が算出したサブピクセルフォントらしさのままに決定する。なお、画素変化３の場合はその画素はサブピクセルフォントではないため、サブピクセルフォントらしさは０であるから、混合比（Ｂｌｅｎｄ係数）も０のままである。
【００８１】
また背景・文字色検出部１１３が、変数（背景・文字色特定）を０に設定した場合、その画素は背景色や文字色が検出できていない可能性がある。従って混合比補正部１１４は、変数（背景・文字色特定）を０に設定した画素は混合比を抑えるように補正する。
【００８２】
変数（背景・文字色特定）が０の時、混合比補正部１１４は、Ｂｌｅｎｄ係数（Ｙ）＝０、Ｂｌｅｎｄ係数（Ｃ）＝Ｂｌｅｎｄ係数（画素変化）×調整係数２にする。Ｂｌｅｎｄ係数（Ｙ）は輝度成分の混合比を示す係数であり、Ｂｌｅｎｄ係数（Ｃ）は色差成分の混合比を示す係数である。すなわち混合比補正部１１４は、変数（背景・文字色特定）が０の時、輝度成分は混合しないように補正し、色差成分は混合比を抑えるよう補正する。
【００８３】
一方、変数（背景・文字色特定）が１の時、混合比補正部１１４は、Ｂｌｅｎｄ係数（Ｙ）＝Ｂｌｅｎｄ係数（画素変化）、Ｂｌｅｎｄ係数（Ｃ）＝Ｂｌｅｎｄ係数（画素変化）とする。
【００８４】
混合部１１５は、混合比補正部１１４が補正したＢｌｅｎｄ係数を用いて、フォント検出部１１２が求めたサブピクセルフォントらしさの値を用いて、画像処理装置１００に入力される画像データの色と、背景・文字色検出部１１３が決定した背景色及び文字色とを混合する。混合部１１５は、以下のように、色の混合の際には輝度成分と色差成分の両方について混合する。なお、下記の式において、Ｙｏｕｔ［ｎ］、Ｃｂｏｕｔ［ｎ］、Ｃｒｏｕｔ［ｎ］は、混合後の当該画素の輝度成分及び色差成分を表し、Ｙｉｎ［ｎ］、Ｃｂｉｎ［ｎ］、Ｃｒｉｎ［ｎ］は、混合前の当該画素の輝度成分及び色差成分を表す。
【００８５】
Ｙｏｕｔ［ｎ］＝Ｙｉｎ［ｎ］×（１−Ｂｌｅｎｄ係数（Ｙ））＋｛（背景色Ｙ＋文字色Ｙ）／２｝×Ｂｌｅｎｄ係数（Ｙ）
Ｃｂｏｕｔ［ｎ］＝Ｃｂｉｎ［ｎ］×（１−Ｂｌｅｎｄ係数（Ｃ））＋｛（背景色Ｃｂ＋文字色Ｃｂ）／２｝×Ｂｌｅｎｄ係数（Ｃ）
Ｃｒｏｕｔ［ｎ］＝Ｃｒｉｎ［ｎ］×（１−Ｂｌｅｎｄ係数（Ｃ））＋｛（背景色Ｃｒ＋文字色Ｃｒ）／２｝×Ｂｌｅｎｄ係数（Ｃ）
【００８６】
混合部１１５は、もし、Ｃｂｏｕｔ［ｎ］とＣｂｉｎ［ｎ］の符号が異なる場合はＹｏｕｔ［ｎ］を０で維持（クリップ）し、Ｃｒｏｕｔ［ｎ］とＣｒｉｎ［ｎ］の符号が異なる場合、Ｃｒｏｕｔ［ｎ］とＣｒｉｎ［ｎ］を０で維持（クリップ）する。混合部１１５は、入力と出力とで符号が異なる場合に０でクリップすることで、混合により色合いが逆転しないようにすることができる。
【００８７】
混合部１１５は、最後に色空間をＹＣｂＣｒからＲＧＢに変換する。具体的には、
Ｙ＝  ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
Ｃｒ＝  ０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ
の逆マトリクス演算である以下の数式を用いて色空間の変換を実施する。
Ｒ＝Ｙ＋１．５７４８×Ｃｒ
Ｇ＝Ｙ−０．１８７３×Ｃｂ−０．４６８１×Ｃｒ
Ｂ＝Ｙ＋１．８５５６×Ｃｂ
【００８８】
なお、画像処理装置１００は、表示装置２０とは別の装置であっても良いが、図５に示した構成の一部または全部が表示装置２０に含まれていても良い。
【００８９】
本発明の一実施形態に係る画像処理装置１００は、図５及び図６に示したような構成を有することで、外部から入力される画像を拡大する際に文字の周縁部で色が滲んで見えないようにすることが可能になる。
【００９０】
以上、本発明の一実施形態に係る画像処理装置１００の構成例について説明した。続いて、本発明の一実施形態に係る画像処理装置１００の動作例について説明する。
【００９１】
［画像処理装置の動作例］
図９は、本発明の一実施形態に係る画像処理装置１００の動作例を示す流れ図である。図９に示したのは、画像処理装置１００に送られてきた画像データについて、サブピクセルフォントの検出および色検出を行って、サブピクセルフォント部分の補正を行う際の動作例である。以下、図９を用いて本発明の一実施形態に係る画像処理装置１００の動作例について説明する。
【００９２】
まず画像処理装置１００は、画像データに対して前処理を実行する（ステップＳ１０１）。この前処理は前処理部１１１が実行する。前処理部１１１が実行する前処理には、入力画像データの色相や彩度の算出、ＲＧＢ色空間からＹＣｂＣｒ色空間への変更、隣接画素間の輝度、色相、彩度の差の算出が含まれる。
【００９３】
画像処理装置１００は、上記ステップＳ１０１で画像データに対して前処理を実行すると、続いて画像データに対してサブピクセルフォントの検出処理を実行する（ステップＳ１０２）。サブピクセルフォントの検出はフォント検出部１１２が実行する。フォント検出部１１２によるサブピクセルフォント検出処理は上述した通りである。画像処理装置１００は、サブピクセルフォントの検出処理によって、各画素のサブピクセルフォントらしさを求める。
【００９４】
画像処理装置１００は、上記ステップＳ１０２で画像データに対してサブピクセルフォントの検出処理を実行すると、続いて画像データに対して各画素の文字色及び背景色の検出処理を実行する（ステップＳ１０３）。文字色及び背景色の検出は背景・文字色検出部１１３が実行する。背景・文字色検出部１１３による文字色及び背景色の検出処理は上述した通りである。
【００９５】
画像処理装置１００は、上記ステップＳ１０３で画像データに対して各画素の文字色及び背景色の検出処理を実行すると、続いて上記ステップＳ１０２で求められたサブピクセルフォントらしさの値を用いて、画像処理装置１００に入力される画像データの色と、上記ステップＳ１０３で検出された各画素の文字色及び背景色との混合比を補正する（ステップＳ１０４）。混合比の補正は混合比補正部１１４が実行する。混合比補正部１１４による混合比の補正処理は上述した通りである。
【００９６】
画像処理装置１００は、上記ステップＳ１０４で、画像処理装置１００に入力される画像データの色と、上記ステップＳ１０３で検出された各画素の文字色及び背景色との混合比を補正すると、続いて補正後の混合比を用いて、画像処理装置１００に入力される画像データの色と、上記ステップＳ１０３で検出された各画素の文字色及び背景色とを混合する（ステップＳ１０５）。画像処理装置１００に供給される画像データの色と、上記ステップＳ１０３で検出された各画素の文字色及び背景色とを混合する処理は混合部１１５が実行する。混合部１１５による混合処理は上述した通りである。
【００９７】
なお、上記ステップＳ１０４の混合比の補正処理は、必ずしも実行される必要はない。例えば、サブピクセルフォントらしさが高い、またはサブピクセルフォントらしさが０である画素については、混合比の補正は行われない。
【００９８】
以上、図９を用いて本発明の一実施形態に係る画像処理装置１００の動作例について説明した。なお本発明の一実施形態に係る画像処理装置１００は、図９に示した一連の処理の後で、表示装置２０の表示解像度に合わせて画像データを拡大する拡大処理を実行する。本発明の一実施形態に係る画像処理装置１００は、図９に示したような動作を実行することで、サブピクセルフォントで表示される文字を含んだ画像データの拡大後に、外部から入力される画像を拡大する際に、その文字の周縁部で色が滲んで見えないようにすることが可能になる。
【００９９】
［画像処理装置の処理による効果］
最後に、本発明の一実施形態に係る画像処理装置１００の効果について説明する。図１０は、本発明の一実施形態に係る画像処理装置１００は、上述した処理を実行することで、図４に示したように、画像データの拡大処理に先立って、拡大後に色滲みの発生を抑えるよう、サブピクセルを利用して文字を表示する画素について、文字色や背景色を用いて混合する。
【０１００】
＜２．まとめ＞
以上説明したように、本発明の一実施形態によれば、外部から供給される画像データに対して、サブピクセルフォントの検出と、文字色及び背景色の検出を行って、外部から供給される画像データの色と、各画素の文字色及び背景色とを混合する処理を実行する、画像処理装置１００が提供される。
【０１０１】
本発明の一実施形態に係る画像処理装置１００は、サブピクセルフォントの検出と、文字色及び背景色の検出を行って、外部から供給される画像データの色と、各画素の文字色及び背景色とを混合する。これにより本発明の一実施形態に係る画像処理装置１００は、サブピクセルフォントで表示される文字を含んだ、外部から入力される画像を拡大する際に、その文字の周縁部で色が滲んで見えないようにすることを可能にする。
【０１０２】
本明細書における装置が実行する処理における各ステップは、必ずしもフローチャートやシーケンス図として記載された順序に沿って時系列に処理される必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても良く、並列的に処理されてもよい。
【０１０３】
また上述した各装置の構成と同等の機能を、本明細書における装置に内蔵されるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのハードウェア（図示せず）に発揮させるためのコンピュータプログラムも作成されることができる。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【０１０４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０５】
１００    画像処理装置
１１０    フォント処理部
１１１    前処理部
１１２    フォント検出部
１１３    背景・文字色検出部
１１４    混合比補正部
１１５    混合部
１２０    拡大部
１３１    色相・彩度算出部
１３２    変換部
１３３    差分算出部
【図１】
2015106095.tif 000003
【図２】
2015106095.tif 000004
【図３】
2015106095.tif 000005
【図４】
2015106095.tif 000006
【図５】
2015106095.tif 000007
【図６】
2015106095.tif 000008
【図７】
2015106095.tif 000009
【図８】
2015106095.tif 000010
【図９】
2015106095.tif 000011