(57)【要約】【課題】異なる方向の２本の斜め線が接した画像においても良好な画質を得ることのできる画像処理装置及びその画像処理方法を提供する。【解決手段】画像処理装置は、出力画素位置を決定する出力画素位置決定部１０１と、出力画素位置周辺のｍ×ｎ画素を抽出するｍ×ｎ画素抽出部１０２と、ｍ×ｎ画素についてＮ種類の斜め線の有無を検出するＮ種類の検出部１０３〜１０７と、Ｎ種類の斜め線ぞれぞれに最適な出力画素候補値を生成するＮ種類の生成部１０８〜１１２と、Ｎ種類の斜め線のうち２種類の斜め線が存在する場合は、その２種類の斜め線の出力画素候補値同士を混合して最終的な出力画素値を生成する画素混合部１１４とを備える。【選択図】図１
2012134922.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に画像処理を施して出力する画像処理装置であって、
出力画素位置を決定する決定部と、
前記出力画素位置周辺のｍ×ｎ画素を抽出する抽出部と、
前記ｍ×ｎ画素についてＮ種類の斜め線の有無を検出する前記Ｎ種類の検出部と、
前記Ｎ種類の斜め線ぞれぞれに最適な出力画素候補値を生成する前記Ｎ種類の生成部と、
前記Ｎ種類の斜め線のうち２種類の斜め線が存在する場合は、その２種類の斜め線の出力画素候補値同士を混合して最終的な出力画素値を生成する混合部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記Ｎ種類の検出部は、生成対象となる出力画素を取り囲む位置にある４つの入力画素を頂点とする四角形の各辺を横切る斜め線と前記四角形の対角上の斜め線の合計５種類の斜め線を検出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理を垂直方向の画像処理と水平方向の画像処理とに独立させたことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
入力画像に画像処理を施して出力する画像処理装置の画像処理方法であって、
出力画素位置を決定する決定ステップと、
前記出力画素位置周辺のｍ×ｎ画素を抽出する抽出ステップと、
前記ｍ×ｎ画素についてＮ種類の斜め線の有無を検出する前記Ｎ種類の検出ステップと、
前記Ｎ種類の斜め線ぞれぞれに最適な出力画素候補値を生成する前記Ｎ種類の生成ステップと、
前記Ｎ種類の斜め線のうち２種類の斜め線が存在する場合は、その２種類の斜め線の出力画素候補値同士を混合して最終的な出力画素値を生成する混合ステップと、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に画像処理を施して出力する画像処理装置及びその画像処理方法に関し、特に、拡大後の画像に含まれる斜め線をスムーズに見せるための技術に関する。
【背景技術】
【０００２】
パソコンやＴＶ受像機などが備えるデジタル表示ディスプレイに、画素数が小さい入力画像信号を表示画素数まで拡大して表示したい場合がある。このような場合は、線形補間法やバイキュービック法を用いるのが一般的である。しかしながら、これらの方法によると、図３０に示すように、拡大後の画像に含まれる斜め線がギザギザに見えるとういう問題があった。すなわち、図３０（ａ）は、拡大前の画像（元画像）、図３０（ｂ）は、図３０（ａ）の元画像を線形補間法で垂直方向に２倍に拡大した画像、図３０（ｃ）は、図３０（ｂ）と同じ画像サイズで描いた理想的な斜め線の画像を示している。図３０（ｂ）の斜め線は、図３０（ｃ）の理想的な斜め線に比べてギザギザが目立っている。そこで、近年、斜め線をスムーズに見せるための画像拡大方法が提案されている。
【０００３】
例えば、特許文献１に開示される方法では、あらかじめ用意した各方向性パタン（図形パタン）と入力画像とを比較することにより斜め線の方向を検出する。そして、検出した斜め線に近接する画素の加重平均を得て、これを中央周辺画素の最大値と最小値との間に制限したものを補間値とする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−９４８６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１によると、検出される斜め線は１本のみであり、異なる方向の２本の斜め線が接する場合の画像処理方法は開示されていない。すなわち、従来は、異なる方向の２本の斜め線が接する場合に良好な画質が得られないという問題があった。
【０００６】
図３１は、異なる方向の２本の斜め線が接する画像例を示している。ＰＩ１１〜ＰＩ４４は入力画素（拡大前画素）であり、黒は被写体、白は背景を表わしている。図３１（ａ）〜（ｄ）いずれの場合も、入力画素ＰＩ２２，ＰＩ２３，ＰＩ３２，ＰＩ３３で囲まれた中で、異なる方向の２本の斜め線が接している。この２本の斜め線を考慮して、入力画素ＰＩ２２，ＰＩ２３，ＰＩ３２，ＰＩ３３で囲まれた中に出力画素（拡大後画素）を生成することが望まれる。
【０００７】
本発明は前記課題を解決するためになされたものであり、その目的は、異なる方向の２本の斜め線が接した画像においても良好な画質を得ることのできる画像処理装置及びその画像処理方法を提供することである。
【課題を解決するための手段】
【０００８】
前記課題を解決するために、本発明の実施形態に係る画像処理装置は、入力画像に画像処理を施して出力する画像処理装置であって、出力画素位置を決定する決定部と、前記出力画素位置周辺のｍ×ｎ画素を抽出する抽出部と、前記ｍ×ｎ画素についてＮ種類の斜め線の有無を検出する前記Ｎ種類の検出部と、前記Ｎ種類の斜め線ぞれぞれに最適な出力画素候補値を生成する前記Ｎ種類の生成部と、前記Ｎ種類の斜め線のうち２種類の斜め線が存在する場合は、その２種類の斜め線の出力画素候補値同士を混合して最終的な出力画素値を生成する混合部とを備えることを特徴とする。
【０００９】
前記画像処理装置において、前記Ｎ種類の検出部は、生成対象となる出力画素を取り囲む位置にある４つの入力画素を頂点とする四角形の各辺を横切る斜め線と前記四角形の対角上の斜め線の合計５種類の斜め線を検出してもよい。
【００１０】
前記画像処理装置において、前記画像処理を垂直方向の画像処理と水平方向の画像処理とに独立させてもよい。
【００１１】
前記課題を解決するために、本発明の実施形態に係る画像処理方法は、入力画像に画像処理を施して出力する画像処理装置の画像処理方法であって、出力画素位置を決定する決定ステップと、前記出力画素位置周辺のｍ×ｎ画素を抽出する抽出ステップと、前記ｍ×ｎ画素についてＮ種類の斜め線の有無を検出する前記Ｎ種類の検出ステップと、前記Ｎ種類の斜め線ぞれぞれに最適な出力画素候補値を生成する前記Ｎ種類の生成ステップと、前記Ｎ種類の斜め線のうち２種類の斜め線が存在する場合は、その２種類の斜め線の出力画素候補値同士を混合して最終的な出力画素値を生成する混合ステップとを備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、異なる方向の２本の斜め線が接した画像においても良好な画質を得ることのできる画像処理装置及びその画像処理方法を提供することが可能である。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態における画像処理装置の構成図である。
【図２】第１実施形態における出力画素位置決定部の説明図である。
【図３】第１実施形態におけるｍ×ｎ画素抽出部と５分類の説明図である。
【図４】第１実施形態における分類１用斜め線検出部の図形パタン１Ａを示す図である。
【図５】第１実施形態における分類１用斜め線検出部の図形パタン１Ｂを示す図である。
【図６】第１実施形態における分類１用斜め線検出部の条件１Ａ、１Ｂを示す図である。
【図７】第１実施形態における分類２用斜め線検出部の図形パタン２Ａを示す図である。
【図８】第１実施形態における分類２用斜め線検出部の図形パタン２Ｂを示す図である。
【図９】第１実施形態における分類２用斜め線検出部の条件２Ａ、２Ｂを示す図である。
【図１０】第１実施形態における分類３用斜め線検出部の図形パタン３Ａを示す図である。
【図１１】第１実施形態における分類３用斜め線検出部の図形パタン３Ｂを示す図である。
【図１２】第１実施形態における分類３用斜め線検出部の条件３Ａ、３Ｂを示す図である。
【図１３】第１実施形態における分類４用斜め線検出部の図形パタン４Ａを示す図である。
【図１４】第１実施形態における分類４用斜め線検出部の図形パタン４Ｂを示す図である。
【図１５】第１実施形態における分類４用斜め線検出部の条件４Ａ、４Ｂを示す図である。
【図１６】第１実施形態における分類５用斜め線検出部の図形パタン５Ａを示す図である。
【図１７】第１実施形態における分類５用斜め線検出部の図形パタン５Ｂを示す図である。
【図１８】第１実施形態における分類５用斜め線検出部の条件５Ａ、５Ｂを示す図である。
【図１９】第１実施形態における分類１用画素生成部の図形パタン１Ａを示す図である。
【図２０】第１実施形態における分類１用画素生成部の図形パタン１Ｂを示す図である。
【図２１】第１実施形態における分類２用画素生成部の図形パタン２Ａを示す図である。
【図２２】第１実施形態における分類２用画素生成部の図形パタン２Ｂを示す図である。
【図２３】第１実施形態における分類３用画素生成部の図形パタン３Ａを示す図である。
【図２４】第１実施形態における分類３用画素生成部の図形パタン３Ｂを示す図である。
【図２５】第１実施形態における分類４用画素生成部の図形パタン４Ａを示す図である。
【図２６】第１実施形態における分類４用画素生成部の図形パタン４Ｂを示す図である。
【図２７】第１実施形態における分類５用画素生成部の図形パタン５Ａを示す図である。
【図２８】第１実施形態における分類５用画素生成部の図形パタン５Ｂを示す図である。
【図２９】第２実施形態における画像処理装置の構成図である。
【図３０】拡大後の画像に含まれる斜め線を示す図である。
【図３１】異なる方向の２本の斜め線が接する画像例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１５】
（第１実施形態）
最初に、本発明の概要を説明する。すなわち、異なる方向の２本の斜め線が接した画像においても良好な画質を得るには、次のようなパタンマッチングによる方法が考えられる。まず、異なる方向の２本の斜め線が接した図形パタンをあらかじめ用意しておく。次に、図形パタンと入力画像とを比較する。入力画像と一致した図形パタンから、２本の斜め線のそれぞれの方向と位置を検出する。最後に、２本の斜め線と出力画素との位置関係から幾何学的に出力画素値を算出する。しかし、この方法では、斜め線を１本のみ検出する方法に比べ、斜め線検出用の図形パタン数、入力画像と図形パタンの比較回数、及び、検出した斜め線と出力画素位置からの幾何学的演算量が増加してしまう。
【００１６】
そこで、本発明では、検出したい斜め線をあらかじめ５種類に分類しておく。次に、５種類の斜め線の有無を同時に検出し、各斜め線に最適な出力画素値を生成する。最後に、５種類の斜め線のうち２種類の斜め線が存在する場合は、その２種類の斜め線ごとの出力画素同士を重みづけ加算する。これにより、異なる方向の２本の斜め線が存在しうる全ての組み合わせ分だけ図形パタンが不要で、かつ、異なる方向の２本の斜め線が接する場合でも良好な画質を得ることができる。
【００１７】
図１は、第１実施形態における画像処理装置の構成図である。この画像処理装置は、図１に示すように、出力画素位置決定部１０１と、ｍ×ｎ画素抽出部１０２と、５種類の斜め線検出部１０３〜１０７と、５種類の画素生成部１０８〜１１２と、斜め線処理無し画素生成部１１３と、画素混合部１１４とを備えている。
【００１８】
出力画素位置決定部１０１は、出力画素（拡大後画素）の位置である出力画素位置を決定する。ｍ×ｎ画素抽出部１０２は、入力される画像信号から出力画素位置周辺の水平方向ｍ画素×垂直方向ｎ画素を抽出する。ｍ×ｎ画素抽出部１０２に入力される画像信号の画素値はＲＧＢまたは輝度色差の値である。ｍ×ｎ画素抽出部１０２が抽出する画素は少なくとも４画素×４画素以上である。分類１用斜め線検出部１０３は、ｍ×ｎ画素抽出部１０２から出力されたｍ×ｎ画素から分類１に属する斜め線を検出する。同様に、分類２用斜め線検出部１０４は、分類２に属する斜め線を検出し、分類３用斜め線検出部１０５は、分類３に属する斜め線を検出し、分類４用斜め線検出部１０６は、分類４に属する斜め線を検出し、分類５用斜め線検出部１０７は、分類５に属する斜め線を検出する。分類１用画素生成部１０８は、分類１用斜め線検出部１０３から出力された斜め線方向情報をもとに画素間補間処理を実施する。同様に、分類２用画素生成部１０９は、分類２用斜め線検出部１０４から出力された斜め線方向情報をもとに画素間補間処理を実施し、分類３用画素生成部１１０は、分類３用斜め線検出部１０５から出力された斜め線方向情報をもとに画素間補間処理を実施し、分類４用画素生成部１１１は、分類４用斜め線検出部１０６から出力された斜め線方向情報をもとに画素間補間処理を実施し、分類５用画素生成部１１２は、分類５用斜め線検出部１０７から出力された斜め線方向情報をもとに画素間補間処理を実施する。斜め線処理無し画素生成部１１３は、斜め線を考慮しない従来通りの画素間補間処理を実施する。画素混合部１１４は、各斜め線検出部１０３〜１０７から出力された斜め線判定情報をもとに各画素生成部１０８〜１１３から出力された画素値を混合する。以下、このような構成の画像処理装置の動作を詳細に説明する。
【００１９】
＜出力画素位置決定部１０１＞
まず、出力画素位置決定部１０１は、垂直同期信号と水平同期信号をもとに垂直方向拡大率と水平方向拡大率に応じた出力画素位置を決定する。図２（ａ）は、垂直方向拡大後の画素位置、図２（ｂ）は、水平方向拡大前後の画素位置である。拡大前の隣接画素の間隔を１とした場合、拡大後の隣接画素の間隔は拡大率の逆数である。例えば、垂直方向の入力４画素を拡大して５画素とする場合、拡大率＝１．２５、間隔ｄｖ＝（１／拡大率）＝０．８である。図２（ｃ）は、垂直方向と水平方向を踏まえ２次元的に表わした拡大前後の画素位置である。このように、出力画素位置は、垂直方向上端からの距離と水平方向左端からの距離により決定される。
【００２０】
＜ｍ×ｎ画素抽出部１０２＞
次に、ｍ×ｎ画素抽出部１０２は、出力画素位置決定部１０１から出力された出力画素位置を取り囲む入力画素４画素を中心に４×４画素を抽出する。例えば、図３（ａ）に入力画素ＰＩ１１〜ＰＩ４４を示す。生成対象となる出力画素Ｐ０は、入力画素ＰＩ２２，ＰＩ２３，ＰＩ３２，ＰＩ３３で囲まれた中に位置する。そのため、出力画素位置の付近を通る斜め線は、入力画素ＰＩ２２，ＰＩ２３，ＰＩ３２，ＰＩ３３を頂点とする四角形を横切ることになる。つまり、図３（ｂ）に示す辺ＰＩ２２−ＰＩ２３、図３（ｃ）に示す辺ＰＩ３２−ＰＩ３３、図３（ｄ）に示す辺ＰＩ２２−ＰＩ３２、図３（ｅ）に示す辺ＰＩ２３−ＰＩ３３のいずれかを斜め線Ｌが横切る。または、図３（ｆ）に示す対角上に斜め線Ｌが存在する。そこで、斜め線検出用の図形パタンをあらかじめ下記の５つに分類しておく。
【００２１】
分類１＝辺ＰＩ２２−ＰＩ２３と交差する斜め線
分類２＝辺ＰＩ３２−ＰＩ３３と交差する斜め線
分類３＝辺ＰＩ２２−ＰＩ３２と交差する斜め線
分類４＝辺ＰＩ２３−ＰＩ３３と交差する斜め線
分類５＝ＰＩ２２とＰＩ３３を通る、または、ＰＩ２３とＰＩ３２を通る斜め線
＜分類１用斜め線検出部１０３＞
分類１用斜め線検出部１０３は、辺ＰＩ２２−ＰＩ２３と交差する斜め線が存在するか否かを判定し、存在する場合は斜め線の方向と位置を検出する。例えば、図４の図形パタン１Ａと図５の図形パタン１Ｂの２種類の斜め線を検出する場合について説明する。図中に示す白画素は背景、黒画素は被写体とする。斜め線の判定は、入力画素が被写体と背景の境界を含んでおり、かつ、境界が斜めになっているか否かにより行う。図４の図形パタン１Ａでは、ＰＩ２２とＰＩ２３の間、ＰＩ１３とＰＩ１４の間、及び、ＰＩ３２とＰＩ３３の間に被写体と背景の境界が存在する。そこで、図６（ａ）に示すように、入力画像が図４の図形パタン１Ａに該当するか否かを条件１Ａをもとに判定する（Ｔｈ１は任意に指定された閾値である）。同様に、図６（ｂ）に示すように、入力画像が図５の図形パタン１Ｂに該当するか否かを条件１Ｂをもとに判定する。
【００２２】
そして、式（１）のように、条件１Ａ及び条件１Ｂを用いて入力画像が分類１のどの斜め線に該当するかを示す情報ＣＬＡＳＳ１＿ＰＡＴを生成し、記憶しておく。条件１Ａ、条件１Ｂをともに満たす場合は、同一被写体上の画素なら画素値は同一か類似した値であることから、斜め線上の２つの入力画素の差分絶対値が小さい方を選択する。ＣＬＡＳＳ１＿ＰＡＴは、分類１用画素生成部１０８及び画素混合部１１４で使用される。
【数１】
2012134922.tif 000003
【００２３】
＜分類２用斜め線検出部１０４＞
分類２用斜め線検出部１０４は分類１用斜め線検出部１０３と同様である。分類２用斜め線検出部１０４に関する図を図７〜図９に、数式を式（２）に示す。
【数２】
2012134922.tif 000004
【００２４】
＜分類３用斜め線検出部１０５＞
分類３用斜め線検出部１０５の動作も分類１用斜め線検出部１０３と同様である。分類３用斜め線検出部１０５に関する図を図１０〜図１２に、数式を式（３）に示す。
【数３】
2012134922.tif 000005
【００２５】
＜分類４用斜め線検出部１０６＞
分類４用斜め線検出部１０６の動作も分類１用斜め線検出部１０３と同様である。分類４用斜め線検出部１０６に関する図を図１３〜図１５に、数式を式（４）に示す。
【数４】
2012134922.tif 000006
【００２６】
＜分類５用斜め線検出部１０７＞
分類５用斜め線検出部１０７の動作も分類１用斜め線検出部１０３と同様である。分類５用斜め線検出部１０７に関する図を図１６〜図１８に、数式を式（５）に示す。
【数５】
2012134922.tif 000007
【００２７】
＜分類１用画素生成部１０８＞
分類１用画素生成部１０８は、出力画素位置決定部１０１から出力された出力画像位置と分類１用斜め線検出部１０３から出力されたＣＡＬＳＳ１＿ＰＡＴをもとに分類１の出力画素候補を生成する。例えば、図１９に示すように、図形パタン１Ａの斜め線と辺ＰＩ２２−ＰＩ２３との交点をＰＴＯＰ１とする。ＰＴＯＰ１からＰＩ１３までの距離とＰＴＯＰ１からＰＩ３２までの距離は等しい。そこで、ＰＴＯＰ１の画素値をＰＩ１３とＰＩ３２の画素値の平均値とする。同様に、図２０に示すように、図形パタン１Ｂの斜め線と辺ＰＩ２２−ＰＩ２３との交点をＰＴＯＰ１とする。ＰＴＯＰ１からＰＩ１２までの距離とＰＴＯＰ１からＰＩ３３までの距離は等しい。そこで、ＰＴＯＰ１の画素値をＰＩ１２とＰＩ３３の画素値の平均値とする。ＰＴＯＰ１の画素値は式（６）となる。
【数６】
2012134922.tif 000008
【００２８】
次に、図１９の図形パタン１Ａの斜め線と辺ＰＩ３２−ＰＩ３３の交点をＰＢＯＴ１とする。同様に、図２０の図形パタン１Ｂの斜め線と辺ＰＩ３２−ＰＩ３３の交点をＰＢＯＴ１とする。ＰＢＯＴ１の画素値は式（７）となる。
【数７】
2012134922.tif 000009
【００２９】
出力画素と同じ垂直方向位置である斜め線上の点ＰＤＩＡ１の画素値は、ＰＴＯＰ１、ＰＢＯＴ１、及び、辺ＰＩ２２−ＰＩ２３から出力画素までの垂直方向距離ｙを用いて式（８）により算出する。
【数８】
2012134922.tif 000010
【００３０】
次に、辺ＰＩ２２−ＰＩ３２からＰＤＩＡ１までの水平方向距離ｒ１は式（９）となる。
【数９】
2012134922.tif 000011
【００３１】
出力画素と同じ垂直方向位置の辺ＰＩ２２−ＰＩ３２上の点ＰＬＥＦ１は式（１０）、辺ＰＩ２３−ＰＩ３３上の点ＰＲＩＧ１は式（１１）により算出する。
【数１０】
2012134922.tif 000012
【数１１】
2012134922.tif 000013
【００３２】
ＰＬＥＦ１、ＰＲＩＧ１、及びＰＤＩＡ１は同じ垂直方向位置ｙに存在するため、これらと辺ＰＩ２２−ＰＩ３２から出力画素までの水平方向距離ｘを用いて出力画素候補ＰＯ１の画素値を算出する。ＰＯ１の画素値の算出式を式（１２）に示す。
【数１２】
2012134922.tif 000014
【００３３】
＜分類２用画素生成部１０９＞
分類２用画素生成部１０９の動作は分類１用画素生成部１０８と同様である。分類２用画素生成部１０９に関する図を図２１、図２２に、数式を式（１３）〜式（１７）に示す。
【数１３】
2012134922.tif 000015
【数１４】
2012134922.tif 000016
【数１５】
2012134922.tif 000017
【数１６】
2012134922.tif 000018
【数１７】
2012134922.tif 000019
【００３４】
＜分類３用画素生成部１１０＞
分類３用画素生成部１１０の動作も分類１用画素生成部１０８と同様である。分類３用画素生成部１１０に関する図を図２３、図２４に、数式を式（１８）〜式（２４）に示す。
【数１８】
2012134922.tif 000020
【数１９】
2012134922.tif 000021
【数２０】
2012134922.tif 000022
【数２１】
2012134922.tif 000023
【数２２】
2012134922.tif 000024
【数２３】
2012134922.tif 000025
【数２４】
2012134922.tif 000026
【００３５】
＜分類４用画素生成部１１１＞
分類４用画素生成部１１１の動作も分類１用画素生成部１０８と同様である。分類４用画素生成部１１１に関する図を図２５、図２６に、数式を式（２５）〜式（２９）に示す。
【数２５】
2012134922.tif 000027
【数２６】
2012134922.tif 000028
【数２７】
2012134922.tif 000029
【数２８】
2012134922.tif 000030
【数２９】
2012134922.tif 000031
【００３６】
＜分類５用画素生成部１１２＞
分類５用画素生成部１１２の動作も分類１用画素生成部１０８と同様である。分類５用画素生成部１１２に関する図を図２７、図２８に、数式を式（３０）〜式（３４）に示す。
【数３０】
2012134922.tif 000032
【数３１】
2012134922.tif 000033
【数３２】
2012134922.tif 000034
【数３３】
2012134922.tif 000035
【数３４】
2012134922.tif 000036
【００３７】
＜斜め線処理無し画素生成部１１３＞
斜め線処理無し画素生成部１１３は、式（３５）に示すように、斜め線の有無を考慮しない従来通りの線形補間により、入力画像中に斜め線が存在しない場合の出力画素候補値を算出する。
【数３５】
2012134922.tif 000037
【００３８】
＜画素混合部１１４＞
画素混合部１１４は、各出力画素候補値の混合比を決定し、最終的な出力画素値を生成する。すなわち、出力画素位置のとりうる範囲（ＰＩ２２，ＰＩ２３，ＰＩ３２，ＰＩ３３で囲まれた範囲）内に斜め線が１本のみ存在する場合は、その斜め線が所属する分類の出力画素候補値を最終的な出力画素値とする。以下、出力画素位置のとりうる範囲内に斜め線が２本存在する場合について詳細に説明する。
【００３９】
図３１（ａ）の２本の斜め線のうちの１本は、図５の図形パタン１Ｂと一致する。もう１本は、図７の図形パタン２Ａと一致する。図５の図形パタン１Ｂは、分類１に所属する斜め線であり、図７の図形パタン２Ａは、分類２に所属する斜め線である。そこで、分類１の出力画素候補ＰＯ１と分類２の出力画素候補ＰＯ２を出力画素位置の垂直方向距離ｙに応じた重み付け加算することにより最終的な出力画像を生成する。
【００４０】
図３１（ｂ）の２本の斜め線のうちの１本は、図４の図形パタン１Ａと一致する。もう１本は、図８の図形パタン２Ｂと一致する。図４の図形パタン１Ａは、分類１に所属する斜め線であり、図８の図形パタン２Ｂは、分類２に所属する斜め線である。そこで、分類１の出力画素候補ＰＯ１と分類２の出力画素候補ＰＯ２を出力画素位置の垂直方向距離ｙに応じた重み付け加算することにより最終的な出力画像を生成する。
【００４１】
図３１（ｃ）の２本の斜め線のうちの１本は、図１１の図形パタン３Ｂと一致する。もう１本は、図１３の図形パタン４Ａと一致する。図１１の図形パタン３Ｂは、分類３に所属する斜め線であり、図１３の図形パタン４Ａは、分類４に所属する斜め線である。そこで、分類３の出力画素候補ＰＯ３と分類４の出力画素候補ＰＯ４を出力画素位置の水平方向距離ｘに応じた重み付け加算することにより最終的な出力画像を生成する。
【００４２】
図３１（ｄ）の２本の斜め線のうちの１本は、図１０の図形パタン３Ａと一致する。もう１本は、図１４の図形パタン４Ｂと一致する。図１０の図形パタン３Ａは、分類３に所属する斜め線であり、図１４の図形パタン４Ｂは、分類４に所属する斜め線である。そこで、分類３の出力画素候補ＰＯ３と分類４の出力画素候補ＰＯ４を出力画素位置の水平方向距離ｘに応じた重み付け加算することにより最終的な出力画像を生成する。
【００４３】
出力画素位置のとりうる範囲（ＰＩ２２，ＰＩ２３，ＰＩ３２，ＰＩ３３で囲まれた範囲）内で、分類５に所属する斜め線は、その他の分類に所属する斜め線とは交差しない。
【００４４】
以上の条件より出力画素ＰＯを式（３６）により算出する。
【数３６】
2012134922.tif 000038
【００４５】
以上のように、第１実施形態における画像処理装置では、検出したい斜め線をあらかじめ５種類に分類しておく。次に、５種類の斜め線の有無を同時に検出し、各斜め線に最適な出力画素値を生成する。最後に、５種類の斜め線のうち２種類の斜め線が存在する場合は、その２種類の斜め線ごとの出力画素同士を重みづけ加算する。これにより、異なる方向の２本の斜め線が存在しうる全ての組み合わせ分だけ図形パタンが不要で、かつ、異なる方向の２本の斜め線が接する場合でも良好な画質を得ることができる。
【００４６】
なお、ここでは、式（８）（１０）（１１）（１２）等に示すように、線形補間法を用いた具体例を示したが、その他の補間方法を採用するようにしても良い。
【００４７】
また、入力される画素値形式がＲＧＢの場合、斜め線検出部１０３〜１０７には、ＲＧＢ値から算出した輝度値のみを入力しても良い。
【００４８】
さらに、ここでは、検出する斜め線を５種類（向きを含めると１０種類）としたが、検出する斜め線の種類はこの限りではない。すなわち、検出したい斜め線を辺ＰＩ２２−２３，辺ＰＩ３２−ＰＩ３３，辺ＰＩ２２−ＰＩ３２，辺ＰＩ２３−３３のいずれと交差するか分類し、その分類に図形パタンを追加することにより、さらに多くの方向の斜め線に対しても対応可能である。
【００４９】
（第２実施形態）
図２９は、第２実施形態における画像処理装置の構成図である。この画像処理装置は、図２９に示すように、第１実施形態で説明した画像処理を垂直方向の画像処理と水平方向の画像処理とに独立させた構成を採用している。すなわち、斜め線処理無し垂直方向画素生成部２１３は、斜め線を考慮せずに垂直方向の画素間補間処理を実施する。垂直方向画素混合部２１４は、分類３用斜め線検出部２０５から出力された斜め線判定情報をもとに、分類３用画素生成部２１０及び斜め線処理無し画素生成部２１３から出力された画素値を混合する。これにより、垂直方向画素混合部２１４から出力された画像は、入力画像に対して垂直方向のみ拡大された画像となる。斜め線処理無し水平方向画素生成部２１５は、垂直方向画素混合部２１４により出力された画素を用いて、斜め線を考慮せずに水平方向の画素間補間処理を実施する。水平方向画素混合部２１６は、分類１用斜め線検出部２０３、分類２用斜め線検出部２０４、及び分類５用斜め線検出部２０７から出力された斜め線判定情報をもとに、分類１用画素生成部２０８、分類２用画素生成部２０９、分類５用画素生成部２１２、及び斜め線処理無し水平方向画素生成部２１５から出力された画素値を混合する。これにより、水平方向画素混合部２１６から出力された画像は、垂直方向画素混合部２１４の出力画像に対して水平方向に拡大された画像となる。
【００５０】
以下、第２実施形態における画像処理装置の動作を説明する。出力画素位置決定部２０１、ｍ×ｎ画素抽出部２０２、分類１用斜め線検出部２０３、分類２用斜め線検出部２０４、分類３用斜め線検出部２０５、分類５用斜め線検出部２０７、分類１用画素生成部２０８、分類２用画素生成部２０９、分類３用画素生成部２１０、及び分類５用画素生成部２１２の動作は、第１実施形態と同一である。
【００５１】
斜め線処理無し垂直方向画素生成部２１３の動作は、斜め線処理無し画素生成部１１３の動作を垂直方向のみに限定した動作である。斜め線処理無し垂直方向画素生成部２１３の出力画素ＰＯＶ０の画素値算出式を式（３７）に示す。
【数３７】
2012134922.tif 000039
【００５２】
垂直方向画素混合部２１４は、斜め線処理無し垂直方向画素生成部２１３の出力画素ＰＯＶ０と分類３用水平方向画素生成部２１０の出力画素ＰＯ３を入力し、式（３８）に示すように、ＣＬＡＳＳ３＿ＰＡＴを用いて各出力画素値候補を混合する。
【数３８】
2012134922.tif 000040
【００５３】
斜め線処理無し水平方向画素生成部２１５は、垂直方向画素混合部２１４の出力画素ＰＯＶを用いて従来通りの線形補間を行う。画素値算出式を式（３９）に示す。式（３９）中のＰＯＶ’は、出力画素がＰＩ２３，ＰＩ２４，ＰＩ３３，ＰＩ３４に囲まれた範囲内にあるときの垂直方向画素混合部２１４の出力画素値である。
【数３９】
2012134922.tif 000041
【００５４】
水平方向画素混合部２１６は、斜め線処理無し水平方向画素生成部２１５の出力画素ＰＯＨ０、分類１用画素生成部２０８の出力画素ＰＯ１、分類２用画素生成部２０９の出力画素ＰＯ２、及び分類５用画素生成部２１２の出力画素ＰＯ５を用いて、各分類に所属する斜め線の有無に応じて画素値ＰＯを算出する。画素値ＰＯの算出式を式（４０）に示す。
【数４０】
2012134922.tif 000042
【００５５】
以上のように、第２実施形態における画像処理装置は、第１実施形態で説明した画像処理を垂直方向の画像処理と水平方向の画像処理とに独立させた構成を採用している。このような構成でも、第１実施形態と同様、異なる方向の２本の斜め線が接した画像においても良好な画質を得ることができる。しかも、分類３用の処理が分類４用の処理を兼ねることになるので、分類４用斜め線検出部１０６と分類４用画素生成部１１１が不要となる。
【００５６】
また、本発明は、画像処理装置として実現することができるだけでなく、このような画像処理装置が備える特徴的な処理部をステップとする画像処理方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。このようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。
【符号の説明】
【００５７】
１０１…出力画素位置決定部
１０２…ｍ×ｎ画素抽出部
１０３…分類１用斜め線検出部
１０４…分類２用斜め線検出部
１０５…分類３用斜め線検出部
１０６…分類４用斜め線検出部
１０７…分類５用斜め線検出部
１０８…分類１用画素生成部
１０９…分類２用画素生成部
１１０…分類３用画素生成部
１１１…分類４用画素生成部
１１２…分類５用画素生成部
１１３…斜め線処理無し画素生成部
１１４…画素混合部
【図１】
2012134922.tif 000043
【図２】
2012134922.tif 000044
【図３】
2012134922.tif 000045
【図４】
2012134922.tif 000046
【図５】
2012134922.tif 000047
【図６】
2012134922.tif 000048
【図７】
2012134922.tif 000049
【図８】
2012134922.tif 000050
【図９】
2012134922.tif 000051
【図１０】
2012134922.tif 000052
【図１１】
2012134922.tif 000053
【図１２】
2012134922.tif 000054
【図１３】
2012134922.tif 000055
【図１４】
2012134922.tif 000056
【図１５】
2012134922.tif 000057
【図１６】
2012134922.tif 000058
【図１７】
2012134922.tif 000059
【図１８】
2012134922.tif 000060
【図１９】
2012134922.tif 000061
【図２０】
2012134922.tif 000062
【図２１】
2012134922.tif 000063
【図２２】
2012134922.tif 000064
【図２３】
2012134922.tif 000065
【図２４】
2012134922.tif 000066
【図２５】
2012134922.tif 000067
【図２６】
2012134922.tif 000068
【図２７】
2012134922.tif 000069
【図２８】
2012134922.tif 000070
【図２９】
2012134922.tif 000071
【図３０】
2012134922.tif 000072
【図３１】
2012134922.tif 000073