(57)【要約】【課題】入力画像の局所的な特徴に応じた補間手法を選択し適用することが可能な、画像拡大装置を提供する。【解決手段】画像データが入力される入力手段１０と、画素間に、高域を強調する第１の補間手法を適用した補間画素を生成する第１補間手段１２と、画素間に、高域を強調しない第２の補間手法を適用した補間画素を生成する第２補間手段１３と、入力手段１０に入力された画像データから、補間対象位置の周辺画素を取り出して画素のパターンを識別し、補間対象位置に対して第１の補間手法を適用するか、第２の補間手法を適用するかを選択する選択手段１１と、選択手段１１の選択に基づいて、第１補間手段１２で挿入される補間画素と、第２補間手段１３で挿入される補間画素のいずれかを、出力補間画素として出力する出力手段１４と、を有する画像拡大装置１が提供される。【選択図】図１
2019121061.tif 000002
【特許請求の範囲】
【請求項１】
格子状に配列された多数の画素からなる画像データが入力され、該画像データに補間手法を適用して拡大画像データを出力する画像拡大装置において、
画像データが入力される入力手段と、
前記入力手段に入力された画像データの画素間に、高域を強調する第１の補間手法を適用した補間画素を生成する第１補間手段と、
前記入力手段に入力された画像データの画素間に、高域を強調しない第２の補間手法を適用した補間画素を生成する第２補間手段と、
前記入力手段に入力された画像データから、補間対象位置の周辺画素を取り出して画素のパターンを識別し、前記補間対象位置に対して前記第１の補間手法を適用するか、前記補間対象位置に対して前記第２の補間手法を適用するかを選択する選択手段と、
前記選択手段の選択に基づいて、前記第１補間手段で挿入される補間画素と、前記第２補間手段で挿入される補間画素のいずれかを、出力補間画素として出力する出力手段と、
を有することを特徴とする画像拡大装置。
【請求項２】
前記選択手段は、前記補間対象位置に隣接し複数の画素を含む参照領域について、互いに隣接する画素間の差分値をそれぞれ算出し、前記差分値により前記参照領域が平坦領域でないと判別される場合には、前記第１の補間手法を選択し、前記差分値により前記参照領域が平坦領域と判別される場合には、前記第２の補間手法を選択することを特徴とする請求項１に記載の画像拡大装置。
【請求項３】
前記選択手段は、前記補間対象位置が左右２画素に対し横方向に隣接する場合、前記補間対象位置の左隣の画素と、該左隣の画素の下隣の画素とを含む第１の参照領域と、該第１の参照領域を１画素分上方向にずらした第２の参照領域と、前記補間対象位置の右隣の画素と、該右隣の画素の下隣の画素とを含む第３の参照領域と、該第３の参照領域を１画素分上方向にずらした第４の参照領域とを参照し、
前記選択手段は、前記補間対象位置が上下２画素に対し縦方向に隣接する場合、前記補間対象位置の下隣の画素と、該下隣の画素の左隣の画素とを含む第１の参照領域と、該第１の参照領域を１画素分右方向にずらした第２の参照領域と、前記補間対象位置の上隣の画素と、該上隣の画素の左隣の画素とを含む第３の参照領域と、該第３の参照領域を１画素分右方向にずらした第４の参照領域とを参照し、
前記選択手段は、前記補間対象位置が周囲の４画素に対し斜め方向に隣接する場合、前記補間対象位置の左上隣の画素と、前記補間対象位置の左下隣の画素とを含む第１の参照領域と、該第１の参照領域を１画素分上方向にずらした第２の参照領域と、前記第１の参照領域を１画素分下方向にずらした第３の参照領域と、前記補間対象位置の右上隣の画素と、前記補間対象位置の右下隣の画素とを含む第４の参照領域と、該第４の参照領域を１画素分上方向にずらした第５の参照領域と、前記第４の参照領域を１画素分下方向にずらした第６の参照領域と、前記補間対象位置の左上隣の画素と、前記補間対象位置の右上隣の画素とを含む第７の参照領域と、前記補間対象位置の左下隣の画素と、前記補間対象位置の右下隣の画素とを含む第８の参照領域とを参照し、
前記選択手段は、参照する複数の参照領域のいずれか１つが、前記差分値により平坦領域と判別される場合には、前記第２の補間手法を選択することを特徴とする請求項２に記載の画像拡大装置。
【請求項４】
前記第１の補間手法は、バイキュービック法またはランツォシュ法であり、前記第２の補間手法は、ニアレストネイバー法であることを特徴とする請求項１〜３のいずれか１項に記載の画像拡大装置。
【請求項５】
前記補間対象位置が周囲の画素と相関する方向性の検出及び方向を判別する方向判別手段をさらに有し、
前記第１補間手段は、前記方向判別手段で方向性が検出されて方向性補間を行う場合、バイキュービック法を用いて補間画素を生成し、
前記第２補間手段は、前記方向判別手段で方向性が検出されて方向性補間を行う場合、バイリニア法を用いて補間画素を生成することを特徴とする請求項１〜３のいずれか１項に記載の画像拡大装置。
【請求項６】
前記選択手段は、前記補間対象位置の周辺から横方向に６画素、縦方向に２画素の横長の参照領域、または、横方向に２画素、縦方向に６画素の縦長の参照領域を取り出し、
前記選択手段は、
前記参照領域の長辺方向に沿う２列の画素値が、いずれも一方向に向かって単調増加または単調減少する第１の条件と、
前記参照領域の短辺方向に沿う６組の画素値が、いずれも一方向に向かって増加または減少する第２の条件と、
前記参照領域で隣接する画素間の差分値の総和が一定の設定値以下である第３の条件と、
のいずれかに合致する場合、前記第２の補間手法を選択することを特徴とする請求項１に記載の画像拡大装置。
【請求項７】
前記選択手段は、前記参照領域をそれぞれ重複しないように複数取り出し、参照する複数の参照領域のいずれか１つが、前記第１の条件、前記第２の条件、前記第３の条件のいずれかに合致する場合、前記第２の補間手法を選択することを特徴とする請求項６に記載の画像拡大装置。
【請求項８】
前記第２の補間手法は、ニアレストネイバー法またはバイリニア法であることを特徴とする請求項６または７に記載の画像拡大装置。
【請求項９】
前記選択手段は、前記補間対象位置の周辺から横方向に６画素、縦方向に２画素の横長の参照領域、または、横方向に２画素、縦方向に６画素の縦長の参照領域を取り出し、
前記選択手段は、
前記参照領域内で斜め方向に隣接する画素同士の差分値を全て算出し、該差分値が全て一定の設定値以下である第１の条件と、
前記参照領域の長辺方向中央に位置し短辺方向に沿う２組の画素の差分値をそれぞれ算出し、該差分値がいずれも一定の設定値以上である第２の条件と、
の両方に合致する場合、前記第２の補間手法を選択することを特徴とする請求項１に記載の画像拡大装置。
【請求項１０】
前記選択手段は、前記補間対象位置が左右２画素に対し横方向に隣接する場合、前記補正対象位置の左隣の画素を左端上側の位置とする前記横長の参照領域を第１の横参照領域として取り出し、さらに、該第１の横参照領域から左側に向かって１画素ずつずらした第２〜６の横参照領域を取り出し、さらに、第１〜６の横参照領域をそれぞれ上側に向かって１画素ずつずらした第７〜１２の横参照領域を取り出し、
前記選択手段は、前記補間対象位置が上下２画素に対し縦方向に隣接する場合、前記補正対象位置の上隣の画素を上端左側の位置とする前記縦長の参照領域を第１の縦参照領域として取り出し、さらに、該第１の縦参照領域から上側に向かって１画素ずつずらした第２〜６の縦参照領域を取り出し、さらに、第１〜６の縦参照領域をそれぞれ左側に向かって１画素ずつずらした第７〜１２の縦参照領域を取り出し、
前記選択手段は、前記補間対象位置が上下左右の４画素に対し斜め方向に隣接する場合、前記補正対象位置の左上隣の画素を左端上側の位置として、前記第１〜６の横参照領域、前記第７〜１２の横参照領域、前記第１〜６の縦参照領域及び前記第７〜１２の縦参照領域を取り出し、
前記選択手段は、参照する複数の参照領域のいずれか１つが、前記第１の条件と前記第２の条件のいずれかに合致する場合、前記第２の補間手法を選択することを特徴とする請求項９に記載の画像拡大装置。
【請求項１１】
前記第２の補間手法は、ニアレストネイバー法であることを特徴とする請求項９または１０に記載の画像拡大装置。
【請求項１２】
前記選択手段は、前記補間対象位置に隣接する画素を中心画素とする横３画素、縦３画素の参照領域を取り出し、
前記選択手段は、前記参照領域に含まれる９画素の最大値と最小値を算出し、前記参照領域の中心画素値が最大値または最小値であり、かつ、一定の値αについて、前記参照領域の中心画素値が最大値の場合には、［中心画素値］＞（（［最大値］−［最小値］）／２＋［最小値］）×αが成り立ち、前記参照領域の中心画素値が最小値の場合には、［中心画素値］＜（（［最大値］−［最小値］）／２＋［最小値］）／αが成り立つ条件に合致したら、前記第２の補間手法を選択することを特徴とする請求項１に記載の画像拡大装置。
【請求項１３】
前記選択手段は、前記補間対象位置が左右２画素に対し横方向に隣接する場合、前記補間対象位置の左隣の画素を中心画素とする第１の参照領域と、前記補間対象位置の右隣の画素を中心画素とする第２の参照領域とを取り出し、
前記選択手段は、前記補間対象位置が上下２画素に対し縦方向に隣接する場合、前記補間対象位置の上隣の画素を中心画素とする第１の参照領域と、前記補間対象位置の下隣の画素を中心画素とする第２の参照領域とを取り出し、
前記選択手段は、前記補間対象位置が上下左右の４画素に対し斜め方向に隣接する場合、前記補間対象位置の左上隣の画素を中心画素とする第１の参照領域と、前記補間対象位置の右上隣の画素を中心画素とする第２の参照領域と、前記補間対象位置の左下隣の画素を中心画素とする第３の参照領域と、前記補間対象位置の右下隣の画素を中心画素とする第４の参照領域とを取り出し、
前記選択手段は、参照する複数の参照領域のいずれか１つが、前記条件に合致したら、前記第２の補間手法を選択することを特徴とする請求項１２に記載の画像拡大装置。
【請求項１４】
前記第２の補間手法は、ニアレストネイバー法であることを特徴とする請求項１２または１３に記載の画像拡大装置。
【請求項１５】
前記選択手段は、前記補間対象位置の周辺から横方向に１１画素、縦方向に５画素の参照領域を取り出し、
前記選択手段は、前記参照領域に含まれる５５画素の最大値と最小値の差分値ＤＲと、ヒストグラムとを算出すると共に、前記参照領域の中心画素及びその周辺画素からなる横３画素、縦３画素の中心領域について、前記中心画素を含む横方向の画素の差分絶対値の和Ｈ１と、前記中心画素を含む縦方向の画素の差分絶対値の和Ｈ２と、前記中心画素及び該中心画素の右上の画素を含む斜め方向の画素の差分絶対値の和Ｈ３と、前記中心画素及び該中心画素の右下の画素を含む斜め方向の画素の差分絶対値の和Ｈ４とを算出し、
前記選択手段は、
前記ヒストグラムから画素値が２値であると判断される第１の条件と、
一定の値βについて、前記和Ｈ１、前記和Ｈ２、前記和Ｈ３、前記和Ｈ４のうち、２つ以上が前記差分値ＤＲのβ倍以上である第２の条件と、
のいずれにも合致する場合、前記第２の補間手法を選択することを特徴とする請求項１に記載の画像拡大装置。
【請求項１６】
前記選択手段は、前記中心領域に含まれる８つの前記周辺画素をそれぞれ中心画素とする８つの追加参照領域につき、前記差分値ＤＲ、前記ヒストグラム、前記和Ｈ１、前記和Ｈ２、前記和Ｈ３、前記和Ｈ４をそれぞれ算出し、前記参照領域と８つの前記追加参照領域のうちいずれか１つが、前記第１の条件と前記第２の条件の両方に合致する場合、前記第２の補間手法を選択することを特徴とする請求項１５に記載の画像拡大装置。
【請求項１７】
前記第２の補間手法は、ニアレストネイバー法であることを特徴とする請求項１５または１６に記載の画像拡大装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に対して画素の補間を行い、拡大画像を出力する画像拡大装置に関する。
【背景技術】
【０００２】
高解像度に対応した映像装置の普及に伴い、低解像度の映像を高解像度の映像に拡大する技術が求められている。低解像度の映像を高解像度の映像に拡大するため、映像装置には、映像を構成する画像の画素を補間して出力する画像拡大装置が設けられる。画像拡大装置は、入力された画像に対して、画素を補間する手法を適用して出力する。
【０００３】
画像拡大装置に画像として自然画像が入力される場合、自然画像に適した補間手法が適用される。自然画像に適した補間手法は、入力信号の波形の変化を強調する補間手法である。これにより、画像にメリハリが生まれて拡大時のボケ感を低減することができる。一方、画像拡大装置にくっきりしたエッジ（Ｅｄｇｅ）を有するグラフィック（Ｇｒａｐｈｉｃ）画像が入力された場合がある。この場合に、入力信号の波形の変化を強調する補間手法を適用すると、エッジ部分にリンギング（Ｒｉｎｇｉｎｇ）が生じるなど、出力画像が不自然になる。くっきりしたエッジを有するグラフィック画像としては、例えば、文字などのキャプションが含まれた画像や、ＰＣの画像などがある。このようなグラフィック画像に対しては、入力信号の波形の変化を強調しない補間手法を適用することが望ましい。
【０００４】
画像拡大装置には、入力された画像のヒストグラム（Ｈｉｓｔｏｇｒａｍ）に基づいて、補間手法を変更するものがある。これにより、自然画像では拡大時のボケ感を抑制しつつ、グラフィック画像では補間による画質劣化を抑えることができる。このような画像拡大装置としては、例えば特許文献１に挙げるようなものがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１８１１０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に挙げるような画像拡大装置は、１つの画像中に自然画像とグラフィック画像が混在している場合に、これらを十分に区別できない。このため、各画像の領域に対して最適な手法を適用できるとは限らない。また、自然画の領域とグラフィック画像の領域との境界部分が不自然な画像となる可能性がある。
【０００７】
また、画像に千鳥模様や孤立点、文字など一定のパターン（Ｐａｔｔｅｒｎ）が含まれる場合、その領域に対し自然画に適した補間手法が適用されると、パターンが正しく拡大されない。そこで、これらのパターンを認識して適切な補間手法を適用することが求められる。
【０００８】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、入力画像の局所的な特徴に応じた補間手法を選択し適用することが可能な、画像拡大装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、格子状に配列された多数の画素からなる画像データが入力され、該画像データに補間手法を適用して拡大画像データを出力する画像拡大装置において、画像データが入力される入力手段と、前記入力手段に入力された画像データの画素間に、高域を強調する第１の補間手法を適用した補間画素を生成する第１補間手段と、前記入力手段に入力された画像データの画素間に、高域を強調しない第２の補間手法を適用した補間画素を生成する第２補間手段と、前記入力手段に入力された画像データから、補間対象位置の周辺画素を取り出して画素のパターンを識別し、前記補間対象位置に対して前記第１の補間手法を適用するか、前記補間対象位置に対して前記第２の補間手法を適用するかを選択する選択手段と、前記選択手段の選択に基づいて、前記第１補間手段で挿入される補間画素と、前記第２補間手段で挿入される補間画素のいずれかを、出力補間画素として出力する出力手段と、を有することを特徴とする画像拡大装置が提供される。
【００１０】
かかる構成によって、補間対象位置の周辺のパターンに適した補間手法で、画像データの拡大を行うことができる。
【００１１】
また、前記選択手段は、前記補間対象位置に隣接し複数の画素を含む参照領域について、互いに隣接する画素間の差分値をそれぞれ算出し、前記差分値により前記参照領域が平坦領域でないと判別される場合には、前記第１の補間手法を選択し、前記差分値により前記参照領域が平坦領域と判別される場合には、前記第２の補間手法を選択するようにしてもよい。これにより、平坦領域及びそれに隣接した画素について、不自然な拡大を抑制できる。
【００１２】
また、前記選択手段は、前記補間対象位置が左右２画素に対し横方向に隣接する場合、前記補間対象位置の左隣の画素と、該左隣の画素の下隣の画素とを含む第１の参照領域と、該第１の参照領域を１画素分上方向にずらした第２の参照領域と、前記補間対象位置の右隣の画素と、該右隣の画素の下隣の画素とを含む第３の参照領域と、該第３の参照領域を１画素分上方向にずらした第４の参照領域とを参照し、前記選択手段は、前記補間対象位置が上下２画素に対し縦方向に隣接する場合、前記補間対象位置の下隣の画素と、該下隣の画素の左隣の画素とを含む第１の参照領域と、該第１の参照領域を１画素分右方向にずらした第２の参照領域と、前記補間対象位置の上隣の画素と、該上隣の画素の左隣の画素とを含む第３の参照領域と、該第３の参照領域を１画素分右方向にずらした第４の参照領域とを参照し、前記選択手段は、前記補間対象位置が周囲の４画素に対し斜め方向に隣接する場合、前記補間対象位置の左上隣の画素と、前記補間対象位置の左下隣の画素とを含む第１の参照領域と、該第１の参照領域を１画素分上方向にずらした第２の参照領域と、前記第１の参照領域を１画素分下方向にずらした第３の参照領域と、前記補間対象位置の右上隣の画素と、前記補間対象位置の右下隣の画素とを含む第４の参照領域と、該第４の参照領域を１画素分上方向にずらした第５の参照領域と、前記第４の参照領域を１画素分下方向にずらした第６の参照領域と、前記補間対象位置の左上隣の画素と、前記補間対象位置の右上隣の画素とを含む第７の参照領域と、前記補間対象位置の左下隣の画素と、前記補間対象位置の右下隣の画素とを含む第８の参照領域とを参照し、前記選択手段は、参照する複数の参照領域のいずれか１つが、前記差分値により平坦領域と判別される場合には、前記第２の補間手法を選択するようにしてもよい。これにより、補間対象位置に応じて、平坦領域判別のために適切な参照領域を取り出すことができる。
【００１３】
また、前記第１の補間手法は、バイキュービック（Ｂｉ−Ｃｕｂｉｃ）法またはランツォシュ（Ｌａｎｃｚｏｓ）法であり、前記第２の補間手法は、ニアレストネイバー（Ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ）法であってもよい。これにより、自然画像の領域において、拡大時のボケ感を低減できる。
【００１４】
また、前記補間対象位置が周囲の画素と相関する方向性の検出及び方向を判別する方向判別手段をさらに有し、前記第１補間手段は、前記方向判別手段で方向性が検出されて方向性補間を行う場合、バイキュービック法を用いて補間画素を生成し、前記第２補間手段は、前記方向判別手段で方向性が検出されて方向性補間を行う場合、バイリニア法を用いて補間画素を生成するようにしてもよい。これにより、平坦領域のリンギングを低減できる。
【００１５】
また、前記選択手段は、前記補間対象位置の周辺から横方向に６画素、縦方向に２画素の横長の参照領域、または、横方向に２画素、縦方向に６画素の縦長の参照領域を取り出し、前記選択手段は、前記参照領域の長辺方向に沿う２列の画素値が、いずれも一方向に向かって単調増加または単調減少する第１の条件と、前記参照領域の短辺方向に沿う６組の画素値が、いずれも一方向に向かって増加または減少する第２の条件と、前記参照領域で隣接する画素間の差分値の総和が一定の設定値以下である第３の条件と、のいずれかに合致する場合、前記第２の補間手法を選択するようにしてもよい。これにより、グラデーション（Ｇｒａｄａｔｉｏｎ）の領域において、不自然な拡大を抑制できる。
【００１６】
また、前記選択手段は、前記参照領域をそれぞれ重複しないように複数取り出し、参照する複数の参照領域のいずれか１つが、前記第１の条件、前記第２の条件、前記第３の条件のいずれかに合致する場合、前記第２の補間手法を選択するようにしてもよい。これにより、グラデーションの領域の端部においても、確実に判別を行うことができる。
【００１７】
また、前記第２の補間手法は、ニアレストネイバー法またはバイリニア法であってもよい。これにより、グラデーションの領域を自然な画質で拡大することができる。
【００１８】
また、前記選択手段は、前記補間対象位置の周辺から横方向に６画素、縦方向に２画素の横長の参照領域、または、横方向に２画素、縦方向に６画素の縦長の参照領域を取り出し、前記選択手段は、前記参照領域内で斜め方向に隣接する画素同士の差分値を全て算出し、該差分値が全て一定の設定値以下である第１の条件と、前記参照領域の長辺方向中央に位置し短辺方向に沿う２組の画素の差分値をそれぞれ算出し、該差分値がいずれも一定の設定値以上である第２の条件と、の両方に合致する場合、前記第２の補間手法を選択するようにしてもよい。これにより、千鳥模様の領域において、模様を維持して画像データを拡大できる。
【００１９】
また、前記選択手段は、前記補間対象位置が左右２画素に対し横方向に隣接する場合、前記補正対象位置の左隣の画素を左端上側の位置とする前記横長の参照領域を第１の横参照領域として取り出し、さらに、該第１の横参照領域から左側に向かって１画素ずつずらした第２〜６の横参照領域を取り出し、さらに、第１〜６の横参照領域をそれぞれ上側に向かって１画素ずつずらした第７〜１２の横参照領域を取り出し、前記選択手段は、前記補間対象位置が上下２画素に対し縦方向に隣接する場合、前記補正対象位置の上隣の画素を上端左側の位置とする前記縦長の参照領域を第１の縦参照領域として取り出し、さらに、該第１の縦参照領域から上側に向かって１画素ずつずらした第２〜６の縦参照領域を取り出し、さらに、第１〜６の縦参照領域をそれぞれ左側に向かって１画素ずつずらした第７〜１２の縦参照領域を取り出し、前記選択手段は、前記補間対象位置が上下左右の４画素に対し斜め方向に隣接する場合、前記補正対象位置の左上隣の画素を左端上側の位置として、前記第１〜６の横参照領域、前記第７〜１２の横参照領域、前記第１〜６の縦参照領域及び前記第７〜１２の縦参照領域を取り出し、前記選択手段は、参照する複数の参照領域のいずれか１つが、前記第１の条件と前記第２の条件のいずれかに合致する場合、前記第２の補間手法を選択するようにしてもよい。これにより、千鳥模様の領域の端部においても、確実に判別を行うことができる。
【００２０】
また、前記第２の補間手法は、ニアレストネイバー法であってもよい。これにより、千鳥模様を確実に維持しながら画像データを拡大できる。
【００２１】
また、前記選択手段は、前記補間対象位置に隣接する画素を中心画素とする横３画素、縦３画素の参照領域を取り出し、前記選択手段は、前記参照領域に含まれる９画素の最大値と最小値を算出し、前記参照領域の中心画素値が最大値または最小値であり、かつ、一定の値αについて、前記参照領域の中心画素値が最大値の場合には、［中心画素値］＞（（［最大値］−［最小値］）／２＋［最小値］）×αが成り立ち、前記参照領域の中心画素値が最小値の場合には、［中心画素値］＜（（［最大値］−［最小値］）／２＋［最小値］）／αが成り立つ条件に合致したら、前記第２の補間手法を選択するようにしてもよい。これにより、孤立点の模様を維持して画像データを拡大できる。
【００２２】
また、前記選択手段は、前記補間対象位置が左右２画素に対し横方向に隣接する場合、前記補間対象位置の左隣の画素を中心画素とする第１の参照領域と、前記補間対象位置の右隣の画素を中心画素とする第２の参照領域とを取り出し、前記選択手段は、前記補間対象位置が上下２画素に対し縦方向に隣接する場合、前記補間対象位置の上隣の画素を中心画素とする第１の参照領域と、前記補間対象位置の下隣の画素を中心画素とする第２の参照領域とを取り出し、前記選択手段は、前記補間対象位置が上下左右の４画素に対し斜め方向に隣接する場合、前記補間対象位置の左上隣の画素を中心画素とする第１の参照領域と、前記補間対象位置の右上隣の画素を中心画素とする第２の参照領域と、前記補間対象位置の左下隣の画素を中心画素とする第３の参照領域と、前記補間対象位置の右下隣の画素を中心画素とする第４の参照領域とを取り出し、前記選択手段は、参照する複数の参照領域のいずれか１つが、前記条件に合致したら、前記第２の補間手法を選択するようにしてもよい。これにより、補間対象位置に隣接する画素が孤立点であるか否かを確実に判別できる。
【００２３】
また、前記第２の補間手法は、ニアレストネイバー法であってもよい。これにより、孤立点の模様を確実に維持しながら画像データを拡大できる。
【００２４】
また、前記選択手段は、前記補間対象位置の周辺から横方向に１１画素、縦方向に５画素の参照領域を取り出し、前記選択手段は、前記参照領域に含まれる５５画素の最大値と最小値の差分値ＤＲと、ヒストグラムとを算出すると共に、前記参照領域の中心画素及びその周辺画素からなる横３画素、縦３画素の中心領域について、前記中心画素を含む横方向の画素の差分絶対値の和Ｈ１と、前記中心画素を含む縦方向の画素の差分絶対値の和Ｈ２と、前記中心画素及び該中心画素の右上の画素を含む斜め方向の画素の差分絶対値の和Ｈ３と、前記中心画素及び該中心画素の右下の画素を含む斜め方向の画素の差分絶対値の和Ｈ４とを算出し、前記選択手段は、前記ヒストグラムから画素値が２値であると判断される第１の条件と、一定の値βについて、前記和Ｈ１、前記和Ｈ２、前記和Ｈ３、前記和Ｈ４のうち、２つ以上が前記差分値ＤＲのβ倍以上である第２の条件と、のいずれにも合致する場合、前記第２の補間手法を選択するようにしてもよい。これにより、文字の領域を判別して、鮮明な文字の線を維持しながら画像データを拡大できる。
【００２５】
また、前記選択手段は、前記中心領域に含まれる８つの前記周辺画素をそれぞれ中心画素とする８つの追加参照領域につき、前記差分値ＤＲ、前記ヒストグラム、前記和Ｈ１、前記和Ｈ２、前記和Ｈ３、前記和Ｈ４をそれぞれ算出し、前記参照領域と８つの前記追加参照領域のうちいずれか１つが、前記第１の条件と前記第２の条件の両方に合致する場合、前記第２の補間手法を選択するようにしてもよい。これにより、文字の線の端部においても、確実にパターンを判別できる。
【００２６】
また、前記第２の補間手法は、ニアレストネイバー法であってもよい。これにより、鮮明な文字の線を確実に維持しながら画像データを拡大できる。
【発明の効果】
【００２７】
本発明によれば、画像の局所的な特徴に応じて、適切な補間手法を選択することにより、高画質で不自然さを抑制した拡大画像を得ることができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施形態に係る画像拡大装置の構成を示すブロック図である。
【図２】画像データに含まれる画素と、補間対象位置との配置関係を表した図である。
【図３】補間手法を選択するフローチャートである。
【図４】補間対象位置が画素に対し横方向に隣接する場合の参照領域の範囲を表す図である。
【図５】補間対象位置が画素に対し縦方向に隣接する場合の参照領域の範囲を表す図である。
【図６】補間対象位置が画素に対し斜め方向に隣接する場合の参照領域の範囲を表す図である。
【図７】本発明の第２の実施形態に係る画像拡大装置の構成を示すブロック図である。
【図８】特定の画素を基準とした方向であって、規格化された方向を表す図である。
【図９】第２の実施形態における第１の補間手法を表す説明図である。
【図１０】第２の実施形態における第２の補間手法を表す説明図である。
【図１１】第２の実施形態における補間手法選択のフローチャートである。
【図１２】第３の実施形態における補間手法選択のフローチャートである。
【図１３】第３の実施形態において、補間対象位置が画素に対し横方向に隣接する場合の参照領域の範囲を表す図である。
【図１４】第３の実施形態において、補間対象位置が画素に対し縦方向に隣接する場合の参照領域の範囲を表す図である。
【図１５】第３の実施形態において、参照領域に対し行う演算の内容を表した説明図である。
【図１６】第４の実施形態における補間手法選択のフローチャートである。
【図１７】第４の実施形態において、参照領域に対し行う演算の内容を表した説明図である。
【図１８】千鳥模様を構成する１単位が隣り合う２画素の場合における、参照領域に対し行う演算の内容を表した説明図である。
【図１９】第５の実施形態における補間手法選択のフローチャートである。
【図２０】第５の実施形態において、補間対象位置が画素に対し横方向に隣接する場合の参照領域の範囲を表す図である。
【図２１】第５の実施形態において、補間対象位置が画素に対し縦方向に隣接する場合の参照領域の範囲を表す図である。
【図２２】第５の実施形態において、補間対象位置が画素に対し斜め方向に隣接する場合の参照領域の範囲を表す図である。
【図２３】第６の実施形態における補間手法選択のフローチャートである。
【図２４】第６の実施形態において、参照領域に対し行う演算の内容を表した説明図である。
【発明を実施するための形態】
【００２９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３０】
＜１．第１の実施形態＞
［画像拡大装置の構成］
まず、図１を参照して、本発明の第１の実施形態に係る画像拡大装置１の構成について説明する。画像拡大装置１には、格子状に配列された多数の画素からなる画像データが入力される。画像拡大装置１は、入力された画像データの各画素間に補間画素を挿入し、拡大画像データを出力する。
【００３１】
画像拡大装置１は、画像データを含む入力信号が入力される入力手段１０を有している。また、画像拡大装置１は、入力された画像データに基づき補間手法を選択する選択手段１１を有している。また、画像拡大装置１は、画像データの画素に対し、第１の補間手法で補間画素を生成する第１補間手段１２と、第２の補間手法で補間画素を生成する第２補間手段１３とを有する。第１の補間手法は、画像の高域を強調する補間手法である。また、第２の補間手法は、画像の高域を強調しない補間手法である。各補間手法の詳細は後で説明する。出力手段１４は、選択手段１３で選択された補間手法で生成された画素を、補間画素として出力する。
【００３２】
［補間画素の配置］
画像拡大装置１は、画像データに含まれる全ての画素について、補間画素をそれぞれ挿入し、拡大画像データを生成する。図２を参照して、補間画素の配置関係について説明する。本実施形態では、入力された画像データを、横方向と縦方向にそれぞれ２倍に拡大するものとする。
【００３３】
画素Ａについての補間画素は、画素Ａと画素Ｂとの間である補間対象位置ａ１と、画素Ａと画素Ｃとの間である補間対象位置ａ２とに生成される。これに加えて、画素Ａについての補間画素は、画素Ａと画素Ｄとの間である補間対象位置ａ３にも生成される。補間対象位置ａ１は、左右に並んだ画素Ａと画素Ｂとに対し横方向に隣接する。補間対象位置ａ２は、上下に並んだ画素Ａと画素Ｃとに対し縦方向に隣接する。補間対象位置ａ３は、周囲の画素Ａ、画素Ｂ、画素Ｃ、及び画素Ｄに対し斜め方向に隣接する。
【００３４】
［補間手法］
第１の補間手法は、前述のように画像の高域を強調する補間手法である。このような補間手法は、画像データにおける波形の変化を強調することで、オーバーシュート（Ｏｖｅｒｓｈｏｏｔ）またはアンダーシュート（Ｕｎｄｅｒｓｈｏｏｔ）を付加する。これにより、画像にメリハリが生じ、拡大時のボケ感を低減できる。一方で、第１の補間手法は、画像中のエッジ部分にリンギング（Ｒｉｎｇｉｎｇ）を生じさせる。第１の補間手法は、自然画像に適しており、具体的には、バイキュービック（Ｂｉ−Ｃｕｂｉｃ）法、またはランツォシュ（Ｌａｎｃｚｏｓ）法を用いることができる。ただし、第１の補間手法はこれらに限られず、それ以外の補間手法でもよい。
【００３５】
第２の補間手法は、前述のように画像の高域を強調しない補間手法である。このような補間手法では、自然画像でのボケ感低減の効果は得られない。一方、第２の補間手法は、くっきりしたエッジ部分においてリンギングを生じさせないため、グラフィック画像に適している。第２の補間手法としては、ニアレストネイバー（Ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ）法を採用することができる。ただし、第２の補間手法はこれに限られず、それ以外の補間手法でもよい。
【００３６】
［補間手法の選択］
図３を参照して、本実施形態における補間手法の選択について説明する。選択手段１３は、まず、補間対象位置の周辺から参照領域を取り出す（Ｓ１−１）。参照領域については、図４〜６を参照して説明する。
【００３７】
補間対象位置ａ１に対して補間画素を生成する場合、参照領域は図４に示す４つの領域である。図４（ａ）の参照領域Ｒ１−１は、補間対象位置ａ１の左隣の画素Ａと、画素Ａの下隣の画素とを含む横２画素、縦２画素の４画素からなる領域である。図４（ｂ）の参照領域Ｒ１−２は、参照領域Ｒ１−１を１画素分上方向にずらした領域である。図４（ｃ）の参照領域Ｒ１−３は、補間対象位置ａ１の右隣の画素Ｂと、画素Ｂの下隣の画素とを含む横２画素、縦２画素の４画素からなる領域である。図４（ｄ）の参照領域Ｒ１−４は、参照領域Ｒ１−３を１画素分上方向にずらした領域である。
【００３８】
補間対象位置ａ２に対して補間画素を生成する場合、参照領域は図５に示す４つの領域である。図５（ａ）の参照領域Ｒ２−１は、補間対象位置ａ２の下隣の画素Ｃと、画素Ｃの左隣の画素とを含む横２画素、縦２画素の４画素からなる領域である。図５（ｂ）の参照領域Ｒ２−２は、参照領域Ｒ２−１を１画素分右方向にずらした領域である。図５（ｃ）の参照領域Ｒ２−３は、補間対象位置ａ２の上隣の画素Ａと、画素Ａの左隣の画素とを含む横２画素、縦２画素の４画素からなる領域である。図５（ｄ）の参照領域Ｒ２−４は、参照領域Ｒ２−３を１画素分右方向にずらした領域である。
【００３９】
補間対象位置ａ３に対して補間画素を生成する場合、参照領域は図６に示す８つの領域である。図６（ａ）の参照領域Ｒ３−１は、補間対象位置ａ３の左上隣の画素Ａと、左下隣の画素Ｃとを含む横２画素、縦２画素の４画素からなる領域である。図６（ｂ）の参照領域Ｒ３−２は、参照領域Ｒ３−１を１画素分上方向にずらした領域である。図６（ｃ）の参照領域Ｒ３−３は、参照領域Ｒ３−１を１画素分下方向にずらした領域である。図６（ｄ）の参照領域Ｒ３−４は、補間対象位置ａ３の右上隣の画素Ｂと、右下隣の画素Ｄとを含む横２画素、縦２画素の４画素からなる領域である。図６（ｅ）の参照領域Ｒ３−５は、参照領域Ｒ３−４を１画素分上方向にずらした領域である。図６（ｆ）の参照領域Ｒ３−６は、参照領域Ｒ３−４を１画素分下方向にずらした領域である。図６（ｇ）の参照領域Ｒ３−７は、補間対象位置ａ３の左上隣の画素Ａと、右上隣の画素Ｂとを含む横２画素、縦２画素の４画素からなる領域である。図６（ｈ）の参照領域Ｒ３−８は、補間対象位置ａ３の左下隣の画素Ｃと、右下隣の画素Ｄとを含む横２画素、縦２画素の４画素からなる領域である。
【００４０】
選択手段１３は、参照領域を取り出したら、各参照領域の隣接する画素間の差分値を算出する（Ｓ１−２）。図４（ａ）に示されているように、各参照領域には、横方向または縦方向に隣接する４組の画素の対がある。これらのそれぞれについて差分の絶対値が算出される。
【００４１】
次に、Ｓ１−２で算出された各値について、全てが一定の設定値以下であるか否か判別される（Ｓ１−３）。差分の絶対値が全て設定値以下である場合、当該参照領域を構成する画素はほぼ同一であり、平坦な領域であると判断される。平坦な領域は、グラフィック画像の領域と推定される。差分の絶対値のうち少なくとも１つが設定値より大きい場合は、当該参照領域は平坦でない領域と判断される。平坦でない領域は、自然画像の領域と推定される。
【００４２】
Ｓ１−３での判別は、参照領域の４つの画素値の差が小さいことを検出できればよい。したがって、前述のように手法には限られず、４つの差分の絶対値の和が、一定の設定値以下であるか否かを判別するなど、その他の手法でもよい。
【００４３】
Ｓ１−３において選択手段１３は、Ｓ１−１で取り出された全ての参照領域について、差分の絶対値が全て設定値以下であるか否かを判別する。その結果、いずれか１つの参照領域が平坦な領域と判断された場合、選択手段１３は、第２の補間手法を選択する（Ｓ１−４）。全ての参照領域が平坦でない領域と判断された場合、選択手段１３は、第１の補間手法を選択する（Ｓ１−５）。
【００４４】
このように、本実施形態では、補間対象位置の周辺の参照領域が、平坦な領域と判断されるか否かで、補間手法を切替える。これにより、自然画像の領域では、高域を強調する第１の補間手法が適用され、グラフィック画像の領域では、高域を強調しない第２の補間手法が適用される。この補間手法の切替により、自然画像の領域では拡大時のボケ感を低減しつつ、グラフィック画像の領域では、エッジ部分が不自然となることを防ぐことができる。
【００４５】
＜２．第２の実施形態＞
［画像拡大装置の構成］
次に、第２の実施形態について説明する。図７に示すように、第２の実施形態の画像拡大装置２０は、入力信号が入力される入力手段２１を有している。入力手段２１からの画像データは、方向判別手段２２に送られる。方向判別手段２２では、補間対象位置の方向性の有無及び方向が判別される。また、画像拡大装置２０は、第１補間手段２４及び第２補間手段２５と、これらのいずれかを選択する選択手段２３とを有している。さらに、画像拡大装置２０は、方向性補間を行わない場合に採用される算術補間手段２６を有している。
【００４６】
［方向性判別手法及び補間手法］
方向性補間は、画像データから相関する方向を検出し、当該方向と平行な方向から補間のための画素を選択する。これにより、画像の拡大に伴うエッジの不鮮明化を抑制できる。補間対象位置における方向性の検出手法としては、ゾーベルフィルタ（Ｓｏｂｅｌ  ｆｉｌｔｅｒ）を用いることができる。ただし、方向性の検出手法はこれに限られず、例えばプレヴィットフィルタ（Ｐｒｅｗｉｔｔ  ｆｉｌｔｅｒ）など他の手法でもよい。
【００４７】
第１補間手段２４で適用される第１の補間手法と、第２補間手段２５で適用される第２の補間手法は、いずれも方向性補間の手法である。方向性補間を行う際には、補間に用いる画素を選択するために相関方向の情報が必要である。画像データの画素は、縦横に一定の間隔で並んでいるので、画素の選択に必要な角度情報は、画素の配置を基準に規格化できる。図８に示されているように、画素Ａを基準として、横方向に１画素、縦方向に１画素離れた画素Ｐ１に向かう方向を「１」とする。画素Ａを基準として、横方向に２画素、縦方向に３画素離れた画素Ｐ２に向かう方向は「２／３」である。同様に、画素Ａから画素Ｐ３に向かう方向は「２」、画素Ａから画素Ｐ４に向かう方向は「５／２」である。さらに、画素Ａから画素Ｐ５に向かう方向は「３」、画素Ａから画素Ｐ６に向かう方向は「４」、画素Ａから画素Ｐ７に向かう方向は「５」である。画素Ａから水平な方向から、方向「１」までの角度範囲は、これらの数値の逆数で表される。また、これまで説明した方向は、第１象限及び第３象限に向かう方向である。これに対し、第２象限及び第４象限に向かう方向は、負の方向として表される。
【００４８】
第１の補間手法につき図９を参照して説明する。第１の補間手法は、第１の実施形態と同様に、高域を強調する補間手法である。この例では、補間対象位置ａ１の相関方向が、方向「３」であるものとする。第１の補間手法で補間対象位置ａ１に補間画素を生成するには、４つの画素が必要である。
【００４９】
まず、補間対象位置ａ１を通る方向「３」の線Ｌ１と、この線Ｌ１の法線である線Ｌ２を引く。次に、線Ｌ１に平行な線であって、他の画素の中心位置を通る線を引く。このような線は複数存在する。そのうち、線Ｌ１に最も近いものとして、画素Ｅ及び画素Ｅ’の中心を通る線Ｌ３と、画素Ｃ及び画素Ｃ’の中心を通る線Ｌ４を引く。線Ｌ３と線Ｌ２の交点を、補間用点ｑ１とする。補間用点ｑ１の画素値は、画素Ｅと画素Ｅ’の画素値から算出される。また、線Ｌ４と線Ｌ２の交点を、補間用点ｑ２とする。補間用点ｑ２の画素値は、画素Ｃと画素Ｃ’の画素値から算出される。線Ｌ３や線Ｌ４の次に線Ｌ１に近いものとして、画素Ｆ及び画素Ｆ’の中心を通る線Ｌ５と、画素Ｇ及び画素Ｇ’の中心を通る線Ｌ６とを引く。線Ｌ５と線Ｌ２の交点を、補間用点ｑ３とする。補間用点ｑ３の画素値は、画素Ｆと画素Ｆ’の画素値から算出される。また、線Ｌ６と線Ｌ２の交点を、補間用点ｑ４とする。補間用点ｑ４の画素値は、画素Ｇと画素Ｇ’の画素値から算出される。各補間用点の算出には、バイリニア（Ｂｉ−Ｌｉｎｅａｒ）法が用いられる。
【００５０】
その上で、補間用点ｑ１，ｑ２，ｑ３，ｑ４の４点から、バイキュービック法により、補間対象位置ａ１の画素を生成する。このように、補間対象位置で検出された相関方向において、実際に存在する画素を用いて４つの補間用点の画素値を算出している。これにより、バイキュービック法を用いた補間画素の生成を行うことができる。補間画素の生成にバイキュービック法を用いることにより、先鋭度の高い斜め線を生成することができる。なお、その他の相関方向、補間対象位置の場合にも、同様に４点の補間用点が算出され、バイキュービック法で補間画素が生成される。
【００５１】
第２の補間手法につき図１０を参照して説明する。第２の補間手法は、第１の実施形態と同様に、高域を強調しない補間手法である。この例でも、補間対象位置ａ１の相関方向が、方向「３」であるものとする。第２の補間手法で補間対象位置ａ１に補間画素を生成するには、２つの画素が必要である。
【００５２】
まず、補間対象位置ａ１を通る方向「３」の線Ｌ１と、この線Ｌ１の法線である線Ｌ２を引く。次に、線Ｌ１に平行な線であって、他の画素の中心位置を通る線のうち、線Ｌ１に最も近い線を引く。これは、図８の場合と同様、画素Ｅ及び画素Ｅ’の中心を通る線Ｌ３と、画素Ｃ及び画素Ｃ’の中心を通る線Ｌ４である。線Ｌ３と線Ｌ２の交点を、補間用点ｑ１とする。補間用点ｑ１の画素値は、画素Ｅと画素Ｅ’の画素値から算出される。また、線Ｌ４と線Ｌ２の交点を、補間用点ｑ２とする。補間用点ｑ２の画素値は、画素Ｃと画素Ｃ’の画素値から算出される。各補間用点の算出には、バイリニア法が用いられる。
【００５３】
その上で、補間用点ｑ１，ｑ２の２点から、バイリニア法により、補間対象位置ａ１の画素を生成する。このように、補間対象位置で検出された相関方向において、実際に存在する画素を用いて２つの補間用点の画素値を算出している。これにより、バイリニア法を用いた補間画素の生成を行うことができる。補間画素の生成にバイリニア法を用いることにより、滑らかな斜め線を生成することができる。
【００５４】
算術補間手段２６で用いられる補間手法は、方向性補間以外の通常の補間手法である。算術補間手段２６は、バイリニア法、バイキュービック法など任意の補間手法を採用できる。また、算術補間手段２６に２つの補間手段と選択手段を設け、第１の実施形態と同様、参照領域が平坦領域であるか否かによって、補間手法を切替えてもよい。
【００５５】
［補間手法の選択］
図１１を参照して、本実施形態における補間手法の選択について説明する。まず、方向判別手段２２が、補間対象位置の方向性の有無及び方向を検出する。（Ｓ２−１）。Ｓ２−１で方向性が検出された場合、選択手段２３は、補間対象位置の周辺から参照領域を取り出す（Ｓ２−１）。取り出す参照領域は、第１の実施形態の場合と同じである。
【００５６】
選択手段２３は、参照領域を取り出したら、各参照領域の隣接する画素間の差分値を算出し、参照領域が平坦領域であるか否かを判別する（Ｓ２−３）。平坦領域であるか否かの判別は、第１の実施形態の場合と同じである。また、Ｓ２−３の判別は、取り出された全ての参照領域について行われる。
【００５７】
Ｓ２−３において、いずれか１つの参照領域が平坦な領域と判断された場合、選択手段２３は、第２の補間手法を選択する（Ｓ２−４）。全ての参照領域が平坦でない領域と判断された場合、選択手段２３は、第１の補間手法を選択する（Ｓ２−５）。
【００５８】
また、Ｓ２−１において方向性が検出されなかった場合、算術補間手段２６が選択される（Ｓ２−６）。
【００５９】
このように、本実施形態では、補間対象位置の周辺の参照領域が、平坦な領域と判断されるか否かで、方向性補間の手法を切替える。これにより、自然画像の領域では、先鋭感のある斜め線を生成しつつ、グラフィック画像の領域では、リンギングを抑えた斜め線を生成できる。
【００６０】
＜３．第３の実施形態＞
次に、第３の実施形態について説明する。本実施形態の画像拡大装置１の構成は、第１の実施形態と同じである。本実施形態では、選択手段１３が、補間対象位置の周辺にグラデーションのパターンがあるか否かを判別する。
【００６１】
［補間手法］
本実施形態において、第１の補間手法は、バイキュービック法、またはランツォシュ法を用いることができる。ただし、第１の補間手法はこれらに限られず、高域を強調するそれ以外の補間手法でもよい。
【００６２】
本実施形態において、第２の補間手法は、ニアレストネイバー法またはバイリニア法である。ただし、第２の補間手法はこれらに限られず、高域を強調しないそれ以外の補間手法でもよい。
【００６３】
［補間手法の選択］
図１２を参照して、本実施形態における補間手法の選択について説明する。選択手段１３は、まず、補間対象位置の周辺から参照領域を取り出す（Ｓ３−１）。参照領域については、図１３〜１４を参照して説明する。
【００６４】
まず、横方向両側の画素と隣接する補間対象位置ａ１について説明する。補間対象位置ａ１に補間画素を生成する場合、図１３のように、横方向に６画素、縦方向に２画素の横長の参照領域が取り出される。図１３（ａ）の参照領域は、補正対象位置ａ１の左隣の画素を参照領域の左端上側の位置としている。図１３（ｂ）〜（ｆ）に示されているように、図１３（ａ）の参照領域を、左方向に１画素ずつずらした参照領域も取り出される。また、図１３に示す６つの参照領域をそれぞれ１画素ずつ上側に向かってずらした参照領域も取り出される。
【００６５】
次に、縦方向両側の画素と隣接する補間対象位置ａ２について説明する。補間対象位置ａ２に補間画素を生成する場合、図１４のように、横方向に２画素、縦方向に６画素の縦長の参照領域が取り出される。図１４（ａ）の参照領域は、補正対象位置ａ２の下隣の画素を参照領域の上端左側の位置としている。図１４（ｂ）〜（ｆ）に示されているように、図１４（ａ）の参照領域を、上方向に１画素ずつずらした参照領域も取り出される。また、図１４に示す６つの参照領域をそれぞれ１画素ずつ左側に向かってずらした参照領域も取り出される。
【００６６】
次に、周囲４画素と斜め方向に隣接する補間対象位置ａ３について説明する。補間対象位置ａ３に補間画素を生成する場合、図１３の横長の参照領域と図１４の縦長の参照領域の両方が取り出される。横長の参照領域は、補間対象位置ａ１の場合と同様、１２種類取り出される。また、縦長の参照領域は、補間対象位置ａ２の場合と同様、１２種類取り出される。
【００６７】
次に、取り出した参照領域について、３つの条件に合致するか否かを判別する。第１の条件は、図１５（ａ）に示すように、参照領域の長辺方向に沿う２列の画素値が、いずれも一方向に向かって単調増加または単調減少することである。この判別をＳ３−２にて行う。第２の条件は、図１５（ｂ）に示すように、参照領域の短辺方向に沿う６組の画素値が、いずれも一方向に向かって増加または減少することである。この判別をＳ３−３にて行う。第３の条件は、図１５（ｃ）に示すように、参照領域で隣接する画素間の差分値をそれぞれ算出し、その総和が一定の設定値以下となることである。この判別をＳ３−４にて行う。Ｓ３−２、Ｓ３−３、Ｓ３−４では、取り出された全ての参照領域について判別を行う。
【００６８】
判別したいずれかの参照領域について、第１〜３の条件のうち１つ以上が合致する場合、補間対象位置の周辺がグラデーションのパターンと判断される。この場合、第２の補間手法が選択される（Ｓ３−５）。判別した全ての参照領域について、第１〜３の条件に合致しない場合、補間対象位置の周辺がグラデーションのパターンではないと判断される。この場合、第１の補間手法が選択される。（Ｓ３−６）。
【００６９】
グラデーションのパターンに対し、高域を強調する第１の補間手法を適用すると、グラデーションに存在する微小な輝度差が強調される。これにより、バンディング（Ｂａｎｄｉｎｇ）と呼ばれる濃淡の縞模様が発生する。本実施形態では、補間対象位置の周辺にグラデーションのパターンがあるか否かを判別し、グラデーションの場合は高域を強調しない第２の補間手法を選択する。これにより、バンディングの発生を抑制できる。
【００７０】
また、参照領域を補間対象位置の周囲に複数取り出すことで、グラデーションの端の領域についても、確実な判別を可能としている。
【００７１】
＜４．第４の実施形態＞
次に、第４の実施形態について説明する。本実施形態の画像拡大装置１の構成は、第１の実施形態と同じである。本実施形態では、選択手段１３が、補間対象位置の周辺に千鳥模様のパターンがあるか否かを判別する。
【００７２】
［補間手法］
本実施形態において、第１の補間手法は、バイキュービック法、またはランツォシュ法を用いることができる。ただし、第１の補間手法はこれらに限られず、高域を強調するそれ以外の補間手法でもよい。
【００７３】
本実施形態において、第２の補間手法は、ニアレストネイバー法である。ただし、第２の補間手法はこれらに限られず、高域を強調しないそれ以外の補間手法でもよい。
【００７４】
［補間手法の選択］
図１６を参照して、本実施形態における補間手法の選択について説明する。選択手段１３は、まず、補間対象位置の周辺から参照領域を取り出す（Ｓ４−１）。取り出す参照領域は、第３の実施形態と同じであるので、説明は省略する。
【００７５】
次に、取り出した参照領域について、２つの条件に合致する否かを判別する。第１の条件は、参照領域内で斜め方向に隣接する画素同士の差分の絶対値が、全て一定の設定値以下となることである。図１７（ａ）に示すように、参照領域内で斜め方向に隣接する画素の組は、全部で１０組である。参照領域が千鳥模様の場合、斜め方向に隣接する画素同士の差は小さい。これを第１の条件で検出することができる。
【００７６】
第２の条件は、参照領域の長辺方向中央に位置し短辺方向に沿う２組の画素の差分値をそれぞれ算出し、これらの差分値がいずれも一定の設定値以上となることである。図１７（ｂ）に示すように、参照領域が千鳥模様の場合、短辺方向に隣接する画素同士の差は大きい。これを第２の条件で検出することができる。
【００７７】
図１７は横長の参照領域を表しているが、縦長の参照領域においても、第１の条件と第２の条件とが同様に判別される。
【００７８】
参照領域は、Ｓ４−２で第１の条件が判別され、第１の条件に合致する場合は、Ｓ４−３で第２の条件が判別される。Ｓ４−３で第２の条件に合致する場合は、第２の補間手法が選択される。Ｓ４−２またはＳ４−３で第１の条件または第２の条件に合致しない場合、第１の補間手法が選択される。参照領域は複数が取り出されるので、各参照領域について判別が行われる。選択手段１３は、いずれか１つの参照領域が第１の条件及び第２の条件に合致する場合、第２の補間手法を選択する。
【００７９】
図１７は、千鳥模様を構成する１単位が１画素の場合である。これに加えて、図１８に示すように、千鳥模様を構成する１単位が、隣り合う２画素の場合も考えられる。本実施形態では、この場合を想定した条件をさらに加えることが望ましい。参照領域内で千鳥模様を構成する１単位は、図１８（ａ）の画素Ｒと画素Ｓのように、長辺方向に隣り合う２画素ずつの６組である。この場合の第１の条件は、１単位内の画素同士の差分の絶対値が設定値以下であって、斜め方向に隣接する単位の画素同士の差分の絶対値も設定値以下となることである。例えば、図１８（ａ）において、画素Ｓと画素Ｔが、斜め方向に隣接している。参照領域内で、斜め方向に隣接する単位の組は、６組である。第２の条件は、図１７の場合と同様、参照領域の長辺方向中央に位置し短辺方向に沿う２組の画素の差分の絶対値が、いずれも設定値以上となることである。これらの条件の両方に合致する場合、千鳥模様と判別される。
【００８０】
なお、千鳥模様を構成する１単位が、横２画素、縦２画素以上の大きさを有する場合は、第１の実施形態で説明した平坦領域として、判別可能である。
【００８１】
規則的に配列された千鳥模様に対して、補間対象位置の周辺画素を混合する第１の補間手法を適用すると、千鳥模様のパターンが崩れる。本実施形態では、補間対象位置が千鳥模様に含まれるか否かを判別し、千鳥模様の場合は画素を混合しない第２の補間手法を選択する。これにより、千鳥模様を維持したまま拡大することができる。
【００８２】
また、参照領域を補間対象位置の周囲に複数取り出すことで、千鳥模様の端の領域についても、確実な判別を可能としている。
【００８３】
＜５．第５の実施形態＞
次に、第５の実施形態について説明する。本実施形態の画像拡大装置１の構成は、第１の実施形態と同じである。本実施形態では、選択手段１３が、補間対象位置に隣接する画素が孤立点であるか否かを判別する。
【００８４】
［補間手法］
本実施形態において、第１の補間手法は、バイキュービック法、またはランツォシュ法を用いることができる。ただし、第１の補間手法はこれらに限られず、高域を強調するそれ以外の補間手法でもよい。
【００８５】
本実施形態において、第２の補間手法は、ニアレストネイバー法である。ただし、第２の補間手法はこれらに限られず、高域を強調しないそれ以外の補間手法でもよい。
【００８６】
［補間手法の選択］
図１９を参照して、本実施形態における補間手法の選択について説明する。選択手段１３は、まず、補間対象位置の周辺から参照領域を取り出す（Ｓ５−１）。参照領域については、図２０〜２２を参照して説明する。
【００８７】
まず、横方向両側の画素と隣接する補間対象位置ａ１について説明する。この場合、補間対象位置ａ１に対し横方向に隣接する画素を中心画素とする横３画素、縦３画素の領域を参照領域とする。補間対象位置ａ１に対し横方向に隣接する画素は２つあるので、図２０に示すように、２つの参照領域が取り出される。
【００８８】
次に、縦方向両側の画素と隣接する補間対象位置ａ２について説明する。この場合、補間対象位置ａ２に対し縦方向に隣接する画素を中心画素とする横３画素、縦３画素の領域を参照領域とする。補間対象位置ａ２に対し縦方向に隣接する画素は２つあるので、図２１に示すように、２つの参照領域が取り出される。
【００８９】
次に、周囲４画素と斜め方向に隣接する補間対象位置ａ３について説明する。この場合、補間対象位置ａ３に対し斜め方向に隣接する画素を中心画素とする横３画素、縦３画素の領域を参照領域とする。補間対象位置ａ３に対し斜め方向に隣接する画素は４つあるので、図２２に示すように、４つの参照領域が取り出される。
【００９０】
参照領域を取り出したら、選択手段１３は、参照領域の最大値と最小値を算出し、参照領域の中心画素値が最大値または最小値であるか否かを判別する（Ｓ５−２）。ここで参照領域の中心画素値が最大値または最小値であって、周囲の画素値との差が十分大きい場合は、中心画素が孤立点と判断できる。このため、参照領域がＳ５−２の条件に合致する場合は、さらに以下の条件に合致するか否かを判別する（Ｓ５−３）。αは一定の設定値である。
参照領域の中心画素値が最大値の場合：
［中心画素値］＞（（［最大値］−［最小値］）／２＋［最小値］）×α
参照領域の中心画素値が最小値の場合：
［中心画素値］＜（（［最大値］−［最小値］）／２＋［最小値］）／α
【００９１】
参照領域がＳ５−２の条件とＳ５−３の条件の両方に合致する場合、選択手段１３は、第２の補間手法を選択する（Ｓ５−４）。また、参照領域がＳ５−２の条件またはＳ５−３の条件のいずれかに合致しない場合、選択手段は第１の補間手法を選択する（Ｓ５−５）。選択手段１３は、取り出した複数の参照領域のうち、少なくとも１つで第２の補間手法が選択された場合は、第２の補間手法を選択する。
【００９２】
補間しようとする画素が孤立点の場合には、拡大した画像においても孤立点となる必要がある。しかし、高域を強調する第１の補間方法は、孤立点と周辺の画素とを混合するため、うまく拡大することができない。本実施形態では、補間対象位置が孤立点に隣接するか否かを判別し、孤立点の場合は画素を混合しない第２の補間手法を選択する。これにより、孤立点をそのまま拡大することができる。
【００９３】
＜６．第６の実施形態＞
次に、第６の実施形態について説明する。本実施形態の画像拡大装置１の構成は、第１の実施形態と同じである。本実施形態では、選択手段１３が、補間対象位置の周辺に文字の線があるか否かを判別する。
【００９４】
［補間手法］
本実施形態において、第１の補間手法は、バイキュービック法、またはランツォシュ法を用いることができる。ただし、第１の補間手法はこれらに限られず、高域を強調するそれ以外の補間手法でもよい。
【００９５】
本実施形態において、第２の補間手法は、ニアレストネイバー法である。ただし、第２の補間手法はこれらに限られず、高域を強調しないそれ以外の補間手法でもよい。
【００９６】
［補間手法の選択］
図２３を参照して、本実施形態における補間手法の選択について説明する。選択手段１３は、まず、補間対象位置の周辺から参照領域を取り出す（Ｓ６−１）。図２４（ａ）に示すように、参照領域は、補間しようとする画素Ａを中心画素とする、横方向に１１画素、縦方向に５画素の領域である。また、画素Ａと横、縦、斜め方向に隣接する周辺８画素をそれぞれ中心画素として、同様の参照領域を８つ取り出す。
【００９７】
次に、選択手段１３は、参照領域の最大値と最小値の差分値ＤＲを算出する（Ｓ６−２）。また、選択手段１３は、参照領域のヒストグラムを算出する（Ｓ６−３）。さらに、選択手段１３は、参照領域から、中心画素を中心とする横３画素、縦３画素の中心領域Ｑを取り出す。そして、選択手段１３は、図２４（ｂ）に示すように、中心領域Ｑにおいて、中心画素とその周辺画素との画素値の差分値をそれぞれ算出する。ここから、選択手段１３は、中心領域Ｑの中心画素を含む横方向の画素の差分絶対値の和Ｈ１を算出する。また、選択手段１３は、中心領域Ｑの中心画素を含む縦方向の画素の差分絶対値の和Ｈ２を同様に算出する。さらに、選択手段１３は、中心領域Ｑの中心画素と、中心画素の右上の画素を含む斜め方向の画素との差分絶対値の和Ｈ３を算出する。また、選択手段１３は、中心領域Ｑの中心画素と、中心画素の右下の画素を含む斜め方向の画素との差分絶対値の和Ｈ４を算出する（Ｓ６−４）。
【００９８】
選択手段１３は、Ｓ６−３で算出した参照領域のヒストグラムから、参照領域が２値であるか否かを判別する（Ｓ６−５）。文字の線の周辺領域は、画素値が２値を示す。そこで、Ｓ６−５では、補間しようとする画素Ａの周辺領域が文字の線の周辺領域であるか否かを判別している。
【００９９】
Ｓ６−５で参照領域が２値と判別された場合、選択手段１３は、Ｈ１〜Ｈ４の４つの値のうち、２つ以上がＤＲ×β以上となるか否かを判別する（Ｓ６−６）。βは、一定の設定値であり、本実施形態ではβ＝１．５とする。ただし、これに限られず、βは、１＜β＜２の任意の数字とすることができる。これにより、参照領域の中心画素が文字の線上にあるか否かを判別できる。
【０１００】
参照領域がＳ６−６の条件に合致する場合、選択手段１３は第２の補間手法を選択する（Ｓ６−７）。また、参照領域がＳ６−５またはＳ６−６の条件に合致しない場合、選択手段１３は第１の補間手法を選択する（Ｓ６−８）。参照領域は前述のように９つ取り出される。このうちいずれか１つの参照領域において第２の補間手法が選択される場合、第２の補間手法が選択される。全ての参照領域において第１の補間手法が選択される場合は、第１の補間手法が選択される。
【０１０１】
画像において、文字が鮮明な線で表されている場合、拡大した画像においても、文字を鮮明な線で表す必要がある。文字の線を、高域を強調する第１の補間手法で拡大すると、文字の周囲の画素と混合されて、線がボケることとなる。本実施形態では、補間対象位置が文字の線であるか否かを判別し、文字の線である場合には画素を混合しない第２の補間手法を選択する。これにより、文字の線を鮮明なまま、拡大することができる。
【０１０２】
また、参照領域が１つだけでは、文字の線の端部などにおいて、誤って判別する可能性がある。そこで、補間しようとする画素の周辺８画素についても、それぞれを中心画素とする参照領域を取り出している。これにより、文字の線の端部まで、確実に判別を行うことができる。
【０１０３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１０４】
例えば、上述の実施形態において画像拡大装置は、入力された画像データを縦横２倍の大きさの拡大画像データに拡大する。拡大率は２倍には限られず、３倍あるいはそれ以上とすることができる。
【符号の説明】
【０１０５】
１    画像拡大装置
１０    入力手段
１１    選択手段
１２    第１補間手段
１３    第２補間手段
１４    出力手段
１５    方向判別手段
１６    算術補間手段
【図１】
2019121061.tif 000003
【図２】
2019121061.tif 000004
【図３】
2019121061.tif 000005
【図４】
2019121061.tif 000006
【図５】
2019121061.tif 000007
【図６】
2019121061.tif 000008
【図７】
2019121061.tif 000009
【図８】
2019121061.tif 000010
【図９】
2019121061.tif 000011
【図１０】
2019121061.tif 000012
【図１１】
2019121061.tif 000013
【図１２】
2019121061.tif 000014
【図１３】
2019121061.tif 000015
【図１４】
2019121061.tif 000016
【図１５】
2019121061.tif 000017
【図１６】
2019121061.tif 000018
【図１７】
2019121061.tif 000019
【図１８】
2019121061.tif 000020
【図１９】
2019121061.tif 000021
【図２０】
2019121061.tif 000022
【図２１】
2019121061.tif 000023
【図２２】
2019121061.tif 000024
【図２３】
2019121061.tif 000025
【図２４】
2019121061.tif 000026