(57)【特許請求の範囲】
【請求項１】
修整対象となる画像を表示する表示手段と、
利用者の指示に応じて、前記表示手段によって表示された画像に含まれる修整箇所を、修整方向とともに指示する修整指示手段と、
前記修整指示手段によって指示された修整箇所に対応する部分画像に対して、前記修整指示手段によって指示された修整方向に沿った補間処理を行う第１の補間処理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１において、
画像の入力を行う画像入力手段と、前記画像入力手段によって入力された画像に対して補間処理を行う第２の補間処理手段とをさらに備え、
前記表示手段は、前記第２の補間処理手段による補間処理によって得られた画像を前記修整対象となる画像として表示することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記画像入力手段によって入力された画像に含まれる２×２画素の濃度勾配に基づいてエッジの方向を検出するエッジ方向検出手段をさらに備え、
前記第２の補間処理手段は、前記エッジ方向検出手段によって検出されたエッジの向きに並ぶ４×４画素の画素値を用いて補間処理を行うことを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記画像入力手段によって入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、
前記エッジ方向検出手段は、補間位置を包囲する４つの画素の画素値に基づいてエッジの方向を検出することを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記エッジ方向検出手段は、前記補間位置を包囲する４つの画素の画素値に基づいて、これら４つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することを特徴とする画像処理装置。
【請求項６】
請求項２〜５のいずれかにおいて、
前記第１の補間処理手段は、前記画像入力手段によって入力された画像を構成する画素の画素値を用いて、前記部分画像に対応する補間処理を行うことを特徴とする画像処理装置。
【請求項７】
請求項２〜６のいずれかにおいて、
前記画像入力手段によって入力された画像に対して拡大／縮小の倍率を指定する倍率指定手段をさらに備え、
前記第１および第２の補間処理手段は、前記倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段を有することを特徴とする画像処理装置。
【請求項８】
請求項１または２において、
前記第１の補間処理手段は、補間位置の周囲であって、前記修整指示手段によって指示された修整方向に沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定手段を有することを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記補間対象画素決定手段は、前記修整指示手段によって指示された修正方向を有する第１の補間軸を設定し、この第１の補間軸を挟んで所定範囲内に位置する所定個の画素を前記補間対象画素として抽出することを特徴とする画像処理装置。
【請求項１０】
請求項９において、
前記修整指示手段は、ポインティングデバイスを有しており、
前記修整方向の指示は、前記表示手段によって画面に表示された画像の修整箇所を、この修整箇所に含まれるエッジに沿って前記ポインティングデバイスを移動させることにより行うことを特徴とする画像処理装置。
【請求項１１】
請求項１０において、
前記第１の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる直線形状を有することを特徴とする画像処理装置。
【請求項１２】
請求項１０において、
前記第１の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる円弧形状を有することを特徴とする画像処理装置。
【請求項１３】
請求項１０において、
前記第１の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる自由曲線形状を有することを特徴とする画像処理装置。
【請求項１４】
請求項９〜１３のいずれかにおいて、
水平軸および垂直軸のいずれか一方が第２の補間軸として用いられ、
前記第１の補間処理手段は、前記第１および第２の補間軸のいずれか一方の補間軸に沿って第１の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第１の補間処理によって得られた複数の補間位置に対応する画素値を用いて、前記補間位置決定手段によって決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することを特徴とする画像処理装置。
【請求項１５】
請求項１４において、
前記補間対象画素決定手段は、前記修整指示手段によって指示された修整方向に基づいて、前記水平軸および前記垂直軸のいずれを前記第２の補間軸として用いるかを決定することを特徴とする画像処理装置。
【請求項１６】
請求項１５において、
前記補間対象画素決定手段は、前記第１の補間軸との角度が４５度以上となる前記水平軸あるいは前記垂直軸を前記第２の補間軸として設定することを特徴とする画像処理装置。
【請求項１７】
請求項１４〜１６のいずれかにおいて、
前記第１の補間処理手段は、前記第１および第２の補間軸に沿って格子状に配置されるように前記第２の補間軸に沿って前記所定個の画素の画素位置を調整した後に補間処理を行うことを特徴とする画像処理装置。
【請求項１８】
請求項１〜１７のいずれかにおいて、
前記第１の補間処理手段による補間処理は、隣接する画素の間隔をｔとしたときに、
φ（ｔ）＝−１．７５｜ｔ｜2＋１．０                  （｜ｔ｜≦０．５）
１．２５｜ｔ｜2−３．０｜ｔ｜＋１．７５    （０．５＜｜ｔ｜≦１．０）
０．７５｜ｔ｜2−２．０｜ｔ｜＋１．２５    （１．０＜｜ｔ｜≦１．５）
−０．２５｜ｔ｜2＋｜ｔ｜−１．０          （１．５＜｜ｔ｜≦２．０）
０                                         （２．０＜｜ｔ｜）
で表される標本化関数φ（ｔ）を用いて行われることを特徴とする画像処理装置。
【請求項１９】
修整対象となる画像を表示する表示ステップと、
利用者の指示に応じて、前記表示ステップにおいて表示された画像に含まれる修整箇所を、修整方向とともに指示する修整指示ステップと、
前記修整指示ステップにおいて指示された修整箇所に対応する部分画像に対して、前記修整指示ステップにおいて指示された修整方向に沿った補間処理を行う第１の補間処理ステップと、
を有することを特徴とする画像処理方法。
【請求項２０】
請求項１９において、
画像の入力を行う画像入力ステップと、前記画像入力ステップにおいて入力された画像に対して補間処理を行う第２の補間処理ステップとをさらに有し、
前記表示ステップは、前記第２の補間処理ステップにおける補間処理によって得られた画像を前記修整対象となる画像として表示することを特徴とする画像処理方法。
【請求項２１】
請求項２０において、
前記画像入力ステップにおいて入力された画像に含まれる２×２画素の濃度勾配に基づいてエッジの方向を検出するエッジ方向検出ステップをさらに有し、
前記第２の補間処理ステップは、前記エッジ方向検出ステップにおいて検出されたエッジの向きに並ぶ４×４画素の画素値を用いて補間処理を行うことを特徴とする画像処理方法。
【請求項２２】
請求項２１において、
前記画像入力ステップにおいて入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、
前記エッジ方向検出ステップは、補間位置を包囲する４つの画素の画素値に基づいてエッジの方向を検出することを特徴とする画像処理方法。
【請求項２３】
請求項２２において、
前記エッジ方向検出ステップは、前記補間位置を包囲する４つの画素の画素値に基づいて、これら４つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することを特徴とする画像処理方法。
【請求項２４】
請求項２０〜２３のいずれかにおいて、
前記第１の補間処理ステップは、前記画像入力ステップにおいて入力された画像を構成する画素の画素値を用いて、前記部分画像に対応する補間処理を行うことを特徴とする画像処理方法。
【請求項２５】
請求項２０〜２４のいずれかにおいて、
前記画像入力ステップにおいて入力された画像に対して拡大／縮小の倍率を指定する倍率指定ステップをさらに有し、
前記第１および第２の補間処理ステップは、前記倍率指定ステップにおいて指定された倍率に応じた補間位置を決定する補間位置決定ステップを有することを特徴とする画像処理方法。
【請求項２６】
請求項１９または２０において、
前記第１の補間処理ステップは、補間位置の周囲であって、前記修整指示ステップにおいて指示された修整方向に沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定ステップを有することを特徴とする画像処理方法。
【請求項２７】
請求項２６において、
前記補間対象画素決定ステップは、前記修整指示ステップにおいて指示された修正方向を有する第１の補間軸を設定し、この第１の補間軸を挟んで所定範囲内に位置する所定個の画素を前記補間対象画素として抽出することを特徴とする画像処理方法。
【請求項２８】
請求項２７において、
前記修整指示ステップは、ポインティングデバイスを用いて行われ、
前記修整方向の指示は、前記表示ステップにおいて画面に表示された画像の修整箇所を、この修整箇所に含まれるエッジに沿って前記ポインティングデバイスを移動させることにより行うことを特徴とする画像処理方法。
【請求項２９】
請求項２８において、
前記第１の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる直線形状を有することを特徴とする画像処理方法。
【請求項３０】
請求項２８において、
前記第１の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる円弧形状を有することを特徴とする画像処理方法。
【請求項３１】
請求項２８において、
前記第１の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる自由曲線形状を有することを特徴とする画像処理方法。
【請求項３２】
請求項２７〜３１のいずれかにおいて、
水平軸および垂直軸のいずれか一方が第２の補間軸として用いられ、
前記第１の補間処理ステップは、前記第１および第２の補間軸のいずれか一方の補間軸に沿って第１の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第１の補間処理によって得られた複数の補間位置に対応する画素値を用いて、前記補間位置決定ステップにおいて決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することを特徴とする画像処理方法。
【請求項３３】
請求項３２において、
前記補間対象画素決定ステップは、前記修整指示ステップにおいて指示された修整方向に基づいて、前記水平軸および前記垂直軸のいずれを前記第２の補間軸として用いるかを決定することを特徴とする画像処理方法。
【請求項３４】
請求項３３において、
前記補間対象画素決定ステップは、前記第１の補間軸との角度が４５度以上となる前記水平軸あるいは前記垂直軸を前記第２の補間軸として設定することを特徴とする画像処理方法。
【請求項３５】
請求項３２〜３４のいずれかにおいて、
前記第１の補間処理ステップは、前記第１および第２の補間軸に沿って格子状に配置されるように前記第２の補間軸に沿って前記所定個の画素の画素位置を調整した後に補間処理を行うことを特徴とする画像処理方法。
【請求項３６】
請求項１９〜３５のいずれかにおいて、
前記第１の補間処理ステップにおける補間処理は、隣接する画素の間隔をｔとしたときに、
φ（ｔ）＝−１．７５｜ｔ｜2＋１．０                  （｜ｔ｜≦０．５）
１．２５｜ｔ｜2−３．０｜ｔ｜＋１．７５    （０．５＜｜ｔ｜≦１．０）
０．７５｜ｔ｜2−２．０｜ｔ｜＋１．２５    （１．０＜｜ｔ｜≦１．５）
−０．２５｜ｔ｜2＋｜ｔ｜−１．０          （１．５＜｜ｔ｜≦２．０）
０                                         （２．０＜｜ｔ｜）
で表される標本化関数φ（ｔ）を用いて行われることを特徴とする画像処理方法。
【請求項３７】
コンピュータを、
修整対象となる画像を表示する表示手段と、
利用者の指示に応じて、前記表示手段によって表示された画像に含まれる修整箇所を、修整方向とともに指示する修整指示手段と、
前記修整指示手段によって指示された修整箇所に対応する部分画像に対して、前記修整指示手段によって指示された修整方向に沿った補間処理を行う第１の補間処理手段と、
して機能させるための画像処理プログラム。
【請求項３８】
請求項３７において、
コンピュータを、さらに、画像の入力を行う画像入力手段と、前記画像入力手段によって入力された画像に対して補間処理を行う第２の補間処理手段として機能させ、
前記表示手段は、前記第２の補間処理手段による補間処理によって得られた画像を前記修整対象となる画像として表示することを特徴とする画像処理プログラム。
【請求項３９】
請求項３８において、
コンピュータを、さらに、前記画像入力手段によって入力された画像に含まれる２×２画素の濃度勾配に基づいてエッジの方向を検出するエッジ方向検出手段として機能させ、
前記第２の補間処理手段は、前記エッジ方向検出手段によって検出されたエッジの向きに並ぶ４×４画素の画素値を用いて補間処理を行うことを特徴とする画像処理プログラム。
【請求項４０】
請求項３９において、
前記画像入力手段によって入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、
前記エッジ方向検出手段は、補間位置を包囲する４つの画素の画素値に基づいてエッジの方向を検出することを特徴とする画像処理プログラム。
【請求項４１】
請求項４０において、
前記エッジ方向検出手段は、前記補間位置を包囲する４つの画素の画素値に基づいて、これら４つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することを特徴とする画像処理プログラム。
【請求項４２】
請求項３８〜４１のいずれかにおいて、
前記第１の補間処理手段は、前記画像入力手段によって入力された画像を構成する画素の画素値を用いて、前記部分画像に対応する補間処理を行うことを特徴とする画像処理プログラム。
【請求項４３】
請求項３８〜４２のいずれかにおいて、
コンピュータを、さらに、前記画像入力手段によって入力された画像に対して拡大／縮小の倍率を指定する倍率指定手段として機能させ、
前記第１および第２の補間処理手段は、前記倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段を有することを特徴とする画像処理プログラム。
【請求項４４】
請求項３７または３８において、
前記第１の補間処理手段は、補間位置の周囲であって、前記修整指示手段によって指示された修整方向に沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定手段を有することを特徴とする画像処理プログラム。
【請求項４５】
請求項４４において、
前記補間対象画素決定手段は、前記修整指示手段によって指示された修正方向を有する第１の補間軸を設定し、この第１の補間軸を挟んで所定範囲内に位置する所定個の画素を前記補間対象画素として抽出することを特徴とする画像処理プログラム。
【請求項４６】
請求項４５において、
前記修整指示手段は、ポインティングデバイスを用いて行われ、
前記修整方向の指示は、前記表示手段によって画面に表示された画像の修整箇所を、この修整箇所に含まれるエッジに沿って前記ポインティングデバイスを移動させることにより行うことを特徴とする画像処理プログラム。
【請求項４７】
請求項４６において、
前記第１の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる直線形状を有することを特徴とする画像処理プログラム。
【請求項４８】
請求項４６において、
前記第１の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる円弧形状を有することを特徴とする画像処理プログラム。
【請求項４９】
請求項４６において、
前記第１の補間軸は、前記ポインティングデバイスの移動軌跡を近似して得られる自由曲線形状を有することを特徴とする画像処理プログラム。
【請求項５０】
請求項４５〜４９のいずれかにおいて、
水平軸および垂直軸のいずれか一方が第２の補間軸として用いられ、
前記第１の補間処理手段は、前記第１および第２の補間軸のいずれか一方の補間軸に沿って第１の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第１の補間処理によって得られた複数の補間位置に対応する画素値を用いて、前記補間位置決定手段によって決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することを特徴とする画像処理プログラム。
【請求項５１】
請求項５０において、
前記補間対象画素決定手段は、前記修整指示手段によって指示された修整方向に基づいて、前記水平軸および前記垂直軸のいずれを前記第２の補間軸として用いるかを決定することを特徴とする画像処理プログラム。
【請求項５２】
請求項５１において、
前記補間対象画素決定手段は、前記第１の補間軸との角度が４５度以上となる前記水平軸あるいは前記垂直軸を前記第２の補間軸として設定することを特徴とする画像処理プログラム。
【請求項５３】
請求項５０〜５２のいずれかにおいて、
前記第１の補間処理手段は、前記第１および第２の補間軸に沿って格子状に配置されるように前記第２の補間軸に沿って前記所定個の画素の画素位置を調整した後に補間処理を行うことを特徴とする画像処理プログラム。
【請求項５４】
請求項３７〜５３のいずれかにおいて、
前記第１の補間処理手段による補間処理は、隣接する画素の間隔をｔとしたときに、
φ（ｔ）＝−１．７５｜ｔ｜2＋１．０                  （｜ｔ｜≦０．５）
１．２５｜ｔ｜2−３．０｜ｔ｜＋１．７５    （０．５＜｜ｔ｜≦１．０）
０．７５｜ｔ｜2−２．０｜ｔ｜＋１．２５    （１．０＜｜ｔ｜≦１．５）
−０．２５｜ｔ｜2＋｜ｔ｜−１．０          （１．５＜｜ｔ｜≦２．０）
０                                         （２．０＜｜ｔ｜）
で表される標本化関数φ（ｔ）を用いて行われることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に対して解像度変換を行った後修整を行う画像処理装置、方法およびプログラムに関する。
【背景技術】
【０００２】
従来から、バイキュービック法を用いて画像の補間処理を行う際に、画像のエッジ付近での補間係数の調整やサンプリング間隔の変更を行って水平方向および垂直方向での補間を順次行う手法が知られている（例えば、特許文献１参照。）。
【特許文献１】特開２００６−５４８９９号公報（第８−１９頁、図１−１５）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述した特許文献１に記載の従来技術では、エッジ付近で補間係数の調整を行っているが、基本的にはエッジ方向に沿った補間を行っているわけではないため、ジャギー等が発生し、画像の解像度を変換する際に画質が劣化する場合があった。このような場合に、ジャギー等が発生した箇所を部分的に修整することができれば便利であるが、従来は、画像の修整や修復は、作業者が修整部分をなぞって画素値を変更する必要があり、手ぶれなども加わるため、精度が悪く、しかも修整に時間がかかるという問題があった。
【０００４】
本発明は、このような点に鑑みて創作されたものであり、その目的は、画像の修整に要する時間を短縮し、しかも修整の精度を向上させることができる画像処理装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、本発明の画像処理装置は、修整対象となる画像を表示する表示手段と、利用者の指示に応じて、表示手段によって表示された画像に含まれる修整箇所を、修整方向とともに指示する修整指示手段と、修整指示手段によって指示された修整箇所に対応する部分画像に対して、修整指示手段によって指示された修整方向に沿った補間処理を行う第１の補間処理手段とを備えている。
【０００６】
また、本発明の画像処理方法は、修整対象となる画像を表示する表示ステップと、利用者の指示に応じて、表示ステップにおいて表示された画像に含まれる修整箇所を、修整方向とともに指示する修整指示ステップと、修整指示ステップにおいて指示された修整箇所に対応する部分画像に対して、修整指示ステップにおいて指示された修整方向に沿った補間処理を行う第１の補間処理ステップとを有している。
【０００７】
また、本発明の画像処理プログラムは、コンピュータを、修整対象となる画像を表示する表示手段と、利用者の指示に応じて、表示手段によって表示された画像に含まれる修整箇所を、修整方向とともに指示する修整指示手段と、修整指示手段によって指示された修整箇所に対応する部分画像に対して、修整指示手段によって指示された修整方向に沿った補間処理を行う第１の補間処理手段として機能させる。
【０００８】
表示された画像に含まれる修整箇所と修整方向を指定するだけで、修整箇所について修整方向に合わせて補間処理を行って画像の修整を行うことができるため、画像の修整に要する時間を短縮することができる。また、修整方向に沿った補間処理を行うことにより、補間位置に対して修整方向に沿って存在する画素の影響を直接反映させることができ、精度の高い補間処理ができ、修整の精度を向上させることができる。
【０００９】
また、画像の入力を行う画像入力手段と、画像入力手段によって入力された画像に対して補間処理を行う第２の補間処理手段とをさらに備え、表示手段は、第２の補間処理手段による補間処理によって得られた画像を修整対象となる画像として表示することが望ましい。また、上述した画像入力手段によって入力された画像に含まれる２×２画素の濃度勾配に基づいてエッジの方向を検出するエッジ方向検出手段をさらに備え、第２の補間処理手段は、エッジ方向検出手段によって検出されたエッジの向きに並ぶ４×４画素の画素値を用いて補間処理を行うことが望ましい。
【００１０】
また、画像の入力を行う画像入力ステップと、画像入力ステップにおいて入力された画像に対して補間処理を行う第２の補間処理ステップとをさらに有し、表示ステップは、第２の補間処理ステップにおける補間処理によって得られた画像を修整対象となる画像として表示することが望ましい。また上述した画像入力ステップにおいて入力された画像に含まれる２×２画素の濃度勾配に基づいてエッジの方向を検出するエッジ方向検出ステップをさらに有し、第２の補間処理ステップは、エッジ方向検出ステップにおいて検出されたエッジの向きに並ぶ４×４画素の画素値を用いて補間処理を行うことが望ましい。
【００１１】
また、コンピュータを、さらに、画像の入力を行う画像入力手段と、画像入力手段によって入力された画像に対して補間処理を行う第２の補間処理手段として機能させ、上述した表示手段は、第２の補間処理手段による補間処理によって得られた画像を修整対象となる画像として表示することが望ましい。また、コンピュータを、さらに、画像入力手段によって入力された画像に含まれる２×２画素の濃度勾配に基づいてエッジの方向を検出するエッジ方向検出手段として機能させ、上述した第２の補間処理手段は、エッジ方向検出手段によって検出されたエッジの向きに並ぶ４×４画素の画素値を用いて補間処理を行うことが望ましい。
【００１２】
画像に含まれるエッジの向きを検出してその方向に合わせて補間処理を行うことにより、補間位置に対してエッジの向きに存在する画素の影響を直接反映させた補間処理を行うことができ、画像の倍率を変更する際に生じる画質の劣化を防止することができる。また、このような画像を修整対象とすることにより、修整箇所の数を減らすことができ、画像の修整に要する時間および手間をさらに低減することが可能となる。
【００１３】
また、上述した画像入力手段によって入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、エッジ方向検出手段は、補間位置を包囲する４つの画素の画素値に基づいてエッジの方向を検出することが望ましい。あるいは、上述した画像入力ステップにおいて入力された画像は、互いに直交する水平軸および垂直軸に沿って配置された複数の画素によって構成されており、エッジ方向検出ステップは、補間位置を包囲する４つの画素の画素値に基づいてエッジの方向を検出することが望ましい。これにより、エッジ方向検出に必要な画素数を少なくして演算量を削減することができる。
【００１４】
また、上述したエッジ方向検出手段は、補間位置を包囲する４つの画素の画素値に基づいて、これら４つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することが望ましい。あるいは、上述したエッジ方向検出ステップは、補間位置を包囲する４つの画素の画素値に基づいて、これら４つの画素に対応する画像の濃度勾配を算出し、濃度勾配に対して垂直な向きをエッジの方向として推定することが望ましい。エッジが存在する場合にはエッジを挟んで濃淡勾配が生じるため、濃淡勾配を用いることにより、確実にエッジの向きを知ることができる。
【００１５】
また、上述した第１の補間処理手段は、画像入力手段によって入力された画像を構成する画素の画素値を用いて、部分画像に対応する補間処理を行うことが望ましい。あるいは、上述した第１の補間処理ステップは、画像入力ステップにおいて入力された画像を構成する画素の画素値を用いて、部分画像に対応する補間処理を行うことが望ましい。これにより、画像表示のために行われた補間処理による画質の劣化の影響を取り除くことができる。
【００１６】
また、上述した画像入力手段によって入力された画像に対して拡大／縮小の倍率を指定する倍率指定手段をさらに備え、第１および第２の補間処理手段は、倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段を有することが望ましい。あるいは、上述した画像入力ステップにおいて入力された画像に対して拡大／縮小の倍率を指定する倍率指定ステップをさらに有し、第１および第２の補間処理ステップは、倍率指定ステップにおいて指定された倍率に応じた補間位置を決定する補間位置決定ステップを有することが望ましい。あるいは、コンピュータを、さらに、画像入力手段によって入力された画像に対して拡大／縮小の倍率を指定する倍率指定手段として機能させ、第１および第２の補間処理手段は、倍率指定手段によって指定された倍率に応じた補間位置を決定する補間位置決定手段を有することが望ましい。これにより、指定された倍率に応じて、必要な補間位置を決定することが可能となる。
【００１７】
また、上述した第１の補間処理手段は、補間位置の周囲であって、修整指示手段によって指示された修整方向に沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定手段を有することが望ましい。上述した補間対象画素決定手段は、修整指示手段によって指示された修正方向を有する第１の補間軸を設定し、この第１の補間軸を挟んで所定範囲内に位置する所定個の画素を補間対象画素として抽出することが望ましい。あるいは、上述した第１の補間処理ステップは、補間位置の周囲であって、修整指示ステップにおいて指示された修整方向に沿って配置された所定個数の画素を補間対象画素として抽出する補間対象画素決定ステップを有することが望ましい。上述した補間対象画素決定ステップは、修整指示ステップにおいて指示された修正方向を有する第１の補間軸を設定し、この第１の補間軸を挟んで所定範囲内に位置する所定個の画素を補間対象画素として抽出することが望ましい。これにより、修整方向の向きに沿って並んだ画素の画素値を、補間位置の画素値を算出する補間処理に反映させることが可能となり、修整方向に沿って滑らかでジャギーの発生のない画像を得ることができる。
【００１８】
また、上述した修整指示手段は、ポインティングデバイスを有しており（あるいはポインティングデバイスを用いて行われ）、修整方向の指示は、表示手段によって画面に表示された画像の修整箇所を、この修整箇所に含まれるエッジに沿ってポインティングデバイスを移動させることにより行うことが望ましい。あるいは、上述した修整指示ステップは、ポインティングデバイスを用いて行われ、修整方向の指示は、表示ステップにおいて画面に表示された画像の修整箇所を、この修整箇所に含まれるエッジに沿ってポインティングデバイスを移動させることにより行うことが望ましい。これにより、簡単な操作で修整箇所および修整方向を指示することが可能となる。
【００１９】
また、上述した第１の補間軸は、ポインティングデバイスの移動軌跡を近似して得られる直線形状を有することが望ましい。修整方向を示す形状を単純化することにより、補間処理の簡略化が可能となる。
【００２０】
また、上述した第１の補間軸は、ポインティングデバイスの移動軌跡を近似して得られる円弧形状または自由曲線形状を有することが望ましい。これにより、ポインティングデバイスの移動軌跡を正確に特定することが可能になり、修整箇所に含まれる画像のエッジに正確に沿った修整が可能となり、修整の精度を向上させることができる。
【００２１】
また、水平軸および垂直軸のいずれか一方が第２の補間軸として用いられ、第１の補間処理手段は、第１および第２の補間軸のいずれか一方の補間軸に沿って第１の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第１の補間処理によって得られた複数の補間位置に対応する画素値を用いて、補間位置決定手段によって決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することが望ましい。あるいは、水平軸および垂直軸のいずれか一方が第２の補間軸として用いられ、第１の補間処理ステップは、第１および第２の補間軸のいずれか一方の補間軸に沿って第１の補間処理を行うことにより仮想的な複数の補間位置における画素値を算出し、この第１の補間処理によって得られた複数の補間位置に対応する画素値を用いて、補間位置決定ステップにおいて決定された補間位置に対応する補間値をいずれか他方の補間軸に沿って算出することが望ましい。第１および第２の補間軸のそれぞれについて別々に補間処理を行って最終的な補間値を求めることができ、処理の簡略化を図ることが可能となる。
【００２２】
また、上述した補間対象画素決定手段は、修整指示手段によって指示された修整方向に基づいて、水平軸および垂直軸のいずれを第２の補間軸として用いるかを決定することが望ましい。具体的には、上述した補間対象画素決定手段は、第１の補間軸との角度が４５度以上となる水平軸あるいは垂直軸を第２の補間軸として設定することが望ましい。あるいは、上述した補間対象画素決定ステップは、修整指示ステップにおいて指示された修整方向に基づいて、水平軸および垂直軸のいずれを第２の補間軸として用いるかを決定することが望ましい。具体的には、上述した補間対象画素決定ステップは、第１の補間軸との角度が４５度以上となる水平軸あるいは垂直軸を第２の補間軸として設定することが望ましい。垂直に近い２軸のそれぞれに沿って補間処理を行うことにより、補間精度を向上させることができる。
【００２３】
また、上述した第１の補間処理手段は、第１および第２の補間軸に沿って格子状に配置されるように第２の補間軸に沿って所定個の画素の画素位置を調整した後に補間処理を行うことが望ましい。あるいは、上述した第１の補間処理ステップは、第１および第２の補間軸に沿って格子状に配置されるように第２の補間軸に沿って所定個の画素の画素位置を調整した後に補間処理を行うことが望ましい。第１および第２の補間軸のそれぞれについて別々に補間処理を行って最終的な補間値を求める際に、従来と同等のアルゴリズムを用いて処理の簡略化を図ることが可能となる。
【００２４】
また、上述した補間処理は、隣接する画素の間隔をｔとしたときに、
φ（ｔ）＝−１．７５｜ｔ｜2＋１．０                  （｜ｔ｜≦０．５）
１．２５｜ｔ｜2−３．０｜ｔ｜＋１．７５    （０．５＜｜ｔ｜≦１．０）
０．７５｜ｔ｜2−２．０｜ｔ｜＋１．２５    （１．０＜｜ｔ｜≦１．５）
−０．２５｜ｔ｜2＋｜ｔ｜−１．０          （１．５＜｜ｔ｜≦２．０）
０                                         （２．０＜｜ｔ｜）
で表される標本化関数φ（ｔ）を用いて行われることが望ましい。
【発明を実施するための最良の形態】
【００２５】
以下、本発明を適用した一実施形態の画像処理装置について、図面に基づいて詳細に説明する。
【００２６】
〔第１の実施形態〕
図１は、第１の実施形態の画像処理装置の構成を示す図である。図１に示すように、本実施形態の画像処理装置は、画像入力部１０、画像データ格納部１２、補間処理部２０、倍率指定部４０、修整指示部４２、出力処理部５０、表示装置５２、プリンタ５４を含んで構成されている。
【００２７】
画像入力部１０は、所定の解像度の画像データを取り込むためのものである。例えば、紙原稿に描かれた画像を所定の解像度で光学的に読み取るスキャナを画像入力部１０として用いることができる。あるいは、ＣＤやＤＶＤ等の挿抜可能な記憶媒体に記録された画像データを取り込む場合には、これらの記憶媒体のドライブ装置（読み取り装置）を画像入力部１０として用いることができる。半導体メモリやハードディスク装置に記録された画像データを取り込む場合には、これらを接続する入出力インタフェースを画像入力部１０として用いることができる。また、インターネットやその他のネットワーク、あるいは電話回線等を介した通信によって画像データを取り込む場合には、回線の種類等に応じた通信装置を画像入力部１０として用いることができる。このようにして画像入力部１０によって取り込まれた画像データに対応する画像は、互いに直交する水平軸（ｘ軸）および垂直軸（ｙ軸）に沿って配置された複数の画素によって構成されている。
【００２８】
画像データ格納部１２は、画像入力部１０によって取り込まれた画像データや、補間処理部２０によって最終的に得られた補間後の画像データやこの補間後の画像データを得るために必要な中間データを格納する。
【００２９】
補間処理部２０は、画像入力部１０によって取り込まれて画像データ格納部１２に格納された画像データや中間データに基づいて、画像の拡大あるいは縮小に必要な補間処理を行う。また、補間処理部２０は、拡大あるいは縮小後の画像が表示されたときに、利用者の指示にしたがって画像の部分的な修整処理を行う。なお、本明細書では、画像入力部１０によって取り込まれて画像データ格納部１２に格納された画像データを「入力画像データ」、入力画像データに対応する画像を「入力画像」と称する。また、画像を構成する複数の画素のそれぞれの値（濃淡値や輝度値あるいはカラーの場合にはＲＧＢの各値など）を「画素値」、画像を構成する複数の画素の画素値の集まりを「画像データ」と称する。補間処理部２０による補間処理によって倍率が変更された後の画像データは画像データ格納部１２に格納される。補間処理部２０は、補間領域決定部２２、エッジ方向算出部２４、補間位置決定部２６、補間対象画素決定部２８、第１方向補間部３０、第２方向補間部３２、修整処理部３４を備えている。
【００３０】
倍率指定部４０は、画像の拡大／縮小倍率を指定する。例えば、キーボードを倍率指定部４０として用い、キーボードのテンキー等を操作して倍率の値を直接入力することができる。あるいは、マウスを倍率指定部４０として用い、表示装置５２に表示された倍率指定画面の所定箇所を指し示すことにより、任意の倍率を入力したり、あらかじめ用意された複数の倍率の中から所望の値を選択するようにしてもよい。
【００３１】
修整指示部４２は、表示された画像に対して修整を行う場合に、利用者によってその旨を指示するとともに、表示された画像中の修整箇所と修整方向を指定する。例えば、マウスやスタイラスペン等のポインティングデバイスを修整指示部４２として用い、表示装置５２に表示された画像表示画面の所定箇所を指し示すことにより画像の修整を行う旨を指示するとともに、表示画像を部分的になぞることにより修整箇所を指定することができる。
【００３２】
出力処理部５０は、補間処理部２０によって拡大／縮小処理された後の画像データを画像データ格納部１２から読み出し、拡大／縮小された画像を表示装置５２の画面上に表示したり、プリンタ５４によって印刷するために必要な処理を行う。具体的には、出力処理部５０は、画像データ格納部１２から読み出した画像データを表示装置５２による表示に必要な形式の信号（例えばＮＴＳＣ信号やＧＢＲ信号）に変換して表示装置５２に入力する機能や、プリンタ５４による印刷に必要な形式の信号に変換する機能を有する。
【００３３】
上述した出力処理部５０、表示装置５２が表示手段に、修整指示部４２が修整指示手段に、補間位置決定部２６、補間対象画素決定部２８、第１方向補間部３０、第２方向補間部３２が第１および第２の補間処理手段に、画像入力部１０が画像入力手段に、エッジ方向算出部２４がエッジ方向検出手段に、倍率指定部４０が倍率指定手段に、補間位置決定部２６が補間位置決定手段に、補間対象画素決定部２８が補間対象画素決定手段にそれぞれ対応する。また、出力処理部５０、表示装置５２によって行われる動作が表示ステップに、修整指示部４２によって行われる動作が修整指示ステップに、補間位置決定部２６、補間対象画素決定部２８、第１方向補間部３０、第２方向補間部３２が第によって行われる動作が１および第２の補間処理ステップに、画像入力部１０によって行われる動作が画像入力ステップに、エッジ方向算出部２４によって行われる動作がエッジ方向検出ステップに、倍率指定部４０によって行われる動作が倍率指定手ステップに、補間位置決定部２６によって行われる動作が補間位置決定ステップに、補間対象画素決定部２８によって行われる動作が補間対象画素決定ステップにそれぞれ対応する。
【００３４】
また、上述した画像処理装置は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータの構成によって実現することができる。この場合に、画像データ格納部１２はハードディスク装置や半導体メモリによって構成することが可能である。補間処理部２０は、ＲＯＭやＲＡＭあるいはハードディスク装置等に格納された所定の画像処理プログラムをＣＰＵで実行することにより実現することができる。
【００３５】
本実施形態の画像処理装置はこのような構成を有しており、次に画像処理装置による補間処理の具体的な内容について説明する。図２および図３は、本実実施形態の画像処理装置による補間処理の動作手順を示す流れ図である。
【００３６】
画像入力部１０を用いて画像データの入力が行われた後（ステップ２００）、倍率指定部４０を用いた倍率の指定が行われる（ステップ２０１）。次に、補間領域決定部２２は、入力画像を構成する複数の画素の中から２×２画素（４画素）を抽出し、これら４画素で区画された領域（四角形）を「補間領域」として決定する（ステップ２０２）。
【００３７】
次に、エッジ方向算出部２４は、補間領域を決定した際に用いられた４画素の画素値に基づいて、これら４画素に対応する画像の濃度勾配を算出する（ステップ２０３）。後述するように、補間領域を決定する際に用いられた４画素の内部に補間位置が設定されるため、補間位置を包囲する４つの画素の画素値に基づいて、画像の濃度勾配が算出されることになる。また、エッジ方向算出部２４は、濃度勾配に対して垂直な向きを画像のエッジ方向（輪郭線の向き）として推定する（ステップ２０４）。
【００３８】
図４は、濃度勾配算出およびエッジ方向推定の概要を示す図である。図４において、Ｐ１、Ｐ２、Ｐ３、Ｐ４は、ステップ２０２で決定された補間領域を区画する４つの画素を示している。また、矢印Ａは濃度勾配を、矢印Ｂは濃度勾配と直交するエッジ方向を示している。
【００３９】
平面近似式をａｘ＋ｂｙ＋ｃ＝Ｐとし、画素位置（ｘi，ｙi）における濃度をＰｋとすると、以下の式が成立する。
【００４０】
【数１】
0004628406.tif 000002
【００４１】
エッジ方向算出部２４は、この式から濃度勾配ｒ＝−ａ／ｂを算出するとともに、濃度勾配に垂直な向きＲ＝ｂ／ａをエッジ方向として推定する。
【００４２】
次に、補間位置決定部２６は、補間領域内における補間位置、すなわち、補間領域内において補間画素を発生させる位置を決定する（ステップ２０５）。図５は、補間位置決定の概要を示す図である。例えば、ステップ２０１において倍率「５」が指定された場合、すなわち、入力画像を５倍に拡大する場合が示されている。この場合には、図５で点線の四角で示されるように、隣接する２つの画素の間に等間隔に４つの補間画素を発生させればよい。例えば、ｐで示される補間画素の位置（補間位置）がステップ２０５において決定される。
【００４３】
次に、補間対象画素決定部２８は、エッジ方向算出部２４によって推定されたエッジ方向に基づいて、補間画素の画素値を算出するために必要なｎ×ｎ画素を「補間対象画素」として抽出する（ステップ２０６）。ｎは２以上の偶数であるが、具体的には、使用する標本化関数を決定すればｎの値も決まる。但し、滑らかな補間処理を行うためにはｎの値は４以上が望ましく、本実施形態ではｎ＝４に設定されている。標本化関数の具体例については後述する。
【００４４】
図６は、補間対象画素抽出の概要を示す図である。図６において、ａ１〜ａ６、ｂ１〜ｂ６、ｃ１〜ｃ６、ｄ１〜ｄ６、ｅ１〜ｅ６のそれぞれは、入力画像を構成する各画素を示している。また、Ｅはステップ２０４において推定されたエッジ方向を示している。従来から行われている補間処理では、ｎ＝４の場合には、補間画素ｐを挟んで水平（ｘ軸方向）と垂直（ｙ軸方向）のそれぞれに上下左右（水平方向をｘ軸、垂直方向をｙ軸とする）２画素ずつの合計１６画素（ｂ２〜ｂ５、ｃ２〜ｃ５、ｄ２〜ｄ５、ｅ２〜ｅ５）が補間対象画素として抽出されていた。これに対して、本実施形態では、補間画素ｐを通るエッジ方向Ｅをρ軸とし、このρ軸がｙ軸の代わりに用いられる。そして、ｘ軸とρ軸のそれぞれを補間軸（ρ軸が第１の補間軸に、ｘ軸が第２の補間軸に対応する）に設定し、これら非直交の２つの補間軸のそれぞれに沿って補間画素ｐを挟んで左右と斜め方向の２画素ずつが補間対象画素として抽出される。具体的には、補間対象画素決定部２８は、補間対象画素としてｂ３〜ｂ６、ｃ２〜ｃ５、ｄ１〜ｄ４、ｅ１〜ｅ４の１６画素を抽出する。
【００４５】
次に、第１方向補間部３０は、ρ軸を第１方向とし、第１方向に沿った補間処理を行う（ステップ２０７）。図７は、第１方向に沿った補間処理に先立って行われる画素位置調整の概要を示す図である。図６に示したように、補間画素ｐ周辺に配置された１６個の補間対象画素は、ρ軸方向に見ると、ρ軸と平行には配置されてはいない。例えば、図６に示した補間対象画素の中で最も右側に配置された４つの画素ｂ６、ｃ５、ｄ４、ｅ４を見ると、これら４画素はρ軸と平行になっていない。本実施形態では、第１方向補間部３０は、第１方向（ρ軸）に沿った補間処理を行う前に、図７に示すように座標変換を行って、ρ軸（図７では垂直方向）に沿って１６個の補間対象画素が規則的に配置されるように画素位置調整が行われる。
【００４６】
図８および図９は、画素位置調整を行う際の補間画素ｐの算出方法の概要を示す図である。図８に示すように、補間画素ｐと左上の画素ｃ３との間のｘ軸方向の距離をＬ１、ｙ軸方向の距離をＬ３、補間画素ｐと左下の画素ｄ３との間のｘ軸方向の距離をＬ２とする。図９に示すように、画素位置調整後の補間画素ｐと左上の画素ｃ３との間のρ軸方向の距離はＬ３が用いられる。また、画素位置調整前は補間画素ｐの左下に配置されていた画素ｄ３の位置が右下にずれるため、このずれに対応して補間画素ｐの位置もずれる。
【００４７】
図１０は、画素位置調整後に行われる第１方向に沿った補間処理の概要を示す図である。図１０に示すように、ρ軸に沿って配置された４画素の画素値を用いることにより、補間画素ｐと同じρ軸に沿った位置に対応する仮想的な補間画素ｈ１〜ｈ４の各画素値が補間処理によって算出される。図１１は、補間画素の画素値算出に用いられる標本化関数を示す図である。この標本化関数φ（ｔ）は、以下の式で示される区分多項式であり、補間位置を中心に左右２画素（ρ軸に沿った補間を行う場合には図１０に示す上下方向各２画素）の画素値を用いて補間画素の画素値を算出することができる。
【００４８】
φ（ｔ）＝−１．７５｜ｔ｜2＋１．０                  （｜ｔ｜≦０．５）
１．２５｜ｔ｜2−３．０｜ｔ｜＋１．７５    （０．５＜｜ｔ｜≦１．０）
０．７５｜ｔ｜2−２．０｜ｔ｜＋１．２５    （１．０＜｜ｔ｜≦１．５）
−０．２５｜ｔ｜2＋｜ｔ｜−１．０          （１．５＜｜ｔ｜≦２．０）
０                                         （２．０＜｜ｔ｜）
次に、第２方向補間部３２は、ｘ軸を第２方向とし、第２方向に沿った補間処理を行う（ステップ２０８）。図１２は、第１方向に沿った補間処理の後に行われる第２方向に沿った補間処理の概要を示す図である。図１２に示すように、水平方向（ｘ軸方向）に沿って配置された仮想的な補間画素ｈ１〜ｈ４の画素値を用いることにより、最終的な補間画素ｐの画素値が補間処理によって算出される。
【００４９】
次に、補間位置決定部２６は、補間領域内に他の補間画素（補間値の算出が終了していない補間画素）があるか否かを判定する（ステップ２０９）。他の補間画素がある場合には肯定判断が行われ、ステップ２０５に戻って補間位置の決定動作以降が繰り返される。また、補間領域内の全ての補間画素について補間値の算出が終了した場合にはステップ２０９の判定において否定判断が行われ、次に、補間領域決定部２２は、補間処理が終了していない他の補間領域があるか否かを判定する（ステップ２１０）。他の補間領域がある場合には肯定判断が行われ、ステップ２０２に戻って補間領域の決定動作以降が繰り返される。また、全ての補間領域について補間処理が終了した場合にはステップ２１０の判定において否定判断が行われる。なお、画像を拡大した場合には、入力画像の全てが表示対象あるいは印刷対象になるとは限らない。このような場合には、表示対象あるいは印刷対象となる一部の画像について、ステップ２１０の判定を行うようにしてもよい。
【００５０】
このようにして全ての補間領域について補間処理が終了した画像データが画像データ格納部１２に格納された後、出力処理部５０は、この画像データを読み出して、所定倍率（例えば５倍）で拡大された後の画像を表示装置５２の画面上に表示する（ステップ２１１）。
【００５１】
図１３は、本実施形態の画像処理装置による補間処理によって得られた画像を示す図である。また、図１４は比較のためにバイキュービック法を用いた補間処理によって得られた画像を示す例である。図１３から明らかなように、本実施形態ではエッジ方向に沿った補間処理を行うことにより、ジャギーの発生がない拡大画像を得ることができる。
【００５２】
ところで、本実施形態の画像処理装置では、図１３に示すように、画像の修整を行わなくても、原理的にはエッジ方向に沿ってジャギーの発生のない画像が得られるはずであるが、画像のエッジ近傍での画素値の状態（濃淡の状態）等によってはエッジ検出が必ずしも正確に行えず、ジャギーの発生を確実に排除することできないおそれがある。本実施形態では、このような場合に、拡大／縮小された後の表示画像を利用者が目視確認し、必要に応じて修整指示が行われる。
【００５３】
次に、修整処理部３４は、表示画像の修整が指示されたか否かを判定する（ステップ２１２）。利用者による修整指示部４２を用いた修整指示がなされない場合には否定判断が行われ、一連の画像処理動作が終了する。
【００５４】
また、利用者による修整指示がなされた場合にはステップ２１２の判定において肯定判断が行われ、以下に示す一連の画像修整処理が修整処理部３４の指示によって実施される。
【００５５】
まず、利用者によって修整指示部４２を用いた画像の修整箇所の指示がなされる（ステップ２１３）。この修整箇所の指示には、修整箇所の位置と、修整箇所に含まれるエッジの向きが含まれる。
【００５６】
図１５および図１６は、修整箇所指示の概要を示す図である。図１５に示すように、ステップ２１１において表示された画像の中で、領域Ｗに顕著なジャギーの発生が確認された場合を考える。図１６に示すように、利用者は、修整指示部４２を操作することにより、領域Ｗ内でジャギーが発生しているエッジの上をなぞることにより、修整箇所の位置と、修整箇所に含まれるエッジの向き（修整方向）を指示することができる。例えば、修整指示部４２としてマウスを用いた場合には、矢印Ｒの始点においてマウスのボタンを押下し、その状態を維持しながらマウスを矢印Ｒの向きに移動させ、矢印の終点においてマウスのボタンの押下を解除することにより、修整箇所の位置と、修整箇所に含まれるエッジの向きを指示することができる。なお、領域Ｗの幅の設定については、例えば矢印Ｒを中心とした両側の所定画素数分が含まれるように設定したり、幅を指定する値を予め入力しておいてこの指定された幅となるように設定するなどの方法が考えられる。
【００５７】
次に、補間領域決定部２２は、修整箇所として指定された領域Ｗに含まれる画像（部分画像）を構成する複数の画素の中から２×２画素（４画素）を抽出し、これら４画素で区画された領域（四角形）を修整用の「補間領域」として決定する（ステップ２１４）。この動作自体はステップ２０２の動作と同じであるが、ステップ２０２では入力画像の全領域に含まれる４画素が抽出されたのに対し、ステップ２１４では領域Ｗに含まれる画像に対応する４画素が抽出される点が異なっている。なお、ステップ２１４では、ステップ２１１において表示された拡大／縮小後の画像に含まれる４画素が抽出されるのではなく、領域Ｗに対応する拡大／縮小前の入力画像に含まれる４画素が抽出される。同様に、修整処理についても、領域Ｗに対応する拡大／縮小前の入力画像に含まれる画素の画素値が用いられる。
【００５８】
次に、補間位置決定部２６は、補間領域内における補間位置、すなわち、補間領域内において補間画素を発生させる位置を決定する（ステップ２１５）。また、補間対象画素決定部２８は、ステップ２１３において指示されたエッジの向きに基づいて、補間画素の画素値を算出するために必要なｎ×ｎ画素を「補間対象画素」として抽出する（ステップ２１６）。例えば、ステップ２０６と同様に、４×４画素が抽出される。
【００５９】
図１７は、画像修整の対象となる補間対象画素抽出の概要を示す図である。図１７において、Ｒは図１６に示した矢印Ｒそのものであり、ステップ２１３において指定されたエッジの向きを示している。補間画素ｐを通るエッジの向きＲをρ’軸とし、このρ’軸がｙ軸の代わりに用いられる。そして、ｘ軸とρ’軸のそれぞれを補間軸（ρ’軸が第１の補間軸に、ｘ軸が第２の補間軸に対応する）に設定し、これら非直交の２つの補間軸のそれぞれに沿って補間画素ｐを挟んで左右と斜め方向の２画素ずつが補間対象画素として抽出される。具体的には、補間対象画素決定部２８は、補間対象画素としてｂ３〜ｂ６、ｃ２〜ｃ５、ｄ１〜ｄ４、ｅ１〜ｅ４の１６画素を抽出する。なお、図６と図１７のそれぞれでは同じ１６画素が抽出された例が図示されているが、一般にはこれらの図におけるエッジの向きＥとＲは必ずしも一致しないため、一部が異なるように１６画素の抽出が行われる。
【００６０】
次に、第１方向補間部３０は、ρ’軸を第１方向とし、第１方向に沿った補間処理を行う（ステップ２１７）。また、第２方向補間部３２は、ｘ軸を第２方向とし、第２方向に沿った補間処理を行う（ステップ２１８）。これにより、修整後の補間画素ｐの画素値が補間処理によって算出される。
【００６１】
次に、補間位置決定部２６は、補間領域内に他の補間画素（補間値の算出が終了していない補間画素）があるか否かを判定する（ステップ２１９）。他の補間画素がある場合には肯定判断が行われ、ステップ２１５に戻って補間位置の決定動作以降が繰り返される。また、補間領域内の全ての補間画素について補間値の算出が終了した場合にはステップ２１９の判定において否定判断が行われ、次に、補間領域決定部２２は、補間処理が終了していない他の補間領域があるか否かを判定する（ステップ２２０）。他の補間領域がある場合には肯定判断が行われ、ステップ２１４に戻って補間領域の決定動作以降が繰り返される。また、領域Ｗに含まれる全ての補間領域について補間処理が終了した場合にはステップ２２０の判定において否定判断が行われる。
【００６２】
このようにして修整指示がなされた領域Ｗに対応する補間領域について補間処理が終了した画像データが画像データ格納部１２に格納された後、例えば、位置が同じである修整処理前の画素の画素値に修整処理後の画素の画素値が上書きされた後、出力処理部５０は、この画像データを読み出して、所定倍率（例えば５倍）で拡大された後の画像を表示装置５２の画面上に表示する（ステップ２２１）。
【００６３】
このように、本実施形態の画像処理装置では、表示された画像に含まれる修整箇所と修整方向を指定するだけで、修整箇所について修整方向に合わせて補間処理を行って画像の修整を行うことができるため、画像の修整に要する時間を短縮することができる。また、修整方向に沿った補間処理を行うことにより、補間位置に対して修整方向に沿って存在する画素の影響を直接反映させることができ、精度の高い補間処理ができ、修整の精度を向上させることができる。
【００６４】
また、入力画像に含まれるエッジの向きを検出してその方向に合わせて補間処理を行って画像表示を行うことにより、補間位置に対してエッジの向きに存在する画素の影響を直接反映させた補間処理を行うことができ、画像の倍率を変更する際に生じる画質の劣化を防止することができる。また、このような画像を修整対象とすることにより、修整箇所の数を減らすことができ、画像の修整に要する時間および手間をさらに低減することが可能となる。
【００６５】
特に、補間位置を包囲する４つの画素の画素値に基づいてエッジの方向を検出することにより、エッジ方向検出に必要な画素数を少なくして演算量を削減することができる。また、エッジが存在する場合にはエッジを挟んで濃淡勾配が生じるため、濃淡勾配を用いることにより、確実にエッジの向きを知ることができる。また、入力画像を構成する画素の画素値を用いて画像の修整を行うことにより、画像表示のために行われた補間処理による画質の劣化の影響を取り除くことができる。
【００６６】
また、修整方向の向きに沿って並んだ画素の画素値を、補間位置の画素値を算出する補間処理に反映させることにより、修整方向に沿って滑らかでジャギーの発生のない画像を得ることができる。
【００６７】
ところで、上述した本実施形態の説明では、ステップ２０７の第１方向の補間処理（図１０）をρ軸に沿って行い、ステップ２０８の第２方向の補間処理（図１２）をｘ軸に沿って行ったが、反対に、第１方向の補間処理をｘ軸に沿って行い、第２方向の補間処理をρ軸に沿って行うようにしてもよい。この変形例は、ステップ２１７において行われる第１方向の補間処理とステップ２１８において行われる第２の補間処理についても同様である。
【００６８】
図１８は、変形例の第１方向に沿った補間処理の概要を示す図である。図１８に示すように、ｘ軸に沿って配置された４画素の画素値を用いることにより、補間画素ｐと同じｘ軸に沿った位置（画素位置調整後の位置）に対応する仮想的な補間画素ｖ１〜ｖ４の各画素値が補間処理によって算出される。
【００６９】
図１９は、変形例の第１方向に沿った補間処理の後に行われる第２方向に沿った補間処理の概要を示す図である。図１９に示すように、ρ軸方向（あるいはρ’軸方向）に沿って配置された仮想的な補間画素ｖ１〜ｖ４の画素値を用いることにより、最終的な補間画素ｐの画素値が補間処理によって算出される。
【００７０】
また、上述した本実施形態の説明では、ｘ軸を固定し、エッジ方向に一致させたρ軸をｙ軸に置き換えたが、ｘ軸とエッジ方向との角度が４５度未満の場合には、ｙ軸を固定し、エッジ方向に一致させたρ軸をｘ軸に置き換えた方が補間精度が向上する。
【００７１】
図２０は、エッジ方向に応じて補間軸を可変設定する変形例の画像処理装置による補間処理の動作手順を示す流れ図である。図２に示す流れ図に対して、ステップ２０４の次にステップ２２０の補間軸決定の動作手順が追加されている。このステップ２２０では、補間対象画素決定部２８は、ｘ軸とエッジ方向Ｅと角度を算出し、ρ軸と組み合わせて使用する補間軸を決定する。具体的には、ｘ軸とエッジ方向Ｅとの角度が４５度以上の場合には、ｘ軸とρ軸とが補間軸に設定され、図２を用いて説明した一連の補間処理が実施される。一方、ｘ軸とエッジ方向Ｅとの角度が４５度未満の場合には、ｙ軸とρ軸とが補間軸に設定される。この場合には、ステップ２０６では、図６において、ρ軸を挟んでｙ軸方向に上下２画素ずつが選択されて補間対象の１６画素が抽出される。また、ステップ２０７では、第１方向の補間処理がρ軸に沿って行われ、ステップ２０８の第２方向の補間処理がｙ軸に沿って行われる。あるいは、反対に、第１方向の補間処理をｙ軸に沿って行い、第２方向の補間処理をρ軸に沿って行うようにしてもよい。なお、ｘ軸とρ軸の角度を算出する代わりに、ｙ軸とρ軸の角度を算出して、ρ軸と組み合わせて使用する補間軸を決定するようにしてもよい。
【００７２】
このように、ρ軸との角度が４５度以上となるｘ軸あるいはｙ軸を第２の補間軸として設定し、垂直に近い２軸のそれぞれに沿って補間処理を行うことにより、補間精度を向上させることができる。
【００７３】
また、上述した本実施形態の説明では、ステップ２０６において補間対象の１６画素を抽出する際に、エッジ方向Ｅに沿った直線をρ軸に設定したが、非直線のρ軸を設定するようにしてもよい。例えば、以下に示す関数Ｈ１（ｘ、ｙ）〜Ｈ３（ｘ、ｙ）のいずれかによって表される曲線をρ軸として設定するようにしてもよい。
【００７４】
Ｈ１（ｘ，ｙ）＝（ａｘ2＋ｂｘ＋ｃ）（ｄｙ2＋ｅｙ＋ｆ）
Ｈ２（ｘ，ｙ）＝ａｘ2＋ｂｙ2＋ｃｘ＋ｄｙ＋ｅｘｙ＋ｆ
Ｈ３（ｘ，ｙ）＝ａｘ4＋ｂｙ4＋ｃｘ2ｙ2＋ｄｘ2ｙ＋ｅｘｙ2
＋ｆｘｙ＋ｇｘ＋ｈｙ＋ｆ
図２１は、非直線のρ軸を設定した場合の補間対象画素抽出の概要を示す図である。図２１に示すように、補間位置においてエッジ方向の直線と接するように非直線のρ軸が設定され、このρ軸を挟んで左右２画素ずつ合計１６画素（ｂ２〜ｂ５、ｃ２〜ｃ５、ｄ２〜ｄ５、ｅ１〜ｅ４）が補間対象画素として抽出される。
【００７５】
上述した実施形態では、ρ軸に沿ってｎ×ｎ個の補間対象画素を抽出した後（図６）、ｘ軸方向に画素位置をずらす画素位置調整を行ったが（図７）、画素位置調整を行わずにそのまま第１方向および第２方向に沿った補間処理を行うようにしてもよい。
【００７６】
図２２は、変形例の補間処理の概要を示す図である。補間処理全体の動作手順は図２および図３に示したものと同じである。ステップ２０６の補間対象の１６画素の抽出動作までは上述した第１の実施形態と同じ要領で行われる。
【００７７】
次に、第１方向補間部３０は、図２２に示すように、ｘ軸に沿って配置された４画素の画素値を用いることにより、これらの４画素を通るｘ軸方向の直線と、補間画素ｐを通るエッジ方向Ｅの直線との交点に対応する仮想的な補間画素ｗ１〜ｗ４の画素値を補間処理によって算出する（ステップ２０７）。また、第２方向補間部３２は、ρ軸方向に沿って配置された仮想的な補間画素ｗ１〜ｗ４の画素値を用いることにより、最終的な補間画素ｐの画素値を補間処理によって算出する（ステップ２０８）。ステップ２１７において行われる第１方向の補間処理とステップ２１８において行われる第２の補間処理についても同様である。
【００７８】
このように、本実施形態の画像処理装置では、画像に含まれるエッジの向きを検出してその方向に合わせて補間処理を行うことにより、補間位置に対してエッジの向きに存在する画素の影響を直接反映させた補間処理を行うことができ、画像の倍率を変更する際に生じる画質の劣化を防止することができる。特に、ｘ軸に沿った画素位置をそのまま用いることにより、エッジ方向に沿って配置された各画素の影響をより正確に補間処理に反映させることが可能となる。
【００７９】
〔第２の実施形態〕
上述した第１の実施形態では、エッジ方向に沿った補間処理を行って拡大／縮小した画像を作成して表示し（ステップ２０２〜２１１）、この表示された画像においてジャギーの発生が目視で確認された領域Ｗについて修整処理を行うようにしたが、修整箇所を確認するために表示される画像を、エッジ方向に沿った補間処理ではなく、従来から行われている各種の補間処理によって作成するようにしてもよい。
【００８０】
図２３は、第２の実施形態の動作手順を示す流れ図である。この流れ図は、図２に示した流れ図に対して、ステップ２０３の濃度勾配算出とステップ２０４のエッジ方向推定の各動作が省略されている。すなわち、図２４に示すように、補間対象画素決定部２８は、補間位置を包囲する上下左右２画素ずつ、合計１６個の画素を補間対象画素として抽出する（ステップ２０６）。また、第１方向補間部３０は、ｙ軸に沿って配置された４画素の画素値を用いることにより、補間画素ｐと同じｙ軸に沿った位置に対応する仮想的な補間画素ｈ１〜ｈ４の各画素値を補間処理によって算出する（ステップ２０７）。次に、図２５に示すように、第２方向補間部３２は、ｘ軸方向に沿って配置された仮想的な補間画素ｈ１〜ｈ４の画素値を用いることにより、修整処理前の最終的な補間画素ｐの画素値を補間処理によって算出する（ステップ２０８）。このようにして拡大された画像が表示された後（ステップ２１１）、図３に示す一連の画像修整処理が実施される。
【００８１】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上述した実施形態では、入力画像を拡大して表示等を行う場合について説明したが、動作原理自体は画像の拡大だけでなく縮小についても同様であるため、画像の縮小についても本発明を適用し、画質の劣化を防止することができる。
【００８２】
また、上述した実施形態では、補間位置を包囲する４つの画素の画素値に基づいて画像の濃度勾配およびエッジ方向を算出したが、より多くの数の画素（例えば１６画素）の画素値を用いて濃度勾配やエッジ方向を算出するようにしてもよい。
【００８３】
また、上述した実施形態では、図１７を用いて説明したように、補間対象画素決定部２８は、修整方向（エッジの向き）に基づいて補間画素の画素値を算出するためにｎ×ｎ個の画素を抽出しているが、この抽出処理を行うためには修整方向を何らかの関数で表す必要がある。最も、簡単には図１７に示す矢印Ｒの形状を直線近似する場合が考えられる。このように、修整方向を示す形状を単純化することにより、補間処理の簡略化が可能となる。あるいは、矢印Ｒの形状を円弧形状または自由曲線形状で近似する場合が考えられる。この場合には、マウス等のポインティングデバイスの移動軌跡を正確に特定することが可能になり、修整箇所に含まれる画像のエッジの向きを修整方向として指定し、エッジの方向に正確に沿った修整が可能となり、修整の精度を向上させることができる。
【図面の簡単な説明】
【００８４】
【図１】第１の実施形態の画像処理装置の構成を示す図である。
【図２】本実実施形態の画像処理装置による補間処理の動作手順を示す流れ図である。
【図３】本実実施形態の画像処理装置による補間処理の動作手順を示す流れ図である。
【図４】濃度勾配算出およびエッジ方向推定の概要を示す図である。
【図５】補間位置決定の概要を示す図である。
【図６】補間対象画素抽出の概要を示す図である。
【図７】第１方向に沿った補間処理に先立って行われる画素位置調整の概要を示す図である。
【図８】画素位置調整を行う際の補間画素ｐの算出方法の概要を示す図である。
【図９】画素位置調整を行う際の補間画素ｐの算出方法の概要を示す図である。
【図１０】画素位置調整後に行われる第１方向に沿った補間処理の概要を示す図である。
【図１１】補間画素の画素値算出に用いられる標本化関数を示す図である。
【図１２】第１方向に沿った補間処理の後に行われる第２方向に沿った補間処理の概要を示す図である。
【図１３】本実施形態の画像処理装置による補間処理によって得られた画像を示す図である。
【図１４】バイキュービック法を用いた補間処理によって得られた画像を示す例である。
【図１５】修整箇所指示の概要を示す図である。
【図１６】修整箇所指示の概要を示す図である。
【図１７】画像修整の対象となる補間対象画素抽出の概要を示す図である。
【図１８】変形例の第１方向に沿った補間処理の概要を示す図である。
【図１９】変形例の第１方向に沿った補間処理の後に行われる第２方向に沿った補間処理の概要を示す図である。
【図２０】エッジ方向に応じて補間軸を可変設定する変形例の画像処理装置による補間処理の動作手順を示す流れ図である。
【図２１】非直線のρ軸を設定した場合の補間対象画素抽出の概要を示す図である。
【図２２】変形例の補間処理の概要を示す図である。
【図２３】第２の実施形態の動作手順を示す流れ図である。
【図２４】従来手法による補間処理の説明図である。
【図２５】従来手法による補間処理の説明図である。
【符号の説明】
【００８５】
１０  画像入力部
１２  画像データ格納部
２０  補間処理部
２２  補間領域決定部
２４  エッジ方向算出部
２６  補間位置決定部
２８  補間対象画素決定部
３０  第１方向補間部
３２  第２方向補間部
３４  修整処理部
４０  倍率指定部
４２  修整指示部
５０  出力処理部
５２  表示装置
５４  プリンタ
【図１】
0004628406.tif 000003
【図２】
0004628406.tif 000004
【図３】
0004628406.tif 000005
【図４】
0004628406.tif 000006
【図５】
0004628406.tif 000007
【図６】
0004628406.tif 000008
【図７】
0004628406.tif 000009
【図８】
0004628406.tif 000010
【図９】
0004628406.tif 000011
【図１０】
0004628406.tif 000012
【図１１】
0004628406.tif 000013
【図１２】
0004628406.tif 000014
【図１３】
0004628406.tif 000015
【図１４】
0004628406.tif 000016
【図１５】
0004628406.tif 000017
【図１６】
0004628406.tif 000018
【図１７】
0004628406.tif 000019
【図１８】
0004628406.tif 000020
【図１９】
0004628406.tif 000021
【図２０】
0004628406.tif 000022
【図２１】
0004628406.tif 000023
【図２２】
0004628406.tif 000024
【図２３】
0004628406.tif 000025
【図２４】
0004628406.tif 000026
【図２５】
0004628406.tif 000027