(57)【要約】【課題】エッジ画素を含む局所領域について好ましい拡大結果を得る。【解決手段】画素毎に１チャネルの階調値を有するＲＡＷデータからエッジ情報を取得するエッジ情報取得手段と、前記ＲＡＷデータの画素数よりも多い数の画素毎に３チャネルの階調値を有する拡大画像データを前記ＲＡＷデータから生成する拡大画像生成手段であって、デモザイク処理によって補間された階調値を用いることなく前記ＲＡＷデータと前記エッジ情報とを用いて、拡大のために補間する画素の階調値を導出する拡大画像生成手段と、を備える画像処理装置。【選択図】図１
2011077773.tif 000002
【特許請求の範囲】
【請求項１】
画素毎に１チャネルの階調値を有するＲＡＷデータからエッジ情報を取得するエッジ情報取得手段と、
前記ＲＡＷデータの画素数よりも多い数の画素毎に３チャネルの階調値を有する拡大画像データを前記ＲＡＷデータから生成する拡大画像生成手段であって、デモザイク処理によって補間された階調値を用いることなく前記ＲＡＷデータと前記エッジ情報とを用いて、拡大のために補間する画素の階調値を導出する拡大画像生成手段と、
を備える画像処理装置。
【請求項２】
前記エッジ情報はエッジ画素の位置を含む、
請求項１に記載の画像処理装置。
【請求項３】
前記エッジ情報はエッジ線の傾きを含む、
請求項２に記載の画像処理装置。
【請求項４】
前記ＲＡＷデータの画素数と等しい数の画素毎に３チャネルの階調値を有する原寸画像データを前記ＲＡＷデータから生成する原寸画像生成手段であって、前記エッジ画素の近傍に補間する画素の階調値を導出するとき前記エッジ線の傾きを適用する原寸画像生成手段をさらに備え、
前記拡大画像生成手段は、前記エッジ画素の近傍に補間する画素の階調値を導出するとき、前記原寸画像データが生成されるときに適用される場合に比べて小さな角度間隔で前記エッジ線の傾きを適用する、
請求項３に記載の画像処理装置。
【請求項５】
画素毎に１チャネルの階調値を有するＲＡＷデータからエッジ情報を取得し、
前記ＲＡＷデータの画素数よりも多い数の画素毎に３チャネルの階調値を有する拡大画像データを前記ＲＡＷデータから生成する拡大画像生成手段であって、デモザイク処理によって補間された階調値を用いることなく前記ＲＡＷデータと前記エッジ情報とを用いて、拡大のために補間する画素の階調値を導出する、
ことを含む画像処理方法。
【請求項６】
画素毎に１チャネルの階調値を有するＲＡＷデータからエッジ情報を取得するエッジ情報取得手段と、
前記ＲＡＷデータの画素数よりも多い数の画素毎に３チャネルの階調値を有する拡大画像データを前記ＲＡＷデータから生成する拡大画像生成手段であって、デモザイク処理によって補間された階調値を用いることなく前記ＲＡＷデータと前記エッジ情報とを用いて、拡大のために補間する画素の階調値を導出する拡大画像生成手段と、
としてコンピューターを機能させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法および画像処理プログラムに関し、特に画像データの拡大処理に関する。
【背景技術】
【０００２】
従来、ニアリストネイバー法、バイリニア法、バイキュービック法、スプライン法などの補間アルゴリズムを用いた画像データの拡大処理が知られている。また、隣接画素との間で階調値が大幅に変化するエッジ画素を含む局所領域については、例えば複数のエッジ画素によって構成されるエッジ線の傾きを加味して補間画素の階調値を求める補間アルゴリズムを適用して画像データを拡大する方法が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2006-222965号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、デモザイク処理では画素毎に１チャネルの階調値を有するＲＡＷデータの画素毎に残りの２チャネルの階調値を補間するため、デモザイク処理によって生成された画像データは補間された階調値を含み、補間された階調値による偽色や滲みを含んでいる。従来の補間アルゴリズムを用いてこのような画像データを拡大すると、偽色や滲みが発生している領域においては拡大のために補間する画素について好ましい階調値を得られないという問題がある。
【０００５】
本発明はこのような問題を解決するために創作されたものであって、デモザイク処理を伴う拡大処理において好ましい拡大結果を得ることを目的とする。
【課題を解決するための手段】
【０００６】
（１）上記目的を達成するための画像処理装置は、画素毎に１チャネルの階調値を有するＲＡＷデータからエッジ情報を取得するエッジ情報取得手段と、前記ＲＡＷデータの画素数よりも多い数の画素毎に３チャネルの階調値を有する拡大画像データを前記ＲＡＷデータから生成する拡大画像生成手段であって、デモザイク処理によって補間された階調値を用いることなく前記ＲＡＷデータと前記エッジ情報とを用いて、拡大のために補間する画素の階調値を導出する拡大画像生成手段と、を備える。
本発明によると、デモザイク処理によって補間された階調値を用いることなくＲＡＷデータから取得したエッジ情報とＲＡＷデータを用いてＲＡＷデータよりも画素数が多い拡大画像データを生成するため、デモザイクによって偽色や滲みが生じている画像データから取得したエッジ情報を用いてデモザイク後に画像データを拡大する場合に比べ、エッジ画素を含む局所領域について好ましい拡大結果を得ることができる。
【０００７】
（２）上記目的を達成するための画像処理装置において、前記エッジ情報はエッジ画素の位置を含んでもよい。
本発明によると、デモザイクによって偽色や滲みが生じる前に存在していたエッジ画素の位置に応じて補間アルゴリズムを切り換えることができるため、エッジ画素を含む局所領域について好ましい拡大結果を得ることができる。
【０００８】
（３）さらに、上記目的を達成するための画像処理装置において、前記エッジ情報はエッジ線の傾きを含んでもよい。
本発明によると、デモザイクによって偽色や滲みが生じる前に存在していたエッジ線の傾きに応じて補間画素の階調値を導出する関数を切り換えることができるため、エッジ画素を含む局所領域について好ましい拡大結果を得ることができる。
【０００９】
（４）エッジ画素の近傍に補間する画素の階調値を導出するための関数をエッジ線の傾きに応じて切り換える際、拡大画像データを生成する場合には原寸画像データを生成する場合に比べて小さな角度間隔でエッジ線の傾きに対応した関数を適用できる。小さな角度間隔でエッジ線の傾きに対応した関数を適用してＲＡＷデータから画像データを生成するほど偽色が生じにくい。
そこで、上記目的を達成するための画像処理装置において、前記ＲＡＷデータの画素数と等しい数の画素毎に３チャネルの階調値を有する原寸画像データを前記ＲＡＷデータから生成する原寸画像生成手段であって、前記エッジ画素の近傍に補間する画素の階調値を導出するとき前記エッジ線の傾きを適用する原寸画像生成手段をさらに備え、前記拡大画像生成手段は、前記エッジ画素の近傍に補間する画素の階調値を導出するとき、前記原寸画像データが生成されるときに適用される場合に比べて小さな角度間隔で前記エッジ線の傾きを適用してもよい。
【００１０】
尚、請求項に記載された各手段の機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら各手段の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。さらに、本発明は画像処理方法、画像処理プログラムまたは画像処理プログラムの記録媒体としても成立する。むろん、そのコンピュータプログラムの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体であってもよい。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態にかかるブロック図。
【図２】本発明の実施形態にかかるフローチャート。
【図３】本発明の実施形態にかかる棒グラフ。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を添付図面を参照しながら説明する。
１−１．構成
本発明の実施形態として、エッジ情報をＲＡＷデータから取得し、取得したエッジ情報とＲＡＷデータを用いてＲＡＷデータよりも画素数が多い拡大画像データを生成することが可能な現像処理装置１の構成を図１に示す。現像処理装置１は、ＣＰＵ１４、ＲＯＭ１５、ＲＡＭ１６、表示制御部１１、ハードディスク装置（ＨＤＤ）１２、インタフェース（Ｉ／Ｆ）１３等を備えるパーソナルコンピュータ（ＰＣ）によって構成されている。現像処理装置１には現像処理装置１を操作するためのキーボード３２、マウス３３およびモニタ３１が接続されている。ＨＤＤ１２には、ＰＣを現像処理装置１として機能させるための画像処理プログラムＰ１がインストールされている。画像処理プログラムＰ１がＲＡＭ１６にロードされ、画像処理プログラムＰ１を構成しているエッジ情報取得モジュールＰ１１、原寸画像生成モジュールＰ１２、拡大画像生成モジュールＰ１３をＣＰＵ１４が実行することによって現像処理装置１の各種の機能が実現される。
【００１３】
エッジ情報取得モジュールＰ１１は、デジタルカメラ２から出力されたＲＡＷデータＤ１からエッジ情報を取得するためのプログラムモジュールであって、ＣＰＵ１４をエッジ情報取得手段として機能させる。ＲＡＷデータＤ１は、リムーバブルメモリや通信インタフェースを介してデジタルカメラ２から現像処理装置１に入力される。ＲＡＷデータＤ１は赤（Ｒ）、青（Ｂ）、緑（Ｇ）のいずれかの帯域の光の強度を画素毎に１６ビットの深度で示す。
【００１４】
原寸画像生成モジュールＰ１２は、ＲＡＷデータＤ１からＲＡＷデータＤ１と同じ画素数の画像データＤ２を生成するためのプログラム部品であってＣＰＵ１４を原寸画像生成手段として機能させる。拡大画像生成モジュールＰ１３は、ＲＡＷデータＤ１からＲＡＷデータＤ１より多い画素数の画像データＤ２を生成するためのプログラム部品であってＣＰＵ１４を拡大画像生成手段として機能させる。原寸画像生成モジュールＰ１２および拡大画像生成モジュールＰ１３は、ガンマ補正、デモザイク処理、ホワイトバランス補正、色再現演算、コントラスト補正、彩度補正、シャープネス補正などの現像機能を実現する。原寸画像生成モジュールＰ１２および拡大画像生成モジュールＰ１３は、デモザイク処理するとき、デモザイク処理によって補間された階調値を用いることなくＲＡＷデータとエッジ情報とを用いて、拡大のために補間する画素の階調値を導出する。
【００１５】
１−２．画像処理方法
画像処理装置１において原寸画像データＤ２および拡大画像データＤ３を生成する手順を図２に基づいて説明する。
はじめに、画像処理装置１は、ＲＡＷデータＤ１に対して、ＲＡＷデータＤ１を作成したカメラに対応したガンマ補正を施す（Ｓ１００）。これによって、ＲＡＷデータＤ１の各画素における階調値を被写体からカメラの光電変換素子に届いた光量に比例する値にする。なお、ＲＡＷデータＤ１の各画素における階調値がはじめからカメラの光電変換素子に届いた光量に比例する場合には、ガンマ補正を施す必要はない。
次に画像処理装置１は、ＲＡＷデータＤ１からエッジ情報を取得する（Ｓ１０１）。このエッジ情報は、どの画素にどの方向に伸びるエッジ（濃淡の明瞭な境界）が存在していたかを示す情報であることが望ましい。具体的には例えば、１画素あたりＲ、Ｇ、Ｂのいずれか１チャネルの階調値を有するＲＡＷデータＤ１の画素のうちＧチャネルの階調値を有する画素群を画像データとみなし、エッジの強さ（隣接画素との階調値の差分など）が閾値Δ０を超える画素を白エッジ画素または黒エッジ画素として検出する。このとき、隣接画素より階調値が大きな画素を白エッジ画素とし、隣接画素より階調値が小さな画素を黒エッジ画素とする。そしてＧチャネルにおいて互いに隣接する白エッジ画素の間にあるＢチャネルおよびＲチャネルの画素についても、白エッジ画素として検出し、Ｇチャネルにおいて互いに隣接する黒エッジ画素の間にあるＢチャネルおよびＲチャネルの画素についても、黒エッジ画素として検出する。さらに領域結合と細線化処理によって白エッジ線と黒エッジ線を抽出し、各エッジ画素において白エッジ線または黒エッジ線の傾きを検出する。エッジ線の傾きは、０（水平）、∞（垂直）、＋０．５、＋１（右斜め４５度上向き）、＋２、−０．５、−１（左斜め４５度上向き）などに分類して検出すればよい。そして白エッジ線を構成する白エッジ画素および黒エッジ線を構成する黒エッジ画素の位置と、白エッジ線および黒エッジ線の傾きとをエッジ情報として記憶する。
【００１６】
次に画像処理装置１は、１画素あたりＲ、Ｇ、Ｂのいずれか１チャネルの階調値を有するＲＡＷデータＤ１から１画素あたりＲ、ＧおよびＢの３チャネルの階調値を有する原寸画像データＤ２または拡大画像データＤ３を生成するデモザイク処理を実行する（Ｓ１０２）。原寸画像データＤ２、拡大画像データＤ３のいずれを生成するかは、ユーザーによる選択を受け付けるＧＵＩの操作に応じて決定される。
【００１７】
具体的にはまずＲＡＷデータＤ１をＲ、Ｇ、Ｂのチャネル毎に分解する。すなわち原寸画像データＤ２または拡大画像データＤ３の全画素のうち対応するＲチャネルの階調値がＲＡＷデータＤ１に存在する画素のＲチャネルに、ＲＡＷデータＤ１の対応するＲチャネルの階調値を与える。また、原寸画像データＤ２または拡大画像データＤ３の全画素のうち対応するＧチャネルの階調値がＲＡＷデータＤ１に存在する画素のＧチャネルに、ＲＡＷデータＤ１の対応するＧチャネルの階調値を与える。また、原寸画像データＤ２または拡大画像データＤ３の全画素のうち対応するＢチャネルの階調値がＲＡＷデータＤ１に存在する画素のＢチャネルに、ＲＡＷデータＤ１の対応するＢチャネルの階調値を与える。続いて、原寸画像データＤ２または拡大画像データＤ３の各チャネルに対して、特定サイズのマスク毎にマスクの中央に階調値を補間する処理を繰り返す。ただし、補間された画素の階調値は、他に補間される画素の階調値を導出するためには参照されない。このとき、マスク内の近傍画素にエッジ画素が存在するか否かをエッジ情報に含まれるエッジ画素の位置を参照して判定し、補間する階調値を導出するアルゴリズムを判定結果によって切り替える。より具体的には例えば、階調値が補間される画素の近傍にエッジ画素が存在しない場合には、バイリニア法やバイキュービック法によって近傍画素の階調値から補間する階調値を導出する。一方、補間される画素の近傍にエッジ画素が存在する場合には、階調値が補間される画素に対してエッジ線の方向に並ぶ画素の階調値の加重平均を補間される画素の階調値として導出する。エッジ線の方向はエッジ情報に含まれるエッジ線の傾きよって特定される。加重平均における近傍画素の階調値の係数は、補間される画素を基準とする近傍画素の位置とエッジ線の方向に応じて決まる。
【００１８】
以上述べたようにＲＡＷデータから取得したエッジ情報を用いて拡大画像データを生成すると、デモザイク処理によるエッジの変化の影響を避けながら階調値を補間できる。また、デモザイク時にも画像データの拡大時にもエッジ情報を取得し、デモザイク時にも画像データの拡大時にもエッジに応じた補間を実施する場合に比べると、本実施形態では画像データからエッジ情報を取得する必要がないため、画像データの拡大処理を高速化することができる。図３の例を用いて本実施形態の効果をより具体的に説明すると次の通りである。
【００１９】
図３ＡはＲＡＷデータの線分状の局所領域（ｍ−３≦ｘ≦ｍ＋５、ｙ＝ｎ）において各画素の階調値を示している。また図３Ａにおいて、太い実線はＧチャネルの階調値を示し、細い実線はＲチャネルの階調値を示している。Δ１＞Δ０とすると、このＲＡＷデータからは（ｍ、ｎ）の位置において白エッジ画素が検出され、（ｍ＋２、ｎ）の位置において黒エッジ画素が検出される。エッジ画素（ｍ、ｎ）、（ｍ＋２、ｎ）のそれぞれにおいてエッジ線の法線傾きはｘ軸と平行（水平向き）である。このようなＲＡＷデータに対するデモザイク処理によって図３Ｂに太線で示すＧチャネルの階調値を有する画素が補間されたとする。その結果、Δ２＜Δ０となって、（ｍ、ｎ）から（ｍ＋２、ｎ）の線分領域からエッジ画素が消滅したとする。この場合、エッジ画素がマスク内に存在する場合には滲みや偽色が発生しにくいアルゴリズムに切り替えて補間画素の階調値を導出するとしても、（ｍ、ｎ）から（ｍ＋２、ｎ）の線分領域において、滲みや偽色が発生しにくいアルゴリズムに切り替えられることはない。したがってＲＡＷデータから取得したエッジ情報を用いずに図３Ｂに示す線分状の局所領域を２倍に拡大すると、図３Ｃに太線で階調値を示した（２ｍ＋１、２ｎ）、（２ｍ＋３、２ｎ）の画素が補間されることによって、滲みと偽色が広がる。これに対し、本実施形態によると、ＲＡＷデータから取得したエッジ情報を用いてＲＡＷデータから拡大画像データを生成するため、エッジ線と平行な方向においてのみ近傍画素の階調値を参照する関数を用いた補間演算を行い、たとえば補間画素（２ｍ＋１、２ｎ）、（２ｍ＋２、２ｎ）の階調値を白エッジ画素の階調値のみで補間し、（２ｍ＋３、２ｎ）の階調値を導出する際には、エッジ線の傾きが用いられ、、（２ｍ＋３、２ｎ）の階調値を黒エッジ画素の階調値のみで補間することが可能である。したがって本実施形態によると、拡大画像データＤ３におけるエッジ線近傍の滲みや偽色が抑制される。
【００２０】
そして、デモザイク処理に用いるマスクのサイズは、ＲＡＷデータＤ１の対角線長に対する拡大画像データＤ３の対角線長の比率、すなわち拡大倍率が大きいほど大きくなる。例えば原寸画像データＤ２のデモザイク処理に４画素×４画素のマスクを用いるとするならば、拡大倍率２倍でデモザイク処理する場合には、８画素×８画素のマスクを用い、拡大倍率３倍でデモザイク処理する場合には、１２画素×１２画素のマスクを用いる。したがって、エッジ線の傾きに応じて加重平均に適用できる近傍画素の階調値の係数のパターン数は拡大倍率が大きくなるほど多くなる。すなわち、原寸画像データＤ２を生成する場合に比べると、拡大画像データＤ３を生成する場合には、よりきめ細やかにエッジ線の傾きに適合した係数を用いて補間画素の階調値を導出できる。したがって、原寸画像データＤ２を生成する場合に比べると、拡大画像データＤ３を生成する場合には、エッジ画素の近傍において偽色やにじみが生じにくくなる。
【００２１】
次に画像処理装置１は、原寸画像データＤ２または拡大画像データＤ３に対してホワイトバランス補正を実施する（Ｓ１０３）。
【００２２】
次に画像処理装置１は、原寸画像データＤ２または拡大画像データＤ３に対して色再現演算を実施する（Ｓ１０４）。色再現演算では、色変換テーブルを用いることによりデジタルカメラ２の撮像素子に依存するデバイスカラーの階調値がｓＲＧＢやＲＧＢの規格に応じた階調値に変換される。
【００２３】
次に画像処理装置１は、原寸画像データＤ２または拡大画像データＤ３に対してトーンカーブ補正を実施する（Ｓ１０５）。具体的には、画像処理装置１は、原寸画像データＤ２または拡大画像データＤ３の各チャネルの階調値の平均、中央値、度数分布、最大値、最小値、分散等の特徴量を導出し、特徴量に基づいてトーンカーブ補正を制御するパラメータを設定し、設定されたパラメータに応じてトーンカーブ補正を実施する。トーンカーブ補正にはコントラスト補正および彩度補正が含まれる。
【００２４】
次に画像処理装置１は、原寸画像データＤ２または拡大画像データＤ３のシャープネスを補正する（Ｓ１０６）。
【００２５】
２．他の実施形態
尚、本発明の技術的範囲は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００２６】
例えばＲＡＷデータからエッジ情報を取得するときにＢチャネルやＲチャネルの階調値を有する画素群を画像データとみなしてもよいし、互いに隣接するＧチャネルの画素とＲチャネルの画素の階調値の差分を加味してエッジ画素を検出してもよい。
【００２７】
またエッジ情報としてエッジ線の傾きを用いずに拡大画像データを生成してもよい。たとえば、エッジ画素の近傍に画素を拡大のために補関する場合にはバイキュービック法を用い、そうでない場合にはニアリストネイバー法またはバイリニア法を用いて画素を補間してもよい。この場合、必要となるエッジ情報はエッジ画素の位置のみであるが、計算量が多いバイキュービック法を適用する領域を低減して拡大現像処理を高速化しつつ、偽色や滲みの発生を抑制することができる。
【００２８】
またエッジ情報としてエッジ画素の位置とエッジ線の傾き以外の情報を用いてもよい。たとえば、エッジの強さ（隣接画素同士の階調値の差分など）に応じて拡大画像データ生成のための補間アルゴリズムを切り替える場合には、エッジの強さをＲＡＷデータからエッジ情報として取得しておくことにより、より好ましい拡大結果が得られる。
【００２９】
またデジタルカメラなどのパーソナルコンピュータ以外の画像処理装置において拡大画像データを生成する形態にも本発明を適用することはいうまでもない。
【符号の説明】
【００３０】
１：現像処理装置、２：デジタルカメラ、１１：表示制御部、１２：ハードディスク装置、１３：Ｉ／Ｆ、１４：ＣＰＵ、１５：ＲＯＭ、１６：ＲＡＭ、３１：モニタ、３２：キーボード、３３：マウス、Ｄ１：ＲＡＷデータ、Ｄ２：画像データ、Ｐ１：画像処理プログラム、Ｐ１１：エッジ情報取得モジュール、Ｐ１２：原寸画像生成モジュール、Ｐ１３：拡大画像生成モジュール
【図１】
2011077773.tif 000003
【図２】
2011077773.tif 000004
【図３】
2011077773.tif 000005