(57)【要約】  小型で低解像度のモニタで撮影された画像を確認する場合にも、フォーカス評価が容易になるようなフォーカス評価補助装置を提供すること。  フォーカス評価本装置は、第１の画像からエッジ成分を生成する手段であって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成手段と、エッジ成分から第２の画像を生成する手段であって、第２の画像は複数の画素を含み、該手段は、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求める手段を含む、画像生成手段とを備えている。なお、本装置は、エッジ成分生成手段への第１の画像の新たな入力に応答して、新たに生成された第２の画像に基づく画像を表示手段へと出力するように構成されている。エッジ成分生成手段は、エッジ成分の各要素の値に対して非線形処理を行う手段を備えていてもよい。非線形処理後のエッジ成分の要素の値は、非線形処理前のエッジ成分の要素の値を入力とする非線形関数の出力である。
2015152424.tif 000002
【特許請求の範囲】
【請求項１】
装置であって、
第１の画像からエッジ成分を生成する手段であって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成手段と、
エッジ成分から第２の画像を生成する手段であって、第２の画像は複数の画素を含み、該手段は、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求める手段を含む、画像生成手段と
を備え、第１の画像の新たな入力に応答して、新たに生成された第２の画像に基づく画像を表示手段へと出力するように構成され、エッジ成分生成手段は、エッジ成分の各要素の値に対して、リミッタ適用の前に非線形処理を行う手段を備え、当該非線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第１非線形関数の出力である、装置。
【請求項２】
装置であって、
第１の画像からエッジ成分を生成する手段であって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成手段と、
エッジ成分から第２の画像を生成する手段であって、第２の画像は複数の画素を含み、該手段は、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求める手段を含む、画像生成手段と
を備え、第１の画像の新たな入力に応答して、新たに生成された第２の画像に基づく画像を表示手段へと出力するように構成され、エッジ成分生成手段は、エッジ成分の各要素の値に対して、非線形処理を行う手段を備え、当該非線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第２非線形関数の出力であり、第２非線形関数は、第１非線形関数と、少なくともリミッタ適用のための関数との合成関数である、装置。
【請求項３】
請求項１又は２に記載の装置であって、第１非線形関数は、第１象限及び第３象限で定義され、原点を通る関数である、装置。
【請求項４】
請求項１〜３の何れか一項に記載の装置であって、第１の画像が次々と入力されるときに、第１非線形関数を複数の非線形関数の間で切り替えるための手段を更に備えた装置。
【請求項５】
請求項１から４の何れか一項に記載の装置であって、エッジ成分生成手段は、第１の画像に２次元ハイパスフィルタを適用して、第１の画像における空間周波数成分から少なくとも直流成分を除去する手段を備えた、装置。
【請求項６】
請求項１から４の何れか一項に記載の装置であって、エッジ成分生成手段は、第１の画像に対する第１方向１次元ハイパスフィルタ手段と、第１の画像に対する第２方向１次元ハイパスフィルタ手段と、第１方向１次元ハイパスフィルタ手段の出力と第２方向１次元ハイパスフィルタ手段の出力とを合成する手段とを備えた、装置。
【請求項７】
請求項１から６の何れか一項に記載の装置であって、エッジ成分生成手段は、エッジ成分の要素の値に所定の係数を乗算した値へと該要素の値を変更する増幅手段、及び、エッジ成分の要素の値が所定の閾値より大きいか又は小さい場合にその値を閾値へと変更するリミッタ適用手段の一方又は双方を備えた、装置。
【請求項８】
請求項１から７の何れか一項に記載の装置であって、画像生成手段は、エッジ成分において、周囲の要素の値の絶対値より大きな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える孤立点除去フィルタ手段と、エッジ成分において、周囲の要素の値の絶対値より小さな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える広げフィルタ手段との一方または双方を備えた、装置。
【請求項９】
請求項８に記載の装置であって、孤立点除去フィルタ手段は、
エッジ成分において３要素×３要素の連続した領域を特定し、
領域の中央の要素を除く要素において、要素がとり得る最大値と第１の割合との積を閾値として、絶対値が閾値以下となる値を有する要素の数を求め、
求められた要素の数が第１の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換える
ように構成され、広げフィルタ手段は、
エッジ成分において３要素×３要素の連続した領域を特定し、
領域の中央の要素を除く要素において、要素がとり得る最大値と第２の割合との積を閾値として、絶対値が閾値以上となる値を有する要素の数を求め、
求められた要素の数が第２の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換える
ように構成された、装置。
【請求項１０】
請求項１から９の何れか一項に記載の装置であって、第１の画像は原画像から生成され、原画像は複数の画素を含み、第１の画像の各画素の値は、原画像の対応する画素の色から導出され、
原画像の少なくとも一部を第２の画像で置き換えること、及び、原画像と第２の画像とを重ね合わせることの一方または双方を行うことにより、表示手段へと出力される画像を生成する別の画像生成手段
を更に備えた装置。
【請求項１１】
請求項１０に記載の装置であって、別の画像生成手段は、原画像と第２の画像との重ね合わせを行う場合に、
Ｃｏｕｔ＝αＣｉｎ１＋βＣｉｎ２
（αは０≦α≦１なる実数、βは０≦β≦１なる実数）
により重ね合わせ後の画像のある画素の色を求めるよう構成され、ここで、Ｃｏｕｔは重ね合わせ後の画像のある画素の色を特定する値であり、Ｃｉｎ１及びＣｉｎ２は、それぞれ、原画像及び第２の画像の対応する画素の色を特定する値である、装置。
【請求項１２】
請求項１０又は１１に記載の装置であって、別の画像生成手段は、原画像を色調整する手段を備えた、装置。
【請求項１３】
請求項１から１２の何れか一項に記載の装置としてコンピュータを機能させるプログラム。
【請求項１４】
方法であって、
エッジ成分生成手段により、第１の画像からエッジ成分を生成するステップであって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成ステップと、
画像生成手段により、エッジ成分から第２の画像を生成するステップであって、第２の画像は複数の画素を含み、該ステップは、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求めるステップを含む、画像生成ステップと、
画像出力手段により、第２の画像に基づく画像を表示手段へと出力する画像出力ステップと
を含み、第１の画像の新たな入力に応答して、エッジ成分生成ステップ、画像生成ステップ及び画像出力ステップは繰り返され、エッジ成分生成ステップは、リミッタ適用の前にエッジ成分の各要素の値に対して非線形処理を行うステップを含み、当該非線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする非線形関数の出力である、方法。
【請求項１５】
方法であって、
エッジ成分生成手段により、第１の画像からエッジ成分を生成するステップであって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成ステップと、
画像生成手段により、エッジ成分から第２の画像を生成するステップであって、第２の画像は複数の画素を含み、該ステップは、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求めるステップを含む、画像生成ステップと、
画像出力手段により、第２の画像に基づく画像を表示手段へと出力する画像出力ステップと
を含み、第１の画像の新たな入力に応答して、エッジ成分生成ステップ、画像生成ステップ及び画像出力ステップは繰り返され、エッジ成分生成ステップは、エッジ成分の各要素の値に対して非線形処理を行うステップを含み、当該線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第２非線形関数の出力であり、第２非線形関数は、第１非線形関数と、少なくともリミッタ適用のための関数との合成関数である、方法。
【請求項１６】
請求項１４又は１５に記載の方法であって、第１非線形関数は、第１象限及び第３象限で定義され、原点を通る関数である、方法。
【請求項１７】
請求項１４〜１６の何れか一項に記載の方法であって、第１の画像が次々と入力されるときに、第１非線形関数を複数の非線形関数の間で切り替えるステップを更に含む方法。
【請求項１８】
請求項１４から１７の何れか一項に記載の方法であって、エッジ成分生成ステップは、第１の画像に対する２次元ハイパスフィルタ適用ステップを含む、方法。
【請求項１９】
請求項１４から１７の何れか一項に記載の方法であって、エッジ成分生成ステップは、第１の画像に対する第１方向１次元ハイパスフィルタ適用ステップと、第１の画像に対する第２方向１次元ハイパスフィルタ適用ステップと、第１方向１次元ハイパスフィルタ適用ステップ及び第２方向１次元ハイパスフィルタ適用ステップにより得られた出力を合成するステップとを含む、方法。
【請求項２０】
請求項１４から１９の何れか一項に記載の方法であって、エッジ成分生成ステップは、エッジ成分の要素の値に所定の係数を乗算した値へと該要素の値を変更する増幅ステップ、及び、エッジ成分の要素の値が所定の閾値より大きいか又は小さい場合にその値を閾値へと変更するリミッタ適用ステップの一方又は双方を含む、方法。
【請求項２１】
請求項１４から２０の何れか一項に記載の方法であって、画像生成ステップは、エッジ成分において、周囲の要素の値の絶対値より大きな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える孤立点除去フィルタ適用ステップと、エッジ成分において、周囲の要素の値の絶対値より小さな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える広げフィルタ適用ステップとの一方または双方を含む、方法。
【請求項２２】
請求項２１に記載の方法であって、孤立点除去フィルタ適用ステップは、
エッジ成分において３要素×３要素の連続した領域を特定するステップと、
領域の中央の要素を除く要素において、要素がとり得る最大値と第１の割合との積を閾値として、絶対値が閾値以下となる値を有する要素の数を求めるステップと、
求められた要素の数が第１の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換えるステップと
を含み、広げフィルタ適用ステップは、
エッジ成分において３要素×３要素の連続した領域を特定するステップと、
領域の中央の要素を除く要素において、要素がとり得る最大値を引いた値と第２の割合との積を閾値として、絶対値が閾値以上となる値を有する要素の数を求めるステップと、
求められた要素の数が第２の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換えるステップと
を含む、方法。
【請求項２３】
請求項１４から２２の何れか一項に記載の方法であって、第１の画像は原画像から生成され、原画像は複数の画素を含み、第１の画像の各画素の値は、原画像の対応する画素の色から導出され、
別の画像生成手段により、原画像の少なくとも一部を第２の画像で置き換えること、及び、原画像と第２の画像とを重ね合わせることの一方または双方を行うことにより、表示手段へと出力される画像を生成する別の画像生成ステップを更に含む方法。
【請求項２４】
請求項２３に記載の方法であって、別の画像生成ステップは、原画像と第２の画像との重ね合わせを行う場合に、別の画像生成手段により、
Ｃｏｕｔ＝αＣｉｎ１＋βＣｉｎ２
（αは０≦α≦１なる実数、βは０≦β≦１なる実数）
により重ね合わせ後の画像のある画素の色を求めるステップを含み、ここで、Ｃｏｕｔは重ね合わせ後の画像のある画素の色を特定する値であり、Ｃｉｎ１及びＣｉｎ２は、それぞれ、原画像及び第２の画像の対応する画素の色を特定する値である、方法。
【請求項２５】
請求項２３又は２４に記載の方法であって、別の画像生成ステップは、更に、原画像を色調整するステップを含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、カメラ等で動画又は静止画を撮影する際に、人間によるフォーカスが合っているかの確認（以下、「フォーカス評価」という。）を補助する技術に関する。
【背景技術】
【０００２】
従来、動画又は静止画をカメラ等で撮影するときのフォーカス評価は、一般的に、画像のエッジを表す画素（例えば、物体の輪郭を表す画素）に着目して評価されてきた。そのようなフォーカス評価を補助するために、輪郭強調処理を用いて、エッジを表す画素を強調する技術が存在する。【０００３】
例えば、特開２０１０−１１４５５６号公報には、画像データを構成する輝度値を正規化し、正規化後の画像データに対してＨＰＦを用いたフィルタ演算を行って画素ごとのフィルタ演算値を取得し、エッジ閾値より大きなフィルタ演算値を有する画素を特定の色で色づけする技術が記載されている（当該文献の段落［００８０］〜［００９２］及び図６〜１１を参照）。ここで、エッジを表す画素は、一般的に、ＨＰＦを用いたフィルタ演算後に大きなフィルタ演算値を有する。【０００４】
また、フォーカス評価とは関わりなく、非線形処理を用いて入力画像信号に含まれない周波数成分を生成することにより、出力画像を強調する技術が存在する（特許５３２０５３８号公報及び特許５３９６６２６号公報を参照）。【０００５】
更に、特開２０１０−１６７８３号公報には、エッジ強調度に所定のリミット値を設けて、ゲイン乗算によりエッジ量が大きくなりエッジ強調度がリミット値に達した場合には、エッジ強調度を所定値にクリップして飽和させる技術が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１１４５５６号公報
【特許文献２】特許５３２０５３８号公報
【特許文献３】特許５３９６６２６号公報
【特許文献４】特開２０１０−１６７８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
輪郭強調処理では、エッジを表す画素を強調している。従って、エッジがあまり存在せず、近隣画素から輝度が急激に変化する画素が少ない画像、即ち空間周波数成分として高周波成分が少ない画像に対しては、輪郭強調処理はフォーカス評価に対する十分な補助とならない。【０００８】
このような問題に対処するため、高周波成分の少ない画像に対して輪郭強調処理を行う際に、ＨＰＦのゲインを上げる、ＨＰＦの帯域を広げることが考えられる。しかしながら、単純にゲインを上げると、画像のノイズまで増加させてしまう。また、帯域を広げると、エッジである画素とエッジでない画素とをむしろ判別しづらくなる。なぜなら、例えば、特開２０１０−１１４５５６号公報に記載の技術によると、高周波成分である画素のフィルタ演算値と、高周波成分でない画素のフィルタ演算値との差が小さくなるために、適切なエッジ閾値を設定しづらくなるためである。【０００９】
画像に十分な高周波成分が含まれない場合のほか、撮影環境により縮小して表示した場合も、輪郭強調処理ではフォーカス評価の十分な補助とならないときがある。例えば、特開２０１０−１１４５５６号公報に記載の技術によると、特定の色が割り当てられた１画素が、縮小によりつぶれ、表示されなくなることがある。近年では４Ｋ（４０９６画素×２１６０画素）で画像が撮影されることもあり、そのような画像をカメラ搭載の小型で低解像度のモニタで確認する場合は画像を縮小表示せざるを得ず、とりわけ、従来技術の輪郭強調処理ではフォーカス評価の十分な補助とならない。そのため、４Ｋで映像を撮影する際には、わざわざ大型の４Ｋ対応モニタを持ち込んで、撮影された画像のフォーカス評価をしているのが実情である。【００１０】
出願人は、そもそも、エッジを表す画素は、フォーカスを評価する１つの指標になるかもしれないが、それのみをもってフォーカスの評価がなされるわけではないことに気付いた。エッジを表す画素でない画素にもフォーカス評価に有用な情報は含まれている。例えば、画面全体のエッジの雰囲気は、エッジを表す画素でない画素から確認することが可能である。しかしながら、従来技術の輪郭強調処理では、フォーカス評価の補助において、この情報が活用されてこなかった。【００１１】
本願発明は、上述の課題に鑑みてなされたものである。
【課題を解決するための手段】
【００１２】
本発明の一実施形態は、フォーカス評価補助装置である。本装置は、第１の画像からエッジ成分を生成する手段であって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成手段と、エッジ成分から第２の画像を生成する手段であって、第２の画像は複数の画素を含み、該手段は、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求める手段を含む、画像生成手段とを備えている。なお、本装置は、エッジ成分生成手段への第１の画像の新たな入力に応答して、新たに生成された第２の画像に基づく画像を表示手段へと出力するように構成されている。【００１３】
エッジ成分生成手段は、エッジ成分の各要素の値に対して、リミッタ適用の前に非線形処理を行う手段を備えていてもよい。当該非線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第１非線形関数の出力である。【００１４】
なお、エッジ成分生成手段は、エッジ成分の各要素の値に対して、リミッタ適用を含む非線形処理を行う手段を備えていてもよい。当該非線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第２非線形関数の出力であり、第２非線形関数は、第１非線形関数と、少なくともリミッタ適用のための関数との合成関数である。【００１５】
第１非線形関数は、第１象限及び第３象限で定義され、原点を通る関数であってよい。【００１６】
本装置は、第１の画像が次々と入力されるときに、第１非線形関数を複数の非線形関数の間で切り替えるための手段を更に備えていてもよい。【００１７】
エッジ成分生成手段は、第１の画像に２次元ハイパスフィルタを適用して、第１の画像における空間周波数成分から少なくとも直流成分を除去する手段を備えていてもよい。あるいは、エッジ成分生成手段は、第１の画像に対する第１方向１次元ハイパスフィルタ手段と、第１の画像に対する第２方向１次元ハイパスフィルタ手段と、第１方向１次元ハイパスフィルタ手段の出力と第２方向１次元ハイパスフィルタ手段の出力とを合成する手段とを備えていてもよい。【００１８】
エッジ成分生成手段は、エッジ成分の要素の値に所定の係数を乗算した値へと該要素の値を変更する増幅手段、及び、エッジ成分の要素の値が所定の閾値より大きいか又は小さい場合にその値を閾値へと変更するリミッタ適用手段の一方又は双方を備えていてもよい。【００１９】
エッジ成分生成手段は、エッジ成分において、周囲の要素の値の絶対値より大きな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える孤立点除去フィルタ手段と、エッジ成分において、周囲の要素の値の絶対値より小さな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える広げフィルタ手段との一方または双方を備えていてもよい。ここで、孤立点除去フィルタ手段は、エッジ成分において３要素×３要素の連続した領域を特定し、領域の中央の要素を除く要素において、要素がとり得る最大値と第１の割合との積を閾値として、絶対値が閾値以下となる値を有する要素の数を求め、求められた要素の数が第１の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換えるように構成することができる。広げフィルタ手段は、エッジ成分において３要素×３要素の連続した領域を特定し、領域の中央の要素を除く要素において、要素がとり得る最大値と第２の割合との積を閾値として、絶対値が閾値以上となる値を有する要素の数を求め、求められた要素の数が第２の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換えるように構成することができる。【００２０】
本装置において、第１の画像は原画像から生成され、原画像は複数の画素を含み、第１の画像の各画素の値は、原画像の対応する画素の色から導出される。本装置は、原画像の少なくとも一部を第２の画像で置き換えること、及び、原画像と第２の画像とを重ね合わせることの一方または双方を行うことにより、表示手段へと出力される画像を生成する更なる画像生成手段を更に備えていてもよい。なお、画像生成手段は、原画像と第２の画像との重ね合わせを行う場合に、
Ｃｏｕｔ＝αＣｉｎ１＋βＣｉｎ２
（αは０≦α≦１なる実数、βは０≦β≦１なる実数）
により重ね合わせ後の画像のある画素の色を求めるよう構成することができる。ここで、Ｃｏｕｔは重ね合わせ後の画像のある画素の色を特定する値であり、Ｃｉｎ１及びＣｉｎ２は、それぞれ、原画像及び第２の画像の対応する画素の色を特定する値である。また、更なる画像生成手段は、原画像を色調整する手段を備えていてもよい。【００２１】
本発明の別の一実施形態は、コンピュータをフォーカス評価補助装置として機能させるプログラムである。【００２２】
本発明のまた別の一実施形態は、フォーカス評価補助方法である。本方法は、エッジ成分生成手段により、第１の画像からエッジ成分を生成するステップであって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成ステップと、画像生成手段により、エッジ成分から第２の画像を生成するステップであって、第２の画像は複数の画素を含み、該ステップは、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求めるステップを含む、画像生成ステップと、画像出力手段により、第２の画像に基づく画像を表示手段へと出力する画像出力ステップとを含んでいる。なお、本方法において、第１の画像の新たな入力に応答して、エッジ成分生成ステップ、画像生成ステップ及び画像出力ステップは繰り返される。【００２３】
エッジ成分生成ステップは、エッジ成分の各要素の値に対して、リミッタ適用の前に非線形処理を行うステップを含んでいてもよい。当該非線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第１非線形関数の出力である。【００２４】
なお、エッジ成分生成ステップは、エッジ成分の各要素の値に対して、リミッタ適用を含む非線形処理を行うステップを含んでいてもよい。当該非線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第２非線形関数の出力であり、第２非線形関数は、第１非線形関数と、少なくともリミッタ適用のための関数との合成関数である。【００２５】
第１非線形関数は、上述したように、第１象限及び第３象限で定義され、原点を通る関数であってよい。【００２６】
本方法は、第１の画像が次々と入力されるときに、前記第１非線形関数を複数の非線形関数の間で切り替えるステップを更に含んでいてもよい。【００２７】
エッジ成分生成ステップは、第１の画像に対する２次元ハイパスフィルタ適用ステップを含んでいてもよい。あるいは、エッジ成分生成ステップは、第１の画像に対する第１方向１次元ハイパスフィルタ適用ステップと、第１の画像に対する第２方向１次元ハイパスフィルタ適用ステップと、第１方向１次元ハイパスフィルタ適用ステップ及び第２方向１次元ハイパスフィルタ適用ステップにより得られた出力を合成するステップとを含んでいてもよい。【００２８】
エッジ成分生成ステップは、エッジ成分の要素の値に所定の係数を乗算した値へと該要素の値を変更する増幅ステップ、及び、エッジ成分の要素の値が所定の閾値より大きいか又は小さい場合にその値を閾値へと変更するリミッタ適用ステップの一方又は双方を含んでいてもよい。【００２９】
エッジ成分生成ステップは、エッジ成分において、周囲の要素の値の絶対値より大きな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える孤立点除去フィルタ適用ステップと、エッジ成分において、周囲の要素の値の絶対値より小さな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える広げフィルタ適用ステップとの一方または双方を含んでいてもよい。ここで、孤立点除去フィルタ適用ステップは、エッジ成分において３要素×３要素の連続した領域を特定するステップと、領域の中央の要素を除く要素において、要素がとり得る最大値と第１の割合との積を閾値として、絶対値が閾値以下となる値を有する要素の数を求めるステップと、求められた要素の数が第１の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換えるステップとを含んでいてもよい。また、広げフィルタ適用ステップは、エッジ成分において３要素×３要素の連続した領域を特定するステップと、領域の中央の要素を除く要素において、要素がとり得る最大値と第２の割合との積を閾値として、絶対値が閾値以上となる値を有する要素の数を求めるステップと、求められた要素の数が第２の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換えるステップとを含んでいてもよい。【００３０】
本方法において、第１の画像は原画像から生成され、原画像は複数の画素を含み、第１の画像の各画素の値は、原画像の対応する画素の色から導出される。本方法は、更なる画像生成手段により、原画像の少なくとも一部を第２の画像で置き換えること、及び、原画像と第２の画像とを重ね合わせることの一方または双方を行うことにより、表示手段へと出力される画像を生成する更なる画像生成ステップを更に含んでいてもよい。なお、更なる画像生成ステップは、原画像と第２の画像との重ね合わせを行う場合に、更なる画像生成手段により、
Ｃｏｕｔ＝αＣｉｎ１＋βＣｉｎ２
（αは０≦α≦１なる実数、βは０≦β≦１なる実数）
により重ね合わせ後の画像のある画素の色を求めるステップを含むことができる。ここで、Ｃｏｕｔは重ね合わせ後の画像のある画素の色を特定する値であり、Ｃｉｎ１及びＣｉｎ２は、それぞれ、原画像及び第２の画像の対応する画素の色を特定する値である。また、更なる画像生成ステップは、更に、原画像を色調整するステップを含んでいてもよい。
【発明の効果】
【００３１】
本発明によると、画像における画素間の輝度変化が、輝度変化に応じた色を用いて連続的な態様で表示される。従って、小さく解像度の低い画面においても、画像全体から把握されるエッジの雰囲気からフォーカス評価が比較的容易となる。なお、エッジの雰囲気とは、画像全体にわたる画素間の輝度変化の分布等のことを意味している。【００３２】
また、一実施形態によると、非線形関数により、非線形処理前のエッジ成分の空間周波数において存在しない周波数を生じさせることによって、エッジ成分に対して所望の強調を行うことできる。【００３３】
一実施形態によると、１次元ハイパスフィルタ又は２次元ハイパスフィルタにより、第１の画像における周波数成分からの少なくとも直流成分の除去を実現することができる。１次元ハイパスフィルタの動作速度はより高速であるため、１次元ハイパスフィルタを用いた場合には、第１の画像における周波数成分からの少なくとも直流成分の除去をより高速に実現することができる。【００３４】
一実施形態によると、エッジ成分の値を増幅し又はその値を制限することにより、エッジ成分の値を扱いやすい範囲に変換することができる。【００３５】
一実施形態によると、エッジ成分をスムージングすることにより、ノイズを低減することができる。【００３６】
更に、一実施形態によると、原画像と関連させて第２の画像を表示することにより、第２の画像からは認識できない原画像の特徴を同時に把握することができる。その際、原画像の色調整を行うことにより、原画像又は第２の画像を相対的に強調することができる。
【図面の簡単な説明】
【００３７】
【図１Ａ】本発明の一実施形態であるフォーカス評価補助方法のフローチャートを示している。
【図１Ｂ】図１Ａにおけるエッジ成分生成ステップ１２０の代替構成を示している。
【図２Ａ】第１の画像を示している。
【図２Ｂ】２次元ハイパスフィルタを示している。
【図２Ｃ】エッジ成分を示している。
【図２Ｄ】非線形関数ｆ（Ｅ）としてＥ３を用いたときの非線形処理の効果を示している。
【図２Ｅ】１次元ハイパスフィルタを示している。
【図３】非線形処理について説明している。
【図４Ａ】非線形関数の一例を示している、
【図４Ｂ】図４Ａに示された非線形関数による効果を示している。
【図５Ａ】増幅／リミッタ適用のための関数を一般化したものを示している。
【図５Ｂ】増幅／リミッタ適用のための関数の一例を示している。
【図５Ｃ】増幅／リミッタ適用のための関数の別例を示している。
【図６】第２の画像の画素の色を割り当てるための関数を示している。
【図７Ａ】図１Ａにおけるスムージングステップ１３１実行前のエッジ成分に対応する図を示している。
【図７Ｂ】図１Ａにおけるスムージングステップ１３１実行後のエッジ成分に対応する図を示している。
【図７Ｃ】図７Ａにおける孤立点４１１及び虫食い４１２を表したグラフを示している。
【図７Ｄ】図１Ａにおける孤立点除去フィルタ適用ステップ１３２のフローチャートを示している。
【図７Ｅ】図１Ａにおける広げフィルタ適用ステップ１３３のフローチャートを示している。
【図７Ｆ】エッジ成分において特定された領域を示している。
【図８Ａ】原画像（第１の画像）を示している。
【図８Ｂ】第２の画像を示している。
【図８Ｃ】原画像と第２の画像とを重ね合わせることにより生成された表示画像を示している。
【図８Ｄ】原画像と第２の画像とを部分的に重ね合わせることにより生成された表示画像を示している。
【図８Ｅ】原画像と、図８Ｂとは異なる関数を用いて画像化された第２の画像とを重ね合わせることにより生成された表示画像を示している。
【図８Ｆ】原画像と、図８Ｂとは異なる関数を用いて画像化された第２の画像とを部分的に重ね合わせることにより生成された表示画像を示している。
【図８Ｇ】別の原画像を示している。
【図８Ｈ】重ね合わせにより生成された別の表示画像を示している。
【図９Ａ】本発明の一実施形態であるフォーカス評価補助装置のブロック図を示している。
【図９Ｂ】図９Ａにおけるエッジ成分生成手段６２０の代替構成を示している。
【発明を実施するための形態】
【００３８】
まず、本発明の一実施形態である、フォーカス評価を補助するための方法について説明する。
【００３９】
図１Ａは、フォーカス評価を補助するための方法のフローチャートである。なお、このフローチャートに示された構成はあくまで一例であり、以下で説明されるように、幾つかのステップは必須でない。
【００４０】
本方法は、まず、第１の画像を入力するステップ１１０から開始される。第１の画像は、例えば、カメラで現に撮影している動画（複数フレームから構成される。また、静止画を撮影するために、カメラのファインダーやモニタに表示される動画を含む。）の１フレームや、カメラで既に記録された動画の１フレーム等（以下、「原画像」という。）から導出されたものであってよい。
【００４１】
第１の画像は複数の画素を含んでいる。第１の画像の各画素の値は、原画像の対応する画素の色から導出されるもので、以下の説明では、原画像の画素の輝度値であるものとする。なお、第１の画像の各画素の値は、原画像の画素の色のＲ、Ｇ又はＢの値やクロマ（彩度）値等、原画像の画素の色から導出可能な任意の値であってよい。また、第１の画像の画素の値として輝度値を用いる場合、第１の画像は色がグレースケールで表現された画像とみなせることから、原画像において色がグレースケールで表現されている場合、第１の画素の値の導出は、原画像の画素の色（値）を単に用いることであってよい。
【００４２】
次に、本方法は、第１の画像からエッジ成分を生成するステップ１２０に続く。ここで、エッジ成分とは、少なくとも、第１の画像における空間周波数成分から少なくとも直流成分を除去したものである。エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する。本実施形態では、エッジ成分は、第１の画像の画素数と同じ数の要素を含む配列によって表されるものとする。
【００４３】
第１の画像における空間周波数成分から少なくとも直流成分を除去する手法は任意であるが、本実施形態では、第１の画像に２次元ハイパスフィルタ（ＨＰＦ）を適用するステップ１２１を実行することによって実現している。代替として、図１Ｂに関して後述するように、２つの１次元ハイパスフィルタ適用ステップ１２１ａ及び１２１ｂによって実現することもできる。また、ハイパスフィルタを適用する代わりに、第１の画像から、第１の画像にローパスフィルタを適用したものを減算することによっても、第１の画像から少なくとも直流成分を除去することができる。以下、図２Ａ〜２Ｃを参照して、２次元ハイパスフィルタについて説明する。
【００４４】
図２Ａは第１の画像の例である。ここで、１つのマス目は１つの画素を表し、マス内の値Ｉｘｙはその画素の値、以下の説明では原画像の対応する画素の輝度値を表すものとする。なお、ｘ及びｙは、それぞれ０≦ｘ＜ｗ及び０≦ｙ＜ｈである整数であり、ｗ及びｈは、それぞれ第１の画像の横方向及び縦方向の画素の数である。
【００４５】
図２Ｂは２次元ハイパスフィルタの例である。この例においては、大きさが３要素×３要素であるフィルタを用いているが、大きさは所望なものでよい。例示のハイパスフィルタの係数ｆｉｊ（ｉ及びｊは、それぞれ０≦ｉ＜３及び０≦ｊ＜３である整数）は、以下のような値をとることができる。
【００４６】
【数１】
2015152424.tif 000003
【００４７】
上記係数の値は例示であり、ハイパスフィルタとして機能する任意の係数を用いることができることは言うまでもない。
【００４８】
図２Ｃはエッジ成分の例である。このエッジ成分は、第１の画像に図２Ｂに例示した二次元ハイパスフィルタを適用して得られたものであり、各要素の値は、以下の式により計算される。
【００４９】
【数２】
2015152424.tif 000004
【００５０】
上式を用いる際、画像外の領域のＩｘｙ（ｘ＜０，ｙ＜０，ｗ≦ｘ，ｈ≦ｙ）は任意の値、例えば０として計算してよい。なお、上式によって計算されるエッジ成分の要素の値Ｅｘｙは、正負両方の値でありうる。
【００５１】
エッジ成分生成ステップ１２０は、更に、非線形処理ステップ１２２を含んでいてもよい。なお、このステップにおいて行われる非線形処理は、先行技術にあるような単なるクリップの処理ではなく、また、後述するリミッタ適用の前に行われることに注意されたい。この処理においては、以下の計算が行われる。
Ｅ２ｘｙ＝ｆ（Ｅ１ｘｙ）  （３）
【００５２】
ここで、Ｅ１ｘｙ及びＥ２ｘｙは、それぞれ非線形処理前及び後のエッジ成分の要素の値であり、ｆ（Ｅ）は任意の非線形関数であるが、好適には、以下の条件が課された非線形関数である。
１  第１象限及び第３象限において定義される。
２  原点を通過する。
【００５３】
なお、Ｅのとり得る値が、使用するｆ（Ｅ）の定義域を超える場合には、Ｅを有理数倍する、Ｅに有理数のオフセットを加える、Ｅの絶対値をとる等して得られた、ｆ（Ｅ）の定義域内である値をＥとしてｆ（Ｅ）を計算することができる。
【００５４】
非線形関数としては、限定することなく例示すると、Ｅｐ、ｓｉｎｐ（Ｅ）及びｌｏｇｐ（Ｅ）（ｐは有理数）なる非線形関数（即ち、Ｅ１は除く）、並びに、これら関数を有理数倍すること、これら関数に有理数のオフセットを加えること、及び、これら関数を組み合わせることのうちの１以上により得られた関数が挙げられる。具体的には、ｆ（Ｅ）は以下のような関数であることができる。
【００５５】
【数３】
2015152424.tif 000005
【００５６】
非線形関数は、テーブルを用いて実現することもできる。例えば、Ｅｘｙのとり得る全ての値と、各値に対応する予め定められた出力とをテーブルに記憶しておき、非線形処理を行う際に、このテーブルとしての関数を用いて出力を計算することができる。
【００５７】
ある画像に非線形処理を施すと、元の画像の空間周波数成分には含まれていない周波数成分が生じる。図３は、示された回路を用いて、入力画像の各画素の輝度値に非線形関数を適用して出力画像を得たときの、入力画像と出力画像に含まれる周波数成分を示している。なお、ＨＰＦはハイパスフィルタ、ＮＬＦは非線形関数、ＬＭＴはリミッタ、ＡＤＤは加算器、ＭＳＢはＭｏｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ即ち符号を表すビットである。
【００５８】
発生する周波数成分は、非線形関数に応じて異なるため、上述の非線形処理における非線形関数は、所望する効果に応じて、適宜選択することができる。例えば、図２Ｄは、ｆ（Ｅ）として式（４）を用いたときの非線形処理の効果を表すグラフであり、このグラフは、非線形処理前のエッジ成分の要素の値を表すプロットをつないだ曲線２１１と非線形処理後のエッジ成分の要素の値を表すプロットをつないだ曲線２１２とを含んでいる。ここで、グラフの横軸はエッジ成分のある連続した要素を表し、縦軸はその要素の値を表している。式（４）は、出力／入力の比が、入力が大きいほど大きくなる非線形関数である。そのために、非線形処理後の曲線２１２は、非線形処理前の曲線２１１に比べて、より鋭いピーク２１３を有するようになっている。このことは、ゲインを単純に上げる場合に比べて、より大きな値を有するエッジ成分の要素はより大きくなり、小さな値を有する要素との差異が強調されることを意味している。なお、この効果は、上述の非線形処理において、絶対値をとったときに凸関数となる非線形関数を用いたときに一般的にもたらされるものである。
【００５９】
また、上述の非線形処理における非線形関数として、対数関数や平方根を利用して、絶対値を取ったときに凹関数となる非線形関数（例えば、式（６）及び（７））を用いた場合には、一般的に、エッジ成分の要素においてノイズは増大するが、低いレベルの信号が確認できるという効果が得られることになる。
【００６０】
更に、上述の非線形処理における非線形関数として、途中で段が付いた関数や、傾きが負になる関数を非線形関数として用いた場合には、あるレベルの信号の感度を落とすといった効果が得られることになる。そのような非線形関数の例を、図４Ａに示す。
【００６１】
図４Ａに示された関数は、いわゆる不感帯も含んでおり、図４Ｂに示すように、絶対値があるレベル以下の信号をゼロにするため、ノイズを除去するか、又は少なくとも低減することができる。なお、このような関数は、後述するリミッタ適用のための関数との合成と見なすこともできる。
【００６２】
なお、非線形関数は、原点に関して非対称であってよい。また、入力されるエッジ成分の値の範囲によって異なる効果が得られるように、性質の異なる関数を組み合わせて、上述の非線形処理における非線形関数としてもよく、このような非線形関数は、部分的に線形なものや、部分的に一定値をとるようなもの、不連続な部分を含むもの、ある部分は二次関数で別の部分は三次関数であるようなものも含んでいる。
【００６３】
ビデオカメラの出力画像においてフォーカス評価をする場合、ビデオカメラからの画像は刻一刻と変わり、画像に応じて適切な非線形関数が異なる場合がある。例えばビデオカメラの使用中、本方法において画像を処理するために画像が次々と入力されるときに、上述の非線形処理において用いる非線形関数を複数の非線形関数の間で切り替えることができると便利である。このような切り替えは、任意の手段により行うことができる。
【００６４】
エッジ成分生成ステップ１２０は、更に、増幅／リミッタ適用ステップ１２３を含んでいてもよい。このステップでは、非線形処理ステップ１２２の後（非線形処理ステップ１２２を含まない場合には、２次元ハイパスフィルタ適用ステップ１２１の後）のエッジ成分の要素の値に所定の係数を乗算した値へと該要素の値を変更すること、及び、要素の値が所定の閾値より大きいか又は小さい場合にその値を閾値へと変更することの一方又は双方が行われる。
【００６５】
増幅／リミッタ適用ステップ１２３、又は、当該ステップのうちのリミッタの適用は、図５Ａに一般的に示されるような関数によって実現してもよい。この図において、横軸と縦軸はそれぞれ入力と出力を表し、ＴＨＮ、ＴＬＮ、ＴＬＰ及びＴＨＰは入力に係る閾値であり、ＣＨＮ、ＣＬＮ、ＣＬＰ及びＣＨＰは、これら閾値のそれぞれに対応した出力に係る値である。ＴＬＮ及びとＴＬＰの絶対値、ＴＨＮ及びとＴＨＰの絶対値、ＣＬＰとＣＬＮの絶対値、及び、ＣＨＰとＣＨＮの絶対値のそれぞれは、等しくても異なっていてもよい。この関数に従うと、ＴＬＮより大きく（又は以上であり）且つＴＬＰより小さい（又は以下である）エッジ成分の値はゼロとなり、ＴＨＮより小さい（又は以下である）エッジ成分の値はＣＨＮとなり、ＴＨＰより大きい（又は以上である）エッジ成分の値はＣＨＰとなる。図５Ａにおいて、ＴＨＮからＴＬＮまでの区間の関数及びＴＬＰからＴＨＰまでの区間の関数の傾きは１であるとして関数を描写しているが、これら区間の少なくとも一方の関数の傾きは１でなくともよい。傾きを１より大きくすることによって、この関数により、リミッタの適用と増幅を同時に行うことができる。
【００６６】
図５Ａに示される関数おいて、ＣＬＰ＝ＴＬＰ且つＣＬＮ＝ＴＬＮであってもよく、この場合の関数は図５Ｂに示されるようなものである。更に、図５Ａに示される関数において、ＣＬＰ＝ＣＬＮ＝０であってもよく、この場合の関数は図５Ｃに示されるようなものである。
【００６７】
なお、上述したような関数を、数値計算ではなく、テーブルを用いて実現してもよいことは言うまでもない。
【００６８】
非線形処理ステップ１２２と、増幅／リミッタ適用ステップ１２３とは、前者と後者とにおいて用いる関数を合成した関数により、同一のステップとして実行してもよい。
【００６９】
図１Ｂに示されるように、エッジ成分生成ステップ１２０は、２次元ハイパスフィルタを適用するステップ１２１の代わりに、ラインに垂直な方向（第１の画像の縦方向）に１次元ハイパスフィルタを適用するステップ１２１ａ及びラインに平行なサンプル方向（同横方向）に１次元ハイパスフィルタを適用するステップ１２１ｂを含むことができる。この場合には、２つの１次元ハイパスフィルタによりそれぞれ得られた第１エッジ成分ＥＬｘｙ及び第２エッジ成分ＥＳｘｙを合成するステップ１２４により、最終的なエッジ成分Ｅｘｙを得ることができる。
【００７０】
図２Ｅは１次元ハイパスフィルタの例である。この例においては、大きさが３要素であるフィルタを用いているが、大きさは所望なものでよい。また、ラインに垂直な方向とラインに平行なサンプル方向とで異なる大きさのフィルタを用いてもよい。例示のハイパスフィルタの係数は、以下のような値をとることができる。
【００７１】
【数４】
2015152424.tif 000006
【００７２】
上記係数の値は例示であり、ハイパスフィルタとして機能する任意の係数を用いることができ、係数はラインに垂直な方向とラインに平行なサンプル方向とで異なってもよいことは言うまでもない。
【００７３】
ラインに垂直な方向のハイパスフィルタの適用は、以下の式により表される。
【００７４】
【数５】
2015152424.tif 000007
【００７５】
ラインに平行なサンプル方向のハイパスフィルタの適用は、以下の式により表される。
【００７６】
【数６】
2015152424.tif 000008
【００７７】
上式を用いる際、画像外の領域のＩｘｙ（ｘ＜０，ｙ＜０，ｗ≦ｘ，ｈ≦ｙ）は任意の値、例えば０として計算してよい。
【００７８】
エッジ成分合成ステップ１２４における合成手法は任意であるが、例えば、単純にＥｘｙ＝ＥＬｘｙ＋ＥＳｘｙという計算により合成することができる。
【００７９】
図１Ｂにおいて示されているように、第１エッジ成分ＥＬｘｙ及び第２エッジ成分ＥＳｘｙに対して、それぞれ、非線形処理ステップ１２２ａ及び１２２ｂ並びに増幅／リミッタ適用ステップ１２３ａ及び１２３ｂの少なくとも１つを適用することができ、これらステップは、上述した非線形処理ステップ１２２及び増幅／リミッタ適用ステップ１２３と同様である。
【００８０】
次に、本方法は、第２の画像を生成するステップ１３０に続く。このステップは、エッジ成分の要素の値に応じて色を割り当てることによって、エッジ成分を画像化するステップ１３４を含む。
【００８１】
以下、図６を参照して、第２の画像を生成する手法を説明する。図６は、エッジ成分の要素の値Ｅｘｙを横軸として、第２の画像の画素の、Ｒ、Ｇ及びＢ成分の値ＪＲｘｙ、ＪＧｘｙ及びＪＢｘｙをそれぞれ縦軸として有する３つのグラフを示している。
【００８２】
第２の画像は、これらグラフのプロットに示される関係でエッジ成分の要素の値から第２の画像の画素の色を割り当てることによって生成することができる。即ち、図６に示されたプロットを上のグラフから順にそれぞれ関数ｒ（Ｅｘｙ）、ｇ（Ｅｘｙ）及びｂ（Ｅｘｙ）とおくと、第２の画像の画素のＲＧＢ値（ＪＲｘｙ，ＪＧｘｙ，ＪＢｘｙ）は、以下のように表すことができる。
ＪＲｘｙ＝ｒ（Ｅｘｙ）
ＪＧｘｙ＝ｇ（Ｅｘｙ）  （１０）
ＪＢｘｙ＝ｂ（Ｅｘｙ）
【００８３】
なお、関数を定義すべき範囲は、エッジ成分の要素のとり得る値に応じて変化することは言うまでもない。
【００８４】
代替手法として、第２の画素の値を以下の関数によって割り当てることにより、第２の画像を生成することができる。
ＪＲｘｙ＝Ｅｘｙ＋ｏｆｆｓｅｔ
ＪＧｘｙ＝Ｅｘｙ＋ｏｆｆｓｅｔ  （１１）
ＪＢｘｙ＝Ｅｘｙ＋ｏｆｆｓｅｔ
【００８５】
ここで、ｏｆｆｓｅｔは任意のオフセット値である。この手法によると、第２の画像は白から黒までの濃淡により表されることになる。
【００８６】
上述の手法は、例示に過ぎない。第２の画像は、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求める任意の手法によって生成することができる。
【００８７】
第２の画像を生成するステップ１３０は、画像化ステップ１３４の前に、スムージングステップ１３１を含んでいてもよい。スムージングステップ１３１は、孤立点除去フィルタ適用ステップ１３２及び広げフィルタ適用ステップ１３３の一方又は双方を含んでいる。以下、図７Ａ〜７Ｆを参照して、孤立点除去フィルタ適用ステップ１３２と広げフィルタ適用ステップ１３３について説明する。
【００８８】
図７Ａは、説明のために、エッジ成分を、適当な閾値によって各要素の値の絶対値を二値化することによって画像化した、孤立点４１１及び虫食い４１２を含む画像４１０を示している。図７Ａ（及び後述の図７Ｂ）において、白い画素は対応する要素の値の絶対値がある閾値以上であることを示し、黒い画素は対応する要素の値の絶対値がある閾値未満であることを示す。なお、本来、孤立点４１１とは、エッジ成分において、周囲の要素の値の絶対値より大きな、好ましくは周囲の要素の値の絶対値に対して著しく大きな絶対値である値を有する要素であり、虫食い４１２とは、周囲の要素の値の絶対値より小さな、好ましくは周囲の要素の値の絶対値に対して著しく小さな絶対値である値を有する要素である。なお、孤立点４１１及び虫食い４１２については、図７Ｃにおいて、横軸をエッジ成分のある連続した要素、縦軸をその要素の値とするグラフを用いて、別の表現としても示している。このような孤立点４１１及び虫食い４１２は、第１の画像の性質によって発生することがある。孤立点除去フィルタの適用は孤立点４１１を、広げフィルタの適用は虫食い４１２をそれぞれ除去すること、言い換えると、孤立点４１１及び虫食い４１２である要素の値を周囲の要素の値から求められた値、例えば、周囲の要素の値の中央値、平均値、最大値又は最小値で置き換えることを目的とする。以下に孤立点除去フィルタと広げフィルタの一例について説明するが、上述の目的を達成できるフィルタであれば、任意のフィルタ、例えば突出した値を取り除くことが可能なメディアンフィルタ、を用いることができることは言うまでもない。
【００８９】
図７Ｄは、例示の孤立点除去フィルタのフローチャートである。このフィルタは、まず、エッジ成分において３要素×３要素の連続した領域４５０（図７Ｆを参照）を特定するステップ４３１を実行する。ここで、中央要素４５１の値をＥＸＹ、周囲要素４５２の値をＥｘｙ、要素が取り得る最大値をＥｍａｘとおくと、次に、特定された領域４５０の中央要素４５１を除く周囲要素４５２において、Ｅｍａｘと第１の割合との積を閾値として、絶対値が閾値以下となる値Ｅｘｙを有する要素の数を求めるステップ４３２を実行する。ここで、第１の割合は１０％であってよい。更に、求められた要素の数が第１の数以上であるかどうかを判定するステップ４３３を実行する。ここで、第１の数は３であってよい。そして、判定が真であれば、周囲要素４５２の値Ｅｘｙの中央値で、中央要素４５１の値ＥＸＹを置き換えるステップ４３４を実行する。
【００９０】
例えば、中央要素４５１の値ＥＸＹは１００であり、８つの周囲要素４５２の値Ｅｘｙは｛３３，１０，１５，−２０，−５，５，−４２，１２｝であり、最大値Ｅｍａｘ＝２５５であると仮定する。ここで、閾値は２５５×１０％＝２５．５であり、Ｅｘｙの絶対値＝｛３３，１０，１５，２０，５，５，４２，１２｝であり、閾値２５．５以下となるＥｘｙの絶対値は｛１０，１５，２０，５，５，１２｝であるから、値Ｅｘｙの絶対値が閾値以下となる要素の数は６である。よって、求められた要素の数６は第１の数３以上であるから、中央要素４５１は孤立点であると判定され、その値ＥＸＹ＝１００は７．５（周囲画素４５２の中央値。ここで、周囲画素４５２の数が８であるため、中央に近い２つの値Ｅｘｙ＝｛５，１０｝の算術平均として中央値を求めている）に置き換えられる。
【００９１】
図７Ｅは、例示の広げフィルタのフローチャートである。このフィルタは、まず、エッジ成分において３要素×３要素の連続した領域４５０（図７Ｆを参照）を特定するステップ４４１を実行する。ここで、中央要素４５１の値をＥＸＹ、周囲要素４５２の値をＥｘｙ、要素が取り得る最大値をＥｍａｘとおくと、次に、特定された領域４５０の中央要素４５１を除く周囲要素４５２において、Ｅｍａｘと第２の割合との積を閾値として、絶対値が閾値以上となる値Ｅｘｙを有する要素の数を求めるステップ４４２を実行する。ここで、第２の割合は１０％であってよい。更に、求められた要素の数が第２の数以上であるかどうかを判定するステップ４４３を実行する。ここで、第２の数は５であってよい。そして、判定が真であれば、周囲要素４５２の値Ｅｘｙの中央値で、中央要素４５１の値ＥＸＹを置き換えるステップ４４４を実行する。広げフィルタに対する具体例は、孤立点除去フィルタに対するものと類似するため、省略する。
【００９２】
スムージングステップ１３１が孤立点除去フィルタ適用ステップ１３２及び広げフィルタ適用ステップ１３３の双方を含む場合、これらステップはどちらを先に実行してもよいが、経験的には、孤立点除去フィルタ適用ステップ１３２を先に実行した方が好ましい結果が得られるようである。なお、上述した第１の割合と第２の割合とは異なっていてもよいし、また、第１の数と第２の数は同じであってもよい。
【００９３】
本方法は、表示画像生成ステップ１４０を含むことができる。表示画像生成ステップ１４０は、画像合成ステップ１４２を含む。図８Ａ及び８Ｂには、合成後の画像と対比する目的で、それぞれ原画像（グレースケールで表現したため、実質的に第１の画像を示したものに相当する）及び第２の画像を示した。図８Ｃは、原画像と第２の画像とを重ね合わせるように合成することにより生成された表示画像を示している。
【００９４】
原画像及び原画像と第２の画像とを重ね合わせた表示画像の別例を、図８Ｇ及び８Ｈに示す。図８Ｈの下の画像は、図８Ｇに示された、フォーカスが合っている原画像について得られた表示画像である。フォーカスのあっていない原画像（図示せず）からは、図８Ｈの上のような表示画像が得られることになる。
【００９５】
重ね合わせ後の画像のある画素の色は、当該色を特定する値（例えば、当該色のＲ、Ｇ及びＢの値のそれぞれ、又は、Ｒ、Ｇ及びＢの値が２４ビットカラー値や３２ビットカラー値等１つの値として格納されている場合にはその値）を以下の式により計算することによって求めることができる。
Ｃｏｕｔ＝αＣｉｎ１＋βＣｉｎ２
（αは０≦α≦１なる実数、βは０≦β≦１なる実数）  （１２）
【００９６】
ここで、Ｃｏｕｔは重ね合わせ後の画像のある画素の色を特定する値であり、Ｃｉｎ１及びＣｉｎ２は、それぞれ、原画像及び第２の画像の対応する画素の色を特定する値である。
【００９７】
重みα及びβは、ユーザが任意に指定することができる。例えば、α＝０．５、β＝１のとき、重ね合わせ後の画像において、第２の画像は原画像よりも強調して現れることになる。また、一般的に、原画像の各画素の色を特定する値は正の値をとることが前提となっているが、第２の画像の各画素の色を特定する値は、第２の画像の生成の際に用いる上述した関数によっては、正負両方の値をとり得ることがある。そのような場合に、例えば、白とび（画素の色を特定する値が表現しうる最大の明るさ以上の明るさを有するものを撮影したために、ある画素の色を特定する値がその値のとり得る最大値となってしまうこと）が生じている原画像と第２の画像とをα＝１、β＝１として重ね合わせると、原画像における白飛びした画素の色を特定する値が第２の画像における負の値である対応する画素の色を特定する値によって減算され、重ね合わせ後の画像においてエッジを表す画素の確認ができるようになることがある。なお、β＝１−αの関係を満たす場合、式（１２）は一般的なアルファブレンディングの式を表すことになる。
【００９８】
表示画像は、原画像の一部を第２の画像で置き換えるように合成することにより生成することもできる。ここで、置き換えるべき部分の位置やサイズは、ユーザが任意に指定することができる。なお、画像の部分置き換えと重ね合わせとを同時に行うように合成することも可能である。図８Ｄは、画像の部分置き換えと重ね合わせとを同時に行い、原画像と第２の画像との一部５１１を重ね合わせることにより生成された表示画像５１０を示している。
【００９９】
第２の画像の画像化に用いる関数を変えることにより、合成後の画像の表現を調整することができる。図８Ｅは、図８Ａに示された原画像と、第２の画像とを重ね合わせるように合成することにより生成された表示画像を示しているが、図８Ｅにおける第２の画像は、図８Ｃにおける第２の画像（図８Ｂに示された第２の画像）を生成した関数とは異なる関数を用いて、図８Ａに示された原画像から画像化されたものである。図８Ｅにおける第２の画像の生成に用いた関数は、図８Ｃにおける第２の画像の生成に用いた関数に対して、ＲＧＢ各色の値にオフセットを更に加えるように構成されたものであり、より明るい第２の画像を生成可能である。図８Ｆは、画像の部分置き換えを更に行った場合の図８Ｅに対応する。
【０１００】
表示画像生成ステップ１４０は、原画像の色調整を行うステップ１４１を含むことができる。このステップにより、合成前に原画像の色調整を行うことができ、例えば、色調整によって原画像のコントラストを下げることにより、エッジを表す画素がより目立つ表示画像を生成できる場合がある。
【０１０１】
そして、本方法は、表示手段、例えばカメラのファインダーやモニタに、第２の画像に基づく画像を出力するステップ１５０に進む。ここで、第２の画像に基づく画像とは、本方法が表示画像生成ステップ１４０を含む場合には生成された表示画像であり、含まない場合には第２の画像そのものである。
【０１０２】
以上、フォーカス評価を補助するための方法について説明してきた。フォーカスは、一般的に、撮影中にカメラ等のフォーカスリングを動かしながら評価される。フォーカスリングを動かすと、カメラのフォーカスは変化し、原画像も変化する。従って、入力される第１の画像は変化するため、表示のために用いられる第２の画像は更新されなければならない。従って、本方法が含むステップは、第１の画像の新たな入力に応答して、繰り返される。
【０１０３】
次に、本発明の一実施形態である、フォーカス評価を補助するための装置について説明する。
【０１０４】
図９Ａは、フォーカス評価を補助するための装置のブロック図である。なお、このブロック図に示された構成はあくまで一例であり、以下で説明される幾つかの手段は必須ではない。なお、この図において、第１の画像、エッジ成分、第２の画像、色調整前の原画像及び色調整前の原画像に関連して示されたグラフは、説明のために、各手段の出力がどのようなものなのかを示すグラフである。これらグラフの横軸及び縦軸は、第１の画像、第２の画像、色調整前の原画像及び色調整後の原画像については、ある連続した画素及び画素から求まる輝度値を、エッジ成分については、ある連続した要素及び要素の値を、それぞれ表している。
【０１０５】
本装置は、第１の画像生成手段６１０を備えている。この手段は、原画像から第１の画像を生成するための手段である。
【０１０６】
本装置は、エッジ成分生成手段６２０を備えている。この手段は、エッジ成分生成ステップ１２０を実行する。従って、エッジ生成手段６２０は、少なくとも、第１の画像に含まれる空間周波数成分から少なくとも直流成分を除去できればよいが、本実施形態では、２次元ハイパスフィルタ適用ステップを実行する２次元ハイパスフィルタ手段６２１を備えることにより実現している。代替として、図９Ｂに関して後述するように、２つの１次元ハイパスフィルタ手段６２４ａ及び６２４ｂを備えることにより実現することもできる。また、第１の画像から、第１の画像にローパスフィルタを適用したものを減算する手段を備えることによっても実現することができる。エッジ成分生成手段６２０は、更に、非線形処理ステップ１２２及び増幅／リミッタ適用ステップ１２３をそれぞれ実行する非線形処理手段６２２及び増幅／リミッタ手段６２３の一方又は双方を備えていてもよい。
【０１０７】
エッジ生成手段６２０は、フィルタ用バッファ手段６２４を備えている。フィルタ用バッファ手段６２４は、少なくとも、２次元ハイパスフィルタ手段６２１で一度に用いるデータ、例えば、第１の画像の連続した３画素×３画素（２次元ハイパスフィルタ手段６２１におけるフィルタの大きさに対応）を表すデータを一時的に格納し、２次元ハイパスフィルタ手段６２１に出力する手段である。なお、第１の画像の横方向の画素数をｗとおくと、フィルタ用バッファ手段６２４は、処理の効率を考え、一度に第１の画像の連続したｗ画素×３画素（２次元ハイパスフィルタ手段６２１の縦方向の大きさに対応）を表すデータを一時的に格納してもよい。
【０１０８】
図９Ｂに示されるように、エッジ成分生成手段６２０は、２次元ハイパスフィルタ手段６２１の代わりに、ラインに垂直な方向の１次元ハイパスフィルタ手段６２１ａ及びラインに平行なサンプル方向の１次元ハイパスフィルタ手段６２１ｂを備えることができる。１次元ハイパスフィルタ手段６２１ａ及び６２１ｂは、それぞれ１次元ハイパスフィルタ適用ステップ１２１ａ及び１２１ｂを実行する。この図において示されているように、エッジ成分生成手段６２０は、ラインに垂直な方向及びラインに平行なサンプル方向の非線形処理手段６２２ａ及び６２２ｂ並びに増幅／リミッタ適用手段６２３ａ及び６２３ｂの少なくとも１つを備えることができる。これら手段は、第１エッジ成分ＥＬｘｙ及び第２エッジ成分ＥＳｘｙに対して非線形処理ステップ１２２及び増幅／リミッタ適用ステップ１２３を実行する（それぞれ、ステップ１２２ａ及び１２２ｂ並びにステップ１２３ａ及び１２３ｂを実行する）ものである。
【０１０９】
２つの１次元ハイパスフィルタ手段を用いる場合、エッジ生成手段６２０は、ラインバッファ手段６２４ａ、サンプルバッファ手段６２４ｂ及びエッジ合成手段６２６を備えている。ラインバッファ手段６２４ａは、第１の画像の１ライン×１次元ハイパスフィルタ手段６２１ａにおけるフィルタの大きさに相当するデータ、例えば、第１の画像の横方向の画素数がｗであり、フィルタの大きさが３である場合、連続したｗ×３画素を表すデータを一時的に格納する。そして、格納したデータから、１次元ハイパスフィルタ６２１ａには、ラインに垂直な方向の連続した画素を表すデータを逐次出力し、サンプルバッファ手段６２４ｂには、１次元ハイパスフィルタ６２１ｂで一度に用いるデータ、例えば、ラインに平行なサンプル方向の連続した３画素（１次元ハイパスフィルタ手段６２１ｂにおけるフィルタの大きさに対応）を逐次出力する。サンプルバッファ手段６２４ｂは、１次元ハイパスフィルタ手段６２１ｂで一度に用いるデータを一時的に格納し、１次元ハイパスフィルタ手段６２１ｂに出力する。また、エッジ成分合成手段６２６は、第１エッジ成分ＥＬｘｙ及び第２エッジ成分ＥＳｘｙを一時的に格納し、エッジ成分合成ステップ１２４を実行するものである。
【０１１０】
本装置は、第２の画像生成ステップ１３０を実行する第２の画像生成手段６３０を備えている。第２の画像生成手段６３０は、画像化ステップ１３４を実行する画像化手段６３４を備えている。第２の画像生成手段６３０は、更に、スムージングステップ１３１を実行するスムージング手段６３１を備えていてもよい。スムージング手段６３１は、孤立点除去フィルタ適用ステップ１３２及び広げフィルタ適用ステップ１３３をそれぞれ実行する孤立点除去フィルタ手段６３２及び広げフィルタ手段６３３の一方又は双方を備えている。
【０１１１】
本装置は、表示画像生成ステップ１４０を実行する表示画像生成手段６４０を備えることができる。表示画像生成手段６４０は、画像合成ステップ１４２を実行する画像合成手段６４２を備えている。表示画像生成手段６４０は、更に、原画像の色調整を行うステップ１４１を実行する色調整手段６４１を備えていてもよい。
【０１１２】
表示画像生成手段６４０には、原画像と第２の画像とが入力される。そのため、表示画像生成手段６４０は、原画像と第２の画像との入力タイミングが大幅にずれる場合に原画像を画像合成手段６４２（及び、存在する場合には色調整手段６４１）に渡すタイミング遅延させるための遅延調整手段６４３を含んでいる。
【０１１３】
本装置は、第２の画像に基づく画像を図示しない表示手段へと出力するように構成されている。ここで、第２の画像に基づく画像とは、本装置が表示画像生成手段６４０を含む場合には生成された表示画像であり、含まない場合には第２の画像そのものである。
【０１１４】
以上、フォーカス評価を補助するための装置について説明してきた。フォーカス評価を補助するための方法に関して上述したように、フォーカス評価の際には、入力される第１の画像は変化するため、表示のために用いられる第２の画像は更新されなければならない。従って、本装置は、エッジ成分生成手段６２０への第１の画像の新たな入力に応答して、少なくとも、新たに生成された第２の画像に基づく画像を表示手段へと出力するように構成される。
【０１１５】
本発明は、フォーカス評価を補助するためのプログラムとしても実施可能である。そのようなプログラムは、コンピュータを、上述したフォーカスを評価するための装置として機能させるものである。
【０１１６】
ここで「コンピュータ」とは、ハードウェア資源である演算・制御装置と、記憶装置と、入力装置と、出力装置とのうちの１以上を備えたシステムのことである。演算・制御装置はＣＰＵ及びＭＰＵ等を含む。記憶装置は、メモリ、ハードディスク及びＳＳＤ等を含む。入力装置は、チップのピン、マウス、キーボード、タッチパネル及びネットワーク・インターフェース等を含む。出力装置は、チップのピン、ネットワーク・インターフェース、ディスプレイ、プリンタ及びスピーカ等を含む。ＦＰＧＡやマイクロコンピュータ等を使用して、演算・制御装置と記憶装置と入力装置と出力装置とのうちの２以上を物理的に１つのものとすることもできる。これらハードウェア資源である演算・制御装置、記憶装置、入力装置及び出力装置のうちの１以上と、ソフトウェアであるプログラムとが協働して、本発明を実施することができることは、当業者には明らかであろう。
【０１１７】
以上、本発明の複数の実施形態について説明してきた。しかしながら、これら実施形態は本発明の例示に過ぎないことに注意されたい。本発明は、特許請求の範囲によってのみ特定され、上述の実施形態に対して様々な変形、修正、削除及び代替をした実施形態をも含んでいる。
【図１Ａ】
2015152424.tif 000009
【図１Ｂ】
2015152424.tif 000010
【図２Ａ】
2015152424.tif 000011
【図２Ｂ】
2015152424.tif 000012
【図２Ｃ】
2015152424.tif 000013
【図２Ｄ】
2015152424.tif 000014
【図２Ｅ】
2015152424.tif 000015
【図４Ａ】
2015152424.tif 000016
【図４Ｂ】
2015152424.tif 000017
【図５Ａ】
2015152424.tif 000018
【図５Ｂ】
2015152424.tif 000019
【図５Ｃ】
2015152424.tif 000020
【図６】
2015152424.tif 000021
【図７Ａ】
2015152424.tif 000022
【図７Ｂ】
2015152424.tif 000023
【図７Ｃ】
2015152424.tif 000024
【図７Ｄ】
2015152424.tif 000025
【図７Ｅ】
2015152424.tif 000026
【図７Ｆ】
2015152424.tif 000027
【図９Ａ】
2015152424.tif 000028
【図９Ｂ】
2015152424.tif 000029
【図３】
2015152424.tif 000030
【図８Ａ】
2015152424.tif 000031
【図８Ｂ】
2015152424.tif 000032
【図８Ｃ】
2015152424.tif 000033
【図８Ｄ】
2015152424.tif 000034
【図８Ｅ】
2015152424.tif 000035
【図８Ｆ】
2015152424.tif 000036
【図８Ｇ】
2015152424.tif 000037
【図８Ｈ】
2015152424.tif 000038
【手続補正書】
【提出日】平成28年1月28日(2016.1.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
装置であって、
第１の画像からエッジ成分を生成する手段であって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成手段と、
エッジ成分から第２の画像を生成する手段であって、第２の画像は複数の画素を含み、該手段は、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求める手段を含む、画像生成手段と
を備え、第１の画像の新たな入力に応答して、新たに生成された第２の画像に基づく画像を表示手段へと出力するように構成され、エッジ成分生成手段は、エッジ成分の各要素の値に対して、リミッタ適用の前に非線形処理を行う手段を備え、当該非線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第１非線形関数の出力であり、第１非線形関数において、負側にある入力がとり得る最小値と正側にある入力がとり得る最大値との間のある値であって、関数の入力をｘ、関数の出力をｙとして２次元ｘｙ平面に表したときに、負側にある入力がとり得る前記最小値と前記ある値との間の区間又は前記ある値と正側にある入力がとり得る前記最大値との間の区間は曲線である前記ある値が存在する、装置。
【請求項２】
装置であって、
第１の画像からエッジ成分を生成する手段であって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成手段と、
エッジ成分から第２の画像を生成する手段であって、第２の画像は複数の画素を含み、該手段は、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求める手段を含む、画像生成手段と
を備え、第１の画像の新たな入力に応答して、新たに生成された第２の画像に基づく画像を表示手段へと出力するように構成され、エッジ成分生成手段は、エッジ成分の各要素の値に対して、非線形処理を行う手段を備え、当該非線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第２非線形関数の出力であり、第２非線形関数は、第１非線形関数と、少なくともリミッタ適用のための関数との合成関数であり、第１非線形関数において、負側にある入力がとり得る最小値と正側にある入力がとり得る最大値との間のある値であって、関数の入力をｘ、関数の出力をｙとして２次元ｘｙ平面に表したときに、負側にある入力がとり得る前記最小値と前記ある値との間の区間又は前記ある値と正側にある入力がとり得る前記最大値との間の区間は曲線である前記ある値が存在する、装置。
【請求項３】
（削除）
【請求項４】
（削除）
【請求項５】
（削除）
【請求項６】
（削除）
【請求項７】
（削除）
【請求項８】
（削除）
【請求項９】
（削除）
【請求項１０】
（削除）
【請求項１１】
（削除）
【請求項１２】
（削除）
【請求項１３】
（削除）
【請求項１４】
（削除）
【請求項１５】
（削除）
【請求項１６】
（削除）
【請求項１７】
（削除）
【請求項１８】
（削除）
【請求項１９】
（削除）
【請求項２０】
（削除）
【請求項２１】
（削除）
【請求項２２】
（削除）
【請求項２３】
（削除）
【請求項２４】
（削除）
【請求項２５】
（削除）
【請求項２６】
装置であって、
第１の画像からエッジ成分を生成する手段であって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成手段と、
エッジ成分から第２の画像を生成する手段であって、第２の画像は複数の画素を含み、該手段は、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求める手段を含む、画像生成手段と
を備え、第１の画像の新たな入力に応答して、新たに生成された第２の画像に基づく画像を表示手段へと出力するように構成され、エッジ成分生成手段は、エッジ成分の各要素の値に対して非線形処理を行う手段を備え、当該非線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第１非線形関数の出力であり、第１非線形関数において、負側にある入力がとり得る最小値と正側にある入力がとり得る最大値との間のある値であって、関数の入力をｘ、関数の出力をｙとして２次元ｘｙ平面に表したときに、負側にある入力がとり得る前記最小値と前記ある値との間の区間又は前記ある値と正側にある入力がとり得る前記最大値との間の区間は曲線である前記ある値が存在する、装置。
【請求項２７】
請求項１、２及び２６の何れか一項に記載の装置であって、第１非線形関数は、関数の入力をｘ、関数の出力をｙとして２次元ｘｙ平面に表したときに曲線である、装置。
【請求項２８】
請求項１、２、２６及び２７の何れか一項に記載の装置であって、第１非線形関数における関数の入力をｘ、関数の出力をｙとして２次元ｘｙ平面に表したときに曲線である区間、又は、第１非線形関数は、
（ａ）入力の有理数乗をする関数、
（ｂ）正弦関数の有理数乗である関数、
（ｃ）対数関数の有理数乗である関数、
（ｄ）（ａ）、（ｂ）若しくは（ｃ）に含まれる関数を有理数倍すること及び（ａ）、（ｂ）若しくは（ｃ）に含まれる関数に有理数のオフセットを加えることの一方若しくは双方により得られた関数、
（ｅ）（ａ）、（ｂ）、（ｃ）若しくは（ｄ）に含まれる関数のうちの少なくとも２つを組み合わせることにより得られた関数、又は、
（ｆ）（ａ）、（ｂ）、（ｃ）、（ｄ）若しくは（ｅ）に含まれる関数であって、当該関数の適用の前に、入力を有理数倍すること、入力に有理数のオフセットを加えること及び入力の絶対値をとることの１以上を行う関数
であって、有理数乗は１乗を含み、線形関数を除く関数
である、装置。
【請求項２９】
請求項１及び２並びに２６から２８の何れか一項に記載の装置であって、第１の画像が次々と入力されるときに、第１非線形関数を複数の非線形関数の間で切り替えるための手段を更に備えた装置。
【請求項３０】
装置であって、
第１の画像からエッジ成分を生成する手段であって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成手段と、
エッジ成分から第２の画像を生成する手段であって、第２の画像は複数の画素を含み、該手段は、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求める手段を含む、画像生成手段と
を備え、第１の画像の新たな入力に応答して、新たに生成された第２の画像に基づく画像を表示手段へと出力するように構成され、エッジ成分生成手段は、エッジ成分の各要素の値に対して非線形処理を行う手段を備え、当該非線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第１非線形関数の出力であり、第１の画像が次々と入力されるときに、第１非線形関数を複数の非線形関数の間で切り替えるための手段を更に備えた装置。
【請求項３１】
請求項１及び２並びに２６から３０の何れか一項に記載の装置であって、第１非線形関数は、第１象限及び第３象限で定義され、原点を通る関数である、装置。
【請求項３２】
請求項１及び２並びに２６から３１の何れか一項に記載の装置であって、エッジ成分生成手段は、第１の画像に２次元ハイパスフィルタを適用して、第１の画像における空間周波数成分から少なくとも直流成分を除去する手段を備えた、装置。
【請求項３３】
請求項１及び２並びに２６から３１の何れか一項に記載の装置であって、エッジ成分生成手段は、第１の画像に対する第１方向１次元ハイパスフィルタ手段と、第１の画像に対する第２方向１次元ハイパスフィルタ手段と、第１方向１次元ハイパスフィルタ手段の出力と第２方向１次元ハイパスフィルタ手段の出力とを合成する手段とを備えた、装置。
【請求項３４】
請求項１及び２並びに２６から３３の何れか一項に記載の装置であって、エッジ成分生成手段は、エッジ成分の要素の値に所定の係数を乗算した値へと該要素の値を変更する増幅手段、及び、エッジ成分の要素の値が所定の閾値より大きいか又は小さい場合にその値を閾値へと変更するリミッタ適用手段の一方又は双方を備えた、装置。
【請求項３５】
請求項１及び２並びに２６から３４の何れか一項に記載の装置であって、画像生成手段は、エッジ成分において、周囲の要素の値の絶対値より大きな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える孤立点除去フィルタ手段と、エッジ成分において、周囲の要素の値の絶対値より小さな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える広げフィルタ手段との一方または双方を備えた、装置。
【請求項３６】
請求項３５に記載の装置であって、孤立点除去フィルタ手段は、
エッジ成分において３要素×３要素の連続した領域を特定し、
領域の中央の要素を除く要素において、要素がとり得る最大値と第１の割合との積を閾値として、絶対値が閾値以下となる値を有する要素の数を求め、
求められた要素の数が第１の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換える
ように構成され、広げフィルタ手段は、
エッジ成分において３要素×３要素の連続した領域を特定し、
領域の中央の要素を除く要素において、要素がとり得る最大値と第２の割合との積を閾値として、絶対値が閾値以上となる値を有する要素の数を求め、
求められた要素の数が第２の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換える
ように構成された、装置。
【請求項３７】
請求項１及び２並びに２６から３６の何れか一項に記載の装置であって、第１の画像は原画像から生成され、原画像は複数の画素を含み、第１の画像の各画素の値は、原画像の対応する画素の色から導出され、
原画像の少なくとも一部を第２の画像で置き換えること、及び、原画像と第２の画像とを重ね合わせることの一方または双方を行うことにより、表示手段へと出力される画像を生成する別の画像生成手段
を更に備えた装置。
【請求項３８】
請求項３７に記載の装置であって、別の画像生成手段は、原画像と第２の画像との重ね合わせを行う場合に、
Ｃｏｕｔ＝αＣｉｎ１＋βＣｉｎ２
（αは０≦α≦１なる実数、βは０≦β≦１なる実数）
により重ね合わせ後の画像のある画素の色を求めるよう構成され、ここで、Ｃｏｕｔは重ね合わせ後の画像のある画素の色を特定する値であり、Ｃｉｎ１及びＣｉｎ２は、それぞれ、原画像及び第２の画像の対応する画素の色を特定する値である、装置。
【請求項３９】
請求項３７又は３８に記載の装置であって、別の画像生成手段は、原画像を色調整する手段を備えた、装置。
【請求項４０】
請求項１及び２並びに２６から３９の何れか一項に記載の装置としてコンピュータを機能させるプログラム。
【請求項４１】
方法であって、
エッジ成分生成手段により、第１の画像からエッジ成分を生成するステップであって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成ステップと、
画像生成手段により、エッジ成分から第２の画像を生成するステップであって、第２の画像は複数の画素を含み、該ステップは、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求めるステップを含む、画像生成ステップと、
画像出力手段により、第２の画像に基づく画像を表示手段へと出力する画像出力ステップと
を含み、第１の画像の新たな入力に応答して、エッジ成分生成ステップ、画像生成ステップ及び画像出力ステップは繰り返され、エッジ成分生成ステップは、リミッタ適用の前にエッジ成分の各要素の値に対して非線形処理を行うステップを含み、当該非線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第１非線形関数の出力であり、第１非線形関数において、負側にある入力がとり得る最小値と正側にある入力がとり得る最大値との間のある値であって、関数の入力をｘ、関数の出力をｙとして２次元ｘｙ平面に表したときに、負側にある入力がとり得る前記最小値と前記ある値との間の区間又は前記ある値と正側にある入力がとり得る前記最大値との間の区間は曲線である前記ある値が存在する、方法。
【請求項４２】
方法であって、
エッジ成分生成手段により、第１の画像からエッジ成分を生成するステップであって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成ステップと、
画像生成手段により、エッジ成分から第２の画像を生成するステップであって、第２の画像は複数の画素を含み、該ステップは、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求めるステップを含む、画像生成ステップと、
画像出力手段により、第２の画像に基づく画像を表示手段へと出力する画像出力ステップと
を含み、第１の画像の新たな入力に応答して、エッジ成分生成ステップ、画像生成ステップ及び画像出力ステップは繰り返され、エッジ成分生成ステップは、エッジ成分の各要素の値に対して非線形処理を行うステップを含み、当該線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第２非線形関数の出力であり、第２非線形関数は、第１非線形関数と、少なくともリミッタ適用のための関数との合成関数であり、第１非線形関数において、負側にある入力がとり得る最小値と正側にある入力がとり得る最大値との間のある値であって、関数の入力をｘ、関数の出力をｙとして２次元ｘｙ平面に表したときに、負側にある入力がとり得る前記最小値と前記ある値との間の区間又は前記ある値と正側にある入力がとり得る前記最大値との間の区間は曲線である前記ある値が存在する、方法。
【請求項４３】
方法であって、
エッジ成分生成手段により、第１の画像からエッジ成分を生成するステップであって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成ステップと、
画像生成手段により、エッジ成分から第２の画像を生成するステップであって、第２の画像は複数の画素を含み、該ステップは、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求めるステップを含む、画像生成ステップと、
画像出力手段により、第２の画像に基づく画像を表示手段へと出力する画像出力ステップと
を含み、第１の画像の新たな入力に応答して、エッジ成分生成ステップ、画像生成ステップ及び画像出力ステップは繰り返され、エッジ成分生成ステップは、エッジ成分の各要素の値に対して非線形処理を行うステップを含み、当該非線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第１非線形関数の出力であり、第１非線形関数において、負側にある入力がとり得る最小値と正側にある入力がとり得る最大値との間のある値であって、関数の入力をｘ、関数の出力をｙとして２次元ｘｙ平面に表したときに、負側にある入力がとり得る前記最小値と前記ある値との間の区間又は前記ある値と正側にある入力がとり得る前記最大値との間の区間は曲線である前記ある値が存在する、方法。
【請求項４４】
請求項４１から４３の何れか一項に記載の方法であって、第１非線形関数は、関数の入力をｘ、関数の出力をｙとして２次元ｘｙ平面に表したときに曲線である、方法。
【請求項４５】
請求項４１から４４の何れか一項に記載の方法であって、第１非線形関数における関数の入力をｘ、関数の出力をｙとして２次元ｘｙ平面に表したときに曲線である区間、又は、第１非線形関数は、
（ａ）入力の有理数乗をする関数、
（ｂ）正弦関数の有理数乗である関数、
（ｃ）対数関数の有理数乗である関数、
（ｄ）（ａ）、（ｂ）若しくは（ｃ）に含まれる関数を有理数倍すること及び（ａ）、（ｂ）若しくは（ｃ）に含まれる関数に有理数のオフセットを加えることの一方若しくは双方により得られた関数、
（ｅ）（ａ）、（ｂ）、（ｃ）若しくは（ｄ）に含まれる関数のうちの少なくとも２つを組み合わせることにより得られた関数、又は、
（ｆ）（ａ）、（ｂ）、（ｃ）、（ｄ）若しくは（ｅ）に含まれる関数であって、当該関数の適用の前に、入力を有理数倍すること、入力に有理数のオフセットを加えること及び入力の絶対値をとることの１以上を行う関数
であって、有理数乗は１乗を含み、線形関数を除く関数
である、方法。
【請求項４６】
請求項４１から４５の何れか一項に記載の方法であって、第１の画像が次々と入力されるときに、第１非線形関数を複数の非線形関数の間で切り替えるステップを更に含む方法。
【請求項４７】
方法であって、
エッジ成分生成手段により、第１の画像からエッジ成分を生成するステップであって、第１の画像は複数の画素を含み、エッジ成分は複数の要素を含み、エッジ成分の各要素の値は、第１の画像における空間周波数成分から少なくとも直流成分を除去した後の第１の画像の各画素の値に対応する、エッジ成分生成ステップと、
画像生成手段により、エッジ成分から第２の画像を生成するステップであって、第２の画像は複数の画素を含み、該ステップは、エッジ成分の各要素の値の関数として、第２の画像の各画素の色を求めるステップを含む、画像生成ステップと、
画像出力手段により、第２の画像に基づく画像を表示手段へと出力する画像出力ステップと
を含み、第１の画像の新たな入力に応答して、エッジ成分生成ステップ、画像生成ステップ及び画像出力ステップは繰り返され、エッジ成分生成ステップは、エッジ成分の各要素の値に対して非線形処理を行うステップを含み、当該非線形処理後のエッジ成分の要素の値は、当該非線形処理前のエッジ成分の要素の値を入力とする第１非線形関数の出力であり、第１の画像が次々と入力されるときに、第１非線形関数を複数の非線形関数の間で切り替えるステップを更に含む方法。
【請求項４８】
請求項４１から４７の何れか一項に記載の方法であって、第１非線形関数は、第１象限及び第３象限で定義され、原点を通る関数である、方法。
【請求項４９】
請求項４１から４８の何れか一項に記載の方法であって、エッジ成分生成ステップは、第１の画像に対する２次元ハイパスフィルタ適用ステップを含む、方法。
【請求項５０】
請求項４１から４８の何れか一項に記載の方法であって、エッジ成分生成ステップは、第１の画像に対する第１方向１次元ハイパスフィルタ適用ステップと、第１の画像に対する第２方向１次元ハイパスフィルタ適用ステップと、第１方向１次元ハイパスフィルタ適用ステップ及び第２方向１次元ハイパスフィルタ適用ステップにより得られた出力を合成するステップとを含む、方法。
【請求項５１】
請求項４１から５０の何れか一項に記載の方法であって、エッジ成分生成ステップは、エッジ成分の要素の値に所定の係数を乗算した値へと該要素の値を変更する増幅ステップ、及び、エッジ成分の要素の値が所定の閾値より大きいか又は小さい場合にその値を閾値へと変更するリミッタ適用ステップの一方又は双方を含む、方法。
【請求項５２】
請求項４１から５１の何れか一項に記載の方法であって、画像生成ステップは、エッジ成分において、周囲の要素の値の絶対値より大きな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える孤立点除去フィルタ適用ステップと、エッジ成分において、周囲の要素の値の絶対値より小さな絶対値である値を有する要素の値を、該周囲の要素の値から求まる値で置き換える広げフィルタ適用ステップとの一方または双方を含む、方法。
【請求項５３】
請求項５２に記載の方法であって、孤立点除去フィルタ適用ステップは、
エッジ成分において３要素×３要素の連続した領域を特定するステップと、
領域の中央の要素を除く要素において、要素がとり得る最大値と第１の割合との積を閾値として、絶対値が閾値以下となる値を有する要素の数を求めるステップと、
求められた要素の数が第１の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換えるステップと
を含み、広げフィルタ適用ステップは、
エッジ成分において３要素×３要素の連続した領域を特定するステップと、
領域の中央の要素を除く要素において、要素がとり得る最大値を引いた値と第２の割合との積を閾値として、絶対値が閾値以上となる値を有する要素の数を求めるステップと、
求められた要素の数が第２の数以上であった場合に、領域の中央の要素を除く要素の値の中央値で、領域の中央の要素の値を置き換えるステップと
を含む、方法。
【請求項５４】
請求項４１から５３の何れか一項に記載の方法であって、第１の画像は原画像から生成され、原画像は複数の画素を含み、第１の画像の各画素の値は、原画像の対応する画素の色から導出され、
別の画像生成手段により、原画像の少なくとも一部を第２の画像で置き換えること、及び、原画像と第２の画像とを重ね合わせることの一方または双方を行うことにより、表示手段へと出力される画像を生成する別の画像生成ステップを更に含む方法。
【請求項５５】
請求項５４に記載の方法であって、別の画像生成ステップは、原画像と第２の画像との重ね合わせを行う場合に、別の画像生成手段により、
Ｃｏｕｔ＝αＣｉｎ１＋βＣｉｎ２
（αは０≦α≦１なる実数、βは０≦β≦１なる実数）
により重ね合わせ後の画像のある画素の色を求めるステップを含み、ここで、Ｃｏｕｔは重ね合わせ後の画像のある画素の色を特定する値であり、Ｃｉｎ１及びＣｉｎ２は、それぞれ、原画像及び第２の画像の対応する画素の色を特定する値である、方法。
【請求項５６】
請求項５４又は５５に記載の方法であって、別の画像生成ステップは、更に、原画像を色調整するステップを含む、方法。
【国際調査報告】
2015152424.tif 000039
2015152424.tif 000040
2015152424.tif 000041
2015152424.tif 000042