(57)【要約】【課題】  本発明の目的は、撮像手段で撮像可能な解像度よりも低い解像度の表示装置に表示した場合であっても、撮影中の画像に対してエッジ成分を適切に強調することで、より精度よくフォーカス合わせを行うことである。【解決手段】  本発明は、撮影中の画像に対して、画像よりも解像度が低い表示部に前記画像を表示させるために画像処理を施す画像処理装置であって、画像からエッジ成分を抽出する抽出部と、エッジ成分に対して全波整流処理をした後にローパスフィルタ処理を施すことで、エッジ成分を太線化する太線化部と、太線化されたエッジ成分を画像に合成して合成画像を生成する合成部と、合成画像を表示装置の解像度に合うように解像度変換する解像度変換部と、を備える画像処理装置である。【選択図】  図１
2015216467.tif 000002
【特許請求の範囲】
【請求項１】
撮影中の画像に対して、前記画像よりも解像度が低い表示部に前記画像を表示させるために画像処理を施す画像処理装置であって、
前記画像からエッジ成分を抽出する抽出部と、
前記エッジ成分に対して全波整流処理をした後にローパスフィルタ処理を施すことで、前記エッジ成分を太線化する太線化部と、
前記太線化されたエッジ成分を前記画像に合成して合成画像を生成する合成部と、
前記合成画像を前記表示装置の解像度に合うように解像度変換する解像度変換部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記合成部は、前記太線化されたエッジ成分を前記画像の輝度成分に合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成部は、前記太線化されたエッジ成分に色付け処理を行うことを特徴とすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記合成部は、前記太線化されたエッジ成分をモノクロ画像に変換された前記画像に合成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記合成画像について、前記太線化されたエッジ成分とエッジ成分以外の部分のそれぞれをカラーとモノクロの何れかで表示するかを選択可能な複数のモードを有することを特徴とする請求項１から４の何れかに記載の画像処理装置。
【請求項６】
請求項１から５の何れかに記載の画像処理装置と、
前記画像を撮像する撮像部と、
前記画像処理が施された画像を表示する表示部と、を備えることを特徴とする撮像装置。
【請求項７】
撮影中の画像に対して、前記画像よりも解像度が低い表示部に前記画像を表示させるために施す画像処理方法であって、
前記画像からエッジ成分を抽出する工程と、
前記エッジ成分に対して全波整流処理をした後にローパスフィルタ処理を施すことで、前記エッジ成分を太線化する工程と、
前記太線化されたエッジ成分を前記画像に合成して合成画像を生成する工程と、
前記合成画像を前記表示装置の解像度に合うように解像度変換する工程と、を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
撮影時のフォーカス合わせを補助するために、撮影中の画像に対して画像内のエッジ成分を強調する画像処理を施して表示装置に表示する技術に関する。
【背景技術】
【０００２】
撮影時における被写体のフォーカス合わせには、撮像装置に付属するＥＶＦ（電子ビューファインダー）などの表示装置に表示された、撮影中の画像を確認して行うのが一般的である。このフォーカス合わせを補助するための方法として、特許文献１に示すように、画像のエッジ部分を強調して表示したり、エッジ成分に色を付けて表示したりするピーキング表示がある。撮影者はピーキング表示された画像を確認することで、フォーカスの合焦度合いを把握することが可能となる。
【０００３】
また、近年では、４Ｋ（３８４０×２１６０画素）の解像度で画像を撮像できる撮像素子があり、より高微細な画像を取り扱う撮影システムへと進化している。一方で、撮像装置に付属するＥＶＦなどの表示装置は撮像素子と比較して高微細化されておらず、ＱＨＤ（９６０×５４０画素）程度の解像度のものが用いられることが多い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−５０５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図３は、従来の撮像装置における画像処理に係る周波数特性を説明するための図である。図３中のＡの領域は、たとえば４Ｋの解像度で撮影した画像の周波数帯域を示し、Ｂの領域はたとえばＱＨＤの解像度の表示装置で表現可能な画像の周波数帯域を示している。図３からも明らかなように、表示装置の解像度が撮像装置の解像度よりも低い場合には、撮影画像の解像度を表示装置の解像度に合わせて低くするように解像度変換を行う必要がある。
【０００６】
従来の撮像装置における解像度変換の処理では、撮影画像に含まれていた高周波のエッジ成分はフィルタ処理で無くなってしまい、適切にピーキング表示できないという問題があった。また、高周波のエッジ成分を抽出した後に間引いて低解像度な表示装置に表示することも考えられるが、間引くことで折りかえりが発生してしまうという問題がある。
【０００７】
そこで本願発明は、撮像手段で撮像可能な解像度よりも低い解像度の表示装置に表示した場合であっても、撮影中の画像に対してエッジ成分を適切に強調することで、より精度よくフォーカス合わせを行うことが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の１実施形態によれば、撮影中の画像に対して、前記画像よりも解像度が低い表示部に前記画像を表示させるために画像処理を施す画像処理装置であって、前記画像からエッジ成分を抽出する抽出部と、前記エッジ成分に対して全波整流処理をした後にローパスフィルタ処理を施すことで、前記エッジ成分を太線化する太線化部と、前記太線化されたエッジ成分を前記画像に合成して合成画像を生成する合成部と、前記合成画像を前記表示装置の解像度に合うように解像度変換する解像度変換部と、を備えることを特徴とする。
【発明の効果】
【０００９】
撮像手段で撮像可能な解像度よりも低い解像度の表示装置に表示した場合であっても、撮影中の画像に対してエッジ成分を適切に強調することで、より精度よくフォーカス合わせを行うことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】本実施形態の画像処理部の構成例を示すブロック図である。
【図３】従来の画像処理に係る周波数特性の説明をするための図である。
【図４】本実施形態に係るノイズ除去処理のイメージを示す図である。
【図５】本実施形態に係る太線化のイメージを示す図である。
【図６】本実施形態に係る画像処理のフローチャートである。
【図７】本実施形態２に係るピーキングの色モードを示す図である。
【図８】本実施形態２係る合成処理のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。本発明の実施形態に係る画像処理装置は、静止画、動画を撮影可能な撮像装置としてのデジタルカメラに用いられ、撮像装置に付属する表示装置に画像を出力する装置である。
【００１２】
（第１の実施形態）
図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【００１３】
図１に示した撮像装置１００は、画像入力部１０３を構成する撮像部で被写体を撮像して得られた画像情報に対して画像処理部１０４にて画像処理を行い、表示部１０５に画像を出力する機能を有する。制御部１０１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、画像処理装置１０４を含む撮像装置１００の全体の処理を制御する。
【００１４】
操作部１０２は、ユーザーが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１０２からの操作信号は、制御部１０１によって検出され、操作に応じた動作が実行されるよう制御部１０１によって制御される。
【００１５】
表示部１０５は、撮像装置１００において、入力された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ（ＬＣＤ）等の表示装置である。表示部１０５は、たとえば撮像装置１００に付属する液晶のＥＶＦ（電子ビューファインダー）である。
【００１６】
画像入力部１０３は、例えば複数のレンズやＣＣＤ（Ｃｈａｒｇｅ‐Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの撮像素子で構成された撮像部、または外部機器などの出力画像を入力可能なインタフェース部である。画像入力部１０３により入力された画像（映像）は、画像処理部１０４にて画像処理され、表示部１０５によって表示される。
【００１７】
本実施形態では、画像入力部１０３の撮像部で撮像する画像の解像度を４Ｋ（水平４０９６×垂直２１６０画素）とし、表示部１０５の表示解像度をＱＨＤ（水平９６０×垂直５４０画素）とする。
【００１８】
画像処理部１０４は、画像入力部１０３から入力された画像に、画像のエッジ成分を強調させるピーキング処理を行い、表示部１０５で表示可能な画像を生成する。
【００１９】
表示部１０５は、画像処理部１０４から出力された画像を入力し表示する。表示部１０５は、撮像部で撮影中の画像を表示することも可能である、ユーザーは、表示部１０５に表示された撮影中の画像を確認しながら、フォーカス調整を行う。
【００２０】
図２は、本発明の実施形態に係る画像処理部１０４の構成例を示すブロック図である。
【００２１】
高域通過フィルタ部２０１では、エッジ成分抽出部として機能し、画像入力部１０３から入力された画像から、画像の高域周波数成分であるエッジ成分を抽出する。
【００２２】
ノイズ除去部２０２は、抽出されたエッジ成分から、孤立点等のノイズやレベルの低いエッジ成分を除去する。具体的には、高域通過フィルタ部２０１からの出力である抽出されたエッジ成分のレベルに所定の閾値を設け、指定されたレベル範囲にあるエッジ成分をノイズとして除去する。
【００２３】
図４はエッジ成分からノイズを除去するイメージを示した図である。
【００２４】
図４（Ａ）は高域通過フィルタ部２０１より出力された信号のレベルとし、図４（Ｂ）は閾値として０を設定した場合に指定されたレベル範囲にあるエッジ成分をノイズとして除去したものである。除去するエッジ成分のレベルの指定範囲はユーザーが任意に設定可能とする。
【００２５】
太線化部２０３は、全波整流部２０４と低域通過フィルタ部２０５で構成される。全波整流部２０４では、エッジ成分の正・負成分を共に同じ向きへと全波整流処理を行う。本実施形態では、全波整流部２０４はエッジ成分を正方向へ整流する。低域通過フィルタ部２０５は、整流されたエッジ成分に対して、低域通過フィルタをかけてローパスフィルタ処理を行うことによりエッジ成分を太線化することができる。
【００２６】
エッジ部分を太線化するイメージを図５に示す。
【００２７】
図５（Ａ）は４Ｋの入力画像のエッジ成分を含む画像の一部分を示し、図５（Ｂ）は高域通過フィルタによって抜き出されたエッジ成分を示す。図５（Ｃ）はエッジ成分を正方向へ全波整流を行った波形を示し、図５（Ｄ）は全波整流後の波形が低域通過フィルタを通過し太線化されたエッジ成分を示す。このような処理を連続して行うことで、エッジ成分を太線化することができ、空間周波数として高域に存在したエッジ成分をより低域の領域に移動させることが可能となる。
【００２８】
合成部２０６は、太線化部２０３から出力される太線化されたエッジ成分と、画像入力部１０３から入力された画像を画像の水平・垂直タイミングを合わせて合成する。具体的には、画像入力部１０３から入力された画像の輝度成分にエッジ成分を加えるように加算処理を行う。
【００２９】
解像度変換部２０７は、撮像素子で撮像可能な解像度よりも低い解像度である表示部１０５で表示可能となるように、低域通過フィルタを用いて合成画像に対して解像度変換処理を行う。本実施形態においては、４Ｋ画素解像度の画像をＱＨＤ画素解像度の画像へ解像度変換する為、水平３９６０画素のサイズを９６０画素のサイズへ、垂直２１６０画素のサイズを５４０画素のサイズへダウンコンバートする。
【００３０】
低域通過フィルタ部２０７から出力されたＱＨＤ解像度の画像は画像処理部１０４からの出力画像となり、表示部１０５にて画像表示される。
【００３１】
次に、図６を用いて画像処理部１０４における動作について説明する。
【００３２】
図６に、本実施形態のピーキング処理に係るフローチャートを示す。図６のフローチャートは、制御部１０１によって、各処理ブロックを制御して実行される処理手順を図示したものである。具体的には、制御部１０１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００３３】
図６において、入力画像のエッジ成分を強調して表示させるピーキング表示機能が有効になっている場合（Ｓ６０１）、高域通過フィルタ部２０１が入力画像のエッジ成分を抽出する（Ｓ６０２）。その後、ノイズ除去部２０２にて抽出されたエッジ成分からノイズ成分を除去し（Ｓ６０３）、Ｓ６０４の太線化処理へ進む。
【００３４】
Ｓ６０４の太線化処理では、全波整流部２０４で整流されたエッジ成分を低域通過フィルタ部２０５にてフィルタをかけることにより、太線化されたエッジ成分が生成される。Ｓ６０５にてエッジ成分を抽出した基準画像である入力画像に太線化されたエッジ成分を合成することによって、エッジが強調された合成画像が生成される。その後、Ｓ６０６にて合成画像を表示部１０５で表示可能な解像度に解像度変換される。
【００３５】
また図６において、入力画像のエッジ成分を強調して表示させるピーキング表示機能が無効となっている場合（Ｓ６０１）は、エッジ強調処理を行わずに、Ｓ６０６にて４Ｋ画像から表示部１０５で表示可能なＱＨＤ画像の解像度に解像度変換される。
【００３６】
（第２の実施形態）
第１の実施形態では、合成部２０６において、エッジ成分を抽出した基準画像である入力画像と太線化されたエッジ成分を合成する時、輝度成分にのみに対して加算する処理を行った。
【００３７】
第２の実施形態では、ピーキング表示機能がオンの状態であり、エッジ強調した撮影画像を表示部１０５に表示するモードとして、太線化されたエッジ成分に色付して表示するモードと、エッジ成分以外の画像をモノクロ表示するモードを持ち、この２つモードの組み合わせである４つのピーキング表示機能の色モードにおける画像合成処理について説明する。本実施形態における画像処理装置の構成のうち、第１の実施形態の画像処理装置と共通する構成については説明を省略する。
【００３８】
以下、本実施形態における、ピーキング表示機能の色モードとしての４つのモードについて説明する。
【００３９】
図７は、ピーキング表示機能が有効である時における、表示部１０５で表示するモードの種類を示す。
【００４０】
モード１は、エッジ成分の輝度成分を強調して表示するモードである。画像入力部１０３から入力された入力画像は輝度と色差を含むカラー画像であり、この入力画像の輝度成分に、太線化されたエッジ成分を輝度成分として加算して合成処理を行う。
【００４１】
モード２は、エッジ成分に色を付けて表示するモードである。太線化されたエッジ成分が存在する（値が０でない）場合、エッジ成分として予め設定されている輝度と色差の値を参照し、画像入力部１０３から入力されたカラーの入力画像の輝度と色差の値に置き換えて合成処理を行う。
【００４２】
モード３は、画像全体をモノクロで表示するモードである。画像入力部１０３から入力されたカラーの入力画像の輝度成分に、太線化されたエッジ成分を輝度成分として加算して合成処理を行う。また、色差成分はモノクロ画像になるよう固定値に置き換える。例えば画像が８ビットデータであれば、色差の値を０ｘ８０の値に設定すると、モノクロ画像となる。
【００４３】
モード４は、エッジ成分のみをカラーで表示するモードである。太線化されたエッジ成分が存在する（値が０でない）場合、エッジ成分の色として予め設定されていた輝度と色差の値を、画像入力部１０３から入力されたカラーの入力画像の輝度と色差の値に置き換える。エッジ成分が存在しない（値が０である）部分については、モノクロ画像になるよう色差の値を固定値に置き換える。例えば画像が８ビットデータであれば、色差の値を０ｘ８０の値として置き換える。
【００４４】
図８に、本実施形態の合成処理に係るフローチャートを示す。
【００４５】
図８のフローチャートは、制御部１０１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１０１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００４６】
図８において合成処理が開始され、まずモノクロ画像を出力するモードであるかを判定する。モノクロ画像を出力するモードであった場合（Ｓ８０１でＹｅｓ）、入力画像の色差をモノクロ画像へ変換する（Ｓ８０２）。モノクロ画像を出力するモードでない場合（Ｓ８０１でＮｏ）、Ｓ８０３に進む。
【００４７】
次にエッジ成分をカラーとモノクロのいずれで表示するかについて判定する。エッジ成分に色を付けて出力するカラーエッジモードであった場合（Ｓ８０３でＹｅｓ）、予め設定しておいたエッジ色の値を参照し（Ｓ８０４）、エッジデータに反映させる（Ｓ８０５）。具体的には、エッジ色として輝度Ｙ、色差（Ｃｂ、Ｃｒ）の値が設定されており、エッジデータの輝度Ｙ、色差（Ｃｂ、Ｃｒ）にこの値を置き換える。エッジ成分に色を付けて出力するカラーエッジモードでない場合（Ｓ８０３でＮｏ）Ｓ８０６に進み、画像とエッジ成分を合成する。
【００４８】
また、モードごと動作を図８のフローチャートを用いて説明する。
【００４９】
モード１（カラー画像＋モノクロエッジ）では、モノクロ画像出力ではないので（Ｓ８０１でＮｏ）、Ｓ８０３に進む。また、カラーエッジモードではないので（Ｓ８０３でＮｏ）、Ｓ８０６に進み画像とエッジ成分を合成する。
【００５０】
モード２（カラー画像＋カラーエッジ）では、モノクロ画像出力ではないので（Ｓ８０１でＮｏ）、Ｓ８０３に進む。カラーエッジモードなので（Ｓ８０３でＹｅｓ）、エッジ色の値を参照し（Ｓ８０４）、エッジデータに反映させる（Ｓ８０５）。その後、Ｓ８０６に進み画像とエッジ成分を合成する。
【００５１】
モード３（モノクロ画像＋モノクロエッジ）では、モノクロ画像出力なので（Ｓ８０１でＹｅｓ）、Ｓ８０２に進み画像をモノクロ画像へ変換する。カラーエッジモードではないので（Ｓ８０３でＮｏ）、Ｓ８０６に進みモノクロ画像とエッジ成分を合成する。
【００５２】
モード４（モノクロ画像＋カラーエッジ）では、モノクロ画像出力なので（Ｓ８０１でＹｅｓ）、Ｓ８０２に進み画像をモノクロ画像へ変換する。カラーエッジモードなので（Ｓ８０３でＹｅｓ）、エッジ色の値を参照し（Ｓ８０４）、エッジデータに反映させる（Ｓ８０５）。その後、Ｓ８０６に進み画像とエッジ成分を合成する。
【００５３】
本実施形態においては、ピーキング表示機能の色モードを４パターンとして説明したが、全てのパターンを使用しなくとも良く、このうちの幾つかのパターンのみを使用する構成としても良い。また、エッジ成分に色を付ける場合の色の値は、ユーザーが任意に設定することが可能である。画像とエッジ成分を合成する場合には、置き換えのみでなくブレンド値を設けて合成しても良い。
【００５４】
ユーザーは、操作部１０２で操作するなどして、太線化されたエッジ成分とエッジ成分以外の部分のそれぞれをカラーとモノクロの何れかで表示するかを選択可能な複数のモードから１つのモードを選択することができる。また、入力画像を解析して画像に応じたモードが自動的に選択されるような構成としてもよい。
【００５５】
（その他の実施形態）
なお、本発明の第１と第２の実施形態におけるフローチャート図に示した各処理は、各処理の機能を実現するためのコンピュータプログラムを画像処理装置がメモリから読み出して装置内のＣＰＵを実行することによっても実現できる。
【００５６】
上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００５７】
また、フローチャート図に示した各処理の全部または一部の機能は、専用のハードウェアにより実現してもよい。また、フローチャート図に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００５８】
ここで、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置を含む。さらに、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５９】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００６０】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【００６１】
以上が本発明の実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、特許請求の範囲に示した範囲で種々の変更が可能である。
【符号の説明】
【００６２】
１００  撮像装置
１０１  制御部
１０４  画像処理部
１０５  表示部
２０１  高域通過フィルタ部
２０２  ノイズ除去部
２０３  太線化部
２０４  全波整流部
２０５  低域通過フィルタ部
２０６  合成部
２０７  解像度変換部
【図１】
2015216467.tif 000003
【図２】
2015216467.tif 000004
【図３】
2015216467.tif 000005
【図４】
2015216467.tif 000006
【図５】
2015216467.tif 000007
【図６】
2015216467.tif 000008
【図７】
2015216467.tif 000009
【図８】
2015216467.tif 000010