(57)【要約】      （修正有）【課題】エッジピーキングによるフォーカスアシスト機能を備える表示装置において、ユーザの利便性を向上させる。【解決手段】外部から入力された画像データをデコードする画像入力部２０１と、画像のエッジ量を算出するエッジ検出部と、検出されたエッジ量の変化を算出するエッジ変化量算出部２０３と、エッジ部にピーキング処理を施すピーキング処理部と、エッジ検出部で検出されたエッジ量から判断して前記ピーキング処理手段のピーキング処理のON/OFF制御を行う制御部２０６と、画像を表示する表示部２０８と、を備える。制御部は、エッジ量に対して第1の閾値を備え、第1の閾値より大きい時はエッジピーキング処理をONにする。さらに、エッジ変化量に対して第2の閾値を備え、第2の閾値より大きい時にはエッジピーキング処理をONのままとし、第2の閾値より小さい時にはOFFにする。【選択図】図２
2018133635.tif 000002
【特許請求の範囲】
【請求項１】
外部から入力された画像データをデコードする画像入力手段と、
画像のエッジ量を算出するエッジ検出手段と、
前記検出されたエッジ量をフレーム単位で記憶する記憶手段と、
前記検出されたエッジ量の変化を算出するエッジ変化量算出手段と、
エッジ部にピーキング処理を施すピーキング処理手段と、
前記エッジ検出手段で検出されたエッジ量から判断して前記ピーキング処理手段のピーキング処理のON/OFF制御を行う制御手段と、
画像を表示する表示手段と、
を備え、
前記制御手段はエッジ量に対して第1の閾値を備え、第1の閾値より大きいときはエッジピーキング処理をONにして、さらにエッジ変化量に対して第2の閾値を備え、第2の閾値より大きい時にはエッジピーキング処理をONのままとし、第2の閾値より小さい時にはOFFにすることによって、エッジの変化量が緩やかなときにはエッジピーキングを点滅動作にすることを特徴とする表示装置。
【請求項２】
前記エッジ検出手段はHPFであり、第1の閾値はHPFのフィルタ係数によって決定することを特徴とする請求項1に記載の表示装置。
【請求項３】
前記エッジピーキング処理の点滅動作において1フレームごとに点滅が繰り返されないよう、数フレームのマスク期間を設けることを特徴とする請求項1に記載の表示装置。
【請求項４】
外部から入力された画像データをデコードする画像入力手段と、
画像のエッジ量を算出するエッジ検出手段と、
エッジ部にピーキング処理を施すピーキング処理手段と、
前記エッジ検出手段で検出されたエッジ量から判断して前記ピーキング処理手段のピーキング処理のON/OFF制御を行う制御手段と、
画像を表示する表示手段と、
を備え、
前記制御手段はエッジ量に対して第1の閾値と第2の閾値を備え、第1の閾値を超えたときはエッジピーキング処理をONにして、第2の閾値を超えたときにはエッジピーキング処理を点滅動作にすることを特徴とする表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のエッジ部分を強調するエンハンサ機能を用いて、フォーカスアシスト処理を実行する表示装置及びその制御方法に関するものである。
【背景技術】
【０００２】
映像撮影におけるカメラの解像度は飛躍的に向上してきている。それに対し、撮影した画像を確認するためのビューファインダは機動性を考慮すると画面の大きさに制限が発生していた。このため、ビューファインダの解像度はカメラの解像度に対し比較的、低解像度のものが使用されることが一般的である。
【０００３】
これによって、ビューファインダでフォーカスを合わせることが困難になってきている。そこで近年ではカメラやビューファインダにフォーカスアシスト機能を備えてきている。フォーカスアシスト機能はユーザがフォーカス合わせを行う際に、フォーカスを合わせやすいように補助する機能である。フォーカスアシスト処理を実現するものとして画像のエッジ部分を強調するエンハンサ機能を用いるものがある。
【０００４】
従来、エンハンサ機能を用いてフォーカスアシスト処理を実行するものとしては、エンハンサ機能による輪郭補正処理と色相指定処理を組み合わせたエッジピーキング技術が一般的であった。エッジピーキング技術は、画像のエッジ部分を抽出することで、フォーカスの合っている部分を抽出し、その部分に色を付けることによって、フォーカスアシスト処理を実行するものであった（例えば、特許文献１および特許文献２参照）。これによってユーザはフォーカスの合っている部分を明示的に確認することができた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平11-46368号公報
【特許文献２】特開平9-139952号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来の技術では、元の画像に対しエッジピーキング処理を実行してしまうため、元の画像を確認できないという課題があった。これを回避するためにはユーザが手動で当該機能のON/OFFを行わなければならなかった。映像制作の現場では、前述したような低解像度のビューファインダで画像を確認するだけではなく、カメラの外部に高解像度のモニタを接続して画像を確認するという撮影スタイルも確立されてきている。これに伴い、前述のエッジピーキング処理を施した画像と、画像処理を施していない元の画像を交互に確認したいという要望も高まってきている。
【０００７】
そこで、本発明は画像のエッジの変化に応じてエッジピーキング処理のON/OFFを制御することにより、ユーザの利便性を向上させることができるフォーカスアシスト機能を備えた表示装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明は、外部から入力された画像データをデコードする画像入力手段と、画像のエッジ量を算出するエッジ検出手段と、
エッジ部にピーキング処理を施すピーキング処理手段と、前記エッジ検出手段で検出されたエッジ量から判断して前記ピーキング処理手段のピーキング処理のON/OFF制御を行う制御手段と、画像を表示する表示手段と、を備え、前記制御手段はエッジ量に対して第1の閾値を備え、第1の閾値より大きい時はエッジピーキング処理をONにして、さらにエッジ変化量に対して第2の閾値を備え、第2の閾値より大きい時にはエッジピーキング処理をONのままとし、第2の閾値より小さい時にはOFFにすることによって、エッジの変化量が緩やかなときにはエッジピーキングを点滅動作にすることを特徴とする
【発明の効果】
【０００９】
本発明によれば、画像のエッジの変化に応じてエッジピーキング処理のON/OFFを制御することが可能となり、ユーザの利便性を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】映像制作フローの機器構成例を説明した図である。
【図２】本発明の実施例１に係る表示装置の概略構成を示すブロック図である。
【図３】HPFの例を説明するための図である。
【図４】本発明の実施例１に係る表示装置の動作を説明するためのフローチャートである。
【図５】本発明の実施例１に係る表示装置の具体的動作を説明するための図である。
【図６】本発明の実施例１に係る表示装置の具体的動作を説明するための図である。
【図７】本発明の実施例２に係る表示装置の概略構成を示すブロック図である。
【図８】本発明の実施例２に係る表示装置の動作を説明するためのフローチャートである。
【図９】本発明の実施例２に係る表示装置の具体的動作を説明するための図である。
【発明を実施するための形態】
【００１１】
［実施例１］
以下に本発明の実施例を、図面を用いて説明する。図１は映像制作フローの機器構成例を説明した図である。カメラ１０１は動画撮影を行うカメラである。表示装置１０２は本発明によるフォーカスアシスト機能を備えた表示装置である。カメラ１０１と表示装置１０２はSDI（Serial Digital Interface）もしくはHDMI（High-Definition Multimedia Interface）（登録商標）などの汎用画像インタフェースによって接続されている。カメラ１０１で撮影された画像が表示装置１０２に送られて大画面で表示される。
【００１２】
図２は第１の実施例における表示装置１０２の内部構成例を示したブロック図である。画像入力部２０１はカメラ１０１から送られてきた画像データの入力処理を行う部分である。HPF（High Pass Filter）２０２は入力された画像データの高周波成分を抽出する部分である。変化量算出部２０３はHPF２０２で抽出された高周波成分を取得し、当該高周波成分の前フレームからの変化量を計算する部分である。
【００１３】
フレームメモリ２０４はHPF２０２で抽出された高周波成分の画像を1フレーム分保持する部分である。強調処理部２０５はHPF２０２で抽出された高周波成分の画像に強調処理を施す部分である。制御部２０６は表示装置１０２の動作制御を行う部分である。画像合成部２０７は画像入力部２０１から出力される画像と、強調処理部２０５から出力される画像を合成する部分である。
【００１４】
表示部２０８は画像を表示する部分である。本実施例では液晶パネルとバックライトユニットから成る液晶表示装置を想定しているが、これに限らない。例えば、液晶パネルの代わりに、光源部からの光を透過する表示素子として液晶素子以外の表示素子を有する表示パネルが用いられてもよい。操作部２０９はユーザからの操作を受け付ける部分である。
【００１５】
図３はHPFの例を説明した図である。図３(a)はHPFへの入力画像、図３(b)はHPFの出力画像、図３(c)はHPFのフィルタマトリクス、を表している。入力画像(a)の画素ごとにフィルタマトリクス(c)をかけることにより、隣接画素との差分が抽出される。隣接画素との差分が大きい部分が画像の高周波成分である。この高周波成分が画像のエッジ部分である。画像のエッジ部分が抽出された画像が出力画像(b)となる。
【００１６】
図２で示したHPF２０２も同様の仕組みを用いている。図３の例では３×３のフィルタマトリクスを示したが、HPFのマトリクスはこの形に限ったものではない。５×５、３×１、などフィルタの用途に応じてマトリクスの形を変えることができる。また、マトリクス内の数値を変えることによって抽出するエッジ量を変えることができる。このマトリクス内の数値をフィルタ係数と呼ぶ。
【００１７】
図４は本発明の動作を説明したフローチャートである。以下に図２のブロック図に照らし合わせながら、本発明の動作フローを説明する。カメラ１０１から出力された画像データが画像入力部２０１に入力される。画像入力部２０１は入力された画像データのデコードを行う。つまり、SDIやHDMIなどの汎用画像インタフェースの伝送フォーマットをRGB（もしくはYUV）の画素データと、水平及び垂直の同期信号、クロックなどに変換して出力する。
【００１８】
画像入力部２０１から出力された画像データはHPF２０２と画像合成部２０７に送られる。HPF２０２は入力画像のエッジ部分を抽出する。エッジ抽出の方法は図３で説明したような方法で抽出される。抽出されるエッジの強度はフィルタ係数によって決まる。HPF２０２はエッジ部分が抽出された画像を生成して出力する。この出力画像がエッジ検出（S401）となる。
【００１９】
エッジ検出画像は変化量算出部２０３を介して強調処理部２０５に送られる。変化量算出部２０３については後述する。強調処理部２０５はエッジ検出画像のエッジ部分を特定色に置き換える。特定色とは赤やマゼンダなどの原色で、通常の自然画像には存在しないような色が予め選択されて決められている。ここではこの色の置き換えを強調処理と呼ぶ。強調処理が施されたエッジ検出画像は画像合成部２０７に送られる。画像合成部２０７は入力画像と強調処理が施されたエッジ検出画像を合成する。これによって、入力画像のうちの検出されたエッジ部だけが特定色に色付けされた画像が生成される。
【００２０】
画像合成部２０７で合成される画像は同じ時間軸のフレームが用いられる。例えば、画像入力部２０１から出力されたnフレーム目の画像が画像合成部２０７に入力された場合、強調処理部２０５で強調処理が施されて出力される画像もnフレーム目と画像となる。この場合、フレームメモリ２０４に保持される画像は(n-1)フレーム目の画像となる。
【００２１】
画像合成部２０７で生成された画像は表示部２０８に表示される。この状態がエッジピーキングONの状態である（S402）。画像合成部２０７における画像合成処理は制御部２０６によってON/OFF制御が可能である。すなわち、この画像合成処理のON/OFF制御が、エッジピーキング機能のON/OFF制御となる。エッジピーキングON/OFF制御は画素ごとに行っても良いし、エリアを決めてエリアごとに行っても良い。以降は説明を簡略にするために画素ごとにON/OFF制御が可能なものとして説明する。また、エッジピーキング機能のON/OFF制御が１フレームごとに繰り返されると、エッジ部がちかちかして見づらい画像になってしまう。
【００２２】
そこで、エッジピーキングがONになった後の数フレームの間はエッジピーキングがOFFにならないようにフレーム調整を行う（S403）。このフレーム調整期間は操作性を損なわずに、視認性に影響のない期間が設計時に検討して決定される。エッジピーキング機能のON/OFF制御にはユーザが手動で行うものと、制御部２０６が自動で判断して行うものがある。
【００２３】
ユーザが手動で行う場合は、ユーザが操作部２０９を操作して制御部２０６に指示を出す。より具体的には、ユーザが操作部２０９に備えられたプッシュスイッチやジョグダイヤルを操作して表示部２０８にOSD（On Screen Display）のメニューを表示させ、当該メニューの中からエッジピーキング機能の項目を選択することによってエッジピーキングのON/OFF制御が可能となる。この場合、OSDを表示させるためのOSD生成部が必要になるが、本発明の主要構成ではないので、説明を簡略にするために図５のブロック図からは省略している。
【００２４】
次に、制御部２０６が自動で判断してエッジピーキング機能のON/OFF制御を行う場合について説明する。変化量算出部２０３はHPF２０２から出力されたエッジ検出画像をフレームメモリ２０４と強調処理部２０５に送る。
【００２５】
ここで、フレームメモリ２０４には常にHPF２０２が出力するエッジ検出画像の1フレーム前のエッジ検出画像が保持されている。変化量算出部２０３はフレームメモリ２０４にエッジ検出画像を送るとともに、1フレーム前のエッジ検出画像をフレームメモリ２０４から取得する。そして、変化量算出部２０３は二つのフレームのエッジ検出画像を比較して、エッジ部分の変化量を算出する（S404）。算出された変化量は制御部２０６に送られる。制御部２０６は変化量の値が予め決められた閾値より大きいか小さいかを判断する（S405）。閾値より大きい場合はエッジピーキングをONのままとする。閾値より小さい場合はエッジピーキングをOFFにする（S406）。
【００２６】
ここでも、エッジピーキングをONにした時と同様に、エッジピーキング機能のON/OFF制御が１フレームごとに繰り返されると、エッジ部がちかちかして見づらい画像になってしまう。そこで、エッジピーキングがOFFになった後の数フレームの間はエッジピーキングがONにならないようにフレーム調整を行う（S407）。
【００２７】
次に、図５、図６を用いて制御部２０６が自動で判断してエッジピーキング機能のON/OFF制御を行う場合の具体的な動作について説明する。図５は入力画像のうちのある特定画素に着目し、当該画素のエッジ量と時間の関係について表した図である。縦軸がエッジ量、横軸が時間を表している。縦軸のTh1は第１の閾値を表している。時間軸はエリア分割してA→B→C→D→Eの順に時間経過しているものとする。
【００２８】
この時間経過は前記特定画素に対し、最初フォーカスがあっていなくてボケている状態（A）から徐々にフォーカスがあっていく状態（B）、フォーカスがあっている状態（C）、徐々にフォーカスが外れていく状態（D）、そしてフォーカスがあっていなくてボケている状態（E）まで、の状態遷移を表している。
【００２９】
図６は入力画像のうちのある特定画素に着目し、当該画素のエッジ変化量と時間の関係について表した図である。縦軸がエッジ変化量、横軸が時間を表している。縦軸のTh2は第2の閾値を表している。図５と図６の時間軸は同じ時間軸を表している。また、図５の直線の傾きの絶対値が図６のエッジ変化量の値となる。実際のフォーカス状態の遷移は曲線で表されるが、ここでは説明を簡易にするために直線で表している。
【００３０】
第１の閾値Th1は図４のS401でエッジ検出するエッジ量を表している。この第１の閾値Th1は図２のHPF２０２のフィルタ係数と共に予め設計の上、定められたものである。また、第２の閾値Th2は図４のS405で使用される閾値を表している。まず、状態（A）の期間では、図５のエッジ量が第１の閾値Th1より小さいのでHPF２０２によってエッジ検出されない。したがって、図６のエッジ変化量もゼロのまま一定となる。すなわち、状態（A）の時にはエッジピーキングはOFFの状態となる。
【００３１】
次に、状態（B）の期間では、図８のエッジ量が第１の閾値Th1より大きいのでHPF２０２によってエッジ検出が行われる。図５の状態（B）の期間ではエッジ量が徐々に増加している状態を表している。また、図６の状態（B）の期間ではエッジ変化量が第２の閾値Th2より大きい値となっている状態を表している。この場合、図４のS405の条件判断でエッジピーキングがONのまま維持される。すなわち、状態（B）の時にはエッジピーキングはONの状態となる。
【００３２】
次に、状態（C）の期間では、図５のエッジ量が第１の閾値Th1より大きいのでHPF２０２によってエッジ検出が行われる。図５の状態（C）の期間ではエッジ量が徐々に減少している状態を表している。また、図６の状態（C）の期間ではエッジ変化量が第２の閾値Th2より小さい値となっている状態を表している。この場合、図４のS405の条件判断でエッジピーキングがOFFとなる。すなわち、状態（C）の時にはエッジピーキングはONとOFFを繰り返す状態となる。
【００３３】
次に、状態（D）の期間では、図５のエッジ量が第１の閾値Th1より大きいのでHPF２０２によってエッジ検出が行われる。図５の状態（D）の期間ではエッジ量が徐々に減少している状態を表している。また、図６の状態（D）の期間ではエッジ変化量が第２の閾値Th2より大きい値となっている状態を表している。この場合、図４のS405の条件判断でエッジピーキングがONのまま維持される。すなわち、状態（D）の時にはエッジピーキングはONの状態となる。
【００３４】
次に、状態（E）の期間では、図５のエッジ量が第１の閾値Th1より小さいのでHPF２０２によってエッジ検出されない。したがって、図６のエッジ変化量もゼロのまま一定となる。すなわち、状態（E）の時にはエッジピーキングはOFFの状態となる。このようにして、エッジピーキング機能のON/OFF制御を自動で行うことが可能となる。
【００３５】
ユーザは、画像がボケている状態からフォーカス合わせを行う際にはエッジピーキングが施された画像で確認できる。さらに、フォーカスの微調整を行う際にはエッジピーキングが施された画像と元の画像を交互に表示することが可能となる。これによって、ユーザが手動でエッジピーキング機能のON/OFF制御操作を行う手間を軽減することができ、ユーザの利便性向上を実現することが可能となる。
【００３６】
［実施例２］
実施例２ではより簡易に、エッジ量だけで判断してエッジピーキング機能のON/OFF制御を行う例を説明する。図７は第２の実施例における表示装置１０２の内部構成例を示したブロック図である。図２と同じブロックには同じ符号を用いている。
【００３７】
以下、第1の実施例との差分について説明する。隣接画素差分算出部７０２は入力された画像データの隣接画素間の画素値の差分を算出する部分である。一般に画素値の差分が大きい部分が、エッジ強度が高い部分である。ピーキング処理部７０３は画像のエッジ部分にピーキング処理を施す部分である。
【００３８】
図８は本発明の動作を説明したフローチャートである。以下に図７のブロック図に照らし合わせながら、本発明の動作フローを説明する。画像入力部２０１から出力された画像データは隣接画素差分算出部７０２に送られる。隣接画素差分算出部７０２は画像データの隣接画素間の画素値の差分を算出する（S801）。算出された差分データは制御部２０６に送られる。
【００３９】
制御部２０６では送られてきた差分データが第３の閾値Th3より大きいか否かを判断する（S802）。差分データが第３の閾値Th3より大きい場合は、ピーキング処理部７０３に指示をだし、エッジ部のピーキング処理をONにする（S803）。差分データが第３の閾値Th3より小さい場合は、ピーキング処理部７０３に指示をだし、エッジ部のピーキング処理をOFFにする（S804）。
【００４０】
次に、制御部２０６は前記差分データが第４の閾値Th4より大きいか否かを判断する（S805）。差分データが第４の閾値Th4より大きい場合は、ピーキング処理部７０３に指示をだし、エッジ部のピーキング処理を点滅処理にする（S806）。エッジピーキングの点滅処理はエッジピーキング処理のON/OFFをフレーム単位で繰り返すものである。繰り返しの間隔は設計時に予め定めておいても良いし、ユーザが調整可能なようにしても良い。
【００４１】
一般に、1フレームごとにエッジピーキング処理のON/OFFが繰り返されると、エッジ部がちかちかして見づらくなるので複数フレームごとにON/OFFが繰り返されるようにする。差分データが第４の閾値Th4より小さい場合は、特に処理は行わずに次の画素の差分算出へと処理を進める。こうして処理された画像データが表示部２０８に表示される。
【００４２】
次に、図９を用いてエッジピーキング機能のON/OFF制御の具体例を説明する。図９は入力画像のうちのある特定画素に着目し、当該画素のエッジ量と時間の関係について表した図である。縦軸がエッジ量、横軸が時間を表している。縦軸のTh3は第３の閾値を表し、Th4は第４の閾値を表している。時間軸はエリア分割してA→B→C→D→Eの順に時間経過しているものとする。時間軸の説明は図５と同じなので省略する。状態（A）の期間では、エッジ量が第３の閾値Th3より小さいのでエッジピーキングはOFFの状態となる。
【００４３】
次に、状態（B）の期間では、エッジ量が第３の閾値Th3より大きく、第４の閾値Th4より小さいのでエッジピーキングはONの状態となる。次に、状態（C）の期間では、エッジ量が第４の閾値Th4より大きいのでエッジピーキングは点滅状態となる。次に、状態（D）の期間では、エッジ量が第３の閾値Th3より大きく、第４の閾値Th4より小さいのでエッジピーキングはONの状態となる。次に、状態（E）の期間では、エッジ量が第３の閾値Th3より小さいのでエッジピーキングはOFFの状態となる。
【００４４】
このようにして、エッジピーキング機能のON/OFF制御を自動で行うことが可能となる。ユーザは、画像がボケている状態からフォーカス合わせを行う際にはエッジピーキングが施された画像で確認できる。さらに、フォーカスがある程度以上合ってきたらエッジピーキングが施された画像と元の画像を交互に表示することが可能となる。
【符号の説明】
【００４５】
１０１  カメラ
１０２  表示装置
２０１  画像入力部
２０２  HPF 
２０３  変化量算出部
２０４  フレームメモリ
２０５  強調処理部
２０６  制御部
２０７  画像合成部
２０８  表示部
２０９  操作部
７０２  隣接画素差分算出部
７０３  ピーキング処理部
【図１】
2018133635.tif 000003
【図２】
2018133635.tif 000004
【図３】
2018133635.tif 000005
【図４】
2018133635.tif 000006
【図５】
2018133635.tif 000007
【図６】
2018133635.tif 000008
【図７】
2018133635.tif 000009
【図８】
2018133635.tif 000010
【図９】
2018133635.tif 000011