(57)【要約】      （修正有）【課題】ヒストグラム上で、ダイナミックレンジの圧縮処理の対象となった画素の総数を直感的にユーザが把握可能なようにヒストグラムを生成する画像処理装置、その制御方法、プログラム及び記憶媒体を提供する。【解決手段】画像処理装置２００は、輝度レベル閾値を設定する設定部３０３と、画像の輝度分布に基づいてヒストグラムを生成する生成部３０４とを有する。生成部３０４は、ヒストグラムにおける輝度レベル閾値に対応する位置に輝度レベル閾値以上の輝度レベルを有する画素の積算値が合わせて示されるように、ヒストグラムを生成する。【選択図】図３
2020119182.tif 000002
【特許請求の範囲】
【請求項１】
閾値を設定する設定手段と、
画像の輝度分布に基づいてヒストグラムを生成する生成手段を有し、
前記生成手段は、前記ヒストグラムにおける前記閾値に対応する位置に、前記閾値より大きい輝度レベルを有する画素の積算値が合わせて示されるように、前記ヒストグラムを生成することを特徴とする画像処理装置。
【請求項２】
前記ヒストグラムは、第１方向に輝度レベルを示し、前記第１方向と垂直な第２方向に画像における各輝度レベルに対応する輝度を有する画素の数を示す画像であって、
前記生成手段は、前記画像の輝度分布を示す度数分布画像に前記積算値を示すパターン画像を合わせて、前記ヒストグラムを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記度数分布画像をと前記パターン画像とを識別可能なように前記ヒストグラムを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像のうち、前記閾値より大きい輝度レベルを有する領域を特定の輝度レベルに変換する変換手段と、
前記生成手段により生成された前記ヒストグラムと、前記変換手段により変換された前記画像とを合わせて出力する出力手段と、
を備える請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像のうち、前記閾値より大きい輝度レベルを有する領域を特定の輝度レベルに変換する変換手段と、
前記生成手段により生成された前記ヒストグラムと、前記変換手段により変換された前記画像とを合わせて表示手段に表示する表示制御手段と、
を備える請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項６】
前記閾値をユーザが操作するための操作を受け付ける受付手段を備えることを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
閾値を設定する設定工程と、
画像の輝度分布に基づいてヒストグラムを生成する生成工程を有し、
前記生成工程は、前記ヒストグラムにおける前記閾値に対応する位置に、前記閾値より大きい輝度レベルを有する画素の積算値が合わせて示されるように、前記ヒストグラムを生成することを特徴とする画像処理装置の制御方法。
【請求項８】
前記ヒストグラムは、第１方向に輝度レベルを示し、前記第１方向と垂直な第２方向に画像における各輝度レベルに対応する輝度を有する画素の数を示す画像であって、
前記生成工程は、前記画像の輝度分布を示す度数分布画像に前記積算値を示すパターン画像を合わせて、前記ヒストグラムを生成することを特徴とする請求項７に記載の画像処理装置の制御方法。
【請求項９】
前記生成工程は、前記度数分布画像をと前記パターン画像とを識別可能なように前記ヒストグラムを生成することを特徴とする請求項８に記載の画像処理装置の制御方法。
【請求項１０】
前記画像のうち、前記閾値より大きい輝度レベルを有する領域を特定の輝度レベルに変換する変換工程と、
前記生成工程により生成された前記ヒストグラムと、前記変換工程により変換された前記画像とを合わせて出力する出力工程と、
を備える請求項７乃至請求項９のいずれか１項に記載の画像処理装置の制御方法。
【請求項１１】
前記画像のうち、前記閾値より大きい輝度レベルを有する領域を特定の輝度レベルに変換する変換工程と、
前記生成工程により生成された前記ヒストグラムと、前記変換工程により変換された前記画像とを合わせて表示手段に表示する表示制御工程と、
を備える請求項７乃至請求項９のいずれか１項に記載の画像処理装置の制御方法。
【請求項１２】
前記閾値をユーザが操作するための操作を受け付ける受付工程を備えることを特徴とする請求項７乃至請求項１１のいずれか１項に記載の画像処理装置の制御方法。
【請求項１３】
コンピュータを、請求項１乃至６のいずれか１項記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１４】
コンピュータを、請求項１乃至６のいずれか１項記載の画像処理装置の各手段として機能させるためのプログラムを格納する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に関する度数分布画像を生成する画像処理装置、およびその制御方法、プログラム、記憶媒体に関する。
【背景技術】
【０００２】
画像のダイナミックレンジよりも表示装置が表示可能なダイナミックレンジが狭いことがある。ダイナミックレンジは、記録される、もしくは表現可能な輝度の範囲である。
【０００３】
このような画像を表示装置で表示する場合、画像のダイナミックレンジのうち高輝度側の範囲を、表示装置の表示輝度の最大値に圧縮して表示することがある。結果として、輝度が圧縮された範囲に含まれる画像の領域は、白とびした状態で表示される。
【０００４】
一方で、画像を編集するグレーディングを行う場合、画像の輝度分布特性をヒストグラム（度数分布画像）で確認することがある。ヒストグラムに示された画像は、表示装置のダイナミックレンジに合わせて圧縮処理を行う前の画像に基づいて生成される。したがって、ヒストグラムに示されたヒストグラムが示す輝度分布は、表示装置に表示される一部領域が白とびした画像の輝度分布と、圧縮処理の対象となる輝度範囲において異なる。
【０００５】
特許文献１に記載の撮像装置は、画像のうち設定された輝度レベル以上の輝度を有する領域にゼブラパターンを表示する処理を実行可能であって、ヒストグラム上で当該設定された輝度レベルの位置に、マーカーを表示する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−６０８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示の技術を、圧縮処理を実行した画像に適用した場合、ヒストグラム上で、圧縮処理の対象となる輝度範囲を示すマーカーを表示する。しかし、画像のうち、どの程度の度数が圧縮処理の対象となったかを直感的に把握することが困難であった。
【０００８】
そこで、本発明は、ヒストグラム上で、圧縮処理の対象となった画像の画素の総数を直感的にユーザが把握可能なようにヒストグラムを生成することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置の一の形態は、閾値を設定する設定手段と、画像の輝度分布に基づいてヒストグラムを生成する生成手段を有し、前記生成手段は、前記ヒストグラムにおける前記閾値に対応する位置に、前記閾値より大きい輝度レベルを有する画素の積算値が合わせて示されるように、前記ヒストグラムを生成することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、輝度制限設定に応じて輝度制限を行う範囲とそうでない範囲との区別をつけるとともに、輝度制限範囲の度数とそれ以外の度数との割合が確認できる度数分布を生成することで視認性を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】生成部が生成するヒストグラム画像を示す模式図である。
【図２】画像処理装置を含む、表示システムの構成図である。
【図３】画像処理装置の機能ブロックを示すブロック図である。
【図４】取得部が取得した画像の一例を示す模式図である。
【図５】変換部におけるダイナミックレンジ変換を示す模式図である。
【図６】生成部の機能ブロックを示すブロック図である。
【図７】輝度情報取得部が取得した度数分布を示す情報を示す模式図である。
【図８】指標画像が付加されたヒストグラム画像を示す模式図である。
【発明を実施するための形態】
【００１２】
＜実施例１＞
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図２は、画像処理装置を含む、表示システムの構成図である。
【００１３】
表示システムは、画像処理装置２００、表示装置２０１、および記録装置２０２を含む。
【００１４】
画像処理装置２００は、画像の輝度分布を示すヒストグラムを生成する画像処理を実行する。画像処理装置２００は、パーソナルコンピュータ（ＰＣ）であるとする。画像処理装置２００は、キーボード２０４およびマウス２０５等の入力デバイスと接続し、ユーザが入力デバイスを操作することにより操作情報を受け付ける。
【００１５】
画像処理装置２００は、画像のダイナミックレンジのうち設定した輝度レベル閾値Ｙｔｈ以上の輝度を有する領域を特定の輝度レベルに変換する処理（クリップ処理）を実行可能である。
【００１６】
画像処理装置２００は、画像のうち、輝度レベル閾値Ｙｔｈ以上の輝度を有する画素の総数を示す画像がヒストグラムにおいて当該輝度レベル閾値Ｙｔｈに対応する位置に描画されるように、ヒストグラムを生成する。
【００１７】
表示装置２０１は、画像処理装置２００から出力された画像に基づいて、画面に画像を表示する表示装置である。例えば、表示装置２０１は、液晶ディスプレイであるとする。なお、表示装置２０１は、有機ＥＬディスプレイやマイクロＬＥＤディスプレイであってもよい。また、表示装置２０１は、プロジェクタであってもよい。表示装置２０１は、画像処理装置２００から画像を出力されることによって、画像処理装置２００に表示を制御されるといえる。
【００１８】
記録装置２０２は、画像処理装置２００から出力された画像を記録する記録装置（レコーダー）である。
【００１９】
図３は、画像処理装置２００の機能ブロックを示すブロック図である。
【００２０】
画像処理装置２００は、取得部３０１、受付部３０２、設定部３０３、生成部３０４、変換部３０５、合成部３０６、出力部３０７、表示制御部３０８、制御部３０９、およびメモリ３１０を備える。
【００２１】
取得部３０１は、画像を取得する。取得部３０１は、画像処理装置２００に接続された外部装置、および、画像処理装置２００のメモリ３１０の少なくともいずれかから画像を取得する。外部装置は、例えば、ＵＳＢメモリ等の記憶媒体、および撮像装置を含む。
【００２２】
取得部３０１は、取得した画像を生成部３０４および変換部３０５に出力する。また、取得部３０１は、取得した画像に付加された付加情報を、設定部３０３に出力することも可能である。付加情報は、画像のダイナミックレンジを示す情報、画像が有する最大輝度を示す情報、または、画像の平均輝度である。
【００２３】
図４は、取得部３０１が取得した画像の一例を示す模式図である。図４に示す画像のうち、領域４０１は、１０００ｎｉｔ以上の輝度レベルを有する領域である。また領域４０２は、１０００ｎｉｔより低い輝度レベルを有する領域である。
【００２４】
受付部３０２は、入力デバイスからユーザ操作を受け付ける。受付部３０２は、ユーザが入力デバイスを介して入力した輝度レベル閾値を設定するための操作を受け付ける。受付部３０２は、入力デバイスから受け付けたユーザ操作を示す情報を設定部３０３に出力する。
【００２５】
設定部３０３は、輝度レベル閾値Ｙｔｈを設定する。設定部３０３は、取得部３０１から取得した画像に付加された付加情報および受付部３０２から取得したユーザ操作情報に基づいて、輝度レベル閾値Ｙｔｈを設定する。また、設定部３０３は、表示装置２０１から取得した表示装置２０１が表示可能な輝度範囲を示す情報から、輝度レベル閾値Ｙｔｈを設定する。設定部３０３は、輝度レベル閾値Ｙｔｈを１０００ｎｉｔであるとする。
【００２６】
生成部３０４は、画像の輝度分布を示すヒストグラムを生成する。生成部３０４は、画像のうち、輝度レベル閾値Ｙｔｈより大きい輝度を有する画素の数を積算した値を、ヒストグラムにおいて輝度レベル閾値Ｙｔｈに対応する位置に描画する。生成部３０４の詳細な処理については、後述する。生成部３０４は、ヒストグラムを合成部３０６に出力する。
【００２７】
変換部３０５は、画像のダイナミックレンジを変換する。変換部３０５は、画像のうち、輝度レベル閾値Ｙｔｈより大きい輝度レベルを有する画素の輝度レベルを特定の輝度レベルに変換する。
【００２８】
図５は、変換部３０５におけるダイナミックレンジ変換を示す模式図である。図５の横軸は、変換前の画像のダイナミックレンジを示す。ここで、変換前の画像のダイナミックレンジの最大輝度レベルは４０００ｎｉｔであるとする。図５の縦軸は、変換後の画像のダイナミックレンジを示す。図５の変換特性５０１によれば、設定された輝度レベル閾値Ｙｔｈ（１０００ｎｉｔ）以上の輝度レベルを、特定の輝度レベル（１０００ｎｉｔ）に変換する。
【００２９】
この変換処理により、変換前の画像において、輝度レベルが１０００ｎｉｔ以上で階調性を有していた領域は、白画像に変換され、階調性を失う。また、変換処理によって変換前の画像のダイナミックレンジ（０〜４０００ｎｉｔ）が、０〜１０００ｎｉｔに変換される。つまり、図４に示した画像を変換した場合、領域４０１はすべて白画像に変換され、白とびした状態で示される。
【００３０】
変換部３０５は、変換後の画像を合成部３０６に出力する。
【００３１】
合成部３０６は、変換後の画像とヒストグラムとを合成する。合成部３０６は、変換後の画像の内側にヒストグラム画像を合成する（ＰｉｎＰ）。また、合成部３０６は、変換後の画像とヒストグラム画像とを並べて合成してもよい（ＰｏｕｔＰ）。ヒストグラムを合成するか否か、および、合成の方法は、ユーザ操作に応じて制御することも可能である。
【００３２】
合成部３０６は、合成した画像を出力部３０７および表示制御部３０８の少なくとも一方に出力する。
【００３３】
出力部３０７は、合成部３０６から取得した画像を接続された外部装置（記録装置２０２）に出力する。
【００３４】
表示制御部３０８は、合成部３０６から取得した画像を接続された表示装置２０１に出力し、表示装置２０１に画像を表示させる表示制御を実行する。
【００３５】
制御部３０９は、上述した機能ブロックの動作を含む画像処理装置２００の動作を制御する。制御部３０９は、プロセッサであるとする。制御部３０９は、メモリ３１０に記憶されたプログラムを実行して、画像処理装置２００の動作を制御する。
【００３６】
メモリ３１０は、制御部３０９が実行するプログラム、および制御部３０９が用いるパラメータを格納する記憶媒体である。メモリ３１０は、上述した各機能ブロックが処理するデータを一時的に格納することもできる。
【００３７】
図６は、生成部３０４の機能ブロックを示すブロック図である。
【００３８】
生成部３０４は、輝度情報取得部６０１、積算部６０２、および分布画像生成部６０３を備える。
【００３９】
輝度情報取得部６０１は、画像の各画素の輝度レベルを取得し、単位輝度範囲ごとに対応する画素の数（度数）を取得する。
【００４０】
輝度情報取得部６０１は、各画素の画素値から輝度レベルを取得する。画像の画素値が輝度・色差信号で示されている（ＹＵＶフォーマット）の場合、輝度情報取得部６０１は、各画素の輝度成分（Ｙ値）を輝度レベルとして取得する。画像の画素値が赤色、緑色、および青色（ＲＧＢ）の各成分に対応する信号で示されている（ＲＧＢフォーマット）の場合、輝度情報取得部６０１は、ＲＧＢの信号を輝度・色差信号へ変換し、変換後の輝度成分を輝度レベルとして出力する。輝度情報取得部６０１は、ＲＧＢの信号を輝度・色差信号へマトリクス変換を用いて変換する。変換に用いるマトリクス係数は、一般的な映像信号規格、例えばＢＴ．７０９やＢＴ．２０２０などで用いられる係数を用いるなどすればよい。
【００４１】
また、輝度情報取得部６０１は、得られた画像の各画素の輝度レベルに基づいて、単位輝度範囲ごとに、各単位輝度範囲に含まれる輝度レベルを有する画素の度数を取得する。
【００４２】
輝度情報取得部６０１は、画素ごとに輝度レベル（Ｙ）を取得する。輝度情報取得部６０１は、取得した輝度レベル（Ｙ）に対応する輝度範囲Ｙｒｎのカウント（Ｃ（Ｙｒｎ））に１を加算する。輝度情報取得部６０１は、上述の処理を全ての画素に対して実行することにより、各輝度範囲Ｙｒｎの度数（Ｃ（Ｙｒｎ））の分布を取得する。
【００４３】
ここで、単位輝度範囲は、１０ｎｉｔごとに区切られた範囲であるとする。画像のダイナミックレンジが０〜４０００ｎｉｔである場合、輝度情報取得部６０１は、４００個の単位輝度範囲それぞれに対して度数を取得する。
【００４４】
図７は、輝度情報取得部６０１が取得した度数分布を示す情報を示す模式図である。図７は、図４に示した画像に基づいて、各単位輝度範囲Ｙｒｎに対して、輝度情報取得部６０１が取得した度数（Ｃ（Ｙｒｎ））を示すテーブルである。
【００４５】
なお、単位輝度範囲は、等間隔に区切る必要はない。画像の輝度特性は、低輝度側で解像度が細かく、高輝度側で低輝度側よりも荒い解像度を有することがある。輝度特性は、ガンマ特性とも呼ばれる。単位輝度範囲も低輝度側で細かくダイナミックレンジを区切り、高輝度側では荒くダイナミックレンジを区切ることにより、画像の輝度特性に応じたヒストグラムを得ることが可能となる。
【００４６】
輝度情報取得部６０１は、単位輝度範囲Ｙｒｎと、単位輝度範囲Ｙｒｎに対する度数（Ｃ（Ｙｒｎ））の分布とを示す情報を、積算部６０２と分布画像生成部６０３とに出力する。
【００４７】
積算部６０２は、取得した度数の分布と、輝度レベル閾値Ｙｔｈとに基づいて、輝度レベル閾値Ｙｔｈより大きい度数を積算したＳ（Ｙｔｈ）を取得する。
【００４８】
輝度レベル閾値Ｙｔｈが１０００ｎｉｔである場合、積算部６０２は、図７に示した度数分布のうち、１０００ｎｉｔよりも高い輝度を含む単位輝度範囲Ｙｒｎの度数を積算して、積算値Ｓ（Ｙｔｈ）を取得する。積算値Ｓ（１０００ｎｉｔ）は３００であるとする。
【００４９】
分布画像生成部６０３は、単位輝度範囲Ｙｒｎと、単位輝度範囲Ｙｒｎに対する度数（Ｃ（Ｙｒｎ））の分布とを示す情報、輝度レベル閾値Ｙｔｈ、積算値Ｓ（Ｙｔｈ）に基づいて、ヒストグラム画像を生成する。分布画像生成部６０３は、単位輝度範囲Ｙｒｎごとに、対応する度数Ｃ（Ｙｒｎ）を示すパターン画像を描画した度数分布画像（ヒストグラム）に、積算値Ｓ（Ｙｔｈ）を示すパターン画像を合成した画像を生成する。
【００５０】
図１は、分布画像生成部６０３が生成するヒストグラム画像を示す模式図である。分布画像生成部６０３が生成するヒストグラム画像１０１は、水平方向（横軸）に輝度レベルを示し、垂直方向（縦軸）に度数を示す。分布画像生成部６０３は、各単位輝度範囲Ｙｒｎの度数Ｃ（Ｙｒｎ）の大きさに応じた長さのパターン画像１０２（バー画像）を、各単位輝度範囲Ｙｒｎに対応する位置に描画する。これにより、画像の輝度分布を直感的に把握することが可能なヒストグラム画像１０１を取得することが可能となる。なお、水平方向（横軸）に度数を示し、垂直方向（縦軸）に輝度レベルを示すものであってもよい。
【００５１】
また、分布画像生成部６０３は、度数Ｃ（Ｙｒｎ）を示すパターン画像１０２のうち、輝度レベル閾値より低い単位輝度範囲に対応するパターン画像１０２ａを無彩色で描画するとする。分布画像生成部６０３は、度数Ｃ（Ｙｒｎ）を示すパターン画像１０２のうち、輝度レベル閾値より高い単位輝度範囲に対応するパターン画像１０２ｂを黄色で描画するとする。なお、パターン画像１０２ａおよび１０２ｂが互いに識別可能であれば、それぞれの描画に用いられるパターン画像は、上述の例に限らない。例えば、いずれか一方のパターン画像をゼブラパターンで表示してもよい。
【００５２】
また、分布画像生成部６０３は、積算値Ｓ（Ｙｔｈ）の大きさに応じた長さのパターン画像１０３を、輝度レベル閾値Ｙｔｈに対応する位置に描画する。なお、パターン画像１０３は、パターン画像１０２と識別可能なように描画される。例えば、分布画像生成部６０３は、パターン画像１０３を赤色で着色して描画することにより、ユーザに圧縮範囲の度数の積算値を示していることを容易に認識させることが可能となる。本実施例では、輝度レベル閾値を１０００ｎｉｔとした。このとき、１０００ｎｉｔ〜１０９９ｎｉｔの単位輝度範囲に対応するパターン画像は、積算値Ｓ（Ｙｔｈ）を示すパターン画像１０３の一部に重ねて表示される。パターン画像１０３の一方の端部は、縦軸に示した度数のスケールにおいて積算値Ｓ（Ｙｔｈ）に対応する位置にある。ユーザは、このヒストグラム画像を確認することによって、画像のうち、輝度レベル閾値より大きい輝度レベルを有する領域の度数や面積における割合を確認することが可能となる。
【００５３】
以上のように本発明の画像処理装置によれば、ヒストグラム上で、圧縮処理の対象となった画像の画素の総数を直感的にユーザが把握可能なようにヒストグラムを生成することが可能となる。また、本発明の画像処理装置によれば、ヒストグラム上で、ダイナミックレンジの圧縮処理の対象の範囲輝度とそうでない輝度範囲との区別が明確となる。
【００５４】
なお、画像処理装置２００は、画像全体の画素数に対する、圧縮処理の対象となった画素数の割合を示す指標画像をヒストグラム画像に付加してもよい。図８は、指標画像を付加したヒストグラム画像を示す模式図である。ユーザは、指標画像８０１を確認することによって、画像の全体に対して圧縮処理の対象となる領域の面積の割合を直感的に確認することが可能となる。指標画像８０１において、領域８０２が圧縮処理の対象となる領域の面積の割合を示す領域である。
【００５５】
＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５６】
２００  画像処理装置
３０１  取得部
３０２  受付部
３０３  設定部
３０４  生成部
３０５  変換部
３０６  合成部
３０７  出力部
３０８  表示制御部
３０９  制御部
３１０  メモリ
６０１  輝度情報取得部
６０２  積算部
６０３  分布画像生成部
【図１】
2020119182.tif 000003
【図２】
2020119182.tif 000004
【図３】
2020119182.tif 000005
【図４】
2020119182.tif 000006
【図５】
2020119182.tif 000007
【図６】
2020119182.tif 000008
【図７】
2020119182.tif 000009
【図８】
2020119182.tif 000010