(57)【要約】【課題】  本発明は、入力フレームを好適な平均輝度を有する出力フレームに補正して出力することが可能な画像処理装置を提供することを目的とする。【解決手段】  本発明に係る画像処理装置は、表示装置で表示される場合の表示輝度が指定された複数の画素を有する入力フレームを取得する入力部と、目標輝度値Ｙｔを取得する目標輝度取得部１２０と、出力フレームの表示輝度の平均値が目標輝度値Ｙｔ以下になるように、入力フレームの表示輝度を補正して、出力フレームを生成する画像生成部１３０とを備えることを特徴とする画像処理装置。【選択図】  図２
2017184179.tif 000002
【特許請求の範囲】
【請求項１】
表示装置で表示される場合の表示輝度が指定された複数の画素を有する入力フレームを取得する第１取得手段と、
目標輝度値を取得する第２取得手段と、
出力フレームの前記表示輝度の平均値が前記目標輝度値以下になるように、前記入力フレームの前記表示輝度を補正して、前記出力フレームを生成する生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記入力フレームの前記表示輝度の平均値と前記目標輝度値とに応じて決定した第１補正値を用いて、前記入力フレームの前記表示輝度を補正して前記出力フレームを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記出力フレームの前記表示輝度の平均値が、前記目標輝度値以下になるように決定された前記出力フレームの前記表示輝度の上限値を決定し、前記入力フレームのうち、前記表示輝度が前記上限値以上の画素の前記表示輝度を、前記上限値に補正して、前記出力フレームを生成することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記入力フレームの前記複数の画素のうち、前記表示輝度が所定の輝度範囲に含まれる画素の前記表示輝度を補正して、前記出力フレームを生成することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記生成手段は、前記入力フレームの前記複数の画素のうち、指定された制御領域に含まれる画素の前記表示輝度を補正して、前記出力フレームを生成することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記生成手段が、前記表示輝度の平均値が前記目標輝度値以下となる前記出力フレームを生成できない場合に、前記生成手段は、前記表示輝度の平均値が前記目標輝度値以下となる前記出力フレームを生成できないことを通知することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第１取得手段は、複数の前記入力フレームからなる動画像を取得し、
前記生成手段は、前記動画像に含まれる前記複数の入力フレームのうち、前記表示輝度の平均値と前記目標輝度値との差が最も大きい入力フレームの前記表示輝度の平均値と、前記目標輝度値とに基づいて決定した補正値を用いて、前記複数の入力フレームの表示輝度を補正して、出力動画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
各画素に指定された輝度を示す輝度階調値と、前記表示輝度とを関連付けた輝度変換情報を記憶する記憶手段を備え、
前記第１取得手段が各画素に対して輝度階調値を指定された入力フレームを取得した場合に、前記第１取得手段は、前記入力フレームの前記輝度階調値を、前記輝度変換情報を用いて、前記表示輝度に変換することを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
【請求項９】
前記生成手段は、前記出力フレームの前記表示輝度の平均値が前記目標輝度値になるように、前記入力フレームの前記表示輝度を補正して、前記出力フレームを生成することを特徴とする請求項１乃至請求項８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記入力フレームは、前記表示輝度と色差を示す値とを用いて表現された画像信号であって、
前記生成手段は、前記出力フレームの前記表示輝度を用いて、前記入力フレームの色差を示す値を補正して、前記出力フレームの色差を示す値とすることを特徴とする請求項１乃至請求項９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記出力フレームの各画素の前記表示輝度を、輝度階調値に変換した画像信号を生成して出力する出力手段を有することを特徴とする請求項１乃至請求項１０のいずれか１項に記載の画像処理装置。
【請求項１２】
請求項１乃至請求項１１のいずれか１項に記載の前記画像処理装置と、
前記出力フレームに基づいて画面に画像を表示する表示手段と、
を備えることを特徴とする表示装置。
【請求項１３】
表示装置で表示される場合の表示輝度が指定された複数の画素を有する入力フレームを取得する第１取得工程と、
目標輝度値を取得する第２取得工程と、
出力フレームの前記表示輝度の平均値が前記目標輝度値以下になるように、前記入力フレームの前記表示輝度を補正して、前記出力フレームを生成する生成工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項１４】
前記生成工程では、前記入力フレームの前記表示輝度の平均値と前記目標輝度値とに応じて決定した第１補正値を用いて、前記入力フレームの前記表示輝度を補正して前記出力フレームを生成することを特徴とする請求項１３に記載の画像処理装置の制御方法。
【請求項１５】
前記生成工程では、前記出力フレームの前記表示輝度の平均値が、前記目標輝度値以下になるように決定された前記出力フレームの前記表示輝度の上限値を決定し、前記入力フレームのうち、前記表示輝度が前記上限値以上の画素の前記表示輝度を、前記上限値に補正して、前記出力フレームを生成することを特徴とする請求項１３または請求項１４に記載の画像処理装置の制御方法。
【請求項１６】
前記生成工程では、前記入力フレームの前記複数の画素のうち、前記表示輝度が所定の輝度範囲に含まれる画素の前記表示輝度を補正して、前記出力フレームを生成することを特徴とする請求項１３乃至請求項１５のいずれか１項に記載の画像処理装置の制御方法。
【請求項１７】
前記生成工程では、前記入力フレームの前記複数の画素のうち、指定された制御領域に含まれる画素の前記表示輝度を補正して、前記出力フレームを生成することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置の制御方法。
【請求項１８】
前記生成工程で前記表示輝度の平均値が前記目標輝度値以下となる前記出力フレームを生成できない場合に、前記表示輝度の平均値が前記目標輝度値以下となる前記出力フレームを生成できないことを通知する通知工程をさらに備えることを特徴とする請求項１７に記載の画像処理装置の制御方法。
【請求項１９】
前記第１取得工程では、複数の前記入力フレームからなる動画像を取得し、
前記生成工程では、前記動画像に含まれる前記複数の入力フレームのうち、前記表示輝度の平均値と前記目標輝度値との差が最も大きい入力フレームの前記表示輝度の平均値と、前記目標輝度値とに基づいて決定した補正値を用いて、前記複数の入力フレームの表示輝度を補正して、出力動画像を生成することを特徴とする請求項１３に記載の画像処理装置の制御方法。
【請求項２０】
前記画像処理装置は、各画素に指定された輝度を示す輝度階調値と、前記表示輝度とを関連付けた輝度変換情報を記憶する記憶手段を備え、
前記第１取得工程で各画素に対して輝度階調値を指定された入力フレームを取得した場合に、前記第１取得工程では、前記入力フレームの前記輝度階調値を、前記輝度変換情報を用いて、前記表示輝度に変換することを特徴とする請求項１３乃至請求項１９のいずれか１項に記載の画像処理装置の制御方法。
【請求項２１】
前記生成工程では、前記出力フレームの前記表示輝度の平均値が前記目標輝度値になるように、前記入力フレームの前記表示輝度を補正して、前記出力フレームを生成することを特徴とする請求項１３乃至請求項２０のいずれか１項に記載の画像処理装置の制御方法。
【請求項２２】
前記入力フレームは、前記表示輝度と色差を示す値とを用いて表現された画像信号であって、
前記生成工程では、前記出力フレームの前記表示輝度を用いて、前記入力フレームの色差を示す値を補正して、前記出力フレームの色差を示す値とすることを特徴とする請求項１３乃至請求項２１のいずれか１項に記載の画像処理装置の制御方法。
【請求項２３】
前記出力フレームの各画素の前記表示輝度を、輝度階調値に変換した画像信号を生成して出力する出力工程をさらに備えることを特徴とする請求項１３乃至請求項２２のいずれか１項に記載の画像処理装置の制御方法。
【請求項２４】
請求項１３乃至請求項２３のいずれか１項に記載の画像処理装置の制御方法の各工程をプロセッサが実行するために用いるプログラム。
【請求項２５】
請求項２４に記載のプログラムを記憶しており、前記プロセッサが前記プログラムを読出すことが可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力フレームを補正して出力フレームを生成する画像処理装置及び画像処理装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、従来よりも広い輝度のダイナミックレンジ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒｅｎｇｅ、ＨＤＲ）に対応したＨＤＲ画像データに基づいて画像を表示することが可能な表示装置がある。ＨＤＲ画像データの形式の一部には、各画素に対して、表示装置で表示される輝度が関連付けられているデータ形式がある。
【０００３】
また、ＨＤＲ画像を表示する場合に、従来の画像よりも高い平均輝度で画像が表示されることが可能となる。表示される画像の平均輝度が高い場合に、画像を視聴するユーザがまぶしさや眼の疲労等の負担を感じてしまうことが懸念される。
【０００４】
特許文献１には、画像の輝度ヒストグラムに基づいて、現像に使用する輝度値の入力下限値と上限値を決定してγ補正を行う画像処理装置が開示されている。特許文献１に記載の画像処理装置によれば、画像の輝度ヒストグラムの低輝度側の偏り度合いと高輝度側の偏り度合いとに基づいて、撮影データの暗部と明部の階調補正量を算出することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−１９５４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来の技術では、入力フレームに対して、γカーブを変更する補正を行ったとしても、補正後のフレームの平均輝度が所望の値になるように階調特性を変更することはできなかった。したがって、出力フレームの平均輝度が、指定した目標平均輝度よりも大きくなる場合があった。
【０００７】
そこで、本発明は、上記課題に鑑みて、入力フレームを好適な平均輝度を有する出力フレームに補正して出力することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明における画像処理装置は、表示装置で表示される場合の輝度が指定された複数の画素を有する入力フレームを取得する第１取得手段と、目標輝度値を取得する第２取得手段と、出力フレームが前記表示装置で表示される場合の輝度の平均値が前記目標輝度値以下になるように、前記入力フレームの輝度を補正して、前記出力フレームを生成する生成手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明における画像処理装置によれば、入力フレームを補正して得られる出力フレームの平均輝度が、目標輝度よりも小さくなる。したがって、入力フレームを好適な平均輝度を有する出力フレームに補正して出力することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施例における画像処理装置の装置構成を示す装置構成図である。
【図２】ＣＰＵが実行する処理を機能ブロックで示した第１の機能ブロック図である。
【図３】第１の実施例における輝度補正処理を示した模式図である。
【図４】Ｙ（ｂｉｔ）を、Ｙ（ｎｉｔ）に補正するために用いるＬＵＴを示した模式図である。
【図５】第１の実施例における出力フレーム生成処理のフローを示す第１のフローチャートである。
【図６】第２の実施例において、ＣＰＵが実行する処理を機能ブロックで示した第２の機能ブロック図である。
【図７】第２の実施例における輝度補正処理を示した模式図である。
【図８】第２の実施例における出力フレーム生成処理のフローを示す第２のフローチャートである。
【図９】第３の実施例において、ＣＰＵ２が実行する処理を機能ブロックで示した第３の機能ブロック図である。
【図１０】第３の実施例における入力フレームを示す模式図である。
【図１１】第３の実施例における出力フレーム生成処理のフローを示す第３のフローチャートである。
【図１２】カメラが輝度を階調値に補正するために用いるＬＵＴを示した模式図である。
【発明を実施するための形態】
【００１１】
以下、図面を用いて本発明の実施の形態について説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定され、以下に例示する実施例によって限定されるものではない。また、実施例の中で説明されている特徴の組み合わせすべてが本発明に必須とは限らない。本明細書および図面に記載の内容は例示であって、本発明を制限するものと見なすべきではない。本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【００１２】
（第１の実施例）
各画素ごとに表示装置で表示される場合の輝度（以降、表示輝度）を直接指定することが可能な画像データ形式がある。本発明に係る画像処理装置は、このような画像データ形式で保存されたフレームに対して、表示装置で表示されるフレームの平均輝度値が、指定された目標輝度値以下になるように補正処理を施したフレームを生成して出力するものである。フレームは、画像信号であるとも言える。
【００１３】
図１は、第１の実施例における画像処理装置１０の装置構成を示す装置構成図である。画像処理装置１０は、表示装置３０と接続し、表示装置３０に出力フレームを出力する。画像処理装置１０は、画像処理装置１０から出力される出力フレームの表示輝度の平均値が、指定された目標輝度値以下になるように、入力フレームを補正した出力フレームを生成して出力することが可能な画像処理装置である。
【００１４】
画像処理装置１０が出力する出力フレームは、マトリクス状に配置された複数の画素それぞれに対して、表示輝度Ｙ’と色差値Ｃｒ，Ｃｂとが指定された画像データである。出力フレームの各画素の表示輝度Ｙ’は、表示輝度を直接指定した情報である。例えば、表示輝度Ｙ’は、０〜１００００（ｎｉｔ）の範囲で、１ｎｉｔ刻みで表わされるとする。
【００１５】
出力装置２０は、画像処理装置１０に各画素に対して表示輝度が指定された入力フレームを出力する出力装置である。出力装置２０は、撮像装置や、外部記憶装置である。
【００１６】
表示装置３０は、画像処理装置１０から取得した出力フレームに基づいて、画面に画像を表示する液晶ディスプレイである。表示装置３０は、各画素に対応する液晶素子を有する液晶パネルと、液晶パネルに光を照射するバックライトを備える。表示装置３０は、出力フレームの各画素が、指定された表示輝度で表示されるように各液晶素子の透過率を制御する。表示装置３０は、バックライトから照射された光を液晶パネルが透過して、画像を表示する。
【００１７】
なお、表示装置３０は、液晶素子でなく、ＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）を用いた透過素子で光の透過を制御するディスプレイであってもよい。また、表示装置３０は、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）を発光素子に用いた自発光型のディスプレイであってもよい。
【００１８】
画像処理装置１０の動作について説明する。画像処理装置１０は、出力フレームの表示輝度の平均値である平均輝度値が、目標輝度値以下となるように入力フレームを補正して、出力フレームを出力する。画像処理装置１０は、入力端子１、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）２、出力端子３、メモリ４、および操作部５を備える。
【００１９】
入力端子１は、出力装置２０から、入力フレームを取得する。入力端子１は、ＨＤＭＩ（登録商標）や、Ｅｔｈｅｒｎｅｔ（登録商標）の規格に準拠した端子である。また、入力端子１は、入力フレームとともに出力装置２０からメタデータ等の入力を取得してもよい。
【００２０】
入力フレームは、マトリクス状に配置された複数の画素それぞれに対して、表示輝度Ｙと色差値Ｃｒ，Ｃｂとが指定された画像データである。入力フレームの各画素の表示輝度Ｙは、各画素の表示輝度を直接指定した情報である。例えば、表示輝度Ｙは、０〜１００００（ｎｉｔ）の範囲で、１ｎｉｔ刻みで表わされる値であるとする。入力端子１は、入力された画像データ等を、ＣＰＵ２が処理可能な形式に補正する処理を実行してもよい。
【００２１】
ＣＰＵ２は、メモリ４から読み出したプログラムやパラメータを用いて、出力フレームの平均輝度値が、指定された目標輝度以下になるように入力フレームを補正して出力フレームを生成して出力する演算処理装置（プロセッサ）である。ＣＰＵ２が実行する出力フレームの生成処理の詳細については、後述する。また、ＣＰＵ２は、入力端子１、出力端子３、およびメモリ４の動作を制御する。
【００２２】
出力端子３は、ＣＰＵ２が生成した出力フレームを、表示装置３０に出力する。出力端子３は、ＨＤＭＩ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ（ＤＰ）、またはＤｉｇｉｔａｌ  Ｖｉｓｕａｌ  Ｉｎｔｅｒｆａｃｅ（ＤＶＩ）等の規格に準拠した出力端子である。出力端子３は、表示装置３０が処理可能な形式に出力フレームを補正して出力することも可能である。
【００２３】
メモリ４は、ＣＰＵ２がデータを読出しおよび書込みすることが可能な記憶媒体である。メモリ４は、ＣＰＵ２が使用するプログラムやパラメータ等を記憶し、ＣＰＵ２に出力する。
【００２４】
操作部５は、ユーザが画像処理装置１０に対して、パラメータの入力や、画像補正処理を実行するための指示を入力するためのユーザーインターフェースである。操作部５は、キーボード、マウス、もしくはタッチパネルである。ユーザは、表示装置３０に表示されたＯｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ（ＯＳＤ）を操作して、パラメータや指示を入力することも可能である。
【００２５】
図２は、ＣＰＵ２が実行する処理を機能ブロックで示した機能ブロック図である。ＣＰＵ２は、メモリ４から読み出したプログラムを実行することによって、各機能ブロックの処理を実行する。ＣＰＵ２が実行する機能ブロックは、入力部１１０、目標輝度取得部１２０、画像生成部１３０、および出力部１４０を備える。また、画像生成部１３０は、統計量取得部１３１、補正係数決定部１３２、輝度補正部１３３、および色差補正部１３４の機能ブロックを備える。
【００２６】
入力部１１０は、入力端子１またはメモリ４から出力された入力フレームを取得する。入力部１１０は、入力フレームを画像生成部１３０に出力する。
【００２７】
目標輝度取得部１２０は、ユーザが操作部５を用いて入力した目標輝度値Ｙｔを取得する。例えば、ユーザが入力した目標輝度値Ｙｔは、６００ｎｉｔであるとする。
【００２８】
目標輝度Ｙｔは、ユーザが任意に入力する他、入力フレームの形式や、出力フレームの形式や用途に応じて、決定されることも可能である。例えば、出力フレームが表示される表示装置３０の周囲の照度が暗い場合、目標輝度値Ｙｔを２００ｎｉｔとし、表示装置３０の周囲の照度が明るい場合、目標輝度値Ｙｔを１０００ｎｉｔとすることも可能である。目標輝度取得部１２０は、目標輝度Ｙｔを画像生成部１３０に出力する。
【００２９】
画像生成部１３０は、出力フレームの表示輝度Ｙ’（ｎｉｔ）の平均値が、指定された目標輝度値Ｙｔ以下になるように、取得した入力フレームを補正して出力フレームを生成する。
【００３０】
統計量取得部１３１は、入力フレームの全体の平均輝度値Ｙａｖｅを取得する。統計量取得部１３１は、入力フレームに含まれる各画素に指定された表示輝度を用いて、平均輝度値Ｙａｖｅを算出する。例えば、入力フレームの平均輝度値Ｙａｖｅとして、１２００ｎｉｔが取得されたとする。統計量取得部１３１は、平均輝度値Ｙａｖｅを補正係数決定部１３２に出力する。
【００３１】
補正係数決定部１３２は、平均輝度値Ｙａｖｅと目標輝度値Ｙｔとを用いて、補正係数Ｃを決定する。補正係数決定部１３２は、目標輝度値Ｙｔを平均輝度値Ｙａｖｅで除算した値を補正係数Ｃとする。目標輝度値Ｙｔとして６００ｎｉｔが入力され、かつ、入力フレームの平均輝度値Ｙａｖｅが取得された場合、補正係数Ｃは０．５（Ｙｔ／Ｙａｖｅ＝６００／１２００）である。なお、補正係数Ｃは、目標輝度値Ｙｔを平均輝度値Ｙａｖｅで除算した値以下の値であればよい。補正係数決定部１３２は、補正係数Ｃを輝度補正部１３３に出力する。
【００３２】
輝度補正部１３３は、補正係数Ｃを用いて、入力フレームの各画素に対して指定された表示輝度Ｙ（ｎｉｔ）を補正して出力フレームを生成する。輝度補正部１３３は、入力フレームの表示輝度Ｙ（ｎｉｔ）に対して、補正係数Ｃを乗算して、出力フレームの表示輝度Ｙ’（ｎｉｔ）とする。図３は、輝度補正部１３３における輝度補正処理を示した模式図である。図３の横軸は、入力フレームの表示輝度Ｙ（ｎｉｔ）を示しており、図３の縦軸は、補正係数Ｃを用いてＹ（ｎｉｔ）を補正した後の出力フレームの表示輝度Ｙ’（ｎｉｔ）を示している。図３（ａ）は、補正係数Ｃが０．５である場合の輝度補正部１３３における輝度補正処理による入力フレームの表示輝度Ｙ（ｎｉｔ）と、出力フレームＹ’（ｎｉｔ）との関係を示した図である。出力フレームの表示輝度Ｙ’（ｎｉｔ）は、入力フレームの表示輝度Ｙ（ｎｉｔ）を０．５倍した値に補正される。
【００３３】
色差補正部１３４は、Ｙ（ｎｉｔ）からＹ’（ｎｉｔ）への補正に応じて、出力フレームの色味が自然に表示されるように、入力フレームの色差成分（Ｃｒ，Ｃｂ）を補正して出力フレームの色差成分（Ｃｒ’、Ｃｂ’）を生成する。色差補正部１３４は、ＹＣｒＣｂ空間において、Ｙ成分が変化したことによる色差方向の変化を補正する。
【００３４】
上述のように、画像生成部１３０は、統計量取得部１３１、補正係数決定部１３２、輝度補正部１３３、および色差補正部１３４の機能ブロックにおける各処理を実行し、出力フレームを生成し、出力部１４０に出力する。
【００３５】
出力部１４０は、取得した出力フレームを、出力端子３およびメモリ４に出力する。出力部１４０は、出力フレームが利用される装置に対応した形式に、出力フレームを変換して出力する。出力フレームを利用する表示装置３０が、各画素に対して表示輝度を指定した出力フレームをそのまま処理することが可能である液晶ディスプレイ等の表示装置である場合は、出力部１４０は、出力フレームを変換せずに出力端子３に出力する。
【００３６】
また、出力フレームをメモリ４や、外部記録装置に保存する場合、出力部１４０は、出力フレームの各画素に対して指定された輝度を、１０ｂｉｔの階調値に変換して、記憶用の出力画像を生成して出力する。図４は、表示輝度と、階調値との関係を示したＬｏｏｋ  Ｕｐ  Ｔａｂｌｅ（ＬＵＴ）を示した模式図である。図４に示したＬＵＴは、表示輝度と階調値との関係が対数を用いた関数で記述され、低輝度側に多くの階調値が割り振られた関数である。出力部１４０は、図４に示したＬＵＴを用いて、表示輝度を階調値に変換する。
【００３７】
図５は、ＣＰＵ２が実行する出力フレーム生成処理の工程を示すフローチャートである。ＣＰＵ２は、ユーザが補正処理の実行を指示した場合、もしくは、ユーザが目標輝度値Ｙｔを入力したことに応じて、出力フレーム生成処理を開始する。はじめに、入力部１１０は、各画素に対して表示輝度が指定された入力フレームを取得する入力フレーム取得処理を実行する（Ｓ１０１）。入力フレームは、画像生成部１３０に出力される。目標輝度取得部１２０は、目標輝度値Ｙｔを取得する目標輝度取得処理を実行する（Ｓ１０２）。そして、目標輝度取得部１２０は、取得した目標輝度値Ｙｔを、画像生成部１３０に出力する。
【００３８】
統計量取得部１３１は、入力フレームの平均輝度値Ｙａｖｅを算出する平均輝度取得処理を実行する（Ｓ１０３）。補正係数決定部１３２は、平均輝度値Ｙａｖｅと、目標輝度値Ｙｔとを用いて、後述する輝度補正処理で用いる補正係数Ｃを決定する補正係数決定処理を実行する（Ｓ１０４）。そして、輝度補正部１３３は、補正係数Ｃを用いて、入力フレームの各画素の表示輝度Ｙ（ｎｉｔ）を、出力フレームの各画素の表示輝度Ｙ’（ｎｉｔ）に補正する輝度補正処理を実行する（Ｓ１０５）。
【００３９】
色差補正部１３４は、出力フレームの表示輝度Ｙ’（ｎｉｔ）に基づいて、入力フレームの色差成分を補正して、出力フレームの色差成分とする色差補正処理を実行する（Ｓ１０６）。出力部１４０は、生成された出力フレームを出力する出力処理を実行する（Ｓ１０７）。
【００４０】
上述の画像処理装置１０によれば、出力フレームの表示輝度Ｙ’（ｎｉｔ）の平均輝度値が、目標輝度値Ｙｔ以下になるように、入力フレームを補正した出力フレームを生成することが可能となる。したがって、入力フレームを好適な平均輝度値を有する出力フレームに補正して出力することが可能となる。
【００４１】
また、入力フレームの表示輝度Ｙ（ｎｉｔ）を一律に補正係数Ｃを用いて補正することにより、入力フレームにおける階調性が出力フレームで低減する階調つぶれを抑制することが可能となる。
【００４２】
なお、補正係数の決定方法は、上述の方法に限らない。補正係数決定部１３２は、目標輝度値Ｙｔと入力フレームの輝度分布とに応じて決定した閾値Ｔｈを、出力フレームの表示輝度の上限値に設定し、入力フレームの画素のうち、表示輝度が上限値を超える画素の表示輝度を、上限値に補正して出力フレームを生成する。このような補正処理を、クリップ処理という。
【００４３】
図３（ｂ）は、輝度補正部１３３においてクリップ処理によって輝度補正した場合の、入力フレームの表示輝度Ｙ（ｎｉｔ）と出力フレームの表示輝度Ｙ’（ｎｉｔ）との関係を示した模式図である。入力フレームの画素のうち、表示輝度Ｙ（ｎｉｔ）が閾値Ｔｈ以上である画素の出力フレームにおける表示輝度Ｙ’（ｎｉｔ）は、閾値Ｔｈに補正される。このとき、補正係数Ｃ（Ｙ）は、式１に示す関係を満たす。補正係数決定部１３２は、入力フレームを補正して生成した出力フレームの表示輝度Ｙ’（ｎｉｔ）度の平均輝度値が、目標輝度値Ｙｔ以下となるように、閾値Ｔｈを決定する。
【００４４】
【数１】
2017184179.tif 000003
【００４５】
統計量取得部１３１は、入力フレームのうち、各表示輝度Ｙに対応する画素の数ｎ（Ｙ）を取得する。そして、補正係数決定部１３２は、閾値Ｔｈをｍ（ｎｉｔ）とした場合に、入力フレームを補正した出力フレームの平均輝度値Ｙ’ａｖｅ（ｍ）を、式２を用いて算出する。Ｙｍａｘは、入力フレームの表示輝度Ｙ（ｎｉｔ）の取り得る最大値である。補正係数決定部１３２は、Ｙ’ａｖｅ（ｍ）が目標輝度値Ｙｔ以下となるｍ（ｎｉｔ）を閾値Ｔｈに決定する。
【００４６】
【数２】
2017184179.tif 000004
【００４７】
このようにして、目標輝度値Ｙｔに応じて決定されたクリップ処理の閾値Ｔｈを用いて、入力フレームを補正して出力フレームを生成することにより、入力フレームを表示輝度の平均値が目標輝度値以下となる出力フレームに補正して出力することが可能となる。したがって、出力フレームの表示輝度の平均値を好適に制御することが可能となる。
【００４８】
さらに、閾値Ｔｈでクリップ処理を施すことにより、入力フレームのうち、表示輝度Ｙ（ｎｉｔ）が閾値Ｔｈより小さい低輝度領域の階調特性の低下が抑制された出力フレームを生成することが可能となる。
【００４９】
（第２の実施例）
第２の実施例に係る画像処理装置１０は、入力フレームのうち、ユーザが指定した輝度範囲ＹＲに表示輝度Ｙ（ｎｉｔ）が含まれる画素に対して補正処理を施すことにより、表示輝度の平均値が目標輝度Ｙｔ以下になる出力フレームを生成して出力する。
【００５０】
第２の実施例における画像処理装置１０の装置構成図は、第１の実施例と同様であることから説明を省略する。図６は、第２の実施例において、ＣＰＵ２が実行する処理を機能ブロックで示した機能ブロック図である。第１の実施例と同名かつ同符号を付した機能ブロックは、第１の実施例と同様の機能を発揮するため、説明を省略する。
【００５１】
輝度範囲取得部２５０は、ユーザが操作部５を用いて、指定した輝度範囲ＹＲ（ＹＲｍｉｎ，ＹＲｍａｘ）を取得する。ＹＲｍｉｎは、輝度範囲ＹＲの下限値であり、ＹＲｍａｘは、輝度範囲ＹＲの上限値である。例えば、ユーザが指定したＹＲｍｉｎは、２００ｎｉｔ、ユーザが指定したＹＲｍａｘは、１０００ｎｉｔであるとする。輝度範囲ＹＲは、上述の値に限らず、ユーザが任意に入力することが可能である。また、入力フレームの形式や、出力フレームの形式や用途に応じて、輝度範囲取得部２５０が決定することも可能である。輝度範囲取得部２５０は、輝度範囲ＹＲを画像生成部１３０に出力する。
【００５２】
輝度補正部２３３は、累乗係数γを用いて、入力フレームの各画素のうち、表示輝度Ｙ（ｎｉｔ）が輝度範囲ＹＲに含まれる画素の表示輝度Ｙ（ｎｉｔ）を、出力フレームの表示輝度Ｙ’（ｎｉｔ）に補正する。また、輝度補正部２３３は、入力フレームの各画素のうち、表示輝度Ｙ（ｎｉｔ）が輝度範囲ＹＲに含まれない画素の表示輝度Ｙ（ｎｉｔ）を、出力フレームの表示輝度Ｙ’（ｎｉｔ）とする。図７は、輝度補正部２３３における輝度補正処理を示した模式図である。言い換えると、輝度補正部２３３は、入力フレームの表示輝度Ｙ（ｎｉｔ）を、式３に示す補正式に従って、出力フレームの表示輝度Ｙ’（ｎｉｔ）とする。
【００５３】
【数３】
2017184179.tif 000005
【００５４】
輝度補正部２３３が、累乗係数γを用いて、入力フレームの各画素のうち、表示輝度Ｙ（ｎｉｔ）が輝度範囲ＹＲに含まれる画素の表示輝度Ｙ（ｎｉｔ）を補正して生成された出力フレームの平均輝度値Ｙ’ａｖｅ（γ）は、式４で表わされる。ｎ（Ｙ）は、入力フレームにおける各輝度に対応する画素の数を示す。また、Ｙｍａｘは、入力フレームの表示輝度Ｙ（ｎｉｔ）の取り得る最大の値である。
【００５５】
【数４】
2017184179.tif 000006
【００５６】
輝度補正部２３３は、予め設定された累乗係数γの範囲をメモリ４から読出し、各γ値に対して、出力フレームの平均輝度値Ｙ’ａｖｅ（γ）と目標輝度値Ｙｔを比較する。輝度補正部２３３は、Ｙ’ａｖｅ（γ）が目標輝度値Ｙｔ以下となるγを、出力フレームの生成処理に用いる累乗係数γとして決定し、上述の式３を用いて、入力フレームの表示輝度Ｙ（ｎｉｔ）を出力フレームの表示輝度Ｙ’（ｎｉｔ）に補正して出力フレームを生成する。
【００５７】
なお、輝度補正部２３３は、予め離散的に設定された累乗係数γに対して、出力フレームの平均輝度値Ｙ’ａｖｅ（γ）と目標輝度値Ｙｔを比較してもよい。例えば、γ＝２．０、２．２、２．４、２．６、２．８、３．０の６つに対して、出力フレームの平均輝度値Ｙ’ａｖｅ（γ）と目標輝度値Ｙｔを比較することも可能である。この場合は、出力フレームの平均輝度値Ｙ’ａｖｅ（γ）が目標輝度値Ｙｔ以下となるγのうち、最小の値を、補正処理に用いる累乗係数γとする。
【００５８】
また、予め設定されたγの範囲のいずれの値を用いてても、出力フレームの平均輝度値Ｙ’ａｖｅ（γ）が目標輝度値Ｙｔ以下にならない場合、輝度補正部２３３は、出力フレームの生成処理を中止し、入力フレームを出力部１４０に出力する。そして、ＣＰＵ２は、指定された輝度範囲ＹＲにおいて、平均輝度値Ｙ’ａｖｅが目標輝度値Ｙｔ以下となる出力フレームを生成できないことを、ユーザに通知する。
【００５９】
このとき、ＣＰＵ２は、表示装置３０に、指定された輝度範囲ＹＲにおいて、平均輝度値が目標輝度値Ｙｔ以下となる出力フレームを生成できないことを示す警告画像を出力する。また、ＣＰＵ２は、画像処理装置１０もしくは表示装置３０に設けられた非図示の音声出力部から、平均輝度値が目標輝度値Ｙｔ以下となる出力フレームを生成できないことを示すアラーム音を出力させてもよい。
【００６０】
なお、輝度補正部２３３は、第１の実施例に示した補正係数を用いた補正処理を、輝度範囲ＹＲに含まれる画素の表示輝度Ｙ（ｎｉｔ）に対して実行して、出力フレームを生成することも可能である。
【００６１】
図８は、第２の実施例における出力フレーム生成処理のフローを示すフローチャートである。Ｓ１０１およびＳ１０２は、第１の実施例と同様の処理であるため、説明を省略する。
【００６２】
輝度範囲取得部２５０は、ユーザが操作部５を用いて指定した輝度範囲ＹＲ（ＹＲｍｉｎ，ＹＲｍａｘ）を取得する輝度範囲取得処理を実行する（Ｓ２０１）。輝度範囲取得部２５０は、取得した輝度範囲ＹＲを画像生成部１３０に出力する。
【００６３】
輝度補正部２３３は、目標輝度値Ｙｔと、輝度範囲ＹＲと、に基づいて、入力フレームのうち、指定された輝度が輝度範囲ＹＲに含まれる画素の表示輝度Ｙ（ｎｉｔ）を、出力フレームの表示輝度Ｙ’（ｎｉｔ）へ補正するγを決定する係数決定処理を実行する（Ｓ２０２）。輝度補正部２３３は、決定したγを用いて、式３に示した補正式を用いて、入力フレームの表示輝度Ｙ（ｎｉｔ）を出力フレームの表示輝度Ｙ’（ｎｉｔ）に補正する輝度補正処理を実行する（Ｓ２０３）。
【００６４】
Ｓ１０６およびＳ１０７の処理は、第１の実施例と同様の処理であるため、説明を省略する。
【００６５】
第２の実施例における画像処理装置１０によれば、入力フレームのうち、表示輝度Ｙ（ｎｉｔ）が輝度範囲ＹＲに含まれる画素に対して、補正処理を施すことにより、平均輝度値が目標輝度値Ｙｔ以下である出力フレームを生成することが可能となる。したがって、入力フレームを好適な平均輝度を有する出力フレームに補正して出力することが可能となる。
【００６６】
さらに、入力フレームのうち、表示輝度が、ユーザが指定した輝度範囲ＹＲに含まれない画素の表示輝度を変更せずに、出力フレームを生成することが可能となる。したがって、入力フレームのうち、ユーザが表示輝度を変えずに表現したい表示輝度の範囲の階調性が低下することを抑制し、より、ユーザの好みに応じた出力フレームの生成が可能となる。
【００６７】
なお、輝度範囲ＹＲは、複数指定することも可能である。さらに、ユーザは、出力フレームへの補正に用いる輝度範囲ＹＲを指定するのではなく、出力フレームにおいて表示輝度を維持したい（表示輝度を補正しない）輝度範囲ＹＲ’を指定することも可能である。この場合、輝度補正部は入力フレームの取り得る表示輝度の範囲のうち、輝度範囲ＹＲ’以外の領域を輝度範囲ＹＲとして、補正処理を施す。
【００６８】
（第３の実施例）
補正第３の実施例に係る画像処理装置１０は、入力フレームのうち、ユーザが指定した制御領域に含まれる画素を輝度補正処理の対象として、出力フレームを生成する。
【００６９】
第３の実施例における画像処理装置１０の装置構成図は、第１の実施例と同様であることから説明を省略する。図９は、第３の実施例において、ＣＰＵ２が実行する処理を機能ブロックで示した機能ブロック図である。第１の実施例と同名かつ同符号を付した機能ブロックは、第１の実施例と同様の機能を発揮するため、説明を省略する。
【００７０】
制御領域取得部３１０は、入力フレームにおいて、輝度補正処理の対象となる領域に関する情報を制御領域情報として取得し、画像生成部３３０に出力する。制御領域取得部３１０が取得する制御領域情報は、例えば、ユーザが操作部５を用いて指定した制御領域の位置を示す情報である。
【００７１】
図１０は、第３の実施例における入力フレームの例を示す模式図である。図１０に示す入力フレームの画像は、室内の人物を写した写真であり、窓枠を通して晴天の空が表示されている。例えば、ユーザは、図１０の太線枠で示した窓枠で囲まれた領域Ｒｂを制御領域として指定したとする。制御領域取得部３１０は、操作部５を用いて指定された制御領域情報を取得する。
【００７２】
画像生成部３３０は、入力フレームの領域Ｒｂに対して、補正係数Ｃｂを決定し、入力フレーム全体の平均輝度値Ｙａｖｅが目標輝度値Ｙｔ以下になるように入力フレームの領域Ｒｂに含まれる画素の表示輝度を補正して出力フレームを生成する。
【００７３】
統計量取得部３３１は、取得した制御領域情報に基づいて、領域Ｒｂと領域Ｒｂ以外の領域Ｒａとのそれぞれに対して平均輝度値を取得する。領域Ｒｂの平均輝度値はＹｂ＿ａｖｅ、領域Ｒａの平均輝度値はＹａ＿ａｖｅとする。また、統計量取得部３３１は、領域Ｒｂと領域Ｒａとのそれぞれにおいて、表示輝度Ｙに対応する画素の数を取得する。領域Ｒｂの表示輝度Ｙの画素数はｎｂ（Ｙ）、領域Ｒａの表示輝度Ｙに対応する画素数はｎａ（Ｙ）とする。
【００７４】
補正係数決定部３３２は、目標輝度値Ｙｔと、各領域の平均輝度値および画素数を用いて、領域Ｒｂに対する補正係数Ｃｂを決定する。第３の実施例では、輝度補正部３３３は、入力フレームのうち領域Ｒｂに含まれる画素の表示輝度Ｙ（ｎｉｔ）に補正係数Ｃｂを乗算して、出力フレームの表示輝度Ｙ’（ｎｉｔ）に補正する。補正係数Ｃｂを用いて、入力フレームを補正して生成された出力フレームの領域Ｒａと領域Ｒｂとを含む全体の平均輝度値Ｙ’ａｖｅは式５で示される。
【００７５】
【数５】
2017184179.tif 000007
【００７６】
補正係数決定部３３２は、式５で示された出力フレームの平均輝度値Ｙ’ａｖｅが目標輝度値Ｙｔ以下となるＣｂを求める。Ｃｂは式６を満たす。
【００７７】
【数６】
2017184179.tif 000008
【００７８】
補正係数決定部３３２は、決定した補正係数Ｃｂを、輝度補正部３３３に出力する。
【００７９】
輝度補正部３３３は、補正係数Ｃｂおよび制御領域情報に基づいて、入力フレームの領域Ｒｂに含まれる画素の表示輝度Ｙ（ｎｉｔ）を、出力フレームの領域Ｒｂに含まれる画素の表示輝度Ｙ’（ｎｉｔ）に補正する。
【００８０】
色差補正部３３４は、Ｙ（ｎｉｔ）からＹ’（ｎｉｔ）への補正に応じて、出力フレームの色味が自然に表示されるように、入力フレームの色差成分（Ｃｒ，Ｃｂ）を補正して出力フレームの色差成分（Ｃｒ’、Ｃｂ’）を生成する。色差補正部３３４は、領域ＲｂのＹ成分が変化したことによる色差方向の変化を補正するように、出力フレームの領域Ｒｂの色差成分（Ｃｒ’、Ｃｂ’）を生成する。色差補正部３３４は、生成した出力フレームを出力部１４０に出力する。
【００８１】
図１１は、第３の実施例における出力フレーム生成処理のフローを示すフローチャートである。Ｓ１０１およびＳ１０２は、第１の実施例と同様の処理であるため、説明を省略する。
【００８２】
制御領域取得部３１０は、入力端子１を介して、制御領域情報を取得する制御領域取得処理を実行する（Ｓ３０１）。
【００８３】
制御領域取得部３１０は、取得した制御領域情報を画像生成部１３０に出力する。
【００８４】
統計量取得部３３１は、領域Ｒｂの平均輝度値Ｙｂ＿ａｖｅ、領域Ｒａの平均輝度値Ｙａ＿ａｖｅ、領域Ｒｂの表示輝度Ｙの画素数ｎｂ（Ｙ）、および領域Ｒａの表示輝度Ｙの画素数ｎａ（Ｙ）の各統計量を取得する統計量取得処理を実行する（Ｓ３０２）。
【００８５】
補正係数決定部３３２は、目標輝度値Ｙｔと、各統計量を用いて、領域Ｒｂに対する補正係数Ｃｂを決定する補正係数決定処理を実行する（Ｓ３０３）。輝度補正部３３３は、補正係数Ｃｂを用いて、入力フレームの領域Ｒｂの表示輝度Ｙ（ｎｉｔ）を、出力フレームの表示輝度Ｙ’（ｎｉｔ）に補正する輝度補正処理を実行する（Ｓ３０４）。Ｓ１０６およびＳ１０７の処理は、第１の実施例と同様の処理であるため、説明を省略する。
【００８６】
第３の実施例における画像処理装置１０によれば、ユーザが指定した領域の階調特性のみを操作することにより、オブジェクトの階調特性を維持して、平均輝度値が目標輝度値Ｙｔ以下である出力フレームを生成することが可能となる。したがって、入力フレームの任意の領域の階調性を維持して、平均輝度値が目標輝度値Ｙｔ以下である出力フレームを得ることが可能となる。
【００８７】
なお、輝度補正部３３３は、第１の実施例の変形例で示した閾値Ｔｈ以上の表示輝度を閾値Ｔｈに補正する処理を、制御領域に対して施して、出力フレームの表示輝度とするものであってもよい。この場合、補正係数決定部３３２は、制御領域Ｒｂに対して、閾値Ｔｈ以上の表示輝度を閾値Ｔｈに補正する処理を施した場合の出力フレーム全体の平均輝度値が、目標輝度値Ｙｔ以下となるように閾値Ｔｈを決定する。
【００８８】
なお、輝度補正部３３３は、第２の実施例と同様に、ユーザが指定した輝度範囲に対して、補正係数を決定して、出力フレームの平均輝度値が目標輝度値Ｙｔ以下になるように、入力フレームの制御領域Ｒｂの表示輝度を補正する処理を施すものであってもよい。
【００８９】
（その他の実施例）
第１の実施例から第３の実施例では、画像処理装置１０は、予め各画素に対して、表示輝度が指定された入力フレームを取得して、出力フレームを生成して出力したが、画像処理装置１０が補正するフレームは上述の形態に限らない。画像処理装置１０は、各画素に対して、輝度階調値を用いて輝度成分を指定したデータ形式で表わされる入力フレームを取得して、出力フレームを生成して出力してもよい。
【００９０】
この場合、入力フレームの輝度階調値は、表示輝度と輝度階調値との関係に基づいて、決定されている。図１２は、表示輝度を輝度階調値に補正するために用いる輝度変換情報をルックアップテーブル（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ、ＬＵＴ）で示した模式図である。図１２の横軸は、表示輝度を単位ｎｉｔで示している。また、図１２の縦軸は、各輝度に対応する輝度階調値を１０ｂｉｔデータで示している。なお、表示輝度を示す単位や、変換後の輝度階調値のｂｉｔ数は、上述の例に限らない。
【００９１】
画像処理装置１０は、入力フレームの各画素の輝度階調値と、表示輝度設定値とを用いて、入力フレームの各画素の表示輝度を取得することも可能である。たとえば、各画素に対して反射率を輝度階調値で示した入力フレームに対して、基準となる基準表示輝度値を組み合わせて、輝度成分を表示輝度で表した入力フレームとしてもよい。
【００９２】
また、第１の実施例から第３の実施例では、平均輝度値が目標輝度値Ｙｔ以下となるように、入力部１１０が取得した入力フレームに対して、補正値を決定したが、補正値の決定方法はこれに限らない。
【００９３】
入力される画像が複数のフレームからなる動画像である場合、１つのコンテンツやシーンごとに、補正値を決定してもよい。この場合、１つのコンテンツもしくはシーンに含まれる複数のフレームを解析し、１つのコンテンツもしくはシーンに含まれる複数のフレームについて、表示輝度の平均値が目標輝度値Ｙｔ以下になるように共通に適用される共通補正値を決定する。例えば、共通補正値は、１つのコンテンツもしくはシーンに含まれる複数のフレームのうち、もっとも平均輝度値が高いフレームを、平均輝度値が目標輝度値Ｙｔ以下となるように補正する補正値とする。あらかじめ入力された制御領域や、輝度範囲に応じて共通補正値が決定されてもよい。画像処理部１０は、共通補正値を用いて、動画像の各フレームを変換して、出力動画像を生成する。
【００９４】
また、第１の実施例から第３の実施例、およびその他の実施例では、メモリ４から読み出したプログラムやパラメータを用いて、ＣＰＵ２が、各機能ブロックの処理を実行したが、各機能ブロックの機能の一部、または全ては、電子回路等のハードウェアで実行されてもよい。
【００９５】
また、第１の実施例から第３の実施例、およびその他の実施例で説明した画像処理装置１０と、画像処理装置１０が生成した出力フレームを表示する表示部を備える表示装置で本発明に係る処理を実行するものであってもよい。
【符号の説明】
【００９６】
１０  画像処理装置
１１０  入力部
１２０  目標輝度取得部
１３０  画像生成部
【図１】
2017184179.tif 000009
【図２】
2017184179.tif 000010
【図３】
2017184179.tif 000011
【図４】
2017184179.tif 000012
【図５】
2017184179.tif 000013
【図６】
2017184179.tif 000014
【図７】
2017184179.tif 000015
【図８】
2017184179.tif 000016
【図９】
2017184179.tif 000017
【図１０】
2017184179.tif 000018
【図１１】
2017184179.tif 000019
【図１２】
2017184179.tif 000020