(57)【要約】【課題】  高ダイナミックレンジの画像において、適正露出近辺の被写体の明るさを好適に補正すること。【解決手段】  画像データを、第１のダイナミックレンジの第１の画像データに変換する第１の変換手段と、画像データを、第１のダイナミックレンジよりも広い第２のダイナミックレンジの第２の画像データに変換する第２の変換手段と、第１の画像データにおける被写体領域の第１の輝度と、被写体領域を含む所定領域の第２の輝度とを算出する第１の算出手段と、第２の画像データにおける被写体領域の第３輝度と、所定領域の第４の輝度とを算出する第２の算出手段と、第１、第２、第４の輝度に基づいて、第２の画像データにおける被写体領域の目標輝度を算出し、第３の輝度を目標輝度に変換する補正データを生成する生成手段と、補正データを用いて、画像データを第２のダイナミックレンジの第３の画像データに変換する第３の変換手段とを有する。【選択図】  図５
2019004230.tif 000002
【特許請求の範囲】
【請求項１】
撮影して得られた画像データを、第１のダイナミックレンジの第１の画像データに変換する第１の変換手段と、
前記画像データを、前記第１のダイナミックレンジよりも広い、第２のダイナミックレンジの第２の画像データに変換する第２の変換手段と、
前記第１の画像データにおける被写体領域の第１の輝度と、前記被写体領域を含む所定領域の第２の輝度とを算出する第１の算出手段と、
前記第２の画像データにおける前記被写体領域の第３輝度と、前記所定領域の第４の輝度とを算出する第２の算出手段と、
前記第１の輝度、前記第２の輝度、前記第４の輝度に基づいて、前記第２の画像データにおける前記被写体領域の目標輝度を算出し、前記第３の輝度を前記目標輝度に変換する補正データを生成する生成手段と、
前記補正データを用いて、前記画像データを前記第２のダイナミックレンジの第３の画像データに変換する第３の変換手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記第１の変換手段は、前記第１のダイナミックレンジを有する第１の表示装置の第１の電光変換特性に対応する第１の光電変換特性を用いて現像することにより、前記第１の画像データに変換し、
前記第２の変換手段は、前記第２のダイナミックレンジを有する第２の表示装置の第２の電光変換特性に対応する第２の光電変換特性を用いて現像することにより、前記第１の画像データに変換することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の表示装置の特性に関する情報を入力する入力手段を更に有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の光電変換特性は、前記第２の光電変換特性よりも、高輝度側の傾きがなだらかであることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記第１の算出手段および前記第２の算出手段は、前記第１から第４の輝度をそれぞれ幾何平均により算出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１の算出手段および前記第２の算出手段は、前記第１から第４の輝度を、それぞれの領域の中心をピークとした重みを用いた加重平均により算出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項７】
前記第２の算出手段は、更に、前記所定領域のうち、任意の閾値以上の輝度を有する領域の第５の輝度を算出し、
前記生成手段は、前記第５の輝度よりも高輝度の信号を補正しないように前記補正データを生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第３の変換手段は、前記第２の画像データを前記補正データを用いて補正することにより、前記第３の画像データに変換することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第３の変換手段は、前記第２の変換手段で用いる変換データと前記補正データとを合成した変換データを用いて、前記画像データを前記第３の画像データに変換することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記被写体は、人の顔であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記所定領域は、画像全体の領域であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記生成手段は、前記目標輝度を、ヴェーバー-フェヒナーの法則に基づいて求めることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
被写体を撮影して、画像データを出力する撮像手段と、
請求項１乃至１２のいずれか１項に記載の画像処理装置と
を有することを特徴とする撮像装置。
【請求項１４】
第１の変換手段が、撮影して得られた画像データを、第１のダイナミックレンジの第１の画像データに変換する第１の変換工程と、
第２の変換手段が、前記画像データを、前記第１のダイナミックレンジよりも広い、第２のダイナミックレンジの第２の画像データに変換する第２の変換工程と、
第１の算出手段が、前記第１の画像データにおける被写体領域の第１の輝度と、前記被写体領域を含む所定領域の第２の輝度とを算出する第１の算出工程と、
第２の算出手段が、前記第２の画像データにおける前記被写体領域の第３輝度と、前記所定領域の第４の輝度とを算出する第２の算出工程と、
生成手段が、前記第１の輝度、前記第２の輝度、前記第４の輝度に基づいて、前記第２の画像データにおける前記被写体領域の目標輝度を算出し、前記第３の輝度を前記目標輝度に変換する補正データを生成する生成工程と、
第３の変換手段が、前記補正データを用いて、前記画像データを前記第２のダイナミックレンジの第３の画像データに変換する第３の変換工程と
を有することを特徴とする画像処理方法。
【請求項１５】
コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、及び撮像装置に関し、特にＨＤＲ（高ダイナミックレンジ）画像を現像することが可能な画像処理装置及び方法、及び撮像装置に関するものである。
【背景技術】
【０００２】
近年では、ディスプレイのＬＥＤ素子の進化などにより、黒を引き締め、高輝度をさらに高めることができ、画像の高ダイナミックレンジ（以下、「ＨＤＲ」と記す。）な情報を圧縮することなくそのまま表示することができるようになってきている。一方で、ＨＤＲディスプレイよりもダイナミックレンジが狭い（以下、「ＳＤＲ」と記す。）従来のＳＤＲディスプレイも引き続き使用されており、暫くはＳＤＲディスプレイとＨＤＲディスプレイとが混在して使用されることが予想される。そのため、撮像装置としてはＳＤＲディスプレイ用のコンテンツとしての従来の現像方法と、ＨＤＲディスプレイ用のコンテンツとしてのＨＤＲ用の現像方法を両方備えていく必要がある。
【０００３】
ＨＤＲディスプレイは、ＳＤＲディスプレイでは従来コントラストが下がってしまっていた青空の雲の階調や、夜景のネオンなどの風景をリアルに再現できる一方で、明るい部分が明るいほど、相対的に主被写体が暗く知覚されてしまうという特徴も併せ持つ。例えば、図１４（ａ）は、従来のＳＤＲディスプレイによる表示例を示した図であり、主被写体である建物は適正露出、例えば１８ｎｉｔｓ、空は１００ｎｉｔｓと仮定する。一方の図１４（ｂ）は、ＨＤＲディスプレイによる表示例を示した図であり、主被写体である建物はＳＤＲディスプレイと同等の１８ｎｉｔｓであるが、空は４００ｎｉｔｓとする。すると、図１４（ａ）と図１４（ｂ）における主被写体である建物は、物理的には同じ輝度で表示されているが、人間の視覚では図１４（ｂ）の建物の方が暗く感じてしまう場合がある。
【０００４】
これは、人間の視覚特性である色彩対比の中の空間的に接する同時対比に起因するものであると考えられる。同時対比には、図１４で示した明度対比の他に、彩度の高い色に囲まれた色は彩度が低下して見える彩度対比もある。この現象は明暗差がより強調される現象であるため、リアルなＨＤＲ画質として好ましいシーンがある一方で、主被写体の明るさ、特に人物の顔などが暗くなった場合には、必ずしも好ましいとは限らないシーンがあるという懸念が生じる。
【０００５】
特許文献１では、撮像装置のダイナミックレンジよりも出力装置のダイナミックレンジが狭いときに、大局輝度に基づいて圧縮することにより、コントラストを維持した補正方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４６８７３２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された従来技術は、基本的にダイナミックレンジが広い画像データから狭い画像データへの圧縮方法であり、且つ基本的な概念のみの言及に留まっており、人間の視覚特性を考慮したものではない。
【０００８】
本発明は上記問題点を鑑みてなされたものであり、高ダイナミックレンジの画像において、適正露出近辺の被写体の明るさを好適に補正することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、撮影して得られた画像データを、第１のダイナミックレンジの第１の画像データに変換する第１の変換手段と、前記画像データを、前記第１のダイナミックレンジよりも広い、第２のダイナミックレンジの第２の画像データに変換する第２の変換手段と、前記第１の画像データにおける被写体領域の第１の輝度と、前記被写体領域を含む所定領域の第２の輝度とを算出する第１の算出手段と、前記第２の画像データにおける前記被写体領域の第３輝度と、前記所定領域の第４の輝度とを算出する第２の算出手段と、前記第１の輝度、前記第２の輝度、前記第４の輝度に基づいて、前記第２の画像データにおける前記被写体領域の目標輝度を算出し、前記第３の輝度を前記目標輝度に変換する補正データを生成する生成手段と、前記補正データを用いて、前記画像データを前記第２のダイナミックレンジの第３の画像データに変換する第３の変換手段と、を有する。
【発明の効果】
【００１０】
本発明によれば、高ダイナミックレンジの画像において、適正露出近辺の被写体の明るさを好適に補正することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】一般的な交換レンズ式のデジタル一眼レフカメラの概略構成を示す断面図。
【図２】本発明の実施形態におけるカメラ本体と交換レンズの電気回路の構成例を示すブロック図。
【図３】ＳＤＲ及びＨＤＲのシーンと主被写体の領域を示した図。
【図４】第１及び第２の実施形態における現像処理を示すフローチャート。
【図５】第１及び第２の実施形態における信号処理回路の機能構成及びデータの流れを示すブロック図。
【図６】第１の実施形態における画像を複数のブロックに分割した一例を示す図。
【図７】人物の顔の検出結果の一例を示す図。
【図８】ＳＭＰＴＥ ＳＴ２０８４で規格化されているＰＱ（Perceptual Quantization）のＥＯＴＦ特性を示す図。
【図９】第１の実施形態における階調補正データの特性を示した図。
【図１０】ＨＤＲのシーンにおける高輝度の領域の例を示した図。
【図１１】第２の実施形態における階調補正データの特性を示した図。
【図１２】第３の実施形態における信号処理回路の機能構成及びデータの流れを示すブロック図。
【図１３】ＳＤＲディスプレイによるの観賞条件の設定例を示した図。
【図１４】ＳＤＲディスプレイとＨＤＲディスプレイでの見えの違いのイメージを示す図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。また、以下の実施形態においては、本発明に係る撮像装置の一例として、デジタルカメラについて説明するが、本発明はデジタルカメラのような撮影を主目的とした機器に限らない。例えば、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含する。
【００１３】
図１は、本発明の実施形態の交換レンズ式のデジタル一眼レフカメラにおいて、主として光学部材やセンサ等の配置を示す断面図である。本実施形態におけるカメラはレンズ交換可能な所謂デジタル一眼レフカメラであり、カメラ本体１と交換レンズ２を有している。交換レンズ２はカメラ本体１に設けられたレンズマウントの接点を通じ、必要に応じてカメラ本体１と情報通信を行う。
【００１４】
カメラ本体１において、撮像素子１０は、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサ等であって、複数の画素（蓄積型光電変換素子）が受光部に配列されている。なお、撮像素子１０においては、受光部に配列される画素以外に、画素信号の増幅回路や信号処理用の周辺回路などが形成されている。撮像素子１０の前方近傍に設けられたメカニカルシャッター１１は、撮像素子１０の露出タイミング及び露出時間を制御する。
【００１５】
半透過性の主ミラー３と、主ミラー３の背面に配置された第１の反射ミラー７は、撮影時には上部に跳ね上がり、撮影光路から退避する。第２の反射ミラー８は、第１の反射ミラー７が反射した光束をさらに反射し、焦点検出用センサ（ＡＦセンサ）９に入射させる。ＡＦセンサ９は、例えば画素数が撮像素子１０よりも少ない撮像素子であってよい。第１の反射ミラー７、第２の反射ミラー８及びＡＦセンサ９は、撮影画面内の任意の位置で位相差検出方式の焦点検出を行うための構成である。
【００１６】
測光用センサ（ＡＥセンサ）６は、ペンタプリズム４及び第３の反射ミラー５で反射された撮影画面の像を受光する。ＡＥセンサ６は、受光部を任意の複数の領域に分割し、分割領域ごとに被写体の輝度情報を出力することができる。
【００１７】
ペンタプリズム４によってファインダー光学系が構成され、ペンタプリズム４で反射された被写体像は、不図示のアイピースから観察することができる。ＡＥセンサ６には、主ミラー３によって反射されてピント板１２によって拡散された光線のうち、光軸外の一部が入射する。なお、ライブビュー表示及び動画記録時には、常時主ミラー３が上部に跳ね上がった状態となるため、露出制御や焦点調節制御は撮像面の画像情報を使用して行うこととなる。
【００１８】
図２は、図１に示したカメラ本体１と交換レンズ２の電気回路の構成例を示すブロック図である。制御部２１は、例えば、内部にＡＬＵ（Arithmetic and Logic Unit）２１ｃ、ＲＯＭ２１ｄ、ＲＡＭ２１ｅ、Ａ／Ｄコンバータ２１ａ、タイマー２１ｂ、シリアル通信ポート（ＳＰＩ）２１ｆ等を内蔵したワンチップマイクロコンピュータである。制御部２１は、例えばＲＯＭ２１ｄに記憶されたプログラムを実行することにより、カメラ本体１及び交換レンズ２の動作を制御する。なお、制御部２１の具体的な動作については後述する。
【００１９】
ＡＦセンサ９及びＡＥセンサ６の出力信号は、制御部２１のＡ／Ｄコンバータ２１ａの入力端子に接続され、制御部２１はＡ／Ｄされた信号に基づいて、ＡＦ処理、ＡＥ処理を行う。
【００２０】
信号処理回路２５は、制御部２１の指示に従って撮像素子１０を制御し、撮像素子１０が出力する信号にＡ／Ｄ変換及び信号処理を適用し、画像信号を得る。また信号処理回路２５は、得られた画像信号を記録するにあたって、圧縮・合成等の必要な画像処理を行う。メモリ２８は、ＤＲＡＭ等であり、信号処理回路２５が種々の信号処理を行う際のワーク用メモリとして使われたり、後述する表示器２７に画像を表示する際のＶＲＡＭとして使われたりする。
【００２１】
表示器２７は、背面液晶ディスプレイや、ＨＤＭＩ（登録商標）等の規格で外部ディスプレイで接続されることを想定しており、カメラの設定値やメッセージ、メニュー画面等の情報や撮像画像を表示する。表示器２７は制御部２１からの指示により制御される。記憶部２６は、例えばフラッシュメモリ等の不揮発性メモリであり、撮像された画像信号が信号処理回路２５から入力される。
【００２２】
モーター２２は、制御部２１の制御に従い、主ミラー３及び第１の反射ミラー７のアップ・ダウンや、メカニカルシャッター１１のチャージを行う。操作部２３は、ユーザがカメラを操作するために用いるスイッチなどの入力デバイス群であり、撮影準備動作の開始および撮影開始を指示するためのレリーズスイッチや、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キー等が含まれる。接点部２９は交換レンズ２と通信を行うための接点であり、制御部２１のシリアル通信ポートの入出力信号が接続される。シャッター駆動部２４は制御部２１の出力端子に接続されてメカニカルシャッター１１を駆動する。
【００２３】
交換レンズ２には、接点部２９と対をなす接点部５０が設けられている。接点部５０には、制御部２１と同様のワンチップマイクロコンピュータであるレンズ制御部５１が接続され、制御部２１との通信が可能である。レンズ制御部５１は、例えばＲＯＭに記憶されたプログラムを実行し、制御部２１からの指示に基づいて交換レンズ２の動作を制御する。また、交換レンズ２の状態などの情報を、制御部２１に通知する。フォーカスレンズ駆動部５２はレンズ制御部５１の出力端子に接続され、フォーカスレンズを駆動する。ズーム駆動部５３は、レンズ制御部５１の制御に従い、交換レンズの画角を変更する。絞り駆動部５４は、レンズ制御部５１の制御に従い、絞りの開口量を調整する。
【００２４】
交換レンズ２がカメラ本体１に装着されると、接点部２９，５０を介して、レンズ制御部５１とカメラ本体の制御部２１とがデータ通信可能となる。また、接点部２９，５０を通じて交換レンズ２内のモータやアクチュエータを駆動するための電力も供給される。カメラ本体１の制御部２１が焦点検出や露出演算を行うために必要なレンズ固有の光学的な情報や、距離エンコーダに基づいた被写体距離に関する情報等が、交換レンズ２からカメラ本体１の制御部２１へとデータ通信によって出力される。また、カメラ本体１の制御部２１が焦点検出や露出演算を行った結果求められた焦点調節情報や絞り情報は、制御部２１から交換レンズ２へとデータ通信によって出力される。レンズ制御部５１は、得られた焦点調節情報や絞り情報に従って、フォーカスレンズや絞り等を制御する。
【００２５】
さて、上述した撮像装置により得られた画像を表示する際に、ＳＤＲディスプレイとＨＤＲディスプレイとで最大輝度が変わっても主被写体である中間調の輝度が同程度であるように知覚するためには、以下に説明する関係であることが条件となる。まず、図３（ａ）に示すＳＤＲのシーンａ１（所定領域、画像全体）の平均輝度をＡｖｅＳＢＳＤＲ、主被写体ａ２の平均輝度をＡｖｅＯＢＳＤＲ、図３（ｂ）に示すＨＤＲのシーンｂ１の平均輝度をＡｖｅＳＢＨＤＲ、主被写体ｂ２の平均輝度をＡｖｅＯＢＨＤＲとする。この時、明るさの感覚は、ヴェーバー-フェヒナーの法則により、以下の式（１）に示すように輝度の対数に比例する。
【００２６】
2019004230.tif 000003
【００２７】
なお、ここでは、輝度として平均輝度を用いるが、これは、輝度として最大輝度を用いてしまうと、例えば夜景などの点光源のように、面積が小さい割に高輝度だった場合に、次のような弊害が発生することが予想されるためである。すなわち、点光源の輝度に強く引っ張られ、大きくゲインアップさせるような補正になってしまい、ＨＤＲの効果である高コントラストが逆に失われてしまう、という弊害である。
上記式（１）においてＡｖｅＯＢＨＤＲはＨＤＲの被写体領域の平均輝度、即ち目標とする輝度であり、式（１）を変形して
【００２８】
2019004230.tif 000004
【００２９】
により求めることができる。具体的には、ＳＤＲの輝度は一般的なＳＤＲディスプレイの観賞時のディスプレイ特性を、また、ＨＤＲの輝度はＨＤＲディスプレイの観賞時のディスプレイ特性を考慮して設定することが望ましい。この点については詳細に後述する。
【００３０】
＜第１の実施形態＞
以下、本発明の第１の実施形態における具体的な動作について説明する。図１の操作部２３に含まれる電源スイッチがオンされることなどにより制御部２１が動作可能になると、まず、制御部２１は交換レンズ２のレンズ制御部５１と通信を行い、焦点検出や測光に必要な各種レンズの情報を得るなどの初期化処理を行う。
【００３１】
次に、操作部２３に含まれるシャッタースイッチの状態を監視し、シャッタースイッチの操作途中（例えば半押し）によりＳＷ１がＯＮとなると、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理の動作開始を指示する。その後、シャッタースイッチの操作完了（例えば全押し）でＳＷ２がＯＮとなると、露光処理、現像処理、及び記録処理からなる一連の処理開始を指示する。露光処理において、被写体からの光（被写体像）は交換レンズ２の結像光学系を経て、撮像素子１０上に結像する。撮像素子１０は、例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンの画像を撮影する。単板カラー撮像素子では、この色フィルタを画素毎に空間的に配列し、各画素では各々単一の色プレーンにおける強度が得られる。そのため、撮像素子１０からは色モザイク画像（撮影ＲＡＷ画像）が出力される。
【００３２】
次の現像処理において、撮像素子１０から出力された撮影ＲＡＷ画像の現像を行う。ここで、図４のフローチャート及び図５のブロック図を参照して、撮影ＲＡＷ画像１０１に対する、本第１の実施形態における現像処理について説明する。なお、以下に説明する現像処理は、特に記載しない場合には、信号処理回路２５が実施するものとする。ただし、以下に説明する現像処理の一部を、制御部２１と共同して行うようにすることも可能である。
【００３３】
まず、Ｓ１０におけるＳＤＲ現像処理と、Ｓ１１におけるＨＤＲ現像処理について説明する。ホワイトバランス部１０２では、白として検出された画素の信号を、白を表す信号に補正するホワイトバランス処理が行われる。具体的には、撮影ＲＡＷ画像データを構成する各画素のＲＧＢデータを、例えばｘｙ色空間等の所定の色空間にプロットする。その結果、その色空間上で光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのＲ，Ｇ，Ｂを積分し、その積分値からＲ及びＢ成分のホワイトバランス係数Ｇ／Ｒ及びＧ／Ｂを求める。以上の処理により生成されたホワイトバランス係数を用いて、ホワイトバランス処理を実施する。
【００３４】
色補間部１０３では、色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部１０４、第１のガンマ変換部１０５及び第２のガンマ変換部１０６を経て、基本的なカラー画像が生成される。第１のガンマ変換部１０５はＳＤＲディスプレイ用の現像を想定しており、ガンマ特性としては基本的には一般的なモニタガンマの逆特性となる。一方で、第２のガンマ変換部１０６はＨＤＲディスプレイ用の現像を想定しており、ガンマ特性としては、例えばＳＭＰＴＥ ＳＴ２０８４で規格化されているＰＱ（Perceptual Quantization）やＡＲＩＢ ＳＴＤ−Ｂ６７で開発されたＨＬＧ（Hybrid Log Gamma）の電光変換特性（ＥＯＴＦ：Electro-Optical Transfer Function）の逆特性（光電変換特性、ＯＥＴＦ：Optical-Electro Transfer Function）となる。すなわち、第１のガンマ変換部１０５で用いるガンマ特性に対応するモニタガンマ特性は、第２のガンマ変換部１０６で用いるガンマ特性に対応するモニタガンマ特性よりも、高輝度側の傾きがなだらかである。
【００３５】
その後、ガンマ変換したカラー画像に対し、第１の色輝度調整部１０７及び第２の色輝度調整部１０８で、画像の見栄えを改善するための色輝度調整処理が行われる。例えば、夕景を検出して彩度を強調するといった画像補正がシーンに応じて行われる。第１の色輝度調整部１０７及び第２の色輝度調整部１０８による色輝度調整処理が終わると現像処理が完了し、ＳＤＲ現像画像１０９とＨＤＲ現像画像１１０が生成される。なお、図４では、Ｓ１０でＳＤＲ現像後に、Ｓ１１でＨＤＲ現像を行うものとして記載しているが、上述のように並行して行っても、処理順を逆にしても構わない。
【００３６】
次に、ＳＤＲ輝度算出部１１１において、ＳＤＲ現像画像１０９におけるシーンの平均輝度ＡｖｅＳＢＳＤＲを算出する（Ｓ１２）。シーンの平均輝度は、例えば、次のようにして求める。まず、図６で示すように画像を複数のブロックに分けて、ブロック毎にＲＧＢ値を算出する。そして、全ブロックのＲＧＢ値の平均値を求めるが、この際に、全ブロックのＲＧＢ値を単純に平均しても良いし、画角の中心をピークとした空間的にガウス状に広がった重みを各ブロックに重畳してから、全ブロックの平均値（加重平均値）を取っても良い。その後、算出したＲＧＢ値の平均値を輝度値に換算するが、ＳＤＲ静止画の基準環境として、一般的にはモニタガンマは暗部が直線で明部が２．４のべき乗として扱う。または簡易的に実質２．２のべき乗としても良い。式（３）及び（４）に、ｓＲＧＢ（Ｄ６５）の時の例を示す。
【００３７】
2019004230.tif 000005
また、Ｒ，Ｇ，Ｂが最大値の時のＹが最高輝度であり、これを１００ｎｉｔｓとして、ＳＤＲ観賞時のシーンの平均輝度値に換算する。
【００３８】
次に、ＳＤＲの主被写体の被写体領域の平均輝度ＡｖｅＯＢＳＤＲも同様にして算出する（Ｓ１３）。主被写体の定義としては幾つか考えられるが、例えば、図７に示すように人物を主被写体とするケースが考えられる。人物の特定方法の代表的な方法としては顔を検出する方法があり、Ｈａａｒ−Ｌｉｋｅ特徴量による顔識別など、公知の手法を用いて顔検出を行う。そのようにして特定した顔領域（例えば、図７内の点線領域内）の平均輝度を、前述したシーンの平均輝度と同様の算出方法で、ＳＤＲ観賞時の被写体領域の平均輝度値として算出する。
【００３９】
一方、ＨＤＲ輝度算出部１１２において、ＳＤＲのシーンと同様にして、ＨＤＲ現像画像１１０におけるシーンの平均輝度ＡｖｅＳＢＨＤＲを算出する（Ｓ１４）。ＨＤＲ観賞時のシーンの平均輝度値に換算する前段階、すなわち、ＲＧＢ値の平均値まではＳＤＲと同様の方法で算出するが、その後、ＨＤＲ特性１２０を参照して、観賞時のシーンの平均輝度値に換算する。第２のガンマ変換部１０６でＰＱカーブを使用していた場合は、ＳＭＴＰＥ ＳＴ２０８４で規格化されている以下の式（５）で示されるＥＯＴＦ変換式を用いて絶対輝度Ｌを取得する。
【００４０】
2019004230.tif 000006
ここでＮは入力信号レベル、ｍ１、ｍ２、ｃ１、ｃ２、ｃ３はパラメータである。図８は、ＰＱのＥＯＴＦ特性を示す図である。
【００４１】
また、ＨＤＲ現像画像１１０における被写体領域の平均輝度ＣｕｒｒｅｎｔＡｖｅＯＢＨＤＲもＳＤＲと同様の方法で算出する（Ｓ１５）。なお、平均輝度の算出方法として、一般的には算術平均が用いられるが、極小のピーク輝度に引っ張られる影響があるため、幾何平均を用いた方が人間の知覚にも相性が良く望ましい。
【００４２】
次に、補正データ算出部１１３において、算出されたＳＤＲのシーンの平均輝度ＡｖｅＳＢＳＤＲ、ＳＤＲの被写体領域の平均輝度ＡｖｅＯＢＳＤＲ、ＨＤＲのシーンの平均輝度ＡｖｅＳＢＨＤＲから、目標となるＨＤＲの被写体領域の平均輝度ＡｖｅＯＢＨＤＲを上述した式（２）を用いて算出する。その後、ＨＤＲの被写体領域の平均輝度ＣｕｒｒｅｎｔＡｖｅＯＢＨＤＲと、目標となるＨＤＲの被写体領域の平均輝度ＡｖｅＯＢＨＤＲとから、階調補正データとして、例えば、図９に示すような特性を有する１次元のＬＵＴ（Look Up Table）を生成する（Ｓ１６）。
【００４３】
階調補正部１１４では、補正データ算出部１１３で算出された階調補正データ（ＬＵＴ）を用いて、ＨＤＲ現像画像１１０に対してＬＵＴ変換による階調補正を行う（Ｓ１７）。変換に際しては、ＹＵＶのような輝度成分と色差成分が独立した色空間ではなく、ＲＧＢのような３原色に基づく色空間で変換を行った方が、明るさだけでなく、彩度の補正も同時に行われるため自然な補正が可能となる。以上の処理により、第１の実施形態における現像処理を終了する。
【００４４】
その後、圧縮部１１５により補正されたＨＤＲ現像画像を圧縮し、記録部１１６により記録に適した画像データに変換して、最終的なＨＤＲ現像画像として出力する。なお、不図示ではあるが、ＳＤＲディスプレイ用にＳＤＲ現像画像を出力する場合には、第１の色輝度調整部１０７から出力されたＳＤＲ現像画像１０９を圧縮部１１５に入力し、記録部１１６により記録に適した画像データに変換すればよい。
【００４５】
以上説明したように第１の実施形態によれば、ＳＤＲのシーンの平均輝度及び主被写体輝度とＨＤＲのシーンの平均輝度及び主被写体輝度に基づいて、ＨＤＲの主被写体の輝度を好適に補正することができる。
【００４６】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、ＨＤＲの被写体領域の平均輝度と、目標となるＨＤＲの被写体領域の平均輝度に基づいて階調補正を行っていた。これに対し、以下で説明する第２の実施形態では、高輝度のコントラストをなるべく維持するように、輝度が変わらない領域を階調補正時に加味した点が第１の実施形態と異なる。
【００４７】
なお、第２の実施形態における現像処理の流れは、基本的には図４に示されるフローチャートと同じであり、また、現像処理を行う信号処理回路２５の詳細についても図５と同様である。第１の実施形態と異なるのは、図５のＨＤＲ輝度算出部１１２において、ＨＤＲのシーンの平均輝度を算出する際に、図１０の点線枠内の領域に示されるようなＨＤＲのシーンの高輝度の平均輝度を算出する点である。高輝度の定義としては、例えば、ＳＤＲでの１００％反射率である１００ｎｉｔｓを閾値として、この閾値以上の輝度を高輝度とする。なお、この閾値は適宜定めればよい。具体的には、第１の実施形態のＨＤＲのシーンの平均輝度算出と同様の処理を行えばよいが、式（５）で算出されたブロック毎の絶対輝度のうち、第２の実施形態では、更に、予め設定しておいた高輝度領域の閾値（例えば１００ｎｉｔｓ）を越えたブロックのみから平均輝度を取得する。
【００４８】
以上のようにして求めたＨＤＲの高輝度領域の平均輝度ＡｖｅＨｉＨＤＲを不動点として、これよりも高輝度側を補正しない、図１１で示すような階調補正特性を生成し、階調補正部１１４で適用する。第２の実施形態における懸念点としては、ＨＤＲの被写体領域の目標平均輝度ＡｖｅＯＢＨＤＲとＨＤＲの高輝度領域の平均輝度ＡｖｅＨｉＨＤＲの輝度差が小さいシーンの場合、図１１に示す１次元のＬＵＴによる変換ではコントラストが低下してしまうことが挙げられる。そこで、計算時間はかかるが、例えば、１次元のＬＵＴではなくて、Ｒｅｔｉｎｅｘなどに代表されるローカルトーンマッピングの手法により、局所コントラストを維持したまま階調補正をする手法を用いても構わない。
【００４９】
上記の通り本第２の実施形態によれば、第１の実施形態に比べて、ＨＤＲで拡大した高輝度のコントラストを維持しつつ、主被写体を目標輝度まで上げることができる。
【００５０】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第１の実施形態および第２の実施形態では、ＳＤＲディスプレイの最高輝度として１００ｎｉｔｓを想定していたが、市場にはＳＤＲでも５００ｎｉｔｓなど明るい輝度に対応したものがあり、実使用上１００ｎｉｔｓの想定では暗く感じてしまう場合がある。これに対して、第３の実施形態では、ＳＤＲディスプレイの最高輝度を外部設定とし、またＨＤＲディスプレイでの適正露出をＳＤＲディスプレイの最高輝度に基づいて設定させる点が第１及び第２の実施形態と異なる。
【００５１】
図１２は、第３の実施形態における信号処理回路の機能構成を示すブロック図である。第１の実施形態で説明した図５と比較して、ＳＤＲ特性１１８が追加されている。また、詳細は後述するが、第３の実施形態では、補正データ算出部１１３により生成された階調補正データを用いて、第３のガンマ変換部１２１によりＨＤＲディスプレイ用のガンマ変換を行う。第３の実施形態では、図２の操作部２３を介して図１３のようにＳＤＲの白色点の輝度、色温度、ガンマなどを設定し、その結果を図１２のＳＤＲ特性１１８として保持しておく。そして、ＳＤＲ輝度算出部１１１において、式（３）で用いるガンマ値に、ユーザー設定のガンマを参照する。同様に、式（４）で用いるＲＧＢからＸＹＺへの変換マトリクス係数にユーザー設定の白色点の色温度を参照し、更に、算出したＹ値から絶対輝度への算出にユーザー設定の輝度値を参照することで、実際の想定使用に応じたＳＤＲ輝度の算出が可能となる。ユーザー設定された、ＳＤＲのピーク信号値である１００％に対応付けられた最高輝度を、ＨＤＲ輝度算出部１１２にも反映する必要がある。例えば、適正露出である１８％に対応する絶対輝度をＨＤＲでも維持するように補正データ算出部１１３で階調補正データを算出することで、ＳＤＲとＨＤＲの適正露出付近の被写体の感覚的な明るさを同等とすることが可能となる。
【００５２】
ＨＤＲの絶対輝度の算出方法としては、上述した第１及び第２の実施形態では、ＳＭＴＰＥ ＳＴ２０８４での規格を用いて実施したが、ＡＲＩＢ標準規格ＳＴＤ-Ｂ６７によるＨＬＧ（Hybrid Log-Gamma）により実施しても構わない。その場合、以下の式（６）で示されるような変換
【００５３】
2019004230.tif 000007
の逆変換を利用して輝度Ｅを算出すればよい。なお、式（６）において、Ｅ‘は入力信号レベルで、ａ，ｂ，ｃは係数である。
【００５４】
第３のガンマ変換部１２１では、第２のガンマ変換部１０６で用いるガンマ特性（変換データ）に、補正データ算出部１１３で生成された階調補正データをアドオン（合成）した特性を用いて、マトリクス変換部１０４から出力された画像をガンマ変換する。このように、生成した階調補正データを第３のガンマ変換部１２１に反映させることにより、目標の明るさまで１回のガンマで実現できることになり、量子化誤差などの劣化を抑えることができる。
【００５５】
こうして得られた画像データに対し、第３の色輝度調整部１２２により、第２の色輝度調整部１０８と同様の色輝度調整処理を行い、圧縮部１１５により圧縮し、記録部１１６により記録に適した画像データに変換して、最終的なＨＤＲ現像画像として出力する。
【００５６】
上記の通り本第３の実施形態によれば、ＳＤＲの想定環境が変更した場合に、ＳＤＲコンテンツとＨＤＲコンテンツの適正露出の絶対輝度を合わせた上で、ＨＤＲの主被写体の輝度を好適に補正することができる。
【００５７】
＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５９】
１０５：第１のガンマ変換部、１０６：第２のガンマ変換部、１０７：第１の色輝度調整部、１０８：第２の色輝度調整部、１１１：ＳＤＲ輝度算出部、１１２：ＨＤＲ輝度算出部、１１３：補正データ算出部、１１４：階調補正部、１１８：ＳＤＲ特性、１２０：ＨＤＲ特性、１２１：第３のガンマ変換部、１２２：第３の色輝度調整部
【図１】
2019004230.tif 000008
【図２】
2019004230.tif 000009
【図３】
2019004230.tif 000010
【図４】
2019004230.tif 000011
【図５】
2019004230.tif 000012
【図６】
2019004230.tif 000013
【図７】
2019004230.tif 000014
【図８】
2019004230.tif 000015
【図９】
2019004230.tif 000016
【図１０】
2019004230.tif 000017
【図１１】
2019004230.tif 000018
【図１２】
2019004230.tif 000019
【図１３】
2019004230.tif 000020
【図１４】
2019004230.tif 000021