(57)【要約】【課題】高感度画像、低感度画像、と合成画像を表示画面に並べて表示させるとともに、完成画像にユーザの意図した階調変更を容易に行うことができる。【解決手段】操作画面３１のプレビュー画面３３、３４には、高感度画像データと低感度画像データからなる高感度画像と低感度画像が表示されている。プレビュー画面３５には、高感度画像データと低感度画像データから画像合成された合成画像が表示されている。高感度画像と低感度画像の階調補正部３６，３７のトーンカーブ３６ａ、３７ａを、ポインタ４１で変形させて階調補正を行う。プレビュー画面３３〜３５には、階調補正された高感度画像、低感度画像、と合成画像が随時更新されて表示される。【選択図】        図３
2004349842.tif 000002
【特許請求の範囲】
【請求項１】
一画素内に高感度受光部と低感度受光部とを有した撮像素子によって得られる高感度画像データと低感度画像データとが合成されて生成される合成画像に階調補正を行う合成画像の補正方法であって、
前記高感度画像データからの高感度画像、低感度画像データからの低感度画像と、前記合成画像を表示画面に並べて表示し、
前記低感度画像を表示させる際には、低感度画像の低輝度部を可視確認できるように輝度を上げ、
前記高感度画像と低感度画像に対して各々個別に階調補正を行うために、表示画面内で移動操作される補正用オブジェクトを表示し、
前記補正用オブジェクトの移動量に応じた階調補正を加えた高感度画像と低感度画像を更新させて表示し、
前記階調補正後の高感度画像データと低感度画像データを合成した補正後の合成画像を更新させて表示することを特徴とする合成画像の補正方法。
【請求項２】
前記補正用オブジェクトがマウス等の操作手段によって任意の個所で傾きが変えられるガンマ曲線であることを特徴とする請求項１記載の合成画像の補正方法。
【請求項３】
一画素内に高感度受光部と低感度受光部とを有した撮像素子によって得られる高感度画像データと低感度画像データとが合成されて生成される合成画像に階調補正を行う合成画像の補正プログラムであって、
前記高感度画像データからの高感度画像、低感度画像データからの低感度画像と、前記合成画像を表示画面に並べて表示するステップと、
前記低感度画像を表示させる際には、低感度画像の低輝度部を可視確認できるように輝度を上げるステップと、
前記高感度画像と低感度画像に対して各々個別に階調補正を行うために、表示画面内で移動操作される補正用オブジェクトを表示するステップと、
前記補正用オブジェクトの移動量に応じた階調補正を高感度画像と低感度画像の各々に加えるステップと、
前記階調補正が加えられた高感度画像と低感度画像を更新させて表示するステップと、
前記階調補正後の高感度画像データと低感度画像データを合成し、補正後の合成画像を更新させて表示するステップとをコンピュータに実行させることを特徴とする合成画像の補正プログラム。
【請求項４】
前記補正用オブジェクトはマウス等の操作手段によって任意の個所で傾きを変えられるガンマ曲線であることを特徴とする請求項３記載の合成画像の補正プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、高感度画像データと低感度画像データの合成によって生成された合成画像の階調補正を行うものである。
【０００２】
【従来の技術】
デジタルカメラ等に用いられているＣＣＤイメージセンサなどの撮像素子は、一般的に写真フイルムと比較して輝度信号の再現能力を表すダイナミックレンジ（再現可能な最小値と最大値の比率）が狭い。そのため、高い感度で撮影された高感度画像では高輝度域が白飛びしたり、低い感度で撮影した低感度画像では低輝度域が黒くつぶれてしまうことがある。そこで、高感度画像の高感度画像データと低感度画像の低感度画像データとの２種類のデータを画像合成することにより、広いダイナミックレンジを持つ合成画像を得る方法がある。
【０００３】
その一例として図７（Ａ）に示すように、１画素７１中に高感度受光部の主画素７１ａと、低感度受光部の副画素７１ｂとから構成された特殊なＣＣＤイメージセンサ７０を使用して高感度画像データと低感度画像データをそれぞれ取り込む方法がある。図７（Ｂ）のグラフに示すように、主画素７１ａは感度が高いため、副画素７１ｂと比較して少ない入射光量で飽和する。他方、副画素７１ｂは感度が低いため、主画素７１ａよりも多い入射光量で飽和する。これにより、主画素７１ａからは前記高感度画像データを、副画素７１ｂからは前記低感度画像データをそれぞれ取り出すことができる。
【０００４】
そして、画像合成を実行させる画像処理プログラムがインストールされたパーソナルコンピュータ（以下、パソコンという）に高感度画像データと低感度画像データが転送されて画像合成処理が行われる。この画像合成処理では、高感度画像データ及び低感度画像データのそれぞれの輝度値に基づいて予め定められたパラメータによって自動的に画像合成が行われる。そために、プロカメラマンやハイアマチュアなどのカメラユーザが望む細かいコントラストを合成画像で再現することができない。従って、前記カメラユーザは各画像データに各種補正処理を行うことで、自分の意図した合成画像を生成したいという要望がある。このような要望に答えるために、例えば、階調補正を行う補正パラメータをテーブル化したＬＵＴ（ルックアップテーブル）を使用して、高感度画像データと低感度画像データもしくは画像合成された合成画像データに階調補正処理が行なわれる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記したように画像合成する前の高感度画像データ及び低感度画像データに階調補正を行う際には、高感度画像と低感度画像とを交互にパソコンの画面などに表示させて階調補正を行った後で合成画像を確認している。そのため、ユーザの意図を正確に反映した合成画像を生成するためには、高感度画像と低感度画像を繰り返し表示させて階調補正した後に、合成画像の確認を行わなければならないので、手間がかかるとともに作業性も悪い。また、合成画像に階調補正を行う際には、合成画像データには低輝度域と高輝度域のデータが含まれているので階調補正が複雑になる。そのため、ユーザの意図を正確に反映した合成画像を得るのが難しいという問題があった。
【０００６】
また、低感度画像は、画像が暗いためにＬＵＴ等を使用して階調補正をしても、補正効果が可視的に分かりにくいという問題もある。
【０００７】
本発明は、高感度画像と低感度画像と合成画像を同時に表示させるとともに、ユーザの意図を反映できる合成画像を容易に生成できる合成画像の補正方法及びプログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の合成画像の補正方法は、一画素内に高感度受光部と低感度受光部とを有した撮像素子によって得られる高感度画像データと低感度画像データとが合成されて生成される合成画像に階調補正を行う合成画像の補正方法であって、前記高感度画像データからの高感度画像、低感度画像データからの低感度画像と、前記合成画像を表示画面に並べて表示し、前記低感度画像を表示する際には、低感度画像の低輝度部を可視確認できるように輝度を上げて表示し、前記高感度画像と低感度画像に対して各々個別に階調補正を行うために、表示画面内で移動操作される補正用オブジェクトを表示し、前記補正用オブジェクトの移動量に応じた階調補正を加えた高感度画像と低感度画像を更新して表示し、前記階調補正後の高感度画像データと低感度画像データを合成した補正後の合成画像を更新して表示するものである。なお、前記補正用オブジェクトがマウス等の操作手段によって任意の個所で傾きが変えられるガンマ曲線であることが好ましい。
【０００９】
また、本発明の合成画像の補正プログラムは、一画素内に高感度受光部と低感度受光部とを有した撮像素子によって得られる高感度画像データと低感度画像データとが合成されて生成される合成画像に階調補正を行う合成画像の補正プログラムであって、前記高感度画像データからの高感度画像、低感度画像データからの低感度画像と、前記合成画像を表示画面に並べて表示するステップと、前記低感度画像を表示させる際には、低感度画像の低輝度部を可視確認できるように輝度を上げるステップと、前記高感度画像と低感度画像に対して各々個別に階調補正を行うために、表示画面内で移動操作される補正用オブジェクトを表示するステップと、前記補正用オブジェクトの移動量に応じた階調補正を高感度画像と低感度画像の各々に加えるステップと、前記階調補正が加えられた高感度画像と低感度画像を更新させて表示するステップと、前記階調補正後の高感度画像データと低感度画像データを合成し、補正後の合成画像を更新させて表示するステップとをコンピュータに実行させるものである。なお、前記補正用オブジェクトはマウス等の操作手段によって任意の個所で傾きを変えられるガンマ曲線であることが好ましい。
【００１０】
【発明の実施の形態】
図１に示すデジタルカメラ１０は、ＣＣＤイメージセンサとして、上述した特殊なＣＣＤイメージセンサ７０（図７参照）を備えており、このＣＣＤイメージセンサ７０によって、高感度画像データと低感度画像データのそれぞれを取り込む。また、デジタルカメラ１０は、ＣＣＤ−ＲＡＷ記録モードと通常記録モードを備えている。ＣＣＤ−ＲＡＷ記録モードでは、ＣＣＤイメージセンサ７０から出力されるアナログの撮像信号をＡ／Ｄコンバータによってデジタルデータに変換した直後のデータであるＣＣＤ−ＲＡＷデータ（生データ）が、カメラ内部で画像処理がなされずに、高感度画像データと低感度画像データは一つの画像ファイル１１ａ内に格納されて、ストレージメディア１１に記録される。また、通常記録モードでは、高感度画像データと低感度画像データに予め定められたゲイン補正やガンマ補正等の各種補正処理がカメラ本体内で行なわれ、ＪＰＥＧやＴＩＦＦ形式などの一般的な画像ファイル１１ｂとしてストレージメディア１１に記録される。そして、これらの各画像ファイルはそれぞれ識別できるように異なる拡張子が付与される。
【００１１】
ＣＣＤ−ＲＡＷデータは、汎用的な画像処理プログラムでは再生することができないので、専用の画像処理プログラムがインストールされたパソコン１２に取り込まれて各種の画像処理が実行されて再生される。パソコン１２は、コンピュータ本体１３と、画面１４と、キーボード１６及びマウス１７などの入力装置１８からなる。
【００１２】
図２に示すように、コンピュータ本体１３には、ＣＰＵ２１，ＲＡＭ２２，ハードディスクドライブで構成されるデータストレージ２３，通信Ｉ／Ｆ２４からなる。通信Ｉ／Ｆ２４は、通信ケーブルを介してデジタルカメラ１０と接続して、カメラ本体にセットされたストレージメディア１１からコンピュータ本体１３内に画像ファイルを取り込む画像入力手段である。ＲＡＭ２２は、ＣＰＵ２１が処理を実行する際の作業用のメモリである。
【００１３】
データストレージ２３には、画像処理プログラムであるＣＣＤ−ＲＡＷアプリケーション２６がインストールされている。このＣＣＤ−ＲＡＷアプリケーション２６で生成された合成画像は、データストレージ２３に出力される。ＣＣＤ−ＲＡＷアプリケーション２６は、プログラム本体２７，ＬＵＴ２８，操作画面データ３０などからなる。
【００１４】
このＣＣＤ−ＲＡＷアプリケーション２６は、ＣＣＤ−ＲＡＷデータを記録した画像ファイル１１ａとＪＰＥＧ及びＴＩＦＦ形式のデータを記録した画像ファイル１１ｂとを識別するデータ種識別と、ユーザーの指定に応じて階調補正処理の処理条件を設定する処理条件設定と、設定された処理条件に従って階調補正処理を実行する。更に、高感度画像データと低感度画像データとを画像合成させて広いダイナミックレンジを持つ合成画像を生成するための画像合成処理などをＣＰＵ２１に実行させる。なお、データ種の識別は、例えば、各ファイルの拡張子に基づいて行われる。
【００１５】
ＬＵＴ２８には、高感度用ＬＵＴ２８ａ、低感度用ＬＵＴ２８ｂが格納されており、高感度用ＬＵＴ２８ａと低感度用ＬＵＴ２８ｂは、高感度画像データ及び低感度画像データに階調補正を行う際の補正パラメータをテーブル形式に格納したものである。これらの各ＬＵＴは、必要に応じてＲＡＭ２２にロードされて使用される。補正パラメータとしては予め所定の既定値が設定されている。また、この補正パラメータは、ＣＣＤ−ＲＡＷアプリケーション２６の処理条件設定によって変更が可能である。そして、ＣＣＤ−ＲＡＷアプリケーション２６は変更された処理条件に従って各補正処理を実行する。
【００１６】
図３に示すように、ＣＣＤ−ＲＡＷアプリケーション２６は、画面１４に表示された操作画面３１を通じて各種の操作指示を受け付けるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を採用している。ＣＣＤ−ＲＡＷアプリケーション２６は、ＣＣＤ−ＲＡＷデータが記録された画像ファイル１１ａを選択することで起動し、操作画面３１が画面１４に表示される。
【００１７】
プレビュー画面３３、３４には、ＣＣＤ−ＲＡＷアプリケーション２６によって既定のゲイン補正及びガンマ補正が行われた高感度画像データと低感度画像データからなる高感度画像と低感度画像が表示される。なお、低感度画像データには低感度画像の低輝度部をプレビュー画面３４で可視確認できるように輝度を上げる表示用ゲイン補正と画像合成するためのゲイン補正の２種類のゲイン補正が行われる。そして、プレビュー画面３５には、ゲイン補正５０ａ、５０ｂ及びガンマ補正５１ａ、５１ｂが行われた高感度画像データと低感度画像データに基づいて画像合成処理５４された合成画像が表示される。プレビュー画面３３、３４の下には、高感度用ＬＵＴ２８ａと低感度用ＬＵＴ２８ｂによって高感度画像データと低感度画像データに階調補正を行う階調補正部３６、３７が設けられている。
【００１８】
階調補正部３６，３７には、横軸と縦軸に入力信号レベルと出力信号レベルを取ったガンマ曲線としてトーンカーブ３６ａ、３７ａが表示される。このトーンカーブ３６ａ、３７ａは、マウス１７のポインタ４１を曲線の各部に合わせてドラッグすることで変形される。これにより、予め設定されていた補正パラメータの既定値が変更される。例えばトーンカーブ３６ａのように山形の形状にすると、プレビュー画面３３に表示された高感度画像の低輝度部分が強調される。また、トーンカーブ３７ａのように逆山形の形状にすると、プレビュー画面３４の低感度画像の高輝度部分が強調される。このトーンカーブ３６ａ、３７ａの形状によって、入力信号の各輝度域に対して割り当てられる出力信号の階調幅が決まるので、トーンカーブ３６ａ、３７ａの形状を補正することにより、各輝度域のコントラストを調節することができる。
【００１９】
したがって、トーンカーブ３６ａ、３７ａが変形されると、高感度画像データ及び低感度画像データは変形された処理条件に基づいて階調補正が行われ、プレビュー画面３３，３４には階調補正処理された高感度画像及び低感度画像が更新されて表示される。更に、階調補正された高感度画像データ及び低感度画像データに基づいて画像合成処理された合成画像も、プレビュー画面３５に随時更新されて上記の高感度画像と低感度画像と一緒に表示される。
【００２０】
プレビュー画面３５の合成画像の下には、変更された補正パラメータを確定する決定ボタン４３と、補正パラメータを変更前の既定値に戻すためのキャンセルボタン４４とが設けられている。マウス１７で決定ボタン４３をクリック操作すると、ＣＣＤ−ＲＡＷアプリケーション２６は、ユーザーによって変形されたトーンカーブ３６ａ、３７ａに応じて、各ＬＵＴの補正パラメータの値を確定する。キャンセルボタン４４が押されると、補正パラメータは予め設定されていた既定値に戻るとともに、プレビュー画面３３〜３５の各画像も更新前の画像に戻される。
【００２１】
図４は、高感度画像と低感度画像とを画像合成処理するプロセスを示す。画像ファイル１１ａが選択されてＣＣＤ−ＲＡＷアプリケーション２６が起動すると、高感度画像データはゲイン補正処理５０ａが行われ、低感度画像データはゲイン補正処理５０ｂ、５０ｃが行われる。ゲイン補正処理５０ｂは画像合成するためのもので、表示用ゲイン補正５０ｃは低感度画像の低輝度部をプレビュー画面３４で可視確認できるように輝度を上げて表示させるためのものである。そして、ゲイン補正５０ａ〜５０ｃの行われた高感度画像データと低感度画像データは、それぞれガンマ補正処理５１ａ、５１ｂが行われる。すると、プレビュー画面３３、３４には高感度画像と表示用のゲイン補正された低感度画像が表示される。なお、ゲイン補正５０ｂが行われた低感度画像データは画像合成処理５４に送られる。
【００２２】
ガンマ補正５１ａ、５１ｂが行われた高感度画像データと低感度画像データには、画像合成処理５４が行われて合成画像データが生成される。この合成画像データは、画素配置処理５５、輪郭補正処理５６、色補正処理５７等の各種補正処理が行われて表示処理５２によって、プレビュー画面３５に合成画像が表示される。
【００２３】
上記画像合成処理５４は、ガンマ補正処理５１ａ、５１ｂが行われた高感度画像データと低感度画像データとを次の数式１に基づいて画素単位に合成し、出力する。
【００２４】
【数１】
2004349842.tif 000003
【００２５】
上記数式（１）中のｄａｔａは合成された合成画像データ、ｈｉｇｈはガンマ補正後の高感度画像データ、ｌｏｗはガンマ補正後の低感度画像データ、ｔｈは一定の閾値、Ｐはトータルゲイン、ｌｇａｉｎ、ｈｇａｉｎはゲイン補正する際の高感度画像と低感度画像のゲインの値を示している。なお、式（１）中で使用されているＭＩＮ、ＭＡＸは演算子であり、ＭＩＮ（ｈｉｇｈ／ｔｈ，１）はｈｉｇｈ／ｔｈ及び１のうち小さい方の数が、ＭＡＸ（−０．２（ｈｉｇｈ／ｔｈ，１）＋１，Ｐ）は−０．２（ｈｉｇｈ／ｔｈ，１）＋１及びＰのうち大きい方の数が演算の解である。
【００２６】
トータルゲインＰは、加算データ全体に対するゲインであり、これを変化させることによりダイナミックレンジの制御を行う。トータルゲインＰの値が小さいほどダイナミックレンジは広く、大きいほどダイナミックレンジは狭くなる。具体的には、コントラストの高いシーン（真夏の晴天など）では、Ｐ＝０．８、曇りや日陰ではＰ＝０．８６、室内蛍光灯下ではＰ＝０．９というように、シーンに応じてＰの値を変化させる。これにより、ガンマ補正後のデータが１２ビットデータである場合、１２ビット階調値をより有効に使用できる。
【００２７】
Ｐの値は、デジタルカメラ１０自体が各種センサの検出値に基づいて撮像画像のシーンを自動判別して自動的に設定してもよく、また、ユーザが予めデジタルカメラ１０にシーンの種類を指定することで設定することもできる。
【００２８】
Ｐの値を変えたときのダイナミックレンジの変化の様子を示す図５において、トータルゲインＰの値を大きくしたときの特性線イはダイナミックレンジが小さく、トータルゲインＰの値を小さくしていくと、ダイナミックレンジが大きい特性線ロまで変化する。
【００２９】
そして、ユーザが階調補正処理５３ａ、５３ｂを行う際には、プレビュー画面３３〜３５に表示された高感度画像、低感度画像と合成画像を見ながら、高感度画像と低感度画像に対応したトーンカーブ３６ａ、３７ａを変形させて階調補正処理５３ａ、５３ｂを行う。階調補正処理５３ａ、５３ｂが行われた高感度画像と低感度画像は表示処理５２が行われて、それぞれプレビュー画面３３、３４に更新して表示される。更に、トーンカーブ３７ａ、３７ａによって階調補正処理５３ａ、５３ｂが行われた高感度画像データと低感度画像データは画像合成処理５４に送られて、合成画像データが生成される。この合成画像データには、上述した各種画像処理５５〜５７が行われて表示処理５２によって、合成画像がプレビュー画面３５に更新されて表示される。
【００３０】
以下、上記構成による作用について、図６のフローチャートを参照しながら説明する。デジタルカメラ１０のＣＣＤ−ＲＡＷ記録モードで記録された画像ファイル１１ａを選択して起動指示が与えられると、ＣＣＤ−ＲＡＷアプリケーション２６が起動する。ＣＣＤ−ＲＡＷアプリケーション２６が起動すると、画像ファイル１１ａ内の高感度画像データと低感度画像データの各々にゲイン補正５０ａ〜５０ｃが行われた後、予め設定された補正パラメータによってガンマ補正処理５１ａ、５１ｂが行われる。
【００３１】
そして、画面１４に操作画面３１を表示する。プレビュー画像３３、３４には、高感度画像データからなる高感度画像と表示用ゲイン補正５０ｃが行われた低感度画像データからなる低感度画像が表示される。階調補正部３６，３７には、高感度画像と低感度画像に対応したトーカーブ３６ａ、３７ａがそれぞれ表示される。プレビュー画像３５には、高感度画像データと低感度画像データに基づいて画像合成処理され、その後、各種補正処理が施された合成画像が表示される。ユーザは、プレビュー画像３３、３４の高感度画像と低感度画像とを見ながら、マウス１７でガンマ曲線３６ａ、３７ａを変形させて階調補正を行い、自分の意図する合成画像ができるまで階調補正を繰り返す。この時、階調補正された高感度画像及び低感度画像は随時更新されプレビュー画面３３、３４に表示されると共に、階調補正された高感度画像データ及び低感度画像データに基づいて画像合成された合成画像も、プレビュー画面３５に同時に更新されて表示される。そして、所望の合成画像が生成されると、操作画面３１の決定ボタン４３によってユーザの指定に応じて変形された階調補正の補正パラメータが確定されて、合成画像がデータストレージ２３に出力される。
【００３２】
このように、画像合成処理する前の高感度画像と低感度画像を階調補正処理することで、ユーザの意図が正確に反映された合成画像を生成することができる。更に、高感度画像、低感度画像と、合成画像が画面１４に同時に表示されるので階調補正や合成画像の確認作業も容易である。また、暗くて見にくい低感度画像の低輝度部を可視確認できるようにゲイン補正を行ってから画面に表示させているので、階調補正による画像の補正効果が可視的に分かりやすくなった。
【００３３】
上記実施形態では、画像処理プログラムをパソコンにインストールした形態で説明しているが、本発明の画像処理方法は、この形態に限られず、例えば、専用の画像処理装置によって実現したり、また、画像処理プログラムをデジタルカメラ本体に組み込んで、デジタルカメラで実現するなど、種々の形態に適用可能である。
【００３４】
【発明の効果】
以上に述べたように、本発明によれば、高感度画像データと低感度画像データから画像合成を行って合成画像を生成し、高感度画像、低感度画像、及び合成画像を画面に並べて表示させて、高感度画像と低感度画像の階調補を行うとともに、階調補正を行った各画像を更新させて表示させたので、ユーザの意図を正確に反映する合成画像を容易に生成することができる。
【００３５】
更に、画面に低感度画像の低輝度部を可視確認できるように輝度を上げて表示したので、低感度画像の階調補正による補正効果を可視的に確認できて、階調補正が行いやすくなった。
【図面の簡単な説明】
【図１】ＣＣＤ−ＲＡＷデータの再生方法の説明図である。
【図２】ＣＣＤ−ＲＡＷアプリケーションとそれがインストールされたパーソナルコンピュータの構成図である。
【図３】ＣＣＤ−ＲＡＷアプリケーションの操作画面の説明図である。
【図４】高感度画像データと低感度画像データの画像処理プロセスの説明図である。
【図５】ダイナミックレンジの変化の様子を示すグラフである。
【図６】ＣＣＤ−ＲＡＷアプリケーションを使用してＣＣＤ−ＲＡＷデータから合成画像を生成する手順を示すフローチャートである。
【図７】広いダイナミックレンジを持つ画像を生成可能なＣＣＤイメージセンサの説明図である。
【符号の説明】
１０  デジタルカメラ
１１  ストレージメディア
１２  パソコン
２６  ＣＣＤ−ＲＡＷアプリケーション
２８  ＬＵＴ
７０  ＣＣＤイメージセンサ
【図１】
2004349842.tif 000004
【図２】
2004349842.tif 000005
【図３】
2004349842.tif 000006
【図４】
2004349842.tif 000007
【図５】
2004349842.tif 000008
【図６】
2004349842.tif 000009
【図７】
2004349842.tif 000010