(57)【要約】【課題】低感度画像と高感度画像との使用割合が明瞭に分かる表示を行う。【解決手段】ＣＣＤ−ＲＡＷアプリケーションは、メモリカードからＪＰＥＧ画像データとＣＣＤ−ＲＡＷデータを読み込み、ＪＰＥＧ画像から完成画像６２〜６５をディスプレイ画面５６ａの左側のウインドウ６１にサムネイル表示するとともに右側のウインドウ６６の左半分に完成画像６２を拡大表示する。完成画像６２の右隣にＣＣＤ−ＲＡＷデータから参照画像６８を表示する。参照画像６８は、完成画像６２の輝度データから抽出された輪郭画像データに基づいて表示される輪郭画像７１と、完成画像６２を作成するために使用された低感度画像データの高感度画像データに対する各ドット毎の割合を色の変化で示す割合表示画像７２とを重ね合わせて表示される。完成画像６２の作成に用いられる閾値等をユーザが変更すると、直ちに完成画像６２及び参照画像６８の各描画に反映される。【選択図】        図８
2004247873.tif 000002
【特許請求の範囲】
【請求項１】
高い感度で撮像された高感度画像データと低い感度で撮像された低感度画像データとを画像合成して得られる完成画像を表示手段の画面に表示する完成画像表示ステップと、前記低感度画像データと高感度画像データとの使用割合を視覚的に表す参照画像を表示手段の画面に表示する参照画像表示ステップとを中央処理装置に実行させることを特徴とする画像表示プログラム。
【請求項２】
前記参照画像は、前記完成画像に並列して表示されることを特徴とする請求項１記載の画像表示プログラム。
【請求項３】
高い感度で撮像された高感度画像データと低い感度で撮像された低感度画像データとを画像合成して得られる完成画像を表示手段の画面に表示する完成画像表示ステップと、前記高感度画像データに基づいて高感度画像を表示するとともにこの中に低感度画像データを合成すべき部位を表示する高感度画像表示ステップと、前記低感度画像データに基づいて低感度画像を表示する低感度画像表示ステップとを中央処理装置に実行させることを特徴とする画像表示プログラム。
【請求項４】
前記完成画像，高感度画像及び低感度画像は、互いに並列して表示されることを特徴とする請求項３記載の画像表示プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像表示プログラムに関し、更に詳しくは低感度画像と高感度画像との使用割合を視覚的に分かりやすく表示する画像表示プログラムに関するものである。
【０００２】
【従来の技術】
デジタルカメラで、例えば室内風景を撮影した場合、室内にいる人物は適正露光になっても、窓から見える青い空が白飛びし、全体としては不自然な画像になる場合がある。これは画像のダイナミックレンジが狭いためであり、この対策として、従来から、２枚の画像を撮影して画像合成を行う方法が知られている。
【０００３】
例えば、高速シャッタを切って１枚目の短時間露光画像（低感度画像）を撮影し、続いて低速シャッタを切って２枚目の長時間露光画像（高感度画像）を撮影し、これら２枚の画像を合成することで、低感度画像中に写っている窓の外の風景が、室内風景が良く写っている高感度画像に重なるようにしている。
【０００４】
例えば、特許文献１に記載の画像処理方法では、２枚の画像を合成する際に、動きのある被写体部分が低感度画像と高感度画像とでピッタリ一致しないため、マスクを使って部分ごとに低感度画像と高感度画像との置き換えを行って、画像合成を行うようにしている。
【０００５】
【特許文献１】
特開２０００−３０７９６３
【０００６】
【発明が解決しようとする課題】
上記特許文献１記載の画像処理方法では、画像合成によって得られた完成画像がユーザの好みやニーズに合わない場合もあり得るが、低感度画像と高感度画像との画像合成において、どのような割合で低感度画像と高感度画像とを使用しているのか（使用割合）をユーザが把握したり、変更することができないという問題点があった。
【０００７】
本発明は、上記問題点を解決するためのもので、低感度画像と高感度画像との使用割合が明瞭に分かるような表示を行う画像表示プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記問題点を解決するために、本発明の画像表示プログラムは、高い感度で撮像された高感度画像データと低い感度で撮像された低感度画像データとを画像合成して得られる完成画像を表示手段の画面に表示する完成画像表示ステップと、前記低感度画像データと高感度画像データとの使用割合を視覚的に表す参照画像を表示手段の画面に表示する参照画像表示ステップとを中央処理装置に実行させるものである。また、前記参照画像は、前記完成画像に並列して表示されるものである。
【０００９】
また、高い感度で撮像された高感度画像データと低い感度で撮像された低感度画像データとを画像合成して得られた完成画像を表示手段の画面に表示する完成画像表示ステップと、前記高感度画像データに基づいて高感度画像を表示するとともにこの中に低感度画像データを合成すべき部位を表示する高感度画像表示ステップと、前記低感度画像データに基づいて低感度画像を表示する低感度画像表示ステップとを中央処理装置に実行させるものである。また、前記完成画像，高感度画像及び低感度画像は、互いに並列して表示されるものである。
【００１０】
【発明の実施の形態】
本発明の一実施形態に係るデジタルカメラの構成を示す図１において、撮影レンズ１０と固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６および受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し、絞り１２の開口量を制御して露光量が適正となるように調整する。
【００１１】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。
【００１２】
デジタルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタルの画像データに変換するＡ／Ｄ変換器２３とを備え、これらはＣＰＵ１５によって制御される。なお、Ａ／Ｄ変換器２３から出力される画像データは、１２ビットのＲＡＷデータ（生データ）である。
【００１３】
更に、このデジタルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算してホワイトバランスのゲインを調整させる積算部２８と、メモリカード２９が着脱自在に接続される外部メモリ制御部３０と、カメラ背面に搭載された液晶モニタ３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００１４】
固体撮像素子１１の一部を拡大して示す図２において、固体撮像素子１１は、いわゆるハニカム型ＣＣＤ（例えば特開平１０−１３６３９１号公報に記載）であり、光電変換素子である各画素１の受光部２が八角形をしている。各受光部２は、面積の約１／５を占める低感度部３と、残りの約４／５を占める高感度部４とからなる。固体撮像素子１１では、各低感度部３の信号電荷と、各高感度部４の信号電荷とを区別して垂直方向に転送する垂直転送路（図示せず）に読み出して転送することができるようになっている。
【００１５】
デジタル信号処理部２６は、図３に示すように、高感度画像信号（高感度部４から得られた画像信号）と低感度画像信号（低感度部３から得られた画像信号）とを各々ガンマ補正した後に加算処理する対数加算方式を採用している。すなわち、デジタル信号処理部２６は、Ａ／Ｄ変換器２３から出力される高感度画像，低感度画像の各ＲＧＢ色信号に対して、それぞれオフセット処理を行うオフセット補正回路４１ａ，４１ｂと、このオフセット補正回路４１ａ，４１ｂの出力信号のホワイトバランスをとるゲイン補正回路４２ａ，４２ｂと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ａ，４３ｂとを備えている。なお、前記オフセット処理とは、映像信号にオフセットレベル（閾値）を設定し、そのレベル以上の信号を増強することによりコントラストの低い映像のコントラストを高め、鮮明な映像に変換する処理である。
【００１６】
また、デジタル信号処理部２６は、ガンマ補正回路４３ａ，４３ｂの両出力信号を取り込んで画像合成処理を行う画像合成処理回路４４と、画像合成後のＲＧＢ色信号を補間演算して各受光部位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算回路４５と、ＲＧＢ色信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４６と、輝度信号Ｙと色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４８と、色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４９とを備える。
【００１７】
ＲＧＢ補間演算回路４５は、各画素１からはＲ，Ｇ，Ｂのうち一色の信号のみが出力されるため、他の色、すなわちＲを出力する画素では、この受光部位置においてＧ，Ｂの色信号がどの程度になるかを周りの画素のＧ，Ｂ信号から補間演算により求める。
【００１８】
前記画像合成処理回路４４は、ガンマ補正回路４３ａから出力される高感度画像信号と、ガンマ補正回路４３ｂから出力される低感度画像信号とを次の数式１に基づいて画素単位に合成し、出力する。
【００１９】
【数１】
2004247873.tif 000003
【００２０】
ここで、数式１中の文字が示す意味は以下の通りである。
ｈｉｇｈ：高感度画像データのガンマ補正後のデータ
ｌｏｗ  ：低感度画像データのガンマ補正後のデータ
ｐ：トータルゲイン
ｔｈ：閾値
α：シーンにより決められる値（≒１）
【００２１】
閾値ｔｈは、ガンマ補正後のデータが１２ビットデータ（４０９６階調）であれば、例えば値０〜４０９６のうちの“３０００”とデジタルカメラの使用者あるいは設計者が指定する値である。
【００２２】
数式１の第１項は、高感度画像データｈｉｇｈが閾値ｔｈを超えているときには、高感度画像データｈｉｇｈにそのまま低感度画像データｌｏｗ  を加算し、高感度画像データｈｉｇｈが閾値ｔｈ以下のときには、高感度画像データｈｉｇｈの閾値ｔｈに対する割合に対して低感度画像データｌｏｗ  を乗算した値を高感度画像データｈｉｇｈに加算することを示している。また、数式１の第２項は、シーンに応じたトータルゲインを示している。すなわち、数式１は、高感度画像データのガンマ補正後のデータ，低感度画像データのガンマ補正後のデータのそれぞれに重み付けを行って後、互いに加算することを示している。なお、数式１の第２項における係数「０．２」は、低感度部３と高感度部４の信号電荷の飽和比を便宜的に低感度部３と高感度部４の面積比と見た場合に求められる値である。
【００２３】
トータルゲインｐは、加算データ全体に対するゲインであり、これを変化させることによりダイナミックレンジの制御を行う。トータルゲインｐの値が小さいほどダイナミックレンジは広く、大きいほどダイナミックレンジは狭くなる。具体的には、コントラストの高いシーン（真夏の晴天など）では、ｐ＝０．８、曇りや日陰ではｐ＝０．８６、室内蛍光灯下ではｐ＝０．９というように、シーンに応じてｐの値を変化させる。これにより、ガンマ補正後のデータが１２ビットデータである場合、１２ビット階調値をより有効に使用できる。
【００２４】
ｐの値は、デジタルカメラ自体が各種センサの検出値に基づいて撮像画像のシーンを自動判別して自動的に設定してもよく、また、ユーザが操作部２１によりシーンの種類を指定することで設定することもできる。
【００２５】
ｐの値を変えたときのダイナミックレンジの変化の様子を示す図４において、トータルゲインｐの値を大きくしたときの特性線イはダイナミックレンジが小さく、トータルゲインｐの値を小さくしていくと、ダイナミックレンジが大きい特性線ロまで変化する。なお、αの値は、撮像画像のシーンに応じた値とすることも可能であるが、固定値“１”を採用してもよい。
【００２６】
デジタルカメラは、撮影モードとして通常モードとＲＡＷモードの２種類を備えており、操作部２１で選択する。通常モードでは、デジタル信号処理部２６から出力される輪郭補正後の輝度信号Ｙと色調補正後の色差信号Ｃｒ，Ｃｂとからなる画像データ（１２ビット）を低ビット化処理（サンプリング処理により８ビットの画像データを作成）した後、圧縮伸張処理部２７でＪＰＥＧ画像データに圧縮してメモリカード２９に記録する。前記ＪＰＥＧ画像は、上述したように、高感度画像と低感度画像との合成画像であるから、白飛びや黒潰れがない十分な階調を有する。
【００２７】
高感度画像と低感度画像との合成が各ドット毎にどのような割合で行われているかを表示する本発明に係る表示を行うには、ＲＡＷモードを選択して撮影を行う。ＲＡＷモードでは、通常モードと同じＪＰＥＧ画像データと一緒に、Ａ／Ｄ変換器２３から出力された１２ビットの画像データであるＣＣＤ−ＲＡＷデータが画像合成することなく、そのままメモリカード２９に記録される。
【００２８】
前記ＣＣＤ−ＲＡＷデータは、前記高感度画像データと低感度画像データからなる。また、ＲＡＷモードでは、ＪＰＥＧ画像データの合成過程で用いられたトータルゲインｐ，閾値ｔｈ，αの各値もＪＰＥＧ画像データ及びＣＣＤ−ＲＡＷデータと一緒に記録される。
【００２９】
ＲＡＷモードで撮影されたメモリカード２９は、デジタルカメラから取り出された後、図５に示すように、パーソナルコンピュータ（以下パソコンという）５０のカードスロット５１に差し込まれる。パソコン５０は、キーボード５２，マウス５３がＰＳ／２ポート５４に接続され、表示制御部５５に液晶ディスプレイ５６が接続された一般的なものである。パソコン５０には、周知のＣＰＵ５７，メインメモリ５８，ハードディスク（ＨＤ）５９が内蔵されている。
【００３０】
ハードディスク５９には、ＯＳ及び各種のアプリケーションの他、ＣＣＤ−ＲＡＷアプリケーションがインストールされている。このＣＣＤ−ＲＡＷアプリケーションについては、図６，図７及び図８を参照して説明する。ＣＣＤ−ＲＡＷアプリケーションは、メモリカード２９からＪＰＥＧ画像データとＣＣＤ−ＲＡＷデータを読み込み、ＪＰＥＧ画像に基づいて、液晶ディスプレイ５６のディスプレイ画面５６ａの左側に配置された縦方向に細長いウインドウ６１に完成画像６２，６３，６４，６５としてサムネイル表示するとともに右側の広いウインドウ６６の左半分にデフォルトで第１番目の完成画像６２を拡大表示し、またＣＣＤ−ＲＡＷデータに基づいて、完成画像６２の右隣に参照画像６８を表示する。
【００３１】
参照画像６８は、完成画像６２の輝度データから抽出された輪郭画像データに基づいて表示される輪郭画像７１と、完成画像６２を作成するために使用された低感度画像データの高感度画像データに対する各ドット毎の割合を色の変化で示す割合表示画像７２とを重ね合わせて表示される。なお、図８に示す割合表示画像７２は、色の変化をハッチングで擬似的に表している。ハッチングの線間隔が狭いほど低感度画像データの使用割合が高い。
【００３２】
低感度画像データの高感度画像データに対する各ドット毎の割合は、数式１から明らかなように、ｗｌ  で表されるから、高感度画像データｈｉｇｈと閾値ｔｈとによって決まり、最大で５０％である。本実施形態では、ワイシャツ７４の襟７４ａ，７４ｂは晴天時等の強い光線が当たった状態で撮影されると、高感度画像データｈｉｇｈが閾値ｔｈを超える領域が大きくなり、いわゆる白飛びが発生して生地のテクスチャーが判別できなくなる。このような部位では、高感度画像データに対する低感度画像データの使用割合が大きくなり、この最大値が、例えば“ｌｏｗ  ｍａｘ  ５０％”と完成画像６２の下方に表示される。
【００３３】
また、参照画像６８の下方には、高感度画像データに対する低感度画像データの０％から５０％までの使用割合を色の変化で示すカラースケール７５が表示される。なお、図８において、作図の困難性から割合表示画像７２及びカラースケール７５の色の変化をハッチングで擬似的に表しているが、実際には、例えば、使用割合が５０％付近は赤色、２５％付近は緑色，０％付近は青色で赤色と緑色との中間は黄色，緑色と青色との中間は水色で、各色間は色がなだらかに変化している。
【００３４】
前記完成画像６２の作成に用いられた閾値ｔｈ，αの各値はデジタルカメラの設計者が決めた値であり、またトータルゲインｐは撮影シーンに応じてデジタルカメラが自動的に決めた値であるが、これらの値はユーザがＣＣＤ−ＲＡＷアプリケーションを操作して任意に変更することができる。この変更結果は、リアルタイムに完成画像６２及び参照画像６８の各描画に反映されるから、ユーザは画像６２，６８の両方を観察してトータルゲインｐ，閾値ｔｈ，αの各値を最も適切と思われる値に決定することができる。この後、上書き保存すれば、完成画像６２の画像データが変更したものに置き換えられる。
【００３５】
また、ＣＣＤ−ＲＡＷアプリケーションは、図９に示すような表示に切り換えることができる。ウインドウ６６には、完成画像７７，高感度画像７８，低感度画像７９の３つの画像が並列表示される。完成画像７７は、前記完成画像６２と同様であるから説明を省略する。高感度画像７８は、ＣＣＤ−ＲＡＷデータの高感度画像データに基づいて描画される。また、低感度画像７９は、ＣＣＤ−ＲＡＷデータの低感度画像データに基づいて描画される。
【００３６】
高感度画像７７では、高感度画像データｈｉｇｈが閾値ｔｈを超えた領域、すなわちワイシャツ７４の襟７４ａ，７４ｂ及びワイシャツ７４の胸部に付けたバッチ８０が、例えば赤色に表示され、他の領域は、白黒の濃淡で表示される。また、低感度画像７９では、全体が白黒の濃淡で表示される。すなわち、本実施形態では、襟７４ａ，７４ｂ及びバッチ８０に低感度画像データが使用されていることが明瞭に分かる。この場合にも、ユーザがＣＣＤ−ＲＡＷアプリケーションを操作して閾値ｔｈ等の値を変更することができ、その都度、完成画像７７，高感度画像７８，低感度画像７９の描画がリアルタイムに変更される。
【００３７】
なお、固体撮像素子としては、図２に示すものに限らず、図１０に示すような固体撮像素子９０でもよい。この固体撮像素子９０は、ハニカム形状の高感度画素９１と、これより面積が小さい円形状の低感度画素９２とを設けたものである。この場合には、数式１における係数の値は「０．２」に限らないため、実験的に求めたり、マイクロレンズの開口面積から求める。
【００３８】
以上説明した実施形態では、完成画像に参照画像を並列したが、本発明はこれに限定されることなく、完成画像の上の画層に低感度画像を描画し、画層の表示・非表示を切り換えることにより、完成画像に占める低感度画像の使用割合を表示するようにしてもよい。この場合には、より大きなサイズで画像を表示できるという利点がある。
【００３９】
また、上記実施形態では、対数加算方式を採用したが、本発明はこれに限定されることなく、高感度画像信号と低感度画像信号との合成をガンマ補正前に行う真数加算方式を採用することもできる。また、パソコンにより低感度画像データと高感度画像データとの使用割合の表示を行ったが、デジタルカメラでＣＣＤ−ＲＡＷアプリケーションを用いて使用割合の表示を行ってもよい。
【００４０】
また、上記実施形態では、デジタルカメラのＲＡＷモードでは、画像合成されたｊｐｅｇ画像データと高感度画像データ，低感度画像データとを一緒にメモリカードに記憶し、ｊｐｅｇ画像を完成画像として用いたが、ＣＣＤ−ＲＡＷデータである高感度画像データ，低感度画像データだけをメモリカードに記憶するようにしてもよい。この場合には、パソコンのＣＣＤ−ＲＡＷアプリケーションにより高感度画像データと低感度画像データとを画像合成して完成画像を作成する。
【００４１】
また、上記実施形態では、ＣＣＤ−ＲＡＷデータを１２ビット，完成画像であるｊｐｅｇ画像を８ビットとしたが、本発明はこれに限定されることなく、例えばＣＣＤ−ＲＡＷデータ及びｊｐｅｇ画像の両方を８ビットとしてもよく、またユーザが撮影時にＣＣＤ−ＲＡＷデータを１２ビットまたは８ビットに切り換えるようにしてもよい。
【００４２】
また、上記実施形態では、低感度画像の使用割合を色の変化で表したが、一色の濃淡で表すこともできる。この場合、ＣＣＤ−ＲＡＷアプリケーションでパラメータ（閾値ｔｈ等）を変更したときの低感度画像の使用割合の変化がより分かりやすくなるという利点があるが、輪郭画像との境界が不明瞭になるため、濃淡の色と輪郭画像の色とは別の色とするのが好ましい。
【００４３】
また、固体撮像素子の受光部の低感度部と高感度部の面積比や各形状は任意に決めることができる。また、面積の広狭で高感度画像，低感度画像の出力を行ったが、露光時間の長短でも可能である。また、固体撮像素子は、ハニカム型ＣＣＤに限らず、ベイヤー方式のＣＣＤやＣＭＯＳイメージ・センサでもよい。
【００４４】
また、上記実施形態では、いずれも高感度画像を主体とし、高感度画像の白飛びが生じる領域に低感度画像を合成したが、逆に低感度画像を主体とし、低感度画像の黒潰れが生じる領域に高感度画像を合成してもよい。また、撮影シーンによって、どちらを主体とするか決定するようにしてもよい。
【００４５】
【発明の効果】
以上説明したように、本発明の画像表示プログラムによれば、高感度画像データと低感度画像データとを合成して得られた完成画像を表示するとともに、低感度画像データと高感度画像データとの使用割合を視覚的に表す参照画像を表示するので、低感度画像と高感度画像との使用割合が明瞭に分かり、この割合を変更すれば、好みの完成画像を得ることができる。また、参照画像を完成画像と並列表示すると、より分かりやすく、好ましい。また、完成画像，高感度画像及び低感度画像を表示するので、低感度画像と高感度画像との使用割合が明瞭に分かる。また、完成画像，高感度画像及び低感度画像は、互いに並列して表示されるようにすると、より分かりやすく、好ましい。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタルカメラの構成を示すブロック図である。
【図２】固体撮像素子の画素配列を示す説明図である。
【図３】デジタル信号処理部の構成を示すブロック図である。
【図４】ダイナミックレンジの変化の様子を示すグラフである。
【図５】パソコンの構成を示すブロック図である。
【図６】ＣＣＤ−ＲＡＷアプリケーションの主要シーケンスを示すフローチャートである。
【図７】参照画像の表示シーケンスを示すフローチャートである。
【図８】完成画像と参照画像を並列して表示するモニタ画面を示す説明図である。
【図９】完成画像，高感度画像，低感度画像を並列して表示するモニタ画面を示す説明図である。
【図１０】別の固体撮像素子の画素配列を示す説明図である。
【符号の説明】
１  画素
２  受光部
３  低感度部
４  高感度部
１１，９０  固体撮像素子
１５，５７  ＣＰＵ
２６  デジタル信号処理部
２９  メモリカード
３１  液晶モニタ
４４  画像合成処理回路
５０  パソコン
５６  液晶ディスプレイ
６２，７７  完成画像
６８  参照画像
７１  輪郭画像
７２  割合表示画像
７８  高感度画像
７９  低感度画像
９１  高感度画素
９２  低感度画素
【図１】
2004247873.tif 000004
【図２】
2004247873.tif 000005
【図３】
2004247873.tif 000006
【図４】
2004247873.tif 000007
【図５】
2004247873.tif 000008
【図６】
2004247873.tif 000009
【図７】
2004247873.tif 000010
【図８】
2004247873.tif 000011
【図９】
2004247873.tif 000012
【図１０】
2004247873.tif 000013