(57)【要約】【課題】  再生可能な階調数が小さい再生装置でも再生できるディジタル画像の生成と露出調整に失敗したディジタル画像の救済とを可能にする撮像装置、画像記憶方法、及び画像記憶プログラムを提供する。【解決手段】  本発明に係る撮像装置は、被写体を撮像してディジタル画像を出力する撮像手段と、記憶手段と、前記撮像手段から出力されたディジタル画像に基づいて、前記撮像手段のラチチュードより狭い第一の露出範囲で撮像した場合に表される被写体を表す主画像を生成する主画像生成手段と、前記撮像手段から出力されたディジタル画像に基づいて、少なくとも一部が前記第一の露出範囲に重ならない第二の露出範囲で撮像した場合に表される被写体を表す副画像を生成する副画像生成手段と、生成された主画像と副画像とを関連付けて前記記憶手段に記憶する画像保存手段と、を備える。【選択図】    図１
2005197886.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像してディジタル画像を出力する撮像手段と、
記憶手段と、
前記撮像手段から出力されたディジタル画像に基づいて、前記撮像手段のラチチュードより狭い第一の露出範囲で撮像した場合に表される被写体を表す主画像を生成する主画像生成手段と、
前記撮像手段から出力されたディジタル画像に基づいて、少なくとも一部が前記第一の露出範囲に重ならない第二の露出範囲で撮像した場合に表される被写体を表す副画像を生成する副画像生成手段と、
生成された主画像と副画像とを関連付けて前記記憶手段に記憶する画像保存手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記画像保存手段は主画像と副画像とを同一ファイルの異なる領域に格納することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記副画像生成手段は副画像の階調値の最大値を表現するのに必要な最小限のビット数を判定し、判定したビット数で各階調値を記憶することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像手段は輝度成分及び色差成分からなる色空間で表されるディジタル画像を出力し、
前記主画像生成手段は主画像を構成する各画素を輝度成分及び色差成分で構成し、
前記副画像生成手段は副画像を構成する各画素を輝度成分のみで構成することを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
【請求項５】
前記撮像手段は撮像が一度指示されると被写体の光学像を互いに異なる露出で複数回撮像して複数のディジタル画像を出力し、
前記主画像生成手段は前記撮像手段から出力されたいずれか一つのディジタル画像に基づいて主画像を生成し、
前記副画像生成手段は前記複数のディジタル画像に基づいて副画像を生成することを特徴とする請求項１〜４のいずれか一項に記載の撮像装置。
【請求項６】
前記画像保存手段は前記第一の露出範囲を表す情報を主画像に関連付けて記憶し、前記第二の露出範囲を表す情報を副画像に関連付けて記憶することを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
【請求項７】
前記画像保存手段は副画像については空の画像でないときのみ記憶することを特徴とする請求項１〜６のいずれか一項に記載の撮像装置。
【請求項８】
被写体を撮像してディジタル画像を出力する撮像手段と、
記憶手段とを備える撮像装置を用いた画像記憶方法であって、
前記撮像手段で被写体を撮像してディジタル画像を出力する撮像段階と、
前記撮像段階で出力されたディジタル画像に基づいて、前記撮像手段のラチチュードより狭い第一の露出範囲で撮像した場合に表される被写体を表す主画像を生成する主画像生成段階と、
前記撮像段階で出力されたディジタル画像に基づいて、少なくとも一部が前記第一の露出範囲に重ならない第二の露出範囲で撮像した場合に表される被写体を表す副画像を生成する副画像生成段階と、
生成された主画像と副画像とを関連付けて前記記憶手段に記憶する画像保存段階と、
を含むことを特徴とする画像記憶方法。
【請求項９】
被写体を撮像してディジタル画像を出力する撮像手段と、
記憶手段とを備える撮像装置を、
前記撮像手段から出力されたディジタル画像に基づいて、前記撮像手段のラチチュードより狭い第一の露出範囲で撮像した場合に表される被写体を表す主画像を生成する主画像生成手段と、
前記撮像手段から出力されたディジタル画像に基づいて、少なくとも一部が前記第一の露出範囲に重ならない第二の露出範囲で撮像した場合に表される被写体を表す副画像を生成する副画像生成手段と、
生成された主画像と副画像とを関連付けて前記記憶手段に記憶する画像保存手段として機能させることを特徴とする画像記憶プログラム。
【請求項１０】
撮像手段から出力されたディジタル画像に基づいて生成された主画像であって前記撮像手段のラチチュードより狭い第一の露出範囲で撮像した場合に表される被写体を表す主画像と、前記撮像手段から出力されたディジタル画像に基づいて生成された副画像であって少なくとも一部が前記第一の露出範囲に重ならない第二の露出範囲で撮像した場合に表される被写体を表す副画像とを合成する画像合成手段と、
前記画像合成手段で合成された合成画像を再生する再生手段と、
を備えることを特徴とする画像再生装置。
【請求項１１】
主画像または前記画像合成手段で合成された合成画像のいずれを再生するかの選択を受け付ける選択受付手段を更に備え、
前記再生手段は、前記選択受付手段で合成画像が選択されると合成画像を再生し、主画像が選択されると主画像を再生することを特徴とする請求項１０に記載の画像再生装置。
【請求項１２】
前記画像合成手段で合成された合成画像の階調範囲を選択する階調範囲選択手段を更に備え、
前記再生手段は前記階調範囲選択手段で選択された階調範囲に基づいて合成画像を再生することを特徴とする請求項１０又は１１に記載の画像再生装置。
【請求項１３】
前記再生手段は再生可能な階調数に応じて合成画像の階調値を拡張又は圧縮して再生することを特徴とする請求項１０又は１１に記載の画像再生装置。
【請求項１４】
副画像に応じてアンダー露出あるいはオーバー露出が補正可能であることを通知する通知手段を更に備えることを特徴とする請求項１０〜１３のいずれか一項に記載の画像再生装置。
【請求項１５】
撮像手段から出力されたディジタル画像に基づいて生成された主画像であって前記撮像手段のラチチュードより狭い第一の露出範囲で撮像した場合に表される被写体を表す主画像と、前記撮像手段から出力されたディジタル画像に基づいて生成された副画像であって少なくとも一部が前記第一の露出範囲に重ならない第二の露出範囲で撮像した場合に表される被写体を表す副画像とを合成する画像合成段階と、
前記画像合成段階で合成された合成画像を再生する再生段階と、
を含むことを特徴とする画像再生方法。
【請求項１６】
ディジタル画像を再生する再生装置を、
撮像手段から出力されたディジタル画像に基づいて生成された主画像であって前記撮像手段のラチチュードより狭い第一の露出範囲で撮像した場合に表される被写体を表す主画像と、前記撮像手段から出力されたディジタル画像に基づいて生成された副画像であって少なくとも一部が前記第一の露出範囲に重ならない第二の露出範囲で撮像した場合に表される被写体を表す副画像とを合成する画像合成手段と、
前記画像合成手段で合成された合成画像を再生する再生手段として機能させることを特徴とする画像再生プログラム。
【請求項１７】
請求項１〜７のいずれか一項に記載の撮像装置と、
請求項１０〜１４のいずれか一項に記載の画像再生装置と、
を備えることを特徴とする画像再生システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像記憶方法、画像記憶プログラム、画像再生装置、画像再生方法、画像再生プログラム及び画像再生システムに関する。
【背景技術】
【０００２】
ディジタルスチルカメラ（ＤＳＣ）などの撮像装置によって出力されるディジタル画像の階調数は撮像装置が備える撮像手段のラチチュードによって異なる。ここでラチチュードとは露出許容度のことをいい、ラチチュードは例えば−５ＥＶ〜＋５ＥＶなどのように露出の範囲で表される。露出とはイメージセンサに入射する光量のことをいい、例えば光量がラチチュードを超えると被写体の明るい部分が白くなるハイライト飛びが起き、逆にそれ以下であると暗い部分が黒くつぶれる黒つぶれが起きる。従ってラチチュードとは撮像手段が表現可能な明暗差を露出の範囲によって表すものであると定義することもできる。ラチチュードが広いと表現可能な明暗差が広くなるため、より階調数の大きいディジタル画像を出力できる。ここで階調数とは表現可能な階調値の幅のことをいう。例えば階調値を８ビットで表す場合は０〜２５５までの２５６階調を表すことができ、この場合の階調数は２５６である。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、ラチチュードが広い撮像手段でディジタル画像を出力した場合、再生装置によってはそのディジタル画像を再生できないという問題がある。例えば階調数が５１２のディジタル画像が出力されたとする。この場合、撮像装置のモニターで表示可能な階調数が２５６であるとすると、モニターではそのディジタル画像を表示することができない。モニターに合わせて階調数の小さいディジタル画像を出力するようにするとモニターには表示できる。しかしながらプリンタで印刷可能な階調数がモニターより大きい場合、モニターに合わせて出力するとプリンタの印刷能力を生かしきれないことになる。また、ディジタル画像のレタッチでは正確に色を再現することが要求されるが、ディジタル画像の階調数が小さいと再現可能な色の範囲が狭くなるため正確に再現することができないことになる。
【０００４】
ラチチュードが狭い撮像手段でディジタル画像を出力した場合、露出の許容範囲が狭くなるためハイライト飛びや黒つぶれが起き易くなる。このため露出調整の失敗による失敗撮影が起き易くなる。撮像手段のラチチュードを改善する方法としては、シャッターボタンが押下されたときに互いに異なる複数の露出でディジタル画像を出力し、出力した複数のディジタル画像を合成して一つのディジタル画像を生成する方法が知られている。この方法によると、ラチチュードの狭い撮像装置で階調数の大きいディジタル画像を生成できるためハイライト飛びや黒つぶれが起き難くなり、失敗撮影を減らすことができる。しかしながらこの方法によると階調数の大きいディジタル画像を生成するため、失敗撮影については救済されるものの、再現可能な階調数が小さい再生装置では再生できないという問題が残る。
【０００５】
複数のディジタル画像を合成せずに出力すればモニターで再生することも可能であるが、その場合はレタッチなどを行う場合にパーソナルコンピュータなどの側で画像を合成する操作を行う必要があるため使い勝手が悪い。また、今後はラチチュードの広い撮像装置が一般化されることが予想されるため、再現可能な階調数が小さい再生装置では合成していないにもかかわらず再生できないという状況が予想される。
【０００６】
本発明は、上記問題に鑑みて創作されたものであって、再生可能な階調数が小さい再生装置でも再生できるディジタル画像の生成と露出調整に失敗したディジタル画像の救済とを可能にする撮像装置、画像記憶方法、及び画像記憶プログラムを提供することを目的とする。
また、本発明の別の目的は、露出調整に失敗したディジタル画像を救済して再生する画像再生装置、画像再生方法、及び画像再生プログラムを提供することを目的とする。
【０００７】
また、本発明の別の目的は、再生可能な階調数が小さい再生装置でも再生できるディジタル画像を生成し、露出調整に失敗したディジタル画像を救済する画像再生システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係る撮像装置は、被写体を撮像してディジタル画像を出力する撮像手段と、記憶手段と、前記撮像手段から出力されたディジタル画像に基づいて、前記撮像手段のラチチュードより狭い第一の露出範囲で撮像した場合に表される被写体を表す主画像を生成する主画像生成手段と、前記撮像手段から出力されたディジタル画像に基づいて、少なくとも一部が前記第一の露出範囲に重ならない第二の露出範囲で撮像した場合に表される被写体を表す副画像を生成する副画像生成手段と、生成された主画像と副画像とを関連付けて前記記憶手段に記憶する画像保存手段と、を備えることを特徴とする。この撮像装置によると、主画像は撮像手段のラチチュードより狭い第一の露出範囲で撮像した場合に表される被写体を表すため、主画像の階調数はディジタル画像の階調数より小さくなる。このため、再生可能な階調数が小さい再生装置でも再生できる。また、副画像は、少なくとも一部が前記第一の露出範囲に重ならない第二の露出範囲で撮像した場合の被写体を表すため、主画像においてハイライト飛びや黒つぶれが起きている場所を副画像で補うことが可能になる。よってこの撮像装置によると、再生可能な階調数が小さい再生装置でも再生できるディジタル画像を生成でき、且つ失敗撮影を救済できる。
【０００９】
さらに本発明に係る撮像装置では、前記画像保存手段は主画像と副画像とを同一ファイルの異なる領域に格納することを特徴とする。この撮像装置によると、主画像と副画像とが一ファイルに格納されるため、取り扱いが容易になる。
さらに本発明に係る撮像装置では、前記副画像生成手段は副画像の階調値の最大値を表現するのに必要な最小限のビット数を判定し、判定したビット数で各階調値を記憶することを特徴とする。この撮像装置によると、副画像のデータ量を低減できる。
【００１０】
さらに本発明に係る撮像装置では、前記撮像手段は輝度成分及び色差成分からなる色空間で表されるディジタル画像を出力し、前記主画像生成手段は主画像を構成する各画素を輝度成分及び色差成分で構成し、前記副画像生成手段は副画像を構成する各画素を輝度成分のみで構成することを特徴とする。この撮像装置によると、副画像のデータ量を更に低減できる。
【００１１】
さらに本発明に係る撮像装置では、前記撮像手段は撮像が一度指示されると被写体の光学像を互いに異なる露出で複数回撮像して複数のディジタル画像を出力し、前記主画像生成手段は前記撮像手段から出力されたいずれか一つのディジタル画像に基づいて主画像を生成し、前記副画像生成手段は前記複数のディジタル画像に基づいて副画像を生成することを特徴とする。この撮像装置によると、被写体の明暗差が大きい場合あるいは撮像手段のラチチュードが狭い場合であっても、再生可能な階調数が小さい再生装置での再生と失敗撮影の救済とを両立できる。
【００１２】
さらに本発明に係る撮像装置では、前記画像保存手段は前記第一の露出範囲を表す情報を主画像に関連付けて記憶し、前記第二の露出範囲を表す情報を副画像に関連付けて記憶することを特徴とする。この撮像装置によると、主画像及び副画像に対応する露出範囲がわかるので、合成する際の上下関係を特定できる。従って、本来主画像より露出が高い側を表す副画像が合成の際に露出の低い側を表す副画像として用いられてしまうような誤りを防止できる。
【００１３】
さらに本発明に係る撮像装置では、前記画像保存手段は副画像については空の画像でないときのみ記憶することを特徴とする。この撮像装置によると、記憶手段の記憶容量を節約できる。
上記目的を達成するため、本発明に係る画像再生装置は、撮像手段から出力されたディジタル画像に基づいて生成された主画像であって前記撮像手段のラチチュードより狭い第一の露出範囲で撮像した場合に表される被写体を表す主画像と、前記撮像手段から出力されたディジタル画像に基づいて生成された副画像であって少なくとも一部が前記第一の露出範囲に重ならない第二の露出範囲で撮像した場合に表される被写体を表す副画像とを合成する画像合成手段と、前記画像合成手段で合成された合成画像を再生する再生手段と、を備えることを特徴とする。この画像再生装置によると、主画像と副画像とを合成して階調数の大きいディジタル画像を生成することにより、露出調整に失敗したディジタル画像を救済して再生できる。
【００１４】
さらに本発明に係る画像再生装置では、主画像または前記画像合成手段で合成された合成画像のいずれを再生するかの選択を受け付ける選択受付手段を更に備え、前記再生手段は、前記選択受付手段で合成画像が選択されると合成画像を再生し、主画像が選択されると主画像を再生することを特徴とする。この画像再生装置によると、どちらを再生させるかを選択できる。
【００１５】
さらに本発明に係る画像再生装置では、前記画像合成手段で合成された合成画像の階調範囲を選択する階調範囲選択手段を更に備え、前記再生手段は前記階調範囲選択手段で選択された階調範囲に基づいて合成画像を再生することを特徴とする。この画像再生装置によると、露出調整に失敗したディジタル画像をどのように救済するかを選択できる。
【００１６】
さらに本発明に係る画像再生装置では、前記再生手段は再生可能な階調数に応じて合成画像の階調値を拡張又は圧縮して再生することを特徴とする。この画像再生装置によると、再生する階調値を決定するための階調範囲を選択する手間を低減できる。
さらに本発明に係る画像再生装置では、副画像に応じてアンダー露出あるいはオーバー露出が補正可能であることを通知する通知手段を更に備えることを特徴とする。この画像再生装置によると、ユーザはアンダー露出あるいはオーバー露出が補正可能であること、すなわちディジタル画像を救済可能であることを知ることができる。
【００１７】
上記目的を達成するため、本発明に係る画像再生システムは、請求項１〜７のいずれか一項に記載の撮像装置と、請求項１０〜１４のいずれか一項に記載の画像再生装置と、を備えることを特徴とする。この画像再生システムによると、再生装置が再生可能な階調数が小さくてもディジタル画像を再生でき、且つ露出調整に失敗したディジタル画像を救済して再生できる。
【００１８】
尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
また、本発明は装置の発明として特定できるだけでなく、プログラムの発明としても、そのプログラムを記録した記録媒体の発明としても、方法の発明としても特定することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態を実施例に基づいて説明する。
（第一実施例）
図２は、本発明の第一実施例に係る撮像装置及び画像再生装置としてのディジタルスチルカメラ（ＤＳＣ）１のハードウェア構成を示すブロック図である。ＤＳＣ１には再生手段としてのＬＣＤ２０が一体化されており、従って第一実施例の画像再生システムは一台のＤＳＣ１によって構成されている。
【００２０】
光学系１１は、レンズ、絞り等で構成されている。光学系１１はイメージセンサ１２の受光面に被写体の光学像を結像させる。
イメージセンサ１２は、２次元空間に離散的に配置された受光セルとＣＣＤ（Charge Coupled Device）などの電荷転送素子とを備えたエリアイメージセンサである。イメージセンサ１２は光学系１１により結像される光学像を光電変換して得られる電荷を受光セル毎に一定時間蓄積し、受光セル毎の受光量に応じた電気信号を出力する。受光面にＣ（Cyan）、Ｍ（Magenta）、Ｙ（Yellow）及びＧ（Green）の４色の補色フィルタ、又はＲ（Red）、Ｇ（Green）及びＢ（Blue）の原色フィルタを設けることによりカラー画像を形成することが可能になる。
【００２１】
アナログフロントエンド（ＡＦＥ）部１３は、イメージセンサ１２から出力される電気信号を量子化してディジタル信号に変換する。具体的には例えば、出力される電気信号に含まれる雑音の低減処理、ゲインの調整による電気信号のレベル調整処理、量子化処理等を行う。
ディジタル画像処理部１４は、ＡＦＥ１３部から出力されたディジタル信号に対し、画像形成処理、ホワイトバランス補正、γ補正、色空間変換等を施して輝度成分及び色差成分からなる色空間、具体的にはＹＣｂＣｒ色空間で表されるディジタル画像を出力する。尚、ディジタル画像の色空間はＲＧＢ色空間などの他の色空間であってもよい。出力されるディジタル画像の階調数はイメージセンサのラチチュードに依存する。イメージセンサ１２の場合は階調数が５１２、すなわち階調値が１６ビットで表されるディジタル画像を出力するものとする。この場合のディジタル画像の階調範囲は０〜５１１である。
【００２２】
画像保存手段としてのカード読み書き部１５は、記憶手段としてのリムーバブルメモリ１６を挿入するためのカードスロット、メモリコントローラなどを備える。カード読み書き部１５は制御部１８によって制御され、作成されたディジタル画像をリムーバブルメモリ１６に書き込む処理やリムーバブルメモリ１６からディジタル画像を読み込む処理などを行う。リムーバブルメモリ１６は通電しなくても記録内容を保持することのできる書換え可能な記憶媒体である。尚、記憶手段は内蔵されているフラッシュメモリやＲＡＭなどであってもよいし、フレキシブルディスクやリムーバブルハードディスクなどの脱着可能な記録メディアなどでもよい。
【００２３】
インタフェース（Ｉ／Ｆ）部１７は、ＢｌｕｅｔｏｏｔｈやＵＳＢなどの通信規格に準拠して構成されている。ＤＳＣ１はＩ／Ｆ部１７を介してパーソナルコンピュータ（ＰＣ）やプリンタなどに接続される。
ＬＣＤ（Liquid Crystal Display）２０は、撮像モードで電子ビューファインダとして機能する。また、ＬＣＤ２０は再生モードでディジタル画像を再生する再生手段として機能する。この他、ＬＣＤ２０は各種のダイアログなどを表示することで選択受付手段、階調範囲選択手段、及び通知手段としても機能する。本実施例ではＬＣＤ２０が再生可能な階調数は２５６であるとする。カラー表示可能なＬＣＤ２０では一般に１画素をＲＧＢの３つの成分で表すため、一つの成分の階調数が２５６であるとき、１画素について１６７７２１６通りの色を再現できることになる。
【００２４】
操作部１９は、回転角度に応じて撮像モードや再生モードなどのモードを設定するダイヤルスイッチ、シャッターボタン、ＬＣＤ２０に表示される各種のメニューを操作するための十字キー２１（図８参照）、メニューの表示項目に応じて機能が変化する押しボタン２２及び２３（図８参照）などを備える。
制御部１８は、ＣＰＵ１８ａ、フラッシュメモリ１８ｂ、及びＲＡＭ１８ｃを備える。ＣＰＵ１８ａはフラッシュメモリ１８ｂに記憶されているコンピュータプログラムを実行することでＤＳＣ１の全体を制御する。また、ＣＰＵ１８ａはフラッシュメモリ１８ｂに記憶されている画像記憶プログラムを実行することで撮像手段、主画像生成手段、副画像生成手段、及び画像保存手段としても機能する。更に、画像再生プログラムを実行することで画像合成手段、再生手段、選択受付手段、階調範囲選択手段、及び通知手段としても機能する。フラッシュメモリ１８ｂは画像記憶プログラム、画像再生プログラム、その他各種のプログラムやデータを記憶するメモリであり、ＲＡＭ１８ｃは各種のプログラムやデータを一時的に記憶するメモリである。これら各種のプログラムやデータは所定のサーバからネットワークを介してダウンロードして入力してもよいし、リムーバブルメモリ１６等のコンピュータ読み取り可能な記憶媒体から読み出して入力してもよい。
【００２５】
次に、画像記憶プログラムの論理的な構成について説明する。
図３は、画像記憶プログラムの論理的な構成を示すブロック図である。画像記憶プログラムは主画像生成モジュール３１、副画像生成モジュール３２、及び画像保存モジュール３３を備える。
主画像生成モジュール３１は、主画像を生成する処理を実行するためのモジュールである。主画像生成モジュール３１はディジタル画像処理部１４から出力されたディジタル画像に基づいて、イメージセンサ１２のラチチュードより狭い第一の露出範囲で撮像した場合に表される被写体を表す主画像を生成する。具体的には、出力されたディジタル画像の階調範囲より狭い第一の階調範囲を越える階調値を第一の階調範囲の上限値に置き換え、又、第一の階調範囲未満の階調値を第一の階調範囲の下限値に置き換え、置き換えた階調値と第一の階調範囲内にある階調値とに基づいて主画像を生成する。ここで第一の階調範囲とは第一の露出範囲に対応する範囲のことであり、詳しくは後述する。
【００２６】
図１は、主画像生成モジュール３１による主画像の生成、並びに副画像生成モジュール３２による副画像の生成を説明するための模式図である。図１に示すグラフ４１は出力されたディジタル画像を構成している画素のＹ成分の階調値を示しており、グラフ４３は生成された主画像を構成している画素のＹ成分の階調値を示している。
【００２７】
主画像を生成する場合、初めに第一の階調範囲を設定する。第一の階調範囲は固定された範囲であってもよいが、その場合はＤＳＣ１で露出を調整してもその露出が主画像に反映されない。従って第一実施例では設定された露出を基準に第一の階調範囲を設定する。具体的には例えば露出が標準露出であるとすると、先ず標準露出に対応する階調値を特定する。標準露出に対応する階調値は標準露出が決まると一意に特定可能である。対応する階調値が決まると、それを中心に上下等階調の範囲を第一の階調範囲とする。例えば標準露出が０ＥＶのとき、０ＥＶに対応する階調値が２５５であり、ＬＣＤ２０が再現可能な階調数が２５６であるとする。この場合、２５５を基準にして上限値と下限値との差が２５６になるよう第一の階調範囲を設定する。従って第一の階調範囲は１２８〜３８４の範囲として設定される。これはディジタル画像の階調範囲である０〜５１１より狭い範囲である。
【００２８】
すなわち、本実施例では始めに第一の露出範囲が設定されてそれに基づいて第一の階調範囲が設定されるのではない。第一の階調範囲は設定された露出に基づいて設定される。第一の階調範囲が設定されると結果として第一の露出範囲が特定される。第一の階調範囲はディジタル画像の階調範囲より狭いため、第一の露出範囲はイメージセンサ１２のラチチュードより狭い範囲として特定されることになる。従って、生成される主画像はイメージセンサ１２のラチチュードより狭い第一の露出範囲で撮像した場合に出力されるディジタル画像に相当し、第一の露出範囲で撮像した場合に表される被写体を表すことになる。尚、第一の階調範囲が特定できればよいため、第一の露出範囲を特定する処理を実際に実行する必要はない。
【００２９】
第一の階調範囲が上述したように設定された場合、主画像生成モジュール３１はディジタル画像を構成する階調値のうち３８４を越える階調値については３８４に置き換え、また１２８に満たない階調値については１２８に置き換える。１２８〜３８４の範囲内にある階調値についてはそのまま維持する。なお、ＬＣＤ２０以外の画像再生装置に再生することを目的とする場合は第一の階調範囲の幅が当該画像再生装置の階調数と同じかそれより小さければよく、従って必ずしもＤＳＣ１が備えるＬＣＤ２０の階調数より小さくなければならないわけではない。
【００３０】
次に、各画素の階調値から１２８、すなわち第一の階調範囲の下限値を減じる。これによりＹ成分は０〜２５５までの階調範囲で表され、その階調数は２５６となる。これをＣｂ成分及びＣｒ成分についても実行することにより主画像が生成される。生成された主画像のＹ成分の階調値をグラフにすると図１のグラフ４３のようになる。主画像の階調数はディジタル画像の階調数より小さい２５６階調になるため、再現可能な階調数が２５６しかないＬＣＤ２０でも主画像を表示することによって被写体を表す画像を表示できる。
【００３１】
副画像生成モジュール３２は、副画像を生成する処理を実行するためのモジュールである。副画像生成モジュール３２は、ディジタル画像処理部１４から出力されたディジタル画像に基づいて、少なくとも一部が第一の露出範囲に重ならない第二の露出範囲で撮像した場合に表される被写体を表す副画像を生成する。具体的には、第一の階調範囲に重ならない第二の階調範囲内にある階調値に基づいて、第二の階調範囲を越える階調値を第二の階調範囲の上限値に置き換え、又、第二の階調範囲未満の階調値を第二の階調範囲の下限値に置き換え、置き換えた階調値と第二の階調範囲内にある階調値とに基づいて副画像を生成するためのモジュールである。第一実施例では第一の露出範囲と第二の露出範囲とが全く重ならない場合であって、ディジタル画像の階調範囲のうち第一の階調範囲以外の範囲を全て第二の階調範囲とする場合を例に説明する。第二の露出範囲とは第二の階調範囲に対応する露出の範囲に相当する。
【００３２】
図１に示すグラフ４２及び４４は副画像を構成している画素のＹ成分の階調値を示している。第一の階調範囲を１２８〜３８４とした場合、第二の階調範囲は０〜１２７までの範囲と３８５〜５１１までの範囲との２つに分かれる。この場合は第二の露出範囲は２つ存在することになり、２つの範囲それぞれについて副画像を生成する。３８５〜５１１までの範囲について副画像を生成する場合、ディジタル画像を構成する階調値のうち３８５に満たない階調値については３８５に置き換える。３８５を越える階調値についてはそのまま維持する。次に、各画素の階調値から３８５を減じる。すなわち第二の階調範囲の下限値を減じる。各階調値から第二の階調範囲の下限値を減じると結果として第二の階調範囲の下限値からの差分が格納されることになる。差分を格納するようにするとディジタル画像の階調値をそのまま格納する場合に比べて副画像のデータ量を低減できる。なお、データ量の低減が不要であれば下限値を減じる必要はない。
【００３３】
副画像生成モジュール３２は次に、副画像の階調値の最大値を表現するのに必要な最小限のビット数を判定し、判定したビット数で各階調値を記憶する。
図４（Ａ）及び図４（Ｂ）は、副画像の階調値の最大値を表現するのに必要な最小限のビット数を判定する処理を説明するための模式図である。図４（Ａ）は副画像を構成する画素の階調値を８ビットで表している。図を見ると判るようにこの副画像を構成する画素の階調値は最大でも左から５ビットで表現できる。従ってこの副画像については１画素当たり５ビットで表すようにすれば各画素について３ビット分の情報量を低減でき、それにより副画像のデータ量を低減できる。このため副画像生成モジュール３２は図４（Ｂ）に示すように各ビットを５ビットで表現するようにすることによって副画像を圧縮する。
【００３４】
０〜１２７までの範囲について副画像を生成する場合についても同様である。生成された副画像のＹ成分の階調値をグラフにすると図１のグラフ４２及びグラフ４４のようになる。露出調整の失敗を救済する上では副画像についてはＹ成分（輝度成分）さえあれば可能である。このため本実施例では副画像については各画素についてＹ成分のみを記憶するものとする。このため副画像の場合はＣｂ成分及びＣｒ成分については処理を実行しない。Ｙ成分のみを記憶するようにすると、副画像について更にデータ量を低減できる。
【００３５】
画像保存モジュール３３は、生成した主画像及び副画像をリムーバブルメモリ１６に記憶する処理を実行するためのモジュールである。画像保存モジュール３３は主画像及び副画像を一ファイルに格納してリムーバブルメモリ１６に記憶させる。主画像と副画像とを一ファイルに格納すると、主画像及び副画像の取り扱いが容易になる。
【００３６】
図５は、主画像と副画像とを格納するファイルのファイル構造を示す模式図である。図中のグラフは当該領域に格納される画像が明確になるように便宜上示しているものである。主画像及び副画像を格納するファイルは、付属情報領域、主画像領域、副画像領域１、及び副画像領域２で構成される。付属情報領域は当該ファイルについての付属情報を格納する領域である。本実施例では付属情報として第一の露出範囲を表す情報、及び第二の露出範囲を表す情報が格納される。本実施例では第一の露出範囲を表す情報として第一の階調範囲を、第二の露出範囲を表す情報として第二の階調範囲を格納する。尚、第一の露出範囲及び第二の露出範囲を特定してその情報を格納するようにしてもよい。第一の階調範囲とは、前述した第一の階調範囲の下限値と上限値とを表す情報であり、前述した例の場合であれば１２８及び３８４である。第二の階調範囲についても同様である。主画像領域は主画像を格納する領域であり、主画像がＹ成分、Ｃｂ成分、Ｃｒ成分毎に格納される。尚、図５ではＣｂ成分及びＣｒ成分についてはグラフを省略している。副画像領域は副画像を格納する領域である。副画像はＹ成分のみであるためＹ成分のみが格納される。尚、本実施例では主画像と副画像とを一ファイルに格納するが、主画像と副画像とをそれぞれ異なるファイルに格納するようにしてもよい。
【００３７】
画像保存モジュール３３は必ずしも常に副画像を記憶させる訳ではなく、副画像が空であるときは記憶しない。空であるとは階調値がすべて０であることをいう。例えばオーバー露出のときはディジタル画像において０〜１２７の階調範囲に階調値が存在しないことがある。この場合、前述した０〜１２７の階調範囲に対応する副画像の全ての階調値は０になる。この場合、当該副画像は意味をなさないため格納せず、３８５〜５１１の範囲に対応する副画像のみを格納する。
【００３８】
次に、主画像及び副画像を生成する処理の流れについて説明する。
図６は、主画像及び副画像を生成する処理の流れを示すフローチャートである。
Ｓ１０５では、被写体を撮影して当該被写体を表すディジタル画像を出力する。
【００３９】
Ｓ１１０では、ディジタル画像から主画像を生成する。
Ｓ１１５では、ディジタル画像から副画像を生成する。
Ｓ１２０では、生成した主画像と副画像とを１ファイルに格納してリムーバブルメモリ１６に記憶する。
以上により主画像及び副画像が記憶される。
【００４０】
次に、画像再生プログラムの論理的な構成について説明する。
図７は、画像再生プログラムの論理的な構成を示すブロック図である。画像再生プログラムは、表示モジュール５１、通知モジュール５２、画像合成モジュール５３、表示選択モジュール５４、及び範囲選択モジュール５５を備える。
通知モジュール５２は、アンダー露出、あるいはオーバー露出が補正可能であることを通知する処理を実行するためのモジュールである。ファイルに副画像が記憶されている場合、通知モジュール５２はファイルから第一の階調範囲を表す情報と第二の階調範囲を表す情報とを読み込み、当該副画像に対応する範囲と第一の階調範囲とを比較する。当該副画像に対応する範囲が第一の階調範囲より上位の範囲である場合、通知モジュール５２はオーバー露出を補正可能であることを通知するダイアログをＬＣＤ２０に表示する。逆に下位の範囲である場合はアンダー露出を補正可能であることを通知するダイアログをＬＣＤ２０に表示する。
【００４１】
図８は、オーバー露出を補正可能であることを通知するダイアログ６１を示す模式図である。これによりユーザはディジタル画像を救済可能であることを知ることができ、救済可能であることを知らずにあきらめてしまうようなことを防止できる。アンダー露出の場合も同様である。
画像合成モジュール５３は、主画像と副画像とを合成する処理を実行するためのモジュールである。主画像と副画像とを合成すると、当該主画像及び当該副画像の元となったディジタル画像が復元される。すなわち合成とは主画像と副画像とからディジタル画像を復元することに相当する。主画像と副画像とを合成するとき、複数ある副画像のどれが主画像より露出が高い側であり、どれが低い側であるかを識別する必要がある。この識別は、ファイルに付属情報として格納されている第一の階調範囲を表す情報、及び第二の階調範囲を表す情報を用いることで行うことができる。合成する処理は主画像と副画像とを生成する処理と実質的に逆の処理であるため詳細な説明は省略する。
【００４２】
表示選択モジュール５４は、合成画像を表示する方法の選択を受け付ける処理を実行するためのモジュールである。表示選択モジュール５４は、合成画像の階調値を拡張又は圧縮して表示するか、それとも階調範囲を選択して表示するかの選択を受け付けるためのダイアログを表示する。当該ダイアログで拡張又は圧縮が選択されたときは表示モジュール５１に拡張又は圧縮して表示することを指示し、階調範囲の選択が選択されたときは範囲選択モジュール５５を呼び出す。
【００４３】
範囲選択モジュール５５は、合成画像の階調範囲のうち画像再生装置に再生する階調範囲の選択を受け付ける処理を実行するためのモジュールである。
図９は、範囲選択モジュール５５によって表示されるダイアログ６２の一例を示す模式図である。ダイアログ６２には階調範囲を選択するためのスライダーバーが表示される。スライダーバーの幅はＬＣＤ２０が再生可能な階調数に対応しており、またスライダーバーが移動可能な幅はそのとき再生対象となっている合成画像の階調範囲に対応している。例えばＬＣＤ２０が再生可能な階調数が２５６であり、合成画像の階調範囲が０〜５１１であるとすると、スライダーバーの幅とスライダーバーが移動可能な幅との比は２５６：５１２となる。ユーザは十字キー２１の左端を一度押下すことでスライダーバーを露出の低い方向に１階調分だけシフトさせることができ、逆に十字キー２１の右端を押下することで高い露出の方向に１階調分だけシフトさせることができる。スライダーバーをシフトさせるとその都度表示モジュール５１が呼び出される。
【００４４】
尚、第一実施例では階調範囲を直に選択しているが、露出範囲から階調範囲を一意に特定することもできるため、露出範囲を選択することで階調範囲を選択するようにしてもよい。ＤＳＣ１は露出調整の失敗による失敗撮影を救済するものであるため、露出範囲で選択できるようにした方がより直感的な修正が可能であるといえる。
【００４５】
表示モジュール５１は、主画像あるいは合成画像を表示するモジュールである。画像再生プログラムが実行されると表示モジュール５１が最初に呼び出され、主画像を表示する。表示モジュール５１は表示選択モジュール５４から拡張又は圧縮が指示されると、合成画像の階調値を所定の規則に従ってＬＣＤ２０の階調数の範囲内に納まるように変換する。この結果、合成画像はＬＣＤ２０の階調数に合わせて減色あるいは増色されて再生される。範囲選択モジュール５５から呼び出されたときは範囲選択モジュール５５で選択された階調範囲に基づいて合成画像を再生する。
【００４６】
図１０（Ａ）及び図１０（Ｂ）は、階調範囲の変化を示す模式図である。また、図１１（Ａ）、図１１（Ｂ）及び図１１（Ｃ）は失敗が救済される様子を説明するための模式図である。例えば現在選択されている階調範囲が１２８〜３８４であったとする。選択範囲が高い露出の方向に１階調分だけシフトされたとすると、選択されている階調範囲は１２９〜３８５に変化することになる。この場合、生成された合成画像を構成する画素のうち階調値が３８５を越える画素については当該画素の階調値を３８５に置き換え、また階調値が１２９未満の画素については１２９に置き換える。次に、全ての階調値から１２９を減じて０〜２５５までで表される階調値に変換してＬＣＤ２０に表示する。この結果、選択された階調範囲に応じた合成画像が表示される。高い露出の方向に更に１階調分だけシフトされたとすると、生成された合成画像を構成する画素のうち階調値が３８６を越える画素については当該画素の階調値を３８６に置き換え、また階調値が１３０に満たない画素については１３０に置き換えて同様に表示する。例えば図１１（Ａ）に示すように露出アンダーで所々に黒つぶれが生じている場合、上述したシフトを繰り返すことによって図１１（Ｂ）に示すように黒つぶれが徐々に小さくなり、更に繰り返すことで図１１（Ｃ）に示すように露出アンダーが救済された高画質の画像が得られる。ユーザは階調範囲のシフトを適宜調整することでどのように救済するかを自分の好みに合わせて細かく選択できる。
【００４７】
次に、主画像又は合成画像を表示する処理の流れについて説明する。
図１２は、主画像又は合成画像を表示する処理の流れを示すフローチャートである。
Ｓ２０５では、まず主画像をＬＣＤ２０に表示する。
Ｓ２１０では、ファイルから第一の階調範囲を表す情報と第二の階調範囲を表す情報とを読み込みんで露出の補正が可能であるか否かを判定する。可能なときはＳ２１５に進む。
【００４８】
Ｓ２１５では、ダイアログ６１を表示し、補正の実行が選択されるとＳ２２０に進む。
Ｓ２２０では、ＤＳＣ１は主画像と副画像とを合成して合成画像を生成する。
Ｓ２２５では、ダイアログを表示して合成画像の階調値を拡張又は圧縮して表示するか、それとも階調範囲を選択するかの選択を受け付ける。拡張又は圧縮が選択されるとＳ２３０に進み、階調範囲の選択が選択されたときはＳ２３５に進む。
【００４９】
Ｓ２３０では、合成画像を拡張又は圧縮して表示する。
Ｓ２３５では、ダイアログ６２を表示して再生対象の階調範囲の選択を受け付ける。
Ｓ２４０では、選択された階調範囲に基づいて合成画像を表示する。
以上説明した本発明の第一実施例に係るＤＳＣ１によると、出力されたディジタル画像より小さい階調数の主画像を生成するため、再生可能な階調数が小さいＬＣＤ２０でも再生できる。また、例えば一般にＰＣが表示できる階調数は２５６であるため、こうしたＰＣを有する知人に画像を配布する場合、出力されたディジタル画像ではなく主画像を配布することで、配布された知人側でも画像を再生することができる。また、第一の階調範囲に重ならない第二の階調範囲内にある階調値に基づいて副画像を生成するため、主画像と副画像とを合成して階調数の大きい合成画像を生成することにより、主画像においてハイライト飛びや黒つぶれが起きている場所を副画像で補うことが可能になる。よってＤＳＣ１によると、再生可能な階調数が小さいＬＣＤ２０でも再生できるディジタル画像を生成でき、且つ露出調整の失敗による失敗撮影を救済できる。
【００５０】
尚、第一実施例では画像再生システムをＤＳＣ１のみで構成する場合を例に説明したが、ＤＳＣ１とパーソナルコンピュータ（ＰＣ）とで構成し、ＰＣが備えるディスプレイを画像再生装置として用いるようにしてもよい。
（第二実施例）
第二実施例は、印刷することによってディジタル画像を再生する場合の例である。尚、第二実施例では第一実施例と実質的に同一の部分については同一の符号を付して説明を省略する。
【００５１】
図１３は、第二実施例に係る画像再生システム２を示す模式図である。画像再生システム２は撮像装置としてのＤＳＣ３と画像再生装置としてのプリンタ４とで構成され、ＤＳＣ３とプリンタ４とは相互に通信可能に接続されている。プリンタ４は出力されるディジタル画像の階調数と同じかあるいはそれ以上の階調数でディジタル画像を印刷可能であるものとする。
【００５２】
図１４は、画像再生プログラムの論理的な構成を示すブロック図である。画像再生プログラムは、印刷選択モジュール６１、画像合成モジュール５３、及び印刷モジュール６２を備える。
印刷選択モジュール６１は、主画像を印刷するか合成画像を印刷するかの選択を受け付けるモジュールである。印刷選択モジュール６１はＤＳＣ３で実行されるモジュールであって、印刷するディジタル画像の選択を受け付ける画面と、選択されたディジタル画像について主画像を印刷するか合成画像を印刷するかの選択を受け付ける画面とを表示し、ユーザの選択に応じてプリンタ４に印刷を指示する。
【００５３】
印刷モジュール６２は、主画像の印刷が選択されたときは主画像を印刷し、合成画像の印刷が選択されたときは合成画像を印刷する処理を実行するためのモジュールである。
次に、主画像又は合成画像を印刷する処理の流れについて説明する。
図１５は、主画像又は合成画像を印刷する処理の流れを示すフローチャートである。
【００５４】
Ｓ３０５では、印刷する画像の選択を受け付ける。
Ｓ３１０では、主画像を印刷するか合成画像を印刷するかの選択を受け付ける。主画像が選択されたときはＳ３１５に進み、合成画像が選択されたときはＳ３２０に進む。
Ｓ３１５では、主画像を印刷する。
【００５５】
Ｓ３２０では、主画像と副画像とを合成して合成画像を生成する。
Ｓ３２５では、合成画像を印刷する。
尚、合成画像の生成はＤＳＣ３側で行うようにしてもよいし、生成した合成画像において印刷対象とする階調範囲を選択できるようにしてもよい。逆に、プリンタ４側で画像の選択や主画像の印刷か合成画像の印刷かを選択できるようにしてもよい。
【００５６】
（第三実施例）
第三実施例は、被写体の光学像を露出が互いに異なる複数のディジタル画像に変換する場合の例である。
第三実施例のＤＳＣは、シャッターボタンが一度押下されると露出を変化させつつ複数回の撮影を行って露出が互いに異なる複数のディジタル画像を出力する。例えば最初は標準露出、次に＋１ＥＶ、次に−１ＥＶに設定して撮影する。
【００５７】
図１６は、出力された複数のディジタル画像の階調値を説明するための模式図である。被写体の明暗差が大きい場合、あるいはイメージセンサ１２のラチチュードが狭い場合、一つのディジタル画像だけでは被写体の明暗差を表現しきれない場合がある。例えば図中のディジタル画像７１が標準露出で撮影したときのディジタル画像であるとすると、図示するようにディジタル画像７１だけでは明暗差が表現しきれていない。このことは、一つのディジタル画像だけではハイライト飛びや黒つぶれを解消できないことを意味している。すなわち失敗撮影を救済することができないことを意味している。しかしながら、＋１ＥＶで撮影したディジタル画像７２や−１ＥＶで撮影したディジタル画像７３にはディジタル画像７１では表現できていない階調値が表現されている。従って、ディジタル画像７１にディジタル画像７２やディジタル画像７３を組み合わせれば失敗撮影を救済できることになる。
【００５８】
次に、主画像と副画像との生成について説明する。ＤＳＣは標準露出で撮影されたディジタル画像７１に基づいて第一実施例と同様に主画像を生成する。次に＋１ＥＶで撮影したディジタル画像７２と−１ＥＶで撮影したディジタル画像７３とに基づいて副画像を生成する。具体的には、ディジタル画像７１において露出範囲ｂに対応する階調範囲を第一の階調範囲として主画像を生成する。ディジタル画像７２及びディジタル画像７３はディジタル画像７１と露出範囲が一部重なっている。このため副画像の生成では露出範囲ｂとの境界になっている露出を判定し、判定した露出に対応する階調値を第一実施例でいうところの第二の階調範囲の上限値あるいは下限値とし、当該上限値あるいは下限値に基づいて第一実施例と同様にして生成する。この結果、露出範囲ａに対応する副画像と露出範囲ｃに対応する副画像とが生成される。尚、ディジタル画像７２及びディジタル画像７３をそのまま副画像として記憶させるようにしてもよい。この場合は再生するときに露出範囲ａあるいは露出範囲ｃに対応する階調値を用いて合成画像を生成することになる。
【００５９】
以上説明した本発明の第三実施例に係る画像再生システムによると、被写体の明暗差が大きい場合、あるいはイメージセンサ１２のラチチュードが狭い場合であっても、再生可能な階調数が小さいＬＣＤ２０への表示と失敗撮影の救済とを両立できる。
【図面の簡単な説明】
【００６０】
【図１】本発明の第一実施例に係る主画像及び副画像を示す模式図。
【図２】本発明の第一実施例に係る画像再生システムのブロック図。
【図３】本発明の第一実施例に係る画像記憶プログラムのブロック図。
【図４】（Ａ）及び（Ｂ）は本発明の第一実施例に係る圧縮を説明するための模式図。
【図５】本発明の第一実施例に係るファイル構造を示す模式図。
【図６】本発明の第一実施例に係るフローチャート。
【図７】本発明の第一実施例に係る画像再生プログラムのブロック図。
【図８】本発明の第一実施例に係るダイアログを示す模式図。
【図９】本発明の第一実施例に係るダイアログを示す模式図。
【図１０】本発明の第一実施例に係る階調範囲の選択を示す模式図。
【図１１】本発明の第一実施例に係る失敗撮影の救済を示す模式図。
【図１２】本発明の第一実施例に係るフローチャート。
【図１３】本発明の第二実施例に係る画像再生システムを示す模式図。
【図１４】本発明の第二実施例に係る画像再生プログラムのブロック図。
【図１５】本発明の第二実施例に係るフローチャート。
【図１６】本発明の第三実施例に係る主画像及び副画像を示す模式図。
【符号の説明】
【００６１】
１  ＤＳＣ（撮像装置、画像再生装置、画像再生システム）、２  画像再生システム、３  ＤＳＣ（撮像装置、画像再生装置）、４  プリンタ（画像合成手段、再生手段、画像再生装置）、１１  光学系（撮像手段）、１２  イメージセンサ（撮像手段）、１３  ＡＦＥ部（撮像手段）、１４  ディジタル画像処理部（撮像手段）、１５  カード読み書き部（画像保存手段）、１６  リムーバブルメモリ（記憶手段）、１８  制御部（撮像手段、主画像生成手段、副画像生成手段、画像保存手段、画像合成手段、再生手段、選択受付手段、階調範囲選択手段、通知手段）、２０  ＬＣＤ（通知手段、再生手段）
【図１】
2005197886.tif 000003
【図２】
2005197886.tif 000004
【図３】
2005197886.tif 000005
【図４】
2005197886.tif 000006
【図５】
2005197886.tif 000007
【図６】
2005197886.tif 000008
【図７】
2005197886.tif 000009
【図８】
2005197886.tif 000010
【図９】
2005197886.tif 000011
【図１０】
2005197886.tif 000012
【図１１】
2005197886.tif 000013
【図１２】
2005197886.tif 000014
【図１３】
2005197886.tif 000015
【図１４】
2005197886.tif 000016
【図１５】
2005197886.tif 000017
【図１６】
2005197886.tif 000018