(57)【要約】【課題】露光条件が異なる複数の画像データを１つの画像ファイルに格納することにより、印刷／表示装置は、それぞれのダイナミックレンジに適した階調特性の画像を選択／合成して印刷／表示することが可能となる画像データ生成装置を提供する。【解決手段】デジタルカメラ１０１は、第１の露光条件で撮影された第１の画像データを生成する手段と、第２の露光条件で撮影された第２の画像データを生成する手段と、第１の画像データと第２の画像データとを１つのファイルに格納して記録する手段と、を備える。【選択図】図３
2018023033.tif 000002
【特許請求の範囲】
【請求項１】
第１の露光条件で撮影された第１の画像データを生成する手段と、
前記第１の露光条件と異なる第２の露光条件で撮影された第２の画像データを生成する手段と、
前記第１の画像データと前記第２の画像データとを１つのファイルに格納して記録する手段と、
を備えた画像データ生成装置。
【請求項２】
第１の露光条件で撮影された第１の画像データを生成する手段と、
前記第１の露光条件と異なる第２の露光条件で撮影された第３の画像データを生成する手段であって、前記第１の露光条件と前記第２の露光条件の差分の露光条件で撮影された第２の画像データと前記第１の画像データを合成して第３の画像データを生成する手段と、
前記第１の画像データ又は前記第２の画像データと前記第３の画像データとを１つのファイルに格納して記録する手段と、
を備えた画像データ生成装置。
【請求項３】
第１の露光条件で撮影された第１の画像データを生成する手段と、
前記第１の露光条件と異なる第２の露光条件で撮影された第２の画像データを生成する手段と、
前記第１の画像データと前記第２の画像データを合成した第４の画像データを生成する手段と、
前記第１の画像データ又は前記第２の画像データと前記第４の画像データとを１つのファイルに格納して記録する手段と、
を備えた画像データ生成装置。
【請求項４】
前記第１の画像データを生成する手段は、第１の階調特性を有する第１の画像データを生成し、
前記第２の画像データを生成する手段は、前記第１の階調特性を有する第２の画像データを生成し、
前記第４の画像データを生成する手段は、前記第１の画像データと前記第２の画像データを合成して前記第１の階調特性と異なる第２の階調特性を有する第４の画像データを生成する、請求項３記載の画像データ生成装置。
【請求項５】
前記第１の画像データを生成するための第１の撮影動作と、前記第２の画像データを生成するための第２の撮影動作が時間的に並行して行われる、請求項１記載の画像データ生成装置。
【請求項６】
表示装置で表示すべき画像ファイルに異なる露光条件で撮影され同じ第１の階調特性を有する第１の画像データと第２の画像データが含まれるかどうかを判断する手段と、
前記第１の画像データと前記第２の画像データが前記画像ファイルに含まれており、かつ、前記表示装置が第２の階調特性に対応している場合には、前記第１の画像データと前記第２の画像データを合成して前記第１の階調特性と異なる第２の階調特性を有する第３の画像データを生成する手段と、
前記第３の画像データを再生する手段と、
を備えた画像データ再生装置。
【請求項７】
編集すべき画像ファイルに異なる露光条件で撮影され同じ第１の階調特性を有する第１の画像データと第２の画像データが含まれるかどうかを判断する手段と、
前記第１の画像データと前記第２の画像データが前記画像ファイルに含まれており、かつ、表示装置が第２の階調特性に対応している場合には、前記第１の画像データと前記第２の画像データを合成して前記第１の階調特性と異なる第２の階調特性を有する第３の画像データを生成する手段と、
前記第３の画像データを記録する手段と、
を備えた画像データ編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、露光条件が異なる複数の画像データを１つのファイルに格納する画像ファイルを記録する画像データ生成装置などに関する。
【背景技術】
【０００２】
特許文献１は、複数の画像を１つのファイルに格納可能な画像ファイルを生成するデジタルスチルカメラ（以下、「デジタルカメラ」という。）を開示する。
【０００３】
このデジタルカメラは、撮像した画像データ（例えば、横６０００画素×縦４０００画素）から、表示用の画像データ（例えば、横１９２０画素×縦１０８０画素）を生成する。表示用の画像データは、ハイビジョンテレビの画素数を有する。このデジタルカメラは、撮像した画像データと表示用の画像データとを同一の画像ファイル内で管理する。
【０００４】
これにより、このデジタルカメラは、撮影した画像の全画素から成る画像データと、ハイビジョンテレビでの表示用の画像データとを、１つのファイルに格納して記録することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００９／０６６４７１号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の特許文献１によれば、それぞれの表示装置の画素数に合致した複数の画像データを画像ファイルに格納することにより、迅速に画像を表示できるという利点がある。一方、プリンタやテレビなど、印刷／表示のダイナミックレンジが異なる装置において、印刷／表示される画像の階調特性が同じとなり、それぞれの印刷／表示装置に適した画像の印刷／表示ができない。
【０００７】
本開示は、上記の課題を考慮してなされたものであり、露光条件が異なる複数の画像データを１つの画像ファイルに格納することにより、印刷／表示装置は、それぞれのダイナミックレンジに適した階調特性の画像を選択／合成して印刷／表示することが可能となる画像データ生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）本開示にかかる第１の画像データ生成装置は、第１の露光条件で撮影された第１の画像データを生成する手段と、前記第１の露光条件と異なる第２の露光条件で撮影された第２の画像データを生成する手段と、前記第１の画像データと前記第２の画像データとを１つのファイルに格納して記録する手段と、を備える。
【０００９】
（２）本開示にかかる第２の画像データ生成装置は、第１の露光条件で撮影された第１の画像データを生成する手段と、前記第１の露光条件と異なる第２の露光条件で撮影された第３の画像データを生成する手段であって、前記第１の露光条件と前記第２の露光条件の差分の露光条件で撮影された第２の画像データと前記第１の画像データを合成して第３の画像データを生成する手段と、前記第１の画像データ又は前記第２の画像データと前記第３の画像データとを１つのファイルに格納して記録する手段と、を備える。
【００１０】
（３）本開示にかかる第３の画像データ生成装置は、第１の露光条件で撮影された第１の画像データを生成する手段と、前記第１の露光条件と異なる第２の露光条件で撮影された第２の画像データを生成する手段と、前記第１の画像データと前記第２の画像データを合成した第４の画像データを生成する手段と、前記第１の画像データ又は前記第２の画像データと前記第４の画像データとを１つのファイルに格納して記録する手段と、を備える。
【００１１】
（４）本開示にかかる第４の画像データ生成装置は、第１の露光条件で撮影され第１の階調特性を有する第１の画像データを生成する手段と、前記第１の露光条件と異なる第２の露光条件で撮影され前記第１の階調特性を有する第２の画像データを生成する手段と、前記第１の画像データと前記第２の画像データを合成して前記第１の階調特性と異なる第２の階調特性を有する第４の画像データを生成する手段と、前記第１の画像データ又は前記第２の画像データと前記第４の画像データとを１つのファイルに格納して記録する手段と、を備える。
【００１２】
（５）本開示にかかる画像データ再生装置は、表示装置で表示すべき画像ファイルに異なる露光条件で撮影され同じ第１の階調特性を有する第１の画像データと第２の画像データが含まれるかどうかを判断する手段と、前記第１の画像データと前記第２の画像データが前記画像ファイルに含まれており、かつ、前記表示装置が第２の階調特性に対応している場合には、前記第１の画像データと前記第２の画像データを合成して前記第１の階調特性と異なる第２の階調特性を有する第３の画像データを生成する手段と、前記第３の画像データを再生する手段と、を備える。
【００１３】
（６）本開示にかかる画像データ編集装置は、編集すべき画像ファイルに異なる露光条件で撮影され同じ第１の階調特性を有する第１の画像データと第２の画像データが含まれるかどうかを判断する手段と、前記第１の画像データと前記第２の画像データが前記画像ファイルに含まれており、かつ、表示装置が第２の階調特性に対応している場合には、前記第１の画像データと前記第２の画像データを合成して前記第１の階調特性と異なる第２の階調特性を有する第３の画像データを生成する手段と、前記第３の画像データを記録する手段と、を備える。
【発明の効果】
【００１４】
本開示の画像データ生成装置によれば、複数の画像データを格納する画像データを１つのファイルを格納・記録することができる。本開示の画像データ再生装置によれば、表示装置の階調特性に適した画像を選択して再生することができる。本開示の画像データ編集装置によれば、表示生装置のダイナミックレンジや使用者の意図に沿って画像の階調特性を編集・加工することができる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態１にかかるデジタルカメラの構成を示すブロック図
【図２】実施の形態１にかかるデジタルカメラの背面図
【図３】実施の形態１における画像ファイルのデータ構成図
【図４】画像ファイルの他のデータ構成図
【図５】管理テーブルＴ１０の詳細を示した図
【図６】実施の形態１における第１の記録動作のフローチャート
【図７】実施の形態１における第２の記録動作のフローチャート
【図８】実施の形態１における第３の記録動作のフローチャート
【図９】実施の形態１における第４の記録動作のフローチャート
【図１０】異なる輝度を有する被写体を含む記録画像を示した模式図
【図１１】図１０の記録画像の輝度ヒストグラムを示した図
【図１２】実施の形態１における第４の記録動作の合成処理のフローチャート
【図１３】実施の形態１における第４の記録動作の合成処理の概念図
【図１４】実施の形態１における再生動作のフローチャート
【図１５】画像ファイルの他のデータ構成図
【図１６】別の管理テーブルＴ１０の詳細を示した図
【発明を実施するための形態】
【００１６】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１７】
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１８】
（実施の形態１）
以下、実施の形態１では画像データ処理装置をデジタルカメラに適用した場合について図面を参照して説明する。
【００１９】
〔１−構成〕
〔１−１．デジタルカメラの電気的構成〕
図１は、本開示の実施の形態１にかかるデジタルカメラ１０１の構成を示すブロック図である。デジタルカメラ１０１は、光学系１２０により形成された被写体像をイメージセンサ１４１で撮像する。イメージセンサ１４１で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード１０８や内蔵メモリ１０９に格納される。また、メモリカード１０８などに格納された画像データは、液晶モニタ１１０で表示可能である。以下、デジタルカメラ１０１の構成を詳細に説明する。
【００２０】
光学系１２０は、対物レンズ１２１、ズームレンズ１２２、絞り１２３、ＯＩＳユニット１２４、フォーカスレンズ１２５を含む。光学系１２０は、被写体からの光を集光し、被写体像を形成する。
【００２１】
対物レンズ１２１は、最も被写体側に配置されたレンズである。ズームレンズ１２２は、光学系１２０の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。絞り１２３は、使用者の設定に応じて若しくは自動で、開口部の大きさを調整し、光学系１２０を透過する光の量を調整する。ＯＩＳユニット１２４は、内部に、光軸に垂直な面内で移動可能な補正レンズを有する。ＯＩＳユニット１２４は、デジタルカメラ１０１のぶれを相殺する方向に補正レンズを駆動することにより、被写体像のぶれを低減する。フォーカスレンズ１２５は、光学系１２０の光軸に沿って移動することにより、被写体像のピントを調整する。
【００２２】
駆動系１３０は、光学系１２０内の各光学素子を駆動する。
【００２３】
ズームモータ１３２は、ズームレンズ１２２を光学系１２０の光軸に沿って駆動する。ズームモータ１３２は、カム機構やボールネジなどの機構を介してズームレンズ１２２を駆動するようにしてもよい。ズームモータ１３２は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。
【００２４】
絞りアクチュエータ１３３は、絞り１２３の開口部の大きさを変えるための駆動部である。絞りアクチュエータ１３３はモータなどで実現可能である。
【００２５】
ＯＩＳアクチュエータ１３４は、ＯＩＳユニット１２４内の補正レンズを光軸と垂直な面内で駆動する。ＯＩＳアクチュエータ１３４は、平面コイルや超音波モータなどで実現できる。
【００２６】
フォーカスモータ１３５は、フォーカスレンズ１２５を光学系１２０の光軸に沿って駆動する。フォーカスモータ１３５は、カム機構やボールネジなどの機構を介してフォーカスレンズ１２５を駆動するようにしてもよい。フォーカスモータ１３５は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。また、フォーカスモータ１３５を設けず、ズームモータ１３２をズームレンズ１２２及びフォーカスレンズ１２５を駆動する駆動手段として兼用してもよい。
【００２７】
イメージセンサ１４１は、ＣＭＯＳまたはＣＣＤで構成されており、光学系１２０で形成された被写体像を撮像して、画像データを生成する。タイミングジェネレータ１４２は、イメージセンサ１４１を駆動するためのタイミング信号を生成する。イメージセンサ１４１は、タイミングジェネレータ１４２で生成されるタイミング信号に従って、露光、転送、電子シャッタなどの各種の動作を行う。ＡＤコンバータ１０５は、イメージセンサ１４１で生成された画像データをデジタル信号に変換する。
【００２８】
画像処理部１６０は、ＡＤコンバータ１０５で変換された画像データに対して各種の処理を施す。画像処理部１６０は、イメージセンサ１４１で生成された画像データに対して処理を施し、メモリカード１０８に記録するための画像データを生成したり、液晶モニタ１１０に表示するための画像データを生成したりする。また、画像処理部１６０は、メモリカード１０８に格納された画像データに対して処理を施し、液晶モニタ１１０に表示するための画像データを生成したり、メモリカード１０８に再格納するための画像データを生成したり、通信部１１１を介して外部装置に送信するための画像データを生成したりする。画像処理部１６０は、ＤＳＰやマイクロコンピュータなどで実現可能である。
【００２９】
前処理部１６１は、ＡＤコンバータ１０５で変換された画像データに対して、ガンマ補正やホワイトバランス補正、傷補正などの各種画像処理を行う。ＹＣ変換部１６２は、ＲＧＢで表現される画像データをＹＣ（Ｙ：輝度信号、Ｃ：色差信号）信号で表現される画像データに変換する。
【００３０】
電子ズーム処理部１６５は、画像データに対して電子的に拡大処理又は縮小処理を行う。その際、電子ズーム処理部１６５は、画像データに対して、画像データの一部の切り出し処理や、間引き処理、補間処理などの処理を適宜実行する。要するに、電子ズーム処理部１６５は、画像データの画素数を変換する手段である。
【００３１】
圧縮部１６３は、ＤＣＴ（離散コサイン変換）、ハフマン符号化などをおこなうことにより、ＹＣで表現される画像データを圧縮する。圧縮部１６３は、例えば、ＪＰＥＧ規格に準拠した圧縮形式により画像データを圧縮する。但し、本開示は、ＪＰＥＧ形式の画像データに限定されない。
【００３２】
伸張部１６４は、メモリカード１０８に格納された圧縮済みの画像データを液晶モニタ１１０で再生する場合などに、この画像データを非圧縮の状態に復号化する。
【００３３】
合成部１６６は、バッファメモリ１１５、メモリカード１０８、内蔵メモリ１０９などに格納されている複数の画像データを合成し、新たな画像を生成する。合成される画像はＹＣで表現されてもよいし、ＲＧＢで表現されてもよいし、ＲＡＷ画像でもよい。合成された画像は、合成前の画像と階調特性を変化させることができる。
【００３４】
コントローラ１５０は、デジタルカメラ１０１全体を制御する制御手段である。コントローラ１５０は、半導体素子などで実現可能である。コントローラ１５０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアを組み合わせることにより実現してもよい。コントローラ１５０は、マイクロコンピュータで実現できる。
【００３５】
バッファメモリ１１５は、画像処理部１６０及びコントローラ１５０のワークメモリとして機能する。バッファメモリ１１５は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。カードスロット１０７は、メモリカード１０８を着脱可能である。カードスロット１０７は、機械的及び電気的にメモリカード１０８と接続可能である。メモリカード１０８は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。
【００３６】
内蔵メモリ１０９は、フラッシュメモリや強誘電体メモリなどで実現可能である。コントローラ１５０は、生成した画像ファイルをメモリカード１０８又は内蔵メモリ１０９に格納可能である。また、コントローラ１５０は、メモリカード１０８に格納されている画像ファイルを読み出して、内蔵メモリ１０９に格納したり、内蔵メモリ１０９に格納されている画像ファイルを読み出して、メモリカード１０８に格納したりすることができる。
【００３７】
液晶モニタ１１０は、イメージセンサ１４１で生成した画像データが示す画像やメモリカード１０８などから読み出した画像データが示す画像を表示可能である。また、液晶モニタ１１０は、デジタルカメラ１０１の各種の設定情報を表示可能である。例えば、液晶モニタ１１０は、ＥＶ値などを表示できる。
【００３８】
通信部１１１は、外部装置との間で通信を行うための手段である。通信部１１１は、無線ＬＡＮユニットやＵＳＢ通信ユニットなどで構成できる。操作部１７０は、各種操作手段を総称した構成要素である。操作部１７０は、使用者の指示を受け付け、その指示をコントローラ１５０に伝える。フラッシュライト１１３は、被写体を照射する光を発光する。
【００３９】
回転検出部１９０は、デジタルカメラ１０１の回転状態を検出する。コントローラ１５０は、回転検出部１９０が検出したデジタルカメラ１０１の回転状態に関する情報を取得することができる。例えば、回転検出部１９０は、回転センサや、角速度センサで実現できる。なお、ＯＩＳアクチュエータ１３４が、回転検出部１９０の役目を果たしてもよい。駆動電流の大きさによって、筐体がどれだけ傾いているか検出することができるからである。
【００４０】
〔１−２．デジタルカメラの背面構成〕
図２は、本開示の第１の実施の形態にかかるデジタルカメラ１０１の背面図である。以下、図２を用いて、各種操作部材について説明する。
【００４１】
レリーズ釦１７１、ズームダイアル１７２、モードダイアル１７４は、カメラ本体の上面に配置されている。レリーズ釦１７１は、押下操作を受け付ける。コントローラ１５０は、レリーズ釦１７１が半押し操作されるのに応じて、ＡＥ制御やＡＦ制御を開始する。また、デジタルカメラ１０１は、レリーズ釦１７１が全押し操作されるのに応じて、被写体の撮像を行う。
【００４２】
ズームダイアル１７２は、レリーズ釦１７１の周りに回転可能に配置されている。コントローラ１５０は、ズームダイアル１７２が回転操作されるのに応じて、光学ズーム制御や電子ズーム制御を開始する。
【００４３】
モードダイアル１７４は、回転操作を受け付ける。モードダイアル１７４は、目盛りが設けられており、各目盛りにはデジタルカメラ１０１の動作モードが割り当てられている。デジタルカメラ１０１の動作モードとは、例えば、再生モードや撮影モードなどを含む。コントローラ１５０は、モードダイアル１７４の回転操作に応じて、モードダイアル１７４が指定する動作モードでデジタルカメラ１０１を制御する。
【００４４】
電源スイッチ１７３、十字キー１８０、削除釦１８６、表示釦１８７、液晶モニタ１１０は、カメラ本体の背面に配置されている。電源スイッチ１７３は、スライド操作を受け付ける。電源スイッチ１７３は、スライド操作に応じて、デジタルカメラ１０１の電源状態を切り替える。
【００４５】
液晶モニタ１１０は、モードダイアル１７４により選択された動作モードに応じて、メモリカード１０８に格納された画像データやメニュー画面などを表示する。
【００４６】
十字キー１８０は、４方向及び中央部の５パターン（１８１〜１８５）の押下操作を受け付ける。コントローラ１５０は、十字キー１８０が押下操作されるのに応じて、再生画像データの切り替えなどの液晶モニタ１１０の表示の操作を行う。
【００４７】
削除釦１８６は、押下操作を受け付ける。コントローラ１５０は、削除釦１８６が押下操作されるのに応じて、予め選択された画像データを削除する。
【００４８】
表示釦１８７は、押下操作を受け付ける。コントローラ１５０は、表示釦１８７が押下操作されるのに応じて、液晶モニタ１１０の表示内容を切り替える。
【００４９】
〔１−３．画像ファイルフォーマットのデータ構造〕
〔１−３−１．ファイル全体の構造〕
図３は、本開示の第１の実施の形態にかかるデジタルカメラ１０１が取り扱う画像ファイルフォーマットのデータ構造を示した図である。図３を用いて画像ファイルフォーマットのデータ構造について説明する。
【００５０】
画像ファイルＤ１０は、メイン画像データとしての第１の画像データＤ２５と、サブの画像データとしての第２の画像データＤ３３とを格納する。第２の画像データＤ３３は、第１の画像データＤ２５とは異なる露光条件で作成されている。つまり、第１の画像データＤ２５は第１の露光条件で作成され、第２の画像データＤ３３は第１の露光条件と異なる第２の露光条件で生成されている。ここで、異なる露光条件とは、異なる露光時間やＮＤフィルタにより減光する処置の有無などである。なお、第１の画像データＤ２５を第２の露光条件で作成された画像データに、第２の画像データＤ３３を第２の露光条件と異なる第１の露光条件で生成された画像データに割り付けても構わない。画像ファイルＤ１０は後述する第１の記録動作、第２の記録動作を用いて作成される。
【００５１】
なお、図４（ａ）に示す画像ファイルＤ４０は後述する第３の記録動作を用いて作成され、図４（ｂ）に示す画像ファイルＤ５０は後述する第４の記録動作を用いて作成される。画像ファイルＤ４０又は画像ファイルＤ５０の第１の画像データＤ２５は汎用的なデータであり、画像ファイルＤ４０の第３の画像データＤ４３又は画像ファイルＤ５０の第４の画像データＤ５３は上位互換のデータである。
【００５２】
メモリカード１０８内に記憶されているＦＡＴ（Ｆｉｌｅ  Ａｌｌｏｃａｔｉｏｎ  Ｔａｂｌｅ）は、先頭識別子Ｄ２２や末尾識別子Ｄ３４などを管理することにより、画像ファイルＤ１０を１つのファイルとして管理する。コントローラ１５０は、ＦＡＴを読み出すことにより、画像ファイル同士を区別して管理できる。
【００５３】
以下、画像ファイルＤ１０の構造を詳細に説明する。
【００５４】
〔１−３−２．メインヘッダ部〕
〔１−３−２−１．メインヘッダ部の全体構成〕
メインヘッダ部Ｄ２０は、先頭識別子Ｄ２２とヘッダ部Ｄ２３とを有する。
【００５５】
先頭識別子Ｄ２２は、画像ファイルＤ１０の起点をあらわすマーカであり、例えば、ＪＰＥＧ規格で規定されたファイルのスタート情報（ｘＦＦＤ８）である。
【００５６】
ヘッダ部Ｄ２３は、画像ファイルＤ１０全体に対する管理データを格納する領域である。ヘッダ部Ｄ２３は、管理データとして、管理テーブルＴ１０、サムネイル画像データＤ２４等を含む。
【００５７】
管理テーブルＴ１０は、第１の画像データＤ２５と第２の画像データＤ３３とを互いに区別するための情報を含む。
【００５８】
サムネイル画像データＤ２４は、第１の画像データＤ２５に基づいて作成された縮小画像データである。サムネイル画像データＤ２４は、例えば、横１６０ドット×縦１２０ドットの画像サイズである。Ｅｘｉｆ規格では、サムネイル画像データＤ２４は、ヘッダ部Ｄ２３に格納されるものとして規定されている。
【００５９】
〔１−３−２−２．管理テーブル〕
図５を用いて、管理テーブルＴ１０について詳細に説明する。図５（ａ）〜（ｄ）は、管理テーブルＴ１０の模式図である。管理テーブルＴ１０は、メインの画像データとサブの画像データに関する情報を保持するものであり、先頭アドレスＴ１１と、画像の階調特性情報Ｔ１２、画像の合成の有無を示す合成状態情報Ｔ１３、露光を変えて撮影した内の何枚目に画像を撮影したかを示す撮影順番Ｔ１４、画像の露光時間の長短を示す露光条件情報Ｔ１５とを関連付けた状態で各情報を管理する。
【００６０】
先頭アドレスＴ１１は、画像データが格納されている領域の先頭アドレスを示す情報である。
【００６１】
画像の階調特性情報Ｔ１２は、メモリカード１０８に何ビットで画像が格納されるかという情報と、画像の階調の応答特性を示す数値であるガンマ値である。
【００６２】
次に、各画像の識別子をヘッダ部Ｄ２３に格納する理由を述べる。仮に、各画像の識別子がない場合、画像データを検索する際に、コントローラ１５０は、全ての画像ヘッダ又は各画像データを読み出す必要がある。しかし、各画像データを検索する毎に、全ての画像ヘッダ又は画像データを読み出していたのでは処理が煩雑となり、コントローラ１５０の処理負担が大きいものとなる。そこで、このような問題を解決するため、各画像の識別子をヘッダ部Ｄ２３に格納することとした。
【００６３】
ヘッダ部Ｄ２３がサブ画像の階調特性情報Ｔ１２、合成状態情報Ｔ１３、撮影順番Ｔ１４、露光条件情報Ｔ１５を格納するので、コントローラ１５０は、各画像の合成状態情報Ｔ１３と露光条件情報Ｔ１５を参照することにより、それぞれの画像データに応じた再生方法を選択できる。
【００６４】
〔１−３−２−３．サムネイル画像データ〕
図３に戻って、サムネイル画像データＤ２４について説明する。サムネイル画像データＤ２４は、電子ズーム処理部１６５が第１の画像データＤ２５に対して、間引き処理、切り出し処理、補間処理などをすることにより生成される。ヘッダ部Ｄ２３は、サムネイル画像データＤ２４を格納する。これにより、液晶モニタ１１０は、瞬時にサムネイル画像表示を行うことができる。
【００６５】
〔１−３−２−４．その他格納される情報〕
ヘッダ部Ｄ２３は、管理テーブルＴ１０、サムネイル画像データＤ２４の他に、メインの第１の画像データＤ２５やサブの画像データＤ３３のプロテクト情報を格納する。プロテクト情報が格納されると、第１の画像データＤ２５には削除に対するプロテクトがかかる。つまり、第１の画像データＤ２５は、プロテクト情報が消去されるまで削除不可能となる。
【００６６】
ここで、第１の画像データに対するプロテクト情報をメインヘッダに格納し、各画像に対するプロテクト情報を対応するサブ画像データの画像ヘッダに格納することができる。これにより、第１の画像及びサブ画像についてのプロテクトをそれぞれ独立して行うことができる。また、それぞれの画像に対するプロテクト及びその解除の際に対応するヘッダのみを更新すればよいため、データの取り扱いが容易となる。
【００６７】
本実施の形態においては、第１の画像データに対するプロテクト情報と、サブ画像データに対するプロテクト情報とをそれぞれの対応するヘッダに格納する構成とした。しかし、必ずしもこのような構成とする必要はない。
【００６８】
例えば、メインヘッダにプロテクト情報が格納された場合に、画像ファイル全体の画像データがプロテクトされているとしてもよい。これにより、同一の画像ファイル内に格納されている全ての画像データのプロテクトを一括に取り扱うことができる。
【００６９】
また、メインヘッダに２つのプロテクト情報を格納可能とし、各画像ヘッダにもプロテクト情報を格納可能とすることもできる。この際、メインヘッダに格納される一方のプロテクト情報は、画像ファイル全体の画像データのプロテクト状態を管理する。他方のプロテクト情報は、第１の画像データのプロテクト状態を管理する。各画像ヘッダに格納されるプロテクト情報は、対応する副画像データのプロテクト状態を管理する。これにより、画像ファイル単位に一括で画像データのプロテクト状態を管理するか、それぞれの画像データのプロテクト状態を独立して管理するかを使用者は選択することができる。
【００７０】
〔１−３−３．第１の画像データ部〕
第１の画像データ部Ｄ２１は、第１の画像に関する情報を格納する。第１の画像データＤ２５は、デジタルカメラ１０１で撮像した画像の画像データをＪＰＥＧ形式で圧縮した８ビットの画像データである。なお、第１の画像データＤ２５は、必ずしもＪＰＥＧ形式で圧縮された画像データでなくてもよく、ＧＩＦデータやＲＡＷデータなどの画像データであってもよい。つまり、第１の画像データＤ２５は、必ずしも圧縮されている必要はない。また、圧縮されていたとしても圧縮形式は何であってもよい。
【００７１】
末尾識別子Ｄ２６は第１の画像データ部Ｄ２１の終点を示すマーカ（ｘＦＦＤ９）である。このマーカを管理するテーブルをヘッダ部Ｄ２３に設けることにより、画像ファイルＤ１０のうちの一部の画像データを分割する際に、ファイルに新たにＳＯＩやＥＯＩを付加する必要がなくなる。従って、ファイルの分割を容易に行うことができる。
【００７２】
〔１−３−４．第２の画像部〕
図３において、サブの第２の画像データ部Ｄ３０は、第２の画像に関する情報を格納する。先頭識別子Ｄ３１は、サブの第２の画像データ部Ｄ３０の起点を示すマーカである。このマーカを管理するテーブルをヘッダ部Ｄ２３に設ける。これにより、第２の画像データの検索を容易に行うことができる。また、ファイルを分割する際、分割点を容易に見つけることができる。さらに、このマーカを設けておくことにより、画像ファイルＤ１０を分割する際に、ファイルに新たにＳＯＩやＥＯＩを付加する必要がない。従って、ファイルの分割を容易に行うことができる。
【００７３】
第２の画像ヘッダＤ３２は、第２の画像データＤ３３の属性情報などを格納する。例えば、副画像データＤ３３が第１の画像とは異なる第２の露光条件で生成された画像データである旨に関する情報などが格納される。
【００７４】
また、第２の画像ヘッダＤ３２は、第２の画像データＤ３３のサムネイル画像データを格納する。サムネイル画像データは、第２の画像データに基づいて生成される。これにより、サブの画像データに対するサムネイル画像の表示を瞬時に行うことができる。
【００７５】
Ｅｘｉｆ規格においては、ヘッダ部にサムネイル画像データを含めることが必要であると規定されている。よって、第１の画像データと第２の画像データとを分割するときは、画像ヘッダ内に改めてサムネイル画像データを格納する必要が生じる。本実施の形態においては、各画像ヘッダに副画像に対応するサムネイル画像データを格納しているので、第１と第２の画像データを分割する際、改めて副画像ヘッダにサムネイル画像データを格納する必要はない。
【００７６】
第２の画像データＤ３３は、第１の画像データＤ２５と同じ第１の階調特性又は第１の画像データＤ２５と異なる第２の階調特性を有する。
【００７７】
末尾識別子Ｄ３４は、第２の画像データ部Ｄ３０の終点を示すマーカである。このマーカを管理するテーブルをヘッダ部Ｄ２３に設ける。これにより、画像ファイルＤ１０を分割する際に、ファイルに新たにＳＯＩやＥＯＩを付加する必要がない。従って、ファイルの分割を容易に行うことができる。
【００７８】
また、本実施例の形態においては、図３のように、第１の画像データＤ２５と第２の画像データＤ３３とを露光条件が異なる画像データとして記録したが、第１の画像データと第２の画像データとの合成である第３の画像データを記録する場合は、図４（ａ）に示すように第１の画像データＤ２５と第３画像データＤ４３を格納して記録する。また第１の画像データと第２の画像データとの合成であり、階調特性を変更した画像データを記録する場合は、図４（ｂ）に示すように、第１の画像データＤ２５と第４画像データＤ５３を格納して記録する。
【００７９】
〔２．記録動作〕
本開示のデジタルカメラ１０１の第１の記録動作について、図６、図１０、図１１を用いて説明する。図６は記録動作のフローチャートであり、図１０は異なる輝度を有する２つの被写体を含む記録画像を示した模式図であり、図１１は図１０の記録画像の輝度ヒストグラムを示した図である。
【００８０】
撮影モードにおいて使用者がレリーズ釦１７１を全押しすると（Ｓ１０１）、イメージセンサ１４１が出力する第１の撮影動作のＲＡＷデータがバッファメモリ１１５に格納される（Ｓ１０２〜Ｓ１０４）。第１の撮影動作は第１の露光条件によって撮影される。バッファメモリ１１５のＲＡＷデータに対して前処理部１６１において画像処理を行い、さらにＹＣ変換部１６２によって図１０（ａ）に示される画像データＰ１０の第１のＹＣデータが生成される（Ｓ１０５）。画像データＰ１０は特定のシーンが撮影された時の被写体Ｐ１１と被写体Ｐ１２を含む。図１１（ａ）〜図１１（ｄ）は、横軸にＹ信号の階調値を示し、縦軸はその値に対する画素の総数を示す。図１１（ａ）は図１０（ａ）の被写体Ｐ１１と被写体Ｐ１２に対応する輝度の出現頻度Ｇ１１，Ｇ１２を示す。被写体Ｐ１１は白とびとなっている。
【００８１】
第１のＹＣデータは、圧縮部１６３によって、第１の符号化方式に基づいて圧縮処理が行われ、第１の画像としてバッファメモリ１１５に格納される（Ｓ１０６〜Ｓ１０７）。第１の圧縮方式は、例えばＪＰＥＧ圧縮方式であってもよい。
【００８２】
次に、イメージセンサ１４１が出力する第２の撮影動作のＲＡＷデータがバッファメモリ１１５に格納される（Ｓ１０８〜Ｓ１１０）。第２の撮影動作は第１の露光条件と異なる第２の露光条件によって撮影される。バッファメモリ１１５のＲＡＷデータに対して前処理部１６１において画像処理を行い、さらにＹＣ変換部１６２によって図１０（ｂ）に示される画像データＰ２０の第２のＹＣデータが生成される（Ｓ１１１）。画像データＰ２０は画像データＰ１０と同じシーンが撮影された時の被写体Ｐ２１と被写体Ｐ２２を含む。被写体Ｐ２１と被写体Ｐ１１は同一の被写体であり、被写体Ｐ２２と被写体Ｐ１２は同一の被写体である。図１１（ｂ）は、図１０（ｂ）の被写体Ｐ２１と被写体Ｐ２２に対応する輝度の出現頻度Ｇ２１，Ｇ２２を示す。被写体Ｐ２２は黒つぶれとなっている。第２のＹＣデータは、圧縮部１６３によって、第１の符号化方式に基づいて圧縮処理が行われ、第２の画像としてバッファメモリ１１５に格納される（Ｓ１１２〜１１３）。このようにして生成された第２の画像データは、第１の画像データと結合され、１つのファイルとして、図３に示した形式でメモリカード１０８に記録される（Ｓ１１４）。この際に、図５（ａ）に示すように管理テーブルＴ１０内の階調特性情報Ｔ１２には、第１の画像データと第２の画像データは共に８ビットで格納され、共にガンマ値が０．４５であることを示す情報が記録される。合成状態情報Ｔ１３には、第１の画像データと第２の画像データは共に合成がなされていないことを示す情報が記録される。撮影順番Ｔ１４には、第１の画像データが２枚中１枚目である情報と第２の画像データが２枚中２枚目である情報が記録される。露光条件情報Ｔ１５には第１の画像が長時間露光である情報が記録され第２の画像が短時間露光である情報が記録される。
【００８３】
以下、本開示の別の方法による第２〜第４の記録動作について以下に示す。
【００８４】
デジタルカメラ１０１の第２の記録動作について、図７の記録動作のフローチャートと、図１０の輝度の異なる記録画像を示した模式図と、図１１の記録画像の輝度ヒストグラムを示した図を用いて説明する。第２の記録動作では、１回の撮影動作で撮影時間が短いｓｈｏｒｔ信号と撮影時間が長いｌｏｎｇ信号を非破壊読み出しにより順次読み出す方法を用いる。
【００８５】
撮影モードにおいて使用者がレリーズ釦１７１を全押しすると（Ｓ２０１）、イメージセンサ１４１が出力する第１の撮影データ読み出しまでのＲＡＷデータがバッファメモリ１１５に格納される（Ｓ２０２〜Ｓ２０３）。このＲＡＷデータはｓｈｏｒｔ信号によって得られる。
【００８６】
バッファメモリ１１５のＲＡＷデータに対して前処理部１６１において画像処理を行い、さらにＹＣ変換部１６２によって、図１０（ｂ）に示される画像データＰ２０の第１のＹＣデータが生成される（Ｓ２０４）。画像データＰ２０は特定のシーンが撮影された時の被写体Ｐ２１と被写体Ｐ２２を含む。図１１（ｂ）は、図１０（ｂ）の被写体Ｐ２１と被写体Ｐ２２に対応する輝度の出現頻度Ｇ２１，Ｇ２２を示す。被写体Ｐ２２は黒つぶれとなっている。
【００８７】
第１のＹＣデータは、圧縮部１６３によって、第１の符号化方式に基づいて圧縮処理が行われ、第１の画像としてバッファメモリに格納される（Ｓ２０５〜Ｓ２０６）。第１の圧縮方式は、例えばＪＰＥＧ圧縮方式であってもよい。
【００８８】
次に、イメージセンサ１４１が出力する撮影動作終了までの第２の撮影データ読み出しによるＲＡＷデータがバッファメモリに格納される（Ｓ２０７〜Ｓ２０８）。このＲＡＷデータはｌｏｎｇ信号によって得られる。バッファメモリのＲＡＷデータに対して前処理部１６１において画像処理を行い、さらにＹＣ変換部１６２によって図１０（ａ）に示される画像データＰ１０の第２のＹＣデータが生成される（Ｓ２０９）。画像データＰ１０は画像データＰ２０と同じシーンが撮影された時の被写体Ｐ１１と被写体Ｐ１２を含む。図１１（ａ）は、図１０（ａ）の被写体Ｐ１１と被写体Ｐ１２に対応する輝度の出現頻度Ｇ１１，Ｇ１２を示す。被写体Ｐ１１は白とびとなっている。第２のＹＣデータは、圧縮部１６３によって、第１の符号化方式に基づいて圧縮処理が行われ、第２の画像としてバッファメモリに格納される（Ｓ２１０〜Ｓ２１２）。このようにして生成された第２の画像データは、第１の画像データと結合され、１つのファイルとして、図３に示した形式でメモリカード１０８に記録される（Ｓ２１３）。この際に、図５（ｂ）に示すように管理テーブルＴ１０内の階調特性情報Ｔ１２には、第１の画像データと第２の画像データは共に８ビットで格納され、共にガンマ値が０．４５であることを示す情報が記録される。合成状態情報Ｔ１３には、第１の画像データと第２の画像データは共に合成がなされていないことを示す情報が記録されている。撮影順番Ｔ１４には、第１の画像データが２枚中１枚目である情報と第２の画像データが２枚中２枚目である情報が記録される。露光条件情報Ｔ１５には第１の画像が短時間露光である情報が記録され第２の画像が長時間露光である情報が記録される。
【００８９】
次にデジタルカメラ１０１の第３の記録動作について、図８の記録動作のフローチャートと、図１０の輝度の異なる記録画像を示した模式図と、図１１の記録画像の輝度ヒストグラムを示した図を用いて説明する。第３の記録動作では、第１の撮影動作で生成した第１の画像データと第２の撮影動作で生成した第２の画像データを合成して第３の画像データを生成する方法を用いる。
【００９０】
撮影モードにおいて使用者がレリーズ釦１７１を全押しすると（Ｓ３０１）、イメージセンサ１４１が出力する第１の撮影動作のＲＡＷデータがバッファメモリ１１５に格納される（Ｓ３０２〜Ｓ３０４）。第１の撮影動作は第１の露光条件によって撮影される。バッファメモリ１１５のＲＡＷデータに対して前処理部１６１において画像処理を行い、さらにＹＣ変換部１６２によって、図１０（ａ）に示される画像データＰ１０の第１のＹＣデータが生成される（Ｓ３０５）。画像データＰ１０は特定のシーンが撮影された時の被写体Ｐ１１と被写体Ｐ１２を含む。図１１（ａ）は、図１０（ａ）の被写体Ｐ１１と被写体Ｐ１２に対応する輝度の出現頻度Ｇ１１，Ｇ１２を示す。被写体Ｐ１１は白とびとなっている。
【００９１】
第１のＹＣデータは、圧縮部１６３によって、第１の符号化方式に基づいて圧縮処理が行われ、第１の画像としてバッファメモリ１１５に格納される（Ｓ３０６〜Ｓ３０７）。第１の圧縮方式は、例えばＪＰＥＧ圧縮方式であってもよい。
【００９２】
次に、イメージセンサ１４１が出力する第２の撮影動作のＲＡＷデータがバッファメモリに格納される（Ｓ３０８〜Ｓ３１０）。第２の撮影動作は第１の露光条件と異なる第２の露光条件によって撮影される。バッファメモリのＲＡＷデータに対して前処理部１６１において画像処理を行い、さらにＹＣ変換部１６２によって図１０（ｂ）に示される画像データＰ２０の第２のＹＣデータが生成される（Ｓ３１１）。画像データＰ２０は画像データＰ１０と同じシーンが撮影された時の被写体Ｐ２１と被写体Ｐ２２を含む。図１１（ｂ）は、図１０（ｂ）の被写体Ｐ２１と被写体Ｐ２２に対応する輝度の出現頻度Ｇ２１，Ｇ２２を示す。被写体Ｐ２２は黒つぶれとなっている。
【００９３】
合成部１６６によって、図１０（ａ）に示される画像データＰ１０の第１のＹＣデータと図１０（ｂ）に示される画像データＰ２０の第２のＹＣデータが合成され、図１０（ｃ）に示される画像データＰ３０の第３のＹＣとなる（Ｓ３１２）。被写体Ｐ３１と被写体Ｐ３２は夫々、被写体Ｐ１１と被写体Ｐ２１を合成し、被写体Ｐ１２と被写体Ｐ２２を合成して作成される。図１１（ｃ）は、白とび被写体Ｐ１１と黒つぶれした被写体Ｐ２２を合成部１６６内のフィルタで取り除き、被写体Ｐ１２と被写体Ｐ２１を合成して得られた被写体Ｐ３１と被写体Ｐ３２の輝度の出現頻度Ｇ３１，Ｇ３２を示す。第３のＹＣデータは、圧縮部１６３によって、第２の符号化方式に基づいて圧縮処理が行われ、第３の画像としてバッファメモリ１１５に格納される（Ｓ３１３〜Ｓ３１４）。第２の符号化方式は、例えばＨＥＶＣのフレーム内圧縮方式（ＨＥＶＣ−ｉ）でもよいし、ＪＰＥＧ圧縮方式であってもよい。このようにして図４（ａ）に示すように第３の画像データＤ４３は、第１の画像データＤ２５と結合され、１つのファイルとしてメモリカード１０８に記録される（Ｓ３１５）。この際に、図５（ｃ）に示すように管理テーブルＴ１０内の階調特性情報Ｔ１２には、第１の画像データと第３の画像データは共に８ビットで格納され、共にガンマ値が０．４５であることを示す情報が記録される。合成状態情報Ｔ１３には、第１の画像データは合成がなされていないことを示す情報が記録され第３の画像は合成済である情報が記録される。撮影順番Ｔ１４には第１の画像データが２枚中１枚目である情報が記録されるが第３の画像データについては記録しない。露光条件情報Ｔ１５には、第１の画像が長時間露光である情報が記録され第３の画像については記録しない。
【００９４】
最後にデジタルカメラ１０１の第４の記録動作について、図９の記録動作のフローチャートと、図１０の輝度の異なる記録画像を示した模式図と、図１１の記録画像の輝度ヒストグラムと、図１２の合成処理のフローチャートと、図１３の合成処理の概念図を用いて説明する。第４の記録動作では、第１の撮影動作で生成した第１の階調特性を有する第１の画像データと第２の撮影動作で生成した第１の階調特性を有する第２の画像データを合成して第２の階調特性を有する第４の画像データを生成する方法を用いる。
【００９５】
第４の記録動作の図９のステップ４１２が第３の記録動作の図８のステップ３１２に変更されている点は、同じである。
【００９６】
撮影モードにおいて使用者がレリーズ釦１７１を全押しすると（Ｓ４０１）、イメージセンサ１４１が出力する第１の撮影動作のＲＡＷデータがバッファメモリ１１５に格納される（Ｓ４０２〜Ｓ４０４）。第１の撮影動作は第１の露光条件によって撮影される。バッファメモリ１１５のＲＡＷデータに対して前処理部１６１において第１の階調特性によって画像処理を行い、さらにＹＣ変換部１６２によって、図１０（ｂ）に示される画像データＰ２０の第１のＹＣデータが生成される（Ｓ４０５）。画像データＰ２０は特定のシーンが撮影された時の被写体Ｐ２１と被写体Ｐ２２を含む。図１１（ｂ）は、図１０（ｂ）の被写体Ｐ２１と被写体Ｐ２２に対応する輝度の出現頻度Ｇ２１，Ｇ２２を示す。被写体Ｐ２２は黒つぶれとなっている。
【００９７】
第１のＹＣデータは、圧縮部１６３によって、第１の符号化方式に基づいて圧縮処理が行われ、第１の画像としてバッファメモリに格納される（Ｓ４０６〜Ｓ４０７）。第１の圧縮方式は、例えばＪＰＥＧ圧縮方式であってもよい。
【００９８】
次に、イメージセンサ１４１が出力する第２の撮影動作のＲＡＷデータがバッファメモリに格納される（Ｓ４０８〜Ｓ４１０）。第２の撮影動作は第１の露光条件と異なる第２の露光条件によって撮影される。バッファメモリのＲＡＷデータに対して前処理部１６１において第１の階調特性によって画像処理を行い、さらにＹＣ変換部１６２によって図１０（ａ）に示される画像データＰ１０の第２のＹＣデータが生成される（Ｓ４１１）。画像データＰ１０は画像データＰ２０と同じシーンが撮影された時の被写体Ｐ１１と被写体Ｐ１２を含む。図１１（ａ）は、図１０（ａ）の被写体Ｐ１１と被写体Ｐ１２に対応する輝度の出現頻度Ｇ１１，Ｇ１２を示す。被写体Ｐ１１は白とびとなっている。
【００９９】
合成部１６６によって、図１０（ｂ）に示される画像データＰ２０の第１のＹＣデータと図１０（ａ）に示される画像データＰ１０の第２のＹＣデータが、第２の階調特性によって合成され、図１０（ｄ）に示される画像データＰ４０の第４のＹＣとなる（Ｓ４１２）。図１１（ｄ）は、図１０（ｄ）の被写体Ｐ４１と被写体Ｐ４２に対応する輝度の出現頻度Ｇ４１，Ｇ４２を示す。被写体Ｐ４１と被写体Ｐ４２は夫々、被写体Ｐ１１と被写体Ｐ２１を合成し、被写体Ｐ１２と被写体Ｐ２２を合成して作成される。図１１（ｄ）は、白とびした被写体Ｐ１１と黒つぶれした被写体Ｐ２２を合成部１６６内のフィルタで取り除き、長い露光時間（例えば１秒）で撮影された画像データＰ１０と短い露光時間（例えば１/６０秒）で撮影された画像データＰ２０を考慮して被写体Ｐ４１のＹ信号の値がＹＮＢとなり、被写体Ｐ４２のＹ信号の値がＹＮＡとなるように合成している。
【０１００】
以下合成処理（Ｓ４１２）の詳細を図１２と図１３を用いて説明する。
【０１０１】
合成処理（Ｓ４１２）は、合成部１６６により、第１のＹＣを第１の階調特性の逆変換を含む信号処理を行い、第１の線形ＲＧＢ信号に生成する（Ｓ５０１）。次に、第２のＹＣを第１の階調特性の逆変換を含む信号処理を行い、第２の線形ＲＧＢ信号を生成する（Ｓ５０２）。
【０１０２】
以下、本実施の形態では第２の露光条件が第１の露光条件より短時間露光したとする。具体的には、第１の露光条件の露光時間が１／６０秒、第２の露光条件の露光時間が１秒とする。
【０１０３】
次にレンジ変換対象として第１の線形ＲＧＢ又は第２の線形ＲＧＢを判定する（Ｓ５０３）。Ｓ５０３では、レンジ変換対象として露光時間の長い方を選択するので、この場合は、第２の露光条件で撮影された第２の画像データ（第２の線形ＲＧＢ）を選択するので、ステップＳ５０４に至る。ステップＳ５０４では、第２の線形ＲＧＢ信号を第１の露光時間に相当するように信号幅を圧縮して、第３の線形ＲＧＢ信号を生成する。つまり、図１３のＧ５１に示す信号値Ｓ２ＭＡＸが信号幅の最大値である第２の線形ＲＧＢ信号を、Ｇ５２に示す信号値Ｓ３ＭＡＸが信号幅の最大値となる第３の線形ＲＧＢ信号に信号幅を圧縮する。なお、第１の線形ＲＧＢ信号値の信号幅の最大値はＧ５１に示すＳ１ＭＡＸである。
【０１０４】
次に第１の線形ＲＧＢ信号値から第１の線形の輝度Ｙを生成し、第３の線形ＲＧＢ信号値から第３の線形の輝度Ｙを生成する（Ｓ５０５）。図１３に示すブレンド率にしたがって、第１の線形の輝度Ｙと第３の線形の輝度Ｙから、各画素における第１の線形ＲＧＢ信号値と第３の線形ＲＧＢ信号値を合算する際に用いるブレンド率を計算する。第１の線形ＲＧＢ信号値は図１３のＧ５３のブレンド率とし、第３の線形ＲＧＢ信号値は図１３のＧ５４のブレンド率とする（Ｓ５０６）。ブレンド率に応じて第１の線形ＲＧＢ信号値と第３の線形ＲＧＢ信号値を合算して第４の線形ＲＧＢを生成する（Ｓ５０７）。次に第４の線形ＲＧＢ信号値を第２の階調特性で信号処理して第４のＹＣを生成する（Ｓ５０８）。
【０１０５】
ここまで、第１の露光条件が第２の露光条件より短時間露光した場合について説明したが、第１の露光条件が第２の露光条件より長時間露光した場合は、次のようになる。この場合は、第１の露光条件で撮影された第１の画像データ（第１の線形ＲＧＢ）を選択するので、ステップＳ５１０に至る。ステップＳ５１０では、第１の線形ＲＧＢ信号を第２の露光条件に相当するように信号幅を圧縮して、第３の線形ＲＧＢ信号を生成する。つまり、図１３のＧ５１に示す信号値Ｓ１ＭＡＸが信号幅の最大値である第１の線形ＲＧＢ信号を、Ｇ５２に示す信号値Ｓ３ＭＡＸが信号幅の最大値となる第３の線形ＲＧＢ信号に信号幅を圧縮する。
【０１０６】
次に第２の線形ＲＧＢ信号値から第２の線形の輝度Ｙを生成し、第３の線形ＲＧＢ信号値から第３の線形の輝度Ｙを生成する（Ｓ５１１）。図１３に示すブレンド率にしたがって、第２の線形の輝度Ｙと第３の線形の輝度Ｙから、各画素における第２の線形ＲＧＢ信号値と第３の線形ＲＧＢ信号値を合算する際に用いるブレンド率を計算する。第２の線形ＲＧＢ信号値は図１３のＧ５３のブレンド率とし、第３の線形ＲＧＢ信号値は図１３のＧ５４のブレンド率とする（Ｓ５１２）。ブレンド率に応じて第２の線形ＲＧＢ信号値と第３の線形ＲＧＢ信号値を合算して第４の線形ＲＧＢを生成する（Ｓ５１３）。次に第４の線形ＲＧＢ信号値を第２の階調特性で信号処理して第４のＹＣを生成する（Ｓ５０８）。
【０１０７】
第４のＹＣデータは、圧縮部１６３によって、第２の符号化方式に基づいて圧縮処理が行われ、第４の画像としてバッファメモリ１１５に格納される（Ｓ４１３〜Ｓ４１４）。第２の符号化方式は、例えばＨＥＶＣのフレーム内圧縮方式（ＨＥＶＣ−ｉ）でもよいし、ＪＰＥＧ圧縮方式であってもよい。このようにして図４（ｂ）に示すように第４の画像データＤ５３は、第１の画像データＤ２５と結合され、１つのファイルとしてメモリカード１０８に記録される（Ｓ４１５）。
【０１０８】
この際に、図５（ｄ）に示すように管理テーブルＴ１０内の階調特性情報Ｔ１２には、第１の画像データは８ビットで格納されガンマ値が０．４５であることを示す情報が記録される。また、第４の画像データは１０ビットで格納されガンマ値が０．５５であることを示す情報が記録される。合成状態情報Ｔ１３には、第１の画像データは合成がなされていないことを示す情報が記録され第４の画像は合成済である情報が記録される。撮影順番Ｔ１４には第１の画像データが２枚中１枚目である情報が記録されるが第３の画像データについては記録しない。露光条件情報Ｔ１５には、第１の画像が短時間露光である情報が記録され第３の画像については記録しない。
【０１０９】
〔３．再生動作〕
本開示の第１〜第４の記録動作において生成された画像データの再生動作について図１４の再生動作のフローチャートを用いて説明する。
再生モードにおいては、メモリカード１０８から、再生すべき画像の管理テーブルＴ１０が読み込まれ（Ｓ６０１）、再生装置が第２の階調特性に対応しているかどうかを判断する（Ｓ６５０２）。再生装置が第２の階調特性に対応していない場合には、第１の画像データＤ２５が再生される（Ｓ６０６）。
【０１１０】
再生装置が第２の階調特性に対応している場合には、管理テーブルＴ１０内に格納された階調特性情報Ｔ１２が、第２の階調特性（例えば、１０ｂｉｔ、ガンマ値０．５５）の画像を含むかどうかが判断される（Ｓ６０３）。図５（ｄ）に示すように再生ファイルに第２の階調特性の画像データが含まれていれば、管理テーブルＴ１０内の第４の画像データＤ５３の先頭アドレスＴ１１に従って再生される（Ｓ６０５）。
【０１１１】
図５（ａ）に示すように再生ファイルが第２の階調特性の画像を含まない場合、合成部１６６によって第１の画像データＤ２５と第２の画像データＤ３３を合成して第１の階調特性と異なる第２の階調特性を有する第４の画像データを生成する。その後、管理テーブルＴ１０が作成されると共に第４の画像データＤ５３は、図１５に示すように、第１の画像データＤ２５、第２の画像データＤ３３と結合され、１つのファイルとしてメモリカード１０８に記録され（Ｓ６０４）、管理テーブルＴ１０内の第４の画像の画像データの先頭アドレスＴ１１に従って再生される（Ｓ６０５）。
【０１１２】
以上の構成により、本実施の形態にかかるデジタルカメラ１０１は、画像データの再生動作においては、再生装置が第２の階調特性に対応していれば、第４の画像データを再生し、再生装置が第２の階調特性に対応していない場合には、第１の画像データを再生する。また、再生装置が第２の階調特性に対応して、第２の階調特性の画像データが再生ファイルになければ、第２の階調特性の第４の画像データを合成し、再生する。
【０１１３】
第２の階調特性は、ダイナミックレンジの広い再生装置に適した階調特性であり、本実施の形態によって、再生装置のダイナミックレンジに適した画像データの再生が可能となる。
【０１１４】
〔４．編集〕
本開示のデジタルカメラ１０１における画像データの編集について説明する。
【０１１５】
デジタルカメラ１０１は、画像データ編集装置に相当し、デジタルカメラ１０１の使用者は、画像ファイルに格納されている画像データの階調特性を表示装置のダイナミックレンジに沿った階調特性を有する画像に加工・編集する。具体的には以下の通りである。
【０１１６】
本開示のデジタルカメラ１０１においては、上述した図１４のステップＳ６０１，Ｓ６０２，Ｓ６０３，Ｓ６０４を行うことによって、上記第１、第２の記録動作によって図３に示す通り、第１の画像データＤ２５と第２の画像データＤ３３が独立して１つのファイル内に格納されているので、第１の画像データＤ２５および第２の画像データＤ３３に対して、図１５に示すように第１の画像データＤ２５が有する階調特性とは異なる第２の階調特性を有する合成したデータを第４の画像データＤ５３として追加することができる。また、図４（ａ）に示すように第２の画像データＤ３３を、第１の画像データＤ２５と第２の画像データＤ３３を合成した第３の画像データに置き換えることもできる。
【０１１７】
本開示のデジタルカメラ１０１においては、上記第３、第４の記録動作によって図４（ａ），図４（ｂ）に示す通り、第１の画像データＤ２５と第３の画像データＤ４３又は第４の画像データＤ５３が独立して１つのファイル内に格納されているので、第１の画像データＤ２５および第３の画像データＤ４３又は第４の画像データＤ５３に対して、それぞれ独立して階調特性を変更することが可能である。すなわち、本開示のデジタルカメラ１０１は、メモリカード１０８から画像ファイルを再生し、デジタルカメラ１０１の使用者に第１の画像データＤ２５か第３の画像データＤ４３又は第４の画像データＤ５３のどちらの階調を変更するのかを選択させる。第１の画像データＤ２５の階調特性を変更する場合には、第１の画像データＤ２５の階調特性を変更して記録する。第３の画像データＤ４３又は第４の画像データＤ５３の階調特性を変更する場合には、管理テーブルＴ１０内の第３の画像データＤ４３又は第４の画像データＤ５３の先頭アドレスに従って、第３の画像データＤ４３又は第４の画像データＤ５３の階調を変更して記録する。
【０１１８】
以上のようにデジタルカメラ１０１は、使用者の意図に沿った階調特性を有する画像に加工・編集することもできる。
【０１１９】
〔５．効果等〕
（１）本実施の形態において、デジタルカメラ１０１は、第１の露光条件で撮影された第１の画像データを生成する手段と、前記第１の露光条件と異なる第２の露光条件で撮影された第２の画像データを生成する手段と、前記第１の画像データと前記第２の画像データとを１つのファイルに格納して記録する手段と、を備える。
【０１２０】
これにより、画像を印刷または表示する際に、記録された画像ファイルを、それぞれの装置のダイナミックレンジに適した階調特性に応じて、第１または第２の画像データ或いは第１と第２の画像データにより合成して生成した画像データを印刷または表示することができる。
【０１２１】
（２）本実施の形態において、デジタルカメラ１０１は、第１の露光条件で撮影された第１の画像データを生成する手段と、前記第１の露光条件と異なる第２の露光条件で撮影された第３の画像データを生成する手段であって、前記第１の露光条件と前記第２の露光条件の差分の露光条件で撮影された第２の画像データと前記第１の画像データを合成して第３の画像データを生成する手段と、前記第１の画像データ又は前記第２の画像データと前記第３の画像データとを１つのファイルに格納して記録する手段と、を備える。
【０１２２】
これにより、画像を印刷または表示する際に、記録された画像ファイルを、それぞれの装置のダイナミックレンジに適した階調特性に応じて、第１または第２の画像データ或いは第１と第２の画像データにより合成して生成した画素ずれの少ない第３の画像データを印刷または表示することができる。
【０１２３】
（３）本実施の形態において、デジタルカメラ１０１は、第１の露光条件で撮影された第１の画像データを生成する手段と、前記第１の露光条件と異なる第２の露光条件で撮影された第２の画像データを生成する手段と、前記第１の画像データと前記第２の画像データを合成した第４の画像データを生成する手段と、前記第１の画像データ又は前記第２の画像データと前記第４の画像データとを１つのファイルに格納して記録する手段と、を備える。
【０１２４】
これにより、画像を印刷または表示する際に、記録された画像ファイルを、それぞれの装置に応じて、第１または第２の画像データ、或いは第４の画像データを印刷または表示することができる。
【０１２５】
（４）本実施の形態において、デジタルカメラ１０１は、第１の露光条件で撮影され第１の階調特性を有する第１の画像データを生成する手段と、前記第１の露光条件と異なる第２の露光条件で撮影され前記第１の階調特性を有する第２の画像データを生成する手段と、前記第１の画像データと前記第２の画像データを合成して前記第１の階調特性と異なる第２の階調特性を有する第４の画像データを生成する手段と、前記第１の画像データ又は前記第２の画像データと前記第４の画像データとを１つのファイルに格納して記録する手段と、を備える。
【０１２６】
これにより、画像を印刷または表示する際に、記録された画像ファイルを、それぞれの装置のダイナミックレンジに適した階調特性および階調数に応じて、第１または第２の画像データ、或いは第４の画像データを印刷または表示することができる。
【０１２７】
（５）本実施の形態において、デジタルカメラ１０１は、表示装置で表示すべき画像ファイルに異なる露光条件で撮影され同じ第１の階調特性を有する第１の画像データと第２の画像データが含まれるかどうかを判断する手段と、前記第１の画像データと前記第２の画像データが前記画像ファイルに含まれており、かつ、前記表示装置が第２の階調特性に対応している場合には、前記第１の画像データと前記第２の画像データを合成して前記第１の階調特性と異なる第２の階調特性を有する第３の画像データを生成する手段と、前記第３の画像データを再生する手段と、を備える。
【０１２８】
これにより、本開示の画像再生装置の使用者は、それぞれの画像再生装置のダイナミックレンジや使用者の意図に沿った画像データを選択して再生することができる。
【０１２９】
（６）本実施の形態において、デジタルカメラ１０１は、編集すべき画像ファイルに異なる露光条件で撮影され同じ第１の階調特性を有する第１の画像データと第２の画像データが含まれるかどうかを判断する手段と、前記第１の画像データと前記第２の画像データが前記画像ファイルに含まれており、かつ、表示装置が第２の階調特性に対応している場合には、前記第１の画像データと前記第２の画像データを合成して前記第１の階調特性と異なる第２の階調特性を有する第３の画像データを生成する手段と、前記第３の画像データを記録する手段と、を備える。
【０１３０】
これにより、本開示の画像編集装置の使用者は、それぞれの表示装置のダイナミックレンジに沿った画像データを選択して再生することができる。
【０１３１】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０１３２】
そこで、以下、他の実施の形態を例示する。
【０１３３】
上記第１の記録動作では、第１の撮影動作開始から第１の撮影データ読み出し（Ｓ１０２〜Ｓ１０４）と第２の撮影動作開始から第２の撮影データ読み出し（Ｓ１０８〜Ｓ１１０）までを順番に行い、第１の露光条件を用いて第１の撮影データと第２の露光条件を用いて第２の撮影データを取得しているが、イメージセンサ１４１の一部のセルにＮＤフィルタを付帯して、撮影動作開始から撮影データ読み出しを１回行い、前処理１６１でＮＤフィルタを付帯したセルの撮影データから第１の露光条件を用いて第１の撮影データを生成し、ＮＤフィルタを付帯しなかったセルの撮影データから第２の露光条件を用いて第２の撮影データを生成してもよい。また、イメージセンサ１４１、ＡＤコンバータ１０５、タイミングジェネレータ１４２、画像処理部１６０をそれぞれ２つ用いて、光学系１２０と２つのイメージセンサ１４１の間にハーフミラーを挿入して光学系１２０の出力を２つに分割して２つのイメージセンサ１４１に受光させることで、第１の露光条件を有する第１の撮影データと第２の露光条件を有する第２の撮影データを取得してもよい。
【０１３４】
上記第２の記録動作では、撮影動作開始から撮影データ読み出しを１回行い、第１の画像データとは異なる第２の露光条件で撮影された第３の画像データを生成する際、第１の露光条件と第２の露光条件の差分の露光条件で撮影された第２の画像データと第１の画像データの合成をイメージセンサ１４１にて行われている（Ｓ２０２〜Ｓ２０８）が、撮影動作開始から撮影データ読み出しを、第１の露光条件で撮影された第１の画像データと、第１の露光条件と第２の露光条件の差分の露光出条件で撮影された第２の画像データの取得の２回に分け、画像処理部１６０の合成部１６６を使って第３の画像データを生成してもよい。
【０１３５】
上記第１、第２の記録動作では、第１の露光条件と第２の露光条件により撮影された画像データを生成していたが、第１の露光条件とも第２の露光条件とも異なる第３の露光条件により撮影された画像データを生成して、保存してもよい。上記第３、第４の記録動作では、第３又は第４の画像データ生成は第１のＹＣと第２のＹＣを使って画像処理部１６０の合成部１６６にて第３又は第４のＹＣを合成して作成している（Ｓ３１２）が、第１の撮影データであるＲＡＷデータと第２の撮影データであるＲＡＷデータを画像処理部１６０の合成部１６６を使って合成した後、画像処理して第３又は第４のＹＣを生成してもよい。
【０１３６】
上記第３、第４の記録動作では、非合成の画像である第１の画像データ、第２の画像データのうち、第１の画像データのみを図３に示した形式でメモリカード１０８に記録しているが、第１の画像データの代わりに第２の画像データを記録してもよいし、第１の画像データと第２の画像データを、第３の画像データ又は第４の画像データとともに、記録してもよい。
【０１３７】
上記第３、第４の記録動作では、第１の露光条件と第２の露光条件により撮影された画像データを生成し、前記２つの画像データを合成していたが、第１の露光条件とも第２の露光条件とも異なる第３の露光条件により撮影された画像データを生成して、前記３つの露光条件により撮影された画像データを合成してもよい。
【０１３８】
本実施の形態では、階調特性における画像の階調の応答特性を、１つのガンマ値としたが、画像の暗部と明部などで複数のガンマ値に分けてもよいし、入出力特性を示すＬＵＴを用いてもよい。
【０１３９】
本実施の形態では、画像ファイルをメモリカード１０８に記録したが、デジタルカメラ１０１に内蔵されている内蔵メモリ１０９に記録してもよい。
【０１４０】
本実施の形態では、デジタルカメラ１０１は、画像データ再生装置に相当し、デジタルカメラ１０１の使用者は、表示装置のダイナミックレンジに沿った画像データを選択して再生することにしたが、使用者の意図に沿った画像データを選択して再生することもできる。
【０１４１】
本実施の形態では、図５（ａ）〜（ｄ）に示す管理テーブルＴ１０を用いたが、図５（ａ）〜（ｄ）に示す管理テーブルＴ１０に第１区間（最暗部）〜第５区間（最明部）までの画像中の輝度ヒストグラム情報Ｔ１６を付加した図１６に示す管理テーブルＴ１０を使用してもよい。また、管理テーブルＴ１０は、サブ画像データの情報のみでもよいし、サブ画像の先頭アドレスだけでもよい。
【０１４２】
また本実施の形態では、再生動作時において画像ファイルが第２の階調特性の画像データを含まない場合、ステップＳ６０４において第２の階調特性の画像データを合成して図１５に示すように第４の画像データＤ５３を第１の画像データＤ２５、第２の画像データＤ３３と結合して１つのファイルとしてメモリカード１０８に記録したが、図３の第２の画像データＤ３３に代えて第４の画像データＤ５３を第１の画像データＤ２５と結合した図４（ｂ）に示すファイルとしてメモリカード１０８に記録してもよい。さらにステップＳ６０４において生成した第４の画像データＤ５３を画像ファイルに記録しなくてもよい。
【０１４３】
また本実施の形態では、編集動作時において画像ファイルが第２の階調特性の画像データを含まない場合、ステップＳ６０４において第２の階調特性の画像データを合成して図１５に示すように第４の画像データＤ５３を第１の画像データＤ２５、第２の画像データＤ３３と結合して１つのファイルとしてメモリカード１０８に記録したが、図３の第２の画像データＤ３３に代えて第４の画像データＤ５３を第１の画像データＤ２５と結合した図４（ｂ）に示すファイルとしてメモリカード１０８に記録してもよい。
【０１４４】
以上のように、添付図面および詳細な説明によって、出願人がベストモードと考える実施の形態と他の実施の形態とを提供した。これらは、特定の実施の形態を参照することにより、当業者に対して、特許請求の範囲に記載の主題を例証するために提供されるものである。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、それ以外の構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されているからといって、直ちにそれらの必須ではない構成要素が必須であるとの認定を受けるべきではない。また、特許請求の範囲またはその均等の範囲において、上述の実施の形態に対して、種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１４５】
本開示は、プリンタやテレビなど、ダイナミックレンジの異なる機器において、それぞれの機器に最適な複数の階調特性を有する画像データを１つのファイルに記録し、編集・再生することができる。例えば、デジタルスチルカメラ、デジタルビデオカメラ、カメラ機能付き携帯電話端末等に適用できる。
【符号の説明】
【０１４６】
１０１  デジタルカメラ
１０８  メモリカード
１０９  内蔵メモリ
１１０  液晶モニタ
１１１  通信部
１１５  バッファメモリ
１４１  イメージセンサ
１５０  コントローラ
１６０  画像処理部
１６２  ＹＣ変換部
１６３  圧縮部
１６４  伸張部
１６５  電子ズーム処理部
１６６  合成部
１７４  モードダイアル
【図１】
2018023033.tif 000003
【図２】
2018023033.tif 000004
【図３】
2018023033.tif 000005
【図４】
2018023033.tif 000006
【図５】
2018023033.tif 000007
【図６】
2018023033.tif 000008
【図７】
2018023033.tif 000009
【図８】
2018023033.tif 000010
【図９】
2018023033.tif 000011
【図１０】
2018023033.tif 000012
【図１１】
2018023033.tif 000013
【図１２】
2018023033.tif 000014
【図１３】
2018023033.tif 000015
【図１４】
2018023033.tif 000016
【図１５】
2018023033.tif 000017
【図１６】
2018023033.tif 000018