(57)【要約】 【課題】  レンジ縮小画像データに付加する付加データの量を低減し、且つ、レンジ縮小画像データに対して階調調整を行ったことで不自然な画像となってしまう弊害を低減することを可能にする。【解決手段】  高階調の画像データを生成する画像信号生成部と、生成された高階調画像データから後処理の対象となる領域を検出する領域検出部と、検出された領域の後処理評価値を算出する算出部と、前記高階調画像データを階調圧縮してレンジ縮小画像データを生成するレンジ縮小部と、前記レンジ縮小部による階調圧縮によって消失されたデータに基づく付加データを生成する付加データ生成部と、前記レンジ縮小部で生成されたレンジ縮小画像データと、前記付加データ生成部で生成された付加データとを関連付けて記録する記録部とを有し、前記付加データ生成部は、前記算出部によって算出された後処理評価値に応じて付加データの生成方法を制御する。【選択図】  図１
2014220546.tif 000002
【特許請求の範囲】
【請求項１】
高階調の画像データを生成する画像信号生成手段と、
前記画像信号生成手段によって生成された高階調画像データから後処理の対象となる領域を検出する領域検出手段と、
前記領域検出手段によって検出された領域の後処理評価値を算出する算出手段と、
前記高階調画像データを階調圧縮してレンジ縮小画像データを生成するレンジ縮小手段と、
前記レンジ縮小手段による階調圧縮によって消失されたデータに基づく付加データを生成する付加データ生成手段と、
前記レンジ縮小手段で生成されたレンジ縮小画像データと、前記付加データ生成手段で生成された付加データとを関連付けて記録する記録手段とを有し、
前記付加データ生成手段は、前記算出手段によって算出された後処理評価値に応じて付加データの生成方法を制御することを特徴とする画像記録装置。
【請求項２】
前記領域検出手段は、
前記高階調画像データにおける輝度の変化が少ない平坦領域を検出する平坦領域検出手段と、
前記平坦領域検出手段によって検出された平坦領域の面積を算出する面積算出手段とを有し、
前記面積算出手段によって算出された平坦領域の面積が所定の割合よりも大きい場合に、前記後処理の対象領域として検出することを特徴とする請求項１に記載の画像記録装置。
【請求項３】
前記算出手段は、
前記領域検出手段により検出された前記後処理の対象領域において、主要被写体を検出する被写体検出手段と、
前記被写体検出手段の検出結果に基づいて前記後処理評価値を算出することを特徴とする請求項１又は２に記載の画像記録装置。
【請求項４】
前記算出手段は、後処理評価値テーブルを用いて前記後処理評価値を算出することを特徴とする請求項３に記載の画像記録装置。
【請求項５】
前記被写体検出手段は、前記高階調画像データから人物の顔を検出する顔検出手段と、人物の顔を認識する顔認識手段のうち、少なくともいずれか一つを備えることを特徴とする請求項３に記載の画像記録装置。
【請求項６】
前記レンジ縮小手段は、少なくともガンマ処理、ニー処理、又は、ブラックストレッチ処理のいずれかを行う非線形処理手段を含むことを特徴とする請求項１乃至４の何れか１項に記載の画像記録装置。
【請求項７】
前記算出手段は、
高輝度領域を検出する手段と、
記憶色を検出する手段と、
前記画像信号生成手段で用いた露出段差を検出する手段と、
テクスチャ領域を検出する手段とを有し、
いずれかの検出結果に応じて、前記後処理評価値の値をより高くすることを特徴とする請求項１乃至６の何れか１項に記載の画像記録装置。
【請求項８】
前記付加データ生成手段は、前記領域検出手段により検出された後処理の対象領域が含まれる画面全体に対して前記付加データを生成することを特徴とする請求項１乃至７の何れか１項に記載の画像記録装置。
【請求項９】
前記付加データ生成手段は、前記後処理評価値が所定値よりも低い画素に対しては、付加データをなしとするか、０詰めしてビット幅を全画素合わせることを特徴とする請求項１乃至７の何れか１項に記載の画像記録装置。
【請求項１０】
前記算出手段は、
シーンチェンジ検出手段を有し、
前記シーンチェンジ検出手段によって検出されたシーンチェンジの検出結果に従って前記後処理評価値を算出することを特徴とする請求項１乃至９の何れか１項に記載の画像記録装置。
【請求項１１】
高階調の画像データを生成する画像信号生成工程と、
前記画像信号生成工程において生成された高階調画像データから後処理の対象となる領域を検出する領域検出工程と、
前記領域検出工程において検出された領域の後処理評価値を算出する算出工程と、
前記高階調画像データを階調圧縮してレンジ縮小画像データを生成するレンジ縮小工程と、
前記レンジ縮小工程における階調圧縮によって消失されたデータに基づく付加データを生成する付加データ生成工程と、
前記レンジ縮小工程で生成されたレンジ縮小画像データと、前記付加データ生成工程で生成された付加データとを関連付けて記録する記録工程とを有し、
前記付加データ生成工程では、前記算出された後処理評価値に応じて付加データの生成方法を制御することを特徴とする画像記録方法。
【請求項１２】
コンピュータに、請求項１１に記載の画像記録方法の各工程を実行させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高階調の画像データを記録するデジタルカメラなどの画像記録装置及びその方法に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラといった画像記録装置は、撮像した被写体像を、ＣＭＯＳセンサやＣＣＤ等の撮像素子により画素単位で光電変換し、光の強度に応じた映像信号に変換して、画像信号処理を行う。撮像素子のダイナミックレンジは狭く、明るい被写体と暗い被写体との輝度差が大きいシーンにおいては、両被写体を適性露光で撮影することは困難である。このような問題を解決する為に、同一シーンにおいて露光量の異なる複数枚の画像を撮影し、複数枚の画像データを合成してダイナミックレンジを拡張した画像を得る方法が、近年提案されるようになってきた。拡張された高ダイナミックレンジの画像データをそのまま記録すると膨大な記録容量が必要となり、また表示装置が対応するレンジ幅にも制限がある為、現実的には高ダイナミックレンジの画像データをそのまま記録できない。そこで、標準的なレンジ幅である例えば８ビットの画像データにレンジ縮小して記録する必要がある。
【０００３】
特許文献１では、高ダイナミックレンジの画像データを標準的なファイルフォーマットにて記録すると共に、必要に応じて、撮像当初の高ダイナミックレンジのデータを有効利用可能な装置について開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１５２６８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載されている構成は、レンジ縮小処理段階で削除した差分ファイルと、差分ファイルが得られた履歴となるパラメータを記録することにより、撮影後に編集ソフトを利用して復元するものである。特許文献１では差分ファイルとパラメータを利用することによって、高ダイナミックレンジを有するレンジ拡大画像データを再現することができる。しかしながら、レンジ拡大画像データを完全に再現させる為に、逆変換処理工程を経て差分データを算出する負荷に加え、撮影後に編集ソフトを用いて後処理する可能性が低い画像データについても、冗長に付加データを記録しているという問題があった。
【０００６】
そこで、本発明の目的は、レンジ縮小画像データに付加する付加データの量を低減し、且つ、レンジ縮小画像データに対して階調調整を行ったことで不自然な画像となってしまう弊害を低減することを可能にする画像記録装置及びその方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の画像記録装置は、高階調の画像データを生成する画像信号生成手段と、前記画像信号生成手段によって生成された高階調画像データから後処理の対象となる領域を検出する領域検出手段と、前記領域検出手段によって検出された領域の後処理評価値を算出する算出手段と、前記高階調画像データを階調圧縮してレンジ縮小画像データを生成するレンジ縮小手段と、前記レンジ縮小手段による階調圧縮によって消失されたデータに基づく付加データを生成する付加データ生成手段と、前記レンジ縮小手段で生成されたレンジ縮小画像データと、前記付加データ生成手段で生成された付加データとを関連付けて記録する記録手段とを有し、前記付加データ生成手段は、前記算出手段によって算出された後処理評価値に応じて付加データの生成方法を制御することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、レンジ縮小画像データに付加する付加データの量を低減し、且つ、撮影後に階調調整を行った際に、トーンジャンプが発生して輝度の変化が少ない平坦領域において疑似輪郭が発生し不自然な画像となってしまうような弊害を防ぐことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態１に係る画像記録装置の構成を表すブロック図である。
【図２】本発明の実施形態１に係る画像処理部の詳細なブロック図である。
【図３】階調補正処理の階調補正前と階調補正後の画素値の関係を説明する図である。
【図４】本発明の実施形態１に係る画像解析部の詳細なブロック図である。
【図５】平坦領域であるか否かの判定動作を説明する図である。
【図６】後処理評価値テーブルの例である。
【図７】本発明の実施形態１に係る記録処理の動作フローチャートである。
【図８】付加データ生成テーブルの例である。
【図９】記録ファイルフォーマットの概念図である。
【図１０】本発明の実施形態１に係る画像解析部の変形例を表すブロック図である。
【図１１】本発明の実施形態２に係る記録処理の動作フローチャートである。
【図１２】後処理編集ソフトのＧＵＩ例である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
【００１１】
（実施形態１）
図１は、本発明の実施形態１に係る画像記録装置の構成を表すブロック図である。以下、画像記録装置の一例としてデジタルカメラに適用した例を説明する。
【００１２】
図１において、光学系１０１は、撮像レンズや焦点レンズ等からなるレンズ群および、ズームやフォーカスを制御する駆動系である。光学系１０１のレンズ群は、被写体からの反射光を集光し、撮像素子１０２に被写体像を結像する。撮像素子１０２は、例えばＣＭＯＳセンサやＣＣＤ等の撮像素子であり、光学系１０１が結像した被写体像を、光の強度に応じて画素単位で光電変換し、アナログ画像信号をアナログ信号処理部１０３に出力する。アナログ信号処理部１０３は、入力されたアナログ画像信号に対し、例えばノイズ除去やゲインコントロール等の信号処理を行い、Ａ／Ｄ変換部１０４に出力する。Ａ／Ｄ変換部１０４は、アナログ信号処理部１０３で信号処理が適用されたアナログ画像信号をＡ／Ｄ変換し、得られたデジタル画像を画像処理部１０５に出力する。画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル信号に対し、ＲＯＭ１１３に記憶されている設定値に従い、様々な画像処理を行う。
【００１３】
例えば、画像処理部１０５のブロック図の例を図２に示す。図２において、Ａ／Ｄ変換部１０４から出力されたデジタル信号は、画像信号生成部２０１に入力される。画像信号生成部２０１では入力されたデジタル信号からＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号それぞれを生成する。例えば、ＣＣＤの総画素数Ｎに対して、緑の解像度がＮ／２、赤・青の解像度がＮ／４のような単板方式のベイヤ配列のデジタル信号が入力された場合、画素毎に周辺の画素値を用いて補間することでＮ個のＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号を生成する。
【００１４】
画像信号生成部２０１において生成されたＲＧＢ信号は、ＷＢ検出部２０２及びＷＢ処理部２０３にそれぞれ送られる。ＷＢ検出部２０２では撮影した画像データから撮影画像に適したホワイトバランスのゲイン値を算出する。ＷＢ処理部２０３ではＷＢ検出部２０２で得られたホワイトバランスのゲイン値を画像のＲＧＢの各画素値に乗算する。ホワイトバランスのゲイン値が乗算された画像データは、一旦ＲＡＭ１１４に記録される。複数回の撮影毎に、画像データと不図示の画像解析部１１５で画像解析して得られた画像データの特徴量をＲＡＭ１１４に記録する。画像解析部１１５については、後述でブロック図を用いて詳細に説明する。画像データ合成部２０４では、ＲＡＭ１１４に記録されている露出の異なる所定数の画像データの加算合成を行うことで高ダイナミックレンジ画像を生成し、合成後の画像をＲＡＭ１１４に記録する。補正量算出部２０５は、ＲＡＭ１１４に記録されている各画像の特徴量、合成画像の特徴量のデータを基に、階調補正量を算出する。例えば、ガンマ処理や、暗い部分をゲインアップしてコントラストを改善させるブラックストレッチ処理や、明るい部分をゲインダウンして白飛びを防ぐニー処理等の補正量を算出する。
【００１５】
階調圧縮部２０６は、ＲＡＭ１１４に記録されている合成画像データに対して補正量算出部２０５から出力される階調補正量を用いて階調補正し、補正後の合成画像データを出力する。ここで行われる階調補正には、線形処理と非線形処理があり、図３に階調補正処理の階調補正前と階調補正後の画素値の関係を示す。横軸は階調処理前の画素値の大きさ、縦軸は階調処理後の画素値の大きさ、（ａ）は線形処理、（ｂ）は非線形処理のレベル変換の関係を示す。図３（ａ）に示す線形処理は、線形的にレベル変換する処理である。例えば１４ビットの映像信号を８ビットの映像信号にレンジ縮小する場合、１４ビットは１６３８４レベル、８ビットは２５６レベルを表現可能であるから、１６３８４／２５６＝６４、即ち６４分の１にレベル圧縮することになる。このレベル圧縮により多くの情報を消失することになる。具体的に２進数を用いて説明すると、１４ビットデータ［１１１１１０１００００１００］２＝１６００４を６４で割り算して８ビットデータに丸めると、左に６ビットシフトするので［１１１１１０１０］２＝２５０となる。これを６４倍して逆変換、すなわち右に６ビットシフトしても［１１１１１０１０００００００］２＝１６０００となり、元のデータには完全には戻らない。一方、（ｂ）に示す非線形処理のレベル変換は、人の目で見た印象に近い自然な画像を実現する為の特性を用いてレベル圧縮を行う。非線形処理も前述した線形処理と同様に、元のデータには完全には戻らず、輝度によって圧縮率が異なり、画素値が低輝度部においては低圧縮、高輝度部においては高圧縮されることになる。また、非線形処理には、暗い部分をゲインアップしてコントラストを改善させるブラックストレッチ処理や、明るい部分をゲインダウンして白飛びを防ぐニー処理を含む。
【００１６】
なお、本実施形態ではＲＡＭ１１４に記録されている画像解析部１１５が解析した各画像の特徴量、合成画像の特徴量のデータを基に補正量算出部２０５において階調補正量を算出する例を説明したが、各画像の特徴量を使用しても良い。即ち、ＲＯＭ１１３に予め置いてあるテーブルデータから階調補正量を求めて階調圧縮部２０６で階調補正処理を行う構成にしても良い。
【００１７】
また、本実施形態では最も一般的に利用されている８ビットデータに階調補正する例を説明したが、標準的なファイルフォーマットに従っていればこれに限るものではない。
【００１８】
また、本実施形態では、露出の異なる所定の複数枚の画像信号を撮影し合成することで高ダイナミックレンジの画像データを生成する例を説明したが、高ダイナミックレンジの画像を生成することが出来れば、これに限るものではない。例えば、撮像素子１０２のセンサが高ビット対応したセンサであっても良い。例えば入力された８ビットの画素値に対して、平坦部、ディテール部、ノイズ部などといった様々な映像信号の特徴解析を行い、補間値を算出することにより８＋ｎビット、例えば１４ビット精度のデータを生成して高階調画像データを得るような構成でも良い。
【００１９】
付加データ生成部１０６は、画像処理部１０５でレンジ縮小した画像データに付加するデータを生成する。コーデック部１０７は、画像処理部１０５で画像処理が適用されたデジタル画像を、後述する記録媒体１０８に記録するデータ形式に従い符号化処理を行い、記録媒体１０８に出力する。また、コーデック部１０７は記録媒体１０８に記録されている符号化済み画像データを復号し、画像表示部１０９などに出力する。記録媒体１０８は、例えばデジタルカメラ１００が備える内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される外部記録媒体であり、デジタルカメラ１００で撮像した画像を記録する。画像表示部１０９は、例えば小型液晶ディスプレイ（ＬＣＤ）等の表示装置であり、画像処理部１０５が出力したデジタル画像をスルー表示することで、デジタルカメラ１００の電子ビューファインダとして機能する。また画像表示部１０９は、前述のように、コーデック部１０７で復号した画像データを表示することが可能である。
【００２０】
制御部１１１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの全体の動作を制御する。操作入力部１１２は、デジタルカメラ１００が備える、例えばレリーズボタンやメニューボタン、タッチパネル等のユーザ入力を検出する入力インタフェースであり、ユーザの操作により入力された情報を、制御部１１１に伝える。ＲＯＭ１１３は、不揮発性の読み出し専用の半導体メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、出力解像度や記録画質等、デジタルカメラ１００の撮像に関する設定や、各ブロックの動作に必要な設定値等を記憶する。ＲＡＭ１１４は、揮発性の読み書き可能なメモリであり、動作用の定数、変数、ＲＯＭ１１３から読みだしたプログラム等を展開するＲＡＭである。制御部１１１は、例えばＲＯＭ１１３に記憶されているデジタルカメラ１００が備える各ブロックの動作プログラムを読み出し、ＲＡＭ１１４に展開し、実行することにより、デジタルカメラ１００が備える各ブロックの動作を制御する。画像解析部１１５は、制御部１１１の指示によりＲＡＭ１１４に記憶された画像データの解析を行う。
【００２１】
図４に画像解析部１１５のブロック図の例を示す。平坦領域検出部４０１は、ＲＡＭ１１４に記録された合成画像データである高階調の画像データから被写体領域として平坦領域を検出する。例えば、平坦領域検出部４０１には、ＲＡＭ１１４から画素信号のＲ成分、Ｇ成分、Ｂ成分のデータが入力され、ＲＯＭ１１３からＲ成分、Ｇ成分、Ｂ成分各々の閾値である閾値Ｒｔｈ、Ｇｔｈ、Ｂｔｈ設定値が入力される。平坦領域検出部４０１は、連続する画素値のＲ成分、Ｇ成分、Ｂ成分の変化の有無を検出することで平坦領域であるか否かを検出する。
【００２２】
次に、図５に示すように、入力される画像データを縦横Ｌ×Ｍ分割し、各々のブロックにおいて平坦領域であるか否かの判定フラグを付ける。平坦領域面積算出部４０２は、平坦領域検出部４０１で検出したブロック毎の平坦領域判定フラグを基に平坦領域の面積、及び画面全体における平坦領域が占める割合を算出する。なお、本実施形態では、平坦領域であるか否かを画素値の連続性で検出している。これは、画素値が緩やかに変化していくグラデーションのような変化がある時に、階調圧縮で下位ビットが消失すると擬似輪郭が発生して、目立つということに着目しているので、そのような検出方法を提案している。しかし、平坦領域であるか否かの判断は、画素値の連続性だけでなく、画素値の分散値を評価値として検出しても同様な効果は得られるので、本発明の他の実施形態となる。
【００２３】
顔検出部・顔認識部４０４は、主要被写体検出として、人物の顔画像の検出および顔の認識を行う。即ち、撮影画像の中から主要被写体である顔部分を検出し、顔検出部で検出された人物の顔から、予め登録された顔に合致する顔を認識する。顔検出処理および顔認識処理に関しては既知の技術を適用可能である。例えば、顔検出処理に関しては、制御部１１１の制御下で当該画像データにバンドパスフィルタを作用させることで、画像のエッジ成分を検出する。その後、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、制御部１１１は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。顔認識処理の例としては、撮影前に主被写体として認識させる人物の顔を予め撮影してＲＡＭ１１４に記録（登録）しておく。そして、前述の顔検出処理で検出した顔の特徴量と、記録（登録）済みの人物の顔の特徴量と比較することにより、どの検出した顔がどの人物の顔であるかを特定する。
【００２４】
後処理評価値算出部４０３は、平坦領域面積算出部４０２の算出結果及び顔検出部・顔認識部４０４の検出結果に応じて後処理の対象領域の後処理評価値を算出する。
【００２５】
図６に後処理評価値の算出に用いる後処理評価値テーブルの例を示す。後処理評価値テーブルとは、平坦領域面積算出部４０２で算出した平坦領域の画面全体の面積割合をＳ、顔検出・顔認識部４０４による顔検出評価値をＰ、顔認識評価値をＱで表わす。そして、各々の評価値に対応した後処理評価値を後処理評価値Ａ、後処理評価値Ｂとして対応付けしたテーブルである。６０１は、平坦領域の面積割合Ｓ、６０２は後処理評価値Ａ、６０３は顔検出評価値Ｐ・顔認識評価値Ｑ、６０４は後処理評価値Ｂを示す。例えば、画像データにおいて平坦領域の面積割合が多く、ＲＡＭ１１４に予め記録された顔データであると認識された場合は、後処理評価値Ａ、Ｂは高くなる。逆に、平坦領域の面積割合が小さく、顔検出されなかった場合には、後処理評価値Ａ、Ｂは低くなる。
【００２６】
以上、本実施形態におけるデジタルカメラ１００の構成と各ブロックの動作について説明した。上述のようにデジタルカメラ１００は光学系１０１を通して撮像した画像を符号化し、記録媒体に付加することが可能である。
【００２７】
次に、図７のフローチャートを用いてデジタルカメラ１００の記録時の処理を詳細に説明する。図７は、本発明の実施形態１に係る記録処理の動作フローチャートである。図７のフローチャートは、制御部１１１によって各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１１１が、メモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００２８】
ステップＳ７０１において、画像処理部１０５は、高階調画像データを生成する。本実施形態では、画像処理部１０５に含まれる画像データ合成部２０４において、露出の異なる複数枚の画像を合成することで高階調画像データを生成する。ステップＳ７０２において、画像解析部１１５は、画像処理部１０５に含まれる画像データ合成部２０４から出力される高階調画像データの平坦領域を、平坦領域検出部４０１を用いて検出する。ステップＳ７０３において、画像解析部１１５は、ステップＳ７０２で検出された平坦領域の面積及び画面全体における面積割合を算出する。
【００２９】
ステップＳ７０４において、制御部１１１は、ステップＳ７０３で算出された平坦領域の面積割合が、ＲＯＭ１１３に予め記録されている任意の閾値設定値よりも大きいか否かを判定する。平坦領域が任意の閾値設定値よりも大きいと判定された場合は、ステップＳ７０５に進む。平坦領域が任意の閾値設定値よりも小さいと判定された場合は、ステップＳ７０９に進む。
【００３０】
ステップＳ７０５において、画像解析部１１５に含まれる後処理評価値算出部４０３は、平坦領域面積算出部４０２で算出した面積割合と顔検出部・顔認識部４０４で算出した顔検出評価値、顔認識評価値に応じて後処理評価値を算出する。例えば、図６に示した後処理評価値テーブルを用いて、後処理評価値Ａが３０、後処理評価値Ｂが４０という結果が得られた場合は、各々の評価値を加算することで後処理評価値を３０＋４０＝７０と算出する。
【００３１】
ステップＳ７０６において、画像処理部１０５に含まれる階調圧縮部２０６において、補正量算出部２０５の補正量に基づきレンジ縮小画像データを生成する。ステップＳ７０７において、付加データ生成部１０６は、ステップＳ７０５において後処理評価値算出部４０３で算出した後処理評価値に応じて、付加データを生成する。例えば、付加データ生成部１０６は、図８に示した付加データ生成テーブルに基づいて、付加データを生成する。付加データ生成テーブルについては後述する。
【００３２】
ステップＳ７０８において、画像処理部１０５で生成した画像データと付加データ生成部１０６で生成した付加データとを関連付けて記録媒体１０８に記録する。どのように関連付けて記録するかについては、図９を用いて後述する。ステップＳ７０９において、ステップＳ７０４において平坦領域の全体に占める割合が所定の閾値（設定値）よりも小さい場合は、付加データを記録せずにレンジ縮小画像データのみを記録する。
【００３３】
図８に示す付加データ生成テーブルとは、後処理評価値算出部４０３で算出した後処理評価値と付加データ生成部１０６で生成する付加データの下位ビット幅の対応付けを示すテーブルである。８０１は、後処理評価値算出部４０３で算出した後処理評価値、８０２は付加データの下位ビット幅を示す。例えば、画像データ合成部２０４で生成した１４ビットの高階調画像データを階調処理により８ビットのレンジ縮小画像データにレンジ縮小する場合に、消失した下位６ビットを後処理評価値に応じて１ビットから６ビットを付加データの対象とする。付加データ生成部１０６は、対象となった下位ビットをコーデック部１０７で圧縮する。例えば、図６に示した後処理評価値テーブルにより、後処理評価値算出部４０３は、後処理評価値Ａが３０、後処理評価値Ｂが４０であった場合に、最終的な後処理評価値を３０＋４０＝７０と加算して求める。次に付加データ生成部１０６は、図８の付加データ生成テーブルにより、後処理評価値が７０の場合は、付加データの下位ビット幅を４ビットと決定する。
【００３４】
図９に記録媒体１０８の記録ファイルフォーマットの概念図を示す。本実施形態によれば、画像処理部１０５から出力されるレンジ縮小画像データと付加データ生成部１０６から出力される付加データとを、コーデック部１０７において各々符号化して記録媒体１０８に記録する。レンジ縮小画像データは、標準的なフォーマットの画像データであり、例えば８ビットのＪＰＥＧ圧縮形式のデータである。一方、付加データは、図８の付加データ生成テーブルに基づいて消失される下位ビットのビット幅を対象とし、コーデック部１０７において上位ビットよりも符号化効率を高く、高圧縮したデータである。本実施形態で、付加データの符号化圧縮率を高めるのは、メインの画像のように本データがなくてもメインの画像が破綻することがないので、その重要性を加味して、メインの画像データより符号化圧縮率を高めている。
【００３５】
また、付加データの下位ビットの発生パターンは、画素ごとの相関は低く、発生確率に依存するような形で発生するので、発生確率を効率的に符号化圧縮する算術符号化等を用いると、さらに、高効率に符号化圧縮することも可能となる。
【００３６】
付加データを画像データに関連付ける方法としては、図９（ａ）に示すように付加データ全てをレンジ縮小画像データに埋め込む場合と、図９（ｂ）に示すように付加データの情報のみをレンジ縮小画像データに付加する場合とがある。図９（ａ）の例では画像データの後に、生成した付加データを埋め込んでいるが、埋め込まれる位置はこれに限るものではなく、画像データのヘッダ部に埋め込んでも良い。図９（ａ）において９０１は画像データであり、例えばＪＰＥＧ圧縮方式のデータである。９０２、９０３、９０４は付加データブロックで、９０２は付加データのブロックヘッダ、９０３は付加データのボディ、９０４は付加データのフッタである。ヘッダ９０２とフッタ９０４は画像データに付加データが連結されているかどうかを正しく認識する為に、付加データブロックの識別情報、サイズ等が記録されている。図９（ｂ）において９０５は画像データであり、９０６は付加データの情報、９０７は付加データを示している。画像データ９０５に、付加データの情報９０６のみを付加することにより、付加データ９０７を画像データと関連付けている。図９（ｂ）の例では画像データの後に生成した付加データの情報としてファイル名のみが付加され、付加データは別に独立して存在している例を示している。付加する位置はこれに限るものではなく、付加データの情報を画像データのヘッダの一部に付加しても良い。また、付加データの情報としてファイル名を付加する例で説明したが、これに限るものではなく付加データの位置を付加データの情報として付加しても良い。
【００３７】
このように本実施形態では、撮影後に編集ソフトを用いて後処理する可能性のある領域、即ち空等の輝度が平坦な平坦領域、更には主被写体に平坦領域がある場合（顔の肌等）といったシーンを絞って、レンジ縮小画像データに付加データを関連付けて記録する。こうすることにより、出来るだけ記録データ量を少なく、且つ、レンジ縮小画像データに対して階調調整を行った際に、トーンジャンプが発生し疑似輪郭等の不自然な画像が作成される弊害を防ぐことが可能である。
【００３８】
なお、本実施形態においては、画像解析部１１５において、顔検出・顔認識の評価値を用いる例を説明したが、これに限らない。例えば画像解析部１１５においてユーザが撮影後に編集ソフトを用いて後処理で調整する可能性の高い被写体や画像パターンを検出する検出ブロックを更に備える構成にし、各ブロックで算出された評価値を加算して最終的な後処理評価値を算出する構成でも良い。
【００３９】
図１０に画像解析部１１５の変形例を示す。図１０の画像解析部１１５は、図４で説明した画像解析部１１５の例に、解析する機能ブロックを更に加えたものである。よって図４と同符号のついた機能ブロックは、図４で説明したものと同様であるためここでの説明は省略する。
【００４０】
図１０において、ユーザ設定情報取得部１００１は、ユーザがデジタルカメラ１００のタッチパネル等を用いて、任意に後処理予定の被写体を設定した際の設定情報を取得する。例えば、ユーザが被写体を設定する際に被写体及び後処理の重要度を入力する場合、ユーザが設定した重要度が高い程、ユーザ設定情報取得部１００１から出力される評価値を高くし、後処理評価値算出部４０３の後処理評価値は高く算出されることになる。これは、ユーザが注目している画像なので階調制御をやり直す可能性が高いという理由で重みを付加していることになる。
【００４１】
また、記憶色を検出する記憶色検出部１００２は、夕焼けや桜の花などといった記憶色を検出する。例えば、夕焼け色や桜色のＲＧＢ値を予めＲＯＭ１１３に記録しておき、記憶色検出部１００２は、高階調画像データのＲＧＢ値とＲＯＭ１１３に記録されている記憶色のＲＧＢ値が近ければ近い程、記憶色検出部１００２から出力される評価値を高くする。こうすることで、後処理評価値算出部４０３の後処理評価値は高く算出されることになる。これは、人が記憶して印象に残りやすい部分に関して、階調制御をやり直す可能性が高いという理由で重みを付加していることになる。
【００４２】
高輝度領域検出部１００３は、階調圧縮部２０６において階調補正する際に圧縮率が高くなる高輝度部を検出する。例えば、高輝度である程、階調圧縮部２０６での階調圧縮率が高くなり、消失する下位ビット幅が大きくなってしまう為、高輝度である程、高輝度領域検出部１００３から出力される評価値を高くする。こうすることで、後処理評価値算出部４０３の後処理評価値は高く算出されることになる。これは、階調圧縮で削減されたデータの中で、輝度の高い目立ち易い部分に関して、階調制御をやり直す可能性が高いという理由で重みを付加していることになる。
【００４３】
露出段差情報検出部１００４は、画像データ合成部２０４に入力される所定の複数枚の画像データの露出段差情報を検出する。例えば、露出段差が大きければ大きい程、階調圧縮部２０６において階調圧縮する際に消失する下位ビット幅が大きくなってしまう為、露出段差が大きい程、露出段差情報検出部１００４から出力される評価値を高くする。こうすることで、後処理評価値算出部４０３の後処理評価値は高く算出されることになる。
【００４４】
テクスチャ領域検出部１００５は、高周波成分を多く持つ複雑な画柄を持つテクスチャ領域を検出する。例えば、画像から画素値の分散値を抽出し、所定値より大きい値を有するものを検出することでテクスチャ領域を検出する。テクスチャ領域は平坦領域と比較して、階調圧縮によるトーンジャンプで疑似輪郭が発生しても、画柄が複雑なので疑似輪郭が発生していても目立たないという特徴がある。そこで、テクスチャパターンであればある程、テクスチャ領域検出部１００５から出力される評価値を高くする。こうすることで、後処理評価値算出部４０３の後処理評価値は、これまでのブロックとは逆に低く算出されることになる。
【００４５】
なお、後処理評価値算出部４０３において、１００１〜１００５の各々のブロックで算出した評価値から最終的な後処理評価値を算出するような構成としても良い。
【００４６】
なお、本実施形態においては、後処理評価値が高かった画像に対して、図８の付加データ生成テーブルに基づいて、画面全体の全画素に対して同様の下位ビット幅を付加データの対象範囲として、付加データを生成する構成としたがこれに限らない。例えば、より付加データの量を削減したい場合においては、階調圧縮部２０６で用いた特性、即ちガンマ処理、ニー処理、ブラックストレッチ処理の特性から、画素毎に輝度値に応じて階調圧縮率を算出する。そして、その算出結果から階調圧縮率が高い程、後処理評価値が高くなるよう算出し、付加データの下位ビット幅を画素毎に制御する構成としても良い。その場合は、後処理評価値が所定値よりも低い画素に対しては、付加データをなしとするか、もしくは０詰めして、ビット幅を全画素合わせる構成としても良い。
【００４７】
（実施形態２）
次に、実施形態２として、動画像を撮像し、動画像データを記録する場合に本発明を適用する例について説明する。
【００４８】
なお、実施形態２においては、画像記録装置の一例として実施形態１と同じくデジタルカメラに本発明を適用した例を説明することとし、基本構成は実施形態１と共通である。以下の説明においては実施例１との差異点である動作フローチャートと後処理の編集ソフトにおけるＧＵＩ例のみの説明とする。
【００４９】
図１１のフローチャートを用いてデジタルカメラ１００の動画像データ記録時の処理を詳細に説明する。図１１は、本発明の実施形態２に係る記録処理の動作フローチャートである。図１１のフローチャートは、制御部１１１によって各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１１１が、メモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。なお、図１１のフローチャートのうち、図７と同符号のついた処理は、実施形態１と同様であるため、ここでの説明は省略する。
【００５０】
ステップＳ７０１からＳ７０４において、後処理評価値を算出するまでのフローは実施例形態１における図７での説明と同様である。
【００５１】
ステップＳ１１０１において、不図示のシーンチェンジ検出部の検出結果を基に、後処理評価値算出部４０３はある所定フレーム数分の後処理評価値を算出する。例えば、後処理評価値算出部４０３は、所定期間である３０フレーム分は一定の後処理評価値を用いる構成とし、付加データ生成等の演算処理時間を短縮する。その場合に、後処理評価値の変化点のつなぎ目が不自然にならないよう、不図示のシーンチェンジ検出部の検出結果を基に、後処理評価値の変化点をシーンの切れ目と同じになるよう制御部１１１は制御する。
【００５２】
ステップＳ７０６からＳ７０９において、レンジ縮小画像データに付加データを関連付けて記録するフローは実施例形態１における図７での説明と同様である。
【００５３】
ステップＳ１１０２において、記録する動画像データが終了しているか否かを判定する。既に全ての動画像データが入力されていれば、記録処理は終了となり、終了していなければ、Ｓ７０１に移る。
【００５４】
次に、記録した動画像データを後処理する際の編集ソフトのＧＵＩ例を図１２に示す。図１２において、画面左側１２０１は動画像データファイルのファイル一覧を示し、記録された動画像データのサムネイルを上から下に撮影順序通りに表示している。画面右側１２０２は、タイムライン表示であり、図１２の例ではファイル一覧１２０１にあるサムネイル２にあたるファイル名：００２．ＭＴＳをユーザが選択した場合の例を示している。後処理評価値算出部４０３で算出した最終後処理評価値に応じて、後処理したくなりそうなシーンをタイムライン上に後処理必要度：高（１２０４、１２１０）や後処理必要度：中（１２０７）といった具合に、タイムライン上で表示している例である。これによって、ユーザが一目で、どのあたりのシーンを編集ソフトで編集した方が良さそうかといった提示をタイムライン上で識別することができる。後処理評価値が高いシーンに関しては、本実施形態の画像記録装置においては高階調データの下位ビットを多く付加データとしてレンジ縮小画像データに付加して記録している。そのため、ユーザが後処理で階調を調整したとしても、トーンジャンプが発生することはなく、疑似輪郭が発生して不自然な画像となることを防ぐことができる。
【００５５】
以上説明したように、本実施形態の画像記録装置は、実施形態１に加えて動画像データに対し、編集ソフト等を用いて後処理する場合に、後処理する可能性のあるシーンに絞って、レンジ縮小画像データに付加データを関連付けて記録する構成とした。これにより、出来るだけ記録データ量を少なく、且つ、レンジ縮小画像データに対して階調調整を行った際に、不自然な画像となる弊害を防ぐことが可能となる。
【００５６】
なお、実施形態２において、例えば、ユーザが撮影時にタッチパネル等を用いて、任意に後処理する予定の被写体を設定しても良く、設定した情報を取得するユーザ設定情報取得部１００１を備えても良い。また、夕焼けや桜の花などといった記憶色を検出する記憶色検出部１００２や階調圧縮部２０６において階調補正する際に圧縮率が高くなる高輝度部を検出する高輝度領域検出部１００３を備えても良い。また、画像データ合成部２０４に入力される所定の複数枚の画像データの露出段差情報を検出する露出段差情報検出部１００４、テクスチャ領域を検出するテクスチャ領域検出部１００５などといったブロックを更に備えても良い。このように、実施形態１での説明と同様に各ブロックで算出した各々の評価値から後処理評価値を算出し、この後処理評価値の高いシーンをユーザが後処理した方が良いシーンとする構成にしても良い。
【００５７】
なお、入力される動画像データを所定フレーム毎に後処理評価値算出する構成としたが、これに限ったものではなく、例えば、後処理評価値を間引いて算出し、間引いたフレームに関しては、補間して評価値を算出するような構成としても良い。
【００５８】
（その他の実施形態）
さらに、上述した各実施形態におけるフローチャートに示した各処理は、各処理の機能を実現する為のコンピュータプログラムを本件発明の画像符号化装置が動作するシステムのメモリから読み出してシステムのＣＰＵが実行することによっても実現できる。この場合、メモリに記憶されたプログラムは本件発明を構成する。
【００５９】
上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６０】
また、フローチャート図に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、フローチャート図に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６１】
ここで、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置を含む。さらに、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００６２】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００６３】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【００６４】
以上、本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなくクレームに示した範囲で種々の変更が可能である。
【符号の説明】
【００６５】
１０１  光学系
１０２  撮像素子
１０３  アナログ信号処理部
１０４  Ａ／Ｄ変換部
１０５  画像処理部
１０６  付加データ生成部
１０７  コーデック部
１０８  記録媒体
１０９  画像表示部
１１１  制御部
１１２  操作入力部
１１３  ＲＯＭ
１１４  ＲＡＭ
１１５  画像解析部
【図１】
2014220546.tif 000003
【図２】
2014220546.tif 000004
【図３】
2014220546.tif 000005
【図４】
2014220546.tif 000006
【図５】
2014220546.tif 000007
【図６】
2014220546.tif 000008
【図７】
2014220546.tif 000009
【図８】
2014220546.tif 000010
【図９】
2014220546.tif 000011
【図１０】
2014220546.tif 000012
【図１１】
2014220546.tif 000013
【図１２】
2014220546.tif 000014