(57)【要約】【課題】現実の被写体の明るさの情報をより効率よく画像信号として残すことができる階調変換が可能な画像処理装置を提供する。【解決手段】被写体からの光を光電変換する撮像部の光電変換特性を取得する第１の取得部と、撮像部により撮像された映像信号に対する画像処理の処理内容を取得する第２の取得部と、映像信号の階調変換特性を設定する設定部と、映像信号を階調変換特性に基づいて階調変換する変換部とを備え、設定部は、第１の取得部により取得された撮像部の光電変換特性と、第２の取得部により取得された映像信号に対する画像処理の処理内容に起因するノイズ量の増減の情報とに基づいて、階調変換特性を表わす曲線における線形特性部分と非線形特性部分の比率を決定する。【選択図】図３
2018078492.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を光電変換する撮像手段の光電変換特性を取得する第１の取得手段と、
前記撮像手段により撮像された映像信号に対する画像処理の処理内容を取得する第２の取得手段と、
前記映像信号の階調変換特性を設定する設定手段と、
前記映像信号を前記階調変換特性に基づいて階調変換する変換手段とを備え、
前記設定手段は、前記第１の取得手段により取得された前記撮像手段の光電変換特性と、前記第２の取得手段により取得された前記映像信号に対する画像処理の処理内容に起因するノイズ量の増減の情報とに基づいて、前記階調変換特性を表わす曲線における線形特性部分と非線形特性部分の比率を決定することを特徴とする画像処理装置。
【請求項２】
前記光電変換特性は、線形であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、前記映像信号の輝度の低い領域に対して前記線形特性部分を設定し、前記映像信号の輝度の高い領域に対して前記非線形特性部分を設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記設定手段は、前記階調変換特性を表わす曲線における線形特性部分と非線形特性部分の交点の近くに主被写体がある場合には、前記線形特性部分をより輝度の高い領域まで延長することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記階調変換特性を表わす曲線における非線形特性部分は、前記階調変換特性を表わす曲線における線形特性部分と非線形特性部分の交点と、被写体の最大の輝度を表わす点とを対数変換特性を表わす曲線でつないで構成されることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記階調変換特性における線形特性部分と非線形特性部分の比率は、前記第２の取得手段により得られた前記映像信号に対する画像処理の処理内容に起因するノイズ量の変化量を考慮した視覚特性に基づくモデル関数と、前記光電変換特性を表わす曲線との交点の位置によって決定されることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記階調変換特性における線形特性部分と非線形特性部分の比率は、前記視覚特性に基づくモデル関数と前記光電変換特性を表わす曲線との交点の位置を、前記第２の取得手段により得られた前記映像信号に対する画像処理の処理内容に起因するノイズ量の変化量に応じて補正して決定されることを特徴とする請求項６に記載の画像処理装置
【請求項８】
前記画像処理の処理内容とは、増感処理、減感処理、ノイズ抑圧処理、ディザ追加処理のうち少なくとも１つを含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記階調変換特性における線形特性部分と非線形特性部分の比率に関する情報を、前記変換手段により階調変換された画像データに、メタデータとして付与することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記映像信号に対する画像処理の処理内容の情報を、前記変換手段により階調変換された画像データに、メタデータとして付与することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
請求項１乃至１０のいずれか１項に記載の画像処理装置と、
前記撮像手段と、
を有することを特徴とする撮像装置。
【請求項１２】
被写体からの光を光電変換する撮像手段の光電変換特性を取得する第１の取得工程と、
前記撮像手段により撮像された映像信号に対する画像処理の処理内容を取得する第２の取得工程と、
前記映像信号の階調変換特性を設定する設定工程と、
前記映像信号を前記階調変換特性に基づいて階調変換する変換工程とを備え、
前記設定工程では、前記第１の取得工程において取得された前記撮像手段の光電変換特性と、前記第２の取得工程において取得された前記映像信号に対する画像処理の処理内容に起因するノイズ量の増減の情報とに基づいて、前記階調変換特性を表わす曲線における線形特性部分と非線形特性部分の比率を決定することを特徴とする画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１２に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を階調変換する技術に関するものである。
【背景技術】
【０００２】
従来、テレビやディスプレイといった出力機器の出力ダイナミックレンジは狭く、実際の被写体に比べてかなり狭いレンジまでしか表示出来なかった。そのため、撮像装置で被写体を撮影した際に、広いダイナミックレンジの映像信号を出力機器の表示のダイナミックレンジに押し込むように、ダイナミックレンジを圧縮する処理が必要となっていた。そのような処理を行った場合、見た目とは異なった状態で出力機器から映像が表示され、臨場感が失われてしまっていた。
【０００３】
近年の技術革新により出力機器の最大出力輝度が大きく改善して階調表現可能な画像のダイナミックレンジが拡大し、人間の視覚特性の大部分をカバーするほどのダイナミックレンジ出力が可能となった。出力機器のダイナミックレンジ性能の向上に伴い、拡張されたダイナミックレンジの画像を表示するための出力機器の変換特性が、非特許文献１として規格化されている。
【０００４】
非特許文献２において、人間の視覚特性は輝度に応じて認識できるＪＮＤ（Ｊｕｓｔ  Ｎｏｔｉｃｅａｂｌｅ  Ｄｉｆｆｅｒｅｎｃｅ）が異なることが科学的に検証されている。非特許文献１はこれに基づき、画像信号の符号値と出力機器により表示される輝度値とを関連付けて規格化したものである。そのため、出力機器に入力される画像信号としては、この変換特性の逆関数にもとづいて光電変換されることが期待される。
【０００５】
一方、このようなダイナミックレンジの広い表示機器に出力する場合と従来のダイナミックレンジの狭い表示機器に出力する場合の両方の用途が想定されることがある。このような場合、撮影時にそれぞれの規格に準じた階調変換を行うよりも、撮影時の記録画像としてはどちらにも対応可能な符号化を行い、記録後の後編集の際にそれぞれの規格に準じた階調変換を行う方が汎用性が高くコンテンツとしての価値も向上する。その際、後編集時にダイナミックレンジの広い画像に変換することを想定し、現実の被写体の明るさの情報をより効率よく画像信号として残す画像の符号化方法が求められる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特願２００７−７２９８４
【特許文献２】特願２０１１−２２９７１４
【非特許文献】
【０００７】
【非特許文献１】ＳＭＰＴＥ  ＳＴ  ２０８４：２０１４
【非特許文献２】Ｒｅｐｏｒｔ  ＩＴＵ−Ｒ  ＢＴ．２２４６−１（０８／２０１２）／Ｔｈｅ  ｐｒｅｓｅｎｔ  ｓｔａｔｅ  ｏｆ  ｕｌｔｒａ  ｈｉｇｈ  ｄｅｆｉｎｉｔｉｏｎ  ｔｅｌｅｖｉｓｉｏｎ
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１には、人間の網膜の応答特性に基づいて効率よく階調圧縮を行う画像の符号化方法が開示されている。しかし、非特許文献１に示す通り人間の視覚特性は知覚される輝度によりＪＮＤが異なるが、特許文献１に示す階調圧縮ではこの点が考慮されていない。そのため、出力機器での表示輝度まで考慮すると、効率のよい符号化とはならない。さらには、出力機器に適した編集を行う過程で、ノイズレベルの変化やディザを加えるといった変化があるときにもＪＮＤは変わってくる。
【０００９】
たとえば、広く知られているように、画像にみえるトーンジャンプは、ディザを加える事によって目立たなくすることができる。これは、単にノイズが増えたことによる効果だけでなく、認識されうるコントラストをもつ被写体の空間周波数を高周波側にシフトする効果や人間の目の時間積分効果も含まれるが、ディザを加える事で人間の階調性を感じる感度が落ちたことを意味する。
【００１０】
また、特許文献２ではセンサーノイズを含む画像信号に対して撮影時の感度に応じた非線形の階調変換を行ってから画像処理を行ない、画像処理後に出力階調に変換することで、補間処理を行っても画質劣化を起こりにくくする技術が開示されている。この技術は現像による補間時に画像劣化が起こりにくいという点では有用であるが、効率よく階調圧縮を行うという効果を得ることはできない。
【００１１】
本発明は上述した課題に鑑みてなされたものであり、その目的は、現実の被写体の明るさの情報をより効率よく画像信号として残すことができる階調変換が可能な画像処理装置を提供することである。
【課題を解決するための手段】
【００１２】
本発明に係わる画像処理装置は、被写体からの光を光電変換する撮像手段の光電変換特性を取得する第１の取得手段と、前記撮像手段により撮像された映像信号に対する画像処理の処理内容を取得する第２の取得手段と、前記映像信号の階調変換特性を設定する設定手段と、前記映像信号を前記階調変換特性に基づいて階調変換する変換手段とを備え、前記設定手段は、前記第１の取得手段により取得された前記撮像手段の光電変換特性と、前記第２の取得手段により取得された前記映像信号に対する画像処理の処理内容に起因するノイズ量の増減の情報とに基づいて、前記階調変換特性を表わす曲線における線形特性部分と非線形特性部分の比率を決定することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、現実の被写体の明るさの情報をより効率よく画像信号として残すことができる階調変換が可能な画像処理装置を提供することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の画像処理装置の第１の実施形態であるデジタルビデオカメラの構成を示すブロック図。
【図２】第１の実施形態における画像処理部の内部構成を示すブロック図。
【図３】第１の実施形態における画像処理の流れを示すフローチャート。
【図４】第１の実施形態における視覚特性のモデル関数の変化を示す図。
【図５】視覚特性に基づくモデル関数と階調変換特性の関係を示す図。
【図６】第１の実施形態における階調変換特性を示す図。
【図７】視覚特性に基づくモデル関数と第１の実施形態における階調変換特性の関係を示す図。
【図８】第１の実施形態における階調変換特性を示す図。
【図９】第２の実施形態における画像処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。以下に説明する実施形態では、本発明をデジタルビデオカメラ内の画像処理部に適用した場合について説明するが、本発明は撮像装置内部の画像処理に限定されるものではなく、その他の画像信号を扱う装置における汎用的な画像処理方法として広く適用可能である。
【００１６】
＜第１の実施形態＞
図１は、本発明の画像処理装置の第１の実施形態であるデジタルビデオカメラ１００の構成を示すブロック図である。図１において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は開口径を調節することにより被写体からの光量を調整する。ＮＤ１０４は撮影レンズ１０３に取り込まれた光の光量を減光する。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子を有する。また、撮像部２２は、電子シャッターによる蓄積の制御機能や、アナログゲイン、読み出し速度の変更などの機能も備える。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。バリア１０２は、デジタルビデオカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、絞り１０１、撮像部２２を含む撮像系を汚れや破損から保護する。
【００１７】
画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又はメモリ制御部１５からのデータに対して色変換処理、ガンマ補正、デジタルゲインの付加等の処理を行う。また、撮像した画像データを用いて所定の演算処理が行われ、演算結果をシステム制御部５０に送信する。送信された演算結果に基づいてシステム制御部５０が露出制御、測距制御、ホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。画像処理部２４についての詳細は後述する。
【００１８】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２によって撮像されＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００１９】
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ信号に変換し、表示部２８に逐次転送して表示することで、表示部２８が電子ビューファインダとして機能する。これにより、スルー画像表示を行うことができる。
【００２０】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本発明の実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００２１】
システム制御部５０は、デジタルビデオカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ＲＡＭなどからなるシステムメモリ５２は、システム制御部５０の動作用の定数、変数などを記憶するとともに、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。
【００２２】
システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する。モード切替スイッチ６０、録画スイッチ６１、操作部７０はシステム制御部５０に各種の動作指示を入力するために用いられる。
【００２３】
モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０により、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ６１は撮影待機状態と撮影状態を切り替える。システム制御部５０は、録画スイッチ６１がオンされると、撮像部２２からの信号読み出しから記録媒体９０への動画データの書き込みまでの一連の動作を開始する。
【００２４】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。
【００２５】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体９０、または外部出力機器とのインターフェースである。図１では記録媒体９０との接続時の状態を示している。記録媒体９０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００２６】
次に、本発明の特徴的な部分である画像処理部２４の内部構成について説明する。図２は画像処理部２４の内部構成と関係部位を示すブロック図である。通常、ＷＢ（ホワイトバランス）の制御やシャープネス制御などの処理もこの部分で行うが、本実施形態の説明には不要であるため表記を省略している。なお画像処理部２４内の各ブロックは、システム制御部５０を通じて、撮像装置内部のあらゆるデータを取得可能である。
【００２７】
図２において、露出情報取得部２０１は露出情報（絞り、シャッター、感度、ＮＤフィルタの情報）を取得し、階調変換特性設定部２０２に伝達する。取得方法については様々な方法があり、画像データに付与されたメタデータとして取得する方法や、システム制御部からカメラの設定情報として取得する方法、ユーザが手動で入力する方法などが例としてあげられる。また、露出情報取得部２０１で取得する情報は、入力される画像の露出情報に限定されるものではない。たとえば、撮影時にオンセットのディスプレイなどを通じて撮影後の処理における画像処理を想定しながら撮影する場合などは、想定される画像処理を含めたトータルの感度を算出し、露出情報として階調変換特性設定部２０２へ入力してもよい。映像情報取得部２０６は画像処理部２４で行われる処理のうち視覚特性が変わる処理について処理内容を取得し、階調変換特性設定部２０２に伝達する。視覚特性が変わる処理とは、例えばノイズ抑圧処理、増感処理や減感処理という感度変更処理、ディザ追加処理などが挙げられる。これらの処理に起因して映像信号のノイズ量などが変化する。さらに、映像情報取得部２０６で取得する情報は、画像処理部２４内の処理情報に限定されるものではない。例えば、画像処理部２４への入力時の画像データにすでに加わっている処理を取得しても良いし、撮影後の処理における画像処理を想定して情報を階調変換特性設定部２０２に伝えても良い。
【００２８】
階調変換特性設定部２０２では、露出情報取得部２０１から取得した露出情報と映像情報取得部２０６から取得した処理内容に基づいて階調変換特性を決定し、階調変換部２０３に設定する。この際の階調変換特性の決定方法の詳細については後述する。また、メタデータ生成部２０４では、階調変換特性設定部２０２により算出された階調変換特性に関する情報を取得し、画像に付与できるデータ形式へと変換し、情報重畳部２０５へと伝達する。画像処理部２４に入力された入力画像信号は、階調変換部２０３で階調変換され、その後情報重畳部２０５でメタデータを付与され、画像処理部２４から出力される。以上が本実施形態における画像処理部２４の説明である。
【００２９】
続いて、図３のフローチャートを用いて階調変換特性設定部２０２における階調変換特性の決定方法とメタデータ生成部２０４におけるメタデータの生成方法について詳細に説明する。
【００３０】
まずＳ４０１では、絞り、露光時間、感度、ＮＤフィルタの情報などの露出情報を取得する。続いてＳ４０２では光電変換特性を算出する。本実施形態は、ビデオカメラの一部に本発明が適用された例であるため、入力光量に対して線形関数により光電変換された画像信号が入力画像信号として画像処理部２４に入力されることを前提として説明する。ただし、光電変換特性を線形関数に限定する必要はなく、入力画像の画像信号と光量との変換特性が既知であれば本発明は適用可能である。ここで、光電変換特性とは、入力画像の被写界の絶対輝度と入力画像信号の符号値を対応づけた特性である。たとえば、Ｓ４０１で取得された露出情報から、最大のＢｖ値（被写体の絶対的な輝度値）を算出し、画像信号の最大符号値と対応づける。入力画像信号が線形変換特性により光電変換されていることを想定すると、入力画像信号のｂｉｔ数により、入力画像信号の全ての符号値が関連付けられることになる。
【００３１】
入力画像信号の符号値と被写界の絶対輝度値を関連付ける方法について具体的な数値をあげて説明する。ＡＰＥＸ（Ａｄｄｉｔｉｖｅ  Ｓｙｓｔｅｍ  ｏｆ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｏｓｕｒｅ）表現における基準信号のＢｖ値である基準Ｂｖ値の求め方は、以下の様になる。
【００３２】
基準Ｂｖ値＝Ａｖ（絞り）＋Ｔｖ（シャッター）−Ｓｖ（感度）    …（式１）
絞りがＦ４．０、シャッタースピードが１／１２８（秒）、感度がＩＳＯ２００の場合は（式１）から、
基準Ｂｖ値＝４（Ｆ４．０）＋７（１／１２８（秒））−６（ＩＳＯ２００）
＝５
＝２5＊４ｃｄ／ｍ2
＝  １２８ｃｄ／ｍ2
となる。
【００３３】
このとき、撮像装置のダイナミックレンジが１２００％、基準信号が２０％、画像データのｂｉｔ数を１４とすると、以下のように基準信号の符号値が求められる。
【００３４】
基準信号の符号値＝（２ｂｉｔ数）＊（基準信号／ダイナミックレンジ）
…（式２）
（式２）に対し実際に数値をあてはめると、
基準信号の符号値＝（２14）＊（２０／１２００）
＝２７３
となり、基準信号の符号値は２７３と求められる。
【００３５】
基準信号の符号値が２７３、基準Ｂｖ値が１２８ｃｄ／ｍ2であるから、線形に光電変換されていることを想定すると最大符号値１６３８３のＢｖ値は７６８１ｃｄ／ｍ2となる。これにより、入力画像の光電変換特性としては０〜７６８１ｃｄ／ｍ2までの被写体輝度を線形に表現する特性であると算出される。なお、露出情報をもとに光電変換特性を算出したが、露出情報が異なる画像に対しては光電変換特性を算出し直す必要がある。
【００３６】
続いてＳ４０３において、視覚特性に基づくモデル関数を決定する。映像情報取得部２０６から取得した映像情報（例えばノイズの増減の変化量の情報）によって、視覚特性にもとづく関数が一意的に決まる。例えば、人間の視覚特性に基づくモデル関数をノイズ量Ｎの関数として次のように表す。
【００３７】
ｆ（Ｎ）        …（式３）
このとき、映像情報取得部２０６によって、ディザを加えたことにより、ノイズ量がＮ０からＮ１に増加した場合は、モデル関数がｆ（Ｎ０）からｆ（Ｎ１）に変化する。図４は横軸を被写体輝度、縦軸をＣｏｎｔｒａｓｔＳｔｅｐとして、人間がぎりぎり認識できるＣｏｎｔｒａｓｔＳｔｅｐを人間の視覚特性に基づくモデル関数として示したグラフである。人間の視覚特性は被写体輝度に応じて認識できるＣｏｎｔｒａｓｔＳｔｅｐが変化するため、モデル関数Ｆ（Ｎ）は横軸の被写体輝度に対して非線形に変化する。
【００３８】
ｆ（Ｎ０）とｆ（Ｎ１）を比較すると、ディザが加えられた分（ノイズが増えた分）人間の視覚感度が落ち、ギリギリ認識できるコントラストステップが大きくなっているため、ｆ（Ｎ１）はｆ（Ｎ０）の上を通る曲線として表される。
【００３９】
次にＳ４０３で決めたモデル関数と光電変換特性との交点算出について説明する。図５は、図４と同様の軸に、Ｓ４０３で求まったモデル関数Ｓ０（＝Ｆ（Ｎ１））と、信号出力特性Ｓ１を図示したグラフである。ここで、画像処理部２４の入力信号と出力信号のｂｉｔ数について考えると、理想的にはビデオカメラの記録としてはＲＡＷの画像信号をそのまま記録し、記録後の後編集工程までそのままの信号を届けるのが好ましい。しかし、記録信号の肥大化や記録装置への情報転送速度の制限、または画像処理回路の回路構成簡易化の観点からすると、ＲＡＷの画像信号よりも少ないｂｉｔ数の画像信号として記録することが一般的である。その場合、入力画像のｂｉｔ数を落としてそのまま線形に表現すると、図６の階調変換特性Ｓ２の様になる。ここでは入力画像のｂｉｔ深度は１４、記録画像のｂｉｔ深度は１２としている。また図６のＳ２は図５に示すＳ２と等価である。
【００４０】
この時、図５のＳ２とモデル関数Ｓ０の位置関係をみると、低輝度側約８０ｃｄ／ｍ2程度ではＳ２の方がＳ０の上に位置している。これは、Ｓ２で変換された画像の低輝度側約８０ｃｄ／ｍ2程度までは人間の視覚特性よりも大きなＣｏｎｔａｒｓｔＳｔｅｐで表現されることを意味する。つまり、平坦な被写体で輝度がなだらかにグラデーションで変化するような領域でＣｏｎｔｒａｓｔが視覚的に知覚されてしまい、バンディングまたはトーンジャンプと呼ばれるような好ましくない品位の画質になってしまう。
【００４１】
これを防ぐには、なるべくＳ０に近くＳ０を下回る部分が大きい階調変換特性により階調変換する必要がある。そこで、図５における階調変換特性Ｓ１に注目すると、これは図６におけるＳ１と等しい。この場合、Ｓ２に比べてＳ０を上回る部分が大きく減少し、モデル関数Ｓ０を上回る領域は低輝度側約２０ｃｄ／ｍ2程度までになる。しかし、図６を見てわかるとおり、入力光量の一部にしか符号を割り当てることができず、階調表現できる被写体輝度範囲が大幅に減少してしまう。そこで、階調変換特性Ｓ１とモデル関数との交点Ｃ０まではＳ１の階調変換特性（線形特性部分）に従い、交点から先の高輝度部分は入力画像信号の最大符号値まで階調変換可能な階調変換特性（非線形特性部分）とすればよい。そのために、信号変換特性Ｓ１と視覚特性に基づくモデル関数Ｓ０との交点を求める。交点の算出方法に関して制限はないが、図５に示すような座標平面上の座標値でもよいし、入力画像信号の符号値として算出してもよいし、入力画像信号の絶対輝度値として算出することも可能である。
【００４２】
次に、比率決定ステップＳ４０５において、階調変換特性における線形特性の比率を決定する。これは、Ｓ４０４で算出された交点を入力画像信号の符号値に換算し、交点の符号値以下の符号値を光電変換特性そのもの（＝傾き１の直線）とし、交点の符号値より大きい符号値を別の階調変換特性として入力符号値全体を階調表現可能な階調変換特性とする。
【００４３】
ここで、交点の符号値よりも高輝度側の階調変換特性をどのような曲線にするかという点に関して制限はない。しかし、視覚特性に基づくモデル関数を下回る関数特性であり、滑らかな階調表現が可能で網膜の応答特性とも相性の良い対数変換特性を採用することが考えられる。図７には、交点の符号値までは線形変換特性で、交点の符号値より大きい符号値を対数関数で表現した例を関数Ｓ３として示す。このようにして算出された階調変換特性における入力画像の符号値と出力画像の符号値の関係は、図８におけるＳ３として表現することができる。
【００４４】
なお、図７では交点Ｃ０の符号値をもとにそのまま比率を決定したが、記録後の後編集時において感度変更や階調調整を行う場合を想定して、交点の符号値をそのまま階調変換特性の接続点としない場合もある。交点付近の輝度領域に主被写体があり後編集時に階調調整が想定される場合は、階調調整による主被写体付近でのバンディングによる画質品位の劣化を防ぐため、接合点を交点よりも高輝度側に移動させて（線形特性部分を延長させて）主被写体付近の階調性を重視してもよい。
【００４５】
ここで、メタデータを生成する場合は、Ｓ４０４で算出した交点の情報とＳ４０５で決定した比率をメタデータとして記録可能な形式に変換する。交点に関する付与メタデータの一例として、交点の絶対輝度そのもの、または絶対輝度に対応する階調変換後の画像信号の符号値、または絶対輝度に対応する入力画像信号の符号値などがあげられる。
【００４６】
また、比率に関しては、さまざまな表現方法がある。たとえば、入力ダイナミックレンジに占める線形関数の割合や、出力画像信号の符号値に占める線形関数の割合、または接合点の絶対輝度や入力画像信号における接合点の符号値、出力画像における接合点の符号値などがあげられる。さらには接合点の情報としては交点からの相対情報として、相対符号値や相対露出段数などで表現することも可能である。また、交点情報や接合点情報はこれらいずれかのデータを生成可能な他の値であってもかまわない。たとえばこれらの値と関連付けられて用意されたテーブルのインデックス値などがこれにあてはまる。この２つのメタデータにより、後処理の段階において画像内のどの輝度領域が視覚特性を満たすか満たさないか、また感度変更や階調調整を行ったときに視覚特性を満たす範囲がどう変わるかを知りうることができる。
【００４７】
そして、Ｓ４０６ではＳ４０５で生成された階調変換特性に基づいて、入力画像信号に階調変換を施し、Ｓ４０７ではＳ４０５において作成されたメタデータを階調変換された画像データに付与する。
【００４８】
なお、本実施形態では画像データを階調変換した後にメタデータを付与する順番で処理を説明したが、処理の順番についての制限はなく、メタデータを付与した後に画像データの階調変換を行ってもよい。
【００４９】
このようにして階調変換処理された画像を出力することで、入力画像の光電変換特性と、画像のノイズ量変化に伴う視覚特性変化を考慮しながら、効率よく階調情報を残すことができる。
【００５０】
＜第２の実施形態＞
第１の実施形態では、画像処理によるノイズ量変化に伴う人間の視覚特性変化を求めたうえで階調変換特性を決める場合について説明した。本実施形態では更に簡易な方法として、視覚特性を変えるのではなく、交点をノイズ量に応じて補正することで効率よく階調情報を残す方法について説明する。この第２の実施形態は、第１の実施形態と共通する部分が多いので、第１の実施形態と共通する部分については説明を省略する。
【００５１】
まず、本実施形態におけるデジタルビデオカメラの構成は図１に示す第１の実施形態の構成と同じである。図９は、本実施形態における階調変換特性の決定方法を説明するフローチャートである。
【００５２】
まず、Ｓ９０１において露出情報を取得する。続いて、Ｓ９０２では、Ｓ９０１で得られた露出情報に基づいて光電変換特性を算出する。次に、Ｓ９０３で視覚特性に基づくモデル関数と光電変換特性との交点を算出する。ここまでの手順は、第１の実施形態と同様であるため、詳しい説明は省略する。
【００５３】
Ｓ９０４では、Ｓ９０３で求めた交点Ｃ０を映像情報取得部２０６の情報に基づいて補正し、比率の決定を行う。交点Ｃ０は、階調変換特性上では暗部の線形特性領域と明部の非線形特性領域の切り替わり点として表現される。暗部の線形特性は、露出情報取得部２０１で得られる情報と、記録後の後編集時に感度変更や階調調整を想定して決められるため、すでに既知と考えられ、Ｃ０はこの直線上を動く。また、非線形領域の特性は、効率を最大限にするため、最大入力コードと最大出力コードを表す点を通ることが必要である。そこで、ノイズ量が変わったときに、Ｃ０がどのように変化するかがわかれば、階調変換特性と比率を設定することができるといえる。
【００５４】
ノイズ変化によるＣ０の入力コード変化である補正値をΔＣとする。このΔＣの求め方には制限はなく、モデル関数との交点として計算してもよいし、解析により求めたり、モデル関数を上回らない範囲で近似して求めてもよい。Ｃ０の入力コードをＣ０ｉｎと記述すると、入力コードのＣ０ｉｎ＋ΔＣまでが線形領域、それよりも入力コードが大きい領域が非線形領域として比率を求めることができる。
【００５５】
Ｓ９０５の階調変換を行うステップでは、階調変換特性は、上記のように入力コードのＣ０ｉｎまでは、露出情報取得部２０１の情報と記録後の後編集時に感度変動や階調調整を想定して決められた直線の変換特性を持つ。また、非線形領域ではＣ０と入力コード最大値と出力コード最大値を表す点を通り、滑らかな単調増加の階調表現が可能な非線形階調特性を持つ。
【００５６】
本実施形態によれば、後処理の画像処理を考慮し、視覚特性に基づいて効率が良い階調変換を比較的簡易な処理で実現することができる。
【００５７】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００５８】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５９】
２４：画像処理部、２０１：露出情報取得部、２０２：階調変換特性設定部、２０３：階調変換部、２０４：メタデータ生成部、２０５：情報重畳部、２０６：映像情報取得部
【図１】
2018078492.tif 000003
【図２】
2018078492.tif 000004
【図３】
2018078492.tif 000005
【図４】
2018078492.tif 000006
【図５】
2018078492.tif 000007
【図６】
2018078492.tif 000008
【図７】
2018078492.tif 000009
【図８】
2018078492.tif 000010
【図９】
2018078492.tif 000011