(57)【要約】【課題】画像信号にゲインを適用する際に色相ずれの発生を抑制する技術を提供する。【解決手段】第１ゲインを適用する処理を含む第１信号処理をＮ個の色信号（Ｎは２以上の整数）のそれぞれに対して個別に行った場合に飽和が発生するか否かを判定する判定手段と、前記飽和が発生すると判定された場合に、前記第１ゲインの代わりに前記第１ゲインよりも小さい第２ゲインを適用するように、前記第１信号処理を前記Ｎ個の色信号のそれぞれに対して個別に行う第１信号処理手段と、前記飽和が発生すると判定された場合に、前記第１ゲインと前記第２ゲインとの差の少なくとも一部を補償する処理を含む第２信号処理を行うように構成されたＮ次元ＬＵＴを用いて、前記第１信号処理が行われた前記Ｎ個の色信号をまとめて変換する第２信号処理手段と、を備えることを特徴とする画像処理装置を提供する。【選択図】図４
2019139647.tif 000002
【特許請求の範囲】
【請求項１】
第１ゲインを適用する処理を含む第１信号処理をＮ個の色信号（Ｎは２以上の整数）のそれぞれに対して個別に行った場合に飽和が発生するか否かを判定する判定手段と、
前記飽和が発生すると判定された場合に、前記第１ゲインの代わりに前記第１ゲインよりも小さい第２ゲインを適用するように、前記第１信号処理を前記Ｎ個の色信号のそれぞれに対して個別に行う第１信号処理手段と、
前記飽和が発生すると判定された場合に、前記第１ゲインと前記第２ゲインとの差の少なくとも一部を補償する処理を含む第２信号処理を行うように構成されたＮ次元ＬＵＴを用いて、前記第１信号処理が行われた前記Ｎ個の色信号をまとめて変換する第２信号処理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第２ゲインは、前記第１信号処理において前記第１ゲインの代わりに適用された場合に前記飽和を発生させないゲインである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２ゲインは、前記第１信号処理において前記第１ゲインの代わりに適用された場合に前記飽和を発生させない最大のゲインである
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１信号処理は、前記Ｎ個の色信号の階調特性を変換する処理を含む
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第２信号処理は、前記Ｎ個の色信号の色域を変換する処理を含む
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記飽和が発生しないと判定された場合、前記第１信号処理手段は、前記第１ゲインの適用を含む前記第１信号処理を前記Ｎ個の色信号のそれぞれに対して個別に行う
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記飽和が発生しないと判定された場合、前記第２信号処理手段は、前記補償する処理を除いて前記第２信号処理を行うように構成されたＮ次元ＬＵＴを用いて、前記第１信号処理が行われた前記Ｎ個の色信号をまとめて変換する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の画像処理装置と、
前記Ｎ個の色信号を生成する撮像手段と、
を備えることを特徴とする撮像装置。
【請求項９】
画像処理装置が実行する画像処理方法であって、
第１ゲインを適用する処理を含む第１信号処理をＮ個の色信号（Ｎは２以上の整数）のそれぞれに対して個別に行った場合に飽和が発生するか否かを判定する判定工程と、
前記飽和が発生すると判定された場合に、前記第１ゲインの代わりに前記第１ゲインよりも小さい第２ゲインを適用するように、前記第１信号処理を前記Ｎ個の色信号のそれぞれに対して個別に行う第１信号処理工程と、
前記飽和が発生すると判定された場合に、前記第１ゲインと前記第２ゲインとの差の少なくとも一部を補償する処理を含む第２信号処理を行うように構成されたＮ次元ＬＵＴを用いて、前記第１信号処理が行われた前記Ｎ個の色信号をまとめて変換する第２信号処理工程と、
を備えることを特徴とする画像処理方法。
【請求項１０】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、ディスプレイによって表示できる輝度レンジが拡大されてきたことにより、Ｒｅｃ．ＩＴＵ−Ｒ  ＢＴ．２１００などのＨＤＲ規格が定められ、この規格に対応するディスプレイやカメラなどの機器が増えてきている。一方で、従来のＳＤＲ規格のみに対応しているディスプレイが備えられた視聴環境も数多く存在する。このような状況の中で、映像制作者はＨＤＲ規格に対応した映像とＳＤＲ規格に対応した映像の両方を作成しなければならないケースがある。これに対応するため、入力されたＨＤＲ信号をＳＤＲ信号に変換して出力する機能を備えた映像変換機器などが存在する。
【０００３】
ところで、ＨＤＲ信号に単純な変換を施してＳＤＲ信号を生成した場合よりも、変換時にゲインを掛けて明るさを調整してＳＤＲ信号を生成した方が、ＳＤＲ信号の印象が良くなる場合があることが知られている。そのため、前述の映像変換機器などの中には、ＨＤＲ信号からＳＤＲ信号に変換する際にゲインを調整する機能を有するものがある。
【０００４】
特許文献１が開示する方法は、変換元の映像信号のコード値を変換元に対応したＥＯＴＦ（Ｅｌｅｃｔｒｏ  Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）の特性を用いて輝度値に変換し、その輝度値を予め関係付けられた別の輝度値に変換する。その後、この方法は、変換先に対応したＥＯＴＦの特性を用いて変換先の映像信号のコード値に変換する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５９４８６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の方法は輝度値変換時の信号値の飽和について考慮していないため、回路構成によってはＲＧＢ信号のうちの１つが飽和してしまうことにより色相ずれが発生してしまう可能性がある。特に、輝度値を変換する際に輝度を増幅する方向に変換を行うと、色相ずれが顕著に発生する場合がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、画像信号にゲインを適用する際に色相ずれの発生を抑制する技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、第１ゲインを適用する処理を含む第１信号処理をＮ個の色信号（Ｎは２以上の整数）のそれぞれに対して個別に行った場合に飽和が発生するか否かを判定する判定手段と、前記飽和が発生すると判定された場合に、前記第１ゲインの代わりに前記第１ゲインよりも小さい第２ゲインを適用するように、前記第１信号処理を前記Ｎ個の色信号のそれぞれに対して個別に行う第１信号処理手段と、前記飽和が発生すると判定された場合に、前記第１ゲインと前記第２ゲインとの差の少なくとも一部を補償する処理を含む第２信号処理を行うように構成されたＮ次元ＬＵＴを用いて、前記第１信号処理が行われた前記Ｎ個の色信号をまとめて変換する第２信号処理手段と、を備えることを特徴とする画像処理装置を提供する。
【発明の効果】
【０００９】
本発明によれば、画像信号にゲインを適用する際に色相ずれの発生を抑制することが可能となる。
【００１０】
なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【図面の簡単な説明】
【００１１】
【図１】デジタルビデオカメラ１００の内部構成を示すブロック図。
【図２】画像処理部１１５及び画像変換部１２４の内部構成について説明する図。
【図３】３次元ルックアップテーブル（３ＤＬＵＴ）の例を示す図。
【図４】画像変換部１２４の変換特性を設定する処理のフローチャート。
【図５】階調変換特性の例を示す図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。
【００１３】
［第１の実施形態］
一例として、画像処理装置をデジタルビデオカメラに適用した構成について説明するが、本実施形態の画像処理装置はデジタルビデオカメラに限定されず、任意の装置に対して適用可能である。
【００１４】
図１は、デジタルビデオカメラ１００の内部構成を示すブロック図である。図１において、撮影レンズ１０２はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０３は光量調整に使用する絞りである。ＮＤ１０４は減光用に使用するＮＤフィルタである。撮像部１０５は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。また、撮像部１０５は、電子シャッターによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。Ａ／Ｄ変換器１０６は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器１０６は、撮像部１０５から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０１は、デジタルビデオカメラ１００の、撮影レンズ１０２を覆うことにより、撮影レンズ１０２、絞り１０３、ＮＤ１０４、撮像部１０５を含む撮像系の汚れや破損を防止する。
【００１５】
画像処理部１１５は、Ａ／Ｄ変換器１０６からのデータ、又は、メモリ制御部１１６からのデータに対して色変換処理、ガンマ補正、デジタルゲインの付加等の処理を行う。また、画像処理部１１５は、撮像した画像データを用いて所定の演算処理を行い、演算結果をシステム制御部１１４に送信する。送信された演算結果に基づいてシステム制御部１１４が露出制御、測距制御、ホワイトバランス制御等行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。画像変換部１２４は、画像データ（画像信号）に対する信号処理を行う。画像処理部１１５及び画像変換部１２４の詳細については後述する。
【００１６】
Ａ／Ｄ変換器１０６からの出力データは、画像処理部１１５及びメモリ制御部１１６を介して、或いは、メモリ制御部１１６を介してメモリ１１９に書き込まれる。メモリ１１９は、撮像部１０５によって撮像されＡ／Ｄ変換器１０６によりデジタルデータに変換された画像データや、表示部１１８に表示するための画像データを格納する。メモリ１１９は、所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。また、メモリ１１９は画像表示用のメモリ（ビデオメモリ）を兼ねている。
【００１７】
Ｄ／Ａ変換器１１７は、メモリ１１９に格納されている画像表示用のデータをアナログ信号に変換して表示部１１８に供給する。こうして、メモリ１１９に書き込まれた表示用の画像データはＤ／Ａ変換器１１７を介して表示部１１８により表示される。表示部１１８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１１７からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器１０６で一度Ａ／Ｄ変換されメモリ１１９に蓄積されたデジタル信号をＤ／Ａ変換器１１７でＤ／Ａ変換し、表示部１１８に逐次転送して表示することで、表示部１１８は電子ビューファインダとして機能し、スルー画像表示を行うことができる。
【００１８】
不揮発性メモリ１１３は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ１１３には、システム制御部１１４の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本発明の実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００１９】
システム制御部１１４は、デジタルビデオカメラ１００全体を制御する。システム制御部１１４は、前述した不揮発性メモリ１１３に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ１２１にはＲＡＭが用いられ、システム制御部１１４の動作用の定数、変数、不揮発性メモリ１１３から読み出したプログラム等が展開される。また、システム制御部１１４はメモリ１１９、Ｄ／Ａ変換器１１７、表示部１１８等を制御することにより表示制御も行う。
【００２０】
システムタイマー１２０は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ１０９、録画スイッチ１０８、操作部１０７は、システム制御部１１４に各種の動作指示を入力するための操作部材である。
【００２１】
モード切替スイッチ１０９は、システム制御部１１４の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ１０９により、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。或いは、モード切替スイッチ１０９で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ１０８は、撮影待機状態と撮影状態とを切り替える。システム制御部１１４は、録画スイッチ１０８により、撮像部１０５からの信号読み出しから記録媒体１２３への動画データの書き込みまでの一連の動作を開始する。
【００２２】
操作部１０７の各操作部材は、表示部１１８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１１８に表示される。ユーザは、表示部１１８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。
【００２３】
電源スイッチ１１０は、デジタルビデオカメラ１００の電源を入／切するためのスイッチである。電源制御部１１１は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１１１は、その検出結果及びシステム制御部１１４の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１２３を含む各部へ供給する。電源部１１２は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。Ｉ／Ｆ１２２は、メモリカードやハードディスク等の記録媒体１２３、又は外部出力機器とのインターフェースである。図１では、記録媒体１２３との接続時の状態を示している。記録媒体１２３は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００２４】
次に、図２を参照して、画像処理部１１５及び画像変換部１２４の内部構成について説明する。画像処理部１１５及び画像変換部１２４は、システム制御部１１４を通じて、デジタルビデオカメラ１００内部のあらゆるデータを取得可能である。
【００２５】
ゲイン調整部２０１は、Ａ／Ｄ変換器１０６から出力された信号に関して、ＲＧＢそれぞれの信号に個別に利得を掛けることによってゲイン調整とホワイトバランス補正を行う。マトリクス演算部２０２は、ゲイン調整部２０１から出力されたＲＧＢ信号に対してマトリクスを掛けることにより、色調を補正する。これにより、撮像部１０５などの分光感度などの違いを補正し、デジタルビデオカメラ１００として適した色再現を実現する。階調変換部２０３は、マトリクス演算部２０２から出力されたＲＧＢ信号に対して共通の階調変換特性を適用して階調変換を行う。階調変換部２０３からの出力は、画像変換部１２４やＩ／Ｆ１２２を通じて記録媒体１２３に対して出力される。
【００２６】
第１信号処理部２０４は、画像処理部１１５から入力された信号に関して、ＲＧＢそれぞれの信号に対して個別に階調変換を行う。第１信号処理部２０４は、演算や１次元ルックアップテーブル（１ＤＬＵＴ）の参照により階調変換を行う。本実施形態では、第１信号処理部２０４は、システム制御部１１４により設定された１ＤＬＵＴを参照して階調変換を行うものとする。第１信号処理部２０４は、異なる階調特性を持つ信号を生成する際にゲイン調整を行うことができる。また、第１信号処理部２０４は、階調変換部２０３による変換後の階調特性を一旦元に戻した後にゲイン調整を行い、再度同じ階調特性を適用することにより、階調特性は保ったままゲイン調整を行うことができる。
【００２７】
第２信号処理部２０５は、色域変換を行う。例えば、第２信号処理部２０５は、図３に示すような３次元ルックアップテーブル（３ＤＬＵＴ）を参照して、ＲＧＢ信号全体に対する色域変換を行う。このとき、入力されたＲＧＢ値と同じＲＧＢ値が変換元のテーブルに存在する場合は、第２信号処理部２０５は、入力されたＲＧＢ値を対応する変換先のＲＧＢ値に変換する。入力されたＲＧＢ値が変換元のテーブルに存在しない場合は、第２信号処理部２０５は、入力されたＲＧＢ値の近傍の複数点（エントリ）を変換元のテーブルから抽出し、補間により変換先のＲＧＢ値を求めて変換を行う。本実施形態では、第２信号処理部２０５は３ＤＬＵＴを参照して色域変換を行うこととするが、演算などにより色域変換を行ってもよい。
【００２８】
以下の説明においては、画像処理部１１５がＨＤＲ信号を生成し、画像変換部１２４がＨＤＲ信号をＳＤＲ信号に変換するものとする。また、以下の説明において、ＨＤＲの信号値と輝度値を関係付けるＥＯＴＦをＥＯＴＦＨＤＲ、ＳＤＲの信号値と輝度値を関係付けるＥＯＴＦをＥＯＴＦＳＤＲと呼ぶ。しかしながら、本実施形態における変換処理はＨＤＲ信号からＳＤＲ信号への変換に限定されず、ゲイン調整を伴う任意の種類の信号処理に対して本実施形態を適用可能である。
【００２９】
また、以下の説明においては、変換対象のＨＤＲ信号は色信号としてＲＧＢ信号を含むものとする。しかしながら、色信号の種類はＲＧＢ信号に限定されず、また、色信号の数は３つに限定されない。本実施形態は、任意の種類のＮ個の色信号（Ｎは２以上の整数）に対してゲイン調整を伴う場合に適用可能である。この場合、以下の説明における３ＤＬＵＴは、Ｎ次元ＬＵＴと読み替えればよい。
【００３０】
図４は、画像変換部１２４の変換特性を設定する処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、システム制御部１１４が不揮発性メモリ１１３に格納されたプログラムをシステムメモリ１２１に展開して実行することにより実現されるものとする。
【００３１】
なお、絞り１０３、ＮＤ１０４、撮像部１０５、ゲイン調整部２０１などの設定によって、ＨＤＲ信号の明るさはユーザの意図に沿うように制御されるものとする。また、第２信号処理部２０５は色域変換などを含めた色補正処理を行うように構成されているが、以下では説明を簡単にするために色域変換が不要である場合を考えるものとする。
【００３２】
Ｓ４０１で、システム制御部１１４は、ＳＤＲ信号の階調特性（ガンマ）及び色域を設定する。ここでは、ユーザが手動で設定値を決定してもよいし、システム制御部１１４が自動で設定値を決定してもよい。以下の説明では、設定されたＳＤＲ信号の色域がＨＤＲ信号の色域と一致しており、第２信号処理部２０５での色域変換は不要であるものとする。
【００３３】
Ｓ４０２で、システム制御部１１４は、ＨＤＲ信号とＳＤＲ信号のゲイン差を設定する。ゲイン差は、倍率（ＨＤＲ信号に適用するゲイン）に換算できればどのような単位であってもよい。また、ユーザが手動で倍率を決定してもよいし、システム制御部１１４が自動で倍率を決定してもよい。例えば、システム制御部１１４が映像信号に含まれる被写体に応じて倍率を制御することなどが考えられる。以下の説明では、Ｓ４０２で設定された倍率をｋとする。
【００３４】
Ｓ４０３で、システム制御部１１４は、ＨＤＲ信号からＳＤＲ信号への変換処理（第１信号処理部２０４によりＲＧＢそれぞれの信号に対して個別に行われる、倍率ｋの適用を含む信号処理）を行った場合に飽和が発生するか否かを判定する。飽和判定は、ＨＤＲ信号の設定とＳＤＲ信号の設定とに基づいて行うことができる。多くの撮像装置では、反射率１８％のグレーカードなどを基準に、どこまでの反射率を映像信号に収めるかを示す値をダイナミックレンジと呼び、ガンマ設定毎にダイナミックレンジを定めている。このとき、変換元のダイナミックレンジをｄｓｒｃ、変換先のダイナミックレンジをｄｄｓｔとすると、ｋ×ｄｓｒｃ＞ｄｄｓｔとなる場合に飽和が発生するとみなすことができる。そこで、システム制御部１１４は、ｋ×ｄｓｒｃ＞ｄｄｓｔであるか否かに基づいて、飽和が発生するか否かを判定する。飽和が発生する場合、処理はＳ４０４に進み、飽和が発生しない場合、処理はＳ４０６に進む。
【００３５】
Ｓ４０４で、システム制御部１１４は、第１信号処理部２０４に設定するための階調変換特性として、飽和が発生しないような階調変換特性を算出する。まず、システム制御部１１４は、飽和を考慮せずに単純にＳ４０１及びＳ４０２の設定内容（ＳＤＲ信号の階調特性及び倍率ｋ）に基づく階調変換及びゲイン調整を行う階調変換特性を求める。ＨＤＲ信号値をｘとすると、階調変換特性ｆ（ｘ）は下記の式１により表される。
【００３６】
【数１】
2019139647.tif 000003
【００３７】
図５に、ｆ（ｘ）の例として階調変換特性５０１を示す。図５に示すように、階調変換特性５０１には飽和領域が存在する。システム制御部１１４は、式１における飽和を除去するための利得ｓを算出する。ｋｄｓｒｃに対応する出力値はＥＯＴＦＨＤＲ−１（ｋｄｓｒｃ）、ｄｄｓｔに対応する出力値はＥＯＴＦＳＤＲ−１（ｄｄｓｔ）であるので、利得ｓは式２で表される。
【００３８】
【数２】
2019139647.tif 000004
【００３９】
なお、ここではＨＤＲ信号とＳＤＲ信号のビット数は同じであるものとするが、ビット数が異なる場合は、ビット数の相違を補償するように式２を変更すればよい。
【００４０】
利得ｓを考慮すると、第１信号処理部２０４に設定する階調変換特性ｇ（ｘ）は下記の式３で表される。
【００４１】
【数３】
2019139647.tif 000005
【００４２】
図５に、ｇ（ｘ）の例として階調変換特性５０２を示す。階調変換特性５０１とは異なり、階調変換特性５０２には飽和領域が存在しない。なお、システム制御部１１４は、画像変換部１２４が変換処理を行う際に階調変換特性を算出してもよいし、予め階調変換特性を算出してシステムメモリ１２１に保持しておいてもよい。後者の場合、システム制御部１１４は、システムメモリ１２１に保持された様々な階調変換特性の中から、Ｓ４０１及びＳ４０２の設定内容に対応する階調変換特性を選択する。
【００４３】
Ｓ４０５で、システム制御部１１４は、第２信号処理部２０５に設定するための３ＤＬＵＴを算出する。Ｓ４０４で求めた階調変換特性には飽和を防ぐための利得ｓが含まれているので、システム制御部１１４は、利得ｓを補償するための利得を３ＤＬＵＴの特性に含める。即ち、システム制御部１１４は、Ｓ４０４で求めた階調変換特性に含まれる利得ｓを反転した利得１／ｓを３ＤＬＵＴの特性に含める。これにより、Ｓ４０４で設定した階調変換特性では飽和が発生しないように抑え込まれていた信号値が元に戻り、適切な明るさの信号値が得られる。ＨＤＲの信号値をｘとしたとき、第１信号処理部２０４、第２信号処理部２０５での処理後の信号値をｈ（ｘ）とすると、ｈ（ｘ）は下記の式４で表される。
【００４４】
【数４】
2019139647.tif 000006
【００４５】
式４の通り、ｈ（ｘ）はｆ（ｘ）に等しくなるため、意図したＳＤＲ信号への変換が達成されることが理解できる。従って、ゲイン調整を除いた色域変換等の処理のための３ＤＬＵＴの出力値（変換先のＲＧＢ値）に対して１／ｓを乗じることにより、第１信号処理部２０４に階調変換特性に含まれる利得ｓを補償することができる。但し、単純に式４の通りに処理を行うと、飽和を考慮しない階調変換特性（例えば図５に示す階調変換特性５０１）を第１信号処理部２０４に設定した場合と同様に、飽和による色相ずれが発生してしまう。そこで、システム制御部１１４は、飽和による色相ずれを抑制するための処理を３ＤＬＵＴに利得１／ｓを適用する処理に含める。色相ずれを抑制する方法としては、例えば、色差が最小となるように表現可能な範囲にマッピングする方法や、色相を維持しつつ色差が最小となるように表現可能な範囲にマッピングする方法などがある。これらの方法は一般的にガマットマッピングとして知られている方法の一種であり、その中のどのような方法を用いてもよい。
【００４６】
なお、システム制御部１１４は、利得ｓを完全に補償するような３ＤＬＵＴを算出する必要はなく、利得ｓの少なくとも一部を補償するような３ＤＬＵＴを算出すればよい。
【００４７】
Ｓ４０６で、システム制御部１１４は、Ｓ４０１及びＳ４０２の設定内容（ＳＤＲ信号の階調特性及び倍率ｋ）に基づき、第１信号処理部２０４に設定する階調変換特性を算出する。Ｓ４０６における階調変換特性の算出は、Ｓ４０４で述べた式１に従って行うことができる。但し、Ｓ４０４の場合と異なり、階調変換特性ｆ（ｘ）に飽和領域は発生しない。なお、Ｓ４０４と同様に、システム制御部１１４は、画像変換部１２４が変換処理を行う際に階調変換特性を算出してもよいし、予め階調変換特性を算出してシステムメモリ１２１に保持しておいてもよい。
【００４８】
Ｓ４０７で、システム制御部１１４は、Ｓ４０１で設定した色域に基づき、第２信号処理部２０５に設定する３ＤＬＵＴを算出する。本実施形態においては色域変換を行う必要がない場合を想定しているため、システム制御部１１４は、スルー出力を行うような３ＤＬＵＴを算出する。或いは、システム制御部１１４は、スルー出力を行うような３ＤＬＵＴをシステムメモリ１２１に予め保持しておき、Ｓ４０７の処理の実行時にシステムメモリ１２１から３ＤＬＵＴを取得してもよい。
【００４９】
Ｓ４０８で、システム制御部１１４は、Ｓ４０４又はＳ４０６で算出した階調変換特性に対応する１ＤＬＵＴを第１信号処理部２０４に設定する。Ｓ４０３において飽和が発生すると判定された場合、Ｓ４０８では階調変換特性ｆ（ｘ）の代わりに階調変換特性ｇ（ｘ）に対応する１ＤＬＵＴが第１信号処理部２０４に設定される。その結果、第１信号処理部２０４では、階調特性を変換する処理と共に、倍率ｋの代わりに倍率ｋよりも小さい倍率（ゲイン）を適用する処理が行われる。
【００５０】
なお、システム制御部１１４は、階調変換特性を１ＤＬＵＴの形式で設定する代わりに、計算式の形式で設定してもよい。この場合、第１信号処理部２０４は、設定された計算式に基づく演算を行うことにより、入力信号を出力信号に変換する。
【００５１】
Ｓ４０９で、システム制御部１１４は、Ｓ４０５又はＳ４０７で算出した３ＤＬＵＴを第２信号処理部２０５に設定する。上述の通り、Ｓ４０５において算出される３ＤＬＵＴの特性には、利得１／ｓが含まれる。従って、Ｓ４０３において飽和が発生すると判定された場合、Ｓ４０９では、階調変換特性ｆ（ｘ）の倍率と階調変換特性ｇ（ｘ）の倍率の差を補償するように構成された３ＤＬＵＴが第２信号処理部２０５に設定される。
【００５２】
以上の処理の結果、第１信号処理部２０４及び第２信号処理部２０５の設定が完了する。その後、画像変換部１２４に対して変換対象のＨＤＲ信号が入力されると、第１信号処理部２０４は、Ｓ４０８において設定された１ＤＬＵＴを用いて、ＲＧＢそれぞれの信号に対して個別に信号処理を行う。そして、第２信号処理部２０５は、Ｓ４０９において設定された３ＤＬＵＴを用いて、ＲＧＢ信号に対してまとめて信号処理を行う。
【００５３】
以上説明したように、第１の実施形態によれば、デジタルビデオカメラ１００は、倍率ｋの適用を伴ってＨＤＲ信号の階調特性を変換した場合に飽和が発生するか否かを判定する。飽和が発生する場合、デジタルビデオカメラ１００は、ＲＧＢそれぞれの信号に対して個別に階調特性を変換する処理を行う際に、倍率ｋの代わりに倍率ｋよりも小さい倍率（ゲイン）を適用する。その後、デジタルビデオカメラ１００は、適用された倍率と倍率ｋとの差を補償するように構成された３ＤＬＵＴを用いて、ＲＧＢ信号をまとめて変換する。これにより、画像信号にゲインを適用する際に色相ずれの発生を抑制することが可能となる。
【００５４】
ここで、本実施形態により色相ずれの発生を抑制することが可能となる理由について詳細に説明する。第１信号処理部２０４における信号処理は、各色信号に対して個別に行われる。そのため、この信号処理においてゲインの適用を行っても、飽和が発生しない限り、色相ずれは発生しないか、又は比較的小さな色相ずれしか発生しない。一方、第２信号処理部２０５における信号処理は、３ＤＬＵＴを用いることにより全ての色信号に対してまとめて行われる。そのため、この信号処理においてゲインの適用を行うと、飽和が発生しない場合であっても、補間処理に伴う色相ずれが発生する可能性がある。但し、３ＤＬＵＴを用いる信号処理の場合、飽和が原因で発生する色相ずれについては、既に知られている技術によりある程度軽減することができる。本実施形態では、飽和が発生する場合、適用されるゲインが第１信号処理部２０４と第２信号処理部２０５とに分割される。そのため、第１信号処理部２０４における飽和に起因する色相ずれを抑制することができ、かつ、第２信号処理部２０５における補間処理に起因する色相ずれを抑制することができる。その結果、全体としての色相ずれの発生を抑制することが可能となる。
【００５５】
なお、上の説明においては、Ｓ４０４において、システム制御部１１４は、飽和が発生しないような階調変換特性ｇ（ｘ）を算出するものとした。しかしながら、飽和の発生を完全に防止する必要はない。飽和を軽減するだけであっても、色相ずれの発生を抑制する効果はある程度は得られる。この場合、システム制御部１１４は、式２の利得ｓをそのまま階調変換特性ｆ（ｘ）に乗じるのではなく、利得ｓの効果を弱めた利得ｓ’を階調変換特性ｆ（ｘ）に乗じることができる。利得ｓ’の求め方はどのような方法でもよく、例えば飽和による色相ずれが分かりにくい被写体の場合には効果を弱める、などが考えられる。また、階調変換特性ｇ（ｘ）によれば、第１信号処理部２０４において飽和を発生させない最大のゲインが適用されるが、より小さなゲインが適用されるような階調変換特性を使用してもよい。従って、一般化して言えば、Ｓ４０４において、システム制御部１１４は、倍率ｋよりも小さいゲインが適用されるような階調変換特性を算出すればよい。
【００５６】
また、上の説明では、画像処理部１１５で生成する信号の階調特性と画像変換部１２４で生成する信号の階調特性が異なるものとしたが、これらの階調特性は同じであってもよい。この場合、第１信号処理部２０４に設定される階調変換特性は、階調変換部２０３により適用された階調特性を一旦キャンセルし、ゲイン調整を行った後、再度同じ階調特性を適用するような特性となる。
【００５７】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５８】
１００…デジタルビデオカメラ、１０５…撮像部、１１３…不揮発性メモリ、１１４…システム制御部、１１５…画像処理部、１２１…システムメモリ、１２４…画像変換部、２０４…第１信号処理部、２０５…第２信号処理部
【図１】
2019139647.tif 000007
【図２】
2019139647.tif 000008
【図３】
2019139647.tif 000009
【図４】
2019139647.tif 000010
【図５】
2019139647.tif 000011