(57)【要約】【課題】階調特性が異なる動画と静止画の一方に適用した色や階調補正等の画像処理を他方にも適用した場合に、動画と静止画とで画像処理後の見えに違いが生じることを抑制する。【解決手段】第１の画像データと第２の画像データとを入力する入力手段と、前記第１の画像データに対し第１の画像処理を行う第１の画像処理手段と、前記第１の画像処理手段から前記第１の画像処理の情報を取得し、前記第２の画像データに対し、階調数を前記第１の画像データの階調数以下にするとともに前記第１の画像処理を適用する第２の画像処理を行う第２の画像処理手段と、を備える画像処理装置。【選択図】図１
2015099501.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像データと第２の画像データとを入力する入力手段と、
前記第１の画像データに対し第１の画像処理を行う第１の画像処理手段と、
前記第１の画像処理手段から前記第１の画像処理の情報を取得し、前記第２の画像データに対し、階調数を前記第１の画像データの階調数以下にするとともに前記第１の画像処理を適用する第２の画像処理を行う第２の画像処理手段と、
を備える画像処理装置。
【請求項２】
前記第１の画像データの階調数と前記第２の画像データの階調数を取得する取得手段を更に備え、
前記第２の画像処理手段は、前記第２の画像データの階調数が前記第１の画像データの階調数より大きい場合に前記第２の画像処理を行う請求項１に記載の画像処理装置。
【請求項３】
前記第２の画像処理手段は、前記第１の画像データと前記第２の画像データとが互いに対応付けられた画像データである場合に、前記第２の画像処理を行う請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２の画像データの階調数を前記第１の画像データの階調数以下にする処理を行うか否かの指示をユーザから受け付ける指示手段を更に備え、
前記第２の画像処理手段は、前記指示が入力された場合に、前記第２の画像処理を行う請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記取得手段は、前記第１の画像データの画素値と輝度値との対応関係の特性である階調特性を取得するとともに、前記第２の画像データの画素値のヒストグラムを更に取得し、
前記第２の画像処理手段は、前記第１の画像データの階調特性と前記第２の画像データのヒストグラムとに基づき、前記第２の画像処理を行うか否か判断する請求項２に記載の画像処理装置。
【請求項６】
前記第２の画像処理手段は、前記第１の画像データの階調特性が高輝度領域に多くの階調を割り当てる階調特性であり、かつ、前記第２の画像データのヒストグラムが高階調に度数が多いヒストグラムである場合に、前記第２の画像処理を行うと判断する請求項５に記載の画像処理装置。
【請求項７】
前記第２の画像処理手段は、前記第１の画像データの階調特性が低輝度領域に多くの階調を割り当てる階調特性であり、かつ、前記第２の画像データのヒストグラムが低階調に度数が多いヒストグラムである場合に、前記第２の画像処理を行うと判断する請求項５に記載の画像処理装置。
【請求項８】
前記第２の画像処理手段は、前記第２の画像データの階調数を前記第１の画像データの階調数以下にする処理を行った場合に前記第２の画像データから失われる階調数が閾値より小さい場合に、前記第２の画像処理を行うと判断する請求項５に記載の画像処理装置。
【請求項９】
前記取得手段は、前記第２の画像データの階調特性を更に取得し、
前記第２の画像処理手段は、第２の画像データの画素毎に、前記第２の画像データの階調特性に基づき画素値に対応する輝度値を求め、当該第２の画像データの輝度値と、前記第１の画像データの階調特性において画素値との対応関係が定められている輝度値のうち前記第２の画像データの輝度値に最も近い輝度値と、の差分を求め、第２の画像データの全ての画素について前記差分を合計した値が閾値より小さい場合に、前記第２の画像処理
を行うと判断する請求項５に記載の画像処理装置。
【請求項１０】
前記第２の画像処理手段は、前記第１の画像データと前記第２の画像データが、同じ撮像環境において異なる撮像装置により撮像された動画像データと静止画像データである場合に、前記第２の画像処理を行う請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
第１の画像データと第２の画像データとを入力する入力工程と、
前記第１の画像データに対し第１の画像処理を行う第１の画像処理工程と、
前記第１の画像処理の情報を取得し、前記第２の画像データに対し、階調数を前記第１の画像データの階調数以下にするとともに前記第１の画像処理を適用する第２の画像処理を行う第２の画像処理工程と、
を備える画像処理装置の制御方法。
【請求項１２】
前記第１の画像データの階調数と前記第２の画像データの階調数を取得する取得工程を更に有し、
前記第２の画像処理工程では、前記第２の画像データの階調数が前記第１の画像データの階調数より大きい場合に前記第２の画像処理を行う請求項１１に記載の画像処理装置の制御方法。
【請求項１３】
前記第２の画像処理工程では、前記第１の画像データと前記第２の画像データとが互いに対応付けられた画像データである場合に、前記第２の画像処理を行う請求項１１又は１２に記載の画像処理装置の制御方法。
【請求項１４】
前記第２の画像データの階調数を前記第１の画像データの階調数以下にする処理を行うか否かの指示をユーザから受け付ける指示工程を更に有し、
前記第２の画像処理工程では、前記指示が入力された場合に、前記第２の画像処理を行う請求項１１〜１３のいずれか１項に記載の画像処理装置の制御方法。
【請求項１５】
前記取得工程では、前記第１の画像データの画素値と輝度値との対応関係の特性である階調特性を取得するとともに、前記第２の画像データの画素値のヒストグラムを更に取得し、
前記第２の画像処理工程では、前記第１の画像データの階調特性と前記第２の画像データのヒストグラムとに基づき、前記第２の画像処理を行うか否か判断する請求項１２に記載の画像処理装置の制御方法。
【請求項１６】
前記第２の画像処理工程では、前記第１の画像データの階調特性が高輝度領域に多くの階調を割り当てる階調特性であり、かつ、前記第２の画像データのヒストグラムが高階調に度数が多いヒストグラムである場合に、前記第２の画像処理を行うと判断する請求項１５に記載の画像処理装置の制御方法。
【請求項１７】
前記第２の画像処理工程では、前記第１の画像データの階調特性が低輝度領域に多くの階調を割り当てる階調特性であり、かつ、前記第２の画像データのヒストグラムが低階調に度数が多いヒストグラムである場合に、前記第２の画像処理を行うと判断する請求項１５に記載の画像処理装置の制御方法。
【請求項１８】
前記第２の画像処理工程では、前記第２の画像データの階調数を前記第１の画像データの階調数以下にする処理を行った場合に前記第２の画像データから失われる階調数が閾値より小さい場合に、前記第２の画像処理を行うと判断する請求項１５に記載の画像処理装置の制御方法。
【請求項１９】
前記取得工程では、前記第２の画像データの階調特性を更に取得し、
前記第２の画像処理工程では、第２の画像データの画素毎に、前記第２の画像データの階調特性に基づき画素値に対応する輝度値を求め、当該第２の画像データの輝度値と、前記第１の画像データの階調特性において画素値との対応関係が定められている輝度値のうち前記第２の画像データの輝度値に最も近い輝度値と、の差分を求め、第２の画像データの全ての画素について前記差分を合計した値が閾値より小さい場合に、前記第２の画像処理を行うと判断する請求項１５に記載の画像処理装置の制御方法。
【請求項２０】
前記第２の画像処理工程では、前記第１の画像データと前記第２の画像データが、同じ撮像環境において異なる撮像装置により撮像された動画像データと静止画像データである場合に、前記第２の画像処理を行う請求項１１〜１９のいずれか１項に記載の画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
映画やテレビ映像等の動画を撮影する際に、同時に静止画を撮影し、雑誌やポスター等の紙媒体に使用するというユースケースは従来から存在している。近年、動画のファイルベース化や、静止画撮影システムでの動画撮影が可能となってきたことで、カラーグレーディングのような画像編集環境において、動画や静止画が混在するようになってきている。静止画を動画と似た雰囲気に編集してポスター等に使用するようなユースケースでは、動画をカラーグレーディングした際に、類似したシーンを撮影している静止画を、動画のカラーグレーディング内容に沿って編集したいという要求がある。
【０００３】
特許文献１では、静止画を編集した際に、その編集内容を動画に適用する技術について開示されている。特許文献１を応用することで、動画を編集した際に、動画のフレームに対応付けられた静止画に対して編集内容を反映させることができる。特許文献２では、同時撮影されたＪＰＥＧファイルとＲＡＷファイルに対して、画像処理内容を同期させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−５０１９３号公報
【特許文献２】特開２００９−２８４３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画カメラと静止画カメラでは、階調の深さ（ビット深度）や特性（撮像対象の輝度方向の信号強度に対する階調の割り当て方法）が異なる。静止画カメラでは、ファイルサイズや処理負荷よりも階調表現の豊かさを重視し、深いビット深度とリニアに近い階調特性を持たせるのが一般的である。一方で動画カメラは、フレームレートに合わせて表示を更新しなければならない。そのため、階調表現の豊かさと処理負荷、ビットレートを両立する必要があり、表現するビット深度は静止画よりも浅く、浅いビット深度で広いダイナミックレンジを確保するために階調特性を工夫（ログ特性を用いる等）することが多い。
【０００６】
階調特性が異なる動画と静止画において、動画像に適用した色や階調補正等の画像処理をそのまま静止画に適用すると、印象が変わってしまうことがある。例えば、ビット深度が異なる場合、ビット深度が浅い動画に対して適用した階調補正をそのまま適用すると、ビット深度の深い静止画では、ビット深度の浅い側では表現できていない（つぶれている）階調が見えてしまう。そのため、同じ階調補正を適用したにもかかわらず印象の異なる結果となる。ログ特性を用いる等、入力信号に対する出力の階調値を、特定の階調で細かく、特定の階調で荒くする階調処理でも同様の課題が発生する。
【０００７】
特許文献１では、動画と静止画との階調特性の違いを考慮していないため、階調特性が異なる画像に編集内容を適用すると、階調調整後の動画と静止画とで観察者の受ける印象が変わってしまうことがある。また、ＲＡＷファイルとＪＰＥＧファイルでは階調特性が異なるが、特許文献２においても階調特性が異なる画像間で画像処理内容を同期させる場合について考慮されていない。
【０００８】
そこで、本発明は、階調特性が異なる動画と静止画の一方に適用した色や階調補正等の画像処理を他方にも適用した場合に、動画と静止画とで画像処理後の見えに違いが生じることを抑制することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、第１の画像データと第２の画像データとを入力する入力手段と、
前記第１の画像データに対し第１の画像処理を行う第１の画像処理手段と、
前記第１の画像処理手段から前記第１の画像処理の情報を取得し、前記第２の画像データに対し、階調数を前記第１の画像データの階調数以下にするとともに前記第１の画像処理を適用する第２の画像処理を行う第２の画像処理手段と、
を備える画像処理装置である。
【００１０】
本発明は、第１の画像データと第２の画像データとを入力する入力工程と、
前記第１の画像データに対し第１の画像処理を行う第１の画像処理工程と、
前記第１の画像処理の情報を取得し、前記第２の画像データに対し、階調数を前記第１の画像データの階調数以下にするとともに前記第１の画像処理を適用する第２の画像処理を行う第２の画像処理工程と、
を備える画像処理装置の制御方法である。
【発明の効果】
【００１１】
本発明によれば、階調特性が異なる動画と静止画の一方に適用した色や階調補正等の画像処理を他方にも適用した場合に、動画と静止画とで画像処理後の見えに違いが生じることを抑制することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１の構成を説明するブロック図
【図２】実施例１の動画撮影装置１００の動画階調特性情報を説明する説明図
【図３】実施例１の動画撮影装置１００の動画階調特性情報を説明する説明図
【図４】実施例１の静止画撮影装置２００の静止画階調特性情報を説明する説明図
【図５】実施例１の静止画撮影装置２００の静止画階調特性情報を説明する説明図
【図６】実施例１のファイル対応付け管理部３０４の保持する情報を説明する説明図
【図７】実施例１の階調調整装置３００の動作を説明するフローチャート
【図８】実施例１の階調調整装置３００の動作を説明するフローチャート
【図９】実施例１の階調調整装置３００の動作を説明するフローチャート
【図１０】実施例１の調整内容通知部４０５の動作を説明する説明図
【図１１】実施例２の構成を説明するブロック図
【図１２】実施例２の階調調整装置７００の動作を説明するフローチャート
【図１３】実施例３の構成を説明するブロック図
【図１４】実施例３の階調調整装置８００の動作を説明するフローチャート
【図１５】実施例３の階調特性比較部８０３の動作を説明する説明図
【図１６】実施例３の階調特性比較部８０３の動作を説明する説明図
【発明を実施するための形態】
【００１３】
（実施例１）
以下本発明の画像処理装置及びその制御方法の実施例１について図面を用いて説明する。
図１は、本発明の実施例１を説明する説明図である。動画撮影装置１００は、動画を撮影する装置である。静止画撮影装置２００は、静止画を撮影する装置である。実施例１は、動画撮影者が動画撮影装置１００を操作して動画を撮影する際に、動画撮影者とは異なる静止画撮影者が静止画撮影装置２００を操作し、動画撮影装置１００で撮影している動
画と類似した静止画を静止画撮影装置２００で撮影するケースを想定している。すなわち、実施例１は、同じ撮像環境において異なる撮像装置により撮像された動画像データと静止画像データを対象として画像処理を行う画像処理装置に本発明を適用した実施例である。
【００１４】
階調調整装置３００は、動画撮影装置１００から入力される動画（第１の画像データ）と、静止画撮影装置２００から入力される静止画（第２の画像データ）を対応付けて保存すると共に、動画及び静止画の階調を調整して保持する。実施例１は、撮影された動画をユーザが階調調整装置３００を操作して階調補正（第１の画像処理）する際に、静止画撮影装置２００で撮影された、動画と類似した静止画に対して同様の階調補正（第２の画像処理）を階調調整装置３００で自動で実行する例である。階調調整装置３００は、動画と静止画の階調特性を比較し、階調調整後の動画と静止画とでユーザの受ける印象が大きくずれないように、動画の階調調整内容と同様の階調調整を静止画に対し適用する。階調調整装置３００は、動画調整部４００と、静止画調整部５００と、を有する。
【００１５】
動画撮影部１０１は、イメージセンサ等で取得した圧縮等のなされていない生の動画信号（以下、ＲＡＷ動画という）を作成し出力する。
動画階調特性情報保持部１０２は、動画撮影部１０１の撮影したＲＡＷ動画の階調特性を、動画撮影装置１００の出力する出力フォーマットの階調特性に変換し階調を削減するための情報を保持する。
【００１６】
一般的に、動画撮影部１０１の階調特性は撮像素子の特性で静的に決まっており、入力された光の強度に対して出力される信号の強度がリニア（線形）に対応するリニア特性を持つことが多い。一方、出力フォーマットの階調特性には、入力された光の強度に対して出力される信号がログ（対数関数）に対応するログ特性を持たせることが多い。これは、汎用のシステムで処理可能なビットレートで出力する必要性から、限られたビット深度でなるべく広いダイナミックレンジを持たせるためである。実施例１では、動画撮影部１０１はリニアな特性で１２ビットのＲＡＷ動画を出力するものとし、動画撮影装置１００はログ特性で１０ビットの信号を出力するものとして説明する。
【００１７】
動画階調削減部１０３は、動画撮影部１０１から入力される１２ビットのＲＡＷ動画を受け取り、動画階調特性情報保持部１０２からの階調特性変換情報に従って１０ビットに階調削減を行う。
【００１８】
動画撮影部１０１の撮影するＲＡＷ動画は、１２ビットの多階調であり（動画撮影部の仕様によって１４ビット等さらに多階調の場合もある）、ファイルサイズが大きく、リアルタイム表示に必要とされるシステムの処理能力も高くなる。そのため、一般的な動画撮影装置では一般的な動画処理システムで処理可能な汎用ファイルフォーマットに合わせて階調方向の削減や高周波数領域の削減、ハフマン圧縮等の圧縮手法を用いてファイルサイズや１フレームあたりの情報量を削減する。本発明では、階調方向の圧縮（階調削減）のみが本質的に必要なため、その他の圧縮については説明を省略する。なお、高周波数領域の削減やハフマン圧縮等行われていても、本発明は適用可能である。
【００１９】
動画ファイル出力部１０４は、動画階調削減部１０３で階調削減された動画像を、動画階調特性情報保持部１０２から取得した動画階調情報と共に所定のファイルフォーマットに梱包して出力する。
【００２０】
静止画撮像部２０１は、イメージセンサ等で取得した圧縮等のなされていない生の静止画信号（以下、ＲＡＷ静止画という）を作成し出力する。
静止画階調特性情報保持部２０２は、静止画撮像部２０１の撮影したＲＡＷ静止画の階
調特性を保持する。
【００２１】
一般的に、静止画撮像部２０１の階調特性は撮像素子の特性で静的に決まっており、入力された光の強度に対して出力される信号の強度がリニアに対応するリニア特性を持つことが多い。動画の場合と異なり、静止画撮影装置では出力フォーマットとしてＲＡＷ静止画をそのまま出力することが広く行われており、実施例１でもＲＡＷ静止画をそのまま出力するものとする。静止画撮影装置においては、階調削減、ＪＰＥＧ圧縮も広く行われているが、本発明の本質ではないため説明を省略する。なお、階調削減、ＪＰＥＧ圧縮が行われている場合であっても本発明は適用可能である。実施例１では、静止画撮像部２０１はリニアな特性で１４ビットのＲＡＷ静止画を出力するものとして説明する。
【００２２】
静止画ファイル出力部２０３は、静止画撮像部２０１の撮影したＲＡＷ静止画を、静止画階調特性情報保持部２０２から取得した静止画階調情報と共に所定のファイルフォーマットに梱包して出力する。
【００２３】
ファイル入力部３０１は、階調調整装置３００に動画撮影装置１００又は静止画撮影装置２００からのファイル（データ）を入力する。
ファイル管理部３０２は、ファイル入力部３０１から入力された動画ファイル（動画データ）又は静止画ファイル（静止画データ）の蓄積と対応付けを管理し、動画調整部４００又は静止画調整部５００からの指示に応じてファイルを読み出す。
ファイル蓄積部３０３は、ファイル（データ）を蓄積保存する。
【００２４】
ファイル対応付け管理部３０４は、動画と静止画の関連付けを保持する。実施例１では、動画の階調補正時に、当該動画と対応付けられた静止画が、動画編集内容に応じて編集される。そのための動画と静止画との対応付けをファイル対応付け管理部３０４が行う。対応付けの手法については、図示しない入力部を用いてユーザが指示することとし、詳細な説明は省略する。
【００２５】
ユーザ操作部４０１は、階調調整対象ファイルの指定及び当該ファイルへの階調調整内容を動画調整部４００へ通知（指示）するためのユーザ操作を受け付ける。
動画入力部４０２は、ユーザ操作部４０１から入力される指示において指定された調整対象動画像ファイルを入力する。
動画階調特性取得部４０３は、動画入力部４０２に入力された調整対象動画像ファイルから、動画階調特性を取得する。
動画階調調整部４０４は、動画入力部４０２から入力された動画の階調を、ユーザ操作部４０１から入力される指示に従って調整する。
調整内容通知部４０５は、動画階調調整部４０４の調整内容を静止画調整部５００に対して通知する。
調整動画ファイル出力部４０６は、動画階調調整部４０４の調整結果をファイルとして出力する。
【００２６】
静止画入力部５０１は、動画調整部４００に調整対象動画ファイルが入力された際に、ファイル管理部３０２から当該動画と対応付けされた静止画を入力する。
静止画階調特性取得部５０２は、静止画入力部５０１に入力された静止画から静止画階調特性情報を読み出す。
階調特性比較部５０３は、静止画階調特性取得部５０２が取得した静止画階調特性情報と、動画階調特性取得部４０３で取得した、当該静止画と対応付けされた動画の動画階調特性情報と、を比較し、階調削減実行要否の判断と、実行する場合の階調特性を決定する。
【００２７】
静止画階調削減部５０４は、静止画入力部５０１から入力された静止画に対して、階調特性比較部５０３の比較結果に従って階調削減方法を決定し階調を削減する。
動画調整内容受信部５０５は、動画階調調整部４０４での動画調整内容を調整内容通知部４０５から受け取る。
静止画階調調整部５０６は、静止画階調削減部５０４によって階調削減された静止画に対して、動画調整内容受信部５０５が受信した動画調整内容に従って階調を調整する。
調整静止画ファイル出力部５０７は、静止画階調調整部５０６の調整した結果をファイル出力する。
調整結果蓄積部６０１は、調整動画ファイル出力部４０６及び調整静止画ファイル出力部５０７の出力するファイルを蓄積する。
【００２８】
初めに、動画撮影装置１００の撮影した動画像をファイルとして出力するまでの動作を説明する。なお、以下の説明は、実施例１が想定する上述のケースにおける動画撮影動作の説明である。
動画撮影部１０１が撮影したＲＡＷ動画は、動画階調特性情報保持部１０２に保持される階調削減テーブルによって、動画階調削減部１０３にて階調削減される。動画階調特性情報保持部１０２に保持されている階調特性の情報は概念的には図２のような情報である。階調特性は、反射率１８％の入力を中心としてハイライト側、シャドー側の入力（輝度値）と動画ファイルに出力される階調値（画素値）との対応関係の情報である。
【００２９】
動画階調特性情報保持部１０２は、実際には、図３のようなテーブルを保持する。なお、ＲＡＷ動画を階調変更する際には、撮像素子の特性等考慮すべき情報が存在するが、本発明の本質ではないため、簡単のために説明を省略する。
【００３０】
動画階調削減部１０３が階調削減した動画像は、図３の動画階調特性情報と共に所定のファイルフォーマットに従って動画ファイル出力部１０４でファイル化されて出力される。動画のファイルフォーマットに何を用いるかは本発明の本質ではないので説明を省略するが、例えばＭＸＦフォーマットを用いる場合は、ダークメタデータとして図３のような動画階調特性情報を付加することができる。
【００３１】
次に、静止画撮影装置２００の撮影した静止画をファイルとして出力するまでの動作を説明する。なお、以下の説明は、実施例１が想定する上述のケースにおける静止画撮影動作の説明である。
静止画撮像部２０１が撮影したＲＡＷ静止画は、静止画階調特性情報保持部２０２に保持される静止画階調特性情報と共に静止画ファイル出力部２０３でファイル化されて出力される。静止画階調特性情報保持部２０２に保持されている情報は概念的には図４のような情報であり、動画階調特性情報と同様に反射率１８％の入力を中心としてハイライト側、シャドー側の入力と動画ファイルに出力される階調値との対応付けの情報である。
【００３２】
静止画階調特性情報保持部２０２は、実際には、図５のようなテーブルを保持する。なお、実施例１では、ＲＡＷ静止画のまま出力するため動画撮影装置で行ったような階調削減は行わない。静止画のファイルフォーマットに何を用いるかは本発明の本質ではないので説明を省略するが、静止画撮影装置のメーカーや機種によって独自のフォーマットを用いるのが実情である。独自フォーマットに、図５のような静止画階調特性情報を付加することは特別な技術を必要とせずに実現可能である。
【００３３】
次に、動画撮影装置１００及び静止画撮影装置２００から出力される動画ファイル及び静止画ファイルを階調調整装置３００に入力し、動画と静止画の対応付けをファイル管理部３０２が管理するまでの動作を説明する。
【００３４】
図示しないユーザの操作により、動画撮影装置１００及び静止画撮影装置２００から、ファイルが階調調整装置３００に入力される。この際のファイルの受け渡しの方法については特に限定しない。フラッシュメモリ等を用いた記憶媒体を介しても良いし、ＵＳＢやＥｔｈｅｒｎｅｔ（登録商標）等で機器間を直接接続しても良い。ファイル管理部３０２は、ファイル入力部３０１から入力されたファイルを、ファイル蓄積部３０３に蓄積する。さらに図示しないユーザの操作により、動画と静止画が対応付けられる。対応付けられた結果は図６のようなテーブルとしてファイル対応付け管理部３０４にて管理される。
【００３５】
次に、動画調整部４００での動画階調調整動作、及びそれと連動して行われる静止画調整部５００での静止画階調調整動作を図７、図８、図９のフローチャートを用いて説明する。なお以下の説明は、実施例１が想定している、撮影された動画をユーザが階調調整装置３００を操作して階調調整する際に、静止画撮影装置２００で撮影された、動画と類似した静止画に対して同様の階調補正を階調調整装置３００が自動で実行する動作の説明である。
【００３６】
ユーザがユーザ操作部４０１を操作することで、調整対象の動画ファイルを指定すると、動画入力部４０２は調整対象のファイルの読み出しをファイル管理部３０２に指示する。ファイル管理部３０２は、指示された動画ファイルをファイル蓄積部３０３から読み出す（Ｓ１００１）。
【００３７】
ファイル管理部３０２は、動画の読み出し指示を動画調整部４００から受けると、ファイル対応付け管理部３０４の管理するテーブルにより、読み出し指示された動画と対応付けられた静止画の有無を確認する（Ｓ１００２）。
【００３８】
対応する静止画がある場合（Ｓ１００３：Ｙ）、ファイル管理部３０２は動画ファイルを動画入力部４０２に出力すると共に対応付け静止画ありの情報を動画調整部４００に対して通知する（Ｓ１００４）。更にファイル管理部３０２は対応静止画を読み出して静止画入力部５０１に入力する（Ｓ１００５）。
対応する静止画がない場合（Ｓ１００３：Ｎ）、ファイル管理部３０２は動画ファイルを動画入力部４０２に出力すると共に対応付け静止画なしの情報を動画調整部４００に対して通知する（Ｓ１００６）。
【００３９】
動画入力部４０２は、入力された動画ファイルを受け取り（Ｓ１０１１）、対応静止画の有無を確認する（Ｓ１０１２）。
対応静止画がある場合（Ｓ１０１２：Ｙ）、動画入力部４０２は動画ファイルを動画階調特性取得部４０３に入力し、動画階調特性取得部４０３は動画ファイルから動画階調特性を取得する（Ｓ１０１３）。動画階調特性取得部４０３が読みだす情報は、動画階調特性情報保持部１０２が付加した動画階調特性情報であり、具体的に図３に示す情報を読み出し保持する。
対応静止画がない場合（Ｓ１０１２：Ｎ）、動画入力部４０２は動画階調特性の取得は行わない。
【００４０】
動画階調調整部４０４は、動画入力部４０２から対象動画を受け取り、ユーザによるユーザ操作部４０１の操作に応じて動画の階調調整を行う（Ｓ１０１４）。動画階調調整部４０４で行う階調調整内容自体は、本発明の本質ではないので詳細な説明は省略するが、コントラスト調整、色調整等、動画と静止画双方で共通する階調方向の調整である。
【００４１】
動画階調調整部４０４は、対応静止画の有無を確認し、対応静止画がある場合（Ｓ１０１５：Ｙ）は動画の階調調整内容を調整内容通知部４０５に通知し、階調調整内容情報を作成する（Ｓ１０１６）。調整内容通知部４０５が保持する階調調整内容情報は、具体的
には図１０のようなものであり、調整内容と調整領域、調整チャンネルと調整幅が保持される。図１０の内容は、実際にはＸＭＬのような記述言語を用いて記述される。
対応静止画がない場合（Ｓ１０１５：Ｎ）は、調整内容通知処理は行われない。
【００４２】
静止画入力部５０１は、入力された静止画ファイルを受け取り（Ｓ１０２１）、静止画階調特性取得部５０２と静止画階調削減部５０４に静止画ファイルを出力する。
静止画階調特性取得部５０２は、静止画ファイルに付加されている静止画階調特性情報を読み出し、階調特性比較部５０３に入力する（Ｓ１０２２）。静止画階調特性取得部５０２で読み出される情報は、具体的には図５のような情報となる。
【００４３】
階調特性比較部５０３は、静止画階調特性取得部５０２から静止画階調特性情報を受け取ると、さらに動画階調特性取得部４０３が保持する動画階調特性情報を読み出す（Ｓ１０２３）。
階調特性比較部５０３は、まず静止画階調特性と動画階調特性が異なるかどうかを判断する（Ｓ１０２４）。
【００４４】
階調特性が静止画と動画とで異なる場合（Ｓ１０２４：Ｙ）、階調特性比較部５０３は、さらに静止画の方が動画より広い階調を持っているかどうかを判断する（Ｓ１０２５）。階調特性比較部５０３は、静止画と動画の階調数又はビット深度を比較してこの判断を行い、階調数が多い場合、或いはビット深度が大きい場合、広い階調を持っていると判断する。
静止画が動画と同等、又はより広い階調を持っている場合（Ｓ１０２５：Ｙ）、静止画階調削減部５０４は、階調特性比較部５０３から取得する動画階調特性情報に従って静止画の階調特性を削減する（Ｓ１０２６）。階調削減の具体的な方法については後述する。
静止画階調特性が動画階調特性と等しい場合、又は動画の階調が静止画の階調よりも広い場合（Ｓ１０２５：Ｎ）、静止画の階調削減処理は行われない。
【００４５】
続いて、動画調整内容受信部５０５が動画の階調調整内容を調整内容通知部４０５から受け取り（Ｓ１０２７）、その内容に従って静止画階調調整部５０６が静止画の階調を調整する（Ｓ１０２８）。
静止画階調調整（Ｓ１０２８）では、動画階調調整部４０４が動画に対して適用した階調調整が、動画の階調特性に合わせて階調削減された静止画に対して適用される。そのため、階調調整された動画と静止画とでユーザにとっての見えの印象が大きく異なることを抑制できる。
【００４６】
次に、静止画階調削減部５０４で実施される階調削減処理について説明する。
まず、静止画階調削減部５０４は、静止画の全画素値について、図５の静止画の階調特性を用いて、画素値（出力値）に対応する入力値を求める。次に、静止画階調削減部５０４は、求めた静止画の入力値を、図３の動画の階調特性に入力して、出力値を得る。このとき、静止画の画素値から求められる入力値のステップ（図４の横軸）の方が、動画の入力値のステップ（図２の横軸）より細かいため、静止画の画素値から求められる入力値が図３にない場合がありえる。その場合は、静止画の画素値から求められる入力値に最も近い動画の入力値を求め、当該入力値に対応する出力値を図３のテーブルから求める。この結果、静止画の階調特性が削減され、動画の階調特性と同じになる。
【００４７】
以上説明した通り、実施例１によれば、階調特性が異なる動画と静止画において、動画像に適用した色や階調補正等の画像処理を、ユーザの印象を変えずに静止画に適用することができる。
なお、実施例１では、簡単のために１つの動画像ファイルに対して１つの動画階調特性が対応付けられ、１つの動画ファイルを１つの静止画ファイルと対応付ける例を説明した
。しかし、動画像のフレーム単位で動画階調特性を対応付けて保持し、１つの動画像フレームと１つの静止画とを対応付ける場合においても、同様に本発明を適用することができる。
【００４８】
また、実施例１では、動画撮影装置で動画に対して階調特性情報を付加し、静止画撮影装置で静止画に対して階調特性情報を付加したうえで階調調整装置に入力する形態を例に説明した。しかし、これに限らず、動画ファイル、静止画ファイルの階調特性が階調調整装置で取得できる形態であれば本発明を適用することができる。例えば階調特性情報が撮影装置及び階調調整装置とは異なる別の装置で付加される形態であっても良いし、階調調整装置に動画及び静止画とは別のファイルとして階調特性情報が入力される形態でもかまわない。
【００４９】
（実施例２）
以下本発明の実施例２について図面を用いて説明する。
図１１は、本発明の実施例２を説明する説明図である。図１１において、実施例１と同一の動作をする構成については同一の符号を付し、説明を省略する。
実施例２の階調調整装置７００は、静止画調整部７０１を有する。
第二のユーザ操作部７０２では、ユーザが、静止画の階調削減を行うかどうかの指示を入力する操作を行うことができる。
【００５０】
階調特性比較部７０３は、入力される静止画について静止画階調特性取得部５０２が取得した静止画階調特性情報と、当該静止画と対応付けされた動画に関して動画階調特性取得部４０３で取得した動画階調特性情報とを比較する。階調特性比較部７０３は、比較結果と、第二のユーザ操作部７０２でユーザが入力した指示とに基づき、静止画の階調削減実行要否の判断をすると共に、実行する場合の階調特性を決定する。
【００５１】
実施例２は、ユーザ操作によって静止画の階調削減を行うかどうかを選択できる点が実施例１と異なる。実施例２における静止画調整部７０１の動作を図１２のフローチャートを用いて説明する。
階調特性比較部７０３の行う静止画階調特性と動画階調特性の比較処理（Ｓ１０２１〜Ｓ１０２５）は、実施例１の階調特性比較部５０３の行う比較処理と同じであるため、説明を省略する。
【００５２】
静止画調整部７０１の動作は、ユーザが静止画の階調削減を指示した場合の動作のみ、実施例１と異なる。ユーザが第二のユーザ操作部７０２を操作し静止画の階調削減を指示した場合（Ｓ２００１：Ｙ）、ユーザ操作部７０２は、階調特性比較部７０３に静止画階調削減を行うよう指示し、Ｓ１０２６の処理に進む。
【００５３】
ユーザが第二のユーザ操作部７０２を操作し静止画の階調削減を行うよう指示していない場合（Ｓ２００１：Ｎ）、第二のユーザ操作部７０２は階調特性比較部７０３に静止画階調削減を行わないように指示し、Ｓ１０２７の処理に進む。
静止画階調削減処理（Ｓ１０２６）以降は実施例１と同じであるため、説明を省略する。
以上説明した通り、実施例２によれば、実施例１に加え、ユーザが静止画の階調削減を望むかどうかによって処理を切り替えることができる。
【００５４】
（実施例３）
以下本発明の実施例３について図面を用いて説明する。図１３は、本発明の実施例３を説明する説明図である。図１３において、実施例１及び実施例２と同一の動作をする構成については同一の符号を付し、説明を省略する。実施例３の階調調整装置８００は、静止
画調整部８０１を有する。
【００５５】
静止画入力部８０２には、動画調整部４００に調整対象動画ファイルが入力された際に、ファイル管理部３０２から当該動画と対応付けされた静止画が入力される。静止画入力部８０２は、入力された静止画を静止画階調特性取得部５０２及び静止画階調削減部５０４に出力すると供に、階調特性比較部８０３にも出力する点が実施例１と異なる。
【００５６】
階調特性比較部８０３は、入力される静止画に関して静止画階調特性取得部５０２が取得した静止画階調特性情報と、当該静止画と対応付けされた動画に関して動画階調特性取得部４０３で取得した動画階調特性情報とを比較する。階調特性比較部８０３は、更に階調削減を実施した場合に失われる階調情報を用いて階調削減実行の判断をすると共に、実行する場合の階調特性を決定する。
【００５７】
実施例３は、静止画に階調削減を実施した場合に失われる階調の総量から、階調削減を行う静止画が動画の階調特性にあっているかどうかを確認し、階調削減を行うかどうかを判断する点が実施例１，２と異なる。実施例３における静止画調整部８０１の動作を図１４のフローチャートを用いて説明する。
階調特性比較部８０３の行う静止画階調特性と動画階調特性の比較処理（Ｓ１０２１〜Ｓ１０２５）は、実施例１の階調特性比較部５０３の行う比較処理と同じであるため、説明を省略する。
【００５８】
階調特性比較部８０３は、静止画入力部８０２から受け取った静止画について、動画階調特性を適用した場合に失われる階調の合計を計算する（Ｓ３００１）。
次に、階調特性比較部８０３は、失われる階調の合計を予め定められた閾値と比較する。失われる階調の合計が閾値よりも小さい場合（Ｓ３００２：Ｙ）、階調特性比較部８０３は、静止画の階調が動画の階調特性と近い特性を持っていると判断し、静止画階調削減部５０４に静止画階調削減を実施するように指示し、Ｓ１０２６の処理に進む。
【００５９】
失われる階調の合計が閾値以上の場合（Ｓ３００２：Ｎ）、階調特性比較部８０３は、静止画の階調が動画の階調特性と大きく異なる特性を持っていると判断し、静止画階調削減部５０４に静止画階調削減を実施しないように指示し、Ｓ１０２７の処理に進む。
静止画階調削減処理（Ｓ１０２６）以降は実施例１と同じであるため、説明を省略する。
【００６０】
階調特性比較部８０３の動作について詳細に説明する。階調特性比較部８０３は、静止画階調削減部５０４の階調削減処理により失われる階調数を求める。静止画階調削減部５０４の動作は実施例１と同様である。すなわち、静止画の画素値から図４，図５の特性を用いて逆算される入力値のステップの方が、図２，図３の動画の入力値のステップより細かいため、静止画の画素値から逆算される入力値が図３にない場合があり得る。静止画階調削減部５０４は、図３の入力値において、静止画の画素値から逆算される入力値に最も近い値を求め、その値に対応する出力値を図３のテーブルから求める。
【００６１】
階調特性比較部８０３は、上記の処理にて、静止画の画素毎に、静止画の画素値から逆算される入力値と、当該入力値に最も近い図３の動画の入力値と、の差分を求め、静止画の全ての画素について差分を合計する。すなわち、最も近い入力値に対応する出力値に丸められる画素が多いほど、この合計値は大きくなる。合計した結果が予め定められた閾値以上の場合、階調特性比較部８０３は、静止画の階調特性と動画の階調特性の乖離が大きいと判断し、閾値より小さい場合は乖離が小さいと判断する。この合計値は、静止画の階調を動画の階調に合わせて削減した場合に失われる階調の総量を表す。
【００６２】
上記計算は、概念的には、図１５及び図１６のように考えられる。
動画の階調特性は、ログ（対数関数）の特性であり、階調を多く割り当てる輝度とあまり割り当てない輝度がある。階調削減の対象となる静止画に、動画の階調特性において階調を多く割り当てている輝度が多く、少なく割り当てる階調が少ない場合に、差分値の合計は小さくなる（図１５）。
逆に、階調削減の対象となる静止画に、動画の階調特性において階調を多く割り当てている輝度が少なく、少なく割り当てる階調が多い場合に、差分値の合計は大きくなる（図１６）。
【００６３】
実施例３によれば、静止画に階調削減を実施した場合に失われる階調の総量から、階調削減を行う静止画の階調特性が動画の階調特性に近いかどうかを確認し、階調削減を行うかどうかを判断することができる。従って、階調削減による画質劣化を抑制できる。
【００６４】
なお、実施例３では、静止画の階調削減を実施した場合に失われる階調数を計算してその計算結果に基づき静止画の階調削減を行うか否かを判断したが、判断方法はこれに限らない。例えば、図１５、図１６に示すように、動画の階調特性が下に凸の曲線の場合、高輝度領域に多くの階調が割り当てられ、低輝度領域に割り当てられる階調数が少ない。そのため、図１５のように静止画の画素値のヒストグラムにおいて高階調側に度数が多い場合は階調削減処理により失われる階調数が少ない。しかし図１６のように静止画の画素値のヒストグラムにおいて低階調側に度数が多い場合は階調削減処理により失われる階調数が多い。一方、動画の階調特性が上に凸の曲線の場合、静止画の画素値のヒストグラムにおいて高階調側に度数が多いと、階調削減処理により失われる階調数が多い。このように、階調特性比較部８０３は、動画の階調特性の曲線形状と、静止画の画素値のヒストグラムの特徴とに基づき、階調削減処理を行った場合に静止画の階調損失が大きいか否かを判断し、階調削減を行うか否か判断することができる。例えば、階調特性比較部８０３は、次の２つの場合に静止画階調削減処理を行わないと判断する。すなわち、動画の階調特性が下に凸の曲線で且つ静止画の画素値のヒストグラムにおいて低階調側に度数が多い場合と、動画の階調特性が上に凸の曲線で且つ静止画の画素値のヒストグラムにおいて高階調側に度数が多い場合である。
【００６５】
また、各実施例において、静止画の階調数を削減する処理は、動画の階調数以下の階調数まで静止画の階調数を削減すれば良い。動画の階調数と同じ階調数まで削減しても良いし、動画の階調数より少ない階調数まで削減しても良い。
【００６６】
＜その他の実施形態＞
記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータ（又はＣＰＵ、ＭＰＵ等のデバイス）によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
【符号の説明】
【００６７】
３０１：ファイル入力部、４００：動画調性部、５００：静止画調性部
【図１】
2015099501.tif 000003
【図２】
2015099501.tif 000004
【図３】
2015099501.tif 000005
【図４】
2015099501.tif 000006
【図５】
2015099501.tif 000007
【図６】
2015099501.tif 000008
【図７】
2015099501.tif 000009
【図８】
2015099501.tif 000010
【図９】
2015099501.tif 000011
【図１０】
2015099501.tif 000012
【図１１】
2015099501.tif 000013
【図１２】
2015099501.tif 000014
【図１３】
2015099501.tif 000015
【図１４】
2015099501.tif 000016
【図１５】
2015099501.tif 000017
【図１６】
2015099501.tif 000018