(57)【要約】【課題】映画等の撮影現場において、画角の確認と同時に編集作業時と同等の画質確認を実現する。【解決手段】画像データ中の注目領域を設定する注目領域設定手段と、前記注目領域に対してユーザの所望する画質を実現するための画像処理を行う第一の画像処理手段と、前記画像データ全体に対して前記第一の画像処理手段と略一致する画質を高速に実現するための画像処理を行う第二の画像処理手段と、前記第一の画像処理手段で生成された画像データと前記第二の画像処理手段で生成された画像データを合成するための画像合成手段と、を備えることを特徴とする。【選択図】図１
2018182550.tif 000002
【特許請求の範囲】
【請求項１】
画像データ中の注目領域を設定する注目領域設定手段と、
前記注目領域に対してユーザの所望する画質を実現するための画像処理を行う第一の画像処理手段と、
前記画像データ全体に対して前記第一の画像処理手段と一致する画質を高速に実現するための画像処理を行う第二の画像処理手段と、
前記第一の画像処理手段で生成された画像データと前記第二の画像処理手段で生成された画像データを合成するための画像合成手段と、を備える
ことを特徴とする画像処理装置。
【請求項２】
前記合成手段により合成された画像データを表示するための画像表示手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記注目領域設定手段は前記注目領域の位置と大きさをユーザに設定させることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記注目領域設定手段は前記第一の画像処理手段により画像処理を行った結果から前記注目領域の大きさの上限値を導出することを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
【請求項５】
前記注目領域設定手段は設定された注目領域の大きさが前記注目領域の大きさの上限値を超える場合は警告を発することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記注目領域設定手段は設定可能な注目領域の大きさを前記注目領域の大きさの上限値に限定することを特徴とする請求項４に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画あるいは動画を表示する画像表示に関する。
【背景技術】
【０００２】
現在の映画製作における撮影は、ＲＡＷデータでのデジタル撮影が一般的になりつつあり、解像度も従来の２Ｋから４Ｋへと向上している。また、必ずと言っていいほど撮影後に編集作業（例えばＲＡＷ現像処理、カット編集、グレーディング、ＣＧ合成等）が行われる。そのため、編集に適した動画を撮影するためには、撮影現場で編集時と同じ現像パラメータでＲＡＷ現像処理を行い、カメラの設定や照明等の撮影条件を調整できることが望ましい。これを効率的に行うためには、４Ｋ解像度のＲＡＷデータをキャプチャしながら実時間で編集作業時と同等の現像処理を行う必要がある。
【０００３】
しかしながら、編集作業時に４Ｋ解像度のＲＡＷデータに適用する現像処理は、偽色緩和処理、ノイズリダクション処理、レンズ収差補正処理等の高画質化処理が含まれているため非常に処理負荷が高い。よって、これをそのまま撮影現場で適用することは難しい。
【０００４】
そこで、ＲＡＷ現像処理を高速化するための技術が従来技術として知られている（特許文献１）。これは、拡大表示時には光学系の補正処理を行い、ＦＩＴ表示時は光学系の補正処理を行わないように現像パラメータを変更することで処理負荷を軽減させるものであった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１０１９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術は、拡大表示を前提とした処理であるため、編集時の画質と画角の両方を同時に確認しながらカメラ設定や照明等の撮影条件を決定したいというユーザの要望には対応できないという課題があった。
【０００７】
そこで本発明では、映画等の撮影現場において、画角の確認と同時に編集作業時と同等の画質確認を実現することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る画像処理装置は、
画像データ中の注目領域を設定する注目領域設定手段と、前記注目領域に対してユーザの所望する画質を実現するための画像処理を行う第一の画像処理手段と、前記画像データ全体に対して前記第一の画像処理手段と略一致する画質を高速に実現するための画像処理を行う第二の画像処理手段と、前記第一の画像処理手段で生成された画像データと前記第二の画像処理手段で生成された画像データを合成するための画像合成手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明に係る画像処理装置によれば、デジタルシネマ製作ワークフローにおいて画質問題に起因する再撮影のリスクを減少し、さらに撮影時の撮影条件決定作業を効率化するという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置のシステム構成図である。
【図２】実施例１における画像処理装置の論理構成を示すブロック図である。
【図３】実施例１における画像処理の流れを示すフローチャートである。
【図４】高画質ＲＡＷ現像処理の流れを示すフローチャートである。
【図５】高速ＲＡＷ現像処理の流れを示すフローチャートである。
【図６】注目領域を示す図である。
【図７】実施例１における表示画像の表示方法を示す図である。
【図８】実施例１におけるＧＵＩによる注目領域設定方法を示す図である。
【図９】実施例２における画像処理の流れを示すフローチャートである。
【図１０】実施例２における表示画像の表示方法を示す図である。
【図１１】実施例３における画像処理の流れを示すフローチャートである。
【図１２】実施例３における処理タイミングと表示画像を示す図である。
【図１３】実施例２における画像処理装置の論理構成を示すブロック図である。
【図１４】画質評価処理の流れを示すフローチャートである。
【図１５】実施例３における画像処理装置の論理構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【実施例１】
【００１２】
図１は、本実施例における画像処理装置のシステム構成を示す図である。
【００１３】
画像処理装置は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、入力インタフェース（Ｉ／Ｆ）１０５、表示インタフェース（Ｉ／Ｆ）１０７、撮像インタフェース（Ｉ／Ｆ）１０９、システムバス１１１で構成される。入力Ｉ／Ｆ１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。入力Ｉ／Ｆ１０５は、ユーザが各種操作指示を行うためのキーボードやマウスなどの入力装置１０６を接続する。出力Ｉ／Ｆ１０７は、例えばＤＶＩやＨＤＭＩ（登録商標）等の画像出力インタフェースであり、液晶ディスプレイなどの表示装置１０８を接続する。撮像Ｉ／Ｆ１０９は、例えば、３Ｇ／ＨＤ−ＳＤＩやＨＤＭＩ等の画像入力インタフェースであり、デジタルカメラやデジタルビデオカメラ、デジタルシネマカメラなどの撮像装置１１０を接続する。
【００１４】
以下では、ＣＰＵ１０１がＨＤＤ１０４に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。
【００１５】
まず、ＣＰＵ１０１はＨＤＤ１０４に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、表示装置１０８にユーザインタフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０４に格納されている各種データ、撮像装置１１０で撮像された画像、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータはＣＰＵ１０１からの指令に基づき各種演算を行う。そして、演算結果を表示装置１０８に表示したり、ＨＤＤ１０４に記憶したりする。
【００１６】
次に、本発明による画像処理アプリケーションについて述べる。冒頭でも述べたように、例えば映画等の撮影現場では、編集作業時に実行されるＲＡＷ現像処理と同じ処理を適用して画質を確認したいという要求がある。そこで、本実施例では、ＲＡＷ動画データ上の注目領域に対してはユーザが所望する画質（編集作業時の画質）を実現するためのＲＡＷ現像処理を行い、画像全体に対しては高速処理を実行可能な高速ＲＡＷ現像処理を行う。そして、これら２つの現像結果を合成して出力することで、画角の確認と編集作業時と同等の画質確認の２つを同時に実現する。なお、本実施例では、ＲＡＷ動画データを一般的なベイヤー配列で構成されたフレーム画像データの集合であるとして以降の説明を行う。
【００１７】
＜画像処理装置の論理構成＞
図２は、本実施例における画像処理装置の論理構成を示すブロック図である。
【００１８】
画像データ取得部２０１は、ＣＰＵ１０１からの指示に基づき、撮像装置１１０あるいはＨＤＤ１０４からＲＡＷ動画データを取得する。注目領域情報取得部２０２は、ＣＰＵ１０１からの指示に基づき、注目領域情報をＨＤＤ１０４あるいは入力装置１０６から取得する。高画質ＲＡＷ現像処理部２０３は、ＣＰＵ１０１からの指示に基づき、ＲＡＷ動画データ中の処理対象フレーム画像データの注目領域に対して高画質ＲＡＷ現像処理を行い、高画質ＲＡＷ現像済画像データを生成する。生成した画像データはＲＡＭ１０２に記憶される。高速ＲＡＷ現像処理部２０４は、ＣＰＵ１０１からの指示に基づき、ＲＡＷ動画データ中の処理対象フレーム画像データ全体に対して高速ＲＡＷ現像処理を行い、高速ＲＡＷ現像済画像データを生成する。生成した画像データはＲＡＭ１０２に記憶される。画像データ出力部２０５は、ＣＰＵ１０１からの指示に基づき、高画質ＲＡＷ現像済画像データと高速ＲＡＷ現像済画像データを表示装置１０８やＨＤＤ１０４などに出力する。
【００１９】
＜メイン処理フロー＞
以下では、図２で説明した画像処理装置の論理構成における各処理の詳細について、図３のフローチャートを用いて説明する。
【００２０】
ステップＳ３０１において、画像データ取得部２０１は、入力画像データとして幅Ｗ、高さＨの解像度のＲＡＷ動画データを取得する。
【００２１】
ステップＳ３０２において、注目領域情報取得部２０２は、予め設定された注目領域情報を取得する。注目領域情報とは、少なくとも領域の位置と大きさを含む情報であり、例えば本実施例では図６に示すように、領域の中央座標（Ｘｒｏｉ，Ｙｒｏｉ）と領域の幅Ｗｒｏｉと高さＨｒｏｉで構成される。なお、注目領域の大きさは、画像処理装置の性能に合わせて高画質ＲＡＷ現像処理を実時間で実行可能なサイズに設定されているものとする。
【００２２】
ステップＳ３０３において、高画質ＲＡＷ現像処理部２０３は、ステップＳ３０１で取得したＲＡＷ動画データ中の処理対象フレーム画像データの注目領域に対して高画質ＲＡＷ現像処理を行い、幅Ｗｒｏｉ、高さＨｒｏｉの解像度の高画質ＲＡＷ現像済画像データを生成する。高画質ＲＡＷ現像処理の詳細は後述する。
【００２３】
ステップＳ３０４において、高速ＲＡＷ現像処理部２０４は、ステップＳ３０１で取得したＲＡＷ動画データ中の処理対象フレーム画像データ全体に対して高速ＲＡＷ現像処理を行い、幅Ｗ、高さＨの解像度の高速ＲＡＷ現像済画像データを生成する。高速ＲＡＷ現像処理の詳細は後述する。
【００２４】
ステップＳ３０５において、画像データ出力部２０５は、ステップＳ３０３で生成した高画質ＲＡＷ現像済画像データとステップＳ３０４で生成した高速ＲＡＷ現像済画像データを合成して表示画像データを生成し、出力する。本実施例における表示画像データを図７に示す。注目領域については高画質ＲＡＷ現像済画像データが表示され、注目領域以外は高速ＲＡＷ現像済画像が表示されるように、それぞれの画像を合成した画像データとなっている。
【００２５】
＜高画質ＲＡＷ現像処理＞
以下では、図３のステップＳ３０３における高画質ＲＡＷ現像処理の詳細について、図４のフローチャートを用いて説明する。
【００２６】
ステップＳ４０１において、ステップＳ３０２で取得した注目領域情報に基づき、ステップＳ３０１で取得したＲＡＷ動画データ中の処理対象フレーム画像データから、注目領域に対応する画像データを取得する。つまり、幅Ｗｒｏｉ、高さＨｒｏｉの解像度のベイヤー配列で構成された画像データを得る。なお、後述する各種フィルタ処理のアルゴリズムによっては処理対象画素の周辺画素の情報を必要とする場合があるため、注目領域の上下左右に数画素のマージンを持たせて取得するようにしてもよい。
【００２７】
ステップＳ４０２において、ステップＳ４０１で取得した注目領域の画像データに対して公知のホワイトバランス処理を行う。
【００２８】
ステップＳ４０３において、ステップＳ４０２で得られるホワイトバランス処理後の画像データに対してデベイヤー処理を行う。デベイヤー処理とは、ベイヤー配列の画像データから各画素に対してＲＧＢの全ての色成分の揃った画像データに変換する処理である。ベイヤー配列の状態では、各画素はＲ、Ｇ、Ｂのどれか１つの色成分しか保持していないため、それ以外の色成分については周囲の画素から補間処理によって埋める必要がある。この補間処理には、バイリニア法やバイキュービック法などの基本的な補間手法を用いてもよいし、例えば色の相関を用いて高画質化を図る手法などを用いてもよい。様々なデベイヤーアルゴリズムが適用可能である。また、偽解像緩和処理や偽色処理などを同時に適用するようにしてもよい。
【００２９】
ステップＳ４０４において、ステップＳ４０３で得られるデベイヤー処理後の画像データに対して、エッジ保存型平滑化フィルタであるバイラテラルフィルタを用いてノイズリダクション処理を行う。なお、ノイズリダクション処理には、様々な公知のノイズリダクションアルゴリズムを適用可能である。例えば、基本的な平滑化フィルタやメディアンフィルタを用いてもよい。
【００３０】
ステップＳ４０５において、ステップＳ４０４で得られるノイズリダクション処理後の画像データに対して、ＩＣＣプロファイルを用いて撮像装置のデバイスＲＧＢからｓＲＧＢなどの規定の色空間への色変換処理を行う。なお、この色変換処理にはＩＣＣプロファイルを用いる方法以外にも、例えばＬＵＴやマトリクスを用いる方法など様々な色変換処理が適用可能である。
【００３１】
ステップＳ４０６において、ステップＳ４０５で得られる変換処理後の画像データに対してガンマ補正処理を行う。
【００３２】
ステップＳ４０７において、ステップＳ４０６で得られるガンマ補正処理後の画像データに対してアンシャープマスク法によりエッジ強調処理を行う。なお、エッジ強調処理には、アンシャープマスク法以外にも公知の様々なエッジ強調アルゴリズムが適用可能である。
【００３３】
＜高速ＲＡＷ現像処理＞
以下では、図３のステップＳ３０４における高速ＲＡＷ現像処理の詳細について、図５のフローチャートを用いて説明する。
【００３４】
ステップＳ５０１において、ステップＳ３０１で取得したＲＡＷ動画データ中の処理対象フレーム画像データを取得する。つまり、幅Ｗ、高さＨの解像度のベイヤー配列で構成された画像データが得られることになる。
【００３５】
ステップＳ５０２において、ステップＳ５０１で取得した画像データに対してホワイトバランス処理を行う。ステップＳ４０２と同様な処理であるため詳細な説明は省略する。
【００３６】
ステップＳ５０３において、ステップＳ５０２で得られるホワイトバランス処理後の画像データに対してデベイヤー処理を行う。ステップＳ４０３と同様な処理であるため詳細な説明は省略する。
【００３７】
ステップＳ５０４において、ステップＳ５０３で得られるデベイヤー処理後の画像データに対して色変換処理を行う。ステップＳ４０５と同様な処理であるため詳細な説明は省略する。
【００３８】
ステップＳ５０５において、ステップＳ５０４で得られる色変換処理後の画像データに対してガンマ処理を行う。
【００３９】
以上の処理により、注目領域に対しては編集作業時と同等の高画質なＲＡＷ現像処理を適用し、それ以外の領域に対しては高速なＲＡＷ現像処理を適用することで、ユーザの所望する画質の確認と画角の確認の両方を同時に実現することができる。
【００４０】
なお、本実施例では、注目領域をＨＤＤ等から取得する例について説明したが、この代わりに注目領域情報をユーザに設定させてもよい。図８に注目領域設定ＵＩの例を示す。ユーザは、注目領域の中央座標（Ｘｒｏｉ，Ｙｒｏｉ）と領域の幅Ｗｒｏｉ、高さＨｒｏｉの情報をエディットボックスを通して入力する。この際、設定された注目領域に対して、高画質ＲＡＷ現像処理を実時間で実行可能かどうかを判定し、実時間で実行できない場合には実時間で処理できない旨の警告を、画面表示あるいは音声等でユーザに提示する。なお、判定処理は、例えば１フレームの画像データに対して実際に処理を行うことで実行する。あるいは、予め実時間で処理可能な注目領域の大きさの最大値を決めておき、これに基づきユーザからの入力を制限するようにしてもよい。なお、本実施例では、エディットボックスによる領域設定方法について示したが、ユーザによる領域設定方法はこれに限るものではない。例えば、マウスや視線入力デバイス等を使用して座標と大きさを設定するようにしてもよいことは言うまでもない。
【００４１】
また、高画質ＲＡＷ現像処理および高速ＲＡＷ現像処理の処理内容や処理順は、本実施例で説明した処理に限るものではない。つまり、注目領域にはユーザが所望する画質を実現するための高画質ＲＡＷ現像処理を適用し、それ以外の領域には広範囲に実時間処理を実現するための高速ＲＡＷ現像処理を適用するようなものであれば、どのような処理、および処理順であってもかまわない。例えば、注目領域に対しては、高画質ＲＡＷ現像処理に偽色緩和処理やレンズ収差補正処理等のその他の高画質化処理が含まれていてもよい。また、高速ＲＡＷ現像処理についても、デベイヤー処理をより高速に行うために縦横それぞれの解像度を半分に落とした処理にするなど、あらゆる高速化処理を適用可能である。さらに、高速ＲＡＷ現像処理全体を高画質ＲＡＷ現像処理全体よりも前に実行してもよいし、あるいはこれらを並列に実行してもよいことは言うまでもない。
【００４２】
なお、本実施例で説明した処理を実行するかどうかをユーザに選択させる表示モード設定手段を設け、ユーザによる実行意思があるときにだけ本実施例で説明した処理を適用するようにしてもかまわない。例えば、画像全体を同一のパラメータでＲＡＷ現像して表示するプレビューモードと、本実施例で説明した処理を適用することでユーザの所望する画質を確認するための表示モードを設け、後者のモードが選択されたときにだけ、本実施例で説明した処理を適用するようにしてもよい。
【実施例２】
【００４３】
実施例１では、画像処理アプリケーションにＲＡＷ動画データを入力し、画像全体と注目領域のそれぞれに対して異なる現像パラメータで現像処理を行うことで画像データを生成し、これを出力する処理について説明した。本実施例では、注目領域の現像処理後の画像データに対して、さらに画質評価処理を行い、この画質評価値を画像データとともに出力する処理について説明する。
【００４４】
図１３は、本実施例における画像処理装置の論理構成を示すブロック図である。図２で説明した実施例１における画像処理装置の論理構成を示すブロック図に画質評価処理部１３０１が付加された構成となっている。
【００４５】
画質評価処理部１３０１は、ＣＰＵ１０１からの指示に基づき、高画質ＲＡＷ現像済画像に対して画質評価処理を行い、画質評価値を導出する。なお、実施例１との重複部分については説明は省略する。
【００４６】
以下では、図１３で説明した画像処理装置の論理構成における各処理の詳細について、図９のフローチャートを用いて説明する。
【００４７】
ステップＳ９０１において、画像データ取得部２０１は、入力画像データとして幅Ｗ、高さＨの解像度のＲＡＷ動画データを取得する。
【００４８】
ステップＳ９０２において、注目領域情報取得部２０２は、予め設定された注目領域情報を取得する。注目領域情報とは、少なくとも領域の位置と大きさを含む情報であり、例えば図６に示すように、領域の中央座標（Ｘｒｏｉ，Ｙｒｏｉ）と領域の幅Ｗｒｏｉと高さＨｒｏｉで構成される。なお、注目領域の大きさは、画像処理装置の性能に合わせて高画質ＲＡＷ現像処理を実時間で実行可能なサイズに設定されている必要ものとする。
【００４９】
ステップＳ９０３において、高画質ＲＡＷ現像処理部２０３は、ステップＳ９０１で取得したＲＡＷ動画データ中の処理対象フレーム画像データの注目領域に対して高画質ＲＡＷ現像処理を行い、幅Ｗｒｏｉ、高さＨｒｏｉの解像度の高画質ＲＡＷ現像済画像データを生成する。高画質ＲＡＷ現像処理の詳細は、実施例１と同様であるため説明は省略する。
【００５０】
ステップＳ９０４において、画質評価処理部１３０１は、ステップＳ９０３で生成された高画質ＲＡＷ現像済画像データに対して画質評価処理を行い、画質評価値を算出する。画質評価処理の詳細は後述する。
【００５１】
ステップＳ９０５において、高速ＲＡＷ現像処理部２０４は、ステップＳ９０１で取得したＲＡＷ動画データ中の処理対象フレーム画像データ全体に対して高速ＲＡＷ現像処理を行い、幅Ｗ、高さＨの解像度の高速ＲＡＷ現像済画像データを生成する。高速ＲＡＷ現像処理の詳細は、実施例１と同様であるため説明は省略する。
【００５２】
ステップＳ９０６において、画像データ出力部２０５は、ステップＳ９０３で生成した高画質ＲＡＷ現像済画像データとステップＳ９０５で生成した高速ＲＡＷ現像済画像データを合成して表示画像データを生成し、ステップＳ９０４で算出した画質評価値とともに出力する。本実施例における表示画像の表示方法の例を図１０に示す。例えば、注目領域については高画質ＲＡＷ現像済画像データを表示し、注目領域以外は高速ＲＡＷ現像済画像を表示する。さらに注目領域の画質評価値を画像の上に重畳表示する（図１０（ａ））。一方、画像全体に対して高速ＲＡＷ現像処理済画像を表示し、これに注目領域の画質評価値を重畳表示することも考えられる（図１０（ｂ））。例えば、本実施例では、図１０（ａ）の方法で情報を提示する。
【００５３】
＜画質評価処理＞
本実施例では、ノイズを評価対象の画質項目として説明を行う。画像に対する画質評価値としてノイズ量を算出する方法について、図１４のフローチャートを用いて説明する。
【００５４】
ステップＳ１４０１において、高画質ＲＡＷ現像済画像データ中の各画素のＲＧＢ値を取得する。
ステップＳ１４０２において、各画素のＲＧＢ値に対してＲＧＢ値から３刺激値であるＸＹＺ値への変換処理を行う。変換はｓＲＧＢ、ＡｄｏｂｅＲＧＢなど規定の方法で行う。
【００５５】
【数１】
2018182550.tif 000003
【００５６】
α、β、γ、ａ１１〜ａ３３は規定の係数である。
【００５７】
ステップＳ１４０３において、各画素のＸＹＺ値をＣＩＥで規定されている変換式を用いてＬａｂ値に変換する。
【００５８】
ステップＳ１４０４において、各画素のＬａｂを用いて標準偏差σＬ、σａ、σｂを計算する。
【００５９】
ステップＳ１４０５において、評価値Ｐとして各標準偏差を重みづけした和を計算する。
【００６０】
【数２】
2018182550.tif 000004
【００６１】
なお、重み係数Ａ、Ｂ、Ｃは任意の係数であり、明度Ｌと色成分ａｂで知覚されるノイズ量と一致するように予めＡ、Ｂ、Ｃの値を決定しておけば、知覚に一致したノイズ量Ｐを計算することができる。なお、算出方法は  これに限らず、たとえば、ウィーナースペクトルやＲＭＳ粒状度などでもよいが、算出したノイズ量と知覚されるノイズ強度が一致していることが望ましい。また、複数フレーム間の画像を解析して動画のノイズ量を計算してもよい。
【００６２】
なお、本実施例ではノイズ量を画質評価処理の対象として説明したが、ノイズ以外にも階調性、コントラスト、フォーカス、ジャギー、ジャーキネス、色再現性など他の画質項目を画質評価処理の対象として設定してもよい。また、これらを複数組み合わせて画質評価処理を実行してもかまわない。
【００６３】
以上説明した処理により、ユーザの所望する画質と画角の両方を同時に確認可能にし、さらに画質評価値を算出して表示することで画質の定量的な確認を実現する。
【００６４】
なお、実施例１と同様に、高速ＲＡＷ現像処理を高画質ＲＡＷ現像処理よりも前に実行してもよいことは言うまでもない。
【実施例３】
【００６５】
本実施例では、実施例１で説明した各処理を実行する画像処理装置の処理能力が低い場合に、注目領域に対する処理を優先的に実行することで画質確認の精度を保つ方法について説明する。
【００６６】
画角の確認とユーザの所望する画質の確認を適切に行うためには、実施例１で説明した各処理が実時間で終わっている必要がある。例えば、２４ｆｐｓの動画を処理する場合は、１／２４秒以内に、全ての処理が終わっている必要がある。しかし、これらの処理を実行する画像処理装置の処理能力が低い場合、全ての処理が実時間に間に合わない可能性がある。もし、これらの処理が実時間に終わらない場合、表示にコマ落ちが発生してしまう。つまり、２４ｆｐｓの動画が例えば１コマ置きの１２ｆｐｓで表示されるような状態が発生し、これにより動画の画質確認を適切に行うことは難しくなる。例えば、映画等の撮影現場では、画像処理装置として性能のそれほど高くないノートＰＣを利用することが多々あり、このようなケースでは前述の問題が発生する可能性が高い。
【００６７】
本実施例では、注目領域に対する処理を優先的に実行し、残りの時間で注目領域以外に対する処理を実行することで注目領域のコマ落ちを抑制する。注目領域以外については優先度を落として処理を行うために、場合によってはコマ落ちが発生することになるが、画角を大きく変化させている場合を除き、画角の確認は必ずしもフルフレームで表示されていなくても十分可能であり、これが大きな弊害とはならない。
【００６８】
次に、本実施例における画像処理装置の論理構成と各処理の詳細について説明する。図１５は、本実施例における画像処理装置の論理構成を示すブロック図である。図２で説明した実施例１における画像処理装置の論理構成を示すブロック図に処理順制御部１５０１が付加された構成となっている。処理順制御部１５０１は、ＣＰＵ１０１からの指示に基づき、高画質ＲＡＷ現像処理を優先的に行うように処理順を制御する。なお、実施例１との重複部分については説明は省略する。
【００６９】
以下、図２で説明した画像処理装置の論理構成における本実施例での各処理の詳細について、図１１のフローチャートを用いて説明する。
【００７０】
ステップＳ１１０１において、処理順制御部１５０１は、高画質ＲＡＷ現像処理および高速ＲＡＷ現像処理においてそれぞれの処理対象となるフレーム画像データのフレーム番号と、それぞれの現像処理における処理ステートを取得する。処理ステートはフレーム画像データに対して現像処理がどこまで終了したかを示す情報である。例えば、本実施例における処理ステートは、次の処理の開始位置を示すｘ方向、ｙ方向の画素位置、現像処理のフロー中のどの処理まで終了したかを示すフラグ等を含む。
【００７１】
ステップＳ１１０２において、画像データ取得部２０１は、入力画像データとして幅Ｗ、高さＨの解像度のＲＡＷ動画データを取得する。なお、このＲＡＷ動画データは、ステップＳ１１０１で取得した処理対象のフレーム番号に対応するデータを含む。
【００７２】
ステップＳ１１０３において、注目領域情報取得部２０２は、予め設定された注目領域情報を取得する。注目領域情報とは、少なくとも領域の位置と大きさを含む情報であり、例えば図６に示すように、領域の中央座標（Ｘｒｏｉ，Ｙｒｏｉ）と領域の幅Ｗｒｏｉと高さＨｒｏｉで構成される。なお、注目領域の大きさは、画像処理装置の性能に合わせて高画質ＲＡＷ現像処理がリアルタイムに実行可能なサイズに設定されている必要がある。
【００７３】
ステップＳ１１０４において、高画質ＲＡＷ現像処理部２０３は、ステップＳ１１０２で取得したＲＡＷ動画データからステップＳ１１０１で取得した処理対象のフレーム番号に対応するフレーム画像データを処理対象フレーム画像データとして取得する。そして、この処理対象フレーム画像データの注目領域に対して高画質ＲＡＷ現像処理を行い、幅Ｗｒｏｉ、高さＨｒｏｉの解像度の高画質ＲＡＷ現像済画像データを生成する。高画質ＲＡＷ現像処理の詳細は、実施例１と同様であるため説明は省略する。
【００７４】
ステップＳ１１０５において、高速ＲＡＷ現像処理部２０４は、ステップＳ１１０２で取得したＲＡＷ動画データからステップＳ１１０１で取得した処理対象のフレーム番号に対応するフレーム画像データを処理対象フレーム画像データとして取得する。そして、この処理対象フレーム画像データ全体に対して高速ＲＡＷ現像処理を行い、幅Ｗ、高さＨの解像度の高速ＲＡＷ現像済画像データを生成する。高速ＲＡＷ現像処理の詳細は、実施例１と同様であるため説明は省略する。
【００７５】
ステップＳ１１０６において、処理順制御部１５０１は、高画質ＲＡＷ現像処理および高速ＲＡＷ現像処理のそれぞれの現像処理において、処理対象のフレーム画像データに対して現像処理フローの全ての処理が終了していれば、フレーム番号を次に処理すべきフレーム番号に更新する。もし、全ての処理が終了していない場合はフレーム番号を更新しない。さらに、それぞれの現像処理において、次の処理の開始位置を示すｘ方向、ｙ方向の画素位置や、処理フローのどの処理まで終了したかを示すフラグを処理ステートとして記憶する。
【００７６】
ステップＳ１１０７において、画像データ出力部２０５は、ステップＳ１１０４で生成した高画質ＲＡＷ現像済画像データとステップＳ１１０５で生成した高速ＲＡＷ現像済画像データを合成して表示画像データを生成して出力する。この際、処理ステートを参照して全ての処理が終了しているフレームのうち最も新しいフレーム画像を使用する。
【００７７】
次に、本実施例におけるそれぞれの現像処理の処理タイミングと表示画像データの一例を図１２に示す。図１２では、横軸に時間ｔをとっており、２４ｆｐｓのＲＡＷ動画データを処理して表示する例について示している。
【００７８】
時間ｔｎ−１からｔｎまでの１／２４秒間の処理に着目すると、まず、フレーム番号ｆｎの画像データの注目領域に対する高画質ＲＡＷ現像処理を最優先で実行し、残りの時間でフレーム番号ｆｎの画像データ全体に対する高速ＲＡＷ現像処理を行っている。この１／２４秒間では、注目領域に対する処理は１００％、画像全体に対する処理は５０％終了しており、それぞれの現像処理に対してこの状態を示す処理ステートが記憶される。具体的には、注目領域に対しては処理対象フレーム番号を１だけ更新してｆｎ＋１とし、画像全体に対しては処理対象フレーム番号はｆｎのままとする。また、注目領域に対しては処理が完了しており、画像全体に対しては処理が５０％しか終了していないという情報も併せて記憶する。この時点で画面に表示される画像は、注目領域についてはフレーム番号ｆｎの画像データとなり、それ以外の領域についてはフレーム番号ｆｎに対する処理が完了していないため、すでに処理が完了しているフレーム番号ｆｎ−２の画像データが表示画像として画面に表示される。
【００７９】
次に、時間ｔｎからｔｎ＋１までの１／２４秒間の処理に着目すると、まず、フレーム番号ｆｎ＋１の画像データの注目領域に対する高画質ＲＡＷ現像処理を最優先で実行し、残りの時間でフレーム番号ｆｎの画像データの画像全体に対する高速ＲＡＷ現像処理を行っている。後者の高速ＲＡＷ現像処理は、前の１／２４秒間の処理において５０％まで処理が終わっているという処理ステートが記憶されており、この１／２４秒間ではこの続きから処理を行う。この１／２４秒間では、注目領域に対する処理はフレーム番号ｆｎ＋１の画像データに対して１００％、画像全体に対する処理はフレーム番号ｆｎの画像データに対して１００％終了しており、それぞれの現像処理に対してこの状態を示す処理ステートが記憶される。具体的には、注目領域に対しては処理対象フレーム番号を１だけ更新してｆｎ＋２とし、画像全体に対しては注目領域に合わせて処理対象フレーム番号をｆｎ＋２に更新する。また、注目領域と画像全体のそれぞれに対して処理が完了しているという情報も併せて記憶する。この時点で画面に表示される画像は、注目領域についてはフレーム番号ｆｎ＋１の画像データとなり、それ以外の領域についてはフレーム番号ｆｎの画像データとなる。
【００８０】
以降同様に処理を繰り返していくことによって、注目領域に対しては実時間で処理が行われるため２４ｆｐｓで表示が更新され、それ以外の領域に対しては１２ｆｐｓで表示が更新される。
【００８１】
以上の処理により、注目領域に対する処理を優先的に実行して注目領域のコマ落ちを抑制することで、ノートＰＣ等の処理能力のそれほど高くない画像処理装置を用いる撮影現場において、画質確認の質を落とさずに画角確認と編集時の画質確認の両方を同時に実現することができる。
【００８２】
なお、本実施例で説明した処理は、実施例２で説明した画像評価処理を同時に行う場合についても適用可能である。この場合、高画質ＲＡＷ現像処理に加え画像評価処理も優先的に実行するようにして、これらの処理が終わり次第残りの時間を使って高速ＲＡＷ現像処理を行うようにすればよい。
【符号の説明】
【００８３】
１０１  ＣＰＵ、１０２  ＲＡＭ、１０３  ＲＯＭ、１０４  ＨＤＤ、
１０５  入力インタフェース（Ｉ／Ｆ）、１０７  表示インタフェース（Ｉ／Ｆ）、
１０９  撮像インタフェース（Ｉ／Ｆ）、１１１  システムバス
【図１】
2018182550.tif 000005
【図２】
2018182550.tif 000006
【図３】
2018182550.tif 000007
【図４】
2018182550.tif 000008
【図５】
2018182550.tif 000009
【図６】
2018182550.tif 000010
【図７】
2018182550.tif 000011
【図８】
2018182550.tif 000012
【図９】
2018182550.tif 000013
【図１０】
2018182550.tif 000014
【図１１】
2018182550.tif 000015
【図１２】
2018182550.tif 000016
【図１３】
2018182550.tif 000017
【図１４】
2018182550.tif 000018
【図１５】
2018182550.tif 000019