(57)【要約】【課題】表示画像生成処理の負担を軽減しつつ、ＲＡＷ画像等の撮像画像が有する解像感を損なわない表示画像を生成可能とする。【解決手段】第１の表示画像生成回路（１３１）は、撮像画像を構成する各画素の色を決めるための複数の色成分値のうち特定の色成分値のみを取得する。そして、第１の表示画像生成回路（１３１）は、撮像画像から取得された特定の色成分値を、撮像画像を構成する各画素に各々対応した輝度の画素値として設定して表示用画像の各画素値を生成する。【選択図】図１
2016213747.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を構成する各画素の各々の色を決めるための複数の色成分値のうち、前記画素の色を決める色成分値の数より少ない一色以上の特定の色成分値のみを取得する取得手段と、
前記取得された特定の色成分値を、前記撮像画像を構成する各画素に各々対応した輝度の画素値として設定して、表示用画像の各画素値を生成する生成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記複数の色成分値はＲ，Ｇ，Ｂの三原色の色成分値であり、
前記取得手段は、前記Ｒ，Ｇ，Ｂの各色成分値のうちＧの色成分値のみを前記特定の色成分値として取得し、
前記生成手段は、前記取得された前記Ｇの色成分値を前記輝度の画素値として設定し、色差の画素値については予め設定された所定値とし、前記輝度の画素値と前記所定値に設定された色差の画素値を、前記表示用画像の画素値とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記Ｇの色成分値はＧｒとＧｂの二つの色成分値からなり、
前記取得手段は、前記ＧｒとＧｂの二つの色成分値のみを前記特定の色成分値として取得し、
前記生成手段は、前記取得された前記ＧｒとＧｂの二つの色成分値の平均値を前記輝度の画素値として設定し、色差の前記所定値についてはゼロ値に設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記撮像画像を縮小した縮小画像を生成し、前記縮小画像を構成する各画素の各々の色を決めるための複数の色成分値の全ての色成分値を用いて、前記縮小画像を構成する各画素に各々対応した縮小表示用画像の各画素値を生成する縮小画生成手段を有することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記取得手段による特定の色成分値の取得及び前記生成手段による前記表示用画像の各画素値の生成と、前記縮小画生成手段による縮小画像の生成及び縮小表示用画像の各画素値の生成との、何れか一方を行わせる制御手段を有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記表示用画像の生成と前記縮小表示用画像の生成の何れを行わせるかを、ユーザが選択するためのユーザ入力手段を有し、
前記制御手段は、前記ユーザ入力手段を介したユーザからの選択に応じて、前記取得手段による特定の色成分値の取得及び前記生成手段による前記表示用画像の各画素値の生成と、前記縮小画生成手段による縮小画像の生成及び前記縮小表示用画像の各画素値の生成との、何れを行わせるかを決めることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
モニタ装置が接続される接続手段を有し、
前記制御手段は、前記接続手段を介して接続されたモニタ装置の解像度に応じて、前記取得手段による特定の色成分値の取得及び前記生成手段による前記表示用画像の各画素値の生成と、前記縮小画生成手段による縮小画像の生成及び前記縮小表示用画像の各画素値の生成との、何れを行わせるかを決めることを特徴とする請求項５に記載の画像処理装置。
【請求項８】
取得手段が、撮像画像を構成する各画素の各々の色を決めるための複数の色成分値のうち、前記画素の色を決める色成分値の数より少ない一色以上の特定の色成分値のみを取得するステップと、
生成手段が、前記取得された特定の色成分値を、前記撮像画像を構成する各画素に各々対応した輝度の画素値として設定して、表示用画像の各画素値を生成するステップと
を含むことを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１〜７の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、いわゆる４Ｋ映像などのようなＵＨＤ（Ultra High Definition：超高精）映像を撮影可能なデジタルビデオカメラの増加に伴い、高解像度映像の制作が広がりを見せている。このため撮影現場では、４Ｋモニタなどを用いてデジタルビデオカメラのフォーカスや映像のディテールを確認する需要が高まりつつある。
【０００３】
ただし、例えば４Ｋなど高解像度映像撮影と同時に、４Ｋモニタなどの表示装置への映像出力をリアルタイムに行う場合、デジタルビデオカメラ側の処理負荷が増大する。特に、４Ｋのような高解像度映像においてＲＡＷ撮影が行われているような場合には、デジタルビデオカメラ内部の処理負担が増加する。つまり、記憶媒体へのＲＡＷ画像データの記憶処理、ＲＡＷ画像データから表示画像を生成する処理、表示画像を表示装置へ出力する処理などがリアルタイムに行われるため、デジタルビデオカメラ内部の処理負担が非常に増加する。
【０００４】
このように、デジタルビデオカメラ内部の処理負担が増加すると、他の処理フローが圧迫される。このため、ＲＡＷ画像データから表示画像を生成する処理の負荷を軽減することが望まれる。
【０００５】
高解像度のＲＡＷ画像から表示画像を生成する際の計算量を削減可能な技術として、例えば特許文献１には、記憶媒体に記憶されたＲＡＷ画像データから縮小画像を生成し、その縮小画像を撮像結果として表示する技術が開示されている。この特許文献１に記載の技術においては、ＲＡＷ画像に対して縮小画像構成画素を設定し、表示画像の算出対象となる画素を縮小画像構成画素に限定することにより、計算量を削減している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２１１２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の技術は、ＲＡＷ画像から表示画像を生成する際の計算量を削減（表示画像生成処理の負担を軽減）可能である。しかしながら、特許文献１に記載の技術では、高解像度のＲＡＷ画像を縮小して低解像度の表示画像を生成しているため、画像の見た目のきめ細かさ（以下、解像感とする。）が低下するという問題がある。
【０００８】
本発明はこのような問題点に鑑みてなされたものであり、表示用画像生成処理の負担を軽減しつつ、ＲＡＷ画像等の撮像画像が有する解像感を損なわない表示用画像を生成可能とする画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、撮像画像を構成する各画素の各々の色を決めるための複数の色成分値のうち、前記画素の色を決める色成分値の数より少ない一色以上の特定の色成分値のみを取得する取得手段と、前記取得された特定の色成分値を、前記撮像画像を構成する各画素に各々対応した輝度の画素値として設定して、表示用画像の各画素値を生成する生成手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、表示用画像生成処理の負担を軽減しつつ、ＲＡＷ画像等の撮像画像が有する解像感を損なわない表示用画像を生成可能である。
【図面の簡単な説明】
【００１１】
【図１】実施形態の撮像装置の概略構成を示す図である。
【図２】第１の表示画像生成回路の概略構成を示す図である。
【図３】第２の表示画像生成回路の概略構成を示す図である。
【図４】第１の表示画像生成回路による輝度画像生成の概略図である。
【図５】ＲＡＷ画像のデータ構造の例を示す図である。
【図６】表示画像のデータ構造の例を示す図である。
【図７】第２の表示画像生成回路による表示画像生成の概略図である。
【図８】ＲＡＷ画像の撮影から記憶までの処理のフローチャートである。
【図９】ＲＡＷ画像から表示画像が生成されるまでの処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本実施形態の画像処理装置の一適用例として、デジタルビデオカメラなどの撮像装置を挙げて説明する。図１は、本実施形態の撮像装置１の概略構成を示す図である。撮像装置１は、撮像回路１１、補正処理回路１２、表示画像生成回路１３、３Ｇ−ＳＤＩコントローラ１４、３Ｇ−ＳＤＩ端子１５、メモリカードコントローラ１６、ＣＰＵ１７、メモリ１８、Ｋｅｙ／電子ダイヤル１９、ＬＣＤ２０、バス２１を有する。
【００１３】
表示画像生成回路１３は、取得手段と生成手段の一例である第１の表示画像生成回路１３１と、縮小画生成手段の一例である第２の表示画像生成回路１３２とを有する。第１の表示画像生成回路１３１は、図２に示すように、画素補間処理回路１３１ａと平均化処理回路１３１ｂを有する。第２の表示画像生成回路は、図３に示すように、ＲＡＷ縮小処理回路１３２ａと現像処理回路１３２ｂを有する。
【００１４】
モニタ２２は、接続手段の一例である３Ｇ−ＳＤＩ端子１５を介して撮像装置１と接続される。なお、３Ｇ−ＳＤＩは、ＳＭＰＴＥ４２４とＳＭＰＴＥ４２５で規定されているインターフェイス規格である。また、モニタ２２と撮像装置１との間の接続インターフェイス規格は、いわゆるＨＤＭＩ（登録商標）、ＤＶＩ、ＤｉｓｐｌａｙＰｏｒｔなどの規格でもよく、３Ｇ−ＳＤＩに限らない。また、メモリカード２３は、撮像装置１のメモリカードスロットに挿入され、メモリカードコントローラ１６を介して撮像装置１と接続される。なお、メモリカードは、一例としてＣＦａｓｔカード（ＣＦａｓｔは国際登録商標）等を挙げることができる。
【００１５】
撮像回路１１は、撮像面上に複数の受光素子が配列された撮像センサを有する。撮像センサは、図示しない結像光学系（レンズ等）により撮像面上に結像された被写体像を受光して光電変換し、その光電変換によるアナログ撮像信号を出力する。撮像回路１１は、撮像センサから出力されたアナログ撮像信号をデジタル撮像データへと変換することで、撮像画像であるＲＡＷ画像のデータを生成する。撮像センサは、例えばＣＭＯＳにより構成される単板撮像センサであり、当該単板撮像センサの撮像面上には例えばいわゆるベイヤ方式のカラーフィルタが配されている。
【００１６】
ベイヤ方式のカラーフィルタは、赤（Ｒ）と緑（ＧのＧｒとＧｂ）と青（Ｂ）の各色成分用の色フィルタが、例えば図４（ａ）に示すようなパターンで配列されて構成されている。なお、図４（ａ）はカラーフィルタの一部分のみを示している。ベイヤ方式の場合、図５に示すように、ＲＡＷ画像のデータ２０１は、Ｒチャンネル、Ｇｒチャンネル，Ｇｂチャンネル，Ｂチャンネルの各色成分のデータからなる。これらＲチャンネル、Ｇｒチャンネル，Ｇｂチャンネル，Ｂチャンネルの各色データは、ＲＡＷ画像の各画素の色を決めるためのデータである。
【００１７】
なお、撮像センサは、いわゆる三板式の撮像センサや、各層で異なる色の光を受光する多層センサであってもよい。三板式の撮像センサの場合、例えばダイクロイックプリズム等により入射光がＲ，Ｇ，Ｂの各色成分に分光されて、各色成分に対応して配された各撮像センサにより被写体像が受光される。多層センサの場合は、各層でそれぞれ異なる色成分の光を受光する。前述した単板撮像センサ、三板式撮像センサ、多層センサの何れの場合でも、撮像画像を構成する各画素の色を決めるために複数の色成分値が取得されることになる。
【００１８】
補正処理回路１２は、撮像回路１１で生成されたＲＡＷ画像データに対し、欠陥画素補正、黒レベル補正などの補正処理を行う。補正処理回路１２で補正処理がなされたＲＡＷ画像データは、メモリ１８に一時的に格納される。
【００１９】
表示画像生成回路１３は、メモリ１８に格納されたＲＡＷ画像を構成する各画素の各々の色を決めるための複数の色成分値のうち、当該画素の色を決める色成分値の数より少ない一色以上の特定の色成分値を用いて、モニタ２２へ出力する表示用画像を生成する。また、表示画像生成回路１３は、メモリ１８に格納されたＲＡＷ画像を縮小した縮小画像を構成する各画素の各々の色を決めるための複数の色成分値の全ての色成分値を用いて、モニタ２２へ出力する縮小表示用画像を生成することも可能となされている。
【００２０】
具体的には、表示画像生成回路１３の第１の表示画像生成回路１３１は、ＲＡＷ画像を構成する各画素の各々の色を決めるための複数の色成分値のうち、当該画素の色を決める色成分値の数より少ない一色以上の特定の色成分値のみをＲＡＷ画像から取得する。また、第１の表示画像生成回路１３１は、ＲＡＷ画像から取得された特定の色成分値のみを用いて、ＲＡＷ画像を構成する各画素に各々対応した、表示用画像の各画素値を生成する。言い換えると、第１の表示画像生成回路１３１は、ＲＡＷ画像の各画素の色を決めるための複数の色成分値のうちの特定の色成分値のみを用いて、ＲＡＷ画像の解像度と同じ解像度の表示用画像を生成する。なお、第１の表示画像生成回路１３１は、ＲＡＷ画像に対して有効画素領域を設定し、その有効画素領域に対して表示用画像の生成を行ってもよい。
【００２１】
一方、表示画像生成回路１３の第２の表示画像生成回路１３２は、メモリ１８に格納されたＲＡＷ画像を縮小した縮小画像を生成する。また、第２の表示画像生成回路１３２は、その縮小画像を構成している各画素の各々の色を決めるための複数の色成分値の全ての色成分値を用いて、縮小画像を構成する各画素に対応した、縮小表示用画像の各画素値を生成する。言い換えると、第２の表示画像生成回路１３２は、縮小画像を構成する各画素の色を決めるための複数の色成分値の全ての色成分値を用いて、ＲＡＷ画像の解像度よりも低解像度の縮小表示用画像を生成する。なお、第２の表示画像生成回路１３２は、ＲＡＷ画像に対して有効画素領域を設定し、その有効画素領域に対して縮小表示用画像の生成を行ってもよい。
【００２２】
以下、第１の表示画像生成回路１３１について詳細に説明する。本実施形態では、特定の色成分値は、Ｒ，Ｇ（ＧｒとＧｂ），Ｂの色成分値のうちの、例えばＧ（ＧｒとＧｂ）の色成分値とする。なお、以下の説明では、色成分値を色データと表記する。
【００２３】
第１の表示画像生成回路１３１の画素補間処理回路１３１ａは、メモリ１８に格納されているＲＡＷ画像の各画素におけるＲ，Ｇ（ＧｒとＧｂ），Ｂの各色データのうち、ＧｒとＧｂの各色データのみを取得する。そして、画素補間処理回路１３１ａは、それらＧｒとＧｂの各色データそれぞれに対して、画素補間（いわゆるデモザイク処理）を行う。
【００２４】
ここで、単板撮像センサの撮像面上に配されるベイヤ方式のカラーフィルタは、前述の図４（ａ）に示したようにＲ，Ｇ（ＧｒとＧｂ），Ｂの三原色のフィルタが互い違いに配列されている。そして、いわゆるドット・バイ・ドット方式では、ＲＡＷ画像データの一画素につき一色の情報しか有しないため、各色のＲＡＷ画像（以下、色プレーンとする。）それぞれにおいて欠落画素が生じることになる。すなわち、メモリ１８から読み出されて第１の表示画像生成回路１３１に供給されるＧｒとＧｂの各色プレーンは、例えば図４（ｂ）と図４（ｄ）に示すようにそれぞれ欠落画素６０１が存在しているものとなる。なお、図４（ｂ）はＧｒの色プレーンを例示し、図４（ｄ）はＧｂの色プレーンを例示している。
【００２５】
そこで、画素補間処理回路１３１ａは、欠落画素６０１の近傍の画素値から欠落画素の値を推定して、その推定画素値により欠落画素６０１の画素値を補間するデモザイク処理を行う。なお、例えば、ＲＡＷ画像と同じ解像度の表示用画像を得る必要がない場合、或いは、三板式の撮像センサや多層センサが用いられることで欠落画素が生じない場合には、画素補間処理回路１３１ａは省かれてもよい。
【００２６】
第１の表示画像生成回路１３１の平均化処理回路１３１ｂは、画素補間処理回路１３１ａで画素補間がなされたＧｒとＧｂの各色プレーンの、各々対応した座標の画素毎に平均値を算出する平均化処理を行う。そして、平均化処理回路１３１ｂは、ＧｒとＧｂの各色プレーンの各画素から算出した各平均画素値を輝度の画素値として設定する。また、平均化処理回路１３１ｂは、ＹＵＶ空間で表現される表示用画像を構成するための各画素におけるＵ，Ｖの色差値については、予め設定した所定の値とする。本実施形態では、所定の値としてゼロ値（０）を用い、Ｕ，Ｖの色差値については全ての画素についてゼロ値（０）とするゼロ詰め処理を行う。
【００２７】
具体的な例として、座標（０，０）について図４（ｃ）のＧｒ（０，０）と図４（ｅ）のＧｂ（０，０）の色データを挙げて説明する。平均化処理回路１３１ｂは、先ず、Ｇｒ（０，０）とＧｂ（０，０）の色データの平均値を求め、当該平均値を輝度の画素値Ｙ（０，０）として設定する。また、平均化処理回路１３１ｂは、Ｕ，Ｖの色差値についてはゼロ値とする。平均化処理回路１３１ｂは、このような輝度の生成処理を各座標の画素値に対して行い、また色差を所定値に設定する処理（ゼロ詰め処理）を行うことで、図４（ｆ）示すような輝度成分のみからなるグレースケールの表示用画像を生成する。これにより、図６に示すように、表示用画像２０２は、各画素が輝度成分（Ｙ）とゼロ値の色差成分（Ｕ，Ｖ）とで構成されたＹＵＶ色空間のデータ構造を有したものとなる。なお、本実施形態では、Ｕ，Ｖの各画素値は全てゼロ値としたが、ゼロ値以外の予め決めた所定値にしてもよい。
【００２８】
ここで、輝度画像の生成において、Ｇｒ及びＧｂの色データを用いた理由は、第１に、Ｒ，Ｇ，Ｂの三原色のうち、Ｇ成分は輝度情報（被写体の構造を表す部分）を多く含むこと、第２に、Ｇ成分に対して人間の視覚は高い感度を持つことが挙げられる。なお、前述の説明では、ＲＡＷ画像データの色データのうち、Ｇ成分であるＧｒとＧｂの両色データからモニタ２２へ出力する表示用画像を生成したが、例えばＧｒとＧｂの何れか一方の色データのみから表示用画像を生成してもよい。この場合、平均化処理回路１３１ｂは、前述したＧｒとＧｂの平均値を算出するような平均化処理については行わない。
【００２９】
次に、メモリ１８に格納されたＲＡＷ画像を構成している各画素の色を決めるための複数の色成分値の全てを用いて、ＲＡＷ画像の解像度よりも低解像度の縮小表示用画像を生成する第２の表示画像生成回路１３２について以下に説明する。
【００３０】
先ず、第２の表示画像生成回路１３２のＲＡＷ縮小処理回路１３２ａは、メモリ１８から読み出したＲＡＷ画像データのサイズを縮小する。具体的には、ＲＡＷ縮小処理回路１３２ａは、例えば図７（ａ）に示すようなＲＡＷ画像に対し画素間引きを行うことで、図７（ｂ）に示すようなＲＡＷ縮小画像を生成する。なお、ＲＡＷ画像データから縮小画像を生成するアルゴリズムとしては、一般的な１／Ｎ間引き（Ｎは整数）などの公知の様々なアルゴリズムを用いることができ、ここではそれらアルゴリズムの説明は省略する。
【００３１】
第２の表示画像生成回路１３２の現像処理回路１３２ｂは、ＲＡＷ縮小処理回路１３２ａから供給されたＲＡＷ縮小画像データに対し、画素補間などのデモザイク処理やディベイヤ処理などの現像に係る処理を行う。
【００３２】
ベイヤ方式を例に挙げて具体的に説明すると、現像処理回路１３２ｂは、先ず、図７（ｂ）に示したＲＡＷ縮小画像データから、図７（ｃ）に示すＲの色プレーンと、図７（ｄ）に示すＧｒ，Ｇｂの色プレーンと、図７（ｅ）に示すＢの色プレーンを生成する。なお、Ｇｒ，Ｇｂの色プレーンについては、Ｇｒの色プレーンとＧｂの色プレーンに分かれていてもよいし、図７（ｄ）に示すように一つの色プレーンに纏められていてもよい。
【００３３】
また、現像処理回路１３２ｂは、図７（ｃ）〜図７（ｅ）に示した各色プレーンの欠落画素を、前述の画素補間処理回路１３１ａと同様のデモザイク処理により補間する。そして、現像処理回路１３２ｂは、ディベイヤ処理により、図７（ｆ）、図７（ｇ）、図７（ｈ）のようなＲ，Ｇ，Ｂの３色各々について一枚の画像を作り出す。その後、現像処理回路１３２ｂは、Ｒ，Ｇ，Ｂのデータから、Ｙ，Ｕ，Ｖからなる表示用画像のデータを生成する。すなわち、現像処理回路１３２ｂは、ＲＡＷ縮小画像データに対して現像処理を施すことにより、当該ＲＡＷ縮小画像データをモニタ２２へ出力するために適したデータ形式へと変換する。なお、現像処理回路１３２ｂは、ホワイトバランス補正、ノイズ低減、ガンマ変換、色調整などの画質調整処理を含んでもよい。
【００３４】
ＣＰＵ１７は、Ｋｅｙ／電子ダイヤル１９を介したユーザからの入力操作などに応じて、プログラムをメモリ１８に展開し、撮像装置１全体の制御を行う。メモリ１８は、補正処理回路１２で生成されたＲＡＷ画像データ、表示画像生成回路１３で生成された表示用画像又は縮小表示用画像のデータ、ＣＰＵ１７で実行されるプログラムなどを格納する。
【００３５】
Ｋｅｙ／電子ダイヤル１９は、ユーザ入力手段の一例であり、ユーザの操作に応じた操作入力信号をＣＰＵ１７へ送る。ＬＣＤ２０は、本実施形態の撮像装置１の動作モードやＫｅｙ／電子ダイヤル１９を用いた選択操作の内容等を、ユーザが視覚的に確認するための表示装置である。なお、撮像装置１は、ＥＶＦ（電子ビューファインダ）など、その他の表示装置を備えていてもよい。バス２１は、ＣＰＵ命令やデータなどの伝送路として機能する。
【００３６】
ここで、前述したように、第１の表示画像生成回路１３１による表示用画像は、ＲＡＷ画像のＲとＧ（ＧｒとＧｂ）とＢの各色成分のうち、Ｇ（ＧｒとＧｂ）の色データを輝度として設定し、色差はゼロ詰めとなされることにより生成されている。このため、ＲＡＷ画像が例えば４Ｋ映像などの動画の高解像度画像であったとしても、撮像装置１が表示用画像を生成する際の処理負担はさほど大きくない。また、表示用画像の解像度はＲＡＷ画像の解像度と同じであるため、ＲＡＷ画像が有している解像感が損なわれることはない。
【００３７】
したがって、例えば４Ｋ等の高解像度撮影を行いつつ、ＲＡＷ画像から表示用画像を生成して４Ｋ等の高精細表示が可能なモニタ２２に表示させた場合、ユーザは、フォーカスの合焦や映像のディテール等をリアルタイムに確認しながら撮影を行うことができる。但し、表示用画像は、Ｇ（ＧｒとＧｂ）の色データを用いて生成された輝度画像のみからなるグレースケール画像であるため、モニタ２２上にカラー画像として表示することはできない。
【００３８】
一方で、前述した縮小表示用画像は、ＲＡＷ画像に対して間引き等の縮小処理が施された画像であるため、撮像装置１が縮小表示用画像を生成する際の処理負担はさほど大きくないが、ＲＡＷ画像よりも解像度が低い画像になっている。但し、縮小表示用画像は、ＲＡＷ画像の全ての色データを用いて生成されたＹ，Ｕ，Ｖ画像であるため、モニタ２２上にはカラー画像が表示される。
【００３９】
したがって、ＲＡＷ画像から縮小表示用画像を生成して表示させた場合、ユーザは、例えば映像の色を確認することができる。また、この場合、４Ｋ等の高精細表示に対応していないモニタ２２の使用が可能となる。
【００４０】
このようなことから、本実施形態の撮像装置１は、表示用画像と縮小表示用画像の生成処理を切り替え可能となされている。具体的には、撮像装置１のＣＰＵ１７は、表示画像生成回路１３に対し、第１の表示画像生成回路１３１による表示用画像の生成処理と、第２の表示画像生成回路１３２による縮小表示用画像の生成処理の何れを行わせるかを切り替え制御可能である。ＣＰＵ１７は、このような切り替え制御を、Ｋｅｙ／電子ダイヤル１９からのユーザによる操作入力信号に基づいて行うことができ、また、撮像装置１に接続されるモニタ２２の解像度に基づいて自動的に行うことができる。
【００４１】
Ｋｅｙ／電子ダイヤル１９からのユーザによる操作入力信号に基づく切り替え制御の場合、ＣＰＵ１７は、例えばＬＣＤ２０の画面上に、表示画像生成モードの選択画面を表示させる。当該表示画像生成モードの選択画面は、第１の表示画像生成回路１３１による表示用画像の生成モードと、第２の表示画像生成回路１３２による縮小表示用画像の生成モードの何れかを選択可能であることを、ユーザに示すための画面となされている。ＣＰＵ１７は、ユーザがＬＣＤ２０にて選択項目を視覚的に確認しつつＫｅｙ／電子ダイヤル１９を操作して何れかの表示用画像の何れかを選択した場合、当該ユーザ選択に応じた表示用画像生成処理を行わせるように表示画像生成回路１３を制御する。
【００４２】
モニタ２２の解像度に基づく切り替え制御の場合、ＣＰＵ１７は、ＨＤＭＩ、ＤＶＩ、ＤｉｓｐｌａｙＰｏｒｔなどで使用される双方向通信を用い、モニタ２２の推奨解像度を指定したＥＤＩＤなどのモニタ性能情報を取得する。そして、ＣＰＵ１７は、当該モニタ性能情報に基づいて、表示画像生成回路１３における表示用画像生成処理を制御する。すなわち、ＣＰＵ１７は、当該モニタ性能情報により、モニタ２２が４Ｋ等の高精細度表示に対応していると判断した場合には、前述の第１の表示画像生成回路１３１による表示画像生成処理を行わせる。一方、モニタ性能情報により、モニタ２２が低解像度にしか対応できないと判断した場合には、前述の第２の表示画像生成回路１３２による縮小表示画像生成処理を行わせる。なお、ＥＤＩＤとは、Ｅｘｔｅｎｄｅｄ  Ｄｉｓｐｌａｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  Ｄａｔａを指す。その他にも、ＣＰＵ１７は、外部コントローラなどからの入力操作に基づいて、これら表示用画像の切り替え制御を行うこともできる。
【００４３】
次に、撮像開始からＲＡＷ画像データがメモリカード２３へ記憶されるまでに撮像装置１にて実行される処理の流れを、図８のフローチャートを参照しながら説明する。図８において、先ずステップＳ１０１の処理として、撮像装置１のＣＰＵ１７は、撮影開始の判定処理を行う。例えば、ユーザによる撮影開始操作に応じた操作入力信号をＫｅｙ／電子ダイヤル１９から受け取ると、ＣＰＵ１７は、撮像命令を撮像回路１１へ送信する。ステップＳ１０１の後、撮像装置１における処理は、撮像回路１１によるステップＳ１０２の処理へ遷移する。
【００４４】
ＣＰＵ１７からの撮像命令を受信した撮像回路１１は、ステップＳ１０２の処理として、撮像センサによる撮像を行わせる。そして、撮像回路１１は、撮像センサでの撮像により得られた撮像信号に対して、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）の処理を施してＲＡＷ画像データを生成する。このＲＡＷ画像データは、補正処理回路１２へ送られる。ステップＳ１０２の後、撮像装置１における処理は、補正処理回路１２によるステップＳ１０３の処理へ遷移する。
【００４５】
補正処理回路１２は、ステップＳ１０３の処理として、撮像回路１１で生成されたＲＡＷ画像データに対し、前述した欠陥画素補正や黒レベル補正などの補正処理を行う。ステップＳ１０３の後、撮像装置１の処理は、ＣＰＵ１７によるステップＳ１０４の処理へ遷移する。
【００４６】
ＣＰＵ１７は、ステップＳ１０４の処理として、補正処理回路１２に格納命令を送信する。この格納命令を受信した補正処理回路１２は、前述の補正処理後のＲＡＷ画像データを、ＣＰＵ１７より指示されたメモリ１８のアドレスへ格納する。ステップＳ１０４の後、ＣＰＵ１７は、処理をステップＳ１０５へ進める。
【００４７】
ステップＳ１０５では、ＣＰＵ１７は、メモリカードコントローラ１６へ記憶命令を送信する。記憶命令を受信したメモリカードコントローラ１６は、メモリ１８から、ＣＰＵ１７より指示されたアドレスに格納されているＲＡＷ画像データを読み出す。そして、メモリカードコントローラ１６は、メモリ１８から読み出させたＲＡＷ画像データをメモリカード２３に記憶させる。
【００４８】
撮像装置１は、ステップＳ１０１からステップＳ１０５までの処理をフレーム毎に順次繰り返すことにより、連続する複数フレームからなる映像のＲＡＷ画像データを、メモリカード２３へ記憶させることができる。
【００４９】
次に、撮像装置１において、ＲＡＷ画像データから前述の表示用画像又は縮小表示用画像を生成する処理の流れを図９のフローチャートを参照して説明する。図９のフローチャートにおいて、ＣＰＵ１７は、先ずステップＳ２０１の処理として、表示画像生成モードとして、表示用画像の生成モードと縮小表示用画像の生成モードの何れを用いるかを判定する。例えば、ユーザがＫｅｙ／電子ダイヤル１９を操作して何れかの生成モードを選択した場合、ＣＰＵ１７は、ユーザ選択による生成モードに応じて処理を分岐させる。また、モニタ２２の性能に応じて表示画像生成モードを自動選択する場合、ＣＰＵ１７は、モニタ性能情報に基づいて表示用画像の生成モードと縮小表示用画像の生成モードの何れを用いるかを判定して、その判定結果に応じて処理を分岐させる。
【００５０】
そして、ステップＳ２０１において、表示用画像の生成モードを用いると判定した場合、ＣＰＵ１７は、第１の表示画像生成回路１３１へ表示画像生成命令を送信する。この場合、撮像装置１の処理は、ステップＳ２０１から、第１の表示画像生成回路１３１によるステップＳ２０２の処理へ遷移する。一方、ステップＳ２０１において、縮小表示用画像の生成モードを用いると判定した場合、ＣＰＵ１７は、第２の表示画像生成回路１３２に表示画像生成命令を送信する。この場合、撮像装置１の処理は、ステップＳ２０１から、第２の表示画像生成回路１３２によるステップＳ２０５の処理へ遷移する。
【００５１】
ステップＳ２０２では、第１の表示画像生成回路１３１は、ＣＰＵ１７より指示されたメモリ１８のアドレスに格納されているＲＡＷ画像データのＧｒチャンネル及びＧｂチャンネルの色データを取得する。ステップＳ２０２の後、撮像装置１の処理は、第１の表示画像生成回路１３１の画素補間処理回路１３１ａによるステップＳ２０３の処理へ遷移する。
【００５２】
ステップＳ２０３において、画素補間処理回路１３１ａは、Ｇｒチャンネル及びＧｂチャンネルの各色プレーンに対して前述した画素補間を施す。ステップＳ２０２の後、撮像装置１の処理は、第１の表示画像生成回路１３１の平均化処理回路１３１ｂによるステップＳ２０４の処理へ遷移する。
【００５３】
ステップＳ２０４において、平均化処理回路１３１ｂは、画素補間処理回路１３１ａで生成されたＧｒとＧｂの色プレーンに対し、前述のように画素各々の平均値を算出してその平均値を輝度Ｙとして設定する。そして、平均化処理回路１３１ｂは、Ｕ，Ｖの色差の画素値についてはすべてゼロ（０）詰めとした、輝度画像のみからなるグレースケール画像を表示用画像として生成する。また、ステップＳ２０４において、ＣＰＵ１７は、第１の表示画像生成回路１３１へ格納命令を送信する。格納命令を受信した第１の表示画像生成回路１３１は、ＣＰＵ１７より指示されたメモリ１８のアドレスへ、表示用画像のデータを格納する。ステップＳ２０４の後、撮像装置１の処理は、ＣＰＵ１７によるステップＳ２０８の処理へ遷移する。
【００５４】
また、ステップＳ２０５では、第２の表示画像生成回路１３２は、ＣＰＵ１７より指示されたメモリ１８のアドレスに格納されたＲＡＷ画像データのＲ，Ｇｒ，Ｇｂ，Ｂのすべての色プレーンを取得する。ステップＳ２０５の後、撮像装置１の処理は、第２の表示画像生成回路１３２のＲＡＷ縮小処理回路１３２ａによるステップＳ２０６の処理へ遷移する。
【００５５】
ステップＳ２０６において、ＲＡＷ縮小処理回路１３２ａは、Ｒ，Ｇ（ＧｒとＧｂ），Ｂの色プレーンそれぞれに対し、画素間引きなどの縮小処理を施して、画像サイズを縮小する。ステップＳ２０６の後、撮像装置１の処理は、第２の表示画像生成回路１３２の現像処理回路１３２ｂによるステップＳ２０７の処理に遷移する。
【００５６】
ステップＳ２０７において、現像処理回路１３２ｂは、ＲＡＷ縮小処理回路１３２ａで生成された色プレーンに対し、デモザイク処理とディベイヤ処理を施してＲ，Ｇ，Ｂの各々からなる各画像を生成する。さらに現像処理回路１３２ｂは、Ｒ，Ｇ，Ｂの各画像データより、Ｙ，Ｕ，Ｖからなる表示用画像のデータを生成する。また、ステップＳ２０７において、ＣＰＵ１７は、第２の表示画像生成回路１３２へ格納命令を送信する。格納命令を受信した第２の表示画像生成回路１３２は、ＣＰＵ１７より指示されたメモリ１８のアドレスへ、縮小表示用画像のデータを格納する。ステップＳ２０７の後、撮像装置１の処理は、ＣＰＵ１７によるステップＳ２０８の処理に遷移する。
【００５７】
ステップＳ２０８において、ＣＰＵ１７は、３Ｇ−ＳＤＩコントローラ１４へ表示命令を送信する。表示命令を受信した３Ｇ−ＳＤＩコントローラ１４は、ＣＰＵ１７より指示された、メモリ１８のアドレスに格納された表示用の画像のデータを、３Ｇ−ＳＤＩ端子１５を介してモニタ２２へ出力する。これにより、モニタ２２には、表示用画像、又は、縮小表示用画像が表示されることになる。
【００５８】
以上説明したように、本実施形態の撮像装置１によれば、第１の表示画像生成回路１３１によりＲＡＷ画像から表示用画像を生成した場合、その生成処理前後で解像度は変化しないため、ＲＡＷ画像の解像感を損ねることのない表示用画像を表示できる。また、ＲＡＷ画像から表示用画像を生成する処理は、撮像装置１に処理負担を掛けることなく実現できる。このため、本実施形態によれば、デジタルビデオカメラなどの撮像装置１において、４ＫのＲＡＷ画像データの記録媒体への記録と、ＲＡＷ画像データから動画の表示画像の生成など複数の負荷の大きい処理をリアルタイムに行うことが可能となる。
【００５９】
すなわち、本実施形態の撮像装置１は、例えば撮影現場において４Ｋモニタなどを用いてデジタルビデオカメラのフォーカスや映像のディテールを確認する場合に有効である。また、本実施形態によれば、撮像装置１の処理負荷を軽減できるため、例えば周期的に行われるタスクの起動遅れやバス帯域の圧迫などを抑制できる。さらに、本実施形態においては、表示用画像は、Ｇ（緑）の色データから生成されているため、例えばいわゆるクロマキー撮影においてグリーンバックの抜け具合の確認に有効である。
【００６０】
また、本実施形態の撮像装置１においては、高解像度ではあるがグレースケール画像である表示用画像の生成と、低解像度ではあるがカラー表示が可能な縮小表示用画像の生成とを、切り替え可能となされている。したがって、本実施形態によれば、撮影現場などでＲＡＷ画像と同数の画素数を備えたモニタにより映像をチェックしながら撮影を行う場合に、表示用画像を用いることで、処理速度を担保しつつ解像度の高い画像によるチェックが可能となる。一方、ＲＡＷ画像よりも画素数の少ない一般的なモニタで映像をチェックしながら撮影を行う場合には、縮小表示用画像を用いることで、処理負荷を抑えつつ色のチェックが可能となる。また、本実施形態によれば、表示用画像と縮小表示用画像の生成切り替えは、ユーザによる指示に応じた手動切り替えと、表示用画像データの出力先のモニタの性能に応じた自動切り替えの両方に対応している。
【００６１】
なお、本実施形態における前述した表示画像生成のための画像処理は、各画素の各々の色を決める複数の色成分を表す値を有する撮像画像に対して適用可能である。したがって、本実施形態において表示画像生成の対象となる撮像画像データは、前述したＲＡＷ画像データや現像処理後のＪＰＥＧ画像データ等に限定されるものではない。また、本実施形態は、動画像だけでなく、静止画像についても適用可能である。
【００６２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６３】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６４】
１  撮像装置、１１  撮像回路、１２  補正処理回路、１３  表示画像生成回路、１３１  第１の表示画像生成回路、１３１ａ  画素補間処理回路、１３１ｂ  平均化処理回路、１３２  第２の表示画像生成回路、１３２ａ  ＲＡＷ縮小処理回路、１３２ｂ  現像処理回路、１４  ３Ｇ−ＳＤＩコントローラ、１５  ３Ｇ−ＳＤＩ端子、１６  メモリカードコントローラ、１７  ＣＰＵ、１８  メモリ、１９  Ｋｅｙ／電子ダイヤル、２０  ＬＣＤ、２１  バス、２２  モニタ、２３  メモリカード
【図１】
2016213747.tif 000003
【図２】
2016213747.tif 000004
【図３】
2016213747.tif 000005
【図４】
2016213747.tif 000006
【図５】
2016213747.tif 000007
【図６】
2016213747.tif 000008
【図７】
2016213747.tif 000009
【図８】
2016213747.tif 000010
【図９】
2016213747.tif 000011