(57)【要約】【課題】撮像解像度よりも低解像度の表示システムを用いても、本来有している高解像度のフォーカス合わせを容易に行えるようにする。【解決手段】撮像素子１０２から出力される画像データＤ１０２から、帯域が１／２となるサブバンド分割の変換方式を用いて高解像度成分画像Ｄ１０５−ＨＬ／ＬＨ／ＨＨを抽出するサブバンド分割部１０５と、この高解像度成分画像Ｄ１０５−ＨＬ／ＬＨ／ＨＨを、画像データＤ１０２よりも低解像度の表示システム１１０に表示するための表示信号Ｄ１０９として出力する表示信号出力部１０９とを備える。【選択図】図２
2011130112.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から出力される画像データから、帯域が１／２となるサブバンド分割の変換方式を用いて高解像度成分画像を抽出するサブバンド分割部と、
前記サブバンド分割部によって抽出された高解像度成分画像を、前記画像データよりも低解像度の表示システムに表示するための表示信号として出力する表示信号出力部と
を備えた表示支援装置。
【請求項２】
前記表示信号出力部は、
前記サブバンド分割部によって抽出された高解像度成分画像と、前記サブバンド分割部によって抽出された低解像度成分画像とを加算する加算部と、
前記加算部によって加算された画像と、前記サブバンド分割部によって抽出された高解像度成分画像とのいずれも前記表示信号として選択可能な選択部とを備えた
請求項１に記載の表示支援装置。
【請求項３】
前記加算部は、前記高解像度成分画像と前記低解像度成分画像を、指定された比率で加算する
請求項２に記載の表示支援装置。
【請求項４】
前記表示信号出力部は、
前記サブバンド分割部によって抽出された高解像度成分画像のうち、
前記サブバンド分割部による水平方向のサブバンド分割時に低域フィルタを通し垂直方向のサブバンド分割時に高域フィルタを通した高解像度成分画像、
または前記サブバンド分割部による水平方向のサブバンド分割時に高域フィルタを通し垂直方向のサブバンド分割時に低域フィルタを通した高解像度成分画像、
または前記サブバンド分割部による水平方向のサブバンド分割時、垂直方向のサブバンド分割時ともに高域フィルタを通した高解像度成分画像
のいずれか１つを選択するか、あるいはそれら全てを加算する選択・加算部を備えた
請求項２に記載の表示支援装置。
【請求項５】
前記表示信号出力部は、
前記サブバンド分割部によって抽出された高解像度成分画像を、三原色信号から輝度信号に変換するマトリックス部を備えた
請求項４に記載の表示支援装置。
【請求項６】
前記表示信号出力部は、
前記サブバンド分割部によって抽出された高解像度成分画像の焦点評価値を計算する評価値計算部と、を更に備え、
前記選択部は、前記評価値計算部によって計算された焦点評価値が合焦状態を示す値に達していない場合は、前記サブバンド分割部によって抽出された高解像度成分画像を前記表示信号として出力し、前記焦点評価値が合焦状態を示す値に達した場合は、前記サブバンド分割部によって抽出された低解像度成分画像を前記表示信号として出力する
請求項２に記載の表示支援装置。
【請求項７】
前記サブバンド分割部は、ウェーブレット変換を用いる
請求項１〜６のいずれかに記載の表示支援装置。
【請求項８】
撮像素子と、
前記撮像素子から出力される画像データから、帯域が１／２となるサブバンド分割の変換方式を用いて高解像度成分画像を抽出するサブバンド分割部と、
前記サブバンド分割部によって抽出された高解像度成分画像を、前記画像データよりも低解像度の表示システムに表示するための表示信号として出力する表示信号出力部と
を備えた撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像解像度より低解像度のモニターシステムを用いてフォーカス合わせを行うのに好適な表示支援装置および該表示支援装置を備える撮像装置に関する。
【背景技術】
【０００２】
近年では、撮像素子の進化により、映画フィルムと同等の解像度やこれを超えるような画像を生成する撮像装置が開発されている。しかしながら、４Ｋなどに対応した高解像度撮像システムにおいて、撮影現場では４Ｋなどの高解像度のまま表示できるモニターシステムは巨大なものとなり、実運用で使われることは現実的ではない。そのため、撮影現場では、２Ｋなどのより低解像度の小型モニターシステムを用いた運用スタイルがとられることが多い。しかしながら、低解像度のモニターであるため、４Ｋなどの本来の高解像度でのジャストフォーカスをとることは非常に難しいものとなってしまう。
なお、４Ｋは、例えば４０９６サンプル×２１６０ライン等の高い解像度の仕様の例である。また、２Ｋは、例えば２０４８サンプル×１０８０ライン等の、４Ｋより低い解像度の仕様の例である。
【０００３】
例えば、特許文献１に記載の技術では、高精細な映像出力をもつ撮像装置のフォーカス調整を、より低精細な映像信号しか扱えない表示装置の映像を確認しながら、違和感なく、かつ容易に調整可能にする撮像装置を提供するために、拡大表示する方式を用いていることが記載されている。
この方式では、高精細な映像から画像を切り出して、より低精細な表示装置に表示を行うので、画像の一部分だけを詳細に表示することが可能で、高精細なフォーカス調整を行える。しかし、一方で画面全体を常に確認しつつ、より高精細なフォーカス調整をすることができない。
【０００４】
また、特許文献２に記載の技術では、ビューファインダーの解像度に対応して、複数のブースト（ピーク）周波数により得られる輪郭強調用のディテール信号の混合比を設定できるようにしている。
この特許文献２に記載の技術によれば、ビューファインダーの解像度に対応して、一層フォーカスが合わせやすいカメラを提供することができる。しかし、高精細な映像出力に対して、より低精細な映像信号しか扱えない表示装置しか使用できないような環境においては、表示装置の解像度によって制限されるため、本来持つ高精細な解像度でのフォーカスは確認出来ない。
【０００５】
図１を参照して、４Ｋなどに対応した高解像度撮像システムにおいて、撮影現場では２Ｋなどの、より低解像度の小型モニターシステムを用いた場合の例を説明する。
図１Ａは、高解像度の撮像システムが本来持つ４Ｋの周波数帯域を示している。横軸の右側がより高解像度の周波数成分であることを示している。縦軸は、信号の強度（振幅）を示している。
この４Ｋ解像度を持つ映像信号を、２Ｋ低解像度の表示装置を用いて表示するためには、縮小表示することになる。しかし、あらかじめ２Ｋの周波数帯域に制限してから表示する必要があるため、図１Ａに示すように、４Ｋ高域成分の輪郭は見えなくなってしまう。これは標本化定理から明らかであり、ここでは詳細については述べない。
【０００６】
また、４Ｋ解像度の画像のフォーカス合わせをするために、特許文献２に開示された方式を用いて、図１Ｂに示すように、４Ｋ帯域の複数のブースト（ピーク）周波数により得られる輪郭強調用のディテール信号の混合比を設定したとする。しかし、図１Ｂに示すように、結局、低精細な２Ｋに対応する表示装置の周波数帯域に制限されてしまう。そのため、４Ｋ帯域を持つ映像信号の強調した周波数成分は、すべて２Ｋの帯域外になって落とされる。もちろんこの使い方は、使用するビューファインダーの解像度に対応したものではないので、特許文献２に記載の技術が狙うものではない。
【０００７】
また、特許文献２に開示された方式を利用して、図１Ｃに示すように、低精細な映像信号しか扱えない表示装置の解像度に対応して２Ｋ帯域の複数のブースト（ピーク）周波数により得られる輪郭強調用のディテール信号の混合比を設定したとする。しかし、図１Ｃのように、所詮低解像度の２Ｋ信号を強調しているだけに過ぎない。そのため、高精細な４Ｋ映像の持つ解像度でのフォーカスを確認することは出来ず、結局、低精細な表示装置の解像度でしかフォーカスは確認できない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−３３６２５７号公報
【特許文献２】特開平８−１６３４１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記のような問題に鑑みてなされたものであり、撮像解像度よりも低解像度の表示システムを用いても、本来有している高解像度のフォーカス合わせを容易に行えるようにする。
【課題を解決するための手段】
【００１０】
本発明の表示支援装置は、
撮像素子から出力される画像データから、帯域が１／２となるサブバンド分割の変換方式を用いて高解像度成分画像を抽出するサブバンド分割部と、
前記サブバンド分割部によって抽出された高解像度成分画像を、前記画像データよりも低解像度の表示システムに表示するための表示信号として出力する表示信号出力部と
を備えることを特徴とする。
【００１１】
また本発明の撮像装置は、
撮像素子と、
前記撮像素子から出力される画像データから、帯域が１／２となるサブバンド分割の変換方式を用いて高解像度成分画像を抽出するサブバンド分割部と、
前記サブバンド分割部によって抽出された高解像度成分画像を、前記画像データよりも低解像度の表示システムに表示するための表示信号として出力する表示信号出力部と
を備えることを特徴とする。
【００１２】
本発明によれば、抽出された高解像度成分画像は、帯域が１／２となるサブバンド分割により画像サイズが半分の画像となっており、この画像サイズが半分となった高解像度成分画像が、低解像度の表示システム用の表示信号として出力される。したがって、低解像度の表示システムにこの表示信号を表示することで、本来有している高解像度のフォーカス合わせを容易に行うことができる。
【発明の効果】
【００１３】
本発明によれば、撮像解像度よりも低解像度の表示システムを用いても、本来有している高解像度のフォーカス合わせを容易に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】高精細画像の周波数帯域を示す図である。
【図２】本発明の一実施の形態に係るカメラ一体型記録再生装置を示す図である。
【図３】圧縮伸張処理部１０６の圧縮符号化時のブロック図である。
【図４】ウェーブレット変換の分割レベルを例示する図である。
【図５】ウェーブレット変換の分割レベルを例示する図である。
【図６】圧縮伸張処理部１０６の圧縮複号化時のブロック図である。
【図７】圧縮伸張Ｉ／Ｆ部１０５のウェーブレット変換時の処理を示す図である。
【図８】圧縮伸張Ｉ／Ｆ部１０５の逆変換時の処理を示す図である。
【図９】ビューファインダー信号処理部１０９のブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態の例について、添付図面を参照しながら説明する。
以下の実施の形態では、撮像現場でのフォーカス合わせを容易に行うための表示支援システム（表示支援装置の一例）を提供する。特に、４Ｋなどに対応した高解像度撮像システムにおいて、撮像解像度より低解像度の小型モニターシステムを用いても、本来有している高解像度のフォーカス合わせを容易に行うための表示支援システムを提供する。
【００１６】
この表示支援システムでは、ウェーブレット変換など、帯域が１／２となるサブバンド分割の変換方式を用いて、高解像度成分画像を抽出する。そして、抽出した高解像度成分画像は、サブバンド分割により画像サイズが半分の画像となっているので、高解像度成分画像を、そのまま低解像度表示システムに等倍表示することで、高解像度成分を表示することが出来る。
例えば、４Ｋの画像に対してウェーブレット変換を行うと、２Ｋサイズの低域画像と高域画像に分解される。この高域画像は、４Ｋ解像度を有している２Ｋサイズの画像なので、２Ｋ解像度の表示システムに等倍表示が可能である。つまり、２Ｋ解像度の表示システムに４Ｋ解像度の高域成分や輪郭成分を表示することが可能となり、より詳細なフォーカス合わせを支援出来る。
【００１７】
このことを、先程の図１を用いて説明すると、図１Ｄのように、４Ｋ解像度の画像のフォーカス合わせをするために、ウェーブレット変換など、帯域が１／２となるサブバンド分割の変換方式を用いて、低解像度成分画像と高解像度成分画像に分離する。このうち、高解像度成分画像（図中網掛け部）は、４Ｋ解像度のフォーカス情報を含んでいる。抽出した高解像度成分画像は、サブバンド分割により画像サイズが半分の画像となっているので、図１Ｄのように、高解像度成分画像を、そのまま２Ｋの低解像度表示システムに等倍表示することで、４Ｋの高解像度成分を表示することが出来る。
【００１８】
さらに、この表示支援システムは、撮影画像を収録する際に用いる、圧縮符号化でのウェーブレット変換を利用し、特別な輪郭抽出回路を持たない簡素なハードウェア構成で実現する。
特に、高解像度成分画像を強調表示することで、本来有している高解像度の輪郭成分を簡単に強調表示でき、フォーカス合わせに特化した表示支援を行えるようにする。
また、低域成分画像に高解像度成分画像を強調した後に重畳させ、構図を決めるためのカメラワークとフォーカス合わせを同時に可能とする表示支援を行えるようにする。
そしてまた、上記高解像度成分画像は、水平方向、垂直方向、斜め方向の成分が選択可能であり、撮影する被写体に応じて単独で用いることも、それぞれを組み合わせて用いることも可能とし、より適切な組合せを撮影者が選択できるようにする。
また、高解像度成分画像は、輝度成分画像に変換して表示することも、ＲＧＢのまま表示することも可能とし、撮影条件に応じて、撮影者が選択できるようにする。
【００１９】
図２に、本発明を適用した場合の実施の形態となる、４Ｋ画像と２Ｋ画像を扱うカメラ一体型記録再生装置のブロック図を示す。カメラ一体型記録再生装置１０は、本発明の表示支援システムが適用されたカメラ一体型記録再生装置の一例である。
【００２０】
図２においてレンズブロック１０１は、絞りやズームの制御を行い、光学映像を撮像素子部１０２に結像するものである。また撮像素子部１０２は、レンズブロック１０１から入力された光学映像を、映像デジタル信号に変換し、記録ＲＡＷデータ（Ｄ１０２）として出力するものである。
またカメラ信号処理部１０３は、ベイヤ配列などの撮像素子部１０２からの記録ＲＡＷデータ（Ｄ１０２）または記録メディア部１０８から読み出され、後述する伸張処理をされた再生ＲＡＷデータ（Ｄ１０５）を、画像として確認できるようにＲＧＢフルの４Ｋ画像を作り出す（いわゆる色分離）ものである。そして、ホワイトバランスや明るさなどのカメラ画像調整を行い、モニターアウト部１０４に記録・再生４Ｋ画像（Ｄ１０３）を出力する。
またモニターアウト部１０４は、外部の４Ｋモニターなどに４Ｋ信号を出力するものである。
【００２１】
圧縮伸張Ｉ／Ｆ部１０５は、画像データから、所定のサブバンド分割の変換方式を用いて高解像度成分画像を抽出するサブバンド分割部の一例である。この例では、撮像素子部１０２からの記録ＲＡＷデータ（Ｄ１０２）を、ウェーブレット変換により２Ｋ帯域のサブバンド画像に分解する。
水平方向・垂直方向ともに低域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＬＬとして出力される。
水平方向は高域成分、垂直方向は低域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＨＬとして出力される。
水平方向は低域成分、垂直方向は高域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＬＨとして出力される。
水平方向・垂直方向ともに高域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＨＨとして出力される。
この処理についての詳細は別途説明する。
また、圧縮伸張Ｉ／Ｆ部１０５は、記録メディア部１０８から読み出され、伸張処理された２Ｋ帯域のサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）を、ウェーブレット逆変換を行って、再生ＲＡＷデータ（Ｄ１０５）として出力する。これについても詳細は別途説明する。
【００２２】
圧縮伸張処理部１０６は、２Ｋ帯域のサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）をそれぞれ、圧縮符号化方式を用いて画像圧縮し、それぞれ対応するコードストリーム（Ｄ１０６−ＬＬ／ＨＬ／ＬＨ／ＨＨ）として出力するものである。圧縮伸張Ｉ／Ｆ部１０５ではウェーブレット変換を用いているので、同じウェーブレット変換を用いるＪＰＥＧ２０００などが最適であるが、既存のその他の圧縮符号化方式でも構わない。また、圧縮伸張処理部１０６は、記録メディア部１０８に収録した各サブバンド画像圧縮データを伸張し、２Ｋ帯域の再生サブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）として出力する。
【００２３】
記録メディアインターフェース部１０７は、記録メディア部１０８に対して高速にアクセスし、画像圧縮データの読み書きを行うためのインターフェースを行うものである。記録メディア部１０８は、画像圧縮データを収録し、再生するための記録メディアであり、フラッシュメモリ等の不揮発性メモリが適用される。
【００２４】
ビューファインダー信号処理部１０９は、入力される画像を表示システムに表示するための表示信号として出力する表示信号出力部の一例である。２Ｋ帯域のサブバンド画像のうちＤ１０５−ＬＬは、水平方向・垂直方向ともに低域のサブバンド画像であるので、２ＫサイズのＲＧＢフル画像としてモニターが可能である。これを、カメラ信号処理部１０３と同様にホワイトバランスや明るさなどのカメラ画像調整を２Ｋで行う。さらに、撮影のための設定情報や、フォーカス合わせを容易にするためのピーキング処理などを行って、ビューファインダー部１１０に記録・再生２Ｋ画像（Ｄ１０９）を出力する。この際、Ｄ１０５−ＬＬ以外のサブバンド画像Ｄ１０５−ＨＬ／ＬＨ／ＨＨも用いることで、４Ｋ解像度の画像のフォーカス合わせを２Ｋ解像度の表示装置で行うことが出来る。詳細は別途説明する。
【００２５】
ビューファインダー部１１０は、ビューファインダー信号処理部１０９からの記録・再生２Ｋ画像を表示するものである。
【００２６】
システムコントロール部１１１は、制御ソフトウェアプログラムを持ち、そのプログラムに従ってカメラ一体型記録再生装置１０全体を制御するものである。また操作部１１２からの入力に応じて、各ブロックとデータバスを繋ぎ、データをやりとりし、撮影のための設定や状態を制御する。また、操作部１１２からの撮影者の設定により、フォーカス合わせのための各種設定や、輪郭強調レベルを、ビューファインダー信号処理部１０９に伝え制御する。
操作部１１２は、カメラ一体型記録再生装置１０に対する操作を受け付け、電気信号としてシステムコントロール部１１１に伝達するものである。
【００２７】
既述したとおり本発明を実現するためのブロックの１つは圧縮伸張Ｉ／Ｆ部１０５であるが、ウェーブレット変換を用いているため、同じくウェーブレット変換を用いて圧縮伸張を行う圧縮伸張処理部１０６についてまず説明することにする。
【００２８】
図３に、圧縮伸張処理部１０６の圧縮符号化時の詳細なブロック図を示す。
ウェーブレット変換部３２は２Ｋ帯域のサブバンド画像Ｄ１０５−ＬＬに対して、ウェーブレット変換を施してウェーブレット変換係数Ｄ３２−ＬＬを出力する。このウェーブレット変換部３２は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクによって実現される。なお、デジタルフィルタは、通常複数タップ長のインパルス応答（フィルタ係数）を持っているため、フィルタリングが行えるだけの入力画像または係数を予めバッファリングしておく必要がある。ウェーブレット変換を多段に行う際にも同様に、前段で生成したウェーブレット変換係数をフィルタリングが行えるだけの係数だけ、バッファリングしておく必要がある。
【００２９】
ここで、ウェーブレット変換によって生成されるサブバンド画像について説明する。
図４は、サブバンド画像の例を示している。このウェーブレット変換では、通常図４に示すように低域成分が繰り返し変換そして分割されるが、これは画像のエネルギーの多くが低域成分に集中しているためである。このことは、図５Ａに示す分割レベル＝１から図５Ｂに示す分割レベル＝３のように、分割レベルを進めていくに従って、同図のようにサブバンド画像が形成されていくことからも分かる。
図４におけるウェーブレット変換の分割レベルは３であり、この結果計１０個のサブバンド画像が形成されている。ここで、図４においてＬ，Ｈはそれぞれ低域，高域を表し、Ｌ，Ｈの前の数字は分割レベルを表す。すなわち、例えば１ＬＨは、水平方向が低域で垂直方向が高域である分割レベル＝１のサブバンド画像を表す。
【００３０】
図３の説明に戻る。ウェーブレット変換係数Ｄ３２−ＬＬは、次に量子化部３３で量子化されて量子化係数Ｄ３３−ＬＬが出力される。ここでの量子化手段としては、ＪＰＥＧ２０００でも使われているスカラ量子化を使えばよい。これは下記の（式１）で示す様に、ウェーブレット変換係数Ｗを量子化ステップサイズΔで除算した値を、量子化係数ｑの値とすればよい。
ｑ＝Ｗ／Δ・・・・・・・（式１）
【００３１】
量子化ステップサイズΔＤ３７−ＬＬは後述する符号量計測部３７から与えられる。
量子化係数Ｄ３３−ＬＬは、次にエントロピー符号化部３５に出力され、エントロピー符号化部３５において任意の情報源圧縮手段を用いて、量子化係数Ｄ３３−ＬＬを圧縮する動作を行う。エントロピー符号化手段としては、一般に使われているハフマン符号化（ＭＰＥＧやＪＰＥＧで採用されているもので、予めデータに出現する記号の出現頻度に合わせて作成したハフマン符号化テーブルを参照して、符号を生成する方式）や、算術符号化（Ｈ．２６４やＪＰＥＧ２０００で採用されている方式）を利用すればよい。またその際、ここではその詳細については述べないものの、ＪＰＥＧ２０００と同じく、量子化係数を、ビットプレーン単位のエントロピー符号化であるＥＢＣＯＴ（Embedded Block Coding with Optimal Truncation）と組み合わせてもよい。
【００３２】
エントロピー符号化部３５で符号化された結果は、符号化コードストリームＤ３５−ＬＬとして出力され、圧縮伸張処理部１０６の出力Ｄ１０６−ＬＬとなるとともに、符号量計測部３７にも入力される。
【００３３】
符号量計測部３７では、符号化コードストリームＤ３５−ＬＬの１フレーム内での符号量を累積しながら、制御部３６から与えられる目標符号量Ｄ３６−ＬＬとの比較を行う。そして、目標符号量を超えそうな場合には、量子化部３３の量子化ステップサイズＤ３７−ＬＬを１段階大きくするように変更する。
逆に、符号化コードストリームＤ３５−ＬＬの１フレーム内での符号量の累積が、目標符号量を下回りそうな場合には、量子化部３３の量子化ステップサイズＤ３７−ＬＬを１段階小さくするように変更する。
【００３４】
以上が、圧縮伸張処理部１０６の圧縮符号化時の動作であるが、圧縮伸張処理部１０６には、２Ｋ帯域のサブバンド画像ＬＬ成分以外にも、ＨＬ成分、ＬＨ成分、ＨＨ成分が入力される。
ＨＬ／ＬＨ／ＨＨ成分についても、ＬＬ成分と同様に、ウェーブレット変換部３２をもちいて、分割レベルを上げても良い。しかしながら、図３の例では、すでに圧縮伸張Ｉ／Ｆ部１０５で第１レベルのウェーブレット変換がなされているので、図４で示した画像のエネルギーの多くが低域成分に集中している性質を用いた通常のウェーブレット変換に合わせて、低域成分のサブバンド画像Ｄ１０５−ＬＬのみを繰り返し変換そして分割される態様としている。
【００３５】
なお、例えばハードウェアにより、ウェーブレット変換からエントロピー符号化までの処理が１つの回路で実現できているような場合には、あえてウェーブレット変換を行わない回路を新規に開発せずに、既存の１つの回路を４並列で用いて圧縮伸張処理部１０６を構成することに制約を与えるものではない。
図３の例では、ＬＬ成分以外の２Ｋ帯域のサブバンド画像Ｄ１０５−ＨＬ、Ｄ１０５−ＬＨ、Ｄ１０５−ＨＨについては、量子化とエントロピー符号化のみを行い、ウェーブレットの分割レベルは上げないものとしている。
【００３６】
そして、ＬＬ成分以外の２Ｋ帯域のサブバンド画像Ｄ１０５−ＨＬ、Ｄ１０５−ＬＨ、Ｄ１０５−ＨＨは、それぞれ符号化コードストリームＤ３５−ＨＬ、Ｄ３５−ＬＨ、Ｄ３５−ＨＨとして出力され、圧縮伸張処理部１０６の出力Ｄ１０６−ＨＬ、Ｄ１０６−ＬＨ、Ｄ１０６−ＨＨとなる。また、符号量計測部３７により、それぞれの符号化コードストリームの１フレーム内での符号量を累積しながら、制御部３６から与えられる目標符号量Ｄ３６−ＨＬ、Ｄ３６−ＬＨ、Ｄ３６−ＨＨとの比較を行う。そして、ＬＬ成分と同様に、符号化コードストリームの１フレーム内での符号量が目標符号量を超えそうな場合には、量子化部３３の量子化ステップサイズを１段階大きくするように変更する。逆に、符号化コードストリームの１フレーム内での符号量の累積が、目標符号量を下回りそうな場合には、量子化部３３の量子化ステップサイズを１段階小さくするように変更する。
【００３７】
以上のようにして、それぞれの２Ｋ帯域のサブバンド画像に対する符号量を制御する。
制御部３６は、それぞれの２Ｋ帯域のサブバンド画像に対する目標符号量を、それぞれ対応する符号量計測部３７にあらかじめ設定するように説明したが、たとえば、各符号量計測部３７から、符号量積算状況の情報を制御部３６に送り、それぞれの符号量積算状況に応じて、各サブバンド毎の目標符号量を動的に融通しあって変更してもよい。自然画像では、低域成分を多く含む画像であったり、逆に高域成分を多く含む画像であったりするので、画像の性質に応じた最適な符号量制御が可能である。
以上が、圧縮符号化時の動作説明である。
【００３８】
次に、図６に圧縮伸張処理部１０６の圧縮復号化時の詳細なブロック図を示し、圧縮復号時の動作について説明する。
符号化コードストリームＤ１０６−ＬＬ、Ｄ１０６−ＨＬ、Ｄ１０６−ＬＨ、Ｄ１０６−ＨＨが入力されるエントロピー復号化部３８では、図３で述べたエントロピー符号化に対応した手段に従って復号化を行う。エントロピー復号化の結果、量子化係数Ｄ３８−ＬＬ、Ｄ３８−ＨＬ、Ｄ３８−ＬＨ、Ｄ３８−ＨＨが生成される。
量子化係数Ｄ３８−ＬＬ、Ｄ３８−ＨＬ、Ｄ３８−ＬＨ、Ｄ３８−ＨＨは、逆量子化部３９で量子化係数Ｄ３８−ＬＬ、Ｄ３８−ＨＬ、Ｄ３８−ＬＨ、Ｄ３８−ＨＨからウェーブレット変換係数Ｄ３９−ＬＬ、Ｄ３９−ＨＬ、Ｄ３９−ＬＨ、Ｄ３９−ＨＨに変換される。ここでの逆量子化手段は、（式１）の逆の操作になり、以下の（式２）で表すことが出来る。
Ｗ＝ｑ×Δ・・・・・・・（式２）
（Ｗはウェーブレット変換係数、ｑは量子化係数、Δは量子化ステップサイズ）
【００３９】
ウェーブレット変換係数Ｄ３９−ＬＬは、ウェーブレット逆変換部４０でＬＬ成分の２Ｋ帯域のサブバンド画像Ｄ１０５−ＬＬに戻され出力される。
符号化時に、ＬＬ成分以外の２Ｋ帯域のサブバンド画像Ｄ１０５−ＨＬ、Ｄ１０５−ＬＨ、Ｄ１０５−ＨＨについても、ウェーブレット再分割を行った場合には、それぞれのサブバンド毎にウェーブレット逆変換部４０を設けて、それぞれの２Ｋ帯域のサブバンド画像に戻せばよいことは明らかである。
以上が、圧縮復号化時の動作説明である。
【００４０】
では、本発明を実現するためのブロックの１つである圧縮伸張Ｉ／Ｆ部１０５について説明する。
本発明は、ウェーブレット変換を用いた際に、その効果を最大限に発揮できる。したがって、圧縮伸張処理部１０６のウェーブレット変換部３２と基本構成は同じであるが、図７を用いて、圧縮伸張Ｉ／Ｆ部１０５の処理をあらためて説明する。
圧縮伸張Ｉ／Ｆ部１０５の入力画像として、記録ＲＡＷデータＤ１０２が入力される。ここでは、４０９６×２１６０サイズの画像で説明する。
【００４１】
まず、入力画像に対して水平方向のウェーブレット変換を行う。ウェーブレット変換は低域フィルタ（ＬＰＦ：Low Pass Filter）と高域フィルタ（ＨＰＦ：High Pass Filter）を用いて行われる。低域フィルタと高域フィルタでそれぞれ、水平方向について２：１のダウンサンプリング（図７では下向きの矢印及び数字の２で表している）が行われ、水平方向が半分サイズとなった２０４８×２１６０の低域サブバンド画像（Ｌ）と高域サブバンド画像（Ｈ）となる。
【００４２】
次に、２０４８×２１６０の低域サブバンド画像（Ｌ）に対して、垂直方向のウェーブレット変換を行う。低域フィルタと高域フィルタによりそれぞれ、垂直方向について２：１のダウンサンプリングが行われ、垂直方向が半分サイズとなった２０４８×１０８０の低域サブバンド画像（Ｌ，Ｌ）Ｄ１０５−ＬＬと高域サブバンド画像（Ｌ，Ｈ）Ｄ１０５−ＬＨとなる。
また、２０４８×２１６０の高域サブバンド画像（Ｈ）に対して、垂直方向のウェーブレット変換を行う。低域フィルタと高域フィルタによりそれぞれ、垂直方向について２：１のダウンサンプリングが行われ、垂直方向が半分サイズとなった２０４８×１０８０の低域サブバンド画像（Ｈ，Ｌ）Ｄ１０５−ＨＬと高域サブバンド画像（Ｈ，Ｈ）Ｄ１０５−ＨＨとなる。
【００４３】
以上のように、圧縮伸張Ｉ／Ｆ部１０５は、４０９６×２１６０サイズのＲ／Ｇ／Ｂの３コンポーネントに対してウェーブレット変換を行い、下記４種類の２０４８×１０８０サイズのサブバンド画像に変換する。
（１）水平方向・垂直方向ともに低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｌ）Ｄ１０５−ＬＬ
（２）水平方向は低域フィルタ、垂直は高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｈ）Ｄ１０５−ＬＨ
（３）水平方向は高域フィルタ、垂直は低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｌ）Ｄ１０５−ＨＬ
（４）水平方向・垂直方向ともに高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｈ）Ｄ１０５−ＨＨ
【００４４】
次に、図８を用いて、圧縮伸張Ｉ／Ｆ部１０５の逆変換時の処理をあらためて説明する。
圧縮伸張Ｉ／Ｆ部１０５の入力画像として、記録メディア部１０８から読み出され、伸張処理された２０４８×１０８０サイズのサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）が入力される。
【００４５】
そして、水平方向・垂直方向ともに低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｌ）Ｄ１０５−ＬＬと、水平方向は低域フィルタ、垂直方向は高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｈ）Ｄ１０５−ＬＨに対して、垂直方向のウェーブレット逆変換を行う。ウェーブレット逆変換では、サブバンド画像Ｄ１０５−ＬＬを１：２のアップサンプリング（図８では上向きの矢印及び数字の２で表している）を行い低域フィルタ（ＬＰＦ）に、またサブバンド画像Ｄ１０５−ＬＨを１：２のアップサンプリングを行い高域フィルタ（ＨＰＦ）に通す。そして低域フィルタと高域フィルタの出力を合成することで垂直方向の解像度が２倍のサイズとなった２０４８×２１６０の低域サブバンド画像（Ｌ）を得る。
【００４６】
また、水平方向は高域フィルタ、垂直方向は低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｌ）Ｄ１０５−ＨＬと、水平方向・垂直方向ともに高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｈ）Ｄ１０５−ＨＨに対して垂直方向のウェーブレット逆変換を行う。ウェーブレット逆変換では、サブバンド画像Ｄ１０５−ＨＬを１：２のアップサンプリングを行い低域フィルタ（ＬＰＦ）に、サブバンド画像Ｄ１０５−ＨＨを１：２のアップサンプリングを行い高域フィルタ（ＨＰＦ）に通す。そして低域フィルタと高域フィルタの出力を合成することで垂直方向の解像度が２倍のサイズとなった２０４８×２１６０の高域サブバンド画像（Ｈ）を得る。
【００４７】
次に、垂直方向のウェーブレット逆変換が行われた２０４８×２１６０の低域サブバンド画像（Ｌ）と２０４８×２１６０の高域サブバンド画像（Ｈ）に対して、水平方向のウェーブレット逆変換を行う。ウェーブレット逆変換では、低域サブバンド画像（Ｌ）を１：２のアップサンプリングを行い低域フィルタ（ＬＰＦ）に、高域サブバンド画像（Ｈ）を１：２のアップサンプリングを行い高域フィルタ（ＨＰＦ）に通す。そして低域フィルタと高域フィルタの出力を合成することで、水平方向も２倍のサイズとなった４０９６×２１６０の再生ＲＡＷデータＤ１０５を得る。
【００４８】
以上のように、圧縮伸張Ｉ／Ｆ部１０５の逆変換時の処理は、記録メディア部１０８から読み出され、伸張処理された２０４８×１０８０サイズのサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）を用いて、垂直方向・水平方向にウェーブレット逆変換を行うことで、４０９６×２１６０サイズの画像に復号することが出来る。
以上が、逆変換時の動作説明である。
【００４９】
次に、本発明を実現するためのもう１つのブロックであるビューファインダー信号処理部１０９について、図９を用いて説明する。
圧縮伸張Ｉ／Ｆ部１０５で、４Ｋ帯域の画像が２Ｋ帯域のサブバンド画像に変換され、そのサブバンド画像のうちＤ１０５−ＬＬは、水平方向・垂直方向ともに低域のサブバンド画像であるので、ビューファインダー部１１０で２ＫサイズのＲＧＢフル画像として表示可能である。
このサブバンド画像Ｄ１０５−ＬＬを、図２のカメラ信号処理部１０３と同様に、ホワイトバランスや明るさなどのカメラ画像調整を２Ｋで行うカメラ信号処理部４１で処理し、２Ｋモニター画像（Ｄ４１）として選択回路４２に送る。選択回路４２は、特許請求の範囲に記載した選択部の一例である。選択回路４２でこの信号を選択して、ビューファインダー部１１０に記録・再生２Ｋ画像（Ｄ１０９）として出力することで、２ＫサイズのＲＧＢフル画像モニターが可能となる。
【００５０】
本発明の特徴の一つは、Ｄ１０５−ＬＬ以外のサブバンド画像Ｄ１０５−ＨＬ／ＬＨ／ＨＨも利用して、４Ｋ解像度の画像のフォーカス合わせを支援することにある。
具体的には、４０９６×２１６０サイズの画像に対してウェーブレット変換を行い、水平方向は高域フィルタ、垂直方向は低域フィルタを通した２０４８×１０８０サイズのサブバンド画像Ｄ１０５−ＨＬを生成する。このサブバンド画像Ｄ１０５−ＨＬは、水平方向の輪郭成分を含んでいるので、これを利用する。
ただし、サブバンド画像Ｄ１０５−ＨＬは、高域成分を含んでいるので、ノイズ成分も多く含んでいる。そこで、まずノイズ成分をコアリング回路４３で除去する。コアリングとは図中に示したように、ノイズ成分のような微小振幅を出力しないように除去するもので、入力信号に対して、±Ｃｏｒｉｎｇ Ｌｅｖｅｌ未満の信号を強制的に０として出力する。コアリングを行うことにより、後述する増幅回路４４で、ノイズ成分まで増幅することを防止できる。
【００５１】
Ｃｏｒｉｎｇ Ｌｅｖｅｌは、撮影者が図２の操作部１１２のボリュームつまみ等を操作することで、調整が可能である。図２のシステムコントロール部１１１からは、操作部１１２で調整されたＣｏｒｉｎｇ Ｌｅｖｅｌを示す制御データがコアリング回路４３に伝えられる。
増幅回路４４では、画像の輪郭成分を強調し、フォーカス合わせを容易にする目的で、高域成分を含むサブバンド画像をゲインアップする。
増幅量（Ｇａｉｎ Ｌｅｖｅｌ）は、撮影者が図２の操作部１１２のボリュームつまみ等を操作することで、調整が可能である。図２のシステムコントロール部１１１からは、操作部１１２で調整されたＧａｉｎ Ｌｅｖｅｌを示す制御データが増幅回路４４に伝えられる。
【００５２】
サブバンド画像Ｄ１０５−ＨＬ以外にも、水平方向は低域フィルタ、垂直方向は高域フィルタを通した２０４８×１０８０サイズのサブバンド画像Ｄ１０５−ＬＨは、垂直方向の輪郭成分を多く含んでいる。また、水平方向・垂直方向ともに高域フィルタを通した２０４８×１０８０サイズのサブバンド画像Ｄ１０５−ＨＨは、斜め方向の輪郭成分を多く含んでいる。
これらの高域成分を含むサブバンド画像も同様に、フォーカス合わせを容易にする目的でコアリング回路４３と増幅回路４４で処理される。
【００５３】
選択＆ミックス＆マトリックス回路４５は、各々の増幅回路４４から入力されるサブバンド画像のいずれか１つを選択、あるいはそれら全てを加算する選択・加算回路の一例である。この回路では、被写体に応じて、コアリング回路４３と増幅回路４４で処理された３種類の２０４８×１０８０サイズのサブバンド画像Ｄ１０５−ＨＬ／ＬＨ／ＨＨから、もっともフォーカス合わせのしやすい高域成分を含むサブバンド画像を選択する。
例えば、水平方向に解像度（高い周波数成分）を持つ、垂直方向にパターンのある被写体（縦縞模様など）では、水平方向の輪郭成分を多く含むＤ１０５−ＨＬが好適である。逆に垂直方向に解像度（高い周波数成分）を持つ、水平方向にパターンのある被写体（横縞模様など）では、垂直方向の輪郭成分を多く含むＤ１０５−ＬＨが好適である。また斜め方向に解像度（高い周波数成分）を持つ、斜め方向にパターンのある被写体では、斜め方向の輪郭成分を多く含むＤ１０５−ＨＨが好適である。
【００５４】
また、選択＆ミックス＆マトリックス回路４５では、単に、３種類の高域成分を含むサブバンド画像からいずれかを選択するだけでなく、３種類のサブバンド画像をすべて用いて、これらをミックス（画素加算）することにより、ほぼどのような被写体にも対応することが出来る。これは撮影者の選択の手間をかけない点では有効である。
【００５５】
さらに、選択＆ミックス＆マトリックス回路４５では、ＲＧＢ信号（三原色信号）のままでサブバンド画像を選択またはミックスすることに加えて、内部のマトリックス回路でＲＧＢ信号から輝度信号に変換することも可能とする。これは、多くの自然画像の場合、輪郭成分は、輝度成分の変化で表されるためである。
【００５６】
以上の高域成分を含むサブバンド画像の選択、ミックス、輝度成分のいずれを用いてフォーカス合わせのための輪郭情報を出力表示するかは、撮影者が図２の操作部１１２のスイッチ等を操作することで、選択が可能である。図２のシステムコントロール部１１１からは、操作部１１２での選択結果を示す制御データが選択＆ミックス＆マトリックス回路４５に伝えられる。
【００５７】
このようにして選択＆ミックス＆マトリックス回路４５から出力された輪郭強調画像（Ｄ４５）を、選択回路４２に送る。選択回路４２でこの輪郭強調画像（Ｄ４５）を選択してビューファインダー部１１０に記録・再生２Ｋ画像（Ｄ１０９）として出力することにより、２Ｋ解像度のビューファインダー部１１０に４Ｋ解像度の画像全体の高解像度成分を表示することができる。この場合は、輪郭強調画像のみを表示することになるので、フォーカス合わせに集中するような場合には好適である。一方で、フォーカスが取れていない状態では、明確な輪郭成分が得られないため、全体のフレーミングが確認しにくくなるという懸念がある。
【００５８】
そこで、加算回路としてのミックス回路４６を設ける。このミックス回路４６で、フレーミングやモニタリングに好適な２Ｋモニター画像（Ｄ４１）と、フォーカス合わせに好適な輪郭成分を多く含む輪郭強調画像（Ｄ４５）をミックス（画素加算）する。それにより、通常の画像に輪郭成分を強調表示することになり、フレーミングも、フォーカス合わせのための支援もどちらにも好適な画像信号（Ｄ４６）を生成できる。この際、両者のミックス比は、撮影者が図２の操作部１１２のボリューム等を操作することで、調整が可能である。図２のシステムコントロール部１１１からは、操作部１１２で調整されたミックス比を示す制御データがミックス回路４６に伝えられる。
【００５９】
選択回路４２では、ビューファインダー部１１０に出力する記録・再生２Ｋ画像（Ｄ１０９）として、フレーミング画像（Ｄ４１）のみか、フォーカス合わせのための輪郭強調画像（Ｄ４５）のみか、両者をミックスした画像（Ｄ４６）を選択する。この際、選択回路４２がどの画像を選択して出力するかは、撮影者が図２の操作部１１２のスイッチ等を操作することで選択が可能である。図２のシステムコントロール部１１１からは、操作部１１２での選択結果を示す制御データが選択回路４２に伝えられる。
【００６０】
また、選択回路４２内には、評価値計算部として評価値計算回路４７が設けられている。評価値計算回路４７は、選択＆ミックス＆マトリックス回路４５から出力された輪郭強調画像（Ｄ４５）に基づき、例えばオートフォーカス技術で用いられている焦点評価値の計算を行う。
【００６１】
選択回路４２では、ビューファインダー部１１０に出力する記録・再生２Ｋ画像（Ｄ１０９）を自動的に切り換える自動モードも、撮影者が図２の操作部１１２のスイッチ等を操作することで選択が可能である。
この自動モードが選択されたことを示す制御データがシステムコントロール部１１１から伝えられた場合、選択回路４２は、評価値計算回路４７によって計算された焦点評価値が合焦状態を示す値に達していないときには、輪郭強調画像（Ｄ４５）を記録・再生２Ｋ画像（Ｄ１０９）として出力する。他方、焦点評価値が合焦状態を示す値に達したときには、選択回路４２は、フレーミング画像（Ｄ４１）を記録・再生２Ｋ画像（Ｄ１０９）として出力する。
【００６２】
これにより、撮影開始前に自動モードを選択しておけば、撮影中に撮影者が操作部１１２を操作しなくても、フォーカスが取れていない状態では、自動的に輪郭強調画像（Ｄ４５）がビューファインダー部１１０に表示されるので、撮影者はフォーカス合わせに集中することができる。一方、フォーカスが取れた状態では、ビューファインダー部１１０の表示が自動的にフレーミング画像（Ｄ４１）に切り換わるので、撮影者は構図を決めるためのカメラワークに専念することができる。
なお、自動モードの選択時に、焦点評価値が合焦状態を示す値に達していないときには、明確な輪郭成分が得られないため、全体のフレーミングが確認しにくくなるので、輪郭強調画像（Ｄ４５）ではなくミックスした画像（Ｄ４６）を記録・再生２Ｋ画像（Ｄ１０９）として出力することを、操作部１１２で選択できるようにしてもよい。
【００６３】
以上のような構成のカメラ一体型記録再生装置によれば、ウェーブレット変換を用いて、高解像度成分（輪郭成分）画像を抽出し、これをそのまま低解像度表示システムであるビューファインダー部１１０に等倍表示することで、高解像度成分を表示することが可能となる。
また、被写体に応じて、最適な輪郭成分画像を選択、あるいはそれぞれをミックスしてビューファインダー部１１０に表示することで、４Ｋ解像度の画像のフォーカス合わせを２Ｋ解像度の表示装置で容易に行うことが出来るような表示支援システムを提供できる。
さらに、輪郭成分画像だけでは、フォーカスが取れていない状態では、全体のフレーミングが確認しにくくなるという懸念があるので、フレーミングやモニタリング用の画像に、輪郭成分を多く含む信号をミックスする。それにより、フレーミングも、フォーカス合わせのための支援もどちらも出来るようにする表示システムを提供することが可能となる。
なお、ウェーブレット変換は、圧縮過程で圧縮伸張Ｉ／Ｆ部１０５が使用する変換方式であり、特別な付加回路が発生せず、通常は表示としては用いない高域成分を利用するので、コンパクトなシステムで実現できる。
【００６４】
以上のように、本発明により、４Ｋなどの高解像度撮像システムにおいて、撮像解像度より低解像度の小型モニターシステムを用いても、本来有している高解像度のフォーカス合わせを容易に行うための表示支援システムを提供することが可能となる。それ故、撮影現場での機材の小型化や、低予算のモニター機材でも高解像度のフォーカス確認が行える撮影が可能となる。
【００６５】
なお、以上の実施の形態では、帯域が１／２となるサブバンド分割の変換方式として、ウェーブレット変換を用いているが、ウェーブレット変換以外の変換方式（例えばハール変換など）を用いてもよい。
また、以上の実施の形態では、カメラ一体型記録再生装置に本発明を適用しているが、本発明は、記録再生装置と一体になっていないカメラ（撮像装置）にも適用することができる。
また、本発明は、ビューファインダー部１１０に相当する低解像度表示システムがカメラ本体と一体になっていない（カメラ本体に着脱可能に取り付けられる）カメラ一体型記録再生装置やカメラにも適用することができる。
また、本発明は、撮像素子が備えられていない装置において、着脱式の撮像素子が当該装置に装着された場合に、その装着された撮像素子から出力されて装置に入力される画像データよりも低解像度の表示システムを用いてフォーカス合わせを行うためにも適用することができる。
【００６６】
また、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
【符号の説明】
【００６７】
１０…カメラ一体型記録再生装置、３２…ウェーブレット変換部、３３…量子化部、３５…エントロピー符号化部、３６…制御部、３７…符号量計測部、３８…エントロピー復号化部、３９…逆量子化部、４０…ウェーブレット逆変換部、４１…カメラ信号処理部（２Ｋ）、４２…選択回路、４３…コアリング回路、４４…増幅回路、４５…選択＆ミックス＆マトリックス回路、４６…ミックス回路、４７…評価値計算回路、１０１…レンズブロック、１０２…撮像素子部、１０３…カメラ信号処理部、１０４…モニターアウト部、１０５…圧縮伸張Ｉ／Ｆ部、１０６…圧縮伸張処理部、１０７…記録メディアインターフェース部、１０８…記録メディア部、１０９…ビューファインダー信号処理部、１１０…ビューファインダー部、１１１…システムコントロール部、１１２…操作部、Ｄ１０２…記録ＲＡＷデータ、Ｄ１０５−ＬＬ…サブバンド画像、Ｄ１０５−ＨＬ…サブバンド画像、Ｄ１０５−ＬＨ…サブバンド画像、Ｄ１０５−ＨＨ…サブバンド画像
【図１】
2011130112.tif 000003
【図２】
2011130112.tif 000004
【図３】
2011130112.tif 000005
【図４】
2011130112.tif 000006
【図６】
2011130112.tif 000007
【図５】
2011130112.tif 000008
【図７】
2011130112.tif 000009
【図８】
2011130112.tif 000010
【図９】
2011130112.tif 000011