(57)【要約】【課題】できる限り高周波成分を損なわないような圧縮手段で圧縮効率を良好にして、ハードウェアの負担を軽減させると共に、高品質な画像生成を可能とすること。【解決手段】電子スチルカメラ１０では、色フィルタを前面に配置したＣＣＤ撮像素子２０より撮像時に得られるＲＡＷデータを画像分割・再生成部５８で同じ色毎に分割し、画像圧縮伸張部３４にて色毎に制御された圧縮率で圧縮して色毎の符号化データを生成して、画像用バッファ３２又は連写用バッファ５４に記録する。第２画像処理部５６のモーション推定部５６Ａは、上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを、上記画像圧縮伸張部３４及び画像分割・再生成部５８で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する。【選択図】図１
2008067315.tif 000002
【特許請求の範囲】
【請求項１】
被写体の像を電子的に記録する撮像装置において、
色フィルタを前面に配置した撮像素子と、
該撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割するＲＡＷデータ分割手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御可能な圧縮率制御手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを、上記圧縮率制御手段によって制御される圧縮率で圧縮して色毎の符号化データを生成する圧縮符号化処理手段と、
上記圧縮符号化処理手段で生成された上記色毎の符号化データを記録する記録手段と、
上記記録手段に記録された上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記圧縮符号化処理手段で生成した上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
を具備することを特徴とする撮像装置。
【請求項２】
上記圧縮符号化処理手段は、各色毎にＪＰＥＧ準拠、ＭＰＥＧ準拠、または可逆圧縮が可能な圧縮アルゴリズムの何れかの圧縮符号化処理手法を選択可能であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記圧縮率制御手段は、上記圧縮符号化処理手段での上記特定色分割符号化データ生成時に、選択された上記圧縮符号化処理手法が可逆圧縮が可能な圧縮アルゴリズムでない場合、上記特定色分割データの圧縮率を、他の色分割データの圧縮率よりも低くすることを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記ＲＡＷフォーマットデータ再生成手段は、上記ＲＡＷデータ分割手段によって分割する前のＲＡＷデータのフォーマットと同じフォーマットを有するＲＡＷフォーマットデータを生成することを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段を更に具備することを特徴とする請求項１乃至４の何れかに記載の撮像装置。
【請求項６】
上記高解像度化処理手段は、上記動き補償手段で補償された複数のフレームを合成した像を生成する画像合成手段を備えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
撮像画面の少なくとも一部の領域を表示可能なモニタを更に具備し、
上記高解像度化処理手段は、上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータから上記モニタに表示される領域の画像データに対して上記高解像度化処理を行い、その結果得られた画像データのうち上記モニタの表示サイズに相当したサイズの画像データを上記モニタに表示することを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
記録手段に記録された、色毎に分割したＲＡＷデータを色毎に制御された圧縮率で圧縮することで得られた色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記記録手段に記録された上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
を具備することを特徴とする画像処理装置。
【請求項９】
色フィルタを前面に配置した撮像素子と、
該撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割するＲＡＷデータ分割手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御可能な圧縮率制御手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを、上記圧縮率制御手段によって制御される圧縮率で圧縮して色毎の符号化データを生成する圧縮符号化処理手段と、
上記圧縮符号化処理手段で生成された上記色毎の符号化データを記録する記録手段と、
上記記録手段に記録された上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記圧縮符号化処理手段で生成した上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
を具備し、
上記各手段のうち、少なくとも上記撮像素子、上記ＲＡＷデータ分割手段、上記圧縮率制御手段、上記圧縮符号化処理手段、及び上記記録手段は、撮像装置に備えられ、
上記撮像装置が備える以外の手段は、上記撮像装置に接続可能な画像処理装置に備えられることを特徴とする撮影システム。
【請求項１０】
被写体の像を電子的に記録する撮像装置の画像処理プログラムであって、
コンピュータに、
色フィルタを前面に配置した撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割する手順と、
上記色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御する手順と、
上記色毎に分割したＲＡＷデータを上記制御された圧縮率で圧縮して色毎の符号化データを生成する手順と、
上記生成された上記色毎の符号化データを記録する手順と、
上記記録した上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成する手順と、
上記生成された上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する手順と、
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の高解像度化を行う画像処理において、ハードウェアの負担を減らしつつ、高品質な画像を生成する撮像装置、画像処理装置、撮像システム及び画像処理プログラムに関する。
【背景技術】
【０００２】
複数枚の画像から高品位な画像を生成する技術が従来より提案されている。
【０００３】
例えば、特許文献１には、複数枚の位置ずれを持つ低解像度画像を用いて、高解像度画像を生成するという方法が開示されている。
【０００４】
また、特許文献２では、Ｂａｙｅｒ配列のＲＡＷデータを各色毎に分割して各色毎に圧縮する手法を提案している。各色毎に分割したデータは隣接画素間の相関性が高いため、圧縮効率が良好になる。また、その際、高周波成分の多い色の分割データは圧縮率を低くし、その他の色の分割データは圧縮率を高くすることで解像度を保ち、なおかつ圧縮効率を良好にしている。
【特許文献１】特許第２８２８１３８号公報
【特許文献２】特開２００４−１２８５８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そもそも、高解像度化するための超解像処理は、高周波成分を損なうことなく記録するＲＡＷデータ記録が効果的である。しかしながら、ＲＡＷデータ記録は、データ容量が大きく、ＳＤＲＡＭやバスアーキテクチャが高速・大容量書き込みに対応していなければならないため、ハードウェアに大きな負担をかける。
【０００６】
前述の特許文献１に開示されている技術では、高画質化を行うことができるが、撮像後、超解像処理への画像入力部における画像入力データの圧縮率と超解像画像の画質、さらにハードウェアへの負担との関係性については考慮されていなかった。
【０００７】
また、前述の特許文献２に開示されている技術では、撮像時の解像度をある程度保ちつつ、圧縮効率を良好にしているものの、解像度は、圧縮しない場合よりも落ちてしまう。
【０００８】
本発明は、上記の点に鑑みてなされたもので、できる限り高周波成分を損なわないような圧縮手段で圧縮効率を良好にして、ハードウェアの負担を軽減させると共に、高品質な画像生成を可能とする撮像装置、画像処理装置、撮像システム及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の撮像装置の一態様は、被写体の像を電子的に記録する撮像装置において、
色フィルタを前面に配置した撮像素子と、
該撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割するＲＡＷデータ分割手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御可能な圧縮率制御手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを、上記圧縮率制御手段によって制御される圧縮率で圧縮して色毎の符号化データを生成する圧縮符号化処理手段と、
上記圧縮符号化処理手段で生成された上記色毎の符号化データを記録する記録手段と、
上記記録手段に記録された上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記圧縮符号化処理手段で生成した上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
を具備することを特徴とする。
【００１０】
また、本発明の画像処理装置の一態様は、
記録手段に記録された、色毎に分割したＲＡＷデータを色毎に制御された圧縮率で圧縮することで得られた色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記記録手段に記録された上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
を具備することを特徴とする。
【００１１】
また、本発明の撮像システムの一態様は、
色フィルタを前面に配置した撮像素子と、
該撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割するＲＡＷデータ分割手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御可能な圧縮率制御手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを、上記圧縮率制御手段によって制御される圧縮率で圧縮して色毎の符号化データを生成する圧縮符号化処理手段と、
上記圧縮符号化処理手段で生成された上記色毎の符号化データを記録する記録手段と、
上記記録手段に記録された上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記圧縮符号化処理手段で生成した上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
を具備し、
上記各手段のうち、少なくとも上記撮像素子、上記ＲＡＷデータ分割手段、上記圧縮率制御手段、上記圧縮符号化処理手段、及び上記記録手段は、撮像装置に備えられ、
上記撮像装置が備える以外の手段は、上記撮像装置に接続可能な画像処理装置に備えられることを特徴とする。
【００１２】
また、本発明の画像処理プログラムの一態様は、被写体の像を電子的に記録する撮像装置の画像処理プログラムであって、
コンピュータに、
色フィルタを前面に配置した撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割する手順と、
上記色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御する手順と、
上記色毎に分割したＲＡＷデータを上記制御された圧縮率で圧縮して色毎の符号化データを生成する手順と、
上記生成された上記色毎の符号化データを記録する手順と、
上記記録した上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成する手順と、
上記生成された上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する手順と、
を実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、できる限り高周波成分を損なわないような圧縮手段で圧縮効率を良好にし、また、人間の視覚による分光感度のピークに近い色の特定分割符号化データを用いて、複数枚の画像のフレーム間における被写体の動きを推定することにより、動き推定処理までの入力画像保持の際、少ないデータ量分の保持で良いので、記録媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装することができるので、ハードウェアの負担を軽減させると共に、高品質な画像生成を可能とする撮像装置、画像処理装置、撮像システム及び画像処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１５】
［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置としての電子スチルカメラ１０のブロック構成図である。この電子スチルカメラ１０は、絞り１２Ａを内包するレンズ系１２、分光ハーフミラー系１４、シャッタ１６、ローパスフィルタ１８、ＣＣＤ撮像素子２０、Ａ／Ｄ変換回路２２、ＡＥ用フォトセンサ２４、ＡＦモータ２６、撮像制御部２８、第１画像処理部３０、画像用バッファ３２、画像圧縮伸張部３４、メモリカードＩ／Ｆ部３６、メモリカード３８、外部出力Ｉ／Ｆ部４０、パラメータ解析部４２、操作表示部４４、撮像条件設定部４６、連写判定部４８、画素混合判定部５０、切替部５２、連写用バッファ５４、第２画像処理部５６、画像分割・再生成部５８を備える。
【００１６】
絞り１２Ａを内包するレンズ系１２、分光ハーフミラー系１４、シャッタ１６、ローパスフィルタ１８及びＣＣＤ撮像素子２０は、光軸に沿って配置されている。本実施形態では、ＣＣＤ撮像素子２０として単板ＣＣＤ撮像素子の使用を前提としている。分光ハーフミラー系１４から分岐した光束はＡＥ用フォトセンサ２４に導かれる。また、レンズ系１２には、合焦作業時に該レンズ系１２の一部（フォーカスレンズ）を移動するためのＡＦモータ２６が接続されている。
【００１７】
ＣＣＤ撮像素子２０からの信号は、Ａ／Ｄ変換回路２２でデジタルデータ化される。このデジタルデータは、第１画像処理部３０、切替部５２を介して画像用バッファ３２又は連写用バッファ５４へ入力される。また、本実施形態では、第１画像処理部３０を介することなく、切替部５２を介して画像用バッファ３２又は連写用バッファ５４へ入力される場合もある。なお、切替部５２は、連写判定部４８からの入力に従って、その切替動作を行うようになっている。
【００１８】
Ａ／Ｄ変換回路２２及びＡＥ用フォトセンサ２４からの信号は撮像条件設定部４６へ入力されており、撮像条件設定部４６からの信号は撮像制御部２８、連写判定部４８及び画素混合判定部５０へ入力される。撮像制御部２８へは、連写判定部４８及び画素混合判定部５０からも信号が入力される。撮像制御部２８は、それら撮像条件設定部４６、連写判定部４８及び画素混合判定部５０からの信号に基づいて、絞り１２Ａ、ＣＣＤ撮像素子２０及びＡＦモータ２６を制御する。
【００１９】
画像用バッファ３２及び連写用バッファ５４は、第２画像処理部５６へ出力が行え、画像圧縮伸張部３４とは入出力が行える。画像分割・再生成部５８は、画像用バッファ３２と連写用バッファ５４から入力を行え、第２画像処理部５６へ出力が行え、画像圧縮伸張部３４と入出力が行える。第２画像処理部５６は、モーション推定部５６Ａ及び超解像処理部５６Ｂを備え、画像圧縮伸張部３４及び操作表示部４４と入出力が可能に、さらにメモリカードＩ／Ｆ部３６及び外部出力Ｉ／Ｆ部４０へ出力が可能となっている。また、ＪＰＥＧやＭＰＥＧなどの圧縮を行う画像圧縮伸張部３４からの信号は、メモリカードＩ／Ｆ部３６を介して脱着可能なメモリカード３８へ、更には、外部出力Ｉ／Ｆ部４０を介して、パーソナルコンピュータやプリンタ等の外部の画像処理装置へ入力が行える。
【００２０】
図２（Ａ）は、本実施形態における電子スチルカメラ１０の概略の外観構成を示す背面図である。同図に示すように、この電子スチルカメラ１０は、操作表示部４４として、カメラ本体１０Ａの上面に配置された電源スイッチ４４Ａ及びレリーズスイッチ４４Ｂと、カメラ本体１０Ａの背面に配された液晶表示パネル４４Ｃ及び操作ボタン４４Ｄと、を有している。この操作表示部４４の各スイッチの操作による操作信号は、メモリカードＩ／Ｆ部３６、パラメータ解析部４２、撮像条件設定部４６及び第２画像処理部５６に入力される。また、操作表示部４４の液晶表示パネル４４Ｃは、パラメータ解析部４２からの信号に従ったパラメータを表示する。このパラメータ解析部４２からの信号は、画像圧縮伸張部３４及び撮像条件設定部４６にも入力される。
【００２１】
図３（Ａ）は、本実施形態における電子スチルカメラ１０の処理フローチャートを示す図である。
【００２２】
即ち、電子スチルカメラ１０は、まず、ＲＡＷデータ圧縮用パラメータ設定処理を実行して、各色毎の圧縮パラメータを設定しておき圧縮率制御を行う（ステップＳ１０）。これらパラメータの設定手法の詳細については後述する。
【００２３】
そして、使用者がレリーズスイッチ４４Ｂを全押しすることで、ＲＡＷデータ撮影が行われる（ステップＳ１２）。このＲＡＷデータ撮影で取得した画像信号は、画像用バッファ３２または連写用バッファ５４に保存される。
【００２４】
その後、画像分割・再生成部５８により、それら画像用バッファ３２または連写用バッファ５４に保存されたＲＡＷデータを各色毎に分割するＲＡＷデータ分割処理を実施する（ステップＳ１４）。次に、画像圧縮伸張部３４により、それぞれの分割した画像データに対して、上記ステップＳ１０のＲＡＷデータ圧縮用パラメータ設定処理による圧縮率制御方法で画像圧縮処理を施し（ステップＳ１６）、圧縮した画像データを画像用バッファ３２または連写用バッファ５４に記録する（ステップＳ１８）。
【００２５】
その後、上記画像用バッファ３２または連写用バッファ５４に記録した圧縮画像データを画像圧縮伸張部３４により画像伸張処理して読み出し（ステップＳ２０）、画像分割・再生成部５８によりＲＡＷフォーマットデータを再生成するＲＡＷデータ再生成処理を実施する（ステップＳ２２）。この際、撮影方式として、通常撮影以外に画素混合読み出し撮影を行う場合がある。画素混合読み出し撮影とは、図４に示すように、Ｂａｙｅｒ配列の色フィルタを前面に配置したＣＣＤ撮像素子２０からの信号の読み出しにおいて、同じカラーチャンネルの複数画素信号を加算して読み出すことで、画像の解像度は下がるが、感度を複数倍にして画像の信号を読み出す方式である。これに対して、通常撮影は、画素混合読み出しを行わずに、Ｂａｙｅｒ配列の色フィルタを前面に配置したＣＣＤ撮像素子２０からの信号の読み出しにおいて、画素毎に信号を読み出す方式である。
【００２６】
これらの処理を単数、または複数枚の撮影した画像に対して施すことで、色毎に圧縮率制御した圧縮データのＲＡＷフォーマット画像信号が得られる。その後、色毎に分割されたデータとＲＡＷフォーマットに再生成された単数または複数枚の画像信号を使用し、モーション推定部５６Ａ及び超解像処理部５６Ｂを含む第２画像処理部５６で、高解像度化処理を施して（ステップＳ２４）、高品質な画像を生成する。
【００２７】
こうして第２画像処理部５６で生成された高品質な画像は、操作表示部４４の液晶表示パネル４４Ｃに表示され（ステップＳ２６）、使用者の操作ボタン４４Ｄの操作によって選択されたものが、メモリカードＩ／Ｆ部３６によりメモリカード３８に保存される（ステップＳ２８）。あるいは、外部出力Ｉ／Ｆ部４０により、図示しない外部の画像処理装置に出力される。
【００２８】
以下、電子スチルカメラ１０で行われる上述の処理について、データの流れに基づいてさらに説明する。
【００２９】
図３（Ｂ）は、上記ステップＳ１０において、使用者が使用中に、圧縮制御に関する色毎の圧縮パラメータを設定する際の手順と、その手順に対応してパラメータ解析部４２で処理されるＲＡＷデータ圧縮用パラメータ設定処理手順のフローチャートである。また、このＲＡＷデータ圧縮用パラメータ設定処理は、出荷時のメーカパラメータを設定するために、設計者が電子スチルカメラ１０の製造時に行うこともできる。
【００３０】
即ち、設計者または使用者は、液晶表示パネル４４Ｃに表示された設定メニューに従って操作ボタン４４Ｄを介して、ＲＡＷデータのＲとＢの圧縮方式を設定し（ステップＳ１０Ａ）、また、ＲとＢの圧縮率を制御するための圧縮クオリティパラメータを設定する（ステップＳ１０Ｂ）。次に、ＲＡＷデータのＧｒとＧｂの圧縮方式を設定する（ステップＳ１０Ｃ）。その後、パラメータ解析部４２は、その設定されたＧｒとＧｂの圧縮方式を判定し（ステップＳ１０Ｄ）、圧縮方式が可逆圧縮の場合には、このＲＡＷデータ圧縮用パラメータ設定処理を終了する。
【００３１】
これに対して、設定されたＧｒとＧｂの圧縮方式が非可逆圧縮の場合には、設計者または使用者にＧｒとＧｂの圧縮クオリティパラメータを設定させる（ステップＳ１０Ｅ）。こうしてＲ，Ｇｒ，Ｇｂ，Ｂの圧縮方式と圧縮クオリティパラメータが設定された後、圧縮率の判定を行う（ステップＳ１０Ｆ）。この圧縮率の判定で、ＧｒとＧｂの圧縮率がＲとＢの圧縮率よりも小さい場合には、該ＲＡＷデータ圧縮用パラメータ設定処理を終了する。また、大きい場合には、該ＲＡＷデータ圧縮用パラメータ設定処理の始めに戻り、再度、上記ステップＳ１０ＡにおけるＲとＢの圧縮方式設定から設定し直す。
【００３２】
このようにしてＲＡＷデータ圧縮用パラメータが設定された状態で撮影が行われる。本実施形態においては、撮影はプリ撮影と本撮影（ＲＡＷデータ撮影）とからなる。
【００３３】
即ち、使用者がレリーズスイッチ４４Ｂを半押ししたり、あるいは電源スイッチ４４ＡをＯＮ状態にすることにより、撮像制御部２８は、絞り１２Ａ、シャッタ１６及びＡＦモータ２６の制御を行い、プリ撮影を行う。このプリ撮影では、ＣＣＤ撮像素子２０からの信号がＡ／Ｄ変換回路２２にてデジタル信号化され、第１画像処理部３０により公知のホワイトバランス、強調処理、補間処理等が施された三板状態の画像信号として、画像用バッファ３２に出力される。
【００３４】
このプリ撮像では、撮像条件設定部４６が本撮像のための撮像条件を決定し、決定した撮影条件を撮像制御部２８及び連写判定部４８に転送する。また、撮像条件設定部４６は、連写判定部４８で決定された撮影条件に基づいて撮影モードの決定を行い、決定した撮影モードの情報を撮像制御部２８及び切替部５２へ転送する。ここで、撮像条件とは、シャッタ速度、絞り値、合焦位置、ＩＳＯ感度などの撮影時に要する各要素に対する設定値の組みである。
【００３５】
撮像条件を求める過程は、撮像条件設定部４６が公知の技術によって行う。
【００３６】
露光量に関するシャッタ速度と絞り値は、レンズ系１２と分光ハーフミラー系１４を介して被写体の光量をＡＥ用フォトセンサ２４にて測定した結果に基づき設定される。測定対象となる領域は、ＡＥ用フォトセンサ２４の前に配置された図示しない絞り機能などから切り換え可能で、スポット測光や中央重点測光や平均測光などの手法で測光される。なお、シャッタ速度と絞り値の組み合わせとしては、事前にその組み合わせを定めてある自動露光方式や、使用者が設定したシャッタ速度にあわせて絞り値を求めるシャッタ速度優先方式や、使用者が設定した絞り値にあわせてシャッタ速度を求める絞り優先方式などが選択できる。
【００３７】
合焦位置は、ＣＣＤ撮像素子２０からの出力信号をＡ／Ｄ変換回路２２にてデジタルデータ化して、この単板状態の画像データからの輝度データを算出し、その輝度データ中のエッジ強度から求められる。即ち、ＡＦモータ２６にてレンズ系１２の合焦位置を段階的に変えることで、エッジ強度が最大となる合焦位置を推定する。
【００３８】
ＩＳＯ感度の設定方法は、電子スチルカメラ１０における感度モードの設定によって異なる。電子スチルカメラ１０において感度モードがマニュアル感度モードに設定されている場合には、使用者の設定値によって行う。電子スチルカメラ１０において感度モードが自動感度モードの場合には、レンズ系１２と分光ハーフミラー系１４を介して被写体の光量をＡＥ用フォトセンサ２４にて測定した結果に基づき決定される。即ち、ＡＥ用フォトセンサ２４にて測定した光量が少ない場合に高いＩＳＯ感度に決定し、光量が多い場合に低いＩＳＯ感度に決定する。なお、本実施形態におけるＩＳＯ感度とは、ＣＣＤ撮像素子２０からの信号に対する電気的増幅（ゲインアップ）の程度を表す値であり、この値が大きいほど電気的増幅の程度を高くしている。
【００３９】
上記のようなプリ撮影の後、本実施形態では、レリーズスイッチ４４Ｂを全押しして、上記ステップＳ１２として本撮影（ＲＡＷデータ撮影）を行うと、ＣＣＤ撮像素子２０からの信号がＡ／Ｄ変換回路２２にてデジタル信号化され、今度は第１画像処理部３０を介さずに、ＲＡＷフォーマットの単板状態の画像信号として、画像用バッファ３２または連写用バッファ５４に出力される。そして、この第１画像処理部３０の処理を施さずにＲＡＷフォーマットの単板状態の画像信号として画像用バッファ３２または連写用バッファ５４に出力されたデータに対し、上記ステップＳ１４として、画像分割・再生成部５８で、ＲＡＷデータ分割処理を行って、色毎に分割する。
【００４０】
図５は、ＲＡＷデータ分割処理における色毎の分割方法を示したものである。同図に示すように、ＲＡＷデータ１００の画素情報を各色毎に取り出して、色毎のプレーンデータ１０２Ｒ，１０２Ｇｒ，１０２Ｇｂ，１０２Ｂを生成する。
【００４１】
そして、色毎に分割した画像信号に対し、上記ステップＳ１０のＲＡＷデータ圧縮用パラメータ設定処理で設定された圧縮形式及び圧縮クオリティパラメータを使用して、上記ステップＳ１６として、画像圧縮伸張部３４で、各色プレーン毎に画像圧縮処理を行う。
【００４２】
図３（Ｃ）は、その画像圧縮処理のフローチャートを示す図である。即ち、まず、圧縮クオリティパラメータをセットし（ステップＳ１６Ａ）、その設定されている圧縮形式によって画像データ圧縮処理を行う（ステップＳ１６Ｂ）。その後、全色分の圧縮処理が終了したかを判定し（ステップＳ１６Ｃ）、全色分の圧縮処理が終了するまで繰り返す。
【００４３】
その後、上記ステップＳ１８において、このようにして圧縮した後のデータを再度、画像用バッファ３２または連写用バッファ５４に保存する。
【００４４】
そして、上記ステップＳ２０において、画像圧縮伸張部３４で、上記圧縮して保存した画像データを伸張しながら読み出した後、上記ステップＳ２２において、画像分割・再生成部５８で、ＲＡＷフォーマットデータを再度生成する。
【００４５】
図６は、この分割した各色毎の画像圧縮からＲＡＷデータ再生成処理における生成方法を示した図である。各色毎に静止画として圧縮したデータを伸張し、図５での色毎に分割した時と逆の手順で、上記ＲＡＷデータ１００と同じフォーマットであるＲＡＷフォーマットデータ１００’を再生成する。再生成されたＲＡＷフォーマットデータ１００’の画像信号は、画像用バッファ３２または連写用バッファ５４へ出力する。なお、圧縮前の色毎のプレーンデータ１０２Ｒ，１０２Ｇｒ，１０２Ｇｂ，１０２Ｂと伸張後の色毎のプレーンデータ１０２Ｒ’，１０２Ｇｒ’，１０２Ｇｂ’，１０２Ｂ’とは、圧縮方式が可逆圧縮の場合には同一のものとなる。
【００４６】
また、図７は、分割した各色毎の画像圧縮からＲＡＷデータ再生成処理における別の生成方法を示した図である。これは、人間の視覚による分光感度のピークに近い色の特定分割データ（例えばプレーンデータ１０２Ｇｒ，１０２Ｇｂ）は静止画として圧縮し、他の色分割データ（例えばプレーンデータ１０２Ｒ１〜ｎ’，１０２Ｂ１〜ｎ’）はＭＰＥＧ圧縮したデータをそれぞれ伸張し、ＲＡＷフォーマットデータ１００’を再生成する。再生成されたＲＡＷフォーマットデータ１００’の画像信号は、画像用バッファ３２または連写用バッファ５４へ出力する。なお、圧縮前のプレーンデータ１０２Ｇｒ，１０２Ｇｂと伸張後のプレーンデータ１０２Ｇｒ’，１０２Ｇｂ’とは、圧縮方式が可逆圧縮の場合には同一のものとなる。
【００４７】
そして、画像用バッファ３２または連写用バッファ５４に入力されたＲＡＷフォーマットデータ１００’の画像信号は、第２画像処理部５６へ入力され、上記ステップＳ２４として、第２画像処理部５６で高解像度化の処理を行った後、ステップＳ２６として液晶表示パネル４４Ｃに表示され、ステップＳ２８として公知のＪＰＥＧなどの圧縮処理が画像圧縮伸張部３４にて行われ、メモリカードＩ／Ｆ部３６を介して脱着可能なメモリカード３８へ出力される。また、圧縮処理を行わずにメモリカードＩ／Ｆ部３６を介して脱着可能なメモリカード３８へ出力することも可能である。更には、外部出力Ｉ／Ｆ部４０を介して不図示の外部画像処理装置に出力することもできる。
【００４８】
なお、上記ステップＳ２４で実行される第２画像処理部５６での高解像度化処理は、モーション推定部５６Ａで行うモーション推定処理と、超解像処理部５６Ｂで行う超解像処理とからなる。この第２画像処理部５６で行うモーション推定、及び、超解像の処理の流れを、以下に説明する。
【００４９】
上述したように、連写撮影モードにより撮影され、連写用バッファ５４へ入力された複数枚の画像の画像信号（ＲＡＷデータ１００）を画像分割・再生成部５８で色毎に分割し、分割データを画像圧縮伸張部３４で圧縮符号化して、連写用バッファ５４へ出力する。そして、その連写用バッファ５４へ入力された分割符号化データのうち、人間の視覚による分光感度のピークに近い色の特定分割符号化データにおける複数枚の画像信号を、画像圧縮伸張部３４で伸張して第２画像処理部５６へ入力し、第２画像処理部５６におけるモーション推定部５６Ａによって、各画像（フレーム）におけるフレーム間の動き推定を行う。
【００５０】
図８に、この動き推定処理の入力データを示す。同図に示すように、本実施形態では、人間の視覚による分光感度のピークに近い色（例えばＧ）の特定分割符号化データ（プレーンデータ１０２Ｇｒ又は１０２Ｇｂ）を伸張して、得られたプレーンデータ１０２Ｇｒ’又は１０２Ｇｂ’をモーション推定部５６Ａに入力する。
【００５１】
図９は、このモーション推定部５６Ａで実行される動き推定処理のフローチャートを示す図である。
【００５２】
即ち、まず、動き推定の基準となる画像データ（基準画像）を１枚読み込む（ステップＳ２４Ａ１）。この基準画像は、例えば複数枚連続して撮影した画像データのうち最初の画像データ（第１フレームの画像）であっても良いし、使用者が任意に指定した画像データ（フレーム）であっても良い。次に、上記読み取った基準画像を、複数の動きで変形させる（ステップＳ２４Ａ２）。
【００５３】
その後、他の画像データ（参照画像）を１枚読み込み（ステップＳ２４Ａ３）、この読み込んだ参照画像と上記基準画像を複数変形させたそれぞれの画像列との間の類似度値を算出する（ステップＳ２４Ａ４）。そして、変形させた動きのパラメータと算出した類似度値との関係を用いて、図１０に示すような離散的な類似度マップを作成し（ステップＳ２４Ａ５）、その作成した離散的な類似度マップを補完することで、類似度マップの極値を探索して、類似度マップの極値を求める（ステップＳ２４Ａ６）。この求めた極値を持つ変形の動きが推定値となる。類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法等がある。
【００５４】
そしてその後、全ての参照画像において動き推定を行ったか否かを判別し（ステップＳ２４Ａ７）、まだ動き推定をしていない参照画像がある場合には、参照画像のフレーム番号を１つ上げて（ステップＳ２４Ａ８）、上記ステップＳ２４Ａ３へ戻ることで、次の参照画像を読み込んで上記処理を継続する。
【００５５】
而して、対象となる全ての参照画像において動き推定を行ったならば（ステップＳ２４Ａ７）、処理を終了する。
【００５６】
図１０は、動き推定をパラボラフィッティングで行った例を示す図である。縦軸は２乗偏差を表し、値が小さいほど類似度が高い。
【００５７】
なお、上記ステップＳ２４Ａ２における基準画像の複数の動きでの変形は、例えば、水平、垂直、回転方向に対して、±１ピクセルの動きパラメータで基準画像を１９通り（２７通り中８通りは同じ変形パターン）に変形させる。この場合、図１０の類似度マップの横軸は、変形モーションパラメータを表し、例としては、水平方向，垂直方向，回転方向の組み合わせのモーションパラメータと考えると、負の方から（−１，＋１，−１）、（−１，＋１，０）、（−１，＋１，＋１）の各離散類似度値をプロットする。また、各変形方向を別々と考えると、負の方向から（−１），（０），（＋１）となり、水平方向，垂直方向，回転方向について別々にプロットする。
【００５８】
図１１（Ａ）及び（Ｂ）は、参照画像における基準画像への近似を示す。図１１（Ａ）に示すような各参照画像は、動き推定値の符号反転した値で画像変形することにより、図１１（Ｂ）に示すように基準画像に近似する。
【００５９】
次に、第２画像処理部５６の超解像処理部５６Ｂで行う、複数枚の画像を使用して高解像度の画像を復元する画像高解像度化処理（超解像処理）を、図１２のフローチャートを参照して説明する。なお、この画像高解像度化処理においては、上述したようにして分割した各色毎の画像圧縮から再生成されたＲＡＷフォーマットデータ１００’が使用されるものである。
【００６０】
即ち、まず、高解像度画像推定に用いるためｋ枚（ｋ≧１）のＲＡＷフォーマットデータ１００’（低解像度画像ｙ）を読み込む（ステップＳ２４Ｂ１）。そして、それらｋ枚の低解像度画像ｙの中の任意の１枚をターゲットフレームと仮定し、補完処理を行うことで初期の高解像度画像ｚを作成する（ステップＳ２４Ｂ２）。なお、このステップＳ２４Ｂ２は、場合により省略することができる。
【００６１】
その後、予め何らかのモーション推定法で求められた、ターゲットフレームとその他のフレームの画像間のモーション（例えば、上述したようにモーション推定部５６Ａで動き推定値を求める）により、画像間の位置関係を明らかにする（ステップＳ２４Ｂ３）。そして、光学伝達関数（ＯＴＦ）、ＣＣＤアパーチャ等の撮像特性を考慮した点広がり関数（ＰＳＦ）を求める（ステップＳ２４Ｂ４）。このＰＳＦは、例えばＧａｕｓｓ関数を用いる。
【００６２】
そして、上記ステップＳ２４Ｂ３及びステップＳ２４Ｂ４の情報を元に、評価関数ｆ（ｚ）の最小化を行う（ステップＳ２４Ｂ５）。ただし、ｆ（ｚ）は以下のような形となる。
【数１】
2008067315.tif 000003
【００６３】
ここでｙは低解像度画像、ｚは高解像度画像、Ａは画像間モーション（例えばモーション推定部５６Ａで求めた動き推定値）及びＰＳＦ等を含めた撮像システムを表す画像変換行列である。ｇ（ｚ）は画像の滑らかさや色相関を考慮した拘束項等が入る。λは重み係数である。評価関数の最小化には、例えば最急降下法を用いる。
【００６４】
そして、上記ステップＳ２４Ｂ５で求めた評価関数ｆ（ｚ）が最小化されたか否かを判別する（ステップＳ２４Ｂ６）。ここで、まだ最小化されていない場合には、高解像度画像ｚをアップデートして（ステップＳ２４Ｂ７）、上記ステップＳ２４Ｂ５に戻る。
【００６５】
而して、上記ステップＳ２４Ｂ５で求めた評価関数ｆ（ｚ）が最小化されたならば、高解像度画像ｚが得られたとして処理を終了する。
【００６６】
図１３は、このような超解像処理を実施する超解像処理部５６Ｂの構成の一例を示す図である。この超解像処理部５６Ｂは、初期画像記憶部５６Ｂ１、畳込み積分部５６Ｂ２、ＰＳＦデータ保持部５６Ｂ３、画像比較部５６Ｂ４、乗算部５６Ｂ５、貼り合せ加算部５６Ｂ６、蓄積加算部５６Ｂ７、更新画像生成部５６Ｂ８、画像蓄積部５６Ｂ９、反復演算判定部５６Ｂ１０、反復判定値保持部５６Ｂ１１、及び補間拡大部５６Ｂ１２から構成される。
【００６７】
即ち、上記連写用バッファ５４からの基準画像を補間拡大部５６Ｂ１２で補間拡大し、その補間拡大画像が初期画像記憶部５６Ｂ１に与えられ、初期画像として記憶される。なお、補間拡大部５６Ｂ１２での補間方法は、バイリニア補間、バイキュービック補間などで補間する。
【００６８】
この初期画像記憶部５６Ｂ１に記憶された初期画像は畳込み積分部５６Ｂ２に与えられ、ＰＳＦデータ保持部５６Ｂ３より与えられるＰＳＦデータと畳込み積分される。ここでのＰＳＦデータは、各フレームのモーションも考慮して与えられる。また、上記初期画像記憶部５６Ｂ１に記憶された初期画像データは同時に画像蓄積部５６Ｂ９に送られ、ここに蓄積される。
【００６９】
上記畳込み積分部５６Ｂ２で畳込み積分された画像データは画像比較部５６Ｂ４に送られ、上記モーション推定部５６Ａで求められた各フレーム毎のモーション（動き推定値）を元に適切な座標位置で、上記連写用バッファ５４より与えられる撮影画像と比較される。そして、その比較された残差は乗算部５６Ｂ５に送られ、ＰＳＦデータ保持部５６Ｂ３より与えられるＰＳＦデータの各画素毎の値に掛け合わされる。この演算結果は貼り合せ加算部５６Ｂ６に送られ、それぞれ対応する座標位置に置かれる。ここで、乗算部５６Ｂ５からの画像データは重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる部分については加算していく。撮影画像１枚分のデータの貼り合せ加算が終るとデータは蓄積加算部５６Ｂ７に送られる。
【００７０】
蓄積加算部５６Ｂ７では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データ順次加算してゆく。加算された画像データは、更新画像生成部５６Ｂ８に送られる。更新画像生成部５６Ｂ８には、これと同時に、画像蓄積部５６Ｂ９に蓄積されていた画像データが与えられ、この２つの画像データに重みをつけて加算して、更新画像データを生成する。
【００７１】
この更新画像生成部５６Ｂ８で生成された更新画像データは反復演算判定部５６Ｂ１０に与えられ、反復判定値保持部５６Ｂ１１から与えられる反復判定値を元に演算を反復するか否かを判断する。演算を反復する場合には、データを畳込み積分部５６Ｂ２に送り上記の一連の処理を繰り返す。
【００７２】
これに対して、反復しない場合は、更新画像生成部５６Ｂ８で生成され該反復演算判定部５６Ｂ１０に入力された更新画像データを、高解像度画像として出力する。
【００７３】
このような一連の処理を行うことで、反復演算判定部５６Ｂ１０から出力される画像は撮影画像よりも高解像度なものとなる。
【００７４】
また、上記ＰＳＦデータ保持部５６Ｂ３で保持されるＰＳＦデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、モーション推定部５６Ａよりフレーム毎のモーションが与えられるようになっている。
【００７５】
以上詳述したように、本第１実施形態によれば、できる限り高周波成分を損なわないような圧縮手段で圧縮効率を良好にするため、記録媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装することができるので、ハードウェアの負担を軽減させると共に、高品質な画像生成を提供することが可能となる。
【００７６】
また、人間の視覚による分光感度のピークに近い色の特定分割符号化データを用いて、複数枚の画像のフレーム間における被写体の動きを推定することにより、動き推定処理の入力画像として、例えば、Ｇの分割圧縮画像データを用いた場合、動き推定処理までの入力画像保持の際、少ないデータ量分の保持で良いので、記録媒体の節約になる。更に、解像度に影響のあるＧのような特定分割データを使用することで、全色のＲＡＷデータを使用して動き推定した場合との動き推定精度の誤差は少ない。
【００７７】
［第２実施形態］
上記第１実施形態では、全ての機能を撮像装置である電子スチルカメラ１０に組み込んでいる。これに対して、本発明の第２実施形態は、撮像装置と画像処理装置とからなる撮像システムとして、機能を分担するようにしたものである。
【００７８】
即ち、図２（Ｂ）に示すように、電子スチルカメラ１０のカメラ本体１０Ａに、本実施形態に係る画像処理装置としてのプリンタ６０を接続する。ここで、カメラ本体１０Ａ内には、図１の構成におけるレンズ系１２、分光ハーフミラー系１４、シャッタ１６、ローパスフィルタ１８、ＣＣＤ撮像素子２０、Ａ／Ｄ変換回路２２、ＡＥ用フォトセンサ２４、ＡＦモータ２６、撮像制御部２８、第１画像処理部３０、画像用バッファ３２、画像圧縮伸張部３４のうちの画像圧縮処理を行う機能、メモリカードＩ／Ｆ部３６、メモリカード３８、外部出力Ｉ／Ｆ部４０、パラメータ解析部４２、操作表示部４４、撮像条件設定部４６、連写判定部４８、画素混合判定部５０、切替部５２、連写用バッファ５４、及び画像分割・再生成部５８のうちの画像分割処理を行う機能を備え、上記外部出力Ｉ／Ｆ部４０を介して接続されるプリンタ６０には、画像圧縮伸張部３４のうちの画像伸張処理を行う機能、第２画像処理部５６、及び画像分割・再生成部５８のうちのＲＡＷフォーマットデータの再生成処理を行う機能を備える。
【００７９】
そして、このような構成において、電子スチルカメラ１０では画像を複数枚撮像して、色毎の分割、圧縮をして記録するまでを行い、プリンタ６０で、動き推定処理、ＲＡＷフォーマットデータ再生成処理、超解像処理を行う。
【００８０】
画像全体の超解像度化をすることは、ハードウェアへの負担が大きく、処理時間が多大となるが、電子スチルカメラ１０とプリンタ６０を接続しているような場合、電子スチルカメラ１０のユーザインタフェース（操作表示部４４）から使用者がプリント印刷する指示を行った際に、動き推定処理、並びに、超解像度化処理をプリンタ６０側で行い、高解像度化された画像をプリント印刷する際には、プリンタ６０のハードウェア性能を利用することになるので、電子スチルカメラ１０内部で処理するよりも高速に処理することも可能となるし、また、使用者の待ち時間の点から考慮すると、印刷待ちの間に超解像処理も含めて処理を行うので、高解像度化の処理時間も気にならない。
【００８１】
なお、電子スチルカメラ１０とプリンタ６０の機能分担は、例えば動き推定処理も電子スチルカメラ１０側で行う等、上記に限定されるものではないことは勿論である。
【００８２】
また、画像処理装置は、プリンタ６０に限らず、パーソナルコンピュータ、ビュアー（ストレージビュアー）、モニタ、プロジェクタ、レコーダ（ＤＶＤ、ＣＤ）、プレーヤ等、外部出力Ｉ／Ｆ部４０を介して接続可能なその他の機器を含むことができる。
【００８３】
［第３実施形態］
電子スチルカメラ１０においては、撮影時の手ぶれ補正用に加速度センサを搭載しているものが知られている。
【００８４】
本発明の第３実施形態に係る撮像装置としての電子スチルカメラ１０は、図１４に示すように、そのような加速度センサ６２の出力を第２画像処理部５６のモーション推定部５６Ａにも与え、該モーション推定部５６Ａでの動き推定の際に、その加速度センサ６２の出力も併用して推定するものである。
【００８５】
即ち、加速度センサを用いない場合、電子スチルカメラ１０撮影時の使用者の手ぶれ量が大きければ大きいほど、動き推定処理時の推定カーネル領域は大きくしなければならず、処理時間が増えてしまう。
【００８６】
しかしながら、図１５に示すように、加速度センサ６２で検知した分だけ、プラスマイナス逆方向に参照画像を変形すれば、基準画像にほぼ近似したことになり、さらに小領域の画像処理による動き推定処理を行うことで、短時間で精度の高い動き推定値を求めることが可能となる。
【００８７】
以上、実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００８８】
例えば、複数枚の低解像度画像（画像データ）を使用して高解像度の画像を復元する画像高解像度化処理（超解像処理）を説明したが、１枚の低解像度画像を使用して高解像度の画像を復元することも可能なことは勿論である。
【００８９】
また、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、メモリ等に保存してある低解像度画像を用いて、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。
【００９０】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００９１】
（１）  被写体の像を電子的に記録する撮像装置において、
色フィルタを前面に配置した撮像素子と、
該撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割するＲＡＷデータ分割手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御可能な圧縮率制御手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを、上記圧縮率制御手段によって制御される圧縮率で圧縮して色毎の符号化データを生成する圧縮符号化処理手段と、
上記圧縮符号化処理手段で生成された上記色毎の符号化データを記録する記録手段と、
上記記録手段に記録された上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記圧縮符号化処理手段で生成した上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
を具備することを特徴とする撮像装置。
【００９２】
（対応する実施形態）
この（１）に記載の撮像装置は、第１及び第３実施形態が対応する。それらの実施形態において、電子スチルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子２０が上記撮像素子に、画像分割・再生成部５８が上記ＲＡＷデータ分割手段に、パラメータ解析部４２及び操作表示部４４が上記圧縮率制御手段に、画像圧縮伸張部３４が上記圧縮符号化処理手段に、画像用バッファ３２又は連写用バッファ５４が上記記録手段に、画像圧縮伸張部３４及び画像分割・再生成部５８が上記ＲＡＷフォーマットデータ再生成手段に、第２画像処理部５６のモーション推定部５６Ａが上記動き補償手段に、それぞれ対応する。
【００９３】
（作用効果）
この（１）に記載の撮像装置によれば、できる限り高周波成分を損なわないような圧縮手段で圧縮効率を良好にするため、記録媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装することができるので、ハードウェアの負担を軽減させると共に、高品質な画像生成を提供することが可能となる。
【００９４】
また、人間の視覚による分光感度のピークに近い色の特定分割符号化データを用いて、複数枚の画像のフレーム間における被写体の動きを推定することにより、動き推定処理の入力画像として、例えば、Ｇの分割圧縮画像データを用いた場合、動き推定処理までの入力画像保持の際、少ないデータ量分の保持で良いので、記録媒体の節約になる。更に、解像度に影響のあるＧのような特定分割データを使用することで、全色のＲＡＷデータを使用して動き推定した場合との動き推定精度の誤差は少ない。
【００９５】
（２）  上記圧縮符号化処理手段は、各色毎にＪＰＥＧ準拠、ＭＰＥＧ準拠、または可逆圧縮が可能な圧縮アルゴリズムの何れかの圧縮符号化処理手法を選択可能であることを特徴とする（１）に記載の撮像装置。
【００９６】
（対応する実施形態）
この（２）に記載の撮像装置に関する実施形態は、第１及び第３実施形態が対応する。
【００９７】
（作用効果）
この（２）に記載の撮像装置によれば、圧縮符号化処理手法を選択することができる。
【００９８】
（３）  上記圧縮率制御手段は、上記圧縮符号化処理手段での上記特定色分割符号化データ生成時に、選択された上記圧縮符号化処理手法が可逆圧縮が可能な圧縮アルゴリズムでない場合、上記特定色分割データの圧縮率を、他の色分割データの圧縮率よりも低くすることを特徴とする（２）に記載の撮像装置。
【００９９】
（対応する実施形態）
この（３）に記載の撮像装置に関する実施形態は、第１及び第３実施形態が対応する。
【０１００】
（作用効果）
この（３）に記載の撮像装置によれば、不可逆圧縮による影響を少なくし、動き推定精度の誤差を少なくすることができる。
【０１０１】
（４）  上記ＲＡＷフォーマットデータ再生成手段は、上記ＲＡＷデータ分割手段によって分割する前のＲＡＷデータのフォーマットと同じフォーマットを有するＲＡＷフォーマットデータを生成することを特徴とする（１）に記載の撮像装置。
【０１０２】
（対応する実施形態）
この（４）に記載の撮像装置に関する実施形態は、第１及び第３実施形態が対応する。
【０１０３】
（作用効果）
この（４）に記載の撮像装置によれば、一つのフォーマットのみ対応すれば良いので、構成・機能が簡単で済む。
【０１０４】
（５）  上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段を更に具備することを特徴とする（１）乃至（４）の何れかに記載の撮像装置。
【０１０５】
（対応する実施形態）
この（５）に記載の撮像装置に関する実施形態は、第１及び第３実施形態が対応する。それらの実施形態において、第２画像処理部５６の超解像処理部５６Ｂが上記高解像度化処理手段に対応する。
【０１０６】
（作用効果）
この（５）に記載の撮像装置によれば、高解像度の画像を得ることができる。
【０１０７】
（６）  上記高解像度化処理手段は、上記動き補償手段で補償された複数のフレームを合成した像を生成する画像合成手段を備えることを特徴とする（５）に記載の撮像装置。
【０１０８】
（対応する実施形態）
この（６）に記載の撮像装置に関する実施形態は、第１及び第３実施形態が対応する。それらの実施形態において、第２画像処理部５６の超解像処理部５６Ｂが上記画像合成手段に対応する。
【０１０９】
（作用効果）
この（６）に記載の撮像装置によれば、複数フレームの画像を使用することで、高品質な高解像度画像を生成することができる。
【０１１０】
（７）  撮像画面の少なくとも一部の領域を表示可能なモニタを更に具備し、
上記高解像度化処理手段は、上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータから上記モニタに表示される領域の画像データに対して上記高解像度化処理を行い、その結果得られた画像データのうち上記モニタの表示サイズに相当したサイズの画像データを上記モニタに表示することを特徴とする（５）又は（６）に記載の撮像装置。
【０１１１】
（対応する実施形態）
この（７）に記載の撮像装置に関する実施形態は、第１及び第３実施形態が対応する。それらの実施形態において、操作表示部４４の液晶表示パネル４４Ｃが上記モニタに対応する。
【０１１２】
（作用効果）
この（７）に記載の撮像装置によれば、高解像度化した画像のうちモニタの表示サイズに相当する部分が表示されるので、使用者は高解像度化の効果が認識し易い。
【０１１３】
（８）  記録手段に記録された、色毎に分割したＲＡＷデータを色毎に制御された圧縮率で圧縮することで得られた色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記記録手段に記録された上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
を具備することを特徴とする画像処理装置。
【０１１４】
（対応する実施形態）
この（８）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。その実施形態において、画像圧縮伸張部３４及び画像分割・再生成部５８が上記ＲＡＷフォーマットデータ再生成手段に、第２画像処理部５６のモーション推定部５６Ａが上記動き補償手段に、第２画像処理部５６の超解像処理部５６Ｂが上記高解像度化処理手段に、プリンタ６０が上記画像処理装置に、それぞれ対応する。
【０１１５】
（作用効果）
この（８）に記載の画像処理装置によれば、人間の視覚による分光感度のピークに近い色の特定分割符号化データを用いて、複数枚の画像のフレーム間における被写体の動きを推定することにより、動き推定処理の入力画像として、例えば、Ｇの分割圧縮画像データを用いた場合、動き推定処理までの入力画像保持の際、少ないデータ量分の保持で良いので、記録媒体の節約になる。更に、解像度に影響のあるＧのような特定分割データを使用することで、全色のＲＡＷデータを使用して動き推定した場合との動き推定精度の誤差は少ない。
【０１１６】
また、画像全体の超解像度化をすることは、ハードウェアへの負担が大きく、処理時間が多大となるが、動き推定処理、並びに、超解像度化処理を画像処理装置側で行うことで、画像処理装置のハードウェア性能を利用することになるので、撮像装置内部で処理するよりも高速に処理することも可能となる。
【０１１７】
（９）  色フィルタを前面に配置した撮像素子と、
該撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割するＲＡＷデータ分割手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御可能な圧縮率制御手段と、
上記ＲＡＷデータ分割手段によって色毎に分割したＲＡＷデータを、上記圧縮率制御手段によって制御される圧縮率で圧縮して色毎の符号化データを生成する圧縮符号化処理手段と、
上記圧縮符号化処理手段で生成された上記色毎の符号化データを記録する記録手段と、
上記記録手段に記録された上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成するＲＡＷフォーマットデータ再生成手段と、
上記圧縮符号化処理手段で生成した上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを上記ＲＡＷフォーマットデータ再生成手段で復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
上記動き補償手段によって推定された被写体の動き情報と上記ＲＡＷフォーマットデータ再生成手段で再生成したＲＡＷフォーマットデータとを用いて、撮像時の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
を具備し、
上記各手段のうち、少なくとも上記撮像素子、上記ＲＡＷデータ分割手段、上記圧縮率制御手段、上記圧縮符号化処理手段、及び上記記録手段は、撮像装置に備えられ、
上記撮像装置が備える以外の手段は、上記撮像装置に接続可能な画像処理装置に備えられることを特徴とする撮影システム。
【０１１８】
（対応する実施形態）
この（９）に記載の撮像システムに関する実施形態は、第２実施形態が対応する。その実施形態において、ＣＣＤ撮像素子２０が上記撮像素子に、画像分割・再生成部５８の画像分割機能が上記ＲＡＷデータ分割手段に、パラメータ解析部４２及び操作表示部４４が上記圧縮率制御手段に、画像圧縮伸張部３４が上記圧縮符号化処理手段に、画像用バッファ３２又は連写用バッファ５４が上記記録手段に、画像圧縮伸張部３４及び画像分割・再生成部５８の再生成機能が上記ＲＡＷフォーマットデータ再生成手段に、第２画像処理部５６のモーション推定部５６Ａが上記動き補償手段に、第２画像処理部５６の超解像処理部５６Ｂが上記高解像度化処理手段に、電子スチルカメラ１０が上記撮像装置に、プリンタ６０が上記画像処理装置に、それぞれ対応する。
【０１１９】
（作用効果）
この（９）に記載の撮像システムによれば、できる限り高周波成分を損なわないような圧縮手段で圧縮効率を良好にするため、記録媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装することができるので、ハードウェアの負担を軽減させると共に、高品質な画像生成を提供することが可能となる。
【０１２０】
また、人間の視覚による分光感度のピークに近い色の特定分割符号化データを用いて、複数枚の画像のフレーム間における被写体の動きを推定することにより、動き推定処理の入力画像として、例えば、Ｇの分割圧縮画像データを用いた場合、動き推定処理までの入力画像保持の際、少ないデータ量分の保持で良いので、記録媒体の節約になる。更に、解像度に影響のあるＧのような特定分割データを使用することで、全色のＲＡＷデータを使用して動き推定した場合との動き推定精度の誤差は少ない。
【０１２１】
また、画像全体の超解像度化をすることは、ハードウェアへの負担が大きく、処理時間が多大となるが、動き推定処理、並びに、超解像度化処理を画像処理装置側で行うことで、画像処理装置のハードウェア性能を利用することになるので、撮像装置内部で処理するよりも高速に処理することも可能となる。
【０１２２】
（１０）  被写体の像を電子的に記録する撮像装置の画像処理プログラムであって、
コンピュータに、
色フィルタを前面に配置した撮像素子より撮像時に得られるＲＡＷデータを同じ色毎に分割する手順と、
上記色毎に分割したＲＡＷデータを圧縮する際の圧縮率を色毎に制御する手順と、
上記色毎に分割したＲＡＷデータを上記制御された圧縮率で圧縮して色毎の符号化データを生成する手順と、
上記生成された上記色毎の符号化データを記録する手順と、
上記記録した上記色毎の符号化データを復号化し、得られた復号化データからＲＡＷフォーマットデータを再生成する手順と、
上記生成された上記色毎の符号化データのうち、人間の視覚による分光感度のピークに近い色の符号化データである特定色分割符号化データを復号化して用いて、複数枚の画像のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する手順と、
を実行させるための画像処理プログラム。
【０１２３】
（対応する実施形態）
この（１０）に記載の画像処理プログラムに関する実施形態は、第１及び第３実施形態が対応する。それらの実施形態において、ステップＳ１４が上記ＲＡＷデータを同じ色毎に分割する手順に、ステップＳ１０が上記圧縮率を色毎に制御する手順に、ステップＳ１６が上記色毎の符号化データを生成する手順に、ステップＳ１８が上記色毎の符号化データを記録する手順に、ステップＳ２２が上記ＲＡＷフォーマットデータを再生成する手順に、ステップＳ２４Ａ１乃至ステップＳ２４Ａ８が上記フレーム間の相対的な位置関係を補償する手順に、それぞれ対応する。
【０１２４】
（作用効果）
この（１０）に記載の画像処理プログラムによれば、できる限り高周波成分を損なわないような圧縮手段で圧縮効率を良好にするため、記録媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装することができるので、ハードウェアの負担を軽減させると共に、高品質な画像生成を提供することが可能となる。
【０１２５】
また、人間の視覚による分光感度のピークに近い色の特定分割符号化データを用いて、複数枚の画像のフレーム間における被写体の動きを推定することにより、動き推定処理の入力画像として、例えば、Ｇの分割圧縮画像データを用いた場合、動き推定処理までの入力画像保持の際、少ないデータ量分の保持で良いので、記録媒体の節約になる。更に、解像度に影響のあるＧのような特定分割データを使用することで、全色のＲＡＷデータを使用して動き推定した場合との動き推定精度の誤差は少ない。
【図面の簡単な説明】
【０１２６】
【図１】図１は、本発明の第１実施形態に係る撮像装置としての電子スチルカメラのブロック構成図である。
【図２】図２（Ａ）は、第１実施形態における電子スチルカメラの概略の外観構成を示す背面図であり、図２（Ｂ）は、本発明の第２実施形態に係る撮像システムの構成を示す図である。
【図３】図３（Ａ）は、第１実施形態における電子スチルカメラの処理フローチャートを示す図、図３（Ｂ）は、図３中のＲＡＷデータ圧縮用パラメータ設定処理のフローチャートを示す図であり、図３（Ｃ）は、図３中の画像圧縮処理のフローチャートを示す図である。
【図４】図４は、同じカラーチャンネル隣接４画素における画素混合読み出しを説明するための図である。
【図５】図５は、ＲＡＷデータ分割処理における色毎の分割方法を説明するための図である。
【図６】図６は、分割した各色毎の画像圧縮からＲＡＷデータ再生成処理における生成方法を説明するための図である。
【図７】図７は、分割した各色毎の画像圧縮からＲＡＷデータ再生成処理における別の生成方法を説明するための図である。
【図８】図８は、動き推定処理の入力データを説明するための図である。
【図９】図９は、第２画像処理部のモーション推定部で実行される動き推定処理のフローチャートを示す図である。
【図１０】図１０は、動き推定における最適類似度推定のための類似度マップを示す図である。
【図１１】図１１（Ａ）は、複数の連続撮影した画像を示す図であり、図１１（Ｂ）は、動き推定値を使用した参照画像変形により基準画像へ近似した画像を示す図である。
【図１２】図１２は、第２画像処理部の超解像処理部で実行される画像高解像度化処理（超解像処理）のフローチャートを示す図である。
【図１３】図１３は、第２画像処理部の超解像処理部の一例を示すブロック構成図である。
【図１４】図１４は、本発明の第３実施形態に係る撮像装置としての電子スチルカメラのブロック構成図である。
【図１５】図１５は、加速度センサを用いた動き推定処理を説明するための図である。
【符号の説明】
【０１２７】
１０…電子スチルカメラ、  １０Ａ…カメラ本体、  １２…レンズ系、  １４…分光ハーフミラー系、  １６…シャッタ、  １８…ローパスフィルタ、  ２０…ＣＣＤ撮像素子、  ２２…Ａ／Ｄ変換回路、  ２４…ＡＥ用フォトセンサ、  ２６…ＡＦモータ、  ２８…撮像制御部、  ３０…画像処理部、  ３２…画像用バッファ、  ３４…画像圧縮伸張部、  ３６…メモリカードＩ／Ｆ部、  ３８…メモリカード、  ４０…外部出力Ｉ／Ｆ部、  ４２…パラメータ解析部、  ４４…操作表示部、  ４４Ａ…電源スイッチ、  ４４Ｂ…レリーズスイッチ、  ４４Ｃ…液晶表示パネル、  ４４Ｄ…操作ボタン、  ４６…撮像条件設定部、  ４８…連写判定部、  ５０…画素混合判定部、  ５２…切替部、  ５４…連写用バッファ、  ５６…画像処理部、  ５６Ａ…モーション推定部、  ５６Ｂ…超解像処理部、  ５６Ｂ１…初期画像記憶部、  ５６Ｂ２…畳込み積分部、  ５６Ｂ３…ＰＳＦデータ保持部、  ５６Ｂ４…画像比較部、  ５６Ｂ５…乗算部、  ５６Ｂ６…貼り合せ加算部、  ５６Ｂ７…蓄積加算部、  ５６Ｂ８…更新画像生成部、  ５６Ｂ９…画像蓄積部、  ５６Ｂ１０…反復演算判定部、  ５６Ｂ１１…反復判定値保持部、  ５６Ｂ１２…補間拡大部、  ５８…画像分割・再生成部、  ６０…プリンタ、  ６２…加速度センサ、  １００…ＲＡＷデータ、  １００’…ＲＡＷフォーマットデータ、  １０２Ｒ，１０２Ｇｒ，１０２Ｇｂ，１０２Ｂ…プレーンデータ。
【図１】
2008067315.tif 000004
【図２】
2008067315.tif 000005
【図３】
2008067315.tif 000006
【図４】
2008067315.tif 000007
【図５】
2008067315.tif 000008
【図６】
2008067315.tif 000009
【図７】
2008067315.tif 000010
【図８】
2008067315.tif 000011
【図９】
2008067315.tif 000012
【図１０】
2008067315.tif 000013
【図１１】
2008067315.tif 000014
【図１２】
2008067315.tif 000015
【図１３】
2008067315.tif 000016
【図１４】
2008067315.tif 000017
【図１５】
2008067315.tif 000018