(57)【要約】【課題】ハードウェアに負担をかけずに、使用者が必要とする領域の高画質化を達成すること。【解決手段】ＣＣＤ撮像素子２０により被写体を撮影して該被写体の像を電子的に記録する撮像装置である電子スチルカメラ１０は、電子的に記録する被写体の画像のうちの関心領域を撮影時に決定する第２画像処理部３４と、上記関心領域の画像データを可逆圧縮または規定値より低い圧縮率で非可逆圧縮する画像圧縮・伸張部３６と、上記複数の画像の上記関心領域の画像データを、非圧縮、上記画像圧縮・伸張部３６での可逆圧縮、または上記画像圧縮・伸張部３６での非可逆圧縮の、何れかの画像保存形式にて記録する連写用バッファ５４とを備える。【選択図】図１
2008109482.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置において、
上記電子的に記録する被写体の複数枚の画像のうちの関心領域を撮影時に決定する関心領域決定手段と、
上記関心領域の画像データを可逆圧縮または規定値より低い圧縮率で非可逆圧縮する画像圧縮手段と、
上記複数の画像の上記関心領域の画像データを、非圧縮、上記画像圧縮手段での可逆圧縮、または上記画像圧縮手段での非可逆圧縮の、何れかの画像保存形式にて記録する関心領域画像記録手段と、
を具備することを特徴とする撮像装置。
【請求項２】
撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置において、
上記電子的に記録する被写体の画像のうちの複数の関心領域を撮影時に決定する関心領域決定手段と、
上記複数の関心領域の画像データを可逆圧縮または規定値より低い圧縮率で非可逆圧縮する画像圧縮手段と、
上記複数の関心領域の画像データを、非圧縮、上記画像圧縮手段での可逆圧縮、または上記画像圧縮手段での非可逆圧縮の、何れかの画像保存形式にて記録する関心領域画像記録手段と、
を具備することを特徴とする撮像装置。
【請求項３】
上記関心領域決定手段は、
上記関心領域の一部を指定する関心領域指定手段と、
上記関心領域指定手段によって指定した上記関心領域の一部の画像データを基に、色情報、輝度情報、テクスチャ、構造要素、及び画像間の差分のうちの少なくとも１つの解析によって、上記被写体を検出する被写体検出手段と、
を備え、
上記被写体検出手段によって検出した被写体に基づいて上記関心領域を決定することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
上記関心領域決定手段は、上記被写体検出手段によって検出した被写体の検出境界に基づいたサイズ及び箇所の矩形領域を決定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
使用者が上記撮像装置の各種のパラメータのうち所望のパラメータを設定するためのパラメータ設定指示手段を更に具備し、
上記関心領域決定手段は、上記パラメータ設定指示手段で指示された検出する対象被写体の種別を検出用パラメータとして設定する検出用パラメータ設定手段を備えることを特徴とする請求項３に記載の撮像装置。
【請求項６】
上記パラメータ設定指示手段は、撮影画像の範囲内において被写体の一部の位置または領域の位置とサイズを指示可能であり、
上記関心領域指定手段は、上記パラメータ設定指示手段で指示された被写体の一部の位置情報または領域の少なくとも位置情報を基に上記関心領域の一部または領域を指定することを特徴とする請求項５に記載の撮像装置。
【請求項７】
上記検出用パラメータ設定手段は、検出する対象被写体の種別に係るパラメータを複数個、上記パラメータ設定指示手段により指定できることを特徴とする請求項５に記載の撮像装置。
【請求項８】
上記関心領域決定手段は、画角全体の撮影画像から対象被写体を検出し、該検出された対象被写体の存在する領域から上記被写体の関心領域部分を決定し、
上記画像圧縮手段は、上記関心領域決定手段にて決定された上記被写体の関心領域部分の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮し、
上記関心領域画像記録手段は、上記領域決定された被写体の関心領域部分において、複数の画像の当該領域部分の画像データを、非圧縮、上記画像圧縮手段での可逆圧縮、または上記画像圧縮手段での非可逆圧縮の、何れかの画像保存形式にて記録することを特徴とする請求項１又は２に記載の撮像装置。
【請求項９】
上記関心領域画像記録手段は、画像内に複数の被写体が検出された際、各被写体の関心領域における画像データを、相互に重なる領域を含めて記録することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
上記関心領域画像記録手段はさらに、上記画像圧縮手段で圧縮された画角全体の撮影画像データを記録可能であり、
上記画像圧縮手段は、上記決定した被写体の関心領域部分の画像データの圧縮率を、上記画角全体の撮影画像データの圧縮率より小さくするように圧縮して上記関心領域画像記録手段に夫々記録することを特徴とする請求項８に記載の撮像装置。
【請求項１１】
撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理方法において、
上記電子的に記録する被写体の複数枚の画像のうちの関心領域を撮影時に決定する関心領域決定ステップと、
上記被写体の上記関心領域の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮する画像圧縮ステップと、
上記複数の画像の上記関心領域の画像データを、非圧縮、上記画像圧縮ステップによる可逆圧縮、または上記画像圧縮ステップによる非可逆圧縮の、何れかの画像保存形式にて記録する関心領域画像記録ステップと、
を具備することを特徴とする撮像装置の画像記録処理方法。
【請求項１２】
撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理方法において、
上記電子的に記録する被写体の画像のうちの複数の関心領域を撮影時に決定する関心領域決定ステップと、
上記複数の関心領域の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮する画像圧縮ステップと、
上記複数の関心領域の画像データを、非圧縮、上記画像圧縮ステップによる可逆圧縮、または上記画像圧縮ステップによる非可逆圧縮の、何れかの画像保存形式にて記録する関心領域画像記録ステップと、
を具備することを特徴とする撮像装置の画像記録処理方法。
【請求項１３】
上記関心領域決定ステップは、
上記関心領域の一部を指定する関心領域指定ステップと、
上記指定した関心領域の一部の画像データを基に、色情報、輝度情報、テクスチャ、構造要素、及び画像間の差分のうちの少なくとも１つの解析によって、上記被写体を検出する被写体検出ステップと、
を備え、
上記検出した被写体に基づいて上記関心領域を決定することを特徴とする請求項１１又は１２に記載の画像記録処理方法。
【請求項１４】
上記関心領域決定ステップは、上記検出した被写体の検出境界に基づいたサイズ及び箇所の矩形領域を決定することを特徴とする請求項１３に記載の画像記録処理方法。
【請求項１５】
上記画像記録処理方法は、使用者が上記撮像装置の各種のパラメータを設定するためのパラメータ設定指示ステップを更に備え、
上記関心領域決定ステップは、上記パラメータ設定指示ステップで指示された検出する対象被写体の種別を検出用パラメータとして設定する検出パラメータ設定ステップを有することを特徴とする請求項１３に記載の画像記録処理方法。
【請求項１６】
上記パラメータ設定指示ステップは、撮影画像の範囲内において被写体の一部の位置または領域の位置とサイズを指定可能であり、
上記関心領域指定ステップは、上記パラメータ設定指示ステップで指示された被写体の一部の位置情報または領域の少なくとも位置情報を基に関心領域の一部または領域を指定することを特徴とする請求項１５に記載の画像記録処理方法。
【請求項１７】
上記関心領域決定ステップは、画角全体の撮影画像から対象被写体を検出し、該検出された対象被写体の存在する領域から上記被写体の関心領域部分を決定し、
上記画像圧縮ステップは、上記関心領域決定ステップにて決定された上記被写体の関心領域部分の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮し、
上記関心領域画像記録ステップは、上記決定された被写体の関心領域部分において、複数の画像の当該領域部分の画像データを、非圧縮、上記画像圧縮ステップでの可逆圧縮、または上記画像圧縮ステップでの非可逆圧縮の、何れかの画像保存形式にて記録することを特徴とする請求項１１又は１２に記載の画像記録処理方法。
【請求項１８】
上記パラメータ設定指示ステップはさらに、少なくとも上記関心領域画像記録ステップで記録する画像保存形式を指定するステップを有し、
上記画像圧縮ステップは、上記パラメータ設定指示ステップで指定された画像保存形式に対応した圧縮方式で上記関心領域部分の画像データを画像圧縮し、
上記関心領域画像記録ステップは、上記パラメータ設定指示ステップで指定された上記画像保存形式にて上記関心領域部分の画像データを記録することを特徴とする請求項１７に記載の画像記録処理方法。
【請求項１９】
上記関心領域画像記録ステップは、画像内に複数の被写体が検出された際、各被写体の関心領域における画像データを、相互に重なる領域を含めて記録することを特徴とする請求項１７に記載の画像記録処理方法。
【請求項２０】
上記画像圧縮ステップはさらに、画角全体の撮影画像データを画像圧縮可能であり、上記画角全体の撮影画像データと上記決定した被写体の関心領域部分の画像データとを画像圧縮する際に、上記決定した被写体の関心領域部分の画像データの圧縮率を、上記画角全体の撮影画像データの圧縮率より小さくするように圧縮し、
上記関心領域画像記録ステップは、上記画像圧縮ステップで画像圧縮された上記画角全体の撮影画像データと上記関心領域画像データとを夫々記録することを特徴とする請求項１７に記載の画像記録処理方法。
【請求項２１】
撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理方法において、
上記撮影装置の撮影条件に係る撮影用パラメータ、被写体検出に係る検出パラメータ、画像保存形式に係る画像保存形式パラメータのうちの１つ以上のパラメータを設定するステップと、
上記撮像装置のレリーズスイッチの半押しを検出するステップと、
上記撮像装置のレリーズスイッチの半押しが検出されたときに上記被写体をプリ撮影するステップと、
上記プリ撮影時に撮影された画像データから被写体の関心領域を決定するステップと、
上記決定された被写体の関心領域の画像データを記録するステップと、
所定の間隔で上記被写体の関心領域の移動をトラッキングするステップと、
上記撮像装置のレリーズスイッチの全押しを検出するステップと、
上記撮像装置のレリーズスイッチの全押しが検出されたときに少なくとも上記撮影用パラメータに基づいて画角全体を本撮影して記録するステップと、
を備えることを特徴とする画像記録処理方法。
【請求項２２】
上記パラメータを設定するステップは、更に、上記関心領域の一部を指定するステップを有し、
上記関心領域を決定するステップは、上記指定された上記関心領域の一部の位置情報を用いて上記プリ撮影時に撮影された画像データから被写体の関心領域を決定することを特徴とする請求項２１に記載の画像記録処理方法。
【請求項２３】
上記被写体の関心領域の移動をトラッキングするステップは、更に、上記トラッキングした上記被写体の関心領域の移動に応じて上記記録された被写体の関心領域の画像データを更新することを特徴とする請求項２１又は２２に記載の画像記録処理方法。
【請求項２４】
上記被写体の関心領域の移動をトラッキングするステップは、更に、上記トラッキングした上記被写体の関心領域の移動に応じて上記記録された被写体の関心領域の画像データを追加記録することを特徴とする請求項２１又は２２に記載の画像記録処理方法。
【請求項２５】
上記撮像装置のレリーズスイッチの全押しが検出されたときに少なくとも上記撮影用パラメータに基づいて画角全体を本撮影して記録するステップは、更に、本撮影後所定の枚数、上記被写体の関心領域の移動をトラッキングして該トラッキングした被写体の関心領域の画像データを追加記録することを特徴とする請求項２１又は２２に記載の画像記録処理方法。
【請求項２６】
撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理プログラムであって、
コンピュータに、
上記電子的に記録する被写体の複数枚の画像のうちの関心領域を撮影時に決定する手順と、
上記被写体の上記関心領域の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮する手順と、
上記複数の画像の上記関心領域の画像データを、非圧縮、上記画像圧縮手順による可逆圧縮、または上記画像圧縮手順による非可逆圧縮の、何れかの画像保存形式にて記録する手順と、
を実行させるための画像記録処理プログラム。
【請求項２７】
撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理プログラムであって、
コンピュータに、
上記電子的に記録する被写体の画像のうちの複数の関心領域を撮影時に決定する手順と、
上記複数の関心領域の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮する手順と、
上記複数の関心領域の画像データを、非圧縮、上記画像圧縮手順による可逆圧縮、または上記画像圧縮手順による非可逆圧縮の、何れかの画像保存形式にて記録する手順と、
を実行させるための画像記録処理プログラム。
【請求項２８】
撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理プログラムであって、
コンピュータに、
上記撮影装置の撮影条件に係る撮影用パラメータ、被写体検出に係る検出パラメータ、画像保存形式に係る画像保存形式パラメータのうちの１つ以上のパラメータを設定する手順と、
上記撮像装置のレリーズスイッチの半押しを検出する手順と、
上記撮像装置のレリーズスイッチの半押しが検出されたときに上記被写体をプリ撮影する手順と、
上記プリ撮影時に撮影された画像データから被写体の関心領域を決定する手順と、
上記決定された被写体の関心領域の画像データを記録する手順と、
所定の間隔で上記被写体の関心領域の移動をトラッキングする手順と、
上記撮像装置のレリーズスイッチの全押しを検出する手順と、
上記撮像装置のレリーズスイッチの全押しが検出されたときに少なくとも上記撮影用パラメータに基づいて画角全体を本撮影して記録する手順と、
を実行させるための画像記録処理プログラム。
【請求項２９】
上記被写体の関心領域の移動をトラッキングする手順は、更に、上記トラッキングした上記被写体の関心領域の移動に応じて上記記録された被写体の関心領域の画像データを更新することを特徴とする請求項２８に記載の画像記録処理プログラム。
【請求項３０】
上記被写体の関心領域の移動をトラッキングする手順は、更に、上記トラッキングした上記被写体の関心領域の移動に応じて上記記録された被写体の関心領域の画像データを追加記録することを特徴とする請求項２８に記載の画像記録処理プログラム。
【請求項３１】
上記撮像装置のレリーズスイッチの全押しが検出されたときに少なくとも上記撮影用パラメータに基づいて画角全体を本撮影して記録する手順は、更に、本撮影後所定の枚数、上記被写体の関心領域の移動をトラッキングして該トラッキングした被写体の関心領域の画像データを追加記録することを特徴とする請求項２８に記載の画像記録処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮影して得られた画像から使用者が閲覧時に必要とする被写体を含む近辺領域において高品位な画像を生成する撮像装置、画像記録処理方法及び画像記録処理プログラムに関する。
【背景技術】
【０００２】
複数枚の画像から高品位な画像を生成する技術が従来より提案されている。
【０００３】
例えば、特許文献１には、複数枚の位置ずれを持つ低解像度画像を用いて、高解像度画像を生成するという方法が開示されている。
【０００４】
また、デジタルビデオレコーダなどの環境で圧縮された低解像度の映像などから超解像度の映像での復元及び再構成をできるようにする技術として、特許文献２に開示されている技術がある。この特許文献２に開示の技術では、一旦、低解像度画像をデジタルビデオレコーダに貯蔵した後、関心領域（特に人物や自動車ナンバープレート）に対して高解像度での拡大ができる。
【０００５】
また、顔を検出してその領域のサイズと傾きを補正して切り出しファイルとして保存する技術として、特許文献３に開示されている技術がある。この特許文献３に開示の技術は、まず、撮像した画像１枚を取り込み、色データと予め記憶してある顔特徴データから顔を検出し、目、鼻、口を判別したら、それらを３つのパーツに分割し、各パーツの中心を結ぶ直線を割り出し、その直線を元に一定のバランスをとった余白個所を確保して画像を切り出すことで、傾きのない顔画像を保存するというものである。その際、画像に占める顔の面積が所定面積より小さい場合は、画像を保存しない。
【特許文献１】特許第２８２８１３８号公報
【特許文献２】特開２００５−２０７６１号公報
【特許文献３】特開２００３−９２７２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そもそも、高解像度化処理する場合、原画像の高周波成分を損なうことなく記録することが、超解像処理において望ましいが、撮影全体の画像を高速に撮影し、かつ高解像度で記録することは、ＳＤＲＡＭやバスアーキテクチャが高速・大容量書き込みに対応していなければならないため、撮像装置のハードウェアに大きな負担をかける。
【０００７】
前述の特許文献１に開示されている技術では、高画質化する領域について充分に考慮されておらず、使用者が必要とする領域だけを画像記録する事は可能となっていなかったため、ハードウェアへの負担は大きい。
【０００８】
また、前述の特許文献２に開示されている技術は、大容量書き込みを前提としたシステムにおける技術であるため、高速・大容量書き込みが対応されてないシステムにおいてのハードウェア負担の軽減という点が考慮されていない。
【０００９】
また、前述の特許文献３に開示されている技術では、顔領域を検出した時に必要な領域だけを保存できるものの、低解像画像の場合に高品質な顔画像を閲覧できない。また、顔の面積が小さい場合には、画像保存しないので被写体が遠方にある場合、画像を取得し保存できない。
【００１０】
本発明は、上記の点に鑑みてなされたもので、ハードウェアの負担を軽減させると共に、使用者が必要とする領域の高画質化を達成することが可能な撮像装置、画像記録処理方法及び画像記録処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の撮像装置の一態様は、撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置において、
上記電子的に記録する被写体の複数枚の画像のうちの関心領域を撮影時に決定する関心領域決定手段と、
上記関心領域の画像データを可逆圧縮または規定値より低い圧縮率で非可逆圧縮する画像圧縮手段と、
上記複数の画像の上記関心領域の画像データを、非圧縮、上記画像圧縮手段での可逆圧縮、または上記画像圧縮手段での非可逆圧縮の、何れかの画像保存形式にて記録する関心領域画像記録手段と、
を具備することを特徴とする。
【００１２】
また、本発明の撮像装置の別の態様は、撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置において、
上記電子的に記録する被写体の画像のうちの複数の関心領域を撮影時に決定する関心領域決定手段と、
上記複数の関心領域の画像データを可逆圧縮または規定値より低い圧縮率で非可逆圧縮する画像圧縮手段と、
上記複数の関心領域の画像データを、非圧縮、上記画像圧縮手段での可逆圧縮、または上記画像圧縮手段での非可逆圧縮の、何れかの画像保存形式にて記録する関心領域画像記録手段と、
を具備することを特徴とする。
【００１３】
本発明の画像記録処理方法の一態様は、撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理方法において、
上記電子的に記録する被写体の複数枚の画像のうちの関心領域を撮影時に決定する関心領域決定ステップと、
上記被写体の上記関心領域の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮する画像圧縮ステップと、
上記複数の画像の上記関心領域の画像データを、非圧縮、上記画像圧縮ステップによる可逆圧縮、または上記画像圧縮ステップによる非可逆圧縮の、何れかの画像保存形式にて記録する関心領域画像記録ステップと、
を具備することを特徴とする。
【００１４】
また、本発明の画像記録処理方法の別の態様は、撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理方法において、
上記電子的に記録する被写体の画像のうちの複数の被写体の関心領域を撮影時に決定する関心領域決定ステップと、
上記複数の関心領域の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮する画像圧縮ステップと、
上記複数の関心領域の画像データを、非圧縮、上記画像圧縮ステップによる可逆圧縮、または上記画像圧縮ステップによる非可逆圧縮の、何れかの画像保存形式にて記録する関心領域画像記録ステップと、
を具備することを特徴とする。
【００１５】
また、本発明の画像記録処理方法の更に別の態様は、撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理方法において、
上記撮影装置の撮影条件に係る撮影用パラメータ、被写体検出に係る検出パラメータ、画像保存形式に係る画像保存形式パラメータのうちの１つ以上のパラメータを設定するステップと、
上記撮像装置のレリーズスイッチの半押しを検出するステップと、
上記撮像装置のレリーズスイッチの半押しが検出されたときに上記被写体をプリ撮影するステップと、
上記プリ撮影時に撮影された画像データから被写体の関心領域を決定するステップと、
上記決定された被写体の関心領域の画像データを記録するステップと、
所定の間隔で上記被写体の関心領域の移動をトラッキングするステップと、
上記撮像装置のレリーズスイッチの全押しを検出するステップと、
上記撮像装置のレリーズスイッチの全押しが検出されたときに少なくとも上記撮影用パラメータに基づいて画角全体を本撮影して記録するステップと、
を備えることを特徴とする。
【００１６】
本発明の画像記録処理プログラムの一態様は、撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理プログラムであって、
コンピュータに、
上記電子的に記録する被写体の複数枚の画像のうちの関心領域を撮影時に決定する手順と、
上記被写体の上記関心領域の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮する手順と、
上記複数の画像の上記関心領域の画像データを、非圧縮、上記画像圧縮手順による可逆圧縮、または上記画像圧縮手順による非可逆圧縮の、何れかの画像保存形式にて記録する手順と、
を実行させることを特徴とする。
【００１７】
また、本発明の画像記録処理プログラムの別の態様は、撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理プログラムであって、
コンピュータに、
上記電子的に記録する被写体の画像のうちの複数の関心領域を撮影時に決定する手順と、
上記複数の関心領域の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮する手順と、
上記複数の関心領域の画像データを、非圧縮、上記画像圧縮手順による可逆圧縮、または上記画像圧縮手順による非可逆圧縮の、何れかの画像保存形式にて記録する手順と、
を実行させることを特徴とする。
【００１８】
また、本発明の画像記録処理プログラムの更に別の態様は、撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理プログラムであって、
コンピュータに、
上記撮影装置の撮影条件に係る撮影用パラメータ、被写体検出に係る検出パラメータ、画像保存形式に係る画像保存形式パラメータのうちの１つ以上のパラメータを設定する手順と、
上記撮像装置のレリーズスイッチの半押しを検出する手順と、
上記撮像装置のレリーズスイッチの半押しが検出されたときに上記被写体をプリ撮影する手順と、
上記プリ撮影時に撮影された画像データから被写体の関心領域を決定する手順と、
上記決定された被写体の関心領域の画像データを記録する手順と、
所定の間隔で上記被写体の関心領域の移動をトラッキングする手順と、
上記撮像装置のレリーズスイッチの全押しを検出する手順と、
上記撮像装置のレリーズスイッチの全押しが検出されたときに少なくとも上記撮影用パラメータに基づいて画角全体を本撮影して記録する手順と、
を実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、使用者の必要とする情報を考慮して、その情報が含まれる関心領域を撮影時に決定して、その関心領域の画像データを非圧縮、可逆圧縮、又は非可逆圧縮の何れかの画像保存形式にて記録することで、ハードウェアの負担を軽減させると共に、使用者が必要とする領域の高画質化を達成することが可能な撮像装置、画像記録処理方法及び画像記録処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００２１】
図１は、本発明の撮像装置の一実施形態としての電子スチルカメラ１０のブロック構成図である。この電子スチルカメラ１０は、絞り１２Ａを内包するレンズ系１２、分光ハーフミラー系１４、シャッタ１６、ローパスフィルタ１８、ＣＣＤ撮像素子２０、Ａ／Ｄ変換回路２２、ＡＥ用フォトセンサ２４、ＡＦモータ２６、撮像制御部２８、第１画像処理部３０、画像用バッファ３２、第２画像処理部３４、画像圧縮・伸張部３６、メモリカードＩ／Ｆ部３８、メモリカード４０、パラメータ解析部４２、操作表示部４４、撮像条件設定部４６、連写判定部４８、画素混合判定部５０、切替部５２、連写用バッファ５４、第３画像処理部５６を備える。
【００２２】
絞り１２Ａを内包するレンズ系１２、分光ハーフミラー系１４、シャッタ１６、ローパスフィルタ１８及びＣＣＤ撮像素子２０は、光軸に沿って配置されている。本実施形態では、ＣＣＤ撮像素子２０として単板ＣＣＤ撮像素子の使用を前提としている。分光ハーフミラー系１４から分岐した光束はＡＥ用フォトセンサ２４に導かれる。また、レンズ系１２には、合焦作業時に該レンズ系１２の一部（フォーカスレンズ）を移動するためのＡＦモータ２６が接続されている。
【００２３】
ＣＣＤ撮像素子２０からの信号は、Ａ／Ｄ変換回路２２でデジタルデータ化される。このデジタルデータは、第１画像処理部３０、切替部５２を介して画像用バッファ３２又は連写用バッファ５４へ入力される。または、第１画像処理部３０を介することなく、切替部５２を介して画像用バッファ３２又は連写用バッファ５４へ入力される。切替部５２は、連写判定部４８からの入力に従って、その切替動作を行うようになっている。
【００２４】
画像用バッファ３２からの出力は、第２画像処理部３４へ入力される。この第２画像処理部３４は、被写体検出処理部３４Ａを備え、被写体検出処理結果を撮像条件設定部４６へ出力する。
【００２５】
Ａ／Ｄ変換回路２２及びＡＥ用フォトセンサ２４からの信号は撮像条件設定部４６へ入力されており、撮像条件設定部４６からの信号は撮像制御部２８、連写判定部４８及び画素混合判定部５０へ入力される。撮像制御部２８へは、連写判定部４８及び画素混合判定部５０からも信号が入力される。撮像制御部２８は、それら撮像条件設定部４６、連写判定部４８及び画素混合判定部５０からの信号に基づいて、絞り１２Ａ、ＣＣＤ撮像素子２０及びＡＦモータ２６を制御する。
【００２６】
連写用バッファ５４は、第３画像処理部５６へ出力が行え、画像圧縮・伸張部３６とは入出力が行える。第３画像処理部５６は、モーション推定部５６Ａ及び超解像処理部５６Ｂを備え、画像圧縮・伸張部３６へ入出力が可能に、さらにメモリカードＩ／Ｆ部３８及び操作表示部４４へ出力が可能となっている。ＪＰＥＧなどの圧縮を行う画像圧縮・伸張部３６からの信号は、メモリカードＩ／Ｆ部３８を介して脱着可能なメモリカード４０へ入力が行える。
【００２７】
図２は、本実施形態における電子スチルカメラ１０の概略の外観構成を示す背面図である。同図に示すように、この電子スチルカメラ１０は、操作表示部４４として、カメラ本体１０Ａの上面に配置された電源スイッチ４４Ａ及びレリーズスイッチ４４Ｂと、カメラ本体１０Ａの背面に配された液晶表示パネル４４Ｃ及び操作ボタン４４Ｄと、を有している。この操作表示部４４の各スイッチの操作による操作信号は、第２画像処理部３４、メモリカードＩ／Ｆ部３８、撮像条件設定部４６及び第３画像処理部５６に入力される。また、操作表示部４４の液晶表示パネル４４Ｃは、パラメータ解析部４２からの信号に従ったパラメータを表示する。このパラメータ解析部４２からの信号は、第２画像処理部３４、画像圧縮・伸張部３６及び撮像条件設定部４６にも入力される。第２画像処理部３４は、パラメータ解析部４２からの信号に基づいて被写体検出処理部３４Ａで対象被写体の検出処理を行い、その検出結果を画像圧縮・伸張部３６及び第３画像処理部５６に入力する。
【００２８】
図３は、本実施形態における電子スチルカメラ１０の処理フローチャートを示す図である。
【００２９】
即ち、電子スチルカメラ１０は、まず、各種パラメータ設定処理を実行して、自動検出用パラメータ、画像保存形式パラメータ、撮像方式パラメータを設定し（ステップＳ１０）、更に、検出対象領域を設定する（ステップＳ１２）。これらパラメータの詳細及び検出対象領域の設定手法の詳細については後述する。
【００３０】
そして、使用者がレリーズスイッチ４４Ｂを半押しすることで、プリ撮影を実行して、画像用バッファ３２に画像データを取り込む（ステップＳ１４）。その後、第２画像処理部３４によって、上記画像用バッファ３２に取り組んだ画像データを、設定されている検出対象領域を基に画像解析／検出処理することにより、被写体の検出を行い（ステップＳ１６）、その検出した被写体の領域から最適な矩形領域を、高解像度化するべき関心領域として決定する（ステップＳ１８）。そして、使用者がレリーズスイッチ４４Ｂを半押ししている間、検出被写体（関心領域）をトラッキングする（ステップＳ２０）。
【００３１】
而して、使用者がレリーズスイッチ４４Ｂを全押ししたならば、本撮影を実行して、トラッキングしている関心領域の画像データを単数または複数枚連続して撮影する（ステップＳ２２）。この際、撮影方式として、通常撮影以外に画素混合読み出し撮影を行う場合がある。画素混合読み出し撮影とは、図４に示すように、Ｂａｙｅｒ配列のＣＣＤ撮像素子２０からの信号の読み出しにおいて、同じカラーチャンネルの複数画素信号を加算して読み出すことで、画像の解像度は下がるが、感度を複数倍にして画像の信号を読み出す方式である。これに対して、通常撮影は、画素混合読み出しを行わずに、Ｂａｙｅｒ配列のＣＣＤ撮像素子２０からの信号の読み出しにおいて、画素毎に信号を読み出す方式である。このように撮影方式に応じて読み出しされた画像データが連写用バッファ５４に取り込まれる。
【００３２】
そして、上記ステップＳ１０で設定した画像保存形式パラメータに従い、画像データの保存形式を選択する（ステップＳ２４）。選択された保存形式が可逆圧縮である場合には、連写用バッファ５４にある画像データを使用して画像圧縮・伸張部３６で可逆圧縮処理を施し（ステップＳ２６）、また、非可逆圧縮の場合には、連写用バッファ５４にある画像データを使用して画像圧縮・伸張部３６で非可逆圧縮処理を施して（ステップＳ２８）、圧縮データを連写用バッファ５４に保存する（ステップＳ３０）。また、選択された保存形式が非圧縮の場合は、連写用バッファ５４にそのまま保存しておく（ステップＳ３０）。なお、決定した関心領域が複数あり、それぞれの関心領域が重なった場合には、相互に重なる領域を含めて保存する。複数枚撮影の場合、レリーズスイッチ４４Ｂを全押しした時にトラッキングしている関心領域と同じ位置の複数フレーム分の関心領域の画像データを保存する。
【００３３】
こうして各保存形式通りに画像データが連写用バッファ５４に保存された後、その画像データを使用し、モーション推定部５６Ａ、超解像処理部５６Ｂを含む第３画像処理部５６で、高解像度化処理を施して、高品質な画像を生成する（ステップＳ３２）。なお、連写用バッファ５４に保存している画像データが圧縮されている場合は、一旦、画像圧縮・伸張部３６で伸張し、伸張した画像データを第３画像処理部５６へ入力する。
【００３４】
第３画像処理部５６で生成された高品質な画像は、操作表示部４４の液晶表示パネル４４Ｃに表示され（ステップＳ３４）、使用者の操作ボタン４４Ｄの操作によって選択されたものが、メモリカードＩ／Ｆ部３８によりメモリカード４０に保存される（ステップＳ３６）。
【００３５】
なお、上記ステップＳ２２では、使用者がレリーズスイッチ４４Ｂを全押ししたならば、本撮影を実行して、トラッキングしている関心領域を単数または複数枚連続して撮影するものとしたが、本発明はそれに限定されるものではない。
【００３６】
例えば、使用者がレリーズスイッチ４４Ｂを全押ししたならば、本撮影を実行して、トラッキング時に記録していた所定枚数分の関心領域の画像データを非圧縮或いは低圧縮で記録して、後に超解像処理（高解像度化処理）に使用するようにしても良い。
【００３７】
また、使用者がレリーズスイッチ４４Ｂを全押ししたならば、本撮影を実行して、トラッキングを所定フレーム分続け、レリーズスイッチ４４Ｂを全押し後にトラッキングされた所定フレーム分の関心領域の画像データを非圧縮或いは低圧縮で記録して、後に超解像処理（高解像度化処理）に使用するようにしても良い。
【００３８】
あるいは、使用者がレリーズスイッチ４４Ｂを全押ししたならば、本撮影を実行して、トラッキングを所定フレーム分続け、レリーズスイッチ４４Ｂを全押し後にトラッキングされた所定フレーム分の関心領域の画像データと、レリーズスイッチ４４Ｂを半押し時にトラッキングしていた所定フレーム分の関心領域の画像データとを、非圧縮或いは低圧縮で記録して、後に超解像処理（高解像度化処理）に使用するようにしても良い。
【００３９】
更には、使用者がレリーズスイッチ４４Ｂを全押ししたならば、本撮影を実行して、最後に（全押し時に）更新されているトラッキングされた関心領域と同じ領域である所定フレーム分の関心領域の画像データと、レリーズスイッチ４４Ｂを半押し時にトラッキングしていた所定フレーム分の関心領域の画像データとを、非圧縮或いは低圧縮で記録して、後に超解像処理（高解像度化処理）に使用するようにしても良い。
【００４０】
以下、電子スチルカメラ１０で行われる上述の処理について、データの流れに基づいてさらに説明する。
【００４１】
まず、使用者がレリーズスイッチ４４Ｂを半押ししたり、あるいは電源スイッチ４４ＡをＯＮ状態にすることにより、撮像制御部２８は、絞り１２Ａ，シャッタ１６，ＡＦモータ２６の制御を行い、プリ撮影を行う。
【００４２】
このプリ撮影では、ＣＣＤ撮像素子２０からの信号がＡ／Ｄ変換回路２２にてデジタルデータ化され、第１画像処理部３０により公知のホワイトバランス処理，強調処理，補間処理などがなされた３板状態の画像データとして、画像用バッファ３２に出力される。
【００４３】
ただし、本実施形態で、ステップＳ１４のプリ撮影後にステップＳ２２で実施される本撮影においては、画像保存形式が非圧縮（ＲＡＷフォーマットデータ）の場合、或いは、可逆、非可逆の圧縮であってもＲＡＷフォーマットデータ圧縮の場合は、第１画像処理部３０で、フルカラー補間処理を行わず単板状態の画像データとして連写用バッファ５４に出力される。
【００４４】
なお、ＲＡＷフォーマットデータ圧縮とは、フルカラー画像に対してＪＰＥＧなどで圧縮するものとは違い、例えば、ＣＣＤ撮像素子２０から出力されたＢａｙｅｒ配列のＲＡＷデータに対して圧縮するもので、Ｂａｙｅｒ配列を色毎に分割し、分割した各色データに対してＪＰＥＧ、ＪＰＥＧ２０００などの圧縮処理をするものである。
【００４５】
プリ撮像では、撮像条件設定部４６が本撮像のための撮像条件を決定し、決定した撮影条件を撮像制御部２８及び連写判定部４８に転送する。また、撮像条件設定部４６は、連写判定部４８で決定された撮影条件に基づいて撮影モードの決定を行い、決定した撮影モードの情報を撮像制御部２８及び切替部５２へ転送する。ここで、撮像条件とは、シャッタ速度、絞り値、合焦位置、ＩＳＯ感度などの撮影時に要する各要素に対する設定値の組みである。
【００４６】
撮像条件を求める過程は、撮像条件設定部４６が公知の技術によって行う。
【００４７】
露光量に関するシャッタ速度と絞り値は、レンズ系１２と分光ハーフミラー系１４を介して被写体の光量をＡＥ用フォトセンサ２４にて測定した結果に基づき設定される。測定対象となる領域は、ＡＥ用フォトセンサ２４の前に配置された図示しない絞り機能などから切り換え可能で、スポット測光や中央重点測光や平均測光などの手法で測光される。なお、シャッタ速度と絞り値の組み合わせとしては、事前にその組み合わせを定めてある自動露光方式や、使用者が設定したシャッタ速度にあわせて絞り値を求めるシャッタ速度優先方式や、使用者が設定した絞り値にあわせてシャッタ速度を求める絞り優先方式などが選択できる。
【００４８】
合焦位置は、ＣＣＤ撮像素子２０からの出力信号をＡ／Ｄ変換回路２２にてデジタルデータ化して、この単板状態の画像データからの輝度データを算出し、その輝度データ中のエッジ強度から求められる。即ち、ＡＦモータ２６にてレンズ系１２の合焦位置を段階的に変えることで、エッジ強度が最大となる合焦位置を推定する。
【００４９】
ＩＳＯ感度の設定方法は、電子スチルカメラ１０における感度モードの設定によって異なる。電子スチルカメラ１０において感度モードがマニュアル感度モードに設定されている場合には、使用者の設定値によって行う。電子スチルカメラ１０において感度モードが自動感度モードの場合には、レンズ系１２と分光ハーフミラー系１４を介して被写体の光量をＡＥ用フォトセンサ２４にて測定した結果に基づき決定される。即ち、ＡＥ用フォトセンサ２４にて測定した光量が少ない場合に高いＩＳＯ感度に決定し、光量が多い場合に低いＩＳＯ感度に決定する。なお、本実施形態におけるＩＳＯ感度とは、ＣＣＤ撮像素子２０からの信号に対する電気的増幅（ゲインアップ）の程度を表す値であり、この値が大きいほど電気的増幅の程度を高くしている。
【００５０】
図５（Ａ）は、上記ステップＳ１０において、パラメータ解析部４２で解析するパラメータの設定手順を説明するフローチャートを示す図である。
【００５１】
即ち、まず、検出被写体パラメータの設定を行う（ステップＳ１０Ａ）。これは、パラメータ解析部４２で解析され、第２画像処理部３４の被写体検出処理部３４Ａで行う検出被写体パラメータとして、人物の顔や自動車のナンバプレートといった、高解像度化させたい対象被写体の種別を選択するパラメータを設定する処理である。この選択は、例えば工場出荷時にメーカパラメータとして予め種別を決定しておき自動で設定されるというものであっても良いし、液晶表示パネル４４Ｃに設定メニューを表示して操作ボタン４４Ｄの操作により使用者が手動で設定するようにしても良い。
【００５２】
次に、画像保存形式パラメータの設定を行う（ステップＳ１０Ｂ）。これは、パラメータ解析部４２で解析され、第１画像処理部３０から連写用バッファ５４に保存された画像データを第３画像処理部５６に入力させる際の画像保存形式を設定する処理である。例えば、非圧縮（ＲＡＷフォーマットデータ）、可逆圧縮（ＲＡＷフォーマットデータ圧縮）、非可逆圧縮（ＲＡＷフォーマットデータ圧縮）、非圧縮（フルカラー）、可逆圧縮（フルカラー圧縮）、非可逆圧縮（フルカラー圧縮）、等が選択できる。なお、可逆或いは非可逆のどちらであってもフルカラー圧縮するようにパラメータ設定した場合には、第１画像処理部３０から連写用バッファ５４に保存された画像データは、画像圧縮・伸張部３６で一度圧縮後、再度、連写用バッファ５４へ保存してから第３画像処理部５６へ入力されることとなる。それ以外の場合は、そのまま第３画像処理部５６へ入力されるものである。本画像保存形式パラメータも、上記検出被写体パラメータと同様、自動設定でも手動設定でも良い。
【００５３】
その後、非可逆圧縮時の圧縮率規定値の設定を行う（ステップＳ１０Ｃ）。これは、パラメータ解析部４２で解析され、連写用バッファ５４に保存された画像データを第３画像処理部５６に入力させる際の画像保存形式が非可逆圧縮の場合に、関心領域の部分の画像データを画像圧縮・伸張部３６で圧縮する際の許容圧縮率を設定するものであり、設定された規定値よりも圧縮率が低くなるように制御される。本パラメータも、自動でも手動でも設定できる。
【００５４】
そして、撮影方式パラメータの設定を行う（ステップＳ１０Ｄ）。これは、パラメータ解析部４２で解析され、撮像条件設定部４６で判定されるパラメータを設定する処理であり、第３画像処理部５６で高解像度化させたい矩形の関心領域を撮影する際の撮影方式を選択するものである。例えば、連写、単数画素混合、連写画素混合、等が選択できる。本パラメータも、自動設定でも手動設定でも構わない。
【００５５】
図５（Ｂ）は、上記ステップＳ１２において、第２画像処理部３４で被写体検出処理する検出対象領域を設定する手順を説明するフローチャートを示す図である。
【００５６】
即ち、まず、使用者が液晶表示パネル４４Ｃにメニュー画面を表示させて操作ボタン４４Ｄの操作によって領域設定法を設定し、その設定された領域設定法の判定を行う（ステップＳ１２Ａ）。ここで、設定された領域設定法が手動であると判定した場合には、操作ボタン４４Ｄを使用者が操作して関心領域の一部を指定し（ステップＳ１２Ｂ）、その指定された関心領域の一部から周囲の矩形領域を検出対象領域として設定する（ステップＳ１２Ｃ）。また、設定された関心領域設定法が自動であると判定した場合には、撮影している全領域を検出対象領域に設定する（ステップＳ１２Ｄ）。
【００５７】
上記ステップＳ１６で第２画像処理部３４の被写体検出処理部３４Ａにて画像検出処理を行う際、このようにして設定された検出対象領域内において、プリ撮影で撮影して画像用バッファ３２に保存された画像データから対象被写体の検出処理を行う。なお、第２画像処理部３４で行う被写体検出及び関心領域決定の処理は、特開平５−２６８５１３号公報、特開平１１−３１２２４３号公報、特開２００４−９４４１２号公報などに開示された公知の技術であるので、その説明は省略する。
【００５８】
図６及び図７は、関心領域の設定を手動で行う場合のシーケンスを示す図である。図６は関心領域を１つ指定する場合を示し、図７は２つ指定する場合を示している。
【００５９】
関心領域を手動で設定する場合、上記ステップＳ１２Ｂにおいて、図６（Ａ）に示すように、関心領域指定カーソル５８が液晶表示パネル４４Ｃに表示されるので、使用者は、図６（Ｂ）に示すように、操作ボタン４４Ｄの操作によりこの関心領域指定カーソル５８を動かし、関心領域の一部を指定する。この際、図７（Ａ）に示すように、操作ボタン４４Ｄの操作によって、関心領域指定カーソル５８の大きさは変更でき、また関心領域指定カーソル５８の数も増やすことができる。上記ステップＳ１２Ｃにおいて、こうして使用者によって指定された各関心領域指定カーソル５８の領域が上記検出対象領域として設定される。
【００６０】
そして、図６（Ｃ）及び図７（Ｂ）に示すように、上記ステップＳ１４において、使用者がレリーズスイッチ４４Ｂを半押ししてプリ撮影すると、上記ステップＳ１６において、上記検出対象領域をもとに、色情報（肌の色、領域の濃淡、滑らかさ）、輝度情報、テクスチャ、エッジや輪郭といった構造要素、画像（フレーム）間の差分、上記ステップＳ１０Ａで設定済みの検出被写体パラメータ、などから、被写体を検出して、上記ステップＳ１８において、検出した被写体個所を含む関心領域を決定し、その決定した関心領域を使用者に呈示するために、液晶表示パネル４４Ｃに関心領域決定ボックス６０を表示する。なお、使用者がレリーズスイッチ４４Ｂを離すまでは、上記ステップＳ２０において、図６（Ｄ）及び図７（Ｃ）に示すように、色、輝度等の情報やフレーム間の相関に基き、関心領域の被写体をトラッキングし、関心領域決定ボックス６０の表示も、トラッキングに連動して表示する。
【００６１】
このように、関心領域決定ボックス６０を表示すると同時にレリーズスイッチ４４Ｂを完全に押せるようになる。即ち、第２画像処理部３４での被写体検出により局所領域（関心領域）を決定した後、レリーズスイッチ４４Ｂを完全に押せるようになる。
【００６２】
而して、図６（Ｅ）及び図７（Ｄ）に示すように、使用者がレリーズスイッチ４４Ｂを完全に押すと、上記ステップＳ２２において、パラメータ解析部４２から撮像条件設定部４６で設定された撮影用パラメータ、連写判定部４８によって決定された撮影方式に基づいて、撮像制御部２８が本撮影を行う。本撮影が行われると、撮影した画像データ（画角全体及び関心領域）は、上記ステップＳ３０において、単数撮影でも複数枚撮影でも、連写用バッファ５４に入力され保存される。なお、図７（Ｄ）に示すように、複数の関心領域の一部が重なった場合、それぞれの重なる部分を含めて各関心領域の画像データをそれぞれ保存する。
【００６３】
切替部５２は、プリ撮影時は画像用バッファ３２へ、本撮影時は連写用バッファ５４へ画像の入力先を切り替える。連写用バッファ５４へ入力された画像データに対しては、上記ステップＳ２４乃至ステップＳ２８で説明したように、パラメータ解析部４２で解析された（上記ステップＳ１０Ｂで設定された）画像保存形式パラメータが、可逆或いは非可逆のどちらかの圧縮を施すような設定である場合は、画像圧縮・伸張部３６で圧縮し、連写用バッファ５４へ出力する。その後、画像圧縮・伸張部３６で伸張してから第３画像処理部５６へ入力する。非圧縮の場合は、連写用バッファ５４からそのまま第３画像処理部５６へ入力する。
【００６４】
図８（Ａ）及び（Ｂ）は、画角全体と関心領域の画像保存方法の例を示す図である。即ち、図６（Ｅ）及び図７（Ｄ）に示すように使用者がレリーズスイッチ４４Ｂを完全に押した時、図８（Ａ）に示すように、画角全体の画像データを高圧縮で保存し、第１関心領域及び第２関心領域の画像データは非圧縮で保存する。あるいは、画角全体の画像データを高圧縮で保存し、第１関心領域と第２関心領域の画像データは低圧縮で保存するようにしても良い。
【００６５】
各関心領域における画像保存形式は、上述したステップＳ１０Ｂの画像保存形式パラメータの設定処理によって設定された形式で行う。そのとき、保存形式が非可逆圧縮の場合は、ステップＳ１０Ｃの非可逆圧縮時の圧縮率規定値の設定処理によって設定された規定値よりも圧縮率が低くなるように制御する。つまり、図８（Ｂ）に示すような画像保存方法を採用する時、第１関心領域の低圧縮（１）、画角全体の高圧縮（２）、及び第２関心領域の低圧縮（３）における圧縮率の関係は、
（２）の圧縮率＞（１）の圧縮率  且つ  （１）の圧縮率＜規定値（許容圧縮率）
（２）の圧縮率＞（３）の圧縮率  且つ  （３）の圧縮率＜規定値（許容圧縮率）
が成り立つ。
【００６６】
関心領域の画像データは、非圧縮保存、または、このような制御方法により圧縮保存することで、撮像時の高周波成分を多く残すようにしておく。
【００６７】
そして、上記ステップＳ３２において、第３画像処理部５６で、関心領域について高解像度化の処理を行う。その後、上記ステップＳ３６において、使用者が保存を選択した高解像度の関心領域の画像データがメモリカード４０に保存される。この場合、ＪＰＥＧなどの圧縮処理が画像圧縮・伸張部３６にて行われ、メモリカードＩ／Ｆ部３８を介して脱着可能なメモリカード４０へ出力される場合もあれば、圧縮処理を行わずにメモリカードＩ／Ｆ部３８を介して脱着可能なメモリカード４０へ出力する場合もある。
【００６８】
なお、上記ステップＳ３２で実行される第３画像処理部５６での高解像度化処理は、モーション推定部５６Ａで行うモーション推定処理と、超解像処理部５６Ｂで行う超解像処理とからなる。
【００６９】
第３画像処理部５６におけるモーション推定部５６Ａは、連写撮影モードにより撮影され、連写用バッファ５４へ入力された複数枚の画像データ（画角全体及び関心領域）のうち、関心領域の画像データを用いて、各関心領域の画像データ（フレーム）におけるフレーム間の動き推定を行う。図９は、このモーション推定部５６Ａで実行される動き推定処理のフローチャートを示す図である。
【００７０】
即ち、まず、動き推定の基準となる関心領域の画像データ（基準画像）を１枚読み込む（ステップＳ３２Ａ１）。この基準画像は、例えば複数枚連続して撮影した関心領域の画像データのうち最初の画像データ（第１フレームの画像）であっても良いし、使用者が任意に指定した関心領域の画像データ（フレーム）であっても良い。次に、上記読み取った基準画像を、複数の動きで変形させる（ステップＳ３２Ａ２）。
【００７１】
その後、他の関心領域の画像データ（参照画像）を１枚読み込み（ステップＳ３２Ａ３）、この読み込んだ参照画像と上記基準画像を複数変形させたそれぞれの画像列との間の類似度値を算出する（ステップＳ３２Ａ４）。そして、変形させた動きのパラメータと算出した類似度値との関係を用いて、図１０に示すような離散的な類似度マップを作成し（ステップＳ３２Ａ５）、その作成した離散的な類似度マップを補完することで、類似度マップの極値を探索して、類似度マップの極値を求める（ステップＳ３２Ａ６）。この求めた極値を持つ変形の動きが推定値となる。類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法等がある。
【００７２】
そしてその後、全ての参照画像において動き推定を行ったか否かを判別し（ステップＳ３２Ａ７）、まだ動き推定をしていない参照画像がある場合には、参照画像のフレーム番号を１つ上げて（ステップＳ３２Ａ８）、上記ステップＳ３２Ａ３へ戻ることで、次の参照画像を読み込んで上記処理を継続する。
【００７３】
而して、対象となる全ての参照画像において動き推定を行ったならば（ステップＳ３２Ａ７）、処理を終了する。
【００７４】
図１０は、動き推定をパラボラフィッティングで行った例を示す図である。縦軸は２乗偏差を表し、値が小さいほど類似度が高い。
【００７５】
なお、上記ステップＳ３２Ａ２における基準画像の複数の動きでの変形は、例えば、水平、垂直、回転方向に対して、±１ピクセルの動きパラメータで基準画像を１９通り（２７通り中８通りは同じ変形パターン）に変形させる。この場合、図１０の類似度マップの横軸は、変形モーションパラメータを表し、例としては、水平方向，垂直方向，回転方向の組み合わせのモーションパラメータと考えると、負の方から（−１，＋１，−１）、（−１，＋１，０）、（−１，＋１，＋１）の各離散類似度値をプロットする。また、各変形方向を別々と考えると、負の方向から（−１），（０），（＋１）となり、水平方向，垂直方向，回転方向について別々にプロットする。
【００７６】
図１１（Ａ）及び（Ｂ）は、参照画像における基準画像への近似を示す。図１１（Ａ）に示すような各参照画像は、動き推定値の符号反転した値で画像変形することにより、図１１（Ｂ）に示すように基準画像に近似する。
【００７７】
次に、第３画像処理部５６の超解像処理部５６Ｂで行う、複数枚の画像を使用して高解像度の画像を復元する画像高解像度化処理（超解像処理）を、図１２のフローチャートを参照して説明する。
【００７８】
即ち、まず、高解像度画像推定に用いるためｋ枚（ｋ≧１）の関心領域の画像データ（低解像度画像ｙ）を読み込む（ステップＳ３２Ｂ１）。そして、それらｋ枚の低解像度画像ｙの中の任意の１枚をターゲットフレームと仮定し、補完処理を行うことで初期の高解像度画像ｚを作成する（ステップＳ３２Ｂ２）。なお、このステップＳ３２Ｂ２は、場合により省略することができる。
【００７９】
その後、予め何らかのモーション推定法で求められた、ターゲットフレームとその他のフレームの画像間のモーション（例えば、上述したようにモーション推定部５６Ａで動き推定値を求める）により、画像間の位置関係を明らかにする（ステップＳ３２Ｂ３）。そして、光学伝達関数（ＯＴＦ）、ＣＣＤアパーチャ等の撮像特性を考慮した点広がり関数（ＰＳＦ）を求める（ステップＳ３２Ｂ４）。このＰＳＦは、例えばＧａｕｓｓ関数を用いる。
【００８０】
そして、上記ステップＳ３２Ｂ３及びステップＳ３２Ｂ４の情報を元に、評価関数ｆ（ｚ）の最小化を行う（ステップＳ３２Ｂ５）。ただし、ｆ（ｚ）は以下のような形となる。
【数１】
2008109482.tif 000003
【００８１】
ここでｙは低解像度画像、ｚは高解像度画像、Ａは画像間モーション（例えばモーション推定部５６Ａで求めた動き推定値）及びＰＳＦ等を含めた撮像システムを表す画像変換行列である。ｇ（ｚ）は画像の滑らかさや色相関を考慮した拘束項等が入る。λは重み係数である。評価関数の最小化には、例えば最急降下法を用いる。
【００８２】
そして、上記ステップＳ３２Ｂ５で求めた評価関数ｆ（ｚ）が最小化されたか否かを判別する（ステップＳ３２Ｂ６）。ここで、まだ最小化されていない場合には、高解像度画像ｚをアップデートして（ステップＳ３２Ｂ７）、上記ステップＳ３２Ｂ５に戻る。
【００８３】
而して、上記ステップＳ３２Ｂ５で求めた評価関数ｆ（ｚ）が最小化されたならば、高解像度画像ｚが得られたとして処理を終了する。
【００８４】
図１３は、このような超解像処理を実施する超解像処理部５６Ｂの構成の一例を示す図である。この超解像処理部５６Ｂは、初期画像記憶部５６Ｂ１、畳込み積分部５６Ｂ２、ＰＳＦデータ保持部５６Ｂ３、画像比較部５６Ｂ４、乗算部５６Ｂ５、貼り合せ加算部５６Ｂ６、蓄積加算部５６Ｂ７、更新画像生成部５６Ｂ８、画像蓄積部５６Ｂ９、反復演算判定部５６Ｂ１０、反復判定値保持部５６Ｂ１１、及び補間拡大部５６Ｂ１２から構成される。
【００８５】
即ち、上記連写用バッファ５４からの基準画像を補間拡大部５６Ｂ１２で補間拡大し、その補間拡大画像が初期画像記憶部５６Ｂ１に与えられ、初期画像として記憶される。なお、補間拡大部５６Ｂ１２での補間方法は、バイリニア補間、バイキュービック補間などで補間する。
【００８６】
この初期画像記憶部５６Ｂ１に記憶された初期画像は畳込み積分部５６Ｂ２に与えられ、ＰＳＦデータ保持部５６Ｂ３より与えられるＰＳＦデータと畳込み積分される。ここでのＰＳＦデータは、各フレームのモーションも考慮して与えられる。また、上記初期画像記憶部５６Ｂ１に記憶された初期画像データは同時に画像蓄積部５６Ｂ９に送られ、ここに蓄積される。
【００８７】
上記畳込み積分部５６Ｂ２で畳込み積分された画像データは画像比較部５６Ｂ４に送られ、上記モーション推定部５６Ａで求められた各フレーム毎のモーション（動き推定値）を元に適切な座標位置で、上記連写用バッファ５４より与えられる撮影画像と比較される。そして、その比較された残差は乗算部５６Ｂ５に送られ、ＰＳＦデータ保持部５６Ｂ３より与えられるＰＳＦデータの各画素毎の値に掛け合わされる。この演算結果は貼り合せ加算部５６Ｂ６に送られ、それぞれ対応する座標位置に置かれる。ここで、乗算部５６Ｂ５からの画像データは重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる部分については加算していく。撮影画像１枚分のデータの貼り合せ加算が終るとデータは蓄積加算部５６Ｂ７に送られる。
【００８８】
蓄積加算部５６Ｂ７では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データ順次加算してゆく。加算された画像データは、更新画像生成部５６Ｂ８に送られる。更新画像生成部５６Ｂ８には、これと同時に、画像蓄積部５６Ｂ９に蓄積されていた画像データが与えられ、この２つの画像データに重みをつけて加算して、更新画像データを生成する。
【００８９】
この更新画像生成部５６Ｂ８で生成された更新画像データは反復演算判定部５６Ｂ１０に与えられ、反復判定値保持部５６Ｂ１１から与えられる反復判定値を元に演算を反復するか否かを判断する。演算を反復する場合には、データを畳込み積分部５６Ｂ２に送り上記の一連の処理を繰り返す。
【００９０】
これに対して、反復しない場合は、更新画像生成部５６Ｂ８で生成され該反復演算判定部５６Ｂ１０に入力された更新画像データを、高解像度画像として出力する。
【００９１】
このような一連の処理を行うことで、反復演算判定部５６Ｂ１０から出力される画像は撮影画像よりも高解像度なものとなる。
【００９２】
また、上記ＰＳＦデータ保持部５６Ｂ３で保持されるＰＳＦデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、モーション推定部５６Ａよりフレーム毎のモーションが与えられるようになっている。
【００９３】
以上詳述したように、本一実施形態によれば、使用者が後に高解像度化すると予想される被写体を自動的に検出でき、検出した被写体部を含む局所領域においては、画像全体の記録とは異なり、なるべく高周波成分を多く残すような記録をする。従って、記憶媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装できるので、ハードウェアの負担を軽減するとともに、高品質な画像生成を提供することが可能となる。
【００９４】
以上、一実施形態に基づいて本発明を説明したが、本発明は上述した一実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００９５】
例えば、複数枚の低解像度画像（関心領域の画像データ）を使用して高解像度の画像を復元する画像高解像度化処理（超解像処理）を説明したが、１枚の低解像度画像を使用して高解像度の画像を復元することも可能なことは勿論である。
【００９６】
また、上記一実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、メモリ等に保存してある低解像度画像を用いて、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。
【００９７】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００９８】
（１）  撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置において、
上記電子的に記録する被写体の複数枚の画像のうちの関心領域を撮影時に決定する関心領域決定手段と、
上記関心領域の画像データを可逆圧縮または規定値より低い圧縮率で非可逆圧縮する画像圧縮手段と、
上記複数の画像の上記関心領域の画像データを、非圧縮、上記画像圧縮手段での可逆圧縮、または上記画像圧縮手段での非可逆圧縮の、何れかの画像保存形式にて記録する関心領域画像記録手段と、
を具備することを特徴とする撮像装置。
【００９９】
（実施形態との対応）
一実施形態においては、電子スチルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子２０が上記撮像素子に、第２画像処理部３４が上記関心領域決定手段に、画像圧縮・伸張部３６が上記画像圧縮手段に、連写用バッファ５４が上記関心領域画像記録手段に、それぞれ対応する。
【０１００】
（作用効果）
この（１）に記載の撮像装置によれば、時間軸上の複数枚の画像から、使用者が後に高解像度化すると予想される被写体を自動的に検出でき、検出した被写体部を含む局所領域においては、画像全体の記録とは異なり、なるべく高周波成分を多く残すような記録をする。従って、記憶媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装できるので、ハードウェアの負担を軽減するとともに、高品質な画像生成を提供することが可能となる。
【０１０１】
（２）  撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置において、
上記電子的に記録する被写体の画像のうちの複数の関心領域を撮影時に決定する関心領域決定手段と、
上記複数の関心領域の画像データを可逆圧縮または規定値より低い圧縮率で非可逆圧縮する画像圧縮手段と、
上記複数の関心領域の画像データを、非圧縮、上記画像圧縮手段での可逆圧縮、または上記画像圧縮手段での非可逆圧縮の、何れかの画像保存形式にて記録する関心領域画像記録手段と、
を具備することを特徴とする撮像装置。
【０１０２】
（実施形態との対応）
一実施形態においては、電子スチルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子２０が上記撮像素子に、第２画像処理部３４が上記関心領域決定手段に、画像圧縮・伸張部３６が上記画像圧縮手段に、連写用バッファ５４が上記関心領域画像記録手段に、それぞれ対応する。
【０１０３】
（作用効果）
この（２）に記載の撮像装置によれば、同一画像データ中、使用者が後に高解像度化すると予想される複数の被写体を自動的に検出でき、検出した複数の被写体部を含む複数の局所領域においては、画像全体の記録とは異なり、なるべく高周波成分を多く残すような記録をする。従って、記憶媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装できるので、ハードウェアの負担を軽減するとともに、高品質な画像生成を提供することが可能となる。
【０１０４】
（３）  上記関心領域決定手段は、
上記関心領域の一部を指定する関心領域指定手段と、
上記関心領域指定手段によって指定した上記関心領域の一部の画像データを基に、色情報、輝度情報、テクスチャ、構造要素、及び画像間の差分のうちの少なくとも１つの解析によって、上記被写体を検出する被写体検出手段と、
を備え、
上記被写体検出手段によって検出した被写体に基づいて上記関心領域を決定することを特徴とする（１）又は（２）に記載の撮像装置。
【０１０５】
（実施形態との対応）
一実施形態においては、操作表示部４４が上記関心領域指定手段に、被写体検出処理部３４Ａが上記被写体検出手段に、それぞれ対応する。
【０１０６】
（作用効果）
この（３）に記載の撮像装置によれば、関心領域の一部を指定するだけで関心領域を判別して自動設定するので、使用者の操作が簡単である。
【０１０７】
（４）  上記関心領域決定手段は、上記被写体検出手段によって検出した被写体の検出境界に基づいたサイズ及び箇所の矩形領域を決定することを特徴とする（３）に記載の撮像装置。
【０１０８】
（実施形態との対応）
一実施形態においては、ステップＳ１８の処理が対応する。
【０１０９】
（作用効果）
この（４）に記載の撮像装置によれば、矩形領域を関心領域とするので、領域決定及び後の高解像度化の処理が簡易に行える。
【０１１０】
（５）  使用者が上記撮像装置の各種のパラメータのうち所望のパラメータを設定するためのパラメータ設定指示手段を更に具備し、
上記関心領域決定手段は、上記パラメータ設定指示手段で指示された検出する対象被写体の種別を検出用パラメータとして設定する検出用パラメータ設定手段を備えることを特徴とする（３）に記載の撮像装置。
【０１１１】
（実施形態との対応）
一実施形態においては、パラメータ解析部４２が上記パラメータ設定指示手段に、被写体検出処理部３４Ａが上記検出用パラメータ設定手段に、それぞれ対応する。
【０１１２】
（作用効果）
この（５）に記載の撮像装置によれば、使用者の意図する関心領域を決定できるようになる。
【０１１３】
（６）  上記パラメータ設定指示手段は、撮影画像の範囲内において被写体の一部の位置または領域の位置とサイズを指示可能であり、
上記関心領域指定手段は、上記パラメータ設定指示手段で指示された被写体の一部の位置情報または領域の少なくとも位置情報を基に上記関心領域の一部または領域を指定することを特徴とする（５）に記載の撮像装置。
【０１１４】
（実施形態との対応）
一実施形態においては、ステップＳ１２及びステップＳ１８の処理が対応する。
【０１１５】
（作用効果）
この（６）に記載の撮像装置によれば、使用者が所望の位置及びサイズの関心領域を決定できるようになる。
【０１１６】
（７）  上記検出用パラメータ設定手段は、検出する対象被写体の種別に係るパラメータを複数個、上記パラメータ設定指示手段により指定できることを特徴とする（５）に記載の撮像装置。
【０１１７】
（実施形態との対応）
一実施形態においては、ステップＳ１０Ａの処理が対応する。
【０１１８】
（作用効果）
この（７）に記載の撮像装置によれば、より正確な関心領域を設定できるようになる。
【０１１９】
（８）  上記関心領域決定手段は、画角全体の撮影画像から対象被写体を検出し、該検出された対象被写体の存在する領域から上記被写体の関心領域部分を決定し、
上記画像圧縮手段は、上記関心領域決定手段にて決定された上記被写体の関心領域部分の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮し、
上記関心領域画像記録手段は、上記領域決定された被写体の関心領域部分において、複数の画像の当該領域部分の画像データを、非圧縮、上記画像圧縮手段での可逆圧縮、または上記画像圧縮手段での非可逆圧縮の、何れかの画像保存形式にて記録することを特徴とする（１）又は（２）に記載の撮像装置。
【０１２０】
（実施形態との対応）
一実施形態においては、ステップＳ１２Ｄに対応する。
【０１２１】
（作用効果）
この（８）に記載の撮像装置によれば、撮影している全領域から対象被写体を検出することで、関心領域を自動的に設定できる。
【０１２２】
（９）  上記関心領域画像記録手段は、画像内に複数の被写体が検出された際、各被写体の関心領域における画像データを、相互に重なる領域を含めて記録することを特徴とする（８）に記載の撮像装置。
【０１２３】
（実施形態との対応）
一実施形態においては、ステップＳ２４乃至ステップＳ３０の処理が対応する。
【０１２４】
（作用効果）
この（９）に記載の撮像装置によれば、それぞれの関心領域の画像を個別に記録でき、個別に高解像度化できるようになる。
【０１２５】
（１０）  上記関心領域画像記録手段はさらに、上記画像圧縮手段で圧縮された画角全体の撮影画像データを記録可能であり、
上記画像圧縮手段は、上記決定した被写体の関心領域部分の画像データの圧縮率を、上記画角全体の撮影画像データの圧縮率より小さくするように圧縮して上記関心領域画像記録手段に夫々記録することを特徴とする（８）に記載の撮像装置。
【０１２６】
（実施形態との対応）
一実施形態においては、ステップＳ２４乃至ステップＳ３０の処理が対応する。
【０１２７】
（作用効果）
この（１０）に記載の撮像装置によれば、関心領域の画像は高品位に記録して高解像度化に与える影響を少なくし、高解像度化しない画像については高い圧縮率で圧縮することで記録容量の低減を図ることができる。
【０１２８】
（１１）  撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理方法において、
上記電子的に記録する被写体の複数枚の画像のうちの関心領域を撮影時に決定する関心領域決定ステップと、
上記被写体の上記関心領域の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮する画像圧縮ステップと、
上記複数の画像の上記関心領域の画像データを、非圧縮、上記画像圧縮ステップによる可逆圧縮、または上記画像圧縮ステップによる非可逆圧縮の、何れかの画像保存形式にて記録する関心領域画像記録ステップと、
を具備することを特徴とする撮像装置の画像記録処理方法。
【０１２９】
（実施形態との対応）
一実施形態においては、電子スチルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子２０が上記撮像素子に、ステップＳ１０乃至ステップＳ１８が上記関心領域決定ステップに、ステップＳ２６及びステップＳ２８が上記画像圧縮ステップに、ステップＳ３０が上記関心領域画像記録ステップに、それぞれ対応する。
【０１３０】
（作用効果）
この（１１）に記載の画像記録処理方法によれば、時間軸上の複数枚の画像から、使用者が後に高解像度化すると予想される被写体を自動的に検出でき、検出した被写体部を含む局所領域においては、画像全体の記録とは異なり、なるべく高周波成分を多く残すような記録をする。従って、記憶媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装できるので、ハードウェアの負担を軽減するとともに、高品質な画像生成を提供することが可能となる。
【０１３１】
（１２）  撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理方法において、
上記電子的に記録する被写体の画像のうちの複数の関心領域を撮影時に決定する関心領域決定ステップと、
上記複数の関心領域の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮する画像圧縮ステップと、
上記複数の関心領域の画像データを、非圧縮、上記画像圧縮ステップによる可逆圧縮、または上記画像圧縮ステップによる非可逆圧縮の、何れかの画像保存形式にて記録する関心領域画像記録ステップと、
を具備することを特徴とする撮像装置の画像記録処理方法。
【０１３２】
（実施形態との対応）
一実施形態においては、電子スチルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子２０が上記撮像素子に、ステップＳ１０乃至ステップＳ１８が上記関心領域決定ステップに、ステップＳ２６及びステップＳ２８が上記画像圧縮ステップに、ステップＳ３０が上記関心領域画像記録ステップに、それぞれ対応する。
【０１３３】
（作用効果）
この（１２）に記載の画像記録処理方法によれば、同一画像データ中、使用者が後に高解像度化すると予想される複数の被写体を自動的に検出でき、検出した複数の被写体部を含む複数の局所領域においては、画像全体の記録とは異なり、なるべく高周波成分を多く残すような記録をする。従って、記憶媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装できるので、ハードウェアの負担を軽減するとともに、高品質な画像生成を提供することが可能となる。
【０１３４】
（１３）  上記関心領域決定ステップは、
上記関心領域の一部を指定する関心領域指定ステップと、
上記指定した関心領域の一部の画像データを基に、色情報、輝度情報、テクスチャ、構造要素、及び画像間の差分のうちの少なくとも１つの解析によって、上記被写体を検出する被写体検出ステップと、
を備え、
上記検出した被写体に基づいて上記関心領域を決定することを特徴とする（１１）又は（１２）に記載の画像記録処理方法。
【０１３５】
（実施形態との対応）
一実施形態においては、ステップＳ１２が上記関心領域指定ステップに、ステップＳ１６及びステップＳ１８が上記被写体検出ステップに、それぞれ対応する。
【０１３６】
（作用効果）
この（１３）に記載の画像記録処理方法によれば、関心領域の一部を指定するだけで関心領域を判別して自動設定するので、使用者の操作が簡単である。
【０１３７】
（１４）  上記関心領域決定ステップは、上記検出した被写体の検出境界に基づいたサイズ及び箇所の矩形領域を決定することを特徴とする（１３）に記載の画像記録処理方法。
【０１３８】
（実施形態との対応）
一実施形態においては、ステップＳ１８の処理が対応する。
【０１３９】
（作用効果）
この（１４）に記載の画像記録処理方法によれば、矩形領域を関心領域とするので、領域決定及び後の高解像度化の処理が簡易に行える。
【０１４０】
（１５）  上記画像記録処理方法は、使用者が上記撮像装置の各種のパラメータを設定するためのパラメータ設定指示ステップを更に備え、
上記関心領域決定ステップは、上記パラメータ設定指示ステップで指示された検出する対象被写体の種別を検出用パラメータとして設定する検出パラメータ設定ステップを有することを特徴とする（１３）に記載の画像記録処理方法。
【０１４１】
（実施形態との対応）
一実施形態においては、ステップＳ１０が上記パラメータ設定指示ステップに対応する。
【０１４２】
（作用効果）
この（１５）に記載の画像記録処理方法によれば、使用者の意図する関心領域を決定できるようになる。
【０１４３】
（１６）  上記パラメータ設定指示ステップは、撮影画像の範囲内において被写体の一部の位置または領域の位置とサイズを指定可能であり、
上記関心領域指定ステップは、上記パラメータ設定指示ステップで指示された被写体の一部の位置情報または領域の少なくとも位置情報を基に関心領域の一部または領域を指定することを特徴とする（１５）に記載の画像記録処理方法。
【０１４４】
（実施形態との対応）
一実施形態においては、ステップＳ１２及びステップＳ１８の処理が対応する。
【０１４５】
（作用効果）
この（１６）に記載の画像記録処理方法によれば、使用者が所望の位置及びサイズの関心領域を決定できるようになる。
【０１４６】
（１７）  上記関心領域決定ステップは、画角全体の撮影画像から対象被写体を検出し、該検出された対象被写体の存在する領域から上記被写体の関心領域部分を決定し、
上記画像圧縮ステップは、上記関心領域決定ステップにて決定された上記被写体の関心領域部分の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮し、
上記関心領域画像記録ステップは、上記決定された被写体の関心領域部分において、複数の画像の当該領域部分の画像データを、非圧縮、上記画像圧縮ステップでの可逆圧縮、または上記画像圧縮ステップでの非可逆圧縮の、何れかの画像保存形式にて記録することを特徴とする（１１）又は（１２）に記載の画像記録処理方法。
【０１４７】
（実施形態との対応）
一実施形態においては、ステップＳ１２Ｄが上記関心領域決定ステップに対応する。
【０１４８】
（作用効果）
この（１７）に記載の画像記録処理方法によれば、撮影している全領域から対象被写体を検出することで、関心領域を自動的に設定できる。
【０１４９】
（１８）  上記パラメータ設定指示ステップはさらに、少なくとも上記関心領域画像記録ステップで記録する画像保存形式を指定するステップを有し、
上記画像圧縮ステップは、上記パラメータ設定指示ステップで指定された画像保存形式に対応した圧縮方式で上記関心領域部分の画像データを画像圧縮し、
上記関心領域画像記録ステップは、上記パラメータ設定指示ステップで指定された上記画像保存形式にて上記関心領域部分の画像データを記録することを特徴とする（１７）に記載の画像記録処理方法。
【０１５０】
（実施形態との対応）
一実施形態においては、ステップＳ１０Ｂが上記画像保存形式を指定するステップに対応する。
【０１５１】
（作用効果）
この（１８）に記載の画像記録処理方法によれば、関心領域の画像保存形式を設定できるようになる。
【０１５２】
（１９）  上記関心領域画像記録ステップは、画像内に複数の被写体が検出された際、各被写体の関心領域における画像データを、相互に重なる領域を含めて記録することを特徴とする（１７）に記載の画像記録処理方法。
【０１５３】
（実施形態との対応）
一実施形態においては、ステップＳ２４乃至ステップＳ３０の処理が対応する。
【０１５４】
（作用効果）
この（１９）に記載の画像記録処理方法によれば、それぞれの関心領域の画像を個別に記録でき、個別に高解像度化できるようになる。
【０１５５】
（２０）  上記画像圧縮ステップはさらに、画角全体の撮影画像データを画像圧縮可能であり、上記画角全体の撮影画像データと上記決定した被写体の関心領域部分の画像データとを画像圧縮する際に、上記決定した被写体の関心領域部分の画像データの圧縮率を、上記画角全体の撮影画像データの圧縮率より小さくするように圧縮し、
上記関心領域画像記録ステップは、上記画像圧縮ステップで画像圧縮された上記画角全体の撮影画像データと上記関心領域画像データとを夫々記録することを特徴とする（１７）に記載の画像記録処理方法。
【０１５６】
（実施形態との対応）
一実施形態においては、ステップＳ２４乃至ステップＳ３０の処理が対応する。
【０１５７】
（作用効果）
この（２０）に記載の画像記録処理方法によれば、関心領域の画像は高品位に記録して高解像度化に与える影響を少なくし、高解像度化しない画像については高い圧縮率で圧縮することで記録容量の低減を図ることができる。
【０１５８】
（２１）  撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理方法において、
上記撮影装置の撮影条件に係る撮影用パラメータ、被写体検出に係る検出パラメータ、画像保存形式に係る画像保存形式パラメータのうちの１つ以上のパラメータを設定するステップと、
上記撮像装置のレリーズスイッチの半押しを検出するステップと、
上記撮像装置のレリーズスイッチの半押しが検出されたときに上記被写体をプリ撮影するステップと、
上記プリ撮影時に撮影された画像データから被写体の関心領域を決定するステップと、
上記決定された被写体の関心領域の画像データを記録するステップと、
所定の間隔で上記被写体の関心領域の移動をトラッキングするステップと、
上記撮像装置のレリーズスイッチの全押しを検出するステップと、
上記撮像装置のレリーズスイッチの全押しが検出されたときに少なくとも上記撮影用パラメータに基づいて画角全体を本撮影して記録するステップと、
を備えることを特徴とする画像記録処理方法。
【０１５９】
（実施形態との対応）
一実施形態においては、電子スチルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子２０が上記撮像素子に、ステップＳ１０及びステップＳ１２が上記パラメータを設定するステップに、ステップＳ１４が上記半押しを検出するステップに、ステップＳ１４上記がプリ撮影するステップに、ステップＳ１６及びステップＳ１８が上記関心領域を決定するステップに、ステップＳ１８が上記関心領域の画像データを記録するステップに、ステップＳ２０が上記トラッキングするステップに、ステップＳ２２が上記全押しを検出するステップに、ステップＳ２２乃至ステップＳ３０が上記本撮影して記録するステップに、それぞれ対応する。
【０１６０】
（作用効果）
この（２１）に記載の画像記録処理方法によれば、使用者が後に高解像度化すると予想される被写体を自動的に検出でき、検出した被写体部を含む局所領域においては、画像全体の記録とは異なり、なるべく高周波成分を多く残すような記録をする。従って、記憶媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装できるので、ハードウェアの負担を軽減するとともに、高品質な画像生成を提供することが可能となる。
【０１６１】
（２２）  上記パラメータを設定するステップは、更に、上記関心領域の一部を指定するステップを有し、
上記関心領域を決定するステップは、上記指定された上記関心領域の一部の位置情報を用いて上記プリ撮影時に撮影された画像データから被写体の関心領域を決定することを特徴とする（２１）に記載の画像記録処理方法。
【０１６２】
（実施形態との対応）
一実施形態においては、ステップＳ１２が上記関心領域の一部を指定するステップに対応する。
【０１６３】
（作用効果）
この（２２）に記載の画像記録処理方法によれば、関心領域の一部を指定するだけで関心領域を判別して自動設定するので、使用者の操作が簡単である。
【０１６４】
（２３）  上記被写体の関心領域の移動をトラッキングするステップは、更に、上記トラッキングした上記被写体の関心領域の移動に応じて上記記録された被写体の関心領域の画像データを更新することを特徴とする（２１）又は（２２）に記載の画像記録処理方法。（実施形態との対応）
一実施形態においては、ステップＳ２０がトラッキングするステップに対応する。
【０１６５】
（作用効果）
この（２３）に記載の画像記録処理方法によれば、被写体の関心領域移動に応じて記録される関心領域の画像データが更新されるので、被写体に動きがあっても常にその被写体の関心領域の画像データを記録することができる。
【０１６６】
（２４）
上記被写体の関心領域の移動をトラッキングするステップは、更に、上記トラッキングした上記被写体の関心領域の移動に応じて上記記録された被写体の関心領域の画像データを追加記録することを特徴とする（２１）又は（２２）に記載の画像記録処理方法。
【０１６７】
（実施形態との対応）
一実施形態においては、ステップＳ２０がトラッキングするステップに対応する。
【０１６８】
（作用効果）
この（２４）に記載の画像記録処理方法によれば、被写体の関心領域移動に応じて関心領域の画像データが追加記録されるので、被写体に動きがあっても、その被写体の関心領域の画像データを記録することができる。
【０１６９】
（２５）  上記撮像装置のレリーズスイッチの全押しが検出されたときに少なくとも上記撮影用パラメータに基づいて画角全体を本撮影して記録するステップは、更に、本撮影後所定の枚数、上記被写体の関心領域の移動をトラッキングして該トラッキングした被写体の関心領域の画像データを追加記録することを特徴とする（２１）又は（２２）に記載の画像記録処理方法。
【０１７０】
（実施形態との対応）
一実施形態においては、ステップＳ２２乃至ステップＳ３０に対応する。
【０１７１】
（作用効果）
この（２５）に記載の画像記録処理方法によれば、本撮影後も所定の枚数分トラッキングして被写体の関心領域の画像データを追加記録し、画角全体の画像データだけでなく、その追加記録した被写体の関心領域の画像データも高解像度化画像を得るために使用させることができる。
【０１７２】
（２６）  撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理プログラムであって、
コンピュータに、
上記電子的に記録する被写体の複数枚の画像のうちの関心領域を撮影時に決定する手順と、
上記被写体の上記関心領域の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮する手順と、
上記複数の画像の上記関心領域の画像データを、非圧縮、上記画像圧縮手順による可逆圧縮、または上記画像圧縮手順による非可逆圧縮の、何れかの画像保存形式にて記録する手順と、
を実行させるための画像記録処理プログラム。
【０１７３】
（実施形態との対応）
一実施形態においては、電子スチルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子２０が上記撮像素子に、ステップＳ１０乃至ステップＳ１８が上記関心領域を決定する手順に、ステップＳ２６及びステップＳ２８が上記圧縮する手順に、ステップＳ３０が上記関心領域の画像データを記録する手順に、それぞれ対応する。
【０１７４】
（作用効果）
この（２６）に記載の画像記録処理プログラムによれば、時間軸上の複数枚の画像から、使用者が後に高解像度化すると予想される被写体を自動的に検出でき、検出した被写体部を含む局所領域においては、画像全体の記録とは異なり、なるべく高周波成分を多く残すような記録をする。従って、記憶媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装できるので、ハードウェアの負担を軽減するとともに、高品質な画像生成を提供することが可能となる。
【０１７５】
（２７）  撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理プログラムであって、
コンピュータに、
上記電子的に記録する被写体の画像のうちの複数の関心領域を撮影時に決定する手順と、
上記複数の関心領域の画像データを可逆圧縮、または規定値より低い圧縮率で非可逆圧縮する手順と、
上記複数の関心領域の画像データを、非圧縮、上記画像圧縮手順による可逆圧縮、または上記画像圧縮手順による非可逆圧縮の、何れかの画像保存形式にて記録する手順と、
を実行させるための画像記録処理プログラム。
【０１７６】
（実施形態との対応）
一実施形態においては、電子スチルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子２０が上記撮像素子に、ステップＳ１０乃至ステップＳ１８が上記関心領域を決定する手順に、ステップＳ２６及びステップＳ２８が上記圧縮する手順に、ステップＳ３０が上記関心領域の画像データを記録する手順に、それぞれ対応する。
【０１７７】
（作用効果）
この（２７）に記載の画像記録処理プログラムによれば、同一画像データ中、使用者が後に高解像度化すると予想される複数の被写体を自動的に検出でき、検出した複数の被写体部を含む複数の局所領域においては、画像全体の記録とは異なり、なるべく高周波成分を多く残すような記録をする。従って、記憶媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装できるので、ハードウェアの負担を軽減するとともに、高品質な画像生成を提供することが可能となる。
【０１７８】
（２８）  撮像素子により被写体を撮影して該被写体の像を電子的に記録する撮像装置の画像記録処理プログラムであって、
コンピュータに、
上記撮影装置の撮影条件に係る撮影用パラメータ、被写体検出に係る検出パラメータ、画像保存形式に係る画像保存形式パラメータのうちの１つ以上のパラメータを設定する手順と、
上記撮像装置のレリーズスイッチの半押しを検出する手順と、
上記撮像装置のレリーズスイッチの半押しが検出されたときに上記被写体をプリ撮影する手順と、
上記プリ撮影時に撮影された画像データから被写体の関心領域を決定する手順と、
上記決定された被写体の関心領域の画像データを記録する手順と、
所定の間隔で上記被写体の関心領域の移動をトラッキングする手順と、
上記撮像装置のレリーズスイッチの全押しを検出する手順と、
上記撮像装置のレリーズスイッチの全押しが検出されたときに少なくとも上記撮影用パラメータに基づいて画角全体を本撮影して記録する手順と、
を実行させるための画像記録処理プログラム。
【０１７９】
（実施形態との対応）
一実施形態においては、電子スチルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子２０が上記撮像素子に、ステップＳ１０及びステップＳ１２が上記パラメータを設定する手順に、ステップＳ１４が上記半押しを検出する手順に、ステップＳ１４上記がプリ撮影する手順に、ステップＳ１６及びステップＳ１８が上記関心領域を決定する手順に、ステップＳ１８が上記関心領域の画像データを記録する手順に、ステップＳ２０が上記トラッキングする手順に、ステップＳ２２が上記全押しを検出する手順に、ステップＳ２２乃至ステップＳ３０が上記本撮影して記録する手順に、それぞれ対応する。
【０１８０】
（作用効果）
この（２８）に記載の画像記録処理プログラムによれば、使用者が後に高解像度化すると予想される被写体を自動的に検出でき、検出した被写体部を含む局所領域においては、画像全体の記録とは異なり、なるべく高周波成分を多く残すような記録をコンピュータに行わせることができる。従って、記憶媒体を節約でき、高速・大容量書き込みが未対応のシステムでも容易に実装できるので、ハードウェアの負担を軽減するとともに、高品質な画像生成を提供することが可能となる。
【０１８１】
（２９）  上記被写体の関心領域の移動をトラッキングする手順は、更に、上記トラッキングした上記被写体の関心領域の移動に応じて上記記録された被写体の関心領域の画像データを更新することを特徴とする（２８）に記載の画像記録処理プログラム。
【０１８２】
（実施形態との対応）
一実施形態においては、ステップＳ２０がトラッキングする手順に対応する。
【０１８３】
（作用効果）
この（２９）に記載の画像記録処理プログラムによれば、被写体の関心領域移動に応じて記録される関心領域の画像データが更新されるので、被写体に動きがあっても常にその被写体の関心領域の画像データを記録することができる。
【０１８４】
（３０）  上記被写体の関心領域の移動をトラッキングする手順は、更に、上記トラッキングした上記被写体の関心領域の移動に応じて上記記録された被写体の関心領域の画像データを追加記録することを特徴とする（２８）に記載の画像記録処理プログラム。
【０１８５】
（実施形態との対応）
一実施形態においては、ステップＳ２０がトラッキングする手順に対応する。
【０１８６】
（作用効果）
この（３０）に記載の画像記録処理プログラムによれば、被写体の関心領域移動に応じて関心領域の画像データが追加記録されるので、被写体に動きがあっても、その被写体の関心領域の画像データを記録することができる。
【０１８７】
（３１）  上記撮像装置のレリーズスイッチの全押しが検出されたときに少なくとも上記撮影用パラメータに基づいて画角全体を本撮影して記録する手順は、更に、本撮影後所定の枚数、上記被写体の関心領域の移動をトラッキングして該トラッキングした被写体の関心領域の画像データを追加記録することを特徴とする（２８）に記載の画像記録処理プログラム。
【０１８８】
（実施形態との対応）
一実施形態においては、ステップＳ２２乃至ステップＳ３０が上記本撮影して記録する手順に対応する。
【０１８９】
（作用効果）
この（３１）に記載の画像記録処理プログラムによれば、本撮影後も所定の枚数分トラッキングして被写体の関心領域の画像データを追加記録し、画角全体の画像データだけでなく、その追加記録した被写体の関心領域の画像データも高解像度化画像を得るために使用させることができる。
【図面の簡単な説明】
【０１９０】
【図１】図１は、本発明の撮像装置の一実施形態としての電子スチルカメラのブロック構成図である。
【図２】図２は、一実施形態における電子スチルカメラの概略の外観構成を示す背面図である。
【図３】図３は、一実施形態における電子スチルカメラの処理フローチャートを示す図である。
【図４】図４は、同じカラーチャンネル隣接４画素における画素混合読み出しを説明するための図である。
【図５】図５（Ａ）は、図３中の各種パラメータ設定処理のフローチャートを示す図であり、図５（Ｂ）は、同じく検出対象領域設定処理のフローチャートを示す図である。
【図６】図６は、１つの関心領域を手動で設定する場合のシーケンスを説明するための図である。
【図７】図７は、２つの関心領域を手動で設定する場合のシーケンスを説明するための図である。
【図８】図８（Ａ）及び（Ｂ）はそれぞれ画角全体と関心領域の画像保存方法の例を説明するための図である。
【図９】図９は、第３画像処理部のモーション推定部で実行される動き推定処理のフローチャートを示す図である。
【図１０】図１０は、動き推定における最適類似度推定のための類似度マップを示す図である。
【図１１】図１１（Ａ）は、複数の連続撮影した画像を示す図であり、図１１（Ｂ）は、動き推定値を使用した参照画像変形により基準画像へ近似した画像を示す図である。
【図１２】図１２は、第３画像処理部の超解像処理部で実行される画像高解像度化処理（超解像処理）のフローチャートを示す図である。
【図１３】図１３は、第３画像処理部の超解像処理部の一例を示すブロック構成図である。
【符号の説明】
【０１９１】
１０…電子スチルカメラ、  １０Ａ…カメラ本体、  １２…レンズ系、  １４…分光ハーフミラー系、  １６…シャッタ、  １８…ローパスフィルタ、  ２０…ＣＣＤ撮像素子、  ２２…Ａ／Ｄ変換回路、  ２４…ＡＥ用フォトセンサ、  ２６…ＡＦモータ、  ２８…撮像制御部、  ３０…画像処理部、  ３２…画像用バッファ、  ３４…画像処理部、  ３４Ａ…被写体検出処理部、  ３６…画像圧縮・伸張部、  ３８…メモリカードＩ／Ｆ部、  ４０…メモリカード、  ４２…パラメータ解析部、  ４４…操作表示部、  ４４Ａ…電源スイッチ、  ４４Ｂ…レリーズスイッチ、  ４４Ｃ…液晶表示パネル、  ４４Ｄ…操作ボタン、  ４６…撮像条件設定部、  ４８…連写判定部、  ５０…画素混合判定部、  ５２…切替部、  ５４…連写用バッファ、  ５６…画像処理部、  ５６Ａ…モーション推定部、  ５６Ｂ…超解像処理部、  ５６Ｂ１…初期画像記憶部、  ５６Ｂ２…畳込み積分部、  ５６Ｂ３…ＰＳＦデータ保持部、  ５６Ｂ４…画像比較部、  ５６Ｂ５…乗算部、  ５６Ｂ６…貼り合せ加算部、  ５６Ｂ７…蓄積加算部、  ５６Ｂ８…更新画像生成部、  ５６Ｂ９…画像蓄積部、  ５６Ｂ１０…反復演算判定部、  ５６Ｂ１１…反復判定値保持部、  ５６Ｂ１２…補間拡大部、  ５８…関心領域指定カーソル、  ６０…関心領域決定ボックス。
【図１】
2008109482.tif 000004
【図２】
2008109482.tif 000005
【図３】
2008109482.tif 000006
【図４】
2008109482.tif 000007
【図５】
2008109482.tif 000008
【図６】
2008109482.tif 000009
【図７】
2008109482.tif 000010
【図８】
2008109482.tif 000011
【図９】
2008109482.tif 000012
【図１０】
2008109482.tif 000013
【図１１】
2008109482.tif 000014
【図１２】
2008109482.tif 000015
【図１３】
2008109482.tif 000016